-
Die
vorliegende Erfindung betrifft eine Handbildschaltvorrichtung, mit
der ein Fahrer Einrichtungen, mit denen ein Kraftfahrzeug ausgestattet
ist, wie eine Klimaanlage, ein Audiosystem und/oder Hilfseinrichtungen
des Kraftfahrzeugs, wie Seitenspiegel, einfach bedienen kann, ohne
dass der Fahrprozess selbst beeinträchtigt wird und ohne dass ein
Bedienfeld der Einrichtungen, mit denen das Kraftfahrzeug ausgestattet
ist, berührt
werden muss.
-
Es
wurde vorgeschlagen, eine fahrzeuggestützte Einrichtung, wie eine
Klimaanlage oder ein Audiosystem, ohne Berührung eines Bedienfelds der fahrzeuggestützten Einrichtung
zu bedienen. Hierbei wird ein Erscheinungsbild eines Körperteils,
beispielsweise der linken Hand, eines Fahrers mittels einer Kamera
erfasst und einer Bilderkennung unterzogen, so dass eine Information
gewonnen wird, die zur Bedienung der fahrzeuggestützten Einrichtung
genutzt wird (siehe beispielsweise JP-A-11-134090). Alternativ wurde vorgeschlagen,
eine Geste des Fahrers, wie ein Handbild und eine Handbewegung,
zu erfassen. Aus der Geste wird eine Information ermittelt, die
zur Bedienung der fahrzeuggestützten Einrichtung
genutzt wird (siehe beispielsweise JP-A-2001-216069).
-
Derartige
Vorrichtungen, bei denen ein Handbild ausgehend von einem aufgenommenen Bild
einer Hand mittels einer Bilderkennung ausgewertet wird oder bei
denen die Bewegung einer Hand durch Verfolgen einer Positionsänderung
einer erkannten Hand erfasst wird, werden in der vorliegenden Beschreibung
der Einfachheit halber als Handbildschaltvorrichtung bezeichnet.
-
Wenn
die Handbildschaltvorrichtung zur Bedienung fahrzeuggestützter Einrichtungen
genutzt wird, muss das Bild oder die Bewegung der Hand des Fahrers
bzw. des Bedieners zuverlässig
und genau detektiert werden. Hierzu muss genau erkannt werden, welcher
Teil des aufgenommenen Bildes der Hand des Fahrers bzw. des Bedieners
zuzuordnen ist. Es besteht das Problem, dass der Fahrer bzw. Bediener
bisweilen ein langärmeliges
Hemd, eine Armbanduhr oder dergleichen trägt. In diesem Fall wird ein
dem Handgelenkt zuzuordnender Bereich in dem aufgenommenen Bild
als außerordentlich
groß erkannt
oder infolge des Vorliegens eines Bildbestandteils, der mit der
Armbanduhr oder dergleichen korrespondiert, als abgetrennt angesehen.
Dies kann dazu führen,
dass ein mit der Handfläche
oder dem Handrücken
des Fahrers korrespondierender Bereich, welche Bereiche nachfolgend
jeweils als Handfläche
bezeichnet werden, nicht mit Zuverlässigkeit erfasst werden kann.
Ein solcher Bereich muss aber für
die Bilderkennung erfasst werden. Zudem besteht beim Stand der Technik
das Problem, dass der Verarbeitungsaufwand ansteigt, da grundsätzlich eine aufwendige
Bildverarbeitungstechnik, wie eine Bereichssegmentierung oder eine
Abgleichstechnik, eingesetzt wird, bei der auf ein vorher festgelegtes Standardhandbild
Bezug genommen wird.
-
Der
Erfindung liegt die Aufgabe zugrunde, eine Handbildschaltvorrichtung
bereitzustellen, die ein Handbild oder eine Handbewegung eines Fahrers
bzw. Bedieners einfach und zuverlässig erfasst, welches Handbild
bzw. welche Handbewegung beobachtet wird, wenn der Fahrer verschiedenartige fahrzeuggestützte Einrichtungen
oder Fahrzeughilfseinrichtungen bedient, wobei Informationen, die
zur Bedienung der jeweiligen Einrichtung genutzt werden, korrekt
aufgenommen werden.
-
Erfindungsgemäß wird eine
Handbildschaltvorrichtung bereitgestellt, die Mittel zur Aufnahme
eines Bildes eines distalen Armes umfasst, der in einer festgelegten
Bildaufnahmezone angeordnet ist, in der ein Handbild und/oder eine
Bewegung eines Fingers einer Hand ausgehend von dem Bild erfasst wird,
das durch die Bildaufnahmemittel aufgenommen wurde, um Informationen
hinsichtlich eines vorgegebenen Schaltvorgangs zu erhalten. Die
Handbildschaltvorrichtung umfasst erste Bildverarbeitungsmittel
zur Bestimmung einer durch eine Mitte des Armes laufende Mittelachse
auf Basis des aufgenommenen Bildes, Scanpfadfestlegmittel zur Festlegung
zumindest eines ersten Scanpfades, der rechtwinklig zu der Mittelachse
verläuft,
und/oder eines zweiten Scanpfades, der längs der Mittelachse verläuft, und
Bestimmungsmittel, um auf Grundlage zumindest des ersten oder zweiten
Scanpfades, der mittels der Scanpfadeinstellmittel festgelegt wurde, zu
bestimmen, ob ein Finger der Hand ausgestreckt ist.
-
Die
Vorrichtung nach der Erfindung ist in der Zeichung schematisch vereinfacht
dargestellt und wird in der nachfolgenden Beschreibung beispielhaft erläutert. Es
zeigen:
-
1 eine Ansicht, in der der
Aufbau einer Handbildschaltvorrichtung gemäß einer Ausführungsform
der Vorrichtung nach der Erfindung dargestellt ist;
-
2 eine Ansicht, in der eine
Hand/Finger-Bildaufnahmezone der in 1 dargestellten Handbildschaltvorrichtung
gezeigt ist;
-
3 ein Flussdiagramm, in
dem ein Beispiel von Verarbeitungsprozeduren zur Erkennung von Handbild
und Handflächenmitte
dargestellt ist;
-
4 eine schematische Ansicht
zur Erläuterung
des in 3 dargestellten
Vorgehens zur Erkennung von Handbild und Handflächenmitte;
-
5A eine Ansicht zur Erläuterung
von Nachteilen des herkömmlichen
Vorgehens zur Handbilderkennung;
-
5B eine Ansicht, die mit
der nach 5A vergleichbar
ist;
-
6A eine Ansicht, in der
ein Handbild 1 dargestellt ist, das bei der Ausführungsform der Vorrichtung
nach der Erfindung genutzt wird;
-
6B eine Ansicht, in der
ein Handbild 2 dargestellt ist;
-
6C eine Ansicht, in der
ein Handbild 3 dargestellt ist;
-
6D eine Ansicht, in der
ein Handbild 4 dargestellt ist;
-
7 ein Flussdiagramm, in
dem ein Beispiel von Verarbeitungsprozeduren zur Erkennung eines
Handbildes dargestellt ist, die mittels eines eine angewiesene Betätigung erkennenden
Erkennungsabschnitts der Handbildschaltvorrichtung nach 1 durchgeführt werden;
-
8 ein Flussdiagramm, in
dem ein Beispiel von Verarbeitungsprozeduren zur Detektion des Betätigungsumfangs
darge stellt ist;
-
9 ein Flussdiagramm, in
dem ein Beispiel von Verarbeitungsprozeduren zur Bestimmung eines
Betätigungsumfangs
in einem Zeitmodus dargestellt ist;
-
10 ein Flussdiagramm, in
dem ein Beispiel von Verarbeitungsprozeduren zur Bestimmung des
Betätigungsumfangs
in einem Abstand/Zeit-Modus dargestellt ist;
-
11 eine Ansicht, in der
Eingabearten zur Eingabe schaltrelevanter Informationen in die Handbildschaltvorrichtung
unter Verwendung der Hand bzw. der Finger dargestellt sind; und
-
12 eine Ansicht, in der
ein Beispiel einer systematisierten Auswahl gesteuerter Objekte
dargestellt ist.
-
Nachfolgend
wird eine Ausführungsform
einer Handbildschaltvorrichtung nach der Erfindung anhand der Zeichnung
beschrieben.
-
1 zeigt eine Ansicht eines
grundsätzlichen
Aufbaus der wesentlichen Bestandteile der Handbildschaltvorrichtung
gemäß der vorliegenden Ausführungsform.
Es sind die Umgebung eines Fahrersitzes eines Kraftfahrzeuges und
Funktionalitäten der
Handbildschaltvorrichtung dargestellt, die beispielsweise mittels
eines Mikrocomputers (ECU) oder dergleichen realisiert sind. Vor
dem Fahrersitz ist ein Lenkrad 1 zur Betätigung durch
einen Fahrer, ein nicht dargestellter Kombinationsschalter und dergleichen
angeordnet, wohingegen ein Bedienabschnitt 2 für ein Audiosystem,
eine Klimaanlage und/oder dergleichen an einer Konsolenplatte angeordnet
sind. An einem über
dem Fahrersitz angeordneten Himmel ist eine Videokamera 3 angeordnet, mittels
der ein Bild einer Hand des Fahrers aufgenommen werden kann, der
seinen Arm in Rich tung einer Bildaufnahmezone streckt, die seitlich
neben dem Lenkrad 1 angeordnet ist. Die Kamera 3 besteht aus
einer kleinen CCD-Kamera oder dergleichen. Die Kamera 3 kann
so ausgelegt sein, dass sie ein mit sichtbarem Licht aufgenommenes
Bild bei einer bestimmten Beleuchtung, beispielsweise am Tag, aufnimmt.
Natürlich
kann auch eine sogenannte Infrarotkamera eingesetzt werden, die
Strahlung im nahen Infrarotbereich in Richtung der Aufnahmezone
abgibt, um ein Infrarotbild zu gewinnen, wenn, wie in der Nacht,
die Ausleuchtung der Aufnahmezone unzureichend ist. Zur Bedienung
der Handbildschaltvorrichtung wird das Handbild dadurch geändert, dass
einer oder mehrere der Finger selektiv gebeugt werden, wobei die
Handfläche
in horizontaler Ausrichtung in der Aufnahmezone liegt und die Handflächenposition nach
hinten, nach vorne, nach links und nach rechts verändert wird.
Trotz der Tatsache, dass mittels der Kamera 3 eigentlich
das Bild des Handrückens
aufgenommen wird, wird in der vorliegenden Beschreibung der Begriff "Handfläche" verwendet, der nicht nur
die Handfläche,
sondern auch den Handrücken bezeichnet,
dessen Bild aufgenommen wird.
-
Grundsätzlich führt die
Handbildschaltvorrichtung die Verarbeitung zur Erkennung eines Handbildes
des Fahrers oder einer Handbewegung auf Basis eines durch die Kamera 3 aufgenommenen
Bildes durch. Auf Grundlage der Ergebnisse der Erkennung gewinnt
sie entsprechende, vorbestimmte, mit einem Schaltvorgang korrelierte
Informationen. Somit dient die Handbildschaltvorrichtung an Stelle
des Bedienungsabschnitts 2 dazu, dem Audiosystem, der Klimaanlage
und/oder dergleichen mit einem Schaltvorgang korrelierte Informationen
bereitzustellen. Insbesondere umfasst die Handbildschaltvorrichtung einen
Verarbeitungsabschnitt 11 zur Digitalisierung eines Eingangsbildes,
das mittels der Kamera 3 aufgenommen wurde, so dass Bildhintergrundbestandteile
entfernt werden, um Bildbestandteile, die mit dem distalen Arm und
insbesondere mit der Handfläche
und den Fingern der Hand korrespondieren, auszufiltern; einen Schwerpunkterkennungsabschnitt 12 zur Bestimmung
einer Position eines Schwerpunkts der Hand auf Basis des Bildes
der Handfläche
und der Finger der Hand, das mittels der Digitalisierung gewonnen
wurde; und einen Bilderkennungsabschnitt 13 zur Erkennung
eines Hand/Finger-Bildes.
-
Die
Handbildschaltvorrichtung umfasst des Weiteren einen eine angewiesene
Betätigung
erkennenden Erkennungsabschnitt 14 zur Erkennung eines
Schaltvorgangs, der durch den Fahrer mittels des Handbildes oder
der Handbewegung vorgegeben wurde, und zwar auf Basis von Erkennungsergebnissen,
die mittels des Bilderkennungsabschnitts 13 gewonnen wurden,
und der mittels des Schwerpunkterkennungsabschnitts 12 ermittelten
Position des Schwerpunkts der Hand. Dieser eine angewiesene Betätigung erkennende
Erkennungsabschnitt 14 umfasst grundsätzlich einen Funktionsbestimmungsabschnitt 16 zur
Bestimmung bzw. Identifizierung eines Typs eines Schaltvorgangs,
der durch das Handbild, das wie oben beschrieben erkannt wurde,
beabsichtigt ist, wobei auf eine Beziehung zwischen in einem Speicher 15 abgespeicherten
Handbildern und deren Funktionen Bezug genommen wird, einen Verlagerungserkennungsabschnitt 17 zur
Verfolgung einer Bewegung der Position des Schwerpunkts der Handfläche mit
einem speziellen Fingerbild oder einer Bewegung von Fingerkuppen,
um dadurch eine Verlagerung derselben weg von deren Referenzposition
zu erfassen, und einen Zeitgeber 18 zur Überwachung
der Bewegung der Handfläche
oder der Fingerspitze bezüglich
der Zeitdauer, während
der die Handfläche
oder Fingerspitze bewegt wird. Auf Grundlage der Ergebnisse der
Bestimmung und Überwachung
bestimmt der befehlsgeführte
Erkennungsabschnitt 14 vorbestimmte, mit einem Schaltvorgang
korrelierte Informationen, die durch das Handbild des Fahrers oder
die Handflächenbewegung
spezifiziert sind, und gibt diese mit einem Schaltvorgang korrelierten
Informationen beispielsweise an das Audiosystem, die Klimaanlage
oder dergleichen aus.
-
Der
eine angewiesene Betätigung
erkennende Erkennungsabschnitt 14 ist des Weiteren mit
einem Führungsabschnitt 19 versehen,
der dem Fahrer gemäß der Ergebnisse
der vorstehend genannten Bestimmung und dergleichen eine bestimmte
Führungsfunktionalität bereitstellt.
Der Fahrer wird über einen
Lautsprecher 20 über
die Führung
in Form einer Sprachnachricht informiert, die beispielsweise das
Audiosystem oder die Klimaanlage, d.h. das gesteuerte Objekt, oder
eine Lautstärke/Kanal-Einstellung, eine
Zuluftstärke/Temperatur
oder dergleichen, d.h. die gesteuerte Funktionalität, spezifiziert.
Auch kann die Benachrichtigung in Form eines Bestätigungstons,
wie einem akustischem Signal bzw. einem Pieptons, erfolgen, der
einen vorgenommenen Schaltvorgang bzw. Schaltumfang kennzeichnet. Spezielle
Betriebsarten des befehlsgeführten
Erkennungsabschnitts 14, d.h. die Steuerung der Ausgabe der
mit einem Schaltvorgang korrelierten Informationen bezüglich gesteuerter
Objekte, wie einem Audiosystem, einer Klimaanlage und dergleichen,
werden weiter unten erläutert.
-
Wie 2 zu entnehmen ist, liegt
die seitlich neben dem Lenkrad 1 angeordnete Bildaufnahmezone 3a der
Kamera 3 mindestens 50 mm, vorzugsweise etwa 100 mm, von
dem äußeren Umfang
des Lenkrades entfernt. Insbesondere liegt die Bildaufnahmezone
an einer Stelle, zu der der Fahrer den Arm ohne Änderung seiner Fahrhaltung
strecken kann, wobei der Arm auf einer Armlehne 5 liegt,
die seitlich neben dem Fahrersitz angeordnet ist und die entfernt
von dem Bedienabschnitt 2 für das Audiosystem und/oder
dergleichen angeordnet ist, so dass die in die Bildaufnahmezone
ausgestreckte Hand den Betätigungsabschnitt 2 nicht
berührt.
Die Bildaufnahmezone 3a hat eine rechteckige Form und eine
Größe von etwa
600 mm in Richtung der Fingerspitze und von etwa 350 mm in eine
Richtung, die mit der Breite der Fahrerhand korreliert ist, die
neben dem Lenkrad 1 ausgestreckt ist.
-
Insbesondere
ist die Bildaufnahmezone 3a eine Zone, die so angeordnet ist,
dass ein Bild der Hand des Fahrers nicht aufgenommen wird, wenn der
Fahrer das Lenkrad 1 hält
oder den nicht dargestellten Kombinationsschalter bedient, der an
der Steuersäule
angeordnet ist, und dass der Fahrer seine Hand in die Zone führen kann,
ohne den Arm groß zu
bewegen. Somit wird eine einem Fahrvorgang zugeordnete Handbewegung
oder eine Hand/Fingerbewegung für
eine direkte Bedienung des Bedienabschnitts 2 für das Audiosystem
und/oder dergleichen nicht fehlerhafterweise als eine Bewegung zur
Bereitstellung einer mit einem Schaltvorgang korrelierten Information
erkannt.
-
Wenn
ein nicht dargestellter Getriebeschalthebel in der wie oben beschrieben
angeordneten Bildaufnahmezone 3a liegt, kann an dem Getriebeschalthebel
beispielsweise ein drucksensitiver Sensor vorgesehen sein, um zu
erkennen, ob der Schalthebel durch den Fahrer gegriffen wird. Durch
einen solchen Sensor kann leicht erkannt werden, ob der Getriebeschalthebel
oder die Handbildschaltvorrichtung durch die in die Bildaufnahmezone 3a ausgestreckte
Fahrerhand betätigt
wird, wobei ein fahrrelevanter Vorgang nicht fehlerhaft als Schaltvorgang
erkannt wird. Alternativ kann eine Höhenlage der Fahrerhand, d.h.
deren Abstand von der Kamera 3, unter Verwendung einer
als Kamera 3 dienenden stereoskopischen Kamera erfasst
werden, um zu ermitteln, ob die in die Bildaufnahmezone 3a ausgestreckte Fahrerhand
den Getriebeschalthebel betätigt
oder in einem Raum oberhalb des Getriebeschalthebels angeordnet
ist.
-
Die
Anordnung der Bildaufnahmezone 3a basiert auf einer Reichweite
des Arms/der Hand, die dem Fahrer beim Ausstrecken des Arms ohne Änderung
einer Fahrstellung zur Verfügung
steht, wobei der Arm bzw. Ellbogen auf der Armstütze 5 ruht. Der Fahrer
kann seinen Arm/seine Hand in komfortabler Weise bis zu der Bildaufnahmezone 3a ausstrecken, wenn
er den imaginären
Schaltvorgang durchführt. Unter
Zugrundelegung eines typischen Abstands zwischen dem Handgelenk
und der Fingerspitze von etwa 200 mm und einer typischen Handbreite
von etwa 120 mm hat die Bildaufnahmezone 3a insbesondere
eine rechteckige Form und, wie oben bereits erwähnt, eine Länge von 600 mm und eine Breite
von 350 mm.
-
Durch
die wie oben beschriebene Auslegung der Bildaufnahmezone 3a kann
die Fahrerhand, die das Lenkrad 1 loslässt und dann in natürlicher
Weise ohne einen Eindruck einer Inkompatibilität bewegt wird, fehlerfrei erfasst
werden, ohne dass fehlerhafterweise eine fahrrelevante Hand/Arm-Bewegung detektiert
wird. Es ist auch möglich,
eine Änderung der
Handposition oder eine einem Schaltvorgang dienende Handbewegung
in der Bildaufnahmezone 3a zuverlässig zu erfassen, so dass die
Handbilderkennung und die Bestimmung eines Umfangs einer Handbewegung
(Abweichung) mit einer relativ vereinfachten Bildverarbeitung auf
einfache Weise durchgeführt
werden kann.
-
Der
Fahrer kann einen gewünschten
Schaltvorgang durchführen,
indem er, nachdem er eines von festgelegten Handbildern gebildet
hat, die Hand einfach bewegt, wobei sich der Arm seitlich neben dem
Lenkrad 1 erstreckt, und zwar ohne dass er seine Fahrhaltung ändert und
ohne dass er den Bedienabschnitt 2 für das Audiosystem oder dergleichen
unmittelbar berührt.
Dies verringert die Belastung des Fahrers, der den Schaltvorgang
durchführt.
Da eine Handbewegung und/oder eine Armbewegung für einen fahrrelevanten Vorgang
nicht fehlerhaft als Anweisung für
einen Schaltvorgang erkannt werden kann, besteht zudem der Vorteil,
dass sich der Fahrer auf das Fahren konzentrieren kann, ohne seine
Aufmerksamkeit auf die Handbildschaltvorrichtung richten zu müssen, und,
wenn erforderlich, auf einfache Weise Anweisungen für Schaltvorgänge geben
kann, indem er einfach seine Hand (Handfläche) in die Bildaufnahmezone 3a führt.
-
Nachfolgend
wird die Verarbeitung bei der Handerkennung beschrieben. Diese Verarbeitung stellt
eines der Merkmale der Erfindung dar und wird auf Grundlage des
digitalisierten Bildes durchgeführt.
-
Bezug
nehmend auf die in 3 dargestellten
Verarbeitungsprozeduren wird zu Beginn der Erkennungsverarbeitung
ein mittels der Kamera 3 in der Aufnahmezone 3a aufgenommenes
Eingangsbild unter Verwendung eines festgelegten Grenzwertes einer
Digitalisierung unterzogen, wobei der Hintergrund des Bildes als
schwarzer Bereich von den anderen Bereichen des Bildes, wie weißen Bereichen,
die mit dem Arm und der Handfläche
korrespondieren, unterschieden wird (Schritt S1). Mittels der Digitalisierung
wird ein digitalisiertes Bild der Aufnahmezone 3a gewonnen,
wie beispielhaft in 4 dargestellt.
Dann wird der Schwerpunkt G des weißen Bereichs des digitalisierten
Bildes bestimmt, welcher mit den dem Arm und der Handfläche zuzuordnenden
Bildbestandteilen korrespondiert. Anschließend wird ausgehend von dem
Schwerpunkt G und einem in Längsrichtung
gerichteten Moment, das durch Analyse der Richtung bestimmt wird,
in welcher weiße
Elemente vorliegen, die den Schwerpunkt G durchqueren, eine Mittelachse
B festgelegt (Schritt S2). Durch Festlegung der Mittelachse B, die
durch den Schwerpunkt G des weißen
Bereichs läuft,
kann auf diese Weise die Position der Mittelachse B genau festgelegt
werden.
-
Anschließend wird
eine Vielzahl erster Scanpfade S1, die bezüglich der Mittelachse B rechtwinklig
verlaufen, gleichmäßig beabstandet
zwischen einer Oberseite oder Fingerspitzenseite des digitalisierten
Bildes und dem Schwerpunkt G festgelegt (Schritt S3). Dann wird
die Breite W des weißen
Bildes auf den zugeordneten Scanpfaden S1 nacheinander von der Oberseite
des digitalisierten Bildes aus bestimmt, wobei der Scanpfad S1 bestimmt
wird, auf dem das weiße
Bild die größte Breite
W hat (Schritt S4). Beim Bestimmen der Breite W des weißen Bildes
auf jedem Scanpfad S1 wird vorzugsweise nur das weiße Bild,
das beidseits der Mittelachse B kontinuierlich angeordnet ist, als
das Erfassungsobjekt herangezogen. Bei der Bestimmung des Scanpfades S1,
der der größten Breite
W des weißen
Bildes zugeordnet ist, wird eine Bestimmung dahingehend durchgeführt, ob
die Breite des weißen
Bildes, welche nacheinander ausgehend von der Oberseite des Bildes
bestimmt wurde, größer ist
als diejenige, die hinsichtlich dem unmittelbar zuvor betrachteten Scanpfad
S1 bestimmt wurde. Wenn dann ein Maximum der ermittelten Breiten
auftritt, wird der zugeordnete Scanpfad S1 als derjenige bestimmt,
der der größten Breite
des weißen
Bildes zugeordnet ist.
-
Dann
wird ein Schnittpunkt des so bestimmten Scanpfades S1, der der größten Breite
W des weißen
Bildes zugeordnet ist, und der Mittelachse B als Mittelposition
C der Handfläche
bestimmt (Schritt S5). Durch die so erfolgende Bestimmung der Mittelposition
C der Handfläche
kann die Mittelposition C der Handfläche genau bestimmt werden,
da die Breite auf Seiten des Handgelenks grundsätzlich geringer ist als die
Breite eines mittleren Bereichs der Handfläche, und zwar auch, wenn das
digitalisierte Bild in einem Bereich (Handgelenksbereich) zwischen
dem Arm und der Handfläche,
wie in 5A gezeigt, infolge
einer Armbanduhr oder eines an dem Handgelenk befestigten Armbandes
abgeschnitten ist, oder auch, wenn die Größe (Breite) des Arms, insbesondere
die Größe des Handgelenksbereichs, als
außerordentlich
groß bestimmt
wurde, wie in 5B für den Fall
dargestellt ist, dass das Handgelenk durch eine langärmelige
Bekleidung verdeckt ist, die der Fahrer trägt.
-
Anschließend wird
auf Grundlage der Mittelposition C der Handfläche und der Breite W der Handfläche, welche
wie oben beschrieben bestimmt wurden, unter den Scanpfaden S1, die
zwischen der Oberseite des digitalisierten Bildes und der Mittelposition
C angeordnet sind, eine Anzahl von Scanpfaden S1 bestimmt, von denen
für jeden
eine Breite bestimmt wurde, die gleich der oder größer als
die vorbestimmte Breite w ist (Schritt S3). Insbesondere wird geprüft, ob die
für jeden
der Scanpfade S 1 ermittelte Breite gleich der oder größer als
die vorbestimmte Breite w ist, die auf einen Wert eingestellt ist, der
1/7 bis 1/4 der maximalen Breite W an der Mittelposition C der Handfläche beträgt. Dann
wird bestimmt, ob die Anzahl an Scanpfaden S1, für die ein weißes Bild
bestimmt wurde, dessen Breite gleich der oder größer als die vorbestimmte Breite
w ist, gleich dem oder größer als
der Wert ist, der im Voraus in Übereinstimmung
mit dem Abstand zwischen benachbarten Scanpfaden S 1 festgelegt
wird. Wenn ein Weißbildbereich
vorliegt, der sich um eine festgelegte Länge oder mehr in Richtung der
Mittelachse B erstreckt, wird dieser Weißbildbereich als Finger, beispielsweise
als Zeigefinger, erkannt, der von der Handfläche absteht. Beispielsweise
wird, wenn die gemessene Länge
ausgehend von der an Hand der Anzahl an Scanpfaden S1 bestimmten
Mittelposition C der Handfläche
10 cm oder mehr beträgt,
erkannt, dass der Zeigefinger von der Handfläche absteht.
-
Der
Daumen kann in ähnlicher
Weise erfasst werden. Da das zu erfassende Objekt die linke Hand ist
und der Daumen in einer anderen Richtung als der Zeigefinger absteht,
werden zweite Scanpfade S2 zur Erkennung des Daumens rechts von
der Mittelposition C der Handfläche
festgelegt, so dass sie gegenüber
der Mittelachse B in einem Winkel von etwa 10° geneigt sind (Schritt S7).
Das Festlegen basiert auf der Tatsache, dass der Daumen, wenn er
maximal gestreckt ist, gegenüber
der Mittelachse B leicht angestellt ist. Durch das Festlegen der
zweiten Scanpfade S2 in einer Weise, bei der sich der maximal gestreckte
Daumen im Wesentlichen rechtwinklig zu den Scanpfaden S2 erstreckt,
kann eine zuverlässige Erkennung
des Daumens erfolgen.
-
In
einem nächsten
Schritt wird die Anzahl an Scanpfaden S2 unter den zwischen der
rechten Seite des digitalisierten Bildes und der Mittelposition
C angeordneten Scanpfaden S2 bestimmt, für die eine Breite ermittelt
wurde, die gleich der oder größer als die
vorbestimmte Breite w ist (Schritt S8). Zu diesem Zeitpunkt wird
wie bei der Erkennung des Zeigefingers eine Bestimmung durchgeführt, ob
die Anzahl an Scanpfa den S2, für
die ein weißes
Bild bestimmt wurde, dessen Breite gleich der oder größer als
die Breite w ist, die auf 1/7 bis 1/4 der maximalen Breite W an
der Mittelposition C der Handfläche
festgesetzt ist, gleich einem oder größer als ein vorbestimmter Wert
ist. Wenn mindestens die vorbestimmte Anzahl an Scanpfaden S2 ermittelt
wird, wird erkannt, dass der Daumen von der Handfläche nach
rechts absteht.
-
Mittels
der oben genannten Erkennungsverarbeitung können Informationen ermittelt
werden, die das Handbild in der Aufnahmezone 3a und die
Mittelposition C der Handfläche
darstellen. Dann werden Bestimmungen hinsichtlich dessen gemacht,
ob der Zeigefinger erkannt ist und ob der Daumen erkannt ist, wobei
bestimmt wird, welches der folgenden Bilder gebildet wird: ein Bild
einer geballten Faust (Handbild 1), bei welchem alle Finger in die
Handfläche
gebeugt sind; ein Bild mit einem gestreckten Finger (Handbild 2),
bei dem nur der Zeigefinger ausgestreckt ist; ein Zustimmungsbild
(Handbild 3), bei dem nur der Daumen horizontal ausgestreckt ist;
und ein L-förmiges
Bild (Handbild 4), bei dem der Zeigefinger und der Daumen ausgestreckt
sind. Diese Bilder sind in den 6A bis 6D dargestellt.
-
Bei
dieser Ausführungsform
wird das L-förmige
Bild (Handbild 4) genutzt, um der Handbildschaltvorrichtung den
Bedienungsstart anzuzeigen. Das Handbild 3 wird in Kombination mit
dem Bild einer geballten Faust (Handbild 1) verwendet, um das Bild
eines Niederdrückens
eines Druckknopfs durch Ändern
des Handbildes auszudrücken,
wobei der Daumen ein- und ausgeschwenkt wird. Das Handbild 3 wird
genutzt, um Informationen hinsichtlich der Auswahl zu steuernder
Objekte einzugeben. Das Bild mit gestrecktem Finger (Handbild 2)
dient dazu, ein Bild einer Anzeigenadel eines analogen Instrumentes
auszudrücken
und wird verwendet, um dem gesteuerten Objekt durch Änderung
der Position der Fingerspitze (oder der Handfläche) einen Betätigungsumfang
anzuzeigen. Das Bild einer geballten Faust (Handbild 1) wird auch
verwen det, um das Betriebsende der Handbildschaltvorrichtung anzuweisen.
-
In
dem eine angewiesene Betätigung
erkennenden Erkennungsabschnitt 14 werden das Handbild
und die Änderung
der wie oben erkannten Position der Handfläche der Erkennungsverarbeitung
unterzogen, die gemäß den beispielhaft
in 7 dargestellten Prozeduren
durchgeführt
wird, wobei Schaltvorgänge,
die mittels der Fahrerhand bzw. mittels der Hand des Bedieners angewiesen
werden, interpretiert werden und mit einem Schaltvorgang korrelierte Informationen
an die gesteuerten Objekte ausgegeben werden.
-
Insbesondere
werden dem Erkennungsabschnitt 14 Daten übergeben,
die Ergebnisse der Erkennung in dem Bilderkennungsabschnitt 13 und
Informationen hinsichtlich der Mittelposition C der Handfläche wiedergeben
(Schritt S11). Dann wird ein Flag F abgeprüft, das verwendet wird, um
zu unterscheiden, ob eine Schalterbetätigung angewiesen ist (Schritt
S12). Wenn das Flag F nicht gesetzt ist (F = 0), wird bestimmt,
ob das Handbild das L-förmige Handbild
(Handbild 4) ist, das den Bedienungsstart angibt (Schritt S13).
Wenn das Handbild 4 erkannt wird, wird das Flag F gesetzt (Schritt
S14), wobei die Eingabe von mit einem Schaltvorgang korrelierten
Informationen gestartet wird. Wenn das Handbild 4 nicht erfasst
wird, wird die vorgenannte Verarbeitung so lange wiederholt, bis
das Handbild 4 ermittelt wird.
-
Wenn
das Flag F gesetzt ist (F = 1), wird festgelegt, dass die Eingabe
und die damit korrelierte Verarbeitung für die Schalterbetätigung schon
gestartet ist (Schritt S12). So wird eine Bestimmung bezüglich eines
Flag M durchgeführt,
die verwendet wird, um zu unterscheiden, ob ein Funktionsauswahlmodus
zur Spezifizierung eines gesteuerten Objekts gesetzt ist (Schritt
S15). Wenn das Flag M nicht gesetzt ist (M = 0), wird bestimmt,
ob das Handbild das Handbild 3 ist, das genutzt wird, um ein zu
steuerndes Objekt auszuwählen
(Schritt S16). Wenn das Handbild 3 ermittelt wird, wird das Flag
M auf 1 gesetzt (M = 1), wobei der Modus zur Auswahl eines gesteuerten
Objekts eingestellt wird (Schritt S 17). Wenn das Handbild 3 nicht
ermittelt wird, wird die zuletzt genannte Verarbeitung zum Einlesen
eines Schalterbetätigungsumfangs
durchgeführt,
wobei festgelegt wird, dass ein zu steuerndes Objekt schon spezifiziert
ist.
-
Wenn
das Handbild 3 ermittelt wird und der Modus zur Auswahl eines gesteuerten
Objekts eingestellt ist, wird bestimmt, ob das Handbild dem Bild einer
geballten Faust (Handbild 1) entspricht (Schritt S18). Wenn das
Handbild 1 ermittelt wird, wird bestimmt, ob das unmittelbar zuvor
ermittelte Handbild das Handbild 3 war (Schritt S19). Wenn der Wechsel von
dem Handbild 3 zu dem Handbild 1 detektiert wird, wird das gesteuerte
Objekt geändert,
wobei berücksichtigt
wird, dass die Änderung
des Handbildes die Anweisung darstellt, die gesteuerten Objekte
zu wechseln (Schritt S20). Es kann der Fall auftreten, dass drei
Objekte zu steuern sind, zwischen denen gewechselt werden kann,
von denen eines die Lautstärke
eines Audiosystems, ein zweites die Temperatur einer Klimaanlage
und ein drittes die Gebläsestärke einer
Klimaanlage darstellt. In diesem Fall können die gesteuerten Objekte
zyklisch durchgeschaltet werden, wie später erläutert werden wird.
-
Inzwischen
wird, auch wenn das Handbild 1 in dem vorliegenden Zyklus detektiert
wird und wenn das Handbild in dem unmittelbar vorausgehenden Zyklus
nicht das Handbild 3 war (Schritt S19), die Verarbeitung von dem
Schritt S11 aus fortgesetzt, wobei berücksichtigt wird, dass der Wechsel
von dem Handbild 3 zu dem Handbild 1 nicht in dem Modus zur Auswahl
eines gesteuerten Objekts durchgeführt wurde. Wenn das Handbild
1 nicht im Schritt S 18 ermittelt wird, wird dann bestimmt, ob das
detektierte Handbild das Handbild 3 ist (Schritt S12). Wenn das detektierte
Handbild das Handbild 3 ist, wird die Verarbeitung von Schritt S11
aus fortgesetzt, wobei berücksichtigt
wird, dass das Handbild 3 in dem Modus zur Auswahl eines gesteuerten
Objekts unverändert bleibt.
Wenn das ermittelte Handbild weder das Handbild 1 noch das Handbild
3 ist (Schritte S18 und S21), wird das Flag M auf 0 zurückgesetzt
(M = 0) und wird der wie oben gesetzte Modus zur Auswahl eines gesteuerten
Objekts verlassen.
-
Wenn
das Handbild 3 nicht in einem Zustand ermittelt wird, in dem der
Modus zur Auswahl eines gesteuerten Objekts nicht gesetzt ist (Schritt
S16) oder wenn der Modus zur Auswahl eines gesteuerten Objekts verlassen
wurde (Schritt S22), wird bestimmt, ob das Handbild das Bild mit
gestrecktem Finger (Handbild 2) ist, bei dem nur der Zeigefinger ausgestreckt
ist (Schritt S23). Wenn das Handbild 2 ermittelt wird, wird die
nachfolgend erläuterte
Verarbeitung ausgeführt,
um den Schalterbetätigungsumfang
zu ermitteln (Schritt S24). Wenn das Handbild 2 im Schritt S23 nicht
ermittelt wird, wird bestimmt, ob das Handbild das Handbild mit
der geballten Faust (Handbild 1) ist (Schritt S25). Wenn das Handbild
1 vorliegt, wird ein Zeitnehmer t aktiviert (Schritt S26) und wird
hinsichtlich des hochzählenden
Zeitnehmers t bestimmt, ob eine vorbestimmte Zeit T abgelaufen ist.
Wenn das Handbild 1 für
die vorbestimmte Zeit T oder länger
gehalten wird, werden die Flags F und M auf 0 zurückgesetzt
(F = 0, M = 0) und werden die vorgenannten Verarbeitungsschritte
beendet, wobei berücksichtigt
wird, dass die Schalterbetätigungsbeendigung
angewiesen ist (Schritt S28). Wenn das Handbild weder das Handbild
2 noch das Handbild 1 ist (Schritte S23 und S25), wird die Verarbeitung
von Schritt S11 aus fortgesetzt, um die nächste eingegebene Anweisung
abzuwarten. Wenn das Handbild 1 nicht für mindestens die vorbestimmte
Zeit T gehalten wird, was vorliegt, wenn das Handbild innerhalb der
vorbestimmten Zeit T wieder zu dem Handbild 2 geändert wird, wird die Verarbeitung
von Schritt S11 aus fortgesetzt, was es ermöglicht, eine erneute Betätigung vorzunehmen.
-
Es
folgt eine genaue Beschreibung der Verarbeitung zur Bestimmung des Schalterbetätigungsumfangs
als Antwort auf das Bild mit gestrecktem Finger (Handbild 2). Eine
solche Verarbeitung wird grundsätzlich
gemäß den in 8 dargestellten Verarbeitungsprozeduren
durchgeführt.
Zu Beginn der Verarbeitung zur Bestimmung des Schalterbetätigungsumfangs
wird bestimmt, ob ein Flag K gesetzt ist, das verwendet wird, um
zu erkennen, ob der Modus zum Festsetzen des Betätigungsumfangs gesetzt ist
(Schritt S31). Wenn der Modus zum Setzen des Betätigungsumfangs nicht gesetzt
ist (K = 0), wird die wie oben beschrieben bestimmte Mittelposition
C der Handfläche
auf eine Referenzposition CO zur Bestimmung des Betätigungsumfangs
gesetzt (Schritt S32). Dann wird das Flag K auf 1 gesetzt (K = 1),
wodurch der Modus zum Setzen des Betätigungsumfangs gesetzt wird
(S33), und ein Zeitnehmerwert t, der in dem Modus zum Setzen des
Betätigungsumfangs
genutzt wird, wird auf 0 zurückgesetzt (Schritt
S34).
-
Was
die nachfolgend eingelesenen Daten betrifft, wird bestimmt, dass
das Flag K gesetzt wird (Schritt S31). Daher wird der Abstand der
Abweichung zwischen der zu diesem Zeitpunkt bestimmten Mittelposition
C der Handfläche
und der Referenzposition Cp, d.h. eine von der Referenzposition
CO aus zurückgelegte
Strecke D, bestimmt (Schritt S35). Um die zurückgelegte Strecke D zu berechnen,
ist es ausreichend, einen Abstand zwischen den Bestandteilen in
dem eingelesenen Bild zu bestimmen. Gemäß der so bestimmten, zurückgelegten
Strecke und festgelegter Modi zur Ermittlung des Betätigungsumfangs
(S36) wird eine Verarbeitung zur Ermittlung des Betätigungsumfangs
in einem Zeitmodus (Schritt S37) oder in einem Abstand/Zeit-Modus
(Schritt S38) selektiv durchgeführt.
-
Der
Zeitmodus ist ein Modus, in dem mit einem Schaltvorgang korrelierte
Informationen in Übereinstimmung
mit einer Haltezeit ausgegeben werden, für welche die von der Referenzposition
CO verschobene Hand gehalten wird. Der Zeitmodus ist beispielsweise
geeignet zur Einstellung der Lautstärke eines Audiosystems und
zur Einstellung der Temperatur bei einer Klimaanlage. Der Abstand/Zeit-Modus ist
ein Modus, in dem in Übereinstimmung
mit einem Umfang einer Handbewegung die bestimmten, mit einem Schaltvorgang
korrelierten Informationen ausgegeben werden, wenn die Hand geringfügig bewegt wird,
wobei die Informationen, die gemäß einer
Haltezeit der Hand an einer verschobenen Stelle ermittelt wurden,
ausgegeben werden, wenn die Hand um eine vorbestimmte Strecke oder
mehr zu der verschobenen Position bewegt wird. Der Abstands/Zeit-Modus
ist beispielsweise für
gesteuerte Objekte geeignet, die nach einer Grobeinstellung einer
Feineinstellung unterzogen werden.
-
Bei
dieser Ausführungsform
wird die Anweisung zum Einlesen des Schalterbetätigungsumfangs mittels des
Bildes mit gestrecktem Finger (Handbild 2) so durchgeführt, dass
die Handfläche
bezüglich des
auf der Armlehne 5 liegenden Arms nach rechts und nach
links bewegt wird oder dass die Hand bezüglich des als Drehachse dienenden
Handgelenks bewegt wird. Eine solche Handflächen/Hand-Bewegung nach rechts
und nach links wird innerhalb eines Bereiches durchgeführt, der
nicht außerhalb
der Aufnahmezone 3a liegt, und zwar beispielsweise innerhalb
eines Winkelbereichs von ungefähr ± 45°. Bei dieser
Ausführungsform
wird der Umfang der Handbewegung mit dem Handbild 2 in n Schritten
ermittelt.
-
9 zeigt beispielhaft die
Verarbeitungsprozeduren zur Bestimmung des Betätigungsumfangs in dem Zeitmodus.
Hierbei wird zuerst eine Bestimmung durchgeführt, um zu ermitteln, ob ein
Bewegungsumfang D, der ausgehend von der Handflächenreferenzposition CO gemessen
wurde, einen voreingestellten Wert (Grenzwert) H oder -H überschreitet,
der zur Bestimmung eines maximalen Bewegungsumfangs genutzt wird
(Schritt S40). Wenn die zurückgelegte
Strecke D den voreingestellten Wert (Grenzwert) H oder -H nicht
erreicht, wird ein Zeitnehmerwert t auf 0 gesetzt (Schritt S41).
Hierauf wird die Verarbeitung ausgehend von Schritt S11 fortgesetzt.
-
Wenn
im Schritt S40 bestimmt wird, dass die zurückgelegte Strecke D den voreingestellten
Wert (Grenzwert) H überschreitet,
wird der Zeitnehmerwert t erhöht
(Schritt S42). Wenn der aufwärts
zählende
Zeitnehmerwert t eine Referenzzeit T erreicht (schritt S43), wird
die Einstellung (mit einer Schalterbetätigung korrelierte Informationen)
zu diesem Zeitpunkt um eine Stufe erhöht (Schritt S44). Dann wird der
Zeitnehmerwert t auf 0 zurückgesetzt
(Schritt S45), und die Verarbeitung wird von Schritt S11 aus fortgesetzt.
-
Wenn
in dem Schritt S40 bestimmt wird, dass die zurückgelegte Strecke den Grenzwert
-H in der entgegengesetzten Richtung übersteigt, wird der Zeitnehmerwert
t erhöht
(Schritt S46). Wenn ermittelt wird, dass der aufwärts zählende Zeitnehmerwert
t die Referenzzeit T erreicht (Schritt S47), wird die Festsetzung
(mit einer Schalterbetätigung
korrelierte Informationen) zu dieser Zeit um eine Stufe verringert (Schritt
S48). Dann wird der Zeitnehmerwert t auf 0 zurückgesetzt (Schritt S49). Hierauf
wird die Verarbeitung vom Schritt S11 aus fortgesetzt. Durch eine solche
Reihe von Verarbeitungsschritten wird, wenn die Handfläche mit
abgespreiztem Zeigefinger um die vorbestimmte Strecke nach links
und nach rechts bewegt wurde und dort anhält, die Betätigungsinformation (Stellgröße) für das gesteuerte
Objekt Stufe um Stufe in Übereinstimmung
mit der Haltezeit vergrößert oder
verringert und die mit einer Schalterbetätigung korrelierten Informationen
werden ausgegeben.
-
In 10 sind die Verarbeitungsprozeduren zur
Ermittlung des Betätigungsumfangs
in dem Abstand/Zeit-Modus beispielhaft dargestellt. Hierbei wird
zunächst
bestimmt, ob ein Verschiebebetrag D, der ausgehend von der Handflächenreferenzposition CO
gemessen wird, einen voreingestellten Wert (Grenzwert) H oder -H überschreitet,
der zur Bestimmung eines maximalen Verschiebebetrags genutzt wird
(Schritt S50). Wenn der zur Bestimmung genutzte Grenzwert H oder
-H überschritten
wird, wird die Betätigungsinformation
(Stellgröße) für das gesteuerte
Objekt, wie in dem Fall des Zeitmodus, in Übereinstimmung mit der Haltezeit
der Handfläche
mit ausgestrecktem Zeigefinger an der maximalen Verschiebeposition
veränderlich
gesetzt, wie in den Schritten S42a bis S45a und den Schritten S46a
bis S49a gezeigt.
-
Wenn
in dem Schritt S50 ermittelt wird, dass die zurückgelegte Strecke D der Handfläche ausgehend
von der Referenzposition CO nicht den maximalen Verschiebebetrag
erreicht, werden die derzeit und unmittelbar zuvor ermittelten,
zurückgelegten Strecken
D und D' miteinander
verglichen, um dadurch die Bewegungsrichtung der Handfläche mit
abgespreiztem Zeigefinger zu ermitteln (Schritt S51). Wenn die Bewegungsrichtung
die aufsteigende Richtung ist, wird ermittelt, ob die Bedingung
1 erfüllt
wird. Insbesondere wird ermittelt, ob die gemessene, gegenwärtig zurückgelegte
Strecke D ausgehend von der Referenzposition CO größer als
eine Detektionsstrecke [h·(n
+ 1)] ist, die als Mehrfachintegral einer vorbestimmten Einheitsstrecke
h definiert ist, und ob zur gleichen Zeit die unmittelbar zuvor
ermittelte, zurückgelegte
Strecke D' gleich
der oder geringer als die gerade genannte Detektionsstrecke ist
(Schritt S52). n ist ein Parameter, der zur Festlegung der Detektionsstrecke
genutzt wird. Wenn sich die Handfläche gegenwärtig in der aufsteigenden Richtung über die
Detektionsstrecke [h·(n
+ 1)], die zur Bestimmung genutzt wird, hinausbewegt und wenn die
zuvor zurückgelegte
Strecke D' gleich
der oder geringer als die Detektionsstrecke ist, heißt das,
wenn sich die Handfläche
um eine vorbestimmte Strecke oder mehr in der aufsteigenden Richtung
von dem vorausgehenden Zyklus zu dem derzeitigen Zyklus bewegt, dass
die Bedingung 1 D > h·(n + 1)
und D' ≤ h· (n +
1) erfüllt
ist. Der Parameter n wird dann erhöht, um die Detektionsstrecke
für die
nächste
Bestimmung festzulegen (Schritt S54), wobei die Betätigungsinformation
(Einstellung) für
das gesteuerte Objekt um eine Stufe erhöht wird (Schritt S56).
-
Wenn
die in Schritt S51 ermittelte Bewegungsrichtung die abfallende Richtung
ist, wird bestimmt, ob Bedingung 2 erfüllt ist. Insbesondere wird bestimmt,
ob die gegenwärtig
ermittelte, zurückgelegte
Strecke D ausgehend von der Referenzposition Cp kleiner als eine
Detektionsstrecke (h·(n – 1)] ist, die
als Mehrfachintegral der festgelegten Einheitsstrecke definiert
ist, und ob die unmittelbar zuvor ermittelte, zurückgelegte
Strecke D' gleich
der oder größer als
die Detektionsstrecke ist (Schritt S53). Wenn sich die Handfläche gegenwärtig in
der abfallenden Richtung über
die zur Bestimmung genutzte Detektionsstrecke [h·(n – 1)] bewegt und wenn die zuvor
zurückgelegte
Strecke D' gleich
der oder größer als
die Detektionsstrecke ist, heißt
das, wenn die Handfläche
sich um die vorbestimmte Strecke oder mehr in die abfallende Richtung
von dem vorherigen Zyklus zu dem gegenwärtigen Zyklus bewegt, dass die
Bedingung 2 D > h·(n – 1) und
D' ≥ h·(n – 1) erfüllt ist,
wobei der Parameter n verkleinert wird, um die Detektionsstrecke
für die
nächste
Bestimmung festzulegen (Schritt S55), wobei die Betätigungsinformation
(Einstellung) für
das gesteuerte Objekt um eine Stufe verkleinert wird (Schritt S57).
-
Mit
der gemäß dem Abstand/Zeit-Modus ausgeführten Bestimmung
des Betätigungsumfangs ist
es möglich,
in Abhängigkeit
von der zurückgelegten
Strecke D der Handfläche
mit dem abgespreizten Zeigefinger den Schalterbetätigungsumfang
im Wesentlichen kontinuierlich zu liefern, wobei die zurückgelegte
Strecke D ausgehend von der Referenzposition Cp gemessen wird. Wenn
die Handfläche
mit dem abgespreizten Zeigefinger in großem Maße bewegt wird, kann der Schalterbetätigungsumfang
in Übereinstimmung
mit einer Haltezeit der Handfläche an
einer Halteposition kontinuierlich geändert werden. So kann der Schalterbetätigungsumfang
in Übereinstimmung
mit der Handflächen-
oder Handbewegung unmittelbar festgelegt werden. Zudem kann der
Schalterbetäti gungsumfang,
wenn erforderlich, genau festgelegt werden.
-
Durch
Verwendung des befehlsgeführten
Erkennungsabschnitts 14, der das Hand/Finger-Bild und die
Handflächenbewegung
ermittelt, um daraus die von dem Fahrer bzw. dem Schalterbediener
beabsichtigte Schalterbedienung zu erkennen, kann eine Schaltinformation
für verschiedene
gesteuerte Objekte dadurch eingelesen werden, dass einfach ein vorher
festgelegtes Handbild erzeugt wird und die Hand und/oder Handfläche, wie
beispielhaft in 11 dargestellt,
bewegt wird, ohne dass der Bedienabschnitt 2 des Audiosystems,
der Klimaanlage und/oder dergleichen berührt werden muss.
-
Insbesondere
bewegen sich die Fahrerhände,
wenn der Fahrer das Lenkrad 1 zum Fahren des Kraftfahrzeugs
umgreift, außerhalb
der Bildaufnahmezone 3a, wie durch den anfänglichen
Zustand P1 dargestellt. Das eingelesene Bild zu diesem Zeitpunkt
umfasst nur Bildbestandteile, die als den Hintergrund der Fahrgastzelle
darstellende Bestandteile entfernt werden, so dass die Handbildschaltvorrichtung
nicht arbeitet. Andererseits, wird, wenn eine Fahrerhand das Lenkrad 1 loslässt und
dann zu einem L-förmigen
Bild (Handbild 4) geformt in die Bildaufnahmezone 3a eintritt,
wie durch den Betriebszustand P2 dargestellt, bestimmt, dass die
Handbildschaltvorrichtung angewiesen ist, den Betrieb zu starten.
Nach der Ausgabe eines Bestätigungstons, wie
eines Pieptons, wird die Handbildschaltvorrichtung in einen Bereitschaftszustand
versetzt.
-
Anschließend wird,
wenn das Bild (Handbild 3), bei dem nur der Daumen horizontal ausgestreckt ist
und das gemäß dem dargestellten
Betriebszustand P3 gesetzt ist, ein solches Bild ermittelt und der Funktionswechselmodus
(Modus zur Auswahl eines gesteuerten Obj ekts) eingestellt. Zu diesem
Zeitpunkt wird, um den Fahrer über
das Setzen des Funktionswechselmodus zu informieren, eine Klangmeldung
abgegeben oder eine Musikbox betätigt. Während dieser
Zeit wird, wenn der Daumen in die Handfläche gebeugt ist, um das Bild
mit geschlossener Faust (Handbild 1) zu bilden, bestimmt, dass ein Druckschalterschaltvorgang
angewiesen wird, und das gesteuerte Objekt wird gewechselt. Zum
Zeitpunkt des Wechsels des gesteuerten Objektes kann eine Sprachführung (Sprachbotschaft)
abgegeben werden. Diese kann beispielsweise lauten "Lautstärkeeinstellmodus
ist eingestellt", "Temperatureinstellmodus
ist eingestellt" oder "Gebläsestärkeeinstellmodus
ist eingestellt".
Dies kann zu jedem Zeitpunkt einer gemäß obigen Ausführungen
ermittelten Schalterbetätigung
erfolgen, die der Lautstärke,
der Temperatur, der Gebläsestärke oder
dergleichen zugeordnet sein kann. Vereinfacht kann auch ein Wort
wie "Lautstärke", "Temperatur", "Gebläsestärke" als Sprachbotschaft
wiedergegeben werden. Solch eine Führung ermöglicht es dem Fahrer, einen
Zustand eines Schaltvorgangs zu erkennen, ohne dass der Schaltvorgang
visuell bestätigt
werden muss. Der Fahrer kann sich auf das Fahren konzentrieren.
-
Nachdem
das gewünschte
gesteuerte Objekt eingestellt ist, wird das Bild mit ausgestrecktem Finger
(Handbild 2) gebildet, wie im Betriebszustand P4 dargestellt. Daraufhin
wird das Handbild 2 erkannt und der Betätigungsumfangeinstellmodus
wird eingestellt. Dadurch, dass die voreingestellten Betriebsmodi
berücksichtigt
werden, wird die Handfläche
mit dem einen abgespreizten Finger aufweisenden Bild (Handbild 2)
wie im Betriebszustand P5a oder P5b dargestellt nach links oder
nach rechts bewegt, wobei die Information bezüglich des Schalterbetätigungsumfangs
für das
gesteuerte Objekt, das wie oben erläutert eingestellt ist, eingegeben
wird. Wenn der gewünschte
Schaltvorgang ausgeführt
ist, wird das einer geschlossenen Faust entsprechende Bild (Handbild
1) gebildet, wie im Betriebszustand P6 dargestellt, wobei die Handbildschaltvorrichtung
angewiesen wird, die Beendigung des Schaltvorgangs anzuzeigen.
-
Während die
Handfläche
mit abgespreiztem Finger (Handbild 2) nach rechts und nach links
bewegt wird, um die Information hinsichtlich des Schalterbetätigungsumfangs
einzugeben, wird, wenn das Bild gebildet ist, bei dem nur der Daumen
horizontal abgespreizt ist (Handbild 3), die Bearbeitung zum Einlesen
der Information bezüglich
des Schalterbetätigungsumfangs
zur gleichen Zeit beendet. In diesem Fall kann die Verarbeitung
zur Auswahl/zum Wechsel des gesteuerten Objekts und die nachfolgende
Verarbeitung erneut durchgeführt
werden. Hierfür
können,
auch wenn eine Vielzahl gesteuerter Objekte nacheinander betätigt wird,
kontinuierliche und wiederholte Betätigungen des gesteuerten Objekts durchgeführt werden,
ohne dass die die Erkennung bewirkende Verarbeitung unterbrochen
wird. Dies ermöglicht
eine einfache Bedienung.
-
Mit
der Handbildschaltvorrichtung, die wie oben beschrieben aufgebaut
ist, können
Schalterbetätigungsanweisungen,
die auf vorbestimmten Handbildern basieren, und Bewegungen einfach
und effektiv mit einer hohen Zuverlässigkeit und ohne Beeinträchtigung
eines Fahrvorgangs durch Hand/Finger-Bewegungen und Armbewegungen
ermittelt werden. In Übereinstimmung
mit den gewonnenen Ergebnissen können
mit einer Schalterbetätigung
korrelierte Informationen der gewünschten fahrzeuggestützten Vorrichtung
korrekt zur Verfügung
gestellt werden. Die Belastung des Fahrers aufgrund der Bedienung
der Handbildschaltvorrichtung ist verringert oder beseitigt, da
der Bereich (Bildaufnahmezone 3a), in dem ein Hand/Finger-Bild
aufgenommen wird, das zur Abgabe von mit einer Schalterbetätigung korrelierten
Informationen dient, an einer Stelle seitlich neben dem Lenkrad
angeordnet ist und so liegt, dass der Fahrer ohne Änderung
einer Fahrhaltung den Arm auf natürliche Weise bis zu diesem
Bereich strecken kann. Die Handbildschaltvorrichtung kann praktische
Vorteile aufweisen, so wie beispielsweise, dass der Fahrer durch
Verwendung der Handbildschaltvorrichtung auf einfache Weise Anweisungen oder
mit einer Schalterbetätigung
korrelierte Informationen eingeben kann, wobei er das Gefühl hat,
dass er den Bedienabschnitt 2 des Audiosystems oder dergleichen
direkt bedient.
-
Insbesondere
wird bei der Handbildschaltvorrichtung die Mittelachse, die sich
in Richtung der Fingerspitze erstreckt, aus einem digitalisierten
Bild der Handfläche
gewonnen, wobei die Fingerbreiten der Hand auf Scanpfaden, die sich
rechtwinklig zu der Mittelachse erstrecken, nacheinander bestimmt werden
und ein Schnittpunkt der Mittelachse und eines Scanpfades, der mit
einer maximalen Fingerbreite korrespondiert, als Handflächenmitte
festgelegt wird. Dies ermöglicht
eine zuverlässige
Erkennung eines Handflächenbereichs
in dem digitalisierten Bild. Auch wenn der Bediener ein langärmeliges Hemd
und/oder eine Armbanduhr oder dergleichen trägt, können die Handflächemitte
und der Handflächenbereich
zuverlässig
detektiert werden, ohne dass eine Beeinträchtigung durch Bildbestandteile vorliegt,
die dem Hemd oder dergleichen zuzuordnen sind.
-
Bei
der Handbildschaltvorrichtung werden Scanpfade zur Fingerdetektion
in der Richtung rechtwinklig zur Erstreckung eines zu detektierenden
Fingers festgelegt, und ein Bildbestandteil, für den eine Breite, die gleich
einer oder größer als
eine vorbestimmte Breite ist, wird auf jedem Scanpfad ermittelt. Diese
Breite wird als Fingerbreite festgelegt. Ob der Finger von der Handfläche abgestreckt
ist, wird dann auf Grundlage der Anzahl an Scanpfaden bestimmt, auf
denen eine Fingerbreite ermittelt wird, die mindestens dem vorbestimmten
Wert entspricht. Daher kann ein Fingerbild leicht und zuverlässig erkannt bzw.
detektiert werden. Insbesondere können durch Bestimmung ausgestreckter
Zustände
des Zeigefingers und des Daumens von der Handfläche durch positive Nutzung
einer Differenz zwischen Richtungen, in denen diese Finger ausgestreckt
werden können, individuelle
Merkmale der Handbilder bei der Handbilderkennung zuverlässig herangezogen
werden. Dies ermöglicht
eine sichere Erkennung des Handbildes und der Handbewegung (Positionsänderung), und
zwar selbst mittels vereinfachter, günstigerer Bildverarbeitungsverfahren,
was unter anderem dazu führt,
dass Bedienungen verein facht werden können.
-
Die
vorliegende Erfindung ist nicht auf das vorstehende Ausführungsbeispiel
beschränkt.
Bei diesem Ausführungsbeispiel
erfolgten die Erläuterungen
unter der Annahme, dass die Erfindung bei einem Kraftfahrzeug mit
rechts angeordnetem Lenkrad angewendet wird. Die Erfindung ist natürlich auch
bei einem Kraftfahrzeug mit einem links angeordneten Lenkrad anwendbar.
Die Erfindung ist bei herkömmlichen
Personenkraftwagen und auch bei großen Kraftfahrzeugen, wie Lastwagen,
anwendbar. Das gesteuerte Objekt kann außerdem die Betätigung einer
Scheibenwischersteuerung, die Einstellung einer Intervallschaltung
des Scheibenwischers, eine Seitenspiegel-Öffnungs/Schließ-Steuerung
und/oder dergleichen sein, wie in 12 beispielhaft
dargestellt. In dem dargestellten Fall sind die gesteuerten Objekte
in Form einer sich zunehmend verzweigenden Baumstruktur klassifiziert,
so dass ein gewünschtes
Objekt schrittweise ausgewählt
werden kann.
-
Insbesondere
sind die gesteuerten Objekte allgemein in "Fahreinrichtungen" und "Komforteinrichtungen" klassifiziert. Die Fahreinrichtungen
sind wiederum in "Richtungsanzeiger", "Wischer", "Licht" und "Spiegel" klassifiziert. Funktionalitäten jedes
dieser gesteuerten Objekte, die zu der gleichen mittleren Klasse
gehören,
sind weiter in engere Klassen unterteilt. Entsprechend sind die
Komforteinrichtungen in mittlere Klassen wie "Audio" und "Klimaanlage" unterteilt. Das Audiosystem ist in
Einrichtungstypen, wie "Radio", "CD", "Tape" und "MD" unterteilt. Jeder Einrichtungstyp
ist weiter in Funktionalitäten,
wie Betriebsmodus und Lautstärke,
klassifiziert. Unter dem Gesichtspunkt einer einfachen Bedienung
wird die Einstellung so durchgeführt,
dass nur das erforderliche Minimum gesteuerter Objekte auswählbar ist,
da der Auswahlvorgang kompliziert wird, wenn die Einstellung mit
einer großen
Anzahl an Klassen durchgeführt
werden muss.
-
Natürlich sind
die Handbilder, die zur Eingabe von Informationen genutzt werden,
nicht auf die oben beispielhaft beschriebenen beschränkt. Vielmehr
kann die Erfindung auf verschiedene Weise modifiziert werden, ohne
deren Umfang zu verlassen.
-
Bei
der derartig aufgebauten Handbildschaltvorrichtung wird ein Finger
einer Hand durch die Verwendung erster Scanpfade, die so festgelegt
sind, dass sie sich rechtwinklig zu der Mittelachse erstrecken,
die sich in einem digitalisierten Bild von einem Armbereich zu einer
Fingerspitze erstrecken, und/oder zweiter Scanpfade detektiert,
die so festgelegt sind, dass sie sich längs der Mittelachse erstrecken.
Es ist daher möglich,
zuverlässig
zu detektieren, ob ein Finger der Hand ausgestreckt ist, ohne dass
dabei Bildbestandteile, die einem langärmeligen Hemd, einer Armbanduhr
oder dergleichen zuzuordnen sind, welche gelegentlich von dem Bediener getragen
werden, beeinträchtigt
werden. So kann das Handbild genau bestimmt werden. Insbesondere wird
die Mittelachse bestimmt, wobei sie sich durch die Handflächenmitte
erstreckt, und eine Fingerbreite wird ermittelt, die mindestens
1/7 bis 1/4 einer auf einem durch die Handflächenmitte laufenden Scanpfad ermittelten
Breite entspricht, wodurch eine Bestimmung erfolgt, ob ein Zeigefinger
oder ein Daumen ausgestreckt ist. Somit kann das Fingerbild leicht
und zuverlässig
erkannt bzw. detektiert werden.
-
Als
Folge können
das Handbild und die Handbewegung zuverlässig erkannt werden, wobei der
Aufwand der Erkennungsverarbeitung reduziert wird, bei der das Handbild
und/oder die Handflächen- bzw.
Fingerspitzenbewegung detektiert wird, und werden mit einer Schalterbetätigung korrelierte
Informationen an verschiedene gesteuerte Obj ekte übergeben.