DE69829424T2

DE69829424T2 - Hinweisvorrichtung, die das Bild einer Hand verwendet

Info

Publication number: DE69829424T2
Application number: DE69829424T
Authority: DE
Inventors: Kenichi c/o Tech. Lab. of Takenaka Corp. Harakawa; Kenichi C/O Takenaka Corporation Unno; Norio C/O Tech.Lab. Of Takenaka Corp Igawa
Original assignee: Takenaka Corp
Current assignee: Takenaka Corp
Priority date: 1997-03-21
Filing date: 1998-03-18
Publication date: 2006-05-04
Anticipated expiration: 2018-03-19
Also published as: JPH10326148A; DE69824225D1; DE69829424D1; DE69828912T2; KR100328648B1; EP0866419A3; EP1329838A2; EP1329839A2; EP0866419B1; EP1329838B1; JP3749369B2; EP1329839A3; KR19980080509A; EP1329839B1; US20010043719A1; US6385331B2; EP0866419A2; DE69824225T2; DE69828912D1; EP1329838A3

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Anzeigevorrichtung gemäß dem Oberbegriff des Anspruchs 1. Eine Vorrichtung dieser Art ist aus JP - 08 328 735 bekannt.
Stand der Technik
Es ist eine Handzeigeeingabevorrichtung bekannt, welche aufweist: eine Anzeige zum Anzeigen vorbestimmter Informationen, eine Beleuchtungsvorrichtung zur Beleuchtung einer informationseingebenden Person, welche zur Anzeige kommt, und eine Mehrzahl von Bildaufnahmevorrichtungen, um das Bild der sich nähernden informationseingebenden Person aus unterschiedlichen Richtungen aufzunehmen, wobei eine Mehrzahl von Bildaufnahmevorrichtungen Aufnahmebilder aus Situationen abbildet, wo die sich nähernde informationseingebende Person mit einem Finger oder ähnlichem auf eine optionale Position auf der Anzeige zeigt, wobei die informationseingebende Person gemäß einer Mehrzahl von Bildern erfaßt wird, welche durch die Bildaufnahme erzielt werden, wobei die Position auf der Anzeige auf welche von der informationseingebenden Person gezeigt wird, bestimmt ist, wobei ein Cursor oder ähnliches an der Position angezeigt wird, auf welche auf der Anzeige hingedeutet wird, wird zu der Zeit als angeklickt erkannt, wenn die Tatsache erfaßt wird, dass die informationseingebende Person ein Anklicken durch Anheben eines Daumens durchgeführt hat, wodurch eine vorbestimmte Verarbeitung durchgeführt wird (siehe z. B. japanische Patentoffenlegungsschrift (JP-A) Nr. 4-271423, 5-19957, 5-324181 oder ähnliches).
Weil gemäß der oben beschriebenen Handzeigeeingabevorrichtung die informationseingebende Person unterschiedliche Anweisungen an eine informationsverarbeitende Vorrichtung geben kann und unterschiedliche Informationen an die informationsverarbeitende Vorrichtung eingibt, ohne eine Eingabevorrichtung wie z. B. eine Tastatur oder eine Computer-Maus zu berühren, ist es möglich, die Betätigung zum Gebrauch der Informationsverarbeitungsvorrichtung zu vereinfachen.
In einer Umgebung, wo die Handzeigeeingabevorrichtung tatsächlich betätigt wird, kann jedoch ein Objekt existieren, welches nicht ein zu erkennender Gegenstand ist, z. B. das Gepäck der informationseingebenden Person oder Abfall in der Umgebung der informationseingebenden Person, welche der zu erkennende Gegenstand ist. Der Bereich um die informationseingebende Person wird genauso durch das Beleuchtungslicht beleuchtet, welches von der Beleuchtungsvorrichtung emittiert wird. Wenn somit das oben beschriebene Objekt, welches nicht der zu erkennende Gegenstand ist, um die informationseingebende Person existiert, ist dieses Objekt, welches nicht der zu erkennende Gegenstand ist, als ein Objekt hoher Leuchtdichte in den von der Bildaufnahmevorrichtung aufgenommenen Bildern vorhanden. Somit besteht eine hohe Wahrscheinlichkeit, dass ein Objekt, welches nicht der zu erkennende Gegenstand ist, fälschlicherweise als die informationseingebende Person erkannt wird.
Um dieses falsche Erkennen der informationseingebenden Person zu vermeiden, ist es erforderlich, die Erkennungsgenauigkeit der informationseingebenden Person zu verbessern. Z. B. ist es notwendig, eine komplizierte Bildverarbeitung durchzuführen, wie z. B. die Gesamterkennung der informationseingebenden Person durch den Einsatz einer Mehrzahl von Bildmerkmalen zusätzlich zur Leuchtdichte (z. B. wird ein Musterabgleich oder ähnliches, basierend auf dem Gegenstand, durchgeführt, welcher eines der Bildmerkmale ist). Weil somit eine hohe Datenmenge zum Bildrechner geschickt wird, um die Bildverar beitung wie das auf den aufgenommenen Bildern basierte Erkennen durchzuführen, verursacht dies eine lange Zeit, bis die Anweisung von der informationseingebenden Person bestimmt werden kann. Um die Zeit zu reduzieren, welche für die Bestimmung der Anweisung von der informationseingebenden Person erforderlich ist, ist es notwendig, eine Bilddatenverarbeitungsanlage mit hoher Verarbeitungsgeschwindigkeit zu verwenden. Dies verursacht das Problem, dass die Kosten der Vorrichtung ansteigen.
Ferner ist eine dreidimensionale Koordinate eines Merkmalspunktes durch eine Berechnung von der Position des Merkmalspunktes der informationseingebenden Person auf dem aufgenommenen Bild bestimmt worden (z. B. eine Spitze von seinem/ihrem Zeigefinger oder ähnlichem), um dadurch die Position auf der Anzeige zu bestimmen, auf welche von der informationseingebenden Person hingezeigt wird. Jedoch ist die Berechnungsverarbeitung zur Bestimmung der dreidimensionalen Koordinate des Merkmalspunktes kompliziert. Daher wird in gleicher Weise wie im oben beschriebenen Fall eine lange Zeit für die Bestimmung der Anweisung von der informationseingebenden Person benötigt.
Eine Bewegung wie das Anheben des Daumens ist hier so definiert worden, dass sie einen Anklickvorgang bedeutet, und die Bewegung des Anhebens nur des Daumens ist somit als das Anklicken erfaßt worden. Jedoch ist der Freiheitsgrad der Bewegung gering, was unvorteilhafterweise eine schwierige Anwendung verursacht. Wenn andererseits andere Bewegungen als das Anheben des Daumens als das Anklicken erfaßt werden, wird die Verarbeitung, um das Anklicken zu erfassen, kompliziert, was unvorteilhafterweise eine lange Zeit verursacht, bevor das Anklicken erfaßt wird.
Offenbarung der Erfindung
Die vorliegende Erfindung wurde im Hinblick auf die obigen Fakten durchgeführt. Es ist das Ziel der vorliegenden Erfindung, eine Handzeigevorrichtung zu schaffen, welche eine einfache Konstruktion besitzt und welche im Stande ist, die benötigte Zeit für die Bestimmung einer Anweisung von einer zu erkennenden Person zu reduzieren, und auch im Stande ist, den Freiheitsgrad der Bewegung, welche die zu erkennende Person durchführt, zu verbessern, um die Anweisung zu geben, ohne dass eine lange Zeit bei der Bestimmung der Anweisung von der zu erkennenden Person benötigt wird.
Um dieses oben beschriebene Ziel zu erreichen, weist eine Handzeigevorrichtung die Merkmale des Anspruchs 1 auf, wobei bevorzugte Ausführungsformen durch die abhängigen Ansprüche definiert sind.
Für die Bestimmung, ob die Durchführung einer vorbestimmten Verarbeitung auf der Basis einer Änderung im Abstand zwischen einem Referenzpunkt und einem Merkmalspunkt angewiesen worden ist oder nicht, werden insbesondere z. B. die Größenordnungen der Änderung des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt verglichen. Wenn die Änderung des Abstandes einen vorbestimmten Wert oder mehr erreicht, ist es möglich, zu bestimmen, dass die Durchführung einer vorbestimmten Verarbeitung instruiert worden ist. Wenn jedoch der Abstand zwischen dem Referenzpunkt und dem Merkmalspunkt sich aufgrund anderer Bewegungen beträchtlich verändert hat, mit welchen die Durchführung einer vorbestimmten Verarbeitung nicht beabsichtigt ist, dann ist es möglich, dass die Instruktion von der zu erkennenden Person fehlerhaft sein kann.
Daher erfaßt das Verarbeitungsmittel die Änderungsrate (Geschwindigkeit) des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt, d. h. die Geschwindigkeit der Änderung, und führt eine vorbestimmte Verarbeitung durch, wenn die erfaßte Änderungsgeschwindigkeit einen Grenzwert erreicht hat oder darüber liegt.
Bei der vorliegenden Erfindung wird die Änderungsgeschwindigkeit des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt erfaßt, und eine vorbestimmte Verarbeitung wird nur dann durchgeführt, wenn die erfaßte Änderungsgeschwindigkeit einen Grenzwert erreicht hat oder darüber liegt. In dieser Weise führt die erfaßte Person eine spezifische Bewegung aus, bei der sie einen Arm schnell beugt oder ausstreckt, wodurch die Änderungsgeschwindigkeit des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt den Grenzwert erreicht oder darüber liegt, so dass seine vorbestimmte Verarbeitung durchgeführt wird. Somit wird die Erkennungsgeschwindigkeit der Bewegung der zu erkennenden Person für das Anweisen der Ausführung einer vorbestimmten Verarbeitung verbessert. Nur wenn die zu erkennende Person eine Bewegung zur Anweisung der Durchführung einer vorbestimmten Verarbeitung durchführt, wird diese Bewegung zuverlässig erfaßt, wodurch es ermöglicht wird, dass eine vorbestimmte Verarbeitung durchgeführt wird.
Da darüber hinaus der Körperbau und die Muskelkraft oder ähnliches von der zu erkennenden Person abhängen, variiert, sogar wenn die zu erkennende Person eine Bewegung durchführt, bei der sie schnell einen Arm beugt oder streckt, um es dem Verarbeitungsmittel zu ermöglichen, eine vorbestimmte Verarbeitung durchzuführen, die Änderungsgeschwindigkeit des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt in Abhängigkeit von der einzelnen zu erkennenden Person. Sogar wenn die zu erkennende Person eine Bewegung durchführt, bei der sie einen Arm schnell beugt oder ausstreckt, um das Verarbeitungsmittel anzuweisen, eine vorbestimmte Verarbeitung durchzuführen, kann daher in einigen Fällen diese Bewegung nicht erfaßt werden. Im Gegensatz dazu wird diese Bewegung manchmal fehlerhaft erfaßt, obgleich die zu erkennende Person diese Bewegung nicht durchgeführt hat.
Daher weist die vorliegende Erfindung ferner Grenzwertsetzmittel oder Schwellenwertsetzmittel auf, um bei der zu erkennenden Person anzufragen oder zu prüfen, ob sie den Arm beugt oder streckt, und um zuvor den Grenzwert basierend auf der Änderungsgeschwindigkeit des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt zu setzen, wenn die zu erkennende Person den Arm beugt oder streckt.
Auf diese Weise wird zuvor der Grenzwert gesetzt, ob das Verarbeitungsmittel eine vorbestimmte Verarbeitung durchführt oder nicht, wobei dies auf der Änderungsgeschwindigkeit des Abstandes zwischen dem Referenzpunkt und dem Merkmalspunkt basiert, wenn die zu erkennende Person einen Arm beugt oder streckt (einen Arm schnell beugt oder streckt), um es dem Verarbeitungsmittel zu ermöglichen, eine vorbestimmte Verarbeitung durchzuführen, wodurch der Grenzwert als Antwort auf den Körperbau, Muskelkraft oder ähnliches der einzelnen zu erkennenden Person erzielt wird. Ob die Durchführung einer vorbestimmten Verarbeitung angewiesen worden ist oder nicht, wird unter Verwendung dieses Grenzwertes bestimmt, wodurch es möglich ist, die Bewegung der zu erkennenden Person zuverlässig zu erfassen, um die Durchführung einer vorbestimmten Verarbeitung anzuweisen und um eine vorbestimmte Verarbeitung durchzuführen, unabhängig von irgendeiner Variation im Körperbau, Muskelkraft oder ähnlichem, wobei dies von der einzelnen zu erkennenden Person abhängt.
Die vorliegende Erfindung umfaßt ferner zweite Erfassungsmittel, um den Bildteil, welcher zu dem Arm der zu erkennenden Person korrespondiert, aus der Mehrzahl von Bildern zu extrahieren, und um zu erfassen, ob der Arm der zu erkennenden Person abgesenkt ist oder nicht, wobei das Verarbeitungsmittel seinen momentanen Zustand beibehält, wenn das zweite Erfassungsmittel erfaßt, dass der Arm der zu erkennenden Person abgesenkt ist. Ein Durchführungszustand wird beibehalten, wenn die Verarbeitung durchgeführt wird, während ein Haltezustand beibehalten wird, wenn die Verarbeitung beendet ist. Weil somit die zu erkennende Person den Arm nicht angehoben halten muß, um weiterhin eine bestimmte Verarbeitung durchzuführen, kann die Aufgabe der zu erkennenden Person vereinfacht werden.
Kurzbeschreibung der Zeichnungen
1 zeigt eine perspektivische Ansicht, welche eine Umgebung eines Informationseingaberaumes zeigt.
2 zeigt ein Flußdiagramm, welches eine schematische Struktur einer Handzeigeeingabevorrichtung gemäß der vorliegenden Erfindung zeigt.
3 zeigt schematisch ein Beispiel einer Beziehung zwischen einem Beleuchtungsbereich eines Illuminators und einen Bildaufnahmebereich einer Videokamera.
4 zeigt eine perspektivische Ansicht des Informationseingaberaumes, in welchem ein Beispiel einer Zeichenplatte dargestellt ist.
5 zeigt ein Flußdiagramm einer Initialisierungsverarbeitung von einer Information über eine Gitterpunktposition.
6 zeigt ein Flußdiagramm einer Beleuchtungssteuerungsverarbeitung.
7 zeigt ein Zeitfolgediagramm, welches eine Zeitfolge des Einschaltens/Ausschaltens des Illuminators A, B durch die Beleuchtungssteuerungsverarbeitung nach 6 und eine Ausgabe (Datenerfassung) eines von der Videokamera aufgenommenen Bildes zeigt.
8A und 8B zeigen ein Flußdiagramm einer Anweisungsbestimmungsverarbeitung.
9 zeigt eine Seitenansicht des Informationseingaberaumes zur Beschreibung einer Berechnung der Höhe einer informationseingebenden Person und der Position der informationseingebenden Person auf einer Grundfläche.
10A zeigt ein Bild, welches ein Bild der Hand der informationseingebenden Person darstellt, welches von der Videokamera aufgenommen worden ist.
10B zeigt eine vorbereitende Ansicht eines Suchbereiches für den Gitterpunkt zur Bestimmung einer Koordinate eines Merkmalspunktes und einer dreidimensionalen Koordinate des Merkmalspunktes.
11A zeigt eine Draufsicht des Informationseingaberaumes zur Beschreibung der Bestimmung der Position auf einer Anzeige, auf welche von der informationseingebenden Person gezeigt wird.
11B zeigt eine Seitenansicht des Informationseingaberaumes, welcher in 11A dargestellt ist.
12A–12C zeigen Bildillustrationen, welche ein Beispiel einer Bewegung einer informationseingebenden Person darstellen.
13 zeigt schematisch ein anderes Beispiel der Beziehung zwischen dem Beleuchtungsbereich des Illuminators und dem Bildaufnahmebereich der Videokamera.
14 zeigt ein Flußdiagramm der Beleuchtungssteuerungsverarbeitung bei einer Anordnung, wie sie in 13 dargestellt ist.
15 zeigt ein Zeitfolgediagramm, welches die Zeitfolge des Einschaltens/Ausschaltens des Illuminators A, B durch die Beleuchtungssteuerungsverarbeitung nach 14 darstellt.
16 zeigt eine perspektivische Ansicht eines Aspektes einer auf der Grundfläche im Informationseingaberaum angeordneten geneigten Plattform.
17 zeigt eine perspektivische Ansicht des Informationseingaberaumes, welcher ein anderes Beispiel der Zeichenplatte darstellt.
18 zeigt eine perspektivische Ansicht des Informationseingaberaumes, welcher ein Beispiel einer Bewegung einer Markerposition durch eine Roboterarmeinheit darstellt.
19 zeigt ein Flußdiagramm eines anderen Beispiels der Anweisungsbestimmungsverarbeitung.
20 zeigt ein Flußdiagramm eines weiteren Beispiels der Anweisungsbestimmungsverarbeitung.
21 zeigt ein Flußdiagramm der Verarbeitung zum Setzen der Anklickbewegungsgeschwindigkeit.
22A zeigt eine Bilddarstellung zur Beschreibung einer Vorwärtsanklickbewegung.
22B zeigt eine Bilddarstellung zur Beschreibung einer Rückwärtsanklickbewegung.
23 zeigt eine Bilddarstellung zur Beschreibung einer Datenkonversion in ein Attrappenmodell.
Detaillierte Beschreibung der bevorzugten Ausführungsformen
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung im Detail mit Bezug auf die angehängten Zeichnungen beschrieben. Wie aus 1 ersichtlich ist, ist eine Großbildschirmanzeige 12 in eine Wandoberfläche an einer Stelle eingebaut, an welcher sich eine informationseingebende Person 10, welche die bei der vorliegenden Erfindung zu erkennende Person ist, aufhält. Als die Anzeige 12 können bekannte Anzeigemittel wie z. B. eine Flüssigkristallanzeige (LCD), eine Plasmaanzeige, eine Kathodenstrahlröhre (CRT) und eine Anzeige mit optischen Fasern verwendet werden.
Die Anzeige 12 ist mit einem Informationsprozessor 14 verbunden, welche einen Personalcomputer oder ähnliches aufweist (siehe 2). Die Informationsdatenverarbeitungsanlage 14 ermöglicht es, dass unterschiedliche Informationsarten auf einer Informationsoberfläche in unterschiedlichen Anzeigeformen angezeigt werden, wie z. B. als eine Figur, eine Tabelle, ein Zeichen, ein Bild oder ähnliches. Bei der vorliegenden Ausführungsform tritt die informationseingebende Person 10 an die Stelle (Informationseingaberaum) heran, welche in 1 vor der Anzeige 12 dargestellt ist. Die informationseingebende Person 10 zeigt auf eine Position auf der Anzeigeoberfläche der Anzeige 12, auf der unterschiedliche Informationen angezeigt sind, während er/sie eine An klickbewegung (nachfolgend im Detail beschrieben) durchführt, wodurch er/sie unterschiedliche Anweisungen an die Informationsdatenverarbeitungsanlage 14 gibt und es ermöglicht, dass unterschiedliche Verarbeitungsarten durchgeführt werden.
Wie aus 2 ersichtlich ist, ist eine Steuerung 22 einer Anzeigeeingabevorrichtung 20 gemäß der vorliegenden Ausführungsform mit dem Informationsprozessor 14 verbunden. Die Steuerung 22 weist eine CPU 22A, ein ROM 22B, ein RAM 22C und eine Eingabe/Ausgabe (E/A)-Schnittstelle 22D auf. Diese Elemente sind miteinander durch einen Datenbus verbunden. Der Informationsprozessor 14, ein nicht flüchtiger Speicher 24, welcher im Stande ist, gespeicherte Inhalte zu aktualisieren, eine Anzeige 26, um unterschiedliche Informationsarten anzuzeigen, und eine Tastatur 28, um durch einen Bediener unterschiedliche Anweisungen und Daten einzugeben, sind mit der E/A-Schnittstelle 22D verbunden.
Mit der E/A-Schnittstelle 22D der Steuerung 22 ist auch eine Beleuchtungssteuerungsvorrichtung 30 verbunden. Mit der Beleuchtungssteuerungsvorrichtung 30 sind eine Mehrzahl von Nahinfrarotlichtilluminatoren 32A und 32B zum Emittieren eines Lichtes mit einer Wellenlänge, welche in einem Nahinfrarotbereich liegt, wobei das Licht als Lichtstrahl emittiert wird, verbunden. Wie aus 1 ersichtlich ist, sind die Nahinfrarotlichtilluminatoren 32A und 32B in unterschiedlichen Positionen über dem Informationseingaberaum angeordnet. Ihre Strahlungsbereiche sind so eingestellt, dass die Illuminatoren 32A und 32B die informationseingebende Person 10, die in den Informationseingaberaum gelangt, aus unterschiedlichen Richtungen beleuchten kann (siehe auch 3). Die Beleuchtungssteuerungsvorrichtung 30 steuert das Einschalten/Ausschalten der Illuminatoren 32A und 32B als Antwort auf die Anweisung von der Steuerung 22.
Mit der E/A-Schnittstelle 22D der Steuerung 22 ist eine Aufnahmesteuerungsvorrichtung 34 verbunden. Mit dieser Bildaufnahmesteuerungsvorrichtung 34 sind eine Mehrzahl von Videokameras 36A und 36B, welche in unterschiedlichen Positionen über dem Informationseingaberaum (siehe 1) angeordnet sind, verbunden. Obgleich auf eine Darstellung der Videokameras 36A und 36B verzichtet wird, wird darauf hingewiesen, dass die Videokameras 36A und 36B einen Bereichssensor aufweisen, welcher eine nahinfrarotlichtsensitive CCD oder ähnliches umfaßt. Auf der Lichteinfallsseite auf einer Bildlinse zum Bilden eines Einfallslichts in ein Bild auf einer Rezeptoroberfläche des Bereichssensors ist ein Filter angeordnet, so dass nur das Licht der Wellenlänge innerhalb des Nahinfrarotbereiches übertragen wird.
Wie aus 3 ersichtlich ist, ist die Videokamera 36A so orientiert, dass die informationseingebende Person 10, die in den Informationseingaberaum eintritt, innerhalb eines Bildaufnahmebereiches sein kann. Die Kamera ist auch so orientiert, dass das von dem zur Videokamera 36A zugehörigen Illuminator emittierte Licht nicht direkt auf die Bildlinse fällt, und so orientiert, dass das Zentrum des Bildaufnahmebereiches das Zentrum des Bereiches kreuzen kann, welche durch den Illuminator 32A in einer vorbestimmten Höhe von der Bodenoberfläche im Informationseingaberaum beleuchtet wird. Daher ist der Bildaufnahmebereich der Videokamera 36A so eingestellt, dass der Bereich auf der Bodenoberfläche, welcher durch den Illuminator 32A, der zur Videokamera 36A zugehörig ist, beleuchtet wird, außerhalb des Bildaufnahmebereiches sein kann. Auf gleiche Weise ist die Videokamera 36B so orientiert, dass die informationseingebende Person 10, die in den Informationseingaberaum eintritt, innerhalb des Bildaufnahmebereiches sein kann, wobei das Licht welches von dem zu der Videokamera 36B zugehörigen Illuminator 32B emittiert wird, nicht direkt auf die Bildlinse fallen darf, und wobei das Zentrum des Bildaufnahmebereiches das Zentrum des Bereiches kreuzen darf, welcher vom Illuminator 32B in einer vorbestimmten Höhe von der Bodenoberfläche im Informationseingaberaum beleuchtet wird. Daher ist der Bildaufnahmebereich der Videokamera 36B so eingestellt, dass der Bereich auf der Bodenoberfläche, welcher durch den zu der Videokamera 36B zugehörigen Illuminator 32B illuminiert wird, außerhalb des Bildaufnahmebereiches sein kann.
In dieser Weise sind die Bild-Aufnahmebereiche der Videokameras 36A und 36B so eingestellt, dass die Bereiche auf der Bodenoberfläche, welche durch die unterschiedlichen Illuminatoren, welche zu den Videokameras zugehörig sind, beleuchtet werden, außerhalb der Bildaufnahmebereiche sein können.
Mit der E/A-Schnittstelle 22D der Steuerung 22 ist auch eine Zeichenplattenantriebseinheit 38 verbunden. Wie aus 4 ersichtlich ist, weist die Handzeigeeingabevorrichtung 20 eine Zeichenplatte 40 auf, welche in der Nähe des Informationseingaberaumes angeordnet ist. Die Zeichenplatte 40 weist eine Vielzahl von Zeichen 40A auf, die so gespeichert bzw. aufgezeichnet sind, dass sie in einer Matrixform auf einer transparenten, flachen Tafel bzw. Platte in einem gleichen Abstand zueinander angeordnet sind. Die Zeichenplatte 40 kann so bewegt werden, dass sie entlang des Informationseingaberaumes in eine Richtung bewegt werden kann, welche senkrecht zur Hauptoberfläche der Zeichenplatte 40 ist (einer Richtung, welche durch den Pfeil A in 4 dargestellt ist). Die Zeichen 40A sind mit einer Farbe koloriert, welche auf dem Bild einfach zu erkennen ist (z. B. rot). Die Zeichenplattenantriebseinheit 38 ermöglicht es der Zeichenplatte 40, dass sie in der Richtung des Pfeiles A in 4 als Antwort auf eine Anweisung von der Steuerung 22 bewegt wird.
Nachfolgend wird eine Funktion der vorliegenden Ausführungsform beschrieben. Mit Bezug auf das Flußdiagramm in 5 wird zunächst die Initialisierung der Gitterpunktpositionsinformation während einer Installation der Anzeigeeingabevorrichtung 20 beschrieben.
In Schritt 100 wird der Zeichenplattenantriebseinheit 38 erlaubt, die Zeichenplatte 40 in eine vorbestimmte Position zu bewegen (eine Position, welche zu einem Ende des Bewegungsbereiches der Zeichenplatte 40 korrespondiert), d. h. eine Referenzposition. Im nächsten Schritt 102 werden die dreidimensionalen Koordinaten (x, y, z) der Vielzahl von Zeichen 40A, die auf der Zeichenplatte 40 im Informationseingaberaum gespeichert sind, in der momentanen Position auf der Zeichenplatte 40 berechnet. In Schritt 104 wird das Bild des Informationseingaberaumes von den Videokameras 36A und 36B durch die Bildaufnahmesteuerungsvorrichtung 34 aufgenommen. Im nächsten Schritt 106 wird das Bild des Informationseingaberaumes, welches von der Videokamera 36A aufge nommen worden ist (als ein Bild A bezeichnet) durch die Bildaufnahmesteuerungsvorrichtung 34 erfaßt.
In Schritt 108 werden die Zeichen 40A im Bild A, welches in Schritt 106 erfaßt worden ist, erkannt (extrahiert). Im nächsten Schritt 110 werden die Positionen (X_A, Y_A) aller erkannten Zeichen 40A auf dem Bild A berechnet. Im Schritt 112 werden die dreidimensionalen Koordinaten (x, y, z) im Informationseingaberaum sämtlicher Zeichen 40A im Bild A so bearbeitet, dass sie zu den Positionen (X_A, Y_A) sämtlicher Zeichen 40A des Bildes A korrespondieren, und diese Zugehörigkeit wird im Speicher 24 als die Gitterpunktpositionsinformation der Videokamera 36A gespeichert.
In den nachfolgenden Schritten 114 bis 120 werden die Verarbeitungsschritte der Videokamera 36B auf gleiche Weise wie bei den oben beschriebenen Schritten 106 bis 112 durchgeführt. Im nächsten Schritt 114 wird das Bild des Informationseingaberaumes, welches von der Videokamera 36B aufgenommen worden ist (als ein Bild B bezeichnet) durch die Bildaufnahmesteuerungsvorrichtung 34 erfaßt. In Schritt 116 werden die Zeichen 40A im Bild B, welches im Schritt 114 erfaßt worden ist, erkannt (extrahiert). Im nächsten Schritt 118 werden die Positionen (X_B, Y_B) sämtlicher erkannten Zeichen 40A im Bild B berechnet. In Schritt 120 werden die dreidimensionalen Koordinaten (x, y, z) im Informationseingaberaum sämtlicher Zeichen 40A im Bild B so bearbeitet, dass sie zu den Positionen (X_B, Y_B) sämtlicher Zeichen 40A im Bild B zugehörig sind, und diese Zugehörigkeit wird im Speicher 24 als die Gitterpunktpositionsinformation der Videokamera 36B gespeichert.
Im nächsten Schritt 122 wird bestimmt, ob die Zeichenplatte 40 in eine Endposition bewegt worden ist oder nicht (eine Position, welche zu dem Ende zugehörig ist, welches gegenüber der vorbestimmten Position in Schritt 100 innerhalb des Bewegungsbereiches der Zeichenplatte 40 angeordnet ist). Wenn das Bestimmungsergebnis in Schritt 122 negativ ist, wird die Verarbeitung mit Schritt 124 fortgesetzt. In Schritt 124 ermöglicht die Zeichenplattenantriebseinheit 38 der Zeichenplatte 40, dass sie in eine vorbestimmte Richtung mit einem fixen Abstand bewegt wird (insbesondere der Abstand, welcher zu dem Raum zwischen den Zeichen 40A auf der Zeichenplatte 40 korrespondiert). Dann wird bei der Verarbeitung zu Schritt 102 zurückgesprungen.
Die Schritte 102 bis 124 werden wiederholt, bis die Zeichenplatte 40 die Endposition erreicht, wie oben beschrieben worden ist. Somit werden die Vielzahl von Zeichen 40A, welche auf der Zeichenplatte 40 gespeichert sind, in die Positionen bewegt, welche zur Vielzahl der Gitterpunkte zugehörig sind (zu virtuellen Punkten zugehörig sind), welche im Informationseingaberaum in einer Gitteranordnung gleichförmig voneinander beabstandet sind. Die Zugehörigkeit zwischen den dreidimensionalen Koordinaten der Gitterpunkte im Informationseingaberaum und deren Positionen auf dem Bild A wird im Speicher 24 als die Gitterpunktpositionsinformation der Videokamera 36A gespeichert. Die Zugehörigkeit zwischen den dreidimensionalen Koordinaten auf den Gitterpunkten im Informationseingaberaum und deren Positionen im Bild B wird ebenso im Speicher 24 als die Gitterpunktpositionsinformation der Videokamera 36B gespeichert.
Die Gitterpunktpositionsinformation, welche durch die oben erwähnte Initialisierung der Gitterpunktpositionsinformation initialisiert worden ist, korrespondiert zur Information der zugehörigen dreidimensionalen Koordinaten der virtuellen Punkte mit den Positionen der virtuellen Punkte auf dem Bild. Der Speicher 24 korrespondiert zum Speichermittel der vorliegenden Erfindung. Da die Zeichenplatte 40 und die Zeichenplattenantriebseinheit 38 nur für die oben erwähnte Initialisierung der Gitterpunktpositionsinformation und nicht. für die nachfolgende Verarbeitung verwendet werden, können die Zeichenplatte 40 und die Zeichenplattenantriebseinheit 38 nach der Initialisierung zurückbewegt werden.
Mit Bezug auf das Flußdiagramm in 6 ist die folgende Beschreibung für eine Beleuchtungssteuerungsverarbeitung vorgesehen, welche nach der oben erwähnten Initialisierung der Gitterpunktpositionsinformation durch die Steuerung 22 regulär durchgeführt wird. In Schritt 130 schaltet die Beleuchtungssteuerungsvorrichtung 30 den Illuminator 32A ein und den Illuminator 32B aus. In Schritt 132 wird ein Bild des Informationseingaberaumes durch die Videoka mera 36A aufgenommen, und das Bild wird dann von der Videokamera 36A ausgegeben. In Schritt 134 wird bestimmt, ob eine vorbestimmte Zeitdauer abgelaufen ist oder nicht, seitdem der Illuminator 32A eingeschaltet worden war. Eine weitere Verarbeitung wird nicht durchgeführt, bis ein positives Ergebnis bei der Bestimmung erzielt worden ist.
Wenn in Schritt 134 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 136 fortgesetzt. Bei Schritt 136 schaltet die Beleuchtungssteuerungsvorrichtung 30 den Illuminator 32A aus und den Illuminator 32B ein. In Schritt 138 wird ein Bild des Informationseingaberaumes durch die Videokamera 36B aufgenommen und das Bild wird dann von der Videokamera 36B ausgegeben. In Schritt 140 wird bestimmt, ob eine vorbestimmte Zeitdauer abgelaufen ist oder nicht, seit der Illuminator 32A eingeschaltet worden ist. Eine Verarbeitung wird nicht durchgeführt, bis ein positives Bestimmungsergebnis erzielt worden ist. Wenn dann in Schritt 140 ein positives Bestimmungsergebnis erzielt worden ist, kehrt die Verarbeitung zu Schritt 130 zurück.
Wie auch aus 7 ersichtlich ist, ermöglicht die oben beschriebene Beleuchtungssteuerungsverarbeitung, dass die Illuminatoren 32A und 32B in einem vorbestimmten Zeitintervall abwechselnd eingeschaltet/ausgeschaltet werden. Wenn der Illuminator 32A eingeschaltet ist, wird das Bild von der Videokamera 36A aufgenommen, und Bilddaten, welche das Bild A angeben, welches von der Videokamera 36A aufgenommen worden ist, werden dann zur Steuerung 22 durch die Bildaufnahmesteuerungsvorrichtung 34 ausgegeben. Wenn der Illuminator 32B eingeschaltet ist, wird das Bild von der Videokamera 36B aufgenommen, und die Bilddaten, welche das Bild B angeben, welches von der Videokamera 36B aufgenommen worden ist, werden dann zur Steuerung 22 durch die Bildaufnahmesteuerungsvorrichtung 34 ausgegeben.
Weil bei der vorliegenden Ausführungsform die Bildaufnahme mittels eines Nahinfrarotlichtes durchgeführt wird, wird die Luminanz bzw. Bildhelligkeit des Bildteiles, welches zur informationseingebenden Person in dem aufgenommenen Bild korrespondiert, nicht beeinflußt, und somit wird sie nicht durch eine Änderung in der Luminanz der Anzeige 12 geändert, wenn von dort ein sichtbares Licht emittiert wird, was auch für die Hautfarbe oder Kleidungsfarbe der informationseingebenden Person 10 gilt. Daher kann bei der Anweisungsbestimmungsverarbeitung, wie unten beschrieben wird, das Bildteil, welches zur informationseingebenden Person 10 korrespondiert, mit einem hohen Genauigkeitsgrad extrahiert werden. Sogar wenn eine Fluoreszenzröhre, welche so betrieben wird, das das Licht der Wellenlänge des Nahinfrarotbereiches nicht von ihr emittiert wird, nahe des Informationseingaberaumes angeordnet ist, wird die Verarbeitung dadurch nicht beeinflußt. Weil ferner die Emission des Nahinfrarotlichtes von der informationseingebenden Person 10 nicht wahrgenommen wird, führt das oben beschriebene abwechselnde Einschalten/Ausschalten der Illuminatoren 32A und 32B nicht zu einem unangenehmen Gefühl für die informationseingebende Person 10.
Mit Bezug auf das Flußdiagramm der 8A und 8B ist die folgende Beschreibung für die Anweisungsbestimmungsverarbeitung zum Bestimmen der Anweisung von der informationseingebenden Person 10 vorgesehen, welche von der Steuerung 22 in einen vorbestimmten Zeitintervall wiederholt wird, wobei dies zusammen mit der zuvor erwähnten Beleuchtungssteuerungsverarbeitung geschieht.
In Schritt 150 werden die Bilddaten, welche das Bild A angeben, das von der Videokamera 36A ausgegeben wird, und die Bilddaten, welche das Bild B angeben, welches von der Videokamera 36B ausgegeben wird, zu der Zeit erfaßt, welche in 7 dargestellt ist. Im nächsten Schritt 152 wird bestimmt, ob die informationseingebende Person 10 im Informationseingaberaum anwesend ist, wobei dies auf den Informationsdaten der Bilder A und B basiert, welche im Schritt 150 erfaßt worden sind.
Wie oben beschrieben worden ist, wird das Bild des Informationseingaberaumes von der Videokamera 36A aufgenommen, wenn der Illuminator 32A als einziger eingeschaltet ist, und der Bildaufnahmebereich der Videokamera 36A wird so eingestellt, dass er außerhalb des Bereiches auf der Bodenoberfläche ist, welche vom Illuminator 32A beleuchtet wird. Demzufolge ist sogar wenn ein Objekt 50A, welches kein Gegenstand ist, das erkannt werden soll (siehe 3), wie z. B. das Gepäck der informationseingebenden Person oder Abfall, in dem Bereich auf der von dem Illuminator 32A beleuchteten Bodenoberfläche vorhanden ist, dieses Objekt 50A, welches kein Gegenstand ist, der erkannt werden soll, nicht innerhalb des Bildaufnahmebereiches der Videokamera 36A. Wenn ferner ein Objekt 50B, welches kein Gegenstand ist, der erkannt werden soll (siehe 3), innerhalb des Bereiches auf der von der Videokamera 36A aufgenommenen Bodenoberfläche vorhanden ist, wird ein Bild des Objektes 50B, welches kein zu erkennender Gegenstand ist, von der Videokamera 36A aufgenommen. Weil jedoch das Objekt 50B, welches kein zu erkennender Gegenstand ist, außerhalb des von dem Illuminator 32A beleuchteten Bereiches ist, ist die Luminanz des Bildteiles, welcher zu dem Objekt 50B zugehörig ist, welches kein zu erkennender Gegenstand ist, in dem Bild A sehr niedrig.
Ferner wird das Bild des Informationseingaberaumes von der Videokamera 36B aufgenommen, wenn der Illuminator 32B alleine eingeschaltet ist, und der Bildaufnahmebereich der Videokamera 36B wird so eingestellt, dass er außerhalb des Bereiches auf der vom Illuminator 32B beleuchteten Bodenoberfläche sein kann. Sogar wenn das Objekt 50B, welches kein zu erkennender Gegenstand ist, auf der vom Illuminator 32B beleuchteten Bodenoberfläche vorhanden ist, ist demgemäß dieses Objekt 50B, welches kein zu erkennender Gegenstand ist, nicht innerhalb des Bildaufnahmebereiches der Videokamera 36B. Wenn ferner das Objekt 50A, welches kein zu erkennender Gegenstand ist, innerhalb des Bereiches auf der von der Videokamera 36B aufgenommenen Bodenoberfläche vorhanden ist, wird das Bild des Objektes 50A, welches kein zu erkennender Gegenstand ist, von der Videokamera 36B aufgenommen, und somit ist das Bildteil, welches zum Objekt 50A zugehörig ist, welches kein zu erkennender Gegenstand ist, im Bild B vorhanden. In gleicher Weise, wie dies oben beschrieben worden ist, ist jedoch die Luminanz des Bildteiles, welches zum Objekt 50A zugehörig ist, sehr niedrig.
Daher kann in dem vorherigen Schritt 152 bestimmt werden, ob die informationseingebende Person im Informationseingaberaum vorhanden ist oder nicht, wobei dies durch eine sehr einfache Bestimmung darüber erfolgt, ob das Bild teil eine hohe Luminanz besitzt oder nicht, und ob ein Bereich mit einem vorbestimmten Wert oder größer in den Bildern A und B vorhanden ist. Wenn in Schritt 152 ein negatives Bestimmungsergebnis erzielt wird, wird keine Verarbeitung durchgeführt und die Anweisungsbestimmungsverarbeitung ist abgeschlossen.
Wenn in Schritt 152 jedoch ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 154 fortgesetzt. Die Verarbeitung von Schritt 154 korrespondiert zum Bestimmungsmittel der vorliegenden Erfindung. In Schritt 154 werden das Bildteil, welcher zu einem Gesamtbild der informationseingebenden Person 10 korrespondiert, aus den Bildern A und B extrahiert. Der Bildteil, welcher zum Gesamtbild der informationseingebenden Person 10 korrespondiert, kann auch einfach extrahiert werden, indem ein ununterbrochener Bereich bestimmt wird, welcher Pixel mit hoher Luminanz aufweist und den Bereich einer vorbestimmten Größe oder mehr abdeckt.
In Schritt 156 wird die Höhe der informationseingebenden Person 10 berechnet, wobei dies auf dem Bildteil basiert, welcher zum Gesamtbild der informationseingebenden Person 10 korrespondiert, wobei das Gesamtbild ein Bild der gesamten Länge der informationseingebenden Person 10 darstellt. In 9 werden folgende Bezugszeichen dargestellt: f bezeichnet eine Brennweite der Bildlinse der Videokamera, die an einem Punkt O positioniert ist, H bezeichnet den Abstand zwischen einem Schnittpunkt Q einer vertikalen Linie, die durch den Punkt O und die Bodenoberfläche im Informationseingaberaum verläuft, R bezeichnet den Abstand zwischen dem Punkt Q und einem Punkt P auf der Bodenoberfläche, auf der die informationseingebende Person 10 steht, und ein Abstand h zwischen einem Punkt P', welcher zur oberen Linie des Kopfes der informationseingebenden Person korrespondiert, und dem Punkt P ist als die Höhe der informationseingebenden Person definiert. θ bezeichnet den Winkel, der durch POQ aufgespannt ist, θ' bezeichnet den Winkel, welcher durch P'OQ aufgespannt ist, h' bezeichnet die Länge des Bildes der informationseingebenden Person, welche auf der Rezeptoroberfläche des Flächensensors der Videokamera abgebildet ist, ein Punkt p bezeichnet einen Bildpunkt auf der Rezeptoroberfläche korrespondierend zum Punkt P, ein Punkt p' bezeichnet den Bild punkt auf der Rezeptoroberfläche korrespondierend zum Punkt P', r bezeichnet den Abstand zwischen einem Zentrum o der Rezeptoroberfläche und dem Punkt p, und r' bezeichnet den Abstand zwischen dem Zentrum o der Rezeptoroberfläche und dem Punkt p', wobei die Winkel θ, θ' und die Abstände r, r' durch die folgenden Gleichungen (1) bis (4) bestimmt werden können: θ = tan–1(R/H) (1) θ'= tan–1(R/H – h) (2) r = fθ (3) r' = fθ' (4)
Daher kann die Höhe h der informationseingebenden Person 10 und der Abstand R durch die folgenden Gleichungen (5) und (6) bestimmt werden: h = H{1 – tan(r/f)/tan(r'/f)} (5) R = Htan(r/f) (6)
Weil in Schritt 156 der Abstand H und die Brennweite f schon bekannt sind, werden die Abstände r, r' entweder aus dem Bild A, welches von der Videokamera 36A aufgenommen worden ist, oder aus dem Bild B, welches von der Videokamera 36B aufgenommen worden ist, bestimmt, und diese bestimmten Abstände r und r' werden dann in die Gleichung (5) eingesetzt, wodurch sich die Höhe h der informationseingebenden Person 10 ermitteln läßt. In Schritt 156 werden die Abstände r aus den Bildern A und B ermittelt, und die bestimmten Abstände r werden dann in die Gleichung (6) so eingesetzt, dass die Abstände R ermittelt werden, wodurch die Position (zweidimensionale Koordinaten) der informationseingebenden Person 10 auf der Bodenoberfläche bestimmt wird.
Im nächsten Schritt 158 werden die dreidimensionalen Koordinaten (x₀, y₀, z₀) eines Referenzpunktes P₀ der informationseingebenden Person 10 bestimmt, wobei dies auf der Höhe h der informationseingebenden Person 10 und der Position der informationseingebenden Person 10 auf der Bodenoberfläche, welche in Schritt 156 bestimmt worden ist, basiert. Zum Beispiel kann der Punkt (der in 11 gezeigte Punkt P₀), der zum Rücken der informationseingeben den Person oder etwas ähnlichem korrespondiert, als der Referenzpunkt P₀ verwendet werden. In diesem Fall wird die Höhe (z. B. der Wert z₀) des Referenzpunktes P₀ der zum Rücken der informationseingebenden Person 10 korrespondiert, von der Bodenoberfläche in Übereinstimmung mit der Höhe h der informationseingebenden Person 10 berechnet. Dann wird die Position (ebener Koordinaten) der informationseingebenden Person 10 auf der Bodenoberfläche zu den ebenen Koordinaten (z. B. den Werten x₀ und y₀) des Referenzpunktes p₀ zugeordnet, wodurch die dreidimensionalen Koordinaten des Referenzpunktes P₀ bestimmt werden können.
In Schritt 159 wird bestimmt, ob die informationseingebende Person 10 die Zeigebewegung (die Bewegung, bei der in Richtung zur Anzeige 12 gezeigt wird, wobei der Finger oder etwas ähnliches zum Einsatz kommt) durchführt oder nicht, wobei dies auf den Formen der Bildteile basiert, die zum Gesamtlängenbild der informationseingebenden Person 10 in den Bildern A und B korrespondieren. Weil die Richtung der Anzeige 12, die von der informationseingebenden Person 10 gesehen wird, bereits bekannt ist, kann die Bestimmung in Schritt 159 durchgeführt werden, indem z. B. bestimmt wird, ob der Teil, der in Richtung zur Anzeige 12 hindeutet, aus der Sicht der informationseingebenden Person 10 in der Höhe vorhanden ist oder nicht, welche als die Position der Hand der informationseingebenden Person 10 bestimmbar ist, wobei dies in dem Bildteil erfolgt, welches zum Gesamtlängenbild der informationseingebenden Person 10 korrespondiert.
Wenn somit die informationseingebende Person 10 ihre Haltung von einer aufrecht stehenden Haltung, wie dies in 12A gezeigt ist, in eine Haltung ändert, bei welcher sie mit der Hand zur Anzeige 12 hindeutet, wie dies in den 12B oder 12C dargestellt ist, erfolgt die Bestimmung, dass die informationseingebende Person 10 eine Zeigebewegung durchgeführt hat. Wenn in Schritt 159 ein negatives Bestimmungsergebnis erzielt worden ist, wird keine Verarbeitung durchgeführt und die Anweisungsbestimmungsverarbeitung ist abgeschlossen. Wenn andererseits in Schritt 159 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 160 fortgesetzt.
In Schritt 160 wird ein Merkmalspunkt P_X der informationseingebenden Person 10 im Bild A auf der Basis der Bilddaten, welche das Bild A angeben, welches von der Videokamera 36A erfaßt worden ist, extrahiert, und die Position (X_A, Y_A) des Merkmalpunktes P_X des Bildes A wird berechnet. Der Punkt, der zur Fingerspitze oder etwas ähnlichem, welcher zur Anzeige 12 hindeutet, korrespondiert, kann als der Merkmalspunkt P_X der informationseingebenden Person 10 verwendet werden. In diesem Fall kann diese Berechnung durchgeführt werden, indem als die Position des Merkmalspunktes P_X die Position definiert wird, an dem die Spitze des Teiles, welches zur Anzeige 12 projiziert wird, in einer Höhe positioniert ist, welche als die Position der Hand der informationseingebenden Person 10 bestimmbar ist, wobei dies dem Bildteil erfolgt, welcher das Gesamtlängenbild der informationseingebenden Person 10 angibt.
Wenn somit das Bild der Hand der informationseingebenden Person 10 von der Videokamera 36A aufgenommen ist, wie dies in 10A dargestellt ist, werden die Koordinaten (X_A, Y_A) des Merkmalspunktes P_X, wie dies in 10B gezeigt ist, berechnet, um die Position des Merkmalpunktes P_X zu bestimmen.
In Schritt 162 werden sämtliche Gitterpunkte, deren Positionen im Bild A innerhalb des Bereiches (X_A ± dX, Y_A ± dY) sind (einem Bereich R, wie er in 10B dargestellt ist), gesucht, wobei dies auf der Gitterpunktpositionsinformation der Videokamera 36A basiert, welche im Speicher 24 gespeichert ist. Die Größen von dX imd dY werden auf der Basis des Raumes zwischen den Gitterpunkten (dem Raum zwischen dem Zeichen 40A) definiert, so dass mindestens ein Gitterpunkt oder mehr extrahiert werden können.
Bei der vorliegenden Ausführungsform wird eine Weitwinkellinse als die Bildlinse der Videokamera verwendet. Wenn somit angenommen wird, dass dY und dY konstant sind, gilt: je länger der Abstand zwischen der Videokamera und den Gitterpunkten wird, um so mehr Gitterpunkte gibt es innerhalb des Bereiches von (X_A ± dX, Y_A ± dY), wodurch eine Verschlechterung der Berechnungsgenauigkeit der dreidimensionalen Koordinaten des Merkmalspunktes P_X die Folge ist, wie unten beschrieben wird. Daher sind dX und dY so gesetzt, dass deren Werte abnehmen, wenn der Abstand von der Videokamera zu dX und dY bei den dreidimensionalen Koordinaten größer wird. Daher wird der Bereich, der zu (X_A ± dX, Y_A ± dY) bei der dreidimensionalen Koordinate zugehörig ist, in eine vierseitige Pyramide geformt, deren Bodenfläche auf der Seite der Videokamera positioniert ist. Bei diesem Schritt 162 werden die virtuellen Punkte, welche innerhalb eines vorbestimmten Bereiches einschließlich des Merkmalpunktes auf dem Bild positioniert sind, extrahiert.
In Schritt 164 wird auf gleiche Weise wie bei dem vorherigen Schritt 160 der Merkmalspunkt P_X der informationseingebenden Person 10 im Bild B auf Basis der Bilddaten extrahiert, welche das Bild B angeben, welches von der Videokamera 36B erfaßt worden ist, und die Position (X_B, Y_B) des Merkmalspunktes P_X auf dem Bild B wird berechnet. In Schritt 166 werden in gleicher Weise wie bei dem vorher durchgeführten Schritt 162 sämtliche Gitterpunkte, deren Positionen im Bild B innerhalb des Bereiches (X_B ± dX, Y_B ± dY) auf der Basis der Gitterpunktpositionsinformation der Videokameras 36B gesucht, welche im Speicher 24 gespeichert sind. Bei diesem Schritt 166 werden auch die virtuellen Punkte, welche innerhalb eines vorbestimmten Bereiches einschließlich des Merkmalspunktes auf dem Bild positioniert sind, extrahiert.
Im nächsten Schritt 168 werden die gemeinsam extrahierten Gitterpunkte auf der Basis der Gitterpunkte, welche von den Bildern A und B wie oben beschrieben extrahiert worden sind, bestimmt. Bei dieser Bestimmung werden nur eine Mehrzahl von Gitterpunkten in der Position, welche zu dem Merkmalspunkt P_X im Informationseingaberaum benachbart sind, extrahiert. In Schritt 170 werden die dreidimensionalen Koordinaten der gemeinsamen Gitterpunkte, welche von dem Bilder A und B extrahiert worden sind, von der Gitterpunktpositionsinformation erfaßt.
Bei dieser Ausführungsform, wie unten beschrieben wird, werden die dreidimensionalen Koordinaten des Merkmalspunktes P_X durch eine Interpolation aus den dreidimensionalen Koordinaten der mehreren Gitterpunkte in der Position benachbart zum Merkmalspunkt im Informationseingaberaum berechnet (insbesondere wird ein Koordinatenwert der dreidimensionalen Koordinaten des Merkmalspunktes durch einen gewichteten Durchschnittswert der Koordina tenwerte der dreidimensionalen Koordinaten der mehreren Gitterpunkte ermittelt). Somit wird noch vor der Berechnung der dreidimensionalen Koordinaten des Merkmalspunktes P_X im nächsten Schritt 172 eine Interpolationsrate aus den dreidimensionalen Koordinaten der gemeinsamen Gitterpunkte, die aus den Bildern A und B extrahiert worden sind (eine Gewichtung der Koordinatenwerte der dreidimensionalen Koordinaten der Gitterpunkte) bestimmt, wobei dies auf den Positionen der Bilder A und B der gemeinsamen Gitterpunkte basiert, die von den Bildern A und B der Position (X_A, Y_A) des Merkmalspunktes P_X im Bild A und der Position (X_B, X_B) des Merkmalspunktes P_X im Bild B basiert. Diese Interpolationsrate kann z. B. so bestimmt werden, dass die Gewichtung der Koordinatenwerte der dreidimensionalen Koordinaten der Gitterpunkte in den Positionen benachbart zu den Merkmalspunkten in den Bildern A und B erhöht werden kann.
In Schritt 174 werden die dreidimensionalen Koordinaten (X_X, Y_X, Z_X) des Merkmalspunktes P_X auf der Basis der dreidimensionalen Koordinaten der gemeinsamen Gitterpunkte, welche aus den Bildern A und B und der in Schritt 172 bestimmten Interpolationsrate bestimmt.
In Schritt 176 wird, basierend auf den dreidimensionalen Koordinaten des Referenzpunktes P₀ der informationseingebenden Person, die in dem vorher durchgeführten Schritt 158 berechnet worden sind, und der dreidimensionalen Koordinaten des Merkmalspunktes P_X, die in dem Schritt 174 berechnet worden sind, die Richtung einer langgestreckten virtuellen Linie (siehe virtuelle Linie 54 in 11), welche den Referenzpunkt und den Merkmalspunkt verbindet, als die Richtung bestimmt, in welche von der informationseingebenden Person 10 gezeigt wird, und die Koordinaten (ebene Koordinaten) des Schnittpunktes (siehe Punkt S in 11) der Ebene, welche die Anzeigeoberfläche der Großbildschirmanzeige 12 umfaßt, mit der virtuellen Linie werden berechnet, um die Position zu bestimmen, in welche von der informationseingebenden Person 10 gezeigt wird.
Im nächsten Schritt 178 wird bestimmt, ob die informationseingebende Person 10 auf die Anzeigeoberfläche der Großbildschirmanzeige 12 zeigt, wobei dies auf den Koordinaten basiert, welche in Schritt 176 bestimmt worden sind. Wenn ein negatives Bestimmungsergebnis erzielt worden ist, wird in Schritt 180 ein Überwachungsmerker (der Merker zum Überwachen der Anklickbewegung) auf 0 gesetzt, um dadurch die Anweisungsbestimmungsverarbeitung zu beenden. Wenn jedoch in Schritt 178 ein positives Bestimmungsergebnis erzielt worden ist, werden die Koordinaten, welche die Position angeben, auf welche die informationseingebende Person 10 zeigt, wie dies in Schritt 176 berechnet worden ist, an den Informationsprozessor 14 ausgegeben. Somit führt der Informationsprozessor 14 die Verarbeitung durch, wobei es z. B. ermöglicht wird, dass ein Cursor an einer vorbestimmten Position, welche als die Position bewertet wird, an welche von der informationseingebenden Person 10 gezeigt wird, auf der Anzeigeoberfläche der Anzeige 12 angezeigt wird.
Im nächsten Schritt 184 und den auf Schritt 184 folgenden Schritten wird bestimmt, ob die informationseingebende Person 10 die Anklickbewegung durchführt oder nicht. Bei der vorliegenden Ausführungsform wird die Anklickbewegung als irgendeine Bewegung der Hand der informationseingebenden Person definiert (z. B. Beugen und Schwenken eines Handgelenkes, Beugen und Ausstrecken eines Fingers oder ähnliches). Im Schritt 184 wird das Bildteil, welches zur Hand der informationseingebenden Person 10 im Bild A korrespondiert, so extrahiert, dass der Bereich des korrespondierenden Bildteiles berechnet wird, und das Bildteil, welches zur Hand der informationseingebenden Person 10 im Bild B korrespondiert, wird ebenfalls so extrahiert, dass der Bereich des zugehörigen Bildteiles berechnet wird.
Im nächsten Schritt 186 wird bestimmt, ob der Überwachungsmerker auf 1 gesetzt worden ist oder nicht. Weil in Schritt 186 ein negatives Bestimmungsergebnis andeutet, dass die informationseingebende Person 10 nicht auf die Anzeigeoberfläche der Anzeige 12 während der vorherigen Anweisungsbestimmungsverarbeitung gezeigt hat, wird der Überwachungsmerker in Schritt 188 auf 1 gesetzt. Im nächsten Schritt 190 wird der Bereich des Bildteiles, welcher zur Hand der informationseingebenden Person 10 korrespondiert, welcher in Schritt 184 berechnet worden ist, in den RAM 22C gespeichert, um später die Anklickbewegung zu bestimmen, wobei dann die Anweisungsbestimmungs verarbeitung abgeschlossen ist. Weil jedoch ein positives Bestimmungsergebnis in Schritt 186 andeutet, dass die informationseingebende Person 10 damit fortfährt, auf die Anzeigeoberfläche der Anzeige 12 zu zeigen, wird die Verarbeitung zu Schritt 192 fortgesetzt. In Schritt 192 wird der Bereich, der im Schritt 184 berechnet worden ist, mit dem Bereich verglichen, welcher im RAM 22C oder ähnlichem gespeichert worden ist (der Bereich, der berechnet wird, wenn die informationseingebende Person 10 damit beginnt, auf die Anzeigeoberfläche der Anzeige 12 zu zeigen, d. h., die Zeit, wenn der Überwachungsmerker in Schritt 188 auf 1 gesetzt worden ist), wodurch bestimmt wird, ob der Bereich des Bildteiles, der zur Hand der informationseingebenden Person 10 zugehörig ist, sich jenseits eines vorbestimmten Wertes geändert hat oder nicht. Ein negatives Bestimmungsergebnis in Schritt 192 deutet darauf hin, dass die informationseingebende Person 10 keine Anklickbewegung durchgeführt hat, so dass die Anweisungsbestimmungsverarbeitung ohne irgendeine weitere Verarbeitung abgeschlossen ist.
Wenn die informationseingebende Person das Handgelenk beugt oder schwenkt (z. B. sich von der Haltung, wie sie in 12B gezeigt ist, in die Haltung ändert, wie sie in 12C gezeigt ist, oder umgekehrt) oder er/sie einen Finger beugt oder ausstreckt, werden die Bereiche der Bildteile, welche zu der Hand der informationseingebenden Person in den Bildern A und B zugehörig sind, jenseits eines vorbestimmten Wertes geändert, wodurch in Schritt 192 ein positives Bestimmungsergebnis erzielt wird. Wenn in Schritt 192 ein positives Bestimmungsergebnis erzielt wird, wird die Information, welche ein "Anklicken erfaßt" bedeutet, an den Informationsprozessor 14 in Schritt 194 ausgegeben. Im nächsten Schritt 196 wird der Überwachungsmerker auf 0 gesetzt, und die Anweisungsbestimmungsverarbeitung ist dann abgeschlossen.
Somit bestimmt der Informationsprozessor 14, dass seine vorbestimmte Position auf der Anzeigenoberfläche der Anzeige 12, auf welche von der informationseingebenden Person 12 gezeigt wird (die Position, welche zur Koordinateneingabe in Schritt 182 zugehörig ist) angeklickt ist. Dann führt der Informationsprozessor 14 die Verarbeitung als Antwort auf die Information durch, welche an einer vorbestimmten Position auf der Anzeigeoberfläche der Anzeige 12 angezeigt wird.
Die Steuerung 22 der Handzeigeeingabevorrichtung 20 wiederholt die oben beschriebene Anweisungsbestimmungsverarbeitung zu einem bestimmten Zeitintervall, wodurch es möglich ist, die Position auf der Anzeigeoberfläche der Anzeige 12, auf welche von der informationseingebenden Person 10 gezeigt wird, in Echtzeit zu bestimmen und ob die Anklickbewegung erfaßt worden ist oder nicht. Somit sind unterschiedliche Gebrauchsmöglichkeiten möglich, wie dies unten beschrieben wird, indem die Anweisungsbestimmungsverarbeitung mit der Verarbeitung kombiniert wird, welche durch den Informationsprozessor 14 durchgeführt wird.
Zum Beispiel ist die Anzeige 12 auf der Wandfläche in einer unterirdischen Ladenzeile oder etwas ähnlichem installiert, und vom Informationsprozessor 14 wird eine Produktwerbung oder etwas ähnliches auf der Anzeige 12 angezeigt. In diesem Fall erlaubt die Anzeigeeingabevorrichtung 20 gemäß der vorliegenden Erfindung eine interaktive Kommunikation mit einem Anwender, wobei z. B. ein Bild angezeigt werden kann, welches ein bestimmtes Produkt im Detail beschreibt, wobei dies als Antwort auf die Anweisung des Anwenders (der informationseingebenden Person) geschieht. Wenn ferner der Anwender eine Prepaid-Karte (Guthaben-Karte) besitzt, kann der Anwender das Produkt kaufen, indem er mit dieser Karte zahlt.
Eine andere Möglichkeit besteht darin, dass z. B. die Anzeige 12 im Eingangsbereich eines Gebäudes installiert ist, und eine Informationskarte, welche eine Führung durch das Gebäude oder ähnliches angibt, wird auf der Anzeige 12 durch den Informationsprozessor 14 angezeigt. In diesem Fall erlaubt die Handzeigeeingabevorrichtung 20 gemäß der vorliegenden Ausführungsform eine interaktive Kommunikation mit dem Anwender, wobei z. B. ein Bild angezeigt werden kann, welches genau den Platz im Gebäude beschreibt, welchen der Anwender besuchen möchte, oder einen Laufweg zu dem Platz, den der Anwender besuchen möchte, kann als Antwort auf die Anweisung des Anwenders (der informationseingebenden Person) gezeigt werden.
Üblicherweise werden Betriebshandbücher oder andere Handbücher nicht in einen Reinraum transportiert. Jedoch kann die Anzeige 12 außerhalb des Reinraumes so angeordnet sein, dass sie vom Inneren des Reinraumes sichtbar ist, und auf der Anzeige 12 werden der Inhalt des Betriebshandbuches und anderer Handbücher als Antwort auf die Anweisung vom Bediener im Reinraum angezeigt, wobei dies von der Handzeigeeingabevorrichtung bestimmt wird, wodurch eine interaktive Kommunikation zwischen innerhalb und außerhalb des Reinraumes möglich ist, so dass die Arbeitseffizienz im Reinraum verbessert wird.
Ferner sind folgende Anwendungen möglich. Z. B können die Großbildschirmanzeige 12, die Handeingabevorrichtung 20 und der Informationsprozessor 14 als ein Spieleapparat in einem Vergnügungspark betrieben werden. Bei einer Konferenz kann während einer Präsentation eine Erklärung auf der Anzeige 12 angezeigt werden, und auf eine optionale Position auf der Anzeigeoberfläche der Anzeige 12 wird hingedeutet.
Im Sinne der obigen Beschreibung ist der Bildaufnahmebereich der Videokamera 36A so eingestellt, dass der Bereich auf der Bodenoberfläche, welche von dem Illuminator 32A beleuchtet wird, außerhalb des Bildaufnahmebereiches der Videokamera 36A sein kann, während der Bildaufnahmebereich der Videokamera 36B so eingestellt ist, dass der Bereich auf der Bodenoberfläche, welcher von dem Illuminator 32B beleuchtet wird, außerhalb des Bildaufnahmebereiches der Videokamera 36B sein kann. Die Bildaufnahme wird von der Videokamera 36A durchgeführt, wenn nur der Illuminator 32A eingeschaltet ist, während die Bildaufnahme von der Videokamera 36B durchgeführt wird, wenn nur der Illuminator 32B eingeschaltet ist. Obgleich die Bilder A und B, aus denen die Bildteile, welche zu der informationseingebenden Person 10 zugehörig sind, einfach extrahiert werden, somit aufgenommen werden, ist die vorliegende Erfindung nicht auf dieses Beispiel begrenzt. Sogar wenn der Bereich auf der Bodenoberfläche, welche von dem Illuminator 32 beleuchtet wird, innerhalb des Bildaufnahmebereiches der Videokamera ist, ist es möglich, Bilder aufzu nehmen, von denen die zu der informationseingebenden Person zugehörigen Bildteile einfach extrahiert werden.
Bei dem in 13 gezeigten Beispiel weist der Bildaufnahmebereich einer Videokamera 36 den Bereich auf der Bodenoberfläche auf, welcher von dem Illuminator 32A beleuchtet wird, und den Bereich auf der Bodenoberfläche, welcher von dem Illuminator 32B beleuchtet wird. Das Objekt 50A, welches nicht der zu erkennende Gegenstand auf der Bodenoberfläche ist, welche von dem Illuminator 32A beleuchtet wird, und das Objekt 50B, welches nicht der zu erkennende Gegenstand auf der Bodenoberfläche ist, welche von dem Illuminator 32B beleuchtet wird, werden von der Videokamera 36 aufgenommen. In solchen Fällen kann die in 14 dargestellte Beleuchtungssteuerungsverarbeitung durchgeführt werden.
Bei der Beleuchtungssteuerungsverarbeitung, wie sie in 14 dargestellt ist, wird in Schritt 250 der Illuminator 32A eingeschaltet und der Illuminator 32B ausgeschaltet. Dann wird in Schritt 252 ein Bild des Informationseingaberaumes von der Videokamera 36 aufgenommen. In Schritt 254 werden die Bilddaten, die von der Videokamera 36 ausgegeben werden (das Bild, das durch die Bilddaten gegeben ist, wird als ein erstes Bild bezeichnet) in dem RAM 22C erfaßt und gespeichert. In Schritt 256 wird bestimmt, ob eine vorbestimmte Zeit T abgelaufen ist oder nicht, nachdem der Illuminator 32A eingeschaltet worden ist. Die Verarbeitung wird nicht durchgeführt, bis eine vorbestimmte Zeit T abgelaufen ist. Wenn in Schritt 256 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 258 fortgesetzt. In Schritt 258 wird der Illuminator 32B eingeschaltet, und der Illuminator 32A wird ausgeschaltet, nachdem eine vorbestimmte Zeit t_o abgelaufen ist, nachdem der Illuminator 32B eingeschaltet worden ist (wobei darauf hingewiesen wird, dass t_o < T ist: siehe 15).
Im nächsten Schritt 260 wird ein Bild des Informationseingaberaumes von der Videokamera 36 aufgenommen. In Schritt 262 werden die Bilddaten, die von der Videokamera 36 ausgegeben werden (das Bild, das durch die Bilddaten gegeben ist, wird als ein zweites Bild bezeichnet) erfaßt. In Schritt 264 wird der untere Luminanzwert der Luminanzwerte eines gewissen Pixels im ersten Bild und zweiten Bild ausgewählt, wobei diese Auswahl auf den Bilddaten basiert, welche das erste Bild angeben, welches in dem RAM 22C in Schritt 254 gespeichert worden ist, und den Bilddaten basiert, welche durch das zweite Bild gegeben sind, welches in Schritt 262 erfaßt worden ist. Der ausgewählte Luminanzwert wird als der Luminanzwert des Pixels verwendet. Diese Verarbeitung wird für alle Pixel durchgeführt, wodurch neue Bilddaten erzeugt werden und die erzeugten Bilddaten ausgegeben werden.
Da die Zeitspanne, in der der Illuminator 32A eingeschaltet ist, während einer vorbestimmten Zeit t₀ mit der Zeitspanne überlappt, in der der Illuminator 32B eingeschaltet ist, wird bei dieser Beleuchtungssteuerungsverarbeitung, wie aus 15 ersichtlich ist, die informationseingebende Person 10 die ganze Zeit beleuchtet. Jedoch wird, wie aus 13 ersichtlich ist, das Objekt 50A, welches nicht der zu erkennende Gegenstand ist, nur beleuchtet, wenn der Illuminator 32A eingeschaltet ist, und das Objekt 50B, welches nicht der zu erkennende Gegenstand ist, wird nur beleuchtet, wenn der Illuminator 32B eingeschaltet ist. Daher ist es bei dieser Verarbeitung in Schritt 262 möglich, das Bild zu erzielen, bei dem nur der Bildteil, der zu der informationseingebenden Person zugehörig ist, eine hohe Luminanz besitzt, d. h. das Bild, von dem der zu der informationseingebenden Person 10 zugehörige Bildteil einfach extrahiert wird (oder die Bilddaten, welche diese Daten angeben).
Im nächsten Schritt 266 wird bestimmt, ob eine vorbestimmte Zeit T abgelaufen ist oder nicht, nachdem der Illuminator 32B eingeschaltet worden ist. Die Verarbeitung wird nicht durchgeführt, bis eine vorbestimmte Zeit T abgelaufen ist. Wenn in Schritt 266 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung zum Schritt 268 fortgesetzt. Im Schritt 268 wird der Illuminator 32A eingeschaltet, und der Illuminator 32B wird ausgeschaltet, nachdem eine vorbestimmte Zeit t₀ abgelaufen ist, nachdem der Illuminator 32A eingeschaltet worden ist. Dann kehrt die Verarbeitung zu Schritt 252 zurück.
Aus Gründen einer einfachen Beschreibung ist in 13 nur eine einzelne Videokamera 36 dargestellt, und in 14 ist nur eine Verarbeitung für eine einzelne Videokamera 36 aufgeführt. Sogar wenn eine Mehrzahl von Videokameras 36 zum Aufnehmen des Informationseingaberaumes aus unterschiedlichen Richtungen vorgesehen ist, wird jedoch die oben beschriebene Verarbeitung für jede Videokamera 36 durchgeführt, wodurch es möglich ist, die Bilder zu erzielen, von denen die Bildteile, die zu der informationseingebenden Person zugehörig sind, einfach extrahiert werden.
Bei der Beleuchtungssteuerungsverarbeitung, wie sie in 14 dargestellt ist, werden die Bilddaten in Synchronisation mit der zeitlichen Einteilung des Einschaltens/Ausschaltens der Illuminatoren 32A und 32B erfaßt, wobei dies nur während der Zeitspanne geschieht, wenn entweder der Illuminator 32A oder der Illuminator 32B eingeschaltet ist. Unabhängig von der zeitlichen Einteilung des Einschaltens/Ausschaltens der Illuminatoren 32A und 32B werden die Bilddaten jedoch bei einer Zeitdauer von 1/ganzzahliger Teil der vorbestimmten Zeit T erfaßt (siehe 14 und 15), wodurch die Verarbeitung in Schritt 264 in einer Zeitdauer von 2 × T durchgeführt werden kann.
Anstatt den unteren Luminanzwert jedes Pixels im vorherigen Schritt 264 auszuwählen, tritt zum Beispiel die Überlappungszeitdauer t₀ zwischen den Zyklen auf, während die Illuminatoren 32A und 32B in starken Zyklen abwechselnd eingeschaltet werden (wodurch das Verhältnis des Zeitanteiles, in dem jeder Illuminator 32A und 32B eingeschaltet sind, 50 + a% beträgt, wobei "a" zur Überlappungszeitdauer korrespondiert). Für jedes Pixel kann eine Durchschnittsluminanz in einem Einschaltzyklus der Illuminatoren 32A und 32B als die Luminanz jedes Pixels verwendet werden. Alternativ wird für die Änderung in der Luminanz jedes Pixels in einem Einschaltzyklus der Illuminatoren 32A und 32B nur die Gleichstromkomponente der Änderung in der Luminanz durch einen Tiefpaßfilter, eine Fast Fourier Transformation oder ähnliches extrahiert, wodurch der Luminanzwert, der zu der extrahierten Gleichstromkomponente der Luminanzänderung korrespondiert, als der Luminanzwert jedes Pixels verwendet werden kann. Sogar in dem oben erwähnten Fall wird der relativ hohe Luminanzwert als der Luminanzwert des Pixels verwendet, der zu der informationseingebenden Person 10 korrespondiert, welche stets von den Illuminatoren 32A oder 32B während eines Einschaltzyklus der Illuminatoren 32A und 32B beleuchtet wird. Es ist somit möglich, ein Bild zu erzielen, von dem der Bildteil, der zu der informationseingebenden Person zugehörig ist, einfach extrahiert wird.
Um ein Bild zu erzielen, von dem der von der informationseingebenden Person zugehörige Bildteil einfach extrahiert wird, wie aus 16 ersichtlich ist, kann eine schräge Plattform 58 auf der Bodenoberfläche im Informationseingaberaum angeordnet sein. Die schräge Plattform 58 weist eine geneigte Oberfläche 58A auf, welche so ausgebildet ist, dass sie die informationseingebende Person 10 umgibt, welche in dem Informationseingaberaum eintritt. Sogar wenn die informationseingebende Person 10 z. B. in den Informationseingaberaum mit Gepäck oder ähnlichem eintritt, hindert somit die schräge Plattform 58 die informationseingebende Person 10 daran, das Gepäck oder ähnliches neben sich zu stellen, so dass das Gepäck oder ähnliches von der informationseingebenden Person 10 weggestellt ist, d. h. außerhalb des Bildaufnahmebereiches der Videokamera 36. Daher ist die Präsenz eines Bildteiles, welches zu einem Objekt zugehörig ist, welches nicht der zu erkennende Gegenstand ist, wie z. B. das Gepäck der informationseingebenden Person 10, in dem von der Videokamera 36 aufgenommenen Bild gegeben. Es ist somit möglich, das Bild zu erzielen, von dem der Bildteil, der zu der informationseingebenden Person 10 korrespondiert, einfach extrahiert wird.
Wenn ein Objekt, welches nicht der zu erkennende Gegenstand ist, wie z. B. relativ kleiner Müll oder Schmutz, um die informationseingebende Person 10 verbleibt, kann ein Lüfter oder etwas ähnliches um die informationseingebende Person 10 vorgesehen sein, um einen Luftstrom zu erzeugen, so dass ein Objekt, welches nicht der zu erkennende Gegenstand ist, durch den Luftstrom fortgeblasen wird. Alternativ kann ein Speicherbehälter wie zum Speichern von Wasser oder ähnlichem um die informationseingebende Person angeordnet sein. Ferner kann der Speicherbehälter in der Form kreisförmig sein, so dass das Wasser oder ähnliches durch den Speicherbehälter zirkulieren kann. Mit einer solchen Konstruktion ist es auch möglich, ein Objekt, welches nicht der zu erkennende Gegenstand ist, daran zu hindern, um die informationseingebende Person 10 herum zu verbleiben.
Obgleich in der obigen Beschreibung die Gitterpunktpositionsinformation durch Einsatz der Zeichenplatte 40, gegeben ist, welche viele Zeichen 40A aufweist, die so gespeichert sind, dass sie in einer Matrixform auf der transparenten ebenen Platte in gleichem Abstand zueinander angeordnet sind, ist die vorliegende Erfindung auf dieses Beispiel nicht begrenzt. Wie aus 17 ersichtlich ist, kann eine Zeichenplatte 62 verwendet werden, bei der Zeichen, die aus vielen lichtemittierenden Vorrichtungen 62A, wie z. B. LED, zusammengesetzt sind, in einer Matrixform auf der transparenten ebenen Platte angeordnet sind.
In diesem Fall kann bei der Gitterpunktpositionsinformationsinitialisierung eine lichtemittierende Vorrichtung 62A zu einer Zeit sequentiell eingeschaltet sein. Immer wenn jede lichtemittierende Vorrichtung 62A eingeschaltet ist, werden die dreidimensionalen Koordinaten der eingeschalteten lichtemittierenden Vorrichtung 62A berechnet. Von den Videokameras 36A und 36B wird ein Bild des Informationseingaberaumes aufgenommen. Die Position der lichtemittierenden Vorrichtung 62A auf den Bildern A und B wird berechnet. Die dreidimensionalen Koordinaten der lichtemittierenden Vorrichtung 62A werden so ermittelt, dass sie zu der Position der lichtemittierenden Vorrichtung 62A auf den Bildern A und B korrespondieren. Diese Zugehörigkeit wird in dem Speicher 24 als die Gitterpunktpositionsinformation gespeichert. Nachdem sämtliche lichtemittierenden Vorrichtungen 62A auf der Zeichenplatte 62 eingeschaltet sind, wird die Zeichenplatte 62 um einen festen Betrag durch die Zeichenplattenantriebseinheit 38 bewegt. Die obige Verarbeitung muß nur wiederholt werden.
Wie aus 18 ersichtlich ist, kann die Zeichenplatte 40 und die Zeichenplatte 62 von einer Roboterarmeinheit 66 neu positioniert werden, wobei die Roboterarmeinheit im Stande ist, eine Hand 66B, die an dem Ende eines Armes 66A montiert ist, an eine optionale Position im Informationseingaberaum zu bewegen, in welchem das Zeichen, welches eine lichtemittierende Vorrichtung 68 aufweist, mit der Hand 66B montiert ist. In diesem Fall wird bei der Gitterpunktpositionsinformationsinitialisierung die lichtemittierende Vorrichtung 68 eingeschaltet, und die lichtemittierende Vorrichtung 68 wird an die Positionen bewegt, die zu vielen Gitterpunkten korrespondieren, die in der Git teranordnung im Informationseingaberaum mit einem konstanten Abstand zueinander angeordnet sind. Immer wenn die lichtemittierende Vorrichtung 68 in jede Position positioniert ist, werden die dreidimensionalen Koordinaten der lichtemittierenden Vorrichtung 68 berechnet. Von den Videokameras 36A und 36B wird das Bild des Informationseingaberaumes aufgenommen. Die Position der lichtemittierenden Vorrichtung 68 auf den Bildern A und B wird berechnet. Den dreidimensionalen Koordinaten der lichtemittierenden Vorrichtung 68 wird es ermöglicht, zu der Position der lichtemittierenden Vorrichtung 68 auf den Bildern A und B zu korrespondieren. Diese Zugehörigkeit muß nur noch als Gitterpunktpositionsinformation im Speicher 24 gespeichert werden.
Ferner werden anstatt einer automatischen Positionierung der Zeichen (der Zeichen 40A, der lichtemittierenden Vorrichtungen 62A oder der lichtemittierenden Vorrichtung 68) in die Positionen, die zu einer Vielzahl von Gitterpunkten korrespondieren, die in der Gitteranordnung in dem Informationseingaberaum in einem gleichförmigen Abstand zueinander angeordnet sind, indem die Zeichenplatte 40, die Zeichenplatte 62, die Roboterarmeinheit 66 oder ähnliches wie oben beschrieben bewegt wird, die Zeichen durch den Bediener manuell in die Positionen positioniert, die zu der Vielzahl der Gitterpunkte korrespondieren, und ein Bild dieser Situation wird aufgenommen, wodurch nur die Gitterpunktpositionsinformationsinitialisierung automatisch durchgeführt werden kann.
Die in den 17 und 18 dargestellte Zeichenplatte kann auch für den Einsatz mindestens einer Videokamera und einer Mehrzahl von Illuminatoren, wie sie in der 13 dargestellt sind, angewendet werden.
Wenn bei der Anweisungsbestimmungsverarbeitung, wie sie in den 8A und 8B dargestellt ist, die informationseingebende Person 10 die Zeigebewegung nicht durchführt (wenn in Schritt 159 ein negatives Bestimmungsergebnis erzielt worden ist), werden die Koordinaten der Position auf der Anzeigeoberfläche der Anzeige 12, auf welche von der informationseingebenden Person 10 gezeigt wird, nicht berechnet, und somit werden die Koordinaten an den Informationsprozessor 14 nicht ausgegeben. Wenn die informationseingebende Person 10 die Zeigebewegung nicht durchführt, wird als Folge davon der Cur sor oder ähnliches auf der Anzeige 12 nicht angezeigt. Um daher den Cursor oder ähnliches auf der Anzeige 12 beizubehalten, wird von der informationseingebenden Person 10 verlangt, weiterhin auf eine gewünschte Position zu zeigen, auf welche der Cursor oder ähnliches angezeigt wird. Dies führt unvorteilhafterweise zu einer ziemlichen Anstrengung der informationseingebenden Person 10.
Aus diesem Grund kann die Anweisungsbestimmungsverarbeitung, wie sie in den 8A und 8B dargestellt ist, durch die Anweisungsbestimmungsverarbeitung, wie sie in der 19 dargestellt ist, ersetzt werden. Bei dieser Anweisungsbestimmungsverarbeitung werden in gleicher Weise wie bei den Schritten 150 und 152 bei der Anweisungsbestimmungsverarbeitung, wie sie in den 8A und 8B dargestellt ist, die Bilddaten, die von den Videokameras 36A und 36B ausgegeben werden, in Schritt 230 erfaßt, und im nächsten Schritt 232 wird dann bestimmt, ob die informationseingebende Person 10 im Informationseingaberaum anwesend ist oder nicht, wobei dies auf der Basis der erfaßten Bilddaten geschieht.
Wenn ein negatives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 280 fortgesetzt. In Schritt 280 wird bestimmt, ob ein Ankunftsmerker den Wert 1 besitzt oder nicht (der Merker, um anzuzeigen, dass die informationseingebende Person 10 im Informationseingaberaum angekommen ist). Wenn der Anfangswert des Ankunftsmerkers 0 beträgt, wird das negative Bestimmungsergebnis zuerst in Schritt 280 erzielt, so dass die Anweisungsbestimmungsverarbeitung ohne irgendeine Verarbeitung beendet ist. Wenn die informationseingebende Person nicht in dem Informationseingaberaum ankommt, wird ein vorbestimmtes Anziehungsbild (das Bild, um nahe des Informationseingaberaumes vorbeilaufende Personen in den Informationseingaberaum anzuziehen) auf der Anzeige 12 vom Informationsprozessor 14 angezeigt.
Wenn jedoch die informationseingebende Person 10 in dem Informationseingaberaum ankommt, wird in Schritt 232 ein positives Bestimmungsergebnis erzielt, und die Verarbeitung wird mit Schritt 234 fortgesetzt. In Schritt 234 wird bestimmt, ob der Ankunftsmerker 0 beträgt oder nicht. Wenn in Schritt 234 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 236 fortgesetzt. In Schritt 236 wird der Informationsprozessor 214 informiert, dass die informationseingebende Person im Informationseingaberaum angekommen ist. Somit schaltet der Informationsprozessor 14 das auf der Anzeige 12 angezeigte Bild vom Anziehungsbild zum Anfangsbild um (dies kann z. B. für eine Produktwerbung ein Bild sein, welches eine Produktauflistung oder ähnliches angibt).
Wenn die informationseingebende Person im Informationseingaberaum angekommen ist, wird im nächsten Schritt 238 der Ankunftsmerker auf 1 gesetzt, wobei ein Anweisungsmerker (der Merker um anzugeben, dass die informationseingebende Person 10 auf die Anzeigeoberfläche der Anzeige 12 zeigt) und der Überwachungsmerker auf 0 gesetzt werden, und dann schreitet die Verarbeitung mit Schritt 240 fort. Wenn in Schritt 234 ein negatives Bestimmungsergebnis erzielt worden ist, d. h. wenn die informationseingebende Person nach der vorherigen Durchführung der Anweisungsbestimmungsverarbeitung im Informationseingaberaum verbleibt, schreitet die Verarbeitung zu Schritt 240 fort, ohne dass irgendeine Verarbeitung in dem Schritten 236 und 238 durchgeführt wird.
In Schritt 240 werden in gleicher Weise wie in den Schritten 154 bis 158 des Flußdiagrammes von 8A und 8B die Bildteile, die zu dem Gesamtlängenbild der informationseingebenden Person 10 zugehörig sind, von den Bildern extrahiert, die von den Videokameras 36A und 36B aufgenommen worden sind, und die Höhe h und die Position auf der Bodenoberfläche der informationseingebenden Person 10 werden berechnet, wodurch die dreidimensionalen Koordinaten des Referenzpunktes der informationseingebenden Person 10 bestimmt werden. Im nächsten Schritt 242, in ähnlicher Weise wie Schritt 159 des Flußdiagrammes von 8A und 8B, wird bestimmt, ob die informationseingebende Person 10 eine Zeigebewegung durchführt oder nicht. Wenn in Schritt 242 ein negatives Bestimmungsergebnis erzielt worden ist, wird in Schritt 270 bestimmt, ob der Anweisungsmerker 1 beträgt oder nicht. Wenn in Schritt 270 auch ein negatives Bestimmungsergebnis erzielt worden ist, wird die Anweisungsbestimmungsverarbeitung beendet.
Wenn jedoch die informationseingebende Person 10 ihre Haltung von einer aufrecht stehenden Haltung, wie in 12A dargestellt, in eine Haltung ändert, bei der sie mit der Hand auf die Anzeige 12 zeigt, wie aus 12B oder 12C ersichtlich ist, wird in Schritt 242 ein positives Bestimmungsergebnis erzielt, und dann schreitet die Verarbeitung mit Schritt 244 fort. In Schritt 244 werden in gleicher Weise wie bei den Schritten 160–176 des Flußdiagrammes von 8A und 8B die dreidimensionalen Koordinaten des Merkmalspunktes der informationseingebenden Person 10 berechnet, und dann wird die Position berechnet, auf welche die informationseingebende Person 10 zeigt.
In Schritt 246 wird bestimmt, ob die informationseingebende Person 10 auf die Anzeigeoberfläche der Anzeige 12 zeigt oder nicht. Wenn in Schritt 236 ein negatives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 270 fortgesetzt. Wenn in Schritt 246 jedoch ein positives Bestimmungsergebnis erzielt worden ist, wird der Zeigemerker in Schritt 247 auf 1 gesetzt. In Schritt 248 werden dann die Koordinaten der Position auf der Anzeigeoberfläche der Anzeige 12, auf welche die informationseingebende Person 10 zeigt, an den Informationsprozessor 14 ausgegeben, und die Koordinaten werden in dem RAM 22C oder ähnlichem gespeichert. Der Informationsprozessor 14 ermöglicht somit, dass der Cursor oder ähnliches an der Position an der Anzeigeoberfläche der Anzeige 12, auf welche von der informationseingebenden Person 10 gezeigt wird, angezeigt wird.
Die Verarbeitung in den Schritten 250 bis 262 wird in gleicher Weise wie bei den Schritten 184 bis 196 des Flußdiagrammes der 8A und 8B durchgeführt, wodurch die Anklickbewegung erfaßt wird. Der Bildteil, der zu der Hand der informationseingebenden Person 10 in dem Bild korrespondiert, wird so extrahiert, dass dessen Bereich berechnet wird (Schritt 250), und es wird bestimmt, ob der Überwachungsmerker 1 beträgt oder nicht (Schritt 252). Wenn in Schritt 252 ein negatives Bestimmungsergebnis erzielt worden ist, wird der Überwachungsmerker auf 1 gesetzt (Schritt 254). Der zuvor berechnete Be reich des Bildteiles, der zur Hand der informationseingebenden Person korrespondiert, wird im Speicher gespeichert (Schritt 256), und die Anweisungsbestimmungsverarbeitung ist beendet.
Wenn in Schritt 254 ein positives Bestimmungsergebnis erzielt worden ist, wird der Bereich, der in Schritt 250 berechnet worden ist, mit dem Bereich verglichen, der in dem RAM 22C oder ähnlichem gespeichert ist, wodurch bestimmt wird, ob der Bereich des Bildteiles, der zu der Hand der informationseingebenden Person korrespondiert, sich jenseits eines vorbestimmten Wertes geändert hat oder nicht (Schritt 258). Wenn in Schritt 258 ein negatives Bestimmungsergebnis erzielt worden ist, wird die Feststellung getroffen, dass die informationseingebende Person keine Anklickbewegung durchgeführt hat, so dass die Anweisungsbestimmungsverarbeitung ohne irgendeine weitere Verarbeitung abgeschlossen ist. Wenn in Schritt 258 jedoch ein positives Bestimmungsergebnis erzielt worden ist, wird an den Informationsprozessor 14 die Information, welche "Anklicken erfaßt" angibt, ausgegeben (Schritt 260, wodurch der Informationsprozessor 14 eine vorbestimmte Verarbeitung so durchführt, dass er das Bild, welches auf der Anzeige 12 angezeigt ist, ersetzt). Dann werden der Überwachungsmerker und der Zeigemerker auf 0 gesetzt (Schritt 262), und die Anweisungsbestimmungsverarbeitung ist abgeschlossen.
Wenn die informationseingebende Person auf die Anzeigeoberfläche der Anzeige 12 zeigt und sie dann den Arm ohne eine Anklickbewegung senkt, wird in Schritt 242 ein negatives Bestimmungsergebnis erzielt, und die Verarbeitung wird mit Schritt 270 fortgesetzt. Weil der Zeigemerker 1 beträgt, wird in Schritt 270 zu dieser Zeit ein positives Bestimmungsergebnis erzielt, und dann wird die Verarbeitung mit Schritt 272 fortgesetzt. In Schritt 272 werden die Koordinaten der Position auf der Anzeigeoberfläche der Anzeige 12, auf welche von der informationseingebenden Person 10 gezeigt wird (berechnet und gespeichert im RAM 22C in Schritt 248) an den Informationsprozessor ausgegeben. Somit ermöglicht der Informationsprozessor 14, dass der Cursor an der angezeigten Position verbleibt, wo der Cursor angezeigt worden war, bevor die informationseingebende Person den Arm gesenkt hat.
Sogar wenn die Haltung der informationseingebenden Person 10 sich von der Haltung, wie sie in 12B oder 12C dargestellt ist, in die Haltung, wie sie in 12A dargestellt ist, ändert, bleibt gemäß der obigen Beschreibung der Cursor angezeigt. Sogar wenn die informationseingebende Person 10 es wünscht, dass der Cursor angezeigt bleibt (z. B. während einer Präsentation bei einer Konferenz) ist es für die informationseingebende Person somit nicht erforderlich, dass der Arm in einer angehobenen Lage bleibt. Demgemäß kann eine Anstrengung für die informationseingebende Person 10 reduziert werden.
Wenn die informationseingebende Person 10 aus dem Informationseingaberaum herausgeht, wird in Schritt 232 ein negatives Bestimmungsergebnis erzielt, wobei dies sogar während einer Reihe von Verarbeitungsschritten durch den Informationsprozessor 14 erfolgt, so dass die Verarbeitung mit Schritt 280 fortgesetzt wird. Weil der Ankunftsmerker auf 1 gesetzt ist, wenn die informationseingebende Person 10 aus dem Informationseingaberaum herausgeht, wird in Schritt 280 das positive Bestimmungsergebnis erzielt. In Schritt 282 wird der Informationsprozessor 14 informiert, dass die informationseingebende Person 10 aus dem Informationseingaberaum herausgegangen ist. Wenn die Verarbeitung gerade durchgeführt wird, hält somit der Informationsprozessor 14 die Durchführung der Verarbeitung an und schaltet das Bild, welches auf der Anzeige 12 angezeigt wird, auf das Anziehungsbild um. Im nächsten Schritt 284 wird der Ankunftsmerker auf 0 gesetzt, und die Anweisungsbestimmungsverarbeitung ist beendet.
Wenn sich in diesem Sinne eine informationseingebende Person nicht im Informationseingaberaum aufhält, wird auf der Anzeige immer ein Anziehungsbild angezeigt. Immer wenn die informationseingebende Person 10 in den Informationseingaberaum kommt, führt der Informationsprozessor 14 eine Reihe von Verarbeitungsschritten durch, wobei damit begonnen wird, auf der Anzeige 12 das Anfangsbild anzuzeigen.
Obgleich bei der Anweisungsbestimmungsverarbeitung, wie sie in den 8 und 19 dargestellt ist, die Anklickbewegung als irgendeine Bewegung der Hand der informationseingebenden Person definiert ist (z. B. Beugen und Schwenken des Handgelenkes, Beugen und Ausstrecken eines Fingers oder ähnliches), ist die vorliegende Erfindung nicht auf diese Beispiele begrenzt. Eine schnelle Vorwärtsbewegung der Hand der informationseingebenden Person 10 (siehe 22A, hier nachfolgend als "Vorwärtsklick" bezeichnet) und eine schnelle Rückwärtsbewegung der Hand der informationseingebenden Person 10 (siehe 22B, hier nachfolgend als ein "Rückwärtsklick" bezeichnet) kann als die Anklickbewegung definiert werden. Die oben beschriebene Anklickbewegung kann z. B. durch die Anweisungsbestimmungsverarbeitung, wie sie in 20 dargestellt ist, anstelle der Anweisungsbestimmungsverarbeitung, wie sie in den 8 und 19 dargestellt ist, erfaßt werden.
Bei der Anweisungsbestimmungsverarbeitung, wie sie in 20 dargestellt ist, wird zunächst in Schritt 310, in gleicher Weise wie bei Schritt 152 des Flußdiagrammes von 8A und 8B und bei Schritt 232 des Flußdiagrammes von 19, bestimmt, ob die informationseingebende Person 10 im Informationseingaberaum angekommen ist oder nicht (anwesend ist oder nicht). Diese Bestimmung kann auch durch die sehr einfache Bestimmung durchgeführt werden, ob z. B. ein Bildteil mit einer hohen Luminanz und ein Bereich eines vorbestimmten Wertes oder mehr in den Bildern A und B vorhanden ist oder nicht. Wenn in Schritt 310 ein negatives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung verzögert, bis ein positives Bestimmungsergebnis erzielt worden ist. Wenn die informationseingebende Person 10 in dem Informationseingaberaum ankommt, wird in Schritt 310 ein positives Bestimmungsergebnis erzielt, und die Verarbeitung schreitet dann zu Schritt 312 fort. In Schritt 312 wird die Verarbeitung für das Setzen einer Anklickbewegungsgeschwindigkeit durchgeführt.
Diese Verarbeitung zum Setzen einer Anklickbewegungsgeschwindigkeit wird nun mit Bezug auf das Flußdiagramm von 21 beschrieben. In Schritt 290 wird dem Informationsprozessor 14 eine Anweisung gegeben, auf der Anzeige 12 eine Nachricht anzuzeigen, mit der bei der informationseingebenden Person 10 nachgefragt wird, die Anklickbewegung durchzuführen. Der Informationsprozessor 14 ermöglicht es, dass die Nachricht auf der Anzeige 12 angezeigt wird. Wenn die Nachricht auf der Anzeige 12 angezeigt ist, beugt die informati onseingebende Person 10 den Arm oder streckt den Arm aus und wiederholt die Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung.
Im nächsten Schritt 292 wird eine Verarbeitung zur Berechnung von Referenzpunktkoordinaten bzw. Merkmalspunktkoordinaten durchgeführt (die gleiche Verarbeitung wie bei den Schritten 154 bis 176 des Flußdiagrammes von 8A und 8B), wodurch die dreidimensionalen Koordinaten des Referenzpunktes P₀ und des Merkmalspunktes P_X bestimmt werden. In Schritt 294 wird bestimmt, ob die informationseingebende Person 10 eine Zeigebewegung, bei der auf die Anzeige 12 gezeigt wird, durchgeführt hat oder nicht. Wenn in Schritt 294 ein negatives Bestimmungsergebnis erzielt worden ist, kehrt die Verarbeitung zu Schritt 292 zurück. Die Schritte 292 und 294 werden wiederholt, bis die informationseingebende Person 10 die Zeigebewegung durchführt. Wenn in Schritt 294 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 296 fortgesetzt.
In Schritt 296 wird ein Abstand k zwischen dem Referenzpunkt P₀ und dem Merkmalspunkt P_X von den dreidimensionalen Koordinaten des Referenzpunktes P₀ und den dreidimensionalen Koordinaten des Merkmalspunktes P_X berechnet, welche in Schritt 292 erfaßt worden sind. Obgleich Schritt 296 wiederholt wird, wird während der zweiten Wiederholung und späterer Wiederholungen die Geschwindigkeit der Änderung des Abstandes k, d. h. eine Änderungsgeschwindigkeit V (eine Bewegungsgeschwindigkeit der Position des Merkmalspunktes P_X zum Referenzpunkt P₀), berechnet, wobei dies auf dem Unterschied zwischen dem momentanen Wert des Abstandes k und dem vorherigen Wert des Abstandes k basiert. Dieses Berechnungsergebnis wird gespeichert.
Im nächsten Schritt 298 wird bestimmt, ob eine vorbestimmte Zeit, nachdem die die Anklickbewegung nachfragende Nachricht auf der Anzeige 12 angezeigt worden ist, abgelaufen ist oder nicht. Wenn in Schritt 298 ein negatives Bestimmungsergebnis erzielt worden ist, kehrt die Verarbeitung zu Schritt 292 zurück, und die Schritte 292 bis 298 werden wiederholt. Ist eine vorbestimmte Zeit, nachdem die die Anklickbewegung nachfragende Nachricht angezeigt ist, abgelaufen ist, werden daher die Berechnung und Speicherung der Änderungsgeschwindigkeit V des Abstandes k zwischen dem Referenzpunkt P₀ und dem Merkmalspunkt P_X wiederholt.
Wenn in Schritt 298 ein positives Bestätigungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 300 fortgesetzt. Die zuvor berechnete und gespeicherte Änderungsgeschwindigkeit V wird erfaßt, und eine Anklickbewegungsgeschwindigkeit V₀ wird gesetzt und als der Schwellenwert gespeichert, wobei dies auf dem Übergang der Änderungsgeschwindigkeit V während einer einzelnen Anklickbewegung der informationseingebenden Person 10 basiert. Diese Anklickbewegungsgeschwindigkeit V₀ wird als der Schwellenwert zur Bestimmung verwendet, ob die informationseingebende Person 10 die Anklickbewegung bei der unten beschriebenen Verarbeitung durchführt oder nicht. Um somit mit Sicherheit zu bestimmen, dass die informationseingebende Person 10 eine Anklickbewegung durchführt, kann eine Anklickbewegungsgeschwindigkeit V₀ zum Beispiel auf einen Wert gesetzt werden, welche geringfügig kleiner als der Durchschnittswert der Änderungsgeschwindigkeit V während einer einzelnen Anklickbewegung der informationseingebenden Person 10 ist. Alternativ kann die Anklickbewegungsgeschwindigkeit V₀ auf einen Mindestwert der Änderungsgeschwindigkeit V während einer einzelnen Anklickbewegung der informationseingebenden Person 10 gesetzt werden.
Wenn die informationseingebende Person 10 einen Arm so beugt oder ausstreckt, um dadurch die Anklickbewegung zu erzielen, variiert die Bewegungsgeschwindigkeit (die Änderungsgeschwindigkeit V) des Merkmalspunktes P_X in Abhängigkeit von der informationseingebenden Person 10. Die oben beschriebene Verarbeitung zum Setzen der Anklickbewegungsgeschwindigkeit wird jedoch zu jeder Zeit durchgeführt, wenn eine informationseingebende Person 10 im Informationseingaberaum ankommt. Wenn daher eine neue informationseingebende Person 10 im Informationseingaberaum ankommt, wird ein angemessener neuer Wert als die Anklickbewegungsgeschwindigkeit V₀ gesetzt, wobei dies unter Berücksichtigung des Körperbaus, der Muskelkraft oder ähnlichem der neuen informationseingebenden Person 10 geschieht.
Wenn die oben beschriebene Verarbeitung zum Setzen der Anklickbewegungsgeschwindigkeit abgeschlossen ist, schreitet die Verarbeitung zu Schritt 314 der Anweisungsbestimmungsverarbeitung fort (20). In Schritt 314 wird die Verarbeitung zur Berechnung der Referenzpunktkoordinaten/Merkmalspunktkoordinaten durchgeführt (die gleiche Verarbeitung wie bei den Schritten 154 bis 176 des Flußdiagrammes von 8A und 8B), wodurch die dreidimensionalen Koordinaten des Referenzpunktes P₀ und des Merkmalspunktes P_X bestimmt werden. Im nächsten Schritt 317 wird bestimmt, ob die informationseingebende Person 10 die Zeigebewegung durchführt oder nicht, wobei dies auf den dreidimensionalen Koordinaten des Referenzpunktes P₀ und des Merkmalspunktes P_X, die in Schritt 314 bestimmt worden sind, basiert.
Wenn in Schritt 316 ein negatives Bestimmungsergebnis erzielt worden ist, schreitet die Verarbeitung mit Schritt 334 fort. In Schritt 334 wird bestimmt, ob die informationseingebende Person 10 den Informationseingaberaum verlassen hat oder nicht. In gleicher Weise wie bei dem oben beschriebenen Schritt 310 kann diese Bestimmung auch durch die sehr einfache Bestimmung durchgeführt werden, ob z. B. das Bildteil mit einer hohen Luminanz und einem Bereich eines vorbestimmten Wertes und mehr in den Bildern A und B nicht vorhanden ist oder doch vorhanden ist. Wenn ein negatives Bestimmungsergebnis erzielt worden ist, kehrt die Verarbeitung zu Schritt 314 zurück. Die Schritte 314, 316 und 334 werden wiederholt, bis die informationseingebende Person 10 die Zeigebewegung durchführt.
Wenn in Schritt 316 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 318 fortgesetzt. In Schritt 318 werden, basierend auf den dreidimensionalen Koordinaten des Referenzpunktes P₀ und des Merkmalspunktes P_X, welche in Schritt 314 berechnet worden sind, die Koordinaten des Schnittpunktes auf einer Ebene, welche die Anzeigeoberfläche auf der Großbildschirmanzeige 12 umfaßt, mit der virtuellen Linie, welche den Referenzpunkt und den Merkmalspunkt verbindet, berechnet, wobei dies in der gleichen Weise wie in Schritt 176 des Flußdiagrammes von 8A und 8B geschieht, um die Position zu bestimmen, auf welche von der informationseingebenden Person 10 gezeigt wird. Im nächsten Schritt 320 wird bestimmt, ob die informationseingebende Person 10 auf die Anzeigeoberfläche der Großbildschirmanzeige 12 zeigt oder nicht, wobei dies auf der Koordinate basiert, die in Schritt 318 berechnet worden ist.
Wenn in Schritt 320 ein negatives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 334 fortgesetzt, wobei keine weitere Verarbeitung stattfindet. Wenn jedoch in Schritt 320 ein positives Bestimmungsergebnis erzielt worden ist, werden in Schritt 322 die Koordinaten, die in Schritt 318 berechnet worden sind, an den Informationsprozessor 14 ausgegeben, wodurch dem Informationsprozessor die Anweisung gegeben wird, den Cursor anzuzeigen. Somit führt der Informationsprozessor 14 die Verarbeitung durch, bei welcher dem Cursor erlaubt wird, auf einer vorbestimmten Position auf der Anzeigeoberfläche der Anzeige 12 angezeigt zu werden, welche als die Position bewertet wird, auf welche von der informationseingebenden Person 10 gezeigt wird.
Im nächsten Schritt 324 wird der Abstand k zwischen dem Referenzpunkt P₀ und dem Merkmalspunkt P_X berechnet, wobei dies auf den dreidimensionalen Koordinaten des Referenzpunktes P₀ und des Merkmalspunktes P_X basiert, und es wird bestimmt, ob der Abstand k sich verändert hat oder nicht. Schritt 324 wird wiederholt, wenn die informationseingebende Person 10 auf die Anzeigeoberfläche 12 zeigt (wenn in Schritt 320 ein positives Bestimmungsergebnis erzielt worden ist). Da nicht bestimmt werden kann, ob der Abstand k sich verändert hat oder nicht, wenn der Abstand k zum ersten Mal in Schritt 324 berechnet wird, wird in Schritt 324 ohne Bedingung ein negatives Bestimmungsergebnis erzielt.
Wenn jedoch in Schritt 324 ein positives Bestimmungsergebnis erzielt worden ist, wird die Verarbeitung mit Schritt 326 fortgesetzt. In Schritt 326 wird die Änderungsgeschwindigkeit V des Abstandes k berechnet, und es wird bestimmt, ob die berechnete Änderungsgeschwindigkeit V der Schwellenwert ist oder nicht (die Anklickbewegungsgeschwindigkeit V₀, welche von der Verarbeitung zum Setzen der Anklickgeschwindigkeit gesetzt ist). Weil die Änderungsgeschwindigkeit V des Abstandes k nicht bestimmt werden kann, wenn der Ab stand k zum ersten Mal in Schritt 324 berechnet wird, wird in Schritt 326 ohne Vorbehalt ein negatives Bestimmungsergebnis erzielt. Wenn in Schritt 324 oder 326 ein negatives Bestimmungsergebnis erzielt worden ist, wird festgestellt, dass die informationseingebende Person 10 keine Anklickbewegung durchführt, und die Verarbeitung schreitet zu Schritt 334 ohne irgendeine weitere Verarbeitung fort.
Wenn in Schritt 324 oder 326 ein positives Bestimmungsergebnis erzielt worden ist, ist bestimmt worden, dass die informationseingebende Person 10 eine Anklickbewegung durchführt. In Schritt 328 wird die Änderungsrichtung beim Abstand k bestimmt, wobei als Antwort auf das Ergebnis der Bestimmung sich die Verzweigung aufteilt. Wenn sich der Abstand a in eine zunehmende Richtung ändert, weil bestimmt werden kann, dass die informationseingebende Person 10 die Vorwärtsbewegung durchführt, indem sie einen Arm schnell ausstreckt, wird die Verarbeitung mit Schritt 330 fortgesetzt. In Schritt 330 wird die Information, welche angibt, dass der Vorwärtsklick erfaßt worden ist, an den Informationsprozessor 14 ausgegeben, und dann schreitet die Verarbeitung zu Schritt 334 fort. Wenn sich jedoch der Abstand k in eine abnehmende Richtung geändert hat, weil bestimmt worden ist, dass die informationseingebende Person eine Rückwärtsanklickbewegung durchführt, indem sie den Arm schnell beugt, wird die Verarbeitung mit Schritt 332 fortgesetzt. In Schritt 332 wird die Information, welche angibt, dass der Rückwärtsklick erfaßt worden ist, an den Informationsprozessor 14 ausgegeben, und dann wird die Verarbeitung mit dem Schritt 334 fortgesetzt.
Wenn die Information, welche anzeigt, dass der Vorwärtsklick oder der Rückwärtsklick erfaßt worden ist, in den Informationsprozessor 14 eingegeben worden ist, bestimmt der Informationsprozessor 14, dass die momentane Position, auf welche von der informationseingebenden Person 10 gezeigt worden ist, angeklickt worden ist. Wenn der Vorwärtsklick erfaßt worden ist, wird eine erste Verarbeitung, die zu der momentanen Position korrespondiert, auf welche gezeigt worden ist, durchgeführt. Wenn der Rückwärtsklick erfaßt worden ist, wird eine zweite Verarbeitung (die sich von der ersten Verarbeitung unterscheidet), die zu der momentanen Position, auf welche gezeigt worden ist, korrespondiert, durchgeführt. Wenn die informationseingebende Person 10 den Informationseingaberaum verläßt, wird ein positives Bestimmungsergebnis in Schritt 334 erzielt, und die Verarbeitung kehrt zu Schritt 310 zurück.
Da die Anklickbewegung bei der Anweisungsbestimmungsverarbeitung eine sehr natürliche Bewegung ist, wie die Bewegung zum Hinzeigen und Auswählen einer spezifischen Position auf der Anzeigeoberfläche der Anzeige 12, kann die zu erkennende Person die Anklickbewegung durchführen, ohne sich dabei unbehaglich zu fühlen. Da auf der Basis der Änderung beim Abstand k zwischen dem Referenzpunkt und dem Merkmalspunkt bestimmt werden kann, ob die Anklickbewegung durchgeführt worden ist oder nicht, und ob die durchgeführte Anklickbewegung die Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung ist, kann die Anklickbewegung in einer kurzen Zeit erfaßt werden. Da auch zwei Arten von Anklickbewegungen (die Vorwärtsanklickbewegung und die Rückwärtsanklickbewegung) als die Anklickbewegung definiert sind, kann die informationseingebende Person wahlweise die erste Verarbeitung und die zweite Verarbeitung durchführen.
Die natürliche Bewegung einer Personenhand, nachdem die Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung durchgeführt worden ist, liegt darin, zu versuchen, zu der Position (Neutralposition) vor der Anklickbewegung zurückzukehren. Um zu verhindern, dass die Bewegung der Hand, welche versucht, in die Neutralposition nach der Vorwärtsanklickbewegung zurückzukehren, fälschlicherweise als die Rückwärtsanklickbewegung erkannt wird, und um zu verhindern, dass die Bewegung der Hand, welche versucht, in die Neutralposition nach der Rückwärtsanklickbewegung zurückzukehren, als die Vorwärtsanklickbewegung fälschlicherweise erkannt wird, ist es daher wünschenswert, dass die Bewegung der Hand, welche versucht, in die Neutralposition zurückzukehren, ignoriert wird, nachdem die Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung erfaßt worden ist. Dies kann z. B. durchgeführt werden, indem eine Erfassung der Anklickbewegung für eine vorbestimmte Zeit unterbrochen wird, nachdem die Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung erfaßt worden ist. Alternativ kann dies auch auf folgende Weise durchgeführt werden. Der Wert des Abstandes k vor dem Erfassen der Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung wird zuvor als der Wert gespeichert, welcher zu der Neutralposition korrespondiert. Dann wird die Erfassung der Anklickbewegung unterbrochen, bis der Wert des Abstandes k den Wert erreicht, welcher zur Neutralposition korrespondiert, nachdem die Vorwärtsanklickbewegung oder Rückwärtsanklickbewegung erfaßt worden ist.
Wenn die informationseingebende Person den Arm senkt, dann ist es bei der oben erwähnten Anweisungsbestimmungsverarbeitung, in gleicher Weise wie bei der Anweisungsbestimmungsverarbeitung, die in 19 dargestellt ist, selbstverständlich, dass der Cursor an der Position angezeigt bleiben kann, an welcher der Cursor angezeigt worden war, bevor der Arm gesenkt wurde.
Obgleich gemäß der obigen Beschreibung die Position, an welche von der informationseingebenden Person gezeigt wird, auf der Basis der dreidimensionalen Koordinaten des Referenzpunktes und des Merkmalspunktes der informationseingebenden Person berechnet wird, ist die vorliegende Erfindung nicht auf dieses Beispiel begrenzt. Wie aus 23 ersichtlich ist, wird ein Bildteil 72, welches zum Gesamtlängenbild der informationseingebenden Person 10 korrespondiert, aus dem Bild extrahiert, welches von der Videokamera aufgenommen worden ist, und die Höhe h und die Position auf der Bodenoberfläche der informationseingebenden Person 10 werden berechnet. Nachdem andere Parameter, welche die informationseingebende Person 10 betreffen, wie z. B. ihre Gestalt, bestimmt worden sind, wird ferner das Gesamtlängenbild der informationseingebenden Person in ein Attrappenmodell 74 auf der Basis unterschiedlicher Parameter einschließlich ihrer Höhe h konvertiert. Es können unterschiedliche Bewegungen der informationseingebenden Person einschließlich der Bewegung, auf die Anzeigeoberfläche der Anzeige 12 zu zeigen, auf der Basis dieses Attrappenmodells erkannt werden.
Wenn das Attrappenmodell verwendet wird, wie oben beschrieben worden ist, ist es auch möglich, eine Bewegung zu erkennen, wie z. B. eine Bewegung, bei der mit der Hand gewunken wird, welche von dem Gesamtlängenbild der informationseingebenden Person schwierig zu erkennen ist. Wird z. B. angenommen, dass die Bewegung, in welcher die informationseingebende Person mit der Hand winkt, als die Bewegung definiert wird, welche ein "Abbrechen" angibt, wenn die informationseingebende Person mit der Hand winkt, so ist es möglich, die durchgeführte Verarbeitung anzuhalten, weil dies als Antwort auf die zuvor erkannte Bewegung der informationseingebenden Person geschieht.
Obgleich die obige Beschreibung für ein Beispiel einer Art vorgesehen ist, bei der die informationseingebende Person auf einen optionalen Punkt auf der Anzeigeoberfläche der Anzeige zeigt, ist der Gegenstand, auf den von der informationseingebenden Person gezeigt wird, nicht auf die Anzeige begrenzt. Die informationseingebende Person kann in eine optionale Richtung oder zu einem optionalen Objekt zeigen, welches in einem nicht fixierten Abstand von der informationseingebenden Person positioniert ist.
Wenn die informationseingebende Person in eine optionale Richtung zeigt, wird bei der Anweisungsbestimmungsverarbeitung (z. B. bei Schritt 176 des Flußdiagrammes der 8A und 8B) die Richtung bestimmt, in der sich die virtuelle Linie, welche den Referenzpunkt und den Merkmalspunkt der informationseingebenden Person verbindet, erstreckt, wodurch die Richtung, in welche von der informationseingebenden Person gezeigt wird, bestimmt werden kann. Wenn die informationseingebende Person auf ein optionales Objekt zeigt, welches in einem nicht fixierten Abstand von der informationseingebenden Person positioniert ist, wird in dem vorherigen Schritt 176 die sich erstreckende Richtung der virtuellen Linie bestimmt, und dann wird das Objekt auf dem Ende der sich erstreckenden virtuellen Linie bestimmt, wodurch die Richtung, in welche von der informationseingebenden Person gezeigt wird, bestimmt werden kann.
Die informationseingebende Person kann in eine optionale Richtung bei der folgenden Anwendung zeigen. Z. B. könnten in einem Theater oder etwas ähnlichem die Richtung der Emission eines Punktlichtes und die Richtungen akustischer Wellen, welche durch eine Vielzahl von Lautsprechern in einer Gruppenanordnung erzeugt werden, zu der Richtung orientiert sein, in welche von dem Operateur (informationseingebende Person) gezeigt wird.
Die informationseingebende Person kann bei der folgenden Anwendung auf ein optionales Objekt zeigen, welches in einem nicht fixierten Abstand von der informationseingebenden Person positioniert ist. Z. B. können auf einem Bauplatz, einem Fabrikgebäude oder etwas ähnlichem ein Kran und andere Maschinen als Antwort auf Anweisungen von einem Bediener (informationseingebende Person) betrieben werden. Die informationseingebende Person könnte ferner unterschiedliche Anweisungen an unterschiedliche Vorrichtungen bei einer Haushaltsautomatisierung geben.
Obgleich gemäß der obigen Beschreibung eine einzelne Videokamera 36 oder zwei Videokameras 36A und 36B hauptsächlich vorgesehen sind, ist die vorliegende Erfindung nicht auf dieses Beispiel begrenzt. Das Bild des Informationseingaberaumes kann durch mehr Videokameras aufgenommen werden, wodurch die Anweisung von der informationseingebenden Person bestimmt wird.

Claims

Handzeigevorrichtung, umfassend: Beleuchtungsmittel (32A, 32B) zum Beleuchten einer zu erkennenden Person (10); Aufnahmemittel (36A, 36B) zum Aufnehmen von Bildern der zu erkennenden Person (10), welche von dem Beleuchtungsmittel (32A, 32B) beleuchtet ist; und Bestimmungsmittel zum Extrahieren eines Bildteiles, welches zu einem Teil der zu erkennenden Person korrespondiert, aus einer Vielzahl von Bildern von Situationen, welche von dem Bildaufnahmemittel aufgenommen worden sind, und zum Bestimmen, wann das zu der zu erkennenden Person zugehörige Teil bewegt worden ist; und Verarbeitungsmittel (14) zum Durchführen einer vorbestimmten Verarbeitung, wenn das Teil mit einer vorbestimmten Bedingung bewegt wird, dadurch gekennzeichnet, dass die vorbestimmte Bedingung sich auf eine Geschwindigkeit des Teiles bezieht.
Handzeigevorrichtung nach Anspruch 1, wobei die vorbestimmte Bedingung derart ist, dass das Teil mit mehr als einer vorbestimmten Geschwindigkeit bewegt wird.
Handzeigevorrichtung nach Anspruch 1, wobei das Teil eine Hand der zu erkennenden Person ist.