DE69817498T2

DE69817498T2 - Handzeigegerät

Info

Publication number: DE69817498T2
Application number: DE69817498T
Authority: DE
Inventors: Kenichi Inzai-shi Harakawa
Original assignee: Takenaka Corp
Current assignee: Takenaka Corp
Priority date: 1997-10-29
Filing date: 1998-10-28
Publication date: 2004-06-17
Anticipated expiration: 2018-10-29
Also published as: JP3795647B2; KR100331693B1; KR19990037502A; JPH11134089A; US6434255B1; EP0913790B1; EP0913790A1; DE69817498D1

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Hand-Zeige-Vorrichtung gemäß des Oberbegriffs des Anspruchs 1.
Beschreibung des Standes der Technik
Es ist eine Hand-Zeige-Vorrichtung des obigen Typs (JP-08-328735) bekannt, die eine Anzeige zum Anzeigen von vorgegebenen Informationen, eine Beleuchtungseinrichtung zum Beleuchten einer informationseingebenden Person, die zu der Anzeige kommt und eine Vielzahl von Bildaufnahmemitteln zum Aufnehmen des Bildes der ankommenden informationseingebenden Person aus verschiedenen Richtungen umfaßt, wobei eine Vielzahl von Bildaufnahmemitteln Bilder aufnehmen von Situationen, in denen die ankommende informationseingebende Person mit einem Finger oder ähnlichem auf eine optionale Position auf der Anzeige zeigt, die informationseingebende Person in Übereinstimmung mit der Vielzahl der durch die Bildaufnahme erhaltenen Bilder erkannt wird, die Position auf der Anzeige, auf die die informationseingebende Person zeigt, ermittelt wird, eine Eingabeaufforderung oder ähnliches auf der Position abgebildet wird, auf die gezeigt wird, und die Position auf der Anzeige, auf die gezeigt wird, zu der Zeit als geklickt erkannt wird, zu der detektiert wird, daß die informationseingebende Person durch Heben eines Daumens eine Klick-Handlung durchgeführt hat, wobei eine vorgegebene Verarbeitung durchgeführt wird (siehe z.B. offengelegte Japanische Patentanmeldungen (JP-A) Nr. 4-271423, Nr. 5-19957 und Nr. 5-324181, oder ähnliches).
Gemäß der oben beschriebenen Hand-Zeige-Eingabevorrichtung ist es möglich, die Operation zur Benutzung einer Informationsverarbeitungs-Vorrichtung zu vereinfachen, da die informationseingebende Person verschiedene Anweisungen an die Informationsverarbeitungs-Vorrichtung geben kann und der Informationsverarbeitungs-Vorrichtung verschiedene Informationen eingeben kann, ohne eine Eingabevorrichtung zu berühren, wie z. B. eine Tastatur oder eine Maus.
Die oben beschriebenen Hand-Zeige-Vorrichtung kann ermitteln, auf welche Positionen auf dem Anzeigebildschirm der Anzeige die informationseingebende Person zeigt. Jedoch kann diese Hand-Zeige-Vorrichtung nicht ermitteln, auf welche Position innerhalb eines durch das Bild repräsentierten virtuellen 3D-Raumes (d. h., die 3D-Koordinaten einer Position, auf die von der informationseingebenden Person gezeigt wird) die informationseingebende Person zeigt, falls das angezeigte Bild auf der Anzeige scheinbar einen 3D-Raum (dreidimensional) repräsentiert. Abgesehen vom Anzeigen von Bildern konform mit einer Ein-Punkt-Perspektive oder Zwei-Punkt-Perspektive auf einer Planaren Anzeige, wurden zum scheinbaren Anzeigen eines Bildes, das einen 3D-Raum repräsentiert, auch verschiedene Methoden bereitgestellt, bei denen Bilder mittels eines Flüssigkristall-Shutters oder einer Lentikular-Linse auf einer 3D-Anzeige angezeigt werden können, wobei stereographische Bilder durch Anwenden einer Holographie-Technologie angezeigt werden können (diese Bilder werden im folgenden als dreidimensionale Bilder bezeichnet). Jedoch gibt es den Nachteil, daß dreidimensionale Bilder wie die oben beschriebenen, nicht als Objekte verwendet werden können, auf die eine informationseingebenden Person zeigt.
Des weiteren ist der oben beschriebene Nachteil nicht beschränkt auf den Fall, in dem das Objekt, auf das von der informationseingebenden Person gezeigt wird, ein durch ein dreidimensionales Bild repräsentierter virtueller 3D-Raum ist. Es ist auch unmöglich, die Position innerhalb eines 3D-Raumes zu ermit teln, auf die von der informationseingebenden Person gezeigt wird, selbst wenn das Objekt, auf das die informationseingebende Person zeigt, in einem tatsächlichen 3D-Raum existiert.
Zusammenfassung der Erfindung
Im Hinblick auf das oben erwähnte, ist es ein Gegenstand der vorliegenden Erfindung eine Hand-Zeige-Vorrichtung bereitzustellen, die 3D-Koordinaten einer Position ermitteln kann, auf die von einer informationseingebenden Person gezeigt wird, selbst wenn die Person auf eine beliebige Position innerhalb eines 3D-Raumes zeigt. Um das oben erwähnten Ziel zu erreichen, ist der erste Aspekt der vorliegenden Erfindung eine Hand-Zeige-Vorrichtung mit den Merkmalen des Anspruchs 1.
Im ersten Aspekt der vorliegenden Erfindung wird ein Bild der zu erkennenden Person (der informationseingebenden Person) aus einer Vielzahl von Richtungen durch das Bildaufnahmemittel aufgenommen. Das Bildaufnahmemittel kann so strukturiert sein, daß das Bild der zu erkennenden Person aus einer Vielzahl von Richtungen mittels einer Vielzahl von Bildaufnahme-Vorrichtungen aufgenommen wird, die Video-Kameras oder ähnliches umfassen. Es kann ebenfalls so strukturiert sein, dass ein Lichtreflektionsmittel, wie z. B. ein ebener Spiegel oder ähnliches, an dem Bildaufnahmemittel bereit gestellt wird und ein Bild der zu erkennenden Person direkt durch eine einzelne Bildaufnahme-Vorrichtung aufgenommen wird, wobei das Bild der zu erkennenden Person durch Aufnehmen virtueller Bilder der zu erkennenden Person, die auf den ebenen Spiegel projiziert werden, aus einer Vielzahl von Richtungen aufgenommen wird.
Des weiteren extrahiert das Berechnungsmittel auf der Basis einer Vielzahl von Bildern, die mittels des Bildaufnahmemittels aus einer Vielzahl von Richtungen aufgenommen werden, wobei die zu erkennende Person auf eine spezifische Position innerhalb des 3D-Raumes zeigt, einen Bildteil, der mit der zu erkennenden Person korrespondiert und ermittelt die 3D-Koordinaten eines charakteristischen Punktes, dessen Position durch die zu erkennende Person durch Beugen oder Strecken eines Armes verändert werden kann und einen Referenzpunkt, dessen Position sich nichtverändert, selbst wenn die zu erkennende Person einen Arm beugt oder streckt. Z. B. kann ein Punkt, der mit der Spitze der Hand, des Fingers oder etwas ähnlichem der zu erkennenden Person oder mit der Spitze einer Zeigevorrichtung, die von der zu erkennenden Person ergriffen wird, korrespondiert, als charakteristischer Punkt verwendet werden. Ein Punkt, der mit dem Körper der zu erkennenden Person korrespondiert (z. B. die Brust oder das Schultergelenk der zu erkennenden Person) kann als Referenzpunkt verwendet werden.
Der 3D-Raum kann ein virtueller 3D-Raum sein, der durch ein dreidimensionales Bild repräsentiert wird, wie z. B. ein Bild, das konform mit einer Ein-Punkt-Perspektivenmethode oder einer Zwei-Punkt-Perspektivenmethode auf einer planaren Anzeige gebildet ist, ein Bild, dass einen Flüssigkristall-Shutter oder eine Lentikular-Linse auf einer 3D-Anzeige verwendet, oder ein stereografisches Bild, das angezeigt wird durch die Anwendung einer Holographie-Technologie, oder der 3D-Raum kann ein tatsächlicher 3D-Raum sein. Das Ermittlungsmittel zum Ermitteln der Richtung, in der die spezifische Position innerhalb des 3D-Raumes existiert, auf der Basis der Richtung von dem Referenzpunkt zu dem charakteristischen Punkt, ermittelt die Position der spezifischen Position innerhalb des 3D-Raumes entlang dessen Tiefenrichtung auf der Basis des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt und ermittelt dabei 3D-Koordinaten der spezifischen Position innerhalb des 3D-Raumes.
Demgemäß führt die zu erkennende Person die Operation zur Justierung der Richtung des charakteristischen Punktes (d. h. die Operation des Zeigens der Hand, des Fingers oder der Spitze einer Zeigeeinrichtung der zu erkennenden Person in Richtung einer spezifischen Position) in Bezug auf den Referenzpunkt aus, so dass die Richtung von dem Referenzpunkt zu dem charakteristischen Punkt mit der Richtung korrespondiert, in der, wie gesehen aus der Blickrichtung der zu erkennenden Person, die spezifische Position als das Objekt existiert, auf das gezeigt wird. Zusätzlich führt die zu erkennende Person die Operation zum Justieren des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt (d. h., die Operation des Beugens oder des Streckens des Armes durch die zu erkennende Person) gemäß des Abstandes zwischen der spezifischen Position und der zu erkennenden Person (d. h., wie nah zu oder entfernt von der zu erkennenden Position) aus, so dass die Richtung, in der die spezifische Position innerhalb des 3D-Raumes existiert und die Position, die innerhalb des 3D-Raumes entlang dessen Tiefenrichtung existiert, ermittelt werden kann, und die 3D-Koordinaten der spezifischen Position innerhalb des 3D-Raumes auf der Basis des Ergebnisses des Ermittelns der zuvor genannten Richtung und der Position der spezifischen Position in der Tiefenrichtung ermittelt werden können.
Gemäß des ersten Aspekts der vorliegenden Erfindung können die 3D-Koordinaten der Position ermittelt werden, auf die gezeigt wird, wenn die informationseingebende Person (die zu erkennende Person) auf eine beliebige Position innerhalb des 3D-Raumes zeigt. Des weiteren ist die Handlung des Zeigens mit einer Hand oder einem Finger oder der Spitze einer Zeigevorrichtung in Richtung der Richtung, in der die spezifische Position existiert, so wie sie durch die ro erkennende Person gesehen wird, die einen Arm beugt oder ausstreckt, um den Abstand zu der spezifischen Position durch die zu erkennende Person zurückzulegen, eine extrem natürliche Handlung, um auf eine spezifische Position in einem 3D-Raum zu zeigen. Demgemäß kann die informationseingebende Person (die zu erkennende Person) die oben beschriebene Handlung ausführen, ohne dass mit dieser Handlung irgendwelche Unannehmlichkeiten verbunden wären.
Wie im zweiten Aspekt der vorliegenden Erfindung beschrieben, kann die Ermittlung des Ortes der spezifischen Position entlang der Tiefenrichtung des 3D-Raums auf der Basis des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt bewirkt werden, durch Konvertieren des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt in den Abstand zwischen der zu erkennenden Person und der spezifischen Position gemäß vorgegebener Konversionsbedinungen. Die erwähnten Konversionsbedingungen können Konversionscharakteristika sein, in denen sich die Distanz zwischen der zu erkennenden Person und der spezifischen Position linear oder nicht li near verändern kann, um mit der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt zu korrespondieren.
Speziell wenn der 3D-Raum, der als Objekt dient, auf das die zu erkennende Person zeigt, ein Raum ist, dessen Tiefe sehr lang ist ( z. B. wenn ein dreidimensionales Bild auf dem Anzeigemittel angezeigt wird, das das Universum repräsentiert) wird der zu erkennenden Person erlaubt, auf eine Position zu zeigen, die aus Sicht der zu erkennenden Person in einem extremen Abstand innerhalb des 3D-Raumes angeordnet ist, ohne übertriebene Handlungen auszuführen, wie z. B. das Strecken oder Beugen eines Armes über das Normalmaß hinaus, falls die Konversionscharakteristika der Konversionsbedingungen nichtlinear gemacht sind (die Konversionschrakteristika oder ähnliches, was bewirkt, dass sich der Abstand zwischen der zu erkennenden Person und der spezifischen Position im Verhältnis zu der mit der Zahl n (n > 2) exponierten Änderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert).
Des weiteren ist die Breite der Bewegung des charakteristischen Punktes für jede Person verschieden, wenn die zu erkennende Person einen Arm beugt oder streckt, weil die Physis der zu erkennenden Person (speziell die Länge des Arms) nicht fix ist. Wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt gemäß fixer Konversionsbedingungen in den Abstand zwischen der zu erkennenden Person und der charakteristischen Position konvertiert wird, kann der Fall, in welchem der Ort der spezifischen Position, auf die von der zu erkennenden Person gezeigt wird, nicht genau ermittelt werden, aufgrund von Variablen, wie z. B. der individuellen Längen der Arme der zu erkennenden Person oder ähnlichem denkbaren.
Gemäß des dritten Aspekts der vorliegenden Erfindung wird aus diesem Grund eine Hand-Zeige-Vorrichtung gemäß des zweiten Aspekts der vorliegenden Erfindung bereitgestellt, die des weiteren umfaßt: ein Konversionsbedingungseinstellmittel, das die zu erkennende Person auffordert, die Armbeuge oder Armstreckungshandlung auszuführen und im vorhinein die Konversionsbedingungen einstellt, die den Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt in den Abstand zwischen der zu erkennenden Person und der spezifischen Position konvertieren, auf der Basis des Ausmaßes der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt, wenn die zu erkennende Person die Armbeuge- oder Strekkungshandlung ausführt.
Gemäß des dritten Aspektes der vorliegenden Erfindung können Konversionsbedingungen gemäß der Physis jeder zu erkennenden Person erhalten werden, weil die Konversionsbedingungen, welche den Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt in den Abstand zwischen der zu erkennenden Person und der spezifischen Position konvertieren, im vorhinein auf der Basis des Ausmaßes der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt eingestellt werden, (das Ausmaß der Veränderung des Abstandes kann wegen der individuellen Länge der Arme der zu erkennenden Personen oder ähnlichem variieren), falls die zu erkennende Person die Armbeuge- oder Streckungshandlung durchführt. Durch das Ausführen der oben genannten Konversion mittels dieser Konversionsbedingungen ist es möglich, den Ort der spezifischen Position, auf die von der zu erkennenden Person gezeigt wird, entlang der Tiefenrichtung genau zu ermitteln, trotz der Variablen, die aus der individuellen Physis der zu erkennenden Person erwachsen. Darüber hinaus braucht z. B. die zu erkennende Person, deren Physis besonders klein ist, keine übertriebenen Handlungen jenseits des Normalen durchzuführen, um die Hand-Zeige-Vorrichtung über die Tatsache ro informieren, dass die zu erkennende Person auf eine extrem entfernte Position innerhalb des 3D-Raumes zeigt.
Gemäß des dritten Aspekts der vorliegenden Erfindung wird auf eine einzelne Position, die in dem Zwischenteil des 3D-Raumes entlang dessen Tiefenrichtung positioniert ist, oder auf eine Vielzahl von Teilen, deren Positionen innerhalb des 3D-Raumes in dessen Tiefenrichtung (der Ort der Position in dem 3D-Raum entlang dessen Tiefenrichtung ist bereits bekannt) unterschiedlich voneinander sind, von der zu erkennenden Person gezeigt, so dass Konversionsbedingungen (die Konfiguration einer Konversionskurve) auf der Basis des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt zu diesem Zeitpunkt eingestellt werden können.
Gemäß des vierten Aspekts der vorliegenden Erfindung wird eine Hand-Zeige-Vorrichtung gemäß des ersten Aspekts der vorliegenden Erfindung bereitgestellt, des weiteren umfassend: ein Anzeigemittel, das ein dreidimensionales Bild anzeigt; ein Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; und ein Ermittlungsmittel, das ermittelt, ob die Hand der zu erkennenden Person eine spezifische Form hat, wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektivenmethode oder einer Zwei-Punkt-Perspektivenmethode geformt ist, ein Bild enthält, das einen Flüssigkristall-Shutter oder eine Lentikular-Linse benutzt und ein stereografisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und wobei die zu erkennende Person auf einen spezifischen Punkt zeigt, der innerhalb des virtuellen 3D-Raums ist, der repräsentiert wird von dem dreidimensionalen Bild, das auf dem Anzeigemittel angezeigt wird, und wobei in einem Zustand, in dem ermittelt wird, dass die Hand der zu erkennenden Person eine spezifische Form hat, wenn sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, das Anzeigenkontrollmittel das Anzeigemittel kontrolliert, so dass das dreidimensionale Bild, das auf dem Anzeigemittel angezeigt wird, vergrößert oder reduziert gemäß der Änderung der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt angezeigt wird.
Der vierte Aspekt der vorliegenden Erfindung ist so strukturiert, dass ein dreidimensionales Bild auf dem Anzeigemittel angezeigt wird und die zu erkennende Person auf die spezifische Position innerhalb eines virtuellen 3D-Raums zeigt, der durch das dreidimensionale Bild repräsentiert wird. Eine planare Anzeige zum Anzeigen eines Bildes, das gemäß einer Ein-Punkt-Perspektivenmethode oder einer Zwei-Punkt-Perspektivenmethode gebildet wird, eine 3D-Anzeige, die einen Flüssigkristall-Shutter oder eine Lentikular-Linse benutzt und eine Anzeigevorrichtung, die ein stereografisches Bild anzeigt, das durch eine Holographie-Technologie gebildet wird, kann für das Anzeigemittel verwendet werden. Wie oben beschrieben, wird bevorzugt, dass die Anzeigenvergrößerung durch eine Anweisung von der zu erkennenden Person verändert werden kann, wenn ein dreidimensionales Bild auf dem Anzeigenmittel angezeigt wird. Jedoch ist es notwendig, die Handlung, mit der die zu erkennende Person die Anzeigenvergrößerung ändert von der Handlung zu unterscheiden, mit der die zu erkennende Person auf die spezifische Position innerhalb des 3D-Raumes zeigt.
In dem vierten Aspekt der vorliegenden Erfindung wird ein Ermittlungsmittel bereitgestellt, das ermittelt, ob die Hand der zu erkennenden Person eine spezifische Form hat. In einem Zustand, in dem die Hand der zu erkennenden Person als spezifisch geformt ermittelt wird wenn sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt verändert hat, kontrolliert das Anzeigenkontrollmittel das Anzeigenmittel so, dass das dreidimensionale Bild, das auf dem Anzeigenmittel angezeigt wird, vergrößert oder reduziert angezeigt wird, gemäß der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt. Es ist wünschenswert, dass die oben erwähnte spezifische Form leicht zu ermitteln ist. Z. B. kann die Form einer Hand in dem Zustand verwendet werden, in dem die Finger ausgestreckt sind, um die Hand zu öffnen.
Entsprechend wird in einem Zustand, in dem die Hand der zu erkennenden Person eine spezifische Form hat (ein Zustand, in dem die Finger ausgestreckt sind, um die Hand zu öffnen), wenn die Handlung des Veränderns des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt (die Beuge- oder Streckungshandlung des Arms der zu erkennenden Person) durchgeführt wird, diese Handlung unterschieden von der Handlung des Zeigens auf die spezifische Position, und die Anzeigenvergrößerung eines dreidimensionalen Bildes, das auf dem Anzeigenmittel angezeigt wird, wird aufgrund der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt verändert, um vergrößert oder reduziert zu werden. Entsprechend dem vierten Aspekt der vorliegenden Erfindung kann als ein Ergebnis die Anzeigenvergrößerung des dreidimensionalen Bildes, das auf dem Anzeigenmittel angezeigt wird, aufgrund der durch die zu erkennende Person angewiesene Variation der Anzeigenvergrößerung des dreidimensionalen Bildes, zuverlässig verändert werden.
Die zuvor erwähnte Anzeigenvergrößerung kann als Antwort auf die Änderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt linear oder nichtlinear verändert werden.
Wie oben beschrieben, kann in der Struktur, in der die 3D-Koordinaten der spezifischen Position innerhalb des 3D-Raumes, auf den von der zu erkennende Person gezeigt wird, vorzugsweise ein vorgegebener Prozeß durch die zu erkennende Person, die eine spezifische Handlung ausführt, ausgeführt werden (eine sogenannte Klick-Handlung). Abhängig von der Richtung der Bildaufnahme durch das Bildaufnahmemittel kann jedoch die Handlung des Hebens eines Daumens, die konventionell als die Klick-Handlung akzeptiert wurde, nicht detektiert werden. Des weiteren ist der Freiheitsgrad in der Handlung des Hebens eines Daumens als Handlung sehr eingeschränkt. Es ist ebenfalls schwierig eine Vielzahl von Bedeutungen für die Klick-Handlung bereitzustellen, in demselben Sinne eines Rechts-Klicks oder eines Links-Klicks auf einer Maus, und einen Prozeß zu selektieren, der durch eine Klick-Handlung ausgeführt wird.
Aus diesem Grund wird gemäß des fünften Aspekts der vorliegenden Erfindung eine Hand-Zeige-Vorrichtung gemäß des ersten Aspekts der vorliegenden Erfindung bereitgestellt, die des weiteren umfaßt: ein Verarbeitungsmittel, das die Geschwindigkeit detektiert, mit der sich der Abstand zwischen dem Referenzpunkt und dem chrakteristischen Punkt ändert, und einen vordefinierten Prozeß ausführt, wenn die detektierte Geschwindigkeit, mit der sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, größer oder gleich einem Schwellenwert ist.
In dem fünften Aspekt der vorliegenden Erfindung verändert sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Geschwindigkeit, die größer oder gleich des Schwellenwertes ist, falls die zu erkennende Person eine schnelle Armbeuge- oder Streckungshandlung durch führt. Durch das Verwenden dieser Veränderungsgeschwindigkeit als einen Trigger, wird ein vorgegebener Prozeß ausgeführt. Darüber hinaus kann das Verarbeitungsmittel einen Prozeß ausführen, der relevant für die spezifische Position ist, auf die von der zu erkennende Person gezeigt wird, wenn sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Geschwindigkeit verändert hat, die größer oder gleich dem Schwellenwert ist.
Die vorliegende Erfindung ermittelt die 3D-Koordinaten der spezifischen Position, auf die durch die zu erkennende Person gezeigt wird, auf der Basis des positionalen Verhältnisses zwischen dem Referenzpunkt und dem charakteristischen Punkt. Jedoch kann gemäß des fünften Aspekts der vorliegenden Erfindung die Bildaufnahmerichtung durch das Bildaufnahmemittel so fixiert werden, dass der Referenzpunkt und der charakteristische Punkt zuverlässig detektiert werden können, ohne die Hebe- oder Senk-Handlung eines Fingers zu berücksichtigen, weil ermittelt wird, ob auf der Basis der Veränderung von jeder der Positionen des Referenzpunktes und des charakteristischen Punktes ein vorgegebener Prozeß zur Ausführung angewiesen wurde. Gemäß des fünften Aspekts der vorliegenden Erfindung kann als Ergebnis die Handlung, durch die ein vorgegebener Prozeß durch die zu erkennende Person angewiesen wird (die Handlung des schnellen Beugens oder Streckens des Arms der zu erkennenden Person), zuverlässig detektiert werden.
Es gibt zwei Arten von Richtungen, in denen sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert (die Richtung, in der der Abstand zunimmt und die Richtung, in der der Abstand abnimmt). Gemäß der Beschreibung in dem sechsten Aspekt der vorliegenden Erfindung kann der erste vorgegebene Prozeß ausgeführt werden, wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Änderungsgeschwindigkeit zunimmt, die größer oder gleich dem Schwellenwert ist, und der zweite vorgegebene Prozeß, der unterschiedlich ist von dem ersten vorgegebenen Prozeß, kann ausgeführt werden, wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Änderungsgeschwindigkeit abnimmt, die größer oder gleich dem Schwellenwert ist.
In dem sechsten Aspekt der vorliegenden Erfindung wird der erste vorgegebene Prozeß ausgeführt, wenn die zu erkennende Person die schnelle Handlung des Streckens eines Armes ausführt (in diesem Fall nimmt der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Änderungsgeschwindigkeit zu, die größer oder gleich dem Schwellenwert ist). Der zweite vorgegebene Prozeß wird ausgeführt, wenn die zu erkennende Person eine schnelle Handlung des Beugens eines Armes ausführt (in diesem Fall, wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Änderungsgeschwindigkeit abnimmt, die größer oder gleich dem Schwellenwert ist). Demgemäß wird es für die zu erkennende Person möglich, einen Prozeß aus dem ersten und dem zweiten Prozeß auszuwählen, wie bei dem Rechts-Klick und dem Links-Klick auf der Maus. Durch das Durchführen einer der oben beschriebenen Handlungen ist es möglich, einen von der zu erkennenden Person aus dem ersten vorgegebenen Prozeß und dem zweiten vorgegebenen Prozeß ausgewählten Prozeß zuverlässig auszuführen.
Wie oben beschrieben, ist die Geschwindigkeit, mit der sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, für jede individuelle zu erkennende Person unterschiedlich, weil die Physis der zu erkennenden Person nicht universell ist, und demgemäß die muskuläre Stärke oder ähnliches der zu erkennenden Person nicht universell ist, selbst wenn die zu erkennende Person eine schnelle Armbeuge- oder Armstreckungshandlung durchführt um das Verarbeitungsmittel zu veranlassen, einen vorgegebenen Prozeß auszuführen. Im Ergebnis kann die Beuge- oder Streckungshandlung nicht detektiert werden, selbst wenn die zu erkennende Person eine schnelle Armbeuge- oder Streckungshandlung ausführt, um das Verarbeitungsmittel zu veranlassen, einen vorgegebenen Prozeß auszuführen. Statt dessen kann es ebenfalls möglich sein, dass die oben beschriebene Handlung detektiert wird, obwohl die zu erkennende Person diese Handlung nicht durchgeführt hat.
Aus diesem Grund ist der siebte Aspekt der vorliegenden Erfindung eine Hand-Zeige-Vorrichtung gemäß des fünften Aspektes der vorliegenden Er findung, des weiteren umfassend: ein Schwellenwerteinstellmittel, dass bei der zu erkennenden Person das Durchführen der Armbeuge- oder Armstrekkungshandlung anfragt, um das Verarbeitungsmittel zu veranlassen, den vordefinierten Prozeß auszuführen und dabei den Schwellenwert auf der Basis der Geschwindigkeit, mit der sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, im voraus einstellt, wenn die zu erkennende Person die Armbeuge- oder Armstreckungshandlung durchführt.
In dem siebten Aspekt der vorliegenden Erfindung kann ein Schwellenwert gemäß der Physis, der muskulären Stärke oder ähnlichem für jede zu erkennende Person bereitgestellt werden, weil ein Schwellenwert, zum Ermitteln, ob das Verarbeitungsmittel einen vorgegebenen Prozeß ausführt, im vorhinein eingestellt wird, auf der Basis der Geschwindigkeit, mit der sich der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, wenn die ro erkennende Person die Armbeuge- oder Streckungshandlung durchführt, um einen vorgegebenen Prozeß durch das Verarbeitungsmittel auszuführen. Durch das Ermitteln, ob ein vorgegebener Prozeß auf der Basis des Schwellenwertes zur Ausführung angewiesen wird, kann zuverlässig detektiert werden, dass die zu erkennende Person eine Anweisung zum Ausführen eines vorgegebenen Prozesses gegeben hat, trotz der Variationen der Physis, der muskulären Stärke oder ähnlichem für jede zu erkennende Person. Als Ergebnis kann ein vorgegebener Prozeß zuverlässig ausgeführt werden.
Kurzbeschreibung der Figuren
1 ist eine perspektivische Ansicht, die einen Bereich um einen Informationseingaberaum herum illustriert.
2 ist ein Blockdiagramm, dass eine schematische Struktur einer Hand-Zeige-Eingabevorrichtung illustriert, gemäß einer Ausführungsform der vorliegenden Erfindung.
3 ist eine schematische Ansicht, die ein Beispiel der Beziehung zwischen dem Beleuchtungsbereich einer Beleuchtungsvorrichtung und dem Bildaufnahmebereich einer Videokamera illustriert.
4 ist eine perspektivische Ansicht des Informationseingaberaums, die ein Beispiel einer Markierungstafel illustriert.
Die 5A bis 5C sind Flußdiagramme, die den anfänglichen Einstellprozeß der Gitterpunkt-Positionsinformation illustrieren.
Die 6A bis 6C sind Flußdiagramme, die den Anweisungsermittlungsprozeß illustrieren.
Die 7A bis 7C sind Flußdiagramme, die den Koordinatenberechnungsprozeß eines Referenzpunktes/charakteristischen Punktes illustrieren.
Die 8A bis 8C sind Flußdiagramme, die den Einstellprozeß der Abstands-Konversionsbedingungen illustrieren.
9 ist ein Flußdiagramm, das den Einstellprozeß einer Klick-Handlungs-Geschwindigkeit illustriert.
10A ist ein Ablaufdiagramm, das das An- und Ausschalten, einer Beleuchtungsvorrichtung A illustriert.
10B ist ein Ablaufdiagramm, das das An- und Ausschalten eine Beleuchtungsvorrichtung B illustriert.
10C ist ein Ablaufdiagramm, das den Ablauf der Ausgabe (Erfassung) von Bildern illustriert, die durch die Bildaufnahme einer Videokamera erhalten wird.
11 ist eine Seitenansicht des Informationseingaberaumes zum Illustrieren der Berechnung der Höhe einer informationseingebenden Person und der Position der Person auf dem Boden.
Die 12A bis 12C sind Bildansichten, die ein Beispiel der Bewegung einer informationseingebenden Person illustrieren.
13A ist eine Bildansicht, die ein Bild einer Hand einer informationseingebenden Person illustriert, das durch eine Videokamera aufgenommen wird.
13B ist eine schematische Ansicht, die den Suchbereich von Gitterpunkten zum Ermitteln der Koordinaten eines charakteristischen Punktes und der 3D-Koordinaten des charakteristischen Punktes illustriert.
14A ist eine Bildansicht der Bewegung der informationseingebenden Person, wenn die Position, auf die gezeigt wird, in einem großen Abstand von der Person liegt.
14B ist eine Bildansicht der Bewegung der informationseingebenden Person, wenn die Position, auf die gezeigt wird, in einem mittleren Abstand von der Person liegt.
14C ist eine Bildansicht der Bewegung der informationseingebenden Person, wenn die Position, auf die gezeigt wird, in einem nahen Abstand von der Person liegt.
15 ist ein Diagramm, das ein Beispiel der Abstands-Konversionsbedingungen zum Konvertieren eines Abstandes k zwischen dem Referenzpunkt und dem charakteristischen Punkt der informationseingebenden Person in einen Abstand L (einen virtuellen Abstand) zwischen der informationseingebenden Person und der Position, auf die von der informationseingebenden Person gezeigt wird, illustriert.
16A ist eine Bildansicht, die eine Vorwärts-Klick-Handlung illustriert.
16B ist eine Bildansicht, die eine Rückwärts-Klick-Handlung illustriert.
17A ist eine Planansicht des Informationseingaberaums, die die Ermittlung der Position auf der Anzeige illustriert, auf die die informationseingebende Person zeigt.
17B ist eine Seitenansicht des Informationseingaberaumes, die die Ermittlung der Position auf der Anzeige illustriert, auf die die informationseingebende Person zeigt.
18 ist eine schematische Ansicht, die die Konversion des Abstandes k zwischen dem Referenzpunkt und dem charakteristischen Punkt der informationseingebenden Person in den Abstand L (einen virtuellen Abstand) zwischen der informationseingebenden Person und der Position, auf die von der informationseingebenden Person gezeigt wird, illustriert.
19A ist eine Bildansicht, die ein Beispiel einer Form einer Hand der informationseingebenden Person illustriert, wenn die Person eine Handlung durchführt, um auf eine spezifische Position auf dem Anzeigebildschirm zu zeigen.
19B ist eine Bildansicht, die ein Beispiel einer Form einer Hand der informationseingebenden Person illustriert, wenn die Person eine Handlung durchführt, um die Anzeigenvergrößerung eines dreidimensionalen Bildes zu verändern.
20A ist eine Bildansicht, die ein Beispiel eines dreidimensionalen Bildes illustriert, bevor die Anzeigenvergrößerung verändert wird.
20B ist eine Bildansicht, die ein Beispiel eines dreidimensionalen Bildes illustriert, das als Antwort auf die Handlung der informationseingebenden Person vergrößert angezeigt wird.
20C ist eine Bildansicht, die ein Beispiel des dreidimensionalen Bildes illustriert, das als Antwort auf eine Handlung der informationseingebenden Person reduziert und angezeigt wird.
Beschreibung der bevorzugten Ausführungsform
Unter Bezugnahme auf die beiliegenden Figuren wird nachfolgend ein Beispiel einer Ausführungsform der vorliegenden Erfindung im Detail beschrieben. Wie in 1 gezeigt, wird eine Großbildschirm-Anzeige 12, die dem Anzeigemittel gemäß eines vierten Aspekts der vorliegenden Erfindung entspricht, in eine Wandfläche eingebaut, an einen Ort, an dem eine informationseingebende Person 10, die die von der vorliegenden Erfindung zu erkennende Person ist, ankommt.
Die Anzeige 12 wird verwendet um ein dreidimensionales Bild anzuzeigen, das gemäß der Ein-Punkt-Perspektive oder der Zwei-Punkt-Perspektive praktisch einen dreidimensionalen Raum repräsentiert (der nachfolgend als 3D-Raum bezeichnet wird). Bekannte Anzeigenvorrichtungen, wie z. B. eine Flüssigkristallanzeige (LCD), eine Plasmaanzeige, eine Kathodenstrahlröhre (CRT), eine optische Faseranzeige und ähnliches, können als Anzeige 12 verwendet werden. Des weiteren kann anstelle der oben genannten Anzeige 12 eine 3D-Anzeige verwendet werden, die einen Flüssigkristall-Shutter oder eine Lentikular-Linse verwendet, oder eine Anzeigevorrichtung, die ein stereographisches Bild durch Anwendung der Holographie-Technologie anzeigt, kann verwendet werden. Darüber hinaus können Kristallschutzbrillen oder ähnliches auf die Anzeige angewendet werden.
Die Anzeige 12 ist mit einer Informationsverarbeitungs-Vorrichtung 14 verbunden, die einen Personalcomputer oder ähnliches umfaßt (siehe 2). Ein dreidimensionales Bild wird auf dem Anzeigenbildschirm abgebildet, und andere Information, wie z. B. eine Nachricht oder ähnliches, wird ebenso auf dem Bildschirm angezeigt, die das dreidimensionale Bild durch die Informationsverarbeitungs-Vorrichtung 14 überlappt. In der vorliegenden Ausführungsform erreicht die informationseingebende Person 10 einen Raum vor der Anzeige 12, der in 1 gezeigt ist (Informationseingaberaum).
Die informationseingebende Person 10 gibt verschiedene Anweisungen an die Informationsverarbeitungs-Vorrichtung 14 und erlaubt der Informationsverarbeitung 14, verschiedene Prozesse auszuführen, durch das Zeigen auf eine beliebige Position innerhalb eines virtuellen 3D-Raumes, der durch ein auf der Anzeige 12 angezeigtes dreidimensionales Bild repräsentiert wird, und durch das Durchführen einer Klick-Handlung (deren Details später beschrieben werden).
Wie in 2 gezeigt wird, ist ein Controller 22 einer Hand-Zeige-Eingabevorrichtung 20 gemäß der vorliegenden Ausführungsform mit der Informationsverarbeitungs-Vorrichtung 14 verbunden. Der Controller 22 umfaßt eine CPU 22A, ROM 22B, RAM 22C und eine I/O-Schnittstelle 22D, die über einen Bus miteinander verbunden sind. Die Informationsverarbeitungs-Vorrichtung 14 ist mit der I/O-Schnittstelle 22D verbunden. Eine nichtflüchtige Speichervorrichtung 24, deren gespeicherter Inhalt wiederbeschreibbar ist, eine Anzeige 26 zum Anzeigen verschiedener Typen von Information, eine Tastatur 28 durch die ein Bediener verschiedene Anweisungen oder Daten eingibt, eine Beleuchtungskontroll-Vorrichtung 30, eine Bildaufnahmekontroll-Vorrichtung 34 und eine Markierungstafel-Antriebsvorrichtung 38 sind ebenso mit der I/O-Schnittstelle 22D verbunden.
Eine große Anzahl von dreidimensionalen Bildern, die auf der Anzeige 12 angezeigt werden, werden im vorhinein angefertigt und eine große Anzahl von Bilddaten zum Repräsentieren der verschiedenen dreidimensionalen Bilder wird in der Speichervorrichtung 24 gespeichert. Des weiteren werden Koordinatendaten zum Repräsentieren des Verhältnisses zwischen den 3D-Koordinaten einer jeden Position innerhalb eines virtuellen 3D-Raumes, der durch jedes der dreidimensionalen Bilder repräsentiert wird, und die Position (2D-Koordinaten) jeder der Positionen auf dem dreidimensionalen Bild ebenso in der Speichervorrichtung 24 gespeichert. Darüber hinaus kann die oben beschriebene Beziehung in Form einer funktionalen Gleichung oder ähnlichem gespeichert werden (die bevorzugt eine Anzeigenvergrößerung als ein Parameter enthält), anstelle der Koordinatendaten.
Eine Vielzahl von Nah-Infrarotlicht-Beleuchtungsvorrichtung 32A und 32B, die Strahlen einer Wellenlänge im Nah-Infrarotbereich emittieren, sind mit der Beleuchtungskontroll-Vorrichtung 30 verbunden. Wie in 1 gezeigt, sind die Nah-Infrarotlicht-Beleuchtungsvorrichtungen 32A und 32B in separaten oberen Teilen des Informationseingaberaumes angeordnet. Die Beleuchtungsbereiche der Nah-Infrarotlicht-Beleuchtungsvorrichtungen 32A und 32B werden so kontrolliert, dass die informationseingebende Person 10, die in dem Informationseingaberaum ankommt, aus verschiedenen Richtungen beleuchtet werden kann. Die Beleuchtungskontroll-Vorrichtung 30 kontrolliert das Umschalten der Beleuchtungsvorrichtungen 32A und 32B.
Eine Vielzahl von Videokameras 36A und 36B, die in separaten oberen Teilen des Informationseingaberaums angeordnet sind (siehe 1), sind mit der Bildaufnahme-Kontrollvorrichtung 34 verbunden. Die Vielzahl der Videokameras 36A und 36B haben einen Flächensensor, der einen CCD (nicht abgebildet) oder ähnliches umfaßt, der für Nah-Infrarotlicht empfindlich ist, und der einen Filter hat, der nur Licht einer Wellenlänge im Nah-Infrarotbereich auf eine Lichteinfallsseite einer Bild-bildenden Linse leitet, die einfallendes Licht zu einem Bild auf der Rezeptorfläche des Flächensensors formt.
Wie in 3 gezeigt, werden die Orientierungen der Videokameras 36A und 36B so justiert, dass sie Bilder der informationseingebenden Person 10 aus verschiedenen Richtungen aufnehmen. Und zwar wird die Orientierung (der Bildaufnahmebereich) der Videokamera 36A derart kontrolliert, dass die informationseingebende Person 10, die in dem Informationseingaberaum ankommt, innerhalb des Bildaufnahmebereiches ist, und dass das von der Beleuchtungsvorrichtung 32A emittierte Licht nicht direkt auf die Bild-bildende Linse einfällt. Darüber hinaus schneidet der zentrale Teil des Bildaufnahmebereiches den zentralen Teil des Beleuchtungsbereiches der Beleuchtungsvorrichtung 32A innerhalb des Informationseingaberaumes in einer vorgegebenen Höhe über der Bodenfläche (der Beleuchtungsbereich auf der Bodenfläche, der durch die Beleuchtungsvorrichtung 32A beleuchtet wird, ist außerhalb des Bildaufnahmebereiches). In ähnlicher Weise wird die Orientierung (der Bildaufnahmebereich) der Videokamera 36B derart kontrolliert, dass die informationseingeben de Person 10, die in dem Informationseingaberaum ankommt, innerhalb des Bildaufnahmebereiches ist und das Licht, das von der Beleuchtungsvorrichtung 32B emittiert wird, nicht direkt auf die Bild-bildende Linse einfällt. Darüber hinaus schneidet der zentrale Teil des Bildaufnahmebereiches den zentralen Teil des Beleuchtungsbereiches der Beleuchtungsvorrichtung 32B innerhalb des Informationseingaberaumes an einer vorgegebenen Höhe überhalb der Bodenfläche (der Beleuchtungsbereich auf der Bodenfläche, der durch die Beleuchtungsvorrichtung 32B beleuchtet wird, ist außerhalb des Bildaufnahmebereiches).
Wie in 4 gezeigt, hat die Hand-Zeige-Eingabevorrichtung 20 eine Markierungstafel 40, die benachbart zu dem Informationseingaberaum angeordnet ist. Die Markierungstafel 40 wird durch eine große Anzahl von Markierungen 40A gebildet, die auf einer transparenten flachen Tafel in der Form einer Matrix bei einem gleichen Abstand erfaßt werden, wobei sie beweglich ist, um den Informationseingaberaum entlang der Richtung zu kreuzen, die orthogonal zu der Richtung ist, in der die Markierungen 40A aufgereiht sind (d. h. die Richtung, die durch den Pfeil A in 4 angezeigt ist). Die Markierungen 40A sind mit einer Farbe koloriert, die auf einem Bild leicht erkannt werden kann (z. B. eine rote Farbe). Die Markierungstafel-Antriebsvorrichtung 38, die mit der I/O-Schnittstelle 22D verbunden ist, bewegt die Markierungstafel 40 entlang der Richtung, die durch den Pfeil A angezeigt ist, gemäß den Anweisungen des Controllers 22.
Als nächstes wird als die Operation der vorliegenden Ausführungsform eine Beschreibung eines anfänglichen Einstellprozesses einer Gitterpunkt-Positionsinformation mit Bezug zu den Flußdiagrammen der 5A bis 5C gegeben, der durch den Controller 22 bewirkt wird, wenn die Hand-Zeige-Eingabevorrichtung 20 zuerst eingestellt wird.
In Schritt 100 wird die Markierungstafel 40 in eine vorgegebene Position bewegt (die mit der Grenze des Bereiches der Bewegung der Markierungstafel 40 korrespondiert) durch die Markierungstafel-Antriebsvorrichtung 38. Als nächstes, in Schritt 102 in dem Informationseingaberaum, werden die 3D-Koordi naten (x, y, z) jeder der großen Anzahl von Markierungen 40A, die auf der Markierungstafel 40 erfaßt werden, berechnet. In Schritt 104 wird ein Bild des Informationseingaberaumes von den Videokameras 36A, 36B durch die Bildaufnahme-Kontrollvorrichtung 34 aufgenommen. Als nächstes, in Schnitt 106, wird das Bild des Informationseingaberaumes, das durch die Videokamera 36A aufgenommen wurde (das Bild wird als Bild A bezeichnet), durch die Bildaufnahme-Kontrollvorrichtung 34 erfaßt.
In Schritt 108 wird die Erkennung (Extraktion) der Markierungen 40A, die in dem in Schritt 106 erfaßten Bild A existieren, bewirkt. Als nächstes, in Schritt 110, werden die Positionen (X_A, Y_A) auf dem Bild A für alle der erkannten Markierungen 40A berechnet.
In Schritt 112 sind die 3D-Koordinaten (x, y, z) innerhalb des Informationseingaberaumes und die Positionen (X_A, Y_A) auf dem Bild A korrespondierend zueinander für alle Markierungen 40A, die in dem Bild A existieren, und werden deshalb in der Speichervorrichtung 24 als die Gitterpunkt-Positionsinformation von der Videokamera 36A gespeichert. Als nächstes, in den Schritten 114 bis 120 wird, ähnlich zu den oben beschriebenen Schritten 106 bis 112, ein Prozeß für die Videokamera 36B ausgeführt. Und zwar wird In Schritt 114 ein Bild des Informationseingaberaumes, das durch die Videokamera 36E erfaßt wird (das Bild wird als ein Bild B bezeichnet) durch die Bildaufnahme-Kontrollvorrichtung 34 erfaßt.
In Schritt 116 wird die Erkennung (Extraktion) der Markierungen 40A, die in dem in Schritt 114 erfaßten Bild B existieren, bewirkt. Als nächstes, in Schritt 118, werden die Positionen (X_B, Y_B) auf dem Bild B für alle der erkannten Markierungen 40A berechnet. In Schritt 120, sind die 3D-Koordinaten (x, y, z) auf dem Bild B korrespondierend zueinander für alle Markierungen 40A, die in dem Bild B existieren, und werden deshalb in der Speichervorrichtung 24 als die Gitterpunkt-Positionsinformation von der Videokamera 36B gespeichert.
Als nächstes wird in Schritt 122 ermittelt, ob die Markierungstafel 20 in ihre abschließende Position bewegt wurde (d. h., die Position, die mit dem Ende ge genüber dem vorgegebenen Teil in Schritt 100 korrespondiert, innerhalb des Bewegungsbereiches der Markierungstafel 40). Falls die Ermittlung in Schritt 122 negativ ist, fährt die Routine fort zu Schritt 124, wo die Routine zu Schritt 102 zurückkehrt, nachdem die Markierungstafel 40 durch die Markierungstafel-Antriebsvorrichtung 38 um einen festgelegten Abstand in eine vorgegebene Richtung bewegt wurde (der Abstand, der zu den Abständen zu den Markierungen 40A auf der Markierungstafel 40 korrespondiert).
Wie oben beschrieben werden die Schritte 102 bis 124 wiederholt, so dass eine große Anzahl von Markierungen 40A die auf der Markierungstafel 40 erfaßt sind, in Positionen bewegt werden, die mit einer großen Anzahl von Gitterpunkten korrespondieren, die in einer Gitterform aufgereiht sind, so lange bis die Markierungstafel 40 in die oben erwähnte abschließende Position bewegt wurde. Für alle der Markierungen 40A sind dann die 3D-Koordinaten jedes der Gitterpunkte innerhalb des Informationseingaberaums korrespondierend zu den Positionen auf dem Bild A, als die Gitterpunkt-Positionsinformation der Videokamera 36A, und die Markierungen werden in der Speichervorrichtung 24 gespeichert. In derselben Weise sind für alle der Markierungen 40A die 3D-Koordinaten jedes der Gitterpunkte innerhalb des Informationseingaberaums korrespondierend zu den Positionen auf dem Bild B, als die Gitterpunkt-Positionsinformation der Videokamera 36B, und die Markierungen werden in der Speichervorrichtung 24 gespeichert.
Des weiteren können die Markierungstafel 40 und die Markierungstafelantriebsvorrichtung 38 entfernt werden, weil die Markierungstafel 40 und die Markierungstafel-Antriebsvorrichtung 38 lediglich für den oben erwähnten anfänglichen Einstellprozeß der Gitterpunkt-Positionsinformation verwendet werden, und nicht für den Prozeß, der später beschrieben wird, nachdem der oben beschriebene Prozeß bewirkt wurde.
Anstelle der Markierungstafel 40, auf der die Markierungen 40A erfaßt sind, kann der oben beschriebene Prozeß durch die Verwendung einer transparenten, flachen Markierungstafel bewirkt werden, auf der eine große Anzahl von Licht emittierenden Elementen, wie z. B. LEDs oder ähnliches in der Form einer Matrix angeordnet sind. Und zwar wird die Markierungstafel in Schritten mit fixem Abstand bewegt und das sequenzielle Anschalten der großen Anzahl von Licht emittierenden Elementen wird an jeder der Positionen der Schrittbewegung wiederholt. Um den oben beschriebenen Prozeß zu bewirken kann des weiteren eine Roboterarm-Vorrichtung, in der Licht emittierende Elemente an deren Hand montiert sind, wobei die Hand zu jeder Position innerhalb des Informationseingaberaums bewegbar ist, durch Bewegen des Licht emittierenden Elements durch die Roboterarm-Vorrichtung zu jeder der Positionen, die ro jeder der Gitterpunkt-Positionen korrespondieren, und durch wiederholtes Anschalten der Licht emittierten Elemente verwendet werden.
Mit Bezug auf die Flußdiagramme in den 6A bis 6D wird als nachfolgend eine Beschreibung des Zeige-Ermittlungsprozesses gegeben. Der Zeige-Ermittlungsprozess wird durch den Controller 22 regelmäßig bewirkt, nachdem der oben beschriebene anfängliche Einstellprozeß für die Gitterpunkt-Positionsinformation bewirkt wurde. Des weiteren wird der Zeige-Ermittlungsprozeß bereitgestellt, um das durch die informationseingebende Person 10, die in dem Informationseingaberaum ankommt, eingegebene Zeigen ro ermitteln.
In Schritt 150 werden die Bilddaten, die das Bild A repräsentieren, das von der Videokamera 36A ausgegeben wird, und die Bilddaten, die das Bild repräsentieren, die von der Videokamera 36B ausgegeben werden, entsprechend ermittelt und auf der Basis der Bilddaten der ermittelten Bilder A und B wird ermittelt, ob die informationseingebende Person 10 in dem Informationseingaberaum angekommen ist (oder innerhalb existiert). Während des Zeige-Ermittlungsprozesses durch den Controller 22, schaltet die Beleuchtungskontroll-Vorrichtung 30, wie in den 10A bis 10C gezeigt, die Beleuchtungsvorrichtungen 32A und 32B alternierend an. Dementsprechend kontrolliert die Bildaufnahme-Kontrollvorrichtung 34 die Videokamera 36A, um das Bild des Informationseingaberaums aufzunehmen, während die Beleuchtungsvorrichtung 32A angeschaltet ist, und kontrolliert die Videokamera 36B, um das Bild des Informationseingaberaums aufzunehmen, während die Beleuchtungsvorrichtung 32B angeschaltet ist.
Weil der Bildaufnahmebereich der Videokamera 36A derart kontrolliert wird, dass der von der Beleuchtungsvorrichtung 32A beleuchtete Beleuchtungsbereich auf der Bodenfläche außerhalb des Bildaufnahmebereiches ist, selbst wenn ein Objekt 50A auf der Bodenfläche innerhalb des Beleuchtungsbereiches der Beleuchtungsvorrichtung 32A existiert, das nicht Gegenstand der Erkennung ist, wie z. B. das Gepäck der informationseingebenden Person 10, oder Müll oder ähnliches (siehe 3), tritt das Objekt 50A, das nicht Gegenstand der Erkennung ist, niemals in den Bildaufnahmebereich der Videokamera 36A ein. Des weiteren, falls ein Objekt B, das nicht Gegenstand der Erkennung ist (siehe 3), auf der Bodenfläche innerhalb des Bildaufnahmebereiches der Videokamera 36A anwesend ist; ist die Luminanz des mit dem Objekt 50B korrespondierenden Bildteils, in dem Bild A extrem niedrig, weil das Objekt 50B, das nicht Gegenstand der Erkennung ist, außerhalb des Beleuchtungsbereiches der Beleuchtungsvorrichtung 32A ist.
Desgleichen, weil der Bildaufnahmebereich der Videokamera 36B derart kontrolliert wird, dass der durch die Beleuchtungsvorrichtung 32B beleuchtete Beleuchtungsbereich auf der Bodenfläche außerhalb des Bildaufnahmebereiches ist, selbst wenn ein Objekt 50B innerhalb des Beleuchtungsbereiches auf der Bodenfläche der Beleuchtungsvorrichtung 33 existiert, das nicht der Gegenstand der Erkennung ist, wie z. B. das Gepäck der informationseingebenden Person 10, oder Müll oder ähnliches (siehe 3), tritt das Objekt 50B, das nicht Gegenstand der Erkennung ist, niemals in den Bildaufnahmebereich der Videokamera 36B ein. Des weiteren, falls ein Objekt 50A, das nicht Gegenstand der Erkennung ist, auf der Bodenfläche innerhalb des Bildaufnahmebereiches der Videokamera 36B anwesend ist, ist die Luminanz des Bildteils, der mit dem Objekt 50A korrespondiert, in dem Bild A extrem niedrig, weil das Objekt 50A, das nicht Gegenstand der Erkennung ist, außerhalb des Beleuchtungsbereiches der Beleuchtungsvorrichtung 32B ist.
Dementsprechend kann die Ermittlung in dem oben beschriebenen Schritt 150 bewirkt werden durch eine extrem einfache Ermittlung, ob oder ob nicht der Bildteil des Bildes A oder B, z. B., eine hohe Luminanz hat und eine Fläche eines vorgegebenen Wertes oder mehr hat. Wenn die Ermittlung in Schritt 150 negativ ist, wird die Routine solange in einem Wartezustand gehalten, bis die Ermittlung bestätigend ist.
Wenn die informationseingebende Person 10 in den Informationseingaberaum kommt, ist die Ermittlung in Schritt 150 bestätigend und die Routine fährt fort ro Schritt 152, wo ein Koordinatenberechnungsprozeß für einen Referenzpunkt/charakteristischen Punkt gestartet wird. Dieser Prozeß korrespondiert mit dem Berechnungsmittel gemäß der vorliegenden Erfindung und wird in dem Controller 22 konkurrierend zu dem Ermittlungsprozeß ausgeführt. Nachfolgend wird eine Beschreibung des Koordinatenberechnungsprozesses des Referenzpunktes/charakteristischen Punktes mit Bezug auf die Flußdiagramme in 7A bis 7C gegeben.
In Schritt 210 werden sowohl für Bild A als auch für Bild B von jeder der Videokameras 36A und 36B Daten erfaßt. In Schritt 212 wird der Bildteil, der mit dem gesamten Bild der informationseingebenden Person 10 korrespondiert, von jedem der ermittelten Bilder A und B extrahiert. Der Bildteil, der mit dem gesamten Bild der informationseingebenden Person 10 korrespondiert, kann einfach extrahiert werden, durch die Detektion einer kontinuierlichen Fläche von hoch luminanten Pixeln, die größer ist als eine Fläche von vorgegebener Größe.
In Schritt 214 wird die Höhe der informationseingebenden Person 10 auf der Basis des Bildteils, der zu dem Bild des gesamten Körpers der informationseingebenden Person 10 korrespondiert ermittelt. Wie in 11 gezeigt wird, bezeichnet feine Brennweite der Bild-bildenden Linse der Videokamera 36, die an dem Punkt O positioniert ist, H bezeichnet den Abstand zwischen einem Schnittpunkt Q einer vertikalen Linie, die durch den Punkt O verläuft, H bezeichnet die Bodenfläche des Informationseingaberaums und den Punkt O, R bezeichnet den Abstand zwischen dem Punkt Q und einem Punkt P auf der Bodenfläche, auf der die informationseingebende Person 10 steht und der Abstand h, zwischen einem Punkt P', der mit der Spitze des Kopfes der informationseingebenden Person 10 korrespondiert, und dem Punkt P, bezeichnet die Höhe der informationseingebenden Person 10. Des weiteren, wenn ein Winkel, der durch die Punkte P, 0 und Q gebildet wird, θ ist, ein Winkel der durch die Punkte P', O und Q gebildet wird, θ' ist, die Länge des Bildes der informationseingebenden Person 10, das auf der Rezeptorfläche des Flächensensors der Videokamera 36 gebildet wird, h' ist, ein Punkt p einen Bild-bildenden Punkt auf der Rezeptorfläche bezeichnet, der zu dem Punkt P korrespondiert, ein Punkt p' einen Bild-bildenden Punkt auf der Rezeptorfläche bezeichnet, der mit dem Punkt P' korrespondiert, r den Abstand zwischen dem Zentrum o der Rezeptorfläche und dem Punkt p' bezeichnet und r' den Abstand zwischen dem Abstand zwischen dem Zentrum o der Rezeptorfläche und dem Punkt p' bezeichnet, werden die Winkel θ, θ' und die Abstände r, r' durch die folgenden Gleichungen (1) bis (4) ermittelt; θ = tan–1(R/H) (1) θ = tan–1{R/(H – h)} (2) r = fθ (3) r' = fθ' (4).
Deshalb kann die Höhe h der informationseingebenden Person 10 und der Abstand R durch die folgenden Gleichungen (5) und (6) ermittelt werden; h = H {1 – tan(r/f)/tan(r'/f)} (5) R = H tan(r/f) (6).
Weil der Abstand H und die Brennweite f bereits bekannt sind, werden in Schritt 214 die Abstände r und r' aus einem der durch die Videokameras 36A und 36B aufgenommenen Bilder Bild A und Bild B ermittelt, und diese ermittelten Abstände r und r' in der Gleichung (5) substituiert, wobei die Höhe h der informationseingebenden Person 10 ermittelt werden kann. Des weiteren wird in Schritt 214 der Abstand r aus jedem der Bilder A und B ermittelt, und jeder Abstand r wird dann in der Gleichung (6) substituiert, so dass jeder der Abstände R ermittelt wird, wobei die Position (2D-Koordinaten) der informationseingebenden Person 10 auf der Bodenfläche ermittelt werden kann.
Danach werden in Schritt 216 die 3D-Koordinaten (x₀, y₀, z₀) eines Referenzpunktes P₀ der informationseingebenden Person 10 auf der Basis der Höhe h der informationseingebenden Person 10 ermittelt, und die Position der informationseingebenden Person 10 auf der Bodenfläche, wie in Schritt 214 ermittelt. Des weiteren kann der Punkt (d. h. der Punkt P₀, der in 17 gezeigt ist), der z. B. mit dem Rücken der informationseingebenden Person 10 korrespondiert, als Referenzpunkt P₀ verwendet werden. In diesem Falle, wird die Höhe (z. B. der Wert z₀) zwischen dem Referenzpunkt P₀, der z. B. mit dem Rücken der informationseingebenden Person 10 korrespondiert, und der Bodenfläche auf der Basis der Höhe h der informationseingebenden Person 10 berechnet und die Position der informationseingebenden Person 10 auf dem Boden (planare Koordinaten) wird als die planaren Koordinaten eingestellt (z. B. die Werte von x₀ und y₀), wobei die 3D-Koordinaten des Referenzpunktes P₀ ermittelt werden können. Anstelle des Punktes, der mit dem Rücken der informationseingebenden Person 10 korrespondiert, kann ein Punkt, der mit dem Brustkorb der informationseingebenden Person 10 korrespondiert, ein Punkt, der mit dem Schultergelenk der informationseingebenden Person 10 korrespondiert, oder ähnliches verwendet werden.
In Schritt 218 wird auf der Basis der Konfiguration des Bildteils, der zu dem Bild des gesamten Körpers der informationseingebenden Person 10 auf dem Bild A und dem Bild B korrespondiert, ermittelt, ob die informationseingebende Person 10 mit ihrem Finger auf die Anzeige 12 zeigt (d. h. eine Zeige-Handlung durchführt). Weil die Richtung der Anzeige 12, so wie sie von der informationseingebenden Person 10 gesehen wird, bereits bekannt ist, kann die Ermittlung in Schritt 218 ausgeführt werden durch, z. B., Ermitteln, ob oder ob nicht der Teil, der zu der Anzeige 12 gerichtet ist, aus Sicht der informationseingebenden Person 10 in einer Höhe vorliegt, die als die Position der Hand der informati onseingebenden Person 10 ermittelbar ist, in dem Bildbereich, der mit dem Voll-Längen-Bild der informationseingebenden Person 10 korrespondiert.
Deshalb kann ausgehend von einem Zustand, in dem die Person 10 aufrecht steht (12A) ermittelt werden, dass die informationseingebende Person 10 eine Zeige-Handlung durchführt, wenn die informationseingebende Person 10 ihre Hand hebt und die Hand in Richtung der Anzeige 12 bewegt. Wenn die Ermittlung in Schritt 218 negativ ist, werden die 3D-Koordinaten des charakteristischen Punktes (was später detailliert beschrieben werden wird) nicht berechnet und die Routine kehrt zurück zu Schritt 210. Die Schritte 210 bis 218 werden so lange wiederholt, bis die informationseingebende Person 10 eine Zeige-Handlung durchführt.
Wenn die informationseingebende Person 10 die Zeige-Handlung durchführt, ist die Ermittlung in Schritt 218 bestätigend und die Routine fährt fort zu Schritt 220. In Schritt 220 wird auf der Basis der Bilddaten, die das von der Videokamera 36A ermittelte Bild A repräsentieren, der charakteristische Punkt P_x der informationseingebenden Person 10 innerhalb des Bildes A extrahiert und die Positionen (X_A, Y_A) des charakteristischen Punktes P_x auf dem Bild A werden dadurch berechnet. Punkte oder ähnliches, die mit der Spitze des Fingers korrespondieren, der in Richtung der Anzeige 12 zeigt, können für den charakteristischen Punkt P_x der informationseingebenden Person 10 verwendet werden. In diesem Fall kann innerhalb des Bildteiles, der das Bild des vollständigen Körpers der informationseingebenden Person 10 repräsentiert, die Position der Spitze des Teils, der in Richtung der Anzeige 12 von der Höhenposition gerichtet ist, die als korrespondierend zu der Hand der informationseingebenden Person ermittelt werden kann, als die Position des charakteristischen Punktes P_x berechnet werden.
Dementsprechend werden die Koordinaten (X_A, Y_A) des charakteristischen Punktes P_x als die Position des charakteristischen Punktes P_x berechnet, wenn das Bild der Hand der informationseingebenden Person 10 wie in 13A gezeigt durch die Videokamera 36A aufgenommen wird.
In Schritt 222 werden auf der Basis der Gitterpunkt-Positionsinformation der Videokamera 36A, die in der Speichervorrichtung 24 gespeichert ist, alle diejenigen Gitterpunkte detektiert, deren Positionen auf dem Bild A innerhalb des Bereiches von (X ± dX, Y_A ± dY) sind (siehe den Bereich der durch die Schnittlinie in 13B umrissen ist). Des weiteren wird die Vergrößerung von dX und dY auf der Basis des Abstandes zwischen Gitterpunkten ermittelt (d. h. die Abstände zwischen den Markierungen 40A), so dass einer oder mehrere der Gitterpunkte extrahiert werden.
Des weiteren wird in der vorliegenden Ausführungsform eine Weitwinkellinse als Bild-bildende Linse der Videokameras verwendet und es sind, vorausgesetzt dass dX und dY fixe Werte sind, eine große Anzahl von Gitterpunkten innerhalb des Bereiches von (X_A ± dX, Y_A ± dY), was zu einer Verringerung der Genauigkeit des Berechnens der 3D-Koordinaten des charakteristischen Punktes P_x führt, was später beschrieben werden wird. Aus diesem Grund werden dX und dY so eingestellt, dass je weiter entfernt der Abstand von dX und dY zu der Videokamera auf den 3D-Koordinaten ist, desto geringer sind die Werte. Dementsprechend bildet der Bereich, der gleich (X_A ± dX, Y_A ± dY) ist, auf den 3D-Koordinaten eine konische Form (oder eine konische ellipsoide Form), deren untere Fläche auf der Seite der Videokamera angeordnet ist.
In der gleichen Weise wie im zuvor beschriebenen Schritt 220 wird in Schritt 224 auf der Basis der Bilddaten, die das Bild B repräsentieren, das von der Videokamera 36B ermittelt wurde, der charakteristische Punkt P_x der informationseingebenden Person 10 innerhalb des Bildes B extrahiert und die Position (X_B, Y_B) des charakteristischen Punktes P_x auf dem Bild B berechnet. In der gleichen Weise wie in dem zuvor beschriebenen Schritt 222 werden in Schritt 226 alle Gitterpunkte innerhalb des Bereiches von (X_B ± dX, Y_B ± dY) auf der Basis der in der Speichervorrichtung 24 gespeicherten Gitterpunkt-Positionsinformation der Videokamera 36B detektiert.
Als nächstes werden in Schritt 228 die gemeinsamen Gitterpunkte ermittelt, die aus dem Bild A und dem Bild B extrahiert werden. Dementsprechend werden nur die Vielzahl von Gitterpunkten extrahiert, die benachbart zu dem charakte ristischen Punkt P_x innerhalb des Informationseingaberaums angeordnet sind. In Schritt 230 werden die 3D-Koordinaten der gemeinsamen Gitterpunkte von dem Bild A und dem Bild B aus der Gitterpunkt-Positionsinformation ermittelt.
Wie später beschrieben werden wird, werden in der vorliegenden Ausführungsform die 3D-Koordinaten des charakteristischen Punktes P_x durch Interpolation von den 3D-Koordinaten der Vielzahl von Gitterpunkten berechnet, die benachbart zu dem charakteristischen Punkt P_x in dem Informationseingaberaum existieren (detailliert, die Koordinatenwerte der 3D-Koordinaten des charakteristischen Punktes werden ermittelt durch den gewichteten Mittelwert der Koordinatenwerte der 3D-Koordinaten der Vielzahl von Gitterpunkten). Aus diesem Grund wird im folgenden Schritt 232 vor der Berechnung der 3D-Koordinaten des charakteristischen Punktes P_x auf der Basis der Positionen auf dem Bild A und dem Bild B jedes der gemeinsamen aus dem Bild A und dem Bild B extrahierten Gitterpunkte, der Position (X_A, Y_A) des charakteristischen Punktes P_x auf dem Bild A und der Position (X_B, Y_B) des charakteristischen Punktes P_x auf dem Bild B, das Interpolationsverhältnis (die Gewichtung für die Koordinatenwerte der 3D-Koordinaten jedes der Gitterpunkte) von den 3D-Koordinaten jedes der gemeinsamen Gitterpunkte ermittelt, die aus dem Bild A und dem Bild B extrahiert wurden. Beispielsweise kann das Interpolationsverhältnis ermittelt werden, so dass die Gewichtung der Koordinatenwerte der 3D-Koordinaten jedes der Gitterpunkte, die benachbart zu dem charakteristischen Punkt in Bild A und Bild B angeordnet sind, erhöht werden kann.
In Schritt 234 werden die 3D-Koordinaten (X_x, Y_x, Z_x) des charakteristischen Punktes P_x auf der Basis der 3D-Koordinaten der gemeinsamen Gitterpunkte, die aus dem Bild A und dem Bild B extrahiert werden und dem Interpolationsverhältnis, das in dem oben beschriebenen Schritt 232 ermittelt wird, berechnet.
Wie oben beschrieben werden die 3D-Koordinaten (X_x, Y_x, Z_x) des charakteristischen Punktes P_x berechnet, wobei die Routine danach zurückkehrt zu Schritt 210, wo die Prozesse des Schrittes 210 wiederholt werden. Auf diese Weise werden in dem Referenzpunkt/charakterischter-Punkt-Koordinatenberech nungsprozeß die Werte der 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x, die durch den Referenzpunkt/charakteristischer-Punkt-Koordinatenberechnungsprozeß berechnet werden, als Antwort auf eine Veränderung der Körperhaltung oder der Bewegung der informationseingebenden Person 10 sequentiell erneuert, weil der Referenzpunkt P₀ und der charakteristische Punkt P_x der informationseingebenden Person 10 wiederholt berechnet werden (vorausgesetzt, dass die informationseingebende Person 10 eine Zeige-Handlung durchführt).
Der Controller 22 startet den Referenzpunkt/charakterischer-Punkt-Koordinatenberechnungsprozeß in Schritt 152 des Zeige-Ermittlungsprozesses ( 6A bis 6D), und führt danach, konkurrierend mit dem zuvor erwähnten Referenzpunkt/charakteristischer-Punkt-Koordinatenberechnungsprozeß, die Prozesse abwärts von Schritt 154 in dem Zeige-Ermittlungsprozeß aus. Uns zwar führt in Schritt 154 der Controller 22 einen Abstands-Konversionsbedingungs-Einstellprozeß aus. Eine Beschreibung des Abstands-Konversionsbedingungs-Einstellprozesses wird mit Bezug auf die Flußdiagramme der 8A bis 8C gegeben. Des weiteren korrespondiert der Abstands-Konversionsbedingungs-Einstellprozeß mit dem Konversionsbedingungs-Einstellmittel des dritten Aspektes der vorliegenden Erfindung.
In Schritt 250 werden in einem virtuellen 3D-Raum, der durch ein auf der Anzeige 12 angezeigtes dreidimensionales Bild repräsentiert wird, die 3D-Koordinaten auf der Basis der in der Speichervorrichtung 24 gespeicherten Koordinatendaten oder ähnlichem (die auch durch eine funktionale Gleichung berechnet werden können) an einer Position ermittelt, die mit einer im wesentlichen mittleren Position (d. h. dem neutralen Punkt) des virtuellen 3D-Raumes in seiner Tiefenrichtung korrespondiert, und die Position des neutralen Punktes auf dem Anzeigebildschirm der Anzeige 12 (Anzeigeposition des neutralen Punktes) wird berechnet, und die Informationsverarbeitungs-Vorrichtung 14 wird angewiesen, eine Markierung auf der Anzeigenposition anzuzeigen, die auf dem anzeigenden Bildschirm der Anzeige 12 berechnet wurde.
Deshalb zeigt die Informationsverarbeitungs-Vorrichtung 14 die Markierung an der Anzeigenposition auf dem Anzeigenbildschirm der Anzeige 12 an, wobei die angezeigte Markierung für die informationseingebende Person 10 sichtbar sein kann, so als ob sie an dem neutralen Punkt des virtuellen 3D-Raumes positioniert wäre. Darüber hinaus kann eine runde Eingabeaufforderung 52, die in 18 gezeigt ist, oder ähnliches als Markierung verwendet werden. Jedoch kann jede Konfiguration einer Markierung angewandt werden, falls sie die Bedingungen erfüllt, unter denen die informationseingebende Person 10 die Konfiguration leicht erkennen kann.
In Schritt 252 wird die Informationsverarbeitungs-Vorrichtung 14 als nächstes angewiesen, auf der Anzeige 12 eine Nachricht anzuzeigen, die dazu auffordert, dass die informationseingebende Person 10 in eine Zeige-Handlung auf die Markierung, die auf der Anzeige 12 angezeigt ist, durchführt. Dementsprechend zeigt die Informationsverarbeitungs-Vorrichtung 14 die Nachricht auf der Anzeige 12 an, und die informationseingebende Person 10, die in einem Zustand ist, in welchem die Person 10 aufrecht steht (12A), hebt ihre Hand und führt die Hand in Richtung der Anzeige 12 und in Richtung der Markierung in dem virtuellen 3D-Raum aus, der durch ein dreidimensionales Bild repräsentiert wird, das auf der Anzeige 12 angezeigt wird, und beugt oder streckt ihren Arm in Übereinstimmung mit dem Abstand zu der Markierung in dem virtuellen 3D-Raum.
Wenn die informationseingebende Person 10 auf ein Objekt zeigt, das von der informationseingebenden Person 10 als an einer entfernten Position in dem virtuellen 3D-Raum befindlich erkannt wurde, streckt die Person 10 ihren Arm aus (siehe 14A). Wenn die informationseingebende Person 10 auf ein Objekt zeigt, das von der informationseingebenden Person 10 als nahe bei ihr liegend erkannt wurde, beugt die Person 10 ihren Arm (siehe 14C). Wie oben beschrieben ist der Arm der informationseingebenden Person 10 in einem Zustand des Zeigens auf eine Markierung in einem halbgebeugten Zustand, wie in 14 gezeigt, weil die Markierung gesehen werden kann, als ob sie an einem neutralen Punkt in dem virtuellen 3D-Raum positioniert wäre.
In Schritt 254 werden die Resultate (3D-Koordinaten des Referenzpunktes Po und des charakteristischen Punktes P_x) des Referenzpunkt/charakteristischer -Punkt-Koordinatenberechnungsprozesses erfaßt, und in Schritt 256 wird ermittelt, ob die informationseingebende Person 10 die Zeige-Handlung durch Zeigen auf den Anzeigebildschirm der Anzeige 12 durchführt. In dem Referenzpunkt/charakterister-Punkt-Koordinatenberechnungsprozeß wird die Ermittlung in Schritt 256 durch Ermitteln gewirkt, ob 3D-Koordinaten des charakteristischen Punktes P_x berechnet werden, da die 3D-Koordinaten des charakteristischen Punktes P_x nur berechnet werden, wenn die informationseingebende Person 10 die Zeige-Handlung durchführt (d. h. wenn die Ermittlung in Schritt 218 bestätigend ist).
Wenn die Ermittlung in Schritt 256 negativ ist, kehrt die Routine zurück ro Schritt 254, und die Schritte 254 und 256 werden so lange wiederholt, bis die informationseingebende Person 10 die Zeige-Handlung ausführt. Wenn die Ermittlung in Schritt 256 bestätigend ist, fährt die Routine fort mit Schritt 258, wo der Abstand k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x von den 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x berechnet werden, die in Schritt 254 erfaßt werden. Der Abstand k korrespondiert mit dem Abstand L_mid (virtueller Abstand) zwischen der informationseingebenden Person 10 und dem neutralen Punkt in dem virtuellen 3D-Raum, der die informationseingebende Person enthält, und wird in der Speichervorrichtung als ein Abstand k_mid gespeichert.
In Schritt 260 weist als nächstes der Abstands-Konversionsbedingungs-Einstellprozeß die Informationsverarbeitungs-Vorrichtung 14 an, auf der Anzeige 12 eine Nachricht anzuzeigen, die dazu auffordert, dass die informationseingebende Person 10 eine Armbeugungs- oder Streckungshandlung über den vollständigen Bereich des Armschlages durchführt. Dementsprechend zeigt die Informationsverarbeitungs-Vorrichtung 14 die Nachricht auf der Anzeige 12 an. Die informationseingebende Person 10 wiederholt die Streckungsbewegung, in der die informationseingebende Person 10 einen Arm geradewegs ausstreckt und die Beuge-Handlung, in der die informationseingebende Person 10 einen Arm beugt.
In Schritt 262 erfaßt der Abstands-Konversionsbedingungs-Einstellprozeß als nächstes die Prozeßresultate des Referenzpunkt/charakteristischer-Punkt-Koordinatenberechnungsprozesses. In Schritt 264 wird ermittelt, ob die informationseingebende Person 10 die Handlung des Zeigens auf den Anzeigebildschirm der Anzeige 12 durchführt. Wenn die Ermittlung in Schritt 264 negativ ist, kehrt die Routine zurück zu Schritt 262. Die Schritte 264 und 262 werden so lange wiederholt, bis die informationseingebende Person 10 die Zeige-Handlung durchführt. Wenn die Ermittlung in Schritt 264 bestätigend ist, fährt die Routine fort mit Schritt 266.
In Schritt 266 wird der Abstand k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x auf der Basis der 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x, die in Schritt 262 ermittelt werden, berechnet und gespeichert, und es wird ermittelt, ob eine Veränderung des Abstandes k existiert und ob sich die Richtung der Veränderung des Abstandes k von einer zunehmenden Richtung zu einer abnehmenden Richtung oder von einer abnehmenden Richtung zu einer zunehmenden Richtung verändert. Die Ermittlung wird davon unabhängig sein, dass keine Veränderung existiert, wenn der Schritt 266 es zum ersten Mal und zum zweiten Mal ausführt wird. Falls Schritt 266 jedoch zum zweiten Male und darüber hinaus ausgeführt wird, wird der Wert des Abstandes k, der dieses Mal berechnet wird, verglichen mit dem Wert des Abstandes k, der zu den vorhergehenden Malen berechnet wurde, und die Veränderungsrichtung des Abstandes k wird ermittelt. Wenn Schritt 266 zum dritten Male und darüber hinaus ausgeführt wird, wird die oben beschriebene Ermittlung durchgeführt, durch vergleichen der während der aktuellen Ermittlung ermittelten Richtung der Änderung in dem Abstand k, mit der während der vorhergehenden Ermittlung ermittelten Richtung der Veränderung in dem Abstand k.
Falls die oben erwähnte Ermittlung so ist, dass keine Veränderung existiert, kehrt die Routine zurück zu Schritt 262, und die Schritte 262 bis 266 werden wiederholt. Andererseits, wenn es eine Veränderung der Richtung des Abstandes k gibt, kann der Arm der informationseingebenden Person 10 in einem im wesentlichen ausgestreckten Zustand (siehe 14A) oder in einem gebeugten Zustand (siehe 14C) sein. Dementsprechend ist die Ermittlung in Schritt 266 bestätigend und die Routine fährt fort mit Schritt 268, wo der Abstand k zwischen dem Referenzpunkt P₀ und dem chrakteristischen Punkt P_x zu diesem Zeitpunkt gespeichert wird (der Abstand k weist einen maximalen Wert in einem Zustand auf, in dem der Arm der informationseingebenden Person 10 geradewegs ausgestreckt ist, und einen minimalen Wert in einem Zustand, in dem der Arm der informationseingebenden Person 10 gebeugt ist). Als nächstes wird in Schritt 270 ermittelt, ob sowohl der maximale Wert k_max als auch der minimale Wert k_min erhalten wurden. Falls die Ermittlung in Schritt 270 negativ ist, geht die Routine zurück zu Schritt 262 und die Schritte 262 bis 270 werden wiederholt.
Nachdem sowohl der maximale Wert k_max und der minimale Wert k_min in Schritt 270 erhalten wurden, fährt die Routine fort zu Schritt 272, wo die Abstands-Konversionsbedingungen eingestellt sind zum Konvertieren des Abstandes k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x der informationseingebenden Person 10 in den Abstand L (virtueller Abstand) zwischen der informationseingebenden Person 10 und der Position, auf die durch die informationseingebende Person 10 gezeigt wird. Diese Abstands-Konversionsbedingungen können durch die Benutzung der Methode der kleinsten Quadrate ermittelt werden, so dass z. B., wie in 15 gezeigt, der Abstand k_min in den Abstand L_min konvertiert wird, der Abstand k_mid in den Abstand L_mid konvertiert wird und der Abstand k_max in den Abstand L_max konvertiert wird, wobei der Abstand (virtueller Abstand) zwischen der aus Sicht der informationseingebenden Person 10 vordersten Position und der informationseingebenden Position 10 L_min ist, der Abstand zwischen der aus Sicht der informationseingebenden Person 10 tiefsten Position und der informationseingebenden Person 10 L_max ist und der Abstand zwischen dem neutralen Punkt und der informationseingebenden Person 10 L_mid ist.
Die Länge oder ähnliches des Armes kann unterschiedlich sein, in Abhängigkeit von der individuellen informationseingebenden Person 10, und demgemäß kann auch die Breite der Veränderung (k_max – k_min) des Abstandes k in Abhän gigkeit von dem Individuum unterschiedlich sein, wenn der Arm der informationseingebenden Person 10 gestreckt/gebeugt ist. Jedoch wird der oben beschriebene Abstands-Konversionsbedingungs-Einstellprozeß jedes Mal ausgeführt, wenn eine informationseingebende Person 10 in den Inforniationseingaberaum kommt. Der Prozeß ermittelt den maximalen Wert und den minimalen Wert des Abstandes k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x, und stellt die Abstands-Konversionsbedingungen so ein, dass die Breite der Veränderung (k_max – k_min) des Abstandes k mit der Breite der Veränderung (L_max – L_min) des Abstandes L zwischen jeder Position innerhalb des virtuellen 3D-Raumes und der informationseingebenden Person 10 korrespondiert. Wenn eine andere informationseingebende Person 10 in den Informationseingaberaum kommt, können als Ergebnis die passenden Konversionsbedingungen als Abstands-Konversionsbedingungen bereitgestellt werden, gemäß der Länge oder ähnlichem des Armes der neu angekommenen informationseingebenden Person 10.
Des weiteren kann in den oben beschriebenen Abstands-Konversionsbedingungen die Konversionscharakteristik mit der Wahrnehmung der informationseingebenden Person 10 korrespndieren, so dass der Abstand L zwischen der Position, auf die von der informationseingebenden Person 10 gezeigt wird und der informationseingebenden Person 10 genau ermittelt werden kann, weil die Konversionscharakteristika im Hinblick auf den Abstand k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x fix sind, wenn die informationseingebende Person 10 die Handlung des Zeigens auf einen neutralen Punkt ausführt.
Der Abstands-Konversionsbedingungs-Einstellprozeß wird wie oben beschrieben ausgeführt und danach wird in Schritt 156 (siehe 6) ein Klick-Handlungs-Geschwindigkeitseinstellprozeß ausgeführt. Eine Beschreibung des Klick-Handlungs-Geschwindigkeitseinstellprozesses wird mit Bezug auf das Flußdiagramm in 9 gegeben werden. Des weiteren korrespondiert der Klick-Handlungs-Geschwindigkeitseinstellprozeß mit dem Schwellenwerteinstellmittel gemäß des siebten Aspektes der vorliegenden Erfindung.
In Schritt 290 weist der Klick-Handlungs-Geschwindigkeitseinstellprozeß die Informationsverarbeitungs-Vorrichtung 14 an, eine Nachricht, die dazu auffordert, dass die informationseingebende Person 10 eine Klick-Handlung ausführt, auf der Anzeige 12 anzuzeigen. Die Informationsverarbeitungs-Vorrichtung 14 bewirkt, dass die Anzeige 12 die Nachricht anzeigt. Die vorliegende Ausführungsform fixiert die Klick-Handlung als eine Bewegung, in welcher die informationseingebende Person 10 ihre Hand schnell vorwärts bewegt (siehe 16A, die als Vorwärts-Klick bezeichnet wird) und eine Bewegung, in welcher die informationseingebende Person 10 ihre Hand schnell rückwärts bewegt (siehe 16B, die als Rückwärts-Klick bezeichnet wird). Wenn die oben erwähnte Nachricht auf der Anzeige 12 angezeigt wird, beugt oder streckt die informationseingebende Person 10 einen Arm aus und wiederholt die Vorwärts-Klick-Handlung und die Rückwärts-Klick-Handlung.
In Schritt 292 werden die Prozeßergebnisse des Referenzpunkt/charakteristischer-Punkt-Koordinatenberechnungsprozesses erfaßt (die 3D-Koordinaten des Referenzpunktes P0 und des charakteristischen Punktes P_x). In Schritt 294 wird ermittelt, ob die informationseingebende Person 10 die Handlung des Zeigens auf die Anzeige 12 durchführt. Wenn die Ermittlung in Schritt 294 negativ ist, kehrt die Routine zurück zu Schritt 292 und die Schritte 292 und 294 werden so lange wiederholt, bis die informationseingebende Person 10 die Zeige-Handlung durchführt. Wenn die Ermittlung in Schritt 294 bestätigend ist, fährt die Routine mit Schritt 296 fort.
In Schritt 296 wird der Abstand k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x aus den 3D-Koordinaten des Referenzpunktes Po und des charakteristischen Punktes P_x berechnet, die in Schritt 292 erfaßt werden. Des weiteren wird Schritt 296 wiederholt ausgeführt. Wenn jedoch Schritt 296 zum zweiten Male und darüber hinaus ausgeführt wird, wird die Geschwindigkeit V der Änderung des Abstandes k (die Geschwindigkeit, mit der sich die Position des charakteristischen Punktes P_x auf die Position des Referenzpunktes P₀ zubewegt) auf der Basis der Differenz des Wertes des Abstands k, der dieses Mal berechnet wurde, und des Wertes des Abstandes k, der das vorhergehende Mal berechnet wurde, berechnet und die Berechnungsergebnisse werden gespeichert.
In Schritt 298 wird die Nachricht, die dazu auffordert: "führe eine Klick-Handlung aus", auf der Anzeige 12 angezeigt und danach wird ermittelt, ob eine vorgegebene Zeit verstrichen ist. Wenn die Ermittlung negativ ist, kehrt die Routine zurück zu Schritt 292 und die Schritte 292 bis 298 werden wiederholt. Dementsprechend wird die Geschwindigkeit V der Veränderung des Abstandes k zwischen dem charakteristischen Punkt P_x und dem Referenzpunkt P₀ wiederholt berechnet und abgespeichert, von dem Zeitpunkt an, wenn die Nachricht "führe die Klick-Handlung aus" auffordert bis zu dem Zeitpunkt, wenn eine vorgegebene Zeit verstrichen ist.
Wenn die Ermittlung in Schritt 298 bestätigend ist, fährt die Routine mit Schritt 300 fort. In Schritt 300 wird die vorher berechnete und erfaßte Geschwindigkeit der Veränderung V ermittelt und die Geschwindigkeit der Klick-Handlung V₀ (die mit einem Schwellenwert gemäß der fünften bis siebten Aspekte der vorliegenden Erfindung korrespondiert) wird eingestellt und gespeichert auf der Basis des Fortschrittes der Geschwindigkeit der Veränderung V, während die informationseingebende Person 10 die Klick-Handlung einmalig durchführt. Die Klick-Handlungsgeschwindigkeit V₀ wird als Schwellenwert verwendet zum Ermitteln, ob die informationseingebende Person 10 die Klick-Handlung in einem Prozeß durchgeführt hat, der später beschrieben werden wird. Um zuverlässig zu ermitteln, ob die informationseingebende Person 10 die Klick-Handlung durchgeführt hat, kann aus diesem Grund z. B. ein Wert, der ein wenig geringer ist als der Mittelwert der Geschwindigkeit der Veränderung V in einer einzelnen Klick-Handlung durch die informationseingebende Person 10, als die Klick-Handlungsgeschwindigkeit V₀ eingestellt werden. Zusätzlich kann der minimale Wert der Geschwindigkeit der Veränderung in einer einzelnen Klick-Handlung durch die informationseingebende Person 10 als Klick-Handlungsgeschwindigkeit V₀ eingestellt werden.
Die Übergangsgeschwindigkeit (die Geschwindigkeit der Veränderung V) des charakteristischen Punktes P_x, wenn die informationseingebende Person 10 die Klick-Handlung durch Beugen oder Strecken eines Armes ausführt, kann abhängig von der individuellen informationseingebenden Person 10 variieren. Da jedoch der oben beschriebene Klick-Handlungs-Geschwindigkeitseinstellprozeß jedes Mal ausgeführt wird, wenn eine informationseigebende Person 10 in den Informationseingaberaum kommt, wird ein geeigneter Wert gemäß der Physis oder der muskulären Stärke der neuen Informationseingabeperson 10, die in den Informationseingaberaum kommt, als die Klick-Handlungsgeschwindigkeit V₀ neu eingestellt, wenn eine neue informationseingebende Person 10 in den Informationseingaberaum kommt.
Nachdem der oben beschriebene Klick-Handlungs-Geschwindigkeitseinstellprozeß abgeschlossen wurde, fährt die Routine fort zu Schritt 158, zu dem Zeige-Ermittlungsprozeß (siehe 6A bis 6D). In und nach dem Schritt 158 wird der Ermittlungsprozeß zum Ermitteln, ob die informationseingebende Person 10 die Zeige-Handlung durchführt, ausgeführt. Und zwar werden in Schritt 158 die Prozeßergebenisse des Referenzpunkt/charakteristischer-Punkt-Koordinatenberechnungsprozesses (die 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x) ermittelt. In Schritt 160 wird ermittelt, ob die informationseingebende Person 10 eine Zeige-Handlung durchführt.
Wenn die Ermittlung in Schritt 160 negativ ist, fährt die Routine fort mit Schritt 194, wo ermittelt wird, ob die informationseingebende Person 10 den Informationseingaberaum verlassen hat. Inder gleichen Weise wie in Schritt 150 wird eine extrem einfache Ermittlung durchgeführt, in der ermittelt wird, ob der Bildteil, dessen Intensität hoch ist und der eine Fläche hat, die größer oder gleich eines vorgegebenen Wertes ist, aus dem Bild A und dem Bild B verloren wurde. Wenn diese Ermittlung negativ ist, fährt die Routine fort mit Schritt 158 und die Schritte 158, 160 und 194 werden wiederholt.
Des weiteren, wenn die Ermittlung in Schritt 160 bestätigend ist, fährt die Routine fort mit Schritt 162, wo, auf der Basis der 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x, die im vorhergehenden Schritt 158 erfaßt werden, die Koordinaten (planare Koordinaten) eines Schnittpunktes (siehe Punkt S in den 17A und 17B) einer virtuellen Linie, die den oben beschriebenen Referenzpunkt und den charakteristischen Punkt verbindet (siehe die virtuelle Linie 54 in den 17A und 17B) und eine Ebene, die den Anzeigebildschirm der Anzeige 12 enthält, berechnet werden. Auf der Basis der Koordinaten des Schnittpunktes S, der in Schritt 162 ermittelt wird, wird in Schritt 164 ermittelt, ob die informationseingebende Person 10 auf den Anzeigenbildschirm der Anzeige 12 zeigt. Wenn die Ermittlung negativ ist, fährt die Routine fort mit Schritt 194 und die Schritte 158 bis 164 und Schritt 194 werden wiederholt.
Wenn die Ermittlung in Schritt 164 bestätigend ist, kann unterdessen ermittelt werden, dass die informationseingebende Person 10 auf eine spezifische Position innerhalb des virtuellen 3D-Raumes zeigt, der durch ein dreidimensionales Bild, das auf der Anzeige 12 angezeigt wird, repräsentiert wird. Aus diesem Grund fährt die Routine fort mit Schritt 166, wo auf der Basis der 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x, die im voraus erfaßt wurden, die Richtung, in der die virtuelle Linie, die den Referenzpunkt P₀ und den charakteristischen Punkt P_x verbindet, fortführt, (d. h. die Richtung von dem Referenzpunkt P₀ zu dem charakteristischen Punkt P_x), als die Richtung berechnet wird, in welcher die Position, auf die von der informationseingebenden Person 10 gezeigt wird, existiert.
In Schritt 168 wird der Abstand k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x auf der Basis der 3D-Koordinaten des Referenzpunktes P₀ und des charakteristischen Punktes P_x, die im voraus erfaßt werden, berechnet. Dann wird in Übereinstimmung mit den Abstands-Konversionsbedingungen (siehe 15), die in dem oben beschriebenen Abstands-Konversionsbedingungs-Einstellprozeß eingestellt werden (siehe die 8A bis 8C), wie in 18 gezeigt, der Abstand k zwischen Referenzpunkt P₀ und dem charakteristischen Punkt P_x konvertiert in den Abstand L (virtueller Abstand) zwischen der informationseingebenden Person 10 und der Position, auf die von der informationseingebenden Person gezeigt wird. In Schritt 170 wird die Position, auf die von der informationseingebende Person 10 gezeigt wird, als die Position ermittelt, die von dem Referenzpunkt P₀ durch den in Schritt 168 erhaltenen Abstand L separat beabstandet ist, und die sich in der in Schritt 166 berechneten Richtung befindet, so dass die 3D-Koordinaten der Position in dem virtuellen 3D-Raum, auf den durch die informationseingebende Person 10 gezeigt wird, berechnet werden.
Dementsprechend ist es möglich, die 3D-Koordinaten der Position zu ermitteln, auf die durch die informationseingebende Person 10 gezeigt wird, selbst wenn die informationseingebende Person 10 auf eine beliebige Position innerhalb des virtuellen 3D-Raumes zeigt, der durch ein dreidimensionales Bild repräsentiert wird, das auf der Anzeige 12 angezeigt wird. Des weiteren korrespondieren die oben beschriebenen Schritte 166 bis 170 mit dem Ermittlungsmittel der vorliegenden Erfindung.
In Schritt 172 werden die in Schritt 170 berechneten 3D-Koordinaten der in Position, auf die durch die informationseingebende Position 10 gezeigt wird, in die Position (2D-Koordinaten) konvertiert, auf die auf dem Anzeigenbildschirm der Anzeige 12 gezeigt wird (die 2D-Koordinaten können mittels einer funktionalen Gleichung durch Berechnung erhalten werden), gemäß den in der Speichervorrichtung 24 gespeicherten Koordinatendaten, wobei dieser Prozeß die Informationsverarbeitungs-Vorrichtung 14 anweist, die Eingabeaufforderung 52 auf der oben erwähnten Position abzubilden (siehe 18). Die Größe der Eingabeaufforderung 52, die auf der anzeige 12 angezeigt wird, kann verringert werden, wenn die Länge L, die in Schritt 168 ermittelt wurde, ansteigt.
In der vorliegenden Ausführungsform kann die informationseingebende Person 10 anweisen, dass sich die Vergrößerung (Zoom -In oder Zoom-Out) eines dreidimensionalen Bildes, das auf der Anzeige 12 angezeigt wird, ändert. Und zwar um zu unterscheiden, zwischen der Bewegung, in der die informationseingebende Person 10 auf eine spezifische Position innerhalb des virtuellen 3D-Raumes zeigt, und der Bewegung, in der die informationseingebende Person 10 anweist, dass die Anzeigenvergrößerung eines dreidimensionalen Bildes, das auf der Anzeige 12 angezeigt wird, sich ändert, z. B. wenn die informationseingebende Person 10 eine Zeige-Handlung durchführt, wird im voraus ermittelt, dass die Hand der informationseingeben den Person 10 eine Form beschreibt, in der der Daumen und alle Finger außer dem Zeigefinger gebeugt sind (siehe 19A), und wenn die informationseingebende Person 10 anweist, die Anzeigenvergrößerung zu verändern, ist die Hand der informationseingebenden Person 10 in einer spezifischen Form, in welcher alle Finger außer dem Daumen ausgestreckt sind (siehe 19B).
In Schritt 174 wird ermittelt, ob die Hand der informationseingebenden Person 10 in einer spezifischen Form ist (die Form, in der alle Finger außer des Daumens ausgestreckt sind). Und zwar wird ermittelt, ob die informationseingebende Person 10 anweist, dass die Anzeigenvergrößerung eines dreidimensionalen Bildes geändert wird. Des weiteren korrespondiert dieser Schritt 174 mit dem Ermittlungsmittel gemäß des vierten Aspekts der vorliegenden Erfindung.
Wenn die Ermittlung in Schritt 174 negativ ist, wird ermittelt, dass die informationseingebende Person 10 die Bewegung zum Anweisen der Änderung der Anzeigenvergrößerung eines dreidimensionalen Bildes nicht ausführt, und die Routine fährt fort mit Schritt 176, wo ermittelt wird, ob der Abstand k, der zuvor in Schritt 168 berechnet wurde, geändert wird. Schritt 168 wird wiederholt ausgeführt, während die informationseingebende Person 10 die Zeige-Handlung des Zeigens auf die Bildschirmanzeige der Anzeige 12 durchführt (während die Ermittlung in Schritt 164 bestätigend ist). Wenn jedoch der Abstand k zum ersten Mal in Schritt 168 berechnet wird, ist die Ermittlung in Schritt 176 bedingungslos negativ, weil nicht ermittelt werden kann, ob sich die Distanz k geändert hat.
Wenn die Ermittlung in Schritt 176 bestätigend ist, fährt die Routine mit Schritt 178 fort, wo die Geschwindigkeit der Veränderung V des Abstandes k berechnet wird, und es wird dabei ermittelt, ob die berechnete Geschwindigkeit der Veränderung V größer oder gleich eines Schwellenwertes ist (d. h. die Klick-Handlungsgeschwindigkeit V₀, die durch den Klick-Handlungsgeschwindigkeitseinstellprozeß zurückgesetzt wird). Darüber hinaus ist ebenfalls in Schritt 178 die Ermittlung bedingungslos negativ, weil die Geschwindigkeit der Veränderung V des Abstandes k nicht berechnet werden kann, wenn der Abstand k in Schritt 168 zum ersten Mal berechnet wird. Wenn die Ermittlung in Schritt 176 oder in Schritt 178 negativ ist, wird dadurch ermittelt, dass die informationseingebende Person 10 die Klick-Handlung nicht ausführt, und die Routine fährt mit Schritt 194 fort.
Wenn die Ermittlung in Schritt 176 und in Schritt 178 jeweils bestätigend ist, wird dadurch darüber hinaus ermittelt, dass die informationseingebende Person 10 die Klick-Handlung durchgeführt hat, und in Schritt 180 wird die Richtung der Veränderung des Abstandes k ermittelt, wobei sich die Routine gemäß des Ergebnisses der Ermittlung verzweigt. Wenn sich der Abstand k in die Richtung einer Zunahme verändert, kann ermittelt werden, dass die informationseingebende Person 10 eine Vorwärts-Klick-Handlung durchgeführt hat, in der die informationseingebende Person 10 ihre Hand schnell vorwärtsbewegt. Die Routine fährt fort mit Schritt 182, worin Informationen, die anzeigen, dass die Vorwärts-Klick-Handlung durchgeführt wurde, durch die Informationsverarbeitungs-Vorrichtung 14 ausgegeben werden, und die Routine mit Schritt 194 fortfährt. Wenn sich des weiteren der Abstand k in Richtung einer Abnahme verändert, kann ermittelt werden, dass die informationseingebende Person 10 eine Rückwärts-Klick-Handlung ausgeführt hat, in welcher die informationseingebende Person 10 ihre Hand schnell rückwärts beugt. Deshalb fährt die Routine mit Schritt 184 fort, wobei Informationen, die anzeigen, dass die Rückwärts-Klick-Handlung ausgeführt würde, an die Informationsverarbeitungs-Vorrichtung 14 ausgegeben wird und die Routine mit Schritt 194 fortfährt.
Wenn Informationen, die anzeigen, dass eine "Vorwärts-Klick-Handlung" oder eine "Rückwärts-Klick-Handlung" ausgeführt wurde an die Informationsverarbeitungs-Vorrichtung 14 ausgegeben wurde, wird ermittelt, dass die aktuelle Position, auf die durch die informationseingebende Person 10 gezeigt wird, durch die informationseingebende Person 10 geklickt wird. Wenn die "Vorwärts-Klick-Handlung" ausgeführt wird, wird der erste Prozeß, der mit der aktuellen Position korrespondiert, auf die die informationseingebende Person 10 zeigt, ausgeführt. Wenn die "Rückwärts-Klick-Handlung" ausgeführt wird, wird der zweite Prozeß ausgeführt, der mit der aktuellen Position korrespondiert, auf die von der informationseingebenden Person 10 gezeigt wird (dieser Prozeß unterscheidet sich von dem ersten Prozeß). Des weiteren korrespon dieren der erste und der zweite Prozeß mit dem vorgegebenen Prozeß gemäß des fünften Aspekts der vorliegenden Erfindung (detailliert, der erste vorgegebene Prozeß und der zweite vorgegebene Prozeß gemäß des sechsten Aspekts der vorliegenden Erfindung), und z. B., einem Prozeß, der sich auf eine Position innerhalb eines virtuellen 3D-Raumes bezieht, auf die von der informationseingebenden Person gezeigt wird (ein Prozeß, der sich auf ein Objekt bezieht, das an der Position positioniert ist, auf die von der informationseingebenden Person 10 gezeigt wird) (eine Beschreibung eines Beispiels davon wird später beschrieben).
In dieser Weise korrespondieren die Schritte 178 bis 184 mit der Informationsverarbeitungs-Vorrichtung 14, die tatsächlich den ersten Prozeß und den zweiten Prozeß ausführt, und dem Ausführungsmittel gemäß des fünften Aspekts der vorliegenden Erfindung (detailliert, des sechsten Aspekts der vorliegenden Erfindung).
Wenn die Ermittlung in Schritt 174 bestätigend ist, fährt die Routine fort mit Schritt 186, wo ermittelt wird, ob sich der Abstand k, der im vorherigen Schritt 168 berechnet wurde, geändert hat. Des weiteren ist, ebenfalls in Schritt 186, die Ermittlung bedingungslos negativ, wenn der Abstand k in Schritt 168 zum ersten Mal berechnet wird, weil nicht ermittelt werden kann, ob sich der Abstand k verändert hat. Wenn die Ermittlung in Schritt 168 negativ ist, fährt die Routine mit Schritt 194 fort, obwohl die Hand der informationseingebenden Person 10 so geformt ist, daßß angewiesen wird, dass die Anzeigenvergrößerung eines dreidimensionalen Bildes im Hinblick auf die Tatsache verändert wird, dass nicht angewiesen wurde, bis zu welchem Grade die Anzeigenvergrößerung geändert werden muß.
Wenn die Ermittlung in Schritt 186 bestätigend ist, fährt die Routine mit Schritt 188 fort, wo das Ausmaß der Veränderung des Abstandes k berechnet wird, wobei das Ausmaß der Veränderung des Abstandes k in das Ausmaß der Veränderung der Anzeigenvergrößerung eines dreidimensionalen Bildes konvertiert wird. In Schritt 190 wird die Anzeigenvergrößerung eines dreidimensionalen Bildes, das auf der Anzeige 12 angezeigt wird, gemäß des Ausmaßes der Veränderung der Anzeigenvergrößerung verändert, der in Schritt 188 berechnet wird. Und die Informationsverarbeitungs-Vorrichtung 14 wird angewiesen, um ein dreidimensionales Bild wieder auf der Anzeige 12 anzuzeigen, so dass die aktuelle Position, auf die durch die informationseingebende Person 10 gezeigt wird (d. h., die Position, die mit den 3D-Koordinaten korrespondiert, die in Schritt 170 berechnet wurden) im wesentlichen im Zentrum des Anzeigenbildschirms der Anzeige 12 plaziert ist.
Dementsprechend, ist in einem Zustand, wie z. B. in 20A gezeigt, in welchem ein dreidimensionales Bild, das einen Teil des Universums repräsentiert, auf der Anzeige 12 angezeigt wird, und die informationseingebende Person 10 auf ein Spaceshuttle 54 in dem dreidimensionalen Bild zeigt, das Spaceshuttle 54, wie in 20B gezeigt, im Zentrum des Anzeigenbildschirmes der Anzeige 12 plaziert und ein dreidimensionales Bild wird wieder angezeigt, in einer Weise, dass ein vergrößertes dreidimensionales Bild gemäß des Ausmaßes der Veränderung der Anzeigenvergrößerung angezeigt wird, wenn eine vergrößerte Anzeige (Zoom-In) eines dreidimensionales Bildes durch die informationseingebende Person 10 angewiesen wird.
Des weiteren wird das Spaceshuttle 54 im Zentrum des Anzeigenbildschirmes der Anzeige 12 plaziert und ein dreidimensionales Bild wird wieder angezeigt in einer Weise, dass ein reduziertes dreidimensionales Bild gemäß dem Ausmaß der Veränderung der Anzeigenvergrößerung angezeigt wird, wenn, wie in 20C gezeigt, eine Anzeige eines dreidimensionalen Bildes durch die informationseingebende Person 10 angewiesen wird, in denselben Zustand reduziert ro werden, wie oben beschrieben.
In dieser Weise korrespondieren die Schritte 186 bis 190 mit der Informationsverarbeitungs-Vorrichtung 14, die die Anzeige des 3D-Bildes tatsächlich kontrolliert, und dem Anzeigenkontrollmittel gemäß des vierten Aspektes der vorliegenden Erfindung. Weil sich der virtuelle Abstand zwischen jeder der Positionen innerhalb eines virtuellen 3D-Raumes, auf die von der informationseingebenden Person 10 gezeigt wird, und der informationseingebenden Person 10 als Antwort auf die im Schritt 190 oben beschriebenen Änderung der Anzei genvergrößerung ändert, werden die Abstands-Konversionsbedingungen gemäß der Veränderung des virtuellen Abstandes korrigiert. In Schritt 192 wird als nächstes die Eingabeaufforderung 152 wieder angezeigt, gemäß des wieder angezeigten dreidimensionalen Bildes, und die Routine fährt mit Schritt 194 fort.
Wenn die informationseingebende Person 10, die in den Informationseingaberaum kommt, eine Zeige-Handlung auf einen beliebigen Teil innerhalb eines virtuellen 3D-Raumes ausführt, der durch ein dreidimensionales Bild repräsentiert wird, das auf der Anzeige 12 angezeigt wird, wird die Eingabeaufforderung 52 an einer Position angezeigt, die mit der Position auf dem Bildschirm der Anzeige 12 korrespondiert, auf die von der informationseingebenden Person 10 gezeigt wird. Wenn die informationseingebende Person 10 eine "Vorwärts-Klick-Handlung" oder eine "Rückwärts-Klick-Handlung" durchführt, kann ein gewünschter Prozeß ausgeführt werden (z. B. ein Prozeß der sich auf die Position bezieht, auf die von der informationseingebenden Person 10 gezeigt wird).
Wenn die Hand der informationseingebenden Person 10 in einer Form ist, in der alle Finger außer des Daumens ausgestreckt sind und der Arm der informationseingebenden Person 10 gebeugt oder ausgestreckt ist, so dass die Anzeigenvergrößerung des dreidimensionalen Bildes, das auf der Anzeige 12 angezeigt wird, eine gewünschte Vergrößerung hat, kann das dreidimensionale Bild die gewünschte Vergrößerung annehmen und kann wieder um die Position herum angezeigt werden, auf die von der informationseingebenden Person 10 gezeigt wird. Falls jedoch das Ausmaß der Anzeigenvergrößerung des dreidimensionalen Bildes selbst dann unzureichend ist, wenn der Arm der informationseingebenden Person im vollem Maße gebeugt oder ausgestreckt wurde, und falls die Form der Hand so verändert wird, dass der Daumen und alle Finger außer dem Zeigefinger zu einer Faust geschlossen sind und der Arm in seine ursprüngliche gebeugte oder ausgestreckte Position zurückgeführt wurde, kann die Vergrößerung der Anzeige durch das Wiederholen der Vergrößerungsanweisungshandlung sogar noch weiter vergrößert oder verkleinert werden.
Wenn die informationseingebende Person 10 den Informationseingaberaum verläßt, die Ermittlung in Schritt 194 bestätigend ist, wird die Ausführung des Referenzpunkt/charakteristischer-Punkt-Koordinatenberechnungsprozesses (7A bis 7C) in Schritt 196 beendet, und die Routine kehrt danach zurück in Schritt 150 und wartet solange, bis die informationseingebende Person 10 wieder in den Informationseingaberaum kommt. Wenn die informationseingebende Person 10 wieder in den Informationseingaberaum kommt, werden die Prozesse im und nach dem Schritt 152 wiederholt.
Im Controller 22 der Hand-Zeige-Eingabevorrichtung 20 kann die Position auf dem Anzeigenbildschirm der Anzeige 12, auf die von der informationseingebenden Person 10 gezeigt wird, und die Ausführung der Klick-Handlung in Echtzeit ermittelt werden, durch Bewirken des oben beschriebenen Zeige-Ermittlungsprozesses, wodurch der Zeige-Ermittlungsprozeß in verschiedenen Anwendungsformen verwendet werden kann, in Kombination mit dem Prozeß, der in der Informationsverarbeitungs-Vorrichtung 14 ausgeführt wird.
Z. B. ist auf der Anzeige 12 ein dreidimensionales Bild gezeigt, das aus der Höhe aufgenommen wurde und eine Anzahl von Schiffen zeigt, die aufgereiht sind.
In einem Zustand, in dem ein Benutzer (die informationseingebende Person 10) auf ein bestimmtes Schiff innerhalb eines durch ein dreidimensionales Bild repräsentierten virtuellen 3D-Raumes zeigt, werden Daten für das Schiff, auf das gezeigt wird, angezeigt, wenn eine spezifische Zeige-Handlung (z. B. eine Vorwärts-Klick-Handlung) ausgeführt wird, und wenn eine andere spezifische Zeige-Handlung (z. B. eine Rückwärts-Klick-Handlung) ausgeführt wird, wird das zuvor genannte Schiff und alle anderen Schiffe, die für das ausgewählte Schiff relevant sind, von den anderen Schiffen unterschieden und dadurch angezeigt. Wenn die Anzeige aufgrund der Anweisung des Benutzers vergrößert wird (Zeige-Handlung), wird das oben genannte Schiff vergrößert und ange zeigt, so dass es im Zentrum der Anzeige ist. Dementsprechend kann es als Schnittstelle zum Erhalt von Informationen aus einer Schiffsdatenbank verwendet werden. Es sollte bedacht werden, dass die vorliegende Erfindung anstelle von Schiffen auch auf Automobile, Flugzeuge, Fahrräder, elektrische Ausrüstung, Maschinenkomponenten oder ähnliches angewandt werden kann.
Des weiteren können auf der Basis von CAD-Daten, die in dem Prozeß des Entwerfens eines Gebäudes erzeugt wurden, 3D-Bilddaten erzeugt und auf der Anzeige 12 angezeigt werden, die mit einem Bild des Inneren des Gebäudes korrespondieren, während das Gebäude noch in dem Stahlrahmenzustand ist. Die Anzeige von den 3D-Bildern kann dann so verändert werden, dass es für den Benutzer aussieht, als ob er sich tatsächlich innerhalb des Gebäudes bewegt, als Antwort auf seine Anweisungen. Wenn dann der Entwickler (die informationseingebende Person 10) eine spezifische Anweisung durchführt (z. B. einen Vorwärts-Klick), während er auf einen spezifischen Punkt auf dem 3D-Bild zeigt, das auf dem virtuellen 3D-Raum angezeigt ist, kann die Position, auf die gezeigt wird, z. B. als der Startpunkt oder der Endpunkt eines Rohrleitungsplanes gespeichert werden. Falls eine andere spezifische Anweisung gegeben wird (z. B. ein Rückwärts-Klick), können verschiedene Arten von Rohrleitungsplänen zusammen dargestellt werden und der gewünschte Typ einer Rohrleitung kann aus diesen ausgewählt werden. Die ausgewählte Rohrleitung kann dann ausgelegt zwischen dem Startpunkt und dem Endpunkt des Rohrleitungsplanes, das 3D-Bild überlappend angezeigt werden. Dies würde erlauben, den Plan der Rohrleitung kubisch zu verifizieren. Die vorliegende Erfindung würde dadurch beim Entwerfen des Rohrleitungssystems und ähnlichem des Inneren eines Gebäudes oder anderer Konstruktionen assesieren, durch die Rolle als Entwurfsunterstützungssystem.
Als ein anderes Beispiel kann die Anzeige 12 in dem Fernkontrollraum eines Kranes installiert werden. Ein dreidimensionales Bild, das von Bildern erhalten wird, die auf der Baustelle von einer Vielzahl von Videokameras, die an dem Kran montiert sind, aufgenommen werden, wird auf der Anzeige 12 angezeigt. Wenn ein Arbeiter (eine informationseingebende Person 10) auf eine spezifische Position innerhalb eines virtuellen 3D-Raumes zeigt, der durch ein drei dimensionales Bild repräsentiert wird und eine spezifische Anweisung bereitstellt (z. B. einen Vorwärts-Klick), dann kann z. B. der Arm des Kranes rotiert und in Richtung einer spezifischen Position bewegt werden. Wenn eine andere spezifische Instruktion (z. B. ein Rückwärts-Klick) bereitgestellt wird, kann z. B. der Arm des Kranes vertikal in Richtung der spezifischen Position bewegt werden. Dementsprechend kann die vorliegende Erfindung für ein dreidimensionales Arbeitssystem verwendet werden, das einen Arbeiter in die Lage versetzt, ro arbeiten, ohne in große Höhen klettern zu müssen.
Als weiteres Beispiel kann das dreidimensionale Bild, das ein Motorfahrzeug repräsentiert, auf der Anzeige 12 angezeigt werden. Falls ein Benutzer (die informationseingebende Person 10) eine spezifische Anweisung gibt, z. B. ein Vorwärts-Klick) während er auf die Motorhaube zeigt, dann kann sich das 3D-Bild z. B. ändern, um die geöffnete Fahrzeugmotorhaube zu zeigen. Falls dann der Benutzer eine weitere spezifische Anweisung gibt (z. B. ein Vorwärts-Klick) während er auf die Maschine des Fahrzeuges zeigt, kann die Leistung der Maschine und ähnliches das 3D-Bild überlappend angezeigt werden. Falls eine andere spezifische Anweisung gegeben wird (z. B. ein Rückwärts-Klick) kann das möglicherweise als eine Anweisung verstanden werden, die vorhergehende Anweisung zu löschen und die Leistung der Maschine und ähnliches würde gelöscht. Deshalb könnte die vorliegende Erfindung ebenfalls als ein virtueller Autoaustellungsraum genutzt werden. Wenn eine spezifische Instruktion (z. B. ein Vorwärts-Klick) in einem Zustand bereitgestellt wird, in dem ein Benutzer (eine informationseingebende Person) auf eine Maschine des Fahrzeuges zeigt, wird die Leistung der Maschine oder ähnliches angezeigt, so dass das dreidimensionale Bild überlappt wird. Wenn eine andere spezifische Anweisung (z. B. ein Rückwärts-Klick) bereitgestellt wird, wird die Anweisung als zu löschend ermittelt und die Anzeige der Maschinenleistung oder ähnliches wird gelöscht und kann als ein virtueller Ausstellungsraum des Fahrzeuges verwendet werden. In diesem Falle könnte z. B. die Handlung zum Ändern der Anzeigenvergrößerung, die oben beschrieben wurde, verwendet werden, als eine Handlung zum Ändern der Orientierung des Fahrzeuges. Wenn z. B. der Benutzer eine Zoom-In- oder eine Zoom-Out-Handlung durchführt während er auf die Front des Fahrzeuges zeigt, dann könnte das gesamte Fahrzeug sich bewegend dargestellt werden, entweder in eine Uhrzeigerrichtung oder eine Gegenuhrzeigerrichtung.
Die Anzeige 12 die Hand-Zeige-Eingabevorrichtung 20 und die Informationsverarbeitungs-Vorrichtung 14 könnten z. B. ebenso als eine Spielemaschine betrieben werden, die 3D-Simulationsspiele in einem Amüsierzentrum durchführt.
In den obigen Beschreibungen wurde ein Beispiel erläutert, in dem zwei Videokameras 36A und 36B bereitgestellt werden. Die vorliegende Erfindung ist jedoch darauf nicht beschränkt, und es können mehr Videokameras verwendet werden, um Bilder jedes Informationseingaberaumes aufzunehmen und die Anweisungen der Informationseingebenden Personen zu ermitteln.
In den obigen Beschreibungen sind die Abstands-Konversionsbedingungen festgelegt durch das Berücksichtigen eines Abstandes k zwischen dem Referenzpunkt P₀ und dem charakteristischen Punkt P_x zu einem Zeitpunkt, wenn die informationseingebende Person 10 auf einen neutralen Punkt zeigt. Jedoch ist die vorliegende Erfindung nicht hierauf beschränkt. Die Abstands-Konversionsbedingungen können festgesetzt werden lediglich basierend auf einem maximalen Wert k_max und einem minimalen Wert k_min des Abstandes k. In diesem Fall können die Konversionscharakteristika der Abstands-Konversionsbedingungen linear gemacht werden (z. B. Konversionscharakteristika, in denen der Abstand L proportional zu dem Abstand k variiert). Speziell wenn ein virtueller 3D-Raum, der durch ein dreidimensionales Bild repräsentiert wird, ein Raum ist, dessen Tiefe sehr lang ist (z. B. falls ein dreidimensionales Bild, das einen Teil des Universums repräsentiert, auf dem Anzeigemittel oder ähnlichem angezeigt wird), werden die Konversionscharakteristika jedoch vorzugsweise nichtlinear gemacht (z. B. die Konversionscharakteristika, die den Abstand zwischen der zu erkennenden Person und der spezifischen Position proportional variieren zu der mit n (n > 2) exponierten Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt.
In der obigen Beschreibung wurde ein Beispiel eines Aspektes, in dem eine beliebige Position innerhalb eines virtuellen 3D-Raumes, der durch ein dreidimensionales Bild repräsentiert wird, die auf der Anzeige 12 angezeigt wird, erläutert. Jedoch ist das Objekt, auf das die informationseingebende Person 10 zeigt, nicht beschränkt auf einen virtuellen 3D-Raum. Die vorliegende Erfindung kann angewendet werden auf Fälle, in denen die informationseingebende Person 10 auf eine beliebige Position innerhalb eines tatsächlichen 3D-Raumes zeigt. Die Struktur in der die informationseingebende Person auf eine beliebige Position innerhalb eines tatsächlichen 3D-Raumes zeigt, kann in Fällen verwendet werden, in denen, z. B. in einem Theater oder ähnlichem, die Beleuchtungsrichtung eines Scheinwerfers oder die Richtung eines akustischen Strahles, der durch eine große Anzahl von Lautsprechern gebildet wird, die in einem Feld aufgereiht sind, in die Richtung orientiert sind, in die ein Bediener (informationseingebende Person) zeigt.
Wie oben gemäß dem ersten Aspekt der vorliegenden Erfindung beschrieben, extrahiert eine Hand-Zeige-Vorrichtung einen Bildteil, der mit der zu erkennenden Person korrespondiert, aus einer Vielzahl von Bildern, die erhalten werden durch Aufnehmen von Bildern aus einer Vielzahl von Richtungen des Zustandes, in dem die zu erkennende Person auf einer spezifischen Position innerhalb eines 3D-Raumes zeigt, ermittelt die 3D-Koordinaten eins charakteristischen Punktes, dessen Position durch die einen Arm beugende oder strekkende zu erkennende Person geändert werden kann, und einen Referenzpunkt, dessen Position sich nicht verändert, selbst wenn die zu erkennende Person ei nen Arm beugt oder streckt, und ermittelt dadurch die Richtung, in der die spezifische Position innerhalb des 3D-Raumes existiert, auf der Basis der Richtung von dem Referenzpunkt zu dem charakteristischen Punkt und ermittelt die Position der spezifischen Position innerhalb des 3D-Raumes entlang dessen Tiefenrichtung auf der Basis des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt, so dass die 3D-Koordinaten der spezifischen Position innerhalb des 3D-Raumes ermittelt werden können. Als Ergebnis kann ein herausragender Effekt bereitgestellt werden, in dem die 3D-Koordinaten des Teils, auf den von der informationseingebenden Person gezeigt wird, ermittelt werden können, selbst wenn die informationseingebenden Person auf eine beliebige Position innerhalb des 3D-Raumes zeigt.
Gemäß des dritten Aspekts der vorliegenden Erfindung wird eine Hand-Zeige-Vorrichtung gemäß des zweiten Aspekts der vorliegenden Erfindung bereitgestellt, worin die Konversionscharakteristika gemäß der individuellen Physis der zu erkennenden Person erhalten werden können, trotz der Variation der individuellen Physis der zu erkennenden Person, weil die Konversionscharakteristika der Konversionsbedingungen, die den Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt in den Abstand zwischen der ro erkennenden Person und dem spezifischen Punkt konvertieren, auf der Basis der Breite der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt eingestellt werden, wenn die zu erkennende Person die Armbeuge oder Streckungshandlung durchführt. Als Ergebnis kann ein herausragender Effekt erhalten werden, in dem der Ort der spezifischen Position in der Tiefenrichtung der spezifischen Position, auf die die zu erkennende Person zeigt, exakt ermittelt werden kann.
Gemäß des vierten Aspekts der vorliegenden Erfindung wird eine Hand-Zeige-Vorrichtung gemäß des ersten Aspekts der vorliegenden Erfindung bereitgestellt, worin es möglich ist, das dreidimensionale Bild, das auf dem Anzeigemittel angezeigt ist, zu kontrollieren, um es in einem vergrößerten/reduzierten Zustand anzuzeigen, in einem Zustand, in dem die Hand der zu erkennenden Person eine spezifische Form hat und wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt sich ändert. Zusätzlich zu den oben beschriebenen Effekten, kann ein herausragender Effekt erzielt werden, bei dem die Anzeigenvergrößerung des dreidimensionalen Bildes, das auf dem Anzeigenmittel angezeigt wird, zuverlässig verändert werden kann, wenn die Anzeigenvergrößerung eines dreidimensionalen Bildes durch die Anweisung der ro erkennenden Person verändert wird.
Gemäß des fünften Aspekts der vorliegenden Erfindung wird eine Hand-Zeige-Vorrichtung gemäß des ersten Aspekts der vorliegenden Erfindung bereitgestellt, weil ein vorgegebener Prozeß ausgeführt wird, wenn die detektierte Geschwindigkeit der Veränderung des Abstandes zwischen dem Referenzpunkt und dem charakteristischen Punkt größer oder gleich eines Schwellwertes ist. Zusätzlich zu den oben genannten Effekten, kann ein herausragender Effekt erzielt werden, indem die Handlung, in der die zu erkennenden Person eine vorgegebene Handlung anweist, zuverlässig detektiert werden kann.
Gemäß eines sechsten Aspektes der vorliegenden Erfindung, kann der erste vorgegebene Prozeß ausgeführt werden, wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt sich verkleinert mit einer Geschwindigkeit, die größer oder gleich dem Schwellenwert ist, und der zweite vorgegebene Prozeß, der sich von dem ersten vorgegebenen Prozeß unterscheidet, kann ausgeführt werden, wenn der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt sich vergrößert mit einer Geschwindigkeit, die größer oder gleich dem Schwellenwert ist. Zusätzlich zu den obengenannten Effekten kann als Ergebnis ein herausragender Effekt erzielt werden, indem die zu erkennende Person entweder den ersten vorgegebenen Prozeß oder den zweiten vorgegebenen Prozeß selektieren kann und der Prozeß, der von der zu erkennenden Person aus dem ersten vorgegebenen Prozeß und dem zweiten vorgegebenen Prozeß ausgewählt wird, zuverlässig ausgeführt werden kann.
Gemäß des siebten Aspekts der vorliegenden Erfindung wird eine Hand-Zeige-Vorrichtung gemäß des fünften Aspekts der vorliegenden Erfindung bereitgestellt, worin ein Schwellenwert eingestellt wird auf der Basis der Geschwindigkeit, mit der der Abstand zwischen dem Referenzpunkt und dem charakteristischen Punkt sich ändert, wenn die zu erkennende Person die Armbeuge- oder Streckungshandlung der zu erkennenden Person ausführt. Zusätzlich zu den obengenannten Effekten kann ein herausragender Effekt erzielt werden, indem ein Schwellenwert als Antwort auf die Physis, die muskuläre Stärke oder ähnliches der individuellen zu erkennenden Person ermittelt werden kann, wobei die Handlung, in der die zu erkennende Person anweist, dass ein vorgegebener Prozeß auszuführen ist, zuverlässig detektiert werden kann, so dass ein vorgegebener Prozeß trotz der Variation in der Physis, der muskulären Stärke oder ähnlichem jeder der zu erkennenden Personen ausgeführt werden kann.

Claims

Hand-Zeige-Vorrichtung, umfassend: Bildaufnahmemittel (36A, 36B) um ein Bild aufzunehmen, das eine zu erkennende Person (10) enthält; Berechnungsmittel (22), das auf der Basis der von den Bildaufnahmemitteln (36A, 36B) erhaltenen Bilder Bildteile extrahiert, die der zu erkennenden Person (10) entsprechen, wobei die Bildteile die zu erkennende Person (10) enthalten, die auf einen spezifischen, von der zu erkennenden Person zu zeigenden Punkt zeigt, der innerhalb eines 3D-Raums oder eines virtuellen 3D-Raums ist, und auf der Basis der extrahierten Bildteile eine Koordinate einer Position eines charakteristischen Punktes ermittelt, der mit der zu erkennenden Person (10) in Beziehung steht, und eine Koordinate einer Position eines Referenzpunktes ermittelt, der mit der zu erkennenden Person (10) in Beziehung steht, wobei sich die Position des Referenzpunktes nicht ändert, selbst wenn die zu erkennende Person (10) den Arm beugt oder streckt; und Ermittlungsmittel, dadurch charakterisiert, daß das Ermittlungsmittel die Position des charakteristischen Punktes ermittelt, der veränderlich ist, indem die zu erkennende Person (10) seinen oder ihren Arm beugt oder streckt, eine spezifische Punktrichtung auf der Basis einer Richtung von dem Referenzpunkt zu dem charakteristischen Punkt ermittelt, in welcher Richtung der spezifische Punkt existiert, und eine Position des spezifischen Punktes entlang der spezifischen Punktrichtung auf der Basis einer Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt ermittelt, wodurch das Ermittlungsmittel eine Koordinate des spezifischen Punktes innerhalb des 3D-Raums oder des virtuellen 3D-Raums ermittelt.
Hand-Zeige-Vorrichtung nach Anspruch 1, wobei das Ermittlungsmittel den Ort der spezifischen Position innerhalb des 3D-Raums in seiner Tiefen-Richtung durch Konvertieren der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt in die Distanz zwischen der zu erkennenden Person und der spezifischen Position entsprechend den vorgegebenen Konversionbedingungen ermittelt.
Hand-Zeige-Vorrichtung nach Anspruch 2, desweiteren umfassend: Konversionsbedingungseinstellmittel, das bei der zu erkennenden Person das Durchführen der Armbeuge- oder Armstreckungshandlung anfragt und im Voraus die Konversionsbedingungen einstellt, die auf der Basis des Ausmaßes des Änderung der Distanz zwischen der zu erkennenden Person und dem spezifischen Punkt die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt in die Distanz zwischen der zu erkennenden Person und der spezifischen Position konvertierten, wenn die zu erkennende Person die Armbeuge- oder Armstrekkungshandlung durchführt.
Hand-Zeige-Vorrichtung nach Anspruch 1, desweiteren enthaltend: Anzeigemittel, das ein dreidimensionales Bild anzeigt; Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; und Ermittlungsmittel, das ermittelt, ob die Hand der zu erkennenden Person eine spezifisch Form hat, wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektiv-Methode oder Zwei-Punkt-Perspektiv-Methode geformt ist, ein Bild enthält, das einen Flüssigkristal-Shutter oder eine Lentikular-Linse benutzt, und ein stereographisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und wobei die zu erkennende Person auf einen spezifischen Punkt zeigt, der innerhalb des virtuellen 3D-Raums ist, der repräsentiert wird von dem dreidimensionalen Bild, das auf dem Anzeigemittel angezeigt wird, und wobei in einem Zustand, in dem ermittelt wird, daß die Hand der, zu erkennenden Person eine spezifische Form hat, wenn sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, das Anzeigekontrollmittel das Anzeigemittel kontrolliert, so daß das dreidimensionale Bild, das auf dem Anzeigemittel angezeigt wird, vergrößert oder reduziert gemäß der Änderung der Distanz zwischen dem Referenzpunkt und dem charakterisitischen Punkt angezeigt wird.
Hand-Zeige-Vorrichtung nach Anspruch 1, desweiteren enthaltend: Verarbeitungsmittel, das die Geschwindigkeit detektiert, mit der sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, und einen vordefinierten Prozeß ausführt, wenn die detektierte Geschwindigkeit, mit der sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert, größer oder gleich einem Schwellenwert ist.
Hand-Zeige-Vorrichtung nach Anspruch 5, wobei das Verarbeitungsmittel einen ersten vordefinierten Prozeß ausführt, wenn sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Geschwindigkeit vergrößert, die größer oder gleich dem Schwellenwert ist, und einen zweiten vordefinierten Prozeß ausführt, der verschieden von dem ersten vordefinierten Prozeß ist, wenn sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt mit einer Geschwindigkeit verringert, die größer oder gleich dem Schwellenwert ist.
Hand-Zeige-Vorrichtung nach Anspruch 5, desweiteren umfassend: Schwellenwerteinstellmittel, das bei der zu erkennenden Person das Durchführen der Armbeuge- oder Armstreckungshandlung anfragt, um das Verarbeitungsmittel zu veranlassen, den vordefinierten Prozeß auszuführen, und dabei den Schwellenwert auf der Basis der Geschwindigkeit, mit der sich die Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt ändert im Voraus einstellt, wenn die zu erkennende Person die Armbeuge- oder Armstreckungshandlung durchführt.
Hand-Zeige-Vorrichtung nach Anspruch 7, wobei das Schwellenwerteinstellmittel als den Schwellenwert einen Wert einstellt, der kleiner ist, als der mittlere Wert der Geschwindigkeit, mit der sich die Distanz ändert, wenn die zu erkennende Person die Armbeuge- oder Armstreckungshandlung durchgeführt hat.
Hand-Zeige-Vorrichtung nach Anspruch 7, wobei das Schwellenwerteinstellmittel als den Schwellenwert den minimalen Wert der Geschwindigkeit einstellt, mit der sich die Distanz ändert, wenn die zu erkennende Person die Armbeuge- oder Armstreckungshandlung durchführt.
Hand-Zeige-Vorrichtung nach Anspruch 3, desweiteren enthaltend: Anzeigemittel, das ein dreidimensionales Bild anzeigt; Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; und Markierungsanzeigemittel, das eine Markierung anzeigt, die eine beliebige Form hat, die von der zu erkennenden Person einfach erkannt werden kann, wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert, und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektiv-Me thode oder Zwei-Punkt-Perspektiv-Methode geformt ist, ein Bild enthält, das einen Flüssigkristal-Shutter oder eine Lentikular-Linse benutzt, und ein stereographisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und wobei das Konversionsbedingungseinstellmittel die zu erkennende Person veranlaßt, auf eine einzelne Position zu zeigen, die durch die Markierung markiert ist, die an dem Zwischenabschnitt des 3D-Raums entlang der Tiefen-Richtung hiervon positioniert ist, und die Konversionsbedingungen auf der Basis der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt zu dieser Zeit einstellt.
Hand-Zeige-Vorrichtung nach Anspruch 3, desweiteren enthaltend: Anzeigemittel, das ein dreidimensionales Bild anzeigt; Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; und Markierungsanzeigemittel, das eine Markierung anzeigt, die eine beliebige Form hat, die von der zu erkennenden Person einfach erkannt werden kann, wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert, und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektiv-Methode oder Zwei-Punkt-Perspektiv-Methode geformt ist, ein Bild enthält, das einen Flüssigkristal-Shutter oder eine Lentikular-Linse benutzt, und ein stereographisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und wobei das Konversionsbedingungseinstellmittel die zu erkennende Person veranlaßt, auf eine Vielzahl von verschiedenen Positionen zu zeigen, die durch die Markierung entlang der Tiefen-Richtung des 3D-Raumes markiert sind, und die Konversionsbedingungen auf der Basis der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt einstellt.
Hand-Zeige-Vorrichtung nach Anspruch 3, wobei die Konversionsbedingungen Konversionscharakteristika sind, bei denen sich als Antwort auf die Änderung der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt zu dieser Zeit die Distanz zwischen der zu erkennenden Person und der spezifischen Position innerhalb des 3D-Raums, auf die von der zu erkennenden Person gezeigt wird, linear ändert.
Hand-Zeige-Vorrichtung nach Anspruch 3, wobei die Konversions-Bedingungen Konversionscharakteristika sind, bei denen sich als Antwort auf die Änderung der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt die Distanz zwischen der zu erkennenden Person und der spezifischen Position innerhalb des 3D-Raums, auf die von der zu erkennenden Person gezeigt wird, nicht-linear ändert.
Hand-Zeige-Vorrichtung nach Anspruch 4, wobei das Anzeigekontrollmittel das dreidimensionale Bild auf dem Anzeigemittel vergrößert oder reduziert anzeigt, indem die Anzeigenvergrößerung des dreidimensionalen Bildes, das auf dem Anzeigemittel angezeigt wird, als Antwort auf die Änderung der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt geändert wird.
Hand-Zeige-Vorrichtung nach Anspruch 3, umfassend: Anzeigemittel um ein dreidimensionales Bild anzuzeigen; Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert, und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektiv-Methode oder Zwei-Punkt-Perspektiv-Methode geformt ist, ein Bild enthält, das einen Flüssigkristal-Shutter oder eine Lentikular-Linse benutzt, und ein stereo graphisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und wobei das Konversionsbedingungseinstellmittel die Konversionsbedingungen gemäß der Variation der Anzeigevergrößerung des dreidimensionalen Bildes, das auf dem Anzeigemittel in einem vergrößerten oder reduzierten Zustand angezeigt wird, korrigiert.
Hand-Zeige-Vorrichtung nach Anspruch 3, umfassend: Anzeigemittel zum Anzeigen eines dreidimensionalen Bildes; Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert, und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektiv-Methode oder Zwei-Punkt-Perspektiv-Methode geformt ist, ein Bild enthält, das einen Flüssigkristal-Shutter oder eine Lentikular-Linse benutzt, und ein stereographisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und wobei die Anzeigevergrößerung des dreidimensionalen Bildes, das auf dem Anzeigemittel angezeigt wird, als Antwort auf die Änderung der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt linear variieren kann.
Hand-Zeige-Vorrichtung nach Anspruch 3, umfassend: Anzeigemittel zum Anzeigen eines dreidimensionalen Bildes; Anzeigekontrollmittel, das das dreidimensionale Bild auf dem Anzeigemittel anzeigt; wobei das dreidimensionale Bild ein Bild ist, das einen virtuellen 3D-Raum repräsentiert, und ein Bild enthält, das gemäß einer Ein-Punkt-Perspektiv-Methode oder Zwei-Punkt-Perspektiv-Methode geformt ist, ein Bild enthält, das einen Flüssigkristal-Shutter oder eine Lentikular-Linse benutzt, und ein stereo graphisches Bild enthält, das durch Anwenden einer Holographie-Technologie angezeigt wird, und die Anzeigevergrößerung des dreidimensionalen Bildes, das auf dem Anzeigemittel angezeigt wird, als Antwort auf die Änderung der Distanz zwischen dem Referenzpunkt und dem charakteristischen Punkt nicht-linear variieren kann.
Hand-Zeige-Vorrichtung nach Anspruch 7, wobei das Schwellenwerteinstellmittel den Schwellenwert jedesmal neu einstellt, wenn eine zu erkennende Person durch eine andere zu erkennende Person ersetzt wird.