-
BEREICH DER ERFINDUNG
-
Die
vorliegende Erfindung bezieht sich auf eine Videoüberlagerungsvorrichtung
und ein Verfahren zur Überlagerung
eines Videobildes der realen Welt durch ein Videobild und Information,
erzeugt von einem Computer (CG: Computergrafik) und genauer auf
CG Bilddisplaysteuerung für
einen realen Raum, auf den ein Benutzer achten soll.
-
HINTERGRUND DER ERFINDUNG
-
Techniken
zur Unterstützung
verschiedener Handlungen unter Verwendung eines Videobildes, bei
denen ein Videobild der realen Welt durch ein CG Bild überlagert
wird, werden als erweiterte Realität (Augmented Reality) (AR)
oder gemischte Realität (Mixed
Reality) (MR) Techniken studiert. Zum Beispiel sind sie bei medizinischer
Unterstützung
durch Sichtbarmachen des Inneren eine Patientenkörpers, bei Arbeitshilfe durch
Overlayanzeige eines Produktansammlungsvorgangs in einer Fabrik
und ferner als Führung
durch Anzeigen von Ortsnamen und Landmarken auf einer realen Landschaft
bekannt.
-
Bei
der CG Überlagerung
wird ein realer Raumbereich durch ein CG Bild verborgen. Das ist kein
Problem, wenn der Benutzer nicht an dem bedeckten Bereich interessiert
ist. Herkömmlicherweise könnte auch
ein realer Raum den der Benutzer beachtet vom CG Bild verborgen
sein, da Überlagerung durch
ein CG Bild genau nach vorbestimmten Einstellungen vorgenommen wird,
ohne in Betracht zu ziehen, ob der zu verbergende Bereich von Interesse ist.
-
G.
Reitmayr und D. Schmalstieg zeigen in "Mobile Collaborative Augmented Reality" In Proc. IEEE Virtual
Reality 2001, Seiten 114–123
eine Studie passender CG Bilddisplay position in einem mobilen AR
System aus Analyse oder CG Bilddisplayposition (Kopf-stabilisiert:
Information wird in einer festen Position in Übereinstimmung mit dem Blickpunkt
eines Benutzers angezeigt; Körper-stabilisiert:
Information wird in einer festen Position in Übereinstimmung mit dem Körper des
Benutzers angezeigt; und Welt-stabilisiert: Eine Informationsanzeigeposition wird
in Übereinstimmung
mit einer Position in der realen Welt gesteuert). Ferner offenbart
die veröffentlichte
nicht geprüfte
japanische Patentschrift Nr. 2000-276610 (
JP-A-2000-276610 ), die
sich auf Werkzeuganzeige oder dergleichen bezieht, ein System zum
Anzeigen eines benutzerfreundlichen Werkzeugcharakters. Aber in
beiden Systemen werden bezüglich
der CG Bilddisplayposition Annahmen verwendet und es gibt keine Überlegung
für den
Fall, in dem ein als Ziel genommener realer Raumbereich von einem
CG Bild verborgen ist.
-
Eine
Technik, um ein bestimmtes reales Objekt (z.B. die Hand des Benutzers)
als immer sichtbares Objekt anzuzeigen (Maskenverarbeitungstechnik)
wird unter Verwendung einer Farbtonschlüsseltechnik oder dergleichen
verwirklicht. Aber die Wirklichkeit ändert sich in jeder Sekunde
und der Benutzer schaut nicht immer auf dasselbe wirkliche Objekt.
-
Ausgehend
von dieser Situation wird, im allgemeinen, in einem Fall, in dem
ein realer Raumbereich, der vom Benutzer betrachtet werden soll,
von einem CG Bild verborgen ist (1) der Benutzer ein HMD
entfernen oder wenn möglich
(2) werden CG Bild und Videobild (Bilder der realen Welt)
wahlweise angzeigt oder darüber
hinaus wird, wenn möglich,
(3) ein virtuelles Objekt (das hinderliche CG Bild) angewählt und
an eine andere Position bewegt. Bei (2) kann, weil das
ganze CG Bild auf einmal angezeigt/nicht angezeigt wird, kein Teil
des CG Bild wahlweise angezeigt werden. Bei (3) ist der
Vorgang "Auswahl
und Bewegung" des
virtuellen Objekts mit Schwierigkeiten verbunden.
-
US 2001/005218 A1 offenbart,
dass in einem System der Überlagerung
eines Bildes des realen Raums durch ein virtuel les Objekt die Bestimmung für jedes
Pixel, ob mit der Überlagerung
eine Farbkorrektur basierend auf einer Luminanzfarbkombination des
darunter liegenden Pixels erforderlich ist.
-
Ein
Artikel von Valinetti A. et al. ("Model tracking for video-based virtual
reality, IEEE 26. Sept 2001, Seiten 372–377) lehrt die Überlagerung
eines Bildes des realen Raums durch ein virtuelles Objekt, die Berechnung
einer Position und die Orientierung einer Kamera um den realen Raum
zu fühlen,
um die Qualität
der Überlagerung
zu erhöhen.
-
Die
internationale Patentanmeldung
WO 02/15110A ) offenbart ein Verfahren zum
Anzeigen eines virtuellen Schaukastens einschliesslich der Korrektur
einer Verzerrung wegen Brechung oder Projektion eines Lichts.
-
Die
europäische
Patentanmeldung
EP-A-0772350 offenbart
in einem System, das ein Überlagerungsbild,
erzeugt aus einem Vordergrund- und einem Hintergundbild anzeigt,
das Speichern eines Grossteils des Hintergrundbildes, verbunden
mit einer individuellen Adresse, um die Renderinggeschwindigkeit
zu erhöhen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Die
vorliegende Erfindung wurde gemacht in Anbetracht der Probleme der
herkömmlichen
Techniken und betrifft hauptsächlich
die Verwirklichung einer Videoüberlagerungsvorrichtung
zum Überlagern eines
von einem Benutzer betrachteten Bildes durch ein computererzeugtes
Bild, bei dem CG Bildanzeige nicht in einem realen Raumbereich erfolgt,
den der Benutzer mit einfachen Einstellungen betrachtet.
-
Gemäss den Aspekten
der vorliegenden Erfindung wird ein Videoüberlagerungsverfahren wie in Anspruch
1 und eine Videoüberlagerungsvorrichtung wie
in Anspruch 8 zur Verfügung
gestellt.
-
Weitere
Eigenschaften und Vorteile der vorliegenden Erfindung werden ersichtlich
aus der nachstehenden Beschreibung in Verbindung mit den Begleitzeichnungen,
in denen gleiche Bezugszeichen durchweg dieselben Namen oder gleiche
Teile bezeichnen.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die
Begleitzeichnungen, die in der Spezifikation enthalten sind und
einen Teil davon bilden, stellen Ausführungsbeispiele der Erfindung
dar und dienen zusammen mit der Beschreibung dazu, die Grundlagen
der Erfindung zu erklären.
-
1A und 1B sind
erklärende
Ansichten, die die Konzeption der vorliegenden Erfindung zeigen,
einen CG Eliminationsbereich unter Verwendung eines Rahmens zu bestimmen;
-
2A bis 2D sind
Beispiele eines CG Eliminationsrahmens;
-
3 ist
ein Blockdiagramm, das ein Beispiel des Aufbaus einer Video-Überlagerungsvorrichtung
gemäss
eines ersten Ausführungsbeispiels
der vorliegenden Erfindung zeigt.
-
4 ist
ein Flussdiagramm, das ein Vorgehen der Video-Überlagerungsvorrichtung
gemäss des
ersten Ausführungsbeispiels
zeigt;
-
5A und 5B sind
erklärende
Ansichten eines Tasters, der in der Video-Überlagerungsvorrichtung gemäss eines
zweiten Ausführungsbeispiels
der vorliegenden Erfindung verwendet wird;
-
6 ist
ein Blockdiagramm, das ein Beispiel des Aufbaus der Video-Überlagerungsvorrichtung
gemäss
des zweiten Ausführungsbeispiels zeigt;
-
7 ist
ein Flussdiagramm, das das Vorgehen der Video-Überlagerungsvorrichtung
gemäss des
zweiten Ausführungsbeispiels
zeigt;
-
8 ist
eine erklärende
Ansicht, die ein Verfahren des Bestimmens eines CG Eliminationsbereichs
in der Videoüberlagerungsvorrichtung
gemäss eines
dritten Ausführungsbeispiels
der vorliegenden Erfindung zeigt;
-
9A und 9B sind
erklärende
Ansichten des Verfahrens zum Bestimmen des CG Eliminationsbereichs
durch die Hand (Hände)
des Benutzers in der Video-Überlagerungsvorrichtung
gemäss
des dritten Ausführungsbeispiels;
-
10 ist
ein Blockdiagramm, das ein Beispiel des Aufbaus der Video-Überlagerungsvorrichtung
gemäss
des dritten Ausführungsbeispiels
zeigt;
-
11 ist
ein Flussdiagramm, das das Vorgehen der Video-Überlagerungsvorrichtung gemäss des dritten
Ausführungsbeispiels
zeigt;
-
12 ist
ein Flussdiagramm, das das Vorgehen des Extrahierens des CG Eliminationsbereichs
gemäss
des dritten Ausführungsbeispiels zeigt;
und
-
13 ist
ein Flussdiagramm, das das Vorgehen des Extrahierens des CG Eliminationsbereichs
gemäss
des dritten Ausführungsbeispiels zeigt.
-
DETAILLIERTE BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
-
Bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung werden nun unter Bezug auf die Begleitzeichnungen
im Detail beschrieben.
-
(Erstes Ausführungsbeispiel)
-
Ein
Beispiel einer Video-Überlagerungsvorrichtung
gemäss
eines ersten Ausführungsbeispiels der
vorliegenden Erfindung ist ein MR System zur Hilfsanzeige von Positionsinformation und
Namen in Übereinstimmung
mit einer Landschaft, gesehen von einem Benutzer mit Displaygerät.
-
Im
vorliegenden Ausführungsbeispiel
wird ein Videosucher HMD mit der Fähigkeit zu Positions-und Orientierungsmessung
als Displaygerät
verwendet. Da heisst, das HMD beinhaltet einen Positions- und Orientierungssensor
und eine Kamera und ein Videobild von der ungefähren Ansichtspunktposition
des Benutzers aus kann basierend auf Positions-und Orientierungsinformation
(genauer Position und Orientierung der Kamera) des Kopfes des Benutzers
erzielt werden.
-
Ferner
wird im vorliegenden Ausführungsbeispiel,
um dem Benutzer die Bestimmung eines Bereichs zu ermöglichen,
auf dem er keine CG Bildüberlagerung
(ein CG Eliminationsbereich) wünscht, eine
Benutzerschnittstelle (im Weiteren als CG Eliminationsrahmen bezeichnet)
mit mit dem CG Eliminationsbereich verbundenen Markern verwendet.
Der CG Eliminationsbereich wird aus dem Videobild aus der Blickpunktposition
des Benutzers extrahiert, indem ein im CG Eliminationsrahmen vorhandener Marker
extrahiert wird.
-
2A bis 2D zeigen
Beispiele des CG Eliminationsrahmens (Verbindung zwischen Markern und
CG Eliminationsbereich). Hier wird aus Vereinfachungsgründen der
CG Eliminationsrahmen unter dem Zwang verwendet, dass er parallel
dazu in einer im HDM vorhandenen Bildfühlebene der Kamera (Bildfühleinheit)
verwendet wird. Kleine Kreise deuten die Marker an und ein schraffierter
Teil den CG Eliminationsbereich. Der schraffierte Teil kann vohanden
sein oder nicht. Ist er vorhanden, sollte er aus transparentem oder
halbtransparentem Material bestehen oder es ist eine Eingabeeinrichtung
zur Eingabe eines Bildes der realen Welt entsprechend dem schraffierten
Teil erforderlich. Der CG Eliminationsrahmen hat einen Handgriff 21,
den der Benutzer hält und
einen Rahmen 22. Wenn der Benutzer ein überlagerndes Bild, wie in 1A gezeigt,
betrachtet und er das überlagernde
Bild mit Einblendung "Kirche" eliminieren will,
nimmt er den Rahmen in seinem Ansichtsfeld und bewegt ihn an eine
gewünschte
Position (in einem Bereich, wo das CG Bild nicht angezeigt wird),
während
er das von der Kamera erzielte reale Raumbild betrachtet.
-
Wie
nachstehend beschrieben, wird, da der mit dem Rahmen bestimmte Bereich
durch die im Rahmen enthaltenen Marker und im MR System dieses Ausführungsbeispiels
erzielt wird, der Bereich nicht durch das CG Bild überlagert
und das vom CG Bild verdeckte Bild der realen Welt kann vom Benutzer
gesehen werden. In einem nachstehend beschriebenen zweiten Ausführungsbeispiel
ist das Display ein genauso aufgebauter optischer Sucher mit dem
Unterschied, dass die reale Welt direkt durch das Display betrachtet
wird.
-
In 2A ist
in jeder der vier Ecken eines rechwinkligen Rahmens ein Satz von
drei Markern vorhanden. Der CG Eliminationsbereich kann nur berechnet
werden, wenn jeder der vier Markersätze extrahiert wird. In 2B umgeben
Marker einen kreisförmigen
Rahmen. Da ein Kreis durch drei Punkte definiert werden kann, wenn
beliebige drei Marker extrahiert werden, kann sein interner Bereich
als ein CG Eliminationsbereich berechnet werden. 2C zeigt eine
Variante, bei der drei der Marker in 2B verwendet
werden. Diese Anordnung zeigt Wirkung, wenn wie in 2 gezeigt,
zum CG Eliminationsrahmen gehörende
Marker das Erscheinen des Rahmens schwierig machen. In 2D wird
ein Bereich (hier ein Kreis) vor einem richtungsweisenden Marker als
ein CG Eliminationsbereich definiert. Diese Anordnung zeigt Wirkung,
wenn ein Marker nicht im Grenzbereich zwischen einem CG Bildzeichnungsteil und
einem CG Eliminationsbereich platziert werden soll.
-
Die
Farbe des Rahmens kann unter Berücksichtigung
dessen beliebig bestimmt werden, dass im Allgemeinen eine fluoreszierende
Farbe oder dergleichen, die bei realen Objekten nicht auftritt,
als Erfassungshilfe für
den Marker verwendet wird und für
den Rahmen vorzugsweise eine Farbe mit Kontrast zum Marker verwendet
wird. Die Grösse
des Rahmens (die Grösse
des CG Eliminationsbereichs) wird beliebig bestimmt, aber wenn der
Rahmen zu gross ist, ist der CG Eliminationsbereich zu gross und
der meiste Teil des im Ansichtsfeld enthaltenen CG Bildes kann nicht
angezeigt werden; ist der Rahmen zu klein, wird die Positionssteuerung
des Rahmens schwierig. Dementsprechend wird eine beliebige Rahmengrösse von
durchschnittlicher Handlänge
eingesetzt (unter Berücksichtigung
eines variablen Bereichs, da der Prozentsatz des Rahmens im Bild
sich in Übereinstimmung
mit der Entfernung von der Kamera zum Rahmen ändert).
-
3 ist
ein Blockdiagramm, das ein Beispiel des Aufbaus der Video-Überlagerungsvorrichtung
gemäss
eines ersten Ausführungsbeispiels
der vorliegenden Erfindung zeigt.
-
In
diesem Ausführungsbeispiel
ist eine Bildfühleinheit 1 eine
im HMD enthaltene Kamera. Die Bildfühleinheit 1 erzielt
Videobilder des vom rechten und linken Auge des Benutzers betrachteten
realen Raums und gibt diese Videobilder als Videosignale an eine
Videoeingabeeinheit 2. Zu beachten ist, dass zum Vereinfachen
der Erklärung
die Verarbeitung für das
Bild des rechten Auges und das Bild des linken Auges nicht getrennt
erklärt
wird. Es ist selbstverständlich,
dass für
das Erzeugen eine Überlagerungsbildes
für das
rechte Auge und eines Überlagerungsbildes
für das
linke Auge, die auf dem HMD angezeigt werden sollen, Verarbeitung
für das
rechte Auge und für
das linke Auge durchgeführt
wird.
-
Die
Videoeingabeeinheit 2 wandelt das von der Bildfühleinheit 1 eingegebene
Videosignal in ein zur Verarbeitung in einer Videoüberlagerungseinheit 6 und
einer CG CG Eliminationsbereichextraktionseinheit 3 geeignetes
Signalformat und gibt das Signal zur Videoüberlagerungseinheit 6 und
zur CG Eliminationsbereichextraktionseinheit 3 aus.
-
Die
CG Eliminationsbereichextraktionseinheit 3 extrahiert die
im CG Eliminationsrahmen vorhandenen Marker aus den von der Videoeingabeeinheit 2 eingegebenen
Videobildern und extrahiert einen CG Eliminationsbereich. Der Bereich
auf dem Videobild ist der CG Eliminationsbereich. Dann gibt die CG Eliminationsbereichextraktionseinheit 3 den
extrahierten CG Eliminationsbereich zur Videoüberlagerungseinheit 6.
-
Eine
Bildfühlpositions-
und Orientierungsmesseinheit 4 im HMD in diesem Ausführungsbeispiel überträgt Positions-
und Orientierungsinformation der Bildfühleinheit 1 zu einer
CG Erzeugungseinheit 5 in Übereinstimmung mit oder ohne
einer Anforderung von dieser. Als Bildfühlpositions- und Orientierungsmesseinheit 4 können ein
geomagnetischer Sensor, ein gyroskopischer oder optischer Sensor oder
dergleichen verwendet werden.
-
Die
CG Erzeugungseinheit 5 erzielt Positions- und Orientierungsinformation
der Bildfühleinheit 1 aus
der Bildfühlpositions-
und Orientierungsmesseinheit 4 und schätzt die Position und Bildfühlrichtung der
Bildfühleinheit 1.
Da wenn die Position und Bildfühlrichtung
der Bildfühleinheit 1 geschätzt werden, das
Ansichtsfeld aus einem Linsenparameter der Bildfühleinheit 1 erzielt
werden kann, liest die CG Erzeugungseinheit 5 im Ansichtsfeld
der Bildfühleinheit 1 enthaltene
Daten aus einer Dateneinheit 7, erzeugt ein CG Bild, das
das durch die Bildfühleinheit 1 erzielte
Videobild überlagert
und gibt das CG Bild zur Videoüberlagerungseinheit 6 aus.
-
Die
Videoüberlagerungseinheit 6 liest
das Videobild aus der Videoeingabeeinheit 2, das CG Bild aus
der CG Erzeugungseinheit 5 und den CG Eliminationsbereich
aus der CG Eliminationsbereichextraktionseinheit 3. Dann überlagert
die Videoüberlagerungseinheit 6 das
CG Bild aus der CG Erzeugungseinheit 5 mit dem Videobild
aus der Videoeingabeeinheit 2. Nun wird das CG Bild nicht
in einen Teil gezeichnet, der sich mit dem von der CG Eliminationsbereichextraktionseinheit 3 erzielten
CG Eliminationsbereich überschneidet.
So wird ein überlagertes
Videobild erzeugt, in dem nur das CG Bild aus dem CG Eliminationsbereich
eliminiert ist.
-
Wenn
die Form (Design) des CG Eliminationsrahmens ein Vergrösserungsglass
oder dergleichen ist, ist der CG Elimina tionsrahmen, dessen Aussehen
seiner Funktion entspricht als Benutzerschnittstelle vorzuziehen.
Ferner kann die Anordnung so erfolgen, dass an Stelle des CG Bildzeichnens
im CG Eliminationsbereich ein CG Bild mit hoher Transparenz (durch
Steuern eines α Komponentwertes,
der Transparenz anzeigt) gezeichnet wird oder ein CG Bild in Übereinstimmung
mit der Art des CG Eliminationsrahmen geblinkt wird. Das von der
Videoüberlagerungseinheit 6 erzeugte
CG Bild wird zur Displayeinheit 8 (HMD in vorliegenden
Beispiel) übertragen.
-
Die
Dateneinheit 7 von z.B. einer Festplatte enthält Daten,
die zur CG Erzeugungseinheit 5 geliefert werden sollen.
Als in der Dateneinheit 7 gespeicherte Daten sind Textinformation,
Panoramavideobilder, dreidimensionale CG Daten und dergleichen gespeichert.
In Übereinstimmung
mit einer Anforderung der CG Erzeugungseinheit 5 überträgt die Dateneinheit 7 geeignete
Daten zur CG Erzeugungseinheit 5. Wird zum Beispiel von
der CG Erzeugungseinheit 5 eine Anforderung für dreidimensionale
CG Daten, die im Ansichtsfeld der Bildfühleinheit 1 angezeigt
werden sollen empfangen, sendet die Dateneinheit 7 dreidimensionale,
im Ansichtsfeld der Bildfühleinheit 1 enthaltene
CG Daten zur CG Erzeugungseinheit 5. Zu beachten ist, dass
die Dateneinheit 7 nicht auf eine Festplatte beschränkt ist,
sondern dass jedes Speichermedium wie ein Band oder ein Speichergerät verwendet
werden kann, solange es in der Lage ist, Daten zu speichern.
-
Die
Displayeinheit 8, die im vorliegenden Beispiel ein HMD
ist, zeigt das von der Videoüberlagerungseinheit 6 übertragene überlagernde
Videobildsignal an. Zu beachten ist, dass beim MR System des vorliegenden
Ausführungsbeispiels,
wie im Fall des herkömmlich
bekannten MR Systems das HDM eine Bilddisplayeinheit für das rechte
Auge und und eine Bilddisplayeinheit für das linke Auge hat. Die Videoüberlagerungseinheit 6 erzeugt
ein Displaybild für
das rechte Auge und eine Displaybild für das linke Auge, liefert diese
zum HDM und so kann der Benutzer das dreidimensionale CG Bilddisplay
erfahren.
-
Als
Nächstes
wird unter Bezug auf das Flussdiagramm der 4 die Vorgangsweise
des MR Systems als Beispiel für
eine Video-Überlagerungsvorrichtung
gemäss
des vorliegenden Ausführungsbeispiels
mit dem vorstehenden Aufbau beschrieben. Zu beachten ist, dass in
der nachstehenden Beschreibung die Dateneinheit 7 die notwendigen
Daten bereits enthält.
-
Bei
Schritt S1 wird das System gestartet.
-
Bei
Schritt S2 wird von der Bildfühleinheit 1 ein
Videobild erzielt. Dieses Videobild wird von der Videoeingabeeinheit 2 in
ein geeignetes Format gewandelt und zur Videoüberlagerungseinheit 6 und
zur CG Eliminationsbereichextraktionseinheit 3 gesendet.
-
Bei
Schritt S3 werden aus dem der CG Eliminationsbereichextraktionseinheit 3 eingegebenen
Videobild die Marker extrahiert und es wird ein CG Eliminationsbereich
berechnet. Dann wird der erzielte CG Eliminationsbereich zur Videoüberlagerungseinheit 6 gesendet.
-
Bei
Schritt S4 misst die Bildfühlpositions-
und Orientierungsmesseinheit 4 die Position und Orientierung
der Bildfühleinheit 1.
Die gemessene Positions- und Orientierungsinformation wird zur CG
Erzeugungseinheit 5 gesendet.
-
Bei
Schritt S5 schätzt
die CG Erzeugungseinheit 5 das Ansichtsfeld der Bildfühleinheit 1 aufgrund
der Positions- und
Orientierungsinformation, übertragen
aus der Bildfühlpositions-
und Orientierungsmesseinheit 4 und erzielt aus der Dateneinheit 7 Daten,
die in einem Bereich innerhalb des Ansichtsfeldes der Bildfühleinheit 1 enthalten
sind.
-
Bei
Schritt S6 erzeugt die CG Erzeugungseinheit 5 unter Verwendung
der von der Dateneinheit 7 erzielten Daten ein CG Bild
und sendet das erzeugte Videobild zur Videoüberlagerungseinheit 6.
-
Bei
Schritt S7 überlagert
die Videoüberlagerungseinheit 6 das
von der Videoeingabeeinheit 2 übertragene Videobild mit dem
von der CG Erzeugungseinheit 5 übertragenen CG Bild. Nun wird
das CG Bild nicht mit dem Teil des CG Eliminationsbereichs aus der
CG Eliminationsbereichextraktionseinheit 3 überlagert.
So wird ein überlagertes
Videobild erzeugt, bei dem das CG Bild aus dem CG Eliminationsbereich
eliminiert ist. Das überlagerte
Videobild wird zur Displayeinheit 8 gesendet.
-
Bei
Schritt S8 wird die von der Videoüberlagerungseinheit 6 übertragene
Videobildinformation auf der Displayeinheit 8 angezeigt.
-
Dann
wird bei Schritt S9 geprüft,
ob das System zu Ende ist. Wenn JA, wird das System bei Schritt
S10 beendet, sonst kehrt der Ablauf zu Schritt S2 zurück, um die
vorstehend beschriebene Verarbeitung zu wiederholen.
-
Wie
vorstehend beschrieben, kann gemäss des
ersten Ausführungsbeispiels,
in einem MR System zur Anzeige, wenn ein Benutzer das HMD trägt und z.B.
eine Landschaft, Positionsinformation und Namen betrachtet in Übereinstimmung
mit der Landschaft, auch wenn ein Objekt von Interessse von einem
CG verborgen wird, dieses Objekt durch Halten des CG Eliminationsrahmens
in einer entsprechenden Position betrachtet werden.
-
(Zweites Ausführungsbeispiel)
-
Ein
Beispiel der Video-Überlagerungsvorrichtung
gemäss
eines zweiten Ausführungsbeispiels der
vorliegenden Erfindung ist ein medizinisches Hilfssystem, um einem
Arzt ein Bild darzustellen, als wäre das Innere eines Patientenkörpers visualisiert. In
diesem System wird ein optischer HMD Sucher als Display verwendet,
da die Anzeigeauflösung
eines Videosuchers HMD begrenzt ist.
-
Ferner
wird als Benutzerschnittstelle zum Bestimmen des CG Eliminationsbereichs
ein Taster als Positions- und Orien tierungsinformationseingabegerät verwendet. 5A und 5B zeigen
ein Beispiel des Tasters. Zu beachten ist, dass in der nachstehenden
Beschreibung angenommen wird, dass eine Blickpunktsposition und
Orientierung des Benutzers festgelegt ist. Eine relative Beziehung
zwischen Blickpunktposition und Orientierung des Benutzers und des
Tasters wird als praktisch angesehen. Ein Taster 51 hat
z.B. die Form eines Stiftes und beinhaltet einen Positions- und
Orientierungssensor. Eine Tasterendposition wird geschätzt aus
einer Entfernung d zwischen der vom Positions- und Orientierungssensor
erfassten Position und einem entfernten Ende des Tasters und ein
vom Ende des Tasters bestimmter Bereich wird aus der Tasterendposition
und einer erfassten Neigung Θ des
Tasters erzielt. Im vorliegenden Ausführungsbeispiel wird ein Bereich,
der einem virtuellen Kreis 52 in Kontakt mit dem Tasterende
entspricht als CG Eliminationsbereich definiert. Ein eliptischer
Bereich, erzielt aus dem virtuellen Kreis 52 in Übereinstimmung
mit der Neigung Θ des Tasters,
ist ein CG Eliminationsbereich. Zu beachten ist, dass wenn die Neigung
des Tasters (Orientierungsinformation) nicht erzielt werden kann,
der virtuelle Kreis 52 verwendet werden kann. Die Positions- und
Orientierungsinformation des Tasters und Information über einen
AN-AUS Schalter (nicht gezeigt) können von aussen über eine
mit dem Taster oder einem Kommunikator verbundene Leitung erzielt
werden.
-
Beim
vorliegenden Ausführungsbeispiel
wird das Positions- und Orientierungseingabegerät als Benutzerschnittstelle
verwendet weil:
- (1) beim optischen HMD Sucher,
in dem anders als beim Video HMD Sucher im Allgemeinen keine Kamera
enthalten ist, zur Bestimmung des CG Eliminationsbereichs durch
Bildverarbeitung (wie im ersten Ausführungsbeispiel) eine Kamera
erforderlich ist,
- (2) es in einem Operationsunterstützungssystem, um es einem Arzt
zu ermöglichen,
immer den Zustand in der Umgebung des verletzten Teils des Patienten
und ebenso die positionelle Beziehung zwischen dem verletzen Teil
und medizinischer Ausstattung und dergleichen zu sehen, es von Bedeutung
ist, diese positionellen Beziehungen mit einem Sensor oder dergleichen
zu messen und die Information dem Arzt in Echtzeit darzustellen.
So wird angenommen, dass eine Umgebung für die Durchführung von
Positions- und Orientierungsmessung mit einem gewissen Grad an Genauigkeit
vorliegt und
- (3) weil in einem Fall, in dem eine Operation mit einem Operationsunterstützungssystem,
auch wenn die Umgebung eines verletzten Teils mit Hilfe des CG Bild
angezeigt wird
der Fall, dass der Arzt ein CG Bild eines Teils
in der Nähe
seiner/ihrer Hände
anzeigen will und
der Fall, dass der Arzt eine solche CG Bildanzeige nicht
will
vorstellbar sind.
-
In
Anbetracht dieser Fälle
kann der AN-AUS Knopf des Tasters beim AN-AUS der CG Eliminationsbereichsdefinition
liegen.
-
Wenn
eine medizinischen Ausrüstung
mit einem Positionsund Orientierungssensor ausgestattet ist, kann
das CG Bilddisplayverfahren ganz einfach durch Wählen eines "medizinischen Instruments mit Sensor" oder eines "medizinischen Instruments
ohne Sensor" gewählt werden.
-
6 ist
ein Blockdiagramm, das ein Beispiel des Aufbaus des MR Systems gemäss des zweiten
Ausführungsbeispiels
zeigt.
-
Eine
im HMD als Display 18, das später beschrieben wird, enthaltene
Kopfpositions- und Orientierungsmesseinheit 14 überträgt Kopfpositions-
und Orientierungsinformation eines Benutzers zur CG Eliminationsbereichextraktionseinheit 13 und
zur CG Erzeugungseinheit 15 in Obereinstimmung mit oder ohne
eine Anforderung aus der CG Eliminationsbereichextraktionseinheit 13 und
der CG Erzeugungseinheit 15. Als Kopfpositions- und Orientierungsmesseinheit 14 können ein
geomagnetischer Sensor, eine gyroskopischer oder optischer Sensor
oder dergleichen verwendet werden.
-
Eine
Tasterzustandserfassungseinheit 19 erzielt Tasterinformation
(Position, Orientierung, Knopf AN-AUS Zustand und dergleichen) eines
Tasters 20 und überträgt in Übereinstimmung
mit oder ohne Anforderung der CG Eliminationsbereichextraktionseinheit 13 die
Information zu dieser.
-
Die
CG Eliminationsbereichextraktionseinheit 13 berechnet einen
CG Eliminationsbereich aus den von der Kopfpositions- und Orientierungsmesseinheit 14 eingegebenen
Positionsund Orientierungsdaten und der von der Tasterzustandserfassungseinheit 19 eingegebenen
Tasterinformation. Wie vorstehend beschrieben, kann im vorliegenden Ausführungsbeispiel
eine Endposition des Tasters auf einer Bildebene und die Orientierung
des Tasters zur Bildebene berechnet werden aus Position und Orientierung
des Kopfes und Position und Orientierung des Tasters. Ein elliptischer
Bereich (Elliptik wird bestimmt aus der Information über die
Orientierung des Tasters zur Bildebene) ausgehend vom Ende des Tasters
auf der Bildebene wird als CG Eliminationsbereich definiert. Die
CG Eliminationsbereichextraktionseinheit 13 gibt den extrahierten
CG Eliminationsbereich an eine Videoüberlagerungseinheit 16 aus.
-
Die
CG Erzeugungseinheit 15 gibt die Kopfpositions- und Orientierungsinformatin
der Kopfpositions- und Orientierungsmesseinheit 14 ein
und schätzt
Position und Richtung des Kopfes. Da das Ansichtsfeld des Benutzers
erzielt werden kann, wenn Position und Orientierung geschätzt werden, gibt
die CG Erzeugungseinheit 15 Daten aus einer Dateneinheit 17 ein,
die einem Teil im Ansichtsfeld des Benutzers entsprechen, erzeugt
ein CG Bild, das sich mit dem Ansichtsfeld des Benutzers überschneidet
und gibt es zur Videoüberlagerungseinheit 16 aus.
-
Die
Videoüberlagerungseinheit 16 liest
das CG Bild aus der CG Erzeugungseinheit 15 und den CG
Eliminationsbereich aus der CG Eliminationsbereichextraktionseinheit 13.
Dann verarbeitet die Videoüberlagerungseinheit 16 das
CG Bild basierend auf den CG Eliminationsbereichsdaten der CG Elimi nationsbereichextraktionseinheit 13 und überträgt das CG
Bild zur Displayeinheit 18.
-
Die
Dateneinheit 17 von z.B. einer Festplatte enthält Daten,
die zur CG Erzeugungseinheit 15 geliefert werden sollen.
Als in der Dateneinheit 17 gespeicherte Daten sind Textinformation,
Panoramavideobilder, dreidimensionale CG Daten und dergleichen gespeichert.
In Übereinstimmung
mit einer Anforderung der CG Erzeugungseinheit 15 überträgt die Dateneinheit 17 geeignete
Daten zur CG Erzeugungseinheit 15. Wird zum Beispiel von
der CG Erzeugungseinheit 15 eine Anforderung für dreidimensionale
CG Daten, die im Ansichtsfeld des Benutzers angezeigt werden sollen
empfangen, sendet die Dateneinheit 17 dreidimensionale,
im Ansichtsfeld des Benutzers enthaltene CG Daten zur CG Erzeugungseinheit 15.
Zu beachten ist, dass die Dateneinheit 17 nicht auf eine
Festplatte beschränkt
ist, sondern dass jedes Speichermedium wie ein Band oder ein Speichergerät verwendet
werden kann, solange es in der Lage ist, Daten zu speichern.
-
Das
Display 18 ist hier ein optischer HMD Sucher. Das Display 18 zeigt
das von der Videoüberlagerungseinheit 16 übertragene
Videobildsignal, so dass das Videobild die reale Welt, gesehen durch
einen Halbspiegel, überlappt
durch z.B. Projizieren des Videosignalbildes auf den Halbspiegel.
-
Als
Nächstes
wird unter Bezug auf das Flussdiagramm der 7 die Vorgangsweise
des MR Systems als Beispiel für
eine Video-Überlagerungsvorrichtung
gemäss
des zweiten Ausführungsbeispiels
mit dem vorstehenden Aufbau beschrieben. Zu beachten ist, das in
der nachstehenden Beschreibung die Dateneinheit 17 die
notwendigen Daten bereits enthält.
-
Bei
Schritt S11 wird das System gestartet.
-
Bei
Schritt S12 erfasst die Tasterzustandserfassungseinheit 19 den
Zustand des Tasters. Die erfasste Information wird zur CG Eliminationsbereichextraktionseinheit 13 gesendet.
-
Bei
Schritt S13 misst die Kopfpositions- und Orientierungsmesseinheit 14 Position
und Orientierung des Benutzers. Die gemessene Positions- und Orientierungsinformation
wird zur CG Eliminationsbereichextraktionseinheit 13 und
zur CG Erzeugungseinheit 15 gesendet.
-
Bei
Schritt S14 berechnet die CG Eliminationsbereichextraktionseinheit 13 einen
CG Eliminationsbereich basierend auf von der Tasterzustandserfassungseinheit 19 eingegebenen
Tasterpositions- und Orientierungsinformation und auf von der Kopfpositions-
und Orientierungsmesseinheit 14 eingegebenen Kopfpositions-
und Orientierungsinformation. Der CG Eliminationsbereich wird zur
Videoüberlagerungseinheit 16 gesendet.
-
Bei
Schritt S15 schätzt
die CG Erzeugungseinheit 15 das Ansichtsfeld des Benutzer
aus von der Kopfpositions- und Orientierungsmesseinheit 14 übertragenen
Kopfpositions- und Orientierungsinformation und erzielt aus der
Dateneinheit 17 Daten, die innerhalb des Ansichtsfeldes
des Benutzers liegen.
-
Bei
Schritt S16 erzeugt die CG Erzeugungseinheit 15 unter Verwendung
der aus der Dateneinheit 17 erzielten Daten ein CG Bild
und sendet das erzeugte Videobild zur Videoüberlagerungseinheit 16.
-
Bei
Schritt S17 verarbeitet die Videoüberlagerungseinheit 16 das
von der CG Erzeugungseinheit 15 übertragene CG Bild basierend
auf den CG Eliminationsbereichdaten der CG Eliminationsbereichextraktionseinheit 13 (das
CG Bild wird nicht in einen Teil des von der CG Eliminationsbereichextraktionseinheit 13 übertragenen
CG Eliminationsbereichs gezeichnet). Das Videobild wird zur Displayeinheit 18 gesendet.
-
Bei
Schritt S18 wird die von der Videoüberlagerungseinheit 16 übertragene
Videobildinformation auf dem Display 18 als einem optischen
HMD Sucher angezeigt, womit der Benutzer das überlagernde CG Bild im realen
Raum erkennt.
-
Dann
wird bei Schritt S19 geprüft,
ob das System zu Ende ist. Wenn JA wird das System beendet, sonst
kehrt der Ablauf zu Schritt S12 zurück, um die vorstehend beschriebene
Verarbeitung zu wiederholen.
-
Wie
vorstehend beschrieben, kann gemäss des
zweiten Ausführungsbeispiels,
wenn eine Operation unter Verwendung eines Operationshilfssystems durchgeführt wird,
sehr leicht CG Bildanzeige sehr nahe an den Händen oder nicht so nahe an
den Händen
gewählt
werden.
-
(Drittes Ausführungsbeispiel)
-
In
der Video-Überlagerungsvorrichtung
gemäss
des ersten Ausführungsbeispiels
wird der in 2A bis 2D gezeigte
Rahmen zur Bestimmung des CG Eliminationsbereichs verwendet. Die Eigenheit
der vorliegenden Erfindung ist es, dass ein CG Eliminationsbereich
nicht mit dem Rahmen, sondern mit den Händen des Benutzers in der Video-Überlagerungsvorrichtung
des ersten Ausführungsbeispiels
bestimmt werden kann. Genauer wird ein Bereich, umgeben von den
Händen
des Benutzers (schraffierter Bereich) wie in den 9A und 9B gezeigt,
als CG Eliminationsbereich erkannt. Das heisst, der Benutzer bildet
mit seinen/ihren Händen
eine Augenöffnung
und bestimmt damit einen gewünschten
Bereich als CG Eliminationsbereich. 9A zeigt
ein Beispiel des Bestimmens eines CG Eliminationsbereichs mit beiden
Händen
und 9B ein Beispiel des Bestimmens des CG Eliminationsbereichs
mit einer Hand. So kann der CG Eliminationsbereich mit Händen bestimmt
werden und der Rahmen ist nicht notwendig. Ferner kann die Bestimmung
des CG Eliminationsbereichs durch eine natürliche Handlung des Benutzers
erfolgen.
-
Betrachtet
der Benutzer ein überlagertes
Bild wie in 1 und will er ein Bild
löschen,
das z.B. auf der Einblendung "Kirche" liegt, bildet er
eine Augenöffnung
an der gewünschten
Position (Bereich, an dem das CG Bild nicht angezeigt werden soll)
(siehe 8)
-
Die
Video-Überlagerungsvorrichtung
des vorliegenden Ausführungsbeispiels
hat einen solchen Aufbau, um den Bereich der Hände des Benutzers aus einem
Videobild aus dem Ansichtsfeld des Benutzers so zu extrahieren,
dass die Hand (Hände) immer
sichtbar ist (sind) und zum Durchführen von Maskenverarbeitung
des Nichtzeichnens eines CG Bildes in diesem Bereich (Visualisieren
eines Objekts, das aus Benutzersicht durch das CG Bild verdeckt
wird). Dieser Aufbau zum Durchführen
von Maskenverarbeitung wird verwirklicht z.B. unter Verwendung einer
Farbtonschlüsseltechnik,
vorgeschlagen in der nichtgeprüften
japanischen Patentschrift Nr. 2002-95535 .
-
Da
im Allgemeinen die Maskenverarbeitung der Hand einen Vorgang der
Extrahierung des Bereichs der Hand (Hände) des Benutzers beinhalten, kann
der interne Bereich der Hand (Hände)
aus einem Videobild vom Ansichtsfeld des Benutzers leicht extrahiert
werden.
-
Das
heisst, die Video-Überlagerungsvorrichtung
des vorliegenden Ausführungsbeispiels
kann verwirklicht werden durch blosse zusätzliche Verarbeitung des Extrahierens
des internen Bereichs der Hand (Hände) (schraffierter Bereich
in 9A und 9B) im
Videobild vom Ansichtsfeld des Benutzers in das MR System, das zu
Handmaskenverarbeitung in der Lage ist.
-
Wie
nachstehend beschrieben, wird der Bereich der Hand (Hände) des
Benutzers aus dem Videobild von der Ansichtsfeldposition des Benutzers extrahiert
und ferner wird der handinterne Bereich (Augenöffnungsbereich) extrahiert,
wodurch ein bestimmter Bereich erzielt wird.
-
Das
Extrahieren des Handbereichs des Benutzers im Videobild vom Ansichtsfeld
des Benutzers und die Beschränkung
des Zeichnens im handinternen Bereich lösen das Problem, dass die in
der Sicht des Benutzers positionierte Hand (Hände) vom CG Bild verborgen
wird und ermöglichen
klare Visualisierung eines vorbestimmten Bereichs im realen Raum, ohne
Behinderung durch ein CG Bild. So wird im vorliegenden Ausführungsbeispiel
die Verarbeitung durch Behandeln des Handbereichs und des handinternen
Bereichs als CG Eliminationsbereich vereinfacht.
-
Die
Anordnung kann so erfolgen, dass der Handbereich getrennt vom CG
Eliminationsbereich (handinterner Bereich) behandelt wird. In diesem
Fall wird ein fleischfarbiger Teil als ein Handbereich extrahiert
und sein interner Bereich wird als CG Eliminationsbereich erfasst.
Nun kann es zum Zweck der leichten Extrahierung des Handbereichs
eingerichtet werden, dass der Benutzer einen blauen Handschuh trägt, dann
wird ein blauer Bereich als ein Handbereich extrahiert und ein fleischfarbiges
CG Bild wird vom Handbereich überlagert
und im CG Eliminationsbereich wird kein CG Bild angezeigt.
-
10 ist
ein Blockdiagramm, das den Aufbau eines MR Systems als Beispiel
für die
Video-Überlagerungsvorrichtung
gemäss
des dritten Ausführungsbeispiels
zeigt. In 10 haben Bestandteile, die denen
in 3 entsprechen dieselben Bezugszahlen und ihre
Beschreibung unterbleibt.
-
Die
CG Eliminationsbereichextraktionseinheit 3' extrahiert einen Handbereich und
einen vom Handbereich umgebenen Bereich (handinterner Bereich) aus
einem von der Videoeingabeeinheit 2 eingegebenen Videobild
und wenn nötig
aus Daten über Handbereichsextraktion
von der Dateneinheit 7 (zum Beispiel Daten, die die vorstehend
beschriebene besondere Farbe definieren). Die CG Eliminationsbereichextraktionseinheit 3' extrahiert
mindestens den handinternen Bereich als CG Eliminationsbereich und
gibt den extrahierten CG Eliminationsbereich zur Videoüberlagerungseinheit 6 aus.
-
Die
Bildfühlpositions-
und Orientierungsmesseinheit 4 ist im HMD enthalten. Mit
oder ohne Anforderung durch die CG Erzeugungseinheit 5 überträgt die Bildfühlpositions-
und Orientierungsmesseinheit 4 die Positions- und Orientierungsinformation
der Bildfühleinheit 1 zur
CG Erzeugungseinheit 5. Als Bildfühlpositions- und Orientierungsmesseinheit 4 können ein
geomagnetischer Sensor, ein gyroskopischer oder optischer Sensor
oder dergleichen verwendet werden.
-
Die
CG Erzeugungseinheit 5 erzielt Position und Orientierungsinformation
der Bildfühleinheit 1 aus
der Bildfühlpositions-
und Orientierungsmesseinheit 4 und schätzt die Position und Bildfühlrichtung der
Bildfühleinheit 1.
Da wenn die Position und Bildfühlrichtung
der Bildfühleinheit 1 geschätzt werden, das
Ansichtsfeld aus einem Linsenparameter der Bildfühleinheit 1 erzielt
werden kann, liest die CG Erzeugungseinheit 5 im Ansichtsfeld
der Bildfühleinheit 1 enthaltene
Daten aus einer Dateneinheit 7, erzeugt ein CG Bild, das
das durch die Bildfühleinheit 1 erzielte
Videobild überlagert
und gibt das CG Bild zur Videoüberlagerungseinheit 6 aus.
-
Die
Videoüberlagerungseinheit 6 liest
das Videobild aus der Videoeingabeeinheit 2, das CG Bild aus
der CG Erzeugungseinheit 5 und den CG Eliminationsbereich
aus der CG Eliminationsbereichextraktionseinheit 3. Dann überlagert
die Videoüberlagerungseinheit 6 das
CG Bild aus der CG Erzeugungseinheit 5 mit dem Videobild
aus der Videoeingabeeinheit 2. Nun wird das CG Bild nicht
in einen Teil gezeichnet, der sich mit dem von der CG Eliminationsbereichextraktionseinheit 3 erzielten
CG Eliminationsbereich überschneidet.
So wird ein überlagertes
Videobild erzeugt, in dem nur das CG Bild aus dem CG Eliminationsbereich
eliminiert ist.
-
Ferner
kann die Anordnung so erfolgen, dass an Stelle der Beschränkung durch
das CG Bildzeichnen im CG Eliminationsbereich ein CG Bild mit hoher Transparenz
(durch Steuern eines α Komponentwertes,
der Transparenz anzeigt) gezeichnet wird oder ein CG Bild in Übereinstimmung
mit der Art des CG Eliminationsrahmens blitz-gezeichnet wird. Das
von der Videoüberlagerungseinheit 6 erzeugte
CG Bild wird zur Displayeinheit 8 (HMD in vorliegenden
Beispiel) übertragen.
-
Die
Dateneinheit 7 von z.B. einer Festplatte enthält Daten,
die zur CG Erzeugungseinheit 5 und zur CG Eliminationsbereichextraktionseinheit 3' geliefert werden
sollen. Als in der Dateneinheit 7 gespeicherte Daten sind
Textinformation, Panoramavideobilder, dreidimensionale CG Daten,
ferner Daten die zum Extrahieren eines bestimmten Bereichs nötig sind,
wie eines Handbereichs oder eines handinternen Bereichs (Daten,
die eine bestimmte Farbe oder dergleichen definieren) und dergleichen
gespeichert.
-
In Übereinstimmung
mit einer Anforderung der CG Erzeugungseinheit 5 überträgt die Dateneinheit 7 geeignete
Daten zur CG Erzeugungseinheit 5. Wird zum Beispiel von
der CG Erzeugungseinheit 5 eine Anforderung für dreidimensionale
CG Daten, die im Ansichtsfeld der Bildfühleinheit 1 überlagert
werden sollen empfangen, sendet die Dateneinheit 7 dreidimensionale,
im Ansichtsfeld der Bildfühleinheit 1 enthaltene
CG Daten zur CG Erzeugungseinheit 5.
-
In Übereinstimmung
mit einer Anforderung der CG Eliminationsbereichextraktionseinheit 3' überträgt die Dateneinheit 7 geeignete
Daten zur CG Eliminationsbereichextraktionseinheit 3'.
-
Die
Displayeinheit 8, die im vorliegenden Beispiel ein HMD
ist, zeigt das von der Videoüberlagerungseinheit 6 übertragene überlagerte
Videobildsignal an. Zu beachten ist, dass beim MR System des vorliegenden
Ausführungsbeispiels,
wie im Fall des herkömmlich
bekannten MR Systems das HMD eine Bilddisplayeinheit für das rechte
Auge und und eine Bilddisplayeinheit für das linke Auge hat. Die Videoüberlagerungseinheit 6 erzeugt
ein Displaybild für
das rechte Auge und eine Displaybild für das linke Auge, liefert diese
zum HMD und so kann der Benutzer das dreidimansionale CG Bilddisplay
erfahren.
-
Als
Nächstes
wird unter Bezug auf das Flussdiagramm der 11 die
Vorgangsweise des MR Systems als Beispiel für eine Video-Überlagerungsvorrichtung
gemäss
des dritten Ausführungsbeispiels
mit dem vorstehenden Aufbau beschrieben. Wie aus dem Vergleich zwischen
den Flussdiagrammen der 11 und 4 ersichtlich,
ist das Vorgehen der Video-Überlagerungsvorrichtung
des vorliegenden Ausführungsbeispiels
dasselbe, wie das im ersten Ausführungsbeispiel
mit dem Unterschied, dass die Reihenfolge der Schritte beim Aufnehmen der
Bildfühlpositions-
und Orientierungsinformation und der Schritt der Extraktion des
CG Eliminationsbereichs vertauscht ist und dass der Inhalt der CG Eliminationsbereichsextraktionsverarbeitung
verschieden ist. Zu beachten ist, dass in der nachstehenden Beschreibung
die Dateneinheit 7 notwendige Daten bereits enthält.
-
Bei
Schritt S1 wird das System gestartet.
-
Bei
Schritt S2 wird von der Bildfühleinheit 1 ein
Videobild erzielt. Dieses Videobild wird von der Videoeingabeeinheit 2 in
ein geeignetes Format gewandelt und zur Videoüberlagerungseinheit 6 und
zur CG Eliminationsbereichextraktionseinheit 3 gesendet.
-
Bei
Schritt S3' misst
die Bildfühlpositions- und
Orientierungsmesseinheit 4 die Position und Orientierung
der Bildfühleinheit 1.
Die gemessene Positions- und Orientierungsinformation wird zur CG
Erzeugungseinheit 5 gesendet.
-
Bei
Schritt S4' wird
aus dem der CG Eliminationsbereichextraktionseinheit 3' eingegebenen
Videobild ein CG Eliminationsbereich berechnet.
-
Als
Nächstes
werden die Details des Schrittes S4', der ein für das vorliegende Ausführungsbeispiel
charakteristischer Schritt ist, unter Bezug auf das Flussdiagramm
der 12 beschrieben.
-
Zuerst
wird ein Beispiel eines Falles beschrieben, in dem ein Handbereich
unter Verwendung von Bildverarbeitung zum Extrahieren einer besonderen
Farbe extrahiert wird.
-
Bei
Schritt S4a-1 liest die CG Eliminationsbereichextraktionseinheit 3' wenn nötig, Daten über einen
Handbereich aus der Dateneinheit 7. Als Daten über einen
Handbereich wird Information über Fleischfarbe
der Hand oder dergleichen verwendet. Im Allgemeinen werden die Daten über einen
Handbereich auf einmal gelesen, aber in einem Fall, bei dem die Position
einer sich in Echtzeit ändernden Lichtquelle
gemessen wird und die Fleischfarbendaten in Übereinstimmung mit der sich ändernden
Lichtquellenposition erforderlich sind, ist der Schritt notwendig.
-
Bei
Schritt S4a-2 wird ein Handbereich aus dem in die CG Eliminationsbereichextraktionseinheit 3' eingegebenen
Videobild aus den Daten über
den Handbereich extrahiert.
-
Bei
Schritt S4a-3 wird ein handinterner Bereich auf dem Videobild extrahiert.
-
Bei
Schritt S4a-4 werden der Handbereich und der interne Bereich des
Handbereichs auf dem Videobild als ein CG Eliminationsbereich extrahiert.
-
Die
Anordnung kann so erfolgen, dass Schritt S4 durchgeführt wird
unter Verwendung jedes anderen als des vorstehenden Handbereichextraktionsverfahrens
bei der Handmaskenverarbeitung.
-
Der
berechnete CG Eliminationsbereich wird zur Videoüberlagerungseinheit 6 gesendet.
-
Bei
Schritt S5 schätzt
die CG Erzeugungseinheit 5 das Ansichtsfeld der Bildfühleinheit 1 aufgrund
der Positionsund Orientierungsinformation, übertragen aus der Bildfühlpositions-
und Orientierungsmesseinheit 4 und erzielt aus der Dateneinheit 7 Daten,
die in einem Bereich innerhalb des Ansichtsfeldes der Bildfühleinheit 1 enthalten
sind.
-
Bei
Schritt S6 erzeugt die CG Erzeugungseinheit 5 unter Verwendung
der von der Dateneinheit 7 erzielten Daten ein CG Bild
und sendet das erzeugte Videobild zur Videoüberlagerungseinheit 6.
-
Bei
Schritt S7 überlagert
die Videoüberlagerungseinheit 6 das
von der Videoeingabeeinheit 2 übertragene Videobild mit dem
von der CG Erzeugungseinheit 5 übertragenen CG Bild. Nun wird
das CG Bild nicht mit dem Teil des CG Eliminationsbe reichs aus der
CG Eliminationsbereichextraktionseinheit 3 überlagert.
So wird ein überlagertes
Videobild erzeugt, bei dem das CG Bild aus dem CG Eliminationsbereich
eliminiert ist. Das überlagerte
Videobild wird zur Displayeinheit 8 gesendet.
-
Bei
Schritt S8 wird die von der Videoüberlagerungseinheit 6 übertragene
Videobildinformation auf der Displayeinheit 8 angezeigt.
-
Dann
wird bei Schritt S9 geprüft,
ob das System zu Ende ist. Wenn JA, wird das System bei Schritt
S10 beendet, sonst kehrt der Ablauf zu Schritt S2 zurück, um die
vorstehend beschriebene Verarbeitung zu wiederholen.
-
Wie
vorstehend beschrieben, kann gemäss des
dritten Ausführungsbeispiels,
in einem MR System zur Anzeige, wenn ein Benutzer das HMD trägt und z.B.
eine Landschaft, Positionsinformation und Namen betrachtet in Übereinstimmung
mit der Landschaft, auch wenn ein Objekt von Interessse von einem
CG Bild verborgen wird, dieses Objekt durch Bilden einer Augenöffnung mit
der Hand (den Händen) des
Benutzers in einer entsprechenden Position betrachtet werden.
-
(Viertes Ausführungsbeispiel)
-
Im
vorstehend beschriebenen ersten und zweiten Ausführungsbeispiel wird das HMD
als Displayeinheit verwendet, aber die vorliegende Erfindung ist
anwendbar auf ein Head Up Display (HUD) optisches Sucher AR System
wie offenbart in der
japanischen
ungeprüften
Patentanmeldung Nr. 10-061711 , in der ein überlagertes
Bild in Übereinstimmung
mit einem Displaygerät
und einer Ansichtspunktposition erzeugt wird.
-
(Weiteres Ausführungsbeispiel)
-
Im
zweiten Ausführungsbeispiel
wird das optische Sucher HMD verwendet, aber das zweite Ausführungsbeispiel
ist auch anwendbar mit einem Videosucher HMD wie im ersten Ausführungsbeispiel
beschrieben.
-
Im
dritten Ausführungsbeispiel
wird ein CG Eliminationsbereich unter Verwendung von Maskenverarbeitung
ohne jedes Mittel wie einen Rahmen bestimmt, aber Maskenverarbeitung
kann auch bei der Bestimmung des CG Eliminationsbereichs unter Verwendung
eines Rahmens benutzt werden, wie in 2A bis 2D gezeigt.
Dann hat ein Rahmen mit der in 2A bis 2D gezeigten
Form eine besondere Farbe und ein CG Eliminationsbereich wird definiert
als "interner Bereich
der besonderen Farbe",
womit gleich CG Extraktionsverarbeitung wie im dritten Ausführungsbeispiel
durchgeführt
werden kann.
-
In
diesem Fall ist der Rahmen nicht notwendigerweise mit Markern ausgestattet.
Ferner ist die besondere Farbe nicht auf fleischfarben festgelegt, sondern
kann blau, rot oder jede Farbe sein, aber vorzugsweise eine Farbe,
die nicht in einer Hintergrundfarbe enthalten ist.
-
Im
dritten Ausführungsbeispiel
wird ein Handbereich unter Verwendung von Maskenverarbeitung extrahiert,
aber der Handbereich kann durch andere Verarbeitung als Maskenverarbeitung
extrahiert werden. Zum Beispiel kann die Anordnung so sein, dass
der Benutzer einen Handschuh mit mehreren Positionssensoren trägt und der
Handbereich aus der Ausgabe der Sensoren extrahiert wird.
-
Nun
wird die Verarbeitung beim CG Eliminationsbereichsextraktionschritt
S4' zum Extrahieren
eines Handbereichs durch das vorstehende Verfahren unter Bezug auf
das Flussdiagramm der 13 beschrieben.
-
Bei
Schritt S4b-1 wird die Position der Hand gemessen.
-
Bei
Schritt S4b-2 wird ein Handbereich auf einem Videobild aus der Blickpunktpositon
des Benutzers aus der gemessenen Handpositionsinformation und der
Blickpunktpositionsinformation des Benutzers berechnet.
-
Bei
Schritt S4b-3 wird ein interner Bereich des Handbereichs auf dem
Videobild aus der Blickpunktposition des Benutzers extrahiert.
-
Bei
Schritt S4b-4 wird ein CG Eliminationsbereich aus dem Handbereich
und dem internen Bereich des Handbereichs auf dem Videobild aus
der Blickpunktposition des Benutzers berechnet.
-
Danach
wird die Verarbeitung wie bei Schritt S5 und den nachfolgenden Schritten
durchgeführt.
-
Zu
beachten ist, dass zusätzlich
zu den vorstehend beschriebenen Ausführungsbeispielen die vorliegende
Erfindung den Fall enthält,
bei dem ein Softwareprogramm zum Verwirklichen der Funktionen der
vorstehend beschriebenen Ausführungsbeispiele
direkt aus einem Aufzeichnungsmedium oder über Kabel/Radiokommunikation
an ein System oder eine Vorrichtung geleitet wird, die einen Rechner
mit der Fähigkeit
beinhalten, das Programm auszuführen und
wobei der Rechner des Systems oder der Vorrichtung das zugeleitete
Programm ausführt
und damit äquivalente
Funktionen erzielt.
-
Entsprechend
verwirklicht zur Verwirklichung der funktionellen Verarbeitung der
vorliegenden Erfindung der dem Rechner zugeleitete und dort installierte
Programmkode selbst die vorliegende Erfindung. Das heisst, das Rechnerprogramm
selbst, das die funktionelle Verarbeitung der vorliegenden Erfindung
verwirklichen soll, ist in dieser enthalten.
-
In
diesem Fall kann das Programm in jeder Form, wie einem Objektkode,
einem interpreterausführbarem
Programm und einem Betriebssystem zugeleiteten Scriptdaten solange
verwendet werden, als es Programmfunktion hat.
-
Ferner
kann das Speichermedium, eine flexible Platte, eine Festplatte,
ein magnetisches Aufzeichnungsmedium wie Magnetband, ein optisch/magnetisch-optisches
Speichermedium wie MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-R und DVD-RW,
ein nichtflüchtiger
Halbleiterspeicher und dergleichen dazu verwendet werden, den Programmkode
zur Verfügung
zu stellen.
-
Als
Verfahren zum Zuleiten des Programms durch Kabel/Radiokommunikation
wird eine Datendatei (Programmdatendatei) eines Rechnerprogramms
selbst oder eine komprimierte Datei mit automatischer Installationsfunktion,
die ein Rechnerprogramm sein kann, das die vorliegende Erfindung auf
einem Clientcomputer bildet wird auf einem Server in einem Rechnernetzwerk
gespeichert und die Programmdatendatei auf einen damit verbundenen Clientcomputer
heruntergeladen. Dabei kann die Programmdatendatei in mehrere Segmentdateien geteilt
sein, die auf verschiedenen Servern gespeichert sind.
-
Das
heisst, die Servervorrichtung zum Herunterladen der Programmdatendatei
zum Verwirklichen der funktionellen Verarbeitung der vorliegenden Erfindung
für mehrere
Benutzer ist in der vorliegenden Erfindung enthalten.
-
Das
Programm der vorliegenden Erfindung kann so verschlüsselt und
gespeichert auf einem Speichermedium, wie einer an Benutzer gelieferten CD-ROM
sein, dass ein Benutzer der eine vorbestimmten Bedingung erfüllt, die
Schlüsselinformation zur
Entschlüsselung
aus einer Homepage über
z.B. das Internet herunterladen darf, dann ist das Programm mit
der Schlüsselinformation
entschlüsselt und
auf einem Rechner installiert und somit die Erfindung verwirklicht.
-
Ferner
unfasst die vorliegende Erfindung neben den vorstehend beschriebenen
Funktionen der vorstehenden Ausführungsbeispiele,
verwirklicht durch Ausführung
des gelesenen Programms durch einen Rechner einen Fall, in dem ein
OS oder dergleichen, das auf dem Rechner arbeitet, einen Teil oder
die gesamte aktuelle Verarbeitung in Übereinstimmung mit Bestimmungen
des Programmkodes durchführt
und die Funktionen der vorstehenden Ausführungsbeispiele verwirklicht.
-
Ferner
umfasst die vorliegenden Erfindung auch einen Fall, in dem, nachdem
der aus dem Speichermedium gelesene Programmkode in eine Funktionserweiterungskarte
geschrieben ist, die in den Rechner eingeführt wird oder in einen Speicher
mit Funktionserweiterungseinheit, der mit Rechner, CPU oder dergleichen,
enthalten in der Funktionserweiterungskarte ode Einheit verbunden
ist, einen Teil oder den gesamten Vorgang in Übereinstimmung mit Bestimmungen
des Programmkodes durchführt
und die Funktionen der vorstehenden Ausführungsbeispiel verwirklicht.
-
Gemäss der vorliegenden
Erfindung kann in einem MR System, das ein CG Bild dem wirklichen Raum überlagert,
wenn ein Teil des wirklichen Raums, der betrachtet werden soll,
von dem CG Bild verborgen wird, ein Bereich, in dem das CG Bild
nicht angezeigt werden soll, einfach bestimmt werden und das CG
Bild in dem Bereich teilweise nicht angezeigt (gelöscht) werden,
womit der reale Raum für
den Interesse besteht betrachtet werden kann.
-
Da
viele sehr verschiedene Ausführungsbeispiele
der vorliegenden Erfindung gemacht werden können, ohne von ihrem Bereich
abzuweichen, ist es selbstverständlich,
dass die Erfindung nicht auf diese spezifischen Ausführungsbeispiele,
mit Ausnahme der anhängigen
Ansprüche
begrenzt ist.