-
Die
vorliegende Erfindung bezieht sich auf eine Bildverarbeitung zur
Erzeugung einer virtuellen Umgebung, welche von der Bedienperson
erfahren bzw. wahrgenommen werden kann.
-
Nachfolgende
Techniken sind dafür
bekannt, dass sie eine virtuelle Umgebung erzeugen, welche von der
Bedienperson wahrgenommen werden kann.
-
(1)
Ein dreidimensionales Objekt oder ein dreidimensionaler Raum wird
durch geometrische Modelldaten, wie beispielsweise Polygondaten
oder Oberflächendaten,
Oberflächencharakteristika
oder ein Muster repräsentierende
Oberflächenstruktur- bzw.
Texturdaten, Lichtquellendaten und dergleichen ausgedrückt, und
unter Verwendung der Computergrafikerstelltechnik wird die Aufmachung
bzw. Entstehung bzw. das äußere Erscheinungsbild
einer Szene in einer beliebigen Richtung erstellt, wodurch ein dreidimensionales
Objekt oder ein dreidimensionaler Raum ausgedrückt wird. Mit dieser Technik
wird ein virtueller Raum gebildet, und es wird eine virtuelle Umgebung
erzeugt und wahrgenommen.
-
(2)
Es werden eine Anzahl von Bildgruppen eines dreidimensionalen realen
Objekts oder eines dreidimensionalen realen Raums fotografiert,
und auf der Grundlage der Bildgruppen wird ein Zielobjekt oder ein
Zielraum beschrieben. Die Aufmachung bzw. das äußere Erscheinungsbild des Ziels
wird ohne eine Rekonstruktion der Forminformationen des Ziels aufgezeichnet
(dieses Verfahren wird ein nichtgeometrisches Modellieren genannt),
wodurch das äußere Erscheinungsbild
in einer beliebigen Richtung reproduziert wird. Genauer wird ein
fotografiertes Bild in Lichtraumdaten umgewandelt, und aus den Lichtraumdaten
wird ein aus einer beliebigen Richtung angesehenes Bild erzeugt
und präsentiert.
-
Bei
dem Stand der Technik (1) können
die Formdaten eines eine sehr komplexe Form aufweisenden Objekts
kaum erzeugt oder reproduziert werden. Es ist außerdem schwierig, Formdaten
eines Objekts mit einer komplexen Form aus einem realen Objekt unter
Verwendung einer dreidimensionalen Messvorrichtung zu akquirieren
bzw. zu erlangen. Aus diesem Grund kann das komplexe Objekt kaum ausgedrückt werden.
Insbesondere ist es schwieriger, ein reales Objekt mit einer gewissen
komplexen Form oder einem komplexen Oberflächenmuster/Reflektionscharakteristika
(Absorptions-/Durchlasscharakteristika) zu reproduzieren. Genauer
gesagt, kann ein natürliches
Objekt im Allgemeinen kaum ausgedrückt werden, wenngleich ein
künstliches
Objekt einfach ausgedrückt
werden kann. Jedoch kann eine hauptsächlich durch Ebenen zusammengesetzte
einfache und künstliche
dreidimensionale Szene, beispielsweise ein Zimmer oder eine Reihe
von Gebäuden,
unter Verwendung einer relativ kleinen Menge von Daten relativ einfach
ausgedrückt
werden.
-
Bei
dem Stand der Technik (2) kann, wenn einmal aus einer bestimmten
Menge von fotografierten Bilddaten nichtgeometrische Modelldaten
erzeugt sind, ein von einem beliebigen Ansichtspunkt bzw. Standpunkt
aus (tatsächlich
gibt es Beschränkungsbedingungen)
betrachtetes Bild erzeugt werden. Jedoch muss, um aus allen Positionen
der dreidimensionalen Szene angesehene Bilder zu präsentieren,
eine ernorme Menge von Lichtraumdaten erzeugt und gehalten werden.
Aus diesem Grund kann der gesamte virtuelle Raum unter Verwendung
dieser Daten kaum erzeugt werden. Darüber hinaus sind, da das Ziel
ohne eine Rekonstruktion der Forminformationen ausgedrückt wird,
Operationen der Anordnung und der Translation bzw. Bewegung bzw.
Verschiebung/Drehung des durch die Daten ausgedrückten Objekts als ein Objekt
mit einer dreidimensionalen räumlichen
Ausdehnung beschränkt.
-
Der
Stand der Technik (1) und (2) sind inkompatibel, so dass das unter
Verwendung von nichtgeometrischen Modelldaten ausgedrückte Objekt nicht
in dem durch den Stand der Technik (1) erzeugten virtuellen Raum
Verwendung finden kann. Dies gründet
sich darauf, dass, auch wenn der Stand der Technik (2) die Probleme
des Standes der Technik (1) löst,
der Stand der Technik (2) nicht verwendet werden kann, um eine virtuelle
Umgebung zu realisieren.
-
Gemäß der vorliegenden
Erfindung wird ein Bildverarbeitungsverfahren nach Anspruch 1 zur
Verfügung
gestellt.
-
Die
vorliegende Erfindung stellt auch eine Bildverarbeitungsvorrichtung
nach Anspruch 9 zur Verfügung.
-
Die
vorliegende Erfindung stellt zudem einen Träger, der computerlesbare Anweisungen
trägt, nach
Anspruch 17 zur Verfügung.
-
Optionale
Merkmale sind in den anderen Ansprüchen dargelegt.
-
KURZE BESCHREIBUNG
DER ZEICHNUNG
-
1 ist
ein Blockschaltbild einer Vorrichtung zur Realisierung des ersten,
zweiten, und dritten Ausführungsbeispiels;
-
2 ist
ein Flussdiagramm des ersten Ausführungsbeispiels;
-
3 ist
ein Flussdiagramm eines Teils des ersten Ausführungsbeispiels;
-
4 ist
ein Flussdiagramm eines Teils des ersten Ausführungsbeispiels;
-
5 ist
ein Flussdiagramm eines Teils des zweiten Ausführungsbeispiels;
-
6 ist
ein Flussdiagramm eines Teils des zweiten Ausführungsbeispiels;
-
7 ist
ein Flussdiagramm eines Teils des dritten Ausführungsbeispiels;
-
8 ist
ein Flussdiagramm eines Teils des dritten Ausführungsbeispiels;
-
9 ist
eine Ansicht eines Beispiels eines hierarchischen Koordinatensystems
bei dem ersten Ausführungsbeispiel;
-
10 ist
ein Schaubild der 9 entsprechenden Baumstruktur;
-
11A und 11B sind
schematische Ansichten eines dreidimensionalen Raums zur Erläuterung
des Prinzips eines Lichtraums;
-
12 ist
eine Ansicht der Beziehung zwischen einem bestimmten Punkt in einem
realen Raum und einem durch den Punkt laufenden Lichtstrahl;
-
13 ist
eine Ansicht einer Abbildung eines Lichtstrahls, der durch einen
bestimmten Punkt in dem realen Raum hindurchläuft und auf einen x-u-Raum
als einen Lichtraum projiziert ist;
-
14A und 14B sind
Ansichten einer Transformation zwischen dem realen Raum und dem Lichtraum;
-
15 ist
eine schematische Ansicht eines Zustands, bei dem ein zu betrachtender
geschlossener Bereich (Raum) in nichtgeometrischen Modelldaten angenommen
ist;
-
16 ist
eine schematische Ansicht von geometrischen Informationen eines
MVDS;
-
17 ist
eine schematische Ansicht eines Zustands, bei welchem zu dem MVDS
ein repräsentativer
Punkt hinzugefügt
ist;
-
18 ist
eine schematische Ansicht eines Zustands, bei welchem zu dem MVDS
eine Basis hinzugefügt
ist;
-
19 ist
eine schematische Ansicht eines Zustands, bei welchem zu dem MVDS
eine Hüllbox hinzugefügt ist.
-
AUSFÜHRLICHE
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
-
[Erstes Ausführungsbeispiel]
-
1 ist
ein Blockschaltbild des ersten Ausführungsbeispiels. Eine CPU 1 führt die
Verarbeitungsprozedur des ersten Ausführungsbeispiels aus. Eine Verarbeitungsprozedur-Speichervorrichtung 2 speichert
die Verarbeitungsprozedur. Die Verarbeitungsprozedur kann im Voraus
in der Verarbeitungsprozedur-Speichervorrichtung 2 gespeichert
werden, oder sie kann in/auf einem Speichermedium, wie beispielsweise
einer FD, einer CD-ROM, einem ROM, oder einem Magnetband, gespeichert
werden und durch eine externe Vorrichtungsschnittstelle 8 zugeführt werden.
Eine Datenspeichervorrichtung 3 hält vor/nach einer Verarbeitung
und während
einer Verarbeitung erzeugte oder eingegebene Daten. Ein Vollbildspeicher 4 speichert
Bilddaten zur Präsentierung
des Verarbeitungsablaufs oder des Verarbeitungsergebnisses, welcher/welches
an eine Anzeigevorrichtung zu senden ist. Ein Fenstersystem 5 der Bildverarbeitungsvorrichtung
zeigt in dem Vollbildpuffer 4 gespeicherte Bilddaten an.
Eine Tastatur 6 wird zur Eingabe einer Anweisung in den
Verarbeitungsvorgang verwendet. Eine Maus 7 ist eine Zeigevorrichtung
zur Bezeichnung einer Position auf dem Bildschirm. Die externe Vorrichtungsschnittstelle 8 findet
Verwendung, um Daten oder eine Verarbeitungsprozedur einzugeben/auszugeben.
Diese Einheiten sind über
einen Bus 9 verbunden.
-
2 ist
ein Flussdiagramm des Verarbeitungsflusses des ersten Ausführungsbeispiels.
Das erste Ausführungsbeispiel
wird unter Bezugnahme auf 2 ausführlich beschrieben.
Bei Schritt S201 werden virtuelle Raumdaten unter Verwendung eines geometrischen
Modells zur Bildung einer virtuellen Umgebung eingegeben. Zur Erzeugung
einer virtuellen Umgebung unter Verwendung eines geometrischen Modells
müssen
den virtuellen Raum bildende interne Objekte, Gebäude, und
ein Hintergrund beispielsweise durch eine Modelliervorrichtung erzeugt werden,
die in der Lage ist, einige geometrische Computergrafikdaten und
Oberflächencharakteristikdaten
zu erzeugen.
-
Für diese
Erzeugungsverarbeitung kann eine vorhandene Technik Verwendung finden.
Bei Schritt S201 können
ein geometrisches Modell und Oberflächencharakteristikdaten erzeugt
werden, oder es können
bei einer anderen Verarbeitung erzeugte Daten geladen werden. Die
geometrischen Daten stehen für
Polygondaten, wie beispielsweise Daten einer dreieckige Stelle oder
einer freien Oberfläche,
wie beispielsweise NURBS. Die Oberflächencharakteristikdaten repräsentieren
das Material, die Reflektionscharakteristika, und Muster des Objekts. Das
Muster wird als Textur- bzw. Oberflächenbeschaffenheitsdaten eingegeben.
Die Oberflächenbeschaffenheitsdaten
repräsentieren
das Oberflächenmuster
von Polygondaten oder Daten einer freien Oberfläche. Die Oberflächenbeschaffenheitsdaten beschreiben
die Entsprechung zwischen Musterbilddaten und einem Zielobjekt,
in welches die Bilddaten einzufügen
sind. Bei Schritt S202 wird auf der Grundlage eines Multi- bzw.
Mehrfachansichtspunktbildes ein nichtgeometrischer Modellobjektausdrucksdatensatz
(der nachfolgend als ein MVDS (Multi- bzw. Mehrfachansichtspunktdatensystem)
bezeichnet wird) akquiriert bzw. erlangt.
-
Mit
diesem Verfahren wird das Zielobjekt ausgedrückt, indem das „äußere Erscheinungsbild" des Objekts ohne
eine Abschätzung
oder Messung der Form des Objekts beschrieben wird. Nachfolgend wird
das Grundkonzept dieses Verfahrens beschrieben.
-
Das
geometrische Modell beschreibt das Zielobjekt, indem die Forminformationen
des Zielobjekts aufgezeichnet werden. Jedoch beschreibt das MVDS
das Zielobjekt, indem Daten zur Rekonstruktion von verschiedensten „äußeren Erscheinungsbildern" ohne eine Rekonstruktion
oder Messung der Form des Zielobjekts aufgezeichnet werden. Genauer
werden eine Anzahl von Bildern um das Zielobjekt herum fotografiert,
und das äußere Erscheinungsbild des
Zielobjekts wird auf der Grundlage der Bilder beschrieben. Es muss
keine Betrachtung entsprechend zu allen Ansichtspunkten durchgeführt werden,
die bei einer Rekonstruktion des äußeren Erscheinungsbilds auf
der Grundlage der Beschreibungsdaten notwendig sind. Es wird in
Betracht gezogen, dass das rekonstruierte Bild aus einer gewissen
bzw. bestimmten beschränkten
Menge von Betrachtungsdaten erzeugt werden kann. Das MVDS steht
für Daten,
die von derartigen finiten Multiansichtspunktbetrachtungsdaten umgewandelt
sind, um sofort ein aus verschiedensten Ansichtspunkten bzw. Blickpunkten
angesehenes bzw. betrachtetes Bild zu erzeugen. Das MVDS wird durch
eine Aufzeichnung einer Anzahl von Daten (aus einem Bereich austretendes
Licht) akquiriert, welche als ein Bild von einem angenommenen Bereich
betrachtet werden können,
bei dem das Zielobjekt vermutlich vorhanden ist. Aus diesem Grund
wird bei dem MVDS ein Raum (Bereich, aus welchem Licht austritt;
dieser Bereich wird nachfolgend als ein geschlossener Bereich (Raum)
R bezeichnet), in welchem das Zielobjekt vorhanden ist, explizit
oder implizit angenommen, wie in 15 gezeigt.
Zusätzlich
muss zum Eingeben des MVDS die Kameraanordnung beim Fotografieren
bekannt sein. Genauer ist die relative Positionsbeziehung zwischen
dem geschlossenen Bereich R und der Kameraanordnung beim Fotografieren
bekannt. Mit anderen Worten werden die Richtung (Koordinatenachsen)
des geschlossenen Bereichs R und der Skalierfaktor aus den geometrischen
Anordnungsinformationen der Kamera beim Fotografieren erlangt.
-
Die
geometrischen Anordnungsinformationen der Kamera werden unter Verwendung
einer Fotografiervorrichtung erlangt, deren Bewegung gesteuert werden
kann, oder sie werden auf der Grundlage von einigen Bildcharakteristikmerkmalen
des betrachteten Multiansichtspunktbildes bestimmt. Aus dem MVDS
wird ein Bild bei einem beliebigen Ansichtspunkt auf der Grundlage
der Position und Richtung einer virtuellen Kamera rekonstruiert,
dass von dem geschlossenen Bereich R aus betrachtet wird.
-
Als
ein derartiges MVDS können
nachfolgend beschriebene Lichtraumdaten Verwendung finden. Es wird
eine Technik des Annehmens einer Ebene, bei welcher z = 0 auf einem
Koordinatensystem gilt, wie in 11A gezeigt,
und des Ausdrückens
eines dreidimensionalen Raums als ein Satz bzw. eine Gruppe von
durch diese (nachfolgend als eine Bezugsebene 1101 bezeichnete)
Ebene hindurchlaufenden Lichtstrahlen vorgeschlagen (Ausdruck des dreidimensionalen
Raums durch Lichtraum). Bei dieser Technik ist ein Bild, welches
bei einem Ansichtspunkt P in den dreidimensionalen Raum, bei welchem
z > 0 gilt, betrachtet
werden kann, äquivalent zu
einem Bild, welches nur durch Aufnehmen von durch den Ansichtspunkt
P hindurchlaufenden Lichtstrahlen aus der Gruppe der durch die Bezugsebene 1101 laufenden
Lichtstrahlen erlangt ist, wie in 12 gezeigt.
Im Allgemeinen wird jeder Lichtstrahl durch eine Position (x, y),
durch welche der Lichtstrahl hindurchläuft, Winkel Φ und Ψ (11B) zwischen dem Lichtstrahl und der X- und Y-Achse,
eine Zeit t, wenn der Lichtstrahl durch die Ebene hindurchgelaufen
ist, und die Farbe (r, g, b), des Lichtstrahls repräsentiert.
Tatsächlich
wird es angenommen, dass das Objekt stationär ist und keine Y-Achsenparallaxe vorhanden
ist, damit verhindert wird, dass die Berechnungsmenge oder die Datenmenge
enorm wird. Unter dieser Annahme wird jeder Lichtstrahl auf den
x-u-Raum projiziert,
während
u = tanΦ gesetzt wird,
und der Lichtraum wird in diesem projizierten x-u-Raum behandelt.
In diesem Fall zeigt ein durch den bestimmten Punkt P hindurchlaufender
Lichtstrahl eine gerade Ortslinie, wie in 13 gezeigt. Diese
Ortslinie wird durch die folgenden Gleichungen repräsentiert: x = X – Z · u (1) u = tanΦ (2)wobei (X,
Z) der Betrachtungsansichtspunkt P ist, x die Position ist, bei
welcher der Lichtstrahl die X-Achse in dem x-u-Raum schneidet, Ψ der zwischen
dem Lichtstrahl und der Z-Achse gebildete Winkel ist.
-
Zuerst
werden gerade Ortslinien aus einem Bild erlangt, das bei einer Anzahl
von Ansichtspunkten (beispielsweise Ansichtspunkt A, B und C) erlangt ist,
wie in 14A und 14B gezeigt,
und es sei angenommen, dass der x-u-Raum in einer hohen Dichte mit
dieser Ortsliniengruppe gefüllt
ist. Zu dieser Zeit kann das Bild bei einem Ansichtspunkt Q, bei dem
z > 0 gilt, erlangt
werden, indem eine Ortslinie berechnet wird, die durch den Ansichtspunkt
Q auf dem x-u-Raum hindurchläuft,
wie in 14B gezeigt, und indem umgekehrt
die Farbe des Lichtstrahls erlangt wird, welcher bereits auf der
Ortslinie aufgezeichnet worden ist.
-
Bei
Schritt S203 werden zu dem MVDS einige geometrische Informationen
hinzugefügt.
Diese einigen geometrischen Informationen werden nun beschrieben.
Das MVDS beschreibt nur das äußere Erscheinungsbild
des Objekts in dem Bereich R und beschreibt nicht explizit die Form
des Objekts. Nur der angenommene geschlossene Bereich R, wie in 16 gezeigt,
ist als Informationen des dreidimensionalen Raums bekannt, welcher
von dem MVDS bekannt ist. Die Anwesenheitsposition und -form des Objekts
sind in dem geschlossenen Bereich R unentschieden. Um das MVDS als
ein Objekt in dem virtuellen Raum zu verwenden, sind einige geometrische Informationen
zum Vermischen des MVDS mit dem bei Schritt S201 eingegebenen Formmodell
erforderlich. In diesem Fall bedeuten die einigen geometrischen
Informationen dreidimensionale Informationen, wie beispielsweise
die dreidimensionale Position eines Punktes, die Richtung eines
Vektors, oder einer Oberfläche.
Bei Schritt S204 wird das MVDS in dem virtuellen Raum operiert bzw.
betrieben, der durch die dreidimensionale Forminformationen selbst unter
Verwendung der bei Schritt S203 hinzugefügten geometrischen Informationen
beschrieben ist. Wird die Beziehung (Anordnungsposition oder Richtung)
zwischen den bei Schritt S203 hinzugefügten geometrischen Informationen
und dem Koordinatensystem des virtuellen Raums beschrieben, kann
das durch das MVDS ausgedrückte
Objekt in dem virtuellen Raum Verwendung finden.
-
3 zeigt
ein Beispiel von Schritt S203, und 4 zeigt
ein Beispiel von Schritt S204 entsprechend einer Verarbeitung in 3.
Bei Schritt S301 wird ein in dem geschlossenen Bereich R vorhandener
bzw. anwesender repräsentativer
Punkt des Objekts bezeichnet (17). Der
repräsentative Punkt
wird gesetzt bzw. eingestellt, indem beispielsweise ein zentraler
Punkt eines Bereichs (Bereich mit einer dreidimensionalen Ausdehnung)
bezeichnet wird, in welchem das Objekt in dem geschlossenen Bereich
R vorhanden bzw. anwesend ist. Dieser Punkt kann auf der Grundlage
der Kameraanordnung beim Fotografieren des Objekts und der Anordnungsinformationen
beim Setzen des Objekts für
den Zweck eines Fotografierens bezeichnet werden. Alternativ kann
der Punkt aus einem Objekt in dem fotografierten Multiansichtspunktbild
bezeichnet werden. In diesem Fall wird ein repräsentativer Punkt in der Nähe des Zentrums
des Objekts in dem Bild bezeichnet, und durch eine Umkehrprojektion
der perspektivischen Projektion beim Fotografieren wird in dem geschlossenen
Bereich R eine gerade Linie erlangt. Diese Operation wird für bei einer
Vielzahl von Kamerapositionen fotografierte Bilder durchgeführt. Es
wird ein Bereich erlangt, bei welchem sich resultierende gerade
Linien konzentrieren, und als der repräsentative Punkt wird der Schwerpunkt
dieses Bereichs gesetzt. Es kann ein beliebiges anderes Verfahren
Verwendung finden. Mit einigen Verfahren wird der repräsentative
Punkt des Objekts in dem geschlossenen Bereich R bezeichnet.
-
Bei
Schritt S302 wird eine Koordinatentransformation T zur Beschreibung
der Koordinatenbeziehung des geschlossenen Bereichs R mit dem repräsentativen
Punkt P in dem virtuellen Raum angefertigt. Die Koordinatentransformation
T definiert die Position des repräsentativen Punkts P und die
Richtung des geschlossenen Bereichs R, der aus dem Koordinatensystem
des virtuellen Raums betrachtet wird. Die Koordinatentransformation
T weist Parameter zur Translation bzw. Bewegung bzw. Verschiebung, Drehung
und Verkleinerung auf. In nachfolgenden Schritten wird diese Koordinatentransformation
T verwendet.
-
Nachfolgend
wird eine Verarbeitung bei Schritt S204 unter Bezugnahme auf 4 entsprechend
zu Schritt S204 beschrieben. Bei Schritt S401 werden die Anordnungspositionen
und Richtung des MVDS in dem virtuellen Raum bestimmt. Zusätzlich werden
Komponenten einer Translation bzw. Verschiebung und Drehung und
dergleichen durch die Koordinatentransformation T auf der Grundlage
der bestimmten Anordnungsinformationen beschrieben. Mit dieser Verarbeitung
kann das durch das MVDS ausgedrückte
Objekt in dem virtuellen Raum angeordnet werden. Bei Schritt S402
wird es bestimmt, ob die Operation des MVDS in dem virtuellen Raum
zu starten ist. Tatsächlich
wird es angenommen, dass eine virtuelle Wahrnehmung vorgenommen
wird, während
der virtuelle Raum angezeigt wird. Es wird bestimmt, ob das durch
das MVDS ausgedrückte
Objekt bei dieser Operation gegriffen und bewegt werden darf. Lautet
die Antwort bei Schritt S402 JA, setzt sich der Fluss mit Schritt
S403 fort. Bei Schritt S403 wird die Koordinatentransformation T
auf der Grundlage der Operation geändert und aktualisiert, wodurch
das MVDS einer Translation unterzogen bzw. verschoben und gedreht
wird. Lautet die Antwort bei Schritt S402 NEIN, setzt sich der Fluss
mit Schritt S404 fort. Bei Schritt S404 wird es bestimmt, ob die Operation
zu beenden ist. Lautet die Antwort bei Schritt S404 JA, ist die
Verarbeitungsserie beendet. Lautet die Antwort bei Schritt S404
NEIN, kehrt der Fluss zu Schritt S402 zurück.
-
Als
die bei den Schritten S401 bis S404 verwendete Koordinatentransformation
T kann eine Koordinatentransformation von einem Weltkoordinatensystem
als ein Koordinatensystem Verwendung finden, in welchem der virtuelle
Raum vorhanden ist. Alternativ kann der virtuelle Raum durch hierarchische Koordinatensysteme
ausgedrückt
werden, und es kann eine Koordinatentransformation von einem der hierarchischen
Koordinatensysteme Verwendung finden.
-
In
dem letzteren Fall werden den virtuellen Raum bildende Elemente
(Koordinatentransformationsdaten, Formdaten, Oberflächencharakteristikdaten,
Beleuchtung und dergleichen) durch einen Baumstruktur repräsentiert.
Dies gründet
sich darauf, dass der Raum, der Boden, Gebäude, Zimmer, Möbel, Beleuchtung
und Ornamente, die den dreidimensionalen Raum bilden, als eine hierarchische
Verschachtelungsstruktur aufweisend betrachtet werden können. Beispielsweise
bewegt sich ein auf einem Tisch angeordnetes Ornament zusammen mit
dem Tisch. Die Anordnung des Ornaments hängt von der Anordnung des Tischs
ab. Es ist zweckmäßig, das Ornament
in dem Koordinatensystem des Tischs als relativ zu dem Tisch anzuordnen.
Aus diesem Grund weisen diese Elemente eine hierarchische Datenstruktur
mit einer Anordnungsabhängigkeit
auf. Um dies zu repräsentieren,
wird der virtuelle Raum durch eine n-te Baumstruktur repräsentiert.
-
9 ist
eine Ansicht eines einfachen Beispiels eines virtuellen Raums. In 9 ist
eine Erhebung auf dem Zimmer, Tisch, und Sofa in dem Raum platziert.
Das Zimmer wird in einem Koordinatensystem C2 beschrieben, das durch
eine Koordinatentransformation T2 aus einem Weltkoordinatensystem CO
transformiert ist. Der Tisch und das Sofa in dem Zimmer werden in
Koordinatensystemen C3 und C4 beschrieben, die jeweils durch Koordinatentransformationen
T3 und T4 aus dem Koordinatensystem C2 transformiert sind. Das Gefäß auf dem
Tisch ist in einem Koordinatensystem C5 beschrieben, dass durch eine
Koordinatentransformation T5 aus dem Koordinatensystem C3 transformiert
ist. Bei diesem Verfahren wird das MVDS als ein Element dieser Baumstruktur
beschrieben. Bei 9 ist das MVDS auf dem Tisch
angeordnet. 10 zeigt eine schematische Baumstruktur,
die den in 9 gezeigten virtuellen Raum
repräsentiert.
-
Mit
dem vorangehenden Verfahren kann das durch das MVDS ausgedrückte Objekt
in dem virtuellen Raum angeordnet und operiert werden. Jedoch sind,
da zu dem MVDS hinzugefügte
geometrische Informationen nur ein repräsentativer Punkt sind, die Oberflächenposition
des Objekts und dergleichen unentschieden, so dass das „Objekt" selbst nicht auf
einem anderen Objekt bzw. Gegenstand angeordnet werden kann. Es
sei angenommen, dass ein MVDS einer Vase auf dem Tisch platziert
ist. In diesem Fall kann die Vase in dem Raum derart angeordnet
sein, dass die Vase „offenbar" auf den Tisch als
ein Zeichenergebnis gestellt ist. Genauer kann das MVDS, wenn die
Koordinatentransformation T während
einer Bezugnahme auf das Zeichenergebnis angepasst wird, angeordnet
sein, als wenn das Objekt auf ein weiteres Objekt platziert wäre. Dies
gilt auch für
eine Translation bzw. Verschiebung und Drehung. Die Anordnungs-
oder Translations- und Drehoperation kann auch automatisch gemäß einer
vorbestimmten Prozedur durchgeführt
werden.
-
[Zweites Ausführungsbeispiel]
-
Bei
dem zweiten Ausführungsbeispiel
sind die Schritte S203 und S204 des ersten Ausführungsbeispiels geändert, wie
es nachfolgend beschrieben ist. Eine Verarbeitung bei Schritt S203
wird unter Bezugnahme auf 5 beschrieben,
und eine Verarbeitung bei Schritt S204 wird unter Bezugnahme auf 6 beschrieben.
-
Bei
Schritt S501 wird eine Basis S bei einer Position entsprechend der
Basis eines Objekts bezeichnet, dass in einem geschlossenen Bereich
R vorhanden bzw. anwesend ist (18). Die
Basis S wird gesetzt, indem die niedrigste Oberfläche eines Bereichs
(Bereich mit einer dreidimensionalen räumlichen Ausdehnung) bezeichnet
wird, bei dem das Objekt in dem geschlossenen Bereich vorhanden
ist. Im allgemeinen ist das durch das MVDS repräsentierte Objekt ein natürliches
Objekt, wie es von der Tatsache entnommen werden kann, dass das
Objekt mit einer Kamera fotografiert wird, und das Objekt mit einer
Basis ist stabil, so lange es auf einem weiteren Objekt platziert
ist. Aus diesem Grund kann es in Betracht gezogen werden, dass eine
Bezeichnung der Basis bei den nachfolgenden Schritten oft effektiv
ist. Die Basis kann auf der Grundlage der Kameraanordnung und der
Anordnungsinformationen des gesetzten bzw. gestellten Tisches des
Objekts beim Fotografieren des Objekts bezeichnet werden. Alternativ kann
die Basis aus einem Objekt in dem fotografierten Multiansichtspunktbild
bezeichnet werden. In diesem Fall wird ein Punkt in der Nähe der Basis
des Objekts in dem Bild bezeichnet, und durch eine Umkehrprojektion
der perspektivischen Projektion beim Fotografieren wird eine gerade
Linie in dem geschlossenen Bereich R erlangt. Diese Operation wird für bei einer
Vielzahl von Kamerapositionen fotografierte Bilder durchgeführt, und
die Basis wird auf der Grundlage der Ortslinien von in dem Raum
vorhandenen resultierenden geraden Linien bestimmt. Es kann ein
beliebiges anderes Verfahren Verwendung finden. Mit einigen Verfahren
wird die Basis S des Objekts in dem geschlossenen Bereich R bezeichnet.
-
Bei
Schritt S502 wird eine Koordinatentransformation T zur Beschreibung
der Koordinatenbeziehung des geschlossenen Bereichs R mit der Basis
S in dem virtuellen Raum vorbereitet. Die Koordinatentransformation
T definiert die Position und Richtung der Basis S, die aus dem Koordinatensystem
des virtuellen Raums betrachtet wird. Die Koordinatentransformation
T weist Parameter zur Translation, Drehung und Verkleinerung auf.
Diese Koordinatentransformation T findet bei den nachfolgenden Schritten Verwendung.
-
Als
nächstes
wird diese Verarbeitung unter Bezugnahme auf 6 beschrieben.
Bei Schritt S601 werden die Anordnungsposition und Richtung des
MVDS in dem virtuellen Raum bestimmt. Da die geometrischen Informationen
der Basis S dem MVDS hinzugefügt
sind, kann es bestimmt werden, dass das MVDS auf ein weiteres Objekt
(beispielsweise den Boden oder den Tisch) in dem virtuellen Raum
gestellt ist. Zusätzlich
werden Komponenten einer Translation und Drehung und dergleichen
durch die Koordinatentransformation T auf der Grundlage der bestimmten
Anordnungsinformationen beschrieben. Mit dieser Verarbeitung kann
das durch das MVDS ausgedrückte
Objekt in dem virtuellen Raum angeordnet werden.
-
Bei
Schritt S602 wird es bestimmt, ob die Operation des MVDS in dem
virtuellen Raum zu starten ist. Tatsächlich wird es angenommen,
dass eine virtuelle Wahrnehmung vorgenommen wird, während bzw.
so lange der virtuelle Raum angezeigt wird. Es wird bestimmt, ob
das durch das MVDS ausgedrückte
Objekt bei dieser Operation gegriffen und bewegt werden darf. Lautet
die Antwort bei Schritt S602 JA, setzt sich der Fluss mit Schritt
S603 fort. Bei Schritt S603 wird die Koordinatentransformation T
auf der Grundlage der Operation geändert und aktualisiert, wodurch
das MVDS einer Translation unterzogen und gedreht wird. Lautet die
Antwort bei Schritt S602 NEIN, setzt sich der Fluss mit Schritt
S604 fort. Bei Schritt S604 wird es bestimmt, ob die Operation zu beenden
ist. Lautet die Antwort bei Schritt S604 JA, ist die Verarbeitungsserie
beendet. Lautet die Antwort bei Schritt S604 NEIN, kehrt der Fluss
zu Schritt S602 zurück.
-
Mit
dem vorangehenden Verfahren kann das durch das MVDS repräsentierte
Objekt in dem virtuellen Raum angeordnet und operiert werden. Da
die Basis als dem MVDS hinzugefügte
geometrische Informationen Verwendung findet, kann das durch das MVDS
ausgedrückte
Objekt auf einem weiteren Objekt angeordnet sein. Dies gilt auch
für eine
Translation und Drehung. Es wird eine auf ein weiteres Objekt beschränkte Operation
freigegeben. Zusätzlich können die
Anordnungen- oder Translations- und Drehoperationen auch gemäß einer
vorbestimmten Prozedur automatisch durchgeführt werden.
-
[Drittes Ausführungsbeispiel]
-
Bei
dem dritten Ausführungsbeispiel
werden die Schritte S203 und S204 des ersten Ausführungsbeispiels
geändert,
wie es nachfolgend beschrieben wird. Eine Verarbeitung bei Schritt
S203 wird unter Bezugnahme auf 7 beschrieben,
und eine Verarbeitung bei Schritt S204 wird unter Bezugnahme auf 8 beschrieben.
-
Bei
Schritt S701 wird eine Hüllbox
B zur Beschränkung
des Anwesenheitsbereichs eines in einem geschlossenen Bereich R
anwesenden Objekts bezeichnet (19). Die
Hüllbox
B wird gesetzt, indem ein Bereich (Bereich mit einer dreidimensionalen
räumlichen
Ausdehnung) bezeichnet wird, in welchem das Objekt in dem geschlossenen
Bereich vorhanden bzw. anwesend ist. Jedoch wird, da die Form des
Objekts nicht perfekt erlangt werden kann, ein den Anwesenheitsbereich
des Objekts ungefähr
repräsentierendes
rechteckiges Prisma, oder dergleichen bezeichnet. Die Hüllbox kann
auf der Grundlage der Kameraanordnung und der Anordnungsinformationen
des gestellten Tisches des Objekts beim Fotografieren des Objekts
und dem charakteristischen Merkmal des fotografierten Multiansichtspunktbildes bezeichnet
werden. Bei diesem Verfahren des Erlangens der Hüllbox aus dem charakteristischen
Merkmal des fotografierten Multiansichtspunktbildes wird die Kontur
des Bildes auf der Bildebene erlangt (oder bezeichnet), und durch
eine Umkehrprojektion der perspektivischen Projektion beim Fotografieren
wird die Konturkurve auf den geschlossenen Bereich R projiziert.
Diese Operation wird für
bei einer Vielzahl von Kamerapositionen fotografierte Bilder durchgeführt, und
es wird ein Bereich erlangt, der durch Projizieren der Konturlinie
gebildete Ebenen umschlossen ist. Es wird ein diesen Bereich umschließendes rechteckiges
Prisma gesetzt. Es kann ein beliebiges anderes Verfahren Verwendung
finden. Mit einigen Verfahren wird die Hüllbox B des Objekts in dem
geschlossenen Bereich R bezeichnet.
-
Bei
Schritt S702 wird eine Koordinatentransformation T zur Beschreibung
der Koordinatenbeziehung des geschlossenen Bereichs R mit der Hüllbox B
in dem virtuellen Raum vorbereitet. Die Koordinatentransformation
T definiert die Position und Richtung der aus dem Koordinatensystem
des virtuellen Raums betrachteten Hüllbox B. Die Koordinatentransformation
T weist Parameter zur Translation, Drehung und Verkleinerung auf.
Diese Koordinatentransformation T wird bei den nachfolgenden Schritten
verwendet.
-
Als
nächstes
wird diese Verarbeitung unter Bezugnahme auf 8 beschrieben.
Bei Schritt S801 werden die Anordnungsposition und Richtung des
MVDS in dem virtuellen Raum bestimmt. Da die geometrischen Informationen
der Hüllbox
B zu dem MVDS hinzugefügt
werden, kann es bestimmt werden, dass das MVDS auf ein weiteres
Objekt (beispielsweise den Boden oder den Tisch) zu setzen bzw.
zu stellen ist, oder gesetzt wird, während eine Interferenz bzw.
Störung
mit einem weiteren Objekt in dem virtuellen Raum verhindert wird.
Zusätzlich
können
Komponenten einer Translation und Drehung und dergleichen durch
die Koordinatentransformation T auf der Grundlage der bestimmten
Anordnungsinformationen beschrieben werden. Mit dieser Verarbeitung
kann das durch das MVDS ausgedrückte
Objekt in dem virtuellen Raum angeordnet werden.
-
Bei
Schritt S802 wird es bestimmt, ob die Operation des MVDS in dem
virtuellen Raum zu starten ist. Tatsächlich wird es angenommen,
dass eine virtuelle Wahrnehmung vorgenommen wird, so lange der virtuelle
Raum angezeigt wird. Es wird bestimmt, ob das durch das MVDS ausgedrückte Objekt
bei dieser Operation gegriffen und bewegt werden darf. Lautet die
Antwort bei Schritt S802 JA, setzt sich der Fluss mit Schritt S803
fort. Bei Schritt S803 wird die Koordinatentransformation T auf
der Grundlage der Operationen geändert
und aktualisiert, wodurch das MVDS einer Translation unterzogen
und gedreht wird. Lautet die Antwort bei Schritt S802 NEIN, setzt sich
der Fluss mit Schritt S804 fort. Bei Schritt S804 wird es bestimmt,
ob die Operation zu beenden ist. Lautet die Antwort bei Schritt
S804 JA, kehrt der Fluss zu Schritt S204 zurück. Lautet die Antwort bei Schritt
S804 NEIN, kehrt der Fluss zu Schritt S802 zurück.
-
Mit
dem vorangehenden Verfahren, kann das durch das MVDS repräsentierte
Objekt in dem virtuellen Raum angeordnet und operiert werden. Da die
Hüllbox
als zu dem MVDS hinzugefügte
geometrische Informationen Verwendung findet, kann das durch das
MVDS ausgedrückte
Objekt an einem weiteren Objekt angeordnet werden, oder es kann
angeordnet werden, so lange eine Störung bzw. Interferenz mit einem
weiteren Objekt verhindert wird. Dies gilt auch für eine Translation
und Drehung. Es wird eine auf ein weiteres Objekt beschränkte Operation oder
eine Operation zur Verhinderung einer groben Interferenz mit einem
weiteren Objekt freigegeben. Zusätzlich
können
die Anordnungs- oder Translations- und Drehoperationen auch gemäß einer
vorbestimmten Prozedur automatisch durchgeführt werden.
-
Gemäß dem ersten
bis dritten Ausführungsbeispiel
kann der selbe Effekt erlangt werden, wie derjenige, der erlangt
wird, wenn die Formdaten eines Objekts mit einer sehr komplexen
Form erzeugt oder reproduziert werden, indem das Objekt durch nichtgeometrische
Modelldaten ohne eine Erzeugung oder Reproduktion der Formdaten
ausgedrückt wird.
-
Zusätzlich kann
der gesamte virtuelle Raum erzeugt werden, ohne dass eine ernorme
Menge von Lichtraumdaten gehalten wird.
-
Zudem
kann nur durch Hinzufügen
einfacher geometrischer Informationen zu den nichtgeometrischen
Modelldaten eine Operation in dem dreidimensionalen Raum durchgeführt werden,
ohne dass die Forminformationen zum Ausdrücken des Objekts rekonstruiert
werden.
-
Ferner
kann das durch die nichtgeometrischen Modellinformationen repräsentierte
Objekt in dem erzeugten virtuellen Raum Verwendung finden.
-
Ausführungsbeispiele
der vorliegenden Erfindung können
ein aus einer Vielzahl von Geräten zusammengesetztes
System oder eine ein einzelnes Gerät aufweisende Vorrichtung aufweisen.
Zudem ist es selbstverständlich,
dass ein Ausführungsbeispiel ein
Programm für
ein System oder eine Vorrichtung aufweisen kann, welches dem System
oder der Vorrichtung beispielsweise auf einem Speichermedium zugeführt wird,
wodurch das System oder die Vorrichtung gemäß einem vorbestimmten Verfahren
operiert bzw. betrieben wird.