-
Die
Erfindung betrifft eine geometrische Anordnung zur interaktiven
Präsentation
virtueller Realität,
sowie ein Verfahren und die Computer Software dazu.
-
Überblick über die
Erfindung:
-
Fast
alle den Sinnen zugänglichen
Aktivitäten,
Berufsfelder und Zerstreuungen sind zu Programmen und Dateien für den PC
geworden. Seine Austauschformate sind die Sprache der Gegenwart. Längst prägt diese
Sprache nicht nur die Wahrnehmung, sondern auch die Konzeption fast
aller neuen Unternehmungen.
-
Der
Traum von der virtuellen Realität,
das Eintauchen in rein technisch erzeugte Welten, die sinnlich erlebt,
manipuliert und damit gelebt werden können, sind heute realisierbar.
Neben Techniken, die mittels Datenhelm, Datenbrille oder Datenanzug eine
künstliche
dreidimensionale Welt erzeugen, entstand die CAVE (Cave Automatic
Virtual Environment), siehe http://en.wikipedia.org/wiki/Cave Automatic
Virtual Env ironment.
-
In
der CAVE werden rundum auf einen durchscheinenden Würfel von
etwa 3 Meter Kantenlänge
Stereobilder aus dem Rechner projiziert, die eine virtuelle Umwelt
erstehen lassen. Die Position des Insassen in dem CAVE wird über ein
Tracking-System erfasst, und die resultierenden Perspektiven werden
in Echtzeit gerendert. Eine Brille mit Polarisationsfiltern oder
abwechselnd links und rechts sperrenden LCD-Shuttern ermöglicht die
stereoskopische Sicht. Ein Surround-Audiosystem ergänzt die
Suggestion.
-
Im
Idealfall fügt
sich die projizierte Welt den Handlungen und Intentionen des Insassen
eines CAVE und selbst komplexe Sachverhalte, ob Verbrennungsvorgänge, Molekülmodelle
oder Autoinnenräume,
können
so in allen Einzelteilen in der CAVE räumlich nachgebildet und manipuliert
werden. Für
Anwendungen in der Pharmazie, Medizin und in den Ingenieurberufen,
sowie für
die Konstruktion und Design von Autos gibt es in Deutschland schätzungsweise
drei Dutzend dieser Einrichtungen.
-
Schon
eine normale CAVE für
einen Nutzer ist sehr aufwendig: Die Echtzeitforderung für die Erzeugung
von acht oder zehn (4 oder 5 mal Stereo) hoch aufgelösten Ansichten
hoher Kantengenauigkeit und Farbqualität treibt die Kosten. Der Platzbedarf
ist enorm, da die Projektion, Rückprojektion
genannt, von außen
erfolgt. Dies bedingt voluminöse und
lange Lichtführungen
auf allen Seiten, siehe 1. Und all das für eine einzige
Person. Denn für jeden
weiteren autonomen Insassen muss ein weiteres Set von Perspektiven
gemäß dem individuellen Tracking
gerechnet, gerendert und jeweils getrennt dem linken und rechten
Auge zugeführt
werden. Nur für
zwei, maximal drei Nutzer gibt es technische Lösungen.
-
Bis
zur Serienreife entsprechend großer autostereoskopischer Displays,
die ohne Brille auskommen, verbietet sich eine räumliche Erweiterung der CAVE
für größere Gruppen
damit von selbst. Das macht die CAVE wohl auf lange Sicht zu einem
Luxusgegenstand für
industrielle Spezialanwendungen, der sich breiter Nutzung in Wissenschaft,
Kultur und Wirtschaft entzieht. Das ist außerordentlich bedauerlich.
Durch die Allgegenwart der Computer türmen sich riesige Datenberge:
Man denke an die multispektrale Erderkundung und Astronomie, Klimaforschung
und Ozeanographie oder die bildgebenden medizinischen Verfahren.
Die Röntgen-
und Kernspintomographie erzeugen Datenmengen im Peta-Bereich, die für die menschliche
Wahrnehmung aufgearbeitet und visuell erfahrbar gemacht werden müssen. Allein
eine Anwendung wie Google Earth macht deutlich, welche Schätze hier
ruhen.
-
Was
jedoch fehlt, ist die Möglichkeit,
komplexe Daten und Sachverhalte und Strukturen räumlich und multimedial kostengünstig darzustellen.
Dazu bedarf es keiner CAVE mit ihren hohen Ansprüchen.
-
Die
hier dargestellte Erfindung ist eine Anordnung zur interaktiven
Präsentation,
die die Geometrie des CAVE umdreht: statt von außen auf durchscheinende Wände zu projizieren,
wird das Bild von innen mit Standardprojektoren auf die begrenzenden normalen
Leinwände
geworfen. Die Anordnung der Projektionsflächen bildet ein geschlossenes
Vieleck als Grundriss, und die Projektoren sind gegenüber der
Leinwand in der Ecke des Vielecks angeordnet. Die Benutzer befinden
sich, wie beim CAVE, in diesem durch die Leinwände gebildeten Vieleck.
-
Die
Erfindung hat den Vorteil, dass sie leicht mit Standardkomponenten
zu einem erschwinglichen Preis realisiert werden kann. Die Anordnung
ist platzsparender und stellt nicht so hohe Präzisionsanforderungen wie ein
CAVE. Damit werden die Anordnung und das Verfahren einem breiteren
Publikum für mannigfaltige
Anwendungen zugänglich.
-
Eine
Projektion von innen löst
die Diskrepanz zwischen gesamtem Raumbedarf der CAVE und ihrem winzigen
Nutzvolumen auf. Damit die Insassen der Projektion nicht im Weg
stehen, verhindert in dem nun sehr viel größeren Raum ein nicht bespielter
Sockel und eine Barriere vor den Leinwänden eine Beeinträchtigung
der Projektion durch das Publikum.
-
Versuche
zeigen, dass das funktioniert, aber auch, dass ein Kubus (Viereck)
für eine
randlose Binnenprojektion generell nicht gut geeignet ist: die Brennweite
der Beam-Optiken ist zu groß.
Ideal ist dagegen ein Fünfeck,
ein Pentagon, in dem jeder Fläche
genau eine Ecke gegenüberliegt,
in der oben jeweils ein Projektor hängt: fünf Ecken mit fünf Stereoprojektoren
für fünf Leinwände rundum.
Alternative Formen mit mehr Ecken (vorzugsweise ungerade) sind natürlich denkbar.
-
Dies
hat gleich mehrere Vorteile: Die Projektionsentfernung wächst erheblich
und reicht für
eine hochwertige Projektion aus. Bei 72° statt 90° Raumwinkel reduziert sich das Übersprechen
auf benachbarte und gegenüberliegende
Leinwände
entscheidend. Das sehr aufwendige Edge-Blending in Echtzeit für saubere Übergänge von
Leinwand zu Leinwand kann entfallen. Darüber hinaus bietet das Fünfeck eine
befriedigende Annäherung
an das Ideal eines Rundhorizonts. Sichtverhältnisse und Raumempfinden sind
wesentlich besser als im Kubus und der Innenraum ist deutlich größer.
-
Entscheidend
ist eine hohe räumliche
Auflösung,
also auch in der Vertikalen, damit sich der gesamte Bildraum auch
akustisch adressieren lässt.
-
Kurze Beschreibung der Figuren:
-
Im
Folgenden wird die Erfindung anhand der Abbildungen näher beschrieben,
wobei
-
1 einen
CAVE nach dem Stand der heutigen Technik zeigt.
-
2 zeigt
die Anordnung der Erfindung in drei Dimensionen.
-
3 und 3a zeigen
die Grundfläche sowie
einen zu einer Projektionsfläche
orthogonalen Schnitt zur Verdeutlichung der Anordnung unserer Erfindung.
-
4 zeigt
ein Fünfeck
von oben, wobei in jeder Ecke ein Projektor angeordnet ist.
-
5 zeigt
eine Barriere bzw. einen Sockel im Raum, der die Beschränkung der
Bewegungsfreiheit des Besuchers bestimmt.
-
Beschreibung der bevorzugten Ausführungsformen:
-
Zum
besseren Verständnis
der Erfindung wollen wir nochmals auf den Stand der Technik eingehen. 1.
zeigt ein Standard CAVE, also die heutige Anordnung zur Präsentation
virtueller Realität. Die
Abbildung zeigt vier Projektionsflächen O, W, N und S, auf die
von je vier Projektoren PO, PW, PS, PN (über Spiegel SO, SW, SN, SS
oder) direkt von hinten projiziert wird. Die gestrichelten Linien
zeigen den Strahlengang der Projektionsbegrenzung. Zur Vereinfachung
sind lediglich zwei der vier Projektoren und Spiegel dargestellt.
Der Benutzer befindet sich innerhalb des Würfels, der von den Projektionsflächen O,
W, N und S umgeben ist.
-
2 zeigt
die erfinderische Anordnung zur interaktiven Präsentation in der erfindungsgemäßen PentAI-Ausführung mit
einem Fünfeck
als Grundfläche.
Die Anordnung weist fünf
Projektionsflächen 1, 2, 3, 4 und 5 auf,
für jede
Kante der Grundfläche
eine Projektionsfläche.
Die Flächen
können
als Ebenen, wie in der Abbildung dargestellt, ausgebildet sein oder
auch als gewölbte
Flächen.
Die Projektoren sind bevorzugt oberhalb der Grundfläche symmetrisch angeordnet,
und zwar in der oberen Ecke, die einer Projektionsfläche gegenüberliegt.
Exemplarisch ist der Projektor 21 für die erste Projektionsfläche 1 dargestellt.
Die weiteren Projektoren wurden in diesem Falle nicht dargestellt,
sind jedoch bei der bevorzugten Ausführungsform Bestandteil der
Erfindung. Die Projektoren sind so angeordnet, dass ein schmaler Horizont
H entsteht. Der Strahlengang ist durch gestrichelte Linien dargestellt.
-
3 zeigt
links einen Aufriss der Anordnung aus 2 und rechts
in 3a einen zu einer Projektionsfläche orthogonalen
Schnitt SA entlang der Linie A. Der Aufriss zeigt die Grundfläche des PentAI
mit den Kanten 1, 2, 3, 4, 5,
die die Projektionsflächen 1, 2, 3, 4, 5 definieren.
Der exemplarisch dargestellte Projektor P1 ist ebenfalls gezeigt.
Der Strahlengang, durch gestrichelte Linien dargestellt, führt vom
Projektor P1 zur Projektionsfläche 1 und entsprechend
für die
anderen vier Projektionsflächen.
Der Projektor ist oben in der Kante, die der Projektionsfläche gegenüberliegt,
angeordnet.
-
Entlang
der Linie A ist ein Schnitt SA durch die Anordnung in der 3a dargestellt.
Die Pfeilspitze zeigt die Orientierung des Schnittes an. Da sich
ein Betrachter B im Inneren aufhält
und die Projektoren P1, ..., Pn im oberen Bereich der Anordnung montiert
sind, entsteht der Horizont H. Durch Versetzen der Projektoren in
das Zentrum der Anordnung kann der Horizont H bzw. muss die Brennweite
variiert werden, wie durch drei Variationsalternativen P1', P1'', P1''' dargestellt. Der Schatten eines Betrachters B
verschwindet unter dem Horizont. In der Anordnung können sich
viele Betrachter bei geeigneter Dimensionierung in dem ebenfalls
mit B gekennzeichneten Gebiet genau wie in einem Kino aufhalten, ohne
dass sie die Projektionen stören.
-
Das
Raumgefüge
lässt sich
aus Standardelementen aus dem Bühnen-
oder Messebau auch temporär
mit geringen Kosten erstellen. Die Preise für leistungsfähige Rechner
und Projektoren sind in den letzten Jahren auf Bruchteile gefallen,
dabei kommen ebenfalls nur Standardkomponenten zum Einsatz.
-
Besondere
Möglichkeiten
ergaben sich durch die von Prof. Dr. Philipp Slusallek an der Universität des Saarlandes
entwickelte Ray Processing Unit (RPU), die im Unterschied zu den
heute üblichen Graphikprozessoren
erstmals auf dem Ray-Tracing-Verfahren basiert, das durch eine innovative Hardware-Architektur
in Echtzeit berechnet werden kann. Ray-Tracing simuliert akkurat die
Lichtsituation in einer Szene auf physikalischer Basis.
-
Globale
optische Effekte wie Schatten, detaillierte Reflexionen und Brechung,
aber auch die für den
Realismus so wichtigen, aber bisher in Echtzeit nicht realisierbaren,
indirekten Beleuchtungseffekte können
damit präzise
und ohne störende
Artefakte berechnet werden.
-
Im
Ergebnis zeigt sich eine feinere, offenere Ästhetik der Darstellung, die
gerade für
die Rundum-Projektion
große
Vorteile verspricht durch einen verbesserten Zugang zu der audiovisuellen
Information.
-
Für die Projektion
eignet sich sowohl die sequenzielle Stereoskopie mit synchron getakteten LCD-Shutterbrillen, als
auch die passive Variante mit Polarisationsfiltern, mit jeweils
unterschiedlichen Anforderungen an Projektoren und Leinwände.
-
Für die akustische
Immersion kommen unterschiedliche Techniken in Betracht:
Das
an der TU Helsinki entwickelte Multiple Direction Amplitude Panning
(MDAP) arbeitet mit konventioneller Lautstärkevariation, aber in einer
konsequent triangulierten Lautsprecheranordnung und nutzt Max/MSP
auf Standardkomponenten.
-
Die
am Fraunhofer Institut für
digitale Medien in Ilmenau von Prof. Dr. Karlheinz Brandenburg,
populär
geworden durch M23, zur Serienreife entwickelte revolutionäre Klangfeldsynthese
IOSONO nutzt dagegen Felder von einigen hundert separat adressierten
kleinen Lautsprechern. Ihr Durchmesser und Abstand ist dabei kleiner
als die halbe Wellenlänge
der maximal zu übertragenden
Frequenz. Entsprechend koordinierte Variationen der Laufzeiten im
Abstrahlfeld positionieren die abzubildenden Klangquellen faszinierend
punktgenau im Raum.
-
Als
dritte Variante bietet sich ein Ray-Tracing auch der Schallwellen
selbst an, das mit dem gleichen Verfahren wie die Lichtstrahlen „getract" werden kann.
-
Markt
und Umfeld des PentAI ist am ehesten einem Imax-Kino vergleichbar,
bietet aber eine ungleich größere Palette
von medialen Möglichkeiten.
-
PentAI
lässt sich
in verschiedenen Größen realisieren,
von 3 m bis zu ca. 20 m Basisbreite je Leinwand. Der Kostenaufwand
liegt je nach Größe und Baustandard
in der Größenordnung
deutlich unter einem Kinosaal.
-
PentAI
eignet sich insbesondere für
Computerspiele, wobei er Spielraum innerhalb des PentAI ist: Die
Spieler sind vom Spielgeschehen nicht nur panoramisch umgeben, sondern
durch Stereoskopie und 3D-Sound räumlich einbezogen. Mit ihren
Mitspielern kommunizieren sie nicht nur virtuell über das Spiel,
sondern auch direkt, sei es offen oder verdeckt. Zwischen der Konkurrenz
jeder-gegen-jeden, über
Kooperationen bis hin zu Allianzen, Teams und Verrat sind viele
Szenarien denkbar. Tief gestaffelte Spielerhierarchien, das Kapern
und Sprengen des Gesamtraums, erzeugt Spannung, wie sie vor einem Flachbildschirm
so nicht möglich
ist und bietet damit ideale Voraussetzungen für Contests und Meisterschaften.
-
Dies
ist ein weitgehend offener Markt, der auch für Newcomer und Pionieranwendungen
interessant ist, da er noch nicht in direkter Konkurrenz zur heiß umkämpften Konsolen-
und PC-Spieleszene steht. Für
Spieleentwickler eröffnet
zudem der RPU-Chip ganz neue Möglichkeiten,
da sich der erreichbare Realismus dramatisch erhöht, während der Aufwand für die grafische
Darstellung deutlich sinkt. Darüber
hinaus vereinfacht das Hardwaregestützte Ray-Tracing die Grafikprogrammierung,
da es ausreicht, die geometrischen und optischen Eigenschaften der
darzustellenden Szene zu beschreiben. Alle Aspekte entsprechen dabei
direkt der realen Welt und sind daher intuitiv verständlich.
-
Durch
die integrierte Echtzeitfunktionalität und durch die Kompatibilität zu den
meisten elektronischen Medien ist PentAI eine ideale Plattform für die Künste. Es
ist Bühne
und Auditorium zugleich (Kunst, Multimedia, Tanz, Theater, Performance).
-
Ob
das neue Zentrum von Berlin heute so aussähe, wenn PentAI einem breiten
Publikum (und nicht zuletzt den Entscheidern) die Alternativen hätte deutlich
machen können?
Die Voraussetzungen dafür
liegen vor: So gut wie alle neueren Planungen entstehen am Rechner,
zumeist von vorneherein auch als 3D-Modell (Architektur, Städteplanung,
Anlagenbau.)
-
Die
zur Routine gewordene Nutzung von Kernspin- und Röntgen Tomographen oder 3D-Ultraschalluntersuchungen
in der Medizin produzieren eine neue Art von Präparaten, die mindestens so wertvoll
sind, wie ihre "Ahnen" in Formalin. Die
Klimaforschung bedient sich eines immer dichter gespannten Netzes
von Wetterstationen, Bojen, Satelliten und Sondierungen rund um
die Erde. Auch dabei wächst ein
gewaltiger Fundus volumetrischer Daten. All diese Disziplinen sind
in Methodik und Ergebnissen der Visualisierung verpflichtet. Ähnliches
läst sich
von der satellitengestützten
Erderkundung, der Astronomie oder etwa der Seismografie sagen (Ausbildung, Unterweisung,
Training).
-
Statt
der heutigen Panorama-Darstellungen der Frühgeschichte oder uns nicht
unmittelbar zugänglicher
Naturbereiche, lässt
PentAI sie im Museum wieder auferstehen: vorzeitliche Urwelten,
Unterwasserfahrten mit Fischen und Tiefseetieren, intergalaktische
Raumfahrten, wie sie heute weniger realistisch aber doch extrem
faszinierend zum Beispiel in den Besucherkinos der Weltraumstation
auf Cape Canaveral in den USA geboten werden. Die weltweite Faszination
eines breiten Publikums durch die „Körperwelten" ist ein Indikator für die Größe dieses Marktes (Ausstellungen,
Museen, Edutainment).
-
PentAI
ist ein idealer Tanztempel und eine weit offene Plattform für die Ästhetik
der tanzbaren Musik. Die hochentwickelten 3D-Bild- und Tontechniken
könnte
gerade die seit jeher synästhetisch
inspirierte Musik- und
Raveszene beleben. Die enge Verklammerung zwischen Design, Produktion,
Distribution und Erleben in ständigem
Wandel ist so möglich geworden.
Damit wird ein Rave-Event mit algorithmisch erzeugter Musik in einem
dynamischen Bildraum aus virtueller Realität mit echten und virtuellen
Partnern möglich.
Durch die Interaktionen von Bild und Ton können Publikumszenen mittels
(Stereo)Videokameras eingeblendet werden und die Insassen sind Akteure
und Teilnehmer der Szene zugleich (Disco/Rave).
-
PentAI
bietet die Schnittstellen für
alle einschlägigen
Medien und Aktivitäten,
geht aber weit darüber
hinaus: ein live-orientierter Softwaresynthesizer, simultan und
dezentral auf drahtlos vernetzten Laptops eingesetzt, machen die
PentAI zum Battleground.
-
Die
endlose Variabilität
des visuellen und akustischen Erlebnisraums ermöglicht auch den Rückzug aus
der materiellen Welt. Ruhend genießt der Gast das Verschmelzen
von innerer und äußerer Landschaft.
Liegesessel, Wasserpfeifen und „unhörbare" Klangfelder bringen Entspannung. Oder
der Boden des PentAI wird mit Sand gefüllt, die Temperatur erhöht, der
Gast genießt
den Strand, das rauschende Meer. Bei noch höheren Temperaturen liegt er
im Wüstensand
und lauscht auf den Wind, die vereinzelten Tierlaute aus der Wüste, die
bekanntlich lebt. Er sieht die Wanderdünen in ihren herrlichen Farben;
einen verkürzten
Tag lang vom Aufstieg der Sonnen bis zu ihrem Untergang. Oder mit
einem fliegenden Teppich in das Reich von Tausend-und-einer-Nacht.
-
Eine
multimediale Präsentation
als „guided tour" mit volumetrischen
Daten aus Wissenschaft und Forschung ist möglich und wir arbeiten an einer Recherche
nach geeigneten Daten, der Entwicklung der Schnittstellen, einer
Adaption für
die technische und ästhetische
Aufbereitung, Methodik der Echtzeitmanipulation, und Möglichkeiten
sinnvoller akustischer Unterstützung
(Volumetrische Daten).
-
Eine
geeignete Middleware für
ein Surround-Computerspiel,
in dem das Verhalten der nicht von den Spielern kontrollierten Figuren
durch Künstliche
Intelligenz simuliert wird, kann mit der Erfindung genutzt werden.
-
Diese
Middleware steuert die Immersionsumgebung PentAI, die durch Multiagenten-Systeme,
Sprache, Sound and Vision realisiert wird. Das von der Firma X-aitment in
Kooperation mit der DFKI GmbH entwickelte KI-System eignet sich
als die oben angesprochene Middleware. Die von INTRACE vermarktete
Ray-Processing-Unit (RPU) ermöglicht
die Realisierung eines effizienten Echtzeit Ray-Tracing. Für die Verwirklichung
der akustischen Immersion favorisieren wir das System IOSONO des
Fraunhofer-Instituts für
digitale Medien in Ilmenau. Für
die Entwicklung einer interaktiven Multiplayer-Umgebung auf der Grundlage virtueller
Audiosynthesizer kann ein System international bedeutenden Anbieter von
Live-Sequencer-Produkten verwendet werden.
-
Die
bevorzugten Beispiele sollen keinerlei Beschränkung des Schutzumfanges darstellen.
Sie dienen lediglich dem Verständnis.
Der Schutzumfang bemisst sich alleine nach den folgenden Ansprüchen, so
dass Abwandlungen, die im Schutzbereich liegen, ebenfalls abgedeckt
werden.