DE102005041712A1

DE102005041712A1 - Verfahren und Vorrichtung zur Simulation mit nahtlosem Übergang zwischen realen und virtuellen Objekten

Info

Publication number: DE102005041712A1
Application number: DE102005041712A
Authority: DE
Inventors: Sven Fleck; Andreas Schilling
Original assignee: Individual
Current assignee: Individual
Priority date: 2005-09-01
Filing date: 2005-09-01
Publication date: 2007-03-08

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Echtzeitsimulation von Sportarten, Spielen und anderen Abläufen, bei denen Interaktion mit realen Objekten stattfindet, die durch die Bildfläche, auf der die Simulationsergebnisse dargestellt werden, hindurchdringen können. Auf der dem Benutzer abgewandten Seite der Bildfläche sind die realen Gegenstände nicht mehr sichtbar, sondern werden durch virtuelle Gegenstände ersetzt, die auf der Bildfläche dargestellt werden.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Echtzeitsimulation von Sportarten, Spielen und anderen Abläufen, bei denen Interaktion mit realen Objekten stattfindet.

Simulationen vieler Sportarten sind heutzutage sehr beliebt. Sie zeichnen sich durch hervorragende Graphikausgabe, aber auch durch ausgefeilte Techniken zur physikalischen Simulation und Techniken der künstlichen Intelligenz zur Steuerung der virtuellen Mitspieler und der Umgebung aus.

Meistens erfolgt die Interaktion mit solchen Anwendungen jedoch noch mit Joystick, Tastatur und Maus. Aber selbst bei fortschrittlichen Virtual-Reality-Umgebungen stellt die Bildausgabeeinheit eine feste Grenze zwischen realer physikalischer Umgebung des Benutzers und simulierter Wirklichkeit dar. Augmented-Reality-Anwendungen versuchen diese Grenze aufzuweichen, allerdings nur visuell, indem virtuelle Objekte in reale Umgebungen eingeblendet werden. Haptische Ausgabegeräte sind noch nicht geeignet, wirklich realistische Interaktionen zu ermöglichen, da sie in den möglichen Freiheitsgraden stark eingeschränkt sind. Wünschenswert wäre z.B. eine Ballspielsimulation, bei der der Benutzer mit realen Bällen wirft, die dann von virtuellen Spielpartnern aufgenommen und vielleicht sogar zurückgespielt werden können.

Konsistener Übergang von Gegenständen zwischen realer und virtueller Welt

Der Erfindung liegt das Problem zugrunde, eine perfekt realistische Interaktion mit Objekten (z.B. mit Bällen) mit der Simulation nahtlos zu verbinden.

Erfindungsgemäß wird das Problem dadurch gelöst, daß Gegenstände (z.B. Bälle) durch die Bildfläche, auf der die Simulationsergebnisse dargestellt werden, hindurchdringen können. So ist es z.B. möglich, einem virtuellen Mitspieler, den man auf der Bildfläche sieht, einen realen Ball zuzuwerfen. Nachdem der Ball in den Bereich hinter der Bildfläche eingedrungen ist, wird er auf der Bildfläche so dargestellt, daß der Eindruck einer konsistenten Fortsetzung seiner vorherigen realen Bewegung entsteht. Ab diesem Zeitpunkt wird das Verhalten des Balls von der Simulation bestimmt; aus einem realen Ball ist also nahtlos ein „virtueller Ball" geworden. Beispielsweise kann also ein durch die Projektionswand geworfener Ball vom virtuellen Mitspieler angenommen und auch – zunächst virtuell – zurückgespielt werden. Der weitere Verbleib des realen Balls ist für den Benutzer nicht sichtbar und daher irrelevant und kann etwa durch ein Netz aufgefangen werden. Erreicht der zurückgespielte virtuelle Ball die Bildfläche, so soll er an dieser Stelle zu diesem Zeitpunkt mit der richtigen Geschwindigkeit und Richtung wieder durch einen realen Ball ersetzt werden. Dazu wird erfindungsgemäß durch eine geeignete Abschußvorrichtung hinter der Projektionswand rechtzeitig ein Ball durch die Projektionswand geschossen. Abschußvorrichtungen für Bälle werden beispielsweise für das Tennistraining in verschiedenen Ausführungen von mehreren Herstellern angeboten. Der Abschußzeitpunkt, sowie gegebenenfalls Position, Richtung, Spin und Geschwindigkeit des Balls werden durch die Simulation gesteuert. Sind diese Parameter (z.B. Position) nicht frei wählbar, weil etwa nur eine oder mehrere fest positionierte Abschußeinheiten zur Verfügung stehen, so kann dies von der Simulation berücksichtigt werden, so daß die Konsistenz zwischen virtueller und realer Ballbahn erhalten bleibt.

Realisierung der Bildfläche

Voraussetzung für das beschriebene Verfahren ist eine Bildfläche zur Darstellung der Simulation, die einerseits von Gegenständen durchquert werden kann, andererseits aber insofern Sichtschutz bietet, als Gegenstände und Vorrichtungen hinter der Fläche für den Benutzer vor der Fläche nicht störend sichtbar werden sollen.

Eine mögliche Ausführung besteht in der Verwendung einer Nebelschicht als Projektionsfläche (Patent Nr. WO002002056111A1), auf die mit einem Projektor das Bild projiziert wird. Displays, die auf dieser Technik beruhen, sind kommerziell erhältlich. Solche Projektionsflächen können von beiden Seiten aus bestrahlt werden. Da Nebelschicht-Projektionsflächen relativ stark lichtdurchlässig sind, sollte in dieser Ausführung der Raum auf der benutzerabgewandten Seite der Projektionsfläche möglichst dunkel gehalten werden. In Weiterbildung der Erfindung kann hinter der Nebelschicht eine schwarze Rauchschicht, die auf gleiche Weise wie die Nebelschicht erzeugt wird, zusätzlichen Sichtschutz ermöglichen.

Sollen, wie z.B. bei der Simulation eines Golfspiels, Gegenstände nur in Richtung vom Betrachter weg in den Bereich hinter der Bildfläche befördert werden, so können alternativ auch Realisierungen der Projektionsfläche verwendet werden, die die Bahn des sie kreuzenden Objekts beeinflussen. Denkbar wäre z.B. eine Anordnung von nur leicht gespannten Textilbändern oder Fäden, die einem Objekt wie einem schnell fliegenden Golfball keinen nennenswerten Widerstand entgegensetzen, sondern diesem ausweichen und so ein Durchtreten durch die Projektionsfläche ermöglichen.

Eine andere mögliche Realisierung einer durchlässigen Bildfläche besteht darin, ein oder mehrere Löcher in der Bildfläche vorzusehen. Sollen Objekte die Fläche an beliebiger Stelle durchdringen können, so muß die Position des Loches durch Bewegen der Bildfläche verändert werden können. Wird nun z.B. ein Ball in Richtung der Bildfläche geworfen, so wird dessen Bahn wie unten beschrieben von einer Meßeinrichtung erfaßt und vom Simulator der Auftreffpunkt auf die Bildfläche berechnet. Die Bildfläche wird anschließend so bewegt, daß sich an dem berechneten Auftreffpunkt ein Loch befindet. Die Löcher können mit steuerbaren Verschlüssen, z.B. Klappen versehen sein, die sich nur dann öffnen, wenn ein Objekt die Fläche durchdringen soll. Die Position der Löcher muß nicht notwendigerweise veränderbar sein, wenn nur Objekte die Bildfläche in Richtung des Benutzers durchdringen sollen, da die Simulation so programmiert werden kann, daß der Durchtrittspunkt der Objekte durch die Bildfläche nur auf Lochpositionen zu liegen kommt.

Eine weitere Möglichkeit besteht in der Verwendung aktiver Anzeigeelemente anstelle eines Projektors und einer Projektionsfläche. So kann ein Bild dadurch erzeugt werden, daß z.B. eine Reihe von Leuchtdioden periodisch mit hoher Geschwindigkeit über die Bildfläche bewegt wird und so angesteuert wird, daß an jedem Ort die der Bildinformation entsprechende Helligkeit erzeugt wird. Kleinen und schnellen Objekten, wie z.B. schnellen Golfbällen kann der ungehinderte Durchflug durch ein solches Display dadurch ermöglicht werden, daß dessen Bewegung der Bewegung des Balls in geeigneter Weise angepaßt wird.

Erfassung und Verfolgung der Objektbewegungen und der Betrachterpositionen – Stereodarstellung

Um einen konsistenten Übergang von realer zu virtueller Objektbewegung zu erreichen, ist es notwendig, die reale, vom Benutzer bewirkte Objektbewegung möglichst genau zu erfassen. Der gegenwärtige Stand der Technik kennt verschiedene Lösungen dieses Problems, z.B. die Verfolgung von Objektbewegungen mit mehreren Kameras oder die genaue Bestimmung der Objektpositionen zu verschiedenen Zeitpunkten mit Lasermeßsystemen.

Für eine perspektivisch richtige Darstellung der Simulationsergebnisse ist es zudem unumgänglich, die genaue Benutzerposition zu kennen. Auch dafür sind verschiedene Techniken bekannt, z.B. magnetisches oder optisches Tracking.

Bekannte Techniken zur zeitmultiplexgesteuerten Stereodarstellung können direkt verwendet werden. Solche Techniken existieren auch für die Darstellung von Szenen für mehrere Benutzer gleichzeitig. Für die Stereodarstellung wird die Position beider Augen jedes Benutzers benötigt. Diese werden bei bekannten Verfahren entweder direkt durch spezielle Eye-Tracking-Verfahren optisch bestimmt, oder aus gemessener Position und Ausrichtung des Kopfes indirekt berechnet.

Weitere Ausführungsformen
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus den Ansprüchen im Zusammenhang mit den nachfolgenden Beschreibungen bevorzugter Ausführungsformen der Erfindung und den dazugehörigen Zeichnungen.
Eine bevorzugte Ausführungsform der Erfindung zur Simulation eines Tennisspiels, ist schematisch in 1 gezeigt.
Sie enthält eine Projektionsfläche (1), die aus einer dünnen Nebelschicht besteht, und auf die mittels eines Projektors (3) vom Simulations-, Erfassungs- und Steuerungsrechner (7) generierte Bilder projiziert werden. Alternativ kann der Projektor auch hinter der Projektionsfläche angebracht sein (2). Auch eine Kombination beider Varianten ist möglich. Der vor der Projektionsfläche stehende Benutzer (5) kann mit dem Tennisschläger (6) einen Tennisball (4) durch die Projektionsfläche (1) schlagen, auf der er Netz und Gegner erkennt. Die von der Trackingvorrichtung (8) an den Simulations-, Erfassungs- und Steuerungsrechner (7) weitergeleiteten Daten über die Position des Benutzers ermöglichen die perspektivisch richtige Darstellung der Szene für diesen Benutzer. Die Flugbahn des Tennisballs wird durch die Trackingvorrichtung (9) erfaßt und ebenfalls dem Simulations-, Erfassungs- und Steuerungsrechner zugeführt. Diese Information wird verwendet, um die Simulation derart zu steuern, daß die Ballbahn konsistent in der Simulation weitergeführt und nach Durchtritt des realen Balls durch die Projektionsfläche ein virtueller Ball auf dieser angezeigt wird. Durch die Simulation wird festgelegt, wie z.B. ein virtueller Mitspieler diesen Ball zurückschlägt. Die entsprechende Bewegung des virtuellen Balls wird auf der Projektionsfläche angezeigt. Gleichzeitig wird die Abschußvorrichtung (10) so angesteuert, daß der abgeschossene reale Ball zum richtigen Zeitpunkt durch die Projektionsfläche (1) auf die Seite des Benutzers fliegt, und dort die simulierte Flugbahn nahtlos fortführt.
Eine weitere bevorzugte Ausführungsform der Erfindung zur Simulation eines Ritterspiels, ist schematisch in 2 gezeigt.
Sie enthält eine Projektionsfläche (11), die aus einer dünnen Nebelschicht besteht, und auf die mittels eines Projektors (13) vom Simulations-, Erfassungs- und Steuerungsrechner (16) generierte Bilder projiziert werden. Alternativ kann der Projektor auch hinter der Projektionsfläche angebracht sein (12). Auch eine Kombination beider Varianten ist möglich. Der vor der Projektionsfläche stehende Benutzer (14) führt ein Schwert (15), mit dem er durch die Projektionsfläche (11) einen Gegner bekämpfen kann, den er auf dieser erkennt. Die von der Trackingvorrichtung (17) an den Simulations-, Erfassungs- und Steuerungsrechner (16) weitergeleiteten Daten über die Position des Benutzers ermöglichen die perspektivisch richtige Darstellung der Szene für diesen Benutzer. Die Position und Orientierung des Schwertes (15) wird durch die Trackingvorrichtung (18) erfaßt und ebenfalls dem Simulations-, Erfassungs- und Steuerungsrechner zugeführt. Diese Information wird verwendet, um die Simulation derart zu steuern, daß der virtuelle gegnerische Ritter konsistent auf die ausgeführten Bewegungen mit dem Schwert reagiert. Durch die Simulation wird außerdem festgelegt, wie der Gegner sein Schwert führt. Diese Bewegung des virtuellen Schwertes wird auf der Projektionsfläche angezeigt. Gleichzeitig wird der Roboter (19) so angesteuert, daß die virtuellen Schwertbewegungen gleichzeitig auch real mit Schwert (20) ausgeführt werden, sofern sie im Arbeitsbereich des Roboters liegen. So ist es möglich, daß der Benutzer sowohl vor als auch hinter der Projektionsfläche spürbaren Kontakt mit dem Schwert des Gegners haben kann, wobei dieser Kontakt konsistent mit der visuellen Simulation ist. In einer Weiterbildung der Erfindung könnte auch der Kontakt des Benutzerschwertes mit der gegnerischen Rüstung durch einen weiteren Roboter realisiert werden.
Weitere Ausführungsformen der Erfindung könnten mit anderen Interaktionsgeräten und Simulationsszenarien realisiert werden. Denkbar sind z.B. Spiele mit Stangen oder Speeren, Gewehren und anderen Schußwaffen, Paintball, Seilziehen, Fingerhakeln, Fußball, Volleyball, Basketball, Tischtennis, Hockey und andere. Außerdem wäre auch das Spritzen von Wasser oder anderen Flüssigkeiten durch die Bildfläche möglich, was auch die Simulation von entsprechenden Spielszenarien erlaubt.

1 Schematische Darstellung einer erfindungsgemäßen Ausführung der Vorrichtung zur Simulation eines Tennisspiels mit nahtlosem Übergang zwischen realen und virtuellen Objekten

1: Projektionsfläche (durchlässig für Tennisball)
2: Projektor (hinter Projektionsfläche)
3: Projektor (vor Projektionsfläche)
4: Tennisball (vor Projektionsfläche)
5: Benutzer
6: Tennisschläger
7: Simulations-, Erfassungs- und Steuerungsrechner
8: Trackingvorrichtung für Benutzerverfolgung
9: Trackingvorrichtung für Ballverfolgung (vor Projektionsfläche)
10: Abschussvorrichtung

2 Schematische Darstellung einer erfindungsgemäßen Ausführung der Vorrichtung zur Simulation eines Ritterspiels mit nahtlosem Übergang zwischen realen und virtuellen Objekten

11: Projektionsfläche (durchlässig für Schwert)
12: Projektor (hinter Projektionsfläche)
13: Projektor (vor Projektionsfläche)
14: Benutzer
15: Schwert
16: Simulations-, Erfassungs- und Steuerungsrechner
17: Trackingvorrichtung für Benutzerverfolgung
18: Trackingvorrichtung zur Verfolgung der Schwertposition und Orientierung
19: Roboter
20: Schwert des Roboters

Referenzen:

PALOVUORI, KARRI; RAKKOLAINEN, ISMO: METHOD AND APPARATUS FOR FORMING A PROJECTION SCREEN OR A PROJECTION VOLUME WO002002056111A1

Claims

Vorrichtung und Verfahren zur Echtzeitsimulation von Sportarten, Spielen und anderen Abläufen, bei denen Interaktion mit realen Objekten stattfindet, wobei die direkte Interaktion mit einem oder mehreren Benutzern mit realen Gegenständen, die geworfen, gestoßen, geschossen, geschoben, gezogen oder anderweitig manipuliert werden, vor einer Bildfläche stattfindet, auf der computergenerierte Bilder das Resultat der Simulation der Abläufe hinter der Bildfläche darstellen, dadurch gekennzeichnet, daß die realen Objekte ungehindert durch die Bildfläche in den Raum hinter der Bildfläche eindringen können oder aus dem Raum hinter der Bildfläche in den Raum vor der Bildfläche herauskommen können, wobei die Objekte oder Objektteile, die sich zu einem bestimmten Zeitpunkt hinter der Bildfläche befinden, zu diesem Zeitpunkt vom Computer simuliert und auf der der Bildfläche für den oder die Benutzer in der richtigen Perspektive visuell dargestellt werden, so daß für den oder die Benutzer der Eindruck eines möglichst nahtlosen Übergangs zwischen Realität vor der Bildfläche und simulierter Realität hinter der Bildfläche entsteht.
Vorrichtung und Verfahren nach Anspruch 1, gekennzeichnet dadurch, daß hinter der Bildfläche eine oder mehrere Vorrichtungen angebracht sind, die – konsistent zur Simulation – Objekte durch die Bildfläche hindurch auf die Benutzerseite bewegen können, oder Objekte so manipulieren können, daß die auf der Benutzerseite befindlichen Objektteile sich konsistent zur Simulation bewegen.
Vorrichtung und Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Bildfläche aus einer Nebel- oder Rauchschicht besteht, auf die mit einem oder mehreren Projektoren Bilder projiziert werden, und die das ungehinderte Durchdringen von Objekten erlaubt.
Vorrichtung und Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Bildfläche ganz oder in Teilen Objekten ausweichen kann, so daß sie von diesen durchdrungen werden kann.
Vorrichtung und Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Bildfläche eine oder mehrere Öffnungen enthält, die durch mechanische Bewegung in der Ebene der Bildfläche so positioniert werden, daß die Bildfläche ungehindert von einem oder einer begrenzten Anzahl von Objekten durchdrungen werden kann.
Vorrichtung und Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet daß zur Darstellung auf der Bildfläche benutzerpoitionsabhängige Bilder oder Stereobildpaare erzeugt werden.
Vorrichtung und Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet daß die Position, die Orientierung, oder die Geschwindigkeit der Objekte, mit denen Benutzerinteraktion stattfindet, einzeln oder eine beliebige Kombination dieser Größen gemessen und zur Steuerung der Simulation verwendet werden.
Vorrichtung zur Erhöhung der Lichtundurchlässigkeit einer aus Nebel oder Rauch bestehenden Projektionsfläche, dadurch gekennzeichnet, daß hinter der Projektionsfläche eine absorbierende Rauch- oder Nebelschicht erzeugt wird.
Vorrichtung zur Erhöhung der Lichtundurchlässigkeit einer aus Nebel oder Rauch bestehenden Projektionsfläche, dadurch gekennzeichnet, daß hinter der Projektionsfläche eine aus schwarzen Fäden oder Textilstreifen bestehende Abschirmung angebracht wird.