-
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Manipulation einer Umgebung, insbesondere einer extraterrestrischen Umgebung.
-
Es wird ein Verfahren zur akustischen und optischen Anreicherung/Augmentierung der durch verschiedene Sensoren erfassten Umgebung und der darin befindlichen Objekte für extraterrestrische Einsätze vorgeschlagen. Ein wesentlicher Aspekt dabei ist die Zusammenführung von Sensordaten zur ganzheitlichen Beschreibung und Rekonstruktion einer Umgebung mit darin befindlichen Objekten.
-
Aufgrund des Fehlens einer Atmosphäre im freien Weltraum oder aufgrund von Unterschieden in der Zusammensetzung der Atmosphäre auf einem anderen Himmelskörper, z. B. dem Mars, im Vergleich zur Erde, findet in extraterrestrischen Umgebungen keine oder eine andersartige Übertragung von akustischen Schallereignissen statt. Dies führt dazu, dass die physikalische Umgebung eines Astronauten von dem Astronauten eingeschränkt wahrgenommen wird, da wichtige akustische Rückmeldungen entweder nicht vorhanden oder stark limitiert sind. Dies bezieht sich auf die Wahrnehmung der Umwelt, auf die Wahrnehmung von Objekten und Strukturen sowie auf die Wahrnehmung von anderen Personen in dieser Umgebung.
-
Zudem wirkt die Benutzung von Raumanzügen oder ähnlichen notwendigen Hilfsmitteln limitierend, da neben der Einschränkung der Bewegungsfreiheit auch das Sichtfeld und die räumlichen akustischen Darbietungsmöglichkeiten gegenüber erdgebundenen Tätigkeiten erheblich eingeschränkt sind. Extraterrestrische Umgebungen sind auch durch einen im Vergleich zur Erde verstärkten Hell-Dunkel-Kontrast gekennzeichnet, da kontrastminderndes Streulicht nur in reduziertem Umfang vorhanden ist. Das führt zu einer verzögerten Helligkeitsadaptation beim Wechsel von Licht zu Schatten und zu einer schnelleren Ermüdung. Dies wirkt sich nachteilig auf das situative Bewusstsein und auf die Wahrnehmung der extraterrestrischen Umgebung aus.
-
Ein nicht-technisches Problem ist der Umstand, dass Astronauten verstärkt unter Stress, Angst und Unwohlsein sowie unter Einsamkeit leiden können, was vor allem auch durch die akustische Isolation gegenüber der Außenwelt verstärkt wird.
-
Stand der Technik
-
Obwohl die Lösung der oben genannten Probleme ausschlaggebend für den Erfolg einer bemannten Weltraumexpedition sein kann, wird bisher nur in geringem Umfang an solchen Lösungen gearbeitet.
-
Methoden zur Anreicherung/Augmentierung der Umgebung eines Astronauten sind entweder nicht bekannt oder es werden Ansätze angewendet, bei denen Zustandsänderungen und Informationen durch eine nicht nahtlos in die Umwelt eingebettete audiovisuelle Darstellung erfolgen (bspw. Informationsanzeigen, Pieptöne, Ansagen). Aus dem Stand der Technik sind keine Lösungen bekannt, die eine akustische Anreicherung der Umwelt mit dem Anspruch der nahtlosen Einbettung von virtuellen Objekten in die reale Umgebung adressieren.
-
Die Navigation eines Astronauten erfolgt mittels digitaler 2D-Karten, welche im Helm eingeblendet werden, wobei weitere Parameter und Messwerte zur Überwachung am Display angezeigt werden können. Eine räumliche visuelle Darstellung von Informationen, eingebettet in das Sichtfeld des Astronauten, findet keine Anwendung.
-
Bei den bekannten Lösungen sind akustische Informationen aus der Umgebung nicht verfügbar. Eine Kommunikation findet nur auf klassische Weise statt, ohne die Möglichkeit einer räumlichen akustischen Darstellung von anderen Astronauten.
-
Soweit bekannt, werden keine modernen Darstellungsmöglichkeiten sowie intuitiven Interaktionskonzepte genutzt, sondern konservative Ansätze wie bspw. 2D-Darstellungen, die jedoch den Astronauten die Arbeit erschweren können. Das Hören wird lediglich rudimentär und nicht unter Anwendung des räumlichen Hörens als Informationskanal genutzt: Keine Hörbarkeit der Außenwelt, keine Hörbarkeit von Objekten. Es finden nur unnatürliche Kommunikationslösungen eine Anwendung. Weiterhin wird eine psychische Belastung, welche durch die akustische Isolation des Astronauten von seiner Umwelt hervorgerufen wird, nicht berücksichtigt.
-
Aufgabe der Erfindung
-
Aufgabe der vorliegenden Erfindung ist es deshalb, die reduzierten audiovisuellen Eindrücke, die von einem Astronauten wahrgenommen werden, so aufzubereiten und anzureichern, dass ihm die extraterrestrische Umgebung näherungsweise wie eine erdähnliche Umgebung erscheint, in der er mit anderen Astronauten und Komponenten in gewohnter Weise kommunizieren bzw. interagieren kann. Ferner ist es Aufgabe der vorliegenden Erfindung, die Wartung, die Instandhaltung und teilweise die Fernsteuerung von Maschinen sowie die Exploration der Umgebung durch Astronauten außerhalb von (Raum-)Fahrzeugen durch Bereitstellung der jeweils benötigten Zusatzinformationen effizienter zu machen.
-
Lösung der Aufgabe
-
Die Aufgabe der Erfindung wird gelöst, indem mit Hilfe von Technologien der audiovisuellen Mediated Reality dem Astronauten audiovisuelle Informationen von seiner realen Umgebung, d. h. von der Außenwelt, von Objekten und von anderen Personen als künstlich/virtuell hinzugefügte/augmentierte Informationen bereitgestellt werden. Aufgrund der physikalischen Andersartigkeit der Umwelt des Astronauten im Vergleich zur Erde erfolgt eine technisch vermittelte Darstellung unter Verwendung von Methoden der virtuellen und augmentierten Realität. Die künstliche audiovisuelle Darstellung erfolgt so, dass virtuelle Objekte sich nahtlos/übergangsfrei in die reale Umgebung einbetten. Die so augmentierte Umgebung ist für den Astronauten als eine plausible Einheit wahrnehmbar.
-
Das erfindungsgemäße Verfahren zur audiovisuellen, d. h. akustischen und optischen, Anreicherung/Augmentierung einer realen Umgebung umfasst folgende Schritte:
- a) Sensorgestützte Erfassung und Zusammenführung von akustischen und optischen Parametern einer realen Umgebung mit darin befindlichen Objekten und/oder Personen,
- b) Akustische und optische Rekonstruktion der realen Umgebung zu einem virtuellen audiovisuellen Abbild,
- c) Visuelle und akustische Augmentierung der realen Umgebung zur Realisierung einer zur realen Umgebung widerspruchsfreien audiovisuellen Umgebung.
-
Detaillierte Beschreibung der Lösung
-
Erfindungsgemäß wird vorgeschlagen, mit Hilfe verschiedener Sensoren Parameter einer realen Umgebung, wobei die reale Umgebung eine extraterrestrische Umgebung ist, zu sammeln, zusammenzuführen und durch eine extraterrestrische Umgebungsrekonstruktion (engl.: Extraterrestrial Environment Reconstruction; kurz: EER) zu einem virtuellen Abbild zu verarbeiten.
- 1 zeigt eine schematische Darstellung der extraterrestrischen Aktivität EA zur Verdeutlichung der Lage eines Moduls zur extraterrestrischen Umgebungsrekonstruktion EER als Bindeglied zwischen dem Astronauten U und seinen Interaktionspartnern I. Der Astronaut interagiert beispielsweise mit baulichen Strukturen (taktile Interaktion) 11, bedient ein Gerät (taktile Interaktion) I2, analysiert die Umgebung I3 oder kommuniziert mit Personen (kommunikative Interaktion) I4 und diese Aktionen werden durch das Modul zur extraterrestrischen Umgebungsrekonstruktion EER registriert und verarbeitet. Auf diese Interaktionen erwartet der Astronaut eine akustische und/oder optische Rückmeldung F1, welche je nach Art der extraterrestrischen Umgebung (z. B. Atmosphäre vorhanden oder nicht) physikalisch nicht existent oder gegenüber der Erwartung von ähnlichen Aktionen auf der Erde verändert ist. Der Astronaut kann daraufhin mit der erweiterten Realität (engl.: Augmented Reality) interagieren und Aktionen F2 ausführen. Durch das Modul zur extraterrestrischen Umgebungsrekonstruktion EER wird dann eine Rückmeldung auf registrierte Aktionen generiert und augmentiert, um den audiovisuellen Erwartungen gerecht zu werden.
- 2 veranschaulicht die Eingabe, Ausgabe und die Module der extraterrestrischen Umgebungsrekonstruktion für die audiovisuelle Erweiterung in extraterrestrischen Umgebungen.
-
Mit dieser Rekonstruktion können anschließend akustische Umgebungen realisiert, Augmentierungen von virtuellen Objekten ermöglicht oder Umgebungen audiovisuell manipuliert werden.
-
Die oben genannten, für die audiovisuelle Anreicherung/Augmentierung einer realen Umgebung notwendigen, Verfahrensschritte werden nachfolgend anhand von 2 detailliert erläutert.
-
Schritt a): Akustische und optische Parameter einer realen Umgebung und darin befindlicher Objekte und/oder Personen werden mit Hilfe von geeigneten Sensoren erfasst. Die Sensoren umfassen, wie 2 zeigt, optische Tracker I1, RGB-D Kameras (Inside-Out + Outside-In) I2, Mikrofone I3, sowie Drucksensoren, Beschleunigungssensoren und mechanische Tracker, die durch das Symbol „ ... " umfasst werden. Diese Aufzählung ist nicht abschließend. Abhängig von der zu lösenden Aufgabe können weitere Sensoren, z. B. Thermometer und Körperschallsensoren, hinzukommen. Die Erfassung von Objekten umfasst deren Position und Lage, den Zustand (wie bspw. aus-/eingeschaltet, Akkustand, Kraft), deren Luftschallaussendung, Körpervibrationen, die Objektart, ihre Geometrie und Materialart. Dahingegen umfasst die sensorische Erfassung der realen Umgebung den Luftschall, den Luftdruck, die Temperatur und die Umgebungsart (wie bspw. Wüste, Wald, offene Umgebung, geschlossene Umgebung), die Umgebungsbedingungen (wie bspw. Wetter, Wind), eine 3D-Rekonstruktion, Materialeigenschaften, vorhandene Lichtquellen (Punkt- und Flächenlichtquellen), Schatten und Verdeckungen. Dabei können die hierfür erforderlichen Sensoren an den Raumanzügen der Astronauten vor Ort sowie an Objekten in der unmittelbaren Umgebung der Astronauten sowie in oder an anderen Objekten in größerer Entfernung zum Einsatzort (bspw. Satelliten, Drohnen, Gebäuden) platziert sein. Die sensorische Erfassung aller Parameter erfolgt kontinuierlich, sodass nicht nur ein statischer Zustand, sondern dynamische Zustandsänderungen in der realen Umgebung erfasst werden. In der realen Umgebung ablaufende Vorgänge werden somit als Funktion der Zeit erfasst.
-
Die erfassten akustischen und optischen Parameter sowie weitere erfasste Parameter, z. B. Windstärke, Luftdruck, Temperatur, werden computergestützt in einem Datenmanager IM zusammengeführt. Der Datenmanager IM wird durch ein Embedded System D1 betrieben, welches Teil des Raumanzugs ist und eine kontinuierliche Verbindung zu den Sensoren aufrechterhält. Seitens der Hardware ist dies ein Einplatinencomputer, der nicht größer als eine Kreditkarte ist, mit Schnittstellen für die Sensoren. Seitens der Software werden über die Schnittstellen die Daten empfangen, vorverarbeitet, komprimiert und über eine kabellose Verbindung F1 an ein computergestütztes Modul zur extraterrestrischen Umgebungsrekonstruktion EER übertragen.
-
Schritt b): Mittels des computergestützten Moduls zur extraterrestrischen Umgebungsrekonstruktion EER, das mit dem Datenmanager IM verbunden ist, erfolgt die akustische und optische Rekonstruktion der realen Umgebung zu einem virtuellen audiovisuellen Abbild.
-
Das Modul zur extraterrestrischen Umgebungsrekonstruktion EER ist eine Workstation mit ausreichend Leistung für die Berechnung und Verarbeitung der von den Sensoren gelieferten Daten. Durch die Nutzung leistungsstarker CPUs und Grafikkarten werden die Daten verarbeitet und u. a. zur Erstellung einer Szenenbeschreibung C1, einer 3D-Rekonstruktion C2, zur Analyse von Lichtquellen C3 oder zur Zustandsdetektion von Geräten genutzt. Diese Liste ist nicht abschließend und kann beliebig erweitert werden.
-
Auf der Workstation sind in einer Datenbank D2 Massendaten gespeichert, welche nutzbare Daten (Töne, 3D-Modelle, Materialien, Anleitungen u. a.) umfassen mit typischen terrestrischen Audio- und Videosignalen für alle in der realen Umgebung vorhandenen Objekte und Personen sowie für die ablaufenden Vorgänge für eine audiovisuelle Visualisierung zur Unterstützung des Nutzers. In Abhängigkeit von den gemessenen Parametern werden den Objekten, Personen und Vorgängen akustische und optische Signale aus der Datenbank zugeordnet oder synthetisiert, wie sie in einer terrestrischen Umgebung zu erwarten wären. Daraus resultiert ein virtuelles audiovisuelles Abbild der realen Umgebung, das als Grundlage für die akustische und optische Augmentierung der realen Umgebung dient.
-
Schritt c): Verarbeitete Daten vom Modul zur extraterrestrischen Umgebungsrekonstruktion EER werden dann zurück zum Astronauten übertragen und unterliegen dort einer visuellen Aufbereitung F2 und Verräumlichung F3. Bei der visuellen und akustischen Augmentierung der realen Umgebung zur Realisierung einer zur realen Umgebung widerspruchsfreien audiovisuell augmentierten Umgebung werden die im vorangehenden Schritt zugeordneten akustischen und optischen Signale nun in der realen Umgebung reproduziert, sodass eine zur realen Umgebung widerspruchsfrei audiovisuell augmentierte Umgebung realisiert wird.
-
Die optische Reproduktion der augmentierten Umgebung sowie der augmentierten Objekte in der Umgebung wird mit Hilfe einer stereoskopischen 3D-Wiedergabe unter Anwendung von display- oder projektionsbasierter Videowiedergabe realisiert. Dies erfolgt durch ein im Helm integriertes Head-Mounted Display D3, welches die Sicht des Astronauten durch virtuelle Einbettungen erweitert, wodurch ein visuelles AR V1 entsteht.
-
Die akustische Reproduktion der augmentierten Umgebung sowie der augmentierten Objekte in der Umgebung wird mit Hilfe einer binauralen Audiowiedergabe unter Anwendung von Kopfhörern oder Lautsprechern D4 realisiert. Durch die Verräumlichung der Töne entsteht ein auditives AR V2. AR steht in beiden Fällen für Augmented Reality.
-
Für die funktionelle Augmentierung der Umgebung wurden aufgabengetriebene Szenarien O1, O2, O3, ... entwickelt. Diese umfassen eine 3D-Navigation O1, eine Darstellung eines oder mehrerer virtueller Begleiter (Companions) O2, eine Augmentierung von Geräten und Gerätezuständen, Maschinen sowie Strukturen O3 und/oder eine Darstellung von Umwelteigenschaften, wobei diese Liste nicht abschließend ist.
-
Die akustische Augmentierung in einer extraterrestrischen Umgebung wird mittels einer auf Rekonstruktion basierenden Sonifikation (Hörbarmachung) von nicht vorhandenem Schall (im Weltall) oder aufgrund des Raumanzugs nicht hörbaren Schalls realisiert. Entsprechend der Objektart werden den Objekten Audiosignale aus einer Datenbank zugeordnet oder vom System synthetisiert. Entsprechend dem Objektstatus (Ort, Bewegungsgeschwindigkeit, Vibrationen oder Schall, aufgenommen durch Sensoren, direkt übertragene Information vom Objekt usw.) werden die Audiosignale moduliert. Zusätzlich wird eine Sonifikation auch für die Kollision von Objekten durchgeführt, um beispielsweise Schritte oder Berührungen mit einem Audiosignal zu versehen. Darüber hinaus werden je nach Aufgabe des Astronauten auch Ereignisse und Objekte akustisch synthetisiert, welche keinen Schall im hörbaren Frequenz- und Pegelbereich erzeugen, um die Orientierung und das Situationsbewusstsein zu verbessern.
-
Vorteile der Erfindung
-
Die Erfindung erlaubt es, folgende vorteilhafte Wirkungen zu realisieren:
- • Sonifikation (Hörbarmachung) von Geräten und Gerätezuständen oder anderen informationstragenden Ereignissen (z. B.: Positionen und Bewegung von Objekten, Kollision von Objekten, potentiell gefährliche Situationen). Durch die Sonifikation von real nicht hörbaren Ereignissen, wie z. B. aktuell nicht sichtbare Objekte oder Vibrationen/Schwingungen außerhalb des menschlichen Hörbereichs (aufgenommen beispielsweise durch Sensoren in den Schuhen), können Fehler und Gefahren vermieden werden sowie neue Wege der Exploration erschlossen werden.
- • Verbesserte Kommunikation von Astronauten in der Nähe durch korrekte Lokalisation
- • Visuelle Darstellung von Informationen im 3D-Raum z. B. in Form eines digitalen Kompasses zur Navigation oder in Form visueller Hervorhebungen bestimmter Bauteile und Aufgaben
- • Audiovisuelle Darstellung von Avataren, gesteuert durch entfernte Personen und/oder durch rechnergestützte Automatisierungen
-
Die Vorteile der Erfindung werden nachfolgend mit Hilfe von Anwendungsbeispielen verdeutlicht:
- Ein virtueller Avatar (z. B. als Verkörperung eines physisch entfernten Mitarbeiters aus dem Kontrollzentrum) wird eingeblendet und entsprechend seiner Richtung und Distanz visualisiert und auralisiert, um gemeinsam ein Problem zu beheben; Durch die Rekonstruktion der Umgebung durch das Modul zur extraterrestrischen Umgebungsrekonstruktion EER in Form einer virtuellen Szene mit 3D-Geometrien (3D-Modelle), Materialien für Physically Based Rendering (PBR) - einer Technik zur Erzeugung fotorealistischer 3D-Grafiken - und Beleuchtungsdaten (Lichtstärke, Umgebungslicht, Lichtquellen) und Umgebungsdaten (Innenraum, Außenraum, Halligkeit, ...), können Avatare realistisch audiovisuell in die Umgebung eingefügt werden; Vorteil: Die Person vor Ort fühlt sich nicht allein und kann auf Expertise einer entfernten Person und/oder auf rechnergestützte Informationen zurückgreifen.
-
Bei der Reparatur einer Maschine (z. B. eines Mars Rovers) werden die Zustände der verwendeten Werkzeuge (z. B. Drehzahl eines Akkuschraubers) und Maschinen dargestellt und hörbar gemacht; Die Daten werden vom Gerät übermittelt oder wenn notwendig durch eine Analyse des Videostreams durch die Nutzung von Computer-Vision-basierten Ansätzen ermittelt; Vorteil: Es können Fehler bei der Reparatur vermieden werden und Geräusche, welche auf eine Fehlfunktion von Bauteilen oder Maschinen zurückzuführen sind, können beurteilt werden.
-
Eine reale visuelle Szene wird mit virtuellen Informationen perspektivisch korrekt angereichert; Vorteil: direkte Darstellung von Problemen am Punkt des Problems durch eine geometrische Registrierung virtueller Objekte.
-
Durch die Verwendung zahlreicher Sensordaten (Tiefenkameras, Körperschallmikrofone, Beschleunigungssensoren u. v. m.) wird eine virtuelle Simulation akustisch und visuell aufbereitet (mittels EER) um den Wahrnehmungshorizont eines Astronauten zu erweitern und diesen so bei seinen Aufgaben zu unterstützen (siehe 1 und 2). Diese Simulation ist speziell für den Einsatz in extraterrestrischen Umgebungen konzipiert. Wesentlich dabei ist auch die Generierung von Geräuschen (z. B. Umgebungsgeräuschen), welche das Wohlbefinden der Astronauten verbessern und deren Einsamkeit vermindern sollen.
-
Die Erfindung unterstützt ein sicheres und intuitives Arbeiten durch Reduktion der Komplexität (Informationen sind in die reale Szene eingebettet und werden nicht auf einem separaten Monitor/Audiokanal wiedergegeben). Das situative Bewusstsein (situational awareness) wird verbessert und Stress sowie Ängste werden reduziert.
-
Die Erfindung ist nicht auf den Einsatz in extraterrestrischen Umgebungen beschränkt. Auch auf der Erde existieren, permanent oder temporär, eine Vielzahl von Umgebungen, die ähnlich lebensfeindlich wie extraterrestrische Umgebungen sind und als kritische Umgebungen bezeichnet werden können. Unter einer kritischen Umgebung wird hier eine Umgebung verstanden, in welcher ein menschlicher Akteur ohne eine hermetische oder teilweise hermetische Abschirmung mittels einer Schutzausrüstung nicht überleben kann oder zumindest einem erheblichen Risiko für Gesundheit und Leben ausgesetzt ist.
-
Beispiele für solche Umgebungen und damit verbundene Aktivitäten sind:
- • atmosphärische Umgebungen in großer Höhe (Höhenbergsteigen),
- • unterseeische Umgebungen (Tauchen in Tiefen jenseits der Grenze, die von einem Apnoe-Taucher erreichbar ist, d. h. Tiefen von mehr als 100 m),
- • Umgebungen in einer Ausnahmesituation (z. B. Vor-Ort-Rettungseinsätze bei Chemie-Unfällen, Großfeuern in Gebäuden, Industrieanlagen, großflächigen Waldbränden).
-
Der Fachmann kann diese nicht abschließende Liste beliebig erweitern.
-
Das erfindungsgemäße Verfahren zur audiovisuellen Manipulation und Augmentierung einer extraterrestrischen Umgebung und die zugehörige Vorrichtung können durch den Fachmann problemlos für den Einsatz in solchen kritischen Umgebungen angepasst werden.
