EP4661979A1

EP4661979A1 - Verfahren und vorrichtung zum einblenden eines virtuellen objekts

Info

Publication number: EP4661979A1
Application number: EP23757283.9A
Authority: EP
Inventors: Thomas PETERSEIL
Original assignee: Individual
Current assignee: Individual
Priority date: 2023-02-07
Filing date: 2023-08-17
Publication date: 2025-12-17
Also published as: AT526915A2; WO2024165190A1

Abstract

Verfahren und Vorrichtung zum Einblenden eines computergenerierten, virtuellen Objektes (V) in das von einem Benutzer (B) wahrgenommene Sichtfeld einer realen Umgebung, wobei das Einblenden des virtuellen Objekts (V) mittels einer zentralen Datenverarbeitungseinheit (2) in Abhängigkeit von der momentanen Position des Benutzers (B) sowie von der Anwesenheit von Sicht- oder Bewegungshindernissen erfolgt, wobei die Sicht- oder Bewegungshindernisse von der zentralen Datenverarbeitungseinheit (2) anhand eines digitalen Abbilds von Oberflächen der realen Umgebung ermittelt werden. Es wird vorgeschlagen, dass 3D-Bilder angefertigt werden, aus denen von der zentralen Datenverarbeitungseinheit (2) in vorgegebenen Zeitabständen wiederholt ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung im Sichtfeld ermittelt wird, und mittels Sensoren (3) sichtfeldbezogene Zustandsdaten gewonnen werden, die in der zentralen Datenverarbeitungseinheit (2) verarbeitet werden, wobei mithilfe des virtuellen Objekts (V) eine für den Benutzer (B) interaktive und dialogbasierte Wiedergabe der sensorgestützten, sichtfeldbezogenen Zustandsdaten im Sichtfeld des Benutzers (B) erfolgt.

Description

Verfahren und Vorrichtung zum Einblenden eines virtuellen Obj ekts

Die Erfindung betrifft ein Verfahren zum Einblenden eines computergenerierten, virtuellen Obj ektes in das von einem Benut zer wahrgenommene Sichtfeld einer realen Umgebung, insbesondere in das Sichtfeld einer vom Benutzer getragenen, transparenten Wiedergabeeinheit , wobei das Einblenden des virtuellen Obj ekts mittels einer zentralen Datenverarbeitungseinheit in Abhängigkeit von der momentanen Position und der Blickrichtung des Benutzers erfolgt , und das Einblenden des virtuellen Obj ekts zusät zlich in Abhängigkeit von der Anwesenheit von Sicht- oder Bewegungshindernissen erfolgt , wobei die Sicht- oder Bewegungshindernisse von der zentralen Datenverarbeitungseinheit anhand eines digitalen Abbilds von Oberflächen der realen Umgebung ermittelt werden, gemäß dem Oberbegriff von Anspruch 1 , sowie eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens nach Anspruch 7 .

Verfahren dieser Art werden in so genannten „Mixed-Reality (MR) "-Systemen oder „Augmented Reality (AR) "-Systemen verwendet . Hierbei erfolgt das Einblenden eines computergenerierten, virtuellen Obj ektes in das vom Benut zer wahrgenommene Blickfeld einer realen Umgebung in Abhängigkeit von der momentanen Position und Blickrichtung des Benut zers , für deren Bestimmung in herkömmlicher Weise unterschiedliche Sensorik wie Beschleunigungssensoren (Accelerometer oder G- Sensorik) , mitunter auch in Kombination mit Magnetometern, Kameras und/oder Gyroskopen, sowie GPS-Systeme verwendet werden . Die momentane Position und Blickrichtung des Benutzers entscheiden zunächst darüber, ob überhaupt ein virtuelles Obj ekt eingeblendet wird . Das Einblenden des virtuellen Obj ekts in seiner Positionierung und Größe im Blickfeld des Benutzers wird in weiterer Folge maßgeblich in Abhängigkeit von der momentanen Position des beobachtenden Benut zers , insbesondere in Abhängigkeit vom Abstand zum beobachtenden Benutzer vorgenommen, um die realistisch wirkende Illusion eines virtuellen Abstandes zu erzeugen . Hierfür werden insbesondere Wiedergabeeinheiten in Form von Datenbrillen verwendet , also Vorrichtungen, die wie eine Brille getragen werden und in der Lage sind virtuelle Obj ekte in der realen Welt anzuzeigen und diese Obj ekte in Relation zu realen Obj ekten im Raum zu positionieren . Solche Datenbrillen werden auch als „Augmented-Reality"-Brillen oder „Mixed-Reality"- Brillen bezeichnet . Ein Benut zer, der eine solche Brille aufgeset zt hat , sieht die Umgebung wie durch eine normale Sehbrille , allerdings können ihm (holographisch virtuelle ) Obj ekte in das Sichtfeld eingeblendet werden . Alternativ ist auch die Verwendung von Linsen denkbar, die als Wiedergabeeinheit das Einblenden von virtuellen Obj ekten in das Blickfeld des Benut zers erlauben .

Ein möglicher Anwendungsbereich besteht etwa in der Ausbildung und im Training von Einsatz kräften der Polizei , der Feuerwehr oder des Militärs . Die Einsat zkräfte bewegen sich dabei bei unterschiedlichen Lichtverhältnissen und mitunter auch unter akustischer Beschallung durch ein Einsatzgebiet und müssen auf unterschiedliche Szenarien richtig reagieren, die durch das Einblenden virtueller Obj ekte verwirklicht werden . So können etwa im Rahmen einer Ausbildung Einsatzkräfte der Poli zei darin geschult werden ein Gebäude nach Tätern zu durchsuchen, wobei die Täter von einem Ausbildungsleiter als virtuelle Obj ekte hinter Wänden, Türen, Möbelstücken und dergleichen positioniert werden und j e nach Position und Blickrichtung des Aus zubildenden sichtbar sind oder verdeckt . Im Rahmen einer Ausbildung von Einsatzkräften der Feuerwehr kann das Training etwa darin bestehen einen virtuellen Brandherd in einem Gebäude zu bekämpfen und dabei Gefahren durch Rauchgase , Rauchgasexplosionen oder einstürzende Gebäudeteile zu erkennen und entsprechendes Verhalten zu trainieren . Im Rahmen einer Ausbildung von Einsatzkräften des Militärs kann das Vorgehen gegen feindliche Truppen trainiert werden, die als virtuelle Obj ekte in Form vorrückender Truppenteile wie Panzer und dergleichen oder auch feindlicher Soldaten eingeblendet werden .

In der US 2002 /0196202 Al und der US 2003/0210228 Al wird beispielsweise ein Verfahren beschrieben, bei dem Einsatz kräften, die sich in einer Einsatzsituation in einem Gebäudeinneren bewegen, anhand eines dem Einsatzleiter als digitales Abbild vorliegenden Gebäudeplans Informationen in eine Datenbrille eingeblendet werden . Solche Informationen können etwa Warnmeldungen über mögliche Gefahren sein, oder auch Navigationshilfen in Form von Pfeilen und dergleichen . Ein Einblenden von virtuellen Obj ekten unter Berücksichtigung einer möglichen Verdeckung durch bauliche Gegebenheiten oder Möbelstücke ist bei einem Verfahren gemäß der US 2002 /0196202 Al und der US 2003 /0210228 Al nicht möglich . In der US 2002 /0191004 Al wird ein weiteres Verfahren zum Einblenden virtueller Obj ekte zur Ausbildung von Einsat zkräften beschrieben .

In der US 2018 /0330184 Al wird ein Verfahren zur Erstellung eines digitalen Abbilds von Oberflächen eines Gebäudeinneren beschrieben, wobei das Gebäudeinnere mit einem Sensor zur Abstandsmessung vermessen wird . Das Ergebnis der Abstandsmessungen ist eine dreidimensionale Datenpunktwolke , aus der durch Anwendung mathematischer Verfahren der Verlauf von Böden, Decken und Wänden der Innenräume rekonstruiert wird . Ein Einblenden virtueller Obj ekte ist in der US 2018 /0330184 Al nicht vorgesehen .

In der US 2022 /108535 Al werden Verfahren zum Einblenden eines virtuellen Obj ekts in Form eines Avatars in das Sichtfeld einer „Augmented-Reality"-Brille beschrieben . In der US 2022 / 130094 Al werden Verfahren zur Animation eines Avatars beschrieben, insbesondere zur Steuerung von Bewegungen des Avatars auf Basis eines Datennetzes aus Polygonen ("Navigation mesh" , "navmesh" ) . Die WO 2022 /004422 Al beschäftigt sich mit dem Einblenden von virtuellen Obj ekten in das Sichtfeld einer „Augmented-Reality"-Brille , wobei externe Daten einbezogen werden, um das Einblenden des virtuellen Obj ekts realistischer zu gestalten . In der US 2021 /038975 Al wird ein System beschrieben, bei dem Zuschauer mit entsprechenden portablen Endgeräten an AR-Spielen anderer Teilnehmer teilhaben können . In der KR 20210069806 A wird ein Verfahren zur Analyse von Kamerabildern hinsichtlich Raum- und Obj ekterkennung auf Basis neuronaler Net zwerke vorgeschlagen, wobei die so gewonnenen Raum- und Obj ektdaten zur verbesserten Einblendung eines virtuellen Obj ekts verwendet werden .

In der österreichischen Patentanmeldung AT 523 . 953 des Anmelders sowie der korrespondierenden europäischen Patentanmeldung EP 21735597 . 3 des Anmelders wurde ein Verfahren zum Einblenden eines computergenerierten , virtuellen Obj ektes in das von einem Benutzer wahrgenommene Sichtfeld eines realen Gebäudeinneren vorgeschlagen, bei dem das virtuelle Obj ekt gemäß der momentanen Sichtachsen des Benutzers unter Berücksichtigung verdeckender Elemente wie Wände , Türe , Raumteiler oder auch Möbel korrekt eingeblendet werden kann . Hierbei erfolgt das Einblenden des virtuellen Obj ekts zusätzlich in Abhängigkeit von der Anwesenheit eines Sicht- oder Bewegungshindernisses für den Benutzer, wobei das Sicht- oder Bewegungshindernis anhand eines aus planaren Flächenelementen gebildeten, digitalen Abbilds von Oberflächen des Gebäudeinneren ermittelt wird . Eine Möglichkeit besteht darin, dass ein solches digitales Abbild bereits in Form eines digitalen Gebäudeplans existiert , wobei der digitale Gebäudeplan neben Wänden, Raumteiler oder Türen auch bereits die Positionierung von Möbelstücken umfasst . Eine weitere Möglichkeit zur Erstellung eines digitalen Abbilds des Gebäudeinneren besteht darin, dass es durch eine Vermessung des Gebäudeinneren mit einer zur Messung von Tiefeninformation fähigen Kamera ermittelt wird . In diesem Fall kann die zur Messung von Tiefeninformation fähige Kamera an der Wiedergabeeinheit montiert sein, mit der das Gebäudeinnere durchschritten wird . Eine zur Messung von Tiefeninformation fähige Kamera wird auch als 3D-Kamera bezeichnet und kann etwa als ToF ( "Time-of-Flight " ) -Kamera ausgeführt sein . Bei ToF- Kameras handelt es sich um Kameras , die nicht nur ein 2D-Bild aufnehmen, sondern für j edes Aufnahmepixel auch eine Tiefeninformation messen . Unter Tiefeninformation werden Informationen über die Distanzen zwischen den einzelnen Obj ekten einer Szene und der ToF-Kamera verstanden . Mithilfe bekannter mathematischer Verfahren kann aus den so gewonnenen „Scans" an Tiefeninformationen ein digitales Abbild gewonnen werden, das die Oberflächen des Gebäudeinneren mithilfe von Flächenelementen approximiert . Diese Flächenelemente können etwa als planare Flächenelemente in Form von Dreiecken, Vierecken oder Sechsecken vorliegen, die die zu approximierende Oberfläche lückenlos nachbilden . Die gemeinsamen Eckpunkte dieser Flächenelemente werden dabei auch als Knotenpunkte ( „vertices" ) bezeichnet , die dem Betrachter zugewandte Seite der Flächenelemente als „faces" und die Gesamtheit der Knotenpunkte auch als „mesh" . Eine weitere Möglichkeit bekannter mathematischer Verfahren besteht darin den Flächenelementen auch eine Orientierung zuzuschreiben, indem eine Flächennormale auf das betreffende Flächenelement errechnet wird . Das oben genannte Verfahren der AT 523 . 953 und der EP 21735597 . 3 bedient sich dieser Möglichkeiten, indem zunächst ein aus planaren Flächenelementen gebildetes digitales Abbild von Oberflächen des Gebäudeinneren ermittelt wird . In weiterer Folge werden j edoch nur j ene Flächenelemente herangezogen, die zwischen einer Bodenebene des Gebäudeinneren und einer angenommenen Augenhöhenebene liegen, die eine Maximalhöhe für die nachfolgenden Verfahrensschritte definiert . Unter einer Augenhöhenebene wird dabei in der Regel eine horizontale Ebene verstanden, die sich in Augenhöhe befindet . Die genaue Höhenlage ist dabei nicht wesentlich, sie wird beispielsweise mit einer Höhe von 1 , 80m angenommen . Das digitale Abbild des Gebäudeinneren wird somit gewissermaßen in Augenhöhenebene „abgeschnitten" . Des Weiteren werden j ene Flächenelemente ermittelt , deren Flächennormale hori zontal oder verti kal verlaufen, also Flächenelemente , deren Orientierung vertikal oder hori zontal ist . Zudem wird eine horizontale Schichtung zwischen der Bodenebene des Gebäudeinneren und der angenommenen Augenhöhenebene mit einer Mehrzahl von Schichtlagen einer vorgegebenen Schichtdicke vorgenommen .

Die Kategorisierung der Flächenelemente und die Vornahme einer Schichtung werden in weiterer Folge zur Ermittlung von Sichtoder Bewegungshindernissen verwendet , indem zum Einen vertikale Flächenelemente , die Teil des digitalen Abbilds sind, als Sicht- oder Bewegungshindernisse interpretiert werden . Diese Sicht- oder Bewegungshindernisse werden in der Regel Wände , Raumteiler oder hohe Möbelstücke wie Schränke und dergleichen repräsentieren . Zum Anderen werden hori zontale Flächenelemente oder eine Gesamtheit aneinandergrenzender horizontaler Flächenelemente in derselben Schichtlage als Sicht- oder Bewegungshindernisse ermittelt , falls in deren Umfangsbereich horizontale Nebenflächenelemente auffindbar sind, die um mehr als eine Schichtlage unterhalb des horizontalen Flächenelements oder der Gesamtheit aneinandergrenzender hori zontaler Flächenelemente liegen, oder in anderen Worten, wenn in deren Umfangsbereich keine horizontalen Nebenflächenelemente auffindbar sind, die maximal eine Schichtlage unterhalb oder oberhalb des hori zontalen Flächenelements oder der Gesamtheit aneinandergrenzender horizontaler Flächenelemente liegen . Diese Sicht- oder Bewegungshindernisse werden in der Regel niedrige Möbelstücke wie Tische und dergleichen repräsentieren .

Mithilfe der so ermittelten Flächenelemente des digitalen Abbilds als Sicht- oder Bewegungshindernisse kann das Einblenden eines virtuellen Obj ekts in Abhängigkeit von der Anwesenheit des Sicht- oder Bewegungshindernisses auf einfache Weise erfolgen, indem im Rahmen eines Berechnungsalgorithmus Verbindungslinien zwischen einem der momentanen Position und Blickrichtung entsprechenden Augpunkt des Benut zers und Bildpunkten des virtuellen Obj ekts errechnet und innerhalb des Abstandes zwischen dem Augpunkt und den Bildpunkten des virtuellen Obj ekts das Vorliegen von Schnittpunkten der Verbindungslinien mit den als planare Flächenelemente vorliegenden Sicht- oder Bewegungshindernissen ermittelt werden, wobei bei Vorliegen eines Schnittpunkts für einen Bildpunkt des virtuellen Obj ekts der betreffende Bildpunkt im Sichtfeld des Benutzers nicht oder nicht sichtbar eingeblendet wird, und bei Fehlen eines Schnittpunkts für einen Bildpunkt des virtuellen Obj ekts der betreffende Bildpunkt sichtbar eingeblendet wird . Der Augpunkt ist ein Begriff aus der Zentralperspektivität und bezeichnet in herkömmlicher Weise einen Punkt im Raum, der der Position eines Benut zers entspricht und dem die „Sehstrahlen" entspringen . Zwischen diesem Augpunkt und Bildpunkten des darzustellenden, virtuellen Obj ektes werden zunächst Verbindungslinien errechnet . In weiterer Folge wird ermittelt , ob innerhalb des Abstandes zwischen dem Augpunkt und den Bildpunkten des virtuellen Obj ekts Schnittpunkte der Verbindungslinien mit einem als planares Flächenelement vorliegenden Sicht- oder Bewegungshindernis vorliegen . Es wird somit geprüft , ob die Verbindungslinie eines Bildpunktes mit dem Augpunkt ein als Sicht- oder Bewegungshindernis bewertetes Flächenelement schneidet . Im zutref fenden Fall wird der betreffende Bildpunkt des virtuellen Obj ekts im Sichtfeld des Benut zers nicht oder nicht sichtbar eingeblendet . Eine nicht sichtbare Einblendung kann etwa über eine transparente Einblendung erfolgen, bei der der betreffende Bildpunkt für den beobachtenden Benutzer ebenfalls nicht sichtbar wird . Falls kein solcher Schnittpunkt vorliegt , wird der betreffende Bildpunkt sichtbar eingeblendet . Der Berechnungsvorgang beginnend mit der Errechnung der Verbindungslinie und der Klärung, ob ein Schnittpunkt vorliegt , benötigt pro Bildpunkt nur wenige Millisekunden . Der Berechnungsvorgang kann somit rasch genug abgeschlossen werden, um Echt zeit-Anwendungen und eine oftmalige Wiederholung im Zuge der Bewegung des beobachtenden Benutzers durch das Gebäudeinnere zu ermöglichen .

Im Rahmen eines solchen Verfahrens wurde vom Anmelder aufgrund der als planare Flächenelemente des digitalen Abbilds vorliegenden Sicht- oder Bewegungshindernisse eine Anwendung zur Schulung von Einsatzkräften vorgeschlagen, indem virtuelle Obj ekte wie beispielsweise Darstellungen bewaffneter Täter, die sich hinter Sichthindernissen verbergen, dem Benut zer in das Sichtfeld der Wiedergabeeinheit in Abhängigkeit von der Anwesenheit eines Sicht- oder Bewegungshindernisses eingeblendet werden . Die Wiedergabe virtueller Obj ekte kann durch das Einblenden von Navigationshilfen begleitet sein, die auf Basis des vorliegenden digitalen Abbilds den Einsatz kräften etwa den schnellsten Weg zu einem Zielpunkt unter Berücksichtigung von Bewegungshindernissen anzeigen, oder bei schlechten Sichtverhältnissen eine sichere Bewegung im Gebäudeinneren ermöglichen .

Das sichere Bewegen in einem Einsatzgebiet erfordert in der Praxis aber nicht nur das Auffinden eines bestimmten Zieles , sondern auch die Verarbeitung einer Fülle an situationsabhängigen Informationen, die in weiterer Folge auch als sichtfeldbezogene Zustandsdaten be zeichnet werden . Dabei handelt es sich etwa im Falle von Einsatzkräften der Feuerwehr beispielsweise um physi kalische Zustandsdaten wie Temperatur oder Sichtweite am Einsat zort , um chemische Zustandsdaten wie Schadstoffkonzentrationen oder Brandgeruch, um bauliche Zustandsdaten etwa zu Eigenschaften von Baumaterialien oder zu statischen Gegebenheiten am Einsat zort , oder bei Einsätzen im Freien beispielsweise auch um meteorologische Zustandsdaten . Die hier als Zustandsdaten bezeichneten Informationen werden in herkömmlicher Weise zumeist durch bloße Beobachtung oder auch Erfahrung der Einsat z kräfte gewonnen . Mitunter werden für spezifische Messungen auch Messgeräte von den Einsatzkräften mitgeführt . Für einen sicheren und effizienten Einsat z wäre es freilich wünschenswert über ein Maximum an solchen Zustandsdaten zu verfügen . Andererseits dürfen Einsat zkräfte durch eine Fülle an zu verarbeitenden Informationen auch nicht überfordert werden . Ein Überangebot an ungefilterter Information kann sogar hinderlich für den Einsat z sein .

Es besteht daher das Ziel der Erfindung darin unter Nutzung von „Augmented-Reality"-Systemen Verfahren und Vorrichtungen zu schaffen, mit denen beispielsweise im Rahmen eines sicherheitskritischen Einsat zes ein Maximum an situationsbezogenen Daten gewonnen und einem Benutzer so benut zerfreundlich wie möglich bereitgestellt werden kann .

Dieses Ziel wird durch die Merkmale von Anspruch 1 und Anspruch 7 erreicht . Anspruch 1 bezieht sich auf ein Verfahren zum Einblenden eines computergenerierten, virtuellen Obj ektes in das von einem Benutzer wahrgenommene Sichtfeld einer realen Umgebung , insbesondere in das Sichtfeld einer vom Benutzer getragenen, transparenten Wiedergabeeinheit , wobei das Einblenden des virtuellen Obj ekts mittels einer zentralen Datenverarbeitungseinheit in Abhängigkeit von der momentanen Position und der Blickrichtung des Benutzers erfolgt , und das Einblenden des virtuellen Obj ekts zusät zlich in Abhängigkeit von der Anwesenheit von Sicht- oder Bewegungshindernissen erfolgt , wobei die Sicht- oder Bewegungshindernisse von der zentralen Datenverarbeitungseinheit anhand eines digitalen Abbilds von Oberflächen der realen Umgebung ermittelt werden . Erfindungsgemäß wird dabei vorgeschlagen, dass mittels einer zur Messung von Tiefeninformation fähigen Kamera von dem der momentanen Position und Blickrichtung entsprechenden Sichtfeld des Benutzers 3D-Bilder angefertigt werden, aus denen von der zentralen Datenverarbeitungseinheit mithilfe bekannter mathematischer Verfahren in vorgegebenen Zeitabständen wiederholt ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung und somit der Sicht- oder Bewegungshindernisse im Sichtfeld ermittelt wird, und mittels Sensoren sichtfeldbezogene Zustandsdaten gewonnen werden, die in der zentralen Datenverarbeitungseinheit verarbeitet werden, wobei mithilfe des virtuellen Obj ekts eine für den Benutzer interaktive und dialogbasierte Wiedergabe der sensorgestützten, sichtfeldbezogenen Zustandsdaten im Sichtfeld des Benutzers erfolgt . Im Rahmen der Erfindung werden somit zunächst sensorgestützte , sichtfeldbezogene Zustandsdaten gewonnen, also Zustandsdaten, die für das j eweilige Sichtfeld relevant sind und mittels Sensoren gewonnen werden . Diese Sensoren können beispielsweise für einen sicherheitskritischen Einsatz von Einsatzkräften eigens mitgeführt oder installiert werden, oder es wird auf bereits vorhandene Sensoren zur Überwachung von Örtlichkeiten wie Brandmelder, Bewegungssensoren, Sicherheits kameras und dergleichen zurückgegriffen . Bei diesen Sensoren kann es sich auch um luftgestützte Sensoren handeln, bei denen etwa mithilfe von Drohnen sichtfeldrelevante Daten gesammelt werden, beispielsweise im Rahmen einer Luftaufklärung in militärischen Anwendungen, oder um bodengestüt zte Sensoren wie beispielsweise Überwachungs kameras einer vorhandenen Sicherheitsarchitektur . Diese Zustandsdaten werden in weiterer Folge im Sichtfeld des Benutzers mithilfe des virtuellen Obj ekts in Form einer für den Benutzer interaktiven und dialogbasierten Wiedergabe bereitgestellt . Die erfindungsgemäße Wiedergabe der Zustandsdaten ist einerseits in teraktiv ausgeführt , also als Wiedergabe , die eine wechselseitige Bezugnahme auf Ein- und Ausgaben von Daten und Befehlen von Benut zer und zentraler Datenverarbeitungseinheit ermöglicht , und andererseits dialogbasiert , also durch sprachlichen Ausdruck in schriftlicher oder mündlicher Form. Diese dialogbasierte , interaktive Wiedergabe wird erfindungsgemäß mithilfe des virtuellen Obj ekts ermöglicht , das dem Benutzer in sein Sichtfeld eingeblendet wird und das ihm somit den Zugriff auf die von den externen Sensoren gewonnenen und von der zentralen Datenverarbeitungseinheit verarbeiteten und beispielsweise als Datenbanken aufbereiteten Zustandsdaten ermöglicht . Durch den dialogbasierten Zugriff kann der Benut zer beispielsweise mithilfe einer Sprachsteuerung gewünschte sichtfeldbezogene Zustandsdaten abrufen, also etwa durch die mündlich gestellte Frage „ Wie hoch ist die momen tane Kohlenmonoxid-Konzentra tion ?" oder einfach "Kohlenmonoxid?” . Dieser Sprachbefehl wird von einem Mikrofon aufgenommen, das der Benut zer trägt , und über das der mündlich geäußerte Eingabebefehl der zentralen Datenverarbeitungseinheit übermittelt wird . Die zentrale Datenverarbeitungseinheit ruft Messdaten eines entsprechenden Messgeräts ab und gibt sie über das virtuelle Obj ekt im Sichtfeld des Benut zers wieder . Die Wiedergabe kann etwa optisch im Sichtfeld des Benut zers über eine dialogbasierte schriftliche Wiedergabe von Zustandsdaten erfolgen, wie sie von Chatbots und dergleichen bekannt ist , oder akustisch über ein vom Benut zer mitgetragenes Wiedergabegerät wie Kopfhörer und dergleichen, wobei die akustische Wiedergabe über eine vom Benutzer dem virtuellen Obj ekt zugeordnete sprachliche Ausgabe erfolgt . Im erstgenannten Fall stellt das virtuelle Obj ekt selbst eine schriftliche oder sonstige graphische Darstellung der wiedergegebenen Zustandsdaten dar, und im zweitgenannten Fall erfolgt die Wiedergabe der Zustandsdaten in einer vom virtuellen Obj ekt unterstüt zten Form, indem der Benutzer die Wiedergabe dem virtuellen Obj ekt zuordnet und der Benutzer das virtuelle Obj ekt somit als Ausgabeschnittstelle wahrnimmt . Diese Zuordnung kann etwa durch geeignete graphische Aufbereitung des virtuellen Obj ekts erfolgen . Eine Möglichkeit besteht etwa darin die dialogbasierte , interaktive Wiedergabe mithilfe eines virtuellen Obj ekts mit einem antropomorphen Aussehen zu unterstützen . Ein solches computergeneriertes Obj ekt mit einem antropomorphen Aussehen, das zu einer dialogbasierten Interaktion mit dem Benutzer fähig ist , wird mitunter auch als Avatar bezeichnet . In der Regel werden dabei Avatare nicht statisch dargestellt , sondern als Bewegtbild animiert , wofür in der Regel so genannte „3D-Echt zeit-Engines" verwendet werden . Auf diese Weise lassen sich Interaktionen auch optisch darstellen, wodurch für den Benutzer der Eindruck einer Interaktion verstärkt wird . Der Eindruck der Interaktion kann dabei auf vielfältige Weise erreicht werden, beispielsweise durch eine dem virtuellen Obj ekt zugeordnete Sprachfärbung, oder durch Augenkontakt eines antropomorph ausgeführten virtuellen Obj ekts mit dem Benut zer und entsprechende Mundbewegungen . Das virtuelle Obj ekt wird somit vom Benutzer als Benutzerschnittstelle wahrgenommen, auch wenn der physische Datenaustausch zwischen dem Benut zer und der zentralen Datenverarbeitungseinheit mithilfe eines Mikrofons und eines Lautsprechers , oder auch mithilfe von Gestenerkennung und dergleichen erfolgen kann . Die Benut zerschnittstelle kann in diesem Sinn auch als virtuelle Benut zerschnittstelle bezeichnet werden .

Die Erfindung sieht des Weiteren vor die Gewinnung und Wiedergabe der sensorgestützten Zustandsdaten mit iterativ präzisierten räumlichen Daten des Sichtfeldes zu kombinieren . Diese Maßnahme dient einerseits dazu ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung und somit der Sicht- oder Bewegungshindernisse im Sichtfeld des Benut zers zu erhalten, weil sich die physische Umgebung vor allem unter realen Einsatzbedingungen von Einsat zkräften ständig ändern kann . Die automatisiert wiederholte Erhebung räumlicher Daten und das damit verbundene Erfassen von Gefahrenquellen und von Bewegungshindernissen sind für eine genaue Lagebilderstellung entscheidend . Diese Daten werden an die zentrale Datenverarbeitungseinheit übermittelt , die diese räumlichen Daten des Sichtfeldes mit den sichtfeldbe zogenen Zustandsdaten kombiniert und auswertet . Vorzugsweise erfolgt die Bewertung derselben durch die zentrale Datenverarbeitungseinheit automatisiert , da im Echteinsat z keine Zeit besteht diese Daten manuell in ein Lagebild einzupflegen , und der Einsat z autonomer Systeme und automatischer Detektion die Risi ken für Infrastrukturen und Einsat zteams verringert . Die Erfindung ermöglicht es somit durch die Kombination von multimodalen Daten von unterschiedlichen Sensorsystemen mit den in Echt zeit erhobenen räumlichen Daten eine automatische Lagebilderstellung vorzunehmen , wie noch näher ausgeführt werden wird . Wie die praktische Erfahrung zeigt , ist es mitunter erst durch eine Kombination der vor Ort in Echt zeit gewonnenen Daten wie persönliche Wahrnehmung oder 3D-Bildern der S zenerie mit Daten externer Sensoren oder vorhandenen digitalen Plänen möglich, ein korrektes Lagebild inklusive aller erkannten Gefahren und Hindernissen zu erstellen . Diese Daten dienen als Basis für Entscheidungen der zentralen Datenverarbeitungseinheit , um Einsat z kräfte vor Gefahren zu schützen, Bewegungsrouten zu berechnen oder Anweisungen geben zu können .

Andererseits dient die Maßnahme der iterativ präzisierten räumlichen Daten des Sichtfeldes aber auch dazu die Wiedergabe des virtuellen Obj ekts zu optimieren, vor allem wenn es sich dabei um ein virtuelles Obj ekt mit antropomorpher Gestalt handelt , das im Sichtfeld des Benut zers bewegt animiert wird und von Sichthindernissen stets unterschiedlich verdeckt wird . Dabei ist darauf hinzuweisen, dass erfindungsgemäß die wiederholte Messung von Tiefeninformation und die Anfertigung von 3D-Bildern zur Gewinnung eines aktualisierten digitalen Abbildes von Oberflächen der realen Umgebung von dem der momentanen Position und Blickrichtung entsprechenden Sichtfeld des Benut zers erfolgt . Das Sichtfeld des Benut zers ist deshalb entscheidend, weil der Benut zer naturgemäß seine Aufmerksamkeit und damit sein Sichtfeld auf die für ihn momentan relevante Szenerie richtet und eine genaue Analyse des Sichtfeldes daher besonders wichtig ist . Zudem erfolgt auch das Einblenden des virtuellen Obj ekts für die Wiedergabe von Zustandsdaten im Sichtfeld des Benutzers , sodass die genaue Kenntnis der Sicht- und Bewegungshindernisse für eine optimale Einblendung des virtuellen Obj ekts förderlich ist , wie noch näher ausgeführt werden wird . Unter dem Sichtfeld wird dabei in herkömmlicher Weise die räumliche Ausdehnung des binokularen Gesichtsfelds eines Menschen verstanden, also der Summe der beiden monokularen Gesichtsfelder des j eweils rechten und linken Auges allein . Bei einem Erwachsenen beträgt die horizontale Ausdehnung des binokularen Gesichtsfelds etwa 200 ° ( 100 ° nach links und 100 ° nach rechts ) , und die vertikale Ausdehnung etwa 60 ° -70 ° nach oben und 70 ° -80 ° nach unten . Dieses Sichtfeld stellt den Gesamtbereich dar , in dem ohne Zuhilfenahme von Augen- und Kopfbewegungen visuelle Wahrnehmung möglich ist . Die vom Benut zer erfindungsgemäß getragene Wiedergabeeinheit wird dieses Sichtfeld vorzugsweise kaum einschränken . Innerhalb eines zentralen Bereichs des Sichtfeldes ist ein klares Erkennen mit maximaler Wahrnehmungsqualität hinsichtlich Sehschärfe , Mustererkennung und Farbsehen möglich . Dieser zentrale Bereich des Sichtfeldes entspricht einem hori zontalen und vertikalen Seh- oder Blickwinkel von j eweils etwa 40-55 ° . Der hori zontale und vertikale Seh- oder Blickwinkel ist dabei der Winkel zwischen zwei gegenüberliegenden Randpunkten eines Gegenstands und dem Augpunkt in einer horizontalen und einer vertikalen Ebene . Erfindungsgemäß wird wiederholt ein präzisiertes digitales Abbild von Oberflächen des Sichtfeldes erhoben . Dabei muss es sich nicht um das gesamte Sichtfeld handeln . So kann etwa der Bildwinkel der erfindungsgemäß verwendeten 3D-Kameras im Zuge des bildgebenden Verfahrens zur Abbildung eines Ausschnitts einer Szenerie in derselben Größenordnung wie der zentrale Bereich des Sichtfeldes mit maximaler Wahrnehmungsqualität liegen, also im Bereich von 40-55 ° .

Der erfindungsgemäß genannte , vorgegebene Zeitabstand der wiederholten Gewinnung eines aktualisierten digitalen Abbildes kann variieren und der Dynamik der Situation sowie der vorhandenen Rechenleistung angepasst sein . Zum Zeitpunkt der Anmeldung sind beispielsweise Zeitabstände von etwa drei Sekunden machbar, das heißt , dass alle drei Sekunden ein aktualisiertes digitales Abbild des Sichtfeldes des Benut zers erfolgt . Der Vorgang der Aktualisierung des digitalen Abbilds kann beschleunigt und verbessert werden, indem mithilfe aktueller 3D-Bilder ( „scan" ) ein Differenzbild zu einem bereits vorliegenden digitalen Abbild erstellt wird . Falls dabei in Teilbereichen signifikante Abweichungen ermittelt werden, wird das digitale Abbild lediglich in diesen Teilbereichen anhand der aktuellen Daten aktualisiert . Bei den Zustandsdaten kann es sich wie erwähnt um physikalische Zustandsdaten wie z . B . Temperatur oder Sichtweite , oder um chemische Zustandsdaten wie z . B . Schadstoff konzentrationen handeln . Zustandsdaten dieser Art sind beispielsweise für Einsatzkräfte der Feuerwehr entscheidend und werden wie erwähnt entweder von bereits installierten Sensoren erhoben, oder von Sensoren, die von den Einsat zkräften mitgeführt werden . Ein weiteres Beispiel sind sicherheitsrelevante Zustandsdaten beispielsweise für Einsat zkräfte der Polizei . Zustandsdaten dieser Art werden etwa von Videokameras einer bereits vorhandenen Sicherheitsarchitektur erhoben, mit denen zunächst Personen detektiert werden und in weiterer Folge durch Abgleich mit einem digitalen Abbild der realen Umgebung ein mögliches Schuss feld ermittelt wird . Sicherheitsrelevante Zustandsdaten könnten somit beispielsweise die Information „Sicht feld quert das mögliche Schussfeld einer unbekannten Person" beinhalten . Des Weiteren könnte im Rahmen des erfindungsgemäßen Verfahrens auf bereits vorhandene Brand- oder Rauchdetektoren als externe Sensoren zurückgegriffen werden, die einen möglichen Brandherd detektieren . Sicherheitsrelevante Zustandsdaten könnten in diesem Fall die Information „Sicht feld befindet sich im Bereich ansteigender Rauchgaskonzen tra tion" beinhalten . Ein mögliches Anwendungsbeispiel luftgestüt zter Sensoren wie Drohnen und dergleichen wäre beispielsweise im militärischen Bereich im Rahmen von Auf klärungsaktivitäten eines Gefechtsbereiches möglich, wobei sicherheitsrelevante Zustandsdaten beispielsweise die Information „Sichtfeld befindet sich im Schussfeld feindlicher Artillerie" sein können .

Des Weiteren könnte es sich bei den Zustandsdaten auch um physiologische Zustandsdaten wie z . B . Puls , Blutdruck, Sauerstoff Sättigung und dergleichen handeln . Zustandsdaten dieser Art sind für Einsat zkräfte der Rettung entscheidend und werden an einem Patienten von medizinischen Sensoren erhoben . Bei den sichtfeldbezogenen Zustandsdaten handelt es sich somit um physiologische Zustandsdaten eines Patienten im Sichtfeld des Benutzers . Wie bereits ausgeführt wurde , kann die Wiedergabe von Zustandsdaten akustisch über ein vom Benut zer mitgetragenes Gerät wie Kopfhörer, Ohrlautsprecher und dergleichen erfolgen, wobei die akustische Wiedergabe über eine vom Benutzer dem virtuellen Obj ekt zugeordnete , sprachliche Ausgabe erfolgt . Diese Zuordnung kann etwa durch geeignete graphische Aufbereitung des virtuellen Obj ekts erfolgen, beispielsweise in Form eines virtuellen Obj ekts mit einem antropomorphen Aussehen . Zudem kann vorzugsweise vorgesehen sein, dass der benutzerseitige Befehl zur Wiedergabe von Zustandsdaten oder des virtuellen Obj ekts mithilfe einer sprachgesteuerten Eingabeschnittstelle zur zentralen Datenverarbeitungseinheit erfolgt . Durch den dialogbasierten Zugriff kann der Benutzer beispielsweise mithilfe der Sprachsteuerung gewünschte sichtfeldbezogene Zustandsdaten abrufen, also etwa durch die mündlich gestellte Frage „Wie hoch ist die momentane Kohlenmonoxid-Konzentra tion ?" oder einfach "Kohlenmonoxid?" . Dieser Sprachbefehl wird von der als Mikrofon ausgeführten Eingabeschnittstelle aufgenommen, das der Benutzer trägt und über das der mündlich geäußerte Eingabebefehl der zentralen Datenverarbeitungseinheit übermittelt wird . Die sprachgesteuerte Eingabeschnittstelle kann auch zur Eingabe von Befehlen zur Wiedergabe des virtuellen Obj ekts verwendet werden . Ein als Avatar ausgeführtes virtuelles Obj ekt kann etwa über den sprachgesteuerten Befehl „Komm mi t !" dazu aufgef ordert werden dem Benutzer zu folgen .

Des Weiteren wird vorgeschlagen, dass ein automatisierter Abruf von Zustandsdaten in denselben vorgegebenen Zeitabständen oder in anderen vorgegebenen Zeitabständen wie j enen der wiederholten Aktualisierungen des digitalen Abbildes erfolgt . Somit kann eine automatisierte Wiedergabe von Zustandsdaten erfolgen, beispielsweise über den optisch oder akustisch wiedergegebenen Hinweis „Achtung , Schadstoffkonzentra tion erhöht sich !" oder „Sauerstoff Sät tigung des Pa tienten sinkt !" . Der Abruf kann beispielsweise im Takt der Iterationen der Aktualisierungen des digitalen Abbildes erfolgen . Vorzugsweise erfolgt die Verarbeitung der mittels Sensoren gewonnenen sichtfeldbezogenen Zustandsdaten in der zentralen Datenverarbeitungseinheit mithilfe eines künstlichen neuronalen Netzwerks . Ein solches künstlich neuronales Net zwerk wird auch als „Künstliche Intelligenz" oder „KI" bezeichnet . Das beispielsweise als Avatar ausgeführte virtuelle Obj ekt greift somit auf künstliche Intelligenz zurück, um durch so genanntes „Machine Learning" und an s ich bekannter Klassif ikationsverfahren Gefahrenquellen zu identifi z ieren , sowie durch autonome Agentensysteme eine Lagebewertung automatisiert durchzuführen . Alle zur Verfügung stehenden Informationen , die mithilfe der externen Sensoren oder durch wiederholte Erhebung aktualisierter räumlicher Daten gewonnen werden, können von der zentralen Datenverarbeitungseinheit verwendet werden , um eine aktuelle Gefahreneinschät zung tref fen und Einsatz kräfte über den Avatar als Benut zerschnittstelle entsprechend informieren zu können . Des Weiteren kann von der zentralen Datenverarbeitungseinheit eine Indoor- oder Outdoornavigat ion unter Berücksichtigung aller erkannten erfassten Gefahren vorgenommen werden . Ebenso kann der Benut zer über den Avatar durch den permanenten Abgleich der Sensorik mit den erst bei der Echtansicht gewonnenen Daten informiert werden, wo sich im Raum Gegenstände , Möbel oder dergleichen befinden .

Wie bereits erwähnt wurde , kann das virtuelle Obj ekt mit einem antropomorphen Aussehen versehen werden, das zu einer dialogbasierten Interaktion mit dem Benut zer fähig ist . In der Regel werden dabei Avatare nicht statisch dargestellt , sondern als Bewegtbild animiert , wofür in der Regel so genannte „3D- Echt zeit-Engines" verwendet werden . Auf diese Weise lassen sich Interaktionen auch optisch darstellen, wodurch für den Benutzer der Eindruck einer Interaktion verstärkt wird . Um eine korrekte Bewegung des Avatars im Sichtfeld des Benut zers sicherzustellen, bei der Sicht- und Bewegungshindernisse umgangen werden, wird vorgeschlagen, dass im digitalen Abbild hori zontale Freibereiche ermittelt werden, die in vertikaler Proj ektion frei von Sicht- oder Bewegungshindernissen sind, und eine im Sichtfeld des Benutzers zu vollziehende Bewegung des virtuellen Obj ekts von einem Anfangsort zu einem Zielort von der zentralen Datenverarbeitungseinheit in Form eines kürzesten und innerhalb der Freibereiche liegenden Bewegungspfades errechnet wird . Die Ermittlung der hori zontalen Freibereiche kann wie bereits erwähnt wurde anhand der horizontalen Flächenelemente des digitalen Abbilds erfolgen, wobei eine Bodenfläche als Gesamtheit aneinandergrenzender horizontaler Flächenelemente einer untersten Schichtlage ermittelt wird, die in vertikaler Proj ektion frei von Sicht- oder Bewegungshindernisse ist . Dieser Freibereich liegt im digitalen Abbild als Gesamtheit entsprechender Knotenpunkte ( „mesh" ) vor . Diese Knotenpunkte ( „mesh" ) können als so genanntes „Navigation mesh" den oben erwähnten „3D-Echt zeit-Engines" bereitgestellt werden, die es in bekannter Weise zur Bewegungssteuerung von als Bewegtbild animierten virtuellen Obj ekten ( „Avatare" ) verwenden . Das „Navigation mesh" kann dabei gemäß der erfindungsgemäß vorgesehenen Aktualisierungen des digitalen Abbilds in vorgegebenen Zeitabständen erneuert werden, um auf zwischenzeitlich verschobene Obj ekte wie Stühle und dergleichen reagieren zu können . Auf diese Weise kann aufgrund des iterativ präzisierten digitalen Abbildes eine lebensecht scheinende Bewegung des virtuellen Obj ekts unter Vermeidung von Bewegungshindernissen und eine korrekte Verdeckungsrechnung für das Einblenden des Avatars in Abhängigkeit von Sichthindernissen vorgenommen werden .

Des Weiteren kann vorgesehen sein, dass im digitalen Abbild hori zontale Freibereiche wie oben beschrieben ermittelt werden, die in vertikaler Proj ektion frei von Sicht- oder Bewegungshindernissen sind, und eine im Sichtfeld des Benutzers zu voll ziehende Bewegung des virtuellen Obj ekts von einem Anfangsort zu einem Zielort von der zentralen Datenverarbeitungseinheit in Form eines innerhalb der Freibereiche liegenden Bewegungspfades unter Einbeziehung der sensorgestüt zten Zustandsdaten als Randbedingung errechnet wird . Das als Avatar ausgeführte virtuelle Obj ekt bewegt sich somit vom Anfangsort zum Zielort unter Einbeziehung der Zustandsdaten, also beispielsweise unter Vermeidung eines Brandherdes . Mit anderen Worten erfolgt die Ermittlung eines optimalen Bewegungspfades aus der Vielzahl möglicher Bewegungspfade innerhalb der Freibereiche durch Bewertung eines Bewegungspfades anhand vorgegebener Kriterien, beispielsweise eines möglichen Sicherheitsrisikos entlang eines Bewegungspfades , das sich durch das Queren eines möglichen Schussfeldes einer nicht identifi zierten Person einstellen könnte . Der optimale Bewegungspfad ist j ener , bei dem die vorgegebenen Kriterien bestmöglich erfüllt werden, also beispielsweise ein kleinstmögliches Sicherheitsrisiko einstellt . Dieser optimale Bewegungspfad kann dem Benutzer als Navigationshilfe bereitgestellt werden . Eine Möglichkeit besteht etwa darin, dass sich das als Avatar ausgeführte virtuelle Obj ekt entlang des optimalen Bewegungspfades bewegt . Da sich die Bewegung des Avatars im Sichtfeld der Person vollzieht , kann die Person dem Avatar einfach folgen . In einem solchen Anwendungsfall werden die vorgegebenen Zeitabstände , mit denen die zentrale Datenverarbeitungseinheit aus den gemessenen 3D-Bildern wiederholt ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung und somit der Sicht- oder Bewegungshindernisse im Sichtfeld ermittelt , entsprechend kürzer gewählt werden, beispielsweise unter 3 Sekunden, etwa im Sekundentakt .

Die Erfindung bezieht sich des Weiteren auf eine Vorrichtung umfassend eine tragbare , transparente Wiedergabeeinheit zum Einblenden eines computergenerierten, virtuellen Obj ektes in das von einem Benutzer wahrgenommene Sichtfeld einer realen Umgebung, insbesondere in das Sichtfeld der vom Benutzer getragenen, transparenten Wiedergabeeinheit , sowie eine mit der Wiedergabeeinheit verbundene zentrale Datenverarbeitungseinheit zum Generieren und Einblenden des virtuellen Obj ektes in das vom Benut zer wahrgenommene Sicht feld einer realen Umgebung . Erfindungsgemäß wird hierbei vorgeschlagen, dass zumindest eine zur Messung von Tiefeninformation fähige Kamera zur Anfertigung von 3D-Bildern von dem der momentanen Position und Blickrichtung entsprechenden Sichtfeld des Benutzers vorgesehen ist , und die zentrale Datenverarbeitungseinheit ausgelegt ist aus den 3D- Bildern mithilfe bekannter mathematischer Verfahren in vorgegebenen Zeitabständen wiederholt ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung im Sichtfeld zu ermitteln, und Sensoren zur Ermittlung sichtfeldbezogener Zustandsdaten vorgesehen sind, die mit der zentralen Datenverarbeitungseinheit verbunden sind, wobei mithilfe des virtuellen Obj ekts eine für den Benutzer interaktive und dialogbasierte Benut zerschnittstelle zur Wiedergabe der sensorgestützten, sichtfeldbezogenen Zustandsdaten im Sichtfeld des Benut zers verwirklicht ist . Die obigen Ausführungen zum erfindungsgemäßen Verfahren treffen sinngemäß auch auf die erfindungsgemäße Vorrichtung zu .

Vorzugsweise wird vorgeschlagen, dass für den benutzerseitigen Befehl zur Wiedergabe von Zustandsdaten oder des virtuellen Obj ekts eine sprachgesteuerte Eingabeschnittstelle zur zentralen Datenverarbeitungseinheit vorgesehen ist .

Des Weiteren kann vorgesehen sein , dass ein künstliches neuronales Net zwerk ( KI ) zur Verarbeitung der mittels Sensoren gewonnenen sichtfeldbezogenen Zustandsdaten in der zentralen Datenverarbeitungseinheit vorgesehen ist .

Die Erfindung wird in weiterer Folge anhand von Ausführungsbeispielen mithilfe der beiliegenden Figuren näher erläutert . Es zeigen hierbei die

Fig . 1 eine schematische Übersicht über den grundsätzlichen Ablauf der Generierung eines digitalen Abbilds im Rahmen des erfindungsgemäßen Verfahrens ,

Fig . 2 eine schematische Ansicht eines Raumplans eines Gebäudeinneren, das mithilfe einer Datenbrille zur Generierung eines digitalen Abbilds und von Referenzbildern vermessen wird,

Fig . 3 ein Beispiel eines real ermittelten digitalen Abbilds eines Gebäudeinneren,

Fig . 4 eine schematische Übersicht über den grundsät zlichen Ablauf der Ermittlung von Sicht- oder Bewegungshindernissen im Rahmen des erfindungsgemäßen Verfahrens ,

Fig . 5 eine schematische Darstellung zur Erläuterung der horizontalen Schichtung zur Ermittlung der Sicht- oder Bewegungshindernisse , und die Fig . 6 eine schematische Ansicht eines Raumplans eines Gebäudeinneren zur Erläuterung des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung .

Zunächst wird anhand der Fig . 1 bis 5 erläutert , wie im Rahmen der Erfindung ein digitales Abbild gewonnen und aktualisiert wird und daraus Sicht- und Bewegungshindernisse für das Einblenden eines virtuellen Obj ekts V ermittelt werden, und danach wird anhand der Fig . 6 mithilfe eines Aus führungsbeispiels erläutert , wie die erfindungsgemäße Wiedergabe von Zustandsdaten erfolgt . Die Fig . 1 zeigt zunächst eine schematische Übersicht über den grundsätzlichen Ablauf der Generierung eines digitalen Abbilds eines Gebäudeinneren im Rahmen des erfindungsgemäßen Verfahrens . Zunächst ist ein digitales Abbild der dem Rauminneren zugewandten Oberflächen des Gebäudeinneren zu erstellen . Gemäß Fig . 1 wird hierfür eine Wiedergabeeinheit 1 in Form einer Datenbrille verwendet , die mit einer Kamera zur Aufnahme zweidimensionaler Bilder, mit einer 3D-Kamera zur Aufnahme von mit Tiefeninformation versehenen Bildern sowie mit einer Sensorik zur Ermittlung von Position und Blickrichtung versehen ist und in der Fig . 1 oben rechts angedeutet ist . Mit einer solchen Wiedergabeeinheit 1 wird das Gebäudeinnere durchschritten, das beispielsweise einen Grundriss gemäß der Fig . 2 aufweist . Die Fig . 2 zeigt schematisch einige Positionen eines Benutzers B mit einer solchen Wiedergabeeinheit 1 , die vom Benutzer B im Zuge des Durchschreitens der Räume nacheinander eingenommen werden . Das Ergebnis des Durchschreitens ist eine Vielzahl an mit Tiefeninformation versehenen Bildern der Raumansichten, die sich dem Benutzer während des Durchschreitens bieten, und die an eine zentrale Datenverarbeitungseinheit 2 gesendet werden . Bei der zentralen Datenverarbeitungseinheit 2 handelt es sich in der Regel um ein externes Gerät wie beispielsweise ein stationärer oder tragbarer Computer oder Tablet , sie könnte aber auch in der Wiedergabeeinheit 1 integriert sein . Mithilfe bekannter mathematischer Verfahren kann in der zentralen Datenverarbeitungseinheit 2 aus den so gewonnenen „Scans" an Tiefeninformationen ein digitales Abbild gewonnen werden, das die dem Benut zer j eweils zugewandten Oberflächen des Gebäudeinneren mithilfe von Flächenelementen F approximiert . Diese Flächenelemente F sind in der Fig . 2 als planare Flächenelemente F in Form von Dreiecken angedeutet , die die zu approximierenden Oberflächen lückenlos nachbilden . Eine weitere Möglichkeit bekannter mathematischer Verfahren besteht darin den Flächenelementen F auch eine Orientierung zuzuschreiben, indem eine Flächennormale auf das betreffende Flächenelement F errechnet wird . Auf diese Weise können Flächenelemente F als vertikal orientierte Flächenelemente Fv oder als hori zontal orientierte Flächenelemente Fh identifiziert werden, aus denen in weiterer Folge Sicht- oder Bewegungshindernisse rekonstruiert werden können, wie später anhand der Fig . 4 erläutert werden soll . Das Ergebnis des „Scans" ist ein dreidimensionaler „Mesh" des Gebäudeinneren . Sobald eine gewisse Differenz der Höhenkoordinate festgestellt wird, erfolgt die Generierung eines neuen 3D-Modells , da dies als Wechsel des Stockwerkes interpretiert wird . Durch Visualisierung der bereits gescannten Flächen lässt man den Benutzer B wissen, was bereits erfasst wurde und wo noch Lücken im Scan sind . Nachdem der Benutzer B zufrieden ist , werden die 3D-Modelle für j edes Stockwerk am Server ( Tablet- Applikation) oder lokal gespeichert . Darüber hinaus können zusätzlich von j edem Raum ein oder mehrere Referenzbilder beispielsweise als RGB-Bilder aufgenommen werden, die später als Wiedererkennungs-Punkte dienen sollen ( „optische Marker" ) und in einer Datenbank der zentralen Datenverarbeitungseinheit 2 hinterlegt werden . Diesen Referenzbildern werden dabei die j eweiligen, bekannten Aufnahmepositionen zugeordnet , wie sie in der Fig . 2 durch die Rauten angedeutet sind . Anhand dieses Vorgangs kann auch festgestellt werden, welche Räume miteinander verbunden sind . Somit können direkt mögliche Raumwechsel eingeschränkt werden, was bei der Bestimmung des aktuellen Raumes im Positionsbestimmungsverf hren hilfreich sein kann .

Nachdem das digitale Abbild des Gebäudeinneren, die Referenzbilder sowie die Sicht- und Bewegungshindernisse ermittelt wurden, ist die zentrale Datenverarbeitungseinheit 2 für einen Einsatz zum Einblenden virtueller Obj ekte bereit , die in einer Datenbank der zentralen Datenverarbeitungseinheit 2 gespeichert sind . Bei einem Einsatz in einem bislang noch nicht durchschrittenen Gebäudeinneren kann das digitale Abbild anhand eines bekannten Gebäudeplans erfolgen, der mithilfe von 3D-Bildern der vom Benut zer mitgeführten 3D-Kamera ergänzt wird . Bei einem Einsatz im offenen Gelände kann das digitale Abbild anhand eines bekannten Umgebungsplans erfolgen , der mithilfe von 3D-Bildern der vom Benut zer mitgeführten 3D- Kamera ergänzt wird . Mittels eigener Software lassen sich auf dem digitalen Abbild virtuelle Obj ekte V platzieren .

Im Zuge eines Trainings oder Einsat zes bewegt sich ein Benut zer B mit einer Wiedergabeeinheit 1 etwa in Form einer Datenbrille , die mit einer Kamera zur Aufnahme zweidimensionaler Bilder , mit einer 3D-Kamera zur Aufnahme von mit Tiefeninformation versehenen Bildern sowie mit Sensorik zur Ermittlung von Position und Blickrichtung des Benutzers B versehen ist , durch das Gebäudeinnere . Diese Wiedergabeeinheit 1 ist in der Fig . 1 oben links angedeutet . Bei der Durchführung des Trainings oder Einsatzes werden die S zenario- Informationen wieder von der zentralen Datenverarbeitungseinheit 2 an die Applikation der Wiedergabeeinheit 1 übertragen . Damit das Szenario korrekt abläuft , muss das aktuelle Koordinatensystem der Wiedergabeeinheit 1 mit j enem synchronisiert werden, das für die Erstellung des digitalen Abbilds verwendet wurde . Hierfür können die zuvor auf genommenen Referenzbilder verwendet werden . Liefert die Kamera der Wiedergabeeinheit 1 für eine Ansicht ein Bild, das zuvor aufgenommen wurde , kann die Abweichung der beiden Koordinatensysteme errechnet werden . Die Referenzbilder können auch dazu verwendet werden, das Szenario in eingeschränkter Weise fort zuführen, sollte sich die Wiedergabeeinheit 1 nicht mehr orientieren können, da man durch deren Wiedererkennung auf die Position und Orientierung des Benutzers B rückschließen kann . Alternativ wäre es auch denkbar an mehreren Orten sogenannte „Spatial Anchors" zu erstellen . Durch Vergleich der Anchor-Transf ormationen lässt sich ebenfalls eine Differenz der Startpunkte und der Orientierung errechnen . Die Position der Wiedergabeeinheit 1 kann an der zentralen Datenverarbeitungseinheit 2 im digitalen Abbild des Raumplanes dargestellt werden .

Mithilfe der als planare Flächenelemente F des digitalen Abbilds vorliegenden Sicht- oder Bewegungshindernisse kann nun das Einblenden eines virtuellen Obj ekts V in Abhängigkeit von der Anwesenheit eines Sicht- oder Bewegungshindernisses auf einfache Weise erfolgen, indem im Rahmen eines Berechnungsalgorithmus Verbindungslinien zwischen einem der momentanen Position und Blickrichtung des Benut zers B entsprechenden Augpunkt des Benut zers B und Bildpunkten des virtuellen Obj ekts V errechnet und innerhalb des Abstandes zwischen dem Augpunkt und den Bildpunkten des virtuellen Obj ekts V das Vorliegen von Schnittpunkten der Verbindungslinien mit den als planare Flächenelementen F vorliegenden Sicht- oder Bewegungshindernissen ermittelt werden, wobei bei Vorliegen eines Schnittpunkts für einen Bildpunkt des virtuellen Obj ekts V der betreffende Bildpunkt im Sichtfeld des Benutzers B nicht oder nicht sichtbar eingeblendet wird, und bei Fehlen eines Schnittpunkts für einen Bildpunkt des virtuellen Obj ekts V der betreffende Bildpunkt sichtbar eingeblendet wird . Das virtuelle Obj ekt V wird somit in Abhängigkeit von der Anwesenheit eines Sichtoder Bewegungshindernisses entweder zur Gänze , teilweise oder überhaupt nicht sichtbar eingeblendet .

Mithilfe der als planare Flächenelemente F des digitalen Abbilds vorliegenden Sicht- oder Bewegungshindernisse kann aber auch eine Anwendung als Navigationshilfe erfolgen, indem es sich bei den in Abhängigkeit von der Anwesenheit eines Sicht- oder Bewegungshindernisses eingeblendeten virtuellen Obj ekten V um Navigationshilfen handelt , die dem Benut zer B in das Sichtfeld der Wiedergabeeinheit 1 eingeblendet werden . Diese Navigationshilfen können den Einsatzkräften etwa den schnellsten Weg zu einem Zielpunkt unter Berücksichtigung von Bewegungshindernissen anzeigen, oder bei schlechten Sichtverhältnissen eine sichere Bewegung im Gebäudeinneren ermöglichen, wie anhand der Fig . 6 noch genauer beschrieben wird . In der Fig . 1 ist ferner ein Pfeil zu sehen, der zurück zur Generierung eines digitalen Abbilds führt . Dieser Pfeil soll andeuten, dass mittels der an der Wiedergabeeinheit 1 befestigten und zur Messung von Tiefeninformation fähigen Kamera der momentanen Position und Blickrichtung des Benutzers B entsprechende 3D-Bilder angefertigt werden, aus denen ein aktualisiertes digitales Abbild ermittelt werden kann . Da sich die momentane Ansicht eines Raumbereiches im Vergleich zu einem vorab erstellten digitalen Abbild auch ändern kann , indem etwa ein Möbelstück verschoben oder eine Tür geschlossen wurde , wird das digitale Abbild anhand der vom Benut zer B momentan wahrgenommenen, realen Umgebung aktualisiert . Diese Aktualisierung wird in vorgegebenen Zeitabständen wiederholt durchgeführt , wobei der vorgegebene Zeitabstand der wiederholten Gewinnung eines aktualisierten digitalen Abbildes variieren kann und der Dynamik der Situation sowie der vorhandenen Rechenleistung angepasst sein wird . Zum Zeitpunkt der Anmeldung sind beispielsweise Zeitabstände von etwa drei Sekunden machbar , das heißt , dass alle drei Sekunden ein aktualisiertes digitales Abbild des Sichtfeldes des Benutzers B erfolgt . Der Vorgang der Aktualisierung des digitalen Abbilds kann beschleunigt und verbessert werden, indem mithilfe aktueller 3D-Bilder ( „scan" ) ein Differenzbild zu einem bereits vorliegenden digitalen Abbild erstellt wird . Falls dabei in Teilbereichen signifikante Abweichungen ermittelt werden, wird das digitale Abbild lediglich in diesen Teilbereichen anhand der aktuellen Daten aktualisiert .

In weiterer Folge wird anhand der Fig . 4 und 5 die Ermittlung von Sicht- und Bewegungshindernissen aus dem digitalen Abbild erläutert . Wie bereits erwähnt wurde , kann mithilfe bekannter mathematischer Verfahren aus den zuvor beschriebenen Scans des Gebäudeinneren ein digitales Abbild als so genannter „Mesh" gewonnen werden, das die Oberflächen des Gebäudeinneren mithilfe von planaren Flächenelementen F ( „Faces" ) approximiert . Mithilfe einer Applikation, die auf der zentralen Datenverarbeitungseinheit 2 läuft , werden die Meshes , die von der Wiedergabeeinheit 1 erhalten wurden, bearbeitet und daraus ein digitales Abbild erstellt . Die Vertices und Faces werden anhand ihrer Höhe in Stockwerke eingeteilt . Danach werden bei den gescannten Meshes pro Stockwerk alle Vertices und Faces oberhalb einer Augenhöhenebene A, die der durchschnittlichen Augenhöhe entspricht , entfernt , sowie um fehlerhafte Faces bereinigt . Die genaue Höhenlage der Augenhöhenebene A ist dabei nicht wesentlich, sie wird beispielsweise mit einer Höhe von 1 , 80m angenommen . Das digitale Abbild des Gebäudeinneren wird somit gewissermaßen in Augenhöhenebene A „abgeschnitten" . Was sich in Augenhöhe oder knapp darunter befindet wird als Teil eines Sicht- oder Bewegungshindernisses , also Wände , Einrichtung oder sonstiges , gewertet . Was sich in Bodennähe befindet , wird als solcher eingestuft und damit als passierbar bewertet . Hierbei wird wie folgt vorgegangen . Zunächst werden j ene Flächenelemente F ermittelt , deren Flächennormale hori zontal oder vertikal verlaufen , also Flächenelemente F, deren Orientierung vertikal oder hori zontal ist . In weiterer Folge wird eine hori zontale Schichtung zwischen der Bodenebene B des Gebäudeinneren und der angenommenen Augenhöhenebene A mit einer Mehrzahl von Schichtlagen Si ( i=l , ...N) einer vorgegebenen Schichtdicke vorgenommen . Im gezeigten Beispiel der Fig . 5 werden etwa sechs Schichtlagen Si (N=6 ) mit einer Schichtdicke von j eweils 30cm verwendet .

Zum Einen werden nun vertikale Flächenelemente FVj ( j=l , ...M) als Sicht- oder Bewegungshindernisse ermittelt . Diese Sicht- oder Bewegungshindernisse werden in der Regel Wände , Raumteiler oder hohe Möbelstücke wie Schränke und dergleichen repräsentieren . Zum Anderen werden horizontale Flächenelemente Fh_k ( k=l , ...P) oder eine Gesamtheit aneinandergrenzender hori zontaler Flächenelemente Fh_k in derselben Schichtlage als Sicht- oder Bewegungshindernisse ermittelt , falls in deren Umfangsbereich horizontale Nebenflächenelemente Fn auffindbar sind, die um mehr als eine Schichtlage unterhalb des horizontalen Flächenelements Fh_k oder der Gesamtheit aneinandergrenzender hori zontaler Flächenelemente Fh_k liegen . Diese Sicht- oder Bewegungshindernisse werden in der Regel niedrige Möbelstücke wie Tische und dergleichen repräsentieren, im Beispiel der Fig . 5 ist etwa ein Tisch angedeutet . Die so als Sicht- oder Bewegungshindernis identifizierte Gesamtheit aneinandergrenzender hori zontaler Flächenelemente Fh_k können etwa einen Höhenabstand von 90-120 cm von der Bodenfläche N auf eisen, wie im Beispiel der Fig . 5 . Diese Schichtung ermöglicht es zudem, dass hori zontale Flächenelemente Fhj. ( 1=1 , ...Q) , die sich in vertikal aufeinanderfolgenden Schichtlagen Si befinden, als Stufen identifi ziert werden können, wie ebenfalls in der Fig . 5 angedeutet ist . In diesem Sonderfall werden horizontale Flächenelemente Fhi als Sichthindernisse , nicht aber als Bewegungshindernisse interpretiert .

Horizontale Faces werden somit als Sit z- oder Tischflächen, Böden und ähnliches kategorisiert . Vertikale Faces werden hingegen als Wände und somit als nicht passierbare Sicht- oder Bewegungshindernisse kategorisiert . Durch Proj ektionen der Vertices und der Faces auf eine 2D-Fläche lässt sich ein Plan der gescannten Umgebung erstellen . Ein Beispiel eines solchen Plans ist in Figur 3 zu sehen . Anhand der Höhe und Ausrichtung der Normalvektoren der Faces kann die Visualisierung der Faces verfeinert werden, um Höhenunterschiede zwischen den Sichtoder Bewegungshindernissen hervorheben .

Die Gesamtheit aneinandergrenzender horizontaler Flächenelemente Fhi einer untersten Schichtlage kann als Bodenfläche N bewertet werden . Jener Anteil der Bodenfläche N, der in vertikaler Proj ektion frei von Sicht- oder Bewegungshindernisse ist , wird in weiterer Folge als Freibereich bezeichnet . Dieser Freibereich liegt im digitalen Abbild als Gesamtheit entsprechender Knotenpunkte ( „mesh" ) vor, die in weiterer Folge als so genanntes „Navigation mesh" zur Bewegungssteuerung eines virtuellen Obj ekts ( „Avatar" ) verwendet werden kann . Hierfür sind so genannte „3D-Echt zeit- Engines" bekannt , die anhand eines solchen „Navigation mesh" die Bewegungssteuerung von als Bewegtbild animierten virtuellen Obj ekten ( „Avatare" ) vornehmen, wie in weiterer Folge anhand der Fig . 6 erläutert wird .

Die Fig . 6 zeigt den Grundriss eines Gebäudeinneren analog zur Fig . 2 . Die Fig . 6 zeigt des Weiteren die momentane Position eines Benutzers B mit einer Wiedergabeeinheit 1 , mit der ihm ein virtuelles Obj ekt V eingeblendet wird . Der Grundriss liegt als digitales Abbild beispielsweise aufgrund eines bekannten Gebäudeplans vor, oder wurde durch vorheriges Durchschreiten anhand der mitgeführten 3D-Kameras erstellt . Das digitale Abbild wird in beiden Fällen wie erwähnt anhand der mitgeführten 3D-Kameras laufend aktualisiert und durch die Detektion der Anwesenheit und Positionierung von Gegenständen wie Möbel und dergleichen präzisiert .

Des Weiteren wird auf externe Sensoren 3 zugegriffen . In der Fig . 6 ist beispielsweise ein Bewegungssensor in einem Raum im linken oberen Bereich des Gebäudeplans eingezeichnet , der als externer Sensor 3 dient . Dieser Sensor 3 detektiert die Anwesenheit sich bewegender Obj ekte oder Personen und liefert ein Signal bei Anwesenheit sich bewegender Obj ekte oder Personen . Der externe Sensor 3 ist mit der zentralen Datenverarbeitungseinheit 2 verbunden, in der das vom Sensor 3 gelieferte Signal verarbeitet wird . Vorzugsweise erfolgt die Verarbeitung der mittels der Sensoren 3 gewonnenen sichtfeldbezogenen Zustandsdaten in der zentralen Datenverarbeitungseinheit 2 mithilfe eines künstlichen neuronalen Net zwerks . Ein solches künstlich neuronales Netzwerk wird auch als „Künstliche Intelligenz" oder „KI" bezeichnet .

Die zentrale Datenverarbeitungseinheit 2 steuert ferner das Einblenden des computergenerierten, virtuellen Obj ektes V in das vom Benutzer B wahrgenommene Sichtfeld gemäß der momentanen Sichtachsen des Benutzers B unter Berücksichtigung der Anwesenheit von Sicht- oder Bewegungshindernissen wie oben beschrieben . Eine Möglichkeit besteht etwa darin das computergenerierte virtuelle Obj ekt V mit einem antropomorphen Aussehen aus zustatten, das als Bewegtbild so animiert wird, dass auf die Eingabe von Sprachbefehlen des Benutzers B reagiert wird . Ein solches virtuelles Obj ekt V wird im Folgenden auch als Avatar bezeichnet . Auf diese Weise wird für den Benutzer der Eindruck einer Interaktion erzeugt . Um eine korrekte Bewegung des virtuellen Obj ekts V im Sichtfeld des Benut zers B sicherzustellen, wird auf die oben beschriebene Bodenfläche N des digitalen Abbilds des Gebäudeplans der Fig . 6 als Gesamtheit aneinandergrenzender horizontaler Flächenelemente Fhi einer untersten Schichtlage zurückgegriffen, die in vertikaler Proj ektion frei von Sichtoder Bewegungshindernisse ist . Dieser Freibereich liegt im digitalen Abbild als „Navigation mesh" vor, mit dem mithilfe eigener Software , etwa die oben erwähnten „3D-Echt zeit- Engines" , eine Bewegungssteuerung des als Bewegtbild animierten virtuellen Obj ektes V vorgenommen wird . Das „Navigation mesh" kann dabei in vorgegebenen Zeitabständen erneuert werden, um auf zwischenzeitlich verschobene Obj ekte wie Stühle und dergleichen reagieren zu können . Auf diese Weise kann aufgrund des iterativ präzisierten digitalen Abbildes und der Animation durch die zentrale Datenverarbeitungseinheit 2 eine lebensecht scheinende Bewegung des virtuellen Obj ekts V unter Vermeidung von Bewegungshindernissen und eine korrekte Verdeckungsrechnung für das Einblenden des virtuellen Obj ekts V in Abhängigkeit von Sichthindernissen vorgenommen werden .

Im vorliegenden Beispiel der Fig . 6 könnte es sich etwa um ein Szenario für Einsat zkräfte der Polizei handeln . Der Benutzer B ist Teil der Einsatzkräfte und befindet sich in einem Gebäude , in dem ein bewaffneter Täter vermutet wird . Der Auftrag lautet das Gebäude zu durchsuchen, unbeteiligte Personen zu evakuieren und den Täter zu stellen . Der Benutzer B ist hierfür mit der Wiedergabeeinheit 1 ausgerüstet , die mit der zentralen Datenverarbeitungseinheit 2 verbunden ist , sodass auch seine Position der zentralen Datenverarbeitungseinheit 2 j ederzeit bekannt ist . Die zentrale Datenverarbeitungseinheit 2 ist des Weiteren mit externen Sensoren 3 verbunden, beispielsweise mit dem in der Fig . 6 dargestellten Bewegungssensor .

Der Sensor 3 liefert nun ein Signal für die Anwesenheit einer Person im linken oberen Raum des Gebäudeplans an die zentrale Datenverarbeitungseinheit 2 . Die zentrale Datenverarbeitungseinheit 2 detektiert die Möglichkeit , dass es sich um den bewaffneten Täter handeln könnte , sowie die Nähe des Benut zers B , dessen Sichtfeld bei Verlassen seines in der Fig . 6 gezeigten, momentanen Standortes in das Schussfeld des möglichen Täters gelangen könnte . Die zentrale Datenverarbeitungseinheit 2 übermittelt somit eine Warnung an die Wiedergabeeinheit 1 als sicherheitsrelevante Zustandsdaten „Sicht feld könn te das mögliche Schussf ld einer unbekannten Person queren" und steuert die Wiedergabe dieser Zustandsdaten mit Unterstüt zung des virtuellen Obj ekts V . Das als Avatar ausgeführte virtuelle Obj ekt V könnte sich etwa unter gleichzeitiger akustischer Wiedergabe der Warnung über einen vom Benutzer B getragenen Ohrlautsprecher zum Benut zer B wenden .

In weiterer Folge kann die mit künstlicher Intelligenz versehene zentrale Datenverarbeitungseinheit 2 auch bei der weiteren Handlungsplanung unterstützen . So kann anhand der gestellten Aufgabe unbeteiligte Personen zu evakuieren und den Täter zu stellen eine bessere Positionierung des Benut zers B überlegt werden . Die zentrale Datenverarbeitungseinheit 2 errechnet hierfür mögliche Bewegungspfade P innerhalb der Freibereiche unter Einbeziehung der Zustandsdaten, also unter Verringerung eines möglichen Sicherheitsrisikos entlang eines Bewegungspfades P , das sich durch das Queren eines möglichen Schussfeldes der nicht identifi zierten Person einstellen könnte . Andererseits sollte der Bewegungspfad P auch die Identifi zierung einer unbeteiligten Person erlauben . Der optimale Bewegungspfad P ist j ener , bei dem sich also beispielsweise ein kleinstmögliches Sicherheitsrisiko einstellt , der aber dennoch eine Identifizierung der Person im linken oberen Raum gestattet . Dieser optimale Bewegungspfad P ist in der Fig . 6 eingezeichnet und kann dem Benutzer B als möglicher Bewegungspfad P vorgeschlagen werden . Die Wiedergabe kann wiederum über das als Avatar ausgeführte virtuelle Obj ekt V erfolgen, indem sich der Avatar beispielsweise über entsprechende Handbewegungen bemerkbar macht und dem Benut zer B entweder über eine akustische Wiedergabe über einen Ohrlautsprecher oder lautlos über Handbewegungen ein mögliches Verlassen der Position und die geplante Bewegungsrichtung vorschlägt . Der Benut zer B kann seine Zustimmung durch den mündlich artikulierten Eingabebefehl „OK" signalisieren, der von einem vom Benutzer B mitgeführten Mikrofon der zentralen Datenverarbeitungseinheit 2 übermittelt wird . Die zentrale Datenverarbeitungseinheit 2 startet daraufhin die Animation des virtuellen Obj ekts V in Form einer Bewegung entlang des errechneten optimalen Bewegungspfades P . Die Navigation des Benutzers B entlang des errechneten optimalen Bewegungspfades P kann somit einfach dadurch erfolgen, indem der Benutzer B dem Avatar folgt .

Mithilfe der Erfindung wird somit ein Verfahren bereitgestellt , bei dem unter Nut zung von „Augmented-Reality" -Systemen beispielsweise im Rahmen eines sicherheits kritischen Einsatzes ein Maximum an situationsbezogenen Daten gewonnen und einem Benut zer B benut zerfreundlich bereitgestellt werden kann . Anwendungen der Erfindung sind dabei auch im privaten Bereich denkbar, indem von einem personalisierten Avatar sichtfeldbezogene Zustandsdaten von externen Sensoren für den Benut zer B erhoben werden und in Form einer interaktiven und dialogbasierten Wiedergabe erfindungsgemäß bereitgestellt werden .

Claims

Patentansprüche :

1 . Verfahren zum Einblenden eines computergenerierten, virtuellen Obj ektes (V) in das von einem Benut zer ( B) wahrgenommene Sichtfeld einer realen Umgebung, insbesondere in das Sichtfeld einer vom Benutzer ( B) getragenen, transparenten Wiedergabeeinheit ( 1 ) , wobei das Einblenden des virtuellen Obj ekts (V) mittels einer zentralen Datenverarbeitungseinheit ( 2 ) in Abhängigkeit von der momentanen Position und der Blickrichtung des Benutzers ( B ) erfolgt , und das Einblenden des virtuellen Obj ekts (V) zusätzlich in Abhängigkeit von der Anwesenheit von Sicht- oder Bewegungshindernissen erfolgt , wobei die Sicht- oder Bewegungshindernisse von der zentralen Datenverarbeitungseinheit ( 2 ) anhand eines digitalen Abbilds von Oberflächen der realen Umgebung ermittelt werden, dadurch gekennzeichnet, dass mittels einer zur Messung von Tiefeninformation fähigen Kamera von dem der momentanen Position und Blickrichtung entsprechenden Sichtfeld des Benutzers ( B) 3D-Bilder angefertigt werden, aus denen von der zentralen Datenverarbeitungseinheit ( 2 ) mithilfe bekannter mathematischer Verfahren in vorgegebenen Zeitabständen wiederholt ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung und somit der Sicht- oder Bewegungshindernisse im Sichtfeld ermittelt wird, und mittels Sensoren ( 3 ) sichtfeldbezogene Zustandsdaten gewonnen werden, die in der zentralen Datenverarbeitungseinheit ( 2 ) verarbeitet werden, wobei mithilfe des virtuellen Obj ekts (V) eine für den Benutzer ( B) interaktive und dialogbasierte Wiedergabe der sensorgestützten, sichtfeldbezogenen Zustandsdaten im Sichtfeld des Benutzers ( B ) erfolgt .

2 . Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der benut zerseitige Befehl zur Wiedergabe von Zustandsdaten oder des virtuellen Obj ekts (V) mithilfe einer sprachgesteuerten Eingabeschnittstelle zur zentralen Datenverarbeitungseinheit ( 2 ) erfolgt .

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein automatisierter Abruf von Zustandsdaten in denselben vorgegebenen Zeitabständen oder in anderen vorgegebenen Zeitabständen wie jenen der wiederholten Aktualisierungen des digitalen Abbildes erfolgt.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Verarbeitung der mittels Sensoren (3) gewonnenen sichtfeldbezogenen Zustandsdaten in der zentralen Datenverarbeitungseinheit (2) mithilfe eines künstlichen neuronalen Netzwerks („KI") erfolgt.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass im digitalen Abbild horizontale Freibereiche ermittelt werden, die in vertikaler Projektion frei von Sicht- oder Bewegungshindernissen sind, und eine im Sichtfeld des Benutzers (B) zu vollziehende Bewegung des virtuellen Objekts (V) von einem Anfangsort zu einem Zielort von der zentralen Datenverarbeitungseinheit (2) in Form eines kürzesten und innerhalb der Freibereiche liegenden Bewegungspfades (P) errechnet wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass im digitalen Abbild horizontale Freibereiche ermittelt werden, die in vertikaler Projektion frei von Sicht- oder Bewegungshindernissen sind, und eine im Sichtfeld des Benutzers (B) zu vollziehende Bewegung des virtuellen Objekts (V) von einem Anfangsort zu einem Zielort von der zentralen Datenverarbeitungseinheit (2) in Form eines innerhalb der Freibereiche liegenden Bewegungspfades (P) unter Einbeziehung der sensorgestützten Zustandsdaten als Randbedingung errechnet wird.

7. Vorrichtung umfassend eine tragbare, transparente Wiedergabeeinheit (1) zum Einblenden eines computergenerierten, virtuellen Objektes (V) in das von einem Benutzer (B) wahrgenommene Sichtfeld einer realen Umgebung, insbesondere in das Sichtfeld der vom Benutzer (B) getragenen, transparenten Wiedergabeeinheit (1) , sowie eine mit der Wiedergabeeinheit (1) verbundene zentrale Datenverarbeitungseinheit (2) zum Generieren und Einblenden des virtuellen Objektes (V) in das vom Benutzer (B) wahrgenommene Sichtfeld einer realen Umgebung, dadurch gekennzeichnet, dass zumindest eine zur Messung von Tiefeninformation fähige Kamera zur Anfertigung von 3D-Bildern von dem der momentanen Position und Blickrichtung entsprechenden Sichtfeld des Benutzers (B) vorgesehen ist, und die zentrale Datenverarbeitungseinheit (2) ausgelegt ist aus den 3D- Bildern mithilfe bekannter mathematischer Verfahren in vorgegebenen Zeitabständen wiederholt ein aktualisiertes digitales Abbild von Oberflächen der realen Umgebung im Sichtfeld zu ermitteln, und Sensoren (3) zur Ermittlung sichtfeldbezogener Zustandsdaten vorgesehen sind, die mit der zentralen Datenverarbeitungseinheit (2) verbunden sind, wobei mithilfe des virtuellen Objekts (V) eine für den Benutzer (B) interaktive und dialogbasierte Benutzerschnittstelle zur Wiedergabe der sensorgestützten, sichtfeldbezogenen Zustandsdaten im Sichtfeld des Benutzers (B) verwirklicht ist.

8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass für den benutzerseitigen Befehl zur Wiedergabe von Zustandsdaten oder des virtuellen Objekts (V) eine sprachgesteuerte Eingabeschnittstelle zur zentralen Datenverarbeitungseinheit (2) vorgesehen ist.

9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass ein künstliches neuronales Netzwerk („KI") zur Verarbeitung der mittels Sensoren (3) gewonnenen sichtfeldbezogenen Zustandsdaten in der zentralen Datenverarbeitungseinheit (2) vorgesehen ist.