-
Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung.
-
Das Wissen um die Veränderungen auf der Erdoberfläche spielt in einer Vielzahl von Disziplinen eine erhebliche Rolle. Beispielsweise sind Positionsveränderungen von realen Objekten in einem realen Gelände in Krisen- und Kriegsgebieten besonders interessant, um beispielsweise Truppen- und/oder Materialbewegungen nachvollziehen zu können, wobei ein besonderes Interesse darin besteht zu wissen, zu welchem Zeitpunkt welcher Truppenteil mit welcher Ausrüstung sich auf welchem Teil der Erdoberfläche aufhält oder zu wissen, zu welchem Zeitpunkt welcher Truppenteil mit welcher Ausrüstung in welchen Teil der Erdoberfläche verlegt wurde. In diesem Zusammenhang können die Truppen und deren Material als bewegliche reale Objekte betrachtet werden.
-
Alternativ oder zusätzlich ist die Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung auch für den Katastrophenschutz sowie für Überwachungs- und/oder Sicherheitstechnik von großer Bedeutung. Beispielsweise kann es nach einer Naturkatastrophe in einer abgelegenen Region der Erde besonders wichtig für einen schnellen, zielgerichteten und effektiven Einsatz von Hilfsmitteln und -Personal sein, möglichst schnell, detailliert und umfassend festzustellen, welche Veränderungen in der Realumgebung durch die Naturkatastrophe hervorgerufen wurden. So ist es nach einem Erdrutsch beispielsweise besonders wichtig zu wissen, welche Teile der Infrastruktur in dem betroffenen Gebiet, also in der Realumgebung befindliche reale Objekte, von Erdmassen verschüttet und damit nicht benutzbar sind. Auch die Zerstörung oder Beschädigung von Gebäuden oder sonstigen Objekten stellt in diesem Zusammenhang eine wichtige Information dar.
-
Im Bereich der Sicherheits- und/oder Überwachungstechnik gibt es ebenfalls eine Vielzahl von Anwendungsgebieten, in denen es besonders wichtig ist, einen guten Überblick über die kurzfristige Veränderung der Realumgebung, insbesondere der darin befindlichen Objekte zu verfügen. Als eines von vielen Beispielen sei hier die Prävention terroristischer Anschläge genannt. Hier kann es in der Umgebung von strategisch und/oder ideell hochrangigen Zielen von besonderem Interesse sein, die Realumgebung, gegebenenfalls auch weiträumig auf Veränderungen, insbesondere hinsichtlich Veränderungen der in der Realumgebung befindlichen realen Objekte hin zu untersuchen, um beispielsweise das Deponieren, Anbringen oder Präparieren von Sprengvorrichtungen festzustellen und entsprechende Gegenmaßnahmen, wie beispielsweise die Evakuierung oder die Entschärfung der Sprengvorrichtung, einleiten zu können.
-
Im Stand der Technik sind dazu unterschiedliche Verfahren bekannt, die vornehmlich auf der Auswertung von zweidimensionalen Bilddaten, insbesondere auf der Auswertung von Luftbildern des entsprechenden Teils der Realumgebung basieren. Derartige Verfahren haben besonders, aber keinesfalls ausschließlich für zweidimensionale Bildaufnahmen im sichtbaren Bereich des elektromagnetischen Spektrums den Nachteil, dass unterschiedliche Bedingungen bei der jeweiligen Aufnahme der Bildaufnahmen den Vergleich zwischen den zeitlich versetzt aufgenommenen Bildaufnahmen von jeweils dem gleichen Teil der Realumgebung deutlich erschweren.
-
Zu den Bedingungen zählen unter anderem die Tageszeit, die Jahreszeit und das Wetter. Beispielsweise kann bei Bildaufnahmen, die innerhalb eines kurzen zeitlichen Abstands generiert werden, selbst an einem hellen und sonnigen Tag der jeweils veränderte Schattenwurf des Geländes und/oder der im realen Gelände befindlichen realen Objekte dazu führen, dass die Ermittlungen von Veränderungen in der Realumgebung, insbesondere die für die Ermittlung von Veränderungen in weitläufigen Bereichen der Realumgebung wünschenswerte Automatisierung nicht oder nur unter unverhältnismäßig hohem Aufwand realisiert werden kann.
-
Ein weiteres Problem bei der Auswertung von zweidimensionalen Bildaufnahmen besteht darin, dass die Bildaufnahmen in den seltensten Fällen aus der exakt identischen Position und/oder Ausrichtung aufgenommen werden. Die daraus resultierenden Unterschiede hinsichtlich der Perspektive der Bildaufnahmen führen ebenfalls dazu, dass die Ermittlung von Veränderungen in der Realumgebung, insbesondere die automatische Ermittlung von Veränderungen in einem großflächigem Gebiet der Realumgebung deutlich erschwert bis unmöglich wird, selbst wenn die zum Vergleich zur Verfügung stehenden Bildaufnahmen den gleichen Teil der Realumgebung abbilden.
-
Vor diesem Hintergrund ist es die Aufgabe der vorliegenden Erfindung, ein Verfahren zur Ermittlung und Darstellung von Veränderungen in einer Realumgebung anzugeben, mit dem die Veränderungen, auch in einem großem Gebiet der Realumgebung, möglichst schnell, insbesondere ohne das Zutun eines menschlichen Auswerters, ermittelt und dargestellt werden können.
-
Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass eine Auswertung von zumindest zwei zeitlich versetzt aufgenommenen Sätzen von bei einem Überflug über und/oder einer Durchfahrt durch die Realumgebung aufgenommenen Sensordaten vorgenommen wird, wobei die Auswertung die Erzeugung einer computergenerierten, die Realumgebung geospezifisch abbildenden Simulationsumgebung aus je einem Satz der Sensordaten umfasst, und wobei die jeweilige Simulationsumgebung zumindest ein Höhenverlauf der Realumgebung zum Zeitpunkt der Aufnahme abbildet, und wobei ferner die Auswertung zumindest ein Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen umfasst. Das erfindungsgemäße Verfahren sieht dabei weiter vor, dass im Anschluss an die Auswertung der Sensordaten die Darstellung von zumindest dem Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebung erfolgt.
-
Damit beruht das Verfahren auf dem erfindungsgemäßen Grundgedanken eine dreidimensionale oder zumindest 2,5-dimensionale Abbildung der Realumgebung, nämlich die sogenannte Simulationsumgebung aus dem jeweiligen Satz von Sensordaten zu erzeugen und zur Ermittlung und Darstellung von Veränderungen in der Realumgebung zumindest die Höhenverläufe der Oberfläche der 2,5- oder dreidimensionalen Simulationsumgebung miteinander zu vergleichen. Dies bedeutet, dass die aus den Sensordaten generierten Höheninformationen der Simulationsumgebungen als Abbildungen der Realumgebung zur Ermittlung von Veränderungen in der Realumgebung herangezogen werden.
-
Dies hat den Vorteil, dass beispielsweise ein Schattenwurf des Geländes und/oder von Objekten, verursacht durch einen unterschiedlichen Sonnenstand oder unterschiedlichen Helligkeiten bei der jeweiligen Aufnahme von herkömmlichen zweidimensionalen Bildaufnahmen, keinen Einfluss auf den Vergleich haben oder den Vergleich zumindest nicht erschweren.
-
Umgekehrt hat das Berücksichtigen von die Realumgebung zu unterschiedlichen Zeitpunkten abbildenden Simulationsumgebungen und deren Höhenverläufe den Vorteil, dass insbesondere bei einer Erzeugung von georeferenzierten Simulationsumgebungen auch die Aufnahmeposition oder Aufnahmepositionen sowie die Aufnahmerichtung oder Aufnahmerichtungen der Sensordaten die Auswertung der Simulationsumgebungen oder deren Höhenverläufe zur Ermittlung von Veränderungen in der Realumgebung nicht erschweren oder vereiteln können, da zunächst aus den zur Verfügung stehenden Sensordaten eines jeweiligen Aufnahmezeitpunktes eine entsprechende geospezifische, möglicherweise sogar georeferenzierte Simulationsumgebung erzeugt wird und die Aufnahmepositionen und Aufnahmerichtungen der Sensordaten unerheblich oder zumindest vernachlässigbar werden, da die Höhenverläufe der Simulationsumgebungen zur Erfassung von Unterschieden in den Simulationsumgebungen und dadurch zur Erfassung von Unterschieden in der Realumgebung genutzt werden, wobei die erzeugten Simulationsumgebungen nicht mehr oder kaum noch von den Positionen und Ausrichtungen abhängen, mit denen die Sensordaten erzeugt wurden.
-
Bei der Berücksichtigung von Höheninformationen der Realumgebung zur Ermittlung von Veränderungen mittels der entsprechenden Simulationsumgebungen und deren Höhenverläufen ist es jedoch besonders wünschenswert, dass je nach Zweck, zu dem die Ermittlung und Darstellung der Veränderung der Realumgebung erfolgt, möglicherweise nicht jegliche Veränderung der Höhenverläufe oder Höheninformationen dargestellt wird, sondern dass eine entsprechende Vorauswahl der darzustellenden Veränderungen aus den ermittelten Veränderungen getroffen wird. Beispielsweise kann bei der Erfassung und Darstellung von Veränderungen in urbanen Gebieten die Bewegung von Menschen als in der realen Umgebung befindliche reale Objekte von wenig oder untergeordneter Bedeutung sein. Dies kann beispielsweise der Fall sein, wenn mit dem vorgeschlagenem Verfahren das Verkehrsaufkommen, die Verkehrsdichte und/oder der Verkehrsfluss in einem urbanen Realumgebung überwacht und entsprechende Veränderungen dargestellt werden sollen.
-
Für den vorgenannten Zweck, wie auch für eine Vielzahl anderer aber vergleichbarer Aufgaben, ist es demnach besonders wünschenswert, die Darstellung der ermittelten Veränderungen der Realumgebung vorab zu gewichten oder zu filtern, d. h. die ermittelten Veränderungen vor der Darstellung zu bewerten. Dementsprechend sieht eine erste vorteilhafte Ausführungsform des Verfahrens vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand von zumindest einem Gewichtungsparameter bewertet und in Abhängigkeit der Bewertung dargestellt wird.
-
Im Fall des Einsatzes des vorgeschlagenen Verfahren bei einer Naturkatastrophe kann es beispielsweise von besonderem Interesse bei der Ermittlung und Darstellung von Veränderungen in der Realumgebung sein, festzustellen, welche Gebäude in welchem Umfang von den Auswirkungen der Naturkatastrophe beschädigt und/oder zerstört wurden. Da Gebäude selbst in weniger entwickelten Gebieten der Erde in der Regel eine Erhebung von zwei Meter oder mehr über die umgebenen Gelände aufweisen, kann es deshalb bei der Ermittlung und Darstellung von Veränderungen in der Realumgebung bei einem solchen Anwendungsfall besonders vorteilhaft sein, nur solche Veränderungen für die Darstellung zu berücksichtigen, die in dem Höhenverlauf der zeitlich früher aufgenommenen Sensordaten und daraus generierten Simulationsumgebung, also vor dem Eintritt der Naturkatastrophe, eine Erhebung von mehr als zwei Meter gegenüber dem umliegenden Gelände aufweisen. Alternativ kann es vorteilhaft sein, bei der Darstellung der Veränderung der Realumgebung nur solche Veränderungen zu berücksichtigen, bei denen der Vergleich der Höhenverläufe unterschiedlicher Simulationsumgebungen einen Unterschied von mehr als zwei Meter ergibt.
-
Im erstgenannten Fall würde die Bewertung darauf abzielen, dass nur solche Teile der die Realumgebung abbildenden Simulationsumgebung bei der Darstellung berücksichtigt werden, in denen ursprünglich Objekte angeordnet waren, die einen gebäudeähnlichen Charakter haben. Im zweitgenannten Beispiel würde die Bewertung darauf abzielen, die Darstellung der Veränderungen auf Bereiche zu begrenzen, in denen ein deutlicher Höhenunterschied der Höhenverläufe, wie beispielsweise durch ein Einsturz oder einen Teileinsturz eines Gebäudes, vorliegt. Die vorangehend genannten Beispiele könnten selbstredend auch miteinander kombiniert und/oder mit weiteren Höhenschranken verknüpft werden.
-
Dementsprechend ist in einer weiteren besonders bevorzugten Ausgestaltung des Verfahrens vorgesehen, das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand zumindest einer vordefinierten Höhenschranke zu bewerten, wobei die Höhenschranke bevorzugt einen lokalen Höhenunterschied der Höhenverläufe betrifft.
-
Für die Anwendung des vorgeschlagenen Verfahrens im Bereich der Umweltforschung sowie vielen anderen Einsatzbereiche kann es wünschenswert sein, dass in der Darstellung der ermittelten Veränderungen der Realumgebung nur solche Veränderungen dargestellt werden, die eine entsprechende räumliche Ausdehnung in der Realumgebung aufweisen. So ist es beispielweise bei der Erforschung, Dokumentation und/oder der Strafverfolgung von Waldrodung, insbesondere illegaler Waldrodung, im Rahmen der Anwendung des vorgeschlagenen Verfahrens besonders wünschenswert, dass nur oder gerade Rodungsgebiete ab einer gewissen Fläche oder räumlichen Ausdehnung im Rahmen des Verfahrens dargestellt werden. Aber auch im Bereich der Sicherheitstechnik sowie der Überwachungstechnik können Veränderungen ab einer gewissen flächigen Ausdehnung von besonderem Interesse sein. So können beispielsweise im Bereich der militärischen Aufklärung die Bewegungen von schweren militärischen Geräten, wie beispielsweise Panzerfahrzeugen, Kampf- und/oder Transportflugzeugen, Kriegsschiffen und U-Booten von besonderem Interesse sein.
-
Vor diesem Hintergrund sieht das vorgeschlagene Verfahren eine weitere Ausführungsform vor, die es ermöglicht, gezielt Veränderungen der Realumgebung mit einem Mindestmaß an flächiger Ausdehnung bei der Darstellung der festgestellten Veränderungen zu bevorzugen. Diese Ausgestaltungsform sieht vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand zumindest einer vordefinierten Flächenschranke, die eine zweidimensionale Ausdehnung von Höhenunterschieden der Höhenverläufe betrifft, bewertet wird.
-
Dabei kann die beschriebene Flächenschranke mit mehreren anderen Gewichtungsparametern zusammen in die Bewertung des Ergebnisses des Vergleichs einfließen. Beispielsweise kann eine Kombination aus einer Höhenschranke und einer Flächenschranke vorgesehen werden, die dann im oben genannten Beispiel einer Erfassung und Darstellung von Waldrodungen in der Realumgebung vorsieht, dass nur solche festgestellten oder ermittelten Veränderungen in der Realumgebung im Rahmen der Darstellung der Veränderungen durch das vorgeschlagene Verfahren Eingang finden, bei denen über eine Fläche von mindestens 100 qm eine durchgängige Höhendifferenz von einem Meter oder mehr festgestellt wurde. Eine solche Kombination von Gewichtungsparametern in Rahmen der Bewertung des Ergebnisses des Vergleichs der Höhenverläufe der Simulationsumgebungen erhöht die Wahrscheinlichkeit, dass die aufgefundenen und dargestellten Bereiche der Realumgebung tatsächlich Waldrodungen betreffen. Gleiches gilt entsprechend bei anderen Anwendungsgebieten des Verfahrens und entsprechend vordefinierten Flächen- und/oder Höhenschranken.
-
Für Anwendungen des Verfahrens im militärischem Bereich sowie für den Einsatz zur Vorbeugung von terroristischen Anschlägen kann es zudem besonders vorteilhaft sein, wenn bei der Bewertung des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe bestimmte Gebiete der Realumgebung bzw. der die Realumgebung geospezifisch abbildenden Simulationsumgebungen eine besondere Berücksichtigung erfahren. So können Veränderungen in der Umgebung von strategisch wichtigen Landmarken oder wichtige Gebäude sowie Veränderungen im Bereich dieser Landmarken oder in der Umgebung solcher Gebäude besonders begutachtet werden.
-
Dementsprechend sieht eine weitere vorteilhafte Ausgestaltung des Verfahrens vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand von zumindest einem vordefinierten Sicherheitssektor, der einen bestimmten Bereich der Simulationsumgebung umfasst, bewertet wird.
-
Die entsprechenden Sicherheitssektoren können dabei beispielsweise vom Benutzer des Verfahrens statisch oder dynamisch vorgegeben und/oder verändert werden. Beispielsweise kann ein Benutzer einen Bereich in der Umgebung eines Botschaftsgebäudes, eines Krankenhauses oder einer strategisch wichtigen Anhöhe als Sicherheitssektor in der Simulationsumgebung definieren. Dies kann über verschiedene Arten der Benutzereingabe erfolgen. Einerseits kann durch eine entsprechende Benutzerschnittstelle eine Definition eines Sicherheitssektors anhand einer Darstellung einer Simulationsumgebung oder zumindest eines Ausschnitts der Simulationsumgebung erfolgen. Für den Fall, dass die Simulationsumgebungen nicht nur geospezifisch, sondern auch georeferenziert erzeugt werden, kann die Definition des Sicherheitssektors auch anhand von entsprechenden Geodaten, wie beispielweise GPS-Koordinaten definiert werden.
-
Darüber hinaus ist es besonders vorteilhaft, wenn der Vergleich der zumindest zwei Höhenverläufe zur Ermittlung von Veränderungen in der Realumgebung herangezogenen Simulationsumgebungen eine automatische Auswertung erlaubt, die vorab definierte reale Objekte und die entsprechenden realabbildenden Objekte in den Simulationsumgebungen besonders berücksichtigt. Als erläuterndes Beispiel sei eine Verwendung des vorgeschlagenen Verfahrens im Rahmen einer militärischen Anwendung zur Aufklärung herangezogen. Beispielweise kann es besonders wünschenswert sein, die Veränderungen von auf einem Flugfeld angeordneten Flugzeugen zu ermitteln und darzustellen, um beispielsweise daraus Schlüsse über die Verlegung von Flugzeugen und/oder die Flugaktivitäten ausgehend von dem Flugfeld ziehen zu können.
-
Flugzeuge zeichnen sich in ihrer Wiedergabe in den aus den Sensordaten computergenerierten Simulationsumgebungen, insbesondere hinsichtlich des Höhenverlaufs durch eine besonders charakteristische Form aus. Denn der Höhenverlauf eines Flugzeugs setzt sich im Bereich des Rumpfs sowie im Bereich der Tragflächen deutlich und teilweise sogar typencharakteristisch von der Umgebung, insbesondere vom umgebenden realen Gelände ab. Ein derartiger charakteristischer Höhenverlauf, der sowohl durch eine flächige Ausdehnung als auch durch eine entsprechende Höhe oder einen Höhenverlauf beschrieben werden kann, kann somit in Form vordefinierter Datensätze genutzt werden, um ein Flugzeug mit einer entsprechend eindeutigen Höhenkontur oder Signatur im Höhenverlauf vorab zu speichern und bei der Auswertung des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen zu berücksichtigen. Entsprechendes gilt für andere Objekte mit einer charakteristischen Flächenausdehnung und/oder charakteristischem Höhenverlauf.
-
Dementsprechend sieht eine weitere Ausführungsform des Verfahrens vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand von zumindest einem vordefinierten Gefährdungsobjekt, das durch zumindest eine zweidimensionale Flächenausdehnung und/oder ein Höhenverlauf definiert ist, bewertet wird. Dies ermöglicht beispielsweise, dass bei der Auswertung und gegebenenfalls bei der anschließenden Darstellung der Veränderungen in der Realumgebung Objekte, wie beispielsweise die oben genannten Flugzeuge berücksichtigt und das Ergebnis des Vergleichs entsprechend bewertet wird.
-
Es kann auch vorgesehen sein, dass das Verfahren die initiale Auswahl eines Benutzungsprofils vorsieht, die zu einer Auswahl von zumindest einem, bevorzugt einer Vielzahl von vordefinierten Bewertungskriterien für die Bewertung des Ergebnisses des Vergleichs der Höhenverläufe führt. Die Kriterien können den vorangehend beschriebenen Kriterien oder anderen Kriterien entsprechen. Damit kann das beschriebene Verfahren besonders einfach und effektiv an eine Vielzahl von Einsatzzwecken angepasst werden.
-
Die vorangehend beschriebene Ausführungsform des Verfahrens bezieht sich bevorzugt auf eine jeweils auf dem Einsatzzweck des Verfahrens zugeschnittene Auswertung oder Bewertung der ermittelten Veränderungen durch die Bewertung des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe der Simulationsumgebungen. Neben der jeweils vorteilhaften Bewertung der Ergebnisse des Vergleichs der zumindest zwei Höhenverläufe ist es für das vorgeschlagene Verfahren ebenfalls besonders wünschenswert, dass das Verfahren eine flexible, bevorzugt an den jeweiligen Einsatzzweck angepasst Darstellung der ermittelten und gegebenenfalls bewerteten Veränderungen in der Realumgebung ermöglicht.
-
Dementsprechend sieht eine Ausgestaltung des Verfahrens vor, dass die Darstellung des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe in einer statischen Darstellungsbetriebsart erfolgt, bei der eine Darstellung von zumindest einem Teil der Simulationsumgebung auf einer Anzeigevorrichtung erfolgt, wobei die Ergebnisse des Vergleichs durch eine optische, insbesondere durch eine farbliche Hervorhebung in der Darstellung der Simulationsumgebung dargestellt werden.
-
Dies bedeutet, dass in der statischen Darstellungsbetriebsart eine Darstellung von einer der aus den zumindest zwei Sätzen von Sensordaten erzeugten Simulationsumgebungen als Basis der Darstellung herangezogen wird und in dieser Darstellung eine Hervorhebung an den Orten der Simulationsumgebung auf optische Art und Weise erfolgt, in denen jeweils eine im Rahmen der Auswertung als darzustellend eingestufte Veränderung der Simulationsumgebungen und damit eine entsprechende Veränderung der Realumgebung festgestellt wurde. Hierzu kann sowohl eine Darstellung der Simulationsumgebung herangezogen werden, die sowohl auf den zeitlich früher gewonnenen Sensordaten beruht als auch eine Darstellung der Simulationsumgebung, die auf den zeitlich später aufgenommenen Sensordaten beruht.
-
Die statische Darstellungsbetriebsart hat den Vorteil, dass durch die optische, insbesondere farbliche Hervorhebung der Ergebnisse des Vergleichs im Rahmen einer Darstellung von einer Simulationsumgebung, die Orte der Veränderungen in der Simulationsumgebung besonders schnell und einfach identifiziert werden können. Dementsprechend bietet sich für die statische Darstellungsbetriebsart eine Darstellung der Simulationsumgebung in einem kleinen Maßstab an, die einen guten Überblick über die Simulationsumgebung oder deren Teile und die ermittelten Veränderungen ermöglicht.
-
Durch die Darstellung von lediglich einer computergenerierten Simulationsumgebung im Rahmen der statischen Darstellungsbetriebsart kommt es jedoch zu dem Nachteil, dass die Darstellung zwar den Ort der Veränderung in der Simulationsumgebung kenntlich macht, die Veränderung an sich jedoch nicht oder zumindest nicht mit Sicherheit identifiziert werden kann.
-
Deshalb kann im Rahmen einer semi-statischen Darstellungsbetriebsart zudem vorgesehen sein, dass, insbesondere in Reaktion auf eine Benutzerinteraktion, ein Wechsel zwischen Darstellungen von zumindest zwei unterschiedlichen Simulationsumgebungen erfolgt. So kann zusätzlich zu einer Darstellung einer optischen, insbesondere farblichen Hervorhebung am Ort der Veränderung in der Darstellung einer Simulationsumgebung über den Wechsel der Darstellung der Simulationsumgebung auch die Veränderung selbst wahrgenommen werden. Es kann also eine Art „Vorher-Nachher-Darstellung“ erfolgen, die die Wahrnehm- und Erkennbarkeit der Veränderung in der Realumgebung verbessert.
-
Eine ebenfalls vorteilhafte alternative Ausgestaltung des Verfahrens vor, dass die Darstellung des Ergebnisses des Vergleichs in einer dynamischen Darstellungsbetriebsart erfolgt, bei der eine Abfolge von Darstellungen von zumindest einem Ausschnitt der Simulationsumgebungen auf einer Anzeigevorrichtung erfolgt, wobei die Ergebnisse des Vergleichs durch eine optische, insbesondere durch eine farbliche Hervorhebung in der Darstellung der Simulationsumgebung dargestellt werden.
-
Die dynamische Darstellungsbetriebsart hat den Vorteil, dass zur Darstellung ein größerer Maßstab verwendet werden kann. Die dynamische Darstellungsbetriebsart kann dementsprechend beispielsweise in Form eines Videos auf einer Anzeigevorrichtung erfolgen, welches aus einzelnen Ausschnitten der Simulationsumgebung erzeugt wird und bei dem sich der Ausschnitt der Simulationsumgebung sukzessive von einer im Rahmen des Ergebnisses des Vergleichs festgestellten oder ermittelten Veränderung in der Realumgebung zu einer nächsten gleichermaßen ermittelten Veränderung der Realumgebung bewegt. Mit anderen Worten ausgedrückt kann die dynamische Darstellungsbetriebsart als Video erzeugt werden, welches einen Überflug über die Simulationsumgebung von einer als Ergebnis des Vergleichs ermittelten Veränderung der Realumgebung zu der jeweils nächsten ermittelten Veränderung der Realumgebung darstellt.
-
Damit bietet die dynamische Darstellungsbetriebsart zwar einen geringeren Überblick über die Gesamtheit der im Rahmen des Ergebnisses des Vergleichs festgestellten Veränderungen der Realumgebung, sie ermöglicht jedoch, dass einem Benutzer jede der Veränderungen nacheinander in einem entsprechend angepassten Maßstab dargestellt oder angezeigt wird, so dass der Benutzer oder Bediener jede der Veränderungen analysieren und/oder bewerten kann. Dadurch wird beispielsweise verhindert, dass eine der ermittelten und dargestellten Veränderungen der Realumgebung übersehen wird oder unberücksichtigt bleibt.
-
In verschiedenen Anwendungsbereichen ist es für die Darstellung von Veränderungen in der Realumgebung besonders vorteilhaft, wenn die Darstellung in einer zweidimensionalen Projektion der die Realumgebung abbildenden Simulationsumgebung erfolgt. Dementsprechend sieht eine weitere vorteilhafte Ausgestaltung des Verfahrens vor, dass in der dynamischen und/oder statischen Darstellungsbetriebsart die Darstellung der Simulationsumgebung in einer Draufsicht, insbesondere als Kartendarstellung, erfolgt. Dies ist insbesondere dann vorteilhaft, wenn es bei dem Anwendungszweck des vorgeschlagenen Verfahrens und/oder bei den entsprechend ermittelten, gegebenenfalls bewerteten und dargestellten Veränderungen der Realumgebung mehr um die Darstellung der Veränderung an sich, als um die Darstellung der Details der Veränderungen oder der jeweiligen Veränderungen ankommt. So ist beispielsweise eine Darstellung in einer Draufsicht, beispielsweise in Form einer Kartendarstellung, für die Ermittlung und Darstellung von Rodungen, insbesondere Waldrodungen in der Realumgebung, vorteilhaft, da diese Darstellung eine schnelle und einfache Erfassung und gegebenenfalls Weiterverarbeitung der Kartendarstellung erlaubt, in der als Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen, die durch Rodung betroffenen Flächen oder Oberflächen der Realumgebung als ermittelte Veränderungen dargestellt werden.
-
In anderen Fällen kann es jedoch auch besonders wünschenswert sein, wenn die jeweils ermittelte und dargestellte Veränderung der Realumgebung im Detail dargestellt wird oder sichtbar gemacht wird. Dies kann beispielsweise bei einem Einsatz des Verfahrens zu sicherheitstechnischen oder militärischen Zwecken vorteilhaft sein. Denn in diesem Fall kann es besonders vorteilhaft sein, wenn die Darstellung der Veränderung in der Realumgebung eine Analyse des jeweiligen Objekts, beispielsweise ein Fahrzeug oder die entsprechende Umgebung, in der die Veränderung stattgefunden hat, darstellbar ist oder dargestellt wird. Aus diesem Grund ist gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens vorgesehen, dass in der dynamischen und/oder statischen Darstellungsbetriebsart die Darstellung der Simulationsumgebung in einer Schrägansicht, insbesondere aus einer vogelperspektivischen Darstellungsposition erfolgt, wobei die Darstellungsposition automatisch zumindest anhand des Ergebnisses des Vergleichs der Höhenverläufe oder frei wählbar anhand einer Benutzereingabe ausgewählt wird.
-
Die Darstellung der die Realumgebung abbildenden Simulationsumgebung in einer Schrägansicht im Rahmen der Darstellung der ermittelten Veränderung der Realumgebung hat den Vorteil, dass räumliche Zusammenhänge besser erkannt werden können. Darüber hinaus hat die gegebenenfalls automatisch ausgewählte Darstellungsposition der Schrägansicht, insbesondere vogelperspektivischen Schrägansicht, den Vorteil, dass die Schrägansicht der Simulationsumgebung derart erzeugt und dargestellt werden kann, dass die Veränderung, insbesondere die Position der Veränderung, nicht durch andere Teile der Simulationsumgebung verdeckt oder teilweise überdeckt wird. Das bedeutet mit anderen Worten ausgedrückt, dass die Wahl der Darstellungsposition bevorzugt so automatisiert wird, dass die Schrägansicht der Simulationsumgebung einen freien oder unbehinderten Blick auf den Ort der ermittelten Veränderung ermöglicht.
-
Es kann jedoch ebenfalls vorteilhaft sein, wenn ein Benutzer im Anschluss an eine automatisch bestimmte Darstellungsposition oder alternativ zu einer automatisch ausgewählten Darstellungsposition, die Darstellungsposition selbst wählen und/oder verändern kann, um sich ein umfassendes Bild von der oder den jeweils ermittelten oder dargestellten Veränderungen der Realumgebung machen zu können. Beispielsweise kann vorgesehen sein, dass durch eine Benutzereingabe dem Benutzer eine Darstellung der Simulationsumgebung sowie des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe so dargestellt werden, als würde der Benutzer ein Fluggerät oder ein Flugzeug über die die Realumgebung geospezifisch abbildenden Simulationsumgebung steuern und dabei die Simulationsumgebung aus frei wählbaren Positionen und Richtungen betrachten.
-
Dies ermöglicht beispielsweise, dass ein Katastrophengebiet eingehend und im Detail von entsprechendem Fachpersonal inspiziert werden kann, dem zugleich die ermittelten und gegebenenfalls bewerteten Veränderungen in der die Realumgebung abbildenden Simulationsumgebung dargestellt werden, ohne dass das Fachpersonal bereits vor Ort im Katastrophengebiet sein muss und zudem ohne sich in irgendeine Art von Gefahr zu begeben.
-
Wie vorangehend bereits beschrieben, können unterschiedliche Darstellungen sowie unterschiedliche Darstellungsbetriebsarten je nach Anwendungs- oder Einsatzzweck des Verfahrens vorteilhaft sein. Es kann jedoch auch zu Einsätzen des Verfahrens kommen, bei denen unterschiedliche Darstellungen und Darstellungsbetriebsarten gleichermaßen vorteilhaft sein können oder abhängig von der Situation oder der jeweiligen Veränderung der Realumgebung vorteilhaft sein können.
-
Aus diesem Grund ist gemäß einer weiteren bevorzugten Ausführungsform des Verfahrens vorgesehen, dass ein Wechsel zwischen der statischen und der dynamischen Darstellungsbetriebsart, insbesondere in Reaktion auf eine Benutzereingabe ausgeführt wird. Als Beispiel kann die Darstellung der ermittelten Veränderung beispielsweise so erfolgen, dass zunächst in einer statischen Darstellungsbetriebsart in Form einer Karten-Draufsicht auf die Simulationsumgebung und die darin dargestellten Veränderungen der Realumgebung ein Überblick vermittelt wird und anschließend ein Wechsel in die dynamische Darstellungsbetriebsart erfolgt, in der beispielsweise in Form einer Darstellung aus einer vogelperspektivischen Schrägansicht mit veränderlicher Darstellungsposition der Simulationsumgebung eine detaillierte Darstellung einzelner Veränderungen in der die Realumgebung geospezifisch abbildenden Simulationsumgebung erfolgt.
-
Gemäß einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens ist vorgesehen, dass das Erzeugen der Simulationsumgebung das Generieren von Rasterdaten umfasst, wobei der Höhenverlauf durch ein Höhenraster abgebildet wird, in dem jedem Rasterpunkt ein Höhenwert zugewiesen ist. Hinsichtlich der Erzeugung der Simulationsumgebung wird auf die deutsche Patentanmeldung
DE 10 2015 120 999 B ezug genommen, deren Inhalt hiermit vollständig in die vorliegende Offenbarung mit aufgenommen wird.
-
Beispielsweise kann aus Sensordaten, wie etwa Entfernungsmessungen oder Bildaufnahmen eine 2,5-dimensionale oder dreidimensionale Abbildung der Realumgebung geschaffen werden. Dazu können beispielsweise Verfahren wie „structure from motion“ oder vergleichbare Verfahren zum Einsatz kommen. Das Generieren der Simulationsumgebung als 2,5-dimensionale Darstellung auf der Basis von Rasterdaten hat verschiedene Vorteile, insbesondere auch hinsichtlich des vorliegenden Verfahrens. Denn im Vergleich zu dreidimensionalen Punktwolken oder Vektordaten kann eine auf Rasterdaten basierende Simulationsumgebung besonders schnell und effektiv aus den jeweiligen Sensordaten erzeugt werden, was die benötigte Zeit reduziert, um im Rahmen des Verfahrens zu einer Ermittlung und Darstellung von Veränderungen in der Realumgebung zu gelangen. Darüber hinaus haben die Rasterdaten als Grundlage der Simulationsumgebung den Vorteil, dass beispielsweise bei einer Verwendung eines Höhenrasters jeweils einem Rasterpunkt ein Höhenwert zugewiesen wird, der wiederum bei der Auswertung der Simulationsumgebungen im Rahmen des hier beschriebenen Verfahrens Verwendung finden kann, da die Auswertung zumindest einen Vergleich der Höhenverläufe der erzeugten Simulationsumgebungen umfasst.
-
Besonders vorteilhaft ist es zudem, wenn die Höhenverläufe der Simulationsumgebung und die den jeweiligen Rasterpunkten eines Höhenrasters zugewiesenen Höhenwerte zusammenfallen, so dass aus den Höhenwerten der Rasterpunkte keine weitere Ableitung oder Weiterverarbeitung nötig ist, um zum Höhenverlauf der Simulationsumgebung zu gelangen. Die Auswertung im Rahmen von zumindest einem Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen wird zudem besonders vorteilhaft ausgestaltet, wenn die Auswertung sich auf einen Vergleich von jeweiligen Höhenwerten beschränken kann. Dies setzt jedoch voraus, dass die Höhenwerte von unterschiedlichen Simulationsumgebungen ohne weiteres miteinander verglichen werden können.
-
Um dies zu gestatten, sieht eine weitere besonders vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens vor, dass die Rasterpunkte unterschiedlicher Simulationsumgebungen identische Punkte in der Realumgebung abbilden. Dadurch wird gewährleistet, dass bei jeder Erzeugung einer Simulationsumgebung die Rasterpunkte eine unveränderliche Grundlage mit einem entsprechenden Bezug zur Realumgebung darstellen.
-
Ermöglicht werden kann dies beispielsweise dadurch, dass die Erfassung der Sensordaten georeferenziert erfolgt und die Georeferenzierung in der Erzeugung der Simulationsumgebung berücksichtigt wird oder bei der Erzeugung der Simulationsumgebung in diese übertragen wird. In diesem Fall können die Rasterpunkte dann auf vordefinierten Punkten oder Mustern der Realumgebung definiert werden und entsprechend in die Simulationsumgebung übertragen werden, wobei durch die georeferenzierte Vorgabe der zu erzeugenden Rasterpunkte in der Realumgebung die Rasterpunkte unterschiedlicher Simulationsumgebungen identische Punkte der Realumgebung abbilden.
-
Dadurch kann wiederum ermöglicht werden, dass bei der Verwendung von einem Höhenraster im Rahmen der Erzeugung der Simulationsumgebung ein Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen im Rahmen des vorgeschlagenen Verfahrens auf eine entsprechende Subtraktion der zumindest zwei Höhenwerte des Höhenraster zu jeweils einem Rasterpunkt reduziert wird. Dadurch kann eine besonders schnelle und effektive Auswertung der zumindest zwei zeitlich versetzt aufgenommenen Sätzen von Sensordaten erfolgen.
-
Dementsprechend sieht eine weitere vorteilhafte Ausführungsform vor, dass der Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen den Vergleich von Höhenwerten voneinander entsprechenden Rasterpunkten unterschiedlicher Simulationsumgebungen umfasst.
-
In verschiedenen Anwendungsgebieten des vorgeschlagenen Verfahrens, wie beispielsweise dem Katastrophenschutz, kann es darüber hinaus auch besonders wünschenswert sein, wenn neben dem Höhenverlauf einer Simulationsumgebung die Auswertung einen Vergleich von Bildinformationen, bevorzugt von zwei Sätzen von Bildaufnahmen umfasst, die zumindest einen Teil der Realumgebung abbilden. Dabei kann vorgesehen sein, dass die Bildaufnahmen diejenigen Sensordaten darstellen, aus denen die Simulationsumgebung erzeugt wird. Alternativ kann jedoch auch vorgesehen sein, dass die Bildaufnahmen zusätzlich zu den Sensordaten erzeugt werden, aus denen die Simulationsumgebung erzeugt wird. Besonders bevorzugt werden die Bildaufnahmen jedoch zum gleichen Zeitpunkt erzeugt wie die Sensordaten, aus denen die Simulationsumgebung erzeugt wird.
-
Die Auswertung der Bildinformationen in Verbindung mit der Auswertung der Höhenverläufe der Simulationsumgebung kann dabei die Ermittlung und Darstellung der Veränderungen in der Realumgebung erleichtern und präzisieren. Im Fall einer Naturkatastrophe, wie beispielsweise einem Erdrutsch, kann die Auswertung der Bildinformation, z. B. zusammen mit der Auswertung der Höhenverläufe, dazu dienen festzustellen, in welchem Bereich und in welchem Umfang der Erdrutsch stattgefunden hat und/oder welche Teile der Infrastruktur durch Erdmassen verschüttet, beschädigt oder zerstört sind. Bei der Anwendung des Verfahrens im Rahmen der Sicherheitstechnik oder Überwachungstechnik kann die Auswertung von beispielsweise von Bildaufnahmen, die ein urbanes Gebiet zu verschiedenen Tageszeiten abbilden, auf die Bewohntheit des Gebiets und sonstige Aktivitäten schließen lassen.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens ist zudem vorgesehen, dass die Erzeugung der computergenerierten, die Realumgebung geospezifisch abbildenden Simulationsumgebung die Generierung von Oberflächentexturen durch Projektionen von Bildaufnahmen auf den Höhenverlauf oder das Oberflächenmodell der Simulationsumgebungen umfasst, wobei die Auswertung zumindest einen Vergleich von Oberflächentexturen der Simulationsumgebungen umfasst. Um aus Bildaufnahmen der Realumgebung entsprechende Oberflächentexturen generieren zu können, sind verschiedene Besonderheiten zu beachten. Unter anderem muss die Position, aus dem die Bildaufnahme in der Realumgebung aufgenommen wird und die Richtung oder Ausrichtung, unter der sie aufgenommen wird sowie weitere Parameter, die mit dem abbildenden oder bildgebenden System zusammenhängen, jeweils mit der Bildaufnahme zusammen dokumentiert werden. Eine genaue und ausführliche Beschreibung zur Erzeugung und Darstellung derartiger Oberflächentexturen findet sich in der deutschen Patentanmeldung
DE 10 2015 120 927.6 , auf die hier verwiesen und deren Inhalt vollständig in die vorliegende Beschreibung mit einbezogen wird.
-
Der besondere Vorteil einer Auswertung der Simulationsumgebungen hinsichtlich sowohl des Höhenverlaufs als auch hinsichtlich der Oberflächentexturen besteht darin, dass durch das Vorsehen der Oberflächentexturen farbige 2,5-dimensionale oder dreidimensionale Objekte sowie Gelände, in der die Realumgebung geospezifisch abbildenden Simulationsumgebung beschrieben werden. Insbesondere bei einer Bewertung der festgestellten Veränderungen in der Realumgebung im Rahmen der Auswertung kann eine solche Verknüpfung zwischen Farbinformationen und Forminformationen oder zumindest Höheninformationen eine erheblich genauere und sichere Bewertung der festgestellten oder ermittelten Veränderungen ermöglichen. Denn in diesem Fall könnten Mehrdeutigkeiten hinsichtlich der Veränderung des Höhenverlaufs der Simulationsumgebungen durch die entsprechenden Bildinformationen oder Farbinformationen aus den Oberflächentexturen aufgehoben oder vermieden werden.
-
Weitere Vorteile und Einzelheiten des erfindungsgemäßen Verfahrens werden nachfolgend unter Zuhilfenahme der beigefügten, schematisierten Zeichnungen von Ausführungsbeispielen erläutert werden. Die Zeichnungen beziehen sich auf eine Anwendung des beschriebenen Verfahrens zu Überwachungszwecken, insbesondere zum Zweck der Verhinderung oder Vereitelung eines terroristischen Angriffs. Das Verfahren kann jedoch ebenfalls für andere Anwendungszwecke ausgeführt werden. Die Figuren zeigen:
-
1 Eine schematische Darstellung eines Systems zur Ermittlung und Darstellung von Änderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung;
-
2 eine schematische Darstellung einer Draufsicht auf einen Teil einer Simulationsumgebung;
-
3 eine schematische Darstellung einer Seitenansicht des Ausschnitts der Simulationsumgebung der 2;
-
4 eine schematische Darstellung des Höhenverlaufs der Simulationsumgebung der 2 entlang der Linie L1;
-
5 eine schematische Darstellung des Höhenverlaufs der Simulationsumgebung der 2 entlang der Linie L2;
-
6 eine schematische Darstellung einer Draufsicht auf einen Teil einer Simulationsumgebung erzeugt aus zeitlich versetzt aufgenommenen Sensordaten;
-
7 eine schematische Darstellung einer Seitenansicht des Ausschnitts der Simulationsumgebung der 6;
-
8 eine schematische Darstellung des Höhenverlaufs der Simulationsumgebung der 6 entlang der Linie L1;
-
9 eine schematische Darstellung des Höhenverlaufs der Simulationsumgebung der 6 entlang der Linie L2;
-
10a bis 10c eine schematische Darstellung des Vergleichs der zwei Höhenverläufe der 4 und 8;
-
11a bis 11c eine schematische Darstellung des Vergleichs der Höhenverläufe der 5 und 9;
-
12 eine schematische Darstellung einer Darstellung von einer Veränderungen in der Realumgebung in einer statischen Darstellungsbetriebsart des Verfahrens;
-
13 eine schematische Darstellung eines Verfahrens zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung.
-
1 zeigt Komponenten eines Systems, welches bei der Ausführung des erfindungsgemäßen Verfahrens zum Einsatz kommen kann. Die 1 zeigt einen als lokalen Rechner ausgebildetes Computersystem 1, welches eine Bedienvorrichtung 2, eine erste Anzeigevorrichtung 3, eine zweite Anzeigevorrichtung 4, eine Kabelverbindung 5 zum physischen Verbinden des Computersystems 1 mit einem Sensordatenspeicher und eine drahtlose Kommunikationsschnittstelle 6 zur drahtlosen Kommunikation aufweist. Darüber hinaus umfasst das Computersystem 1 Simulationsumgebungserzeuger 7, einen Simulationsumgebungsspeicher 8 sowie eine Auswertungseinheit 22.
-
Die in der 1 dargestellte Ausführung des Computersystems 1 ist lediglich beispielhaft. Das Computersystem 1 kann beispielsweise nur über eine Anzeigevorrichtung 3 oder 4 aufweisen. Ebenfalls sind eine Vielzahl weiterer Änderungen oder Anpassungen möglich, ohne die Eignung des Computersystems zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung zu beeinflussen. In Abwandlung zu der Darstellung der 1 kann anstatt des dort gezeigten lokalen Computersystems 1 auch ein vernetztes und/oder dezentral über beliebig viele Standorte verteiltes Computersystem zum Einsatz kommen. Dabei kann beispielsweise vorgesehen sein, dass der Simulationsumgebungserzeuger 7 und die Auswertungseinheit 22 an einem ersten Ort angeordnet sind, wohingegen der Simulationsumgebungsspeicher 8 und die Anzeigevorrichtungen 3 und 4 an einem zweiten Ort oder über mehrere weitere Orte verteilt angeordnet sind und die entsprechenden Teile des Computersystems 1 über eine oder mehrere Datenverbindungen miteinander kommunizieren, insbesondere Daten versenden und empfangen.
-
Die von einer Sensoreinrichtung und deren Aufnahmeeinrichtung 11 aufgenommenen Sensordaten 12 bilden beispielsweise die gesamte, von der Simulationsumgebung abzudeckende Realumgebung 10 mitsamt des realen Geländes 15 sowie der im realen Gelände 15 befindlichen realen Objekte 16 ab. Besonders vorteilhaft ist es, wenn die während des Überflugs gewonnenen Sensordaten 12 die Realumgebung redundant abbilden, also bestimmte oder alle Bereiche der Realumgebung aus verschiedenen Positionen aufgenommen werden. Besonders vorteilhaft ist es weiter, wenn während des Überflugs der Sensorträger 9 über die Realumgebung 10 eine Positionsbestimmungseinrichtung 13 die Position des Sensorträgers und dessen Aufnahmeeinrichtung 11 in einem Koordinatensystem der Realumgebung 10 erfasst, aufzeichnet und insbesondere so aufzeichnet, dass die Position mit entsprechenden Sensordaten 12 verknüpft werden kann und zudem die Position so häufig bestimmt und aufzeichnet, dass aus der Positionsänderung die Bewegungsrichtung und die Bewegungsgeschwindigkeit des Sensorträgers 9 abgeleitet und bevorzugt ebenfalls mit den Sensordaten verknüpft werden kann.
-
Dies bedeutet, dass es besonders vorteilhaft sein kann, wenn den aufgenommenen Sensordaten 12 beispielsweise eine GPS-Ortkoordinate sowie eine Kursangabe und eine Geschwindigkeitsangabe zugeordnet werden. Es kann dabei vorgesehen sein, dass die Sensordaten 12 als Bildaufnahmen erhoben werden. Alternativ oder zusätzlich können die Sensordaten auch Entfernungsmessungen oder andere Messungen der Realumgebung umfassen.
-
Bei der Aufnahme von Bildaufnahmen im Rahmen der Aufnahme der Sensordaten ist es ebenfalls besonders wünschenswert, wenn neben den Bildaufnahmen selbst auch weitere extrinsischen und intrinsische Daten bezüglich der Aufnahmen mit den Bildaufnahmen zusammen gespeichert werden. Diese können beispielsweise in der Form von Metadaten mit den jeweiligen Bildaufnahmen oder den Bilddaten der jeweiligen Bildaufnahmen zusammen gespeichert werden. Bei den intrinsischen Eigenschaften der Bildaufnahmen kann es sich beispielsweise um Eigenschaften der Aufnahmeeinrichtung 11 handeln. Anhand der Sensordaten 12, gegebenenfalls umfassend Bildaufnahmen, den damit verknüpften Positionen, Richtungen, Geschwindigkeiten sowie weiteren Informationen über die Aufnahmeeinrichtung können aus den Sensordaten 12 und den damit verbundenen Informationen geospezifische und ggf. auch georeferenzierte maßstabsgetreue Oberflächenmodelle der Realumgebung 10 alt Teil der die Realumgebung abbildenden computergenerierten Simulationsumgebung generiert werden. Dabei können dreidimensionale Oberflächenmodelle generiert werden, die beispielsweise auf Punktwolken oder Vektordaten beruhen. Außerdem können Oberflächenmodelle generiert werden, die auf einem Höhenraster basieren, indem in jedem Rasterpunkt ein Höhenwert zugeordnet wird. Im letztgenannten Fall handelt es sich um ein 2,5-dimensionales Oberflächenmodell, da jedem Rasterpunkt nur genau ein Höhenwert zugeordnet werden kann. Aus dem Oberflächenmodell kann jeweils ein Höhenverlauf der jeweiligen Simulationsumgebung generiert und/oder extrahiert werden.
-
Die aus den Sensordaten 12 generierten die Realumgebung geospezifisch und maßstabsgetreu abbildenden Simulationsumgebungen können beispielsweise texturiert werden, indem Bildaufnahmen auf das Oberflächenmodell lagerichtig projiziert werden und somit Oberflächentexturen der Simulationsumgebung geschaffen werden.
-
Die Bedienvorrichtung 2 ist im Beispiel der 1 als kombinierte Bedienvorrichtung ausgestaltet, mit der sowohl allgemeine Benutzereingaben vorgenommen werden als auch die Anzeige auf den Anzeigevorrichtungen 3 und 4 beeinflusst und/oder kontrolliert werden kann. Dies bedeutet, dass beispielsweise über die Bedienvorrichtung ein Wechsel zwischen einer statischen Darstellungsbetriebsart und einer dynamischen Darstellungsbetriebsart der Darstellung von Veränderungen in der Realumgebung ausgelöst werden kann. Darüber hinaus kann beispielsweise vorgesehen sein, dass über die Bedienvorrichtung 2 im Rahmen der dynamischen Darstellungsbetriebsart der zusammen mit den ermittelten Veränderungen dargestellte Ausschnitt einer Simulationsumgebung verändert oder beeinflusst werden kann.
-
Es kann abweichend von der Darstellung der 1 auch vorgesehen sein, dass mehrere separate Bedienvorrichtungen zur Interaktion mit dem Computersystem 1, insbesondere zur Interaktion mit den Anzeigevorrichtungen 3 und 4 vorgesehen sind. Beispielsweise könnte Trägheits- und/oder Kreiselsensoren als Teile von speziellen Bedienervorrichtungen vorgesehen sein, die eine Bewegung eines Benutzers erfasst und aufgrund dessen eine Beeinflussung des Computersystems 1, insbesondere der Anzeigevorrichtungen 3 und 4 veranlassen.
-
Im Beispiel der 1 ist eine erste Anzeigevorrichtung 3 in Form eines Bildschirms und einer zweiten Anzeigevorrichtung 4 in Form eines kopfbefestigbaren Displays (Head Mounted Display) vorgesehen. Dabei kann beispielsweise die erste Anzeigevorrichtung 3 zur Festlegung eines Bereichs einer Simulationsumgebung insbesondere in einer Kartenansicht der Simulationsumgebung in einer statischen Anzeigebetriebsart dienen. Die Anzeigevorrichtung 4 kann besonders bevorzugt zur Darstellung von Veränderungen in der Realumgebung im Rahmen einer dynamischen Darstellungsbetriebsart verwendet werden.
-
Die Kabelverbindung 5 des Computersystems 1 kann optional vorgesehen sein, je nachdem, ob vorgesehen ist, dass eine Übertragung von Sensordaten eines Sensordatenspeichers des Sensorträgers 9 bereits während des Überflugs über die Realumgebung 10 mittels der drahtlosen Kommunikationsschnittstelle 6 erfolgen soll oder im Anschluss an einen abgeschlossenen Überflug über die Realumgebung 10 durch eine physische Verbindung zwischen dem Sensordatenspeichers des Sensorträgers 9 und dem Computersystem 1 erfolgen soll.
-
Zur Durchführung des Verfahrens zur Ermittlung und Darstellung von Veränderungen in einer Realumgebung umfasst das vorgeschlagene System zudem entsprechende Steuervorrichtungen, die beispielsweise in das Computersystem 1 sowie in den Sensorträger 9 integriert sein können und sicherstellen, dass der Sensorträger 9 während des Überflugs über die Realumgebung 10 eine Flugroute 20 mit Wegpunkten 21 verfolgt. Die Flugroute kann sowohl während des Überflugs von einem Bediener oder Benutzer gesteuert werden als auch im Vorfeld des Überflugs mittels entsprechender Programmierung vorgegeben werden.
-
Die Sensordaten werden, unabhängig von dem Übertragungsweg zwischen dem Sensorträger 9 und dem Computersystem 1, nach Erhalt von dem Computersystem 1 durch den Simulationsumgebungserzeuger 7 verarbeitet oder aufbereitet. Der Simulationsumgebungserzeuger 7 kann dabei zum Beispiel einen Prozessor, einen Arbeitsspeicher sowie weitere Einrichtungen aufweisen. Mit dem Simulationsumgebungserzeuger 7 werden aus den im Rahmen des Überflugs über oder der Durchfahrt durch die Realumgebung aufgenommenen Sensordaten 12 in eine computergenerierte die Realumgebung geospezifisch abbildende Simulationsumgebung umgewandelt. Dies geschieht dabei für zwei oder mehrere Sätze von Sensordaten, die jeweils zu unterschiedlichen Zeiten zumindest teilweise den gleichen Bereich der Realumgebung 10 abbilden. Der Simulationsumgebungserzeuger 7 erstellt dabei Oberflächenmodelle, insbesondere 2,5-dimensionale oder dreidimensionale Oberflächenmodelle, die gegebenenfalls mit aus Bildaufnahmen generierten Oberflächentexturen texturiert werden.
-
Nach der Generierung von zumindest zwei Simulationsumgebungen, die die Realumgebung 10 oder zumindest einen Teil der Realumgebung zu unterschiedlichen Zeiten geospezifisch abbilden, folgt zumindest ein Vergleich der von den jeweiligen Simulationsumgebungen beschriebenen Höhenverläufe der Realumgebung. Dies kann besonders vorteilhaft durchgeführt werden, wenn die Simulationsumgebungen ein gemeinsames Bezugssystem aufweisen, insbesondere auf einem identischen Höhenraster mit entsprechendem Bezug zur Realumgebung basieren, da dann die entsprechenden Höhenverläufe durch die übereinstimmenden Bezugssysteme leicht miteinander verglichen werden können.
-
Als Ergebnis des Vergleichs des zumindest zwei Höhenverläufe der Simulationsumgebung ergibt sich eine Art Differenzumgebung, die bevorzugt betragsmäßig ausgestaltet ist somit keine negativen Veränderungen der Höhenverläufe umfasst. Die Differenzumgebung kann lediglich die Unterschiede der Höhenverläufe der Simulationsumgebungen, bevorzugt ebenfalls mit Bezug zu dem Bezugssystem oder Koordinatensystem, aufweisen. Dieses Ergebnis des Vergleichs der Höhenverläufe kann anhand von Gewichtungsparametern bewertet und in Abhängigkeit von der Bewertung zur Darstellung gebracht werden. Dies bedeutet, dass in der Differenzumgebung nach Möglichkeit nur für den jeweiligen Anwendungszweck signifikante oder potenziell bedeutsame Veränderungen der Simulationsumgebungen, insbesondere der Höhenverläufe der Simulationsumgebungen, zur Darstellung gebracht werden sollen. Damit dient die Bewertung des Ergebnisses des Vergleichs der Höhenverläufe zur Rauschunterdrückung des Ergebnisses für den jeweiligen Anwendungszweck.
-
Der besondere Vorzug bei dem Vergleich von Höheninformationen oder Höhenverläufen der aus den Sensordaten generierten Simulationsumgebungen im Gegensatz zur Auswertung von rein 2-dimensionalen Bilddaten liegt darin, dass eine Vielzahl von Einflüssen, die eine rein zweidimensionale grafische Abbildung beeinflussen, keinen Einfluss auf die aus den Sensordaten generierten die Realumgebung geospezifisch abbildenden Simulationsumgebungen ausüben, so dass Veränderungen in der Realumgebung mit gesteigerter Sicherheit automatisch und damit in einem entsprechend großen Gebiet der Realumgebung erfasst oder ermittelt, bewertet und, gegebenenfalls in Abhängigkeit von einer Bewertung, dargestellt werden können.
-
Die 2 zeigt einen Ausschnitt aus einer eine Realumgebung 10 abbildenden Simulationsumgebung 14. Die Simulationsumgebung 14 umfasst realabbildende Objekte 17, wie beispielsweise ein Haus oder einen Baum. In der Darstellung der 2 befinden sich an den Kreuzungen der punktierten Linien 18 die Rasterpunkte 19, denen jeweils ein Höhenwert zugewiesen ist, die in der Darstellung der 2 senkrecht auf der Zeichenebene stehen. Es soll beispielhaft angenommen werden, dass es sich bei einem der realabbildenden Objekte 17 der Simulationsumgebung 14 um ein Krankenhaus oder ein Botschaftsgebäude handelt, welches sich in einem Teil der Realumgebung befindet, in der mit terroristischen Anschlägen gerechnet werden muss. Dementsprechend kann vorgesehen sein, dass um das realabbildende Objekt 17 ein Sicherheitssektor 23 als Teil der Simulationsumgebung oder zumindest der Simulationsumgebung 14 zugeordnet gespeichert ist, der einen Einfluss auf die Bewertung des Ergebnisses des Vergleichs der Höhenverläufe der Simulationsumgebungen 14 hat. In diesem Beispiel bedeutet der Sicherheitssektor 23 um das realabbildende Gebäude des Objekts 17, dass Veränderungen in den Höhenverläufen der Simulationsumgebungen 14 innerhalb des Sicherheitssektors 23 im Rahmen der Auswertung anders bewertet und entsprechend anders dargestellt werden.
-
Aus Gründen der Darstellbarkeit und der Anschaulichkeit wird nachfolgend das vorgeschlagene Verfahren anhand von beispielhaften Linien entlang der Höhenverläufe der Simulationsumgebung oder der Simulationsumgebungen 14 dargestellt. Dabei handelt es sich um die in der 2 dargestellten Linien L1 und L2. Die entsprechenden Verfahrensschritte können jedoch auch für alle anderen in der Figur dargestellten punktierten Linien 18 gleichermaßen ausgeführt werden. Darüber hinaus kann auch eine Interpolation zwischen den Linien und eine entsprechende Weiterverarbeitung des Ergebnisses der Interpolation vorgesehen sein.
-
3 zeigt zur Veranschaulichung des Ausschnittes der die Realumgebung geospezifisch abbildenden Simulationsumgebung 14 den Ausschnitt der Simulationsumgebung 14 nochmal in einer Seitenansicht, so dass die realabbildenden Objekte 17 und das realabbildende Gelände 24 deutlich erkennbar sind.
-
In 4 ist entsprechend beispielhaft ein Ausschnitt aus dem Höhenverlauf 25 der Simulationsumgebung 14 entlang der Linie L1 der 2 wiedergegeben. Die Simulationsumgebung der 2 soll im Beispiel der 4 auf einem Höhenraster beruhen, weshalb der beispielhafte Höhenverlauf 25 entlang der Linie L1 der 2 zu jedem Rasterpunkt nur einen einzigen Höhenwert zulässt, weshalb Mehrdeutigkeiten zu einem Rasterpunkt, die eine noch detaillierte Abbildung der Realumgebung 10 erlauben, nicht vorgesehen sind.
-
Entsprechend zu 4 ist in 5 der Höhenverlauf 25 der Simulationsumgebung 14 entlang der Linie L2 der 2 dargestellt.
-
Die 6 bis 9 entsprechen weitestgehend den 2 bis 5 mit dem Unterschied, dass zu dem Zeitpunkt, zu dem die Sensordaten generiert wurden, auf den die Simulationsumgebung der 6 beruht, in der Realumgebung 10 ein zusätzliches reales Objekt 26, nämlich ein Tanklastzug im Bereich des realabbildenden Objekts 17 befindlich war oder ist. Das Objekt 26 befindet sich zudem in dem Sicherheitssektor 23 der Simulationsumgebung 14 der 6. In den entsprechenden Höhenverläufen 25 der 8 und 9 ist die Änderung des Höhenverlaufs 25 durch das zusätzliche realabbildende Objekt 26 erkenntlich.
-
Die 10a bis 10c und 11a bis 11c veranschaulichen den Vergleich der zumindest zwei Höhenverläufe der Simulationsumgebung der 2 bis 5 und der Simulationsumgebung der 6 bis 9, wobei die Darstellungen der 10a und der 11a jeweils den Höhenverlauf 25 entlang der Linie L1 der 2 und 6 und die 10b und 11b den Höhenverlauf 25 entlang der Linie L2 der 2 und 6 beschreiben. Die 10c und 11c stellen das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der jeweiligen Simulationsumgebungen dar. Aus den 10c und 11c geht damit hervor, dass das Objekt 26 und die dadurch hervorgerufenen Veränderungen der Höhenverläufe der 8 und 9 das Ergebnis des Vergleichs bildet. In der 10c ist zudem eine Höhenschranke 27 eingezeichnet, die beispielsweise vordefiniert sein kann und die vorgibt, dass Ergebnisse des Vergleichs der zumindest zwei Höhenverläufe für eine Darstellung der Veränderungen der Realumgebung nicht berücksichtigt werden, wenn das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe in einem gewissen Bereich oder auf einer gewissen Fläche die Höhenschranke 27 nicht überschreitet.
-
Die 12 zeigt dementsprechend eine Darstellung 28 von Veränderungen in einer Realumgebung, wobei die Darstellung einer Simulationsumgebung und die Darstellung des Ergebnisses des Vergleichs der Höhenverläufe umfasst, wobei die Ergebnisse des Vergleichs durch eine optische Hervorhebung 29 dargestellt werden. In der 12 beruht die Darstellung 28 auf der Simulationsumgebung 14 der 6. Es kann jedoch auch vorgesehen sein, dass die Darstellung 28 auf der Simulationsumgebung 14 der 2 beruht. In diesem Fall würde der Benutzer zwar die optische Hervorhebung 29 des Ergebnisses des Vergleichs in der Darstellung 28 der Simulationsumgebung wahrnehmen können, die entsprechende Veränderung in der Simulationsumgebung 14 und die zugrunde liegende Veränderung der Realumgebung wäre aus einer solchen Darstellung jedoch nicht ersichtlich. Deshalb kann es besonders vorteilhaft sein, wenn dem Benutzer die Möglichkeit eröffnet wird, im Rahmen der Darstellung 28 zwischen einer Darstellung der unterschiedlichen Simulationsumgebungen, also zwischen einer Darstellung der 2 und der 6, zu wechseln, um den Gegenstand der ermittelten und dargestellten Veränderungen der Realumgebung besser wahrnehmen zu können.
-
13 liefert schließlich einen Überblick über einen möglichen Verfahrensablauf zur Ermittlung und Darstellung von Veränderungen in einer Realumgebung. In einem ersten Verfahrensschritt S1 werden die zwei Sätze von zeitlich versetzt aufgenommen Sensordaten SD1 und SD2 in den Simulationsumgebungserzeuger 7 geladen. Im anschließenden Verfahrensschritt S2 werden daraus die Simulationsumgebungen 14 generiert, wie sie beispielsweise in 2 und 6 ausschnittsweise dargestellt sind. Diese Simulationsumgebungen 14 bilden die Realumgebung zum jeweiligen Aufnahmezeitpunkt der Sensordaten geospezifisch ab.
-
In einem anschließenden Verfahrensschritt S3 werden, soweit nicht ohnehin bereits vorhanden, aus den Simulationsumgebungen die Höhenverläufe extrahiert oder generiert. Die Höhenverläufe der jeweiligen Simulationsumgebungen werden im Verfahrensschritt S4 miteinander verglichen. Das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe wird im Verfahrensschritt S5 einer fakultativ vorgesehenen Bewertung unterzogen, die beispielsweise eine Bewertung anhand einer vordefinierten Höhenschranke, eine Bewertung anhand einer vordefinierten Flächenschranke, eine Bewertung anhand eines vordefinierten Sicherheitssektors innerhalb der jeweiligen Simulationsumgebung und/oder einer Bewertung anhand von zumindest einem vordefinierten Gefährdungsobjekt unterzogen.
-
Das gegebenenfalls bewertete Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der Simulationsumgebungen wird im Verfahrensschritt S6 dargestellt oder zur Anzeige gebracht, wobei die Darstellung bevorzugt eine Darstellung von zumindest einer Simulationsumgebung oder deren Teile umfasst, wobei die gegebenenfalls bewerteten Ergebnisse des Vergleichs der zumindest zwei Höhenverläufe bevorzugt als optische Hervorhebungen in der Darstellung der Simulationsumgebung erfolgen.
-
Bezugszeichenliste
-
- 1
- Computersystem
- 2
- Bedienvorrichtung
- 3
- erste Anzeigevorrichtung
- 4
- zweite Anzeigevorrichtung
- 5
- Kabelverbindung
- 6
- Kommunikationsschnittstelle
- 7
- Simulationsumgebungserzeuger
- 8
- Simulationsumgebungsspeicher
- 9
- Sensorträgers
- 10
- Realumgebung
- 11
- Aufnahmeeinrichtung
- 12
- Sensordaten
- 13
- Positionsbestimmungseinrichtung
- 14
- Simulationsumgebung
- 15
- reales Gelände
- 16
- reale Objekte
- 17
- realabbildende Objekte
- 18
- Linien
- 19
- Rasterpunkte
- 20
- Flugroute
- 21
- Wegpunkten
- 22
- Auswertungseinheit
- 23
- Sicherheitssektor
- 25
- Höhenverlauf
- 26
- realabbildendes Objekt
- 27
- Höhenschranke
- 28
- Darstellung
- 29
- optische Hervorhebung
- L1, L2
- Linien
- S1–S6
- Verfahrensschritte
- SD1
- erster Satz Sensordaten
- SD2
- zweiter Satz Sensordaten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015120999 B [0044]
- DE 102015120927 [0053]