DE102015120927A1 - Verfahren zur Darstellung einer Simulationsumgebung - Google Patents

Verfahren zur Darstellung einer Simulationsumgebung Download PDF

Info

Publication number
DE102015120927A1
DE102015120927A1 DE102015120927.6A DE102015120927A DE102015120927A1 DE 102015120927 A1 DE102015120927 A1 DE 102015120927A1 DE 102015120927 A DE102015120927 A DE 102015120927A DE 102015120927 A1 DE102015120927 A1 DE 102015120927A1
Authority
DE
Germany
Prior art keywords
simulation environment
real
image
projection
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015120927.6A
Other languages
English (en)
Inventor
Manuel Pabst
Michael Haubner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krauss Maffei Wegmann GmbH and Co KG
Original Assignee
Krauss Maffei Wegmann GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krauss Maffei Wegmann GmbH and Co KG filed Critical Krauss Maffei Wegmann GmbH and Co KG
Priority to DE102015120927.6A priority Critical patent/DE102015120927A1/de
Priority to EP16826698.9A priority patent/EP3384469A2/de
Priority to PCT/DE2016/100563 priority patent/WO2017092734A2/de
Publication of DE102015120927A1 publication Critical patent/DE102015120927A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zur Darstellung einer computergenerierten, eine Realumgebung 1 simulierenden Simulationsumgebung 10, mit einer Datenbasis, welche die Daten des realen Geländes 3 und der im Gelände befindlichen realen Objekte 2 beinhaltet, wobei die Daten bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung 1 aufgenommenen Bildaufnahmen 19 gewonnen werden, ein geospezifisches Abbild des realen Geländes 3 und/oder der realen Objekte 2 umfassen und als Rasterdaten in der Datenbasis hinterlegt sind, wobei aus den Bildaufnahmen 19 ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt 13 der Rasterdaten einen Höhenwert zuordnet und wobei zumindest für einen Teil der durch Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme 19 auf das generierte Höhenraster bestimmt wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, welche die Daten eines realen Geländes und von in dem Gelände befindlichen realen Objekten beinhaltet.
  • Solche Verfahren zur Darstellung von Simulationsumgebungen kommen in unterschiedlichen Ausführungen zum Einsatz. Besonders jedoch keinesfalls ausschließlich werden derartige Verfahren zu Schulungs- und/oder Trainingszwecken verwendet. Der Schulungs- und/oder Trainingszweck kann dabei höchst unterschiedlich sein. Demnach finden gattungsgemäße Verfahren beispielsweise Einsatz bei der Ausbildung und Schulung von Piloten und/oder Zugführern.
  • Allgemeiner ausgedrückt kommen derartige Verfahren zur Darstellung einer Simulationsumgebung bevorzugt dann zum Einsatz, wenn die durchzuführende Tätigkeit im Rahmen der Simulation, also die Interaktion eines Empfängers der Darstellung der Simulationsumgebung, mit der Simulationsumgebung in der Realität zu erheblichen Risiken gesundheitlicher und/oder finanzieller Natur führen würde.
  • Dementsprechend sind verwandte Verfahren zur Darstellung einer Simulationsumgebung auch aus dem militärischen Bereich bekannt, wobei sie gleichermaßen zu Ausbildungs- und Trainingszwecken von Fahrzeugführern als auch zur Einsatzvorbereitung Verwendung finden.
  • In einer Vielzahl der vorangegangen beschriebenen Einsatzzwecke von Verfahren zur Darstellung einer Simulationsumgebung sind die mit der Darstellung erreichten oder erreichbaren Schulungs- und/oder Trainingseffekte weitestgehend von einer realitätsgetreuen Abbildung der wirklichen Welt, also der Realumgebung, im Rahmen der Darstellung der Simulationsumgebung abhängig. Dies bedeutet für die Anwendung zur Einsatzvorbereitung im militärischen Bereich beispielsweise, dass eine Vorbereitung auf einen Einsatz umso effektiver stattfinden kann, desto mehr die Darstellung der Simulationsumgebung einer Realumgebung eines geplanten Einsatzes ähnelt.
  • Um jedoch eine hochgradige Übereinstimmung zwischen einer Realumgebung und einer die Realumgebung simulierenden Simulationsumgebung und deren Darstellung zu erreichen, sind unterschiedliche Schwierigkeiten zu überwinden.
  • Einerseits müssen Daten gewonnen werden, die die Realumgebung möglichst genau und detailgetreu abbilden. Die Gewinnung solcher Daten ist dabei aufgrund von Satellitentechnik und unbemannten Aufklärungsfahrzeugen oder -flugzeugen insgesamt weniger problematisch. Größere Probleme stellen die durch die Abbildung der Realumgebung generierten Datenmengen sowie deren sinnvolle und effiziente Verwendung bei der Generierung und Darstellung der die Realumgebung simulierenden Simulationsumgebung dar. Insbesondere kann die benötigte Zeit zwischen der Erhebung oder Generierung der Daten zur Abbildung der Realumgebung und der Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung einen besonders kritischen Faktor darstellen.
  • Beispielsweise in der militärischen Einsatzvorbereitung kann es von besonderem Interesse sein, innerhalb kürzester Zeit nach der Datenerfassung durch eine Abbildung einer Realumgebung in der Lage zu sein, eine Darstellung einer eine Realumgebung simulierenden Simulationsumgebung auszuführen und damit die Einsatzvorbereitung zu betreiben.
  • Bei gattungsgemäßen Verfahren wird jedoch beispielsweise aus den die Realumgebung abbildenden Daten ein Oberflächenmodel modelliert, in dem dann Objekte, insbesondere Gebäude, erkannt, extrahiert, modelliert und wieder integriert werden. Erst im Anschluss an all diese Vorgänge kann eine Darstellung der so geschaffenen Simulationsumgebung erfolgen. Dies erfordert jedoch ein hohes Maß an Zeit. Besonders die Modellierung von erkannten Objekten ist dabei gleichermaßen zeitauffällig und fehleranfällig.
  • Die Aufgabe der vorliegenden Erfindung liegt dementsprechend darin, ein Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, in der Daten des realen Geländes und von im realen Gelände befindlichen realen Objekten beinhaltet sind, anzugeben, welches eine schnelle und realitätsgetreue Darstellung der Simulationsumgebung ermöglicht.
  • Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass die Daten durch eine Auswertung von bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung aufgenommenen Bildaufnahmen gewonnen werden, die Daten ein geospezifisches Abbild des realen Geländes und/oder der realen Objekte umfassen und die Daten als Rasterdaten in der Datenbasis hinterlegt sind, wobei aus den Bildaufnahmen ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt der Rasterdaten ein Höhenwert zuordnet und wobei zumindest für ein Teil der durch Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme auf das generierte Höhenraster bestimmt wird.
  • Durch das erfindungsgemäße Verfahren wird in besonders vorteilhafter Weise eine besonders realistische Darstellung einer Simulationsumgebung, basierend auf einem Höhenraster bei vergleichsweise geringem Aufwand und hohem Automatisierungsgrad, ermöglicht.
  • Denn einerseits lässt sich ein entsprechendes Höhenraster aus den Bildaufnahmen der Realumgebung anhand bekannter Verfahren wie beispielsweise „structure from motion“ schnell, präzise und automatisch generieren. Jedoch führt ein solches Höhenraster dazu, dass insbesondere bei vertikal oder zumindest steil verlaufenden Oberflächen der Simulationsumgebung eine geringe Anzahl an Rasterpunkten verhältnismäßig große Oberflächen der Simulationsumgebung abbilden. Dies führt wiederum dazu, dass auf derartigen Oberflächen eine automatisierte und gleichzeitig realitätsgetreue Farbgebung und sonstige Texturierung nicht möglich ist. Mit den bekannten Verfahren kann manuell zwar eine Texturierung und/oder Farbgebung vorgenommen werden, die bedarf dann aber eines entsprechend großen Aufwands.
  • Durch das erfindungsgemäße Verfahren wird jedoch ermöglicht, dass eine Projektion der Bildaufnahmen bzw. von Teilen der Bildaufnahmen auf ein generiertes Höhenraster vorgenommen wird, was wiederrum zum Vorteil hat, dass eine derartige Projektion automatisch erfolgen kann und gleichzeitig bis hin zu einer fotorealistischen Texturierung von Oberflächen in der Simulationsumgebung führt. Darüber hinaus hat das erfindungsgemäße Verfahren den Vorteil, dass es nicht im Vorfeld der Darstellung der Simulationsumgebung ausgeführt und abgeschlossen werden muss, so dass die Farbtexturen zu den durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung vorliegen. Vielmehr kann die Projektion der zumindest einen Bildaufnahme auf das generierte Höhenraster zur Bestimmung einer Farbtextur eines Teils der durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung während der Darstellung der Simulationsumgebung erfolgen, wodurch der Zeitvorsatz zwischen der Gewinnung der Bildaufnahmen, der Realumgebung und der Darstellung der Simulationsumgebung weiter minimiert werden kann.
  • Dabei ist es notwendig, dass das geospezifische Abbild der Realumgebung mit einer eindeutigen und umkehrbaren Transformation in die Rasterdaten des Höhenrasters überführt wird. Als Beispiel für eine solche Zuordnung kann eine Georeferenzierung vorgesehen sein. Dadurch wird jedem Rasterpunkt ein entsprechender Punkt der Realumgebung zugeordnet. Allgemein ist es jedoch erforderlich, dass die Raumkoordinaten der Realumgebung in ein entsprechendes Koordinatensystem der Simulationsumgebung und zurück überführt werden können.
  • In einer vorteilhaften Ausgestaltung des Verfahrens ist vorgesehen, dass zur Bestimmung der Farbtextur von durch Rasterpunkte aufgespannte Oberflächen der Simulationsumgebung eine Projektion von mehreren Bildaufnahmen auf das generierte Höhenraster durchgeführt wird, wobei die Farbtextur der Oberfläche als Mittelwert der aus den jeweiligen Projektionen ermittelten Farbtexturen bestimmt wird. Dabei wird einerseits vorteilhaft ausgenutzt, dass im Falle einer hohen Bildabfolge der die Realumgebung abbildenden Bildaufnahmen die Oberflächen, die in der Simulationsumgebung mit einer projizierten Farbtextur zu versehen sind, mehrfach aus verschiedenen Aufnahmepositionen enthalten sind. Durch die unterschiedlichen Bildaufnahmen können Fehler und Ungenauigkeiten der Bildaufnahmen an sich sowie aufgrund der Projektion ausgemittelt werden, die bei der Projektion lediglich einer Bildaufnahme auf das Höhenraster zur Bestimmung einer Farbtextur entstehen könnten.
  • Bei der Bildung des Mittelwerts können verschiedene Filter, Gewichtungen und/oder Glättungen zum Einsatz kommen, so dass der gebildete Mittelwert der Farbtextur im hohen Maße der Realität, also der Oberfläche in der Realumgebung, entspricht. Dabei können ganze Farbtexturen, Abschnitte von Farbtexturen oder einzelne Pixel von Farbtexturen gemittelt werden.
  • Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens ist vorgesehen, dass die Projektionen der zumindest einen Bildaufnahme auf das Höhenraster der Datenbasis der Simulationsumgebung während der Darstellung der Simulationsumgebung erfolgt.
  • Um die Arbeitsbelastung, insbesondere die Rechenbelastung des Systems, welches zur Ausführung des erfindungsgemäßen Verfahrens genutzt wird, weiter zu verringern, kann eine ebenfalls vorteilhafte Ausgestaltung des Verfahrens vorgesehen werden: Diese sieht vor, dass die Bildaufnahme oder die Bildaufnahmen, die zur Projektion auf eine durch Rasterpunkte aufgespannte Oberfläche der Simulationsumgebung herangezogen werden, insbesondere hinsichtlich der Auflösung der Bildaufnahme vorverarbeitet werden.
  • Damit wird unter anderem dem Umstand Rechnung getragen, dass die Bildaufnahmen der Realumgebung, welche zur Generierung der Datenbasis der Simulationsumgebung dienen, mitunter eine Auflösung aufweisen, die deutlich über der Auflösung liegt, die bei der Ausführung des erfindungsgemäßen Verfahrens einen Benutzer vermittelt bzw. von diesem wahrgenommen werden kann. Dabei ist es möglich, dass sowohl der Benutzer selbst als auch das System, welches zur Ausführung des Verfahrens benutzt wird, den limitierenden Faktor der Auflösung darstellt.
  • Bei einer Vorverarbeitung der Bildaufnahmen, insbesondere bei einer Reduzierung der Auflösung der Bildaufnahmen im Vorfeld zu einer Projektion auf das Höhenraster, also eine durch Rasterpunkte aufgespannte Oberfläche, kann die notwendige Rechenleistung zur Ausführung der Projektionen deutlich gesenkt und die Projektion damit entsprechend schnell ausgeführt werden.
  • Wie in der Realität auch, so hängt bei dem Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung die vom Benutzer wahrnehmbare bzw. erfassbare maximale Auflösung von dem Abstand zwischen der Betrachtungsposition und dem betrachteten Objekt ab. Dementsprechend sieht eine weitere besonders vorteilhafte Ausführung des Verfahrens vor, dass die Vorverarbeitung der Bildaufnahme vor der Durchführung der Projektionen in Abhängigkeit einer frei wählbaren Betrachtungsposition der Darstellung der Simulationsumgebung, insbesondere in Abhängigkeit vom Abstand zwischen der Betrachtungsposition der Simulationsumgebung und der Position der durch die Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung, auf die die Bildaufnahme projiziert wird, ausgeführt wird.
  • Dies bedeutet, dass wenn der Betrachter der Simulationsumgebung oder der Nutzer des Verfahrens zur Darstellung der Simulationsumgebung eine Betrachtungsposition in der Simulationsumgebung wählt, die sich in der Nähe einer durch wenige Rasterpunkte aufgespannten großen Oberfläche der Simulationsumgebung, wie beispielsweise eine Hauswand oder einem Steilhang, befindet, eine Projektion zumindest einer Bildaufnahme auf diese Oberfläche vorgenommen wird, ohne im Rahmen einer Vorverarbeitung die Auflösung der Bildaufnahme zu reduzieren. Umgekehrt kann bei einem großen Abstand zwischen der gewählten Betrachtungsposition und einer mit einer projizierten Farbtextur zu versehenden Oberfläche der Simulationsumgebung die Auflösung der für die Projektion verwendeten Bildaufnahmen im Rahmen einer Vorverarbeitung reduziert werden. Dadurch wird bei der Ausführung des erfindungsgemäßen Verfahrens die zur Verfügung stehende Rechenleistung optimal und unter Berücksichtigung der Grenzen der Wahrnehmbarkeit seitens eines Benutzers ausgenutzt.
  • Nachfolgend werden unterschiedliche Ausführungsformen des Verfahrens beschrieben, die sich auf die Zuordnung zwischen einer Bildaufnahme zu einem bestimmten Teil des Höhenrasters zum Ausführen der Projektionen sowie der Einbeziehung der frei wählbaren Betrachtungsposition der Simulationsumgebung beziehen. Denn um im Rahmen der Projektionen aus den Bildaufnahmen eine geeignete Farbtextur für eine durch Rasterpunkte aufgespannte Oberfläche der Simulationsumgebung zu gewinnen, ist zunächst eine möglichst präzise und eindeutige Zuordnung einer Bildaufnahme bzw. eines Teils einer Bildaufnahme zu eben jener Oberfläche im Höhenraster herzustellen. Dabei kommt die oben schon erwähnte eindeutige Zuordnung zwischen den Raumkoordinaten der Realumgebung, wie sie bei der Gewinnung der Bildaufnahmen dokumentiert werden können und dem Koordinatensystem der Simulationsumgebung zum Einsatz.
  • Dazu sieht eine vorteilhafte Ausgestaltung des Verfahrens vor, dass die Projektionen der Bildaufnahme in Abhängigkeit der Aufnahmeposition in der Realumgebung und der sich daraus resultierenden Aufnahmeposition in der Simulationsumgebung erfolgt.
  • Dies bedeutet, dass die bei einem Überflug über und/oder bei einer Durchfahrt durch die Realumgebung aufgenommenen Bildaufnahmen mit einer Positionsangabe versehen sind, die eine Aufnahmeposition der Bildaufnahme darstellen. Durch die Überführung der Gesamtheit der Bildaufnahmen in ein Höhenraster der Datenbasis der Simulationsumgebung kann in der Simulationsumgebung jeder Bildaufnahme eine entsprechend virtuelle oder simulierte Aufnahmeposition zugeordnet werden. Dadurch wird wiederrum eine Beziehung zwischen der Bildaufnahme und dem Höhenraster hergestellt, die zur Durchführung der Projektionen der Bildaufnahme zur Erzeugung einer Farbtextur besonders vorteilhaft ist.
  • Die Genauigkeit der Bestimmung einer Farbtextur einer durch Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung durch die Projektionen einer Bildaufnahme kann weiter dadurch verbessert werden, dass die Projektion der Bildaufnahme in Abhängigkeit von der Aufnahmerichtung in der Realumgebung und der daraus resultierenden Aufnahmerichtung in der Simulationsumgebung erfolgt.
  • Die Aufnahmerichtung in der Realumgebung lässt sich beispielsweise aus der Bewegung der zur Aufnahme der Bildaufnahmen verwendeten Vorrichtung sowie der jeweiligen Ausrichtungen der Aufnahmevorrichtung bezüglich der Bewegung ableiten und wie vorangegangen bereits beschrieben in die Simulationsumgebung sowie das dort vorliegende Höhenraster überführen.
  • Die Resultate der Projektionen zur Bestimmung einer Farbtextur werden weiter durch die folgende Ausgestaltung des Verfahrens verbessert: Diese sieht vor, dass die Projektionen der Bildaufnahme in Abhängigkeit von Abbildungseigenschaften der Aufnahmevorrichtung, mit der die Bildaufnahme erzeugt wurde, erfolgt. Bei derartigen Eigenschaften oder Abbildungseigenschaften der Aufnahmevorrichtung kann es sich beispielweise um den Raumwinkel handeln, der ausgehend von der Position der Aufnahmevorrichtung erfasst oder abgebildet wird. Jedoch auch andere Abbildungseigenschaften kann die Qualität der durchzuführenden Projektionen verbessern. Der Winkelbereich lässt sich beispielsweise zusammen mit der Aufnahmeposition und/oder der Aufnahmerichtung wie oben bereits beschrieben in die Simulationsumgebung, insbesondere in das Höhenraster der Simulationsumgebung übertragen, wodurch die Zuordnung eines Teils einer Bildaufnahme zu einer durch Rasterpunkte aufgespannten Oberfläche in der Simulationsumgebung weiter verbessert oder präzisiert werden kann.
  • Durch den Unterschied der virtuellen Aufnahmeposition, Aufnahmerichtung und anderen Eigenschaften der in die Simulationsumgebung transferierten Bildaufnahme und einer frei wählbaren Betrachtungsposition der Simulationsumgebung kann es vorkommen, dass ein Teil einer durch Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung, für die aus einer Bildaufnahme im Rahmen einer Projektion eine Farbtextur bestimmt werden soll, aus der Betrachtungsposition nicht sichtbar ist, weil andere Rasterpunkte des Rastermodels die Sichtlinie zwischen der Betrachtungsposition und der entsprechenden Oberfläche oder eines Teils der Oberfläche verdecken. Um in dieser Situation eine fehlerhafte oder zumindest irreführende Projektionen oder eine daraus resultierende mangelhafte Ausgestaltung des Verfahrens auszuschließen, ist folgendes vorgesehen: Besonders vorteilhaft umfasst die Projektion ein Kontrollverfahren, welches kontrolliert, ob ein Teil einer durch Rasterpunkte des Rastermodels aufgespannten Oberfläche der Simulationsumgebung von der aktuell frei wählbaren Betrachtungsposition der Simulationsumgebung aus sichtbar oder verdeckt ist.
  • In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass das Kontrollverfahren unter Verwendung einer aus dem Rastermodel und der frei wählbaren Betrachtungsposition der Simulationsumgebung abgeleiteten Tiefenkarte der Simulationsumgebung ausgeführt wird.
  • Dies bedeutet, dass beispielsweise ausgehend von der aktuellen Betrachtungsposition eine Analyse des Rastermodels der Simulationsumgebung vorgenommen wird, die feststellt, welche Bereiche der Simulationsumgebung beziehungsweise des Rastermodels der Simulationsumgebung aus der aktuellen Betrachtungsposition sichtbar sind und die entsprechenden Ergebnisse in Form einer Tiefenkarte hinterlegt oder speichert.
  • In einer besonders vorteilhaften Weiterbildung des vorgeschlagenen Verfahrens ist zudem vorgesehen, dass die Projektion von zumindest einer Bildaufnahme auf die durch Rasterpunkte aufgespannte Oberflächen der Simulationsumgebung angewendet werden, die steil, insbesondere vertikal verlaufende Oberflächen des realen Geländes und/oder realer Objekte abbilden.
  • Grundsätzlich kann die im Rahmen des vorgeschlagenen Verfahrens durchgeführte Projektion von Bildaufnahmen zur Gewinnung von Farbtexturen für alle Bereiche der Simulationsumgebung durchgeführt werden. In verhältnismäßig flachen Abschnitten der realen Umgebung, also Abschnitten mit einer relativ großen horizontalen Komponente und lediglich einer geringen oder keinen vertikalen Komponente sind jedoch nach der Überführung in die Rasterdaten der Simulationsumgebung eine verhältnismäßig große Anzahl von Rasterpunkten pro Fläche oder Oberfläche der Simulationsumgebung vorhanden, so dass andere Verfahren zur Gewinnung und Anzeige von Farben oder Farbtexturen ein gleichermaßen realistisches Ergebnis bei geringerem Aufwand liefern.
  • Wie jedoch eingangs bereits beschrieben, sind insbesondere bei der Abbildung von steilen oder senkrechten Abschnitten der realen Umgebung nach der Überführung in ein Abbild des realen Geländes unter Verwendung eines Höhenrasters in diesen Bereichen der Simulationsumgebung nur sehr wenige Rasterpunkte pro Fläche oder Flächeninhalt verfügbar, weshalb andere Verfahren zur Bestimmung einer Oberflächenfarbe oder einer Oberflächentextur hier versagen oder zumindest zu realitätsfernen Ergebnissen führen.
  • In einer weiteren Ausführungsform des Verfahrens kann vorgesehen sein, dass in der Datenbasis Daten hinterlegt sind, die Modelle realer Objekte der realen Umgebung darstellen.
  • Diese Modelle realer Objekte können beispielsweise im Vorfeld zu der Ausführung des erfindungsgemäßen Verfahrens aus den Rasterdaten dadurch abgeleitet werden, dass zunächst die Abbildungen von realen Objekten in den Rasterdaten identifiziert werden, anschließend die entsprechenden Rasterdaten extrahiert und auf Grundlage dieser entsprechender Modelle beispielsweise polygonreduzierte Modelle der Objekte angefertigt werden, die dann ebenfalls als Teil der Datenbasis der Simulationsumgebung bereit gestellt werden.
  • Dabei ist es für die Ausführung des hier beschriebenen Verfahrens besonders vorteilhaft, wenn die Modelle der realen Objekte zusätzlich zu den Rasterdaten, die die realen Objekte abbilden, in der Datenbasis gespeichert werden. Dabei können auch bekannte Verfahren zur Texturierung der Modelle beispielweise der polygonreduzierten Modelle der Objekte zum Einsatz kommen, die keine Projektion einer Bildaufnahme umfassen. Dies bedeutet auch, dass herkömmliche Texturierungsverfahren für die Modelle zum Einsatz kommen können, die eine weniger realitätsgetreue Farbgebung und/oder Texturierung der Modelle zur Folge haben.
  • Gemäß einer besonders vorteilhaften Weiterbildung des Verfahrens ist vorgesehen, dass die Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung in unterschiedlichen Betriebsarten erfolgen kann, wobei in einer Ansichts-Betriebsart die Darstellung basierend auf den Rasterdaten und den zumindest teilweise durch die Projektion der Bildaufnahmen bestimmten Farbtexturen erfolgt und wobei in einer Interaktions-Betriebsart die Darstellung zumindest teilweise basierend auf Modellen realer Objekte erfolgt.
  • Dies ermöglicht, dass zugunsten einer Interaktion mit der Darstellung der Simulationsumgebung auf die Modelle der realen Objekte zurückgegriffen werden kann, für die eine Veränderung leichter umgesetzt und dargestellt werden kann als für ein reines Höhenraster. Dabei kann auch eine Einbuße der Texturierung der Modelle billigend in Kauf genommen werden. Die dynamische Veränderung von Modellen von Objekten kann beispielsweise für die Darstellung von Beschädigungen der Objekte vorgesehen sein.
  • Soweit jedoch lediglich eine Ansicht der Simulationsumgebung erfolgen soll, ist es besonders vorteilhaft, wenn das Verfahren zur Darstellung der Simulationsumgebung auf den Rasterdaten und den zumindest teilweise auf die Rasterdaten projizierten Farbtexturen aus den Bildaufnahmen basiert.
  • Dementsprechend ermöglicht die vorangehend beschriebene Ausgestaltung des Verfahrens, dass je nach Betriebsart entweder eine besonders realistische Ansicht der Simulationsumgebung oder eine Interaktion mit der Simulationsumgebung unter teilweisem Verzicht auf ein gewisses Maß der Realitätstreue erreicht werden kann.
  • Weitere Vorteile und Einzelheiten des erfindungsgemäßen Verfahrens werden nachfolgend unter Zuhilfenahme der beigefügten, schematisierten Zeichnungen von Ausführungsbeispielen erläutert werden. Darin zeigen:
  • 1 eine beispielhafte Darstellung einer Gewinnung von Bildaufnahmen einer Realumgebung;
  • 2 ein beispielhafter Ausschnitt aus einer Simulationsumgebung und der darin angeordneten Betrachtungsposition;
  • 3 eine beispielhafte Darstellung einer Projektion von Bildaufnahmen auf durch Rasterpunkte aufgespannte Oberflächen der Rasterdaten der Simulationsumgebung;
  • 4 eine alternative beispielhafte Darstellung einer Projektion einer Bildaufnahme auf eine durch Rasterpunkte aufgespannte Oberfläche;
  • 5 ein schematisiertes Ablaufdiagramm des erfindungsgemäßen Verfahrens gemäß einer Ausführungsform.
  • Die 1 zeigt eine Realumgebung 1, in der reale Objekte 2, wie beispielsweise Gebäude oder Pflanzen in einem realen Gelände 3 angeordnet sind. Um die Realumgebung 1 in einer computergenerierten Simulationsumgebung simulieren zu können, kann vorgesehen sein, dass eine Aufnahmevorrichtung 4 wie beispielsweise ein Satellit oder ein unbemanntes Flugzeug in einem Überflug über die Realumgebung 1 Bildaufnahmen 19 gewinnt. Um die mit der Aufnahmevorrichtung 4 gewonnenen Bildaufnahmen 19 in ein Abbild der Realumgebung überführen zu können, ist es dafür besonders wünschenswert, wenn die genaue Aufnahmeposition der Aufnahmevorrichtung 4 in der Realumgebung, deren momentaner Bewegungszustand sowie Abbildungseigenschaften der Aufnahmevorrichtung 4 zusammen mit den Bildaufnahmen 19 aufgenommen werden.
  • Im Beispiel der 1 wird die Dokumentation der Aufnahmeposition 5 der Aufnahmevorrichtung 4 sowie deren Bewegung durch das Koordinatensystem 6 sowie den Geschwindigkeitsvektor 7 veranschaulicht. Darüber hinaus ist ein Sichtfeld 8 der Aufnahmevorrichtung 4 skizziert, welches sich um eine Aufnahmerichtung 17 der Aufnahmevorrichtung erstreckt. Die Ausdehnung des Sichtfelds 8 um die Aufnahmerichtung 17 hängt dabei von den Abbildungseigenschaften der Aufnahmevorrichtung ab.
  • Zur besseren Veranschaulichung des vorgeschlagenen Verfahrens ist das Sichtfeld 8 der Aufnahmevorrichtung 4 durch eine gedachte oder vermeintliche Abbildungsebene 9 begrenzt. Die Abbildungsebene 9 veranschaulicht die Abbildung der dreidimensionalen Realumgebung 1 in eine zweidimensionale Bildaufnahme 19.
  • Durch die Abbildung der Realumgebung 1 mit einer Aufnahmevorrichtung 4, bei der neben den reinen Bildaufnahmen 19 auch die Aufnahmeposition 5, die Aufnahmerichtung 9, Geschwindigkeitsvektor 7 und die Abbildungseigenschaften der Aufnahmevorrichtung 4 dokumentiert werden, führen zu einem Datensatz, anhand welchem die Realumgebung 1 in eine Simulationsumgebung überführt werden kann. Beispielsweise kann in eine Datenbasis ein Abbild des realen Geländes 3 und/oder der realen Objekte 2 gespeichert sein, wobei die Daten als Rasterdaten in der Datenbasis hinterlegt sind.
  • 2 zeigt einen Ausschnitt aus einer Simulationsumgebung zur Darstellung gemäß des vorgeschlagenen Verfahrens. In der Darstellung der 2 ist eine Draufsicht auf die Simulationsumgebung 10 gewählt, so dass die entsprechenden Rasterpunkte der Rasterdaten in der Zeichenebene der 2 liegen, wohingegen die jedem Rasterpunkt der Rasterdaten zugeordneten Höhenwerte senkrecht zur Zeichenebene der 2 liegen und damit nicht dargestellt sind. Der Ausschnitt der Simulationsumgebung 10 zeigt ein realabbildendes Objekt 11 in Form eines Hauses sowie ein realabbildendes Gelände 12. Im linken unteren Bereich ist zudem ein Ausschnitt des Rasters eingeblendet, bei dem jedem Rasterpunkt 13 ein Höhenwert zugeordnet wird und somit das Höhenraster der Simulationsumgebung 10 generiert wird. Die Höhenwerte der Rasterpunkte 13 bilden damit insgesamt Rasterdaten, die aus Bildaufnahmen 19 generiert werden, deren Entstehung beispielsweise wie mit in Bezug auf 1 beschrieben erfolgt.
  • Anhand der Rasterpunkte 13 des Ausschnitts des Rasters der Rasterdaten wird erkenntlich, dass für einen Abschnitt oder Ausschnitt der Simulationsumgebung 10 mit einem flachen oder horizontalem Verlauf, also einem Verlauf, der im Wesentlichen parallel zur Zeichenebene der 2 verläuft, wie beispielsweise das Hausdach 18 des Objekts 11, eine verhältnismäßig große Anzahl von Rasterpunkten 13 pro Fläche vorliegt. Anders ist die Situation für von den Rasterpunkten aufgespannten Oberflächen 14, die die Seitenwände des realabbildenden Objekts 11 der Simulationsumgebung 10 darstellen oder abbilden. Diese Oberflächen 14 der Seitenwände verlaufen weitestgehend senkrecht, und zwar sowohl in der realen Umgebung als auch in der Simulationsumgebung 10. Dies führt jedoch dazu, dass nur sehr wenige Rasterpunkte 13 mit entsprechenden Höhenwerten vorliegen, um die verhältnismäßig großen Oberflächen 14 der Seitenwände der Simulationsumgebung aufzuspannen. Daraus resultiert die Problematik der Farbgebung oder Texturierung der Oberflächen 14 in der Simulationsumgebung 10 sowie die Farbgebung oder Texturierung vergleichbarer Oberflächen mit einem hohen vertikalem Anteil und einem geringem horizontalen Anteil.
  • Die 2 zeigt darüber hinaus eine vom Benutzer des Verfahrens frei wählbare Betrachtungsposition 15, die den Ausgangspunkt zur Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung 10 darstellen soll. Anhand der Darstellung der Betrachtungsposition 15 bezüglich des realabbildenden Objekts 11 wird deutlich, dass der Benutzer des Verfahrens die Oberfläche 14.1 und die Oberfläche 14.2 des realabbildenden Objekts 11 unter unterschiedlichen Winkeln wahrnimmt. Die Oberfläche 14.3 ist von der frei wählbaren Darstellungsposition 15 der 2 nicht erkennbar, da die Oberfläche 14.1 die Sicht auf die Oberfläche 14.3 von der Betrachtungsposition 15 aus verdeckt.
  • Dies veranschaulicht, dass bei der Darstellung der Simulationsumgebung 10, in Abhängigkeit von der gewählten Betrachtungsposition 15, insbesondere jedoch keinesfalls ausschließlich hinsichtlich senkrecht oder zumindest steil verlaufender Oberflächen, deren Sichtbarkeit insgesamt und im Speziellen deren entsprechende Farbgebung oder Texturierung berücksichtigt werden muss.
  • Aus der beispielhaften Darstellung der 2 geht eine Situation hervor, in der die frei wählbare Betrachtungsposition 15 verhältnismäßig nah an dem realabbildenden Objekt 11 der Simulationsumgebung 10 gewählt ist. Dies bedeutet aber auch, dass es besonders wünschenswert ist, dass die aus der Betrachtungsposition 15 sichtbaren Oberflächen 14.1 und 14.2 des realabbildenden Objekts 11 mit einer detailreichen und realitätsgetreuen Farbgebung dargestellt werden, obwohl die entsprechenden Oberflächen der Simulationsumgebung lediglich durch eine verhältnismäßig geringe Anzahl von Rasterpunkten 13 aufgespannt werden.
  • Um dies zu erreichen, bietet sich besonders das vorgeschlagene Verfahren an, dessen Grundidee auf der Projektion von Bildaufnahmen 19 auf das generierte Höhenraster einer Datenbasis einer Simulationsumgebung beruht, um einen Teil der durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung mit einer Farbtextur zu versehen.
  • Eine Veranschaulichung dieser Projektion wird nachfolgend mit Bezug auf 3 beschrieben.
  • In 3 ist abermals ein Ausschnitt einer Simulationsumgebung 10 in der Draufsicht, also mit Sicht auf die Ebene der Rasterpunkte dargestellt, wobei sich die den Rasterpunkten zugeordneten Höhenwerte senkrecht zur Zeichenebene liegen. In dem Ausschnitt der Simulationsumgebung 10 ist ebenfalls ein realabbildendes Objekt 11 in Form eines Hauses dargestellt. Weiter sind zur Veranschaulichung der Projektionen von Bildaufnahmen 19 auf das Höhenraster beispielhaft die vermeintlichen Abbildungsebenen 9 zweier unterschiedlicher Bildaufnahmen 19 in der 3 dargestellt.
  • Durch die mit Bezug auf 1 beschriebene Vorgehensweise bei der Gewinnung der Bildaufnahmen 19 kann eine eindeutige Positionierung und Ausrichtung der Abbildungsebene 9 in der Simulationsumgebung 10 erreicht werden. Die Abbildungsebenen 9 verfügen wie in 1 skizziert auch über eine vertikale Komponente, die im Beispiel der 3 zumindest teilweise senkrecht auf der Zeichenebene steht und lediglich aus Gründen der Anschaulichkeit und Übersichtlichkeit der 3 in dieser nicht dargestellt ist.
  • Trotzdem ist aus der 3 erkennbar, wie anhand der Bildaufnahmen 19 und deren Abbildungsebenen 9 eine Projektion vorgenommen wird, durch die zumindest einem Teil der durch die Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 eine Farbtextur zugeordnet wird. Anhand der in 3 punktiert dargestellten Linien wird beispielsweise eine Abbildungsvorschrift oder Projektionsvorschrift skizziert, anhand derer ein erster Projektionsbereich 16.1 aus der Bildaufnahme 19 mit der Abbildungsebene 9.1 auf die erste, eine Seitenwand bildende Oberfläche 14.1 des realabbildenden Objekts 11 projiziert wird. Gleiches gilt für die punktierten Linien, die die Abbildung oder Projektionen eines Projektionsbereich 16.2 der Bildaufnahme 19 mit der Abbildungsebene 9.1 auf die Oberfläche 14.2 des realabbildenden Objekts 11 veranschaulichen.
  • Die genauen Abbildungsvorschriften der Projektionen, also der Verlauf der beispielhaft dargestellten punktierten Linien sowie der nicht dargestellten dazwischen angeordneten Projektionen von Punkten der Abbildungsebene 9.1 auf die Oberflächen 14.1 und 14.2 werden einerseits durch die Rasterdaten oder das Höhenraster bestimmt und andererseits durch die bei der Erzeugung der Bildaufnahme 19 vorliegenden Eigenschaften wie Aufnahmeposition, Aufnahmerichtung und dergleichen bestimmt, welche sich vereinfacht dargestellt in der Ausrichtung der Abbildungsebene 9.1 widerspiegeln.
  • Die Abbildungsebene 9.2 einer zweiten Bildaufnahme 19 kann gemäß den in der 3 strichliniert dargestellten Projektionsvorschriften ebenfalls dazu genutzt werden, die Oberflächen 14.1 und 14.2 mit einer aus der entsprechenden Bildaufnahme 19 generierten Farbtextur zu versehen. Dabei kann auch vorgesehen sein, dass die entsprechenden Projektionsbereiche 16.3 und 16.4 der Bildaufnahme 19 mit der Abbildungsebene 9.2 zunächst mit den entsprechenden Projektionsbereichen 16.1 und 16.2 der Bildaufnahme 19 mit der Abbildungsebene 9.1 gemittelt werden.
  • Dementsprechend kann die Qualität der durch die Projektionen generierten Farbtextur für die Oberflächen 14.1 und 14.2 des realabbildenden Objekts 11 weiter verbessert werden. Die Bildaufnahme 19 mit der Abbildungsebene 9.2 erlaubt zudem, zumindest für ein Teil der Seitenwand 14.3 des realabbildenden Objekts 11, die Generierung einer Farbtextur im Rahmen einer Projektion der Bildaufnahme 19 auf das Höhenraster der Simulationsumgebung 10. Der Projektionsbereich 16.5 der Bildaufnahme 19 mit der Abbildungsebene 9.2 kann auf einen Teil der Oberfläche 14.3 des realabbildenden Objekts 11 projiziert werden.
  • Aus der Darstellung der 3 wird damit auch ersichtlich, dass Bildaufnahmen 19 aus unterschiedlichen Aufnahmepositionen und mit unterschiedlichen Aufnahmerichtungen besonders vorteilhaft und wünschenswert sind, um für eine möglichst große Anzahl von durch Rasterpunkte aufgespannte Oberflächen 14 der Simulationsumgebung 10 möglichst vollständige und detailgetreue Farbtexturen erzeugen zu können.
  • In der 4 ist ebenfalls eine Projektion eines Teils einer Bildaufnahme 19 auf eine durch Rasterpunkte 13 aufgespannte weitgehend vertikale Oberfläche 14.1 dargestellt.
  • Hinsichtlich der Bildaufnahme 19 ist festzuhalten, dass es sich bei der Darstellung der 4 um eine starke Schematisierung einer Bildaufnahme 19 handelt. Dies ist nicht zuletzt der Übersichtlichkeit der 4 geschuldet. Von einer realistischen Bildaufnahme 19 wären neben der Seitenansicht des realen Objekts 2 selbstverständlich noch eine Vielzahl anderer Inhalte, wie beispielsweise Vegetation, weitere Objekte, Fahrzeuge, Menschen und Tiere umfasst. Es soll auch darauf hingewiesen werden, dass es sich bei der Darstellung der Seitenansicht des Objekts 2 in der Bildaufnahme 19 der 4 um eine gewollt vereinfachte Darstellung handelt, die die Vorteile des erfindungsgemäßen Verfahrens jedoch nicht vollständig wiederzugeben vermag. Denn die Seitenansicht des Objekts 2 der Bildaufnahme 19 ist eben keine fotorealistische Darstellung, wie sie beim erfindungsgemäßen Verfahren zum Einsatz kommen kann. Aus der Darstellung der 4 wird jedoch das Grundprinzip deutlich, wonach die in den Bildaufnahmen 19 festgehaltenen Oberflächen der Realumgebung, insbesondere die von den Bildaufnahmen 19 umfassten Oberflächen von realen Objekten 2 zur Projektion herangezogen werden, die in der Simulationsumgebung 10 oder bei der Darstellung der Simulationsumgebung 10 einen entsprechend realistischen Eindruck beim Betrachter hervorrufen.
  • Wie bereits mit Bezug auf die 3 beschrieben, kann die Zuordnung der Bildaufnahme 19 und des darin abgebildeten realen Objekts 2 zu dem realabbildenden Objekt 11 der Simulationsumgebung 10, insbesondere zu der Oberfläche 14.1 durch die eindeutige Verknüpfung zwischen den bei der Gewinnung der Bildaufnahme 19 dokumentierten Raumkoordinaten und/oder Raumrichtungen der Realumgebung 1 zu den Koordinaten der Simulationsumgebung 10 ermöglicht werden. Dabei kann die Simulationsumgebung 10 bevorzugt eine Verknüpfung mit der Realumgebung 2 aufweisen.
  • Die Oberfläche 14.1 der Simulationsumgebung 10 wird durch die Seitenwand eines realabbildenden Objekts 11 der Simulationsumgebung 10 gebildet. In der 4 ist das realabbildende Objekt 11 als dreidimensionales Objekt aus einer bestimmten Perspektive dargestellt, die beispielsweise auf eine entsprechende Betrachtungsposition auf das Objekt 11 in der Simulationsumgebung zurückgeht. Die angedeutete perspektivische Darstellung des realabbildenden Objekts 11 veranschaulicht einige der Herausforderungen an das erfindungsgemäße Verfahren. Beispielsweise ist aus der Perspektive der 4 ein Teil der Oberfläche 14.1 am oberen rechten Rand der Seitenwand durch einen Teil des Hausdachs 18 verdeckt. Die strich-punktiert angedeuteten Abbildungsvorschriften der 4 zeigen auch, dass zum Beispiel das unter dem Dachgiebel angeordnete Fenster sowie die umgebende Fachwerkstruktur, wie sie auf der Bildaufnahme 19 zu sehen ist, von der Betrachtungsposition der Simulationsumgebung 10 und des Objekts 11 der 4 aus vom Hausdach 18 verdeckt sind.
  • Eine entsprechende Texturierung der Oberfläche 14.1 wird also die teilweise Überdeckung der Oberfläche 14.1 durch das Hausdach 18 berücksichtigen. Dies kann beispielswiese durch eine Tiefenkarte bewerkstelligt werden, die eine Auskunft darüber gibt, welche Teile der Rasterdaten des Höhenrasters der Simulationsumgebung 10 von der jeweiligen Betrachtungsposition aus sichtbar sind.
  • Im Rahmen der Projektion kann dann entsprechend die aus der Bildaufnahme 19 generierte Projektionstextur so bearbeitet, beispielsweise zugeschnitten werden, dass nicht sichtbare Teile der Oberfläche 14.1 aus der Betrachtungsposition der 4 nicht sichtbar sind.
  • Darüber hinaus zeigt die Bildaufnahme 19 das reale Objekt 2 aus einer Perspektive, die sich von der Perspektive der Simulationsumgebung 10 unterscheidet. Für die Texturierung der Oberfläche 14.1 durch den entsprechenden Teil der Bildaufnahme 19 wird also im Rahmen der Projektion oder durch die Abbildungsvorschrift, wie sie durch die strich-punktierten Linien der 4 angedeutet ist, der die Oberfläche 14.1 abbildende Teil der Bildaufnahme 19 so verkippt und/oder verzerrt werden, dass aus der Betrachtungsposition der Simulationsumgebung 10 der 4 der Teil der Bildaufnahme 19, der den sichtbaren Teil der Oberfläche 14.1 abbildet, entsprechend auf der Oberfläche 14.1 angeordnet wird, also auf die Oberfläche 14.1 projiziert wird.
  • Die 5 zeigt einen Ausschnitt aus einem Ablaufdiagramm eines Verfahrens zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung. Das Gesamtverfahren zur Darstellung der Simulationsumgebung kann eine Vielzahl von weiteren in der 5 nicht dargestellten Verfahrensschritte umfassen. Der Verfahrensablauf der 5 betrifft damit hauptsächlich die mit dem vorgeschlagenen Verfahren durchgeführte Projektion von Bildaufnahmen 19 auf ein Höhenraster.
  • Im ersten Verfahrensschritt S1 erfolgt beispielsweise die Feststellung oder Identifizierung der aktuellen Betrachtungsposition 15 der Simulationsumgebung 10, von der aus dem Betrachter die Simulationsumgebung 10 dargestellt werden soll.
  • Die strich-linierte Darstellung der sich an den Verfahrensschritt S1 anschließenden Verfahrensschritte S1.1 bis S1.3 sollen verdeutlichen, dass über die im Folgenden ausführlich beschriebenen Verfahrensschritte hinaus parallel auch weitere zusätzliche oder alternative Verfahrensschritte ausgeführt werden können, ohne dass dadurch die Ausführung des erfindungsgemäßen Verfahrens eingeschränkt oder verhindert wird.
  • Nach der Feststellung der Betrachtungsposition 15 kann im Verfahrensschritt S2 eine Analyse der Rasterdaten stattfinden. Diese Analyse kann darauf gerichtet sein, festzustellen, welche durch die Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 für eine Texturierung im Rahmen einer Projektion einer Bildaufnahme 19 besonders in Frage kommen. Dies bedeutet, dass besonders steil oder gar vertikal verlaufende Oberflächen 14 in der Umgebung der Betrachtungsposition 15 der Simulationsumgebung 10 in den Rasterdaten identifiziert werden. Darüber hinaus kann im Rahmen des Verfahrensschritt S2 beispielsweise für die identifizierten Oberflächen 14 der Simulationsumgebung 10 eine jeweilige Entfernung oder mittlere Entfernung zu der Betrachtungsposition 15 bestimmt werden. Darüber hinaus kann im Verfahrensschritt S2 auch eine anhand der Betrachtungsposition und der Rasterdaten generierte Tiefenkarte die Sichtbarkeit von dem im Verfahrensschritt S2 identifizierten Oberflächen 14 der Simulationsumgebung 10 ausgehend von der Betrachtungsposition 15 bestimmt werden.
  • In dem anschließenden Verfahrensschritt S3 kann beispielsweise vorgesehen sein, dass unter Berücksichtigung der Resultate der Verfahrensschritte S1 und S2 eine Identifizierung von Bildaufnahmen 19 erfolgt, die von der Darstellungsposition 15 aus sichtbaren mit einer Farbtextur zu versehenden Oberflächen 14 der Simulationsumgebung 10 zumindest teilweise aufweisen oder abbilden. Im Verfahrensschritt S3 kann damit eine Rücktransformation der Daten der Simulationsumgebung in das Bezugssystem der Realumgebung zum Einsatz kommen, um feststellen zu können, in welchen Bildaufnahmen die zu texturierenden Oberflächen der Simulationsumgebung abgebildet werden. Umgekehrt kann jedoch auch eine Transformation der mit den Bildaufnahmen verknüpften Daten bezüglich der Realumgebung in das Bezugssystem der Simulationsumgebung vorgenommen werden, um zu identifizieren, welche der Bildaufnahmen eine Abbildung einer entsprechenden Oberfläche zumindest teilweise umfasst.
  • Im Anschluss an die Identifizierung der jeweiligen Bildaufnahmen 19 im Verfahrensschritt S3 folgt in den beispielhaft dargestellten parallelen Verfahrensschritten S4.1 und S.4.2 eine Vorverarbeitung der identifizierten Bildaufnahmen. Die Vorverarbeitung kann dergestalt ausfallen, dass die Auflösung der Bildaufnahmen 19 in Abhängigkeit der im Verfahrensschritt S2 festgestellten Entfernung zwischen der Oberfläche 14 der Rasterdaten der Simulationsumgebung 10 und der Betrachtungsposition 15 der Simulationsumgebung 10 erfolgt. Darüber hinaus können in den Verfahrensschritten S4.1 und S4.2 jedoch auch andere oder zusätzliche Vorverarbeitungsschritte zur Vorverarbeitung der Bildaufnahmen ausgeführt werden.
  • In den für unterschiedliche Bildaufnahmen 19 separat ausgeführten Verfahrensschritten S5.1 und S5.2 wird im Anschluss die tatsächliche Projektion der Bildaufnahmen 19 oder zumindest von Teilen der Bildaufnahmen auf das Höhenraster und dessen Oberfläche 14 ausgeführt. Die dabei zum Einsatz kommenden Abbildungsvorschriften der Projektion oder Projektionen werden sowohl anhand des Höhenrasters der Rasterdaten als auch anhand der zur Verfügung stehenden Daten hinsichtlich der Aufnahmeeigenschaften der jeweiligen Bildaufnahme 19 in der Realumgebung und den daraus abgeleiteten Abbildungseigenschaften der Bildaufnahme 19 in der Simulationsumgebung durchgeführt. Dies bedeutet vereinfacht ausgedrückt, dass die Bildpunkte der Bildaufnahmen derart verschoben, rotiert und/oder verzerrt werden, dass sowohl der Umriss des entsprechenden Teils der Bildaufnahme 19 als auch der Inhalt dieses Teils auf die entsprechende Oberfläche im Höhenraster der Rasterdaten passt.
  • Die in dem Ablaufdiagramm der 5 strich-liniert dargestellten Verfahrensschritte S4.3 und S5.3 sollen die Möglichkeit verdeutlichen, dass eine Vielzahl von weiteren Vorverarbeitungs- und Projektionsschritten ausgeführt werden können, die sowohl ein und dieselbe mit einer Farbtextur zu versehende Oberfläche 14 als auch unterschiedliche mit einer Farbtextur zu versehenden Oberflächen 14 betreffen können.
  • Der anschließende Verfahrensschritt S6 ist für den Fall vorgesehen, dass die Verfahrensschritte S4.1, S4.2, S5.1 und S5.2 die Projektionen von Bildaufnahmen 19 auf ein und dieselbe durch Rasterdaten aufgespannte Oberfläche 14 der Simulationsumgebung 10 betrifft. In diesem Fall wird im Rahmen des Verfahrensschritts S6 eine Mittelung oder Ausgleichsrechnung der jeweils bestimmten Farbtexturen vorgenommen.
  • Die so generierten Farbtexturen werden im Rahmen des Verfahrensschritts S7 auf das Höhenraster der Rasterdaten der Simulationsumgebung 10 angewendet. Im Verfahrensschritt S8 werden die so texturierten Oberflächen 14 der Simulationsumgebung 10 zusammen mit den verbleibenden Bestandteilen der Simulationsumgebung 10 dem Benutzer dargestellt. Im Verfahrensschritt S9 wird überprüft, ob sich die Betrachtungsposition 15 beispielsweise durch eine Benutzereingabe verändert hat. Wenn dies der Fall ist, so springt das Verfahren zurück in den Verfahrensschritt S1 und beginnt von dort erneut die Ausführung des Verfahrens. Andernfalls endet das Verfahren mit dem Verfahrensschritt S10.
  • Bezugszeichenliste
  • 1
    Realumgebung
    2
    reales Objekt
    3
    reales Gelände
    4
    Aufnahmevorrichtung
    5
    Aufnahmeposition
    6
    Koordinatensystem
    7
    Geschwindigkeitsvektor
    8
    Sichtfeld
    9
    Abbildungsebene
    9.1
    Abbildungsebene
    9.2
    Abbildungsebene
    10
    Simulationsumgebung
    11
    realabbildendes Objekt
    12
    realabbildendes Gelände
    13
    Rasterpunkte
    14
    Oberfläche
    14.1
    Oberfläche
    14.2
    Oberfläche
    14.3
    Oberfläche
    15
    Betrachtungsposition
    16.1
    Projektionsbereich
    16.2
    Projektionsbereich
    16.3
    Projektionsbereich
    16.4
    Projektionsbereich
    16.5
    Projektionsbereich
    17
    Aufnahmerichtung
    18
    Hausdach
    19
    Bildaufnahme

Claims (15)

  1. Verfahren zur Darstellung einer computergenerierten, eine Realumgebung (1) simulierenden Simulationsumgebung (10), mit einer Datenbasis, welche die Daten des realen Geländes (3) und der im Gelände befindlichen realen Objekte (2) beinhaltet, dadurch gekennzeichnet, dass die Daten – bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung (1) aufgenommenen Bildaufnahmen (19) gewonnen werden, – ein geospezifisches Abbild des realen Geländes (3) und/oder der realen Objekte (2) umfassen und – als Rasterdaten in der Datenbasis hinterlegt sind, wobei aus den Bildaufnahmen (19) ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt (13) der Rasterdaten einen Höhenwert zuordnet und wobei zumindest für einen Teil der durch Rasterpunkte (13) aufgespannten Oberflächen (14) der Simulationsumgebung (10) eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme (19) auf das generierte Höhenraster bestimmt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bestimmung der Farbtextur von durch Rasterpunkte (13) aufgespannte Oberflächen (14) eine Projektion von mehreren Bildaufnahmen (19) auf das generierte Höhenraster durchgeführt wird, wobei die Farbtextur einer durch Rasterpunkte (13) aufgespannten Oberfläche (14) insbesondere als Mittelwert der aus den jeweiligen Projektion ermittelten Farbtexturen bestimmt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Projektion der zumindest einen Bildaufnahme (19) auf das Höhenmodell während der Darstellung der Simulationsumgebung (10) erfolgt.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bildaufnahme (19), insbesondere die Auflösung der Bildaufnahme (19), vor der Durchführung der Projektion vorverarbeitet wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Vorverarbeitung der Bildaufnahme (19) in Abhängigkeit einer frei wählbaren Darstellungsposition (15) der Darstellung der Simulationsumgebung (10), insbesondere in Abhängigkeit vom Abstand zwischen der Darstellungsposition (15) und der Position der durch Rasterpunkte (13) aufgespannten Oberfläche (14), auf die zumindest eine Bildaufnahme (19) projeziert wird, ausgeführt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von der Aufnahmeposition (5) in der Realumgebung (1) und einer daraus resultierenden Aufnahmeposition in der Simulationsumgebung (10) erfolgt.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von der Aufnahmerichtung (17) in der Realumgebung (1) und einer daraus resultierenden Aufnahmerichtung in der Simulationsumgebung (10) erfolgt.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von Abbildungseigenschaften der Aufnahmevorrichtung (4), mit der die Bildaufnahme (19) erzeugt wurde, erfolgt.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Projektion ein Kontrollverfahren umfasst, welches kontrolliert, ob ein Rasterpunkt (13) des Rastermodells von der frei wählbaren Darstellungsposition (15) der Darstellung der Simulationsumgebung (10) aus sichtbar oder verdeckt ist.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Kontrollverfahren unter Verwendung einer aus dem Rastermodell und der frei wählbaren Darstellungsposition der Darstellung der Simulationsumgebung (10) abgeleiteten Tiefenkarte ausgeführt wird.
  11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) auf von Rasterpunkten (13) aufgespannte Oberflächen (14) angewendet wird, die steil verlaufende Oberflächen des realen Geländes (3) und/oder der realen Objekte (2) abbilden.
  12. Verfahren nach einem der Ansprüche 1 bis 11, gekennzeichnet durch eine Erkennung und Extraktion von Abbildern realer Objekte (2) aus der Datenbasis, insbesondere den Rasterdaten.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass aus extrahierten Abbildern realer Objekte (2) Modelle berechnet werden, die veränderbar sind und/oder sich zur Interaktion mit anderen Inhalten der computergenerierten Simulation der Simulationsumgebung (10) eignen.
  14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Modelle zusätzlich zu den Rasterdaten in der Datenbasis gespeichert werden.
  15. Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass die Darstellung in unterschiedlichen Betriebsarten betrieben werden kann, wobei in einer Ansichts-Betriebsart die Darstellung basierend auf den Rasterdaten und den zumindest teilweise durch die Projektion der Bildaufnahmen (19) bestimmten Farbtexturen erfolgt und wobei in einer Interaktions-Betriebsart die Darstellung zumindest teilweise basierend auf Modellen realer Objekte (2) erfolgt.
DE102015120927.6A 2015-12-02 2015-12-02 Verfahren zur Darstellung einer Simulationsumgebung Withdrawn DE102015120927A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102015120927.6A DE102015120927A1 (de) 2015-12-02 2015-12-02 Verfahren zur Darstellung einer Simulationsumgebung
EP16826698.9A EP3384469A2 (de) 2015-12-02 2016-12-01 Verfahren zur darstellung einer simulationsumgebung
PCT/DE2016/100563 WO2017092734A2 (de) 2015-12-02 2016-12-01 Verfahren zur darstellung einer simulationsumgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015120927.6A DE102015120927A1 (de) 2015-12-02 2015-12-02 Verfahren zur Darstellung einer Simulationsumgebung

Publications (1)

Publication Number Publication Date
DE102015120927A1 true DE102015120927A1 (de) 2017-06-08

Family

ID=57821722

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015120927.6A Withdrawn DE102015120927A1 (de) 2015-12-02 2015-12-02 Verfahren zur Darstellung einer Simulationsumgebung

Country Status (3)

Country Link
EP (1) EP3384469A2 (de)
DE (1) DE102015120927A1 (de)
WO (1) WO2017092734A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016103057A1 (de) 2016-02-22 2017-08-24 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195096A1 (en) * 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US20070171234A1 (en) * 2006-01-24 2007-07-26 Roger Crawfis System and method for asynchronous continuous-level-of-detail texture mapping for large-scale terrain rendering
US20070237420A1 (en) * 2006-04-10 2007-10-11 Microsoft Corporation Oblique image stitching
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
WO2014171988A2 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422825B1 (en) * 2008-11-05 2013-04-16 Hover Inc. Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195096A1 (en) * 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US20070171234A1 (en) * 2006-01-24 2007-07-26 Roger Crawfis System and method for asynchronous continuous-level-of-detail texture mapping for large-scale terrain rendering
US20070237420A1 (en) * 2006-04-10 2007-10-11 Microsoft Corporation Oblique image stitching
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
WO2014171988A2 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CORNELIS, N. [et al]: Fast Compact City Modeling for Navigation Pre-Visualization. Proceedings of the 2006 IEEE Computer Society Conference onComputer Vision and Pattern Recognition, 2006, 6 Seiten. *
SPANN, J. R. [et al.]: Photogrammetry using 3D Graphics and Projective Textures. International Archives of Photogrammetry and Remote Sensing. Vol. XXXIII, Amsterdam, 2000, S. 748-755. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016103057A1 (de) 2016-02-22 2017-08-24 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung

Also Published As

Publication number Publication date
WO2017092734A2 (de) 2017-06-08
WO2017092734A3 (de) 2017-08-03
EP3384469A2 (de) 2018-10-10

Similar Documents

Publication Publication Date Title
DE68928391T2 (de) Bildgenerator
DE102007045835B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE69126611T2 (de) Bilderzeugungsgerät
DE102007045834B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE69107267T2 (de) Verfahren und vorrichtung zur modifizierung einer zone sukzessiver bilder.
DE3854543T2 (de) Prioritätsverwaltung eines Tiefendatenpuffers für Echtzeitrechnersysteme zur Bilderzeugung.
DE102009041431B4 (de) Fahrsimulationsvorrichtung, Weitwinkelkamera-Videosimulationsvorrichtung und Bilddeformierungs-/-zusammensetzungsvorrichtung
DE69226512T2 (de) Verfahren zur Bildverarbeitung
DE69924699T2 (de) Verfahren zur Schaffung von als Oberflächenelemente dargestellten grafischen Objekten
WO2009049973A2 (de) Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm
WO2019170202A1 (de) Surroundview-system mit angepasster projektionsfläche
DE102019005885A1 (de) Umgebungskartengenerierung und Lochfüllung
WO2008074561A1 (de) Verfahren zum darstellen eines kartenausschnittes in einem navigationssystem und navigationssystem
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
EP2058765A1 (de) Verfahren und Vorrichtung zum Texturieren eines Objektes eines virtuellen dreidimensionalen geometrischen Modells
DE19549096A1 (de) Simulationsvorrichtung und -verfahren
EP1628262A2 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
WO2017092733A1 (de) Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet
DE102015120927A1 (de) Verfahren zur Darstellung einer Simulationsumgebung
DE102022201279B3 (de) Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, Kameravorrichtung und Fahrzeug
DE102019208864A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
WO2017182021A1 (de) Verfahren und system zur darstellung einer simulationsumgebung
DE102016124989A1 (de) Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
DE10246122B4 (de) Verfahren und Vorrichtung zur Darstellung eines computermodellierten Gegenstands

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R120 Application withdrawn or ip right abandoned