EP3384469A2 - Method for reproducing a simulated environment - Google Patents

Method for reproducing a simulated environment

Info

Publication number
EP3384469A2
EP3384469A2 EP16826698.9A EP16826698A EP3384469A2 EP 3384469 A2 EP3384469 A2 EP 3384469A2 EP 16826698 A EP16826698 A EP 16826698A EP 3384469 A2 EP3384469 A2 EP 3384469A2
Authority
EP
European Patent Office
Prior art keywords
real
simulation environment
image
projection
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16826698.9A
Other languages
German (de)
French (fr)
Inventor
Michael Haubner
Manuel Pabst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krauss Maffei Wegmann GmbH and Co KG
Original Assignee
Krauss Maffei Wegmann GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krauss Maffei Wegmann GmbH and Co KG filed Critical Krauss Maffei Wegmann GmbH and Co KG
Publication of EP3384469A2 publication Critical patent/EP3384469A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Definitions

  • the present invention relates to a method for displaying a computer-generated simulation environment simulating a real environment with a database containing the data of a real estate and real objects located in the terrain.
  • Such methods for the representation of simulation environments are used in different versions. In particular, but by no means only such methods are used for training and / or training purposes. The training and / or training purpose can be very different. Accordingly, generic methods find use, for example, in the training and instruction of pilots and / or train drivers. More generally, such methods for representing a simulation environment are preferably used when the activity to be performed in the context of the simulation, ie the interaction of a receiver representing the simulation environment, with the simulation environment in reality to significant health and / or financial risks would lead.
  • the training and / or training effects achieved or achievable with the depiction largely depend on a realistic representation of the real world, ie the real environment, in the context of the representation of the simulation environment. This means, for example, that the preparation for deployment in the military sector can be more effectively prepared for deployment, the more the representation of the simulation environment resembles a real environment of a planned deployment.
  • a surface model is modeled, for example, from the data representing the real environment, in which objects, in particular buildings, are recognized, extracted, modeled and re-integrated. Only after all these processes can a representation of the thus created simulation environment take place. However, this requires a great deal of time. Especially the modeling of recognized objects is equally time-consuming and prone to error.
  • the data is obtained by an evaluation of recorded images during an overflight and / or during a transit in the real environment
  • the data is a geospecific image of the real estate and / or the real objects and the data are stored as raster data in the database
  • a height grid is generated and stored in the database, which assigns a height value to each raster point of the raster data and wherein at least for a part of the surfaces spanned by raster points
  • Simulation environment a color texture is determined by a projection of at least one image capture on the generated height grid.
  • the method according to the invention makes possible, in a particularly advantageous manner, a particularly realistic representation of a simulation environment based on a height grid with comparatively little effort and a high degree of automation.
  • a corresponding height raster can be generated quickly, precisely and automatically from the images of the real environment using well - known methods such as "structure from motion.”
  • a vertical raster causes a particularly high level of vertical or at least steep surfaces of the simulation environment This in turn means that automated and at the same time true-to-life coloring and other texturing is not possible on such surfaces, although texturing and / or coloring can be performed manually using the known methods but then requires a correspondingly large effort.
  • the method according to the invention makes it possible to project the image recordings or parts of the image recordings onto a generated height grid, which in turn has the advantage that such a projection can take place automatically and at the same time up to a photorealistic texturing of Surfaces in the simulation environment.
  • the method according to the invention has the advantage that it does not have to be executed and completed in advance of the presentation of the simulation environment, so that the color textures are present at the surfaces of the simulation environment spanned by the screen dots. Rather, the projection of the at least one image acquisition on the generated height grid for determining a color texture of a part of the surfaces of the simulation environment spanned by the halftone dots during the presentation of the simulation environment, whereby the time intent between the acquisition of the image recordings, the real environment and the representation of the Simulation environment can be further minimized.
  • the geospecific image of the real environment is transformed into the grid data of the elevation grid with a clear and reversible transformation.
  • a georeferencing can be provided. This assigns each grid point a corresponding point to the real environment.
  • the spatial coordinates of the real environment it is necessary for the spatial coordinates of the real environment to be converted into a corresponding coordinate system of the simulation environment and back.
  • a projection of several image recordings onto the generated height grid is carried out, the color texture of the surface being the mean value of the respective projections determined color textures is determined.
  • advantage is taken of the fact that, in the case of a high image sequence of the image recordings depicting the real environment, the surfaces which are to be provided with a projected color texture in the simulation environment are contained several times from different recording positions. Due to the different image recordings errors and inaccuracies of the image recordings per se as well as due to the projection can be averaged out, which could result in the projection of only an image recording on the height grid for the determination of a color texture.
  • different filters, weights and / or smoothing can be used, so that the formed average of the color texture corresponds to a large extent to the reality, ie the surface in the real environment.
  • Whole color textures, sections of color textures, or individual pixels of color textures can be averaged.
  • the projections of the at least one image recording take place on the height grid of the database of the simulation environment during the representation of the simulation environment.
  • a likewise advantageous embodiment of the method can be provided.
  • This provides that the image recording or the image recordings which are to be projected onto one by Grid points spanned surface of the simulation environment are used, in particular be pre-processed with respect to the resolution of image acquisition.
  • this takes into account the fact that the image recordings of the real environment, which serve to generate the database of the simulation environment, sometimes have a resolution that is significantly higher than the resolution that mediates a user during the execution of the method according to the invention or can be perceived by this. It is possible that both the user himself and the system used to execute the method represent the limiting factor of the resolution.
  • the user-perceivable maximum resolution depends on the distance between the viewing position and the subject being viewed. Accordingly, a further particularly advantageous embodiment of the method provides that the preprocessing of the image recording prior to the implementation of the projections depending on a freely selectable viewing position of the representation of the simulation environment, in particular depending on the distance between the viewing position of the simulation environment and the position of the Grid points spanned surface of the simulation environment on which the image acquisition is projected is performed.
  • an advantageous embodiment of the method provides that the projections of the image recording in dependence on the recording position in the Real environment and the resulting recording position in the simulation environment takes place.
  • the image recordings taken during an overflight above and / or during a passage through the real environment are provided with a position indication that represents a recording position of the image recording.
  • a position indication that represents a recording position of the image recording.
  • the recording direction in the real environment can be derived, for example, from the movement of the apparatus used to record the image recordings and the respective orientations of the recording apparatus with respect to the movement and, as described above, to the simulation environment and the elevation grid present there.
  • the results of the projections for the determination of a color texture are further improved by the following embodiment of the method:
  • This provides that the projections of the image acquisition as a function of Ab- Struktursseigenschaften the recording device with which the image acquisition was generated takes place.
  • Such properties or imaging properties of the recording device may be, for example, the solid angle, which is detected or imaged starting from the position of the recording device.
  • other imaging properties can also improve the quality of the projections to be performed.
  • the angular range can be transmitted, for example, together with the recording position and / or the recording direction into the simulation environment, in particular into the elevation grid of the simulation environment, whereby the assignment of a part of an image recording to a surface spanned by halftone dots in the simulation environment is further improved or can be specified.
  • the projection advantageously comprises a control method which controls whether a part of a surface of the simulation environment spanned by raster points of the raster model differs from the current one freely selectable viewing position of the simulation environment is visible or hidden.
  • the control method is executed using a depth map of the simulation environment derived from the halftone model and the freely selectable viewing position of the simulation environment.
  • the projection of at least one image recording are applied to the surfaces of the simulation environment spanned by raster points, which image steep, in particular vertically extending surfaces of the real terrain and / or real objects.
  • the projection of image recordings for obtaining color textures carried out in the context of the proposed method can be carried out for all regions of the simulation environment. In relatively flat sections of the real environment, ie sections with a relatively large horizontal component and only a slight or no vertical component, however, after the conversion into the raster data of the simulation environment, a relatively large number of raster points per area or surface of the simulation environment are present, so that other methods for obtaining and displaying colors or color textures provide an equally realistic result with less effort.
  • data are stored in the database which represent models of real objects of the real environment.
  • models of real objects can, for example, be derived from the raster data in advance of the execution of the method according to the invention by first identifying the images of real objects in the raster data, then extracting the corresponding raster data and, on the basis of these corresponding models, for example polygon-reduced models of the objects which are then also provided as part of the database of the simulation environment.
  • the models of the real objects are stored in the database in addition to the raster data which images the real objects.
  • known methods for texturing the models for example the polygon-reduced models of the objects can be used, which do not include a projection of an image recording.
  • conventional texturing methods can be used for the models, which results in a less realistic coloring and / or texturing of the models.
  • the representation of the computer-generated, a real environment simulating simulation environment can be done in different modes, wherein in a view mode, the representation is based on the raster data and at least partially determined by the projection of the image recordings color textures and wherein in an interaction mode the presentation is at least partially based on models of real objects.
  • a view mode the representation is based on the raster data and at least partially determined by the projection of the image recordings color textures
  • the presentation is at least partially based on models of real objects.
  • the method for displaying the simulation environment is based on the raster data and the color textures projected at least partially on the raster data from the image recordings.
  • the embodiment of the method described above makes it possible, depending on the mode of operation, to achieve either a particularly realistic view of the simulation environment or an interaction with the simulation environment with a partial waiver of a certain degree of true-to-reality.
  • FIG. 2 shows an exemplary detail of a simulation environment and the viewing position arranged therein;
  • FIG. 3 shows an exemplary representation of a projection of image recordings on surfaces of the raster data of the simulation environment spanned by raster points;
  • FIG. 4 shows an alternative exemplary representation of a projection of an image recording onto a surface spanned by screen dots
  • Fig. 5 is a schematic flow diagram of the invention
  • FIG. 1 shows a real environment 1, in which real objects 2, such as, for example, buildings or plants, are arranged in a real terrain 3.
  • a recording device 4 such as, for example, a satellite or an unmanned aircraft, acquires image recordings 19 in an overflight over the real environment 1.
  • a field of view 8 of the recording device 4 is outlined, which is about a receiving direction 17 of the receiving device extends.
  • the extent of the field of view 8 to the receiving direction 17 depends on the imaging properties of the recording device.
  • the field of view 8 of the receiving device 4 is limited by an imaginary or supposed imaging plane 9.
  • the imaging plane 9 illustrates the mapping of the three-dimensional real environment 1 into a two-dimensional image acquisition 19.
  • a data set based on which the real environment 1 in a Simulation environment can be transferred.
  • an image of the real estate 3 and / or the real objects 2 can be stored in a database, the data being stored as raster data in the database.
  • FIG. 2 shows a section from a simulation environment for illustration according to the proposed method.
  • a plan view of the simulation environment 10 is selected so that the corresponding raster points of the raster data lie in the plane of the drawing of FIG. 2, whereas the height values associated with each raster point of the raster data are perpendicular to the plane of the drawing of FIG are not shown.
  • the section of the simulation environment 10 shows a real-imaging object 11 in the form of a house and a real-imaging terrain 12. In the lower left area, a section of the grid is also displayed, in which each grid point 13 is assigned a height value and thus generates the height grid of the simulation environment 10 becomes.
  • the height values of the raster points 13 thus form a total of raster data which are generated from image recordings 19, the formation of which takes place, for example, as described with reference to FIG. It is recognizable on the basis of the grid points 13 of the section of the grid of the raster data that for a section or section of the simulation environment 10 with a flat or horizontal course, ie a course which runs essentially parallel to the plane of the drawing of FIG. 2, such as, for example, the house roof 18 of the object 1 1, there is a relatively large number of screen dots 13 per area. The situation is different for surfaces 14 which are spanned by the grid points and which represent or image the sidewalls of the real imaging object 11 of the simulation environment 10.
  • FIG. 2 furthermore shows a viewing position 15, which can be freely selected by the user of the method, which is intended to represent the starting point for displaying the computer-generated simulation environment 10 simulating a real environment. It is clear from the representation of the viewing position 15 with respect to the real imaging object 11 that the user of the method perceives the surface 14.1 and the surface 14.2 of the real imaging object 11 at different angles.
  • the surface 14.3 is of the freely selectable display position 15 of FIG. 2 not recognizable, since the surface 14.1 obscured the view of the surface 14.3 from the viewing position 15 from.
  • the proposed method whose basic idea is based on the projection of image recordings 19 on the generated height grid of a simulation environment data base, is to provide a part of the simulation environment surfaces spanned by the screen dots with a color texture.
  • FIG. 3 again shows a section of a simulation environment 10 in plan view, that is to say with a view of the plane of the screen dots. in which the height values assigned to the grid points are perpendicular to the plane of the drawing.
  • a real-imaging object 11 in the form of a house is also shown.
  • the supposed image planes 9 of two different image recordings 19 in FIG. 3 are shown by way of example to illustrate the projections of image recordings 19 on the height raster.
  • the procedure for obtaining the image recordings 19 described with reference to FIG. 1 permits unambiguous positioning and alignment of the imaging plane 9 in the simulation environment 10.
  • the image planes 9 also have a vertical component which, in the example of FIG. 3, is at least partially perpendicular to the plane of the drawing and is not shown in FIG. 3 for reasons of clarity and clarity.
  • FIG. 3 how, on the basis of the image recordings 19 and their image planes 9, a projection is made by which a color texture is assigned to at least part of the surfaces 14 of the simulation environment 10 spanned by the screen dots 13.
  • a mapping rule or projection rule is sketched on the basis of the dotted lines shown in FIG. 3, on the basis of which a first projection region 16.1 is projected from the image acquisition 19 with the imaging plane 9.1 onto the first surface 14.1 of the real imaging object 11 forming a side wall.
  • mapping rules of the projections ie the course of the dotted lines shown by way of example, as well as the not shown therebetween projections of points of the image plane 9.1 on the surfaces 14.1 and 14.2 are determined on the one hand by the raster data or the height grid and on the other hand determined by the present in the generation of the image recording 19 properties such as recording position, recording direction and the like, which are reflected simplified represent in the orientation of the imaging plane 9.1.
  • the imaging plane 9.2 of a second image acquisition 19 can also be used to provide the surfaces 14.1 and 14.2 with a color texture generated from the corresponding image acquisition 19, in accordance with the projection rules shown in dashed lines in FIG. It can also be provided that the corresponding projection regions 16.3 and 16.4 of the image acquisition 19 with the image plane 9.2 are first averaged with the corresponding projection regions 16.1 and 16.2 of the image acquisition 19 with the image plane 9.1.
  • the quality of the color texture generated by the projections for the surfaces 14.1 and 14.2 of the real image forming object 11 can be further improved.
  • 9.2 also allows, at least for a part of the side wall 14.3 of the real image forming object 1 1, the generation of a color texture in the context of a
  • the projection area 16.5 of the image recording 19 with the imaging plane 9.2 can be projected onto a part of the surface 14.3 of the real imaging object 11.
  • FIG. 4 likewise shows a projection of a part of an image recording 19 onto a substantially vertical surface 14.1 spanned by screen dots 13.
  • the representation of FIG. 4 is a strong schematization of an image recording 19. This is not least the clarity of Fig. 4 owed.
  • a variety of other contents such as vegetation, other objects, vehicles, people and animals, would also be encompassed by a realistic image acquisition 19.
  • the representation of the side view of the object 2 in the image recording 19 of FIG. 4 is a deliberately simplified representation which, however, can not fully reproduce the advantages of the method according to the invention. Because the side view of the object 2 of the image recording 19 is just not a photo-realistic representation, as they can be used in the inventive method. However, the basic principle becomes clear from the representation of FIG.
  • the surfaces of the real environment captured in the image recordings 19, in particular the surfaces of real objects 2 covered by the image recordings 19, are used for projection in the simulation environment 10 or in the simulation environment 10 the presentation of the simulation environment 10 cause a correspondingly realistic impression in the viewer.
  • the assignment of the image acquisition 19 and the real object 2 depicted therein to the real imaging object 11 of the simulation environment 10, in particular to the surface 14. 1, can be clearly linked between the acquisition of the image acquisition 19 documented spatial coordinates and / or spatial directions of the real environment 1 to the coordinates of Simulation environment 10 are enabled.
  • the simulation environment 10 may preferably have a link to the real environment 2.
  • the surface 14. 1 of the simulation environment 10 is formed by the sidewall of a real-imaging object 11 of the simulation environment 10.
  • the real-imaging object 11 is represented as a three-dimensional object from a specific perspective, which, for example, goes back to a corresponding viewing position on the object 11 in the simulation environment.
  • the indicated perspective view of the real-imaging object 11 illustrates some of the challenges of the method according to the invention.
  • part of the surface 14. 1 at the upper right-hand edge of the side wall is covered by a part of the house roof 18. 4 also show that, for example, the window arranged below the gable and the surrounding framework structure, as can be seen on the image acquisition 19, are dependent on the viewing position of the simulation environment 10 and the object 11 of FIG. 4 are hidden from the house roof 18.
  • a corresponding texturing of the surface 14.1 will therefore take into account the partial covering of the surface 14.1 by the house roof 18. This can for example be accomplished by a depth map which provides information about which parts of the raster data of the height grid of the simulation environment 10 are visible from the respective viewing position.
  • the projection texture generated from the image recording 19 can then be correspondingly processed, for example, cut to such an extent that non-visible parts of the surface 14.1 are not visible from the viewing position of FIG.
  • the image pickup 19 shows the real object 2 from a perspective different from the perspective of the simulation environment 10.
  • the part of the image recording 19 depicting the surface 14.1 is therefore part of the projection or the mapping rule as indicated by the dot-dashed lines in FIG. 4 are tilted and / or distorted such that, from the viewing position of the simulation environment 10 of FIG. 4, the part of the image pickup 19 which images the visible part of the surface 14. 1 is correspondingly arranged on the surface 14. 1, ie projected onto the surface 14 becomes.
  • FIG. 5 shows a detail of a flow chart of a method for representing a computer-generated simulation environment simulating a real environment.
  • the overall method for representing the simulation environment may include a plurality of further method steps not shown in FIG. 5.
  • the method sequence of FIG. 5 thus mainly relates to the projection of image recordings 19 carried out with the proposed method onto a height grid.
  • step S1 for example, the determination or identification of the current viewing position 15 of the simulation environment 10 takes place, from which the simulation environment 10 is to be displayed to the viewer.
  • an analysis of the raster data can take place in method step S2.
  • This analysis may be directed to determining which surfaces 14 of the simulation environment 10 spanned by the screen dots 13 are particularly suitable for texturing in the context of a projection of an image recording 19. This means that particularly steep or even vertical surfaces 14 in the vicinity of the viewing position 15 of the simulation environment 10 are identified in the raster data.
  • a respective distance or average distance to the viewing position 15 can be determined.
  • a depth map generated on the basis of the viewing position and the raster data can be used to determine the visibility of the surface 14 of the simulation environment 10 identified in method step S2 starting from the viewing position 15.
  • an identification of image recordings 19 takes place which at least partially comprise or depict visible surfaces 14 of the simulation environment 10 to be provided from the display position 15 with a color texture.
  • an inverse transformation of the data of the simulation environment into the reference system of the real environment can be used in order to be able to determine in which image recordings the surfaces of the simulation environment to be textured are mapped.
  • a preprocessing of the identified image recordings follows in the parallel method steps S4.1 and S.4.2, which are shown by way of example.
  • the preprocessing can be such that the resolution of the image recordings 19 takes place as a function of the distance between the surface 14 of the raster data of the simulation environment 10 and the viewing position 15 of the simulation environment 10 determined in method step S2.
  • other or additional preprocessing steps for preprocessing the image recordings can also be carried out in method steps S4.1 and S4.2.
  • the actual projection of the image recordings 19 or at least of parts of the image recordings on the height raster and its surface 14 is subsequently carried out.
  • the imaging specifications of the projection or projections used here are determined both on the basis of the height raster of the raster data and on the available data with regard to the recording properties of the respective image recording 19 in the real environment and the image characteristics of the image recording 19 derived therefrom in the simulation environment carried out. In simple terms, this means that the pixels of the image recordings are shifted, rotated and / or distorted such that both the outline of the corresponding part of the image recording 19 and the content of this part match the corresponding surface in the height grid of the raster data.
  • the subsequent method step S6 is provided for the case in which the method steps S4.1, S4.2, S5.1 and S5.2 relate to the projections of image recordings 19 on one and the same surface 14 of the simulation environment 10 spanned by raster data.
  • an averaging or compensation calculation of the respectively determined color textures is undertaken.
  • the color textures thus generated are applied to the height raster of the raster data of the simulation environment 10 in the course of the method step S7.
  • method step S8 the thus-textured surfaces 14 of the simulation environment 10 are displayed to the user together with the remaining components of the simulation environment 10.

Abstract

The invention relates to a method for reproducing a computer-generated, simulated environment (10) that simulates a real environment (1), comprising a database containing the data of the real terrain (3) and real objects (2) that are in the terrain, wherein the data: is obtained from images (19) captured during a flight over and/or a journey through the real environment (1); comprises a geo-specific image of the real terrain (3) and/or the real objects (2); and is stored as raster data in the database. A height raster, which assigns a height value to each raster point (13) of the raster data, is generated from the images (19) and stored in the database. A colour texture is determined, at least for a portion of the surfaces (14) of the simulated environment (10) spanned by raster points (13), by the projection of at least one image (19) onto the generated height raster.

Description

Verfahren zur Darstellung einer Simulationsumgebung Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, welche die Daten eines realen Geländes und von in dem Gelände befindlichen realen Objekten beinhaltet. Solche Verfahren zur Darstellung von Simulationsumgebungen kommen in unterschiedlichen Ausführungen zum Einsatz. Besonders jedoch keinesfalls ausschließlich werden derartige Verfahren zu Schulungs- und/oder Trainingszwecken verwendet. Der Schulungs- und/oder Trainingszweck kann dabei höchst unterschiedlich sein. Demnach finden gattungsgemäße Verfah- ren beispielsweise Einsatz bei der Ausbildung und Schulung von Piloten und/oder Zugführern. Allgemeiner ausgedrückt kommen derartige Verfahren zur Darstellung einer Simulationsumgebung bevorzugt dann zum Einsatz, wenn die durchzuführende Tätigkeit im Rahmen der Simulation, also die Interaktion eines Empfängers der Darstellung der Simulationsumgebung, mit der Simulations- Umgebung in der Realität zu erheblichen Risiken gesundheitlicher und/oder finanzieller Natur führen würde. Method for Presenting a Simulation Environment The present invention relates to a method for displaying a computer-generated simulation environment simulating a real environment with a database containing the data of a real estate and real objects located in the terrain. Such methods for the representation of simulation environments are used in different versions. In particular, but by no means only such methods are used for training and / or training purposes. The training and / or training purpose can be very different. Accordingly, generic methods find use, for example, in the training and instruction of pilots and / or train drivers. More generally, such methods for representing a simulation environment are preferably used when the activity to be performed in the context of the simulation, ie the interaction of a receiver representing the simulation environment, with the simulation environment in reality to significant health and / or financial risks would lead.
Dementsprechend sind verwandte Verfahren zur Darstellung einer Simulationsumgebung auch aus dem militärischen Bereich bekannt, wobei sie gleichermaßen zu Ausbildungs- und Trainingszwecken von Fahrzeugführern als auch zur Einsatzvorbereitung Verwendung finden. Accordingly, related methods for representing a simulation environment are also known in the military field, where they are used equally for training and training purposes of drivers as well as for operational preparation.
In einer Vielzahl der vorangegangen beschriebenen Einsatzzwecke von Verfahren zur Darstellung einer Simulationsumgebung sind die mit der Darstel- lung erreichten oder erreichbaren Schulungs- und/oder Trainingseffekte weitestgehend von einer realitätsgetreuen Abbildung der wirklichen Welt, also der Realumgebung, im Rahmen der Darstellung der Simulationsumgebung abhängig. Dies bedeutet für die Anwendung zur Einsatzvorbereitung im militärischen Bereich beispielsweise, dass eine Vorbereitung auf einen Einsatz umso effektiver stattfinden kann, desto mehr die Darstellung der Simulationsumgebung einer Realumgebung eines geplanten Einsatzes ähnelt. In a large number of the above-described intended purposes of methods for representing a simulation environment, the training and / or training effects achieved or achievable with the depiction largely depend on a realistic representation of the real world, ie the real environment, in the context of the representation of the simulation environment. This means, for example, that the preparation for deployment in the military sector can be more effectively prepared for deployment, the more the representation of the simulation environment resembles a real environment of a planned deployment.
Um jedoch eine hochgradige Übereinstimmung zwischen einer Real- Umgebung und einer die Realumgebung simulierenden Simulationsumgebung und deren Darstellung zu erreichen, sind unterschiedliche Schwierigkeiten zu überwinden. However, in order to achieve a high degree of correspondence between a real environment and a simulation environment simulating the real environment and their representation, different difficulties have to be overcome.
Einerseits müssen Daten gewonnen werden, die die Realumgebung mög- liehst genau und detailgetreu abbilden. Die Gewinnung solcher Daten ist dabei aufgrund von Satellitentechnik und unbemannten Aufklärungs- fahrzeugen oder -flugzeugen insgesamt weniger problematisch. Größere Probleme stellen die durch die Abbildung der Realumgebung generierten Datenmengen sowie deren sinnvolle und effiziente Verwendung bei der Generierung und Darstellung der die Realumgebung simulierenden Simula- tionsumgebung dar. Insbesondere kann die benötigte Zeit zwischen der Erhebung oder Generierung der Daten zur Abbildung der Realumgebung und der Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung einen besonders kritischen Faktor darstellen. Beispielsweise in der militärischen Einsatzvorbereitung kann es von besonderem Interesse sein, innerhalb kürzester Zeit nach der Datenerfassung durch eine Abbildung einer Realumgebung in der Lage zu sein, eine Darstellung einer eine Realumgebung simulierenden Simulationsumgebung auszuführen und damit die Einsatzvorbereitung zu betreiben. On the one hand, data must be obtained that allow the real environment to be reproduced accurately and in detail. The extraction of such data is due to satellite technology and unmanned vehicles or planes is less problematic overall. Bigger problems are the data volumes generated by the mapping of the real environment as well as their meaningful and efficient use in the generation and presentation of the simulation environment simulating the real environment. In particular, the time required between the collection or generation of the data for mapping the real environment and the representation a particularly critical factor in the computer-generated simulation environment simulating a real environment. For example, in military operational readiness, it may be of particular interest to be able, within a very short time after data acquisition by a mapping of a real environment, to perform a representation of a simulation environment simulating a real environment and thus to operate deployment preparation.
Bei gattungsgemäßen Verfahren wird jedoch beispielsweise aus den die Realumgebung abbildenden Daten ein Oberflächenmodel modelliert, in dem dann Objekte, insbesondere Gebäude, erkannt, extrahiert, modelliert und wieder integriert werden. Erst im Anschluss an all diese Vorgänge kann eine Darstellung der so geschaffenen Simulationsumgebung erfolgen. Dies erfordert jedoch ein hohes Maß an Zeit. Besonders die Modellierung von erkannten Objekten ist dabei gleichermaßen zeitauffällig und fehleranfällig. In generic methods, however, a surface model is modeled, for example, from the data representing the real environment, in which objects, in particular buildings, are recognized, extracted, modeled and re-integrated. Only after all these processes can a representation of the thus created simulation environment take place. However, this requires a great deal of time. Especially the modeling of recognized objects is equally time-consuming and prone to error.
Die A u f g a b e der vorliegenden Erfindung liegt dementsprechend darin, ein Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, in der Daten des realen Geländes und von im realen Gelände befindlichen realen Objekten beinhaltet sind, anzugeben, welches eine schnelle und realitätsgetreue Darstellung der Simulationsumgebung ermöglicht. Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch g e l ö s t, dass die Daten durch eine Auswertung von bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung aufgenommenen Bildaufnahmen gewonnen werden, die Daten ein geospezifisches Abbild des realen Geländes und/oder der realen Objekte umfassen und die Daten als Rasterdaten in der Datenbasis hinterlegt sind, wobei aus den Bildaufnahmen ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt der Rasterdaten ein Höhenwert zuordnet und wobei zumindest für ein Teil der durch Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme auf das generierte Höhenraster bestimmt wird. Accordingly, it is an object of the present invention to provide a method of displaying a computer-generated, real-environment simulated simulation environment having a database that includes real-estate data and real-world real-world objects that provide a fast and true-to-life representation the simulation environment. This object is achieved in a method of the type mentioned above in that the data is obtained by an evaluation of recorded images during an overflight and / or during a transit in the real environment, the data is a geospecific image of the real estate and / or the real objects and the data are stored as raster data in the database, wherein from the image recordings a height grid is generated and stored in the database, which assigns a height value to each raster point of the raster data and wherein at least for a part of the surfaces spanned by raster points Simulation environment a color texture is determined by a projection of at least one image capture on the generated height grid.
Durch das erfindungsgemäße Verfahren wird in besonders vorteilhafter Wei- se eine besonders realistische Darstellung einer Simulationsumgebung, basierend auf einem Höhen raster bei vergleichsweise geringem Aufwand und hohem Automatisierungsgrad, ermöglicht. The method according to the invention makes possible, in a particularly advantageous manner, a particularly realistic representation of a simulation environment based on a height grid with comparatively little effort and a high degree of automation.
Denn einerseits lässt sich ein entsprechendes Höhenraster aus den Bildauf - nahmen der Realumgebung anhand bekannter Verfahren wie beispielsweise „structure from motion" schnell, präzise und automatisch generieren. Jedoch führt ein solches Höhenraster dazu, dass insbesondere bei vertikal oder zumindest steil verlaufenden Oberflächen der Simulationsumgebung eine geringe Anzahl an Rasterpunkten verhältnismäßig große Oberflächen der Simulationsumgebung abbilden. Dies führt wiederum dazu, dass auf derartigen Oberflächen eine automatisierte und gleichzeitig realitätsgetreue Farbgebung und sonstige Texturierung nicht möglich ist. Mit den bekannten Verfahren kann manuell zwar eine Texturierung und/oder Farbgebung vorgenommen werden, die bedarf dann aber eines entsprechend gro- ßen Aufwands. Durch das erfindungsgemäße Verfahren wird jedoch ermöglicht, dass eine Projektion der Bildaufnahmen bzw. von Teilen der Bildaufnahmen auf ein generiertes Höhenraster vorgenommen wird, was wiederrum zum Vorteil hat, dass eine derartige Projektion automatisch erfolgen kann und gleich- zeitig bis hin zu einer fotorealistischen Texturierung von Oberflächen in der Simulationsumgebung führt. Darüber hinaus hat das erfindungsgemäße Verfahren den Vorteil, dass es nicht im Vorfeld der Darstellung der Simulationsumgebung ausgeführt und abgeschlossen werden muss, so dass die Farbtexturen zu den durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung vorliegen. Vielmehr kann die Projektion der zumindest einen Bildaufnahme auf das generierte Höhenraster zur Bestimmung einer Farbtextur eines Teils der durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung während der Darstellung der Simulationsumgebung erfolgen, wodurch der Zeitvorsatz zwischen der Ge- winnung der Bildaufnahmen, der Realumgebung und der Darstellung der Simulationsumgebung weiter minimiert werden kann. On the one hand, a corresponding height raster can be generated quickly, precisely and automatically from the images of the real environment using well - known methods such as "structure from motion." However, such a vertical raster causes a particularly high level of vertical or at least steep surfaces of the simulation environment This in turn means that automated and at the same time true-to-life coloring and other texturing is not possible on such surfaces, although texturing and / or coloring can be performed manually using the known methods but then requires a correspondingly large effort. However, the method according to the invention makes it possible to project the image recordings or parts of the image recordings onto a generated height grid, which in turn has the advantage that such a projection can take place automatically and at the same time up to a photorealistic texturing of Surfaces in the simulation environment. In addition, the method according to the invention has the advantage that it does not have to be executed and completed in advance of the presentation of the simulation environment, so that the color textures are present at the surfaces of the simulation environment spanned by the screen dots. Rather, the projection of the at least one image acquisition on the generated height grid for determining a color texture of a part of the surfaces of the simulation environment spanned by the halftone dots during the presentation of the simulation environment, whereby the time intent between the acquisition of the image recordings, the real environment and the representation of the Simulation environment can be further minimized.
Dabei ist es notwendig, dass das geospezifische Abbild der Realumgebung mit einer eindeutigen und umkehrbaren Transformation in die Rasterdaten des Höhenrasters überführt wird. Als Beispiel für eine solche Zuordnung kann eine Georeferenzierung vorgesehen sein. Dadurch wird jedem Rasterpunkt ein entsprechender Punkt der Realumgebung zugeordnet. Allgemein ist es jedoch erforderlich, dass die Raumkoordinaten der Realumgebung in ein entsprechendes Koordinatensystem der Simulationsumgebung und zu- rück überführt werden können. It is necessary that the geospecific image of the real environment is transformed into the grid data of the elevation grid with a clear and reversible transformation. As an example of such an assignment, a georeferencing can be provided. This assigns each grid point a corresponding point to the real environment. In general, however, it is necessary for the spatial coordinates of the real environment to be converted into a corresponding coordinate system of the simulation environment and back.
In einer vorteilhaften Ausgestaltung des Verfahrens ist vorgesehen, dass zur Bestimmung der Farbtextur von durch Rasterpunkte aufgespannte Oberflächen der Simulationsumgebung eine Projektion von mehreren Bildauf - nahmen auf das generierte Höhenraster durchgeführt wird, wobei die Farbtextur der Oberfläche als Mittelwert der aus den jeweiligen Projektionen ermittelten Farbtexturen bestimmt wird. Dabei wird einerseits vorteilhaft ausgenutzt, dass im Falle einer hohen Bildabfolge der die Realumgebung abbildenden Bildaufnahmen die Oberflächen, die in der Simulationsumgebung mit einer projizierten Farbtextur zu versehen sind, mehrfach aus ver- schiedenen Aufnahmepositionen enthalten sind. Durch die unterschiedlichen Bildaufnahmen können Fehler und Ungenauigkeiten der Bildaufnahmen an sich sowie aufgrund der Projektion ausgemittelt werden, die bei der Projektion lediglich einer Bildaufnahme auf das Höhenraster zur Bestimmung einer Farbtextur entstehen könnten. In an advantageous embodiment of the method, it is provided that, to determine the color texture of surfaces of the simulation environment spanned by grid points, a projection of several image recordings onto the generated height grid is carried out, the color texture of the surface being the mean value of the respective projections determined color textures is determined. In this case, on the one hand, advantage is taken of the fact that, in the case of a high image sequence of the image recordings depicting the real environment, the surfaces which are to be provided with a projected color texture in the simulation environment are contained several times from different recording positions. Due to the different image recordings errors and inaccuracies of the image recordings per se as well as due to the projection can be averaged out, which could result in the projection of only an image recording on the height grid for the determination of a color texture.
Bei der Bildung des Mittelwerts können verschiedene Filter, Gewichtungen und/oder Glättungen zum Einsatz kommen, so dass der gebildete Mittelwert der Farbtextur im hohen Maße der Realität, also der Oberfläche in der Realumgebung, entspricht. Dabei können ganze Farbtexturen, Abschnitte von Farbtexturen oder einzelne Pixel von Farbtexturen gemittelt werden. In the formation of the mean value, different filters, weights and / or smoothing can be used, so that the formed average of the color texture corresponds to a large extent to the reality, ie the surface in the real environment. Whole color textures, sections of color textures, or individual pixels of color textures can be averaged.
Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens ist vorgesehen, dass die Projektionen der zumindest einen Bildaufnahme auf das Höhenraster der Datenbasis der Simulationsumgebung während der Dar- Stellung der Simulationsumgebung erfolgt. In accordance with a further advantageous embodiment of the method, it is provided that the projections of the at least one image recording take place on the height grid of the database of the simulation environment during the representation of the simulation environment.
Um die Arbeitsbelastung, insbesondere die Rechenbelastung des Systems, welches zur Ausführung des erfindungsgemäßen Verfahrens genutzt wird, weiter zu verringern, kann eine ebenfalls vorteilhafte Ausgestaltung des Verfahrens vorgesehen werden: Diese sieht vor, dass die Bildaufnahme oder die Bildaufnahmen, die zur Projektion auf eine durch Rasterpunkte aufgespannte Oberfläche der Simulationsumgebung herangezogen werden, insbesondere hinsichtlich der Auflösung der Bildaufnahme vorverarbeitet werden. Damit wird unter anderem dem Umstand Rechnung getragen, dass die Bildaufnahmen der Realumgebung, welche zur Generierung der Datenbasis der Simulationsumgebung dienen, mitunter eine Auflösung aufweisen, die deutlich über der Auflösung liegt, die bei der Ausführung des erfindungsgemä- ßen Verfahrens einen Benutzer vermittelt bzw. von diesem wahrgenommen werden kann. Dabei ist es möglich, dass sowohl der Benutzer selbst als auch das System, welches zur Ausführung des Verfahrens benutzt wird, den limitierenden Faktor der Auflösung darstellt. Bei einer Vorverarbeitung der Bildaufnahmen, insbesondere bei einer Reduzierung der Auflösung der Bildaufnahmen im Vorfeld zu einer Projektion auf das Höhenraster, also eine durch Rasterpunkte aufgespannte Oberfläche, kann die notwendige Rechen leistung zur Ausführung der Projektionen deutlich gesenkt und die Projektion damit entsprechend schnell ausgeführt werden. In order to further reduce the work load, in particular the computing load of the system which is used for carrying out the method according to the invention, a likewise advantageous embodiment of the method can be provided. This provides that the image recording or the image recordings which are to be projected onto one by Grid points spanned surface of the simulation environment are used, in particular be pre-processed with respect to the resolution of image acquisition. Among other things, this takes into account the fact that the image recordings of the real environment, which serve to generate the database of the simulation environment, sometimes have a resolution that is significantly higher than the resolution that mediates a user during the execution of the method according to the invention or can be perceived by this. It is possible that both the user himself and the system used to execute the method represent the limiting factor of the resolution. In a preprocessing of the image recordings, in particular with a reduction of the resolution of the image recordings in advance to a projection on the height grid, so a spanned by halftone dots surface, the necessary computing power for the execution of the projections can be significantly reduced and the projection can be performed accordingly fast.
Wie in der Realität auch, so hängt bei dem Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung die vom Benutzer wahrnehmbare bzw. erfassbare maximale Auflösung von dem Abstand zwischen der Betrachtungsposition und dem betrachteten Objekt ab. Dementsprechend sieht eine weitere besonders vorteilhafte Ausführung des Verfahrens vor, dass die Vorverarbeitung der Bildaufnahme vor der Durchführung der Projektionen in Abhängigkeit einer frei wählbaren Betrachtungsposition der Darstellung der Simulationsumgebung, insbeson- dere in Abhängigkeit vom Abstand zwischen der Betrachtungsposition der Simulationsumgebung und der Position der durch die Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung, auf die die Bildaufnahme projiziert wird, ausgeführt wird. Dies bedeutet, dass wenn der Betrachter der Simulationsumgebung oder der Nutzer des Verfahrens zur Darstellung der Simulationsumgebung eine Betrachtungsposition in der Simulationsumgebung wählt, die sich in der Nähe einer durch wenige Rasterpunkte aufgespannten großen Oberfläche der Simulationsumgebung, wie beispielsweise eine Hauswand oder einem Steilhang, befindet, eine Projektion zumindest einer Bildaufnahme auf diese Oberfläche vorgenommen wird, ohne im Rahmen einer Vorverarbeitung die Auflösung der Bildaufnahme zu reduzieren. Umgekehrt kann bei einem großen Abstand zwischen der gewählten Betrachtungsposition und einer mit einer projizierten Farbtextur zu versehenden Oberfläche der Simulationsumgebung die Auflösung der für die Projektion verwendeten Bildauf - nahmen im Rahmen einer Vorverarbeitung reduziert werden. Dadurch wird bei der Ausführung des erfindungsgemäßen Verfahrens die zur Verfügung stehende Rechenleistung optimal und unter Berücksichtigung der Grenzen der Wahrnehmbarkeit seitens eines Benutzers ausgenutzt. Nachfolgend werden unterschiedliche Ausführungsformen des Verfahrens beschrieben, die sich auf die Zuordnung zwischen einer Bildaufnahme zu einem bestimmten Teil des Höhenrasters zum Ausführen der Projektionen sowie der Einbeziehung der frei wählbaren Betrachtungsposition der Simulationsumgebung beziehen. Denn um im Rahmen der Projektionen aus den Bildaufnahmen eine geeignete Farbtextur für eine durch Rasterpunkte aufgespannte Oberfläche der Simulationsumgebung zu gewinnen, ist zunächst eine möglichst präzise und eindeutige Zuordnung einer Bildaufnahme bzw. eines Teils einer Bildaufnahme zu eben jener Oberfläche im Höhenraster herzustellen. Dabei kommt die oben schon erwähnte eindeutige Zuordnung zwischen den Raumkoordinaten der Realumgebung, wie sie bei der Gewinnung der Bildaufnahmen dokumentiert werden können und dem Koordinatensystem der Simulationsumgebung zum Einsatz. As in reality, in the method of representing a computer-generated simulation environment simulating a real environment, the user-perceivable maximum resolution depends on the distance between the viewing position and the subject being viewed. Accordingly, a further particularly advantageous embodiment of the method provides that the preprocessing of the image recording prior to the implementation of the projections depending on a freely selectable viewing position of the representation of the simulation environment, in particular depending on the distance between the viewing position of the simulation environment and the position of the Grid points spanned surface of the simulation environment on which the image acquisition is projected is performed. This means that if the viewer of the simulation environment or the user of the method for displaying the simulation environment a Viewing position in the simulation environment, which is located in the vicinity of a large surface of the simulation environment, such as a house wall or a steep slope, spanned by a few halftone dots, a projection of at least one image acquisition is made on this surface, without the resolution of the Reduce image capture. Conversely, with a large distance between the selected viewing position and a surface of the simulation environment to be provided with a projected color texture, the resolution of the image recordings used for the projection can be reduced within the scope of preprocessing. As a result, in the embodiment of the method according to the invention, the available computing power is utilized optimally and taking into account the limits of perceptibility on the part of a user. In the following, different embodiments of the method are described, which relate to the association between an image acquisition to a specific part of the height raster for carrying out the projections and the inclusion of the freely selectable viewing position of the simulation environment. For in order to obtain a suitable color texture for a surface of the simulation environment spanned by raster points in the context of the projections from the image recordings, the most precise and unambiguous assignment of an image acquisition or a part of an image acquisition to the surface in the height raster is to be established. In this case, the above-mentioned unambiguous assignment between the spatial coordinates of the real environment, as can be documented when obtaining the image recordings, and the coordinate system of the simulation environment is used.
Dazu sieht eine vorteilhafte Ausgestaltung des Verfahrens vor, dass die Pro- jektionen der Bildaufnahme in Abhängigkeit der Aufnahmeposition in der Realumgebung und der sich daraus resultierenden Aufnahmeposition in der Simulationsumgebung erfolgt. For this purpose, an advantageous embodiment of the method provides that the projections of the image recording in dependence on the recording position in the Real environment and the resulting recording position in the simulation environment takes place.
Dies bedeutet, dass die bei einem Überflug über und/oder bei einer Durch- fahrt durch die Realumgebung aufgenommenen Bildaufnahmen mit einer Positionsangabe versehen sind, die eine Aufnahmeposition der Bildaufnahme darstellen. Durch die Überführung der Gesamtheit der Bildaufnahmen in ein Höhenraster der Datenbasis der Simulationsumgebung kann in der Simulationsumgebung jeder Bildaufnahme eine entsprechend virtuelle oder si- mulierte Aufnahmeposition zugeordnet werden. Dadurch wird wiederrum eine Beziehung zwischen der Bildaufnahme und dem Höhenraster hergestellt, die zur Durchführung der Projektionen der Bildaufnahme zur Erzeugung einer Farbtextur besonders vorteilhaft ist. Die Genauigkeit der Bestimmung einer Farbtextur einer durch Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung durch die Projektionen einer Bildaufnahme kann weiter dadurch verbessert werden, dass die Projektion der Bildaufnahme in Abhängigkeit von der Aufnahmerichtung in der Realumgebung und der daraus resultierenden Aufnahmerichtung in der Si- mulationsumgebung erfolgt. This means that the image recordings taken during an overflight above and / or during a passage through the real environment are provided with a position indication that represents a recording position of the image recording. By transferring the entirety of the image recordings into a height grid of the data base of the simulation environment, a corresponding virtual or simulated recording position can be assigned to each image recording in the simulation environment. This, in turn, establishes a relationship between the image capture and the height raster that is particularly advantageous for performing the projections of image acquisition to produce a color texture. The accuracy of the determination of a color texture of a screen-spanned surface of the simulation environment by the projections of an image acquisition can be further improved by the projection of the image acquisition depending on the recording direction in the real environment and the resulting recording direction in the simulation environment.
Die Aufnahmerichtung in der Realumgebung lässt sich beispielsweise aus der Bewegung der zur Aufnahme der Bildaufnahmen verwendeten Vorrichtung sowie der jeweiligen Ausrichtungen der Aufnahmevorrichtung bezüg- lieh der Bewegung ableiten und wie vorangegangen bereits beschrieben in die Simulationsumgebung sowie das dort vorliegende Höhenraster überführen. The recording direction in the real environment can be derived, for example, from the movement of the apparatus used to record the image recordings and the respective orientations of the recording apparatus with respect to the movement and, as described above, to the simulation environment and the elevation grid present there.
Die Resultate der Projektionen zur Bestimmung einer Farbtextur werden weiter durch die folgende Ausgestaltung des Verfahrens verbessert: Diese sieht vor, dass die Projektionen der Bildaufnahme in Abhängigkeit von Ab- bildungseigenschaften der Aufnahmevorrichtung, mit der die Bildaufnahme erzeugt wurde, erfolgt. Bei derartigen Eigenschaften oder Abbildungseigenschaften der Aufnahmevorrichtung kann es sich beispielweise um den Raumwinkel handeln, der ausgehend von der Position der Aufnahmevorrich- tung erfasst oder abgebildet wird. Jedoch auch andere Abbildungseigenschaften kann die Qualität der durchzuführenden Projektionen verbessern. Der Winkelbereich lässt sich beispielsweise zusammen mit der Aufnahmeposition und/oder der Aufnahmerichtung wie oben bereits beschrieben in die Simulationsumgebung, insbesondere in das Höhenraster der Si- mulationsumgebung übertragen, wodurch die Zuordnung eines Teils einer Bildaufnahme zu einer durch Rasterpunkte aufgespannten Oberfläche in der Simulationsumgebung weiter verbessert oder präzisiert werden kann. The results of the projections for the determination of a color texture are further improved by the following embodiment of the method: This provides that the projections of the image acquisition as a function of Ab- bildungsseigenschaften the recording device with which the image acquisition was generated takes place. Such properties or imaging properties of the recording device may be, for example, the solid angle, which is detected or imaged starting from the position of the recording device. However, other imaging properties can also improve the quality of the projections to be performed. The angular range can be transmitted, for example, together with the recording position and / or the recording direction into the simulation environment, in particular into the elevation grid of the simulation environment, whereby the assignment of a part of an image recording to a surface spanned by halftone dots in the simulation environment is further improved or can be specified.
Durch den Unterschied der virtuellen Aufnahmeposition, Aufnahmerichtung und anderen Eigenschaften der in die Simulationsumgebung transferierten Bildaufnahme und einer frei wählbaren Betrachtungsposition der Simulationsumgebung kann es vorkommen, dass ein Teil einer durch Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung, für die aus einer Bildaufnahme im Rahmen einer Projektion eine Farbtextur bestimmt werden soll, aus der Betrachtungsposition nicht sichtbar ist, weil andere Rasterpunkte des Rastermodels die Sichtlinie zwischen der Betrachtungsposition und der entsprechenden Oberfläche oder eines Teils der Oberfläche verdecken. Um in dieser Situation eine fehlerhafte oder zumindest irreführende Projektionen oder eine daraus resultierende mangelhafte Ausgestaltung des Verfahrens auszuschließen, ist folgendes vorgesehen: Besonders vorteilhaft umfasst die Projektion ein Kontrollverfahren, welches kontrolliert, ob ein Teil einer durch Rasterpunkte des Rastermodels aufgespannten Oberfläche der Simulationsumgebung von der aktuell frei wählbaren Betrachtungsposition der Simulationsumgebung aus sichtbar oder verdeckt ist. In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass das Kontrollverfahren unter Verwendung einer aus dem Rastermodel und der frei wählbaren Betrachtungsposition der Simulationsumgebung abgeleiteten Tiefenkarte der Simulationsumgebung ausgeführt wird. Due to the difference between the virtual recording position, recording direction and other properties of the image acquisition transferred into the simulation environment and a freely selectable viewing position of the simulation environment, it is possible that a part of a screen surface of the simulation environment, for a projection in the context of a projection, a color texture is to be determined, is not visible from the viewing position, because other halftone dots of the halftone model obscure the line of sight between the viewing position and the corresponding surface or part of the surface. In order to rule out in this situation an erroneous or at least misleading projections or a resulting defective embodiment of the method, the projection advantageously comprises a control method which controls whether a part of a surface of the simulation environment spanned by raster points of the raster model differs from the current one freely selectable viewing position of the simulation environment is visible or hidden. In a particularly advantageous embodiment, it is provided that the control method is executed using a depth map of the simulation environment derived from the halftone model and the freely selectable viewing position of the simulation environment.
Dies bedeutet, dass beispielsweise ausgehend von der aktuellen Betrachtungsposition eine Analyse des Rastermodels der Simulationsumgebung vorgenommen wird, die feststellt, welche Bereiche der Simulationsumgebung beziehungsweise des Rastermodels der Simulationsumgebung aus der aktu- eilen Betrachtungsposition sichtbar sind und die entsprechenden Ergebnisse in Form einer Tiefenkarte hinterlegt oder speichert. This means that, for example, starting from the current viewing position, an analysis of the raster model of the simulation environment is made, which determines which areas of the simulation environment or the raster model of the simulation environment are visible from the current viewing position and stores or stores the corresponding results in the form of a depth map ,
In einer besonders vorteilhaften Weiterbildung des vorgeschlagenen Verfahrens ist zudem vorgesehen, dass die Projektion von zumindest einer Bild- aufnähme auf die durch Rasterpunkte aufgespannte Oberflächen der Simulationsumgebung angewendet werden, die steil, insbesondere vertikal verlaufende Oberflächen des realen Geländes und/oder realer Objekte abbilden. Grundsätzlich kann die im Rahmen des vorgeschlagenen Verfahrens durchgeführte Projektion von Bildaufnahmen zur Gewinnung von Farbtexturen für alle Bereiche der Simulationsumgebung durchgeführt werden. In verhältnismäßig flachen Abschnitten der realen Umgebung, also Abschnitten mit einer relativ großen horizontalen Komponente und lediglich einer ge- ringen oder keinen vertikalen Komponente sind jedoch nach der Überführung in die Rasterdaten der Simulationsumgebung eine verhältnismäßig große Anzahl von Rasterpunkten pro Fläche oder Oberfläche der Simulationsumgebung vorhanden, so dass andere Verfahren zur Gewinnung und Anzeige von Farben oder Farbtexturen ein gleichermaßen realistisches Er- gebnis bei geringerem Aufwand liefern. Wie jedoch eingangs bereits beschrieben, sind insbesondere bei der Abbildung von steilen oder senkrechten Abschnitten der realen Umgebung nach der Überführung in ein Abbild des realen Geländes unter Verwendung eines Höhenrasters in diesen Bereichen der Simulationsumgebung nur sehr wenige Rasterpunkte pro Fläche oder Flächeninhalt verfügbar, weshalb andere Verfahren zur Bestimmung einer Oberf lächenfarbe oder einer Oberf lächentex- tur hier versagen oder zumindest zu realitätsfernen Ergebnissen führen. In a particularly advantageous development of the proposed method, it is additionally provided that the projection of at least one image recording are applied to the surfaces of the simulation environment spanned by raster points, which image steep, in particular vertically extending surfaces of the real terrain and / or real objects. In principle, the projection of image recordings for obtaining color textures carried out in the context of the proposed method can be carried out for all regions of the simulation environment. In relatively flat sections of the real environment, ie sections with a relatively large horizontal component and only a slight or no vertical component, however, after the conversion into the raster data of the simulation environment, a relatively large number of raster points per area or surface of the simulation environment are present, so that other methods for obtaining and displaying colors or color textures provide an equally realistic result with less effort. However, as already described above, particularly in the mapping of steep or vertical sections of the real environment after transfer to an image of the real estate using a height raster in these areas of the simulation environment only very few halftone dots per area or area are available, which is why other methods To determine a surface color or a surface texture here fail or at least lead to unrealistic results.
In einer weiteren Ausführungsform des Verfahrens kann vorgesehen sein, dass in der Datenbasis Daten hinterlegt sind, die Modelle realer Objekte der realen Umgebung darstellen. In a further embodiment of the method it can be provided that data are stored in the database which represent models of real objects of the real environment.
Diese Modelle realer Objekte können beispielsweise im Vorfeld zu der Ausführung des erfindungsgemäßen Verfahrens aus den Rasterdaten dadurch abgeleitet werden, dass zunächst die Abbildungen von realen Objekten in den Rasterdaten identifiziert werden, anschließend die entsprechenden Rasterdaten extrahiert und auf Grundlage dieser entsprechender Modelle beispielsweise polygonreduzierte Modelle der Objekte angefertigt werden, die dann ebenfalls als Teil der Datenbasis der Simulationsumgebung bereit gestellt werden. These models of real objects can, for example, be derived from the raster data in advance of the execution of the method according to the invention by first identifying the images of real objects in the raster data, then extracting the corresponding raster data and, on the basis of these corresponding models, for example polygon-reduced models of the objects which are then also provided as part of the database of the simulation environment.
Dabei ist es für die Ausführung des hier beschriebenen Verfahrens besonders vorteilhaft, wenn die Modelle der realen Objekte zusätzlich zu den Rasterdaten, die die realen Objekte abbilden, in der Datenbasis gespei- chert werden. Dabei können auch bekannte Verfahren zur Texturierung der Modelle beispielweise der polygonreduzierten Modelle der Objekte zum Einsatz kommen, die keine Projektion einer Bildaufnahme umfassen. Dies bedeutet auch, dass herkömmliche Texturierungsverfahren für die Modelle zum Einsatz kommen können, die eine weniger realitätsgetreue Farbgebung und/oder Texturierung der Modelle zur Folge haben. Gemäß einer besonders vorteilhaften Weiterbildung des Verfahrens ist vorgesehen, dass die Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung in unterschiedlichen Betriebsarten erfolgen kann, wobei in einer Ansichts-Betriebsart die Darstellung basierend auf den Rasterdaten und den zumindest teilweise durch die Projektion der Bildaufnahmen bestimmten Farbtexturen erfolgt und wobei in einer Interaktions-Betriebsart die Darstellung zumindest teilweise basierend auf Modellen realer Objekte erfolgt. Dies ermöglicht, dass zugunsten einer Interaktion mit der Darstellung der Simulationsumgebung auf die Modelle der realen Objekte zurückgegriffen werden kann, für die eine Veränderung leichter umgesetzt und dargestellt werden kann als für ein reines Höhenraster. Dabei kann auch eine Einbuße der Texturierung der Modelle billigend in Kauf genommen werden. Die dy- namische Veränderung von Modellen von Objekten kann beispielsweise für die Darstellung von Beschädigungen der Objekte vorgesehen sein. In this case, it is particularly advantageous for the execution of the method described here if the models of the real objects are stored in the database in addition to the raster data which images the real objects. In this case, known methods for texturing the models, for example the polygon-reduced models of the objects can be used, which do not include a projection of an image recording. This also means that conventional texturing methods can be used for the models, which results in a less realistic coloring and / or texturing of the models. According to a particularly advantageous embodiment of the method, it is provided that the representation of the computer-generated, a real environment simulating simulation environment can be done in different modes, wherein in a view mode, the representation is based on the raster data and at least partially determined by the projection of the image recordings color textures and wherein in an interaction mode the presentation is at least partially based on models of real objects. This makes it possible to resort to the models of real objects in favor of an interaction with the representation of the simulation environment, for which a change can be more easily implemented and displayed than for a pure height grid. In this case, a loss of the texturing of the models can be accepted approvingly. The dynamic modification of models of objects can be provided, for example, for the representation of damage to the objects.
Soweit jedoch lediglich eine Ansicht der Simulationsumgebung erfolgen soll, ist es besonders vorteilhaft, wenn das Verfahren zur Darstellung der Simulationsumgebung auf den Rasterdaten und den zumindest teilweise auf die Rasterdaten projizierten Farbtexturen aus den Bildaufnahmen basiert. However, insofar as only a view of the simulation environment is to take place, it is particularly advantageous if the method for displaying the simulation environment is based on the raster data and the color textures projected at least partially on the raster data from the image recordings.
Dementsprechend ermöglicht die vorangehend beschriebene Ausgestaltung des Verfahrens, dass je nach Betriebsart entweder eine besonders realisti- sehe Ansicht der Simulationsumgebung oder eine Interaktion mit der Simulationsumgebung unter teilweisem Verzicht auf ein gewisses Maß der Realitätstreue erreicht werden kann. Accordingly, the embodiment of the method described above makes it possible, depending on the mode of operation, to achieve either a particularly realistic view of the simulation environment or an interaction with the simulation environment with a partial waiver of a certain degree of true-to-reality.
Weitere Vorteile und Einzelheiten des erfindungsgemäßen Verfahrens wer- den nachfolgend unter Zuhilfenahme der beigefügten, schematisierten Zeichnungen von Ausführungsbeispielen erläutert werden. Darin zeigen: Fig. 1 eine beispielhafte Darstellung einer Gewinnung von Bildaufnahmen einer Realumgebung; Further advantages and details of the method according to the invention will be elucidated below with the aid of the attached, schematic drawings of exemplary embodiments. Show: 1 shows an exemplary representation of obtaining image recordings of a real environment;
Fig. 2 ein beispielhafter Ausschnitt aus einer Simulationsumgebung und der darin angeordneten Betrachtungsposition; FIG. 2 shows an exemplary detail of a simulation environment and the viewing position arranged therein; FIG.
Fig. 3 eine beispielhafte Darstellung einer Projektion von Bildaufnahmen auf durch Rasterpunkte aufgespannte Oberflächen der Rasterdaten der Simulationsumgebung; 3 shows an exemplary representation of a projection of image recordings on surfaces of the raster data of the simulation environment spanned by raster points;
Fig. 4 eine alternative beispielhafte Darstellung einer Projektion einer Bildaufnahme auf eine durch Rasterpunkte aufgespannte Oberfläche;  4 shows an alternative exemplary representation of a projection of an image recording onto a surface spanned by screen dots;
Fig. 5 ein schematisiertes Ablaufdiagramm des erfindungsgemäßen  Fig. 5 is a schematic flow diagram of the invention
Verfahrens gemäß einer Ausführungsform.  Method according to one embodiment.
Die Fig. 1 zeigt eine Realumgebung 1 , in der reale Objekte 2, wie beispielsweise Gebäude oder Pflanzen in einem realen Gelände 3 angeordnet sind. Um die Realumgebung 1 in einer computergenerierten Simulationsumgebung simulieren zu können, kann vorgesehen sein, dass eine Aufnahmevorrichtung 4 wie beispielsweise ein Satellit oder ein unbemanntes Flugzeug in einem Überflug über die Realumgebung 1 Bildaufnahmen 19 gewinnt. Um die mit der Aufnahmevorrichtung 4 gewonnenen Bildaufnahmen 19 in ein Abbild der Realumgebung überführen zu können, ist es dafür besonders wünschenswert, wenn die genaue Aufnahmeposition der Aufnahmevorrichtung 4 in der Realumgebung, deren momentaner Bewegungszustand sowie Abbildungseigenschaften der Aufnahmevorrichtung 4 zusammen mit den Bildaufnahmen 19 aufgenommen werden. FIG. 1 shows a real environment 1, in which real objects 2, such as, for example, buildings or plants, are arranged in a real terrain 3. In order to be able to simulate the real environment 1 in a computer-generated simulation environment, it may be provided that a recording device 4, such as, for example, a satellite or an unmanned aircraft, acquires image recordings 19 in an overflight over the real environment 1. In order to be able to transfer the image recordings 19 obtained with the recording device 4 into an image of the real environment, it is particularly desirable for the exact recording position of the recording device 4 in the real environment, its momentary movement state and imaging properties of the recording device 4 to be recorded together with the image recordings 19 ,
Im Beispiel der Fig. 1 wird die Dokumentation der Aufnahmeposition 5 der Aufnahmevorrichtung 4 sowie deren Bewegung durch das Koordinatensystem 6 sowie den Geschwindigkeitsvektor 7 veranschaulicht. Darüber hinaus ist ein Sichtfeld 8 der Aufnahmevorrichtung 4 skizziert, welches sich um eine Aufnahmerichtung 17 der Aufnahmevorrichtung erstreckt. Die Ausdehnung des Sichtfelds 8 um die Aufnahmerichtung 17 hängt dabei von den Abbildungseigenschaften der Aufnahmevorrichtung ab. Zur besseren Veranschaulichung des vorgeschlagenen Verfahrens ist das Sichtfeld 8 der Aufnahmevorrichtung 4 durch eine gedachte oder vermeintliche Abbildungsebene 9 begrenzt. Die Abbildungsebene 9 veranschaulicht die Abbildung der dreidimensionalen Realumgebung 1 in eine zweidimensionale Bildaufnahme 19. In the example of FIG. 1, the documentation of the recording position 5 of the recording device 4 and its movement through the coordinate system 6 and the velocity vector 7 is illustrated. In addition, a field of view 8 of the recording device 4 is outlined, which is about a receiving direction 17 of the receiving device extends. The extent of the field of view 8 to the receiving direction 17 depends on the imaging properties of the recording device. For better illustration of the proposed method, the field of view 8 of the receiving device 4 is limited by an imaginary or supposed imaging plane 9. The imaging plane 9 illustrates the mapping of the three-dimensional real environment 1 into a two-dimensional image acquisition 19.
Durch die Abbildung der Realumgebung 1 mit einer Aufnahmevorrichtung 4, bei der neben den reinen Bildaufnahmen 19 auch die Aufnahmeposition 5, die Aufnahmerichtung 9, Geschwindigkeitsvektor 7 und die Abbildungseigenschaften der Aufnahmevorrichtung 4 dokumentiert werden, führen zu einem Datensatz, anhand welchem die Realumgebung 1 in eine Simulationsumgebung überführt werden kann. Beispielsweise kann in eine Datenbasis ein Abbild des realen Geländes 3 und/oder der realen Objekte 2 gespeichert sein, wobei die Daten als Rasterdaten in der Datenbasis hinterlegt sind. By mapping the real environment 1 with a recording device 4, in which in addition to the pure image recordings 19 and the recording position 5, the recording direction 9, velocity vector 7 and the imaging properties of the recording device 4 are documented, leading to a data set, based on which the real environment 1 in a Simulation environment can be transferred. For example, an image of the real estate 3 and / or the real objects 2 can be stored in a database, the data being stored as raster data in the database.
Fig. 2 zeigt einen Ausschnitt aus einer Simulationsumgebung zur Darstellung gemäß des vorgeschlagenen Verfahrens. In der Darstellung der Fig. 2 ist eine Draufsicht auf die Simulationsumgebung 10 gewählt, so dass die entsprechenden Rasterpunkte der Rasterdaten in der Zeichenebene der Fig. 2 liegen, wohingegen die jedem Rasterpunkt der Rasterdaten zugeordneten Höhenwerte senkrecht zur Zeichenebene der Fig. 2 liegen und damit nicht dargestellt sind. Der Ausschnitt der Simulationsumgebung 10 zeigt ein realabbildendes Objekt 11 in Form eines Hauses sowie ein realabbildendes Gelände 12. Im linken unteren Bereich ist zudem ein Ausschnitt des Rasters eingeblendet, bei dem jedem Rasterpunkt 13 ein Höhenwert zugeordnet wird und somit das Höhenraster der Simulationsumgebung 10 generiert wird. Die Höhenwerte der Rasterpunkte 13 bilden damit insgesamt Rasterdaten, die aus Bildaufnahmen 19 generiert werden, deren Entstehung beispielsweise wie mit in Bezug auf Fig. 1 beschrieben erfolgt. Anhand der Rasterpunkte 13 des Ausschnitts des Rasters der Rasterdaten wird erkenntlich, dass für einen Abschnitt oder Ausschnitt der Simulationsumgebung 10 mit einem flachen oder horizontalem Verlauf, also einem Verlauf, der im Wesentlichen parallel zur Zeichenebene der Fig. 2 verläuft, wie beispielsweise das Hausdach 18 des Objekts 1 1 , eine verhältnismäßig große Anzahl von Rasterpunkten 13 pro Fläche vorliegt. Anders ist die Situation für von den Rasterpunkten aufgespannten Oberflächen 14, die die Seitenwände des realabbildenden Objekts 1 1 der Simulationsumgebung 10 darstellen oder abbilden. Diese Oberflächen 14 der Seitenwände verlaufen weitestgehend senkrecht, und zwar sowohl in der realen Umgebung als auch in der Simulationsumgebung 10. Dies führt jedoch dazu, dass nur sehr wenige Rasterpunkte 13 mit entsprechenden Höhenwerten vorliegen, um die verhältnismäßig großen Oberflächen 14 der Seitenwände der Simulationsumgebung aufzuspannen. Daraus resultiert die Problematik der Farbgebung oder Texturierung der Oberflächen 14 in der Simulationsumgebung 10 sowie die Farbgebung oder Texturierung vergleichbarer Oberflächen mit einem hohen vertikalem Anteil und einem geringem horizontalen Anteil. FIG. 2 shows a section from a simulation environment for illustration according to the proposed method. 2, a plan view of the simulation environment 10 is selected so that the corresponding raster points of the raster data lie in the plane of the drawing of FIG. 2, whereas the height values associated with each raster point of the raster data are perpendicular to the plane of the drawing of FIG are not shown. The section of the simulation environment 10 shows a real-imaging object 11 in the form of a house and a real-imaging terrain 12. In the lower left area, a section of the grid is also displayed, in which each grid point 13 is assigned a height value and thus generates the height grid of the simulation environment 10 becomes. The height values of the raster points 13 thus form a total of raster data which are generated from image recordings 19, the formation of which takes place, for example, as described with reference to FIG. It is recognizable on the basis of the grid points 13 of the section of the grid of the raster data that for a section or section of the simulation environment 10 with a flat or horizontal course, ie a course which runs essentially parallel to the plane of the drawing of FIG. 2, such as, for example, the house roof 18 of the object 1 1, there is a relatively large number of screen dots 13 per area. The situation is different for surfaces 14 which are spanned by the grid points and which represent or image the sidewalls of the real imaging object 11 of the simulation environment 10. These surfaces 14 of the sidewalls extend substantially perpendicularly, both in the real environment and in the simulation environment 10. However, this results in having very few halftone dots 13 with corresponding height values to span the relatively large surfaces 14 of the side walls of the simulation environment , This results in the problem of coloring or texturing of the surfaces 14 in the simulation environment 10 as well as the coloring or texturing of comparable surfaces with a high vertical component and a small horizontal component.
Die Fig. 2 zeigt darüber hinaus eine vom Benutzer des Verfahrens frei wählbare Betrachtungsposition 15, die den Ausgangspunkt zur Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung 10 darstellen soll. Anhand der Darstellung der Betrachtungsposition 15 bezüglich des realabbildenden Objekts 1 1 wird deutlich, dass der Benutzer des Verfahrens die Oberfläche 14.1 und die Oberfläche 14.2 des realabbildenden Objekts 1 1 unter unterschiedlichen Winkeln wahrnimmt. Die Ober- fläche 14.3 ist von der frei wählbaren Darstellungsposition 15 der Fig. 2 nicht erkennbar, da die Oberfläche 14.1 die Sicht auf die Oberfläche 14.3 von der Betrachtungsposition 15 aus verdeckt. FIG. 2 furthermore shows a viewing position 15, which can be freely selected by the user of the method, which is intended to represent the starting point for displaying the computer-generated simulation environment 10 simulating a real environment. It is clear from the representation of the viewing position 15 with respect to the real imaging object 11 that the user of the method perceives the surface 14.1 and the surface 14.2 of the real imaging object 11 at different angles. The surface 14.3 is of the freely selectable display position 15 of FIG. 2 not recognizable, since the surface 14.1 obscured the view of the surface 14.3 from the viewing position 15 from.
Dies veranschaulicht, dass bei der Darstellung der Simulationsumgebung 10, in Abhängigkeit von der gewählten Betrachtungsposition 15, insbesondere jedoch keinesfalls ausschließlich hinsichtlich senkrecht oder zumindest steil verlaufender Oberflächen, deren Sichtbarkeit insgesamt und im Speziellen deren entsprechende Farbgebung oder Texturierung berücksichtigt werden muss. This illustrates that in the representation of the simulation environment 10, depending on the selected viewing position 15, but in particular not exclusively with regard to vertical or at least steep surfaces, their overall visibility and especially their corresponding coloring or texturing must be considered.
Aus der beispielhaften Darstellung der Fig. 2 geht eine Situation hervor, in der die frei wählbare Betrachtungsposition 15 verhältnismäßig nah an dem realabbildenden Objekt 11 der Simulationsumgebung 10 gewählt ist. Dies bedeutet aber auch, dass es besonders wünschenswert ist, dass die aus der Betrachtungsposition 15 sichtbaren Oberflächen 14.1 und 14.2 des realabbildenden Objekts 11 mit einer detailreichen und realitätsgetreuen Farbgebung dargestellt werden, obwohl die entsprechenden Oberflächen der Simulationsumgebung lediglich durch eine verhältnismäßig geringe Anzahl von Rasterpunkten 13 aufgespannt werden. From the exemplary representation of FIG. 2, a situation emerges in which the freely selectable viewing position 15 is chosen to be relatively close to the real imaging object 11 of the simulation environment 10. However, this also means that it is particularly desirable that the visible from the viewing position 15 surfaces 14.1 and 14.2 of the real imaging object 11 are presented with a detailed and realistic color scheme, although the corresponding surfaces of the simulation environment only by a relatively small number of grid points 13th be stretched.
Um dies zu erreichen, bietet sich besonders das vorgeschlagene Verfahren an, dessen Grundidee auf der Projektion von Bildaufnahmen 19 auf das generierte Höhenraster einer Datenbasis einer Simulationsumgebung beruht, um einen Teil der durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung mit einer Farbtextur zu versehen. In order to achieve this, the proposed method, whose basic idea is based on the projection of image recordings 19 on the generated height grid of a simulation environment data base, is to provide a part of the simulation environment surfaces spanned by the screen dots with a color texture.
Eine Veranschaulichung dieser Projektion wird nachfolgend mit Bezug auf Fig. 3 beschrieben. In Fig. 3 ist abermals ein Ausschnitt einer Simulationsumgebung 10 in der Draufsicht, also mit Sicht auf die Ebene der Rasterpunkte dargestellt, wo- bei sich die den Rasterpunkten zugeordneten Höhenwerte senkrecht zur Zeichenebene liegen. In dem Ausschnitt der Simulationsumgebung 10 ist ebenfalls ein realabbildendes Objekt 11 in Form eines Hauses dargestellt. Weiter sind zur Veranschaulichung der Projektionen von Bildaufnahmen 19 auf das Höhenraster beispielhaft die vermeintlichen Abbildungsebenen 9 zweier unterschiedlicher Bildaufnahmen 19 in der Fig. 3 dargestellt. An illustration of this projection will be described below with reference to FIG. FIG. 3 again shows a section of a simulation environment 10 in plan view, that is to say with a view of the plane of the screen dots. in which the height values assigned to the grid points are perpendicular to the plane of the drawing. In the section of the simulation environment 10, a real-imaging object 11 in the form of a house is also shown. Furthermore, the supposed image planes 9 of two different image recordings 19 in FIG. 3 are shown by way of example to illustrate the projections of image recordings 19 on the height raster.
Durch die mit Bezug auf Fig. 1 beschriebene Vorgehensweise bei der Gewinnung der Bildaufnahmen 19 kann eine eindeutige Positionierung und Ausrichtung der Abbildungsebene 9 in der Simulationsumgebung 10 erreicht werden. Die Abbildungsebenen 9 verfügen wie in Fig. 1 skizziert auch über eine vertikale Komponente, die im Beispiel der Fig. 3 zumindest teilweise senkrecht auf der Zeichenebene steht und lediglich aus Gründen der Anschaulichkeit und Übersichtlichkeit der Fig. 3 in dieser nicht dargestellt ist. The procedure for obtaining the image recordings 19 described with reference to FIG. 1 permits unambiguous positioning and alignment of the imaging plane 9 in the simulation environment 10. As shown in FIG. 1, the image planes 9 also have a vertical component which, in the example of FIG. 3, is at least partially perpendicular to the plane of the drawing and is not shown in FIG. 3 for reasons of clarity and clarity.
Trotzdem ist aus der Fig. 3 erkennbar, wie anhand der Bildaufnahmen 19 und deren Abbildungsebenen 9 eine Projektion vorgenommen wird, durch die zumindest einem Teil der durch die Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 eine Farbtextur zugeordnet wird. Anhand der in Fig. 3 punktiert dargestellten Linien wird beispielsweise eine Abbildungsvorschrift oder Projektionsvorschrift skizziert, anhand derer ein erster Projektionsbereich 16.1 aus der Bildaufnahme 19 mit der Abbildungsebene 9.1 auf die erste, eine Seitenwand bildende Oberfläche 14.1 des realabbildenden Objekts 11 projiziert wird. Gleiches gilt für die punktierten Linien, die die Abbildung oder Projektionen eines Projektionsbereich 16.2 der Bildaufnahme 19 mit der Abbildungsebene 9.1 auf die Oberfläche 14.2 des realabbildenden Objekts 11 veranschaulichen. Nevertheless, it can be seen from FIG. 3 how, on the basis of the image recordings 19 and their image planes 9, a projection is made by which a color texture is assigned to at least part of the surfaces 14 of the simulation environment 10 spanned by the screen dots 13. By way of example, a mapping rule or projection rule is sketched on the basis of the dotted lines shown in FIG. 3, on the basis of which a first projection region 16.1 is projected from the image acquisition 19 with the imaging plane 9.1 onto the first surface 14.1 of the real imaging object 11 forming a side wall. The same applies to the dotted lines which illustrate the image or projections of a projection region 16.2 of the image recording 19 with the imaging plane 9.1 onto the surface 14.2 of the real imaging object 11.
Die genauen Abbildungsvorschriften der Projektionen, also der Verlauf der beispielhaft dargestellten punktierten Linien sowie der nicht dargestellten dazwischen angeordneten Projektionen von Punkten der Abbildungsebene 9.1 auf die Oberflächen 14.1 und 14.2 werden einerseits durch die Rasterdaten oder das Höhenraster bestimmt und andererseits durch die bei der Erzeugung der Bildaufnahme 19 vorliegenden Eigenschaften wie Aufnahmeposition, Aufnahmerichtung und dergleichen bestimmt, welche sich verein- facht dargestellt in der Ausrichtung der Abbildungsebene 9.1 widerspiegeln. The exact mapping rules of the projections, ie the course of the dotted lines shown by way of example, as well as the not shown therebetween projections of points of the image plane 9.1 on the surfaces 14.1 and 14.2 are determined on the one hand by the raster data or the height grid and on the other hand determined by the present in the generation of the image recording 19 properties such as recording position, recording direction and the like, which are reflected simplified represent in the orientation of the imaging plane 9.1.
Die Abbildungsebene 9.2 einer zweiten Bildaufnahme 19 kann gemäß den in der Fig. 3 strichliniert dargestellten Projektionsvorschriften ebenfalls dazu genutzt werden, die Oberflächen 14.1 und 14.2 mit einer aus der entspre- chenden Bildaufnahme 19 generierten Farbtextur zu versehen. Dabei kann auch vorgesehen sein, dass die entsprechenden Projektionsbereiche 16.3 und 16.4 der Bildaufnahme 19 mit der Abbildungsebene 9.2 zunächst mit den entsprechenden Projektionsbereichen 16.1 und 16.2 der Bildaufnahme 19 mit der Abbildungsebene 9.1 gemittelt werden. The imaging plane 9.2 of a second image acquisition 19 can also be used to provide the surfaces 14.1 and 14.2 with a color texture generated from the corresponding image acquisition 19, in accordance with the projection rules shown in dashed lines in FIG. It can also be provided that the corresponding projection regions 16.3 and 16.4 of the image acquisition 19 with the image plane 9.2 are first averaged with the corresponding projection regions 16.1 and 16.2 of the image acquisition 19 with the image plane 9.1.
Dementsprechend kann die Qualität der durch die Projektionen generierten Farbtextur für die Oberflächen 14.1 und 14.2 des realabbildenden Objekts 1 1 weiter verbessert werden. Die Bildaufnahme 19 mit der AbbildungsebeneAccordingly, the quality of the color texture generated by the projections for the surfaces 14.1 and 14.2 of the real image forming object 11 can be further improved. The image acquisition 19 with the image plane
9.2 erlaubt zudem, zumindest für ein Teil der Seitenwand 14.3 des realab- bildenden Objekts 1 1 , die Generierung einer Farbtextur im Rahmen einer9.2 also allows, at least for a part of the side wall 14.3 of the real image forming object 1 1, the generation of a color texture in the context of a
Projektion der Bildaufnahme 19 auf das Höhenraster der Simulationsumgebung 10. Der Projektionsbereich 16.5 der Bildaufnahme 19 mit der Abbildungsebene 9.2 kann auf einen Teil der Oberfläche 14.3 des realabbildenden Objekts 1 1 projiziert werden. Projection of the image recording 19 to the height grid of the simulation environment 10. The projection area 16.5 of the image recording 19 with the imaging plane 9.2 can be projected onto a part of the surface 14.3 of the real imaging object 11.
Aus der Darstellung der Fig. 3 wird damit auch ersichtlich, dass Bildaufnahmen 19 aus unterschiedlichen Aufnahmepositionen und mit unterschiedlichen Aufnahmerichtungen besonders vorteilhaft und wünschenswert sind, um für eine möglichst große Anzahl von durch Rasterpunkte aufgespannte Oberflächen 14 der Simulationsumgebung 10 möglichst vollständige und detailgetreue Farbtexturen erzeugen zu können. In der Fig. 4 ist ebenfalls eine Projektion eines Teils einer Bildaufnahme 19 auf eine durch Rasterpunkte 13 aufgespannte weitgehend vertikale Oberfläche 14.1 dargestellt. From the illustration of FIG. 3, it is thus also apparent that image recordings 19 from different recording positions and with different recording directions are particularly advantageous and desirable in order to produce as complete and detailed color textures as possible for the largest possible number of surfaces 14 of the simulation environment spanned by screen dots can. FIG. 4 likewise shows a projection of a part of an image recording 19 onto a substantially vertical surface 14.1 spanned by screen dots 13.
Hinsichtlich der Bildaufnahme 19 ist festzuhalten, dass es sich bei der Darstellung der Fig. 4 um eine starke Schematisierung einer Bildaufnahme 19 handelt. Dies ist nicht zuletzt der Übersichtlichkeit der Fig. 4 geschuldet. Von einer realistischen Bildaufnahme 19 wären neben der Seitenansicht des realen Objekts 2 selbstverständlich noch eine Vielzahl anderer Inhalte, wie beispielsweise Vegetation, weitere Objekte, Fahrzeuge, Menschen und Tiere umfasst. Es soll auch darauf hingewiesen werden, dass es sich bei der Darstellung der Seitenansicht des Objekts 2 in der Bildaufnahme 19 der Fig. 4 um eine gewollt vereinfachte Darstellung handelt, die die Vorteile des erfindungsgemäßen Verfahrens jedoch nicht vollständig wiederzugeben vermag. Denn die Seitenansicht des Objekts 2 der Bildaufnahme 19 ist eben keine fotorealistische Darstellung, wie sie beim erfindungsgemäßen Verfahren zum Einsatz kommen kann. Aus der Darstellung der Fig. 4 wird jedoch das Grundprinzip deutlich, wonach die in den Bildaufnahmen 19 festge- haltenen Oberflächen der Realumgebung, insbesondere die von den Bildaufnahmen 19 umfassten Oberflächen von realen Objekten 2 zur Projektion herangezogen werden, die in der Simulationsumgebung 10 oder bei der Darstellung der Simulationsumgebung 10 einen entsprechend realistischen Eindruck beim Betrachter hervorrufen. With regard to the image recording 19, it should be noted that the representation of FIG. 4 is a strong schematization of an image recording 19. This is not least the clarity of Fig. 4 owed. In addition to the side view of the real object 2, of course, a variety of other contents, such as vegetation, other objects, vehicles, people and animals, would also be encompassed by a realistic image acquisition 19. It should also be pointed out that the representation of the side view of the object 2 in the image recording 19 of FIG. 4 is a deliberately simplified representation which, however, can not fully reproduce the advantages of the method according to the invention. Because the side view of the object 2 of the image recording 19 is just not a photo-realistic representation, as they can be used in the inventive method. However, the basic principle becomes clear from the representation of FIG. 4, according to which the surfaces of the real environment captured in the image recordings 19, in particular the surfaces of real objects 2 covered by the image recordings 19, are used for projection in the simulation environment 10 or in the simulation environment 10 the presentation of the simulation environment 10 cause a correspondingly realistic impression in the viewer.
Wie bereits mit Bezug auf die Fig. 3 beschrieben, kann die Zuordnung der Bildaufnahme 19 und des darin abgebildeten realen Objekts 2 zu dem realabbildenden Objekt 11 der Simulationsumgebung 10, insbesondere zu der Oberfläche 14.1 durch die eindeutige Verknüpfung zwischen den bei der Gewinnung der Bildaufnahme 19 dokumentierten Raumkoordinaten und/oder Raumrichtungen der Realumgebung 1 zu den Koordinaten der Simulationsumgebung 10 ermöglicht werden. Dabei kann die Simulationsumgebung 10 bevorzugt eine Verknüpfung mit der Realumgebung 2 aufweisen. Die Oberfläche 14.1 der Simulationsumgebung 10 wird durch die Seitenwand eines realabbildenden Objekts 11 der Simulationsumgebung 10 gebildet. In der Fig. 4 ist das realabbildende Objekt 11 als dreidimensionales Objekt aus einer bestimmten Perspektive dargestellt, die beispielsweise auf eine entsprechende Betrachtungsposition auf das Objekt 11 in der Simula- tionsumgebung zurückgeht. Die angedeutete perspektivische Darstellung des realabbildenden Objekts 11 veranschaulicht einige der Herausforderungen an das erfindungsgemäße Verfahren. Beispielsweise ist aus der Perspektive der Fig. 4 ein Teil der Oberfläche 14.1 am oberen rechten Rand der Seitenwand durch einen Teil des Hausdachs 18 verdeckt. Die strich- punktiert angedeuteten Abbildungsvorschriften der Fig.4 zeigen auch, dass zum Beispiel das unter dem Dachgiebel angeordnete Fenster sowie die umgebende Fachwerkstruktur, wie sie auf der Bildaufnahme 19 zu sehen ist, von der Betrachtungsposition der Simulationsumgebung 10 und des Objekts 11 der Fig. 4 aus vom Hausdach 18 verdeckt sind. As already described with reference to FIG. 3, the assignment of the image acquisition 19 and the real object 2 depicted therein to the real imaging object 11 of the simulation environment 10, in particular to the surface 14. 1, can be clearly linked between the acquisition of the image acquisition 19 documented spatial coordinates and / or spatial directions of the real environment 1 to the coordinates of Simulation environment 10 are enabled. In this case, the simulation environment 10 may preferably have a link to the real environment 2. The surface 14. 1 of the simulation environment 10 is formed by the sidewall of a real-imaging object 11 of the simulation environment 10. In FIG. 4, the real-imaging object 11 is represented as a three-dimensional object from a specific perspective, which, for example, goes back to a corresponding viewing position on the object 11 in the simulation environment. The indicated perspective view of the real-imaging object 11 illustrates some of the challenges of the method according to the invention. For example, from the perspective of FIG. 4, part of the surface 14. 1 at the upper right-hand edge of the side wall is covered by a part of the house roof 18. 4 also show that, for example, the window arranged below the gable and the surrounding framework structure, as can be seen on the image acquisition 19, are dependent on the viewing position of the simulation environment 10 and the object 11 of FIG. 4 are hidden from the house roof 18.
Eine entsprechende Texturierung der Oberfläche 14.1 wird also die teilweise Überdeckung der Oberfläche 14.1 durch das Hausdach 18 berücksichtigen. Dies kann beispielswiese durch eine Tiefenkarte bewerkstelligt werden, die eine Auskunft darüber gibt, welche Teile der Rasterdaten des Höhenrasters der Simulationsumgebung 10 von der jeweiligen Betrachtungsposition aus sichtbar sind. A corresponding texturing of the surface 14.1 will therefore take into account the partial covering of the surface 14.1 by the house roof 18. This can for example be accomplished by a depth map which provides information about which parts of the raster data of the height grid of the simulation environment 10 are visible from the respective viewing position.
Im Rahmen der Projektion kann dann entsprechend die aus der Bildaufnahme 19 generierte Projektionstextur so bearbeitet, beispielsweise zuge- schnitten werden, dass nicht sichtbare Teile der Oberfläche 14.1 aus der Betrachtungsposition der Fig. 4 nicht sichtbar sind. Darüber hinaus zeigt die Bildaufnahme 19 das reale Objekt 2 aus einer Perspektive, die sich von der Perspektive der Simulationsumgebung 10 unterscheidet. Für die Texturierung der Oberfläche 14.1 durch den entsprechen- den Teil der Bildaufnahme 19 wird also im Rahmen der Projektion oder durch die Abbildungsvorschrift, wie sie durch die strich-punktierten Linien der Fig. 4 angedeutet ist, der die Oberfläche 14.1 abbildende Teil der Bildaufnahme 19 so verkippt und/oder verzerrt werden, dass aus der Betrachtungsposition der Simulationsumgebung 10 der Fig. 4 der Teil der Bildauf - nähme 19, der den sichtbaren Teil der Oberfläche 14.1 abbildet, entsprechend auf der Oberfläche 14.1 angeordnet wird, also auf die Oberfläche 14.1 projiziert wird. In the context of the projection, the projection texture generated from the image recording 19 can then be correspondingly processed, for example, cut to such an extent that non-visible parts of the surface 14.1 are not visible from the viewing position of FIG. Moreover, the image pickup 19 shows the real object 2 from a perspective different from the perspective of the simulation environment 10. For the texturing of the surface 14.1 by the corresponding part of the image recording 19, the part of the image recording 19 depicting the surface 14.1 is therefore part of the projection or the mapping rule as indicated by the dot-dashed lines in FIG. 4 are tilted and / or distorted such that, from the viewing position of the simulation environment 10 of FIG. 4, the part of the image pickup 19 which images the visible part of the surface 14. 1 is correspondingly arranged on the surface 14. 1, ie projected onto the surface 14 becomes.
Die Fig. 5 zeigt einen Ausschnitt aus einem Ablaufdiagramm eines Verfah- rens zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung. Das Gesamtverfahren zur Darstellung der Simulationsumgebung kann eine Vielzahl von weiteren in der Fig. 5 nicht dargestellten Verfahrensschritte umfassen. Der Verfahrensablauf der Fig. 5 betrifft damit hauptsächlich die mit dem vorgeschlagenen Verfahren durch- geführte Projektion von Bildaufnahmen 19 auf ein Höhenraster. FIG. 5 shows a detail of a flow chart of a method for representing a computer-generated simulation environment simulating a real environment. The overall method for representing the simulation environment may include a plurality of further method steps not shown in FIG. 5. The method sequence of FIG. 5 thus mainly relates to the projection of image recordings 19 carried out with the proposed method onto a height grid.
Im ersten Verfahrensschritt S1 erfolgt beispielsweise die Feststellung oder Identifizierung der aktuellen Betrachtungsposition 15 der Simulationsumgebung 10, von der aus dem Betrachter die Simulationsumgebung 10 darge- stellt werden soll. In the first method step S1, for example, the determination or identification of the current viewing position 15 of the simulation environment 10 takes place, from which the simulation environment 10 is to be displayed to the viewer.
Die strich -linierte Darstellung der sich an den Verfahrensschritt S1 anschließenden Verfahrensschritte S1.1 bis S1.3 sollen verdeutlichen, dass über die im Folgenden ausführlich beschriebenen Verfahrensschritte hinaus parallel auch weitere zusätzliche oder alternative Verfahrensschritte aus- geführt werden können, ohne dass dadurch die Ausführung des erfindungsgemäßen Verfahrens eingeschränkt oder verhindert wird. The dashed-line illustration of the method steps S1.1 to S1.3 following the method step S1 are intended to make it clear that in addition to the method steps described in detail below, further additional or alternative method steps are also carried out in parallel. can be performed without thereby limiting or preventing the execution of the method according to the invention.
Nach der Feststellung der Betrachtungsposition 15 kann im Verfahrens- schritt S2 eine Analyse der Rasterdaten stattfinden. Diese Analyse kann darauf gerichtet sein, festzustellen, welche durch die Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 für eine Texturie- rung im Rahmen einer Projektion einer Bildaufnahme 19 besonders in Frage kommen. Dies bedeutet, dass besonders steil oder gar vertikal verlaufende Oberflächen 14 in der Umgebung der Betrachtungsposition 15 der Simulationsumgebung 10 in den Rasterdaten identifiziert werden. Darüber hinaus kann im Rahmen des Verfahrensschritt S2 beispielsweise für die identifizierten Oberflächen 14 der Simulationsumgebung 10 eine jeweilige Entfernung oder mittlere Entfernung zu der Betrachtungsposition 15 bestimmt werden. Darüber hinaus kann im Verfahrensschritt S2 auch eine anhand der Betrachtungsposition und der Rasterdaten generierte Tiefenkarte die Sichtbarkeit von dem im Verfahrensschritt S2 identifizierten Oberflächen 14 der Simulationsumgebung 10 ausgehend von der Betrachtungsposition 15 bestimmt werden. After determining the viewing position 15, an analysis of the raster data can take place in method step S2. This analysis may be directed to determining which surfaces 14 of the simulation environment 10 spanned by the screen dots 13 are particularly suitable for texturing in the context of a projection of an image recording 19. This means that particularly steep or even vertical surfaces 14 in the vicinity of the viewing position 15 of the simulation environment 10 are identified in the raster data. In addition, in the context of the method step S2, for example, for the identified surfaces 14 of the simulation environment 10, a respective distance or average distance to the viewing position 15 can be determined. In addition, in method step S2, a depth map generated on the basis of the viewing position and the raster data can be used to determine the visibility of the surface 14 of the simulation environment 10 identified in method step S2 starting from the viewing position 15.
In dem anschließenden Verfahrensschritt S3 kann beispielsweise vorgesehen sein, dass unter Berücksichtigung der Resultate der Verfahrensschritte S1 und S2 eine Identifizierung von Bildaufnahmen 19 erfolgt, die von der Darstellungsposition 15 aus sichtbaren mit einer Farbtextur zu versehenden Oberflächen 14 der Simulationsumgebung 10 zumindest teilweise aufweisen oder abbilden. Im Verfahrensschritt S3 kann damit eine Rücktransformation der Daten der Simulationsumgebung in das Bezugssystem der Realumgebung zum Einsatz kommen, um feststellen zu können, in welchen Bildaufnahmen die zu texturierenden Oberflächen der Simulationsumgebung abgebildet werden. Umgekehrt kann jedoch auch eine Transformation der mit den Bildaufnahmen verknüpften Daten bezüglich der Realumgebung in das Be- zugssystem der Simulationsumgebung vorgenommen werden, um zu identifizieren, welche der Bildaufnahmen eine Abbildung einer entsprechenden Oberfläche zumindest teilweise umfasst. Im Anschluss an die Identifizierung der jeweiligen Bildaufnahmen 19 im Verfahrensschritt S3 folgt in den beispielhaft dargestellten parallelen Verfahrensschritten S4.1 und S.4.2 eine Vorverarbeitung der identifizierten Bildaufnahmen. Die Vorverarbeitung kann dergestalt ausfallen, dass die Auflösung der Bildaufnahmen 19 in Abhängigkeit der im Verfahrensschritt S2 festgestellten Entfernung zwischen der Oberfläche 14 der Rasterdaten der Simulationsumgebung 10 und der Betrachtungsposition 15 der Simulationsumgebung 10 erfolgt. Darüber hinaus können in den Verfahrensschritten S4.1 und S4.2 jedoch auch andere oder zusätzliche Vorverarbeitungsschritte zur Vorverarbeitung der Bildaufnahmen ausgeführt werden. In the subsequent method step S3, it can be provided, for example, that, taking into account the results of the method steps S1 and S2, an identification of image recordings 19 takes place which at least partially comprise or depict visible surfaces 14 of the simulation environment 10 to be provided from the display position 15 with a color texture. In method step S3, an inverse transformation of the data of the simulation environment into the reference system of the real environment can be used in order to be able to determine in which image recordings the surfaces of the simulation environment to be textured are mapped. Conversely, however, a transformation of the data associated with the image recordings with respect to the real environment into the be made of the simulation environment in order to identify which of the image captures an image of a corresponding surface at least partially. Subsequent to the identification of the respective image recordings 19 in method step S3, a preprocessing of the identified image recordings follows in the parallel method steps S4.1 and S.4.2, which are shown by way of example. The preprocessing can be such that the resolution of the image recordings 19 takes place as a function of the distance between the surface 14 of the raster data of the simulation environment 10 and the viewing position 15 of the simulation environment 10 determined in method step S2. In addition, however, other or additional preprocessing steps for preprocessing the image recordings can also be carried out in method steps S4.1 and S4.2.
In den für unterschiedliche Bildaufnahmen 19 separat ausgeführten Verfahrensschritten S5.1 und S5.2 wird im Anschluss die tatsächliche Projektion der Bildaufnahmen 19 oder zumindest von Teilen der Bildaufnahmen auf das Höhenraster und dessen Oberfläche 14 ausgeführt. Die dabei zum Ein- satz kommenden Abbildungsvorschriften der Projektion oder Projektionen werden sowohl anhand des Höhenrasters der Rasterdaten als auch anhand der zur Verfügung stehenden Daten hinsichtlich der Aufnahmeeigenschaften der jeweiligen Bildaufnahme 19 in der Realumgebung und den daraus abgeleiteten Abbildungseigenschaften der Bildaufnahme 19 in der Simula- tionsumgebung durchgeführt. Dies bedeutet vereinfacht ausgedrückt, dass die Bildpunkte der Bildaufnahmen derart verschoben, rotiert und/oder verzerrt werden, dass sowohl der Umriss des entsprechenden Teils der Bildaufnahme 19 als auch der Inhalt dieses Teils auf die entsprechende Oberfläche im Höhenraster der Rasterdaten passt. Die in dem Ablaufdiagramm der Fig. 5 strich- liniert dargestellten Verfahrensschritte S4.3 und S5.3 sollen die Möglichkeit verdeutlichen, dass eine Vielzahl von weiteren Vorverarbeitungs- und Projektionsschritten ausgeführt werden können, die sowohl ein und dieselbe mit einer Farbtextur zu versehende Oberfläche 14 als auch unterschiedliche mit einer Farbtextur zu versehenden Oberflächen 14 betreffen können. In the process steps S5.1 and S5.2, which are carried out separately for different image recordings 19, the actual projection of the image recordings 19 or at least of parts of the image recordings on the height raster and its surface 14 is subsequently carried out. The imaging specifications of the projection or projections used here are determined both on the basis of the height raster of the raster data and on the available data with regard to the recording properties of the respective image recording 19 in the real environment and the image characteristics of the image recording 19 derived therefrom in the simulation environment carried out. In simple terms, this means that the pixels of the image recordings are shifted, rotated and / or distorted such that both the outline of the corresponding part of the image recording 19 and the content of this part match the corresponding surface in the height grid of the raster data. The method steps S4.3 and S5.3, which are shown in the flowchart in FIG. 5, should clarify the possibility that a multiplicity of further preprocessing and projection steps can be carried out, which have both the same surface 14 to be provided with a color texture as well as different surfaces 14 to be provided with a color texture.
Der anschließende Verfahrensschritt S6 ist für den Fall vorgesehen, dass die Verfahrensschritte S4.1 , S4.2, S5.1 und S5.2 die Projektionen von Bildauf - nahmen 19 auf ein und dieselbe durch Rasterdaten aufgespannte Oberfläche 14 der Simulationsumgebung 10 betrifft. In diesem Fall wird im Rahmen des Verfahrensschritts S6 eine Mittelung oder Ausgleichsrechnung der jeweils bestimmten Farbtexturen vorgenommen. Die so generierten Farbtexturen werden im Rahmen des Verfahrensschritts S7 auf das Höhenraster der Rasterdaten der Simulationsumgebung 10 angewendet. Im Verfahrensschritt S8 werden die so texturierten Oberflächen 14 der Simulationsumgebung 10 zusammen mit den verbleibenden Bestandteilen der Simulationsumgebung 10 dem Benutzer dargestellt. Im Verfahrens- schritt S9 wird überprüft, ob sich die Betrachtungsposition 15 beispielsweise durch eine Benutzereingabe verändert hat. Wenn dies der Fall ist, so springt das Verfahren zurück in den Verfahrensschritt S1 und beginnt von dort erneut die Ausführung des Verfahrens. Andernfalls endet das Verfahren mit dem Verfahrensschritt S10. Bezugszeichen: The subsequent method step S6 is provided for the case in which the method steps S4.1, S4.2, S5.1 and S5.2 relate to the projections of image recordings 19 on one and the same surface 14 of the simulation environment 10 spanned by raster data. In this case, as part of the method step S6, an averaging or compensation calculation of the respectively determined color textures is undertaken. The color textures thus generated are applied to the height raster of the raster data of the simulation environment 10 in the course of the method step S7. In method step S8, the thus-textured surfaces 14 of the simulation environment 10 are displayed to the user together with the remaining components of the simulation environment 10. In method step S9, it is checked whether the viewing position 15 has changed, for example, by a user input. If this is the case, then the method jumps back to method step S1 and from there begins again the execution of the method. Otherwise, the method ends with method step S10. Reference numerals:
1 Realumgebung 1 real environment
2 reales Objekt  2 real object
3 reales Gelände  3 real terrain
4 Aufnahmevorrichtung 4 receiving device
5 Aufnahmeposition5 recording position
6 Koordinatensystem6 coordinate system
7 Geschwindigkeitsvektor7 speed vector
8 Sichtfeld 8 field of view
9 Abbildungsebene 9 picture plane
9.1 Abbildungsebene9.1 Image plane
9.2 Abbildungsebene9.2 picture plane
10 Simulationsumgebung10 simulation environment
1 1 realabbildendes Objekt1 1 real-image object
12 realabbildendes Gelände12 real-depicting terrain
13 Rasterpunkte 13 grid points
14 Oberfläche  14 surface
14.1 Oberfläche  14.1 Surface
14.2 Oberfläche  14.2 Surface
14.3 Oberfläche  14.3 Surface
15 Betrachtungsposition 15 viewing position
16.1 Projektionsbereich16.1 projection area
16.2 Projektionsbereich16.2 Projection area
16.3 Projektionsbereich16.3 Projection area
16.4 Projektionsbereich16.4 Projection area
16.5 Projektionsbereich16.5 projection area
17 Aufnahmerichtung17 recording direction
18 Hausdach 18 house roof
19 Bildaufnahme  19 image recording

Claims

Patentansprüche: claims:
1 . Verfahren zur Darstellung einer computergenerierten, eine Realumgebung (1 ) simulierenden Simulationsumgebung (10), mit einer Datenbasis, welche die Daten des realen Geländes (3) und der im Gelände befindlichen realen Objekte (2) beinhaltet, 1 . Method for displaying a computer-generated simulation environment (10) simulating a real environment (1), having a database containing the data of the real estate (3) and of the real objects (2) located in the field,
d a d u r c h g e k e n n z e i c h n e t,  characterized,
dass die Daten  that the data
- bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung (1 ) aufgenommenen Bildaufnahmen (19) gewonnen werden,  - image recordings (19) taken during an overflight over and / or during a transit in the real environment (1) are obtained,
- ein geospezifisches Abbild des realen Geländes (3) und/oder der realen Objekte (2) umfassen und  - Include a geospecific image of the real estate (3) and / or the real objects (2) and
- als Rasterdaten in der Datenbasis hinterlegt sind,  - are stored as raster data in the database,
wobei aus den Bildaufnahmen (19) ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt (13) der Rasterdaten einen Höhenwert zuordnet und wobei zumindest für einen Teil der durch Rasterpunkte (13) aufgespannten Oberflächen (14) der Simulationsumgebung (10) eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme (19) auf das generierte Höhenraster bestimmt wird.  wherein a height raster is generated from the image recordings (19) and stored in the database, which assigns a height value to each raster point (13) of the raster data and at least for a part of the surfaces (14) of the simulation environment (10) spanned by raster points (13). a color texture is determined by a projection of at least one image acquisition (19) on the generated height grid.
2. Verfahren nach Anspruch 1 , 2. The method according to claim 1,
dadurch gekennzeichnet, dass zur Bestimmung der Farbtextur von durch Rasterpunkte (13) aufgespannte Oberflächen (14) eine Projektion von mehreren Bildaufnahmen (19) auf das generierte Höhenraster durchgeführt wird, wobei die Farbtextur einer durch Rasterpunkte (13) aufgespannten Oberfläche (14) insbesondere als Mittelwert der aus den jeweiligen Projektion ermittelten  characterized in that for the determination of the color texture of by screen dots (13) spanned surfaces (14) a projection of several image recordings (19) on the generated height grid is performed, the color texture of a grid points (13) spanned surface (14) in particular as Average of the values determined from the respective projection
Farbtexturen bestimmt wird. Verfahren nach Anspruch 1 oder 2, Color textures is determined. Method according to claim 1 or 2,
dadurch gekennzeichnet, dass die Projektion der zumindest einen Bildaufnahme (19) auf das Höhenmodell während der Darstellung der Simulationsumgebung (10) erfolgt. characterized in that the projection of the at least one image recording (19) on the elevation model during the representation of the simulation environment (10).
Verfahren nach einem der Ansprüche 1 bis 3, Method according to one of claims 1 to 3,
dadurch gekennzeichnet, dass die Bildaufnahme (19), insbesondere die Auflösung der Bildaufnahme (19), vor der Durchführung der Projektion vorverarbeitet wird. characterized in that the image recording (19), in particular the resolution of the image recording (19), is pre-processed before the projection is carried out.
Verfahren nach Anspruch 4, Method according to claim 4,
dadurch gekennzeichnet, dass die Vorverarbeitung der characterized in that the preprocessing of
Bildaufnahme (19) in Abhängigkeit einer frei wählbaren Darstellungsposition (15) der Darstellung der Simulationsumgebung (10), insbesondere in Abhängigkeit vom Abstand zwischen der Darstellungsposition (15) und der Position der durch Rasterpunkte (13) aufgespannten Oberfläche (14), auf die zumindest eine Bildaufnahme (19) projeziert wird, ausgeführt wird. Image recording (19) as a function of a freely selectable display position (15) of the representation of the simulation environment (10), in particular depending on the distance between the display position (15) and the position of the grid points (13) spanned surface (14) on the at least an image capture (19) is projected.
Verfahren nach einem der Ansprüche 1 bis 5, Method according to one of claims 1 to 5,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von der Aufnahmeposition (5) in der Realumgebung (1 ) und einer daraus resultierenden Aufnahmeposition in der Simulationsumgebung (10) erfolgt. characterized in that the projection of the image recording (19) in dependence on the recording position (5) in the real environment (1) and a resulting recording position in the simulation environment (10).
Verfahren nach einem der Ansprüche 1 bis 6, Method according to one of claims 1 to 6,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von der Aufnahmerichtung (17) in der characterized in that the projection of the image recording (19) in dependence on the recording direction (17) in the
Realumgebung (1 ) und einer daraus resultierenden Aufnahmerichtung in der Simulationsumgebung (10) erfolgt. Verfahren nach einem der Ansprüche 1 bis 7, Real environment (1) and a resulting recording direction in the simulation environment (10) takes place. Method according to one of claims 1 to 7,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von Abbildungseigenschaften der characterized in that the projection of the image recording (19) as a function of imaging properties of the
Aufnahmevorrichtung (4), mit der die Bildaufnahme (19) erzeugt wurde, erfolgt. Recording device (4), with which the image pickup (19) was generated, takes place.
Verfahren nach einem der Ansprüche 1 bis 8, Method according to one of claims 1 to 8,
dadurch gekennzeichnet, dass die Projektion ein Kontrollverfahren umfasst, welches kontrolliert, ob ein Rasterpunkt (13) des characterized in that the projection comprises a control method which controls whether a grid point (13) of the
Rastermodells von der frei wählbaren Darstellungsposition (15) der Darstellung der Simulationsumgebung (10) aus sichtbar oder verdeckt ist. Grid model of the arbitrary display position (15) of the representation of the simulation environment (10) is visible or hidden.
Verfahren nach Anspruch 9, Method according to claim 9,
dadurch gekennzeichnet, dass das Kontrollverfahren unter characterized in that the control method under
Verwendung einer aus dem Rastermodell und der frei wählbaren Darstellungsposition der Darstellung der Simulationsumgebung (10) abgeleiteten Tiefenkarte ausgeführt wird. Using a derived from the raster model and the arbitrary display position of the representation of the simulation environment (10) depth map is executed.
Verfahren nach einem der Ansprüche 1 bis 10, Method according to one of claims 1 to 10,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) auf von Rasterpunkten (13) aufgespannte Oberflächen (14) angewendet wird, die steil verlaufende Oberflächen des realen Geländes (3) und/oder der realen Objekte (2) abbilden. characterized in that the projection of the image recording (19) is applied to surfaces (14) spanned by screen dots (13), which images steeply running surfaces of the real terrain (3) and / or of the real objects (2).
Verfahren nach einem der Ansprüche 1 bis 1 1 , Method according to one of claims 1 to 1 1,
gekennzeichnet durch eine Erkennung und Extraktion von Abbildern realer Objekte (2) aus der Datenbasis, insbesondere den characterized by a recognition and extraction of images of real objects (2) from the database, in particular the
Rasterdaten.  Raster data.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass aus extrahierten Abbildern realer Objekte (2) Modelle berechnet werden, die veränderbar sind und/oder sich zur Interaktion mit anderen Inhalten der Method according to claim 12, characterized in that from extracted images of real objects (2) models are calculated that are changeable and / or to interact with other contents of the
computergenerierten Simulation der Simulationsumgebung (10) eignen. computer-generated simulation of the simulation environment (10).
Verfahren nach Anspruch 13, Method according to claim 13,
dadurch gekennzeichnet, dass die Modelle zusätzlich zu den Rasterdaten in der Datenbasis gespeichert werden. characterized in that the models are stored in the database in addition to the raster data.
Verfahren nach einem der Ansprüche 13 oder 14, Method according to one of claims 13 or 14,
dadurch gekennzeichnet, dass die Darstellung in unterschiedlichen Betriebsarten betrieben werden kann, wobei in einer Ansichts- Betriebsart die Darstellung basierend auf den Rasterdaten und den zumindest teilweise durch die Projektion der Bildaufnahmen (19) bestimmten Farbtexturen erfolgt und wobei in einer Interaktions- Betriebsart die Darstellung zumindest teilweise basierend auf Modellen realer Objekte (2) erfolgt. characterized in that the representation can be operated in different operating modes, wherein in a view mode, the representation is based on the raster data and at least partially determined by the projection of the image recordings (19) color textures and wherein in an interaction mode, the representation at least partially based on models of real objects (2).
EP16826698.9A 2015-12-02 2016-12-01 Method for reproducing a simulated environment Withdrawn EP3384469A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015120927.6A DE102015120927A1 (en) 2015-12-02 2015-12-02 Method for displaying a simulation environment
PCT/DE2016/100563 WO2017092734A2 (en) 2015-12-02 2016-12-01 Method for reproducing a simulated environment

Publications (1)

Publication Number Publication Date
EP3384469A2 true EP3384469A2 (en) 2018-10-10

Family

ID=57821722

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16826698.9A Withdrawn EP3384469A2 (en) 2015-12-02 2016-12-01 Method for reproducing a simulated environment

Country Status (3)

Country Link
EP (1) EP3384469A2 (en)
DE (1) DE102015120927A1 (en)
WO (1) WO2017092734A2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016103057A1 (en) 2016-02-22 2017-08-24 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for detecting and displaying changes in a real environment comprising a real estate and real objects contained therein

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195096A1 (en) * 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US7626591B2 (en) * 2006-01-24 2009-12-01 D & S Consultants, Inc. System and method for asynchronous continuous-level-of-detail texture mapping for large-scale terrain rendering
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US8422825B1 (en) * 2008-11-05 2013-04-16 Hover Inc. Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
WO2014171988A2 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images

Also Published As

Publication number Publication date
WO2017092734A2 (en) 2017-06-08
WO2017092734A3 (en) 2017-08-03
DE102015120927A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
DE102007045835B4 (en) Method and device for displaying a virtual object in a real environment
DE102009041431B4 (en) Driving simulation apparatus, wide-angle camera video simulation apparatus and image deforming / composing apparatus
DE102007045834B4 (en) Method and device for displaying a virtual object in a real environment
EP3438901A1 (en) Test drive scenario database system for realistic virtual test drive scenarios
DE102011115739A1 (en) Method for integrating virtual objects in vehicle displays
DE102007030226A1 (en) Camera-based navigation system and method for its operation
WO2019170202A1 (en) Surround view system having an adapted projection surface
WO2009049973A2 (en) Method for creating and/or updating textures of background object models, video monitoring system for carrying out the method, and computer program
WO2008074561A1 (en) Method for displaying a map section in a navigation system, and navigation system
DE102019005885A1 (en) Area map generation and hole filling
DE102015120999A1 (en) A method of generating and displaying a computer-generated real-environment simulation environment
EP2546778A2 (en) Method for evaluating an object detection device of a motor vehicle
DE19549096A1 (en) Simulation device and method
EP1628262A2 (en) Method and Apparatus for rendering a threedimensional topography
EP2381207A1 (en) 3D targeting and target designation from IR data
DE102011082881A1 (en) Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information
WO2017092734A2 (en) Method for reproducing a simulated environment
EP3384480A1 (en) Method for preparatory simulation of a military operation in an operational area
DE102022201279B3 (en) Method for capturing an environment of a vehicle, camera device and vehicle
DE102019208864A1 (en) Detection system, working procedures and training procedures
DE102015120929A1 (en) Method for the preliminary simulation of a military mission in a field of operation
WO2017182021A1 (en) Method and system for representing a simulation environment
DE102016124989A1 (en) Curb representation with a three-dimensional body in a driver assistance system for a motor vehicle
DE102022110076A1 (en) Automatic training data set generation for an algorithm for recognizing and determining the pose of data glasses
DE102022208714A1 (en) Computer-implemented system and method for semantic analysis of a scene

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180702

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210419

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20211029