EP2836992A1 - Method for synchronous representation of a virtual reality in a distributed simulation device - Google Patents

Method for synchronous representation of a virtual reality in a distributed simulation device

Info

Publication number
EP2836992A1
EP2836992A1 EP13726669.8A EP13726669A EP2836992A1 EP 2836992 A1 EP2836992 A1 EP 2836992A1 EP 13726669 A EP13726669 A EP 13726669A EP 2836992 A1 EP2836992 A1 EP 2836992A1
Authority
EP
European Patent Office
Prior art keywords
terrain
data
simulation computer
polygons
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP13726669.8A
Other languages
German (de)
French (fr)
Inventor
Michael Haubner
Manuel Pabst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krauss Maffei Wegmann GmbH and Co KG
Original Assignee
Krauss Maffei Wegmann GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krauss Maffei Wegmann GmbH and Co KG filed Critical Krauss Maffei Wegmann GmbH and Co KG
Publication of EP2836992A1 publication Critical patent/EP2836992A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/12—Relief maps
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Definitions

  • the invention relates to a method for the synchronous reproduction of a virtual reality site formed of polygons on a plurality of display devices of a simulation device which has a plurality of simulation computers interconnected via a network, spatial coordinates of the polygons of the terrain being stored in each simulation computer, and a first simulation computer generates a change in the terrain.
  • the invention can be applied in a networked simulation device which has a plurality of simulation computers connected to one another via a network.
  • Such simulation devices typically use the Distributed Interactive Simulation (DIS) standard IEEE1278 to distribute the data between the individual simulation computers.
  • DIS Distributed Interactive Simulation
  • Such simulation devices are used to train the crew of land vehicles, such as construction equipment or military vehicles.
  • the networked simulation device has a plurality of display devices on which a common virtual reality can be displayed.
  • each simulation computer is assigned a display device.
  • a simulation computer may also be assigned a plurality of display devices to represent different views of the virtual reality, for example a view from a vehicle to the front and a view to the rear.
  • the virtual reality perceivable by the simulation participants on the display devices has a terrain which is formed by a multiplicity of polygons. So that each simulation computer can perform the calculations required to display the polygons on the display device, spatial coordinates of the polygons are kept in each simulation computer. For this, the spatial coordinates can be transmitted over the network by be transferred to another simulation computer or a server and stored on the respective simulation computer. In order to make the depiction of the terrain more realistic, textures can also be displayed on the polygons, which represent the surface of the terrain.
  • simulated land vehicles can leave lanes in the terrain.
  • a construction machine or a military pioneer vehicle can change the terrain by excavation. In the military field of application, the terrain may also be altered by explosions or impacts of projectiles.
  • the terrain change can affect the topology of the terrain, ie the arrangement of the polygons in virtual reality.
  • the texture imaged on the polygons can be changed to reflect changes in the nature of the terrain.
  • the invention provides the application to reduce the transmission time for the transmission of data over the network.
  • the object is achieved by the following method steps:
  • the first simulation computer generates position data indicating which area of the terrain has been changed
  • the first simulation computer generates altitude data of the changed one
  • the first simulation computer transmits the position data and the height data via the network to a second simulation computer
  • a control unit of the second simulation computer selects, based on the position data, those polygons of the terrain that lie in the changed area,
  • a tessellator unit of the second simulation computer subdivides the selected polygons into a plurality of sub-polygons, a calculation unit of the second simulation computer is calculated
  • the sub-polygons are displayed on a display device connected to the second simulation computer.
  • position data are transmitted which define the area of the terrain that is to be changed when displayed in one of the display devices.
  • height data is transmitted which indicates how the terrain at one point of the area is to be changed with respect to the spatial coordinates stored in the second simulation computer. Due to the position data and the height data, a much smaller amount of data is produced than would be the case with the transmission of spatial coordinate data.
  • the transmission time over the network can be significantly reduced and the representation of terrain changes in real time can be made possible.
  • the spatial coordinates stored in the second simulation computer need not be replaced or supplemented by transmitted spatial coordinates.
  • the spatial coordinates stored in the second simulation computer are changed on the basis of the position data and the height data in the calculation of the pixels to be displayed in the display device.
  • the calculation of the pixels takes place inter alia in the control unit, the tesselator unit and the calculation unit of the second simulation computer.
  • the position data and the height data are transmitted in parallel to a plurality of simulation computers, whereby the load on the network can be reduced.
  • the data may be broadcast over the network via multicast or broadcast transmission.
  • the data is sent only once to a large number of recipients, which may result in a low load on the network.
  • the data is sent over the network as Universal Datagram Protocol (UDP) packets.
  • UDP Universal Datagram Protocol
  • Each simulation computer of the simulation device can be assigned a display device, on which the area of the virtual reality is displayed to a simulation participant.
  • the same view of the terrain can be displayed on the display devices of the simulation computer, in particular of the first and second simulation computer.
  • different views of the terrain are preferably displayed on the display devices, so that a plurality of simulation participants can assume different locations in the virtual reality.
  • the same position data and the same height data can be transmitted to different simulation computers, which calculate different views on the basis of these data and display them on the display devices assigned to them.
  • the texture may be designed in the manner of a terrain map, which has elements which correspond in each case to a predetermined subarea of the terrain.
  • the subarea may be 10m x 10m in virtual reality.
  • a digital value can be stored in the texture, which indicates whether the corresponding subarea has been changed or is unchanged.
  • the elements corresponding to the changed subareas allow the changed area of the terrain to be defined.
  • the height data are stored in a texture. By this measure, a reduction of the data to be transmitted can also be achieved.
  • the texture of the height data can be structured in the manner of a height map which has elements which correspond to a predetermined subarea of the modified terrain area defined by the position data. For each sub-area, a value corresponding to the change in elevation at the relevant site location can be stored in the texture of the elevation data.
  • the texture of the height data has a higher resolution than the texture of the position data. In this case, elevation data with a high degree of detail are generated and transmitted only for the changed area of the terrain, so that the amount of data to be transmitted is reduced. It is not necessary to transfer high resolution elevation data for the area of the terrain that has not been altered.
  • An element of the texture of the height data may correspond to a partial region with an edge length of up to 10 cm, preferably of up to 5 cm, particularly preferably of up to 2 cm.
  • the height data is preferably transmitted as a quadtree via the network.
  • the elevation data can be efficiently stored.
  • the amount of data to be transmitted can be reduced, since areas of the texture with the same content can be combined to form a leaf of the quadtree.
  • the number of layers of the quadtree to be transmitted can be chosen such that the amount of data is adapted to the available bandwidth of the network.
  • the amount of data can be controlled via the depth of the quadtree.
  • control unit, the tessellator unit and / or the calculation unit are part of a graphics card of the simulation computer.
  • a main processor (CPU) of the second simulation computer can be relieved. It is not necessary to perform the selection of polygons, the subdivision into SubPolygone, and the calculation of the space coordinates of the sub-polygons in the main processor. As a result, the representation of the terrain on the display device of the second simulation computer can be accelerated.
  • control unit, the tessellator unit and / or the calculation unit are part of a graphics processor (GPU).
  • control unit the tessellator unit and / or the calculation unit are designed to be programmable, so that they can be adapted to the requirements of the simulation apparatus.
  • the control unit prefferably checks for each polygon to be displayed whether it lies in a changed area of the terrain so that the subdivision of the polygons must take place exclusively in the changed area of the terrain.
  • the resolution of the height data is determined, and the tessellator unit divides the polygons according to the resolution of the height data into sub-polygons. This has the advantage that the subdivision of the polygons into sub-polygons can be controlled by choosing the resolution of the height data.
  • the first simulation computer can thus influence the representation of the terrain on the second simulation computer via the choice of the resolution.
  • the calculations required for subdividing the polygons can be carried out following the transmission of the height data via the network in the tessellator unit of the second simulation computer.
  • the calculation unit calculates the spatial coordinates of the sub-polygons according to a high offset stored in the height data, so that it is not necessary to transmit the vertices from the first simulation computer to the second simulation computer via the network. Rather, it is sufficient to transmit only the high offset, so that the amount of data to be transmitted can be reduced.
  • the invention can greatly reduce the amount of data required to transmit the changes in the polygons over the network. Thus, an improved transmission of relevant for a wireframe representation of the terrain data can be made possible.
  • the polygons can be provided with textures that represent the surface of the terrain.
  • Such a texture and / or an assignment of such a texture to a polygon can also be changed by the first simulation computer.
  • the first simulation computer generates terrain type data of the changed area of the terrain, which are transmitted to the second simulation computer for displaying the surface of the changed area on the second simulation computer.
  • the polygons can be covered with a texture when displayed on the display device.
  • the terrain type data it is preferred here for the terrain type data to have entries which each form a reference to a texture, in particular a background text. Due to the transferred references, the amount of data can be greatly reduced. It is not necessary to transfer a custom texture for each polygon.
  • the terrain type data may be structured in the manner of an index texture containing references to textures instead of image data.
  • a further improvement of the invention can be achieved by an embodiment in which, for displaying a pixel on the display device, a pixel shader of the second simulation computer selects a background texture based on the terrain type data and calculates a color of the pixel.
  • the reference to a background texture can be evaluated in the pixel shader and, based on the reference, a background texture can be selected, which is placed on the respective polygon when displayed on the display device.
  • the second simulation computer uses the terrain type data to represent a soil growth on the display device corresponding to the respective terrain type.
  • the calculations for the presentation of the soil growth can be performed on the second simulation computer, in particular on a graphics card. It is therefore not necessary to transmit data over the network describing the shape of the soil growth.
  • a soil cover suitable for the texture can be selected and calculated.
  • FIG. 1 is a block diagram of a simulation device;
  • FIG. 2 shows a schematic representation of the data structures used for transmission;
  • FIG. 3 is a block diagram of a part of a simulation computer.
  • FIG. 1 shows a networked simulation device 1 which has a plurality of simulation computers 2, which are interconnected via a network 4 designed as a Local Area Network (LAN) or Wide Area Network (WAN).
  • LAN Local Area Network
  • WAN Wide Area Network
  • DIS Distributed Interactive Simulation
  • At least one display device 3 is connected to each simulation computer 2, on which a virtual reality generated by the networked simulation device 1 can be displayed.
  • Such display devices 3 can z. B. be designed as a monitor, flat screen, projector or head-mounted display.
  • Some simulation computers 2 are merely connected to a display device 3. However, as shown in FIG. 1, one of the simulation computers 2 is connected to a plurality of display devices 3 to represent different views of the virtual reality, for example, a view from a vehicle to the front and a view to the rear.
  • the simulation device 1 can be used, for example, in the civil environment for the training of drivers of wheeled or chain-driven land vehicles, such. As dozers, excavators or other construction machinery. In the military field of application can be carried out with the simulation device 1, the training of crew members of military vehicles. For this purpose, each crew member to be trained, a simulation computer 2 are assigned. As a simulation participant, the crew member can influence the course of the simulation by means of operating devices (not shown in the figures) of the simulation computer 2 and perceive the simulated, virtual reality via one or more display devices 3 connected to the respective simulation computer 2.
  • the virtual reality perceivable by the simulation participants on the display devices 3 has a terrain which is formed by a multiplicity of polygons which are arranged in the manner of a wire grid. So that each simulation computer 2 can perform the calculations required to display the polygons on the corresponding display device 3, spatial coordinates of the polygons are kept in each simulation computer 2. The spatial coordinates can do this via the network 4 be transmitted from another simulation computer 2 or a server not shown in the figure and stored on the respective simulation computer 2.
  • the spatial coordinates stored on the individual simulation computers 2 are identical in order to enable a consistent representation of the terrain on all display devices 3 connected to the simulation computers 2.
  • textures can also be displayed on the polygons that represent the surface of the terrain. For example, given areas of the terrain may be covered with a texture that represents turf to create the impression of a meadow landscape.
  • the first simulation computer 2 generates position data L indicating which area of the terrain has been changed
  • the first simulation computer 2 generates altitude data H of the changed area of the terrain
  • the first simulation computer 2 transmits the position data L and the height data H via the network 4 to a second simulation computer 2,
  • a control unit 1 1 of the second simulation computer 2 selects, on the basis of the position data L, those polygons of the terrain which lie in the changed area,
  • a tessellator unit 12 of the second simulation computer 2 subdivides the selected polygons into a plurality of sub-polygons
  • a calculation unit 13 of the second simulation computer 2 calculates spatial coordinates of the sub-polygons according to the height data
  • the sub-polygons are displayed on a display device 3 connected to the second simulation computer 2. Because of this procedure, it is not necessary to calculate changes in the spatial coordinates of the polygons and / or new spatial coordinates, in particular vertices, of the generated sub-polygons in the first simulation computer 2 and then to transmit them to the second simulation computer 2.
  • low-resolution position data L are generated in the first simulation computer 2 and transmitted to the second simulation computer 2, which defines the area of the terrain that is to be changed when displayed in one of the display devices 2.
  • high-resolution height data H are generated and transmitted, which indicate how the terrain is to be changed at a point in the area.
  • the data L and H are transmitted from the first simulation computer 2 via the network 4 to all other simulation computer 2 of the simulation device 1, z. Via a multicast or broadcast transmission.
  • the structure of the position data L and height data H transmitted via the network 4 will be explained in more detail below with reference to the schematic representation in FIG. 2:
  • the position data L is present as a two-dimensional data structure in the manner of a texture that corresponds to the entire area of the simulated terrain.
  • the position data L as a terrain map that indicates where the terrain has changed from the state stored in the simulation computers 2.
  • the position data L contain binary entries, each of which is a predetermined subarea of the terrain correspond.
  • the sub-area may have a size of 10 mx 10 m.
  • a digital value can be stored in the texture, which indicates whether the corresponding subarea has been changed or is unchanged.
  • the elements corresponding to the changed subareas allow the changed area of the terrain to be defined.
  • the position data L in the middle of the terrain defines an area formed from a total of four partial areas in which the terrain has changed.
  • the elements L.1 of the position data L corresponding to these portions are set to the value "1", whereas the elements L.0 corresponding to portions which have not been changed are set to the value "0".
  • the height data H are also stored in a texture, whereby a reduction of the data to be transmitted can be achieved.
  • the texture of the height data H is structured in the manner of a height map which has elements HE which correspond to a predetermined subregion of the modified terrain region defined by the position data L. For each subarea, in the texture of the height data H, a numerical value - a height offset - is deposited, which corresponds to the change in altitude at the relevant point of the terrain.
  • the texture of the height data H has a higher resolution than the texture of the position data L. Because only for the changed Area data H level data H are generated and transmitted with a high degree of detail, the amount of data to be transmitted can be kept low.
  • An element HE of the height data H can correspond to a subarea of the terrain with an edge length of up to 10 cm, preferably of up to 5 cm, particularly preferably of up to 2 cm.
  • the data structure of the terrain type data D is also formed as a texture and has the same resolution as the texture of the height data H.
  • each item DE of the terrain type data D may be assigned an item HE of the height data corresponding to the same portion of the altered virtual reality terrain.
  • the first simulation computer 2 generates terrain type data D of the changed area of the terrain, which are transmitted to the second simulation computer 2 for representing the surface of the changed area on the second simulation computer 2.
  • the polygons in the display on the display device 3 connected to the second simulation computer 2 can be assigned a background texture which corresponds to the respective terrain type.
  • the elements DE are in each case references to a background texture T.
  • the background texture T can be stored in the simulation computer 2 receiving the respective data D or transmitted together with the position data L, the height data D and / or the terrain type data D.
  • a data structure of the type of an index texture results, which contains references to background textures T instead of image data.
  • Such background textures may represent, for example, grass, water, scrub, forest or desert soil.
  • the second simulation computer 2 based on the terrain type data D a corresponding to the respective terrain type Bodenbewuchs, z. As blades of grass or bushes, represent on the display device 3.
  • the calculations for representing the soil growth can be performed on the second simulation calculator 2. It is therefore not necessary to transmit data over the network 4 describing the shape of the soil growth.
  • a ground growth corresponding to the background texture T can be selected and calculated in the second simulation computer 2 receiving the terrain type data.
  • the height data H and the terrain type data D are transmitted via the network 4 as a quadtree.
  • the corresponding data H, D can be stored efficiently.
  • the amount of data to be transferred can be reduced by combining regions of the texture H, D with the same content into a leaf of the quadtree.
  • the number of layers of the quadtree to be transmitted is selected by the simulation computer 2, which transmits the data H, D, such that the amount of data contained in the quadtree to the available bandwidth of the network 4 is adjusted.
  • the simulation computer 2 which transmits the data H, D, such that the amount of data contained in the quadtree to the available bandwidth of the network 4 is adjusted.
  • the amount of data to be transmitted can be controlled.
  • Each simulation computer 2 has a graphics card with a graphics processor (GPU) 10 to which the transmitted position data L, height data th H and terrain type data D for calculating the display in the connected to the simulation computer 2 display device 3 are supplied.
  • the control unit 11, the tessellator unit 12 and the calculation unit 13 are part of a processing chain of the graphics processor 10. They are designed to be programmable, so that they can be adapted to the requirements of the simulation device 1.
  • the graphics processor 10 receives polygon data P, in particular spatial coordinates, from the individual polygons of the terrain from a memory of the second simulation computer 2. Within the GPU 10, this polygon data P first passes through the control unit 11, which checks for each polygon to be displayed whether it lies in a changed area of the terrain. For this purpose, the position data L are used. By comparison with the position data L, the control unit can determine whether the polygon to be tested is part of a modified terrain area.
  • the tessellator unit 12 those polygons which were detected by the control unit 11 as lying in the changed terrain area are then further processed.
  • the resolution of the height data H is determined.
  • the detected polygons are subdivided into sub-polygons according to the resolution of the height data H, so that the changed terrain area on the display device 3 can be displayed in more detail.
  • the height data H are supplied to the tessellator unit 12.
  • calculation unit 13 arranged as the next process element of the processing chain of the GPU 10, spatial coordinates, in particular corner points, of the sub-polygons generated in the tessellator unit 12 are generated according to the in FIG the altitude data H stored height offset calculated.
  • the calculation unit 13 has access to the height data H.
  • the polygon data P are supplied to a pixel shader 1 in which the color values of the individual pixels of the display device 3 are calculated.
  • the terrain type data D is supplied to this pixel shader 14.
  • the pixel shader 14 selects a background texture and calculates for each pixel a corresponding color value, which is subsequently displayed on the display device 4.
  • the above-described method for synchronous reproduction of a virtual reality land formed of polygons makes it possible to reduce the transmission time for transmitting the data via the network 4 of the simulation apparatus 1.
  • dynamic terrain changes can be displayed in real time on all display devices 3.
  • the performance of main processors and graphics processors 10 of the simulation computer 2 can be used optimally and in parallel.
  • the method is characterized in that a high resolution can be displayed in the display devices and realistic textures and texture transitions can be used.

Abstract

A method for synchronous representation of terrain formed from polygons of a virtual reality on a plurality of display devices of a simulation device, which has a plurality of simulation computers (SR1, SR2) connected to one another via a network which computers store spatial coordinates of the polygons for the terrain, and SR1 generating a change of the terrain. The method has the following method steps: - SR1 generates position data (L) that specifies which region of the terrain was changed; - generates elevation data (H) of the changed region of the terrain; - and transfers the position data (L) and the elevation data (H) via the network to SR2; - a control unit of SR2 selects, on the basis of the position data (L), any polygons of the terrain which are in the changed region; - a tesselator unit divides each of the selected polygons into a plurality of sub-polygons; - a calculating unit calculates the spatial coordinates of the sub-polygons according to the elevation data (H); and - the sub-polygons are displayed on SR2.

Description

Verfahren zur synchronen Wiedergabe einer virtuellen Realität in einer verteilten Simulationsvorrichtung  Method for the synchronous reproduction of a virtual reality in a distributed simulation device
Die Erfindung betrifft ein Verfahren zur synchronen Wiedergabe eines aus Polygonen gebildeten Geländes einer virtuellen Realität auf mehreren Anzeige- Vorrichtungen einer Simulationsvorrichtung, welche mehrere über ein Netzwerk miteinander verbundene Simulationsrechner aufweist, wobei in jedem Simulationsrechner Raumkoordinaten der Polygone des Geländes gespeichert sind und wobei ein erster Simulationsrechner eine Veränderung des Geländes erzeugt. Anwendung finden kann die Erfindung in einer vernetzten Simulationsvorrichtung, welche mehrere über ein Netzwerk miteinander verbundene Simulationsrechner aufweist. Derartige Simulationsvorrichtungen nutzen zur Verteilung der Daten zwischen den einzelnen Simulationsrechnern typischerweise den Distributed Interactive Simulation (DIS) Standard IEEE1278. Solche Simulationsvorrichtungen werden zur Ausbildung der Besatzung von Landfahrzeugen, wie beispielsweise von Baumaschinen oder von militärischen Fahrzeugen, verwendet. The invention relates to a method for the synchronous reproduction of a virtual reality site formed of polygons on a plurality of display devices of a simulation device which has a plurality of simulation computers interconnected via a network, spatial coordinates of the polygons of the terrain being stored in each simulation computer, and a first simulation computer generates a change in the terrain. The invention can be applied in a networked simulation device which has a plurality of simulation computers connected to one another via a network. Such simulation devices typically use the Distributed Interactive Simulation (DIS) standard IEEE1278 to distribute the data between the individual simulation computers. Such simulation devices are used to train the crew of land vehicles, such as construction equipment or military vehicles.
Die vernetzte Simulationsvorrichtung weist mehrere Anzeigevorrichtungen auf, auf welchen eine gemeinsame virtuelle Realität dargestellt werden kann. Üblicherweise ist jedem Simulationsrechner eine Anzeigevorrichtung zugewiesen. Einem Simulationsrechner können jedoch auch mehrere Anzeigevorrichtungen zugewiesen sein, um verschiedene Ansichten der virtuellen Realität darzustellen, beispielsweise eine Sicht aus einem Fahrzeug nach vorne und eine Sicht nach hinten. Ferner kann es erforderlich sein, unterschiedliche Ansichten der gemeinsamen virtuellen Realität darzustellen, wenn die Simulationsvorrichtung von mehreren Simulationsteilnehmern genutzt wird, wie es bei der parallelen Ausbildung mehrerer Besatzungsmitglieder der Fall ist. Des Weiteren ist es möglich, mehrere Anzeigevorrichtungen vorzusehen, in welchen dieselbe Ansicht dargestellt wird, z. B. um einem Ausbilder die Möglichkeit zu geben, die virtuelle Realität aus der Sicht eines Simulationsteilnehmers zu verfolgen. The networked simulation device has a plurality of display devices on which a common virtual reality can be displayed. Usually, each simulation computer is assigned a display device. However, a simulation computer may also be assigned a plurality of display devices to represent different views of the virtual reality, for example a view from a vehicle to the front and a view to the rear. Furthermore, it may be necessary to present different views of the common virtual reality when the simulation device is used by multiple simulation participants, as is the case with the parallel training of multiple crew members. Furthermore, it is possible to provide a plurality of display devices in which the same view is displayed, for. For example, to give an instructor the opportunity to follow virtual reality from the perspective of a simulation participant.
Die von den Simulationsteilnehmern auf den Anzeigevorrichtungen wahrnehm - bare virtuelle Realität weist ein Gelände auf, welches durch eine Vielzahl an Polygonen gebildet wird. Damit jeder Simulationsrechner die zur Anzeige der Polygone auf der Anzeigevorrichtung erforderlichen Berechnungen durchführen kann, werden Raumkoordinaten der Polygone in jedem Simulationsrechner vorgehalten. Die Raumkoordinaten können hierzu über das Netzwerk von ei- nem anderen Simulationsrechner oder einem Server übertragen werden und auf dem jeweiligen Simulationsrechner gespeichert werden. Um die Darstellung des Geländes realistischer erscheinen zu lassen, können auf die Polygone zudem Texturen abgebildet werden, die die Oberfläche des Geländes darstel- len. The virtual reality perceivable by the simulation participants on the display devices has a terrain which is formed by a multiplicity of polygons. So that each simulation computer can perform the calculations required to display the polygons on the display device, spatial coordinates of the polygons are kept in each simulation computer. For this, the spatial coordinates can be transmitted over the network by be transferred to another simulation computer or a server and stored on the respective simulation computer. In order to make the depiction of the terrain more realistic, textures can also be displayed on the polygons, which represent the surface of the terrain.
Im Rahmen der Simulationen können Veränderungen des Geländes erzeugt werden. Beispielsweise können simulierte Landfahrzeuge Fahrspuren in dem Gelände hinterlassen. Eine Baumaschine oder ein militärisches Pionierfahrzeug kann das Gelände durch Aushubarbeiten verändern. Im militärischen Anwendungsbereich kann das Gelände ferner durch Explosionen oder Einschläge von Geschossen verändert werden. Die Geländeveränderung kann zum einen die Topologie des Geländes, also die Anordnung der Polygone in der virtuellen Realität, betreffen. Zusätzlich kann auch die auf die Polygone abgebildete Tex- tur verändert werden, um Veränderungen in der Beschaffenheit des Geländes darzustellen. As part of the simulations changes in the terrain can be generated. For example, simulated land vehicles can leave lanes in the terrain. A construction machine or a military pioneer vehicle can change the terrain by excavation. In the military field of application, the terrain may also be altered by explosions or impacts of projectiles. On the one hand, the terrain change can affect the topology of the terrain, ie the arrangement of the polygons in virtual reality. In addition, the texture imaged on the polygons can be changed to reflect changes in the nature of the terrain.
Im Rahmen einer vernetzten Simulation ist es nun erforderlich, die Geländeveränderungen, die ein erster Simulationsrechner berechnet hat, an die ande- ren Simulationsrechner zu übermitteln, damit diese die Veränderungen des Geländes auf den ihnen zugeordneten Anzeigevorrichtungen darstellen können. Bei bekannten Simulationsvorrichtungen werden hierzu auf dem ersten Simulationsrechner Polygone des veränderten Bereichs in Sub-Polygone unterteilt und deren Raumkoordinaten berechnet. Die Raumkoordinaten werden dann über das Netzwerk an die anderen Simulationsrechner übertragen. Die anderen Simulationsrechner berechnen aufgrund der Raumkoordinaten eine Ansicht der virtuellen Realität und zeigen diese auf der entsprechenden Anzeigevorrichtung an. Um eine Anzeige der Veränderungsprozesse in Echtzeit erreichen zu können, müssen mindestens 60 Bilder pro Sekunde in jeder der An- Zeigevorrichtungen dargestellt werden. Das vorstehend beschriebene Verfahren weist dabei den Nachteil auf, dass die Menge der zu übertragenden Raum- koordinaten- und Polygondaten so groß ist, dass nicht gewährleistet ist, dass die Übertragung der Daten über das Netzwerk in der für eine Echtzeitdarstel- lung erforderlichen Übertragungszeit erfolgen kann. In the context of a networked simulation, it is now necessary to transmit the terrain changes that a first simulation computer has calculated to the other simulation computers so that they can display the changes in the terrain on the display devices assigned to them. In known simulation devices, for this purpose, polygons of the changed region are subdivided into sub-polygons on the first simulation computer and their spatial coordinates calculated. The spatial coordinates are then transmitted via the network to the other simulation computers. The other simulation computers calculate a view of the virtual reality based on the spatial coordinates and display them on the corresponding display device. In order to be able to get an indication of the change processes in real time, at least 60 frames per second have to be Displaying devices are shown. The method described above has the disadvantage that the amount of spatial coordinate and polygon data to be transmitted is so great that there is no guarantee that the transmission of the data over the network can take place in the transmission time required for a real-time display ,
Vor diesem Hintergrund stellt sich die Erfindung die A u f g a b e , die Übertragungszeit zur Übertragung der Daten über das Netzwerk zu verringern. Bei einem Verfahren der eingangs genannten Art, wird die Aufgabe durch folgende Verfahrensschritte g e l ö s t : Against this background, the invention provides the application to reduce the transmission time for the transmission of data over the network. In a method of the aforementioned type, the object is achieved by the following method steps:
- Der erste Simulationsrechner erzeugt Positionsdaten, die angeben, welcher Bereich des Geländes verändert wurde, The first simulation computer generates position data indicating which area of the terrain has been changed,
- der erste Simulationsrechner erzeugt Höhendaten des veränderten The first simulation computer generates altitude data of the changed one
Bereichs des Geländes, Area of the terrain,
- der erste Simulationsrechner übermittelt die Positionsdaten und die Höhendaten über das Netzwerk zu einem zweiten Simulationsrechner,  the first simulation computer transmits the position data and the height data via the network to a second simulation computer,
- eine Steuereinheit des zweiten Simulationsrechners wählt anhand der Positionsdaten jene Polygone des Geländes aus, die in dem veränderten Bereich liegen,  a control unit of the second simulation computer selects, based on the position data, those polygons of the terrain that lie in the changed area,
- eine Tessellatoreinheit des zweiten Simulationsrechners unterteilt die ausgewählten Polygone jeweils in mehrere Sub-Polygone, - eine Berechnungseinheit des zweiten Simulationsrechners berechnet a tessellator unit of the second simulation computer subdivides the selected polygons into a plurality of sub-polygons, a calculation unit of the second simulation computer is calculated
Raumkoordinaten der Sub-Polygone gemäß der Höhendaten, Spatial coordinates of the sub-polygons according to the height data,
- die Sub-Polygone werden auf einer mit dem zweiten Simulationsrechner verbundenen Anzeigevorrichtung angezeigt. Bei dem erfindungsgemäßen Verfahren ist es ist nicht erforderlich, Raumkoordinaten der Polygone oder der Sub-Polygone an den zweiten Simulationsrechner zu übertragen. Anstelle von Raumkoordinaten werden Positionsdaten über- tragen, die den Bereich des Geländes festlegen, der bei der Anzeige in einer der Anzeigevorrichtungen verändert werden soll. Zudem werden für den durch die Positionsdaten gekennzeichneten Bereich des Geländes Höhendaten übertragen, die angeben, inwiefern das Gelände an einem Punkt des Bereichs gegenüber den in dem zweiten Simulationsrechner gespeicherten Raumkoordina- ten verändert werden soll. Durch die Positionsdaten und die Höhendaten fällt eine wesentlich geringere Menge an Daten an, als es bei der Übertragung von Raumkoordinatendaten der Fall wäre. Somit kann die Übertragungszeit über das Netzwerk erheblich verringert werden und die Darstellung der Geländeveränderungen in Echtzeit ermöglicht werden. the sub-polygons are displayed on a display device connected to the second simulation computer. In the method according to the invention, it is not necessary to transmit spatial coordinates of the polygons or the sub-polygons to the second simulation computer. Instead of spatial coordinates, position data are transmitted which define the area of the terrain that is to be changed when displayed in one of the display devices. In addition, for the area of the terrain characterized by the position data, height data is transmitted which indicates how the terrain at one point of the area is to be changed with respect to the spatial coordinates stored in the second simulation computer. Due to the position data and the height data, a much smaller amount of data is produced than would be the case with the transmission of spatial coordinate data. Thus, the transmission time over the network can be significantly reduced and the representation of terrain changes in real time can be made possible.
Die in dem zweiten Simulationsrechner gespeicherten Raumkoordinaten müssen nicht durch übertragene Raumkoordinaten ersetzt oder ergänzt werden. Erfindungsgemäß werden die in dem zweiten Simulationsrechner gespeicherten Raumkoordinaten bei der Berechnung der in der Anzeigevorrichtung anzu- zeigenden Pixel anhand der Positionsdaten und der Höhendaten verändert. Die Berechnung der Pixel erfolgt unter anderem in der Steuereinheit, der Tessela- toreinheit und der Berechnungseinheit des zweiten Simulationsrechners. The spatial coordinates stored in the second simulation computer need not be replaced or supplemented by transmitted spatial coordinates. According to the invention, the spatial coordinates stored in the second simulation computer are changed on the basis of the position data and the height data in the calculation of the pixels to be displayed in the display device. The calculation of the pixels takes place inter alia in the control unit, the tesselator unit and the calculation unit of the second simulation computer.
Gemäß einer vorteilhaften Ausgestaltung des Verfahrens werden die Positions- daten und die Höhendaten parallel zu mehreren Simulationsrechnern übertragen, wodurch die Belastung des Netzwerks verringert werden kann. Die Daten können per Multicast- oder Broadcast-Übertragung in dem Netzwerk verbreitet werden. Hierbei werden die Daten nur einmal an eine Vielzahl von Empfängern versendet, wodurch sich eine geringe Belastung des Netzwerks ergeben kann. Bevorzugt werden die Daten als Universal Datagram Protocol (UDP)-Pakete über das Netzwerk versendet. According to an advantageous embodiment of the method, the position data and the height data are transmitted in parallel to a plurality of simulation computers, whereby the load on the network can be reduced. The data may be broadcast over the network via multicast or broadcast transmission. In this case, the data is sent only once to a large number of recipients, which may result in a low load on the network. Preferably, the data is sent over the network as Universal Datagram Protocol (UDP) packets.
Jedem Simulationsrechner der Simulationsvorrichtung kann eine Anzeigevor- richtung zugeordnet sein, auf der das Gelände der virtuellen Realität einem Simulationsteilnehmer angezeigt wird. Grundsätzlich kann auf den Anzeigevorrichtungen der Simulationsrechner, insbesondere des ersten und zweiten Simulationsrechners, dieselbe Ansicht des Geländes angezeigt werden. Bevorzugt werden auf den Anzeigevorrichtungen jedoch unterschiedliche Ansichten des Geländes angezeigt, so dass mehrere Simulationsteilnehmer unterschiedliche Standorte in der virtuellen Realität einnehmen können. Hierbei können dieselben Positionsdaten und dieselben Höhendaten an verschiedene Simulationsrechner übermittelt werden, welche auf Grundlage dieser Daten verschiedene Ansichten berechnen und auf den ihnen zugeordneten Anzeigevorrichtungen anzeigen. Each simulation computer of the simulation device can be assigned a display device, on which the area of the virtual reality is displayed to a simulation participant. In principle, the same view of the terrain can be displayed on the display devices of the simulation computer, in particular of the first and second simulation computer. However, different views of the terrain are preferably displayed on the display devices, so that a plurality of simulation participants can assume different locations in the virtual reality. In this case, the same position data and the same height data can be transmitted to different simulation computers, which calculate different views on the basis of these data and display them on the display devices assigned to them.
Im Hinblick auf die Übertragung der Positionsdaten hat es sich als vorteilhaft erwiesen, wenn die Positionsdaten in einer Textur hinterlegt sind. Dies bringt den Vorteil mit sich, dass die über das Netzwerk zu übertragende Daten ver- ringert werden. Die Textur kann nach Art einer Geländekarte ausgebildet sein, die Elemente aufweist, welche jeweils einem vorgegebenen Teilbereich des Geländes entsprechen. Der Teilbereich kann eine Größe von 10 m x 10 m in der virtuellen Realität aufweisen. Für jeden Teilbereich des Geländes kann in der Textur ein digitaler Wert hinterlegt werden, der angibt, ob der entspre- chende Teilbereich verändert wurde oder unverändert ist. Durch die Elemente, die den veränderten Teilbereichen entsprechen, kann der veränderte Bereich des Geländes definiert werden. Bevorzugt ist es ferner, wenn die Höhendaten in einer Textur hinterlegt sind. Durch diese Maßnahme kann ebenfalls eine Reduktion der zu übertragenden Daten erreicht werden. Die Textur der Höhendaten kann nach Art einer Höhenkarte strukturiert sein, die Elemente aufweist, welche einem vorgegebe- nen Teilbereich des durch die Positionsdaten definierten veränderten Geländebereichs entsprechen. Für jeden Teilbereich kann in der Textur der Höhendaten ein Wert hinterlegt werden, der der Veränderung der Höhe an der betreffenden Stelle des Geländes entspricht. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die Textur der Höhendaten eine höhere Auflösung als die Textur der Positionsdaten aufweist. Hierbei werden nur für den veränderten Bereich des Geländes Höhendaten mit hohem Detailgrad erzeugt und übertragen, so dass sich die zu übertragende Datenmenge verringert. Es ist nicht erforderlich, für den Bereich des Geländes, der nicht verändert wurde, hochaufgelöste Höhendaten zu übertragen. Ein Element der Textur der Höhendaten kann einem Teilbereich mit einer Kantenlänge von bis zu 10 cm, bevorzugt von bis zu 5 cm, besonders bevorzugt von bis zu 2 cm entsprechen. Bevorzugt werden die Höhendaten als Quadtree über das Netzwerk übermittelt. In einem Quadtree können die Höhendaten effizient gespeichert werden. Insbesondere bei Höhendaten, die als Textur vorliegen, kann die zu übertragende Datenmenge reduziert werden, da Bereiche der Textur mit demselben Inhalt zu einem Blatt des Quadtrees zusammengefasst werden können. Bei der Übertragung der Daten über das Netzwerk kann die Anzahl zu übertragener Schichten des Quadtree derart gewählt werden, dass die Datenmenge an die zur Verfügung stehende Bandbreite des Netzwerks angepasst wird. Somit kann über die Tiefe des Quadtrees die Datenmenge gesteuert werden. Ferner hat es sich als vorteilhaft herausgestellt, wenn die Steuereinheit, die Tessellatoreinheit und/oder die Berechnungseinheit Teil einer Grafikkarte des Simulationsrechners sind. Durch die Anordnung der Steuereinheit, der Tessellatoreinheit und/oder der Berechnungseinheit auf einer Grafikkarte kann ein Hauptprozessor (CPU) des zweiten Simulationsrechners entlastet werden. Es ist nicht erforderlich, die Auswahl der Polygone, die Unterteilung in SubPolygone sowie die Berechnung der Raumkoordinaten der Sub-Polygone in dem Hauptprozessor durchzuführen. Hierdurch kann die Darstellung des Geländes auf der Anzeigevorrichtung des zweiten Simulationsrechners beschleunigt wer- den. Besonders vorteilhaft ist es, wenn die Steuereinheit, die Tessellatoreinheit und/oder die Berechnungseinheit Teil eines Grafikprozessors (GPU) sind. Durch die Integration der vorstehend genannten Einheiten in einem Grafikprozessor kann die Rechenleistung der Einheiten weiter gesteigert werden. Bevorzugt sind die Steuereinheit, die Tessellatoreinheit und/oder die Berechnungs- einheit programmierbar ausgebildet, so dass sie an Erfordernisse der Simulationsvorrichtung anpassbar sind. With regard to the transmission of the position data, it has proved to be advantageous if the position data are stored in a texture. This has the advantage that the data to be transmitted over the network are reduced. The texture may be designed in the manner of a terrain map, which has elements which correspond in each case to a predetermined subarea of the terrain. The subarea may be 10m x 10m in virtual reality. For each subarea of the terrain, a digital value can be stored in the texture, which indicates whether the corresponding subarea has been changed or is unchanged. The elements corresponding to the changed subareas allow the changed area of the terrain to be defined. It is also preferable if the height data are stored in a texture. By this measure, a reduction of the data to be transmitted can also be achieved. The texture of the height data can be structured in the manner of a height map which has elements which correspond to a predetermined subarea of the modified terrain area defined by the position data. For each sub-area, a value corresponding to the change in elevation at the relevant site location can be stored in the texture of the elevation data. In this context, it has proved to be advantageous if the texture of the height data has a higher resolution than the texture of the position data. In this case, elevation data with a high degree of detail are generated and transmitted only for the changed area of the terrain, so that the amount of data to be transmitted is reduced. It is not necessary to transfer high resolution elevation data for the area of the terrain that has not been altered. An element of the texture of the height data may correspond to a partial region with an edge length of up to 10 cm, preferably of up to 5 cm, particularly preferably of up to 2 cm. The height data is preferably transmitted as a quadtree via the network. In a quadtree, the elevation data can be efficiently stored. In particular, for height data that exists as a texture, the amount of data to be transmitted can be reduced, since areas of the texture with the same content can be combined to form a leaf of the quadtree. When transmitting the data over the network, the number of layers of the quadtree to be transmitted can be chosen such that the amount of data is adapted to the available bandwidth of the network. Thus, the amount of data can be controlled via the depth of the quadtree. Furthermore, it has proven to be advantageous if the control unit, the tessellator unit and / or the calculation unit are part of a graphics card of the simulation computer. By arranging the control unit, the tessellator unit and / or the calculation unit on a graphics card, a main processor (CPU) of the second simulation computer can be relieved. It is not necessary to perform the selection of polygons, the subdivision into SubPolygone, and the calculation of the space coordinates of the sub-polygons in the main processor. As a result, the representation of the terrain on the display device of the second simulation computer can be accelerated. It is particularly advantageous if the control unit, the tessellator unit and / or the calculation unit are part of a graphics processor (GPU). By integrating the aforementioned units in a graphics processor, the processing power of the units can be further increased. Preferably, the control unit, the tessellator unit and / or the calculation unit are designed to be programmable, so that they can be adapted to the requirements of the simulation apparatus.
Nachfolgend sollen vorteilhafte Ausgestaltungen der Erfindung dargestellt werden, die die oben genannten Einheiten des zweiten Simulationsrechners betreffen. Below advantageous embodiments of the invention will be illustrated, which relate to the above-mentioned units of the second simulation computer.
Bevorzugt ist es, wenn die Steuereinheit für jedes darzustellende Polygon prüft, ob es in einem veränderten Bereich des Geländes liegt, so dass die Unterteilung der Polygone ausschließlich in dem veränderten Bereich des Gelän- des erfolgen muss. Hierdurch kann die Menge der für die Anzeige des Geländes auf der Anzeigevorrichtung des zweiten Simulationsrechners erforderlichen Berechnungen verringert werden. In dem Bereich, der anhand der Positionsdaten als nicht verändert gekennzeichnet ist, müssen keine Veränderungen an den Polygonen vorgenommen werden. Gemäß einer weiteren bevorzugten Ausgestaltung wird die Auflösung der Höhendaten bestimmt und die Tessellatoreinheit unterteilt die Polygone gemäß der Auflösung der Höhendaten in Sub-Polygone. Dies bringt den Vorteil mit sich, dass die Unterteilung der Polygone in Sub-Polygone über die Wahl der Auflösung der Höhendaten gesteuert werden kann. Der erste Simulationsrechner kann somit über die Wahl der Auflösung Einfluss auf die Darstellung des Geländes auf dem zweiten Simulationsrechner nehmen. Die zur Unterteilung der Polygone erforderlichen Berechnungen können im Anschluss an die Über- tragung der Höhendaten über das Netzwerk in der Tessellatoreinheit des zweiten Simulationsrechners erfolgen. It is preferable for the control unit to check for each polygon to be displayed whether it lies in a changed area of the terrain so that the subdivision of the polygons must take place exclusively in the changed area of the terrain. As a result, the amount of calculations required for the display of the terrain on the display device of the second simulation computer can be reduced. There is no need to make any changes to the polygons in the area identified as unchanged by the location data. According to another preferred embodiment, the resolution of the height data is determined, and the tessellator unit divides the polygons according to the resolution of the height data into sub-polygons. This has the advantage that the subdivision of the polygons into sub-polygons can be controlled by choosing the resolution of the height data. The first simulation computer can thus influence the representation of the terrain on the second simulation computer via the choice of the resolution. The calculations required for subdividing the polygons can be carried out following the transmission of the height data via the network in the tessellator unit of the second simulation computer.
Ferner ist es vorteilhaft, wenn die Berechnungseinheit die Raumkoordinaten der Sub-Polygone gemäß einem in den Höhendaten gespeicherten Hohenoffset berechnet, so dass es nicht erforderlich ist, die Eckpunkte von dem ersten Simulationsrechner zu dem zweiten Simulationsrechner über das Netzwerk zu übertragen. Vielmehr ist es ausreichend, lediglich den Hohenoffset zu übertragen, so dass die Menge der zu übertragenden Daten reduziert werden kann. Durch die Erfindung kann die Menge der für die Übertragung der Veränderungen der Polygone erforderlichen Daten über das Netzwerk stark verringert werden. Somit kann eine verbesserte Übertragung der für eine Drahtgitterdarstellung des Geländes maßgeblichen Daten ermöglicht werden. Um die Darstellung des Geländes auf der Anzeigevorrichtung realistischer erscheinen zu las- sen, können die Polygone mit Texturen belegt werden, die die Oberfläche des Geländes darstellen. Auch eine derartige Textur und /oder eine Zuweisung einer solchen Textur zu einem Polygon kann durch den ersten Simulationsrechner verändert werden. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn der erste Simulationsrechner Geländetypdaten des veränderten Bereichs des Geländes erzeugt, die zur Darstellung der Oberfläche des veränderten Bereichs auf dem zweiten Simulationsrechner an den zweiten Simulationsrechner übermittelt werden. Anhand der Übertragung eines Geländetyps können die Polygone bei der Anzeige auf der Anzeigevorrichtung mit einer Textur belegt werden. Furthermore, it is advantageous if the calculation unit calculates the spatial coordinates of the sub-polygons according to a high offset stored in the height data, so that it is not necessary to transmit the vertices from the first simulation computer to the second simulation computer via the network. Rather, it is sufficient to transmit only the high offset, so that the amount of data to be transmitted can be reduced. The invention can greatly reduce the amount of data required to transmit the changes in the polygons over the network. Thus, an improved transmission of relevant for a wireframe representation of the terrain data can be made possible. In order to make the representation of the terrain more realistic on the display device, the polygons can be provided with textures that represent the surface of the terrain. Such a texture and / or an assignment of such a texture to a polygon can also be changed by the first simulation computer. In this context, it has proved to be advantageous if the first simulation computer generates terrain type data of the changed area of the terrain, which are transmitted to the second simulation computer for displaying the surface of the changed area on the second simulation computer. On the basis of the transfer of a terrain type, the polygons can be covered with a texture when displayed on the display device.
Hierbei ist es bevorzugt, wenn die Geländetypdaten Einträge aufweisen, welche jeweils einen Verweis auf eine Textur, insbesondere eine Untergrundtex - tur, bilden. Aufgrund der übertragenen Verweise kann die Datenmenge stark reduziert werden. Es ist nicht erforderlich, für jedes Polygon eine eigene Textur zu übertragen. Die Geländetypdaten können nach Art einer Indextextur strukturiert sein, welche anstelle von Bilddaten, Verweise auf Texturen enthält. It is preferred here for the terrain type data to have entries which each form a reference to a texture, in particular a background text. Due to the transferred references, the amount of data can be greatly reduced. It is not necessary to transfer a custom texture for each polygon. The terrain type data may be structured in the manner of an index texture containing references to textures instead of image data.
Eine weitere Verbesserung der Erfindung kann durch eine Ausgestaltung erzielt werden, bei der zur Anzeige eines Bildpunktes auf der Anzeigevorrichtung ein Pixel-Shader des zweiten Simulationsrechners anhand der Geländetypdaten eine Untergrundtextur auswählt und eine Farbe des Bildpunktes berechnet. Der Verweis auf eine Untergrundtextur kann in dem Pixel-Shader ausgewertet werden und es kann anhand des Verweises eine Untergrundtextur ausgewählt werden, die bei der Anzeige auf der Anzeigevorrichtung auf das jeweilige Polygon gelegt wird. Somit ist zur Steuerung der Anzeige auf der Anzeigevorrichtung des zweiten Simulationsrechners lediglich eine geringe Datenmenge zu übertragen. A further improvement of the invention can be achieved by an embodiment in which, for displaying a pixel on the display device, a pixel shader of the second simulation computer selects a background texture based on the terrain type data and calculates a color of the pixel. The reference to a background texture can be evaluated in the pixel shader and, based on the reference, a background texture can be selected, which is placed on the respective polygon when displayed on the display device. Thus, to control the display on the display device of the second simulation computer to transmit only a small amount of data.
Ferner ist es bevorzugt, wenn der zweite Simulationsrechner anhand der Geländetypdaten einen dem jeweiligen Geländetyp entsprechenden Bodenbewuchs auf der Anzeigevorrichtung darstellt. Die Berechnungen zur Darstellung des Bodenbewuchses können dabei auf dem zweiten Simulationsrechner, insbesondere auf einer Grafikkarte, durchgeführt werden. Es ist daher nicht erforderlich Daten über das Netzwerk zu übertragen, die die Gestalt des Bodenbewuchses beschreiben. Über den in den Geländetypdaten enthaltenen Ver- weis auf eine Textur kann ein der Textur entsprechender Bodenbewuchs ausgewählt und berechnet werden. Furthermore, it is preferable for the second simulation computer to use the terrain type data to represent a soil growth on the display device corresponding to the respective terrain type. The calculations for the presentation of the soil growth can be performed on the second simulation computer, in particular on a graphics card. It is therefore not necessary to transmit data over the network describing the shape of the soil growth. Using the reference to a texture contained in the terrain type data, a soil cover suitable for the texture can be selected and calculated.
Nachfolgend sollen anhand eines in den Zeichnungen dargestellten Ausführungsbeispiels weitere Einzelheiten und Vorteile der Erfindung beschrieben werden. Hierin zeigt: Hereinafter, with reference to an embodiment shown in the drawings, further details and advantages of the invention will be described. Hereby shows:
Fig. 1 ein Blockdiagramm einer Simulationsvorrichtung; Fig. 2 eine schematische Darstellung der zur Übertragung verwendeten Datenstrukturen; und 1 is a block diagram of a simulation device; FIG. 2 shows a schematic representation of the data structures used for transmission; FIG. and
Fig. 3 ein Blockdiagramm eines Teils eines Simulationsrechners. 3 is a block diagram of a part of a simulation computer.
In Fig. 1 ist eine vernetzte Simulationsvorrichtung 1 dargestellt, die mehrere Simulationsrechner 2 aufweist, welche über ein als Local Area Network (LAN) oder Wide Area Network (WAN) ausgebildetes Netzwerk 4 miteinander verbunden sind. Zum Datenaustausch zwischen den einzelnen Simulationsrechnern 2 wird der Distributed Interactive Simulation (DIS) Standard IEEE1278 verwendet. Mit jedem Simulationsrechner 2 ist mindestens eine Anzeigevorrichtung 3 verbunden, auf der eine durch die vernetzte Simulationsvorrichtung 1 generierte virtuelle Realität anzeigbar ist. Solche Anzeigevorrichtungen 3 können z. B. als Monitor, Flachbildschirm, Projektor oder Head-Mounted-Display ausgebildet sein. 1 shows a networked simulation device 1 which has a plurality of simulation computers 2, which are interconnected via a network 4 designed as a Local Area Network (LAN) or Wide Area Network (WAN). For the exchange of data between the individual simulation computers 2, the Distributed Interactive Simulation (DIS) standard IEEE1278 is used. At least one display device 3 is connected to each simulation computer 2, on which a virtual reality generated by the networked simulation device 1 can be displayed. Such display devices 3 can z. B. be designed as a monitor, flat screen, projector or head-mounted display.
Einige Simulationsrechner 2 sind lediglich mit einer Anzeigevorrichtung 3 ver- bunden. Gemäß der Darstellung in Fig. 1 ist einer der Simulationsrechner 2 jedoch mit mehreren Anzeigevorrichtungen 3 verbunden, um verschiedene Ansichten der virtuellen Realität darzustellen, beispielsweise eine Sicht aus einem Fahrzeug nach vorne und eine Sicht nach hinten. Die Simulationsvorrichtung 1 kann im zivilen Umfeld beispielsweise Anwendung finden zur Ausbildung von Fahrern von rad- oder kettengetriebenen Landfahrzeugen, wie z. B. Planierraupen, Baggern oder anderen Baumaschinen. Im militärischen Einsatzbereich kann mit der Simulationsvorrichtung 1 die Ausbildung von Besatzungsmitgliedern von militärischen Fahrzeugen durchgeführt werden. Hierzu kann jedem Besatzungsmitglied, welches ausgebildet werden soll, ein Simulationsrechner 2 zugeordnet werden. Das Besatzungsmitglied kann als Simulationsteilnehmer über in den Figuren nicht dargestellte Bedienvorrichtungen des Simulationsrechners 2 Einfluss auf den Verlauf der Simulation nehmen und die simulierte, virtuelle Realität über eine oder mehrere mit dem jeweiligen Simulationsrechner 2 verbundene Anzeigevorrichtungen 3 wahrnehmen. Some simulation computers 2 are merely connected to a display device 3. However, as shown in FIG. 1, one of the simulation computers 2 is connected to a plurality of display devices 3 to represent different views of the virtual reality, for example, a view from a vehicle to the front and a view to the rear. The simulation device 1 can be used, for example, in the civil environment for the training of drivers of wheeled or chain-driven land vehicles, such. As dozers, excavators or other construction machinery. In the military field of application can be carried out with the simulation device 1, the training of crew members of military vehicles. For this purpose, each crew member to be trained, a simulation computer 2 are assigned. As a simulation participant, the crew member can influence the course of the simulation by means of operating devices (not shown in the figures) of the simulation computer 2 and perceive the simulated, virtual reality via one or more display devices 3 connected to the respective simulation computer 2.
Die von den Simulationsteilnehmern auf den Anzeigevorrichtungen 3 wahrnehmbare virtuelle Realität weist ein Gelände auf, welches durch eine Viel- zahl an Polygonen gebildet wird, die nach Art eines Drahtgitters angeordnet sind. Damit jeder Simulationsrechner 2 die zur Anzeige der Polygone auf der entsprechenden Anzeigevorrichtung 3 erforderlichen Berechnungen durchführen kann, werden Raumkoordinaten der Polygone in jedem Simulationsrechner 2 vorgehalten. Die Raumkoordinaten können hierzu über das Netzwerk 4 von einem anderen Simulationsrechner 2 oder einem in der Figur nicht dargestellten Server übertragen werden und auf dem jeweiligen Simulationsrechner 2 gespeichert werden. Die auf den einzelnen Simulationsrechnern 2 gespeicherten Raumkoordinaten sind identisch, um eine konsistente Darstellung des Geländes auf allen mit den Simulationsrechnern 2 verbundenen Anzeigevorrichtungen 3 zu ermöglichen. Um die Darstellung des Geländes realistischer erscheinen zu lassen, können auf die Polygone zudem Texturen abgebildet werden, die die Oberfläche des Geländes darstellen. Beispielsweise können vorgegebene Bereiche des Geländes mit einer Textur überzogen werden, die Rasen darstellt, um den Eindruck einer Wiesenlandschaft zu erzeugen. The virtual reality perceivable by the simulation participants on the display devices 3 has a terrain which is formed by a multiplicity of polygons which are arranged in the manner of a wire grid. So that each simulation computer 2 can perform the calculations required to display the polygons on the corresponding display device 3, spatial coordinates of the polygons are kept in each simulation computer 2. The spatial coordinates can do this via the network 4 be transmitted from another simulation computer 2 or a server not shown in the figure and stored on the respective simulation computer 2. The spatial coordinates stored on the individual simulation computers 2 are identical in order to enable a consistent representation of the terrain on all display devices 3 connected to the simulation computers 2. In order to make the depiction of the terrain more realistic, textures can also be displayed on the polygons that represent the surface of the terrain. For example, given areas of the terrain may be covered with a texture that represents turf to create the impression of a meadow landscape.
Im Zusammenhang mit der Simulation von Bewegungen der Landfahrzeuge kommt es im Laufe der Simulation oftmals zu Veränderungen des Geländes, beispielsweise wenn ein Landfahrzeug über eine nachgiebige Geländeoberflä- che bewegt wird und sich das Gelände infolgedessen z. B. durch Bildung von Fahrspuren verformt. Ferner können im Rahmen der Ausbildung Aushub- oder Planierarbeiten an dem Gelände der virtuellen Realität vorgenommen werden, z. B. dann, wenn Vorbereitungen zur Verlegung einer mobilen Brücke simuliert werden sollen. Bei militärischen Simulationen kann das Gelände ferner durch Explosionen oder Geschosseinschläge verändert werden. In connection with the simulation of movements of the land vehicles, changes in the terrain often occur during the course of the simulation, for example when a land vehicle is moved over a yielding terrain surface and the terrain consequently becomes unstable. B. deformed by the formation of lanes. Furthermore, as part of the training excavation or grading can be made on the site of virtual reality, z. For example, when preparations for laying a mobile bridge to be simulated. In military simulations, the terrain can also be altered by explosions or missiles.
Bei allen diesen Veränderungen des Geländes wird es erforderlich, die Veränderungen, die in einem der Simulationsrechner 2, beispielsweise aufgrund von Eingaben eines Simulationsteilnehmers, generiert werden, nicht nur auf den mit diesem Simulationsrechner 2 verbundenen Anzeigevorrichtungen 3, sondern auch auf den anderen Anzeigevorrichtungen 3 der Simulationsvorrichtung 1 anzuzeigen. Um eine realistische Simulation in Echtzeit zu ermöglichen, ist es dabei erforderlich, die entsprechenden Daten in Echtzeit zu den anderen Simulationsrechnern 2 über das Netzwerk 4 zu übertragen. Für eine realisti- sehe Anzeige der dynamischen Veränderungsprozesse müssen mindestens 60 Bilder pro Sekunde zu jeder Anzeigevorrichtung 3 übertragen und dann in dieser angezeigt werden. Um die Datenmenge gering zu halten und die Übertragung in Echtzeit zu ermöglichen werden folgende Verfahrensschritte durch- geführt: In the case of all these changes of the terrain, it becomes necessary to detect the changes which are generated in one of the simulation computers 2, for example due to inputs of a simulation participant, not only to the display devices 3 connected to this simulation computer 2 but also to the other display devices 3 Display simulation device 1. In order to enable a realistic simulation in real time, it is necessary to transmit the corresponding data in real time to the other simulation computers 2 via the network 4. For a realistic see display of the dynamic change processes must be transmitted to each display device 3 at least 60 frames per second and then displayed in this. In order to keep the data volume low and enable the transmission in real time, the following method steps are carried out:
- Der erste Simulationsrechner 2 erzeugt Positionsdaten L , die angeben, welcher Bereich des Geländes verändert wurde, The first simulation computer 2 generates position data L indicating which area of the terrain has been changed,
- der erste Simulationsrechner 2 erzeugt Höhendaten H des veränder- ten Bereichs des Geländes,  the first simulation computer 2 generates altitude data H of the changed area of the terrain,
- der erste Simulationsrechner 2 übermittelt die Positionsdaten L und die Höhendaten H über das Netzwerk 4 zu einem zweiten Simulationsrechner 2,  the first simulation computer 2 transmits the position data L and the height data H via the network 4 to a second simulation computer 2,
- eine Steuereinheit 1 1 des zweiten Simulationsrechners 2 wählt an- hand der Positionsdaten L jene Polygone des Geländes aus, die in dem veränderten Bereich liegen,  a control unit 1 1 of the second simulation computer 2 selects, on the basis of the position data L, those polygons of the terrain which lie in the changed area,
- eine Tessellatoreinheit 12 des zweiten Simulationsrechners 2 unterteilt die ausgewählten Polygone jeweils in mehrere Sub-Polygone, a tessellator unit 12 of the second simulation computer 2 subdivides the selected polygons into a plurality of sub-polygons,
- eine Berechnungseinheit 13 des zweiten Simulationsrechners 2 be- rechnet Raumkoordinaten der Sub-Polygone gemäß der Höhendatena calculation unit 13 of the second simulation computer 2 calculates spatial coordinates of the sub-polygons according to the height data
H, H,
- die Sub-Polygone werden auf einer mit dem zweiten Simulationsrechner 2 verbundenen Anzeigevorrichtung 3 angezeigt. Aufgrund dieses Vorgehens ist es nicht erforderlich, Veränderungen der Raum- koordinaten der Polygone und/oder neue Raumkoordinaten, insbesondere Eckpunkte, der generierten Sub-Polygone in dem ersten Simulationsrechner 2 zu berechnen und dann an den zweiten Simulationsrechner 2 zu übertragen. An- stelle von Raumkoordinaten werden in dem ersten Simulationsrechner 2 niedrig aufgelöste Positionsdaten L erzeugt und zu dem zweiten Simulationsrechner 2 übertragen, welche den Bereich des Geländes festlegen, der bei der Anzeige in einer der Anzeigevorrichtungen 2 verändert werden soll. Zudem wer- den für den durch die Positionsdaten L gekennzeichneten Bereich des Geländes hochaufgelöste Höhendaten H erzeugt und übertragen, welche angeben, inwiefern das Gelände an einem Punkt des Bereichs verändert werden soll. Durch die Positionsdaten L und die Höhendaten H fällt eine wesentlich geringere Menge an Daten an, als es bei der Übertragung von Raumkoordinatenda- ten des veränderten Bereichs des Geländes der Fall wäre. Somit kann die Übertragungszeit über das Netzwerk 4 erheblich verringert werden und eine hochdynamische Darstellung der Geländeveränderungen in Echtzeit ermöglicht werden. Gemäß dem Ausführungsbeispiel werden die Daten L und H ausgehend von dem ersten Simulationsrechner 2 über das Netzwerk 4 an alle anderen Simulationsrechner 2 der Simulationsvorrichtung 1 übermittelt, z. B. über eine Multicast- oder Broadcast-Übertragung. Die Struktur der über das Netzwerk 4 übertragenen Positionsdaten L und Höhendaten H soll im Folgenden anhand der schematischen Darstellung in Fig. 2 näher erläutert werden: the sub-polygons are displayed on a display device 3 connected to the second simulation computer 2. Because of this procedure, it is not necessary to calculate changes in the spatial coordinates of the polygons and / or new spatial coordinates, in particular vertices, of the generated sub-polygons in the first simulation computer 2 and then to transmit them to the second simulation computer 2. At- In the case of spatial coordinates, low-resolution position data L are generated in the first simulation computer 2 and transmitted to the second simulation computer 2, which defines the area of the terrain that is to be changed when displayed in one of the display devices 2. In addition, for the area of the terrain characterized by the position data L, high-resolution height data H are generated and transmitted, which indicate how the terrain is to be changed at a point in the area. Due to the position data L and the height data H, a considerably smaller amount of data accumulates than would be the case with the transmission of spatial coordinate data of the changed area of the terrain. Thus, the transmission time can be significantly reduced via the network 4 and a highly dynamic representation of the terrain changes in real time are possible. According to the embodiment, the data L and H are transmitted from the first simulation computer 2 via the network 4 to all other simulation computer 2 of the simulation device 1, z. Via a multicast or broadcast transmission. The structure of the position data L and height data H transmitted via the network 4 will be explained in more detail below with reference to the schematic representation in FIG. 2:
Die Positionsdaten L liegen als zweidimensionale Datenstruktur nach Art einer Textur vor, die der gesamten Fläche des simulierten Geländes entspricht. Somit kann man sich die Positionsdaten L als eine Geländekarte vorstellen, die angibt, an welchen Stellen sich das Gelände gegenüber dem in den Simulationsrechnern 2 gespeicherten Stand verändert hat. Die Positionsdaten L enthalten binäre Einträge, die jeweils einem vorgegebenen Teilbereich des Geländes entsprechen. Der Teilbereich kann eine Größe von 10 m x 10 m aufweisen. Für jeden Teilbereich des Geländes kann in der Textur ein digitaler Wert hinterlegt werden, der angibt, ob der entsprechende Teilbereich verändert wurde oder unverändert ist. Durch die Elemente, die den veränderten Teilbereichen entsprechen, kann der veränderte Bereich des Geländes definiert werden. The position data L is present as a two-dimensional data structure in the manner of a texture that corresponds to the entire area of the simulated terrain. Thus, one can imagine the position data L as a terrain map that indicates where the terrain has changed from the state stored in the simulation computers 2. The position data L contain binary entries, each of which is a predetermined subarea of the terrain correspond. The sub-area may have a size of 10 mx 10 m. For each subarea of the terrain, a digital value can be stored in the texture, which indicates whether the corresponding subarea has been changed or is unchanged. The elements corresponding to the changed subareas allow the changed area of the terrain to be defined.
Gemäß dem in Fig. 2 dargestellten Beispiel ist durch die Positionsdaten L in der Mitte des Geländes ein aus insgesamt vier Teilbereichen gebildeter Bereich definiert, in dem sich das Gelände verändert hat. Die diesen Teilbereichen entsprechenden Elemente L.1 der Positionsdaten L sind auf den Wert„1 " gesetzt, wohingegen die Elemente L.0, welche Teilbereichen entsprechen, die nicht verändert wurden, auf den Wert„0" gesetzt sind. According to the example shown in FIG. 2, the position data L in the middle of the terrain defines an area formed from a total of four partial areas in which the terrain has changed. The elements L.1 of the position data L corresponding to these portions are set to the value "1", whereas the elements L.0 corresponding to portions which have not been changed are set to the value "0".
Zur Repräsentation des veränderten Bereichs des Geländes werden in dem ers- ten Simulationsrechner 2 weitere Datenstrukturen H und D angelegt und zusammen mit den Positionsdaten L parallel zu den anderen Simulationsrechnern 2 der Simulationsvorrichtung 1 übertragen. Hierbei handelt es sich um die Höhendaten H sowie die Geländetypdaten D, auf die nun näher eingegangen werden soll. To represent the changed area of the terrain, further data structures H and D are created in the first simulation computer 2 and transmitted together with the position data L to the simulation computer 1 in parallel with the other simulation computers 2. These are the height data H and the terrain type data D, which will now be discussed in more detail.
Die Höhendaten H sind ebenfalls in einer Textur hinterlegt, wodurch eine Reduktion der zu übertragenden Daten erreicht werden kann. Die Textur der Höhendaten H ist nach Art einer Höhenkarte strukturiert, die Elemente H.E aufweist, welche einem vorgegebenen Teilbereich des durch die Positionsdaten L definierten veränderten Geländebereichs entsprechen. Für jeden Teilbereich ist in der Textur der Höhendaten H ein numerischer Wert - ein Höhenoffset - hinterlegt, der der Veränderung der Höhe an der betreffenden Stelle des Geländes entspricht. Die Textur der Höhendaten H weist eine höhere Auflösung als die Textur der Positionsdaten L auf. Da ausschließlich für den veränderten Bereich des Geländes Höhendaten H mit hohem Detailgrad erzeugt und übertragen werden, kann die zu übertragende Datenmenge gering gehalten werden. Es ist nicht erforderlich, für den Bereich des Geländes, der nicht verändert wurde, hochaufgelöste Höhendaten H zu übertragen. Ein Element H.E der Höhendaten H kann einem Teilbereich des Geländes mit einer Kantenlänge von bis zu 10 cm, bevorzugt von bis zu 5 cm, besonders bevorzugt von bis zu 2 cm entsprechen. The height data H are also stored in a texture, whereby a reduction of the data to be transmitted can be achieved. The texture of the height data H is structured in the manner of a height map which has elements HE which correspond to a predetermined subregion of the modified terrain region defined by the position data L. For each subarea, in the texture of the height data H, a numerical value - a height offset - is deposited, which corresponds to the change in altitude at the relevant point of the terrain. The texture of the height data H has a higher resolution than the texture of the position data L. Because only for the changed Area data H level data H are generated and transmitted with a high degree of detail, the amount of data to be transmitted can be kept low. It is not necessary to transmit high-resolution height data H for the area of the terrain that has not been altered. An element HE of the height data H can correspond to a subarea of the terrain with an edge length of up to 10 cm, preferably of up to 5 cm, particularly preferably of up to 2 cm.
Die Datenstruktur der Geländetypdaten D ist ebenfalls als Textur ausgebildet und weist dieselbe Auflösung wie die Textur der Höhendaten H auf. Somit kann jedem Element D.E der Geländetypdaten D ein Element H.E der Höhendaten zugeordnet werden, welches demselben Teilbereich des veränderten Geländes der virtuellen Realität entspricht. Der erste Simulationsrechner 2 erzeugt Geländetypdaten D des veränderten Bereichs des Geländes, die zur Darstellung der Oberfläche des veränderten Bereichs auf dem zweiten Simulationsrechner 2 an den zweiten Simulationsrechner 2 übermittelt werden. Anhand der Übertragung eines Geländetyps können die Polygone bei der Anzeige auf der mit dem zweiten Simulationsrechner 2 verbundenen Anzeigevorrichtung 3 mit einer Untergrundtextur belegt werden, welche dem jeweiligen Geländetyp entspricht. Die Elemente D.E sind jeweils Verweise auf eine Untergrundtextur T. Die Untergrundtextur T kann in dem mit jeweiligen die Daten D empfangenden Simulationsrechner 2 gespeichert sein oder zusammen mit den Positionsdaten L, den Höhendaten D und /oder den Geländetypdaten D übertragen werden. Somit ergibt sich eine Datenstruktur nach Art einer eine Indextextur, welche anstelle von Bilddaten, Verweise auf Untergrundtexturen T enthält. Solche Untergrundtexturen können beispielsweise Gras, Wasser, Gestrüpp, Wald- oder Wüstenboden darstellen. Optional kann der zweite Simulationsrechner 2 anhand der Geländetypdaten D einen dem jeweiligen Geländetyp entsprechenden Bodenbewuchs, z. B. Grashalme oder Büsche, auf der Anzeigevorrichtung 3 darstellen. Die Berechnungen zur Darstellung des Bodenbewuchses können dabei dem zweiten Simulati- onsrechner 2 durchgeführt werden. Es ist daher nicht erforderlich, Daten über das Netzwerk 4 zu übertragen, die die Gestalt des Bodenbewuchses beschreiben. Über den in den Geländetypdaten D enthaltenen Verweis D.E auf eine Untergrundtextur T kann in dem die Geländetypdaten empfangenden, zweiten Simulationsrechner 2 ein der Untergrundtextur T entsprechender Bodenbe- wuchs ausgewählt und berechnet werden. The data structure of the terrain type data D is also formed as a texture and has the same resolution as the texture of the height data H. Thus, each item DE of the terrain type data D may be assigned an item HE of the height data corresponding to the same portion of the altered virtual reality terrain. The first simulation computer 2 generates terrain type data D of the changed area of the terrain, which are transmitted to the second simulation computer 2 for representing the surface of the changed area on the second simulation computer 2. On the basis of the transmission of a terrain type, the polygons in the display on the display device 3 connected to the second simulation computer 2 can be assigned a background texture which corresponds to the respective terrain type. The elements DE are in each case references to a background texture T. The background texture T can be stored in the simulation computer 2 receiving the respective data D or transmitted together with the position data L, the height data D and / or the terrain type data D. Thus, a data structure of the type of an index texture results, which contains references to background textures T instead of image data. Such background textures may represent, for example, grass, water, scrub, forest or desert soil. Optionally, the second simulation computer 2 based on the terrain type data D a corresponding to the respective terrain type Bodenbewuchs, z. As blades of grass or bushes, represent on the display device 3. The calculations for representing the soil growth can be performed on the second simulation calculator 2. It is therefore not necessary to transmit data over the network 4 describing the shape of the soil growth. By way of the reference DE on a background texture T contained in the terrain type data D, a ground growth corresponding to the background texture T can be selected and calculated in the second simulation computer 2 receiving the terrain type data.
Die Höhendaten H sowie die Geländetypdaten D werden über das Netzwerk 4 als Quadtree übermittelt. Hierdurch können die entsprechenden Daten H, D effizient gespeichert werden. Die zu übertragende Datenmenge kann dadurch reduziert werden, dass Bereiche der Textur H, D mit demselben Inhalt zu einem Blatt des Quadtrees zusammengefasst werden. Bei der Übertragung der Daten H, D über das Netzwerk 4 wird die Anzahl zu übertragener Schichten des Quadtree dabei von dem Simulationsrechner 2, welcher die Daten H, D sendet, derart gewählt, dass die in dem Quadtree enthaltene Datenmenge an die zur Verfügung stehende Bandbreite des Netzwerks 4 angepasst wird. Somit kann über die Wahl der Tiefe des Quadtrees die zu übertragende Datenmenge gesteuert werden. The height data H and the terrain type data D are transmitted via the network 4 as a quadtree. As a result, the corresponding data H, D can be stored efficiently. The amount of data to be transferred can be reduced by combining regions of the texture H, D with the same content into a leaf of the quadtree. When transmitting the data H, D via the network 4, the number of layers of the quadtree to be transmitted is selected by the simulation computer 2, which transmits the data H, D, such that the amount of data contained in the quadtree to the available bandwidth of the network 4 is adjusted. Thus, by choosing the depth of the quadtree, the amount of data to be transmitted can be controlled.
Anhand der Darstellung in Fig. 3 soll nachfolgend erläutert werden, wie die über das Netzwerk 4 übertragenen Positionsdaten L, Höhendaten H und Geländetypdaten D bei der Berechnung der Darstellung des Geländes auf Seiten des die Daten L, H, D empfangenden zweiten Simulationsrechners 2 verwendet werden. Jeder Simulationsrechner 2 weist eine Grafikkarte mit einem Grafikprozessor (GPU) 10 auf, dem die übermittelten Positionsdaten L, Höhenda- ten H und Geländetypdaten D zur Berechnung der Anzeige in der mit dem Simulationsrechner 2 verbundenen Anzeigevorrichtung 3 zugeführt werden. Die Steuereinheit 11 , die Tessellatoreinheit 12 sowie die Berechnungseinheit 13 sind Teil einer Verarbeitungskette des Grafikprozessors 10. Sie sind programmierbar ausgebildet, so dass sie an die Erfordernisse der Simulationsvorrichtung 1 angepasst werden können. Based on the illustration in Fig. 3 will be explained below how the transmitted via the network 4 position data L, height data H and terrain type data D are used in the calculation of the representation of the terrain on the side of the data L, H, D receiving second simulation computer 2 , Each simulation computer 2 has a graphics card with a graphics processor (GPU) 10 to which the transmitted position data L, height data th H and terrain type data D for calculating the display in the connected to the simulation computer 2 display device 3 are supplied. The control unit 11, the tessellator unit 12 and the calculation unit 13 are part of a processing chain of the graphics processor 10. They are designed to be programmable, so that they can be adapted to the requirements of the simulation device 1.
Zur Berechnung der einzelnen Pixel, welche auf der Anzeigevorrichtung 3 dargestellt werden sollen, werden dem Grafikprozessor 10 Polygondaten P, insbe- sondere Raumkoordinaten, der einzelnen Polygone des Geländes aus einem Speicher des zweiten Simulationsrechners 2 zugeführt. Innerhalb der GPU 10 durchlaufen diese Polygondaten P zunächst die Steuereinheit 11 , welche für jedes darzustellende Polygon prüft, ob es in einem veränderten Bereich des Geländes liegt. Hierzu werden die Positionsdaten L herangezogen. Durch einen Vergleich mit den Positionsdaten L kann die Steuereinheit feststellen, ob das zu prüfende Polygon Teil eines veränderten Geländebereichs ist. To calculate the individual pixels which are to be displayed on the display device 3, the graphics processor 10 receives polygon data P, in particular spatial coordinates, from the individual polygons of the terrain from a memory of the second simulation computer 2. Within the GPU 10, this polygon data P first passes through the control unit 11, which checks for each polygon to be displayed whether it lies in a changed area of the terrain. For this purpose, the position data L are used. By comparison with the position data L, the control unit can determine whether the polygon to be tested is part of a modified terrain area.
In einem sich daran anschließenden Prozesselement der Verarbeitungskette, der Tessellatoreinheit 12, werden dann solche Polygone, die durch die Steuer- einheit 11 als in dem veränderten Geländebereich liegend erkannt wurden, weiterverarbeitet. Zunächst wird die Auflösung der Höhendaten H bestimmt. In der Tessellatoreinheit 12 werden die erkannten Polygone gemäß der Auflösung der Höhendaten H in Sub-Polygone unterteilt, so dass der veränderte Geländebereich auf der Anzeigevorrichtung 3 detaillierter dargestellt werden kann. Hierzu werden der Tessellatoreinheit 12 die Höhendaten H zugeführt. In an adjoining process element of the processing chain, the tessellator unit 12, those polygons which were detected by the control unit 11 as lying in the changed terrain area are then further processed. First, the resolution of the height data H is determined. In the tessellator unit 12, the detected polygons are subdivided into sub-polygons according to the resolution of the height data H, so that the changed terrain area on the display device 3 can be displayed in more detail. For this purpose, the height data H are supplied to the tessellator unit 12.
In der als nächstes Prozesselement der Verarbeitungskette der GPU 10 angeordneten Berechnungseinheit 13 werden Raumkoordinaten, insbesondere Eckpunkte, der in der Tessellatoreinheit 12 erzeugten Sub-Polygone gemäß dem in den Höhendaten H gespeicherten Höhenoffset berechnet. Hierzu verfügt die Berechnungseinheit 13 über Zugriff auf die Höhendaten H. In the calculation unit 13 arranged as the next process element of the processing chain of the GPU 10, spatial coordinates, in particular corner points, of the sub-polygons generated in the tessellator unit 12 are generated according to the in FIG the altitude data H stored height offset calculated. For this purpose, the calculation unit 13 has access to the height data H.
Nachdem die einzelnen Polygone und Sub-Polygone des Geländes in den Ein- heiten 1 1 , 12, und 13 berechnet wurden, werden die Polygondaten P einem Pixel-Shader 1 zugeführt, in welchem die Farbwerte der einzelnen Bildpunkte der Anzeigevorrichtung 3 berechnet werden. Diesem Pixel-Shader 14 werden zudem die Geländetypdaten D zugeführt. Anhand der Geländetypdaten D wählt der Pixel-Shader 14 eine Untergrundtextur aus und berechnet für jeden Bildpunkt einen entsprechenden Farbwert, der anschließend auf der Anzeigevorrichtung 4 dargestellt wird. After the individual polygons and sub-polygons of the terrain in the units 1 1, 12, and 13 have been calculated, the polygon data P are supplied to a pixel shader 1 in which the color values of the individual pixels of the display device 3 are calculated. In addition, the terrain type data D is supplied to this pixel shader 14. On the basis of the terrain type data D, the pixel shader 14 selects a background texture and calculates for each pixel a corresponding color value, which is subsequently displayed on the display device 4.
Das vorstehend beschriebene Verfahren zur synchronen Wiedergabe eines aus Polygonen gebildeten Geländes einer virtuellen Realität ermöglicht es, die Übertragungszeit zur Übertragung der Daten über das Netzwerk 4 der Simulationsvorrichtung 1 zu verringern. Hierdurch können dynamische Geländeveränderungen in Echtzeit auf allen Anzeigevorrichtungen 3 angezeigt werden. Aufgrund einer effizienten Kommunikation und Synchronisation über das Netzwerk 4 ist eine hohe Darstellungsgeschwindigkeit erreichbar. Die Leistung von Hauptprozessoren und Grafikprozessoren 10 der Simulationsrechner 2 kann optimal und parallel genutzt werden. Ferner zeichnet sich das Verfahren dadurch aus, dass eine hohe Auflösung in den Anzeigevorrichtungen darstellbar ist und realistische Texturen und Texturübergänge Verwendung finden können. Auch wenn vorstehend die Vorgänge bei der Berechnung der Darstellung des Geländes auf der Anzeigevorrichtung 3 beschrieben wurden, die sich auf Seiten des die Positionsdaten L, Höhendaten H und Geländetypdaten D empfangenden Simulationsrechners 2 befindet, können diese Verfahrensschritte gleichfalls auf Seiten des Simulationsrechner 2 durchgeführt werden, welcher die Daten L, H und D berechnet und an die anderen Simulationsrechner 2 übermittelt. The above-described method for synchronous reproduction of a virtual reality land formed of polygons makes it possible to reduce the transmission time for transmitting the data via the network 4 of the simulation apparatus 1. As a result, dynamic terrain changes can be displayed in real time on all display devices 3. Due to an efficient communication and synchronization via the network 4, a high display speed can be achieved. The performance of main processors and graphics processors 10 of the simulation computer 2 can be used optimally and in parallel. Furthermore, the method is characterized in that a high resolution can be displayed in the display devices and realistic textures and texture transitions can be used. Although the processes in the calculation of the representation of the terrain on the display device 3 described above are on the side of the simulation computer 2 receiving the position data L, height data H and terrain type data D, these process steps may also be performed on the simulation computer 2 side. which one the data L, H and D calculated and transmitted to the other simulation computer 2.
Bezugszeichen: Reference numerals:
1 Simulationsvorrichtung1 simulation device
2 Simulationsrechner2 simulation computer
3 Anzeigevorrichtung3 display device
4 Netzwerk 4 network
10 Grafikprozessor10 graphics processor
1 1 Steuereinheit 1 1 control unit
12 Tessellatoreinheit 12 tessellator unit
13 Berechnungseinheit13 calculation unit
14 Pixel-Shader 14 pixel shaders
D GeländetypdatenD terrain type data
D.E Element D.E element
H Höhendaten  H elevation data
H.E Element  H.E element
L Positionsdaten L position data
L.O Element L.O element
L.1 Element  L.1 element
P Polygondaten  P polygon data

Claims

Verfahren zur synchronen Wiedergabe eines aus Polygonen gebildeten Geländes einer virtuellen Realität auf mehreren Anzeigevorrichtungen (3) einer Simulationsvorrichtung (1 ), welche mehrere über ein Netzwerk (4) miteinander verbundene Simulationsrechner (2) aufweist, wobei in jedem Simulationsrechner (2) Raumkoordinaten der Polygone des Geländes gespeichert sind und wobei ein erster Simulationsrechner (2) eine Veränderung des Geländes erzeugt, Method for synchronously reproducing a virtual reality terrain formed from polygons on several display devices (3) of a simulation device (1), which has several simulation computers (2) connected to one another via a network (4), with spatial coordinates of the polygons in each simulation computer (2). of the terrain are stored and a first simulation computer (2) generates a change in the terrain,
g e k e n n z e i c h n e t d u r c h folgende Verfahrensschritte: marked by the following process steps:
- der erste Simulationsrechner (2) erzeugt Positionsdaten (L), die angeben, welcher Bereich des Geländes verändert wurde, - the first simulation computer (2) generates position data (L) which indicates which area of the terrain has been changed,
- der erste Simulationsrechner (2) erzeugt Höhendaten (H) des veränderten Bereichs des Geländes, - the first simulation computer (2) generates height data (H) of the changed area of the terrain,
- der erste Simulationsrechner (2) übermittelt die Positionsdaten (L) und die Höhendaten (H) über das Netzwerk (4) zu einem zweiten Simulationsrechner (2), - the first simulation computer (2) transmits the position data (L) and the height data (H) via the network (4) to a second simulation computer (2),
- eine Steuereinheit (1 1 ) des zweiten Simulationsrechners (2) wählt anhand der Positionsdaten (L) jene Polygone des Geländes aus, die in dem veränderten Bereich liegen, - a control unit (1 1) of the second simulation computer (2) selects those polygons of the terrain that lie in the changed area based on the position data (L),
- eine Tessellatoreinheit (12) des zweiten Simulationsrechners (2) unterteilt die ausgewählten Polygone jeweils in mehrere SubPolygone, - a tessellator unit (12) of the second simulation computer (2) divides the selected polygons into several subpolygons,
- eine Berechnungseinheit (13) des zweiten Simulationsrechners (2) berechnet Raumkoordinaten der Sub-Polygone gemäß der Höhendaten (H), - a calculation unit (13) of the second simulation computer (2) calculates spatial coordinates of the sub-polygons according to the height data (H),
- die Sub-Polygone werden auf einer mit dem zweiten Simulationsrechner (2) verbundenen Anzeigevorrichtung (3) angezeigt. - The sub-polygons are displayed on a display device (3) connected to the second simulation computer (2).
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Positionsdaten (L) und die Höhendaten (H) parallel zu mehreren Simulationsrechnern (2) übertragen werden. Method according to claim 1, characterized in that the position data (L) and the height data (H) are transmitted in parallel to several simulation computers (2).
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass jedem Simulationsrechner (2) eine Anzeigevorrichtung (3) zugeordnet ist und auf den Anzeigevorrichtungen (3) unterschiedliche Ansichten des Geländes angezeigt werden. Method according to claim 2, characterized in that each simulation computer (2) is assigned a display device (3) and different views of the terrain are displayed on the display devices (3).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Positionsdaten (L) und /oder die Höhendaten (H) in einer Textur hinterlegt sind. Method according to one of the preceding claims, characterized in that the position data (L) and/or the height data (H) are stored in a texture.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Textur der Höhendaten (H) eine höhere Auflösung als die Textur der Positionsdaten (L) aufweist. Method according to claim 4, characterized in that the texture of the height data (H) has a higher resolution than the texture of the position data (L).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Höhendaten (H) als Quadtree über das Netzwerk (4) übermittelt werden. Method according to one of the preceding claims, characterized in that the height data (H) is transmitted as a quadtree via the network (4).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (1 1 ), die Tessellatoreinheit (12) und die Berechnungseinheit (13) Teil einer Grafikkarte des Simulationsrechners, insbesondere Teil eines Grafikprozessors (10), sind. Method according to one of the preceding claims, characterized in that the control unit (1 1), the tessellator unit (12) and the calculation unit (13) are part of a graphics card of the simulation computer, in particular part of a graphics processor (10).
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (1 1 ) für jedes auf der Anzeigevorrich- tung (3) darzustellende Polygon prüft, ob es in einem veränderten Bereich des Geländes liegt. 8. The method according to any one of the preceding claims, characterized in that the control unit (1 1) for each on the display device The polygon to be displayed in (3) checks whether it lies in a changed area of the terrain.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die Auflösung der Höhendaten (H) bestimmt wird und die9. Method according to one of the preceding claims, characterized in that the resolution of the height data (H) is determined and the
Tessellatoreinheit (12) die Polygone gemäß der Auflösung der Höhendaten (H) in Sub- Polygone unterteilt. Tessellator unit (12) divides the polygons into sub-polygons according to the resolution of the height data (H).
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die Berechnungseihheit (13) die Raumkoordinaten der10. Method according to one of the preceding claims, characterized in that the calculation unit (13) contains the spatial coordinates of the
Sub-Polygone gemäß einem in den Höhendaten (H) gespeicherten Höhe- noffset berechnet. Sub-polygons calculated according to an elevation offset stored in the elevation data (H).
11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass der erste Simulationsrechner (2) Geländetypdaten (D) des veränderten Bereichs des Geländes erzeugt, die zur Darstellung der Oberfläche des veränderten Bereichs auf dem zweiten Simulationsrechner (2) an den zweiten Simulationsrechner (2) übermittelt werden. 11. Method according to one of the preceding claims, characterized in that the first simulation computer (2) generates terrain type data (D) of the changed area of the terrain, which is sent to the second simulation computer (2) for displaying the surface of the changed area on the second simulation computer (2). 2) be transmitted.
12. Verfahren nach Anspruch 11 , dadurch gekennzeichnet, dass die Geländetypdaten (D) Einträge (D.E) aufweisen, welche jeweils einen Verweis auf eine Untergrundtextur (T) bilden. 12. The method according to claim 11, characterized in that the terrain type data (D) has entries (D.E), which each form a reference to a subsurface texture (T).
13. Verfahren nach einem der Ansprüche 11 oder 12, dadurch gekennzeich- net, dass zur Anzeige eines Bildpunktes auf der Anzeigevorrichtung (3) ein Pixel Shader (14) des zweiten Simulationsrechners (2) anhand der Geländetypdaten (D) eine Untergrundtextur (T) auswählt und eine Farbe des Bildpunktes berechnet. Verfahren nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass der zweite Simulationsrechner (2) anhand der Gelandetypda ten (D) einen dem jeweiligen Geländetyp entsprechenden Bodenbewuchs auf der Anzeigevorrichtung (3) darstellt. 13. The method according to one of claims 11 or 12, characterized in that to display a pixel on the display device (3), a pixel shader (14) of the second simulation computer (2) uses the terrain type data (D) to create a subsurface texture (T). selects and calculates a color of the pixel. Method according to one of claims 11 to 13, characterized in that the second simulation computer (2) uses the terrain type data (D) to display soil vegetation corresponding to the respective terrain type on the display device (3).
EP13726669.8A 2012-04-05 2013-04-03 Method for synchronous representation of a virtual reality in a distributed simulation device Ceased EP2836992A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012103011A DE102012103011A1 (en) 2012-04-05 2012-04-05 Method for the synchronous reproduction of a virtual reality in a distributed simulation device
PCT/DE2013/100119 WO2013149616A1 (en) 2012-04-05 2013-04-03 Method for synchronous representation of a virtual reality in a distributed simulation device

Publications (1)

Publication Number Publication Date
EP2836992A1 true EP2836992A1 (en) 2015-02-18

Family

ID=48576163

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13726669.8A Ceased EP2836992A1 (en) 2012-04-05 2013-04-03 Method for synchronous representation of a virtual reality in a distributed simulation device

Country Status (5)

Country Link
US (1) US9208752B2 (en)
EP (1) EP2836992A1 (en)
CA (1) CA2868370A1 (en)
DE (1) DE102012103011A1 (en)
WO (1) WO2013149616A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105934403A (en) * 2014-01-27 2016-09-07 沃尔沃建造设备有限公司 Outrigger and dozer control using gui
KR101555426B1 (en) * 2014-02-07 2015-09-25 고려대학교 산학협력단 Method and apparatus for rendering terrain
DE102016103057A1 (en) * 2016-02-22 2017-08-24 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for detecting and displaying changes in a real environment comprising a real estate and real objects contained therein
WO2021048992A1 (en) * 2019-09-12 2021-03-18 日本電信電話株式会社 Preprocessing device, determining system, preprocessing method, and preprocessing program
CN112885163B (en) * 2021-02-01 2022-05-06 临沂大学 Intelligent teaching device system for ideological and political education

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050264566A1 (en) * 2004-05-26 2005-12-01 Sommers Anthony L Terrain editor tool for rule-based procedural terrain generation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070067106A1 (en) * 2005-09-20 2007-03-22 Antoine Lennox B Streaming geometry using quasi-pyramidal structure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050264566A1 (en) * 2004-05-26 2005-12-01 Sommers Anthony L Terrain editor tool for rule-based procedural terrain generation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DOMINIK BREUER: "Architektur-Recovery zur Erweiterung des Simulators Sagittarius Interoperabilität von Simulatoren nach DIS-und HLA-Standard", 5 August 2005 (2005-08-05), pages 1 - 135, XP055300991, Retrieved from the Internet <URL:https://www.uni-koblenz.de/~ist/documents/breuer2005da.pdf> [retrieved on 20160908] *
See also references of WO2013149616A1 *

Also Published As

Publication number Publication date
WO2013149616A1 (en) 2013-10-10
US9208752B2 (en) 2015-12-08
DE102012103011A1 (en) 2013-10-10
US20150054714A1 (en) 2015-02-26
CA2868370A1 (en) 2013-10-10

Similar Documents

Publication Publication Date Title
DE69907644T2 (en) REAL-TIME SYSTEM FOR THREE-DIMENSIONAL REALISTIC VIRTUAL IMAGE DISPLAY
DE60115034T2 (en) REFINEMENT OF THREE-DIMENSIONAL POLYGONAL GRID DATA
EP1631938B1 (en) Method for generating a three-dimensional terrain model
EP0780800A2 (en) Method and apparatus for imaging space related data
DE3022454A1 (en) OPTICAL IMAGE SYSTEM WITH COMPUTER GENERATED IMAGE FOR A FLOOR-RESISTANT FLIGHT SIMULATOR
EP2836992A1 (en) Method for synchronous representation of a virtual reality in a distributed simulation device
DE60106301T2 (en) METHOD AND SYSTEM FOR EXPORTING DATA ASSOCIATIONS TO TWO-DIMENSIONAL OR THREE-DIMENSIONAL GEOMETRIC ENTITIES
EP2201524A2 (en) Method for creating and/or updating textures of background object models, video monitoring system for carrying out the method, and computer program
DE112013006818T5 (en) Processing device for three-dimensional information
DE19549096A1 (en) Simulation device and method
WO2008074561A1 (en) Method for displaying a map section in a navigation system, and navigation system
DE102015120999A1 (en) A method of generating and displaying a computer-generated real-environment simulation environment
EP1628262A2 (en) Method and Apparatus for rendering a threedimensional topography
WO2017092733A1 (en) Method for preparatory simulation of a military operation in an operational area
DE69632717T2 (en) METHOD FOR DYNAMIC SYNTHETIC IMAGING WITH AUTOMATIC DETAIL AND DEVICE FOR CARRYING OUT THIS METHOD
EP3353723A1 (en) Method, computer program and system for transmitting data in order to produce an interactive image
DE4209936C2 (en) Terrain image simulator
WO2017144033A1 (en) Method for identifying and displaying changes in a real environment comprising a real terrain and real objects situated therein
DE112013005715T5 (en) 3D image forming apparatus and 3D image forming method
DE102013106280A1 (en) Method for visualizing a CAD model
DE102013207065A1 (en) Method and system for producing synthetic ortho images
DE69233060T2 (en) System for displaying spatial incisions for solid model surfaces
DE69936376T2 (en) METHOD AND DEVICE FOR GENERATING AN IMAGE
DE102015120927A1 (en) Method for displaying a simulation environment
DE102016011131A1 (en) Render a three-dimensional object

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20141103

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180921