EP3126782A1 - Speed display - Google Patents

Speed display

Info

Publication number
EP3126782A1
EP3126782A1 EP15713707.6A EP15713707A EP3126782A1 EP 3126782 A1 EP3126782 A1 EP 3126782A1 EP 15713707 A EP15713707 A EP 15713707A EP 3126782 A1 EP3126782 A1 EP 3126782A1
Authority
EP
European Patent Office
Prior art keywords
speed
patterns
movement
image display
real object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15713707.6A
Other languages
German (de)
French (fr)
Inventor
Hans-Ulrich Döhler
Sven Schmerwitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Publication of EP3126782A1 publication Critical patent/EP3126782A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B64D43/02—Arrangements or adaptations of instruments for indicating aircraft speed or stalling conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P1/00—Details of instruments
    • G01P1/06—Indicating or recording devices, e.g. for remote indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Definitions

  • the invention relates to a method for the computer-controlled display of a speed information, which represents the speed of movement of a movable real object with respect to its environment, by means of an image display device according to claim 1.
  • the invention also relates to a device for computer-controlled display of speed information according to claim 9, a flying object with such a device according to claim 12 and a computer program therefor according to claim 13.
  • a computer-controlled display of speed information can be very helpful with various technical devices for operation and control. Particularly in the case of technical devices whose control is relatively complex and accordingly places high demands on an operator, there is a need for a catchy and intuitively recordable display of speed information. This applies, for example, for land vehicles, watercraft, underwater vehicles and especially for aircraft or flying objects of any kind.
  • the control of helicopters anyway already high demands on the pilot. Therefore, the invention and its advantages will be explained below mainly by the example of the control of helicopters, but this in no way restricts the general usability of the invention to other objects such as the aforementioned vehicles.
  • a flight phase that requires maximum concentration from the helicopter pilot is the landing.
  • the pilot shall ensure, by means of appropriate control inputs, that, in particular, the lateral drift of the helicopter does not exceed a certain limit immediately before landing. Failure to observe this maximum allowable lateral drift may result in a dangerous rolling moment following the first contact of the landing gear or landing gear with the ground, which may eventually result in a lateral rollover of the helicopter.
  • the pilot In order for the pilot to be able to judge the lateral drift at the moment of touchdown and to compensate for it by means of control inputs, as complete an as possible visual detection of the immediate surroundings of the helicopter is required. In landings where the detection of the surroundings is restricted by the movement of sand, dust or snow, dangerous situations and even accidents occur again and again. In particular, shortly before the helicopter touchdown on a landing surface, it may happen in sand- or snow-rich areas that the entire external field of vision is no longer recognizable and thus the pilot is no longer able to visually assess the position and assess lateral drift.
  • the invention has for its object to provide methods and apparatus for computer-controlled display of speed information that allow a user even easier and more intuitive detection of the speed of movement of the moving real object against its surroundings.
  • the invention has the advantage of providing the pilot, visually in minimized form, with the information needed to perform the necessary control tasks, eg when landing in dusty or snowy areas, to the pilot, and in particular in the case of helicopters, so that the additional cognitive load is also minimized ,
  • This is done by creating one or more visually perceptible moving graphic patterns, which may also be kept simple, eg simple geometric figures.
  • the reproduction of the moving speed of the movable real object is only qualitative and not quantitative, that is, as in the prior art. with a numerical relation to the actual moving speed of the movable real object.
  • the cognitive load can be further reduced and, in particular, transferred to the area of at least temporarily subconscious perception of a person.
  • a further advantage of the invention in the application of the guidance of aircraft is that further or atmospheric-related restrictions of the natural external view can be compensated with the aid of the computer-controlled display of the speed information and possibly the visually conforming representation. It is thus used e.g. possible to perform helicopter flights under reduced visibility in a much simpler way. In particular, a landing can now be carried out in a simpler and safer manner with whirled-up dust, sand or snow.
  • the type of display of a qualitative speed representation according to the invention is particularly useful when the underlying control task requires keeping a speed or speed difference sufficiently small. Exactly this application is e.g. during a helicopter landing.
  • the present invention provides Qualitative reproduction of the movement speed by means of the one or more moving graphic patterns also has the possibility to control without the need to acquire complex data to a specific destination, namely to achieve a drift speed of zero in a helicopter.
  • the invention can be used.
  • the input variable of the method according to the invention, the speed information tion is then fed as a difference value between the setpoint speed and the actual speed.
  • the speed information can be determined via sensors and the method or the device explained below, for example be supplied via a data interface. It can e.g. the actual speed (actual speed) is supplied as speed information or, as previously mentioned, a differential speed determined as the difference between the actual speed and a target speed.
  • the image display device may be any of a variety of technical image display devices currently available or to be developed in the future, such as e.g. a monitor, a flat screen or display of any kind, or a projector, e.g. a beamer, a virtual reality display, an augmented reality display, a partially transparent mirror display, a laser projector, a virtual retinal display.
  • the image display device may e.g. be designed in the form of a head-up display or helmet-mounted display.
  • Such image display devices have an image display area within which a representation of image data is possible. The representation of the image data takes place on an image display area.
  • the image display area may be a projection area that is not part of the image display device. In all other image display devices, the image display area is part of the image display device, e.g. in the form of an LCD display.
  • a helmet-mounted display (HMD) is provided as the image display device, it is advantageous to provide a semitransparent mirror in such a system, which projects a computer-generated image in front of the viewer's eyes.
  • the focal plane of the displayed image of an adaptation of the eye to the Distance eg corresponds to a distance range of more than 20 meters.
  • the image of the real external view appears as sharp as the superimposed computer-generated image representation.
  • the moving graphic pattern or patterns are moved in a one-dimensional movement in the image display area of the image display device. This further improves the simple and intuitive comprehensibility of the communicated qualitative speed information and thus additionally relieves the user.
  • the graphic pattern (s) are visualized together with an area of the real environment of the movable real object.
  • the graphic pattern (s) perform a movement relative to the visualization of the real environment.
  • the graphic patterns move relative to objects of the depicted environment.
  • the simultaneous representation of a region of the real environment of the moving object together with the one or more graphical patterns has the advantage that the user does not have to look away from the real environment to perceive the velocity information represented by the graphic patterns. A constant reciprocating and refocusing of the eyes is thereby avoided, which makes it much easier for the user, in particular the helicopter pilots located in a country situation, to perform his control tasks concentrated.
  • the graphic pattern (s), together with a region of the real environment of the mobile object are visualized in a visually conforming representation.
  • a visual-conformal representation is a reproduction which is congruent with the real external view and follows a head movement of the observer. This can eg by detecting the head movement of the viewer, eg by means of a head tracker. In this case, the orientation of the viewing axis of the observer can be taken into account in the generation of the images represented by the image display device.
  • the representation of the graphic pattern (s) in the visually-conforming representation they can be reproduced relative to the visualized environment in such a way that they do not move and, as it were, seem to stick to certain objects of the real environment.
  • the position and orientation of the aircraft may also be taken into account, eg by taking into account data from a navigation system and / or an inertial sensor system. If, in combination with this, a movement of the graphic pattern or patterns is to take place relative to the visualization of the real environment, this can be achieved, for example, by moving the graphic pattern (s) along certain lines or edges that appear in the visualized environment, eg in the form of a one-dimensional movement along the horizon or along a boundary edge of the landing surface of the aircraft.
  • At least one parameter of the movement of the graphic pattern or patterns as a function of the speed of movement of the movable real object relative to the surroundings is determined.
  • the speed at which they are moved across the image display surface is determined as mentioned. For example, at high moving speeds of the movable real object, the graphic pattern can be moved faster over the image display area than at a slow moving speed of the moving real object.
  • the moving speed of the movable real object for example in the case of a helicopter landing, the undesired transverse drift velocity, is adjusted to approximately zero or at least below a critical limit value, the movement of the graphic pattern on the image display surface can also be terminated, ie Pattern is stopped and remains at the last shown position of the image display area.
  • the speed of the movement of the graphic pattern or patterns is determined with the correct sign as a function of the speed of movement of the movable real object relative to the surroundings.
  • the supplied speed information is shown in the qualitative representation e.g. reduced to left / right information or forward / backward information.
  • the conversion of the moving speed of the movable real object into the speed of movement of the graphic pattern (s) on the image display surface can be done by a linear or a non-linear relationship, in which case the speed information is converted into the speed of movement of the graphic pattern (s) strengthened or weakened.
  • the association between the speed information and the speed of the movement of the graphic pattern or patterns can basically take place according to any function or relation, also in the form of piecewise linear or non-linearly defined functions and / or relations.
  • At least one parameter of the movement of the graphic pattern (s) is varied steplessly or in predetermined stages.
  • the speed of movement of the graphic pattern or patterns can be varied in certain stages, eg the three levels “no movement", “slow movement”, “fast movement.”
  • the exact values for the speed of the movement are, depending on the technical configuration of the used devices, in particular the image display device, so that it does not lead to undesirable interference effects, for example, with the image display rate of the image display device. riation of the speed of movement of the graphic pattern or patterns is to be prevented by appropriate selection of limits unwanted interference phenomena.
  • the at least one parameter of the movement of the graphic pattern or patterns is determined and / or varied in dependence on one or more further parameters determined by sensors, ie in addition to the already mentioned one parameter of the movable real object becomes .
  • a further parameter for influencing the movement of the graphic pattern or patterns for example, the distance of the movable real object from other objects or objects or, in the case of a flying object, the altitude can be used.
  • the degree of gain or attenuation in translating the velocity information into the speed of movement of the graphic pattern or patterns may be made dependent upon one or more such parameters.
  • the moving graphic pattern or patterns are displayed in the outer edge area of the image display area of the image display device.
  • This has the advantage that the central area of the image display area, which is intuitively mainly perceived by a viewer, does not have to be occupied by the graphic patterns and accordingly other information or, in particular in the case of a visually conformable representation, a region of the real environment can be displayed.
  • a further advantage is that by laying the graphic pattern or patterns in the edge area, the information represented by the pattern can be supplied to the level of the at least temporarily unconscious perception of a person.
  • the speed information may indicate the amount of moving speed of the movable real object, e.g. represent as scalar size.
  • one or more of the following speed components of the moving speed of the movable real object are indicated by means of the graphic pattern (s): longitudinal speed, lateral speed, vertical speed.
  • the longitudinal velocity is the velocity component in the longitudinal direction (longitudinal axis) of the moving real object, the lateral velocity the velocity component in the transverse direction (transverse axis) and the vertical velocity in the direction of the vertical axis.
  • the illustrated speed information can be further simplified and equalized and, in particular, limited to a speed component which is actually relevant in practice, such as e.g.
  • the method is used for the computer-controlled display of a plurality of speed information, which are respective speed components of the speed of movement of the movable real object.
  • speed information which are respective speed components of the speed of movement of the movable real object.
  • one, several or all of the graphic patterns are selected from the set of the following patterns: a) periodic patterns, b) non-periodic patterns,
  • Similar patterns or different types of patterns can be selected therefrom, e.g. a dashed pattern for the representation of the lateral velocity and a random pattern for the representation of the longitudinal velocity. This simplifies the intuitive distinction of the presented information without high cognitive effort for the viewer.
  • the invention further relates to a device for the computer-controlled display of speed information, which represents the speed of movement of a movable real object relative to its surroundings, by means of an image display device, wherein the device is supplied with the speed information, wherein the device for displaying the speed information according to a method of previously mentioned.
  • the device may e.g. the image display device and possibly other components, such as. a head tracker.
  • the device has at least one head tracker or an interface to a head tracker and is set up for visually compliant output of graphic information on the image display device.
  • a flying object in particular an aircraft, with a device of the type described above.
  • the image display device can be carried along in the flying object.
  • the image display device can be arranged, for example, in the region of the instrument panel or, in particular in the case of visually conforming representation, in the form of a head-up display or a helmet-mounted display.
  • the flying object can be designed in particular as a helicopter.
  • the object mentioned at the outset is furthermore achieved according to claim 13 by a computer program with program code means set up to carry out the method of the previously described type when the computer program is executed on a computer.
  • Figure 1 shows the basic structure of a helmet-mounted display
  • FIG. 2 shows an embodiment of the computer-controlled display of a region of the real environment of the mobile object by means of an image display device in a visually conforming representation
  • FIG. 3 shows the illustration according to FIG. 2, supplemented by a computer-controlled display of speed information by means of moving graphic patterns and
  • FIGS. 2 and 3 shows an image representation according to FIGS. 2 and 3 with additionally supplemented elements of the real environment.
  • like reference numerals are used for corresponding elements.
  • FIG. 1 shows the basic structure of a so-called helmet-mounted display, which, in particular in the case of helicopter control, can advantageously be used as an image display device for implementing the invention.
  • a helicopter pilot is in today's state of the art often equipped with such a HMD, so that for a realization of the invention only a few additions are necessary, such. an extension of the computer program of a computer, e.g. a graphics computer.
  • the user is projected by means of an optoelectronic projector 1 a computer-generated or computer-generated graphic image onto a semitransparent mirror 2.
  • the user's eye detects the external view, ie at least a region 3 of the real environment of the mobile object, in this case a helicopter.
  • the outer view is superimposed on the projected elements of the computer-generated image.
  • a helmet-mounted element 4a which cooperates with an element 4b fixedly mounted in the vicinity of the helmet 4.
  • the elements 4a, 4b together
  • Headtracker 4a, 4b measured solid angle of the helmet relative to the immediate environment are detected in a helmet control unit 5.
  • the helmet control unit 5 transmits the helmet orientation to a graphics computer 6 connected thereto.
  • This serves as a central computer for the computer-controlled display of the speed information as well as for further information, such as further images displayed in the HMD.
  • the helmet control unit 5 receives the image data generated in the graphics computer 6 and prepares them so that they can be projected by the projector 1 and give the desired image.
  • the imaging in the graphics computer 6 In order for the imaging in the graphics computer 6 to be able to visually follow the motion of the moving real object (3D angle and 3D position), they are interfaced to the real moving object 7, e.g. to a central on-board computer which transmits relevant operating data to the graphics computer 6, e.g. Flight condition data such as position, speed, position, altitude, etc.
  • relevant operating data e.g. Flight condition data such as position, speed, position, altitude, etc.
  • Information with the parameters of possible landing sites are made available via a local on-board database 8.
  • on-board mounted imaging sensors, cameras, optical or millimeter-wave based radar systems can provide short-term data from potential landing sites in this database.
  • the supplied data are processed in the graphics computer 6 for a visually compliant representation of the generated image data.
  • certain elements or objects in the environment e.g. the edges of a landing pad, are provided by the graphics computer with special markings in the image representation.
  • FIG. 2 shows an embodiment of the proposed visually compliant display initially without the representation of the speed information.
  • the horizon line 10 in dashed form (eg 5 degrees intervals) on the entire image display area is shown.
  • the lower part of the image display area of the virtual landing site is shown in the form of a perspective partially reproduced rectangle.
  • the lateral edges of the landing are represented by the lines 1 1 a and 1 1 b.
  • the front edge of the landing site is represented by lines 12a and 12b.
  • 12c shows a gap between the lines 12a and 12b, which is additionally illustrated by two vertical, downwardly facing markings.
  • a marker 15 represents the lateral storage of the helicopter from the center of the landing site.
  • Two further markings 14a and 14b represent the longitudinal rest of the helicopter from the landing center. The position of these markers is shifted by half the longitudinal extent of the landing site forward. When the helicopter hovers exactly above the center of the landing site, the markers 14a and 14b appear at the front left and right corners of the virtual display of the landing site, respectively.
  • a scale 1 3a to 13d for example, divided into 1 0 foot increments, is shown above the two front corners of the landing site. The zero point of this height scale is formed by 13c or 13d.
  • the reading of the height of the helicopter over ground is made possible at the intersections of the horizon line 10 with the height scale.
  • the vertical distance between the pilot's eyes and the helicopter landing gear can also be taken into account. This vertical distance is to be seen at the distance between the front corners of the landing field and the zero point of the height scale.
  • FIG. 3 shows a representation according to FIG. 2 which has been changed by the computer-controlled display of speed information according to the invention.
  • the boundary of the virtual landing site which according to FIG. 2 consisted of the lines 11a, 11b, 12a, 12b, is reproduced for reproducing speed information , now replaced by a dashed border with the lines 16a, 16b, 17.
  • the lines 16a, 16b, 17 are moved on the image display surface depending on certain components of the speed of movement of the helicopter.
  • the line patterns of the lines 16a, 16b move forward or backward (in a perspective view), depending on the longitudinal speed of the helicopter.
  • the line pattern of line 17 moves to the left or right depending on the lateral speed. In this case, the lines remain 16a, 16b, 1 7 but in total at their respective position.
  • the pilot of the helicopter can well understand, based on the direction and speed of the movements of the moving graphic patterns created by the dashed borders, whether his airspeed, in particular the lateral velocity, is small enough before he touches down the helicopter on the landing pad.
  • this display can also be used.
  • FIG. 4 shows the superposition of the described display format according to FIG. 3 with the real environment, as perceived by the pilot when looking through the HMD. From the real environment z. B. the horizon line with mountain ranges 20, a runway 21 and runway markers 22 are shown. It is good to see that the transparency of the display is minimally disturbed by the use of fewer graphic elements. Unexpectedly appearing objects in the external view are thus quickly detectable. Due to the conformity of the display, all elements always appear in the same position of the external view regardless of the movement of the helicopter and regardless of the movement of the helmet.
  • One aspect of the present invention is the representation of velocity relative to the ground by moving patterns.
  • the moving graphic patterns should only be displayed in those places in the display where already a line already appears, in the embodiment proposed here the edges of the visually compliant landing pad shown by dashed lines.
  • the helicopter position relative to the edges of the landing site is thus still fully readable.
  • the lateral deviation from the center of the landing site is represented by a mark on the front edge of the landing site.
  • the longitudinal deviation from the landing center is represented by a marker on the left or right edge of the landing site.
  • the longitudinal speed of the helicopter in the coordinate system of the landing field is visualized by the movement of the line pattern 16a, 16b on the left and right edges of the landing field.
  • the lateral velocity of the helicopter in the coordinate system of the landing site is visualized by the movement of the line pattern 17 at the front edge of the landing site.
  • the illustrated motions of these patterns can be scaled by a non-linear but faithful scaling (e.g., arc tangent function or root function) of the velocities.
  • speeds of a few +/- 10 m / s up to +/- 0.1 m / s can be represented.
  • This type of display of a qualitative representation of speed is particularly helpful if the underlying control task is to keep a speed sufficiently low.
  • FIG. 1 For this purpose, as a moving graphic pattern, e.g. a superimposed dashed line are displayed in a visually conforming representation on the leading part of the roadway, the dash pattern of which falls below the target speed away from the viewer or moves to it when exceeded. If the target speed is maintained exactly, the bar pattern can not be moved.
  • a moving graphic pattern e.g. a superimposed dashed line are displayed in a visually conforming representation on the leading part of the roadway, the dash pattern of which falls below the target speed away from the viewer or moves to it when exceeded. If the target speed is maintained exactly, the bar pattern can not be moved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a method for the computer-controlled display of speed information, which represents the movement speed of a real moving object relative to the surroundings of the object, using an image display device. The speed information is displayed by generating one or more visually perceptible moving graphical patterns using the image display device, wherein the movement speed of the real moving object is reproduced by the one or more graphical patterns in a qualitative manner. The invention further relates to a device for the computer-controlled display of speed information, to a flying object with such a device, and to a computer program for this purpose.

Description

Geschwindigkeitsanzeige  speedometer
Die Erfindung betrifft ein Verfahren zur rechnergesteuerten Anzeige einer Ge- schwindigkeitsinformation, die die Bewegungsgeschwindigkeit eines beweglichen realen Objektes gegenüber seiner Umgebung repräsentiert, mittels eines Bildanzeigegeräts gemäß dem Anspruch 1 . Die Erfindung betrifft außerdem eine Einrichtung zur rechnergesteuerten Anzeige einer Geschwindigkeitsinformation gemäß dem Anspruch 9, ein Flugobjekt mit einer solchen Einrichtung gemäß dem Anspruch 12 sowie ein Computerprogramm hierfür gemäß dem Anspruch 13. The invention relates to a method for the computer-controlled display of a speed information, which represents the speed of movement of a movable real object with respect to its environment, by means of an image display device according to claim 1. The invention also relates to a device for computer-controlled display of speed information according to claim 9, a flying object with such a device according to claim 12 and a computer program therefor according to claim 13.
Eine rechnergesteuerte Anzeige von Geschwindigkeitsinformationen kann bei diversen technischen Einrichtungen für die Bedienung und Steuerung sehr hilf- reich sein. Insbesondere bei technischen Einrichtungen, deren Steuerung relativ komplex ist und dementsprechend hohe Anforderungen an eine Bedienperson stellt, besteht ein Bedarf an einer eingängigen und intuitiv erfassbaren Anzeige von Geschwindigkeitsinformationen. Dies gilt beispielsweise für Landfahrzeuge, Wasserfahrzeuge, Unterwasserfahrzeuge und ganz besonders für Luftfahrzeuge bzw. Flugobjekte jeder Art. Hierbei stellt insbesondere die Steuerung von Hubschraubern ohnehin schon hohe Anforderungen an den Piloten. Daher werden nachfolgend die Erfindung und ihre Vorteile vorwiegend am Beispiel der Steuerung von Hubschraubern erläutert, was aber die allgemeine Nutzbarkeit der Erfindung für andere Objekte wie z.B. die zuvor erwähnten Fahrzeuge in keiner Weise einschränkt. Eine Flugphase, die vom Hubschrauberpiloten höchste Konzentration erfordert, ist die Landung . Bei jeder Landung hat der Pilot durch geeignete Steuereingaben dafür zu sorgen, dass insbesondere die seitliche Drift des Hubschraubers unmittelbar vor dem Aufsetzen eine bestimmte Größe nicht überschreitet. Bei Nichtbeachtung dieser maximal zulässigen Querdrift kann nach der ersten Berührung des Landegestells oder Fahrwerks mit dem Boden ein gefährliches Rollmoment entstehen, welches schließlich zu einem seitlichen Überschlag des Hubschraubers führen kann . Damit der Pilot die Querdrift im Moment des Aufsetzens beurteilen und durch Steuereingaben kompensieren kann, ist eine möglichst uneingeschränkte visuelle Erfassung der unmittelbaren Umgebung des Hubschraubers erforderlich . Bei Landungen, in denen durch aufgewirbelten Sand, Staub oder Schnee die visuelle Erfassung der Umgebung eingeschränkt wird, kommt es immer wieder zu gefährlichen Situationen und auch zu Unfällen . Insbesondere kurz vor dem Aufsetzen des Hubschraubers auf einer Lande- fläche kann es in sand- bzw. schneereichen Gebieten vorkommen, dass das gesamte Außensichtfeld nicht mehr erkennbar ist und damit die visuelle Lageerfassung und Beurteilung der Querdrift dem Piloten nicht mehr möglich ist. A computer-controlled display of speed information can be very helpful with various technical devices for operation and control. Particularly in the case of technical devices whose control is relatively complex and accordingly places high demands on an operator, there is a need for a catchy and intuitively recordable display of speed information. This applies, for example, for land vehicles, watercraft, underwater vehicles and especially for aircraft or flying objects of any kind. Here, in particular, the control of helicopters anyway already high demands on the pilot. Therefore, the invention and its advantages will be explained below mainly by the example of the control of helicopters, but this in no way restricts the general usability of the invention to other objects such as the aforementioned vehicles. A flight phase that requires maximum concentration from the helicopter pilot is the landing. At each landing, the pilot shall ensure, by means of appropriate control inputs, that, in particular, the lateral drift of the helicopter does not exceed a certain limit immediately before landing. Failure to observe this maximum allowable lateral drift may result in a dangerous rolling moment following the first contact of the landing gear or landing gear with the ground, which may eventually result in a lateral rollover of the helicopter. In order for the pilot to be able to judge the lateral drift at the moment of touchdown and to compensate for it by means of control inputs, as complete an as possible visual detection of the immediate surroundings of the helicopter is required. In landings where the detection of the surroundings is restricted by the movement of sand, dust or snow, dangerous situations and even accidents occur again and again. In particular, shortly before the helicopter touchdown on a landing surface, it may happen in sand- or snow-rich areas that the entire external field of vision is no longer recognizable and thus the pilot is no longer able to visually assess the position and assess lateral drift.
Zur Verbesserung dieser Situation wird z.B. in der DE 1 0 2007 014 01 5 A1 vor- geschlagen, die Geschwindigkeit des Helikopters über Grund in einer Art virtuellen zweidimensionalen Draufsicht auf den Landeplatz mit Hilfe eines Drift- Indikators darzustellen, welcher mit einem virtuellen Gummiband mit dem Mittelpunkt der Schwebeflug-Symbolik verbunden ist. Über zwei konzentrische Kreise wird eine Geschwindigkeitsskalierung der Darstellung realisiert. Durch die Lage des Drift-Indikators bzw. die Länge des virtuellen Gummibands kann der Pilot zu jeder Zeit der angezeigten Information die Driftgeschwindigkeit des Hubschraubers über Grund quantitativ entnehmen. To improve this situation, e.g. in DE 1 0 2007 014 01 5 A1 proposed to represent the speed of the helicopter over ground in a kind of virtual two-dimensional plan view of the landing site with the aid of a drift indicator, which is connected to a virtual rubber band with the center of hovering symbolism is. Two concentric circles realize a speed scaling of the display. By the location of the drift indicator or the length of the virtual rubber band, the pilot can at any time of the displayed information quantitatively remove the drift speed of the helicopter over ground.
Weitere Anzeigeverfahren sind bekannt aus den Schriften DE 1 0 201 2 023 107 A1 , DE 10 2013 206 714 A1 , DE 10 2008 023 040 A1 , DE 39 30 862 A1 , US 8 295 997 B2, US 7 091 881 B2, US 2009/0 138 142 A1 , DE 698 05 839 T2, EP 1 598 642 A1 , US 7 965 202 B1 Further display methods are known from the publications DE 1 0 201 2 023 107 A1, DE 10 2013 206 714 A1, DE 10 2008 023 040 A1, DE 39 30 862 A1, US Pat. No. 8,295,997 B2, US Pat. No. 7,091,881 B2, US 2009 / 0 138 142 A1, DE 698 05 839 T2, EP 1 598 642 A1, US Pat. No. 7,965,202 B1
Der Erfindung liegt die Aufgabe zugrunde, Verfahren und Einrichtungen zur rechnergesteuerten Anzeige einer Geschwindigkeitsinformation anzugeben, die einem Benutzer eine noch einfachere und intuitivere Erfassung der Bewegungsgeschwindigkeit des beweglichen realen Objekts gegenüber seiner Umgebung erlauben . The invention has for its object to provide methods and apparatus for computer-controlled display of speed information that allow a user even easier and more intuitive detection of the speed of movement of the moving real object against its surroundings.
Diese Aufgabe wird durch ein Verfahren zur rechnergesteuerten Anzeige einer Geschwindigkeitsinformation gemäß Anspruch 1 gelöst. This object is achieved by a method for the computer-controlled display of speed information according to claim 1.
Die Erfindung hat den Vorteil, dem Benutzer und insbesondere im Fall von Hubschraubern dem Piloten die für die Durchführung der erforderlichen Steuerungsaufgaben, z.B. bei einer Landung in staubreichen oder schneereichen Gegenden, erforderlichen Informationen visuell in minimalisierter Form bereitzustellen, so dass die kognitive Zusatzbelastung ebenfalls minimiert ist. Dies erfolgt durch Erzeugung von einem oder mehreren visuell wahrnehmbaren sich bewegenden grafischen Mustern, die ebenfalls einfach gehalten sein können, z.B. einfache geometrische Figuren sein können. Zudem erfolgt die Wiederga- be der Bewegungsgeschwindigkeit des beweglichen realen Objekts nur qualitativ und nicht, wie im Stand der Technik, quantitativ, d .h. mit einem zahlenmäßigen Bezug zur tatsächlichen Bewegungsgeschwindigkeit des beweglichen realen Objekts. Durch psychologisch geeignete Auswahl und Anordnung der dargestellten graphischen Muster kann die kognitive Belastung weiter reduziert werden und insbesondere in den Bereich der zumindest zeitweise unbewussten Wahrnehmung eines Menschen verlegt werden . Hierdurch wird es möglich, dass der Benutzer, z.B. der Pilot, sich zur intuitiven Wahrnehmung der dargestellten Geschwindigkeitsinformation nicht auf ein bestimmtes dargestelltes Element bzw. grafisches Muster konzentrieren muss, z.B. im Unterschied zu dem Drift-Indikator der DE 10 2007 014 015 A1 , der vom Piloten konkret beobachtet werden muss, um die gewünschte Information über die Driftgeschwin- digkeit zu erhalten. Vielmehr kann die Geschwindigkeitsinformation dem Benutzer oder Piloten sozusagen„nebenbei" vermittelt werden. The invention has the advantage of providing the pilot, visually in minimized form, with the information needed to perform the necessary control tasks, eg when landing in dusty or snowy areas, to the pilot, and in particular in the case of helicopters, so that the additional cognitive load is also minimized , This is done by creating one or more visually perceptible moving graphic patterns, which may also be kept simple, eg simple geometric figures. Moreover, the reproduction of the moving speed of the movable real object is only qualitative and not quantitative, that is, as in the prior art. with a numerical relation to the actual moving speed of the movable real object. Through psychologically suitable selection and arrangement of the illustrated graphic patterns, the cognitive load can be further reduced and, in particular, transferred to the area of at least temporarily subconscious perception of a person. This makes it possible that the user, eg the pilot, does not have to concentrate on a specific displayed element or graphic pattern for intuitive perception of the speed information shown, eg in contrast to the drift indicator of DE 10 2007 014 015 A1, US Pat be observed by the pilot in order to obtain the desired information about the drift velocity. to obtain. Rather, the speed information can be conveyed to the user or pilot as it were "by the way".
Ein weiterer Vorteil der Erfindung im Anwendungsfall der Führung von Luftfahr- zeugen ist, dass sich weiter- oder atmosphärisch-bedingte Einschränkungen der natürlichen Außensicht mit Hilfe der rechnergesteuerten Anzeige der Geschwindigkeitsinformation und ggf. der visuell-konformen Darstellung kompensieren lassen. Es wird damit z.B. möglich, auf wesentlich einfachere Weise Hubschrauberflüge unter reduzierter Sicht durchzuführen. Insbesondere kann nun in einfacherer und sicherer Weise eine Landung bei aufgewirbeltem Staub, Sand oder Schnee durchgeführt werden. A further advantage of the invention in the application of the guidance of aircraft is that further or atmospheric-related restrictions of the natural external view can be compensated with the aid of the computer-controlled display of the speed information and possibly the visually conforming representation. It is thus used e.g. possible to perform helicopter flights under reduced visibility in a much simpler way. In particular, a landing can now be carried out in a simpler and safer manner with whirled-up dust, sand or snow.
Die erfindungsgemäße Art der Anzeige einer qualitativen Geschwindigkeitsdarstellung ist insbesondere dann hilfreich einzusetzen, wenn die zugrundeliegen- de Regelaufgabe es erfordert, eine Geschwindigkeit oder Geschwindigkeitsdifferenz ausreichend klein zu halten . Genau dieser Anwendungsfall liegt z.B. bei einer Hubschrauberlandung vor. Ähnlich wie mit der Libelle einer Wasserwaage ein Gegenstand waagerecht ausgerichtet werden kann, ohne dass eine quantitative/zahlenmäßige Information über einen Abweichungswinkel von der Waa- gerechten vorliegt, aber dennoch kleine Abweichungen von der Waagerechten intuitiv damit erfasst werden können, bietet die vorliegende Erfindung durch die qualitative Wiedergabe der Bewegungsgeschwindigkeit mittels des einen oder der mehreren sich bewegenden grafischen Muster ebenfalls die Möglichkeit, ohne die Notwendigkeit der Erfassung komplexer Daten auf ein bestimmtes Ziel hin zu steuern oder zu regeln, nämlich bei einem Hubschrauber eine Driftgeschwindigkeit von Null zu erreichen . The type of display of a qualitative speed representation according to the invention is particularly useful when the underlying control task requires keeping a speed or speed difference sufficiently small. Exactly this application is e.g. during a helicopter landing. Similarly, as with the spirit level of a spirit level, an object can be leveled without having quantitative / numerical information about a deviation angle from the normal, yet small deviations from the horizontal can be intuitively detected thereby, the present invention provides Qualitative reproduction of the movement speed by means of the one or more moving graphic patterns also has the possibility to control without the need to acquire complex data to a specific destination, namely to achieve a drift speed of zero in a helicopter.
Aber auch bei Anwendungsfällen, bei denen die Geschwindigkeitsregelaufgabe darin besteht, dass eine bestimmte von Null verschiedene Geschwindigkeit möglichst gut einzuhalten ist, kann die Erfindung eingesetzt werden. Die Eingangsgröße des erfindungsgemäßen Verfahrens, die Geschwindigkeitsinforma- tion, wird dann als Differenzwert zwischen Soll-Geschwindigkeit und Ist- Geschwindigkeit zugeführt. But even in applications where the speed control task is that a certain non-zero speed should be kept as well as possible, the invention can be used. The input variable of the method according to the invention, the speed information tion, is then fed as a difference value between the setpoint speed and the actual speed.
Generell kann bei der Erfindung die Geschwindigkeitsinformation über Senso- ren ermittelt werden und dem Verfahren bzw. der nachfolgend noch erläuterten Einrichtung z.B. über eine Datenschnittstelle zugeführt werden . Es kann z.B. die tatsächliche Geschwindigkeit (Ist-Geschwindigkeit) als Geschwindigkeitsinformation zugeführt werden, oder wie zuvor erwähnt, eine Differenzgeschwindigkeit, die als Differenz zwischen der Ist-Geschwindigkeit und einer Soll- Geschwindigkeit bestimmt wird. In general, in the case of the invention, the speed information can be determined via sensors and the method or the device explained below, for example be supplied via a data interface. It can e.g. the actual speed (actual speed) is supplied as speed information or, as previously mentioned, a differential speed determined as the difference between the actual speed and a target speed.
Das Bildanzeigegerät kann als ein beliebiges, derzeit verfügbares oder zukünftig zu entwickelndes technisches Bildanzeigegerät sein, wie z.B. ein Monitor, ein Flachbildschirm bzw. ein Display jeglicher Art oder ein Projektor, z.B. ein Beamer, ein Virtual Reality Display, ein Augmented Reality Display, ein teildurchsichtiges Spiegeldisplay, ein Laserprojektor, ein Virtual Retinal Display. Das Bildanzeigegerät kann z.B. in Form eines Head-up-Display oder Helmet- Mounted-Display ausgebildet sein. Solche Bildanzeigegeräte verfügen über einen Bildanzeigebereich, innerhalb dessen eine Darstellung von Bilddaten möglich ist. Die Darstellung der Bilddaten erfolgt auf einer Bildanzeigefläche. Bei Bildanzeigegeräten nach dem Projektionsprinzip kann die Bildanzeigefläche eine Projektionsfläche sein, die nicht Teil des Bildanzeigegeräts ist. Bei allen anderen Bildanzeigegeräten ist die Bildanzeigefläche Teil des Bildanzeigegeräts, z.B. in Form eines LCD-Displays. The image display device may be any of a variety of technical image display devices currently available or to be developed in the future, such as e.g. a monitor, a flat screen or display of any kind, or a projector, e.g. a beamer, a virtual reality display, an augmented reality display, a partially transparent mirror display, a laser projector, a virtual retinal display. The image display device may e.g. be designed in the form of a head-up display or helmet-mounted display. Such image display devices have an image display area within which a representation of image data is possible. The representation of the image data takes place on an image display area. In projection-type image display devices, the image display area may be a projection area that is not part of the image display device. In all other image display devices, the image display area is part of the image display device, e.g. in the form of an LCD display.
Ist als Bildanzeigegerät ein Helmet-Mounted-Display (HMD) vorgesehen, ist es vorteilhaft, bei einem solchen System einen halbdurchlässigen Spiegel vorzusehen, der vor den Augen des Betrachters ein rechner-generiertes Bild projiziert. Durch geeignete optische Elemente zwischen dem Projektor des Bildan- zeigegeräts und dem Auge des Betrachters kann dafür gesorgt werden, dass die Fokusebene des dargestellten Bildes einer Adaption des Auges auf die Ferne, z.B. einem Abstandsbereich von größer 20 Metern entspricht. Auf der Netzhaut im Auge des Betrachters erscheint damit das Abbild der realen Außensicht ebenso scharf wie die überlagerte rechner-generierte Bilddarstellung. Gemäß einer vorteilhaften Weiterbildung der Erfindung werden das oder die sich bewegenden grafischen Muster in einer eindimensionalen Bewegung im Bildanzeigebereich des Bildanzeigegeräts bewegt. Dies verbessert die einfache und intuitive Erfassbarkeit der mitgeteilten qualitativen Geschwindigkeitsinformation weiter und entlastet damit den Benutzer zusätzlich . If a helmet-mounted display (HMD) is provided as the image display device, it is advantageous to provide a semitransparent mirror in such a system, which projects a computer-generated image in front of the viewer's eyes. By means of suitable optical elements between the projector of the image display device and the eye of the observer, it can be ensured that the focal plane of the displayed image of an adaptation of the eye to the Distance, eg corresponds to a distance range of more than 20 meters. On the retina in the eye of the beholder, the image of the real external view appears as sharp as the superimposed computer-generated image representation. According to an advantageous development of the invention, the moving graphic pattern or patterns are moved in a one-dimensional movement in the image display area of the image display device. This further improves the simple and intuitive comprehensibility of the communicated qualitative speed information and thus additionally relieves the user.
Gemäß einer vorteilhaften Weiterbildung der Erfindung werden das oder die grafischen Muster zusammen mit einem Bereich der realen Umgebung des beweglichen realen Objekts visualisiert. Dabei führen das oder die grafischen Muster eine Bewegung relativ zur Visualisierung der realen Umgebung aus. Auf der Bildanzeigefläche bewegen sich somit die grafischen Muster relativ zu Objekten der dargestellten Umgebung. Die gleichzeitige Darstellung eines Bereichs der realen Umgebung des beweglichen Objekts zusammen mit dem oder den grafischen Mustern hat den Vorteil, dass der Benutzer zur Wahrnehmung der durch die grafischen Muster wiedergegebenen Geschwindigkeitsinformation den Blick nicht von der realen Umgebung abwenden muss. Ein ständiges Hin- und Herbewegen sowie ein Umfokussieren der Augen wird dadurch vermieden, was es dem Benutzer, insbesondere dem in einer Landesituation befindlichen Hubschrauberpiloten, wesentlich einfacher macht, seine Steuerungsaufgaben konzentriert durchzuführen. According to an advantageous development of the invention, the graphic pattern (s) are visualized together with an area of the real environment of the movable real object. The graphic pattern (s) perform a movement relative to the visualization of the real environment. Thus, on the image display surface, the graphic patterns move relative to objects of the depicted environment. The simultaneous representation of a region of the real environment of the moving object together with the one or more graphical patterns has the advantage that the user does not have to look away from the real environment to perceive the velocity information represented by the graphic patterns. A constant reciprocating and refocusing of the eyes is thereby avoided, which makes it much easier for the user, in particular the helicopter pilots located in a country situation, to perform his control tasks concentrated.
Gemäß einer vorteilhaften Weiterbildung der Erfindung werden das oder die grafischen Muster zusammen mit einem Bereich der realen Umgebung des beweglichen Objekts in einer visuell-konformen Darstellung visualisiert. Als visuell-konforme Darstellung bezeichnet man eine Wiedergabe, welche deckungs- gleich mit der realen Außensicht ist und einer Kopfbewegung des Betrachters folgt. Dies kann z.B. durch Erfassen der Kopfbewegung des Betrachters, z.B. mittels eines Headtrackers, erfolgen. Hierbei kann die Orientierung der Sichtachse des Betrachters bei der Generierung der durch das Bildanzeigegerät dargestellten Bilder berücksichtigt werden . Durch die Darstellung auch des oder der grafischen Muster in der visuell-konformen Darstellung können diese relativ zur visualisierten Umgebung so wiedergegeben werden, dass sie sich demgegenüber nicht bewegen und sozusagen an bestimmten Objekten der realen Umgebung festzukleben scheinen. Im Falle eines Luftfahrzeugs kann zusätzlich zur Kopfbewegung auch die Position und Orientierung des Luftfahrzeugs berücksichtigt werden, z.B. durch Berücksichtigung von Daten eines Na- vigationssystems und/oder eines Inertialsensorsystems. Sofern in Kombination hiermit eine Bewegung des oder der grafischen Muster relativ zur Visualisierung der realen Umgebung erfolgen soll, kann dies z.B. dadurch realisiert werden, dass das oder die grafischen Muster entlang bestimmter Linien oder Kanten, die sich in der visualisierten Umgebung abzeichnen, bewegt werden, z.B. in Form einer eindimensionalen Bewegung entlang des Horizonts oder entlang einer Begrenzungskante der Landefläche des Luftfahrzeugs. According to an advantageous development of the invention, the graphic pattern (s), together with a region of the real environment of the mobile object, are visualized in a visually conforming representation. A visual-conformal representation is a reproduction which is congruent with the real external view and follows a head movement of the observer. This can eg by detecting the head movement of the viewer, eg by means of a head tracker. In this case, the orientation of the viewing axis of the observer can be taken into account in the generation of the images represented by the image display device. Through the representation of the graphic pattern (s) in the visually-conforming representation, they can be reproduced relative to the visualized environment in such a way that they do not move and, as it were, seem to stick to certain objects of the real environment. In the case of an aircraft, in addition to the head movement, the position and orientation of the aircraft may also be taken into account, eg by taking into account data from a navigation system and / or an inertial sensor system. If, in combination with this, a movement of the graphic pattern or patterns is to take place relative to the visualization of the real environment, this can be achieved, for example, by moving the graphic pattern (s) along certain lines or edges that appear in the visualized environment, eg in the form of a one-dimensional movement along the horizon or along a boundary edge of the landing surface of the aircraft.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird zumindest ein Parameter der Bewegung des oder der grafischen Muster in Abhängigkeit von der Bewegungsgeschwindigkeit des beweglichen realen Objekts gegenüber der Umgebung bestimmt. Als Parameter der Bewegung des oder der grafischen Muster wird deren Geschwindigkeit, mit der sie über die Bildanzeigefläche bewegt werden, wie erwähnt bestimmt. So kann z.B. bei großer Bewegungsgeschwindigkeit des beweglichen realen Objekts das grafische Muster schneller über die Bildanzeigefläche bewegt werden als bei einer geringen Bewegungsgeschwindigkeit des beweglichen realen Objekts. Ist die Bewegungsgeschwindigkeit des beweglichen realen Objekts, z.B. im Falle einer Hubschrauberlandung die unerwünschte Querdriftgeschwindigkeit, auf etwa den Wert null oder zumindest auf einen Wert unterhalb eines kritischen Grenzwerts eingeregelt, so kann die Bewegung des oder grafischen Muster auf der Bildanzeigefläche auch beendet werden, d.h. das Muster wird gestoppt und verbleibt an der zu- letzt dargestellten Position der Bildanzeigefläche. According to an advantageous development of the invention, at least one parameter of the movement of the graphic pattern or patterns as a function of the speed of movement of the movable real object relative to the surroundings is determined. As a parameter of the movement of the graphic pattern (s), the speed at which they are moved across the image display surface is determined as mentioned. For example, at high moving speeds of the movable real object, the graphic pattern can be moved faster over the image display area than at a slow moving speed of the moving real object. If the moving speed of the movable real object, for example in the case of a helicopter landing, the undesired transverse drift velocity, is adjusted to approximately zero or at least below a critical limit value, the movement of the graphic pattern on the image display surface can also be terminated, ie Pattern is stopped and remains at the last shown position of the image display area.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird die Geschwindigkeit der Bewegung des oder der grafischen Muster vorzeichenrichtig abhängig von der Bewegungsgeschwindigkeit des beweglichen realen Objekts gegenüber der Umgebung bestimmt. Dies führt zu weiteren Verbesserungen bei der intuitiven Erfassbarkeit der dargestellten Bewegungsgeschwindigkeit. Hierdurch kann beispielsweise nur eine Bewegungstendenz des realen Objekts visuali- siert werden, d.h. die zugeführte Geschwindigkeitsinformation wird in der quali- tativen Darstellung z.B. auf eine links/rechts-lnformation oder vor- wärts/rückwärts-lnformation reduziert. Die Umrechnung der Bewegungsgeschwindigkeit des beweglichen realen Objekts in die Geschwindigkeit der Bewegung des oder der grafischen Muster auf der Bildanzeigefläche kann mittels einer linearen oder einer nicht-linearen Beziehung erfolgen, wobei hierbei die Geschwindigkeitsinformation bei der Umrechnung in die Geschwindigkeit der Bewegung des oder der grafischen Muster verstärkt oder abgeschwächt werden kann. Die Zuordnung zwischen der Geschwindigkeitsinformation und der Geschwindigkeit der Bewegung des oder der grafischen Muster kann grundsätzlich nach jeder beliebigen Funktion oder Relation erfolgen, auch in Form von stückweise linear oder nicht-linear definierten Funktionen und/oder Relationen . According to an advantageous development of the invention, the speed of the movement of the graphic pattern or patterns is determined with the correct sign as a function of the speed of movement of the movable real object relative to the surroundings. This leads to further improvements in the intuitive comprehensibility of the illustrated movement speed. As a result, for example, only one tendency of movement of the real object can be visualized, i. the supplied speed information is shown in the qualitative representation e.g. reduced to left / right information or forward / backward information. The conversion of the moving speed of the movable real object into the speed of movement of the graphic pattern (s) on the image display surface can be done by a linear or a non-linear relationship, in which case the speed information is converted into the speed of movement of the graphic pattern (s) strengthened or weakened. The association between the speed information and the speed of the movement of the graphic pattern or patterns can basically take place according to any function or relation, also in the form of piecewise linear or non-linearly defined functions and / or relations.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird zumindest ein Parameter der Bewegung des oder der grafischen Muster stufenlos oder in vorbe- stimmten Stufen variiert. So kann z.B. die Geschwindigkeit der Bewegung des oder grafischen Muster in bestimmten Stufen variiert werden, z.B. den drei Stufen „keine Bewegung", „langsame Bewegung", „schnelle Bewegung". Die genauen Werte für die Geschwindigkeit der Bewegung sind je nach technischer Ausgestaltung der verwendeten Geräte, insbesondere des Bildanzeigegeräts, festzulegen, so dass es nicht zu unerwünschten Interferenzeffekten z.B. mit der Bildwiedergaberate des Bildanzeigegeräts kommt. Auch bei stufenloser Va- riation der Geschwindigkeit der Bewegung des oder der grafischen Muster ist durch geeignete Auswahl von Grenzwerten unerwünschten Interferenzerscheinungen vorzubeugen. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass der zumindest eine Parameter der Bewegung des oder der grafischen Muster in Abhängigkeit von einem oder mehreren durch Sensoren ermittelten weiteren Parametern, d.h. neben dem bereits genannten einen Parameter, des beweglichen realen Objekts bestimmt und/oder variiert wird . Als weitere Parameter zur Beeinflussung der Bewegung des oder der grafischen Muster kann z.B. der Abstand des beweglichen realen Objekts von anderen Objekten oder Gegenständen oder, im Falle eines Flugobjekts, die Flughöhe herangezogen werden. So kann z.B. der Grad der Verstärkung oder Abschwächung bei der Umrechnung der Geschwindigkeitsinformation in die Geschwindigkeit der Bewegung des o- der der grafischen Muster von einem oder mehreren solcher Parameter abhängig gemacht werden . Dies erlaubt eine sehr flexible Anpassung der Art der Darstellung der Geschwindigkeitsinformation je nach Betriebssituation des beweglichen realen Objekts, z.B. je nach Flugsituation des Hubschraubers. Gemäß einer vorteilhaften Weiterbildung der Erfindung werden das oder die bewegten grafischen Muster im äußeren Randbereich des Bildanzeigebereichs des Bildanzeigegeräts dargestellt. Dies hat den Vorteil, dass der von einem Betrachter intuitiv hauptsächlich wahrgenommene Zentralbereich des Bildanzeigebereichs nicht durch die grafischen Muster belegt werden muss und dem- entsprechend dort andere Informationen oder, insbesondere bei einer visuellkonformen Darstellung, ein Bereich der realen Umgebung dargestellt werden können . Ein weiterer Vorteil ist, dass durch das Verlegen des oder der grafischen Muster in den Randbereich die durch die Muster dargestellte Information über die Ebene der zumindest zeitweise unbewussten Wahrnehmung eines Menschen diesem zugeführt werden kann. Durch Erweiterung des Informationstransfers von der bewussten Wahrnehmung auf die Ebene einer zeitweise unbewussten Wahrnehmung lässt sich die Informationsbandbreite der bewuss- ten visuellen Information reduzieren, womit sich gleichzeitig eine Entlastung des bewussten visuellen Kanals ergibt. Auf diese Weise können das oder die bewegten grafischen Muster im peripheren Sichtfeld der Bildanzeigefläche und damit im peripheren Sichtfeld eines Betrachters wiedergegeben werden. According to an advantageous development of the invention, at least one parameter of the movement of the graphic pattern (s) is varied steplessly or in predetermined stages. For example, the speed of movement of the graphic pattern or patterns can be varied in certain stages, eg the three levels "no movement", "slow movement", "fast movement." The exact values for the speed of the movement are, depending on the technical configuration of the used devices, in particular the image display device, so that it does not lead to undesirable interference effects, for example, with the image display rate of the image display device. riation of the speed of movement of the graphic pattern or patterns is to be prevented by appropriate selection of limits unwanted interference phenomena. According to an advantageous development of the invention, it is provided that the at least one parameter of the movement of the graphic pattern or patterns is determined and / or varied in dependence on one or more further parameters determined by sensors, ie in addition to the already mentioned one parameter of the movable real object becomes . As a further parameter for influencing the movement of the graphic pattern or patterns, for example, the distance of the movable real object from other objects or objects or, in the case of a flying object, the altitude can be used. For example, the degree of gain or attenuation in translating the velocity information into the speed of movement of the graphic pattern or patterns may be made dependent upon one or more such parameters. This allows a very flexible adaptation of the type of representation of the speed information depending on the operating situation of the movable real object, eg depending on the flight situation of the helicopter. According to an advantageous development of the invention, the moving graphic pattern or patterns are displayed in the outer edge area of the image display area of the image display device. This has the advantage that the central area of the image display area, which is intuitively mainly perceived by a viewer, does not have to be occupied by the graphic patterns and accordingly other information or, in particular in the case of a visually conformable representation, a region of the real environment can be displayed. A further advantage is that by laying the graphic pattern or patterns in the edge area, the information represented by the pattern can be supplied to the level of the at least temporarily unconscious perception of a person. By expanding the information transfer from the conscious perception to the level of a temporary Unconscious perception reduces the information bandwidth of the conscious visual information, which at the same time results in a relief of the conscious visual channel. In this way, the moving graphic pattern or patterns can be reproduced in the peripheral field of view of the image display surface and thus in the peripheral field of view of a viewer.
Die Geschwindigkeitsinformation kann den Betrag der Bewegungsgeschwindigkeit des beweglichen realen Objekts z.B. als skalare Größe repräsentieren. Gemäß einer vorteilhaften Weiterbildung der Erfindung werden eine oder mehrere der folgenden Geschwindigkeitskomponenten der Bewegungsgeschwindigkeit des beweglichen realen Objekts mittels des oder der grafischen Muster angezeigt: Längsgeschwindigkeit, Lateralgeschwindigkeit, Vertikalgeschwindigkeit. Die Längsgeschwindigkeit ist die Geschwindigkeitskomponente in Längs- richtung (Längsachse) des beweglichen realen Objekts, die Lateralgeschwindigkeit die Geschwindigkeitskomponente in Querrichtung (Querachse) und die Vertikalgeschwindigkeit in Richtung der Hochachse. Auf diese Weise kann die dargestellte Geschwindigkeitsinformation weiter vereinfacht und entzerrt werden und insbesondere auf eine in der Praxis konkret relevante Geschwindig- keitskomponente beschränkt werden, wie z.B. im Falle der Hubschrauberlandung auf die Lateralgeschwindigkeit. Gemäß einer vorteilhaften Weiterbildung der Erfindung wird das Verfahren zur rechnergesteuerten Anzeige mehrerer Geschwindigkeitsinformationen eingesetzt, die jeweilige Geschwindigkeitskomponenten der Bewegungsgeschwindigkeit des beweglichen realen Objekts sind . So kann z.B. durch horizontal auf der Bildanzeigefläche bewegte grafische Muster die Lateralgeschwindigkeit angezeigt werden und durch vertikal bewegte grafische Muster die Längs- oder Vertikalgeschwindigkeit. The speed information may indicate the amount of moving speed of the movable real object, e.g. represent as scalar size. According to an advantageous development of the invention, one or more of the following speed components of the moving speed of the movable real object are indicated by means of the graphic pattern (s): longitudinal speed, lateral speed, vertical speed. The longitudinal velocity is the velocity component in the longitudinal direction (longitudinal axis) of the moving real object, the lateral velocity the velocity component in the transverse direction (transverse axis) and the vertical velocity in the direction of the vertical axis. In this way, the illustrated speed information can be further simplified and equalized and, in particular, limited to a speed component which is actually relevant in practice, such as e.g. in the case of helicopter landing on the lateral speed. According to an advantageous development of the invention, the method is used for the computer-controlled display of a plurality of speed information, which are respective speed components of the speed of movement of the movable real object. Thus, e.g. by moving horizontally on the image display area moving graphic pattern, the lateral speed are displayed and by vertically moving graphic patterns, the longitudinal or vertical speed.
Gemäß einer vorteilhaften Weiterbildung der Erfindung sind eines, mehrere oder alle der grafischen Muster aus der Menge folgender Muster ausgewählt: a) periodische Muster, b) nicht-periodische Muster, According to an advantageous embodiment of the invention, one, several or all of the graphic patterns are selected from the set of the following patterns: a) periodic patterns, b) non-periodic patterns,
c) Zufallsmuster,  c) random pattern,
d) Texturen,  d) textures,
e) Oberflächenmuster von Naturobjekten,  e) surface patterns of natural objects,
f) strichlinierte Muster,  f) dashed patterns,
g) Balkenmuster,  g) bar pattern,
h) Rechteckmuster.  h) Rectangular pattern.
Zur Darstellung unterschiedlicher Geschwindigkeitsinformationen bzw. unter- schiedlicher Komponenten der Bewegungsgeschwindigkeit des beweglichen realen Objekts können hieraus gleichartige Muster oder unterschiedliche Arten von Mustern ausgewählt werden, z.B. ein strichliniertes Muster für die Darstellung der Lateralgeschwindigkeit und ein Zufallsmuster für die Darstellung der Längsgeschwindigkeit. Dies vereinfacht die intuitive Unterscheidung der darge- stellten Informationen ohne hohen kognitiven Aufwand für den Betrachter. To represent different speed information or different components of the moving speed of the movable real object, similar patterns or different types of patterns can be selected therefrom, e.g. a dashed pattern for the representation of the lateral velocity and a random pattern for the representation of the longitudinal velocity. This simplifies the intuitive distinction of the presented information without high cognitive effort for the viewer.
Die Erfindung betrifft gemäß Anspruch 9 ferner eine Einrichtung zur rechnergesteuerten Anzeige einer Geschwindigkeitsinformation, die die Bewegungsgeschwindigkeit eines beweglichen realen Objekts gegenüber seiner Umgebung repräsentiert, mittels eines Bildanzeigegeräts, wobei der Einrichtung die Geschwindigkeitsinformation zugeführt ist, wobei die Einrichtung zur Anzeige der Geschwindigkeitsinformation gemäß einem Verfahren der zuvor genannten Art eingerichtet ist. Durch eine solche Einrichtung können ebenfalls die zuvor erläuterten Vorteile erzielt werden . Die Einrichtung kann z.B. das Bildanzeigege- rät und ggf. weitere Komponenten aufweisen, wie z.B. einen Headtracker. Gemäß einer vorteilhaften Weiterbildung der Erfindung weist die Einrichtung wenigstens einen Headtracker oder eine Schnittstelle zu einem Headtracker auf und ist zur visuell-konformen Ausgabe grafischer Informationen auf dem Bildanzeigegerät eingerichtet. The invention further relates to a device for the computer-controlled display of speed information, which represents the speed of movement of a movable real object relative to its surroundings, by means of an image display device, wherein the device is supplied with the speed information, wherein the device for displaying the speed information according to a method of previously mentioned. By means of such a device, the previously explained advantages can also be achieved. The device may e.g. the image display device and possibly other components, such as. a head tracker. According to an advantageous development of the invention, the device has at least one head tracker or an interface to a head tracker and is set up for visually compliant output of graphic information on the image display device.
Die eingangs genannte Aufgabe wird ferner gemäß Anspruch 12 gelöst durch ein Flugobjekt, insbesondere ein Luftfahrzeug, mit einer Einrichtung der zuvor beschriebenen Art. Hierbei kann insbesondere bei bemannten Flugobjekten das Bildanzeigegerät in dem Flugobjekt mitgeführt werden . Das Bildanzeigegerät kann z.B. im Bereich des Instrumentenpanels angeordnet werden oder, ins- besondere bei visuell-konformer Darstellung, in Form eines Head-up-Displays oder eines Helmet-Mounted-Displays ausgebildet sein. Das Flugobjekt kann insbesondere als Hubschrauber ausgebildet sein . The object mentioned above is further achieved by claim 12 a flying object, in particular an aircraft, with a device of the type described above. In this case, in particular in the case of manned flying objects, the image display device can be carried along in the flying object. The image display device can be arranged, for example, in the region of the instrument panel or, in particular in the case of visually conforming representation, in the form of a head-up display or a helmet-mounted display. The flying object can be designed in particular as a helicopter.
Die eingangs genannte Aufgabe wird ferner gemäß Anspruch 13 gelöst durch ein Computerprogramm mit Programmcodemitteln, eingerichtet zur Durchführung des Verfahrens der zuvor beschriebenen Art, wenn das Computerprogramm auf einem Rechner ausgeführt wird . The object mentioned at the outset is furthermore achieved according to claim 13 by a computer program with program code means set up to carry out the method of the previously described type when the computer program is executed on a computer.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Ver- wendung von Zeichnungen näher erläutert. The invention will be explained in more detail below on the basis of exemplary embodiments using drawings.
Es zeigen Show it
Figur 1 den prinzipiellen Aufbau eines Helmet-Mounted-Display und Figure 1 shows the basic structure of a helmet-mounted display and
Figur 2 eine Ausführungsform der rechnergesteuerten Anzeige eines Bereichs der realen Umgebung des beweglichen Objekts mittels eines Bildanzeigegeräts in einer visuell-konformen Darstellung und FIG. 2 shows an embodiment of the computer-controlled display of a region of the real environment of the mobile object by means of an image display device in a visually conforming representation and
Figur 3 die Darstellung gemäß Figur 2, ergänzt um eine rechnergesteuerter Anzeige einer Geschwindigkeitsinformation mittels sich bewegender grafischer Muster und FIG. 3 shows the illustration according to FIG. 2, supplemented by a computer-controlled display of speed information by means of moving graphic patterns and
Figur 4 eine Bilddarstellung gemäß den Figuren 2 und 3 mit zusätzlich ergänzten Elementen der realen Umgebung. In den Figuren werden gleiche Bezugszeichen für einander entsprechende Elemente verwendet. 4 shows an image representation according to FIGS. 2 and 3 with additionally supplemented elements of the real environment. In the figures, like reference numerals are used for corresponding elements.
Die Figur 1 zeigt den prinzipiellen Aufbau eines sogenannten Helmet-Mounted- Displays, das insbesondere für den Fall einer Hubschrauber-Steuerung vorteilhaft als Bildanzeigegerät für eine Realisierung der Erfindung genutzt werden kann . Ein Hubschrauberpilot ist beim heutigen technischen Stand häufig ohnehin mit einem solchen HMD ausgerüstet, so dass für eine Realisierung der Erfindung nur wenige Ergänzungen notwendig sind, wie z.B. eine Erweiterung des Computerprogramms eines Rechners, z.B. eines Grafik-Computers. FIG. 1 shows the basic structure of a so-called helmet-mounted display, which, in particular in the case of helicopter control, can advantageously be used as an image display device for implementing the invention. A helicopter pilot is in today's state of the art often equipped with such a HMD, so that for a realization of the invention only a few additions are necessary, such. an extension of the computer program of a computer, e.g. a graphics computer.
Bei dem HMD gemäß Figur 1 wird dem Anwender mittels eines optoelektronischen Projektors 1 ein Rechner- bzw. Computer-generiertes grafisches Bild auf einen halbdurchlässigen Spiegel 2 projiziert. Das Auge des Anwenders erfasst die Außensicht, d.h. zumindest einen Bereich 3 der realen Umgebung des beweglichen Objekts, in diesem Fall eines Hubschraubers. In der für den Anwender sichtbaren Darstellung sind der Außensicht die projizierten Elemente des computergenerierten Bildes überlagert. Durch geeignete optische Elemente, z.B. einen Kollimator, zwischen dem Auge des Anwenders und dem halb- durchlässigen Spiegel 2 wird dafür gesorgt, dass die Adaption des Auges auf das projizierte Bild der Adaption für die„Ferne" entspricht und damit beide Informationen mit gleicher Abbildungsschärfe auf der Netzhaut des Anwenders abgebildet werden . Die Orientierung des Kopfes des Anwenders relativ zum beweglichen realen Objekt wird durch ein am Helm befestigtes Element 4a erfasst. Dieses arbeitet mit einem in der Umgebung des Helms fest montierten Element 4b zusammen. Die Elemente 4a, 4b bilden zusammen einen sogenannten Headtracker. Für die technische Realisierung solcher Headtracker gibt es bereits Vorschläge für mechanische, magnetische, optische und akustische Realisierungen, die jeweils für eine Realisierung der vorliegenden Erfindung geeignet sind. Die vom Headtracker 4a, 4b gemessenen Raumwinkel des Helms relativ zur unmittelbaren Umgebung werden in einer Helmsteuereinheit 5 erfasst. Die Helmsteuereinheit 5 überträgt die Helmorientierung an einen daran angeschlossenen Grafik-Computer 6. Dieser dient als zentraler Rechner zur rechnergesteuerten An- zeige der Geschwindigkeitsinformation sowie weiterer Informationen, wie z.B. weitere in das HMD eingeblendete Bilder. Die Helmsteuereinheit 5 empfängt die im Grafik-Computer 6 erzeugten Bilddaten und bereitet diese so auf, dass diese mittels des Projektors 1 projiziert werden können und das gewünschte Bild ergeben. In the HMD according to FIG. 1, the user is projected by means of an optoelectronic projector 1 a computer-generated or computer-generated graphic image onto a semitransparent mirror 2. The user's eye detects the external view, ie at least a region 3 of the real environment of the mobile object, in this case a helicopter. In the view visible to the user, the outer view is superimposed on the projected elements of the computer-generated image. By means of suitable optical elements, for example a collimator, between the user's eye and the semitransparent mirror 2, it is ensured that the adaptation of the eye to the projected image corresponds to the adaptation for the "distance" and thus both information with the same sharpness of image The orientation of the user's head relative to the movable real object is detected by a helmet-mounted element 4a which cooperates with an element 4b fixedly mounted in the vicinity of the helmet 4. The elements 4a, 4b together For the technical realization of such head trackers there are already proposals for mechanical, magnetic, optical and acoustic realizations which are respectively suitable for an implementation of the present invention Headtracker 4a, 4b measured solid angle of the helmet relative to the immediate environment are detected in a helmet control unit 5. The helmet control unit 5 transmits the helmet orientation to a graphics computer 6 connected thereto. This serves as a central computer for the computer-controlled display of the speed information as well as for further information, such as further images displayed in the HMD. The helmet control unit 5 receives the image data generated in the graphics computer 6 and prepares them so that they can be projected by the projector 1 and give the desired image.
Damit die Bilderzeugung im Grafik-Computer 6 in der Lage ist, die Bewegung des beweglichen realen Objekts (3D-Winkel und 3D-Position) visuell-konform zu folgen, werden über eine Schnittstelle zum realen beweglichen Objekt 7, z.B. zu einem zentralen Bordrechner, die relevanten Betriebsdaten an den Gra- fik-Computer 6 übermittelt, z.B. Flugzustandsdaten wie Position, Geschwindigkeit, Lage, Höhe usw. In order for the imaging in the graphics computer 6 to be able to visually follow the motion of the moving real object (3D angle and 3D position), they are interfaced to the real moving object 7, e.g. to a central on-board computer which transmits relevant operating data to the graphics computer 6, e.g. Flight condition data such as position, speed, position, altitude, etc.
Informationen mit den Parametern möglicher Landeplätze, wie Position, Höhe, Orientierung, gewünschte Anflugrichtung usw., werden über eine lokale bord- seitige Datenbank 8 bereitgehalten . Ergänzend können auch bordseitig montierte abbildende Sensoren, Kameras, optische oder Millimeterwellen-basierte Radarsysteme kurzfristige Erfassungsdaten von potenziellen Landeplätzen in dieser Datenbank zur Verfügung stellen. Die zugeführten Daten werden im Grafik-Computer 6 verarbeitet zu einer visuell-konformen Darstellung der er- zeugten Bilddaten . Hierbei können z.B. bestimmte Elemente oder Objekte in der Umgebung, z.B. die Ränder eines Landplatzes, durch den Grafik-Computer mit besonderen Markierungen in der Bilddarstellung versehen werden . Information with the parameters of possible landing sites, such as position, altitude, orientation, desired approach direction, etc., are made available via a local on-board database 8. In addition, on-board mounted imaging sensors, cameras, optical or millimeter-wave based radar systems can provide short-term data from potential landing sites in this database. The supplied data are processed in the graphics computer 6 for a visually compliant representation of the generated image data. Here, e.g. certain elements or objects in the environment, e.g. the edges of a landing pad, are provided by the graphics computer with special markings in the image representation.
Die Figur 2 zeigt eine Ausführungsform des vorgeschlagenen visuell-konformen Displays zunächst ohne die Darstellung der Geschwindigkeitsinformation. Dabei wird die Horizontlinie 10 in gestrichelter Form (z.B. 5 Grad Intervalle) über die gesamte Bildanzeigefläche dargestellt. Im unteren Teil der Bildanzeigefläche wird der virtuelle Landeplatz in Form eines perspektivisch abgebildeten teilweise wiedergegebenen Rechtecks dargestellt. Die seitlichen Ränder des Landeplatzes werden durch die Linien 1 1 a und 1 1 b dargestellt. Die vordere Berandung des Landeplatzes wird durch die Linien 12a und 12b dargestellt. 12c zeigt eine Lücke zwischen den Linien 12a und 12b, die zusätzlich durch zwei senkrechte, nach unten weisende Markierungen verdeutlicht wird. Entlang der Linien 12a und 12b bewegt sich eine Markierung 15, welche die seitliche Ablage des Helikopters von der Mitte des Landeplatzes darstellt. Zwei weitere Markierungen 14a und 14b stellen die Längsablage des Helikopters von der Landepiatzmitte dar. Die Position dieser Markierungen ist um die halbe Längsausdehnung des Landeplatzes nach vorn verschoben. Wenn der Helikopter exakt über der Mitte des Landeplatzes schwebt, erscheinen die Markierungen 14a und 14b an der vorderen linken bzw. rechten Ecke der virtuellen Darstel- lung des Landeplatzes. Zur Visualisierung der Höhe des Helikopters über Grund wird eine z.B. in 1 0 Fuß-Schritten eingeteilte Skala 1 3a bis 13d über den beiden vorderen Ecken des Landeplatzes dargstellt. Der Nullpunkt dieser Höhenskala wird durch 13c bzw. 13d gebildet. Die Ablesung der Höhe des Helikopters über Grund wird an den Schnittpunkten der Horizontlinie 10 mit der Höhenskala ermöglicht. Zu weiteren Verbesserung der Präzision dieses Displays kann auch der vertikale Abstand zwischen den Augen des Piloten und dem Landgestell des Helikopters berücksichtigt werden. Dieser Höhenabstand ist am Abstand zwischen den vorderen Ecken des Landeplatzes und dem Nullpunkt der Höhenskala zu sehen. FIG. 2 shows an embodiment of the proposed visually compliant display initially without the representation of the speed information. In this case, the horizon line 10 in dashed form (eg 5 degrees intervals) on the entire image display area is shown. In the lower part of the image display area of the virtual landing site is shown in the form of a perspective partially reproduced rectangle. The lateral edges of the landing are represented by the lines 1 1 a and 1 1 b. The front edge of the landing site is represented by lines 12a and 12b. 12c shows a gap between the lines 12a and 12b, which is additionally illustrated by two vertical, downwardly facing markings. Along the lines 12a and 12b moves a marker 15, which represents the lateral storage of the helicopter from the center of the landing site. Two further markings 14a and 14b represent the longitudinal rest of the helicopter from the landing center. The position of these markers is shifted by half the longitudinal extent of the landing site forward. When the helicopter hovers exactly above the center of the landing site, the markers 14a and 14b appear at the front left and right corners of the virtual display of the landing site, respectively. To visualize the height of the helicopter over ground, a scale 1 3a to 13d, for example, divided into 1 0 foot increments, is shown above the two front corners of the landing site. The zero point of this height scale is formed by 13c or 13d. The reading of the height of the helicopter over ground is made possible at the intersections of the horizon line 10 with the height scale. To further enhance the precision of this display, the vertical distance between the pilot's eyes and the helicopter landing gear can also be taken into account. This vertical distance is to be seen at the distance between the front corners of the landing field and the zero point of the height scale.
Die Figur 3 zeigt eine um die erfindungsgemäße rechnergesteuerte Anzeige von Geschwindigkeitsinformationen veränderte Darstellung gemäß Figur 2. Zur Wiedergabe von Geschwindigkeitsinformationen wird die Berandung des virtuellen Landeplatzes, die gemäß Figur 2 aus den Linien 1 1 a, 1 1 b, 12a, 12b be- stand, nun durch eine strichlinierte Berandung mit den Linien 16a, 16b, 17 ersetzt. Um über die strichlinierte Darstellung der Berandung eine Geschwindig- keitsinformation gemäß der Erfindung darzustellen, werden die Linien 16a, 16b, 17 abhängig von bestimmten Komponenten der Bewegungsgeschwindigkeit des Hubschraubers auf der Bildanzeigefläche bewegt. Hierbei wandern die Strichmuster der Linien 16a, 16b je nach Längsgeschwindigkeit des Hub- schraubers vor oder zurück (in perspektivischer Ansicht). Das Strichmuster der Linie 17 wandert je nach Lateralgeschwindigkeit nach links oder rechts. Hierbei bleiben die Linien 16a, 16b, 1 7 aber insgesamt an ihrer jeweiligen Position . Der Pilot des Hubschraubers kann anhand der Richtung und Geschwindigkeit der Bewegungen der durch die strichlinierten Begrenzungen geschaffenen sich bewegenden graphischen Muster gut erfassen, ob seine Fluggeschwindigkeit, insbesondere die Lateralgeschwindigkeit, klein genug ist, bevor er den Helikopter auf dem Landeplatz aufsetzt. FIG. 3 shows a representation according to FIG. 2 which has been changed by the computer-controlled display of speed information according to the invention. The boundary of the virtual landing site, which according to FIG. 2 consisted of the lines 11a, 11b, 12a, 12b, is reproduced for reproducing speed information , now replaced by a dashed border with the lines 16a, 16b, 17. To get a speed over the dashed representation of the boundary according to the invention, the lines 16a, 16b, 17 are moved on the image display surface depending on certain components of the speed of movement of the helicopter. In this case, the line patterns of the lines 16a, 16b move forward or backward (in a perspective view), depending on the longitudinal speed of the helicopter. The line pattern of line 17 moves to the left or right depending on the lateral speed. In this case, the lines remain 16a, 16b, 1 7 but in total at their respective position. The pilot of the helicopter can well understand, based on the direction and speed of the movements of the moving graphic patterns created by the dashed borders, whether his airspeed, in particular the lateral velocity, is small enough before he touches down the helicopter on the landing pad.
Zur„Hover-Unterstützung" kann dieses Display ebenfalls genutzt werden. For "hover support" this display can also be used.
Die Figur 4 zeigt die Überlagerung des beschriebenen Display-Formats gemäß Figur 3 mit der realen Umgebung, so wie es der Pilot beim Blick durch das HMD wahrnimmt. Von der realen Umgebung sind z. B. die Horizontlinie mit Gebirgszügen 20, eine Landebahn 21 und Landebahnmarkierungen 22 dargestellt. Es ist gut zu sehen, dass die Durchsichtigkeit des Displays aufgrund der Verwendung weniger grafischer Elemente nur minimal gestört wird. Unerwartet auftauchende Objekte in der Außensicht sind somit schnell erfassbar. Aufgrund der Konformität des Displays erscheinen alle Elemente unabhängig von der Bewegung des Helikopters und unabhängig von der Bewegung des Helms immer an der gleichen Stelle der Außensicht. FIG. 4 shows the superposition of the described display format according to FIG. 3 with the real environment, as perceived by the pilot when looking through the HMD. From the real environment z. B. the horizon line with mountain ranges 20, a runway 21 and runway markers 22 are shown. It is good to see that the transparency of the display is minimally disturbed by the use of fewer graphic elements. Unexpectedly appearing objects in the external view are thus quickly detectable. Due to the conformity of the display, all elements always appear in the same position of the external view regardless of the movement of the helicopter and regardless of the movement of the helmet.
Ein Aspekt der vorliegenden Erfindung ist die Darstellung der Geschwindigkeit relativ zum Boden durch bewegte Muster. Um eine gute„Durchsichtigkeit" des Displays zu gewährleisten, sollten die sich bewegenden grafischen Muster nur an den Stellen im Display dargestellt werden, an denen ohnehin bereits eine Linie erscheint. In der hier vorgeschlagenen Ausführungsform werden daher die Ränder des visuell-konform dargestellten Landeplatzes durch gestrichelte Linien dargestellt. Die Helikopterposition relativ zu den Rändern des Landeplatzes ist damit weiterhin uneingeschränkt ablesbar. Dabei wird durch eine Markierung an der Vorderkante des Landeplatzes die seitliche Abweichung von der Mitte des Landeplatzes dargestellt. Die Längsabweichung von der Lande- platzmitte wird durch jeweils eine Markierung am linken bzw. am rechten Rand des Landeplatzes dargestellt. One aspect of the present invention is the representation of velocity relative to the ground by moving patterns. In order to ensure a good "transparency" of the display, the moving graphic patterns should only be displayed in those places in the display where already a line already appears, in the embodiment proposed here the edges of the visually compliant landing pad shown by dashed lines. The helicopter position relative to the edges of the landing site is thus still fully readable. In this case, the lateral deviation from the center of the landing site is represented by a mark on the front edge of the landing site. The longitudinal deviation from the landing center is represented by a marker on the left or right edge of the landing site.
Die Längsgeschwindigkeit des Hubschraubers im Koordinatensystem des Lan- deplatzes wird durch die Bewegung des Linienmusters 16a, 16b am linken und rechten Rand des Landeplatzes visualisiert. Die Quergeschwindigkeit des Helikopters im Koordinatensystem des Landeplatzes wird durch die Bewegung des Linienmusters 17 am vorderen Rand des Landeplatzes visualisiert. Die dargestellten Bewegungen dieser Muster können durch eine nichtlineare aber vorzei- chentreue Skalierung (z.B. Arcus-Tangens-Funktion oder Wurzel-Funktion) der Geschwindigkeiten skaliert werden. Damit sind sowohl Geschwindigkeiten von einigen +/- 10 m/s bis hin zu +/-0,1 m/s darstellbar. The longitudinal speed of the helicopter in the coordinate system of the landing field is visualized by the movement of the line pattern 16a, 16b on the left and right edges of the landing field. The lateral velocity of the helicopter in the coordinate system of the landing site is visualized by the movement of the line pattern 17 at the front edge of the landing site. The illustrated motions of these patterns can be scaled by a non-linear but faithful scaling (e.g., arc tangent function or root function) of the velocities. Thus, speeds of a few +/- 10 m / s up to +/- 0.1 m / s can be represented.
Diese Art der Anzeige einer qualitativen Geschwindigkeitsdarstellung ist insbe- sondere dann hilfreich einzusetzen, wenn die zu Grunde liegende Regelaufgabe allein darin besteht, eine Geschwindigkeit ausreichend klein zu halten. This type of display of a qualitative representation of speed is particularly helpful if the underlying control task is to keep a speed sufficiently low.
Weitere Anwendungsgebiete sind z.B. die Gestaltung einer perspektivischen Führungsanzeige z.B. für ein Fahrzeug oder ein rollendes Flugzeug auf einem Flughafen, womit die Vorgabe einer Soll-Geschwindigkeit kontrolliert werden kann . Hierfür kann als sich bewegendes grafisches Muster z.B. in einer visuellkonformen Darstellung auf dem voraus liegenden Teil der Fahrbahn eine überlagerte gestrichelte Linie dargestellt werden, deren Strich-Muster sich bei der Unterschreitung der Soll-Geschwindigkeit vom Betrachter entfernt oder bei Überschreitung auf ihn zu bewegt. Ist die Soll-Geschwindigkeit genau eingehalten, kann das Strichmuster nicht bewegt werden. Further fields of application are e.g. the design of a perspective guide display e.g. for a vehicle or a rolling aircraft at an airport, with which the specification of a target speed can be controlled. For this purpose, as a moving graphic pattern, e.g. a superimposed dashed line are displayed in a visually conforming representation on the leading part of the roadway, the dash pattern of which falls below the target speed away from the viewer or moves to it when exceeded. If the target speed is maintained exactly, the bar pattern can not be moved.

Claims

Patentansprüche: Patent claims:
1 . Verfahren zur rechnergesteuerten Anzeige einer Geschwindigkeitsinfor- mation, die die Bewegungsgeschwindigkeit eines beweglichen realen Ob- jekts (7) gegenüber seiner Umgebung repräsentiert, mittels eines Bildanzeigegeräts (1 , 2), wobei die Anzeige der Geschwindigkeitsinformation durch Erzeugung von einem oder mehreren visuell wahrnehmbaren sich bewegenden grafischen Mustern (1 6a, 16b, 17) mittels des Bildanzeigegeräts (1 , 2) erfolgt, wobei durch das eine oder die mehreren grafischen Muster (16a, 16b, 17) die Bewegungsgeschwindigkeit des beweglichen realen Objekts (7) qualitativ wiedergegeben wird, dadurch gekennzeichnet, dass zumindest die Geschwindigkeit, mit der das oder die grafischen Muster (1 6a, 16b, 17) über die Bildanzeigefläche des Bildanzeigegeräts bewegt werden, in Abhängigkeit von der Bewegungsgeschwindigkeit des beweglichen realen Objekts (7) gegenüber der Umgebung bestimmt wird, wobei die Geschwindigkeitsinformation der Bewegungsgeschwindigkeit des beweglichen realen Objekts (7) bei der Umrechnung in die Geschwindigkeit der Bewegung des oder der grafischen Muster verstärkt oder abgeschwächt wird. 1 . Method for the computer-controlled display of speed information, which represents the speed of movement of a movable real object (7) relative to its surroundings, by means of an image display device (1, 2), the display of the speed information being displayed by generating one or more visually perceptible moving objects graphic patterns (1 6a, 16b, 17) by means of the image display device (1, 2), the speed of movement of the movable real object (7) being qualitatively reproduced by the one or more graphic patterns (16a, 16b, 17), thereby characterized in that at least the speed at which the graphic pattern or patterns (1 6a, 16b, 17) are moved over the image display surface of the image display device is determined depending on the speed of movement of the movable real object (7) relative to the environment, whereby the Speed information about the speed of movement of the moving real object (7) is amplified or weakened when converted into the speed of movement of the graphic pattern or patterns.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das oder die grafischen Muster (16a, 16b, 17) zusammen mit einem Bereich (3) der realen Umgebung des beweglichen realen Objekts (7) visualisiert werden und dabei das oder die grafischen Muster (1 6a, 16b, 1 7) eine Bewegung relativ zur Visualisierung der realen Umgebung ausführen. 2. The method according to claim 1, characterized in that the graphic pattern or patterns (16a, 16b, 17) are visualized together with an area (3) of the real environment of the movable real object (7) and thereby the graphic pattern or patterns ( 1 6a, 16b, 1 7) perform a movement relative to the visualization of the real environment.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das oder die grafischen Muster (1 6a, 16b, 17) zusammen mit einem Bereich (3) der realen Umgebung des beweglichen realen Ob- jekts (7) in einer visuell-konformen Darstellung visualisiert werden. 3. Method according to one of the preceding claims, characterized in that the graphic pattern or patterns (1 6a, 16b, 17) together with an area (3) of the real environment of the movable real object (7) in a visually conformal manner representation can be visualized.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Parameter der Bewegung des oder der grafischen Muster (16a, 1 6b, 17) stufenlos oder in vorbestimmten Stufen variiert wird. Method according to one of the preceding claims, characterized in that at least one parameter of the movement of the graphic pattern or patterns (16a, 1 6b, 17) is varied continuously or in predetermined steps.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zumindest ein Parameter der Bewegung des oder der grafischen Muster (1 6a, 16b, 17) in Abhängigkeit von einem oder mehreren durch Sensoren ermittelten weiteren Parametern des beweglichen realen Objekts (7) bestimmt und/oder variiert wird. Method according to one of claims 1 to 4, characterized in that at least one parameter of the movement of the graphic pattern or patterns (1 6a, 16b, 17) is determined as a function of one or more further parameters of the movable real object (7) determined by sensors and/or varied.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das oder die bewegten grafischen Muster (1 6a, 16b, 17) im äußeren Randbereich des Bildanzeigebereichs des Bildanzeigegeräts (1 , 2) dargestellt werden. Method according to one of the preceding claims, characterized in that the moving graphic pattern or patterns (1 6a, 16b, 17) are displayed in the outer edge region of the image display area of the image display device (1, 2).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine oder mehrere der folgenden Geschwindigkeitskomponenten der Bewegungsgeschwindigkeit des beweglichen realen Objekts (7) mittels des oder der grafischen Muster (16a, 16b, 17) angezeigt werden: Längsgeschwindigkeit, Lateralgeschwindigkeit, Vertikalgeschwindigkeit. Method according to one of the preceding claims, characterized in that one or more of the following speed components of the movement speed of the movable real object (7) are displayed by means of the graphic pattern or patterns (16a, 16b, 17): longitudinal speed, lateral speed, vertical speed.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eines, mehrere oder alle der grafischen Muster (1 6a, 16b, 17) aus der Menge folgender Muster ausgewählt sind: Method according to claim 1, characterized in that one, several or all of the graphic patterns (1 6a, 16b, 17) are selected from the set of the following patterns:
a) periodische Muster, a) periodic patterns,
b) nicht-periodische Muster, b) non-periodic patterns,
c) Zufallsmuster, c) random pattern,
d) Texturen, d) textures,
e) Oberflächenmuster von Naturobjekten, f) strichlinierte Muster, e) surface patterns of natural objects, f) dashed patterns,
g) Balkenmuster, g) bar pattern,
h) Rechteckmuster. h) Rectangle pattern.
9. Einrichtung (5, 6) zur rechnergesteuerten Anzeige einer Geschwindig- keitsinformation, die die Bewegungsgeschwindigkeit eines beweglichen realen Objekts (7) gegenüber seiner Umgebung repräsentiert, mittels eines Bildanzeigegeräts (1 , 2), wobei der Einrichtung (5, 6) die Geschwindigkeitsinformation zugeführt ist, dadurch gekennzeichnet, dass die Einrichtung (5, 6) zur An-zeige der Geschwindigkeitsinformation gemäß einem Verfahren der vorher-gehenden Ansprüche eingerichtet ist. 9. Device (5, 6) for the computer-controlled display of speed information, which represents the speed of movement of a moving real object (7) relative to its surroundings, by means of an image display device (1, 2), the device (5, 6) displaying the speed information is supplied, characterized in that the device (5, 6) for displaying the speed information is set up according to a method of the preceding claims.
10. Einrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Einrichtung (5, 6) das Bildanzeigegerät (1 , 2) aufweist. 10. Device according to claim 9, characterized in that the device (5, 6) has the image display device (1, 2).
1 1 . Einrichtung nach einem der Ansprüche 9 bis 10, dadurch gekennzeichnet, dass die Einrichtung (5, 6) wenigstens einen Headtracker (4a, 4b) oder eine Schnittstelle zu einem Headtracker (4a, 4b) aufweist und zur visuell-konformen Ausgabe grafischer Informationen auf dem Bildanzeigegerät (1 , 2) eingerichtet ist. 1 1 . Device according to one of claims 9 to 10, characterized in that the device (5, 6) has at least one head tracker (4a, 4b) or an interface to a head tracker (4a, 4b) and for the visually compliant output of graphic information on the Image display device (1, 2) is set up.
12. Bewegliches reales Objekt (7) mit einer Einrichtung (5, 6) nach einem der Ansprüche 9 bis 1 1 . 12. Movable real object (7) with a device (5, 6) according to one of claims 9 to 1 1.
13. Computerprogramm mit Programmcodemitteln, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Computerprogramm auf einem Rechner ausgeführt wird. 13. Computer program with program code means, set up to carry out the method according to one of claims 1 to 8, when the computer program is executed on a computer.
EP15713707.6A 2014-04-01 2015-03-27 Speed display Withdrawn EP3126782A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014104572.6A DE102014104572B4 (en) 2014-04-01 2014-04-01 Speedometer
PCT/EP2015/056716 WO2015150255A1 (en) 2014-04-01 2015-03-27 Speed display

Publications (1)

Publication Number Publication Date
EP3126782A1 true EP3126782A1 (en) 2017-02-08

Family

ID=52785068

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15713707.6A Withdrawn EP3126782A1 (en) 2014-04-01 2015-03-27 Speed display

Country Status (5)

Country Link
US (1) US9978166B2 (en)
EP (1) EP3126782A1 (en)
DE (1) DE102014104572B4 (en)
IL (1) IL247683A0 (en)
WO (1) WO2015150255A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3045015B1 (en) * 2015-12-09 2017-12-22 Thales Sa METHOD FOR DISPLAYING "ATTITUDE DIRECTOR INDICATOR" IN A HEADSET VISUALIZATION SYSTEM FOR AIRCRAFT
DE102017130714B4 (en) 2017-12-20 2020-10-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Pilot support using augmented reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014117A (en) * 1997-07-03 2000-01-11 Monterey Technologies, Inc. Ambient vision display apparatus and method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4786905A (en) * 1986-03-26 1988-11-22 Sundstrand Data Control, Inc. Wind shear detector head-up display system
DE3930862A1 (en) * 1989-09-15 1991-03-28 Vdo Schindling METHOD AND DEVICE FOR PRESENTING AIRPORT INFORMATION
DK1032929T3 (en) * 1997-11-19 2002-10-14 Mcevoy John Speed limit indicator
DE19940723A1 (en) * 1999-08-27 2001-03-08 Daimler Chrysler Ag Method for displaying a perspective image and display device for at least one occupant of a vehicle
US7091881B2 (en) * 2003-03-31 2006-08-15 Sikorsky Aircraft Corporation Integrated hover display with augmented approach to hover symbology cueing for degraded visual environmental conditions
US7026956B1 (en) * 2003-10-23 2006-04-11 Rockwell Collins, Inc. Method of integrating speed deviation cues in a vehicle navigation display
US20080243321A1 (en) * 2005-02-11 2008-10-02 Econtrols, Inc. Event sensor
FR2870518B1 (en) * 2004-05-18 2007-08-03 Airbus France Sas STEERING INDICATOR FOR AN AIRCRAFT
JP4443327B2 (en) * 2004-07-01 2010-03-31 パイオニア株式会社 Information display device
AU2008218928B2 (en) * 2007-02-23 2012-02-16 Optical Air Data Systems, Llc Optical system for detecting and displaying aircraft position and environment during landing and takeoff
DE102007014015B4 (en) * 2007-03-23 2010-07-01 Eads Deutschland Gmbh Human-machine interface for pilot support during takeoff and landing of a vehicle with a reduced external view
US9091545B2 (en) * 2007-11-27 2015-07-28 Florida Institute For Human And Machine Cognition, Inc. Motion-resolving hover display
DE102008023040B4 (en) * 2008-05-09 2011-04-28 Eurocopter Deutschland Gmbh Flight guidance display for a helicopter
US7965202B1 (en) * 2008-09-26 2011-06-21 Rockwell Collins, Inc. System, system, module, and method for presenting an abbreviated pathway on an aircraft display unit
FR2943131B1 (en) * 2009-03-12 2011-02-25 Eurocopter France METHOD FOR DETERMINING AND DISPLAYING STEERING INDICATIONS AND STEERING INDICATOR FOR CARRYING OUT SAID METHOD
US20130041529A1 (en) * 2011-08-11 2013-02-14 Honeywell International Inc. Aircraft vision system having redundancy for low altitude approaches
US9041560B2 (en) * 2012-04-24 2015-05-26 Honeywell International Inc. System and method of displaying a runway temporarily displaced threshold and an aircraft landing aiming point
KR101376210B1 (en) * 2012-08-06 2014-03-21 현대모비스 주식회사 Around View Monitor System and Monitoring Method
FR2994736B1 (en) 2012-08-24 2017-02-10 Thales Sa VISUALIZATION SYSTEM, IN PARTICULAR FOR AIRCRAFT, TRANSPARENT SCREEN AND PERIPHERAL SYMBOLOGY
DE102012023107B4 (en) * 2012-11-27 2017-06-29 Audi Ag Method for operating a driver assistance system of a motor vehicle and motor vehicle
US9168859B2 (en) * 2013-02-25 2015-10-27 Honeywell International Inc. System and method for displaying visual flight reference points
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9377325B2 (en) * 2013-03-18 2016-06-28 Honeywell International Inc. System and method for graphically displaying airspace speed data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014117A (en) * 1997-07-03 2000-01-11 Monterey Technologies, Inc. Ambient vision display apparatus and method

Also Published As

Publication number Publication date
US9978166B2 (en) 2018-05-22
IL247683A0 (en) 2016-11-30
WO2015150255A1 (en) 2015-10-08
DE102014104572A1 (en) 2015-10-01
US20170140564A1 (en) 2017-05-18
DE102014104572B4 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
EP2166372B1 (en) Human-machine interface for supporting a pilot when taking off or landing an airplane in low visibility
EP0418558B1 (en) Method and device for displaying flight information
DE69910344T2 (en) Cockpit display with three-dimensional trajectory deviation symbols
DE3779949T2 (en) PANORAMIC AIRCRAFT SCREEN.
DE102013102624A1 (en) Pilot briefing instrument for situational awareness
DE102017220268B4 (en) Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE112017005111T5 (en) Board display controller
DE10102938B4 (en) Pitch attitude symbolism
DE102007014015B4 (en) Human-machine interface for pilot support during takeoff and landing of a vehicle with a reduced external view
DE1951456A1 (en) Arrangement for the reproduction of information for the area of a vehicle
DE102017130714B4 (en) Pilot support using augmented reality
DE102014000803A1 (en) Vehicle, display system and method for displaying traffic-related information
EP3978877A1 (en) Horizontal position definition for the insertion of virtual objects in a head-up display device
DE102014104572B4 (en) Speedometer
DE102017202225A1 (en) METHOD, DEVICE AND COMPUTER READABLE STORAGE MEDIUM WITH INSTRUCTIONS FOR CONTROLLING AN INDICATOR OF AN AUGMENTED REALITY HEAD-UP DISPLAY DEVICE
EP3967537B1 (en) Method for producing a virtual element
DE102014104724B4 (en) External load movement display
EP4005894A1 (en) Method for depicting a virtual element
EP2618110B1 (en) Method and system for helping helicopters to land
DE102014115471B4 (en) Head-mounted display device and method
EP3967538A1 (en) Method for depicting a virtual element
DE102011112620B3 (en) Angled display for the three-dimensional representation of a scenario
EP0951700B1 (en) Method for stereoscopic representation
DE1481989A1 (en) Blind landing system
EP3299768A1 (en) Man-machine interface for the pilot of an aircraft

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20161018

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20180511

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20180614