DE102020003921A1 - Method for calibrating a head-up display and a vehicle with such a head-up display - Google Patents

Method for calibrating a head-up display and a vehicle with such a head-up display Download PDF

Info

Publication number
DE102020003921A1
DE102020003921A1 DE102020003921.9A DE102020003921A DE102020003921A1 DE 102020003921 A1 DE102020003921 A1 DE 102020003921A1 DE 102020003921 A DE102020003921 A DE 102020003921A DE 102020003921 A1 DE102020003921 A1 DE 102020003921A1
Authority
DE
Germany
Prior art keywords
vehicle
display
pattern
calibration
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102020003921.9A
Other languages
German (de)
Inventor
Xiang Gao
Kai Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102020003921.9A priority Critical patent/DE102020003921A1/en
Publication of DE102020003921A1 publication Critical patent/DE102020003921A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0189Sight systems
    • G02B2027/019Sight systems comprising reticules formed by a mask

Abstract

Verfahren zur Kalibrierung eines von einem Fahrzeug (1) umfassten Head-Up-Displays (2), um ein auf ein von einer Windschutzscheibe (3) des Fahrzeugs (1) umfasstes Anzeigefeld (2.3) projiziertes virtuelles Bild (4) in einem Blickfeld (5) einer fahrzeugführenden Person (6) zu einer Umgebung so auszurichten, dass das virtuelle Bild (4) ein in der Umgebung vorliegendes reales Objekt überdeckt, wobei das virtuelle Bild (4) während der Kalibrierung zu einem Kalibriermuster (7) ausgerichtet wird. Die Erfindung ist dadurch gekennzeichnet, dass das Kalibriermuster (7) auf einer vom Fahrzeug (1) umfassten Motorhaube (8) vorliegt, wobei die Motorhaube (8) zur Positionierung des Kalibriermusters (7) in einer von der fahrzeugführenden Person (6) durch das Anzeigefeld (2.3) verlaufenden Blickachse (9) aufklappbar ist.Method for calibrating a head-up display (2) encompassed by a vehicle (1) in order to display a virtual image (4) projected onto a display field (2.3) encompassed by a windshield (3) of the vehicle (1) in a field of view ( 5) to align a person driving the vehicle (6) with an environment so that the virtual image (4) covers a real object in the environment, the virtual image (4) being aligned with a calibration pattern (7) during the calibration. The invention is characterized in that the calibration pattern (7) is present on an engine hood (8) encompassed by the vehicle (1), the engine hood (8) being used for positioning the calibration pattern (7) in a person (6) driving the vehicle Display field (2.3) extending line of sight (9) can be opened.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines von einem Fahrzeug umfassten Head-Up-Displays nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug mit einem solchen Head-Up-Display und einem Beschichtungsmuster.The invention relates to a method for calibrating a head-up display encompassed by a vehicle according to the type defined in more detail in the preamble of claim 1 and a vehicle with such a head-up display and a coating pattern.

Bei einem Head-Up-Display (HUD) handelt es sich um eine Vorrichtung zur Einblendung von Informationen in einem Blickfeld einer Person. Dadurch, dass die Informationen im Blickfeld der Person eingeblendet werden, kann diese ihren Blick weiterhin auf eine relevante Situation richten, und wird beim Ablesen der Informationen nicht abgelenkt. HUDs werden beispielsweise bei Fahrzeugen eingesetzt. Dabei handelt es sich um einen Projektor welcher Informationen wie Navigationshinweise, Geschwindigkeiten, Tempolimits, Warnhinweise oder dergleichen in ein von einer Windschutzscheibe des Fahrzeugs umfasstes Anzeigefeld projiziert, wodurch eine fahrzeugführende Person die Informationen während sie das Fahrzeug steuert und ihren Blick auf eine Fahrsituation wirft, erfassen kann. Eine Weiterentwicklung von HUDs sind sogenanntes Augmented Reality HUDs. Dabei ist ein HUD um eine Einrichtung erweitert, welche Umgebungsobjekte erfasst und eine Relativposition zwischen Fahrzeug und Objekt bestimmt, sodass auf dem Anzeigefeld des HUDs eingeblendete Informationen kontaktanalog zum Objekt dargestellt werden, das heißt, dass die Informationen das reale Objekt überdecken. Dies erlaubt ein besonders intuitives Erfassen der Informationen, wodurch ein Komfort bei der Nutzung des HUDs verbessert wird, und eine Sicherheit im Straßenverkehr erhöht wird.A head-up display (HUD) is a device for displaying information in a person's field of vision. Because the information is displayed in the person's field of vision, they can continue to focus their gaze on a relevant situation and are not distracted when reading the information. HUDs are used in vehicles, for example. This is a projector which projects information such as navigation instructions, speeds, speed limits, warning notices or the like into a display field encompassed by a windshield of the vehicle, as a result of which a person driving the vehicle captures the information while controlling the vehicle and looking at a driving situation can. Augmented Reality HUDs are a further development of HUDs. A HUD is expanded to include a device that detects surrounding objects and determines a relative position between the vehicle and the object, so that information displayed on the display field of the HUD is represented in a contact-analog manner to the object, i.e. the information covers the real object. This allows the information to be captured in a particularly intuitive manner, as a result of which comfort when using the HUD is improved and safety in road traffic is increased.

Typischerweise befindet sich das Anzeigefeld des HUDs an einer festen Position innerhalb der Windschutzscheibe des Fahrzeugs. In Abhängigkeit einer Sitzposition der fahrzeugführenden Person, welche insbesondere von einer körperlichen Statur der fahrzeugführenden Person abhängig ist, verläuft eine der Blickrichtung der fahrzeugführenden Person entsprechende Blickachse in einer unterschiedlichen Ausrichtung durch das Anzeigefeld. Dies führt dazu, dass bei einer Änderung der Sitzposition, oder bei einer anderen fahrzeugführenden Person die auf dem Anzeigefeld dargestellten Informationen an einer Position erscheinen, an der sie eigentlich nicht vorliegen sollten. Beispielsweise kann ein Navigationspfeil, der vor der fahrzeugführenden Person auf einer Fahrbahn schweben sollte, bei einer größeren fahrzeugführenden Person auf einer Motorhaube des Fahrzeugs erscheint. Dies ist insbesondere problematisch für Augmented Reality HUDs, da die Informationen kontaktanalog zu Umgebungsobjekten dargestellt werden sollen, und bei unterschiedlichen Blickachsen eine Verschiebung zwischen Informationen und realem Objekt unvermeidbar ist.Typically, the HUD's display panel is located in a fixed position within the vehicle's windshield. Depending on a sitting position of the person driving the vehicle, which is particularly dependent on the physical stature of the person driving the vehicle, a line of sight corresponding to the direction of view of the person driving the vehicle runs in a different orientation through the display field. As a result, when the seat position is changed or when another person is driving the vehicle, the information shown on the display panel appears in a position where it should not actually be available. For example, a navigation arrow, which should float on a roadway in front of the person driving the vehicle, can appear on the hood of the vehicle for a tall person driving the vehicle. This is particularly problematic for Augmented Reality HUDs, since the information is to be represented in a manner analogous to contact with surrounding objects, and a shift between the information and the real object is unavoidable with different viewing axes.

Um eine korrekte Ausrichtung der auf dem Anzeigefeld dargestellten Informationen zu einer Sollposition, oder im Falle von Augmented Realtity HUDs zu Umgebungsobjekten zu gewährleisten, müssen HUDs kalibriert werden. Hierzu blickt eine Kalibrierung durchführende Person auf das Anzeigefeld und ein hinter dem Anzeigefeld im Blickfeld der Person befindliches reales Kalibriermuster. Auf dem Anzeigefeld wird dann ein virtuelles Bild in Form eines virtuellen Kalibriermusters eingeblendet, welches durch ein Hin- und Herbewegen auf dem Anzeigefeld mit dem realen Kalibriermuster zu Deckung gebracht wird. Dabei wird eine Beziehung hergestellt um welchem Betrag ein virtuelles Bild auf dem Anzeigefeld in Abhängigkeit einer Entfernung einer Position, an der das virtuelle Bild in der Umgebung erscheinen soll, bewegt werden muss. Dieser Betrag kann auch von einer Blickrichtung der fahrzeugführenden Person abhängen, weshalb eine Berücksichtigung dieser Größe mit Hilfe eines Eye-Trackers erfolgen kann. Nachteilig ist dabei, dass die Kalibriermuster aufgrund ihrer Komplexität und Größe teuer sind. Ferner ist der Kalibriervorgang komplex und wird daher meist von Fachpersonal durchgeführt.In order to ensure correct alignment of the information displayed on the display panel with respect to a target position or, in the case of augmented reality HUDs, to surrounding objects, HUDs must be calibrated. For this purpose, a person performing the calibration looks at the display field and a real calibration pattern located behind the display field in the person's field of vision. A virtual image in the form of a virtual calibration pattern is then displayed on the display field, which is brought into congruence with the real calibration pattern by moving back and forth on the display field. In this case, a relationship is established by which amount a virtual image must be moved on the display field as a function of a distance from a position at which the virtual image is to appear in the surroundings. This amount can also depend on the direction in which the person driving the vehicle is looking, which is why this variable can be taken into account with the aid of an eye tracker. The disadvantage here is that the calibration samples are expensive due to their complexity and size. Furthermore, the calibration process is complex and is therefore usually carried out by specialist staff.

Des Weiteren existieren Verfahren zur HUD-Kalibrierung, bei denen das reale Kalibriermuster von der Umgebung ausgebildet wird. In diesem Fall ist allerdings eine spezielle Kamera erforderlich, welche Abstandsinformationen zwischen Fahrzeug und Umgebungsobjekten ermittelt, um das virtuelle Kalibriermuster korrekt auf dem Anzeigefeld zu positionieren. Dies geht mit erhöhten Kosten einher.There are also methods for HUD calibration in which the real calibration pattern is formed by the environment. In this case, however, a special camera is required which determines distance information between the vehicle and surrounding objects in order to correctly position the virtual calibration pattern on the display field. This is associated with increased costs.

Aus der DE 10 2019 004 816 A1 ist ein Verfahren zur Kalibrierung eines von einem Fahrzeug umfassten HUDs offenbart. Dabei wird ein reales Kalibriermuster von einem vom Fahrzeug umfassten Scheinwerfer erzeugt und auf eine vor dem Fahrzeug liegende Projektionsfläche projiziert. Eine Überdeckung zwischen einem auf einem Anzeigefeld des HUDs eingeblendeten virtuellen Bilds, welches dem realen Kalibriermuster entspricht erfolgt dabei manuell von einer im Fahrzeug befindlichen Person. Dabei wird eine Blickrichtung der die Kalibrierung durchführenden Person erfasst, wodurch eine korrekte Ausrichtung der auf dem Anzeigefeld des HUDs eingeblendeten Informationen zu Umgebungsobjekten, auch bei sich ändernden Blickrichtungen, ermöglicht wird. Nachteilig ist dabei jedoch, dass das Fahrzeug einen speziellen Scheinwerfer zum erzeugen des Kalibriermusters aufweisen muss, welcher mit erhöhten Kosten einhergeht. Zudem wird die Funktion des Scheinwerfers des Kalibriermusters zu erzeugen nur selten benötigt. Ferner muss die Ausrichtung des virtuellen Bilds zum realen Kalibriermuster manuell erfolgen. Dies bedeutet einen Aufwand für die Kalibrierung durchführende Person und kann fehlerhaft durchgeführt werden, wobei dann eine permanente Lagerabweichung zwischen auf dem Anzeigefeld des HUDs eingeblendeten Informationen zu einer Sollposition beziehungsweise zu realen Umgebungsobjekten vorliegt.From the DE 10 2019 004 816 A1 discloses a method for calibrating a HUD encompassed by a vehicle. A real calibration pattern is generated by a headlight encompassed by the vehicle and projected onto a projection surface in front of the vehicle. An overlap between a virtual image shown on a display field of the HUD, which corresponds to the real calibration pattern, is done manually by a person in the vehicle. A viewing direction of the person performing the calibration is recorded, which enables correct alignment of the information about surrounding objects displayed on the display field of the HUD, even when viewing directions change. However, the disadvantage here is that the vehicle must have a special headlight for generating the calibration pattern, which is associated with increased costs. In addition, the function of the headlight to generate the calibration pattern is rarely required. Furthermore, the alignment of the virtual image to the real calibration pattern must be done manually. This means an effort for them Person performing the calibration and can be carried out incorrectly, in which case there is a permanent bearing discrepancy between information about a target position or about real objects in the vicinity that is displayed on the display field of the HUD.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Kalibrierung eines von einem Fahrzeug umfassten HUDs anzugeben, welches besonders einfach durchführbar ist, sodass auch ein Endnutzer des Fahrzeugs das Verfahren durchführen kann.The present invention is based on the object of specifying an improved method for calibrating a HUD encompassed by a vehicle, which method can be carried out particularly easily so that an end user of the vehicle can also carry out the method.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Kalibrierung eines von einem Fahrzeug umfassten Head-up-Displays mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug mit einem solchen HUD ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for calibrating a head-up display encompassed by a vehicle with the features of claim 1. Advantageous refinements and developments as well as a vehicle with such a HUD result from the dependent claims.

Bei dem Verfahren zur Kalibrierung eines von einem Fahrzeug umfassten Head-up-Displays der eingangs genannten Art liegt erfindungsgemäß das Kalibriermuster auf einer vom Fahrzeug umfassten Motorhaube vor, welche zur Positionierung des Kalibriermusters in einer von der fahrzeugführenden Person durch das Anzeigefeld verlaufenden Blickachse aufklappbar ist.In the method for calibrating a head-up display of the type mentioned in the introduction, according to the invention, the calibration pattern is present on an engine hood covered by the vehicle, which can be opened to position the calibration pattern in a line of sight running through the display field by the person driving the vehicle.

Mit Hilfe des offenbarten Verfahrens zur Kalibrierung des HUDs ist eine besonders einfache und kostengünstige Kalibrierung möglich. Dadurch, dass das Kalibriermuster auf der Motorhaube des Fahrzeugs vorliegt, entfällt die Notwendigkeit eines komplizierten, großen und teuren Kalibriermusters. Ein Abstand der Motorhaube zur Windschutzscheibe ist ferner bei einer aufgeklappten Motorhaube immer konstant. Somit weist auch das Kalibriermuster einen konstanten Abstand zur Windschutzscheibe auf. Dies vereinfacht den Kalibriervorgang, da eine Abstandsinformation zwischen Kalibriermuster und Anzeigefeld somit vorab bekannt ist. Hierzu kann eine Position des Kalibriermusters auf der Motorhaube vorher festgelegt sein. Diese kann beispielsweise einer festen Position auf der Motorhaube entsprechen, oder es kann ein Sollbereich auf der Motorhaube vorliegen, in welchem das Kalibriermuster auf der Motorhaube vorzusehen ist.With the aid of the disclosed method for calibrating the HUD, a particularly simple and inexpensive calibration is possible. Having the calibration pattern on the hood of the vehicle eliminates the need for a complicated, large, and expensive calibration pattern. A distance between the engine hood and the windshield is also always constant when the engine hood is opened. The calibration pattern thus also has a constant distance from the windshield. This simplifies the calibration process, since distance information between the calibration pattern and the display field is thus known in advance. For this purpose, a position of the calibration pattern on the engine hood can be established beforehand. This can, for example, correspond to a fixed position on the bonnet, or there can be a target area on the bonnet in which the calibration pattern is to be provided on the bonnet.

Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Kalibriermuster von einem auf einem Blatt Papier ausgedruckten Printmuster oder von einem Beschichtungsmuster ausgebildet wird, wobei das Beschichtungsmuster von einer auf der Motorhaube aufgebrachten Beschichtung ausgebildet wird.An advantageous development of the method provides that the calibration pattern is formed from a print pattern printed out on a sheet of paper or from a coating pattern, the coating pattern being formed from a coating applied to the engine hood.

Zur Erzeugung des Kalibriermusters lassen sich somit besonders einfache Methoden einsetzen. Verfügt die fahrzeugführende Person über einen Drucker, so kann sie das Kalibriermuster bequem selbst ausdrucken. Beispielsweise kann ein auf einem DIN-A4-Blatt ausgedrucktes Printmuster zur Ausbildung des Kalibriermusters eingesetzt werden. Dabei kann das Printmuster eine beliebige Form, beziehungsweise Geometrie aufweisen und eine gleichbleibende Farbe aufweisen oder bunt sein. Beispielsweise kann das Printmuster aus schwarzen und weißen Bereichen bestehen. Es ist jedoch auch denkbar, ein beliebiges anderes mobiles Printmuster zu benutzen. So kann beispielsweise ein Printmuster von einem Fahrzeughändler oder einer Werkstatt genutzt werden. Diese können hierzu beispielsweise auch auf einer starren Unterlage wie einem Karton, Schild oder dergleichen vorliegen. Beispielsweise kann das Printmuster auch direkt beim Erwerben des Fahrzeugs mit diesen ausgeliefert werden. So wird der fahrzeugführenden Person der Schritt des Ausdruckens des Printmusters erspart. Um es der fahrzeugführenden Person zu erleichtern das Printmuster korrekt auf der Motorhaube anzubringen, können ferner auf der Motorhaube Markierungen vorhanden sein, welche eine korrekte Position, an welcher das Printmuster auf der Motorhaube angebracht werden muss, zu visualisieren. Ferner ist es auch möglich das Kalibriermuster durch das Beschichtungsmuster auszubilden. Hierzu können die Motorhaube mit einem dazu geeigneten Material, beispielsweise einen speziellen Lack über eine vollständige Fläche, oder über einen Teilbereich beschichtet sein. Die Ausbildung des Kalibriermusters durch das Beschichtungsmuster hat den Vorteil, dass das Beschichtungsmuster permanent an einer festen Position auf der Motohaube vorliegt, und so Fehler beim Anbringen des Kalibriermusters auf der Motorhaube reduziert werden. Ferner führt das Fahrzeug das Beschichtungsmuster permanent mit.Particularly simple methods can thus be used to generate the calibration pattern. If the person driving the vehicle has a printer, they can conveniently print out the calibration pattern themselves. For example, a print pattern printed out on a DIN A4 sheet of paper can be used to form the calibration pattern. The print pattern can have any shape or geometry and have a constant color or be colorful. For example, the print pattern can consist of black and white areas. However, it is also conceivable to use any other mobile print pattern. For example, a print sample can be used by a vehicle dealer or a workshop. For this purpose, these can also be present, for example, on a rigid base such as a cardboard box, sign or the like. For example, the print sample can also be delivered with the vehicle when it is purchased. This saves the person driving the vehicle the step of printing out the print sample. In order to make it easier for the person driving the vehicle to correctly apply the print pattern to the engine hood, markings can also be present on the engine hood which visualize a correct position at which the print pattern must be applied to the engine hood. Furthermore, it is also possible to form the calibration pattern using the coating pattern. For this purpose, the engine hood can be coated with a suitable material, for example a special paint, over a complete area or over a partial area. The formation of the calibration pattern by the coating pattern has the advantage that the coating pattern is permanently present in a fixed position on the engine hood, and errors when applying the calibration pattern to the engine hood are thus reduced. Furthermore, the vehicle permanently carries the coating pattern with it.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens entspricht das Kalibriermuster einem Schachbrettmuster oder einem Kontrollpunkt-Feld. Schachbrettmuster sind etablierte Muster zur Kalibrierung von HUDs. Somit können sie auch bei dem offenbarten Verfahren eingesetzt werden. Dies gilt ebenso für Kontrollpunkt-Felder, bei denen es sich um ein Feld beziehungsweise ein Array von geometrischen Objekten handelt. Die geometrischen Objekte können dabei eine beliebige Form aufweisen, beispielsweise können sie von Kreisen, Quadraten, Rechtecken, Dreiecken, Vielecken, Kreuzen und/oder dergleichen ausgebildet sein. Die Geometrie der Objekte kann dabei so gewählt werden, dass Vorteile bei der Durchführbarkeit des Verfahrens vorliegen, beispielsweise eine einfache Wahrnehmung der Objekte von einer die Kalibrierung durchführendenden Person.According to a further advantageous embodiment of the method, the calibration pattern corresponds to a checkerboard pattern or a control point field. Checkerboard patterns are well-established patterns for calibrating HUDs. They can therefore also be used in the disclosed method. This also applies to control point fields, which are a field or an array of geometric objects. The geometric objects can have any shape, for example they can be formed from circles, squares, rectangles, triangles, polygons, crosses and / or the like. The geometry of the objects can be selected in such a way that there are advantages in the feasibility of the method, for example easy perception of the objects by a person performing the calibration.

Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass die Ausrichtung des virtuellen Bilds zum Kalibriermuster von einer Person manuell durchgeführt wird, oder automatisch erfolgt, wobei bei einer automatischen Ausrichtung die Blickachse von einem wenigstens das Anzeigefeld, das virtuelle Bild und das Kalibriermuster erfassenden optischen Sensor ausgeht. A further advantageous embodiment of the method also provides that the alignment of the virtual image to the calibration pattern is carried out manually by a person or takes place automatically, with an automatic alignment the viewing axis from an optical that captures at least the display field, the virtual image and the calibration pattern Sensor goes out.

Somit werden vielfältige Möglichkeiten zur Durchführung der Kalibrierung gewährleistet. Bei einer manuellen Kalibrierung lassen sich Kosten einsparen, da auf weitere Hardware zur Durchführung der Kalibrierung verzichtet werden kann. Da das offenbarte Verfahren besonders einfach durchführbar ist, kann auch ein Endnutzer des Fahrzeugs das HUD bei sich zu Hause selbstständig und sicher kalibrieren. Dies wird durch den Einsatz eines optischen Sensors zur automatischen Kalibrierung weiter vereinfacht. So kann der optische Sensor vom Fahrzeug selbst umfasst sein, beispielsweise kann es sich dabei um eine vom Fahrzeug umfasste Kamera handeln, diese kann als Monokamera oder als Stereokamera ausgebildet sein. Dadurch, dass der Abstand zwischen Kalibriermuster und Anzeigefeld beziehungsweise optischem Sensor konstant ist, kann insbesondere eine Monokamera eingesetzt werden, da der Einsatz einer Stereokamera zur Erfassung des Abstands zwischen Kamera und Kalibriermuster nicht notwendig ist. Somit lassen sich weiter Kosten sparen. Auch ist es möglich, einen von einem mobilen Endgerät umfassten optischen Sensor zu verwenden. Beispielsweise kann es sich bei dem mobilen Endgerät um ein Smartphone, Tablet, Laptop oder dergleichen handeln, wobei der optische Sensor dann von einer von dem jeweiligen mobilen Endgerät umfassten Kamera ausgebildet wird. Solche mobilen Endgeräte sind breit verfügbar, wodurch der Erwerb einer speziellen Kamera entfallen kann. Um die Kalibrierung durchführende Person bei der Durchführung des Verfahrens und der Nutzung eines mobilen Endgeräts weiter zu unterstützen, kann das Fahrzeug eine Einrichtung zur Aufnahme des mobilen Endgeräts umfassen, wodurch eine korrekte Ausrichtung des vom mobilen Endgeräts umfassten optischen Sensors zum Anzeigefeld gewährleistet wird. Auch ist es möglich, dass ein Eye-Tracking beziehungsweise eine Erfassung einer Blickrichtung der die Kalibrierung durchführenden Person erfolgt.This ensures a wide range of options for performing the calibration. With manual calibration, costs can be saved since additional hardware for performing the calibration can be dispensed with. Since the disclosed method can be carried out particularly easily, an end user of the vehicle can also calibrate the HUD independently and safely at home. This is further simplified by using an optical sensor for automatic calibration. The optical sensor can be included in the vehicle itself, for example it can be a camera included in the vehicle, which can be designed as a mono camera or as a stereo camera. Because the distance between the calibration pattern and the display field or optical sensor is constant, a mono camera can in particular be used, since it is not necessary to use a stereo camera to record the distance between the camera and the calibration pattern. This allows further cost savings. It is also possible to use an optical sensor comprised by a mobile terminal. For example, the mobile terminal device can be a smartphone, tablet, laptop or the like, the optical sensor then being formed by a camera comprised by the respective mobile terminal device. Such mobile devices are widely available, which means that there is no need to purchase a special camera. In order to further support the person performing the calibration in performing the method and using a mobile terminal, the vehicle can include a device for receiving the mobile terminal, which ensures correct alignment of the optical sensor included by the mobile terminal with the display panel. It is also possible for eye tracking or detection of a line of sight of the person performing the calibration to take place.

Bei einem Fahrzeug mit einem Head-Up-Display und einem Beschichtungsmuster ist erfindungsgemäß eine Durchführung des offenbarten Verfahrens mit Hilfe des Beschichtungsmusters möglich.In the case of a vehicle with a head-up display and a coating pattern, it is possible according to the invention to carry out the disclosed method with the aid of the coating pattern.

Eine vorteilhafte Weiterbildung des Fahrzeugs sieht vor, dass das Beschichtungsmuster von einem optischen Sensor erfassbar ist und von einem menschlichen Auge nicht erfassbar ist. Somit wird eine Ästhetik des Fahrzeugs nicht beeinträchtigt, da das Beschichtungsmuster von Personen nicht wahrnehmbar ist. Beispielsweise kann das Beschichtungsmuster so ausgebildet sein, dass es Infrarotlicht reflektiert. Beispielsweise kann dabei ein Material zur Ausbildung des Beschichtungsmusters fluoreszierend sein. Dabei kann es sich um einen Lack, einen oder mehrere Aufkleber, und/oder dergleichen handeln. Generell kann das Beschichtungsmuster von einem beliebigen dazu geeigneten Material ausgebildet sein. Dementsprechend ist der optische Sensor dazu eingerichtet, das Beschichtungsmuster zu erfassen.An advantageous development of the vehicle provides that the coating pattern can be detected by an optical sensor and cannot be detected by a human eye. An aesthetics of the vehicle is therefore not impaired, since the coating pattern is not perceptible to people. For example, the coating pattern can be designed so that it reflects infrared light. For example, a material for forming the coating pattern can be fluorescent. This can be a paint, one or more stickers, and / or the like. In general, the coating pattern can be formed from any suitable material. Accordingly, the optical sensor is set up to detect the coating pattern.

Bevorzugt ist das Head-Up-Display als Augmented Reality Head-Up-Display ausgebildet. Somit lassen sich auch Augmented Reality HUDs kalibrieren, welche aufgrund einer kontaktanalogen Darstellung von virtuellen Bildern auf dem Anzeigefeld einen erhöhten Nutzerkomfort bei der Verwendung des Augmented Reality HUDs gewährleisten.The head-up display is preferably designed as an augmented reality head-up display. In this way, augmented reality HUDs can also be calibrated, which guarantee increased user comfort when using the augmented reality HUD due to a contact-analog representation of virtual images on the display panel.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Kalibrierung eines von einem Fahrzeug umfassten Head-up-Displays sowie des Fahrzeugs ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben wird.Further advantageous refinements of the method according to the invention for calibrating a head-up display encompassed by a vehicle and of the vehicle also result from the exemplary embodiment which is described in more detail below with reference to the figures.

Dabei zeigen:

  • 1 Einen Aufbau zur Kalibrierung eines von einem Fahrzeug umfassten Head-up-Displays entsprechend dem Stand der Technik;
  • 2 Eine dabei auf einem Anzeigefeld des Head-up-Displays vorliegende Ausrichtung von virtuellen Objekten zu einem Kalibriermuster;
  • 3 ein erfindungsgemäßes auf eine Motorhaube vorliegendes Kalibriermuster in zwei Ausführungsformen aus Sicht einer eine Kalibrierung durchführenden Person; und
  • 4 einen Sollbereich der Motorhaube in welchem das Kalibriermuster vorliegen soll, aus Sicht der Kalibrierung durchführenden Person.
Show:
  • 1 A structure for calibrating a head-up display encompassed by a vehicle according to the prior art;
  • 2 Alignment of virtual objects with a calibration pattern on a display field of the head-up display;
  • 3 a calibration pattern according to the invention present on an engine hood in two embodiments from the point of view of a person performing a calibration; and
  • 4th a target area of the engine hood in which the calibration pattern should be present, from the perspective of the person performing the calibration.

Ein in 1 dargestelltes Fahrzeug 1 weist eine Windschutzscheibe 3, eine Motorhaube 8, und ein Head-Up-Display 2 auf. Das Head-Up-Display 2 umfasst dabei eine Recheneinheit 2.1, einen Projektor 2.2 und ein Anzeigefeld 2.3. Das Fahrzeug 1 ist dazu eingerichtet Informationen zu erfassen und auszuwerten, mit deren Hilfe ein Sollabstand zwischen auf dem Anzeigefeld 2.3 dargestellten virtuellen Bildern 4 und in einer Umgebung des Fahrzeugs 1 vorliegenden realen Objekten bestimmt werden kann. Dabei können die Informationen der Recheneinheit 2.1 übermittelt werden, oder von dieser selbst berechnet werden. Hieraus ergeben sich Sollpositionen an denen die virtuellen Bilder 4 auf dem Anzeigefeld 2.3 darzustellen sind. Dies geschieht mit Hilfe des Projektors 2.2, welcher die virtuellen Bilder 4 auf das Anzeigefeld 2.3 projiziert.An in 1 depicted vehicle 1 has a windshield 3 , a hood 8th , and a heads-up display 2 on. The head-up display 2 includes a computing unit 2.1 , a projector 2.2 and a display panel 2.3 . The vehicle 1 is set up to record and evaluate information, with the help of which a target distance between on the display field 2.3 displayed virtual images 4th and in a vicinity of the vehicle 1 present real objects can be determined. The information from the processing unit 2.1 transmitted, or calculated by them. This results in target positions at which the virtual images 4th on the display panel 2.3 are to be represented. This is done with the help of the Projector 2.2 which the virtual images 4th on the display panel 2.3 projected.

Eine fahrzeugführende Person 6 blickt in 1 in Richtung der Windschutzscheibe 3 auf ein Kalibriermuster 7, wobei das Anzeigefeld 2.3 in einem Blickfeld 5 der fahrzeugführenden Person 6 liegt. Somit geht eine Blickachse 9 von der fahrzeugführenden Person 6 aus, verläuft durch das Anzeigefeld 2.3, in welchem die virtuellen Bilder 4 an einer ersten Position 12.1 real vorliegen, und trifft auf ein Kalibriermuster 7. Hierdurch erscheinen die virtuellen Bilder 4 als ob sie Teil der Umgebung sind und liegen somit im Blickfeld 5 der fahrzeugführenden Person 6 an einer zweiten Position 12.2 hinter dem Kalibriermuster 7 vor.A person driving the vehicle 6 looks in 1 towards the windshield 3 on a calibration sample 7th , the display panel 2.3 in one field of view 5 the person driving the vehicle 6 lies. Thus there is a line of sight 9 by the person driving the vehicle 6 off, runs through the display panel 2.3 in which the virtual images 4th at a first position 12.1 real, and meets a calibration sample 7th . This causes the virtual images to appear 4th as if they are part of the environment and are therefore in the field of vision 5 the person driving the vehicle 6 at a second position 12.2 behind the calibration pattern 7th in front.

2 zeigt das auf dem Anzeigefeld 2.3 projizierte virtuelle Bild 4, welches virtuelle Symbole 16 umfasst sowie das in Blickrichtung der fahrzeugführenden Person 6 hinter dem Anzeigefeld 2.3 liegende Kalibriermuster 7. Zum Kalibrieren des HUDs wird das virtuelle Bild 4, beziehungsweise die von dem virtuellen Bild 4 umfassten virtuellen Symbole 16, auf dem Anzeigefeld 2.3 so lange verschoben, bis die virtuellen Symbole 16 vom Kalibriermuster 7 umfasste geometrische Symbole 15 bestmöglich überdecken. Es ist auch möglich, dass eine Translation der virtuellen Symbole 16 automatisch erfolgt, wobei das virtuelle Bild 4 und das Kalibriermuster 7 von einem optischen Sensor erfasst werden, welcher vom Fahrzeug 1, oder von einem mobilen Endgerät (nicht dargestellt) umfasst sein kann. 2 shows this on the display panel 2.3 projected virtual image 4th which virtual symbols 16 includes as well as that in the direction of view of the person driving the vehicle 6 behind the display panel 2.3 lying calibration samples 7th . The virtual image is used to calibrate the HUD 4th , or that of the virtual image 4th included virtual symbols 16 , on the display panel 2.3 moved until the virtual symbols 16 from the calibration sample 7th included geometric symbols 15th cover as best as possible. It is also possible that a translation of the virtual symbols 16 is done automatically, taking the virtual image 4th and the calibration pattern 7th can be detected by an optical sensor, which is from the vehicle 1 , or by a mobile terminal (not shown).

3 zeigt ein erfindungsgemäßes Kalibriermuster 7 in Form eines Schachbrettmusters 10 und eines Kontrollpunkt-Felds 11. Dabei liegen das Schachbrettmuster 10 und das Kontrollpunk-Feld 11 auf der von Fahrzeug 1 umfassten Motorhaube 8 vor, welche wie in 3 dargestellt hochgeklappt ist, um im Blickfeld 5 der fahrzeugführenden Person 6 zu liegen. Das Schachbrettmuster 10 kann dabei eine beliebige Anzahl an Feldern umfassen. Diese können außerdem einen Abstand zueinander aufweisen oder direkt aneinander angrenzen. Entsprechendes gilt für das Kontrollpunkt-Feld 11, welches eine beliebige Anzahl an Reihen und Spalten von geometrischen Symbolen 15 aufweisen kann, welche ein symmetrischen Abstand zueinander oder einen asymmetrischen Abstand zueinander aufweisen können. Ferner können die geometrischen Symbole 15 eine beliebige Form aufweisen. Sie können wie dargestellt als Kreis ausgebildet sein, ebenso können Quadrate, Rechtecke, Dreiecke, Vielecke, Kreuze und/oder dergleichen verwendet werden. Es ist auch denkbar, verschiedene geometrische Symbole 15 miteinander zu kombinieren. 3 shows a calibration pattern according to the invention 7th in the form of a checkerboard pattern 10 and a control point field 11 . Here are the checkerboard pattern 10 and the control point field 11 on that of vehicle 1 included hood 8th before which as in 3 shown is flipped up to be in view 5 the person driving the vehicle 6 to lie. The checkerboard pattern 10 can include any number of fields. These can also be at a distance from one another or directly adjoin one another. The same applies to the control point field 11 which is any number of rows and columns of geometric symbols 15th may have, which can have a symmetrical distance from one another or an asymmetrical distance from one another. Furthermore, the geometric symbols 15th have any shape. They can be designed as a circle as shown, and squares, rectangles, triangles, polygons, crosses and / or the like can also be used. It is also conceivable to use different geometric symbols 15th to combine with each other.

4 zeigt einen Sollbereich 13 auf der Motorhaube 8, in welchem das erfindungsgemäße Kalibriermuster 7 angeordnet werden muss, um auf der Blickachse 9 zu liegen. Dabei kann der Sollbereich 13 einem Teilbereich einer Fläche der Motorhaube 8 entsprechen oder eine vollständige Fläche der Motorhaube 8 einnehmen. Es ist möglich, dass das Kalibriermuster 7 an einer beliebigen Stelle im Sollbereich 13 vorliegen kann, es ist jedoch auch möglich, dass das Kalibriermuster 7 an einer bestimmten Sollposition 14 vorliegen muss. Dabei kann die Motorhaube 8 Einrichtungen zum Visualisieren der Sollposition 14 (nicht dargestellt) aufweisen. Das erfindungsgemäße Kalibriermuster 7 in Form des Schachbrettmusters 10 oder des Kontrollpunktfelds 11 kann dabei von einem auf einem Blatt Papier ausgedruckten Printmuster oder einem Beschichtungsmuster ausgebildet sein. Dabei ist es auch möglich, dass das erfindungsgemäße Kalibrierungsmuster 7 von einer Person nicht wahrnehmbar ist, jedoch von einem optischen Sensor erfasst werden kann. 4th shows a target range 13th on the hood 8th , in which the calibration pattern according to the invention 7th Must be arranged to be on the line of sight 9 to lie. The target range 13th a portion of a surface of the hood 8th or a full area of the bonnet 8th take in. It is possible that the calibration pattern 7th at any point in the target range 13th may exist, but it is also possible that the calibration pattern 7th at a certain target position 14th must be available. The hood can 8th Devices for visualizing the target position 14th (not shown). The calibration pattern according to the invention 7th in the form of the checkerboard pattern 10 or the control point field 11 can be formed from a print pattern printed out on a sheet of paper or a coating pattern. It is also possible that the calibration pattern according to the invention 7th is imperceptible to a person, but can be detected by an optical sensor.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102019004816 A1 [0006]DE 102019004816 A1 [0006]

Claims (8)

Verfahren zur Kalibrierung eines von einem Fahrzeug (1) umfassten Head-Up-Displays (2), um ein auf ein von einer Windschutzscheibe (3) des Fahrzeugs (1) umfasstes Anzeigefeld (2.3) projiziertes virtuelles Bild (4) in einem Blickfeld (5) einer fahrzeugführenden Person (6) zu einer Umgebung so auszurichten, dass das virtuelle Bild (4) ein in der Umgebung vorliegendes reales Objekt überdeckt, wobei das virtuelle Bild (4) während der Kalibrierung zu einem Kalibriermuster (7) ausgerichtet wird, dadurch gekennzeichnet, dass das Kalibriermuster (7) auf einer vom Fahrzeug (1) umfassten Motorhaube (8) vorliegt, wobei die Motorhaube (8) zur Positionierung des Kalibriermusters (7) in einer von der fahrzeugführenden Person (6) durch das Anzeigefeld (2.3) verlaufenden Blickachse (9) aufklappbar ist.Method for calibrating a head-up display (2) encompassed by a vehicle (1) in order to display a virtual image (4) projected onto a display field (2.3) encompassed by a windshield (3) of the vehicle (1) in a field of view ( 5) to an environment so as to align a vehicle leading person (6) so that the virtual image (4) covers a present Near real object, wherein the virtual image (4) is aligned with a calibration pattern (7) during the calibration, characterized characterized in that the calibration pattern (7) is present on an engine hood (8) encompassed by the vehicle (1), the engine hood (8) for positioning the calibration pattern (7) in a person (6) driving the vehicle through the display panel (2.3) extending line of sight (9) can be opened. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Kalibriermuster (7) von einem auf einem Blatt Papier ausgedruckten Printmuster oder von einem Beschichtungsmuster ausgebildet wird, wobei das Beschichtungsmuster von einer auf der Motorhaube (8) aufgebrachten Beschichtung ausgebildet wird.Procedure according to Claim 1 , characterized in that the calibration pattern (7) is formed from a print pattern printed out on a sheet of paper or from a coating pattern, the coating pattern being formed by a coating applied to the engine hood (8). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Kalibriermuster (7) einem Schachbrettmuster (10) oder einem Kontrollpunkt-Feld (11) entspricht.Procedure according to Claim 1 or 2 , characterized in that the calibration pattern (7) corresponds to a checkerboard pattern (10) or a control point field (11). Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Ausrichtung des virtuellen Bilds (4) zum Kalibriermuster (7) von einer Person manuell durchgeführt wird, oder automatisch erfolgt, wobei bei einer automatischen Ausrichtung die Blickachse (9) von einem wenigstens das Anzeigefeld (2.3), das virtuelle Bild (4) und das Kalibriermuster (7) erfassenden optischen Sensor ausgeht.Method according to one of the Claims 1 to 3 , characterized in that the alignment of the virtual image (4) to the calibration pattern (7) is carried out manually by a person, or takes place automatically, with an automatic alignment the line of sight (9) from at least one of the display fields (2.3), the virtual Image (4) and the calibration pattern (7) detecting the optical sensor goes out. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei einer automatischen Ausrichtung ein vom Fahrzeug (1) umfasster optischer Sensor oder ein von einem mobilen Endgerät umfasster optischer Sensor eingesetzt wird.Procedure according to Claim 4 , characterized in that an optical sensor encompassed by the vehicle (1) or an optical sensor encompassed by a mobile terminal is used in an automatic alignment. Fahrzeug (1) mit einem Head-Up-Display (2) und einem Beschichtungsmuster, dadurch gekennzeichnet, dass mit Hilfe des Beschichtungsmusters ein Verfahren zur Kalibrierung des Head-Up-Displays (2) nach einem der Ansprüche 2 bis 5 durchführbar ist.Vehicle (1) with a head-up display (2) and a coating pattern, characterized in that with the aid of the coating pattern a method for calibrating the head-up display (2) according to one of the Claims 2 to 5 is feasible. Fahrzeug (1) nach Anspruch 6, dadurch gekennzeichnet, dass das Beschichtungsmuster von einem optischen Sensor erfassbar ist und von einem menschlichen Auge nicht erfassbar ist.Vehicle (1) after Claim 6 , characterized in that the coating pattern can be detected by an optical sensor and cannot be detected by a human eye. Fahrzeug (1) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Head-Up-Display (2) als Augmented Reality Head-Up-Display ausgebildet ist.Vehicle (1) after Claim 6 or 7th , characterized in that the head-up display (2) is designed as an augmented reality head-up display.
DE102020003921.9A 2020-06-30 2020-06-30 Method for calibrating a head-up display and a vehicle with such a head-up display Withdrawn DE102020003921A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020003921.9A DE102020003921A1 (en) 2020-06-30 2020-06-30 Method for calibrating a head-up display and a vehicle with such a head-up display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020003921.9A DE102020003921A1 (en) 2020-06-30 2020-06-30 Method for calibrating a head-up display and a vehicle with such a head-up display

Publications (1)

Publication Number Publication Date
DE102020003921A1 true DE102020003921A1 (en) 2020-08-13

Family

ID=71739419

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020003921.9A Withdrawn DE102020003921A1 (en) 2020-06-30 2020-06-30 Method for calibrating a head-up display and a vehicle with such a head-up display

Country Status (1)

Country Link
DE (1) DE102020003921A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022120088A1 (en) 2022-08-09 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Device and method for measuring three-dimensional virtual images and objects of a head-up display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022120088A1 (en) 2022-08-09 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Device and method for measuring three-dimensional virtual images and objects of a head-up display

Similar Documents

Publication Publication Date Title
DE112018001655B4 (en) Display device and moving body with the display device
DE102013208971A1 (en) Apparatus and method for projecting image information into a field of view of a vehicle occupant of a vehicle
DE102018215185B3 (en) Method, apparatus and computer-readable storage medium with instructions for setting a head-up display in a motor vehicle, adjusting device for use in such a method or with such a device
DE102007001266A1 (en) Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE10153883B4 (en) Display device in a vehicle
DE102007029602A1 (en) Method for operating device in vehicle, involves projecting representation from control panels to operate device on projection surface in vehicle and operation of control panels is detected by user
DE102017220268B4 (en) Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE102014013221A1 (en) Apparatus and method for calibrating an image display unit of a vehicle
DE102013219556A1 (en) Method and device for controlling an image generation device of a head-up display
DE102016223908A1 (en) Projection display system and method for operating a projection display system
DE102009054231A1 (en) Head-up-display for information indication in motor vehicle, comprises indicating unit, which has display unit, in which lighting points are produced
EP3685123A1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle
EP4083681A1 (en) Aperture for adjusting the position of a virtual image projected onto a windscreen of a vehicle by means of a head-up display
DE102020003921A1 (en) Method for calibrating a head-up display and a vehicle with such a head-up display
DE102014013408A1 (en) Method for displaying environmental information of a vehicle
EP3296795A1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102020004550A1 (en) Method for calibrating an augmented reality head-up display of a vehicle, and calibration system set up to carry out such a method
DE102017221317A1 (en) Method and device for operating a data glasses in a motor vehicle
DE102016221123A1 (en) Method and device for operating a display system with data glasses
DE102019206956A1 (en) Projection surface for displaying an image
DE102018217673B3 (en) Method and system for setting a virtual image
DE102019004816A1 (en) Method for calibrating a head-up display of a vehicle
DE102019103360A1 (en) Method and device for operating a display system with data glasses
DE102019105216A1 (en) Method and device for operating a display system with data glasses
DE102018217125B3 (en) Display device and method for displaying an optical image information in an electronic display, and motor vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee