WO2012152475A1 - Method and device for calibrating a projection device of a vehicle - Google Patents

Method and device for calibrating a projection device of a vehicle Download PDF

Info

Publication number
WO2012152475A1
WO2012152475A1 PCT/EP2012/054353 EP2012054353W WO2012152475A1 WO 2012152475 A1 WO2012152475 A1 WO 2012152475A1 EP 2012054353 W EP2012054353 W EP 2012054353W WO 2012152475 A1 WO2012152475 A1 WO 2012152475A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection device
vehicle
image
information
real object
Prior art date
Application number
PCT/EP2012/054353
Other languages
German (de)
French (fr)
Inventor
Steffen Abraham
Henning Von Zitzewitz
Gerrit De Boer
Mario Mueller-Frahm
Stefan Weber
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201280022877.XA priority Critical patent/CN103502876B/en
Publication of WO2012152475A1 publication Critical patent/WO2012152475A1/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Definitions

  • the present invention relates to a method and a device for calibrating a projection device of a vehicle and to a corresponding computer program product.
  • DE 10 2004 035 896 A1 is concerned with a head-up display with which a visual field of a driver of a vehicle can be scanned.
  • the present invention provides a method for calibrating a projection device of a vehicle, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • a virtual image can be faded into a field of view of an occupant of the vehicle.
  • the calibration of the projection device is necessary.
  • positions of the virtual image and the real object which are visible to the occupant can be compared with one another. If the positions are in the predetermined relationship to each other, no further tere calibration may be required. On the other hand, if there is a deviation of the positions from the predetermined reference, the calibration information can be determined based on the deviation.
  • the present invention provides a method of calibrating a projection device of a vehicle, wherein the projection device is adapted to project a virtual image associated with a real object into a beam path between the real object and an assumed head position of an occupant of the vehicle, and wherein the method is the following Steps includes:
  • the light information representing, on the one hand, light originating from the real object located outside the vehicle and the other representing light originating from the projection device, surrounding the virtual object associated with the real object To project an image into the beam path;
  • Determining a calibration information for the projection device based on a position of the virtual image determined from the light information and a position of the real object determined from the light information.
  • the virtual image in the field of view of the occupant such as a driver of the vehicle, are displayed.
  • the image may be an image of an object, a mark, a character, or a word.
  • the image may be related to the real object located outside the vehicle.
  • the real object may be, for example, a lane, a lane marking, a traffic sign, another vehicle or another person.
  • the virtual image can be displayed so that it is superimposed from the perspective of the occupant, the real object or arranged next to the real object.
  • the calibration may be required to display the virtual image at a desired position relative to the real object.
  • the projection device may be a head-up display. In particular, it may be a so-called contact analog or augmented head-up display.
  • the area where, for the a picture is visible, is represented by a so-called eyebox.
  • the HUD is constructed so that the eyebox includes the points or areas inside the vehicle that typically house the head of the occupant, and in particular the eyes of the occupant.
  • the virtual image can be entered so that it is clearly visible from the head position.
  • the beam path can be represented by a connecting line between the real object and the head position.
  • the detection of the light information can be carried out by means of an image capture device, for example a camera.
  • the detected light information can be mapped into a digital image, for example.
  • the image may be evaluated with a suitable image evaluation, for example, to recognize the virtual image and the real object in the image and to relate the positions of the virtual image and the object within the image to each other.
  • the positions determined from the light information can be compared with nominal positions. It is also possible to compare an arrangement of the positions determined from the light information with one another with a desired arrangement. Corresponding desired specifications may be predetermined or provided by the projection device.
  • a target specification may be that the positions of the virtual image and the real object overlap from the perspective of the occupant, that is, from the head position. Is based on the
  • a deviation compensating compensation information can be determined.
  • the compensation information may be provided to the projection device.
  • the compensation information can cause the projection of the virtual image by the projection device to be changed in such a way that the target specification is met. If a plurality of virtual images are projected into the beam path by the projection device, then the step of determining the calibration information for each virtual image can be repeated.
  • the projection device can be aware of a real position of the real object.
  • the real position can be specified for the calibration.
  • the real position can also be determined, for example, by means of a sensor for detecting the surroundings and provided to the projection device.
  • the method may include a step of placing an imager at the assumed head position.
  • the step of detecting the incoming light information can be detected by the image sensor.
  • the image sensor may be part of an image capture device, such as a camera.
  • a digital image can be generated from the light having the light information.
  • the compensation information can be determined.
  • the imager may be arranged to perform the process of calibration of a person at the head position. This procedure is advantageous if the vehicle has no suitable image sensor.
  • the light information arriving at the assumed head position may be redirected to an image capturing device.
  • the image capture device may be located outside of the assumed head position.
  • the mirror can be arranged by a person in the appropriate position. This approach is advantageous if it makes more sense not to place the image capture device directly in the head position.
  • the deflection can be done by a deflection element, such as a mirror, is arranged at the head position and aligned properly. This procedure is also suitable if the vehicle already has a suitable image capture device.
  • the vehicle may include an interior camera for monitoring an interior of the vehicle.
  • This indoor camera can be used as an image capture device.
  • a mirror is arranged at the head position so that the beam path of the
  • the step of redirecting may be performed repeatedly for different assumed head positions.
  • the step of detecting may be repeatedly performed to acquire image information for each of the different assumed head positions.
  • the assumed head position can be determined. which corresponds to an actual position of the Eye-Box.
  • the actual position of the eye-box can be detected by means of a suitable image evaluation, for example by comparing images taken at different head positions with each other.
  • the calibration information may be determined based on the light information acquired at the actual position of the eye-box. This procedure is useful if the actual position of the eye-box is not known in advance or exact positioning of the deflecting element is complicated. In this case, the deflection element can be moved until the actual position of the eye box is found.
  • information for predistortion of image data to be output by the projection device can be determined.
  • the predistortion can make sense, so that the virtual image appears undistorted to the occupant, even if he moves his head slightly and thus changes his direction of view something.
  • the method may comprise a step of arranging a diaphragm in a projection beam path of the projection device.
  • the assumed head position may be determined as a position at which the virtual image is visible. Whether the virtual image is visible can be determined by evaluating the incoming light information. For example, the image sensor or the deflection element can be moved back and forth between possible head positions until the detected light information comprises the virtual image. The movement of the deflecting element can be performed by a person or a holding device for the deflecting element. The resulting head position is used as the assumed head position.
  • the method may also include a step of projecting the virtual image associated with the real object.
  • the virtual image can be projected into the beam path by means of the projection device.
  • the present invention further provides a device which is designed to implement the steps of the method according to the invention in corresponding devices. implement or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • a device can be understood as meaning one or more electrical devices which process sensor signals and output control signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Also of advantage is a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and used to carry out the method according to one of the embodiments described above, when the program is executed on a computer.
  • a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory
  • FIG. 1 shows a vehicle with a projection device according to an embodiment of the present invention.
  • FIG. 2 shows an illustration of a virtual camera
  • FIG. 3 shows a vehicle with a projection device according to a further exemplary embodiment of the present invention
  • FIG. 1 shows a vehicle 100 with a projection device 102 according to an embodiment of the present invention.
  • the vehicle 100 has a disk 104.
  • a head portion 106 of an occupant of the vehicle 100 is shown.
  • an object 108 outside the vehicle 100, in the field of view of the occupant through the disc 104, an object 108, here a shield, is arranged.
  • An optical path 110 travels from the object 108 to the head region 106 and in particular to a position of the eyes of the occupant. Via the beam path 110, light emitted or reflected by the object 108 strikes the head region 106 of the occupant.
  • the projection device 102 is arranged inside the vehicle 100.
  • the projection device 102 is designed to project a virtual image into the field of view of the occupant.
  • the projection device 102 is designed to emit light which, via a further beam path 12, strikes a reflection element, for example the pane 104, and is coupled by the reflection element into the beam path 110 in the direction of the head region 106.
  • a reflection element for example the pane 104
  • the occupant of the vehicle has the impression that the virtual image emitted by the projection device 102 is located outside the vehicle 100 in the region of the beam path 110.
  • the projection device 102 may be configured to project the virtual image with respect to the real object 108 into the field of view of the occupant.
  • the virtual image may be displayed congruent with the real object 108.
  • the projection device 102 it is necessary for the projection device 102 to have at least information about a position of the real object 108 with respect to the vehicle 100.
  • the information about the position may include a direction and a distance between a reference point of the vehicle 100 and the vehicle
  • Position of the real object 108 include.
  • the projection device 102 can have an interface to receive the information about the position. Via the interface, the projection device 102 can also be provided with information about a type of the real object 108. In this way, the projection device 102 can adapt an image content of the virtual image to the real object 108.
  • the information about the position of the real object 108 may be provided to the projection device 102 by an environment detection device 114.
  • the surroundings detection device 114 is arranged on the vehicle 100 and is designed to detect the surroundings of the vehicle 100 at least in a partial area of the field of view of the occupant.
  • the surroundings detection device 1 14 is designed to detect the real object 108 and to determine the position of the real object 108 relative to the vehicle 100.
  • the environment detection device 114 may also be designed to classify a type of the real object 108 by means of an object recognition.
  • the environment detection device 14 can represent an ACC system (Adaptive Cruise Control) or a part of such a system.
  • ACC system Adaptive Cruise Control
  • the information about the position of the real object 108 of the projection device 102 may also be fixed or input via an input interface, for example by an operator.
  • the projection device 102 may be a head-up display.
  • the head-up display is a system that displays information directly into the driver's field of vision.
  • a special optics is used, which ensures by reflection in the windshield 104 that gives the driver the impression as if an image in front of the vehicle 100 would float.
  • the driver must look down to see important indications such as speed or directional guidance.
  • the image of a HUD 102 is visible only to the driver, and only if his eyes are in the so-called Eyebox (EB). This is a 3-dimensional space typically 25 cm wide and 10 cm high from the driver's point of view.
  • EB Eyebox
  • the head-up display 102 may selectively overlay information to the real image to reference points in space.
  • a display is in common usage contact analogue or Called Augmented Head-up Display.
  • the driver can be given with the help of this technique, for example, navigation instructions in the form that the road to be followed by him is marked in color. Even lanes or detected by ACC system 1 14 preceding vehicles can be displayed to the driver directly into the field of view.
  • various approaches are known. Using autostereoscopic or binocular systems, different images are created for both eyes and made visible to the eye via appropriate optics.
  • the 3D image to 2D is performed by a so-called renderer, which calculates the 2D image on the scene from the perspective of the driver and the 3D visualization data.
  • a driver's head position estimation may be necessary.
  • the position of the head region 106 in the interior of the vehicle 100 for example with respect to a reference point of the vehicle, can be determined.
  • the environment sensor system 114 in the form of the ACC monitors with a radar sensor the area in front of the vehicle 100.
  • the surroundings sensor 1 14 is designed to calculate from the reflected signals of direction, distance and relative speed of preceding vehicles or other objects. If the surroundings sensor system 114 detects a slower driving ahead vehicle in its own lane, it adjusts the speed so that the vehicle 100 follows at the desired distance. Depending on the driving situation, ACC reduces the engine torque or brakes the vehicle 100. Even when cornering, ACC can recognize which vehicle is crucial for speed control. As soon as there is no vehicle in the measuring range, ACC automatically accelerates the vehicle to the preset speed. Modern methods use a video outside camera to secure radar data and increase reliability. In this case, objects 108 are detected by means of image recognition algorithms from video images and fused with the radar data.
  • the augmented reality head-up display (AR-HUD) 102 For a perspective correct projection, the augmented reality head-up display (AR-HUD) 102 must be calibrated.
  • the projection of an augmented reality head-up display after installation in the vehicle 100 should be such that afterwards the insertion of symbols in the driver's field of view takes place at the correct position.
  • the calculation of the perspective of the image represented by the HUD 102 from a desired 3-dimensional scene presented to the driver is performed by the so-called renderer.
  • the image shown is two-dimensional in a monoscopic HUD 102.
  • the perspective technologies eg OpenGL, which make the image calculation directly.
  • three objects to be displayed are described in a 3D description language and passed to the renderer, which calculates the corresponding 2-D image.
  • the configuration of the renderer This is done so that the virtual image appears from the perspective of the driver at the desired location.
  • the concept of a virtual camera is tracked within the render, for which the conversion from 3D to 2D is performed by the renderer based on the camera parameters.
  • These camera parameters are the calibration parameters to be determined in the method.
  • FIG. 2 shows an illustration of such a virtual camera 220.
  • the virtual camera 220 must be located on the driver's head and directed towards the HUD image.
  • the "zoom" must be selected to fully capture the HUD image area, so the parameters of the virtual camera 220 needed to configure the renderer are as follows: horizontal field of view 222 (field of view)
  • the position and the rotation of the camera 220 in the vehicle coordinate system are also required, as well as the so-called “viewport”, which indicates how large the image is in pixels on the screen.
  • FIG. 3 shows a section of a vehicle with a device for calibrating a projection device 102 according to an embodiment of the present invention.
  • the projection device 102 is designed as an AR-HUD.
  • the projection device 102 has a HUD opening, from which, as described with reference to FIG. 1, light 1 12 is projected onto the windshield 104 of the vehicle. From the windshield 104, the light 112 is reflected in the beam path to the head position of the occupant at which a camera 320 is arranged according to this embodiment.
  • the eyebox indicates the spatial area in which the image of the display is visible to the viewer. Thus, the head position and the camera 320 are in the eyebox.
  • the projection device 102 is designed to project the light 12 onto the windshield 104 in such a way that a virtual image 330 is produced which, from the perspective of the occupant, hovers behind the windshield 104 behind the windscreen 104, ie outside the vehicle. Also shown in FIG. 3 are three real objects 108 spaced apart from each other at different positions outside the vehicle. The objects 108 are real markers 108 whose position is known in each case. In the virtual image 330, three markers are arranged. According to this exemplary embodiment, the virtual image 330 is to be projected by the projection device 102 in such a way that each of the markers of the virtual image 330 overlaps with an associated one of the real markers 108.
  • the projection device 102 has a memory 332 in which system parameters of the projection device 102, here AR-HU D parameters, are stored.
  • the projection device 102 is designed to use the system parameters to determine drive values for generating the virtual image 330 in such a way that the virtual image 330 comprises virtual markers which are at a predetermined position relative to the real world
  • Markers 108 are displayed. If there is a deviation from the desired overlap, then the deviation can be detected and eliminated by a calibration process.
  • the camera 320 is arranged to capture both the virtual image 330 and the real objects 108.
  • An image 336 generated by the camera 320 is transmitted from the camera 320 to an image evaluator 340.
  • the image evaluation device 340 is designed to perform an evaluation of the image 336 and to calculate system parameters for the projection device 102 based on the evaluation. For this purpose, for example, the virtual markers of the virtual image 330 and the real markers 108 in the image 336 are recognized and the respective positions are compared with each other.
  • the image evaluator 340 may be configured to determine new system parameters based on the deviation so as to correct the deviation.
  • known methods for calibrating a projection device can be used.
  • the current system parameters of the projection device 102 used to generate the virtual image 330 can be known to the image evaluation device 340 and used to determine the new system parameters.
  • the system parameters determined by the image evaluation device 340 for the projection device 102 can be entered into the memory 332 of the projection device 102, for example by flashing. Subsequently, these new system parameters may be used for re-projecting the virtual image 330.
  • FIG. 3 shows a construction for an automatic calibration of an augmented reality HUD according to an exemplary embodiment of the present invention.
  • the camera 320 and the projection device 102 are arranged inside the vehicle.
  • the image evaluation device 340 can be arranged outside the vehicle and via suitable interfaces with the camera
  • objects 108 with a known position and virtual objects 330 generated by the HUD 102 are detected simultaneously via the image 336, which is taken out of the eyebox by means of the camera 320.
  • the deviation of the position of real markers 108 in front of the vehicle from the eye box of the HUD 102 can be compared with the position of inserted markers 330. With a sufficiently large number of markers, the deviations can be used to calculate the correct parameters for the AR-HUD, so that the projection is perspectively correct.
  • the searched HUD parameters can then be calculated for a sufficiently large amount of objects 108 from the respective object positions, for virtual and real objects 330, 108, as well as the currently set, still to be adjusted, HUD parameters.
  • the HUD parameters can be calculated in a single step.
  • To determine the HUD parameters can be known algorithms for marker-based calculation of transformation parameters are used.
  • FIG. 4 shows a section of a vehicle with a device for calibrating a projection device 102 according to a further exemplary embodiment of the present invention.
  • the structure shown in Fig. 4 corresponds to the structure shown in Fig. 3, with the difference that instead of a camera placed at the head position, an interior camera 420 is used, that a deflection element 422, here a mirror or deflection mirror, at the Kopfpositi - On is arranged and that the image 336 of the interior camera 420 of a
  • Unit 440 is evaluated for the parameter calculation, which is part of the projection device 102.
  • the mirror 422 is arranged in the eyebox that the beam path 1 10 is deflected to the interior camera 420.
  • the interior camera 420 may be permanently installed in the vehicle and used in normal operation, for example, to monitor the interior of the vehicle.
  • the image 336 generated by the interior camera 420 is provided to the projection device 102 via a suitable interface.
  • the image 336 may be transmitted from the indoor camera 320 to the projection device 102 via a system bus, such as a CAN bus, to which both the indoor camera 420 and the projection device 102 are shot.
  • the unit 440 is designed in accordance with the image evaluation device 340 described with reference to FIG. 4 in order to determine new system parameters for the projection device 102 and to store them in the memory of the projection device 102.
  • both the projection device and the mirror 422 and the indoor camera 420 are disposed inside the vehicle.
  • an automatic calibration of the HUD 102 can be made by taking advantage of the already installed in the vehicle interior camera 420, for example, for fatigue monitoring, and an additional mirror 422, which is temporarily placed in the eyebox.
  • the calculation of the AR-HU D parameters takes place completely in the vehicle system, i. there is no electronic connection of external devices, such as a camera, one
  • the mirror can be provided with features, such as markers, which allow a simplified measurement of the markers in the camera image. This allows a simplified determination of the spatial position of the mirror relative to the camera and thus the determination of the position of the mirror in the vehicle with known methods of optical measurement technology. This improves the accuracy of determining the system parameters for projection.
  • Eyebox of the HUD 102 to place in the vehicle then evaluate the images of this external camera to calculate the AR-HU D parameters outside the vehicle and then to use this for the configuration of the AR-HUDs.
  • a correspondingly complex process in which a separate camera is required, images are read out and processed elsewhere, and the results are transmitted to the vehicle electronics, can be completely bypassed by the method shown in FIG. 4.
  • a method is provided for automatically calibrating an augmented reality HUD based on an indoor camera, which can be performed inexpensively and quickly.
  • the method makes it possible to calibrate the projection device 102 only with the aid of a mirror 422 and, depending on the calibration method, if necessary, external markers 108.
  • external markers 108 objects arranged especially for the purpose of calibration in front of the vehicle can be used.
  • Calibration algorithms installed, for example, in the drive electronics within the AR-HUD 102 then receive the image 336 of the indoor camera 420, evaluate it, calculate the AR-HU D parameters and reconfigure the virtual image 330 generated by the projection device 102 New.
  • the calibration algorithms used here correspond to those which are used in an automatic calibration by camera in the eyebox, as described with reference to FIG. 3.
  • software modules may still be required to assist the user in positioning the mirror 422.
  • the interior camera is designed to record a video or image sequence while the mirror is displaced in all directions within the eyebox. In this way, the border area of the Eyebox can be determined and also its center. It is sufficient for the evaluation if the mirror 422 has been located only once in the middle of the eyebox within the sequence. This location of the sequence can be easily recognized by software, and the calculation of the parameters for the projection device 102 can then be performed simply on the basis of the corresponding image 336 at the location of the sequence.
  • Another way to find the center of the eyebox is to use appropriate bezels that are placed over the opening of the HUD 102. If a single test marker appeared, it would only be visible in the center of the eyebox. This makes it possible for the user of the method to search the center of the eyebox. For example, the image 336 received from the camera 420 may be displayed on a display, or the system may acknowledge the correct placement with a sound.
  • the projection device can be the projection device described with reference to FIGS. 1, 3 or 4.
  • a camera can be arranged directly in the eyebox.
  • a mirror may be placed in the eyebox to redirect the light received in the eyebox to a camera located at another position.
  • the camera or mirror is oriented so that the detected light corresponds to the light that an occupant of the vehicle would receive through his eyes located in the area of the eyebox.
  • the light comprises both information about an object arranged outside the vehicle and information about a virtual image which is generated by the projection device with respect to the object arranged outside the vehicle.
  • the camera located in the eyebox or the mirror located in the eyebox may be removed.
  • a calibration information for the projection device is determined based on the image generated by the camera. For this purpose, an image analysis can be carried out and data from the image with respect to the virtual image and the real object can be compared with predetermined desired data.
  • the calibration information may include system parameters of the projection device that are connected to the
  • Projection device can be provided.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

The invention relates to methods for calibrating a projection device (102) of a vehicle, said projection device being suited to project virtual image (330), associated with a real object (108), into a beam path (110) between said real object and an assumed head position (106) of a vehicle occupant. In a detection step, an item of light information incident at the assumed head position, along the beam path, is detected, said light information firstly representing light emitted by the real object, which is located outside the vehicle, and secondly representing light emitted by the projection device in order to project the virtual image associated with the real object into the beam path. In a determination step, an item of calibration information for the projection device is determined based on a virtual image position and a real object position, both positions being ascertained from the light information.

Description

Beschreibung  description
Titel title
Verfahren und Vorrichtung zur Kalibrierung einer Proiektionseinrichtung eines Fahrzeugs  Method and device for calibrating a proiection device of a vehicle
Stand der Technik State of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs sowie auf ein entsprechendes Computerprogrammprodukt. The present invention relates to a method and a device for calibrating a projection device of a vehicle and to a corresponding computer program product.
Die DE 10 2004 035 896 A1 befasst sich mit einem Head Up Display, mit dem ein Gesichtsfeld eines Fahrers eines Fahrzeugs abgetastet werden kann. DE 10 2004 035 896 A1 is concerned with a head-up display with which a visual field of a driver of a vehicle can be scanned.
Offenbarung der Erfindung Disclosure of the invention
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung. Against this background, the present invention provides a method for calibrating a projection device of a vehicle, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims. Advantageous embodiments emerge from the respective subclaims and the following description.
Mittels der Projektionseinrichtung kann ein virtuelles Bild in ein Sichtfeld eines Insassen des Fahrzeugs eingeblendet werden. Um das virtuelle Bild an einer Position einzublenden, die in einem vorbestimmten Bezug zu einer für den Insassen ersichtlichen Position eines realen Objekts steht, ist die Kalibrierung der Projektionseinrichtung erforderlich. Um eine zur Kalibrierung geeignete Kalibrierinformation zu bestimmen, können für den Insassen ersichtliche Positionen des virtuellen Bilds und des realen Objekts miteinander verglichen werden. Stehen die Positionen in dem vorbestimmten Bezug zueinander, so kann diesbezüglich keine wei- tere Kalibrierung erforderlich sein. Besteht dagegen eine Abweichung der Positionen von dem vorbestimmten Bezug, so kann die Kalibrierinformation basierend auf der Abweichung bestimmt werden. By means of the projection device, a virtual image can be faded into a field of view of an occupant of the vehicle. In order to display the virtual image at a position that is in a predetermined relation to a position of a real object that can be seen by the occupant, the calibration of the projection device is necessary. In order to determine a calibration information suitable for calibration, positions of the virtual image and the real object which are visible to the occupant can be compared with one another. If the positions are in the predetermined relationship to each other, no further tere calibration may be required. On the other hand, if there is a deviation of the positions from the predetermined reference, the calibration information can be determined based on the deviation.
Die vorliegende Erfindung schafft ein Verfahren zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs, wobei die Projektionseinrichtung geeignet ist, um ein einem realen Objekt zugeordnetes virtuelles Bild in einen Strahlengang zwischen dem realen Objekt und einer angenommenen Kopfposition eines Insassen des Fahrzeugs zu projizieren und wobei das Verfahren die folgenden Schritte umfasst: The present invention provides a method of calibrating a projection device of a vehicle, wherein the projection device is adapted to project a virtual image associated with a real object into a beam path between the real object and an assumed head position of an occupant of the vehicle, and wherein the method is the following Steps includes:
Erfassen einer entlang des Strahlengangs an der angenommenen Kopfposition eintreffenden Lichtinformation, wobei die Lichtinformation zum einen Licht repräsentiert, das von dem sich außerhalb des Fahrzeugs befindlichen realen Objekt ausgeht und zum anderen Licht repräsentiert, das von der Projektionseinrichtung ausgeht, um das dem realen Objekt zugeordnete virtuelle Bild in den Strahlengang zu projizieren; und Detecting light information arriving along the beam path at the assumed head position, the light information representing, on the one hand, light originating from the real object located outside the vehicle and the other representing light originating from the projection device, surrounding the virtual object associated with the real object To project an image into the beam path; and
Bestimmen einer Kalibrierinformation für die Projektionseinrichtung basierend auf einer aus der Lichtinformation ermittelten Position des virtuellen Bilds und einer aus der Lichtinformation ermittelten Position des realen Objekts. Determining a calibration information for the projection device based on a position of the virtual image determined from the light information and a position of the real object determined from the light information.
Mittels der Projektionseinrichtung kann das virtuelle Bild in das Sichtfeld des Insassen, beispielsweise eines Fahrers des Fahrzeugs, eingeblendet werden. Bei dem Bild kann es sich beispielsweise um eine Abbildung eines Objekts, um eine Markierung, ein Zeichen oder um ein Wort handeln. Das Bild kann einen Bezug zu dem realen Objekt haben, dass außerhalb des Fahrzeugs angeordnet ist. Bei dem realen Objekt kann es sich beispielsweise um eine Fahrbahn, eine Fahrbahnmarkierung, ein Verkehrszeichen, ein weiteres Fahrzeug oder um eine weitere Person handeln. Beispielsweise kann das virtuelle Bild so eingeblendet werden, dass es aus Sicht des Insassen, dem realen Objekt überlagert ist oder neben dem realen Objekt angeordnet ist. Die Kalibrierung kann erforderlich sein, um das virtuelle Bild an einer in Bezug auf das reale Objekt gewünschten Position einzublenden. Bei der Projektionseinrichtung kann es sich um ein Head-up Display handeln. Insbesondere kann es sich um ein sogenanntes kontaktanaloges oder Augmented Head-up Display handeln. Der Bereich, wo für den Betrach- ter ein Bild sichtbar ist, wird durch eine sogenannte Eyebox repräsentiert. Das HUD wird so aufgebaut, dass die Eyebox die Punkte oder Bereiche im Fahrzeuginneren umfasst, an dem sich typischerweise der Kopf des Insassen und insbesondere die Augen des Insassen befinden. Das virtuelle Bild kann so eingeben- det werden, dass es aus der Kopfposition heraus gut sichtbar ist. Der Strahlengang kann durch eine Verbindungslinie zwischen dem realen Objekt und der Kopfposition repräsentiert werden. Das Erfassen der Lichtinformation kann mittels einer Bilderfassungseinrichtung, beispielsweise einer Kamera durchgeführt werden. Somit kann die erfasste Lichtinformation beispielsweise in ein digitales Bild abgebildet werden. Das Bild kann mit einer geeigneten Bildauswertung ausgewertet werden, beispielsweise um das virtuelle Bild und das reale Objekt in dem Bild zu erkennen und die Positionen des virtuellen Bilds und des Objekts innerhalb des Bilds zueinander in Bezug zu setzten. Um die Kalibrierinformation zu bestimmen, können die aus der Lichtinformation bestimmten Positionen mit Soll- Positionen verglichen werden. Auch kann eine Anordnung der aus der Lichtinformation bestimmten Positionen zueinander mit einer Sollanordnung verglichen werden. Entsprechende Sollvorgaben können vorgegeben sein oder von der Projektionseinrichtung bereitgestellt werden. Eine Sollvorgabe kann darin bestehen, dass sich die Positionen des virtuellen Bilds und des realen Objekts aus Sicht des Insassen, also von der Kopfposition aus, überdecken. Wird basierend auf derBy means of the projection device, the virtual image in the field of view of the occupant, such as a driver of the vehicle, are displayed. For example, the image may be an image of an object, a mark, a character, or a word. The image may be related to the real object located outside the vehicle. The real object may be, for example, a lane, a lane marking, a traffic sign, another vehicle or another person. For example, the virtual image can be displayed so that it is superimposed from the perspective of the occupant, the real object or arranged next to the real object. The calibration may be required to display the virtual image at a desired position relative to the real object. The projection device may be a head-up display. In particular, it may be a so-called contact analog or augmented head-up display. The area where, for the a picture is visible, is represented by a so-called eyebox. The HUD is constructed so that the eyebox includes the points or areas inside the vehicle that typically house the head of the occupant, and in particular the eyes of the occupant. The virtual image can be entered so that it is clearly visible from the head position. The beam path can be represented by a connecting line between the real object and the head position. The detection of the light information can be carried out by means of an image capture device, for example a camera. Thus, the detected light information can be mapped into a digital image, for example. The image may be evaluated with a suitable image evaluation, for example, to recognize the virtual image and the real object in the image and to relate the positions of the virtual image and the object within the image to each other. In order to determine the calibration information, the positions determined from the light information can be compared with nominal positions. It is also possible to compare an arrangement of the positions determined from the light information with one another with a desired arrangement. Corresponding desired specifications may be predetermined or provided by the projection device. A target specification may be that the positions of the virtual image and the real object overlap from the perspective of the occupant, that is, from the head position. Is based on the
Lichtinformation eine Abweichung von der Sollvorgabe festgestellt, so kann eine die Abweichung kompensierende Kompensationsinformation bestimmt werden. Die Kompensationsinformation kann an die Projektionseinrichtung bereitgestellt werden. Die Kompensationsinformation kann bewirken, dass die Projektion des virtuellen Bilds durch die Projektionseinrichtung so verändert wird, dass die Sollvorgabe eingehalten wird. Werden von der Projektionseinrichtung mehrere virtuelle Bilder in den Strahlengang projiziert, so kann der Schritt des Bestimmens der Kalibrierungsinformation für jedes virtuelle Bild wiederholt werden. Um das virtuelle Bild an eine korrekte Position projizieren zu können, kann der Projektionsein- richtung eine reale Position des realen Objekts bekannt sein. Die reale Position kann für die Kalibrierung vorgegeben sein. Auch kann die reale Position beispielsweise mittels einer Sensorik zur Umfelderfassung bestimmt und an die Projektionseinrichtung bereitgestellt werden. Light information detected a deviation from the target specification, a deviation compensating compensation information can be determined. The compensation information may be provided to the projection device. The compensation information can cause the projection of the virtual image by the projection device to be changed in such a way that the target specification is met. If a plurality of virtual images are projected into the beam path by the projection device, then the step of determining the calibration information for each virtual image can be repeated. In order to be able to project the virtual image to a correct position, the projection device can be aware of a real position of the real object. The real position can be specified for the calibration. The real position can also be determined, for example, by means of a sensor for detecting the surroundings and provided to the projection device.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Anordnens eines Bildaufnehmers an der angenommenen Kopfposition umfassen. Dabei kann im Schritt des Erfassens die eintreffende Lichtinformation durch den Bildaufnehmer erfasst werden. Der Bildaufnehmer kann Teil einer Bilderfassungseinrichtung, beispielsweise einer Kamera sein. Mittels des Bildaufnehmers kann aus dem die Lichtinformation aufweisenden Licht ein digitales Bild erzeugt werden. Basierend auf dem digitalen Bild kann die Kompensationsinformation bestimmt werden. Der Bildaufnehmer kann zum Durchführen des Vorgangs der Kalibrierung von einer Person an der Kopfposition angeordnet werden. Diese Vorgehensweise ist vorteilhaft, wenn das Fahrzeug keinen geeigneten Bildaufnehmer aufweist. In one embodiment, the method may include a step of placing an imager at the assumed head position. there For example, in the step of detecting the incoming light information can be detected by the image sensor. The image sensor may be part of an image capture device, such as a camera. By means of the image recorder, a digital image can be generated from the light having the light information. Based on the digital image, the compensation information can be determined. The imager may be arranged to perform the process of calibration of a person at the head position. This procedure is advantageous if the vehicle has no suitable image sensor.
Alternativ kann in einem Schritt des Umlenkens die an der angenommenen Kopfposition eintreffende Lichtinformation zu einer Bilderfassungseinrichtung umgelenkt werden. Die Bilderfassungseinrichtung kann außerhalb der angenommenen Kopfposition angeordnet sein. Der Spiegel kann durch eine Person an der entsprechenden Position angeordnet werden. Diese Vorgehensweise ist vorteilhaft, wenn es sinnvoller ist, die Bilderfassungseinrichtung nicht direkt in der Kopfposition anzuordnen. Das Umlenken kann erfolgen, indem ein Umlenkelement, beispielsweise ein Spiegel, an der Kopfposition angeordnet wird und geeignet ausgerichtet wird. Auch bietet sich diese Vorgehensweise an, wenn das Fahrzeug bereits eine geeignete Bilderfassungseinrichtung aufweist. Alternatively, in a step of redirecting, the light information arriving at the assumed head position may be redirected to an image capturing device. The image capture device may be located outside of the assumed head position. The mirror can be arranged by a person in the appropriate position. This approach is advantageous if it makes more sense not to place the image capture device directly in the head position. The deflection can be done by a deflection element, such as a mirror, is arranged at the head position and aligned properly. This procedure is also suitable if the vehicle already has a suitable image capture device.
Beispielsweise kann das Fahrzeug eine Innenraumkamera zum Überwachen eines Innenraums des Fahrzeugs aufweisen. Diese Innenraumkamera kann als Bilderfassungseinrichtung eingesetzt werden. In diesem Fall wird beispielsweise ein Spiegel so an der Kopfposition angeordnet, dass der Strahlengang von demFor example, the vehicle may include an interior camera for monitoring an interior of the vehicle. This indoor camera can be used as an image capture device. In this case, for example, a mirror is arranged at the head position so that the beam path of the
Spiegel weiter zu einem Bildaufnehmer der Innenraumkamera geführt wird. Es wird somit eine neue Verwendung einer bereits im Fahrzeug fest installierten Innenraumkamera als Teil einer Kalibriervorrichtung zur Kalibrierung der Projektionseinrichtung geschaffen. Mirror is led on to an image sensor of the interior camera. Thus, a new use of an already installed in the vehicle interior camera as part of a calibration device for calibrating the projection device is created.
Gemäß einer Ausführungsform kann der Schritt des Umlenkens wiederholt für unterschiedliche angenommene Kopfpositionen ausgeführt werden. Ebenso kann der Schritt des Erfassens wiederholt ausgeführt werden, um für jede der unterschiedlichen angenommenen Kopfpositionen eine Bildinformation zu erfassen. In einem Schritt des Ermitteins kann basierend auf den in den wiederholten Schritten des Erfassens erfassten Bildinformationen diejenige angenommen Kopfposi- tionen ermittelt werden, die einer tatsächlichen Position der Eye-Box entspricht. Die tatsächliche Position der Eye-Box kann mittels einer geeigneten Bildauswertung erkannt werden, beispielsweise indem an unterschiedlichen Kopfpositionen aufgenommene Bilder miteinander verglichen werden. Im Schritt des Bestim- mens kann die Kalibrierinformation basierend auf der an der tatsächlichen Position der Eye-Box erfassten Lichtinformation bestimmt werden. Diese Vorgehensweise bietet sich an, wenn die tatsächliche Position der Eye-Box im Vorfeld nicht bekannt ist oder eine exakte Positionierung des Umlenkelements aufwendig ist. In diesem Fall kann das Umlenkelement solange verschoben werden, bis die tat- sächliche Position der Eye-Box gefunden ist. According to one embodiment, the step of redirecting may be performed repeatedly for different assumed head positions. Also, the step of detecting may be repeatedly performed to acquire image information for each of the different assumed head positions. In one step of the determination, based on the image information acquired in the repeated steps of the acquisition, the assumed head position can be determined. which corresponds to an actual position of the Eye-Box. The actual position of the eye-box can be detected by means of a suitable image evaluation, for example by comparing images taken at different head positions with each other. In the step of determining, the calibration information may be determined based on the light information acquired at the actual position of the eye-box. This procedure is useful if the actual position of the eye-box is not known in advance or exact positioning of the deflecting element is complicated. In this case, the deflection element can be moved until the actual position of the eye box is found.
Auch kann im Schritt des Bestimmens basierend auf den an den unterschiedlichen Positionen erfassten Bildinformationen eine Information zur Vorverzerrung von durch die Projektionseinrichtung auszugebenden Bilddaten bestimmt wer- den. Die Vorverzerrung kann sinnvoll sein, damit das virtuelle Bild auch dann für den Insassen unverzerrt erscheint, wenn er den Kopf etwas bewegt und sich somit seine Blickrichtung etwas verändert. Also, in the step of determining based on the image information acquired at the different positions, information for predistortion of image data to be output by the projection device can be determined. The predistortion can make sense, so that the virtual image appears undistorted to the occupant, even if he moves his head slightly and thus changes his direction of view something.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Anordnens einer Blende in einen Projektionsstrahlengang der Projektionseinrichtung umfassen. In einem Schritt des Ermitteins kann die angenommene Kopfposition als eine Position ermittelt werden, an der das virtuelle Bild sichtbar ist. Ob das virtuelle Bild sichtbar ist, kann durch Auswerten der eintreffenden Lichtinformation ermittelt werden. Beispielsweise kann der Bildaufnehmer oder das Umlenkelement so- lange zwischen möglichen Kopfpositionen hin und her bewegt werden, bis die er- fasste Lichtinformation das virtuelle Bild umfasst. Das Bewegen des Umlenkelements kann durch eine Person oder eine Halteeinrichtung für das Umlenkelement durchgeführt werden. Die dadurch ermittelte Kopfposition wird als angenommene Kopfposition verwendet. According to an embodiment, the method may comprise a step of arranging a diaphragm in a projection beam path of the projection device. In a step of determining, the assumed head position may be determined as a position at which the virtual image is visible. Whether the virtual image is visible can be determined by evaluating the incoming light information. For example, the image sensor or the deflection element can be moved back and forth between possible head positions until the detected light information comprises the virtual image. The movement of the deflecting element can be performed by a person or a holding device for the deflecting element. The resulting head position is used as the assumed head position.
Das Verfahren kann auch einen Schritt des Projizierens des virtuellen Bilds umfassen, das dem realen Objekt zugeordnet ist. Das virtuelle Bild kann mittels der Projektionseinrichtung in den Strahlengang projiziert werden. The method may also include a step of projecting the virtual image associated with the real object. The virtual image can be projected into the beam path by means of the projection device.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtun- gen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides a device which is designed to implement the steps of the method according to the invention in corresponding devices. implement or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Unter einer Vorrichtung kann vorliegend ein oder mehrere elektrische Geräte verstanden werden, die Sensorsignale verarbeiten und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. In the present case, a device can be understood as meaning one or more electrical devices which process sensor signals and output control signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer ausgeführt wird. Also of advantage is a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and used to carry out the method according to one of the embodiments described above, when the program is executed on a computer.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: The invention will now be described by way of example with reference to the accompanying drawings. Show it:
Fig. 1 ein Fahrzeug mit einer Projektionsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1 shows a vehicle with a projection device according to an embodiment of the present invention.
Fig. 2 eine Darstellung einer virtuellen Kamera; FIG. 2 shows an illustration of a virtual camera; FIG.
Fig. 3 ein Fahrzeug mit einer Projektionsvorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; 3 shows a vehicle with a projection device according to a further exemplary embodiment of the present invention;
Fig. 4 ein Fahrzeug mit einer Projektionsvorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und Fig. 5 ein Ablaufdiagramm, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. 4 shows a vehicle with a projection device according to a further exemplary embodiment of the present invention; and 5 is a flowchart according to an embodiment of the present invention. In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.
Fig. 1 zeigt ein Fahrzeug 100 mit einer Projektionsvorrichtung 102 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Scheibe 104 auf. Im Innenraum des Fahrzeugs 100 ist hinter der Scheibe 104, hier eine Windschutzscheibe, ein Kopfbereich 106 eines Insassen des Fahrzeugs 100 gezeigt. Außerhalb des Fahrzeugs 100, im Sichtfeld des Insassen durch die Scheibe 104, ist ein Objekt 108, hier ein Schild, angeordnet. Ein Strahlengang 1 10 verläuft von dem Objekt 108 zu dem Kopfbereich 106 und insbesondere zu einer Position der Augen des Insassen. Über den Strahlengang 110 trifft von dem Objekt 108 ausgestrahltes oder reflektiertes Licht auf den Kopfbereich 106 des Insassen. Die Projektionseinrichtung 102 ist im Inneren des Fahrzeugs 100 angeordnet. Die Projektionseinrichtung 102 ist ausgebildet, um ein virtuelles Bild in das Sichtfeld des Insassen zu projizieren. Dazu ist die Projektionseinrichtung 102 ausgebildet, um Licht auszustrahlen, das über einen weiteren Strahlengang 1 12 auf ein Reflexionselement, beispielsweise die Scheibe 104, trifft und von dem Reflexionselement in den Strahlengang 1 10 in Richtung des Kopfbereichs 106 eingekoppelt wird. Auf diese Weise hat der Insasse des Fahrzeugs den Eindruck, als ob sich das von der Projektionseinrichtung 102 ausgestrahlte virtuelle Bild außerhalb des Fahrzeugs 100 im Bereich des Strahlengangs 1 10 befindet. 1 shows a vehicle 100 with a projection device 102 according to an embodiment of the present invention. The vehicle 100 has a disk 104. In the interior of the vehicle 100 behind the window 104, here a windshield, a head portion 106 of an occupant of the vehicle 100 is shown. Outside the vehicle 100, in the field of view of the occupant through the disc 104, an object 108, here a shield, is arranged. An optical path 110 travels from the object 108 to the head region 106 and in particular to a position of the eyes of the occupant. Via the beam path 110, light emitted or reflected by the object 108 strikes the head region 106 of the occupant. The projection device 102 is arranged inside the vehicle 100. The projection device 102 is designed to project a virtual image into the field of view of the occupant. For this purpose, the projection device 102 is designed to emit light which, via a further beam path 12, strikes a reflection element, for example the pane 104, and is coupled by the reflection element into the beam path 110 in the direction of the head region 106. In this way, the occupant of the vehicle has the impression that the virtual image emitted by the projection device 102 is located outside the vehicle 100 in the region of the beam path 110.
Die Projektionseinrichtung 102 kann ausgebildet sein, um das virtuelle Bild mit Bezug zu dem realen Objekt 108 in das Sichtfeld des Insassen zu projizieren.The projection device 102 may be configured to project the virtual image with respect to the real object 108 into the field of view of the occupant.
Beispielsweise kann das virtuelle Bild deckungsgleich zu dem realen Objekt 108 dargestellt werden. Dazu ist es erforderlich, dass die Projektionseinrichtung 102 zumindest eine Information über eine Position des realen Objekts 108 in Bezug auf das Fahrzeug 100 hat. Die Information über die Position kann eine Richtung und eine Entfernung zwischen einem Bezugspunkt des Fahrzeugs 100 und derFor example, the virtual image may be displayed congruent with the real object 108. For this purpose, it is necessary for the projection device 102 to have at least information about a position of the real object 108 with respect to the vehicle 100. The information about the position may include a direction and a distance between a reference point of the vehicle 100 and the vehicle
Position des realen Objekts 108 umfassen. Die Projektionseinrichtung 102 kann eine Schnittstelle aufweisen, um die Information über die Position zu empfangen. Über die Schnittstelle kann der Projektionseinrichtung 102 auch eine Information über eine Art des realen Objekts 108 bereitgestellt werden. Auf diese Weise kann die Projektionseinrichtung 102 einen Bildinhalt des virtuellen Bilds an das reale Objekt 108 anpassen. Die Information über die Position des realen Objekts 108 kann der Projektionseinrichtung 102 von einer Umfelderfassungseinrichtung 114 bereitgestellt werden. Die Umfelderfassungseinrichtung 114 ist an dem Fahrzeug 100 angeordnet und ist ausgebildet, um das Umfeld des Fahrzeugs 100 zumindest in einem Teilbereich des Sichtfelds des Insassen zu erfassen. Die Umfelder- fassungseinrichtung 1 14 ist ausgebildet, um das reale Objekt 108 zu erfassen und die Position des realen Objekts 108 relativ zu dem Fahrzeug 100 zu bestimmen. Auch kann die Umfelderfassungseinrichtung 114 ausgebildet sein, um mittels einer Objekterkennung eine Art des realen Objekts 108 zu klassifizieren. Die Umfelderfassungseinrichtung 1 14 kann ein ACC-System (Adaptive Cruise Con- trol) oder ein Teil eines solchen Systems darstellen. In Bezug auf eine Kalibrierung der Projektionseinrichtung 102 kann die Information über die Position des realen Objekts 108 der Projektionseinrichtung 102 auch fest vorgegeben sein oder über eine Eingabeschnittstelle, beispielsweise von einer Bedienperson, eingegeben werden. Position of the real object 108 include. The projection device 102 can have an interface to receive the information about the position. Via the interface, the projection device 102 can also be provided with information about a type of the real object 108. In this way, the projection device 102 can adapt an image content of the virtual image to the real object 108. The information about the position of the real object 108 may be provided to the projection device 102 by an environment detection device 114. The surroundings detection device 114 is arranged on the vehicle 100 and is designed to detect the surroundings of the vehicle 100 at least in a partial area of the field of view of the occupant. The surroundings detection device 1 14 is designed to detect the real object 108 and to determine the position of the real object 108 relative to the vehicle 100. The environment detection device 114 may also be designed to classify a type of the real object 108 by means of an object recognition. The environment detection device 14 can represent an ACC system (Adaptive Cruise Control) or a part of such a system. With regard to a calibration of the projection device 102, the information about the position of the real object 108 of the projection device 102 may also be fixed or input via an input interface, for example by an operator.
Bei der Projektionseinrichtung 102 kann es sich um ein Head-up Display handeln. Als Head-up Display wird ein System bezeichnet, das Informationen direkt ins Sichtfeld des Fahrers einblendet. Hierzu wird eine spezielle Optik eingesetzt, die über Einspiegelung in die Windschutzscheibe 104 dafür sorgt, dass für den Fahrer der Eindruck entsteht, als ob ein Bild vor dem Fahrzeug 100 schweben würde. Im Gegensatz dazu muss der Fahrer bei einem Head Down-Display oder bei den Kombiinstrumenten im Fahrzeug 100 seinen Blick senken, um wichtige Anzeigen wie etwa Geschwindigkeit oder Richtungsanweisungen zu sehen. Das Bild eines HUDs 102 ist nur für den Fahrer sichtbar, und auch nur dann, wenn sich seine Augen in der sogenannten Eyebox (EB) befinden. Dies ist ein 3- dimensionaler Raum, der aus Sicht des Fahrers typischerweise 25 cm breit und 10 cm hoch ist. The projection device 102 may be a head-up display. The head-up display is a system that displays information directly into the driver's field of vision. For this purpose, a special optics is used, which ensures by reflection in the windshield 104 that gives the driver the impression as if an image in front of the vehicle 100 would float. In contrast, with a head-down display or the instrument cluster in the vehicle 100, the driver must look down to see important indications such as speed or directional guidance. The image of a HUD 102 is visible only to the driver, and only if his eyes are in the so-called Eyebox (EB). This is a 3-dimensional space typically 25 cm wide and 10 cm high from the driver's point of view.
Gemäß einem Ausführungsbeispiel kann das Head-up Display 102 Informationen gezielt dem realen Bild überlagern, um Punkte im Raum zu referenzieren. Ein solches Display wird im allgemeinen Sprachgebrauch kontaktanaloges bzw. Augmented Head-up Display genannt. Dem Fahrer können mit Hilfe dieser Technik z.B. Navigationshinweise in der Form gegeben werden, dass die von ihm zu verfolgende Straße farbig markiert wird. Auch Fahrspuren oder vom ACC- System 1 14 detektierte vorausfahrende Fahrzeuge können dem Fahrer direkt in das Blickfeld eingeblendet werden. Für die Erzeugung eines 3D-Effektes sind verschiedene Ansätze bekannt. Über autostereoskopische oder auch binokulare Systeme werden für beide Augen unterschiedliche Bilder erzeugt und über entsprechende Optiken dem Auge sichtbar gemacht. Andere Verfahren (biokular) erzeugen nur ein einziges Bild, dessen Bildentfernung aber so gewählt wird, dass die Augen des Fahrers diese nicht mehr erkennen können, und das Gehirn automatisch eine Zuordnung zu den hinter den eingeblendeten Symbolen liegenden Objekten vornimmt. Die Abbildung 3D nach 2D wird durch einen sogenannten Renderer durchgeführt, der das 2D-Bild auf die Szene aus der Perspektive des Fahrers und der 3D-Visualisierungsdaten errechnet. Hierzu kann eine Fahrer- kopfpositionsschätzung erforderlich sein. Mittels der Fahrerkopfpositionsschät- zung kann die Position des Kopfbereichs 106 im Inneren des Fahrzeugs 100, beispielsweise in Bezug zu einem Bezugspunkt des Fahrzeugs bestimmt werden. Gemäß einem Ausführungsbeispiel überwacht die Umfeldsensorik 114 in Form des ACC mit einem Radar-Sensor den Bereich vor dem Fahrzeug 100. Die Umfeldsensorik 1 14 ist ausgebildet, um aus den reflektierten Signalen Richtung, Entfernung und Relativgeschwindigkeit vorausfahrender Fahrzeuge oder anderer Objekte zu berechnen. Detektiert die Umfeldsensorik 114 ein langsameres vo- rausfahrendes Fahrzeug in der eigenen Fahrspur, passt es die Geschwindigkeit so an, dass das Fahrzeug 100 im gewünschten Abstand folgt. Dazu reduziert ACC je nach Fahrsituation das Motormoment oder bremst das Fahrzeug 100 ab. Auch in Kurven kann ACC erkennen, welches Fahrzeug für die Geschwindigkeitsregelung entscheidend ist. Sobald sich im Messbereich kein Fahrzeug mehr befindet, beschleunigt ACC das Fahrzeug wieder automatisch auf die voreingestellte Geschwindigkeit. Moderne Verfahren nutzen zur Absicherung der Radardaten und zur Steigerung der Zuverlässigkeit eine Videoaußenkamera. Dabei werden mittels Bilderkennungsalgorithmen aus Videobildern Objekte 108 detektiert und mit den Radardaten fusioniert. Für eine perspektivisch korrekte Projektion muss das Augmented Reality Head- Up Display (AR-HUD) 102 kalibriert werden. Hierzu soll die Projektion eines Augmented Reality Head-Up Displays nach der Montage im Kfz 100 so erfolgen, dass hinterher die Einblendung von Symbolen im Sichtfeld des Fahrers an korrekter Position erfolgt. Die Berechnung der Perspektive des Bildes, das durch das HUD 102 dargestellt wird, aus einer gewünschten 3 dimensionalen Szene, die dem Fahrer dargestellt wird, übernimmt der sogenannte Renderer. Das dargestellte Bild ist bei einem monoskopischen HUD 102 zweidimensional. Zur Berechnung der Perspektive sind Technologien bekannt, z.B. OpenGL, die die Bild- Berechnung direkt vornehmen. Dazu werden drei darzustellende Objekte in einer 3D-Beschreibungssprache beschrieben und dem Renderer übergeben, der das entsprechende 2-D Bild berechnet. Wichtig ist nun die Konfiguration des Rende- rers. Diese wird so vorgenommen, dass das virtuelle Bild aus Sicht des Fahrers an der gewünschten Stelle erscheint. Hierbei wird innerhalb des Renderes das Konzept einer virtuellen Kamera verfolgt, für welche die Umrechnung 3D auf 2D durch den Renderer auf Basis der Kameraparameter vorgenommen wird. Diese Kameraparameter sind die im Verfahren zu bestimmenden Kalibrierparameter. According to one embodiment, the head-up display 102 may selectively overlay information to the real image to reference points in space. Such a display is in common usage contact analogue or Called Augmented Head-up Display. The driver can be given with the help of this technique, for example, navigation instructions in the form that the road to be followed by him is marked in color. Even lanes or detected by ACC system 1 14 preceding vehicles can be displayed to the driver directly into the field of view. For the production of a 3D effect, various approaches are known. Using autostereoscopic or binocular systems, different images are created for both eyes and made visible to the eye via appropriate optics. Other methods (biocular) produce only a single image, but whose image distance is chosen so that the driver's eyes can no longer recognize them, and the brain automatically makes an assignment to the objects behind the displayed symbols. The 3D image to 2D is performed by a so-called renderer, which calculates the 2D image on the scene from the perspective of the driver and the 3D visualization data. For this, a driver's head position estimation may be necessary. By means of the driver's head position estimation, the position of the head region 106 in the interior of the vehicle 100, for example with respect to a reference point of the vehicle, can be determined. According to an exemplary embodiment, the environment sensor system 114 in the form of the ACC monitors with a radar sensor the area in front of the vehicle 100. The surroundings sensor 1 14 is designed to calculate from the reflected signals of direction, distance and relative speed of preceding vehicles or other objects. If the surroundings sensor system 114 detects a slower driving ahead vehicle in its own lane, it adjusts the speed so that the vehicle 100 follows at the desired distance. Depending on the driving situation, ACC reduces the engine torque or brakes the vehicle 100. Even when cornering, ACC can recognize which vehicle is crucial for speed control. As soon as there is no vehicle in the measuring range, ACC automatically accelerates the vehicle to the preset speed. Modern methods use a video outside camera to secure radar data and increase reliability. In this case, objects 108 are detected by means of image recognition algorithms from video images and fused with the radar data. For a perspective correct projection, the augmented reality head-up display (AR-HUD) 102 must be calibrated. For this purpose, the projection of an augmented reality head-up display after installation in the vehicle 100 should be such that afterwards the insertion of symbols in the driver's field of view takes place at the correct position. The calculation of the perspective of the image represented by the HUD 102 from a desired 3-dimensional scene presented to the driver is performed by the so-called renderer. The image shown is two-dimensional in a monoscopic HUD 102. For the calculation of the perspective technologies are known, eg OpenGL, which make the image calculation directly. For this purpose, three objects to be displayed are described in a 3D description language and passed to the renderer, which calculates the corresponding 2-D image. Important now is the configuration of the renderer. This is done so that the virtual image appears from the perspective of the driver at the desired location. Here, the concept of a virtual camera is tracked within the render, for which the conversion from 3D to 2D is performed by the renderer based on the camera parameters. These camera parameters are the calibration parameters to be determined in the method.
Fig. 2 zeigt eine Darstellung einer solchen virtuellen Kamera 220. Für eine korrekte Überlagerung muss sich die virtuelle Kamera 220 am Fahrerkopf befinden und auf das HUD-Bild gerichtet sein. Der„Zoom" muss so gewählt sein, dass der HUD-Bildbereich vollständig erfasst wird. Die Parameter der virtuellen Kamera 220, die für die Konfiguration des Renderers benötigt werden, sind damit: horizontaler Bildwinkel 222 (Field of View) 2 shows an illustration of such a virtual camera 220. For a correct overlay, the virtual camera 220 must be located on the driver's head and directed towards the HUD image. The "zoom" must be selected to fully capture the HUD image area, so the parameters of the virtual camera 220 needed to configure the renderer are as follows: horizontal field of view 222 (field of view)
Seitenverhältnis 224 mit Breite w und Höhe h  Aspect ratio 224 with width w and height h
Beginn 226 des Zeichenvolumens (des Frustums) in z- Richtung Beginning 226 of the character volume (of frustum) in the z direction
Ende 228 des Zeichenvolumens (des Frustums) in z- Richtung End 228 of the character volume (of frustum) in the z direction
Für die äußere Orientierung werden weiterhin die Position und die Rotation der Kamera 220 im Fahrzeugkoordinatensystem benötigt sowie der sogenannte "Viewport", welcher angibt, wie groß das Bild in Pixeln auf dem Bildschirm ist. For the outer orientation, the position and the rotation of the camera 220 in the vehicle coordinate system are also required, as well as the so-called "viewport", which indicates how large the image is in pixels on the screen.
Fig. 3 zeigt einen Abschnitt eines Fahrzeugs mit einer Vorrichtung zur Kalibrierung einer Projektionseinrichtung 102 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionseinrichtung 102 ist als AR-HUD ausgebildet. Die Projektionseinrichtung 102 weist eine HUD-Öffnung auf, aus der, wie anhand von Fig. 1 beschrieben, Licht 1 12 auf die Windschutzscheibe 104 des Fahrzeugs projiziert wird. Von der Windschutzscheibe 104 wird das Licht 112 in den Strahlengang zu der Kopfposition des Insassen reflektiert, an der gemäß diesem Aus- führungsbeispiel eine Kamera 320 angeordnet ist. Die Eyebox gibt den räumlichen Bereich an, in dem für den Betrachter das Bild des Displays sichtbar ist. Somit befindet sich die Kopfposition und die Kamera 320 in der Eyebox. Die Projektionseinrichtung 102 ist ausgebildet, um das Licht 1 12 so auf die Windschutzscheibe 104 zu projizieren, das ein virtuelles Bild 330 entsteht, dass aus Sicht des Insassen in Verlängerung des Strahlengangs 1 10 hinter der Windschutzscheibe 104, also außerhalb des Fahrzeugs, schwebt. Ferner sind in Fig. 3 drei reale Objekte 108 gezeigt, die beabstandet voneinander an unterschiedlichen Positionen außerhalb des Fahrzeugs angeordnet sind. Bei den Objekten 108 handelt es sich um reale Marker 108, deren Position jeweils bekannt ist. In dem virtuellen Bild 330 sind drei Marker angeordnet. Das virtuelle Bild 330 soll gemäß diesem Ausführungsbeispiel von der Projektionseinrichtung 102 so projiziert werden, dass sich jeder der Marker des virtuellen Bilds 330 mit einem zugeordneten der realen Marker 108 überdeckt. Eine Information über die Position der realen Marker 108 kann über eine Schnittstelle der Projektionseinrichtung 102 an die Projektionseinrichtung 102 übertragen werden. Die Projektionseinrichtung 102 weist einen Speicher 332 auf, in dem Systemparameter der Projektionseinrichtung 102, hier AR-HU D-Parameter, gespeichert sind. Die Projektionseinrichtung 102 ist ausgebildet, um unter Verwendung der Systemparameter Ansteuerwerte zur Erzeugung des virtuelle Bilds 330 so zu bestimmen, dass das virtuelle Bild 330 virtuelle Marker umfasst, die in einer vorbestimmten Position zu den realen3 shows a section of a vehicle with a device for calibrating a projection device 102 according to an embodiment of the present invention. The projection device 102 is designed as an AR-HUD. The projection device 102 has a HUD opening, from which, as described with reference to FIG. 1, light 1 12 is projected onto the windshield 104 of the vehicle. From the windshield 104, the light 112 is reflected in the beam path to the head position of the occupant at which a camera 320 is arranged according to this embodiment. The eyebox indicates the spatial area in which the image of the display is visible to the viewer. Thus, the head position and the camera 320 are in the eyebox. The projection device 102 is designed to project the light 12 onto the windshield 104 in such a way that a virtual image 330 is produced which, from the perspective of the occupant, hovers behind the windshield 104 behind the windscreen 104, ie outside the vehicle. Also shown in FIG. 3 are three real objects 108 spaced apart from each other at different positions outside the vehicle. The objects 108 are real markers 108 whose position is known in each case. In the virtual image 330, three markers are arranged. According to this exemplary embodiment, the virtual image 330 is to be projected by the projection device 102 in such a way that each of the markers of the virtual image 330 overlaps with an associated one of the real markers 108. Information about the position of the real markers 108 can be transmitted to the projection device 102 via an interface of the projection device 102. The projection device 102 has a memory 332 in which system parameters of the projection device 102, here AR-HU D parameters, are stored. The projection device 102 is designed to use the system parameters to determine drive values for generating the virtual image 330 in such a way that the virtual image 330 comprises virtual markers which are at a predetermined position relative to the real world
Markern 108, hier überdeckend, eingeblendet werden. Besteht eine Abweichung von der angestrebten Überdeckung, so kann die Abweichung durch einen Kalibriervorgang erkannt und eliminiert werden. Die Kamera 320 ist so angeordnet, dass sie sowohl das virtuelle Bild 330 als auch die realen Objekte 108 erfassen kann. Ein von der Kamera 320 erzeugtes Bild 336 wird von der Kamera 320 an eine Bildauswerteeinrichtung 340 übertragen. Die Bildauswerteeinrichtung 340 ist ausgebildet, um eine Auswertung des Bilds 336 durchzuführen und basierend auf der Auswertung Systemparameter für die Projektionseinrichtung 102 zu berechnen. Dazu können beispielsweise die virtuellen Marker des virtuellen Bilds 330 und die realen Marker 108 in dem Bild 336 erkannt werden und die jeweiligen Positionen miteinander verglichen werden. Weicht beispielsweise eine Position eines virtuellen Markers von einer Position eines zugeordneten realen Markers 108 ab, so kann die Bildauswerteeinrichtung 340 ausgebildet sein, um basierend auf der Abweichung neue Systempa- rameter so zu bestimmen, dass die Abweichung korrigiert wird. Dazu können bekannte Verfahren zur Kalibrierung einer Projektionseinrichtung eingesetzt werden. Die zur Erzeugung des virtuellen Bildes 330 eingesetzten aktuellen Systemparameter der Projektionseinrichtung 102 können der Bildauswerteeinrichtung 340 bekannt sein und zur Bestimmung der neuen Systemparameter verwendet werden. Die von der Bildauswerteeinrichtung 340 bestimmen Systempa rameter für die Projektionseinrichtung 102 können, beispielweise durch Flashen, in den Speicher 332 der Projektionseinrichtung 102 eingetragen werden. Nachfolgend können diese neuen Systemparameter für eine erneute Projizierung des virtuellen Bildes 330 eingesetzt werden. Markers 108, overlapping here, are displayed. If there is a deviation from the desired overlap, then the deviation can be detected and eliminated by a calibration process. The camera 320 is arranged to capture both the virtual image 330 and the real objects 108. An image 336 generated by the camera 320 is transmitted from the camera 320 to an image evaluator 340. The image evaluation device 340 is designed to perform an evaluation of the image 336 and to calculate system parameters for the projection device 102 based on the evaluation. For this purpose, for example, the virtual markers of the virtual image 330 and the real markers 108 in the image 336 are recognized and the respective positions are compared with each other. For example, if a position of a virtual marker deviates from a position of an associated real marker 108, the image evaluator 340 may be configured to determine new system parameters based on the deviation so as to correct the deviation. For this purpose, known methods for calibrating a projection device can be used. The current system parameters of the projection device 102 used to generate the virtual image 330 can be known to the image evaluation device 340 and used to determine the new system parameters. The system parameters determined by the image evaluation device 340 for the projection device 102 can be entered into the memory 332 of the projection device 102, for example by flashing. Subsequently, these new system parameters may be used for re-projecting the virtual image 330.
In Fig. 3 ist ein Aufbau für eine automatische Kalibrierung eines Augmented Rea- lity HUDs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gezeigt. Dabei sind die Kamera 320 und die Projektionseinrichtung 102 innerhalb des Fahrzeugs angeordnet. Die Bildauswerteeinrichtung 340 kann außerhalb des Fahrzeugs angeordnet sein und über geeignete Schnittstellen mit der KameraFIG. 3 shows a construction for an automatic calibration of an augmented reality HUD according to an exemplary embodiment of the present invention. In this case, the camera 320 and the projection device 102 are arranged inside the vehicle. The image evaluation device 340 can be arranged outside the vehicle and via suitable interfaces with the camera
320 und der Projektionseinrichtung 102 verbunden sein. Gemäß diesem Ausführungsbeispiel werden über das Bild 336, das mittels der Kamera 320 aus der Eyebox heraus aufgenommen wird, gleichzeitig Objekte 108 mit bekannter Lage sowie vom HUD 102 erzeugte virtuelle Objekte 330 erfasst. Mittels der Kamera 320 können aus der Eye-Box des HUD 102 die Abweichung der Position von realen Markern 108 vor dem Fahrzeug mit der Position von eingeblendeten Markern 330 verglichen werden. Bei einer hinreichend großen Anzahl von Markern lassen sich aus den Abweichungen die korrekten Parameter für das AR-HUD berechnen, so dass die Projektion perspektivisch korrekt ist. 320 and the projection device 102. According to this exemplary embodiment, objects 108 with a known position and virtual objects 330 generated by the HUD 102 are detected simultaneously via the image 336, which is taken out of the eyebox by means of the camera 320. By means of the camera 320, the deviation of the position of real markers 108 in front of the vehicle from the eye box of the HUD 102 can be compared with the position of inserted markers 330. With a sufficiently large number of markers, the deviations can be used to calculate the correct parameters for the AR-HUD, so that the projection is perspectively correct.
Die gesuchten HUD Parameter lassen sich dann bei einer hinreichend großen Menge von Objekten 108 aus den jeweiligen Objektpositionen, für virtuelle und reale Objekte 330, 108, sowie den aktuell eingestellten, noch zu justierenden, HUD- Parametern berechnen. Dabei können die HUD-Parameter in einem einzi- gen Schritt berechnet werden. Zur Bestimmung der HUD-Parameter kann auf bekannte Algorithmen zur markerbasierten Berechnung von Transformationsparametern zurückgegriffen werden. The searched HUD parameters can then be calculated for a sufficiently large amount of objects 108 from the respective object positions, for virtual and real objects 330, 108, as well as the currently set, still to be adjusted, HUD parameters. The HUD parameters can be calculated in a single step. To determine the HUD parameters can be known algorithms for marker-based calculation of transformation parameters are used.
Fig. 4 zeigt einen Abschnitt eines Fahrzeugs mit einer Vorrichtung zur Kalibrie- rung einer Projektionseinrichtung 102 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. Der in Fig. 4 gezeigte Aufbau entspricht dem in Fig. 3 gezeigten Aufbau, mit dem Unterschied, dass anstelle einer an der Kopfposition platzierten Kamera eine Innenraum-Kamera 420 eingesetzt wird, dass ein Umlenkelement 422, hier ein Spiegel oder Umlenkspiegel, an der Kopfpositi- on angeordnet ist und dass das Bild 336 der Innenraum-Kamera 420 von einer4 shows a section of a vehicle with a device for calibrating a projection device 102 according to a further exemplary embodiment of the present invention. The structure shown in Fig. 4 corresponds to the structure shown in Fig. 3, with the difference that instead of a camera placed at the head position, an interior camera 420 is used, that a deflection element 422, here a mirror or deflection mirror, at the Kopfpositi - On is arranged and that the image 336 of the interior camera 420 of a
Einheit 440 zur Parameterberechnung ausgewertet wird, die Teil der Projektions- einrichtung 102 ist. Unit 440 is evaluated for the parameter calculation, which is part of the projection device 102.
Der Spiegel 422 ist so in der Eyebox angeordnet, dass der Strahlengang 1 10 zu der Innenraumkamera 420 umgelenkt wird. Die Innenraumkamera 420 kann fest in dem Fahrzeug installiert sein und im Normalbetrieb beispielsweise zur Überwachung des Innenraums des Fahrzeugs eingesetzt werden. Das von der Innenraumkamera 420 erzeugte Bild 336 wird über eine geeignete Schnittstelle an die Projektionseinrichtung 102 bereitgestellt. Beispielswiese kann das Bild 336 über einen Systembus, beispielsweise einen CAN-Bus, an den sowohl die Innenraumkamera 420 als auch die Projektionseinrichtung 102 angeschossen sind von der Innenraumkamera 320 an die Projektionseinrichtung 102 übertragen werden. Die Einheit 440 ist entsprechend der anhand von Fig. 4 beschriebenen Bildauswerteeinrichtung 340 ausgebildet, um neue Systemparameter für die Projektionseinrichtung 102 zu bestimmen und in dem Speicher der Projektionseinrichtung 102 abzulegen. The mirror 422 is arranged in the eyebox that the beam path 1 10 is deflected to the interior camera 420. The interior camera 420 may be permanently installed in the vehicle and used in normal operation, for example, to monitor the interior of the vehicle. The image 336 generated by the interior camera 420 is provided to the projection device 102 via a suitable interface. For example, the image 336 may be transmitted from the indoor camera 320 to the projection device 102 via a system bus, such as a CAN bus, to which both the indoor camera 420 and the projection device 102 are shot. The unit 440 is designed in accordance with the image evaluation device 340 described with reference to FIG. 4 in order to determine new system parameters for the projection device 102 and to store them in the memory of the projection device 102.
Gemäß diesem Ausführungsbeispiel sind sowohl die Projektionseinrichtung, als auch der Spiegel 422 und die Innenraumkamera 420 im Inneren des Fahrzeugs angeordnet. Somit kann unter Ausnutzung der bereits im Fahrzeug verbauten Innenraumkamera 420, beispielsweise zur Müdigkeitsüberwachung, und eines zusätzlichen Spiegels 422, der temporär in die Eyebox gebracht wird, eine automatische Kalibrierung des HUD 102 vorgenommen werden. Dabei findet die Berechnung der AR-HU D-Parameter vollständig im Fahrzeug-System statt, d.h. es ist keine elektronische Anbindung externer Geräte, wie z.B. einer Kamera, einesAccording to this embodiment, both the projection device and the mirror 422 and the indoor camera 420 are disposed inside the vehicle. Thus, an automatic calibration of the HUD 102 can be made by taking advantage of the already installed in the vehicle interior camera 420, for example, for fatigue monitoring, and an additional mirror 422, which is temporarily placed in the eyebox. In this case, the calculation of the AR-HU D parameters takes place completely in the vehicle system, i. there is no electronic connection of external devices, such as a camera, one
PCs oder eines Diagnosetesters, erforderlich. Zusätzlich kann der Spiegel mit Merkmalen, wie z.B. Markern versehen sein, die eine vereinfachte Messung der Marker im Kamerabild erlauben. Dies ermöglicht eine vereinfachte Bestimmung der räumlichen Lage des Spiegels bezogen auf die Kamera und damit die Bestimmung der Lage des Spiegels im Fahrzeug mit bekannten Verfahren aus der optischen Messtechnik. Dies verbessert die Genauigkeit der Bestimmung der Systemparameter für die Projektion. PCs or a diagnostic tester required. In addition, the mirror can be provided with features, such as markers, which allow a simplified measurement of the markers in the camera image. This allows a simplified determination of the spatial position of the mirror relative to the camera and thus the determination of the position of the mirror in the vehicle with known methods of optical measurement technology. This improves the accuracy of determining the system parameters for projection.
Es wird somit ein Verfahren zur automatischen Kalibrierung eines AR-HUDs 102 ermöglicht, bei dem nicht die Notwendigkeit besteht, eine Kamera innerhalb derThus, a method is provided for automatically calibrating an AR-HUD 102, which does not require a camera within the
Eyebox des HUD 102 im Fahrzeug zu platzieren, dann die Bilder dieser externen Kamera auszuwerten, die AR-HU D-Parameter außerhalb des Fahrzeugs zu berechnen und diese schließlich zur Konfiguration des AR-HUDs zu verwenden. Ein entsprechend komplexer Prozess, bei dem eine separate Kamera erforder- lieh ist, Bilder ausgelesen und an anderer Stelle verarbeitet werden und die Ergebnisse in die Fahrzeug-Elektronik übertragen werden, kann durch das anhand von Fig. 4 gezeigte Verfahren vollständig umgangen werden. Somit wird ein Verfahren zur automatischen Kalibrierung eines Augmented Reality HUDs basierend auf einer Innenraumkamera geschaffen, das kostengünstig und schnell ausge- führt werden kann. Eyebox of the HUD 102 to place in the vehicle, then evaluate the images of this external camera to calculate the AR-HU D parameters outside the vehicle and then to use this for the configuration of the AR-HUDs. A correspondingly complex process, in which a separate camera is required, images are read out and processed elsewhere, and the results are transmitted to the vehicle electronics, can be completely bypassed by the method shown in FIG. 4. Thus, a method is provided for automatically calibrating an augmented reality HUD based on an indoor camera, which can be performed inexpensively and quickly.
Mit dem Verfahren ist es möglich, eine Kalibrierung der Projektionseinrichtung 102 lediglich mit Hilfe eines Spiegels 422 und gegebenenfalls, je nach Kalibrierverfahren, externen Markern 108 vorzunehmen. Als externe Marker 108 können speziell zum Zweck der Kalibrierung vor dem Fahrzeug angeordnete Objekte eingesetzt werden. The method makes it possible to calibrate the projection device 102 only with the aid of a mirror 422 and, depending on the calibration method, if necessary, external markers 108. As external markers 108, objects arranged especially for the purpose of calibration in front of the vehicle can be used.
Im Folgenden erfolgt eine detaillierte Beschreibung von Aufbau und Funktion des in Fig. 4 gezeigten Ausführungsbeispiels. Der gezeigte Ansatz basiert darauf, das in der Eyebox sichtbare Bild von dem Spiegel 422 in die bereits für andereThe following is a detailed description of the structure and function of the embodiment shown in Fig. 4. The approach shown is based on the visible in the eyebox image of the mirror 422 in the already for others
Zwecke genutzte Innenraumkamera 420 umzulenken. Kalibrieralgorithmen, die beispielsweise in der Ansteuerelektronik innerhalb des AR-HUD 102 installiert sind, empfangen dann das Bild 336 der Innenraumkamera 420, werten es aus, berechnen die AR-HU D-Parameter und rekonfigurieren das von der Projektions- einrichtung 102 erzeugte virtuelle Bild 330 neu. Die dabei zum Einsatz kommenden Kalibrieralgorithmen entsprechen denen, die bei einer automatischen Kalibrierung per Kamera in der Eyebox, wie anhand von Fig. 3 beschrieben, zum Einsatz kommen. Zusätzlich können noch Software- Module erforderlich sein, die den Nutzer bei der Positionierung des Spiegels 422 unterstützen. Divert purpose used interior camera 420. Calibration algorithms installed, for example, in the drive electronics within the AR-HUD 102 then receive the image 336 of the indoor camera 420, evaluate it, calculate the AR-HU D parameters and reconfigure the virtual image 330 generated by the projection device 102 New. The calibration algorithms used here correspond to those which are used in an automatic calibration by camera in the eyebox, as described with reference to FIG. 3. In addition, software modules may still be required to assist the user in positioning the mirror 422.
Die Kalibrierung muss strenggenommen aus der Mitte der Eyebox erfolgen. Da diese Position nur mit Hilfe einer komplexeren mechanischen Positionierung möglich ist, ist die Innenraumkamera gemäß einem Ausführungsbeispiel ausgebildet, um eine Video- oder Bildersequenz aufzunehmen, während der Spiegel innerhalb der Eyebox in alle Richtungen verschoben wird. Auf diese Weise lassen sich der Grenzbereich der Eyebox ermitteln und auch deren Mitte. Dabei reicht es für die Auswertung aus, wenn sich der Spiegel 422 innerhalb der Sequenz nur einmal in der Mitte der Eyebox befunden hat. Diese Stelle von der Sequenz kann per Software leicht erkannt werden und die Berechnung der Parameter für die Projektionseinrichtung 102 dann einfach anhand des entsprechenden Bildes 336 an der Stelle der Sequenz durchgeführt werden. The calibration must strictly be done from the middle of the Eyebox. Since this position is possible only by means of a more complex mechanical positioning, the interior camera according to one embodiment is designed to record a video or image sequence while the mirror is displaced in all directions within the eyebox. In this way, the border area of the Eyebox can be determined and also its center. It is sufficient for the evaluation if the mirror 422 has been located only once in the middle of the eyebox within the sequence. This location of the sequence can be easily recognized by software, and the calculation of the parameters for the projection device 102 can then be performed simply on the basis of the corresponding image 336 at the location of the sequence.
Eine weitere Möglichkeit, die Mitte der Eyebox zu finden, besteht im Einsatz von entsprechenden Blenden, die über die Öffnung des HUD 102 gelegt werden. Bei Einblendung eines einzigen Testmarkers würde dieser nur in der Mitte der Eyebox sichtbar sein. Damit ist es dem Anwender des Verfahrens möglich, die Mitte der Eyebox zu suchen. Beispielsweise kann das von der Kamera 420 empfangene Bild 336 auf einem Display angezeigt werden oder das System quittiert die korrekte Platzierung mit einem Ton. Another way to find the center of the eyebox is to use appropriate bezels that are placed over the opening of the HUD 102. If a single test marker appeared, it would only be visible in the center of the eyebox. This makes it possible for the user of the method to search the center of the eyebox. For example, the image 336 received from the camera 420 may be displayed on a display, or the system may acknowledge the correct placement with a sound.
Mit den beschriebenen Verfahren ist es gemäß einem Ausführungsbeispiel der Erfindung weiterhin möglich, die gesamte Eyebox zu vermessen und Bilder 336 aus jeder Position zu ermitteln. Diese Information kann für eine elektronische Vorverzerrung des von der Projektionseinrichtung auszugebenden virtuellen Bildes 330 verwendet werden. Es können somit für eine geeignete Vorverzerrung erforderliche Parameter bestimmt werden und von der Projektionseinrichtung 102 zur Projizierung des virtuellen Bildes 330 genutzt werden. Dazu können diese Parameter in dem Speicher 332 der Projektionseinrichtung 102 abgelegt werden. Fig. 5 zeigt ein Ablaufdiagramm eines Verfahrens zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der Projektionseinrichtung kann es sich um die anhand der Figuren 1 , 3 oder 4 beschriebene Projektionseinrichtung handeln. With the described methods, according to an exemplary embodiment of the invention, it is furthermore possible to measure the entire eyebox and to determine images 336 from each position. This information can be used for electronic predistortion of the virtual image 330 to be output by the projection device. Thus, parameters required for a suitable predistortion can be determined and used by the projection device 102 for the projection of the virtual image 330. For this purpose, these parameters can be stored in the memory 332 of the projection device 102. 5 shows a flowchart of a method for calibrating a projection device of a vehicle according to an exemplary embodiment of the present invention. The projection device can be the projection device described with reference to FIGS. 1, 3 or 4.
In einem Schritt 550 wird in einer Eyebox des Fahrzeugs eintreffendes Licht mittels einer Bilderfassungseinrichtung erfasst und basierend darauf ein Bild erzeugt. Dazu kann eine Kamera direkt in der Eyebox angeordnet werden. Alternativ kann ein Spiegel in der Eyebox angeordnet werden, um das in der Eyebox eintreffende Licht zu einer an einer anderen Position angeordneten Kamera umzulenken. Die Kamera bzw. der Spiegel sind so ausgerichtet, dass das erfasste Licht dem Licht entspricht, das ein Insasse des Fahrzeugs durch seine im Bereich der Eyebox befindlichen Augen aufnehmen würde. Dabei umfasst das Licht sowohl eine Information über ein außerhalb des Fahrzeugs angeordnetes Objekt als auch eine Information über ein virtuelles Bild, das von der Projektionseinrichtung in Bezug auf das außerhalb des Fahrzeugs angeordnete Objekt erzeugt wird. Im Normalbetrieb des Fahrzeugs können die sich in der Eyebox befindliche Kamera bzw. der sich in der Eyebox befindliche Spiegel entfernt sein. D.h. dass die Kamera bzw. der Spiegel speziell für den Kalibriervorgang der Projektionsein- richtung in der Eyebox angeordnet werden. In einem Schritt 552 wird basierend auf dem von der Kamera erzeugten Bild eine Kalibrierinformation für die Projektionseinrichtung bestimmt. Dazu kann eine Bildauswertung ausgeführt werden und aus dem Bild ermittelte Daten bezüglich des virtuellen Bilds und dem realen Objekt können mit vorbestimmten Solldaten verglichen werden. Die Kalibrierinfor- mation kann Systemparameter der Projektionseinrichtung umfassen, die an dieIn a step 550, light arriving in an eyebox of the vehicle is detected by means of an image capture device and an image is generated based thereon. For this purpose, a camera can be arranged directly in the eyebox. Alternatively, a mirror may be placed in the eyebox to redirect the light received in the eyebox to a camera located at another position. The camera or mirror is oriented so that the detected light corresponds to the light that an occupant of the vehicle would receive through his eyes located in the area of the eyebox. In this case, the light comprises both information about an object arranged outside the vehicle and information about a virtual image which is generated by the projection device with respect to the object arranged outside the vehicle. During normal operation of the vehicle, the camera located in the eyebox or the mirror located in the eyebox may be removed. That that the camera or the mirror is specially arranged in the eyebox for the calibration process of the projection device. In a step 552, a calibration information for the projection device is determined based on the image generated by the camera. For this purpose, an image analysis can be carried out and data from the image with respect to the virtual image and the real object can be compared with predetermined desired data. The calibration information may include system parameters of the projection device that are connected to the
Projektionseinrichtung bereitgestellt werden. Projection device can be provided.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.

Claims

Ansprüche claims
1. Verfahren zur Kalibrierung einer Projektionseinrichtung (102) eines Fahrzeugs (100), wobei die Projektionseinrichtung geeignet ist, um ein einem realen Objekt (108) zugeordnetes virtuelles Bild (330) in einen Strahlengang (1 10) zwischen dem realen Objekt und einer angenommenen Kopfposition (106) eines Insassen des Fahrzeugs zu projizieren und wobei das Verfahren die folgenden Schritte umfasst: A method for calibrating a projection device (102) of a vehicle (100), wherein the projection device is adapted to a virtual image (330) associated with a real object (108) in a beam path (1 10) between the real object and an assumed one Projecting head position (106) of an occupant of the vehicle, and wherein the method comprises the following steps:
Erfassen (550) einer entlang des Strahlengangs an der angenommenen Kopfposition eintreffenden Lichtinformation, wobei die Lichtinformation zum einen Licht repräsentiert, das von dem sich außerhalb des Fahrzeugs befindlichen realen Objekt ausgeht und zum anderen Licht repräsentiert, das von der Projektionseinrichtung ausgeht, um das dem realen Objekt zugeordnete virtuelle Bild in den Strahlengang zu projizieren; und Detecting (550) light information incident along the beam path at the assumed head position, the light information representing, on the one hand, light originating from the real object located outside the vehicle and the other representing light originating from the projection device, that of the real one Projecting an object associated virtual image in the beam path; and
Bestimmen (552) einer Kalibrierinformation für die Projektionseinrichtung basierend auf einer aus der Lichtinformation ermittelten Position des virtuellen Bilds und einer aus der Lichtinformation ermittelten Position des realen Objekts. Determining (552) calibration information for the projection device based on a position of the virtual image determined from the light information and a position of the real object determined from the light information.
2. Verfahren gemäß Anspruch 1 , mit einem Schritt des Anordnens eines Bildaufnehmers (320) an der angenommenen Kopfposition (106), wobei im Schritt des Erfassens (550) die eintreffende Lichtinformation durch den Bildaufnehmer erfasst wird. A method according to claim 1, comprising a step of placing an imager (320) at the assumed head position (106), wherein in the step of capturing (550) the incoming light information is captured by the imager.
3. Verfahren gemäß Anspruch 1 , mit einem Schritt des Umlenkens der an der angenommenen Kopfposition (106) eintreffenden Lichtinformation zu einer Bilderfassungseinrichtung (420), die außerhalb der angenommenen Kopfposition angeordnet ist. The method of claim 1, further comprising the step of redirecting the light information arriving at the assumed head position (106) to an image capture device (420) located outside of the assumed head position.
Verfahren gemäß Anspruch 3, wobei das Fahrzeug (100) eine Innenraum- kamera zum Überwachen eines Innenraums des Fahrzeugs aufweist, die als Bilderfassungseinrichtung (420) eingesetzt wird. The method of claim 3, wherein the vehicle (100) comprises an indoor camera for monitoring an interior of the vehicle used as the image capture device (420).
Verfahren gemäß einem der Ansprüche 3 oder 4, bei dem der Schritt des Umlenkens wiederholt für unterschiedliche angenommene Kopfpositionen (106) ausgeführt wird, der Schritt des Erfassens (550) wiederholt ausgeführt wird, um für jede der unterschiedlichen angenommene Kopfpositionen eine Bildinformation (336) zu erfassen, in einem Schritt des Ermitteins basierend auf den in den wiederholten Schritten des Erfassens erfassten Bildinformationen diejenige angenommen Kopfposition ermittelt wird, die einer tatsächlichen Kopfposition entspricht und bei dem im Schritt des Bestimmens (552) die Kalibrierinformation basierend auf der an der tatsächlichen Kopfposition erfassten Lichtinformation bestimmt wird. A method according to any of claims 3 or 4, wherein the step of redirecting is performed repeatedly for different assumed head positions (106), the step of detecting (550) is repeatedly performed to provide image information (336) for each of the different assumed head positions detecting, in a step of determining based on the image information acquired in the repeated steps of acquiring, the assumed head position corresponding to an actual head position and at the step of determining (552) the calibration information based on the light information detected at the actual head position is determined.
Verfahren gemäß Anspruch 5, bei dem im Schritt des Bestimmens (552) basierend auf den an den unterschiedlichen Kopfpositionen (106) erfassten Bildinformationen (336) eine Information zur Vorverzerrung von durch die Projektionseinrichtung (102) auszugebenden Bilddaten zu bestimmen. A method according to claim 5, wherein, in the step of determining (552), based on the image information (336) acquired at the different head positions (106), information for predistortion of image data to be output by the projection device (102) is determined.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Anordnens einer Blende in einen Projektionsstrahlengang der Projektionseinrichtung (102) und mit einem Schritt des Ermitteins der angenommenen Kopfposition (106) als eine Position, an der das virtuelle Bild (330) sichtbar ist. A method according to any one of the preceding claims, comprising a step of placing a shutter in a projection beam path of the projection device (102) and a step of determining the assumed head position (106) as a position where the virtual image (330) is visible.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Projizierens des virtuellen Bilds (330), das dem realen Objekt (108) zugeordnet ist, mittels der Projektionseinrichtung (102) in den Strahlengang (110). Method according to one of the preceding claims, comprising a step of projecting the virtual image (330), which is associated with the real object (108), into the beam path (110) by means of the projection device (102).
Vorrichtung, die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen. Apparatus adapted to perform the steps of a method according to any one of claims 1 to 8.
10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird. 10. A computer program product with program code for carrying out the method according to one of claims 1 to 8, when the program is executed on a device.
PCT/EP2012/054353 2011-05-12 2012-03-13 Method and device for calibrating a projection device of a vehicle WO2012152475A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201280022877.XA CN103502876B (en) 2011-05-12 2012-03-13 For the method and apparatus correcting the projection arrangement of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011075703.1 2011-05-12
DE201110075703 DE102011075703A1 (en) 2011-05-12 2011-05-12 Method and device for calibrating a projection device of a vehicle

Publications (1)

Publication Number Publication Date
WO2012152475A1 true WO2012152475A1 (en) 2012-11-15

Family

ID=45888174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/054353 WO2012152475A1 (en) 2011-05-12 2012-03-13 Method and device for calibrating a projection device of a vehicle

Country Status (3)

Country Link
CN (1) CN103502876B (en)
DE (1) DE102011075703A1 (en)
WO (1) WO2012152475A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016204274A1 (en) 2016-03-15 2017-09-21 Volkswagen Aktiengesellschaft System and method for detecting a user input gesture
US9783112B2 (en) 2015-10-27 2017-10-10 Cnh Industrial America Llc Rear windshield implement status heads-up display
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US20230016649A1 (en) * 2018-11-12 2023-01-19 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874883B (en) * 2013-09-10 2019-06-18 飞利浦灯具控股公司 The method and apparatus that automation for encoded light source comes into operation
JP6337269B2 (en) * 2014-04-09 2018-06-06 パナソニックＩｐマネジメント株式会社 Vehicle evaluation device
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system
CN105786306A (en) * 2014-12-25 2016-07-20 比亚迪股份有限公司 Vehicle-mounted head-up display system and projected image height adjusting method thereof
CN105301777B (en) * 2015-12-05 2018-06-26 中国航空工业集团公司洛阳电光设备研究所 A kind of HUD adjusting process and the device for being exclusively used in implementing this method
DE102016210088B3 (en) * 2016-06-08 2017-07-06 Volkswagen Aktiengesellschaft Method and device for representing an environment of a motor vehicle
TWI609199B (en) * 2016-06-30 2017-12-21 葉天守 Reflective virtual image displaying device
CN107966816B (en) * 2017-11-22 2023-11-03 苏州萝卜电子科技有限公司 Mounting and adjusting method and mounting and adjusting split head-up display
KR102436730B1 (en) * 2017-12-06 2022-08-26 삼성전자주식회사 Method and apparatus for estimating parameter of virtual screen
CN108152957A (en) * 2017-12-25 2018-06-12 宁波均胜科技有限公司 A kind of vehicle-mounted head-up-display system and the error calibrating method based on the system
CN108225734B (en) * 2018-01-05 2021-07-02 宁波均胜科技有限公司 Error calibration system based on HUD system and error calibration method thereof
CN110365952B (en) * 2018-04-11 2022-05-31 京东方科技集团股份有限公司 Visual angle testing method and system for projection display device
CN109559522B (en) * 2019-01-21 2021-09-28 熵基科技股份有限公司 Debugging method, telescopic upright post, camera and storage medium
CN111089708A (en) * 2019-12-09 2020-05-01 中国航空工业集团公司洛阳电光设备研究所 System and method for measuring error of head-up display center
CN112067013A (en) * 2020-09-01 2020-12-11 卜云 AR-HUD-based vehicle-mounted identification system
CN112344963B (en) * 2020-11-05 2021-09-10 的卢技术有限公司 Testing method and system based on augmented reality head-up display equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004035896A1 (en) 2004-07-23 2006-03-16 Robert Bosch Gmbh Motor vehicle driver`s visual field, recording device for biometric system, has detection units, including scanning device that scans visual field, for determining profile of field to check if driver`s eyes are opened
DE102005037797A1 (en) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projection e.g. head up display, calibration system for e.g. motor vehicle, has control unit controlling unit for automatic adjustment of calibration, so that distortion free function, of projection is satisfied
WO2007083215A2 (en) * 2006-01-17 2007-07-26 Ferrari S.P.A. Method of controlling a road vehicle hud system
DE102007001266A1 (en) * 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102007045301A1 (en) * 2007-09-21 2009-04-02 Carl Zeiss Ag Reflective imaging projection system characterizing arrangement for use in motor vehicle i.e. automobile, has dispersive plate inserted between projection lens and reflecting surface, where dispersive plate is stamped in lattice structure

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004035896A1 (en) 2004-07-23 2006-03-16 Robert Bosch Gmbh Motor vehicle driver`s visual field, recording device for biometric system, has detection units, including scanning device that scans visual field, for determining profile of field to check if driver`s eyes are opened
DE102005037797A1 (en) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projection e.g. head up display, calibration system for e.g. motor vehicle, has control unit controlling unit for automatic adjustment of calibration, so that distortion free function, of projection is satisfied
WO2007083215A2 (en) * 2006-01-17 2007-07-26 Ferrari S.P.A. Method of controlling a road vehicle hud system
DE102007001266A1 (en) * 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102007045301A1 (en) * 2007-09-21 2009-04-02 Carl Zeiss Ag Reflective imaging projection system characterizing arrangement for use in motor vehicle i.e. automobile, has dispersive plate inserted between projection lens and reflecting surface, where dispersive plate is stamped in lattice structure

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9783112B2 (en) 2015-10-27 2017-10-10 Cnh Industrial America Llc Rear windshield implement status heads-up display
DE102016204274A1 (en) 2016-03-15 2017-09-21 Volkswagen Aktiengesellschaft System and method for detecting a user input gesture
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US20230016649A1 (en) * 2018-11-12 2023-01-19 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US20230016207A1 (en) * 2018-11-12 2023-01-19 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US11662602B2 (en) * 2018-11-12 2023-05-30 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
US11668948B2 (en) * 2018-11-12 2023-06-06 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices

Also Published As

Publication number Publication date
CN103502876B (en) 2016-11-09
CN103502876A (en) 2014-01-08
DE102011075703A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
WO2012152475A1 (en) Method and device for calibrating a projection device of a vehicle
DE112018001655B4 (en) Display device and moving body with the display device
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE112017003916T5 (en) Head-up display device, display control method and control program
DE102017107396A1 (en) Test method and test device for driver assistance systems
DE102007001266A1 (en) Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102012001951A1 (en) A display device for a vehicle and method for operating a display device
DE102010038825A1 (en) The image display control device
DE102020124756B4 (en) Method and device for calibrating a virtual image
DE102009019399B4 (en) Method for automatically determining at least one target variable describing the change in the position of a motor vehicle
DE102015008887A1 (en) Method and device for calibrating a head-up display in a vehicle
DE102011075702A1 (en) Method for aligning projection of projection device of motor vehicle, involves determining deviation between position of specific image and position of object regarding viewpoint of occupants
DE102014226185A1 (en) Method for determining a viewing direction of a person
DE102010003850A1 (en) Method for adjusting position of marked object for marking object on display unit of vehicle, involves determining position of marked object corresponding to surrounding information
DE102014008152A1 (en) Method and device for augmented presentation of at least one additional information in at least one image of an environment
EP2888623B1 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
DE102013219556A1 (en) Method and device for controlling an image generation device of a head-up display
DE102013206435A1 (en) Visualization system and device for generating and displaying a virtual image of a vehicle environment
WO2019042778A1 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and motor vehicle suitable for using the augmented reality glasses or the method
DE102010042026A1 (en) Method for producing image of e.g. post in concrete parking bay of ego vehicle, involves installing graphical element in object region to produce image in surrounding from virtual camera position, where region is not visible for sensor
DE102014207398A1 (en) Object association for contact-analogue display on an HMD
DE102016208398B4 (en) Method for calibrating a vehicle camera
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102016211227A1 (en) Method and vehicle control system for generating images of an environment model and corresponding vehicle
DE102012213132B4 (en) Method and device for the fusion of camera images of at least two vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12710673

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 12710673

Country of ref document: EP

Kind code of ref document: A1