CN116643402A - 平视显示器 - Google Patents

平视显示器 Download PDF

Info

Publication number
CN116643402A
CN116643402A CN202310023780.0A CN202310023780A CN116643402A CN 116643402 A CN116643402 A CN 116643402A CN 202310023780 A CN202310023780 A CN 202310023780A CN 116643402 A CN116643402 A CN 116643402A
Authority
CN
China
Prior art keywords
display
image
heads
projected
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310023780.0A
Other languages
English (en)
Inventor
F.罗思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Envisics Ltd
Original Assignee
Envisics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Envisics Ltd filed Critical Envisics Ltd
Publication of CN116643402A publication Critical patent/CN116643402A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105—Holograms with particular structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0109—Head-up displays characterised by optical features comprising holographic elements comprising details concerning the making of holograms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/015—Head-up displays characterised by mechanical features involving arrangement aiming to get less bulky devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/2213—Diffusing screen revealing the real holobject, e.g. container filed with gel to reveal the 3D holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/2213—Diffusing screen revealing the real holobject, e.g. container filed with gel to reveal the 3D holobject
    • G03H2001/2215—Plane screen
    • G03H2001/2218—Plane screen being perpendicular to optical axis
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G03H2210/36—Occluded features resolved due to parallax selectivity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/10—Spectral composition
    • G03H2222/12—Single or narrow bandwidth source, e.g. laser, light emitting diode [LED]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/14—Diffuser, e.g. lens array, random phase mask
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/24—Reflector; Mirror
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Instrument Panels (AREA)
  • Holo Graphy (AREA)

Abstract

一种用于车辆的平视显示器。平视显示器包括投影仪和处理器。投影仪布置成投影图像内容，使得图像内容从眼盒是可见的。处理器布置成接收从眼盒可见的场景的捕获图像。处理器布置成在第一时间：检测场景中的第一物体，并指示图像投影仪投影从观察位置看起来与第一物体重合的图标(例如计算机图形)。处理器还布置成在晚于第一时间的第二时间：检测从眼盒位置到第一物体的视线中的第二物体，并且响应于第二物体的检测，指示图像投影仪改变投影图标的视觉外观。

Description

平视显示器
技术领域
本公开涉及投影仪和平视显示器。更具体地，本公开涉及用于车辆比如机动车辆的全息投影仪和平视显示器。本公开还涉及全息投影的方法、在平视显示器中投影虚拟图像的方法以及使用平视显示器在诸如挡风玻璃的窗户上显示虚拟图像的方法。
背景技术
从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或重放图像。
计算生成的全息术可以数值模拟干涉过程。计算机生成的全息图“CGH”可以通过基于诸如菲涅耳或傅立叶变换的数学变换的技术来计算。这些类型的全息图可被称为菲涅耳全息图或傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域表示或物体的频域表示。例如，CGH也可以通过相干光线追踪或点云技术来计算。
可以在布置为调制入射光的振幅和/或相位的空间光调制器“SLM”上对CGH进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。
SLM可以包括多个可单独寻址的像素，这些像素也可被称为单元或元件。光调制方案可以是二元的、多级的或连续的。可替代地，该装置可以是连续的(即不包括像素)，因此光调制在该装置上可以是连续的。SLM可以是反射性的，这意味着调制光从SLM反射输出。SLM同样可以是透射性的，这意味着调制光从SLM透射输出。
使用所描述的技术可以提供用于成像的全息投影仪。这种投影仪已经在平视显示器“HUD”和头戴式显示器“HMD”中得到应用，例如包括近眼设备。传统上，矩形区域(这里称为虚拟图像区域)被限定在驾驶员的视野中，并且平视显示器可以在该矩形区域中显示图像内容。
发明内容
在所附的独立权利要求中定义了本公开的各方面。
概括地说，本公开涉及图像投影。它涉及图像投影的方法和包括显示设备的图像投影仪。本公开还涉及包括图像投影仪和观察系统的投影系统，其中图像投影仪将来自显示设备的光投影或中继到观察系统。本公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多只眼睛。观察系统包括具有光焦度的光学元件(例如人眼的晶状体)和观察平面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知图像。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图像平面。在其他实施例中，图像是通过全息重建形成的真实图像，并且该图像被投影或中继到观察平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。
显示设备包括像素。显示的像素可以显示衍射光的衍射图案或结构。衍射光可以在与显示设备空间分离的平面上形成图像。根据众所周知的光学原理，最大衍射角的幅度由像素的大小和其他因素比如光的波长决定。
这里还公开了一种用于机动车辆的改进的HUD。HUD包括图片生成单元。图片生成单元可以布置成生成包括诸如速度或导航信息的信息内容的图片。还提供了一种光学系统，其布置成形成信息内容的虚拟图像。信息内容的虚拟图像可以形成在驾驶员的合适观察位置，例如在驾驶员操作机动车辆时的正常视野内。例如，信息内容的虚拟图像可以出现在车辆的发动机罩(或发动机盖)下方距驾驶员一定距离处。信息内容的虚拟图像定位成不会不利地影响驾驶员对场景的正常观察。信息内容的虚拟图像可以覆盖在驾驶员对真实世界的观察上。信息内容是计算机生成的，并且可被实时控制或更新，以向驾驶员提供实时信息。
仅作为示例，实施例涉及包括全息投影仪的图片生成单元。本公开与任何显示技术兼容，包括背光液晶显示器、激光扫描显示器、数字微镜装置“DMD”、荧光显示器和等离子显示器。在涉及全息投影仪的实施例中，图片是计算机生成的全息图的全息重建。下文充分描述的基于全息投影仪的平视显示器(HUD)能够提供比目前可用的竞争技术大得多的对比度，这是因为全息过程的效率及其与激光光源一起使用的固有适用性。
平视显示器可以包括全息处理器。图片可能是全息重建。全息处理器可以布置成将计算机生成的全息图输出到空间光调制器。计算机生成的全息图可以布置成至少部分地补偿车辆挡风玻璃的形状。
该系统可以布置成通过从挡风玻璃反射空间调制的光，使用挡风玻璃形成图片的虚拟图像。光源可以是激光器和/或图片的光可以是激光。空间光调制器可以是硅上液晶空间光调制器。图片可以通过空间调制光在光接收表面处的干涉过程形成。每个计算机生成的全息图可以是图片的数学变换，可选地，傅立叶或菲涅耳变换。计算机生成的全息图可以是傅立叶或菲涅耳全息图。计算机生成的全息图可以是通过点云方法计算机生成的全息图。空间光调制器可以布置成对来自光源的光的相位进行空间调制。空间光调制器可以布置成对来自光源的光的振幅进行空间调制。
提供了一种用于具有窗户的车辆的平视显示器。平视显示器包括显示设备和光学系统。在一些实施例中，显示设备布置成显示用于投影的图像或图片的全息图。可以说图像或图片包括图像或图片内容。图像或图片内容可以包括多个离散的计算机图形。
在第一组实施例中，通过用来自诸如激光二极管的光源的光照射显示设备，在诸如漫射器的屏幕上形成图像的全息重建。在这些实施例中，激光二极管、显示设备和屏幕形成图片生成单元，这对于全息投影领域的技术人员来说是熟悉的。在这些实施例中，光学系统可以包括光学中继系统，其具有至少一个具有屈光力的元件，该光学中继系统布置成放大屏幕上的图片并将其投射到车辆的挡风玻璃上，以形成该图片的放大虚拟图像。例如，在WO2020/016214中已经公开了这样的配置，在此通过引用将其全部并入。
在第二组实施例中，图片的中间重建不在屏幕上形成，而是将全息图(更具体地说，用全息图编码的光或根据显示的全息图进行空间调制的光)直接投射到观察者。在这些实施例中，有时称观察者眼睛的晶状体执行全息图到图像的转换—例如，这可以是傅立叶或菲涅耳转换。在这些实施例中，光瞳扩展器(或一对正交的光瞳扩展器)可以用于扩展眼盒。例如，在2021年2月5日提交的GB2101666.2中已经公开了这种配置，该文献通过引用全部并入本文。
根据本公开的第一方面，存在一种用于车辆的平视显示器。平视显示器包括投影仪和处理器。投影仪布置成投影从眼盒可见的图像内容(使得它是可见的)。处理器布置成接收从眼盒可见的场景的捕获图像。处理器布置成在第一时间：检测场景中的第一物体，并指示/驱动图像投影仪投影从观察位置(在眼盒内，即眼盒位置)看起来与第一物体对准/重合的图标(例如计算机图形)。处理器还布置成在晚于第一时间的第二时间：检测从观察位置到第一物体的视线中的第二物体，并且响应于检测到第二物体，指示/驱动图像投影仪改变投影图标的视觉外观。
改变投影图标的视觉外观的步骤可以包括改变投影图标的物理形式的至少一个方面。
投影图标的至少一种物理形式可以选自包括形状、颜色、尺寸和亮度的组。
图像投影仪可以是包括空间光调制器的全息投影仪，该空间光调制器布置成显示投影图像内容的全息图。全息图可以实时计算。
可以使用光学组合器来投影图像内容，使得图像内容补充/添加/覆盖从眼盒可见的场景。
处理器可以布置成连续地接收观察者在眼盒内的观察位置(例如眼盒位置)，并且基于所接收的观察位置(例如眼盒位置)来确定第二物体是否在视线中。
第一物体可以是移动物体。处理器可以布置成基于第一物体在第二时间的位置以及可选地观察者在第二时间的观察位置(例如眼盒位置)来确定第二物体是否在到第一物体的视线中。
处理器可以布置成可选地基于所接收的观察位置(例如眼盒位置)来维持投影图标和第一物体之间的位置/视觉对准。
根据本公开的第二方面，存在一种包括平视显示器、相机和用户跟踪系统的驾驶员辅助系统。相机布置成捕获场景的图像，并将捕获的图像连续输出到平视显示器。用户跟踪系统布置成监视平视显示器的用户的位置，并将用户的眼盒位置连续输出到平视显示器。
根据本公开的第三方面，存在一种平视显示器的方法。方法包括在第一时间捕获场景的第一图像的第一步骤。方法包括检测场景的第一图像中的第一物体的第二步骤。方法包括投影图标的第三步骤，该图标从眼盒位置看起来与第一物体对准/重合。方法包括在第二时间捕获场景的第二图像的第四步骤。方法包括检测从用户到第一物体的视线中的第二物体(例如眼盒位置)的第五步骤。方法包括响应于第二物体的检测来改变投影图标的视觉外观的第六步骤。
方法还可以包括改变投影图标的视觉外观包括改变投影图标的物理形式的至少一个方面。投影图标的至少一种物理形式可以选自包括形状、颜色、尺寸和亮度的组。
术语“全息图”用来指包含关于物体的振幅信息或相位信息或者它们的某种组合的记录。术语“全息重建”用于指通过照射全息图形成的物体的光学重建。这里使用的术语“重放平面”是指全息重建完全形成的空间平面。这里使用的术语“重放场”指的是可以从空间光调制器接收空间调制光的重放平面的子区域。术语“图像”、“重放图像”和“图像区域”是指由形成全息重建的光照射的重放场的区域。在实施例中，“图像”可以包括可被称为“图像像素”的离散点。
术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”全息图。
已经发现，可接受质量的全息重建可以由仅包含与原始物体相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。
本公开也同样适用于使用与原始物体相关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。
可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位改变π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。
尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。
尽管参考了用于车辆的平视显示器，但本领域技术人员将理解，本公开延伸到用于其他目的的平视显示器，并且该设备可以更一般地被称为显示系统。
在本公开中，术语“基本”当应用于设备的结构单元时，可被解释为在用于制造该结构单元的方法的技术公差内生产的结构单元的技术特征。
附图说明
参考以下附图，仅以示例的方式描述具体实施例：
图1是显示在屏幕上产生全息重建的反射式SLM的示意图；
图2示出了根据一些实施例的显示系统的框图；
图3示出了根据一些实施例的AR应用的框图；以及
图4A至4E示出了示例AR环境，其中响应于检测到视线受阻，改变与检测到的物理物体相关的虚拟内容的物理形式。
在所有附图中，相同的附图标记将用于指代相同或相似的部分。
具体实施方式
本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。
除非另有说明，单数形式的术语可以包括复数形式。
描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构的情况。
在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视为包括不连续的情况。
尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。
不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以相互依存的关系一起执行。
光学配置
图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此，可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码，并且在重放场例如光接收表面比如屏幕或漫射器处形成全息重建。
光源110例如激光或激光二极管设置成经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中，波前的方向是偏离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光学路径。在图1所示的实施例中，布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点位于屏幕125处。更具体地，傅立叶变换透镜120接收来自SLM140的调制光束，并执行频率-空间变换以在屏幕125处产生全息重建。
值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个重放场上。
在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且在光学上执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。
全息图计算
在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。仅作为示例，实施例涉及傅立叶全息术和Gerchberg-Saxton型算法。本公开同样适用于可以通过类似方法计算的菲涅耳全息术和菲涅耳全息图。在一些实施例中，全息图是相位或纯相位全息图。然而，本公开也适用于通过其他技术计算的全息图，例如基于点云方法的技术。2021年8月26日提交的英国专利申请GB2112213.0公开了可以与本公开结合的示例全息图计算方法，该专利申请通过引用结合于此。
在一些实施例中，提供了实时引擎，其布置为接收图像数据并使用算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中，并在需要时被调用以在SLM上显示。也就是说，在一些实施例中，提供了预定全息图的储存库。
光调制
显示系统包括限定显示系统出射光瞳的显示设备。显示设备是空间光调制器。空间光调制可以是相位调制器。显示设备可以是硅上液晶“LCOS”、空间光调制器。
AR-HUD
增强现实“AR”系统可用于多种情况。AR的一个示例性用途是在操作车辆时帮助用户。例如，虚拟内容可以呈现在HUD上，以向用户提供到期望目的地的方向。虚拟箭头或其他指示符可以呈现在HUD上，以增强用户的物理世界，并提供用户到达他们期望的目的地应该遵循的路线。作为另一示例，信息文本可以呈现在HUD上，描述附近的商店、车辆等。虽然预期AR提供有价值的信息，但由于不断变化的环境，在HUD上呈现信息提出了挑战。车辆和周围物体之间的距离随着车辆和/或周围物体的移动而改变。
AR允许用户用虚拟内容增强现实。虚拟内容可以呈现在观察设备的透明显示器上，以增强用户的真实世界环境。作为示例，呈现在汽车中的HUD上的虚拟内容可以向用户呈现箭头、形状、3D物体、其他指示符和/或其他图示，其可以向用户提供到期望目的地的方向和/或关于环境的其他信息。作为另一示例，描述车辆和/或企业的虚拟内容可以呈现在HUD上，以向用户提供关于他们的环境的附加信息。
为了增强用户的真实性，虚拟内容可以呈现在HUD上，以产生虚拟内容呈现在用户的真实世界环境中而不是任意呈现在显示器上的外观。为了正确地创建这种外观，观察设备调整对应于物理物体的虚拟内容的呈现。
显示系统用于增强用户的真实性。用户可以是人类用户(例如人类)、机器用户(例如由软件程序配置成与观察设备交互的计算机)或者其任何合适的组合(例如由机器辅助的人类或由人类监督的机器)。显示系统是集成在诸如车辆的交通工具中的计算设备，以在平视显示器(HUD)上提供虚拟内容。
显示系统可以包括透明或半透明的屏幕，该屏幕可以是容纳显示系统的汽车的挡风玻璃，或者是独立平视显示器的光学组合器，例如弹出式组合器。用户可以同时观察由显示系统呈现的虚拟内容以及真实世界物理环境的用户视野中的物理物体。
显示系统可以向用户提供增强现实体验。例如，除了现实世界物理环境中用户视野中的物理物体之外，显示系统还可以呈现用户可以观察的虚拟内容。虚拟内容可以是呈现在显示器上的任何类型的图像、动画等。例如，虚拟内容可以包括物体的虚拟模型(例如3D模型)或简单标记，例如警告三角形和类似形状。
物理物体可以包括任何类型的可识别物体，例如2D物理物体(例如图片)、3D物理物体(例如车辆、骑车人、行人、建筑物、街道等)、位置(例如在工厂的底层)或真实世界物理环境中的任何参考(例如感知的墙壁或家具的角落)。
显示系统可以响应于在物理环境中检测到一个或多个被识别的物体(例如物理物体)来呈现虚拟内容。例如，显示系统可以包括用于捕获真实世界物理环境的图像的光学传感器和用于识别物理物体的计算机视觉识别。
在一示例实施例中，显示系统使用本地内容数据集或显示系统先前存储的任何其他数据集来本地分析捕获的图像。本地内容数据集可以包括与真实世界物理物体或参考相关的虚拟内容的库。例如，本地内容数据集可以包括描绘真实世界物理物体的图像数据。显示系统可以利用物理物体的捕获图像来搜索本地内容数据集以标识物理物体及其对应的虚拟内容。
在一示例中，显示系统可以分析物理物体的图像以识别物理物体的特征点。显示系统可以利用所标识的特征点来从本地内容数据集中标识对应的真实世界物理物体。显示系统还可以识别与物理物体相关的跟踪数据(例如观察设备的GPS位置、定向、到物理物体的距离)。
如果捕获的图像没有被本地识别，则显示系统可以例如通过网络从服务器的数据库下载对应于捕获图像的附加信息(例如虚拟内容)。
在另一示例中，使用远程数据集或服务器的任何其他先前存储的数据集，在服务器处远程跟踪和识别图像中的物理物体。远程内容数据集可以包括与真实世界物理物体或参考相关的虚拟内容或增强信息的库。在这种类型的实施例中，显示系统可以向服务器提供物理物体的捕获图像。服务器可以使用接收到的图像来识别物理物体及其相应的虚拟内容。然后，服务器可以将虚拟内容返回给观察设备。
显示系统可以投影虚拟内容以增强用户的真实性。例如，显示系统可以呈现虚拟内容，以允许用户同时观察虚拟内容以及视野中的真实世界物理环境。
作为一示例，当另一车辆穿过用户的视野或骑车人的视线时，显示系统可以改变对应于骑车人的虚拟内容的视觉属性(例如形状)。作为另一示例，显示系统可以响应于相同的场景来改变虚拟内容的颜色或大小。
显示系统可以在对应于用户感知的物理物体位置的位置呈现虚拟内容。因此，虚拟内容对用户来说似乎在物理物体附近或与物理物体重叠。
显示系统通过基于位置的变化重新呈现虚拟内容，基于物理物体相对于用户的位置来持续更新虚拟内容的呈现。结果，当用户移动时，用户可以感知虚拟内容被固定在用户的真实世界环境的位置中。
本文公开的任何机器、数据库或设备可以在由软件修改(例如配置或编程)为专用计算机的通用计算机中实现，以执行本文针对该机器、数据库或设备描述的一个或多个功能。如本文所用，“数据库”是数据存储资源，并且可以存储被结构化为文本文件、表格、电子表格、关系数据库(例如物体关系数据库)、三元存储、分层数据存储或其任何合适的组合的数据。此外，任何两个或更多个机器、数据库或设备可被组合成单个机器，并且这里针对任何单个机器、数据库或设备描述的功能可以在多个机器、数据库或设备之间被细分。
网络可以是能够在机器(例如服务器)、数据库和设备(例如平视显示器)之间进行通信的任何网络。因此，网络可以是有线网络、无线网络(例如移动或蜂窝网络)或其任何合适的组合。网络可以包括构成专用网络、公共网络(例如互联网)或其任何合适组合的一个或多个部分。
图2示出了根据实施例的框图。显示系统102包括传感器202、透明显示器204、计算机处理器208和存储设备206。显示系统102被集成到交通工具中，例如汽车、摩托车、飞机、船、休闲车(RV)等。
传感器202可以包括任何类型的已知传感器。传感器202包括至少一个红外或可见光图像捕获设备(例如相机)，其布置成以例如视频速率捕获场景的图像。
透明显示器204包括例如配置为显示由处理器208生成和计算的虚拟图像的全息图的显示器。透明显示器204可以定位成使得用户可以同时观察透明显示器上呈现的虚拟内容和用户视野中的物理物体。例如，透明显示器204可以是汽车或其他交通工具中的HUD，其在交通工具的挡风玻璃上呈现虚拟内容，同时还允许用户透过挡风玻璃观察物理物体。例如，HUD可以配置成显示虚拟图像本身，或者可替代地，可以呈现投影到HUD上的虚拟图像。
处理器208包括AR应用210，其配置成在透明显示器204上呈现虚拟内容以增强用户的真实性。AR应用210可以从传感器202接收数据(例如物理物体的图像、位置数据等)，并使用接收到的数据来识别至少一个物理物体(例如骑车人)并使用透明显示器204投射虚拟内容(例如警告形状)。
为了识别物理物体(例如骑车人)，AR应用210确定由显示系统102捕获的图像是否与由显示系统102本地存储在存储设备206中的图像相匹配。存储设备206可以包括图像和相应虚拟内容的本地内容数据集。例如，显示系统102可以从服务器110接收内容数据集，并将接收到的内容数据集存储在存储设备206中。
AR应用210可以将物理物体的捕获图像与本地存储在存储设备206中的图像进行比较，以识别物理物体。例如，AR应用210可以分析物理物体的捕获图像以识别物理物体的特征点。AR应用210可以利用所识别的特征点来从本地内容数据集中识别物理物体。在一些实施例中，AR应用210可以基于物体的表征特征来识别物理物体。
如果AR应用210不能从本地内容数据集中识别匹配的图像，则AR应用210可以向服务器110提供物理物体的捕获图像。服务器110使用捕获图像来搜索由服务器110维护的远程内容数据集。
由服务器维护的远程内容数据集可以大于由显示系统102维护的本地内容数据集。例如，由显示系统102维护的本地内容数据集可以包括包含在远程内容数据集中的数据的子集，比如由服务器确定的核心图像集或最受欢迎图像。
一旦显示系统102或服务器识别了物理物体(例如骑车人)，就可以检索相应的虚拟内容并将其投影在透明显示器204上，以通过显示虚拟内容来增强用户的真实性，从而虚拟内容通过透明显示器覆盖在用户的真实世界视图上。AR应用210可以在透明显示器204上呈现虚拟内容，以例如向用户突出显示物理物体(例如骑车人)—即将用户的注意力吸引到骑车人。例如，AR应用210可以呈现与物理物体(例如骑车人)重叠的形状或其他指示符。
响应于隐藏物体的虚拟内容改变
如下所述，AR应用210基于对物理物体(例如骑车人)和观察者之间的另一物体的检测来调整虚拟内容的一个或多个属性或参数。当检测到介入物体时，调整属性或参数导致虚拟内容以不同的属性(例如形状或颜色)显示。也就是说，虚拟内容具有改变或修改的外观。
在一实施例中，AR应用210，在汽车阻挡了骑车人的用户视野—例如阻挡诸如跨越视线的视野时，改变对应于骑车人的虚拟内容的形状。因此，当汽车干扰骑车人的用户106视野时，透明显示器204上呈现的虚拟内容的物理形式变得不同。作为另一示例，AR应用210可以随着汽车移动到视线中而改变对应于骑车人的虚拟内容的颜色。当用户对物理物体(例如骑车人)的视野不受阻碍时，虚拟内容可以具有第一形式，而当用户对物理物体(例如骑车人)的视野受到阻碍时，虚拟内容可以具有第二形式。
AR应用210可以基于物理物体(例如骑车人)相对于其他车辆和/或用户的位置来持续更新虚拟内容的呈现。随着另一车辆和物理物体相对于彼此移动，AR应用210可以使用新的数据来在透明显示器204上对应于新的位置数据的显示位置处重新呈现虚拟内容。
AR应用210可以在车辆和/或物理物体改变位置时更新虚拟内容的呈现。例如，AR应用210可以在车辆移动时从传感器202收集更新的传感器数据，并确定物理物体相对于车辆的更新位置。AR应用210基于所确定的物理物体相对于车辆的更新位置来更新虚拟内容的呈现。例如，AR应用210基于物理物体的更新位置来调整虚拟内容的显示形状。AR应用210在透明显示器204上呈现虚拟内容的更新呈现，从而向用户提供虚拟内容的改变的图示。
这里描述的任何一个或多个模块可以使用硬件(例如机器的处理器)或硬件和软件的组合来实现。例如，本文描述的任何模块可以配置处理器来执行本文针对该模块描述的操作。此外，这些模块中的任何两个或更多个可以组合成单个模块，并且这里针对单个模块描述的功能可以在多个模块中细分。此外，根据各种示例实施例，这里描述为在单个机器、数据库或设备内实现的模块可以分布在多个机器、数据库或设备上。
图3示出了根据一些实施例的AR应用210的示例实施例的框图。为了避免用不必要的细节模糊本发明主题，从图3中省略了与传达对本发明主题的理解没有密切关系的各种功能部件(例如模块)。然而，本领域技术人员将容易认识到，AR应用210可以支持各种附加的功能部件，以促进这里没有具体描述的附加功能。此外，图3中描绘的各种功能模块可以驻留在单个计算设备上，或者可以各种布置分布在多个计算设备上，比如在基于云的架构中使用的那些。
如图所示，AR应用210包括输入模块302、识别模块304、位置确定模块306、视线确定模块308、内容生成模块310和显示模块312。
输入模块302从传感器202接收传感器数据，，例如传感器数据可以包括但不限于物理物体的光学图像数据、ToF数据、成像的光图案、位置/方位数据、与各种传感器的操作相关的其他数据及其组合。输入模块302将接收到的传感器数据提供给AR应用210中包括的任何其他模块。
识别模块304基于由显示系统的传感器202捕获的物理物体的图像来识别物理物体和相应的虚拟内容。例如，识别模块304可以确定捕获图像是否匹配或类似于由显示系统本地存储在存储设备206中的图像。
识别模块304将物理物体的捕获图像与本地存储在存储设备206中的图像的本地内容数据集进行比较，以识别物理物体。例如，识别模块304可以分析物理物体的捕获图像以识别物理物体的特征点。识别模块304可以利用所识别的特征点来从本地内容数据集中识别物理物体。
如果识别模块304不能从本地内容数据集中识别匹配的图像，则识别模块304可以向服务器提供物理物体的捕获图像，并且服务器可以搜索由服务器维护的远程内容数据集。
一旦识别了物理物品104，识别模块304就可以访问要在透明显示器204上呈现的相应虚拟内容，以增强用户的真实性。
位置确定模块306确定物理物体相对于显示系统的位置。位置确定模块306可以分析物理物体的图像，以确定物理物体相对于显示系统的位置。例如，位置确定模块306可以分析由传感器202捕获的图像，并且识别捕获图像中的物理物体。位置确定模块306然后基于物理物体在捕获图像中的位置来确定物理物体相对于显示系统的位置。
视线模块308使用由位置确定模块306确定的位置和例如用户的眼睛跟踪信息来确定与从用户到物理物体(例如骑车人)的视线相关的信息。视线模块308可以使用任何合适的技术来识别视线并检测另一物体(例如汽车)是否遮挡(例如阻碍、部分阻挡或完全阻挡)用户对所识别的物理物体(例如骑车人)的视野。仅作为示例，如果识别模块304不再能够检测到物理物体，则视线模块308可以确定到物理物体的视线被阻挡。如果视线畅通，则视线模块308可以提供第一输出，如果视线受阻，则提供第二输出。这里提到的眼睛跟踪或用户跟踪仅仅是作为确定用户的视野是否被阻挡的一种方法的示例，并且本发明利用眼睛跟踪或用户跟踪信息来如这里公开的那样起作用并不是必要的。在一些实施例中，确定视线是否被阻挡的步骤是基于固定的观察位置，例如固定的眼盒位置，比如眼盒的中心。
内容生成模块310基于视线模块308的输出生成虚拟内容。例如，如果视线模块308的输出改变，则内容生成模块310改变虚拟内容的显示形式(例如形状)。
显示模块312在透明显示器204上呈现虚拟内容。这可以包括旨在增强通过透明显示器204可见的物理物体的虚拟内容。在一些实施例中，显示模块312计算内容生成模块310的输出的全息图。显示模块312可以基于对应于虚拟内容的物理物体的位置来呈现虚拟内容。例如，显示模块312可以在透明显示器204上的显示位置呈现虚拟内容，这使得虚拟内容对于用户来说看起来与物理物体重叠和/或靠近物理物体。
显示模块312持续更新透明显示器204上虚拟内容的呈现。例如，当物理物体104的深度和/或位置改变时，显示模块312更新虚拟内容的显示。因此，虚拟内容看起来是用户真实世界环境的一部分，并与其对应的物理物体配对。在一些实施例中，全息图是实时计算的。
图4A至4E仅以示例的方式示出了本公开的实施例。图4A至4E示出了由车辆挡风玻璃限定的视野405的上边界401和下边界403。图4A至4E还示出了骑车人407(其对应于先前描述的物理物体)和正朝着骑车人407移动的另一汽车409。图4A示出了显示系统检测到骑车人之前的事件。图4B示出了由本公开的投影系统投影的虚拟内容411(在该示例中具有菱形形状)。说明虚拟内容411对应于骑车人407。在该示例中，虚拟内容411将用户的注意力吸引到路口处的骑车人407。图4C示出汽车409转向骑车人407，但不妨碍用户观察骑车人407。因此，虚拟内容411仍是菱形。当汽车409进一步操纵时，它移动到阻碍用户观察骑车人407的一个或多个位置(图4D)。这被本公开的系统检测到，并且作为响应，虚拟内容411’的物理形式被改变。改变的虚拟内容411’可以具有盲点图标的形式，这对于驾驶员辅助系统领域的技术人员来说是熟悉的。随着汽车操纵成远离骑车人，视线被恢复，并且可选地，虚拟内容411返回到其原始形式(图4E)。因此可以理解，当相应的视线清晰时，虚拟内容具有第一形式411，当视线不清晰时，虚拟内容具有第二形式411’。这些特征向用户提供物理物体隐藏在汽车409后面看不见的视觉警告。为了避免疑问，在图4D中，骑车人是不可见的，因为他在汽车后面(从观察者的角度来看)，但虚拟内容411’是可见的，因为它被投影仪覆盖在真实世界场景上。
附加特征
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。
对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (12)

1.一种用于车辆的平视显示器，该平视显示器包括：
投影仪，其布置成投影从眼盒可见的图像内容；
处理器，其布置为接收从眼盒可见的场景的捕获图像，并且在第一时间：检测场景中的第一物体，并且驱动图像投影仪投影从观察位置看起来与第一物体基本对准的图标，
其中，处理器还布置成在晚于第一时间的第二时间：检测从观察位置到第一物体的视线中的第二物体，并且响应于检测到第二物体，驱动图像投影仪改变投影图标的视觉外观。
2.如权利要求1所述的平视显示器，其中，改变所述投影图标的视觉外观包括改变投影图标的物理形式的至少一个方面。
3.如权利要求2所述的平视显示器，其中，所述投影图标的至少一种物理形式选自包括形状、颜色、尺寸和亮度的组。
4.如前述权利要求中任一项所述的平视显示器，其中，所述图像投影仪是全息投影仪，其包括空间光调制器，所述空间光调制器布置成显示所投影的图像内容的全息图。
5.如前述权利要求中任一项所述的平视显示器，其中，使用光学组合器来投影所述图像内容，使得图像内容补充/添加/覆盖从眼盒可见的场景。
6.如前述权利要求中任一项所述的平视显示器，其中，所述处理器布置成连续接收观察者的观察位置，并基于所接收的观察位置确定所述第二物体是否在所述视线中。
7.如权利要求6所述的平视显示器，其中，所述第一物体是移动物体，并且所述处理器布置成基于第一物体在所述第二时间的位置以及可选地观察者在第二时间的观察位置来确定所述第二物体是否在到第一物体的视线中。
8.如权利要求6或7所述的平视显示器，其中，所述处理器布置成基于所接收的观察位置来保持所述投影图标和第一物体之间的位置对准。
9.一种驾驶员辅助系统，包括：
如前述权利要求中任一项所述的平视显示器；
相机，其布置成捕获场景的图像，并将捕获的图像连续输出到平视显示器；以及
用户跟踪系统，其布置成监测平视显示器的用户的位置，并向平视显示器连续输出观察者的观察位置。
10.一种平视显示器的方法，包括：
在第一时间捕获场景的第一图像；
检测场景的第一图像中的第一物体；
投影从观察位置看起来与第一物体基本对准的图标；
在第二时间捕获场景的第二图像；
检测从观察者到第一物体的视线中的第二物体；以及
响应于检测到第二物体，改变投影图标的视觉外观。
11.如权利要求10所述的平视显示器的方法，其中，改变所述投影图标的视觉外观包括改变投影图标的物理形式的至少一个方面。
12.如权利要求11所述的平视显示器的方法，其中，所述投影图标的至少一种物理形式选自包括形状、颜色、尺寸和亮度的组。
CN202310023780.0A 2022-02-22 2023-01-09 平视显示器 Pending CN116643402A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2202423.6 2022-02-22
GB2202423.6A GB2608665B (en) 2022-02-22 2022-02-22 Head-up display

Publications (1)

Publication Number Publication Date
CN116643402A true CN116643402A (zh) 2023-08-25

Family

ID=80934503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310023780.0A Pending CN116643402A (zh) 2022-02-22 2023-01-09 平视显示器

Country Status (5)

Country Link
US (1) US20230267861A1 (zh)
EP (1) EP4231277A1 (zh)
KR (1) KR20230126182A (zh)
CN (1) CN116643402A (zh)
GB (1) GB2608665B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2461294B (en) * 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
GB2499579B (en) * 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
US10248196B2 (en) * 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
DE112018004377T5 (de) * 2017-11-17 2020-05-14 Aisin Aw Co., Ltd. Fahrzeugfahrassistenzsystem, fahrzeugfahrassistenzverfahren und fahrzeugfahrassistenzprogramm
CN112105520A (zh) * 2018-05-15 2020-12-18 日本精机株式会社 车辆用显示装置
GB2575651B (en) 2018-07-17 2020-12-16 Envisics Ltd Image projector
KR102331077B1 (ko) * 2020-05-06 2021-11-25 주식회사 디젠 차량 게이트웨이를 이용한 ｈｕｄ 상의 교통신호 변경 알림 시스템 및 방법

Also Published As

Publication number Publication date
EP4231277A1 (en) 2023-08-23
GB2608665A (en) 2023-01-11
US20230267861A1 (en) 2023-08-24
KR20230126182A (ko) 2023-08-29
GB2608665B (en) 2024-01-03
GB202202423D0 (en) 2022-04-06
GB2608665A8 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
EP3438726B1 (en) Holographic projector
US20120224062A1 (en) Head up displays
US11281003B2 (en) Near eye dynamic holography
WO2016204916A1 (en) Hybrid display system
CN112204461B (zh) 图像投影仪
GB2472773A (en) A road vehicle contact-analogue head up display
US10108144B2 (en) Holographic wide field of view display
US10955685B2 (en) Volumetric display arrangement and a method for representing content of an image
US20230064690A1 (en) Hologram Calculation
CN112596239A (zh) 基于空间光调制器的全息近眼显示方法及系统
US20230324705A1 (en) Image Projection
EP4231277A1 (en) Head-up display
US11762195B2 (en) Holographic display system with conjugate image removal for a motor vehicle
CN118104232A (zh) 平视显示器校准
CN114007902A (zh) 抬头显示装置和抬头显示方法
KR20240069757A (ko) 헤드업 디스플레이 보정
US11506892B1 (en) Holographic display system for a motor vehicle
US11801749B2 (en) Image capture and display system
US20230101295A1 (en) Field of View Optimization
US20230359027A1 (en) Head-Up Display
KR20230142183A (ko) 홀로그래픽 영상생성유닛 및 이를 구비하는 차량용 헤드업 디스플레이 장치
CN114863074A (zh) 一种结合激光雷达数据的三维眼内全息汽车抬头显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination