CN116923544A - 增强现实平视显示器系统中的停车辅助 - Google Patents

增强现实平视显示器系统中的停车辅助 Download PDF

Info

Publication number
CN116923544A
CN116923544A CN202211309459.0A CN202211309459A CN116923544A CN 116923544 A CN116923544 A CN 116923544A CN 202211309459 A CN202211309459 A CN 202211309459A CN 116923544 A CN116923544 A CN 116923544A
Authority
CN
China
Prior art keywords
vehicle
parking
parking space
driver
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211309459.0A
Other languages
English (en)
Inventor
J·P·韦斯
J·F·什切尔巴
T·A·塞德尔
张凯涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116923544A publication Critical patent/CN116923544A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1526—Dual-view displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种平视显示器系统，包括适用于检测运载工具驾驶特性的多个第一车载传感器、适用于从外部源接收信息的无线通信模块、适用于跟踪驾驶员的眼睛的驾驶员监控系统以及与多个第一车载传感器和无线通信模块电子通信的控制器，该控制器适用于确定运载工具是否正在执行停车操作，并且当运载工具正在执行停车操作时，捕捉运载工具周围的环境的图像，检测环境中的对象，识别停车位的位置标记和运载工具周围的环境中邻近该停车位的对象，确定运载工具相对于识别的位置标记和对象的位置，并且用投射模块显示适用于向运载工具的驾驶员提供引导的停车辅助图形。

Description

增强现实平视显示器系统中的停车辅助
技术领域
本公开涉及平视显示器，更具体地，涉及用于向运载工具的驾驶员提供车道位置警报的系统和方法。
背景技术
平视显示器(HUD)在现代汽车中已经变得很普遍。HUD将速度和导航信息等有用信息投射到驾驶员的视野中。这样就避免了迫使驾驶员远离道路向下看以读取汽车仪表板上的仪表。这样就减少了驾驶员分心，并让驾驶员的视线保持在道路上。
增强现实(AR)涉及利用在3D空间中显示并允许与用户进行实时交互的虚拟元素来增强现实世界。平视显示器直接在驾驶员前方视野内的运载工具挡风玻璃上显示诸如车速和导航指令等信息。因此，平视显示器为驾驶员提供信息，而无需将视线从道路上移开。增强现实的一种可能实现方式是用于运载工具的增强现实平视显示器(AR-HUD)。通过在挡风玻璃上叠加图像，AR-HUD增强了驾驶员对车外环境的视野，从而形成更强的环境感知。
虽然当前的增强现实平视显示器实现了其预期目的，但是仍需要一种向运载工具的驾驶员提供停车辅助图形的新型、改进的系统和方法。
发明内容
根据本公开的几个方面，一种利用平视系统向运载工具的驾驶员提供停车辅助的方法包括：利用多个第一车载传感器检测运载工具驾驶特性，利用无线通信模块接收来自外部源的信息，利用驾驶员监控系统跟踪驾驶员的眼睛的位置，利用与多个第一车载传感器和无线通信模块电子通信的控制器，基于来自多个第一车载传感器的数据和由无线通信模块接收的数据，确定运载工具是否正在执行停车操作，以及当运载工具正在执行停车操作时，利用适用于将图像投射到运载工具挡风玻璃的内表面上并且与控制器电子通信的投射模块的至少一个光源，显示适用于在将运载工具停放在停车位时向运载工具的驾驶员提供引导的停车辅助图形。
根据另一个方面，利用适用于将图像投射到运载工具挡风玻璃的内表面上并且与控制器电子通信的投射模块的至少一个光源，显示适用于在将运载工具停放在停车位时向运载工具的驾驶员提供引导的停车辅助图形还包括：利用与控制器电子通信的至少一个图像捕捉装置捕捉运载工具周围的环境的图像，利用与控制器电子通信的至少一个非视觉传感器检测运载工具周围的环境中的对象，利用控制器、至少一个图像捕捉装置和至少一个非视觉传感器识别停车位的位置标记和运载工具周围的环境中邻近该停车位的对象，以及利用控制器确定运载工具相对于停车位识别的位置标记和运载工具周围的环境中邻近该停车位的对象的位置。
根据另一个方面，当在运载工具周围的环境中邻近该停车位没有检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于将运载工具的驾驶员引导至一位置，该位置居中于识别的位置标记内。
根据另一个方面，当在运载工具周围的环境中邻近该停车位的一侧检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并偏离运载工具周围的环境中邻近该停车位一侧检测到的对象。
根据另一个方面，当在运载工具周围的环境中邻近该停车位的两侧检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并居中于在运载工具周围的环境中邻近该停车位两侧检测到的对象之间。
根据另一个方面，当在运载工具周围的环境中邻近该停车位检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于引导运载工具驾驶员在进出停车位时避开运载工具周围的环境中邻近该停车位检测到的对象。
根据另一个方面，该方法还包括：利用与控制器电子通信的多个第二车载传感器检测运载工具内乘客的位置。
根据另一个方面，当在运载工具周围的环境中邻近该停车位没有检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于基于运载工具内乘客的位置，将运载工具的驾驶员引导至一位置，该位置偏置于识别的位置标记内。
根据另一个方面，当在运载工具周围的环境中邻近该停车位的一侧检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于基于运载工具内乘客的位置，将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并相对于运载工具周围的环境中邻近该停车位一侧检测到的对象偏置。
根据另一个方面，当在运载工具周围的环境中邻近该停车位的两侧检测到对象时，显示停车辅助图形还包括：利用投射模块的至少一个光源显示停车辅助图形，该停车辅助图形适用于基于运载工具内乘客的位置，将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并在运载工具周围的环境中邻近该停车位两侧检测到的对象之间偏置。
根据另一个方面，控制器还适用于连续地识别位置标记和运载工具周围的环境中邻近该停车位的对象，并确定运载工具相对于识别的位置标记和运载工具周围的环境中邻近该停车位的对象的位置，该方法还包括随着运载工具相对于识别的位置标记和运载工具周围的环境中邻近该停车位的对象的位置改变，更新所显示的停车辅助图形。
根据另一个方面，该系统适用于由操作者选择性地启动和在运载工具开始停车操作时自动启动。
根据另一个方面，该至少一个光源适用于在挡风玻璃的近场图像平面和挡风玻璃的远场图像平面内投射图像，利用适用于将图像投射到运载工具挡风玻璃的内表面上并与控制器电子通信的投射模块的至少一个光源，显示适用于在将运载工具停放在停车位时向运载工具的驾驶员提供引导的停车辅助图形还包括：在远场图像平面内显示停车辅助图形。
根据本公开的几个方面，一种用于机动运载工具的平视显示器系统包括：适用于检测运载工具驾驶特性的多个第一车载传感器、适用于从外部源接收信息的无线通信模块、适用于跟踪驾驶员的眼睛的位置的驾驶员监控系统，以及与多个第一车载传感器和无线通信模块电子通信的控制器，该控制器适用于基于来自多个第一车载传感器的数据和由无线通信模块接收的数据来确定运载工具是否正在执行停车操作，并且当运载工具正在执行停车操作时，利用与控制器电子通信的至少一个图像捕捉装置来捕捉运载工具周围的环境的图像，利用与控制器电子通信的至少一个非视觉传感器来检测运载工具周围的环境中的对象，利用控制器、至少一个图像捕捉装置和至少一个非视觉传感器来识别停车位的位置标记和运载工具周围的环境中邻近该停车位的对象，确定运载工具相对于停车位的识别的位置标记和运载工具周围的环境中邻近该停车位的对象的位置，并且利用适用于将图像投射到运载工具挡风玻璃的内表面上并且与控制器电子通信的投射模块的至少一个光源，显示适用于在将运载工具停放在停车位时向运载工具驾驶员提供引导的停车辅助图形。
根据另一个方面，当在运载工具周围的环境中邻近该停车位没有检测到对象时，该系统适用于显示停车辅助图形，该停车辅助图形适用于将运载工具的驾驶员引导至一位置，该位置居中于识别的位置标记内。
根据另一个方面，当在运载工具周围的环境中邻近该停车位检测到对象时，该系统适用于显示停车辅助图形，该停车辅助图形适用于将运载工具驾驶员引导至一位置，该位置在识别的位置标记内并偏离检测到的对象；在检测到的对象位于运载工具周围的环境中邻近该停车位的一侧时，显示停车辅助图形，该停车辅助图形适用于将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并居中在检测到的对象之间；当检测到的对象位于运载工具周围的环境中邻近该停车位的两侧时，显示停车辅助图形，该停车辅助图形适用于引导运载工具的驾驶员在进出停车位时避开运载工具周围的环境中邻近该停车位检测到的对象。
根据另一个方面，系统还包括与控制器电子通信并适用于检测运载工具内乘客的位置的多个第二车载传感器，其中当在运载工具周围的环境中邻近停车位没有检测到对象时，系统适用于显示停车辅助图形，该停车辅助图形适用于基于运载工具内乘客的位置，将运载工具的驾驶员引导至一位置，该位置偏置于识别的位置标记；当在运载工具周围的环境中邻近该停车位的一侧检测到对象时，系统适用于显示停车辅助图形，该停车辅助图形适用于基于车内乘客的位置，将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并相对于识别的对象偏置；以及当在运载工具周围的环境中邻近该停车位的两侧检测到对象时，系统适用于显示停车辅助图形，该停车辅助图形适用于基于运载工具内乘客的位置，将运载工具的驾驶员引导至一位置，该位置在识别的位置标记内并在运载工具周围的环境中邻近该停车位两侧检测到的对象之间偏置。
根据另一个方面，控制器还适用于连续地识别位置标记和运载工具周围的环境中邻近该停车位的对象并确定运载工具相对于识别的位置标记和运载工具周围的环境中邻近该停车位的对象的位置，并且随着运载工具相对于识别的位置标记和运载工具周围的环境中邻近该停车位的对象的位置改变，更新所显示的停车辅助图形。
根据另一个方面，该系统适用于由操作者选择性地启动和在运载工具开始停车操作时自动启动。
根据另一个方面，该至少一个光源适用于在挡风玻璃的近场图像平面和远场图像平面内投射图像，在远场图像平面内显示停车辅助图形。
根据本文提供的描述，进一步的适用领域将变得显而易见。应该理解，说明书和具体示例仅仅是为了说明的目的，而不是旨在限制本公开的范围。
附图说明
本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
图1是根据示例性实施例的平视显示器系统的示意图；
图2是运载工具的示意图，其中具有停车位；
图3是正在进入停车位的运载工具的示意图；
图4A是根据本公开的停车辅助图形的示例，其中停车辅助图形包括指示停车位内的最佳位置的圆圈P和圆圈P两侧指示运载工具是否应该改变运载工具路径的V形图案；
图4B是停车辅助图形的另一个示例，其中圆圈P的两侧各有三个V形图案，并且右侧的V形图案的亮度或颜色不同；
图4C是停车辅助图形的另一个示例，其中圆圈P的两侧各有三个V形图案，并且圆圈P右侧的V形图案小于圆圈P左侧的V形图案；
图4D是停车辅助图形的另一个示例，其中圆圈P的两侧各有三个V形图案，并且圆圈P示为相对于V形图案偏离中心；
图4E是停车辅助图形的另一个示例，其中在圆圈P的两侧各有三个V形图案，并且V形图案具有不同的颜色；
图4F是停车辅助图形的又一个示例，其中圆圈P左侧的V形图案与圆圈P右侧的V形图案间距不同；
图5A是包括与圆圈P间隔开的顶部V形图案的停车辅助图形的示例；
图5B是包括不与圆圈P间隔开的顶部V形图案的停车辅助图形的示例；
图6是运载工具挡风玻璃的示意图，其中停车位在运载工具前方可见，HUD系统在近场图像平面中显示集群信息并且在远场图像平面中显示停车辅助图形；
图7是位于停车位内的运载工具的示意图，其中运载工具偏离邻近该停车位的对象；
图8是位于停车位内的运载工具的示意图，其中运载工具在邻近该停车位两侧的对象之间居中；
图9是位于停车位内的运载工具的示意图，其中运载工具在停车位内偏离中心定位；
图10是类似于图7的示意图，其中运载工具位于停车位内，具有足够的空间供乘客在右侧下车；
图11是类似于图8的示意图，其中基于乘客仅在运载工具左侧，运载工具在停车位两侧的对象之间偏置；
图12是类似于图8的示意图，其中基于乘客在运载工具两侧，运载工具在停车位两侧的对象之间偏置；以及
图13是示出根据本公开的示例性实施例的方法的示意性流程图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或用途。此外，目的不在于受前面的技术领域、背景、发明内容或具体实施方式中提出的任何明示或暗示的理论的约束。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。如本文所使用的，术语“模块”指的是任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备中的一个或任何组合，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的处理器、专用处理器或处理器组)和存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。尽管本文所示的附图描绘了具有某些元件布置的示例，但是在实际实施例中可以存在其他中间元件、设备、特征或组件。还应该理解，附图仅仅是说明性的并且没有按比例绘制。
如本文所用，术语“运载工具”不限于汽车。虽然本文中主要结合汽车(包括自动驾驶和半自动驾驶运载工具)描述了本技术，但是本技术不限于汽车。这些概念可用于各种各样的应用中，例如与飞机、船舶、其他交通工具和消费电子部件相关的应用。
参考图1和图2，根据本公开的用于机动运载工具12的平视系统10包括投射模块14，该投射模块14包括适用于将图像投射到运载工具12的挡风玻璃18的内表面上的至少一个光源。如本文所述，该至少一个光源包括激光器16。然而，应当理解，该至少一个光源可以是平视显示器系统中使用的其他已知类型的光源。在一个示例性实施例中，投射模块14是全息投射模块并且包括出射光瞳复制器。全息图像投射到出射光瞳复制器中，然后在出射光瞳复制器内部传播，并且在向上投射到挡风玻璃18的内表面之前被多次提取。光在出射光瞳复制器内的多次再循环扩大了光瞳，因此观看者可以从扩展的眼动范围看到全息图像。除了扩展眼动范围之外，出射光瞳复制器还放大来自激光器16的原始投射图像。激光器14和出射光瞳复制器之间设有空间光调制器。空间光调制器适用于接收来自激光器16的光，用编码全息图衍射激光，并将衍射的激光传送到出射光瞳复制器。如本文所示和所述，平视系统是全息平视系统。然而，应当理解，本公开的新颖特征适用于其他平视显示器配置。
系统10还包括适用于跟踪驾驶员的眼睛22的位置的驾驶员监控系统20、适用于检测运载工具12周围的环境28中的对象26的至少一个非视觉传感器24、适用于捕捉运载工具12周围的环境28的图像的至少一个图像捕捉装置30、控制器32、适用于检测运载工具驾驶特性的多个第一车载传感器34、以及适用于从外部源接收信息的无线通信模块36。
驾驶员监控系统20包括一个或多个传感器，例如相机，用于确定运载工具12驾驶员的头部位置以及驾驶员的眼睛22的方位或注视位置。该至少一个非视觉传感器24包括一个或多个适用于检测运载工具12周围的环境28中的对象26的位置、速度和行进方向的传感器。作为非限制性示例，该至少一个非视觉传感器24可以包括一个或多个传感器，例如雷达、激光雷达和红外传感器，然而，应当理解，也可以使用采用非视觉技术来检测对象26的存在的其他传感器。该至少一个图像捕捉装置30可以包括获取运载工具12周围的环境28和环境中的对象26的周期图像或顺序图像的相机。该多个第一车载传感器34包括安装在运载工具12内的传感器，适用于监控运载工具12的驾驶特性，包括但不限于速度、方向盘的输入角度、加速度、制动等。
无线通信模块36位于控制器32内并且适用于允许运载工具12与其他运载工具或其他外部源之间无线通信。控制器32适用于经由无线数据通信网络38通过无线通信信道(例如WLAN、4G/LTE或5G网络等)从数据库收集信息。这样的数据库可以通过互联网直接传送，或者可以是基于云的数据库。控制器32可以从以下外部源收集信息，包括但不限于由交通部门维护的道路和高速公路数据库、全球定位系统、互联网、经由V2V通信网络的其他运载工具、交通信息源、基于运载工具的支持系统如OnStar等。
控制器32是非通用电子控制设备，具有用于存储诸如控制逻辑、软件应用程序、指令、计算机代码、数据、查找表等数据的预编程数字计算机或处理器、存储器或非暂时性计算机可读介质，以及收发器[或输入/输出端口]。计算机可读介质包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)，或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质和可存储数据并随后重写的介质，例如可重写光盘或可擦除存储设备。计算机代码包括任何类型的程序代码，包括源代码、目标代码和可执行代码。
控制器32与多个第一车载传感器34和无线通信模块36电子通信。控制器32适用于基于来自多个第一车载传感器34的数据和由无线通信模块36接收的数据来确定运载工具12是否正在执行停车操作。例如，控制器32将从多个第一车载传感器34收集数据，以确定运载工具速度和方向盘的输入角度。如果运载工具12正以低速行驶，并且方向盘角度指示急转弯，则控制器32接收该输入，并且将这些识别为指示停车操作可能正在进行的条件。此外，控制器32将从外部源(例如GPS)收集数据，以确定运载工具12的位置。如果来自外部源的数据指示运载工具12位于停车位附近或停车场/建筑物内，控制器32将使用该数据作为运载工具12正在执行停车操作的另一指示。
一旦控制器32确定停车操作正在进行中，控制器32还适用于利用至少一个图像捕捉装置30捕捉运载工具12周围的环境28的图像，并利用至少一个非视觉传感器24检测运载工具12周围的环境28中的对象26。控制器32与投射模块14、至少一个非视觉传感器24和至少一个图像捕捉装置30电子通信。
控制器32使用至少一个非视觉传感器24和至少一个图像捕捉装置30来识别停车位42的位置标记40，以及运载工具12周围的环境28中邻近该停车位42的对象26。停车位42的位置标记40可以包括但不限于人行道、路边和标牌上的涂漆线。可被检测到的对象26包括但不限于其他运载工具、指示牌、建筑物、永久和临时交通引导对象，例如路障、锥形物、桶和护栏，以及其他对象，例如可能在停车位42附近的倒下的树木、行人和动物。
控制器32还适用于确定运载工具12相对于停车位42的识别的位置标记40和运载工具12周围的环境28中邻近该停车位42的对象26的位置，以及利用投射模块14显示适用于在将运载工具12停放在停车位42内时向运载工具12的驾驶员提供引导的停车辅助图形44。在识别停车位42的相关位置标记40之后，控制器32确定运载工具12相对于识别的位置标记40的位置，以在运载工具12接近停车位42时确定运载工具的相对位置。当运载工具12接近并进入停车位42时，控制器32将显示适当的停车辅助图形44，以将运载工具12的驾驶员引导至停车位42内的最佳位置，如控制器32所确定的位置。
参考图2，在一个示例中，控制器32确定运载工具12在停车位42内的最佳位置是运载工具12在停车位42的识别的位置标记40之间居中的位置。当运载工具12正进入停车位42时，控制器32将显示适当的停车辅助图形44，以将运载工具12的驾驶员引导至运载工具12在停车位42的识别的位置标记40之间居中的位置。此外，控制器32将根据运载工具12周围的环境28中邻近停车位42识别的对象26来引导运载工具12进入停车位42。参考图3，如果邻近停车位42没有对象26，则当运载工具12转入停车位42时，控制器32可以沿着与识别的位置标记40重叠的路径引导运载工具12。然而，如果在运载工具12周围的环境28中邻近停车位42识别出对象26，则控制器32将提供沿着不与此类识别出的对象26相交的路径引导运载工具12的停车辅助图形44。如图3所示，控制器32将提供引导运载工具12沿着路径进入停车位42的停车辅助图形44，使得运载工具12不会与邻近停车位42的识别对象/运载工具26碰撞。此类停车辅助图形44也可以在运载工具12离开停车位42时显示，以确保运载工具12不会与识别出的邻近停车位42的对象26碰撞。
停车辅助图形44适用于向驾驶员提供视觉提示，指示驾驶员必须调整运载工具12的路径，以便将运载工具12带到停车位42内的最佳位置。此类停车辅助图形44适用于向运载工具12的驾驶员提供运载工具12的路径应该向左或向右改变的指令。参考图4A-图4F，示出了向运载工具12的驾驶员提供必须将运载工具12的路径向左或向右改变的指令的停车辅助图形44的几个示例。参考图4A，圆圈P 46表示停车位42内的最佳位置，圆圈P 46两侧的V形图案48表示运载工具12的路径是否应该改变。如图所示，圆圈P 46的左侧有三个V形图案48，右侧有一个V形图案48，指示驾驶员更多地转向停车位42的左侧。参考图4B，圆圈P 46的两侧各有三个V形图案48，然而，右侧的V形图案的亮度或颜色不同。参考图4C，圆圈P 46的两侧各有三个V形图案48，然而，在圆圈P 46的右侧的V形图案48A小于圆圈P的左侧的V形图案48B。参考图4D，圆圈P 46的两侧各有三个V形图案48，然而，圆圈P 46示为相对于V形图案48偏离中心。
参考图4E，圆圈P 46的两侧各有三个V形图案48，然而V形图案48具有不同的颜色。如图所示，圆圈P 46左侧的所有三个V形图案48C都是第一颜色。在圆圈P 46的右侧，最靠近圆圈P 46的V形图案48C是第一颜色，但是在圆圈P 46右侧的另外两个V形图案48D是第二颜色。每个颜色V形图案48C、48D的数量以及所选择的颜色提供了运载工具12相对于停车位42内最佳位置的指示。最后，参考图4F，圆圈P 46的两侧各有三个V形图案48，然而，在圆圈P46左侧的V形图案48的间距不同于圆圈P 46右侧的V形图案48的间距。应当理解，图4A-图4F中所示的停车辅助图形44是示例，并且停车辅助图形44可以包括适用于在运载工具12进入停车位42时向驾驶员提供运载工具12相对于停车位42内最佳位置的图形指示的其他设计。
停车辅助图形44也可以是动画形式，其中随着运载工具12路径改变，并且运载工具12接近停车位42内的最佳位置，所显示的停车辅助图形44会改变。例如，随着运载工具12越来越接近停车位42内的最佳位置，所显示的停车辅助图形44可以变得更大，或者颜色可以改变。再次参考图4D，如图所示，圆圈P 46不在两侧的V形图案48之间居中，然而，当运载工具12的驾驶员做出校正并转向停车位42内的最佳位置时，圆圈P 46可以逐渐朝着在V形图案48之间居中的位置移动。同样，如果没有进行转向校正，所显示的停车辅助图形44的颜色可以改变颜色，例如变成红色，以向运载工具12的驾驶员强调应该采取校正动作的消息。在这种情况下，所显示的停车辅助图形44也可以脉动或扩展/收缩。
停车辅助图形44还适用于向驾驶员提供视觉提示，指示运载工具12已经完全进入停车位42。此类停车辅助图形44提醒驾驶员开始将运载工具12停在停车位内。参考图5A，停车辅助图形44的非限制性示例包括圆圈P 46和圆圈P 46两侧的V形图案48，指示相对于停车位42内最佳位置的左右位置，以及圆圈P 46上方的顶部V形图案50。圆圈P 46上方的顶部V形图案50向驾驶员提供了运载工具12离停车位42内的最佳位置有多近的指示。如图5A所示，当运载工具12进入停车位42时，顶部V形图案50示为与圆圈P 46间隔开。如图5B所示，当运载工具12已经到达停车位42内的最佳位置时，顶部V形图案50显示为与圆圈P 46之间没有间隔。在一个示例性实施例中，随着运载工具12接近停车位42内的最佳位置，顶部V形图案50和圆圈P 46之间的间隔变小。在另一个示例性实施例中，如图5B所示，随着运载工具12接近停车位42内的最佳位置，顶部V形图案50变大。
再次参考图1，投射模块14的激光器16适用于将图像向上投射到运载工具12的挡风玻璃18的内表面，如箭头52所示。参考图6，激光器16可以投射将在近场图像平面54内呈现给驾驶员的图像，以及将在远场图像平面56内呈现给驾驶员的图像。图6是挡风玻璃18的示例性内部视图，其中运载工具12周围的环境28透过挡风玻璃18可见。
控制器32指示增强现实平视显示器系统10的投射模块14将集群内容信息58投射到近场图像平面54内的挡风玻璃18上。集群内容信息58通知运载工具12的驾驶员驾驶状况，例如但不限于运载工具速度、速度限制、档位、油位、当前位置和导航指令。在如图6所示的示例中，集群内容信息58包括运载工具速度和导航方向。在一个示例性实施例中，增强现实平视显示器系统10将其他相关信息投射到近场图像平面54内的挡风玻璃18上。在近场图像平面54内显示的信息的一些示例包括运载工具相对于停车位42的位置标记40的文本指示。
控制器32指示投射模块14将停车辅助图形44投射在远场图像平面56内的挡风玻璃18上，其中停车辅助图形44覆盖在挡风玻璃18上的某个位置，在该位置处，停车辅助图形44对于驾驶员来说看起来是位于停车位42内的运载工具12的前方。远场图像平面56包含透过挡风玻璃18可见的图像。在图6所示的实施例中，远场图像平面56仅覆盖挡风玻璃18的整个平面的一部分，然而，应当理解，在另一个实施方式中，远场图像平面56可以覆盖挡风玻璃18的未被图近场图像平面54占据的整个平面。
在一个示例性实施例中，控制器32还适用于连续识别位置标记40和运载工具12周围的环境28中邻近停车位42的对象26，并确定运载工具12相对于识别的位置标记40和运载工具12周围的环境28中邻近停车位42的对象26的位置，并且随着运载工具12相对于识别的位置标记40和运载工具12周围的环境28中邻近停车位42的对象26的位置改变，更新所显示的停车辅助图形44。控制器32周期性地连续重复该过程，例如每0.1秒。每当系统10确定运载工具12相对于识别的位置标记40和运载工具12周围的环境28中邻近停车位42的对象26的位置时，如果运载工具12的位置已经改变，或者根据新识别或改变的位置标记40和运载工具12周围的环境28中的对象26，所显示的停车辅助图形44相应地更新。
当确定停车位42内的最佳位置时，控制器32使用停车位42的识别的位置标记40、运载工具12周围的环境28中邻近停车位42识别的对象26以及运载工具12内乘客的位置。
再次参考图2，当在运载工具12周围的环境28中邻近停车位42没有检测到对象26时，系统10适用于显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至在识别的位置标记40内居中的位置。
参考图7，当在运载工具12周围的环境28中邻近停车位42的一侧检测到对象26时，系统10适用于显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并偏离检测到的对象26。紧邻并非常靠近停车位42左侧有对象26(如所示的另一辆车)接近将使得驾驶员难以进出运载工具12。根据左侧存在对象26，控制器32确定运载工具12在停车位42内的最佳位置是偏离对象26的位置，而不在停车位42内居中的位置。当确定偏离检测到的对象26，控制器32将选择在识别的位置标记40内的停车位42内的最佳位置。
参考图8，当在运载工具12周围的环境28中邻近停车位42的两侧检测到对象26时，系统10适用于显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并居中在检测到的对象26之间。控制器32根据停车位42两侧存在其他对象/运载工具26，确定运载工具12在停车位42内的最佳位置是在相邻对象/运载工具26之间居中的位置。运载工具12和左侧的识别对象/运载工具26之间的间距60等于运载工具12和右侧的识别对象/运载工具26之间的间距62。这样会使得在将运载工具12定位在停车位42的识别的位置标记40内的同时，仍能最大化运载工具12两侧的剩余空间。
在一个示例性实施例中，系统10还包括与控制器32电子通信并适用于检测运载工具12内乘客的位置的多个第二车载传感器64。多个第二车载传感器64包括但不限于适用于视觉识别运载工具12内乘客的相机和适用于检测运载工具12座椅上乘客存在的座椅传感器。当在运载工具12周围的环境28中邻近停车位42没有检测到对象26时，系统10适用于显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内的乘客的位置，将运载工具12的驾驶员引导至在识别的位置标记40内偏置的位置。例如，参考图9，当多个第二车载传感器64检测到运载工具12内仅存在驾驶员时，控制器32确定停车位42内的最佳位置向一侧偏置，从而在识别的位置标记40内给运载工具12的驾驶员更多的空间来进出运载工具12。即使在停车时可能没有识别出对象26，但是其他运载工具可能会停在运载工具12旁边，并且在离开时留给驾驶员进入运载工具12的空间很小。为了避免这种情况，控制器32选择在识别的位置标记40内留出额外空间的最佳位置。
在一个示例性实施例中，当在运载工具12周围的环境28中邻近停车位42的一侧检测到对象26时，系统10适用于显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并相对于检测到的对象26偏置。再次参考图7，当控制器32紧邻停车位42左侧检测到对象/运载工具26，并且多个第二车载传感器64仅检测到运载工具12的驾驶员时，控制器32选择在识别的位置标记40内偏离中心并且偏离识别的对象/运载工具26的最佳位置，以最大化运载工具12的驾驶员须进出运载工具12的空间。在这种情况下，控制器32可以选择最佳位置，其中运载工具12的右侧与右侧停车位42的位置标记40之间的距离66非常小。运载工具12和右侧停车位42的位置标记40之间的距离66被最小化。因为在运载工具12的右侧没有乘客，所以在右侧进出运载工具12不需要空间。
可选地，参考图10，当控制器32紧邻停车位42左侧检测到对象/运载工具26，并且多个第二车载传感器64在运载工具12两侧检测到乘客时，控制器32选择在识别的位置标记40A、40B内偏离中心并且偏离识别的对象/运载工具26的最佳位置，以为运载工具12的驾驶员进出运载工具12提供空间。运载工具12与右侧停车位42的位置标记40B之间的间距68足以使得右侧乘客进出运载工具12。当运载工具12右侧存在乘客时，运载工具12仍然朝着右侧位置标记40B偏置，但是没有如图7所示的那么多，其中右侧没有乘客存在。
在一个示例性实施例中，当在运载工具12周围的环境28中邻近停车位42两侧检测到对象26时，系统10适用于显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40A、40B内并在运载工具12周围的环境28中邻近停车位42两侧的检测到的对象26之间偏置。
参考图11，在停车位42的两侧检测到对象/运载工具26A、26B，并且多个第二车载传感器64仅在运载工具12的驾驶员侧(左侧)检测到乘客。停车位42左侧的对象/运载工具26A位于与停车位42相距距离70的位置处。因此，控制器32确定停车位42内的最佳位置是在识别的位置标记40A、40B内居中的位置。与左侧的对象/运载工具26C之间的距离70为运载工具12左侧的乘客进出运载工具12提供了足够的空间，因此不需要偏置，并且最佳位置在识别的位置标记40A、40B内居中的位置。
可选地，参考图12，在停车位42的两侧检测到对象/运载工具26C、26D，并且多个第二车载传感器64在运载工具12的两侧检测到乘客。停车位42左侧的对象/运载工具26C位于与停车位42相距距离72的位置处。因此，控制器32确定停车位42内的最佳位置是朝着停车位42的左侧偏置的位置。运载工具12与停车位42左侧的对象/运载工具26C之间的距离72等于运载工具12与停车位42右侧的对象/运载工具26D之间的距离74。这样为乘客在运载工具12的任一侧进出运载工具12提供了相等的间距。
在另一个示例性实施例中，系统10适用于由驾驶员选择性地启动，并且在运载工具12开始停车操作时自动启动。当执行停车操作时，驾驶员12可以手动启动系统10，或者系统10可以以自动模式运行，其中系统10在后台运行，而无需显示任何内容，并且当控制器32确定运载工具12正在执行停车操作时，系统10将开始显示停车辅助图形44。
系统10从运载工具12内的驾驶员监控系统20的相机获得运载工具12的驾驶员的眼睛22的位置信息。驾驶员监控系统20使用相机来识别驾驶员的面部特征，并向控制器32提供关于驾驶员眼睛22的垂直位置的信息。投射模块14的激光器16适用于将图像向上投射到运载工具12内的挡风玻璃18上。所投射图像从挡风玻璃18的内表面反射到眼动范围。眼动范围是运载工具12的驾驶员可以从HUD系统看到整个投射图像的三维区域。俯视角(LDA)是驾驶员的眼睛22相对于投射到驾驶员的眼睛22上的虚像的角度。虚像图像距离(VID)是驾驶员眼睛到驾驶员感知的虚像的距离。为了适应不同身高的驾驶员，LDA和VID可调节，以确保由投射模块14投射的图像在适当的位置被所有驾驶员感知。
控制器32适用于确定驾驶员的眼睛22的垂直位置与预定标称垂直位置之间的变化距离。基于驾驶员的眼睛22高于或低于标称垂直位置的距离，投射模块14可以调整激光器16投射的全息图像的LDA，以便为运载工具12的驾驶员正确定位所显示的停车辅助图形44。
参考图13，一种利用平视系统10向运载工具12的驾驶员提供停车辅助的方法100包括：移至框102，利用多个第一车载传感器34检测运载工具驾驶特性；移至框104，利用无线通信模块36从外部源接收信息；移至框106，利用驾驶员监控系统20跟踪驾驶员的眼睛22的位置；移至框108，用与多个第一车载传感器34和无线通信模块36电子通信的控制器32，基于来自多个第一车载传感器34的数据和由无线通信模块36接收的数据，确定运载工具10是否正在执行停车操作；以及移至框110，当运载工具12正在执行停车操作时，利用适用于将图像投射到运载工具12的挡风玻璃18的内表面上并且与控制器32电子通信的投射模块14的至少一个光源，显示适用于在将运载工具12停放在停车位42时向运载工具12的驾驶员提供引导的停车辅助图形44。
在一个示例性实施例中，在框110利用适用于将图像投射到运载工具12的挡风玻璃18的内表面上并且与控制器32电子通信的投射模块14的至少一个光源，显示适用于在将运载工具12停放在停车位42时向运载工具12的驾驶员提供引导的停车辅助图形44还包括：移至框112，利用与控制器32电子通信的至少一个图像捕捉装置30捕捉运载工具12周围的环境28的图像；移至框114，利用与控制器32电子通信的至少一个非视觉传感器24检测运载工具12周围的环境28中的对象26；移至框116，利用控制器32、至少一个图像捕捉装置30和至少一个非视觉传感器24识别停车位42的位置标记40和运载工具12周围的环境28中的邻近该停车位42的对象26；以及移至框118，利用控制器32确定运载工具12相对于停车位42的识别的位置标记40和运载工具12周围的环境28中邻近该停车位42的对象26的位置。
在一个示例性实施例中，移至框120，当在运载工具12周围的环境28中邻近停车位42没有检测到对象26时，显示停车辅助图形44还包括，移至框122，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至在识别的位置标记40内居中的位置。
再次移至框120，当在运载工具12周围的环境28中邻近停车位42检测到对象26时，移至框124，当检测到的对象26在停车位42的一侧时，则显示停车辅助图形44还包括，移至框126，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并偏离运载工具12周围的环境28中邻近停车位42一侧检测到的对象26。
再次移至框120，当在运载工具12周围的环境28中邻近停车位42检测到对象26时，移至框128，当检测到的对象26在停车位42的两侧时，则显示停车辅助图形44还包括，移至框130，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并在运载工具12周围的环境28中邻近停车位42两侧检测到的对象26之间居中。
在另一个示例性实施例中，在框120在运载工具12周围的环境28中邻近停车位42检测到对象26时，显示停车辅助图形44还包括，移至框132，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于引导运载工具12的驾驶员在进出停车位42时避开运载工具12周围的环境28中邻近停车位42检测到的对象26。
在另一个示例性实施例中，系统10还包括与控制器32电子通信的多个第二车载传感器64，方法100还包括，移至框134，利用与控制器32电子通信的多个第二车载传感器64检测运载工具12内乘客的位置。
当在运载工具12周围的环境28中邻近停车位42没有检测到对象26时，显示停车辅助图形44还包括：利用投射模块14的至少一个光源显示停车辅助图形44，停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12的驾驶员引导至在识别的位置标记40内偏置的位置。
在一个示例性实施例中，移至框120，当在运载工具12周围的环境28中邻近停车位42没有检测到对象26时，并且移至框136，如果控制器32基于运载工具12内乘客的位置确定不需要偏置，则显示停车辅助图形44还包括，移至框122，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至在识别的位置标记40内居中的位置。可选地，移至框120，当在运载工具12周围的环境28中邻近停车位42没有检测到对象26时，并且移至框136，如果控制器32基于运载工具12内的乘客的位置确定需要偏置，则显示停车辅助图形44还包括，移至框138，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12的驾驶员引导至在识别的位置标记40内偏置的位置。
当在运载工具12周围的环境28中邻近停车位42的一侧检测到对象26时，显示停车辅助图形44还包括：利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12驾驶员引导至一位置，该位置在识别的位置标记40内并相对于运载工具12周围的环境18中邻近停车位42一侧检测到的对象26偏置。
在一个示例性实施例中，再次移至框120，当在运载工具12周围的环境28中邻近停车位42检测到对象26时，移至框124，当检测到的对象26在停车位42的一侧时，并且移至框140，如果控制器32基于运载工具12内乘客的位置确定不需要偏置，则显示停车辅助图形44还包括，移至框126，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并且偏离运载工具12周围的环境28中邻近停车位42一侧检测到的对象26。可选地，再次移至框120，当在运载工具12周围的环境28中检测到邻近停车位42的对象26时，移至框124，当检测到的对象26在停车位42的一侧时，以及移至框140，如果控制器32基于运载工具12内乘客的位置确定需要偏置，则显示停车辅助图形44还包括，移至框142，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12的驾驶员引导至在识别的位置标记40内偏置的位置。
当在运载工具12周围的环境28中邻近停车位42两侧检测到对象26时，显示停车辅助图形44还包括：利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内乘客的位置，将运载工具12驾驶员引导至一位置，该位置在识别的位置标记40内并在运载工具12周围的环境18中邻近停车位42两侧检测到的对象26之间偏置。
再次移至框120，当在运载工具12周围的环境28中邻近停车位42检测到对象26时，移至框128，当检测到的对象26在停车位42的两侧时，以及移至框144，如果控制器32基于运载工具12内乘客的位置确定不需要偏置，则显示停车辅助图形44还包括，移至框130，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并居中于运载工具12周围的环境28中邻近停车位42两侧检测到的对象26之间。可选地，再次移至框120，当在运载工具12周围的环境28中邻近停车位42检测到对象26时，移至框128，当检测到的对象26在停车位42的两侧时，以及移至框144，如果控制器32基于运载工具12内乘客的位置确定需要偏置，则显示停车辅助图形44还包括，移至框146，利用投射模块14的至少一个光源显示停车辅助图形44，该停车辅助图形44适用于基于运载工具12内的乘客的位置，将运载工具12的驾驶员引导至一位置，该位置在识别的位置标记40内并在运载工具12周围的环境28中邻近停车位42两侧检测到的对象26之间偏置。
在一个示例性实施例中，控制器32还适用于连续识别位置标记40和运载工具12周围的环境28中邻近停车位42的对象26，并确定运载工具12相对于识别的位置标记40和运载工具12周围的环境28中邻近停车位42的对象26的位置，方法100还包括：随着运载工具12相对于识别的位置标记40和运载工具12周围的环境28中邻近停车位42的对象26的位置改变，更新所显示的停车辅助图形44，如箭头148所示。
在一个示例性实施例中，投射模块14适用于在挡风玻璃18的近场图像平面54和挡风玻璃18的远场图像平面56内投射图像，在框110所述利用适用于将图像投射到运载工具12挡风玻璃18的内表面上并与控制器32电子通信的投射模块14的至少一个光源，显示适用于在将运载工具12停放在停车位时向运载工具12的驾驶员提供引导的停车辅助图形44还包括，在远场图像平面56内显示停车辅助图形44。
本公开的描述本质上仅仅是示例性的，并且不脱离本公开的主旨的变型旨在落入本公开的范围内。这种变化不应视为背离了本公开的精神和范围。

Claims (10)

1.一种利用平视系统向运载工具的驾驶员提供停车辅助的方法，包括：
利用多个第一车载传感器检测运载工具驾驶特性；
利用无线通信模块从外部源接收信息；
利用驾驶员监控系统跟踪所述驾驶员的眼睛的位置；
利用与所述多个第一车载传感器和所述无线通信模块电子通信的控制器，基于来自所述多个第一车载传感器的数据和由所述无线通信模块接收的数据，确定所述运载工具是否正在执行停车操作；以及
当所述运载工具正在执行停车操作时，利用适用于将图像投射到所述运载工具挡风玻璃的内表面上并且与所述控制器电子通信的投射模块的至少一个光源，显示适用于在将所述运载工具停放在停车位时向所述运载工具的驾驶员提供引导的停车辅助图形。
2.根据权利要求1所述的方法，其中，所述利用适用于将图像投射到所述运载工具挡风玻璃的内表面上并且与所述控制器电子通信的投射模块的至少一个光源，显示适用于在将所述运载工具停放在停车位时向所述运载工具的驾驶员提供引导的停车辅助图形还包括：
利用与所述控制器电子通信的至少一个图像捕捉装置捕捉所述运载工具周围的环境的图像；
利用与所述控制器电子通信的至少一个非视觉传感器检测所述运载工具周围的环境中的对象；
利用所述控制器、所述至少一个图像捕捉装置和所述至少一个非视觉传感器识别所述停车位的位置标记和所述运载工具周围的环境中邻近所述停车位的对象；以及
利用所述控制器确定所述运载工具相对于所述停车位的识别的位置标记和所述运载工具周围的环境中邻近所述停车位的对象的位置。
3.根据权利要求2所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位没有检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，该停车辅助图形适用于将所述运载工具的驾驶员引导至在所述识别的位置标记内居中的位置。
4.根据权利要求3所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位的一侧检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，所述停车辅助图形适用于将所述运载工具的驾驶员引导至一位置，所述位置在所述识别的位置标记内并偏离所述运载工具周围的环境中邻近所述停车位一侧检测到的对象。
5.根据权利要求4所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位的两侧检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，所述停车辅助图形适用于将所述运载工具的驾驶员引导至一位置，所述位置在所述识别的位置标记内并居中在所述运载工具周围的环境中邻近所述停车位两侧检测到的对象之间。
6.根据权利要求5所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，所述停车辅助图形适用于引导所述运载工具的驾驶员在进出停车位时避开所述运载工具周围的环境中邻近所述停车位检测到的对象。
7.根据权利要求6所述的方法，还包括：利用与所述控制器电子通信的多个第二车载传感器检测所述运载工具内乘客的位置。
8.根据权利要求7所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位没有检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，所述停车辅助图形适用于基于所述运载工具内乘客的位置，将所述运载工具的驾驶员引导至在所述识别的位置标记内偏置的位置。
9.根据权利要求8所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位的一侧检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，所述停车辅助图形适用于基于所述运载工具内乘客的位置，将所述运载工具的驾驶员引导至一位置，所述位置在所述识别的位置标记内并相对于所述运载工具周围的环境中邻近所述停车位一侧检测到的对象偏置。
10.根据权利要求9所述的方法，其中，当在所述运载工具周围的环境中邻近所述停车位的两侧检测到对象时，所述显示停车辅助图形还包括：利用所述投射模块的所述至少一个光源显示停车辅助图形，所述停车辅助图形适用于基于所述运载工具内乘客的位置，将所述运载工具的驾驶员引导至一位置，所述位置在所述识别的位置标记内并在所述运载工具周围的环境中邻近所述停车位两侧检测到的对象之间偏置。
CN202211309459.0A 2022-04-05 2022-10-25 增强现实平视显示器系统中的停车辅助 Pending CN116923544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/713,538 US12031835B2 (en) 2022-04-05 2022-04-05 Parking assist in augmented reality head-up display system
US17/713,538 2022-04-05

Publications (1)

Publication Number Publication Date
CN116923544A true CN116923544A (zh) 2023-10-24

Family

ID=88018794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211309459.0A Pending CN116923544A (zh) 2022-04-05 2022-10-25 增强现实平视显示器系统中的停车辅助

Country Status (3)

Country Link
US (1) US12031835B2 (zh)
CN (1) CN116923544A (zh)
DE (1) DE102022127434A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120086798A1 (en) * 2010-10-07 2012-04-12 Sony Corporation System and method for automatic dynamic guidelines
US10416548B1 (en) * 2013-02-25 2019-09-17 James Yett Individually angled mirror array system specialty effects
KR101498976B1 (ko) * 2013-12-19 2015-03-05 현대모비스(주) 차량용 주차지원시스템 및 주차지원방법
JP5989729B2 (ja) * 2014-09-12 2016-09-07 アイシン精機株式会社 出庫支援装置
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
EP3431344B1 (en) * 2016-03-18 2022-12-21 KYOCERA Corporation Parking assistance device, onboard cameras, vehicle, and parking assistance method
KR20180051977A (ko) * 2016-11-09 2018-05-17 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
JP7301880B2 (ja) * 2018-05-04 2023-07-03 ハーマン インターナショナル インダストリーズ インコーポレイテッド ミラーレスヘッドアップディスプレイ

Also Published As

Publication number Publication date
DE102022127434A1 (de) 2023-10-05
US20230314157A1 (en) 2023-10-05
US12031835B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
US10254539B2 (en) On-vehicle device, method of controlling on-vehicle device, and computer-readable storage medium
US9443429B2 (en) Optimum gaze location on full windscreen display
US8818708B2 (en) Optimum driving path on full windshield display
CN111027420B (zh) 用于模仿前车的系统和方法
US9507345B2 (en) Vehicle control system and method
US7605773B2 (en) Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
US8781170B2 (en) Vehicle ghosting on full windshield display
EP2860971A1 (en) Display control apparatus, method, recording medium, and vehicle
JP5654269B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイの表示方法
WO2020125178A1 (zh) 车辆驾驶提示方法及装置
US20210016793A1 (en) Control apparatus, display apparatus, movable body, and image display method
CN111788459A (zh) 辅助信息在显示单元上的显现
WO2015079654A1 (ja) ヘッドアップディスプレイ装置
CN103171439A (zh) 自动驾驶系统的行为预测
CN113710530A (zh) 用于运行自主交通工具中的驾驶员信息系统的方法和驾驶员信息系统
EP3505381B1 (en) Display system and display control program
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
US12017587B2 (en) Vehicle driving and monitoring system, vehicle including the vehicle driving and monitoring system, method for maintaining a situational awareness at a sufficient level, and computer readable medium for implementing the method
WO2020208989A1 (ja) 表示制御装置及び表示制御プログラム
US20190286125A1 (en) Transportation equipment and traveling control method therefor
JP7346859B2 (ja) 制御装置、表示装置、移動体、制御方法、及びプログラム
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
US11697346B1 (en) Lane position in augmented reality head-up display system
JP2019027996A (ja) 車両用表示方法及び車両用表示装置
JP2024029051A (ja) 車載表示装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination