CN113064279A - Ar-hud系统的虚像位置调整方法、装置及存储介质 - Google Patents

Ar-hud系统的虚像位置调整方法、装置及存储介质 Download PDF

Info

Publication number
CN113064279A
CN113064279A CN202110326577.1A CN202110326577A CN113064279A CN 113064279 A CN113064279 A CN 113064279A CN 202110326577 A CN202110326577 A CN 202110326577A CN 113064279 A CN113064279 A CN 113064279A
Authority
CN
China
Prior art keywords
virtual image
hud system
reference point
eyes
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110326577.1A
Other languages
English (en)
Other versions
CN113064279B (zh
Inventor
张淑芳
米德旺
黄永
何克勤
胡皓月
胡甜甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Automotive Prospective Technology Research Institute Co ltd
Chery Automobile Co Ltd
Original Assignee
Wuhu Automotive Prospective Technology Research Institute Co ltd
Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Automotive Prospective Technology Research Institute Co ltd, Chery Automobile Co Ltd filed Critical Wuhu Automotive Prospective Technology Research Institute Co ltd
Priority to CN202110326577.1A priority Critical patent/CN113064279B/zh
Publication of CN113064279A publication Critical patent/CN113064279A/zh
Application granted granted Critical
Publication of CN113064279B publication Critical patent/CN113064279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Instrument Panels (AREA)

Abstract

本申请实施例公开了一种AR‑HUD系统的虚像位置调整方法、装置及存储介质，属于智能汽车驾驶技术领域。所述方法包括：获取汽车的增强现实抬头显示器AR‑HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，所述参考点位置为所述AR‑HUD系统虚像中任一点的位置；确定所述参考点位置与所述双眼中心位置之间的偏差值；当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR‑HUD系统的虚像位置。本申请实施例能够通过AR‑HUD系统虚像中的参考点位置与驾驶员双眼中心位置之间的偏差值，对AR‑HUD系统虚像的位置进行自动调整，使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，提高了驾驶舒适性和安全性。

Description

AR-HUD系统的虚像位置调整方法、装置及存储介质
技术领域
本申请实施例涉及智能汽车驾驶技术领域，特别涉及一种AR-HUD(AugmentedReality Head Up Display，增强现实抬头显示器)系统的虚像位置调整方法、装置及存储介质。
背景技术
随着社会的不断发展，汽车已经成为人们日常生活不可或缺的交通工具。但是，随着汽车数量的增多，交通事故发生的频率也越来越高。为了提高驾驶安全性，能够通过AR-HUD系统辅助汽车进行驾驶。AR-HUD系统能够将驾驶员驾驶时需要的一些重要信息投射到汽车前挡风玻璃上，显示虚像与汽车周围的实景融合，融合实景的光线经过反射摄入驾驶员眼睛，使驾驶员看到与实景融合的虚像，从而驾驶员不需要低头查看仪表，眼睛始终注视前方路面，改善了因低头对安全驾驶的影响。
但是，由于驾驶汽车的驾驶员可能会发生更换，驾驶员的高矮不一致，驾驶习惯不一致，从而对虚像的位置要求也不一样，在虚像位置无法改变时，不仅降低了驾驶舒适性，同时也降低了驾驶安全性。
发明内容
本申请实施例提供了一种AR-HUD系统的虚像位置调整方法、装置及存储介质，可以用于解决相关技术中虚像位置难以调整，导致驾驶舒适性和安全性低的问题。所述技术方案如下：
一方面，提供了一种AR-HUD系统的虚像位置调整方法，所述方法包括：
获取汽车的增强现实抬头显示器AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，所述参考点位置为所述AR-HUD系统虚像中任一点的位置；
确定所述参考点位置与所述双眼中心位置之间的偏差值；
当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置。
在一些实施例中，所述获取汽车的AR-HUD系统虚像中的参考点位置，包括：
获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
根据所述曲面镜的位置和投影角度，确定所述参考点位置。
在一些实施例中，所述获取驾驶员的双眼中心位置，包括：
获取所述汽车的行驶速度；
根据所述行驶速度确定获取面部图像的参考间隔时长；
按照所述参考间隔时长，通过红外摄像头获取所述驾驶员的面部图像；
对所述的面部图像进行图像识别，得到所述驾驶员的双眼中心位置。
在一些实施例中，所述确定所述参考点位置与所述双眼中心位置之间的偏差值，包括：
确定所述参考点位置相对于所述双眼中心位置的偏差角度；或者，
确定第一参考线和第二参考线之间的垂直距离，并将所述垂直距离确定为所述偏差值，所述第一参考线为穿过所述参考点位置且垂直于所述汽车前挡风玻璃的参考线，所述第二参考线为穿过所述双眼中心位置且垂直于所述前挡风玻璃的参考线。
在一些实施例中，所述当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置，包括：
当所述偏差值为偏差角度，且所述偏差角度大于角度阈值时，根据所述偏差角度从调整角度和偏差角度之间的对应关系中获取对应的调整角度；
根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
按照所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
在一些实施例中，所述当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置，包括：
当所述偏差值为垂直距离，且所述垂直距离大于距离阈值时，根据所述垂直距离从距离与调整角度之间的对应关系中获取对应的调整角度；
根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
按照所述调整方向和所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
另一方面，提供了一种AR-HUD系统的虚像位置调整装置，所述装置包括：
获取模块，用于获取汽车的增强现实抬头显示器AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，所述参考点位置为所述AR-HUD系统虚像中任一点的位置；
确定模块，用于确定所述参考点位置与所述双眼中心位置之间的偏差值；
调整模块，用于当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置。
在一些实施例中，所述获取模块包括：
第一获取子模块，用于获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
第一确定子模块，用于根据所述曲面镜的位置和投影角度，确定所述参考点位置。
在一些实施例中，所述获取模块包括：
第二获取子模块，用于获取所述汽车的行驶速度；
第三获取子模块，用于根据所述行驶速度确定获取面部图像的参考间隔时长；
第四获取子模块，用于按照所述参考间隔时长，通过红外摄像头获取所述驾驶员的面部图像；
识别子模块，用于对所述的面部图像进行图像识别，得到所述驾驶员的双眼中心位置。
在一些实施例中，所述确定模块包括：
第二确定子模块，用于确定所述参考点位置相对于所述双眼中心位置的偏差角度；或者，
第三确定子模块，用于确定第一参考线和第二参考线之间的垂直距离，并将所述垂直距离确定为所述偏差值，所述第一参考线为穿过所述参考点位置且垂直于所述汽车前挡风玻璃的参考线，所述第二参考线为穿过所述双眼中心位置且垂直于所述前挡风玻璃的参考线。
在一些实施例中，所述调整模块包括：
第五获取子模块，用于当所述偏差值为偏差角度，且所述偏差角度大于角度阈值时，根据所述偏差角度从调整角度和偏差角度之间的对应关系中获取对应的调整角度；
第四确定子模块，用于根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
第一调整子模块，用于按照所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
在一些实施例中，所述调整模块包括：
第六获取子模块，用于当所述偏差值为垂直距离，且所述垂直距离大于距离阈值时，根据所述垂直距离从距离与调整角度之间的对应关系中获取对应的调整角度；
第五确定子模块，用于根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
第二调整子模块，用于按照所述调整方向和所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述一方面所述的AR-HUD系统的虚像位置调整方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例中，能够通过AR-HUD系统虚像中的参考点位置与驾驶员双眼中心位置之间的偏差值，对AR-HUD系统虚像的位置进行自动调整，解放了驾驶员手、眼和思维，使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，同时弥补了因驾驶员的高度不同和驾驶习惯不同而造成对不同AR-HUD系统虚像位置的需求，提高了驾驶舒适性和安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种AR-HUD系统的虚像位置调整系统架构示意图；
图2是本申请实施例提供的一种AR-HUD系统的虚像位置调整方法流程图；
图3是本申请实施例提供的另一种AR-HUD系统的虚像位置调整方法流程图；
图4是本申请实施例提供的一种AR-HUD系统的虚像位置调整装置的结构示意图；
图5是本申请实施例提供的一种获取模块的结构示意图；
图6是本申请实施例提供的另一种获取模块的结构示意图；
图7是本申请实施例提供的一种确定模块的结构示意图；
图8是本申请实施例提供的一种调整模块的结构示意图；
图9是本申请实施例提供的另一种调整模块的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的一种AR-HUD系统的虚像位置调整方法进行详细的解释说明之前，先对本申请实施例提供的应用场景及系统架构进行说明。
随着社会的不断发展，汽车已经成为人们日常生活不可或缺的交通工具，随之而来的交通安全问题越来越严重，交通事故已经成为当今社会人民生命财产的第一杀手。因此，汽车安全成为未来汽车发展的一个主要方向。AR-HUD系统是一种汽车辅助视觉安全驾驶系统，该系统是将驾驶员驾驶时需要的一些重要信息通过此AR-HUD系统的光路投射到汽车前档风窗玻璃上，从而驾驶员不需要低头查看仪表板，眼睛始终注视前视野路面，降低了因低头对安全驾驶的影响。但是，由于驾驶汽车的驾驶员可能会发生更换，驾驶员的高矮不一致，驾驶习惯不一致，从而对虚像的位置要求也不一样，在虚像位置无法改变时，不仅降低了驾驶舒适性，同时也降低了驾驶安全性。
基于这样的应用场景，本申请实施例提供了一种提高驾驶安全性和舒适性的AR-HUD系统的虚像位置调整方法。
接下来，对本申请实施例提供的一种AR-HUD系统的虚像位置调整系统架构进行说明。
图1为本申请实施例提供的一种AR-HUD系统的虚像位置调整系统架构示意图，参见图1，该系统架构包括DMS(Dealer Management System汽车经销商管理系统)控制器1、DMS摄像头2、DMS图像处理器3、车身控制器4、光机控制器5、步进电机6和曲面镜7。DMS控制器分别与车身控制器4、DMS图像处理器3和光机控制器5连接，DMS图像处理器与DMS摄像头2连接，光机控制器5还与步进电机6连接，步进电机6与曲面镜7连接。
作为一种示例，DMS摄像头2用于获取驾驶员的面部图像，并将获取的驾驶员的面部图像发送至DMS图像处理器3，且DMS摄像头2带有红外功能，如DMS摄像头2不带红外在特殊的情况下识别不到人眼的位置，比如驾驶员戴眼镜等特殊情况。DMS图像处理器3用于在接收到DMS摄像头2发送的面部图像后，将面部图像按照指定速度(比如30毫秒每帧)的速度传送给DMS控制器1。DMS控制器1用于接收DMS图像处理器3发送的面部图像，并从面部图像中获取驾驶员的人员中心位置，并通过光机控制器5获取步进电机6和曲面镜7的位置，根据步进电机6和曲面镜7的位置确定AR-HUD系统虚像中的参考点位置，之后确定参考点位置与双眼中心位置之间的偏差值，当偏差值大于偏差阈值时，将偏差值发送至光机控制器5；光机控制器5将偏差值发送至步进电机6；步进电机6用于根据偏差值对曲面镜7进行调整，以调整AR-HUD系统的虚像位置。
本领域技术人员应能理解上述系统架构仅为举例，其他现有的或今后可能出现的模块、元器件等如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图2是本申请实施例提供的一种AR-HUD系统的虚像位置调整方法流程图，该AR-HUD系统的虚像位置调整方法可以包括如下几个步骤：
步骤201：获取汽车的增强现实抬头显示器AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，该参考点位置为该AR-HUD系统虚像中任一点的位置。
步骤202：确定该参考点位置与该双眼中心位置之间的偏差值。
步骤203：当该偏差值大于偏差阈值时，根据该偏差值调整该AR-HUD系统的虚像位置。
在本申请实施例中，能够通过AR-HUD系统虚像中的参考点位置与驾驶员双眼中心位置之间的偏差值，对AR-HUD系统虚像的位置进行自动调整，解放了驾驶员手、眼和思维，使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，同时弥补了因驾驶员的高度不同和驾驶习惯不同而造成对不同AR-HUD系统虚像位置的需求，提高了驾驶舒适性和安全性。
在一些实施例中，获取汽车的AR-HUD系统虚像中的参考点位置，包括：
获取该AR-HUD系统中曲面镜的位置和投影角度，该曲面镜用于投影该AR-HUD系统虚像；
根据该曲面镜的位置和投影角度，确定该参考点位置。
在一些实施例中，获取驾驶员的双眼中心位置，包括：
获取该汽车的行驶速度；
根据该行驶速度确定获取面部图像的参考间隔时长；
按照该参考间隔时长，通过红外摄像头获取该驾驶员的面部图像；
对该的面部图像进行图像识别，得到该驾驶员的双眼中心位置。
在一些实施例中，确定该参考点位置与该双眼中心位置之间的偏差值，包括：
确定该参考点位置相对于该双眼中心位置的偏差角度；或者，
确定第一参考线和第二参考线之间的垂直距离，并将该垂直距离确定为该偏差值，该第一参考线为穿过该参考点位置且垂直于该汽车前挡风玻璃的参考线，该第二参考线为穿过该双眼中心位置且垂直于该前挡风玻璃的参考线。
在一些实施例中，当该偏差值大于偏差阈值时，根据该偏差值调整该AR-HUD系统的虚像位置，包括：
当该偏差值为偏差角度，且该偏差角度大于角度阈值时，根据该偏差角度从调整角度和偏差角度之间的对应关系中获取对应的调整角度；
根据该双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
按照该调整角度对该AR-HUD系统中的曲面镜进行调整，以调整该AR-HUD系统的虚像位置。
在一些实施例中，当该偏差值大于偏差阈值时，根据该偏差值调整该AR-HUD系统的虚像位置，包括：
当该偏差值为垂直距离，且该垂直距离大于距离阈值时，根据该垂直距离从距离与调整角度之间的对应关系中获取对应的调整角度；
根据该双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
按照该调整方向和该调整角度对该AR-HUD系统中的曲面镜进行调整，以调整该AR-HUD系统的虚像位置。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
图3是本申请实施例提供的一种AR-HUD系统的虚像位置调整方法流程图，本实施例以该AR-HUD系统的虚像位置调整方法应用于中进行举例说明，该AR-HUD系统的虚像位置调整方法可以包括如下几个步骤：
步骤301：汽车获取AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，该参考点位置为AR-HUD系统虚像中任一点的位置。
由于汽车在行驶过程中，当AR-HUD虚像位置与驾驶员的眼睛不适配时，驾驶员可能不太方便查看AR-HUD虚像，比如，AR-HUD虚像位置过高，驾驶员需要抬头看AR-HUD虚像，或者，AR-HUD虚像位置过低，驾驶员需要低头看AR-HUD虚像，或者，AR-HUD虚像位置偏左或偏右，驾驶员需要偏头看AR-HUD虚像。由于驾驶员观看AR-HUD虚像不方便，从而降低了驾驶舒适性，进而导致驾驶安全性降低，因此，为了提高驾驶舒适性和安全性，汽车能够获取AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置。
作为一种示例，汽车能够在启动AR-HUD系统后，立即获取一次AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，也能够在启动AR-HUD系统后，接收到获取指令时，获取AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，也能够在启动AR-HUD系统后，实时获取AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，还能够启动AR-HUD系统后，每隔指定时间间隔获取AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置。
需要说明的是，该指定时间间隔能够根据需求事先进行设置，比如，该指定时间间隔能够为1小时、3小时、6小时等等。该获取指令能够为驾驶员通过指定操作作用在汽车的虚拟开关或硬件开关时触发，该指定操作能够为点击操作、滑动操作、拨动操作、按动操作、语音操作等等。
作为一种示例，汽车获取AR-HUD系统虚像中的参考点位置的操作包括：获取AR-HUD系统中曲面镜的位置和投影角度，该曲面镜用于投影AR-HUD系统虚像；根据曲面镜的位置和投影角度，确定参考点位置。
由于AR-HUD虚像最后是一系列光学元件进行处理、反射等操作后最终通过曲面镜(也属于光学元件)反射后显示的，且曲面镜面积比较大且位置是可变动的，而其他光学元件中有的元件结构固定位置不可变动，有的长期调整易出现故障，因此，为了避免出现故障，通常选择调解曲面镜来调整AR-HUD虚像的位置，也即是，曲面镜的位置和投影角度均会影响AR-HUD虚像的位置。因此，为了确定参考点位置，汽车需要确定曲面镜的位置和投影角度。
需要说明的是，为了便于调整AR-HUD虚像位置，该参考点位置优先选择AR-HUD系统虚像中的中心点位置。
在一些实施例中，汽车能够根据曲面镜的位置确定曲面镜与前挡风玻璃之间的距离，根据该距离和曲面镜的投影角度，确定AR-HUD系统虚像在前挡风玻璃上的位置，进而根据AR-HUD系统虚像在前挡风玻璃上的位置，确定参考点位置。
需要说明的是，在本申请实施例中，参考点位置能够通过三维坐标表示。
在一些实施例中，由于步进电机用于调整AR-HUD系统中曲面镜的位置，步进电机的位置、曲面镜的位置和AR-HUD系统虚像的位置是一一对应的，因此，汽车还能够根据步进电机的位置确定AR-HUD系统虚像的位置，进而根据AR-HUD系统虚像的位置确定参考点位置。
作为一种示例，汽车获取驾驶员的双眼中心位置的操作包括：获取汽车的行驶速度；根据行驶速度确定获取面部图像的参考间隔时长；按照参考间隔时长，通过红外摄像头获取驾驶员的面部图像；对面部图像进行图像识别，得到驾驶员的双眼中心位置。
由于当汽车的行驶速度过快时，驾驶员注意力比较集中，驾驶员双眼位置发生变化的可能性较小，因此，在汽车行驶速度过快时，能够设置较长参考间隔时长，在汽车行驶速度好慢时，能够设置较短参考间隔时长。也即是，汽车中能够存储行驶速度与参考间隔时长之间的对应关系，汽车能够从该对应关系中确定获取面部图像的参考间隔时长。
作为一种示例，汽车还能够设置速度阈值，在行驶速度大于速度阈值时，获取第一间隔时长，在行驶速度小于或那等于速度阈值时，获取第二间隔时长。
需要说明的是，该速度阈值能够根据需求事先进行设置，比如，该速度阈值能够为20千米/小时、30千米/小时等等，第一间隔时长能够为5分钟、10分钟，第二间隔时长能够为1分钟、2分钟等。
在一些实施例中，汽车还能够在行驶速度大于速度阈值时，在获取第一数量的面部图像后，对第一数量的面部图像进行图像识别，得到驾驶员的双眼中心位置。在行驶速度小于或等于速度阈值时，在获取第二数量的面部图像后，对第一数量的面部图像进行图像识别，得到驾驶员的双眼中心位置。
在一些实施例中，汽车对第一数量或第二数量的面部图像进行图像识别的过程中，能够事先对获取的面部图像进行筛选，以滤除指定比例的特异图像，特异图像是指无法识别双眼的图像等。
需要说明的是，该第一数量、第二数量、指定比例均能够根据需求事先进行设置，比如，该第一数量能够为10000帧、5000帧等等，第二数量能够为30帧、50帧等等。指定比例能够为10％、15％等等。
还需要说明的是，双眼中心位置同样能够通过三维坐标系进行表示，且双眼中心位置和参考点位置位于同一坐标系。
步骤302：汽车确定参考点位置与双眼中心位置之间的偏差值。
由于当参考点位置与双眼中心位置之间的差异越小，越能够保证驾驶员眼睛与AR-HUD系统虚像适配，也即是，驾驶员只要正视前方即可观察到AR-HUD系统虚像，因此，为了减小差异，汽车需要确定参考点位置与双眼中心位置之间的偏差值。
作为一种示例，汽车确定参考点位置与双眼中心位置之间的偏差值的操作能够包括：确定参考点位置相对于双眼中心位置的偏差角度；或者，确定第一参考线和第二参考线之间的垂直距离，并将垂直距离确定为偏差值，该第一参考线为穿过参考点位置且垂直于汽车前挡风玻璃的参考线，该第二参考线为穿过双眼中心位置且垂直于该前挡风玻璃的参考线。
由于参考点位置与双眼中心位置能够位于同一三维坐标系中，因此，汽车能够根据参考点位置与双眼中心位置在三维坐标系中的坐标确定参考点位置相对于双眼中心位置的偏差角度。或者，根据参考点位置与双眼中心位置在三维坐标系中的坐标，确定第一参考线和第二参考线之间的垂直距离，并将该垂直距离确定为参考点位置与双眼中心位置之间的偏差值。
步骤303：当偏差值大于偏差阈值时，汽车根据偏差值调整AR-HUD系统的虚像位置。
由于参考点位置与双眼中心位置之间的偏差值可能较小，在偏差值较小时，说明驾驶员眼睛与AR-HUD系统虚像适配，此时，汽车无需调整AR-HUD系统的虚像位置。而当偏差值大于偏差阈值时，说明驾驶员眼睛与AR-HUD系统虚像不适配，汽车需要根据偏差值调整AR-HUD系统的虚像位置。
需要说明的是，偏差阈值能够事先根据需求进行设置，且根据偏差值的不同，偏差阈值也不同，比如，当偏差值为参考点位置与双眼中心位置之间的偏差角度时，该偏差阈值能够为角度阈值。当偏差值为第一参考线和第二参考线之间的垂直距离时，该偏差阈值能够为距离阈值。
作为一种示例，当偏差值大于偏差阈值时，汽车根据偏差值调整AR-HUD系统的虚像位置的操作包括：当偏差值为偏差角度，且偏差角度大于角度阈值时，根据偏差角度从调整角度和偏差角度之间的对应关系中获取对应的调整角度；根据双眼中心位置相对于参考点位置的偏移方向，确定调整方向；按照调整角度对AR-HUD系统中的曲面镜进行调整，以调整AR-HUD系统的虚像位置。
由于参考点位置与双眼中心位置能够位于同一三维坐标系中，因此，汽车能够根据参考点位置与双眼中心位置在三维坐标系中的相对位置，确定双眼中心位置相对于参考点位置的偏移方向，并将偏移方向确定为调整方向。
在一些实施例中，汽车还能将偏差角度确定为调整角度。
作为一种示例，当偏差值大于偏差阈值时，汽车根据偏差值调整AR-HUD系统的虚像位置的操作不仅能够包括上述操作，还能够包括其他操作，比如，当偏差值为垂直距离，且垂直距离大于距离阈值时，根据垂直距离从距离与调整角度之间的对应关系中获取对应的调整角度；根据双眼中心位置相对于参考点位置的偏移方向，确定调整方向；按照调整方向和调整角度对AR-HUD系统中的曲面镜进行调整，以调整AR-HUD系统的虚像位置。
需要说明的是，调整角度和偏差角度之间的对应关系、距离与调整角度之间的对应关系、角度阈值以及距离阈值均能够根据需求事先进行设置，比如，该角度阈值能够为10度、15度等等。距离阈值能够为3厘米、4厘米等等。
在一些实施例中，汽车能够通过步进电机调整曲面镜的位置，以调整AR-HUD系统的虚像位置。
在本申请实施例中，汽车能够通过AR-HUD系统虚像中的参考点位置与驾驶员双眼中心位置之间的偏差值，对AR-HUD系统虚像的位置进行自动调整，解放了驾驶员手、眼和思维，使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，同时弥补了因驾驶员的高度不同和驾驶习惯不同而造成对不同AR-HUD系统虚像位置的需求，提高了驾驶舒适性和安全性。
图4是本申请实施例提供的一种AR-HUD系统的虚像位置调整装置的结构示意图，该AR-HUD系统的虚像位置调整装置可以由软件、硬件或者两者的结合实现。该AR-HUD系统的虚像位置调整装置可以包括：获取模块401、确定模块402和调整模块403。
获取模块401，用于获取汽车的增强现实抬头显示器AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，所述参考点位置为所述AR-HUD系统虚像中任一点的位置；
确定模块402，用于确定所述参考点位置与所述双眼中心位置之间的偏差值；
调整模块403，用于当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置。
在一些实施例中，参见图5，所述获取模块401包括：
第一获取子模块4011，用于获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
第一确定子模块4012，用于根据所述曲面镜的位置和投影角度，确定所述参考点位置。
在一些实施例中，参见图6，所述获取模块401包括：
第二获取子模块4013，用于获取所述汽车的行驶速度；
第三获取子模块4014，用于根据所述行驶速度确定获取面部图像的参考间隔时长；
第四获取子模块4015，用于按照所述参考间隔时长，通过红外摄像头获取所述驾驶员的面部图像；
识别子模块4016，用于对所述的面部图像进行图像识别，得到所述驾驶员的双眼中心位置。
在一些实施例中，参见图7，所述确定模块402包括：
第二确定子模块4021，用于确定所述参考点位置相对于所述双眼中心位置的偏差角度；或者，
第三确定子模块4022，用于确定第一参考线和第二参考线之间的垂直距离，并将所述垂直距离确定为所述偏差值，所述第一参考线为穿过所述参考点位置且垂直于所述汽车前挡风玻璃的参考线，所述第二参考线为穿过所述双眼中心位置且垂直于所述前挡风玻璃的参考线。
在一些实施例中，参见图8，所述调整模块403包括：
第五获取子模块4031，用于当所述偏差值为偏差角度，且所述偏差角度大于角度阈值时，根据所述偏差角度从调整角度和偏差角度之间的对应关系中获取对应的调整角度；
第四确定子模块4032，用于根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
第一调整子模块4033，用于按照所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
在一些实施例中，参见图9，所述调整模块403包括：
第六获取子模块4034，用于当所述偏差值为垂直距离，且所述垂直距离大于距离阈值时，根据所述垂直距离从距离与调整角度之间的对应关系中获取对应的调整角度；
第五确定子模块4035，用于根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
第二调整子模块4036，用于按照所述调整方向和所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
在本申请实施例中，能够通过AR-HUD系统虚像中的参考点位置与驾驶员双眼中心位置之间的偏差值，对AR-HUD系统虚像的位置进行自动调整，解放了驾驶员手、眼和思维，使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，同时弥补了因驾驶员的高度不同和驾驶习惯不同而造成对不同AR-HUD系统虚像位置的需求，提高了驾驶舒适性和安全性。
需要说明的是：上述实施例提供的AR-HUD系统的虚像位置调整装置在调整AR-HUD系统的虚像位置时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的AR-HUD系统的虚像位置调整装置与AR-HUD系统的虚像位置调整方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的AR-HUD系统的虚像位置调整方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的AR-HUD系统的虚像位置调整方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种AR-HUD系统的虚像位置调整方法，其特征在于，所述方法包括：
获取汽车的增强现实抬头显示器AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，所述参考点位置为所述AR-HUD系统虚像中任一点的位置；
确定所述参考点位置与所述双眼中心位置之间的偏差值；
当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置。
2.如权利要求1所述的方法，其特征在于，所述获取汽车的AR-HUD系统虚像中的参考点位置，包括：
获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
根据所述曲面镜的位置和投影角度，确定所述参考点位置。
3.如权利要求1所述的方法，其特征在于，所述获取驾驶员的双眼中心位置，包括：
获取所述汽车的行驶速度；
根据所述行驶速度确定获取面部图像的参考间隔时长；
按照所述参考间隔时长，通过红外摄像头获取所述驾驶员的面部图像；
对所述的面部图像进行图像识别，得到所述驾驶员的双眼中心位置。
4.如权利要求1所述的方法，其特征在于，所述确定所述参考点位置与所述双眼中心位置之间的偏差值，包括：
确定所述参考点位置相对于所述双眼中心位置的偏差角度；或者，
确定第一参考线和第二参考线之间的垂直距离，并将所述垂直距离确定为所述偏差值，所述第一参考线为穿过所述参考点位置且垂直于所述汽车前挡风玻璃的参考线，所述第二参考线为穿过所述双眼中心位置且垂直于所述前挡风玻璃的参考线。
5.如权利要求1所述的方法，其特征在于，所述当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置，包括：
当所述偏差值为偏差角度，且所述偏差角度大于角度阈值时，根据所述偏差角度从调整角度和偏差角度之间的对应关系中获取对应的调整角度；
根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
按照所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
6.如权利要求1所述的方法，其特征在于，所述当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置，包括：
当所述偏差值为垂直距离，且所述垂直距离大于距离阈值时，根据所述垂直距离从距离与调整角度之间的对应关系中获取对应的调整角度；
根据所述双眼中心位置相对于参考点位置的偏移方向，确定调整方向；
按照所述调整方向和所述调整角度对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置。
7.一种AR-HUD系统的虚像位置调整装置，其特征在于，所述装置包括：
获取模块，用于获取汽车的增强现实抬头显示器AR-HUD系统虚像中的参考点位置和驾驶员的双眼中心位置，所述参考点位置为所述AR-HUD系统虚像中任一点的位置；
确定模块，用于确定所述参考点位置与所述双眼中心位置之间的偏差值；
调整模块，用于当所述偏差值大于偏差阈值时，根据所述偏差值调整所述AR-HUD系统的虚像位置。
8.如权利要求7所述的装置，其特征在于，所述获取模块包括：
第一获取子模块，用于获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
第一确定子模块，用于根据所述曲面镜的位置和投影角度，确定所述参考点位置。
9.如权利要求7所述的装置，其特征在于，所述获取模块包括：
第二获取子模块，用于获取所述汽车的行驶速度；
第三获取子模块，用于根据所述行驶速度确定获取面部图像的参考间隔时长；
第四获取子模块，用于按照所述参考间隔时长，通过红外摄像头获取所述驾驶员的面部图像；
识别子模块，用于对所述的面部图像进行图像识别，得到所述驾驶员的双眼中心位置。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1至权利要求6中的任一项权利要求所述的方法的步骤。
CN202110326577.1A 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质 Active CN113064279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110326577.1A CN113064279B (zh) 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110326577.1A CN113064279B (zh) 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113064279A true CN113064279A (zh) 2021-07-02
CN113064279B CN113064279B (zh) 2022-09-16

Family

ID=76564033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326577.1A Active CN113064279B (zh) 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113064279B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113928224A (zh) * 2021-11-26 2022-01-14 北京经纬恒润科技股份有限公司 基于hud和像素大灯的辅助驾驶系统
CN114820504A (zh) * 2022-04-22 2022-07-29 江苏泽景汽车电子股份有限公司 图像融合偏差的检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464562A (zh) * 2007-12-19 2009-06-24 株式会社日立制作所 车辆用平视显示装置
WO2016190135A1 (ja) * 2015-05-28 2016-12-01 日本精機株式会社 車両用表示システム
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法
CN107323375A (zh) * 2017-06-27 2017-11-07 京东方科技集团股份有限公司 车载显示系统、交通设备和图像显示方法
US20180081181A1 (en) * 2016-09-20 2018-03-22 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality
CN111038402A (zh) * 2018-10-11 2020-04-21 现代自动车株式会社 用于控制车辆的显示的装置和方法
WO2020158034A1 (ja) * 2019-02-01 2020-08-06 株式会社Ｊｖｃケンウッド 表示装置および表示装置の設置方法
CN112298039A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种a柱成像方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464562A (zh) * 2007-12-19 2009-06-24 株式会社日立制作所 车辆用平视显示装置
WO2016190135A1 (ja) * 2015-05-28 2016-12-01 日本精機株式会社 車両用表示システム
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法
US20180081181A1 (en) * 2016-09-20 2018-03-22 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality
CN107323375A (zh) * 2017-06-27 2017-11-07 京东方科技集团股份有限公司 车载显示系统、交通设备和图像显示方法
US20180373262A1 (en) * 2017-06-27 2018-12-27 Boe Technology Group Co., Ltd. In-vehicle display system, traffic equipment and the image display method
CN111038402A (zh) * 2018-10-11 2020-04-21 现代自动车株式会社 用于控制车辆的显示的装置和方法
WO2020158034A1 (ja) * 2019-02-01 2020-08-06 株式会社Ｊｖｃケンウッド 表示装置および表示装置の設置方法
CN112298039A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种a柱成像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113928224A (zh) * 2021-11-26 2022-01-14 北京经纬恒润科技股份有限公司 基于hud和像素大灯的辅助驾驶系统
CN113928224B (zh) * 2021-11-26 2024-01-30 北京经纬恒润科技股份有限公司 基于hud和像素大灯的辅助驾驶系统
CN114820504A (zh) * 2022-04-22 2022-07-29 江苏泽景汽车电子股份有限公司 图像融合偏差的检测方法、装置、电子设备及存储介质
CN114820504B (zh) * 2022-04-22 2023-03-21 江苏泽景汽车电子股份有限公司 图像融合偏差的检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113064279B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
EP3093194B1 (en) Information provision device
CN111433067B (zh) 平视显示装置及其显示控制方法
US9946078B2 (en) Head-up display device
CN113064279B (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
CN110579879B (zh) 一种车载抬头显示系统及其控制方法
JPH11271666A (ja) 表示装置
CN108663807B (zh) 平视显示光学系统和装置及其成像方法
JP2018127099A (ja) 車両用表示制御装置
CN210348060U (zh) 一种增强现实抬头显示装置及系统
JP2016210212A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN112026652A (zh) 一种基于眼球识别激光成像的后视图像抬头显示系统
CN113147596A (zh) 一种基于ar技术的头戴式车载信息显示系统及方法
CN113325586A (zh) 头戴设备、显示控制方法和显示控制装置
CN113002461A (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
JP2008285105A (ja) 情報表示装置
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
CN105818689B (zh) 车载微型投影仪显示系统
CN107472140B (zh) 一种眼控车载hud系统
CN113928224A (zh) 基于hud和像素大灯的辅助驾驶系统
CN111923835A (zh) 一种基于车辆后视显示方法
CN112102503A (zh) 一种车载增强现实应用的方法及系统
CN111923834A (zh) 一种基于眼球识别的车辆后视图像显示系统及方法
CN208847962U (zh) 一种列车抬头显示系统
CN209257986U (zh) 增强现实车载抬头显示系统
KR20200063789A (ko) Ar 글라스 및 이를 이용한 증강현실 서비스 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant