CN113002461A - Ar-hud系统的虚像位置调整方法、装置及存储介质 - Google Patents

Ar-hud系统的虚像位置调整方法、装置及存储介质 Download PDF

Info

Publication number
CN113002461A
CN113002461A CN202110326580.3A CN202110326580A CN113002461A CN 113002461 A CN113002461 A CN 113002461A CN 202110326580 A CN202110326580 A CN 202110326580A CN 113002461 A CN113002461 A CN 113002461A
Authority
CN
China
Prior art keywords
information
virtual image
adjustment
hud system
lip language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110326580.3A
Other languages
English (en)
Inventor
张淑芳
米德旺
胡皓月
胡甜甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Automotive Prospective Technology Research Institute Co ltd
Chery Automobile Co Ltd
Original Assignee
Wuhu Automotive Prospective Technology Research Institute Co ltd
Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Automotive Prospective Technology Research Institute Co ltd, Chery Automobile Co Ltd filed Critical Wuhu Automotive Prospective Technology Research Institute Co ltd
Priority to CN202110326580.3A priority Critical patent/CN113002461A/zh
Publication of CN113002461A publication Critical patent/CN113002461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例公开了一种AR‑HUD系统的虚像位置调整方法、装置及存储介质，属于智能汽车驾驶技术领域。所述方法包括：在启动AR‑HUD系统后，获取驾驶员的唇语信息和/或语音信息；对所述驾驶员的唇语信息和/或所述语音信息进行识别；当所述唇语信息和/或所述语音信息为调整所述AR‑HUD系统虚像的调整信息时，根据所述调整信息对所述AR‑HUD系统虚像的位置进行调整。本申请实施例通过唇语信息和/或语音信息对AR‑HUD系统的虚像位置进行调整，使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，且满足因驾驶员的高度不同和驾驶习惯不同而造成对不同虚像位置的需求，从而提高了驾驶员的安全性和舒适性。

Description

AR-HUD系统的虚像位置调整方法、装置及存储介质
技术领域
本申请实施例涉及智能汽车驾驶技术领域，特别涉及一种AR-HUD(AugmentedReality Head Up Display，增强现实抬头显示器)系统的虚像位置调整方法、装置及存储介质。
背景技术
随着社会的不断发展，汽车已经成为人们日常生活不可或缺的交通工具。但是，随着汽车数量的增多，交通事故发生的频率也越来越高。为了提高驾驶安全性，能够通过AR-HUD系统辅助汽车进行驾驶。AR-HUD系统能够将驾驶员驾驶时需要的一些重要信息投射到汽车前挡风玻璃上，显示虚像与汽车周围的实景融合，融合实景的光线经过反射摄入驾驶员眼睛，使驾驶员看到与实景融合的虚像，从而驾驶员不需要低头查看仪表，眼睛始终注视前方路面，改善了因低头对安全驾驶的影响。但是，由于驾驶汽车的驾驶员可能会发生更换，驾驶员的高矮不一致，驾驶习惯不一致，从而对虚像的位置要求也不一样，因此，需要对虚像位置进行调整。
目前，能够在汽车内设置调整虚像位置的硬件开关，驾驶员通过硬件开关对虚像位置进行调整。但是，由于有时候驾驶员无法找到该硬件开关，导致驾驶员驾驶体验差，降低了用户粘度。
发明内容
本申请实施例提供了一种AR-HUD系统的虚像位置调整方法、装置及存储介质，可以用于解决相关技术中AR-HUD系统虚像位置调整不方便，导致驾驶舒适性和安全性低的问题。所述技术方案如下：
一方面，提供了一种AR-HUD系统的虚像位置调整方法，所述方法包括：
在启动增强现实抬头显示器AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息；
对所述驾驶员的唇语信息和/或所述语音信息进行识别；
当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整。
在一些实施例中，所述获取驾驶员的唇语信息和/或语音信息，包括：
通过所述汽车安装的摄像头获取所述驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；
从所述指定数量的行为图像中识别所述驾驶员的唇语信息。
在一些实施例中，所述对所述驾驶员的唇语信息和/或所述语音信息进行识别，包括：
将所述唇语信息存储的多种参考唇语信息进行的对比，和/或，将所述语音信息与存储的多种参考语音信息进行对比；
当所述多种参考唇语信息中存在与所述唇语信息相匹配的参考唇语信息时，获取所述参考唇语信息对应的第一调整方向和第一调整距离，和/或，当所述多种参考语音信息中存在与所述语音信息相匹配的参考语音信息时，获取所述参考语音信息对应的第二调整方向和第二调整距离；
将所述第一调整方向和所述第一调整距离，确定为所述调整信息，和/或，将所述第二调整方向和所述第二调整距离，确定为所述调整信息。
在一些实施例中，所述当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整，包括：
当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，获取所述AR-HUD系统虚像当前所处位置；
按照所述调整信息包括的第一调整距离和第一调整方向，和/或，所述调整信息包括的第二调整距离和第二调整方向，在所述AR-HUD系统虚像当前所处位置基础上对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置，所述曲面镜用于投影所述AR-HUD系统虚像。
在一些实施例中，所述获取所述AR-HUD系统虚像当前所处位置，包括：
获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
根据所述曲面镜的位置和投影角度，确定所述AR-HUD系统虚像当前所处位置。
另一方面，提供了一种AR-HUD系统的虚像位置调整装置，所述装置包括：
获取模块，用于在启动增强现实抬头显示器AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息；
识别模块，用于对所述驾驶员的唇语信息和/或所述语音信息进行识别；
调整模块，用于当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整。
在一些实施例中，所述获取模块包括：
第一获取子模块，用于通过所述汽车安装的摄像头获取所述驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；
识别模块，用于从所述指定数量的行为图像中识别所述驾驶员的唇语信息。
在一些实施例中，所述识别模块包括：
对比子模块，用于将所述唇语信息存储的多种参考唇语信息进行的对比，和/或，将所述语音信息与存储的多种参考语音信息进行对比；
第二获取子模块，用于当所述多种参考唇语信息中存在与所述唇语信息相匹配的参考唇语信息时，获取所述参考唇语信息对应的第一调整方向和第一调整距离，和/或，当所述多种参考语音信息中存在与所述语音信息相匹配的参考语音信息时，获取所述参考语音信息对应的第二调整方向和第二调整距离；
确定子模块，用于将所述第一调整方向和所述第一调整距离，确定为所述调整信息，和/或，将所述第二调整方向和所述第二调整距离，确定为所述调整信息。
在一些实施例中，所述调整模块包括：
第三获取子模块，用于当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，获取所述AR-HUD系统虚像当前所处位置；
调整子模块，用于按照所述调整信息包括的第一调整距离和第一调整方向，和/或，所述调整信息包括的第二调整距离和第二调整方向，在所述AR-HUD系统虚像当前所处位置基础上对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置，所述曲面镜用于投影所述AR-HUD系统虚像。
在一些实施例中，所述第三获取子模块用于：
获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
根据所述曲面镜的位置和投影角度，确定所述AR-HUD系统虚像当前所处位置。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述一种AR-HUD系统的虚像位置调整方法中的任一步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，能够通过唇语信息和/或语音信息对AR-HUD系统的虚像位置进行调整，无需通过硬件开关进行调整，提高了虚像调整的便捷性，同时使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，且满足因驾驶员的高度不同和驾驶习惯不同而造成对不同虚像位置的需求，从而提高了驾驶员的安全性和舒适性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种AR-HUD系统的虚像位置调整系统架构示意图；
图2是本申请实施例提供的一种AR-HUD系统的虚像位置调整方法流程图；
图3是本申请实施例提供的另一种AR-HUD系统的虚像位置调整方法流程图；
图4是本申请实施例提供的一种AR-HUD系统的虚像位置调整装置的结构示意图；
图5是本申请实施例提供的一种获取模块的结构示意图；
图6是本申请实施例提供的一种识别模块的结构示意图；
图7是本申请实施例提供的一种调整模块的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的一种AR-HUD系统的虚像位置调整方法进行详细的解释说明之前，先对本申请实施例提供的应用场景及系统架构进行说明。
随着社会的不断发展，汽车已经成为人们日常生活不可或缺的交通工具，随之而来的交通安全问题越来越严重，交通事故已经成为当今社会人民生命财产的第一杀手。因此，汽车安全成为未来汽车发展的一个主要方向。AR-HUD系统是一种汽车辅助视觉安全驾驶系统，该系统是将驾驶员驾驶时需要的一些重要信息通过此AR-HUD系统的光路投射到汽车前档风窗玻璃上，从而驾驶员不需要低头查看仪表板，眼睛始终注视前视野路面，降低了因低头对安全驾驶的影响。由于驾驶汽车的驾驶员可能会发生更换，驾驶员的高矮不一致，驾驶习惯不一致，从而对虚像的位置要求也不一样，因此，需要对虚像位置进行调整。
基于这样的应用场景，本申请实施例提供了一种提高驾驶安全性和舒适性的AR-HUD系统的虚像位置调整方法。
接下来，对本申请实施例提供的一种AR-HUD系统的虚像位置调整系统架构进行说明。
图1为本申请实施例提供的一种AR-HUD系统的虚像位置调整系统架构示意图，参见图1，该系统架构包括音响主机1、摄像头2、库文件模块3、光机控制器4、步进电机5、曲面镜6和麦克风7。音响主机1分别与摄像头2、库文件模块3、光机控制器4和麦克风7连接，光机控制器4还与步进电机5连接，步进电机5与曲面镜6连接。
作为一种示例，摄像头2用于获取驾驶员的唇语信息和眼球位置等，并将获取的驾驶员的唇语信息和眼球位置发送至音响主机1，麦克风7用于获取驾驶员的语音信息，并将语音信息发送至音响主机1。音响主机1用于接收摄像头2发送的唇语信息和眼球位置，并接收麦克风7发送的语音信息，对驾驶员的唇语信息和/或语音信息进行识别，当唇语信息和/或语音信息为调整AR-HUD系统虚像的调整信息时，将调整信息发送至光机控制器4；光机控制器4将调整信息至步进电机5；步进电机5用于根据调整信息对曲面镜6进行调整，以调整AR-HUD系统的虚像位置。
本领域技术人员应能理解上述系统架构仅为举例，其他现有的或今后可能出现的模块、元器件等如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图2是本申请实施例提供的一种AR-HUD系统的虚像位置调整方法流程图，该AR-HUD系统的虚像位置调整方法可以包括如下几个步骤：
步骤201：在启动增强现实抬头显示器AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息。
步骤202：对该驾驶员的唇语信息和/或该语音信息进行识别。
步骤203：当该唇语信息和/或该语音信息为调整该AR-HUD系统虚像的调整信息时，根据该调整信息对该AR-HUD系统虚像的位置进行调整。
在本申请实施例中，能够通过唇语信息和/或语音信息对AR-HUD系统的虚像位置进行调整，无需通过硬件开关进行调整，提高了虚像调整的便捷性，同时使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，且满足因驾驶员的高度不同和驾驶习惯不同而造成对不同虚像位置的需求，从而提高了驾驶员的安全性和舒适性。
在一些实施例中，该获取驾驶员的唇语信息和/或语音信息，包括：
通过该汽车安装的摄像头获取该驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；
从该指定数量的行为图像中识别该驾驶员的唇语信息。
在一些实施例中，对该驾驶员的唇语信息和/或该语音信息进行识别，包括：
将该唇语信息存储的多种参考唇语信息进行的对比，和/或，将该语音信息与存储的多种参考语音信息进行对比；
当该多种参考唇语信息中存在与该唇语信息相匹配的参考唇语信息时，获取该参考唇语信息对应的第一调整方向和第一调整距离，和/或，当该多种参考语音信息中存在与该语音信息相匹配的参考语音信息时，获取该参考语音信息对应的第二调整方向和第二调整距离；
将该第一调整方向和该第一调整距离，确定为该调整信息，和/或，将该第二调整方向和该第二调整距离，确定为该调整信息。
在一些实施例中，当该唇语信息和/或该语音信息为调整该AR-HUD系统虚像的调整信息时，根据该调整信息对该AR-HUD系统虚像的位置进行调整，包括：
当该唇语信息和/或该语音信息为调整该AR-HUD系统虚像的调整信息时，获取该AR-HUD系统虚像当前所处位置；
按照该调整信息包括的第一调整距离和第一调整方向，和/或，该调整信息包括的第二调整距离和第二调整方向，在该AR-HUD系统虚像当前所处位置基础上对该AR-HUD系统中的曲面镜进行调整，以调整该AR-HUD系统的虚像位置，该曲面镜用于投影该AR-HUD系统虚像。
在一些实施例中，获取该AR-HUD系统虚像当前所处位置，包括：
获取该AR-HUD系统中曲面镜的位置和投影角度，该曲面镜用于投影该AR-HUD系统虚像；
根据该曲面镜的位置和投影角度，确定该AR-HUD系统虚像当前所处位置。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
图3是本申请实施例提供的一种AR-HUD系统的虚像位置调整方法流程图，本实施例以该AR-HUD系统的虚像位置调整方法应用于中进行举例说明，该AR-HUD系统的虚像位置调整方法可以包括如下几个步骤：
步骤301：在启动AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息。
由于驾驶员在驾驶汽车时，如果察觉出AR-HUD系统的虚像位置不合适，可能会通过一些动作对AR-HUD系统的虚像位置进行调整，因此，为了避免错过驾驶员的调整动作，汽车能够在启动AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息。
作为一种示例，汽车获取驾驶员的唇语信息和/或语音信息的操作至少包括：通过汽车安装的摄像头获取驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；从指定数量的行为图像中识别驾驶员的唇语信息。
需要说明的是，指定数量能够根据需求事先进行设置，比如，该指定数量能够为3帧、5帧等等。
由于驾驶员在通过唇语信息调整AR-HUD系统虚像的位置时，唇语手势动作执行的是一个动态的过程，因此，为了避免错过一些唇语信息，汽车需要获取指定数量的行为图像，并从指定数量的行为图像中进行图像识别，从而获取到驾驶员的唇语信息。
作为一种示例，汽车能够在启动AR-HUD系统后，立即获取一次驾驶员的唇语信息和/或语音信息，也能够在接收到获取指令时，获取驾驶员的唇语信息和/或语音信息，也能够实时获取驾驶员的唇语信息和/或语音信息，还能够在启动AR-HUD系统后的指定时长内，获取驾驶员的唇语信息和/或语音信息。
需要说明的是，该获取指令能够为驾驶员通过指定操作作用在汽车的虚拟开关或硬件开关时触发，该指定操作能够为点击操作、滑动操作、拨动操作、按动操作、语音操作等等。指定时长同样能够根据需求事先进行设置，比如，该指定时长能够为10分钟、5分钟、1分钟等等。
步骤302：汽车对驾驶员的唇语信息和/或语音信息进行识别。
由于关于AR-HUD系统虚像的调整信息包含在唇语信息和/或语音信息中，且唇语信息和/或语音信息不一定是调整信息，因此，为了确定唇语信息和/或语音信息是否为调整信息，以及为了准确的对AR-HUD系统进行调整，汽车需要对驾驶员的唇语信息和/或语音信息进行识别。
作为一种示例，汽车对驾驶员的唇语信息和/或语音信息进行识别的操作包括：将唇语信息存储的多种参考唇语信息进行的对比，和/或，将语音信息与存储的多种参考语音信息进行对比；当多种参考唇语信息中存在与唇语信息相匹配的参考唇语信息时，获取参考唇语信息对应的第一调整方向和第一调整距离，和/或，当多种参考语音信息中存在与语音信息相匹配的参考语音信息时，获取参考语音信息对应的第二调整方向和第二调整距离；将第一调整方向和第一调整距离，确定为调整信息，和/或，将第二调整方向和第二调整距离，确定为调整信息。
需要说明的是，多种参考唇语信息存储与唇语库文件中，汽车能够通过摄像头输入的唇语信息和唇语库文件里的参考唇语信息进行对比，唇语库文件里的参考唇语信息能够包括“AR-HUD”“虚像”“把”“调节”“调”“调整”“到”“位置”“向上”“向下”“向左”“向右”“5mm(毫米)”“10mm”“15mm”“20mm”“25mm”“30mm”“35mm”“40mm”“45mm”“50mm”“最佳”等词语。同时，汽车还能够通过算法组成句子如“把AR-HUD虚像向上调到最佳位置”“把AR-HUD虚像向下调整10mm”“把AR-HUD虚像向左调节50mm”“把AR-HUD虚像向右调整最佳位置”等口型(唇语)，从而当驾驶员是聋哑人时，可以使用唇语进行调节。
还需要说明的是，多种参考语音信息存储与语音库文件中，汽车能够通过麦克风输入的语音信息与语音库文件里的参考语音信息进行对比，语音库文件里的参考语音信息能够包括“AR-HUD”“虚像”“把”“调节”“调”“调整”“到”“位置”“向上”“向下”“向左”“向右”“5mm”“10mm”“15mm”“20mm”“25mm”“30mm”“35mm”“40mm”“45mm”“50mm”“最佳”等词语，同时汽车能够通过算法组成句子如“把AR-HUD虚像向上调到最佳位置”“把AR-HUD虚像向下调整10mm”“把AR-HUD虚像向左调节50mm”“把AR-HUD虚像向右调整最佳位置”等句子，汽车能够将语音库文件中关于AR-HUD系统虚像位置调整的所有可能的句子都通过算法进行组合并存储。
步骤303：当唇语信息和/或语音信息为调整AR-HUD系统虚像的调整信息时，汽车根据调整信息对AR-HUD系统虚像的位置进行调整。
作为一种示例，当唇语信息和/或语音信息为调整AR-HUD系统虚像的调整信息时，汽车根据调整信息对AR-HUD系统虚像的位置进行调整的操作包括：当唇语信息和/或语音信息为调整AR-HUD系统虚像的调整信息时，获取AR-HUD系统虚像当前所处位置；按照调整信息包括的第一调整距离和第一调整方向，和/或，按照调整信息包括的第二调整距离和第二调整方向，在AR-HUD系统虚像当前所处位置基础上对AR-HUD系统中的曲面镜进行调整，以调整AR-HUD系统的虚像位置，该曲面镜用于投影AR-HUD系统虚像。
由于在调整AR-HUD系统虚像的位置时是在AR-HUD系统虚像的当前所处位置基础进行调整，因此，汽车需要获取AR-HUD系统虚像当前所处位置。
作为一种示例，汽车获取AR-HUD系统虚像当前所处位置的操作包括：获取AR-HUD系统中曲面镜的位置和投影角度，曲面镜用于投影AR-HUD系统虚像；根据曲面镜的位置和投影角度，确定AR-HUD系统虚像当前所处位置。
由于AR-HUD虚像最后是一系列光学元件进行处理、反射等操作后最终通过曲面镜(也属于光学元件)反射后显示的，且曲面镜面积比较大且位置是可变动的，而其他光学元件中有的元件结构固定位置不可变动，有的长期调整易出现故障，因此，为了避免出现故障，通常选择调解曲面镜来调整AR-HUD虚像的位置，也即是，曲面镜的位置和投影角度均会影响AR-HUD虚像的位置。因此，为了确定AR-HUD系统虚像当前所处位置，汽车需要确定曲面镜的位置和投影角度。
在一些实施例中，汽车能够根据曲面镜的位置确定曲面镜与前挡风玻璃之间的距离，根据该距离和曲面镜的投影角度，确定AR-HUD系统虚像在前挡风玻璃上的位置。
需要说明的是，汽车确定AR-HUD系统虚像在前挡风玻璃上的位置时，能够通过AR-HUD系统虚像中参考点位置来代替表示AR-HUD系统虚像的位置，对AR-HUD系统虚像的位置进行调整可以通过调整参考点位置来实现，且为了便于调整AR-HUD虚像位置，该参考点位置优先选择AR-HUD系统虚像中的中心点位置。
在一些实施例中，由于步进电机用于调整AR-HUD系统中曲面镜的位置，步进电机的位置、曲面镜的位置和AR-HUD系统虚像的位置是一一对应的，因此，汽车还能够根据步进电机的位置确定AR-HUD系统虚像的位置，进而根据AR-HUD系统虚像的位置确定参考点位置。
需要说明的是，在本申请实施例中，参考点位置能够通过三维坐标表示。
在一些实施例中，汽车能够单独通过唇语信息对AR-HUD系统虚像的位置进行调整，也能够单独通过对AR-HUD系统虚像的位置进行调整，当然还能够同时通过唇语信息和语音信息对AR-HUD系统虚像的位置进行调整。
由于通常情况下，唇语信息与语音信息是中包括的调整距离和调整方向是相同的，但是有时候汽车可能在进行唇语信息的识别或语音信息的识别时出现失误，导致识别出的唇语信息和语音信息不相同，此时，汽车能够将语音信息作为调整信息对AR-HUD系统虚像的位置进行调整。也即是，当唇语信息和语音信息之间的调整信息不相同时，优先按照语音信息对AR-HUD系统虚像的位置进行调整。
在一些实施例中，汽车还能够获取驾驶员的眼球位置，并根据驾驶员的眼球位置和调整信息对AR-HUD系统虚像的位置进行调整。比如，由于驾驶员的行为图像中包括了驾驶员的眼球情况，因此，汽车能够从已获取的行为图像中获取驾驶员的眼球位置，当然，为了获取信息的准确性，汽车还能够重新通过摄像头获取驾驶员的行为图像，并从重新获取的行为图像中识别驾驶员的眼球位置；当驾驶员的眼球位置与调整信息中包括的调整方向相反时，汽车能够不对AR-HUD系统虚像的位置进行调整；当驾驶员的眼球位置与调整信息中包括的调整方向相同时，按照调整信息对AR-HUD系统虚像的位置进行调整。
在本申请实施例中，汽车能够通过唇语信息和/或语音信息对AR-HUD系统的虚像位置进行调整，无需通过硬件开关进行调整，提高了虚像调整的便捷性，同时使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，且满足因驾驶员的高度不同和驾驶习惯不同而造成对不同虚像位置的需求，从而提高了驾驶员的安全性和舒适性。
图4是本申请实施例提供的一种AR-HUD系统的虚像位置调整装置的结构示意图，该AR-HUD系统的虚像位置调整装置可以由软件、硬件或者两者的结合实现。该AR-HUD系统的虚像位置调整装置可以包括：获取模块401、识别模块402和调整模块403。
获取模块401，用于在启动增强现实抬头显示器AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息；
识别模块402，用于对所述驾驶员的唇语信息和/或所述语音信息进行识别；
调整模块403，用于当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整。
在一些实施例中，参见图5，所述获取模块401包括：
第一获取子模块4011，用于通过所述汽车安装的摄像头获取所述驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；
识别模块4012，用于从所述指定数量的行为图像中识别所述驾驶员的唇语信息。
在一些实施例中，参见图6，所述识别模块402包括：
对比子模块4021，用于将所述唇语信息存储的多种参考唇语信息进行的对比，和/或，将所述语音信息与存储的多种参考语音信息进行对比；
第二获取子模块4022，用于当所述多种参考唇语信息中存在与所述唇语信息相匹配的参考唇语信息时，获取所述参考唇语信息对应的第一调整方向和第一调整距离，和/或，当所述多种参考语音信息中存在与所述语音信息相匹配的参考语音信息时，获取所述参考语音信息对应的第二调整方向和第二调整距离；
确定子模块4023，用于将所述第一调整方向和所述第一调整距离，确定为所述调整信息，和/或，将所述第二调整方向和所述第二调整距离，确定为所述调整信息。
在一些实施例中，参见图7，所述调整模块403包括：
第三获取子模块4031，用于当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，获取所述AR-HUD系统虚像当前所处位置；
调整子模块4032，用于按照所述调整信息包括的第一调整距离和第一调整方向，和/或，所述调整信息包括的第二调整距离和第二调整方向，在所述AR-HUD系统虚像当前所处位置基础上对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置，所述曲面镜用于投影所述AR-HUD系统虚像。
在一些实施例中，所述第三获取子模块4031用于：
获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
根据所述曲面镜的位置和投影角度，确定所述AR-HUD系统虚像当前所处位置。
在本申请实施例中，汽车能够通过唇语信息和/或语音信息对AR-HUD系统的虚像位置进行调整，无需通过硬件开关进行调整，提高了虚像调整的便捷性，同时使驾驶员在驾驶过程中既不影响驾驶视野又能方便获取所需信息，且满足因驾驶员的高度不同和驾驶习惯不同而造成对不同虚像位置的需求，从而提高了驾驶员的安全性和舒适性。
需要说明的是：上述实施例提供的AR-HUD系统的虚像位置调整装置在调整AR-HUD系统的虚像位置时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的AR-HUD系统的虚像位置调整装置与AR-HUD系统的虚像位置调整方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的AR-HUD系统的虚像位置调整方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的AR-HUD系统的虚像位置调整方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种AR-HUD系统的虚像位置调整方法，其特征在于，所述方法包括：
在启动增强现实抬头显示器AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息；
对所述驾驶员的唇语信息和/或所述语音信息进行识别；
当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整。
2.如权利要求1所述的方法，其特征在于，所述获取驾驶员的唇语信息和/或语音信息，包括：
通过所述汽车安装的摄像头获取所述驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；
从所述指定数量的行为图像中识别所述驾驶员的唇语信息。
3.如权利要求1所述的方法，其特征在于，所述对所述驾驶员的唇语信息和/或所述语音信息进行识别，包括：
将所述唇语信息存储的多种参考唇语信息进行的对比，和/或，将所述语音信息与存储的多种参考语音信息进行对比；
当所述多种参考唇语信息中存在与所述唇语信息相匹配的参考唇语信息时，获取所述参考唇语信息对应的第一调整方向和第一调整距离，和/或，当所述多种参考语音信息中存在与所述语音信息相匹配的参考语音信息时，获取所述参考语音信息对应的第二调整方向和第二调整距离；
将所述第一调整方向和所述第一调整距离，确定为所述调整信息，和/或，将所述第二调整方向和所述第二调整距离，确定为所述调整信息。
4.如权利要求1所述的方法，其特征在于，所述当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整，包括：
当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，获取所述AR-HUD系统虚像当前所处位置；
按照所述调整信息包括的第一调整距离和第一调整方向，和/或，所述调整信息包括的第二调整距离和第二调整方向，在所述AR-HUD系统虚像当前所处位置基础上对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置，所述曲面镜用于投影所述AR-HUD系统虚像。
5.如权利要求4所述的方法，其特征在于，所述获取所述AR-HUD系统虚像当前所处位置，包括：
获取所述AR-HUD系统中曲面镜的位置和投影角度，所述曲面镜用于投影所述AR-HUD系统虚像；
根据所述曲面镜的位置和投影角度，确定所述AR-HUD系统虚像当前所处位置。
6.一种AR-HUD系统的虚像位置调整装置，其特征在于，所述装置包括：
获取模块，用于在启动增强现实抬头显示器AR-HUD系统后，获取驾驶员的唇语信息和/或语音信息；
识别模块，用于对所述驾驶员的唇语信息和/或所述语音信息进行识别；
调整模块，用于当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，根据所述调整信息对所述AR-HUD系统虚像的位置进行调整。
7.如权利要求6所述的装置，其特征在于，所述获取模块包括：
第一获取子模块，用于通过所述汽车安装的摄像头获取所述驾驶员的指定数量的行为图像，和/或，通过麦克风获取驾驶员的语音信息；
识别模块，用于从所述指定数量的行为图像中识别所述驾驶员的唇语信息。
8.如权利要求6所述的装置，其特征在于，所述识别模块包括：
对比子模块，用于将所述唇语信息存储的多种参考唇语信息进行的对比，和/或，将所述语音信息与存储的多种参考语音信息进行对比；
第二获取子模块，用于当所述多种参考唇语信息中存在与所述唇语信息相匹配的参考唇语信息时，获取所述参考唇语信息对应的第一调整方向和第一调整距离，和/或，当所述多种参考语音信息中存在与所述语音信息相匹配的参考语音信息时，获取所述参考语音信息对应的第二调整方向和第二调整距离；
确定子模块，用于将所述第一调整方向和所述第一调整距离，确定为所述调整信息，和/或，将所述第二调整方向和所述第二调整距离，确定为所述调整信息。
9.如权利要求6所述的装置，其特征在于，所述调整模块包括：
第三获取子模块，用于当所述唇语信息和/或所述语音信息为调整所述AR-HUD系统虚像的调整信息时，获取所述AR-HUD系统虚像当前所处位置；
调整子模块，用于按照所述调整信息包括的第一调整距离和第一调整方向，和/或，所述调整信息包括的第二调整距离和第二调整方向，在所述AR-HUD系统虚像当前所处位置基础上对所述AR-HUD系统中的曲面镜进行调整，以调整所述AR-HUD系统的虚像位置，所述曲面镜用于投影所述AR-HUD系统虚像。
10.一种可读存储介质，其特征在于，所述存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1至权利要求5中的任一项权利要求所述的方法的步骤。
CN202110326580.3A 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质 Pending CN113002461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110326580.3A CN113002461A (zh) 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110326580.3A CN113002461A (zh) 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113002461A true CN113002461A (zh) 2021-06-22

Family

ID=76407780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326580.3A Pending CN113002461A (zh) 2021-03-26 2021-03-26 Ar-hud系统的虚像位置调整方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113002461A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117191A1 (en) * 2002-09-12 2004-06-17 Nambi Seshadri Correlating video images of lip movements with audio signals to improve speech recognition
CN102023703A (zh) * 2009-09-22 2011-04-20 现代自动车株式会社 组合唇读与语音识别的多模式界面系统
CN106125306A (zh) * 2016-06-28 2016-11-16 科世达（上海）管理有限公司 一种抬头显示系统、车辆控制系统及车辆
CN106226905A (zh) * 2016-08-23 2016-12-14 北京乐驾科技有限公司 一种抬头显示装置
CN108459520A (zh) * 2018-02-02 2018-08-28 斑马网络技术有限公司 用于车辆的自动显示方法及其系统
CN108725199A (zh) * 2017-04-21 2018-11-02 中车株洲电力机车研究所有限公司 一种基于语音操控的显示系统、方法及应用
JP2020126098A (ja) * 2019-02-01 2020-08-20 株式会社Ｊｖｃケンウッド 表示装置および表示装置の設置方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117191A1 (en) * 2002-09-12 2004-06-17 Nambi Seshadri Correlating video images of lip movements with audio signals to improve speech recognition
CN102023703A (zh) * 2009-09-22 2011-04-20 现代自动车株式会社 组合唇读与语音识别的多模式界面系统
CN106125306A (zh) * 2016-06-28 2016-11-16 科世达（上海）管理有限公司 一种抬头显示系统、车辆控制系统及车辆
CN106226905A (zh) * 2016-08-23 2016-12-14 北京乐驾科技有限公司 一种抬头显示装置
CN108725199A (zh) * 2017-04-21 2018-11-02 中车株洲电力机车研究所有限公司 一种基于语音操控的显示系统、方法及应用
CN108459520A (zh) * 2018-02-02 2018-08-28 斑马网络技术有限公司 用于车辆的自动显示方法及其系统
JP2020126098A (ja) * 2019-02-01 2020-08-20 株式会社Ｊｖｃケンウッド 表示装置および表示装置の設置方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP3160108B2 (ja) 運転支援システム
CN111252074B (zh) 多模态控制方法、装置、计算机可读存储介质和车辆
JP2017215816A (ja) 情報表示装置、情報表示システム、情報表示方法及びプログラム
CN108099790A (zh) 基于增强现实平视显示与多屏语音交互的驾驶辅助系统
CN110733447A (zh) 基于驾驶员身份自动调节hud的方法、系统、计算机可读存储介质及车辆
CN107310476A (zh) 基于车载hud的眼动辅助语音交互方法及系统
US9826206B2 (en) Display control device, projection device, and non-transitory storage medium
US20190339535A1 (en) Automatic eye box adjustment
WO2015151457A1 (ja) 情報表示システム
JP2014120111A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
CN109968979A (zh) 车载投射处理方法、装置、车载设备及存储介质
CN113064279B (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
CN112558305A (zh) 显示画面的控制方法、装置、介质及抬头显示控制系统
JP2014120114A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
CN112026652A (zh) 一种基于眼球识别激光成像的后视图像抬头显示系统
CN113002461A (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2015210580A (ja) 表示システム及びウェアラブル機器
CN107472140B (zh) 一种眼控车载hud系统
EP2945139A1 (en) Display control device, display control method, display control program, and projection device
CN111435269A (zh) 车用平视显示设备的显示调节方法、系统、介质及终端
US11276378B2 (en) Vehicle operation system and computer readable non-transitory storage medium
JP2014120113A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
CN111923835A (zh) 一种基于车辆后视显示方法
CN112947761B (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210622