CN111252074A - 多模态控制方法、装置、计算机可读存储介质和车辆 - Google Patents

多模态控制方法、装置、计算机可读存储介质和车辆 Download PDF

Info

Publication number
CN111252074A
CN111252074A CN202010061270.9A CN202010061270A CN111252074A CN 111252074 A CN111252074 A CN 111252074A CN 202010061270 A CN202010061270 A CN 202010061270A CN 111252074 A CN111252074 A CN 111252074A
Authority
CN
China
Prior art keywords
information
vehicle
control
modal
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010061270.9A
Other languages
English (en)
Other versions
CN111252074B (zh
Inventor
张艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evergrande new energy vehicle (Tianjin) Co.,Ltd.
Original Assignee
Evergrande New Energy Vehicle Technology Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evergrande New Energy Vehicle Technology Guangdong Co Ltd filed Critical Evergrande New Energy Vehicle Technology Guangdong Co Ltd
Priority to CN202010061270.9A priority Critical patent/CN111252074B/zh
Publication of CN111252074A publication Critical patent/CN111252074A/zh
Application granted granted Critical
Publication of CN111252074B publication Critical patent/CN111252074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种多模态控制方法、装置、计算机可读存储介质和车辆。其中，该方法包括：获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。本申请实施例可以满足用户在多种情况下的使用需求。

Description

多模态控制方法、装置、计算机可读存储介质和车辆
技术领域
本申请涉及车辆技术领域，尤其涉及一种多模态控制方法、多模态控制装置、计算机可读存储介质和车辆。
背景技术
抬头显示(Heads Up Display，简称HUD)技术，又称为风窗玻璃显示，或者平视显示，它可以将重要的信息，映射在车辆的风窗玻璃上，使驾驶员不必低头，就能看清重要的信息。随着科技的发展，以增强现实(Augmented Reality，简称AR)技术为载体的HUD，即AR-HUD，可以直接将信息融合到实际的路况场景进行显示，与传统的HUD相比其显示的信息更加丰富、直观，能够更加有效的提高驾驶的安全性。
然而，现有的AR-HUD等车载设备的控制方式仍比较单一，无法满足用户在多种情况下的使用需求。
发明内容
本申请实施例提供一种多模态控制方法、多模态控制装置、计算机可读存储介质和车辆，可以满足用户在多种情况下的使用需求。
第一个方面，提供了一种多模态控制方法，包括：
获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；
根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；
根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
第二各方面，提供了一种多模态控制装置，其包括：
信息获取模块，用于获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；
数据处理模块，用于根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；
增强现实抬头显示模块，用于根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
第三个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多模态控制方法。
第四个方面，提供了一种车辆，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的多模态控制方法。
基于本申请实施例提供的多模态控制方法、多模态控制装置、计算机可读存储介质和车辆，通过获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示；根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种；集成眼动、语义、手势等多种交互方式对AR-HUD等车载设备进行控制，极大的方便驾驶车辆的用户的操控，可以提升用户的体验和安全性，满足用户在多种情况下的使用需求。
附图说明
为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例多模态控制方法的流程示意图；
图2为本申请实施例生成第一控制指令的一种实现方式的流程示意图；
图3为本申请实施例多模态控制方法的一种实现方式的流程示意图；
图4为本申请实施例从车辆的组合仪表获取车辆前风挡玻璃上显示的信息的一种实现方式的流程示意图；
图5为本申请实施例的多模态控制装置的一种组成结构示意图；
图6为本申请实施例的多模态控制装置的另一种组成结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
图1为本申请实施例多模态控制方法的流程示意图，图1所示的方法可以由车载设备执行，车载设备可以为车辆中的一种车载设备，也可以为车辆中几种车载设备的组合，例如：车载设备可以包括AR-HUD控制器、中控主机、传感器等，本申请实施例对车载设备的实现方式不作限定，如图1所示，该方法至少包括：
S102，获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种。
在本申请实施例中，多模态信息可以是指通过驾驶车辆的用户得到的具有多种来源或形式的信息，其中每一种信息的来源或形式可以被称为是一种模态，例如：信息的来源可以包括视频、语音、文字等，信息的形式可以包括眼动、手势、表情等，本申请实施例对多模态信息中包含的信息的来源和形式不作限定。
可选地，可以通过车载传感器采集驾驶车辆的用户的原始信息，然后通过车载中控主机利用机器学习对传感器采集的原始信息进行识别处理，获取驾驶车辆的用户的第一多模态信息；或者，可以通过车载中控主机从与中控主机连接的其它设备获取驾驶车辆的用户的第一多模态信息，例如与中控主机连接的其它设备为手机等，可以通过其它设备采集驾驶车辆的用户的原始信息，并利用机器学习对原始信息进行识别处理，得到驾驶车辆的用户的第一多模态信息；或者，可以通过车载中控主机从与中控主机连接的其它设备获取驾驶车辆的用户的原始信息，例如与中控主机连接的其它设备为手机等，然后通过中控主机利用机器学习对所获取的原始信息进行识别处理，获取驾驶车辆的用户的第一多模态信息；本申请实施例对获取第一多模态信息的实现方式不作限定。
在本申请实施例中，第一多模态信息可以包括第一眼动信息、第一语义信息和第一手势信息等信息中的至少一种，本申请实施例对第一多模态信息的内容不作限定。在一些可选的例子中，第一多模态信息可以包括第一眼动信息、第一语义信息和第一手势信息。在另一些可选的例子中，第一多模态信息可以包括第一眼动信息和第一语义信息。在又一些可选的例子中，第一多模态信息可以包括第一语义信息和第一手势信息。在再一些可选的例子中，第一多模态信息可以仅包括第一语义信息。
可选地，第一眼动信息可以包括：注视位置信息、注视方向信息、眨眼次数信息、眼球转动次数信息、眼球转动方向信息等，本申请实施例对第一眼动信息的内容不作限定。
可选地，可以通过车载摄像头采集驾驶车辆的用户的第一眼部图像，通过车载中控主机获取第一眼部图像，并对第一眼部图像进行眼动识别处理，得到第一眼动信息。可选地，可以通过车载麦克风采集驾驶车辆的用户的第一语音信息，通过车载中控主机获取第一语音信息，并对第一语音信息进行语音识别处理和语义理解处理，得到第一语义信息。可选地，可以通过采集第一眼部图像的摄像头采集驾驶车辆的用户的第一手部图像，通过车载中控主机获取第一手部图像，并对第一手部图像进行手势识别处理，得到第一手势信息。
可选地，可以采用现有的机器学习方法对第一眼部图像进行眼动识别处理，或者可以采用根据本申请设计的机器学习方法对第一眼部图像进行眼动识别处理，本申请实施例对眼动识别处理的实现方法不作限定。可选地，可以采用现有的机器学习方法对第一语音信息进行语音识别处理和语义理解处理，或者可以采用根据本申请设计的机器学习方法对第一语音信息进行语音识别处理和语义理解处理，本申请实施例对语音识别处理和语义理解处理的实现方法不作限定。可选地，可以采用现有的机器学习方法对第一手部图像进行手势识别处理，或者可以采用根据本申请设计的机器学习方法对第一手部图像进行手势识别处理，本申请实施例对手势识别处理的实现方法不作限定。
S104，根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示。
在本申请实施例中，第一控制指令可以是用于控制车辆的前风挡玻璃的信息显示的指令，例如：第一控制指令可以包括控制信息显示位置的指令、控制信息显示亮度的指令、控制信息显示模式的指令、控制信息显示内容的指令，等，本申请实施例对第一控制指令的内容不作限定。
可选地，可以预先设置第一预设控制策略，该第一控制策略可以包括各模态信息对应的控制指令，在获取第一多模态信息后，可以按照第一预设控制策略，确定第一多模态信息中各模态信息对应的控制指令，将第一多模态信息中各模态信息对应的控制指令作为第一控制指令；或者，可以预先设置第一预设控制策略，该第一控制策略既包括各模态信息对应的控制指令，又包括防止各模态信息对应的控制指令相冲突的处理策略，在获取第一多模态信息后，可以按照第一预设控制策略，确定第一多模态信息中各模态信息对应的控制指令，然后根据第一预设控制策略，对第一多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，得到第一控制指令；本申请实施例对按照第一预设控制策略生成第一控制指令的实现方式不作限定。
在一些可选的例子中，第一预设控制策略可以包括针对不同模态信息设置的不同控制指令，例如：可以针对第一眼动信息设置控制信息显示位置的指令，针对第一手势信息设置控制信息显示内容的指令，针对第一语义信息设置控制信息显示形式的指令，此时，在获取第一多模态信息后，可以按照第一预设控制策略，确定第一多模态信息中各种模态信息对应的控制指令，将第一多模态信息中各种模态信息对应的控制指令作为第一控制指令。
在另一些可选的例子中，第一预设控制策略可以包括针对不同模态信息设置的相冲突的控制指令，此时第一预设控制策略还包括防止各模态信息对应的控制指令相冲突的处理策略，例如：可以针对第一眼动信息设置控制信息显示位置的指令，针对第一手势信息设置控制信息显示内容的指令，针对第一语义信息设置控制信息显示位置、显示内容和显示形式的指令，在获取第一多模态信息后，可以按照第一预设控制策略，确定第一多模态信息中各种模态信息对应的控制指令，然后根据第一预设控制策略，对第一多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，以防止不同模态信息对应的控制指令相冲突，从而得到第一控制指令。
S106，根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
在本申请实施例中，车辆前风挡玻璃上显示的信息可以为符合AR-HUD技术的信息。可选地，车辆前风挡玻璃上显示的信息可以包括：车辆的基本信息，例如车速等信息，导航信息，例如路线、路况、行人、警告等信息，和其它信息，例如来电、短信提示等信息，本申请实施例对车辆前风挡玻璃上显示的信息的内容不作限定。可选地，可以通过将车载中控主机与车载组合仪表连接获取车辆的基本信息；可选地，可以通过将车载中控主机与车载高级驾驶辅助系统(Advanced Driving Assistant System，简称ADAS)连接获取导航信息；可选地，可以通过将车载中控主机与手机连接获取其他信息；本申请实施例对获取车辆前风挡波立上显示的信息的实现方式不作限定。
在本申请实施例中，可以根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作，对车辆前风挡玻璃上的信息显示进行相应的控制。可选地，执行第一操作可以包括：调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态等操作中的至少一种。本申请实施例对执行第一操作的内容不作限定。
可选地，调整信息显示的位置可以包括调整信息显示的高度等，例如：对信息显示的高度进行上升或下降调整。可选地，调整信息显示的形式可以包括调整信息显示的亮度、模式等，例如：对信息显示的亮度进行增强或减弱调整，对个性化设置的信息显示模式进行切换。可选地，调整信息显示的内容可以包括在同一类型的信息之间调整信息显示的内容、在不同类型的信息之间调整信息显示的内容等，例如：将信息显示的内容从路线信息调整为路况信息，将信息显示的内容从车辆的基本信息调整为导航信息。可选地，切换信息的状态可以包括切换信息的处理状态，例如：切换来电信息为接听或拒绝接听状态，切换短信提示信息为展示或不展示。
在一些可选的例子中，可以根据第一控制指令对车辆前风挡玻璃上显示的信息调整信息显示的位置，例如：可以根据注视位置信息生成的控制指令，调整车辆前风挡玻璃上显示的信息的显示高度。在另一些可选的例子中，可以根据第一控制指令对车辆前风挡玻璃上显示的信息调整信息显示的位置，并调整信息显示的形式，例如：可以根据语义信息生成的控制指令，调整车辆前风挡玻璃上显示的信息的显示高度和显示亮度。在又一些可选的例子中，可以根据第一控制指令对车辆前风挡玻璃上显示的信息调整信息显示的位置，并调整信息显示的内容，例如：可以根据注视位置信息和语义信息生成的控制指令，调整车辆前风挡玻璃上显示的信息的显示高度和显示内容。在再一些可选的例子中，可以根据第一控制指令对车辆前风挡玻璃上显示的信息切换信息的状态，例如：可以根据手势信息生成的控制指令，切换车辆前风挡玻璃上显示的来电信息的处理状态。
基于本申请实施例提供的多模态控制方法，通过获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示；根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种；集成眼动、语义、手势等多种交互方式对AR-HUD等车载设备进行控制，极大的方便驾驶车辆的用户的操控，可以提升用户的体验和安全性，满足用户在多种情况下的使用需求。
下面将结合图2至图4的实施例，对本申请的多模态控制方法进行详细说明。
图2为本申请实施例生成第一控制指令的一种实现方式的流程示意图，图2所示的方法通过预设优先级防止各模态信息对应的控制指令相冲突，如图2所示，该方法至少包括：
S202，按照预设控制策略，确定第一多模态信息中各种模态信息对应的控制指令。
在本申请实施例中，第一多模态信息可以包括对应于相冲突的控制指令的不同模态信息。例如：第一多模态信息可以包括对信息显示位置进行控制的第一眼动信息和第一语义信息，当第一眼动信息和第一语义信息对应于控制信息显示位置的指令时，第一眼动信息对应的控制信息显示位置的指令可能与第一语义信息对应的控制信息显示位置的指令相冲突。
S204，根据预设控制策略中的预设优先级，确定对应于相冲突的控制指令的不同模态信息的优先级；其中，预设优先级将不同模态信息定义为不同优先级。
在本申请实施例中，预设优先级将不同模态信息定义为不同优先级，例如：语义信息具有第一优先级，即最高优先级，眼动信息具有第二优先级，即仅次于最高优先级的优先级，手势信息具有第三优先级，即最低优先级，本申请实施例对预设优先级中不同模态信息的优先级的定义形式不作限定。
可选地，对于第一控制指令中用于控制信息显示的不同指令，在预设优先级中可以采用相同的优先级定义形式，例如：对于用于控制信息显示位置的指令和用于控制显示信息内容的指令，可以均采用语义信息具有第一优先级，眼动信息具有第二优先级，手势信息具有第三优先级的优先级定义形式；或者，对于第一控制指令中用于控制信息显示的不同指令，在预设优先级中也可以采用不同的优先级定义形式，例如：对于用于控制信息显示位置的指令，可以采用语义信息具有第一优先级，眼动信息具有第二优先级，手势信息具有第三优先级的优先级定义形式，对于用于控制显示信息内容的指令，可以采用语义信息具有第一优先级，手势信息具有第二优先级，眼动信息具有第三优先级的优先级定义形式。
可选地，在确定第一多模态信息中各种模态信息对应的控制指令后，可以根据相冲突的控制指令确定预设优先级中对应的优先级定义形式，然后根据所确定的优先级定义形式，确定对应于相冲突的控制指令的不同模态信息的优先级。
S206，根据优先级高的模态信息对应的相冲突的控制指令，得到第一控制指令。
在本申请实施例中，在确定对应于相冲突的控制指令的不同模态信息的优先级后，可以根据优先级高的模态信息对应的相冲突的控制指令，得到第一控制指令，而将其余优先级的模态信息对应的相冲突的控制指令抛弃，可以保证对同一控制目标控制指令的一致性，避免不同模态信息对应的控制指令相冲突。
图3为本申请实施例多模态控制方法的一种实现方式的流程示意图，图3所示的方法是从车辆的组合仪表获取车辆前风挡玻璃上显示的信息，如图3所示，该方法至少包括：
S302，从车辆的组合仪表获取车辆前风挡玻璃上显示的信息。
在本申请实施例中，车辆前风挡玻璃上显示的信息可以为从车辆的组合仪表获取，可以通过将车载中控主机与车辆的组合仪表连接，例如通过CAN总线连接，从车辆的组合仪表获取车辆前风挡玻璃上显示的信息。组合仪表可以通过接收驾驶车辆的用户输入的控制指令，将符合控制指令中预设条件的信息发送至中控主机，以用于在车辆前风挡玻璃上进行显示。可选地，用户输入的控制指令可以为用户通过对组合仪表的显示屏进行操作输入的控制指令；或者，用户输入的控制指令也可以为组合仪表通过获取用户的第二多模态信息生成的控制指令；本申请实施例对从车辆的组合仪表获取车辆前风挡玻璃上显示的信息的实现方式不作限定。
可选地，车辆的组合仪表可以为采用裸眼3D显示屏的组合仪表，以实现车辆信息的立体显示，增强组合仪表的显示效果。可选地，用于采集第一眼部图像和第一手部图像的摄像头可以与补光灯一同设置于组合仪表的显示屏的底部，以在不影响仪表显示的基础上，可以方便地采集驾驶车辆的用户的眼部图像和手部图像，通过将摄像头、补光灯与组合仪表集成设置，还可以减少在车内布置较多的零部件对车内空间造成的影响，可以降低开发成本，同时，通过设置两个摄像头来采集第一眼部图像和第一手部图像，可以有助于提高对第一眼部图像和第一手部图像识别的精度和准确性，减少误判的发生，提升驾驶的便利性和安全性。可选地，摄像头也可以设置于组合仪表的显示屏上其它不影响仪表显示的位置，本申请实施例对摄像头的设置位置不作限定。
可选地，用于采集第一语义信息的麦克风可以设置于车内顶灯的位置，与车载中控主机连接，以方便近距离地采集驾驶车辆的用户的语音信息，避免受到其它设备的干扰。
S304，将从组合仪表获取的信息以预设形式向前风挡玻璃上的预设位置进行投射。
在本申请实施例中，车载中控主机从组合仪表获取的信息可以通过AR-HUD控制器以预设形式向车辆前风挡玻璃上的预设位置进行投射，其中预设位置可以包括信息显示的高度等信息，预设形式可以包括信息显示的亮度、信息显示的模式等信息，本申请实施例对向车辆前风挡玻璃投射信息的位置和形式不作限定。可选地，预设位置和预设形式可以为AR-HUD控制器中存储的默认的投射位置信息和投射形式信息，该默认的投射位置信息和投射形式信息是基于对历史数据的统计分析获得；或者，预设位置和预设形式也可以为AR-HUD控制器中存储的前一次进行信息投射的投射位置信息和投射形式信息；本申请实施例对预设位置和预设形式的确定方法不作限定。
S306，在前风挡玻璃上显示从组合仪表获取的信息。
在本申请实施例中，通过以预设形式向车辆前风挡玻璃上的预设位置投射从组合仪表获取的信息，可以使从组合仪表获取的信息在前风挡玻璃上的预设位置以预设形式进行显示，此时在车辆前风挡玻璃上显示的信息应该为符合AR-HUD技术的信息。然而受到驾驶车辆的用户坐姿变化，对座椅位置和角度的调整，对方向盘位置的调整和光线变化等因素的影响，显示于车辆前风挡玻璃上的信息将不再符合AR-HUD技术的要求，此时需要通过获取驾驶车辆的用户的第一多模态信息对在车辆前风挡玻璃上显示的信息进行调整，使其符合AR-HUD技术的要求。
S308，获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种。
S310，根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示。
S312，根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
在本申请实施例中，对S308、S310、S312的说明可以参见图1中关于S102、S104、S106的说明，故在此不再复述。
图4为本申请实施例从车辆的组合仪表获取车辆前风挡玻璃上显示的信息的一种实现方式的流程示意图，图4所示的方法是通过获取用户的第二多模态信息从车辆的组合仪表获取车辆前风挡玻璃上显示的信息，如图4所示，该方法至少包括：
S402，获取驾驶车辆的用户的第二多模态信息；其中，第二多模态信息包括第二眼动信息、第二语义信息和第二手势信息中的至少一种。
在本申请实施例中，第二多模态信息可以包括第二眼动信息、第二语义信息和第二手势信息等信息中的至少一种，本申请实施例对第二多模态信息的内容不作限定。可选地，可以通过采集第一眼部图像的摄像头采集驾驶车辆的用户的第二眼部图像，通过车载中控主机获取第二眼部图像，并对第二眼部图像进行眼动识别处理，得到第二眼动信息。可选地，可以通过采集第一语音信息的麦克风采集驾驶车辆的用户的第二语音信息，通过车载中控主机获取第二语音信息，并对第二语音信息进行语音识别处理和语义理解处理，得到第二语义信息。可选地，可以通过采集第一手部图像的摄像头采集驾驶车辆的用户的第二手部图像，通过车载中控主机获取第二手部图像，并对第二手部图像进行手势识别处理，得到第二手势信息。
在本申请实施例中，对S402的说明可以参见图1中关于S102的说明，故在此不再复述。
S404，根据第二多模态信息按照第二预设控制策略生成第二控制指令；第二控制指令用于控制车辆的组合仪表的信息显示。
在本申请实施例中，第二控制指令可以是用于控制车辆的组合仪表的信息显示的指令，例如：第二控制指令可以包括切换信息显示内容的指令、信息放大显示的指令、用户提醒的指令、获取车辆前风挡玻璃上显示的信息的指令，等，本申请实施例对第二控制指令的内容不作限定。
在一些可选的例子中，第二预设控制策略可以包括针对不同模态信息设置的不同控制指令，例如：可以针对第二眼动信息设置控制信息放大显示的指令，针对第二手势信息设置切换信息显示内容的指令，针对第二语义信息设置获取车辆前风挡玻璃上显示的信息的指令，此时，在获取第二多模态信息后，可以按照第二预设控制策略，确定第二多模态信息中各种模态信息对应的控制指令，将第二多模态信息中各种模态信息对应的控制指令作为第二控制指令。
在另一些可选的例子中，第二预设控制策略可以包括针对不同模态信息设置的相冲突的控制指令，此时第二预设控制策略还包括防止各模态信息对应的控制指令相冲突的处理策略，例如：可以针对第二眼动信息设置获取车辆前风挡玻璃上显示的信息的指令，针对第二手势信息设置切换信息显示内容的指令，针对第二语义信息设置控制信息放大显示、切换信息显示内容和获取车辆前风挡玻璃上显示的信息的指令，在获取第二多模态信息后，可以按照第二预设控制策略，确定第二多模态信息中各种模态信息对应的控制指令，然后根据第二预设控制策略，对第二多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，以防止不同模态信息对应的控制指令相冲突，从而得到第二控制指令。
在本申请实施例中，对S404的说明可以参见图1中关于S104的说明，故在此不再复述。
S406，根据第二控制指令对车辆的组合仪表上显示的信息执行第二操作；其中，执行第二操作包括获取车辆前风挡玻璃上显示的信息。
在本申请实施例中，车辆的组合仪表上显示的信息可以为车辆的基本信息，例如车速、里程等信息。可以根据第二控制指令对车辆的组合仪表上显示的信息执行第二操作，对车辆的组合仪表上信息的显示进行相应的控制。可选地，执行第二操作可以包括：切换信息显示的内容、对信息进行放大显示、对用户进行提醒和获取车辆前风挡玻璃上显示的信息等操作中的至少一种。本申请实施例对执行第二操作的内容不作限定。
可选地，对信息进行放大显示可以包括放大显示预设区域内的信息等。可选地，对用户进行提醒可以包括对用户进行疲劳提醒等。可选地，切换信息显示的内容可以包括对组合仪表显示屏显示的信息整体进行切换等。可选地，获取车辆前风挡玻璃上显示的信息可以包括获取组合仪表当前显示的信息中的部分信息或全部信息，作为车辆前风挡玻璃上显示的信息。
在一些可选的例子中，可以根据第二控制指令对车辆组合仪表上显示的信息进行放大显示，例如：可以根据注视位置信息生成的控制指令，对车辆组合仪表上显示的信息中预设区域内的信息进行放大显示。在另一些可选的例子中，可以根据第二控制指令对用户进行提醒，例如：可以根据注视位置信息长时间停留在一个位置生成的控制指令，对用户进行疲劳提醒。在又一些可选的例子中，可以根据第二控制指令对车辆组合仪表上显示的信息切换信息显示的内容，例如：可以根据手势信息生成的控制指令，对组合仪表显示屏显示的信息整体进行切换。在再一些可选的例子中，可以根据第二控制指令从车辆组合仪表上显示的信息获取车辆前风挡玻璃上显示的信息，例如：可以根据语义信息生成的控制指令，获取组合仪表当前显示的信息中的部分信息，作为车辆前风挡玻璃上显示的信息。
对应上述图1至图4描述的多模态控制方法，基于相同的技术构思，本申请实施例还提供了一种多模态控制装置，该装置可以设置于车载设备中，车载设备可以为车辆中的一种车载设备，也可以为车辆中几种车载设备的组合，例如：车载设备可以包括AR-HUD控制器、中控主机、传感器等，本申请实施例对车载设备的实现方式不作限定，图5为本申请实施例的多模态控制装置的一种组成结构示意图，该装置用于执行图1至图4描述的多模态控制方法，如图5所示，该装置至少包括：信息获取模块510、数据处理模块520和增强现实抬头显示模块530，其中，信息获取模块510、数据处理模块520和增强现实抬头显示模块530依次连接。
信息获取模块510，用于获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种。
数据处理模块520，用于根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示。
增强现实抬头显示模块530，用于根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
在本申请实施例中，关于信息获取模块510、数据处理模块520和增强现实抬头显示模块530的说明可以参见图1中关于S102、S104、S106的说明，故在此不再复述。
基于本申请实施例提供的多模态控制装置，通过获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示；根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种；集成眼动、语义、手势等多种交互方式对AR-HUD等车载设备进行控制，极大的方便驾驶车辆的用户的操控，可以提升用户的体验和安全性，满足用户在多种情况下的使用需求。
可选地，信息获取模块510用于获取通过摄像头采集的用户的第一眼部图像，对第一眼部图像进行眼动识别处理，得到第一眼动信息；和/或，获取通过麦克风采集的用户的第一语音信息，对第一语音信息进行语音识别处理和语义理解处理，得到第一语义信息；和/或，获取通过摄像头采集的用户的第一手部图像，对第一手部图像进行手势识别处理，得到第一手势信息。
可选地，数据处理模块520，用于按照第一预设控制策略，确定第一多模态信息中各种模态信息对应的控制指令；根据第一预设控制策略，对第一多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，得到第一控制指令。
对应上述图3描述的多模态控制方法，基于相同的技术构思，本申请实施例还提供了一种多模态控制装置，该装置可以设置于车载设备中，车载设备可以为车辆中的一种车载设备，也可以为车辆中几种车载设备的组合，例如：车载设备可以包括AR-HUD控制器、中控主机、传感器等，本申请实施例对车载设备的实现方式不作限定，图6为本申请实施例的多模态控制装置的另一种组成结构示意图，该装置用于执行图3描述的多模态控制方法，如图6所示，该装置至少包括：信息获取单元610、信息投射单元620和显示单元630，其中，信息获取单元610、信息投射单元620和显示单元630依次连接，信息获取单元610包括信息获取模块510、数据处理模块520和增强现实抬头显示模块530。
信息获取单元610，用于从车辆的组合仪表获取车辆前风挡玻璃上显示的信息。
信息投射单元620，用于将从组合仪表获取的信息以预设形式向前风挡玻璃上的预设位置进行投射。
显示单元630，用于在前风挡玻璃上显示从组合仪表获取的信息。
在本申请实施例中，对信息获取单元610、信息投射单元620和显示单元630的说明可以参见图3中关于S302、S304、S306的说明，故在此不再复述。
可选地，信息获取模块510，还用于获取驾驶车辆的用户的第二多模态信息；其中，第二多模态信息包括第二眼动信息、第二语义信息和第二手势信息中的至少一种。
数据处理模块520，还用于根据第二多模态信息按照第二预设控制策略生成第二控制指令；第二控制指令用于控制车辆的组合仪表的信息显示。
增强现实抬头显示模块530，还用于根据第二控制指令对车辆的组合仪表上显示的信息执行第二操作；其中，执行第二操作包括获取车辆前风挡玻璃上显示的信息。
可选地，信息获取模块510，还用于获取通过摄像头采集的用户的第二眼部图像，对第二眼部图像进行眼动识别处理，得到第二眼动信息；和/或，获取通过麦克风采集的用户的第二语音信息，对第二语音信息进行语音识别处理和语义理解处理，得到第二语义信息；和/或，获取通过摄像头采集的用户的第二手部图像，对第二手部图像进行手势识别处理，得到第二手势信息。
可选地，数据处理模块520，还用于按照第二预设控制策略，分别确定第二多模态信息中各种模态信息对应的控制指令；根据第二预设控制策略，对第二多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，得到第二控制指令。
对应上述图1至图4描述的多模态控制方法，基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机可执行指令，该计算机可执行指令在被执行时实现以下流程：
获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；
根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；
根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
基于本申请实施例提供的计算机可读存储介质，通过获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示；根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种；集成眼动、语义、手势等多种交互方式对AR-HUD等车载设备进行控制，极大的方便驾驶车辆的用户的操控，可以提升用户的体验和安全性，满足用户在多种情况下的使用需求。
对应上述图1至图4描述的多模态控制方法，基于相同的技术构思，本申请实施例还提供了一种车辆，该车辆包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现以下流程：
获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；
根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；
根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
基于本申请实施例提供的车辆，通过获取驾驶车辆的用户的第一多模态信息；其中，第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；根据第一多模态信息按照第一预设控制策略生成第一控制指令；第一控制指令用于控制车辆的前风挡玻璃的信息显示；根据第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种；集成眼动、语义、手势等多种交互方式对AR-HUD等车载设备进行控制，极大的方便驾驶车辆的用户的操控，可以提升用户的体验和安全性，满足用户在多种情况下的使用需求。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种多模态控制方法，其特征在于，包括：
获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；
根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；
根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述获取驾驶车辆的用户的第一多模态信息，包括：
获取通过摄像头采集的所述用户的第一眼部图像，对所述第一眼部图像进行眼动识别处理，得到所述第一眼动信息；和/或，
获取通过麦克风采集的所述用户的第一语音信息，对所述第一语音信息进行语音识别处理和语义理解处理，得到所述第一语义信息；和/或，
获取通过所述摄像头采集的所述用户的第一手部图像，对所述第一手部图像进行手势识别处理，得到所述第一手势信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一多模态信息按照第一预设控制策略生成所述第一控制指令，包括：
按照所述第一预设控制策略，确定所述第一多模态信息中各种模态信息对应的控制指令；
根据所述第一预设控制策略，对所述第一多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，得到所述第一控制指令。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取驾驶车辆的用户的多模态信息之前，还包括:
从所述车辆的组合仪表获取所述车辆前风挡玻璃上显示的信息；
将从所述组合仪表获取的信息以预设形式向所述前风挡玻璃上的预设位置进行投射；
在所述前风挡玻璃上显示从所述组合仪表获取的所述信息。
5.根据权利要求4所述的方法，其特征在于，所述从所述车辆的组合仪表获取所述车辆前风挡玻璃上显示的信息，包括：
获取驾驶车辆的用户的第二多模态信息；其中，所述第二多模态信息包括第二眼动信息、第二语义信息和第二手势信息中的至少一种；
根据所述第二多模态信息按照第二预设控制策略生成第二控制指令；所述第二控制指令用于控制所述车辆的组合仪表的信息显示；
根据所述第二控制指令对所述车辆的组合仪表上显示的信息执行第二操作；其中，所述执行第二操作包括获取所述车辆前风挡玻璃上显示的信息。
6.根据权利要求5所述的方法，其特征在于，所述获取驾驶车辆的用户的第二多模态信息，包括：
获取通过所述摄像头采集的所述用户的第二眼部图像，对所述第二眼部图像进行眼动识别处理，得到所述第二眼动信息；和/或，
获取通过所述麦克风采集的所述用户的第二语音信息，对所述第二语音信息进行语音识别处理和语义理解处理，得到所述第二语义信息；和/或，
获取通过所述摄像头采集的所述用户的第二手部图像，对所述第二手部图像进行手势识别处理，得到所述第二手势信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第二多模态信息按照第二预设控制策略生成第二控制指令，包括：
按照所述第二预设控制策略，分别确定所述第二多模态信息中各种模态信息对应的控制指令；
根据所述第二预设控制策略，对所述第二多模态信息中各种模态信息对应的控制指令进行综合分析判断处理，得到所述第二控制指令。
8.一种多模态控制装置，其特征在于，其包括：
信息获取模块，用于获取驾驶车辆的用户的第一多模态信息；其中，所述第一多模态信息包括第一眼动信息、第一语义信息和第一手势信息中的至少一种；
数据处理模块，用于根据所述第一多模态信息按照第一预设控制策略生成第一控制指令；所述第一控制指令用于控制所述车辆的前风挡玻璃的信息显示；
增强现实抬头显示模块，用于根据所述第一控制指令对车辆前风挡玻璃上显示的信息执行第一操作；其中，所述执行第一操作包括调整信息显示的位置、调整信息显示的形式、调整信息显示的内容和切换信息的状态中的至少一种。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的多模态控制方法。
10.一种车辆，其特征在于，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1-7任一项所述的多模态控制方法。
CN202010061270.9A 2020-01-19 2020-01-19 多模态控制方法、装置、计算机可读存储介质和车辆 Active CN111252074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010061270.9A CN111252074B (zh) 2020-01-19 2020-01-19 多模态控制方法、装置、计算机可读存储介质和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010061270.9A CN111252074B (zh) 2020-01-19 2020-01-19 多模态控制方法、装置、计算机可读存储介质和车辆

Publications (2)

Publication Number Publication Date
CN111252074A true CN111252074A (zh) 2020-06-09
CN111252074B CN111252074B (zh) 2021-07-06

Family

ID=70944143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010061270.9A Active CN111252074B (zh) 2020-01-19 2020-01-19 多模态控制方法、装置、计算机可读存储介质和车辆

Country Status (1)

Country Link
CN (1) CN111252074B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522447A (zh) * 2020-06-17 2020-08-11 宁波视睿迪光电有限公司 显示切换方法、显示终端、电子设备和存储介质
CN112241204A (zh) * 2020-12-17 2021-01-19 宁波均联智行科技有限公司 一种车载ar-hud的手势交互方法和系统
CN112506125A (zh) * 2020-11-19 2021-03-16 北京蓦然认知科技有限公司 一种多模态控制方法、装置和系统
CN114407653A (zh) * 2022-01-21 2022-04-29 广东汇天航空航天科技有限公司 智能汽车屏幕显示控制方法、装置、系统及智能汽车
CN114839782A (zh) * 2022-06-07 2022-08-02 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001045080A1 (en) * 1999-12-15 2001-06-21 Automotive Technologies International, Inc. Interactive vehicle display system
US20090284552A1 (en) * 2008-05-19 2009-11-19 Honeywell International Inc. Methods and systems for operating avionic systems based on user gestures
CN204821176U (zh) * 2015-07-17 2015-12-02 樊强 一种可人机交互的抬头显示器
CN106353886A (zh) * 2016-10-12 2017-01-25 惠州市华阳多媒体电子有限公司 一种汽车智能抬头显示器
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法
CN109814448A (zh) * 2019-01-16 2019-05-28 北京七鑫易维信息技术有限公司 一种车载多模态控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001045080A1 (en) * 1999-12-15 2001-06-21 Automotive Technologies International, Inc. Interactive vehicle display system
US20090284552A1 (en) * 2008-05-19 2009-11-19 Honeywell International Inc. Methods and systems for operating avionic systems based on user gestures
CN204821176U (zh) * 2015-07-17 2015-12-02 樊强 一种可人机交互的抬头显示器
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法
CN106353886A (zh) * 2016-10-12 2017-01-25 惠州市华阳多媒体电子有限公司 一种汽车智能抬头显示器
CN109814448A (zh) * 2019-01-16 2019-05-28 北京七鑫易维信息技术有限公司 一种车载多模态控制方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522447A (zh) * 2020-06-17 2020-08-11 宁波视睿迪光电有限公司 显示切换方法、显示终端、电子设备和存储介质
CN111522447B (zh) * 2020-06-17 2024-04-16 宁波视睿迪光电有限公司 显示切换方法、显示终端、电子设备和存储介质
CN112506125A (zh) * 2020-11-19 2021-03-16 北京蓦然认知科技有限公司 一种多模态控制方法、装置和系统
CN112241204A (zh) * 2020-12-17 2021-01-19 宁波均联智行科技有限公司 一种车载ar-hud的手势交互方法和系统
CN114407653A (zh) * 2022-01-21 2022-04-29 广东汇天航空航天科技有限公司 智能汽车屏幕显示控制方法、装置、系统及智能汽车
CN114407653B (zh) * 2022-01-21 2023-09-19 广东汇天航空航天科技有限公司 智能汽车屏幕显示控制方法、装置、系统及智能汽车
CN114839782A (zh) * 2022-06-07 2022-08-02 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统
CN114839782B (zh) * 2022-06-07 2023-08-18 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统

Also Published As

Publication number Publication date
CN111252074B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN111252074B (zh) 多模态控制方法、装置、计算机可读存储介质和车辆
US8605009B2 (en) In-vehicle display management system
US9043042B2 (en) Method to map gaze position to information display in vehicle
US10943400B2 (en) Multimodal user interface for a vehicle
US9517776B2 (en) Systems, methods, and apparatus for controlling devices based on a detected gaze
US11449294B2 (en) Display system in a vehicle
KR101711835B1 (ko) 차량, 차량의 동작 방법 및 웨어러블 디바이스의 동작 방법
CN108099790A (zh) 基于增强现实平视显示与多屏语音交互的驾驶辅助系统
JP5047650B2 (ja) 車載カメラシステム
US20160023604A1 (en) Head-Up Display Controller
KR101806172B1 (ko) 차량 단말기 조작 시스템 및 그 방법
CN113376840A (zh) 一种图像显示位置调节方法、装置及存储介质
JP5866498B2 (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
JP2015210580A (ja) 表示システム及びウェアラブル機器
US20220197457A1 (en) Coupling of User Interfaces
WO2013061447A1 (ja) 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム
US9930474B2 (en) Method and system for integrating wearable glasses to vehicle
KR20130071241A (ko) 제스쳐 인식 기반 서비스 제공 시스템
CN113002461A (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
US11568758B2 (en) Terminal
JP6384794B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP2016176983A (ja) ヘッドアップディスプレイ装置及び表示方法
US20230234442A1 (en) Method For Displaying Augmented Reality Information In Vehicles
JP2019081480A (ja) ヘッドアップディスプレイ装置
CN116266410A (zh) 一种道歉信息展示方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201210

Address after: Room 1402, basement and building T7, Nansha Jinmao Bay, No.01, jinmaozhong 2nd Street, Huangge Town, Nansha District, Guangzhou City, Guangdong Province

Applicant after: Hengda hengchi new energy automobile technology (Guangdong) Co., Ltd

Address before: Room 1403, basement and building T7, Nansha Jinmao Bay, No.01, Jinmao middle street, Huangge Town, Nansha District, Guangzhou, Guangdong Province

Applicant before: Evergrande new energy vehicle technology (Guangdong) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220302

Address after: 300000-1, No. 200, Gaoxin 2nd Road, Binhai Science Park, high tech Zone, Binhai New Area, Tianjin

Patentee after: Evergrande new energy vehicle (Tianjin) Co.,Ltd.

Address before: Room 1402, basement and building T7, Nansha Jinmao Bay, No.01, jinmaozhong 2nd Street, Huangge Town, Nansha District, Guangzhou City, Guangdong Province

Patentee before: Hengda hengchi new energy automobile technology (Guangdong) Co.,Ltd.

TR01 Transfer of patent right