CN116301366A - 一种基于眼球追踪的空气投影控制方法及系统 - Google Patents

一种基于眼球追踪的空气投影控制方法及系统 Download PDF

Info

Publication number
CN116301366A
CN116301366A CN202310240030.9A CN202310240030A CN116301366A CN 116301366 A CN116301366 A CN 116301366A CN 202310240030 A CN202310240030 A CN 202310240030A CN 116301366 A CN116301366 A CN 116301366A
Authority
CN
China
Prior art keywords
eyeball
air projection
information
label
air
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310240030.9A
Other languages
English (en)
Inventor
武磊之
张贵海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lantu Automobile Technology Co Ltd
Original Assignee
Lantu Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lantu Automobile Technology Co Ltd filed Critical Lantu Automobile Technology Co Ltd
Priority to CN202310240030.9A priority Critical patent/CN116301366A/zh
Publication of CN116301366A publication Critical patent/CN116301366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供一种基于眼球追踪的空气投影控制方法及系统，方法包括：检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；若不存在空气投影操作指令，则空气投影的成像面处于预设位置；若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。本发明可综合结合语音请求、车辆状态以及眼球追踪技术，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，满足车内各个座位上人员的投影显示需求，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。

Description

一种基于眼球追踪的空气投影控制方法及系统
技术领域
本发明涉及智能驾舱技术领域，更具体地，涉及一种基于眼球追踪的空气投影控制方法及系统。
背景技术
随着汽车的发展与普及，在满足车辆安全驾驶的基本功能上，车辆的操作体验感、综合功能性的要求越来越高，越来越多功能设计的方向趋向于智能化，使车辆能够更好地为驾乘人员服务，提升车辆的综合性能。
对于使用在车内的智能化显示系统，现有几种主要的做法如下：
1.通过眼睛跟踪器连续地监测驾驶员的瞳孔的位置并将该位置提供给控制器，平视显示装置可安装在如车辆的仪表板中，控制器响应于从眼睛跟踪器输入的驾驶员的瞳孔的位置向驾驶员提供包括车辆的状态信息、车辆的驾驶信息、导航信息、车辆的前方环境、或者车辆的后方环境等的视频。此方案中，采用眼睛追踪器追踪驾驶员的瞳孔，通过平视显示装置将车辆相关各项信息进行显示，本方案只针对驾驶员进行信息显示，未考虑其余座位人员的信息阅读需求，具有局限性。
2.高清摄像头以一定频率拍摄驾驶员人脸的高清图像，并将图像信息传送至单片机，单片机处理由高清摄像头拍摄的照片，利用智能图像处理算法判断人脸朝向方位与眼球注视方向；然后，单片机依据人脸朝向与眼球注视方向计算出旋转电机的转动角度后控制旋转电机旋转；最后，单片机接收汽车的中控台的车速，并控制微型激光投影仪将车速投影至汽车的挡风玻璃上供驾驶员观察。此方案中，虽然可通过旋转电机控制微型激光投影仪的角度，从而将车速信息投影到汽车的挡风玻璃上供驾驶员观察，但是此方案中仍然是以驾驶员的眼球注视方向作为投影调节的依据，未考虑其他座位上人员的信息阅读需求。且由于信息展示的方式是通过投影到汽车的挡风玻璃上，信息显示的方式是平面显示，其成像平面固定，仅能调节成像位置和成像大小，同样具有局限性。
空气投影作为一种新兴的投影技术，也被称为空气成像、空中立体成像、雾屏成像等，其以镭射在空中成像，无须任何投射屏幕，同时也可以直接在空气中操作屏幕中的功能，感觉就好像身处电影中的未来世界一样。目前，已有将空气投影技术使用到车内显示功能中的案例，但是，其仍然是以主驾人员的视场作为展示区域，虽然能较大提升主驾人员的操作体验感，但是由于其投影位置与角度固定，对于其他座位同乘人员来讲，投影面积较小、投影可视角小，用户体验感仍需进行改善。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于眼球追踪的空气投影控制方法及系统，其可综合结合语音请求、车辆状态以及眼球追踪技术，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，满足车内各个座位上人员的投影显示需求，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。
根据本发明的第一方面，提供了一种基于眼球追踪的空气投影控制方法，包括：
检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
若不存在空气投影操作指令，则空气投影的成像面处于预设位置；
若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，检测语音请求信息，包括：
获取语音唤醒信号，根据语音唤醒信号获取开启空气投影功能的语音请求信息；
识别语音唤醒信号所处的麦克风阵列音区，根据音区识别结果判断发出语音请求的乘客座位。
可选的，所述车辆状态信息，至少包括：车辆的驾驶模式信息与车速，所述驾驶模式信息包括主动驾驶模式或辅助驾驶模式。
可选的，检测眼球标签信息，包括：
获取车内实时视频序列，追踪实时视频序列中的人脸信息，识别人脸信息中是否存在眼球特征；
当识别到眼球特征时，通过低功率主动近红外照射人眼、并使用传感阵列捕捉近红外图像；
识别近红外图像中的眼部特征，根据所述眼部特征估算对应眼球的注视方向和注视点，将空气投影位置-眼睛-水平线的夹角a与注视方向-水平线的夹角b相比对，当夹角a与夹角b的差值小于误差阈值，则判定对应的眼球正在注视空气投影位置；
根据注视点到对应眼球的距离，将正在注视空气投影位置的眼球的位置与车辆座位相匹配，根据对应的座位属性为注视空气投影位置的全部眼球打上眼球标签。
可选的，所述响应优先级规则，包括：
语音请求优先级＞车辆状态优先级＞眼球标签优先级。
可选的，所述预设位置为空气投影位置朝向主驾驶位，且成像区域处于标定好的最适宜主驾驶位上眼球观看的位置。
可选的，所述基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积，包括：
获取空气投影的成像区域到各个座位之间的标准直线距离A、标准垂直高度差B和标准横向距离C；
判断当前空气投影操作指令的类型，结合语音请求优先级＞车辆状态优先级＞眼球标签优先级的原则：
若当前存在语音请求，则根据语音请求信息判定音源位置的乘客座位，并将此座位乘客的眼球标签优先级设置为最高；
若当前无语音请求，根据车辆状态信息获取车辆的驾驶模式信息与车速，当所述驾驶模式信息为主动驾驶模式时，屏蔽驾驶员的眼球标签；当所述驾驶模式信息为辅助驾驶模式时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之后；当车速为0时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之前；
若当前追踪到多个注视空气投影位置的其余座位的眼球，则将优先级最高的眼球标签作为目标眼球标签；其中，主驾驶位以外其余座位的眼球标签优先级排序为：副驾>右侧后排>左侧后排>中间后排；
根据目标眼球标签计算对应眼球到成像位置的直线距离A1，将直线距离A1与标准直线距离A相比对，根据直线距离比对结果调整成像面积的放大或缩小；
根据目标眼球标签计算对应眼球到成像位置的垂直高度差B1，将垂直高度差B1与标准垂直高度差B相比对，根据垂直高度差比对结果调整成像区域的纵向倾斜角度；
根据目标眼球标签计算对应眼球到成像位置的横向距离C1，将横向距离C1与标准横向距离C相比对，根据横向距离比对结果调整成像区域的横向倾斜角度。
根据本发明的第二方面，提供一种基于眼球追踪的空气投影控制系统，包括：
获取模块，用于检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
调节模块，用于若判定不存在空气投影操作指令，则控制空气投影的成像面处于预设位置；
还用于若判定存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述一种基于眼球追踪的空气投影控制方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述一种基于眼球追踪的空气投影控制方法的步骤。
本发明提供的一种基于眼球追踪的空气投影控制方法、系统、电子设备及存储介质，其可综合结合语音请求、车辆状态以及眼球追踪技术，考虑车内各个座位上人员的投影显示需求，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。
附图说明
图1为本发明提供的一种基于眼球追踪的空气投影控制方法流程图；
图2为本发明方法涉及的功能模块示意图；
图3为某一实施例中根据音源调整成像角度的示意图；
图4为某一实施例中夹角a与夹角b示意图；
图5为某一实施例中通过眼球追踪进行角度和成像大小调节示意图；
图6为本发明提供的一种基于眼球追踪的空气投影控制系统组成框图；
图7为本发明提供的一种可能的电子设备的硬件结构示意图；
图8为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种基于眼球追踪的空气投影控制方法流程图，图2为本发明某一实施例中该方法涉及的功能模块示意图，结合图1及图2所示，该方法包括：
检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
若不存在空气投影操作指令，则空气投影的成像面处于预设位置；
若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种基于眼球追踪的空气投影控制方法。其中，语音请求信息可通过分散设置在各个座位附近的麦克风进行采集，车辆状态可通过总线与车辆TBOX的通信进行采集，而眼球标签信息可基于摄像头、通过图像识别的方式进行采集。该方法综合结合各个座位上人员的语音请求信息、当前的车辆状态以及眼球追踪技术，考虑车内各个座位上人员的投影显示需求，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。
在一种可能的实施例方式中，检测语音请求信息，包括：
获取语音唤醒信号，根据语音唤醒信号获取开启空气投影功能的语音请求信息；
识别语音唤醒信号所处的麦克风阵列音区，根据音区识别结果判断发出语音请求的乘客座位。
可以理解的是，在车内各个座位相邻的位置均布置有麦克风阵列，以采集各个座位上驾乘人员的语音信息，通过采集的语音的音场，可判断发出语音的位置，从而判断提出语音需求的乘客座位。如图3所示，还可通过语音请求信息得到的乘客座位、旋转空气投影装置的投影角度，从而调整空气投影的像平面角度，使其与发出语音需求的乘客视场更好地匹配。
在一种可能的实施例方式中，所述车辆状态信息，至少包括：车辆的驾驶模式信息与车速，所述驾驶模式信息包括主动驾驶模式或辅助驾驶模式。
可以理解的是，通过车速是否为0可以判断车辆是否处于行驶状态，通过驾驶模式信息可以判断当前是处于主动驾驶模式还是辅助驾驶模式，本实施例获取得到车辆的未行驶状态、主动驾驶状态和辅助驾驶状态，可作为后续步骤中对主驾座位人员的眼球标签的优先级进行判断的依据。
在一种可能的实施例方式中，检测眼球标签信息，包括：
获取车内实时视频序列，追踪实时视频序列中的人脸信息，识别人脸信息中是否存在眼球特征；
当识别到眼球特征时，通过低功率主动近红外照射人眼、并使用传感阵列捕捉近红外图像；
识别近红外图像中的眼部特征，根据所述眼部特征估算对应眼球的注视方向和注视点，如图4所示，将空气投影位置-眼睛-水平线的夹角a与注视方向-水平线的夹角b相比对，当夹角a与夹角b的差值小于误差阈值，则判定对应的眼球正在注视空气投影位置，例如误差阈值范围可设置为±10％，若(a-b)/b∈[-10％,+10％]，则判定该眼球正在注视空气投影位置；
根据注视点到对应眼球的距离，将正在注视空气投影位置的眼球的位置与车辆座位相匹配，根据对应的座位属性为注视空气投影位置的全部眼球打上眼球标签。
可以理解的是，通过本实施例的步骤，可识别出车内全部人脸上注视空气投影位置的眼球，并根据预设的座位号为对应眼球增加眼球标签，用于对检测的眼球进行身份识别。例如，若是追踪到多个眼球，则为各个眼球根据其所处座位分别打上眼球标签，例如主驾、副驾、二排左侧、二排中间、二排右侧等。
在一种可能的实施例方式中，所述响应优先级规则，包括：
语音请求优先级＞车辆状态优先级＞眼球标签优先级。
可以理解的是，例如，首先根据语音请求信息判断发出空气投影需求的位置，然后针对该位置调节空气投影的成像面角度，使成像面朝向发出语音请求的驾乘人员；若通过语音请求信息不能较好地判断需求位置，则根据采集的车辆状态信息判断当前的车辆状态，结合当前的车辆状态类型与采集的眼球标签，以确定最终的空气投影调节方案。
在一种可能的实施例方式中，所述预设位置为空气投影位置朝向主驾驶位，且成像区域处于标定好的最适宜主驾驶位上眼球观看的位置。其角度、距离参数与标准坐姿参数(视线高度、视线角度、视线距离)一一对应。
可以理解的是，从使用频率来讲，主驾位置使用空气投影的频率最高，因此提前标定好最适宜主驾驶位上眼球观看的位置作为空气投影的初始位置(预设位置)，可减少空气投影的调节次数。
在一种可能的实施例方式中，所述基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积，包括：
获取空气投影的成像区域到各个座位之间的标准直线距离A、标准垂直高度差B和标准横向距离C；
判断当前空气投影操作指令的类型，结合语音请求优先级＞车辆状态优先级＞眼球标签优先级的原则：
若当前存在语音请求，则根据语音请求信息判定音源位置的乘客座位，并将此座位乘客的眼球标签优先级设置为最高；
若当前无语音请求，根据车辆状态信息获取车辆的驾驶模式信息与车速，当所述驾驶模式信息为主动驾驶模式时，屏蔽驾驶员的眼球标签；当所述驾驶模式信息为辅助驾驶模式时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之后；当车速为0时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之前；
若当前追踪到多个注视空气投影位置的其余座位的眼球，则将优先级最高的眼球标签作为目标眼球标签；其中，主驾驶位以外其余座位的眼球标签优先级排序为：副驾>右侧后排>左侧后排>中间后排；
根据目标眼球标签计算对应眼球到成像位置的直线距离A1，将直线距离A1与标准直线距离A相比对，根据直线距离比对结果调整成像面积的放大或缩小；
根据目标眼球标签计算对应眼球到成像位置的垂直高度差B1，将垂直高度差B1与标准垂直高度差B相比对，根据垂直高度差比对结果调整成像区域的纵向倾斜角度；
根据目标眼球标签计算对应眼球到成像位置的横向距离C1，将横向距离C1与标准横向距离C相比对，根据横向距离比对结果调整成像区域的横向倾斜角度。
可以理解的是，如图5所示为本实施例中通过眼球追踪进行角度和成像大小调节示意图。根据近大远小的成像原理，标准直线距离A用于判断成像画面对于检测到的目标眼球来讲，成像画面的面积大小是否合适。当座位离空气投影装置较近时(例如主驾或副驾排座位)，眼睛观看到的成像面积较大；当座位离空气投影装置较远时(例如后排座位)，眼睛观看到的成像面积较小，因此可根据测得的对应眼球到成像位置的直线距离A1与标准直线距离A相比对，从而调节成像画面的面积大小，使其更适于对应眼球观看。图5实施例中，假设眼球与成像画面之间的直线距离A1为60cm，判定对应眼球与成像画面之间处于较为合适的距离，可不改变成像画面面积大小。改变成像画面面积大小即对成像画面进行缩放，此为投影技术的常规技术手段，此处不再赘述。
同理的，对应眼球到成像位置的垂直高度差B1可用于判断是否需要调节成像区域的纵向倾斜角度，即像平面的俯仰角度。如图5所示，可根据眼球相对于成像画面底部的高度H减去成像画面顶端相对于底端的高度，即得到垂直高度差B1，而垂直高度差B1与负折射玻璃的高度h相关。通过旋转负折射玻璃的纵向角度，可调节成像画面顶端相对于底端的高度，进而调节对应眼球到成像位置的垂直高度差B1、调节成像区域的纵向倾斜角度(即上下倾斜角度)。对应眼球到成像位置的横向距离C1可反映成像画面的横向倾斜角度，例如左右倾斜角度。通过调节机构对空气投影装置的对应眼球到成像位置的垂直高度差B1和/或对应眼球到成像位置的横向距离C1进行调整，通过对成像画面的面积大小进行调节，可使成像画面以更好的角度、更适宜的大小展示给对应眼球，提升了各个座位上的空气投影的使用体验感。
图6为本发明实施例提供的一种基于眼球追踪的空气投影控制系统结构图，如图6所示，一种基于眼球追踪的空气投影控制系统，包括获取模块和调节模块，其中：
获取模块，用于检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；例如，通过麦克风阵列获取各个座位上的语音请求信息，通过总线与TBOX之间的通信、获取车辆状态信息，通过摄像头进行车内人脸眼球识别、并通过识别的眼球得到眼球标签信息；
调节模块，用于若判定不存在空气投影操作指令，则控制空气投影的成像面处于预设位置；
还用于若判定存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
可以理解的是，本发明提供的一种基于眼球追踪的空气投影控制系统与前述各实施例提供的基于眼球追踪的空气投影控制方法相对应，基于眼球追踪的空气投影控制系统的相关技术特征可参考基于眼球追踪的空气投影控制方法的相关技术特征，在此不再赘述。
请参阅图7，图7为本发明实施例提供的电子设备的实施例示意图。如图7所示，本发明实施例提了一种电子设备700，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序711，处理器720执行计算机程序711时实现以下步骤：
检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
若不存在空气投影操作指令，则空气投影的成像面处于预设位置；
若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
请参阅图8，图8为本发明提供的一种计算机可读存储介质的实施例示意图。如图8所示，本实施例提供了一种计算机可读存储介质800，其上存储有计算机程序811，该计算机程序811被处理器执行时实现如下步骤：
检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
若不存在空气投影操作指令，则空气投影的成像面处于预设位置；
若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
本发明实施例提供的一种基于眼球追踪的空气投影控制方法、系统及存储介质，其可综合结合语音请求、车辆状态以及眼球追踪技术，考虑车内各个座位上人员的投影显示需求，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于眼球追踪的空气投影控制方法，其特征在于，包括：
检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
若不存在空气投影操作指令，则空气投影的成像面处于预设位置；
若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
2.根据权利要求1所述的一种基于眼球追踪的空气投影控制方法，其特征在于，检测语音请求信息，包括：
获取语音唤醒信号，根据语音唤醒信号获取开启空气投影功能的语音请求信息；
识别语音唤醒信号所处的麦克风阵列音区，根据音区识别结果判断发出语音请求的乘客座位。
3.根据权利要求1所述的一种基于眼球追踪的空气投影控制方法，其特征在于，所述车辆状态信息，至少包括：车辆的驾驶模式信息与车速，所述驾驶模式信息包括主动驾驶模式或辅助驾驶模式。
4.根据权利要求1所述的一种基于眼球追踪的空气投影控制方法，其特征在于，检测眼球标签信息，包括：
获取车内实时视频序列，追踪实时视频序列中的人脸信息，识别人脸信息中是否存在眼球特征；
当识别到眼球特征时，通过低功率主动近红外照射人眼、并使用传感阵列捕捉近红外图像；
识别近红外图像中的眼部特征，根据所述眼部特征估算对应眼球的注视方向和注视点，将空气投影位置-眼睛-水平线的夹角a与注视方向-水平线的夹角b相比对，当夹角a与夹角b的差值小于误差阈值，则判定对应的眼球正在注视空气投影位置；
根据注视点到对应眼球的距离，将正在注视空气投影位置的眼球的位置与车辆座位相匹配，根据对应的座位属性为注视空气投影位置的全部眼球打上眼球标签。
5.根据权利要求1所述的一种基于眼球追踪的空气投影控制方法，其特征在于，所述响应优先级规则，包括：
语音请求优先级＞车辆状态优先级＞眼球标签优先级。
6.根据权利要求1所述的一种基于眼球追踪的空气投影控制方法，其特征在于，所述预设位置为空气投影位置朝向主驾驶位，且成像区域处于标定好的最适宜主驾驶位上眼球观看的位置。
7.根据权利要求1～6任一项所述的一种基于眼球追踪的空气投影控制方法，其特征在于，所述基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积，包括：
获取空气投影的成像区域到各个座位上眼球之间的标准直线距离A、标准垂直高度差B和标准横向距离C；
判断当前空气投影操作指令的类型，结合语音请求优先级＞车辆状态优先级＞眼球标签优先级的原则：
若当前存在语音请求，则根据语音请求信息判定音源位置的乘客座位，并将此座位乘客的眼球标签优先级设置为最高；
若当前无语音请求，根据车辆状态信息获取车辆的驾驶模式信息与车速，当所述驾驶模式信息为主动驾驶模式时，屏蔽驾驶员的眼球标签；当所述驾驶模式信息为辅助驾驶模式时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之后；当车速为0时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之前；
若当前追踪到多个注视空气投影位置的其余座位的眼球，则将优先级最高的眼球标签作为目标眼球标签；其中，主驾驶位以外其余座位的眼球标签优先级排序为：副驾>右侧后排>左侧后排>中间后排；
根据目标眼球标签计算对应眼球到成像位置的直线距离A1，将直线距离A1与标准直线距离A相比对，根据直线距离比对结果调整成像面积的放大或缩小；
根据目标眼球标签计算对应眼球到成像位置的垂直高度差B1，将垂直高度差B1与标准垂直高度差B相比对，根据垂直高度差比对结果调整成像区域的纵向倾斜角度；
根据目标眼球标签计算对应眼球到成像位置的横向距离C1，将横向距离C1与标准横向距离C相比对，根据横向距离比对结果调整成像区域的横向倾斜角度。
8.一种基于眼球追踪的空气投影控制系统，其特征在于，包括：
获取模块，用于检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；
调节模块，用于若判定不存在空气投影操作指令，则控制空气投影的成像面处于预设位置；
还用于若判定存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的一种基于眼球追踪的空气投影控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的一种基于眼球追踪的空气投影控制方法的步骤。
CN202310240030.9A 2023-03-13 2023-03-13 一种基于眼球追踪的空气投影控制方法及系统 Pending CN116301366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310240030.9A CN116301366A (zh) 2023-03-13 2023-03-13 一种基于眼球追踪的空气投影控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310240030.9A CN116301366A (zh) 2023-03-13 2023-03-13 一种基于眼球追踪的空气投影控制方法及系统

Publications (1)

Publication Number Publication Date
CN116301366A true CN116301366A (zh) 2023-06-23

Family

ID=86793725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310240030.9A Pending CN116301366A (zh) 2023-03-13 2023-03-13 一种基于眼球追踪的空气投影控制方法及系统

Country Status (1)

Country Link
CN (1) CN116301366A (zh)

Similar Documents

Publication Publication Date Title
EP2914002B1 (en) Virtual see-through instrument cluster with live video
US11194154B2 (en) Onboard display control apparatus
US10288882B2 (en) Head mounted display device
JP6485732B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
US10647201B2 (en) Drive assist device and drive assist method
US10274726B2 (en) Dynamic eyebox correction for automotive head-up display
JP6512475B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN106030465B (zh) 用于自动接通和/或切换调节装置来调节平视显示器装置的视窗位置的系统和方法以及车辆
CN105988220A (zh) 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
US11176749B2 (en) In-vehicle display device three-dimensional image generation
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP2018154153A (ja) 車両の表示システム及び車両の表示システムの制御方法
JP2018154154A (ja) 車両の表示システム及び車両の表示システムの制御方法
CN112026652A (zh) 一种基于眼球识别激光成像的后视图像抬头显示系统
US20210300183A1 (en) In-vehicle display apparatus, method for controlling in-vehicle display apparatus, and computer program
JP6822325B2 (ja) 操縦支援装置、操縦支援方法、プログラム
CN111263133B (zh) 信息处理方法及系统
CN111923835A (zh) 一种基于车辆后视显示方法
CN116301366A (zh) 一种基于眼球追踪的空气投影控制方法及系统
JP2021024402A (ja) 車両用表示制御装置、及び車両用表示システム
CN113525402B (zh) 高级辅助驾驶及无人驾驶视场智能响应方法及系统
JP7057893B2 (ja) 視認状態判定装置
JP6813437B2 (ja) 表示システム
CN113827244A (zh) 驾驶员视线方向的检测方法、监控方法、系统和装置
CN114035324B (zh) 一种hud光路投影系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination