CN116185190B - 一种信息显示控制方法、装置及电子设备 - Google Patents

一种信息显示控制方法、装置及电子设备 Download PDF

Info

Publication number
CN116185190B
CN116185190B CN202310089475.1A CN202310089475A CN116185190B CN 116185190 B CN116185190 B CN 116185190B CN 202310089475 A CN202310089475 A CN 202310089475A CN 116185190 B CN116185190 B CN 116185190B
Authority
CN
China
Prior art keywords
information
display content
target area
current
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310089475.1A
Other languages
English (en)
Other versions
CN116185190A (zh
Inventor
韩雨青
高笑
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zejing Automobile Electronic Co ltd
Original Assignee
Jiangsu Zejing Automobile Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zejing Automobile Electronic Co ltd filed Critical Jiangsu Zejing Automobile Electronic Co ltd
Priority to CN202310089475.1A priority Critical patent/CN116185190B/zh
Publication of CN116185190A publication Critical patent/CN116185190A/zh
Application granted granted Critical
Publication of CN116185190B publication Critical patent/CN116185190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开涉及车辆电子技术领域，具体涉及一种信息显示控制方法、装置及电子设备。所述方法包括：识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域；以及采集音频信息，并对所述音频信息进行识别以确定语音指令；根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容。本方法能够实现在HUD系统中利用视线检测结合语音指令来控制显示内容。

Description

一种信息显示控制方法、装置及电子设备
技术领域
本公开涉及车辆电子技术领域，具体涉及一种信息显示控制方法、装置及电子设备。
背景技术
HUD(Head Up Display，平视显示器)可以用于将行车信息投影到驾驶员前面的风挡玻璃上，供驾驶员查看。在HUD系统中，还包括基于增强现实技术的AR-HUD(AugmentedReality Head Up Display，增强现实平视显示器)。在已有的HUD系统中，除显示导航、车速等行车信息、驾驶辅助信息外，还可以显示商家信息、商品信息等POI(Point of Interest，兴趣点)数据内容。现有的HUD显示中，当驾驶员需要针对某个感兴趣的信息进行详细了解时，由于驾驶员正在驾驶车辆，存在不方便操作的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种信息显示控制方法、装置及电子设备，能够实现在HUD系统中利用视线检测结合语音指令来控制显示内容的变换处理。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种信息显示控制方法，所述方法包括：
识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域；
采集音频信息，并对所述音频信息进行识别以确定语音指令；
根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容。
在一些示例性实施方式中，所述HUD设备的当前显示内容包括若干个子区域；
所述根据视线方向确定HUD设备当前显示内容中对应的目标区域，包括：
确定所述视线方向对应的当前子区域；
在识别到所述视线方向满足预设判定条件时，确定所述当前子区域为所述目标区域。
在一些示例性实施方式中，所述确定所述视线方向对应的当前子区域，包括：
基于所述HUD设备当前显示内容中各子区域对应的第一坐标信息，结合所述视线方向对应的第二坐标信息，确定所述当前子区域。
在一些示例性实施方式中，所述对所述音频信息进行识别以确定语音指令，包括：
对采集的所述音频信息进行语义识别，以获取对应的语义识别结果；
将所述语义识别结果与预设指令进行匹配，并在匹配成功时确定所述音频信息对应的所述语音指令。
在一些示例性实施方式中，所述方法还包括：
确定所述音频信息对应的所述语音指令时，执行目标控制模式，以执行所述语音指令。
在一些示例性实施方式中，所述对采集的所述音频信息进行语义识别时，所述方法包括：
识别所述音频信息中的对象关键词，并将所述对象关键词与所述目标区域对应的标识信息进行比对，以验证所述目标区域是否准确。
在一些示例性实施方式中，所述根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，包括：
将所述语音指令配置为应用于HUD设备的当前控制指令；
在HUD设备执行所述当前控制指令，获取所述目标区域对应的元素数据；
基于所述当前控制指令对所述元素数据进行变换以获取更新元素数据，根据更新元素数据生成更新后的目标显示内容。
在一些示例性实施方式中，所述在HUD设备中显示所述更新后的目标显示内容，包括：
根据所述更新元素数据中包含的子元素数据进行子区域划分；
根据划分后的子区域对所述更新后的目标显示内容进行显示。
在一些示例性实施方式中，所述方法还包括：
在识别到HUD设备的当前显示内容符合目标控制条件时，配置所述当前显示内容为目标显示状态。
在一些示例性实施方式中，所述识别视线方向，包括：
采集头部图像；
对所述头部图像进行特征点识别以获取对应的特征点坐标数据；
基于识别的特征点坐标数据，结合预设的头部模型确定头部姿态；
根据头部姿态确定视线方向，并对视线方向进行修正。
根据本公开的第二方面，提供一种信息显示控制装置，包括：
视线识别模块，用于识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域；
音频数据处理模块，用于采集音频信息，并对所述音频信息进行识别以确定语音指令；
显示控制模块，用于根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容。
根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的信息显示控制方法。
根据本公开的第四方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令时实现上述的信息显示控制方法。
本公开的一种实施例所提供的信息显示控制方法，通过实时的对用户的视线方向进行识别，确定用户当前视线方向对应的目标区域，同时采集用户的音频信息并进行识别来确定对目标区域需要执行的语音指令，从而实现利用用户的语音指令来控制HUD设备的显示内容，提升可用性，降低用户的操作难度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种信息显示控制方法的示意图；
图2示意性示出本公开示例性实施例中一种显示内容子区域划分结果的示意图；
图3示意性示出本公开示例性实施例中一种子区域显示内容的示意图；
图4示意性示出本公开示例性实施例中一种子区域放大显示的效果示意图；
图5示意性示出本公开示例性实施例中一种子区域显示效果的示意图；
图6示意性示出本公开示例性实施例中一种更新后的显示效果的示意图；
图7示意性示出本公开示例性实施例中一种HUD设备显示界面的示意图；
图8示意性示出本公开示例性实施例中一种变换后的HUD设备显示结果的示意图；
图9示意性示出本公开示例性实施例中一种信息显示控制装置的组成示意图；
图10示意性示出本公开示例性实施例中一种电子设备的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
针对现有技术的缺点和不足，本示例实施方式中提供了一种信息显示控制方法，可以应用于车辆上HUD、AR-HUD设备，可以实现用户的视线与语音指令相结合的控制方式，控制HUD设备的显示内容的变化。
参考图1中所示，上述的信息显示控制方法可以包括：
步骤S11，识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域；
步骤S12，采集音频信息，并对所述音频信息进行识别以确定语音指令；
步骤S13，根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容。
本示例实施方式所提供的信息显示控制方法，可以通过实时的对用户的视线方向进行识别，确定用户当前视线方向在HUD显示内容中对应的目标区域，同时采集用户的音频信息并进行识别来确定对目标区域需要执行的语音指令，从而实现利用用户的语音指令来控制HUD设备的显示内容，提升可用性，降低用户的操作难度。
下面，将结合附图及实施例对本示例实施方式中的信息显示控制方法的各个步骤进行更详细的说明。
在步骤S11中，可以识别用户的视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域。
本示例实施方式中，在车辆上可以装配HUD设备，HUD设备可以是常规的显示二维图像的内容，或者，也可以是AR-HUD设备，能够显示三维的图像内容。HUD设备可以用于显示导航、车速等行车信息。此外，还可以显示地图中的商家信息、商品信息等等。其中，商家信息可以是商家名称、地址、营业时间等等；商品信息可以是商品名称、价格、优惠信息等等。此外，在车辆上可以装配有驾驶员监控系统DMS(Driver Monitor System)，用于捕捉驾驶员的视线。举例来说，驾驶员监控系统DMS可以包括一用于采集图像的红外摄像头，通过实时采集驾驶员的头部图像，并对头部图像进行识别，实现对车辆驾驶员进行视线检测。
本示例实施方式中，步骤S11中所述的识别用户的视线方向，具体可以包括：
步骤S21，采集头部图像；
步骤S22，对所述头部图像进行特征点识别以获取对应的特征点坐标数据；
步骤S23，基于识别的特征点坐标数据，结合预设的头部模型确定头部姿态；
步骤S24，根据头部姿态确定视线方向，并对视线方向进行修正。
具体而言，可以通过一个面向驾驶员的红外摄像头来实时采集驾驶员的头部图像，通过驾驶员监控系统DMS对采集的头部图像进行识别并捕捉驾驶员视线。例如，可以预先训练一基于卷积神经网络CNN(Convolutional Neural Networks)的头部跟踪模型，以实时采集的头部图像中脸部区域为输入，对脸部区域进行特征点识别，通过检测出的面部特征点结合默认的头部模型，可以得到大概的头部姿态。根据之前得到的头部姿态可以推算出大概的视线方向。在瞳孔、角膜能够良好识别的情况下，可以进一步根据普尔钦斑点计算出准确的视线方向。基于此，可以实现实时的计算驾驶员的视线方向。本申请对车辆中视线检测算法不做特殊限定。
本示例实施方式中，所述HUD设备的当前显示内容包括若干个子区域；步骤S11中所述根据视线方向确定HUD设备当前显示内容中对应的目标区域，具体可以包括：
步骤S31，确定所述视线方向对应的当前子区域；
步骤S32，在识别到所述视线方向满足预设判定条件时，确定所述当前子区域为所述目标区域。
本示例实施方式中，上述的步骤S31中，具体可以包括：基于所述HUD设备当前显示内容中各子区域对应的第一坐标信息，结合所述视线方向对应的第二坐标信息，确定所述当前子区域。
具体而言，对于HUD设备来说，当前显示内容对应有预先设定的多个子区域，例如图2所示的HUD设备的当前显示内容，包括四个子区域，各子区域内可以显示不同的内容，对应不同的元素数据。例如，参考图3所示，在子区域3中显示“今日票价”信息。此外，还可以预先配置其中的一个子区域为公共子区域，例如将子区域4配置为公共子区域，在该公共子区域中显示一些特定的数据；例如车辆状态提示信息、行车信息，等等。
根据HUD设备在车辆上的布局位置，可以建立以HUD设备为基准的HUD坐标系。在HUD坐标系内，可以确定当前显示内容中各子区域的坐标范围。另外，对于驾驶员监控系统来说，可以确定以红外摄像头为基准的相机坐标系，并在相机坐标系内确定驾驶员视线方向对应的第二坐标信息。其中，HUD坐标系、相机坐标系均为三维坐标系，第一坐标信息、第二坐标信息均为三维坐标数据。根据HUD显示设备、红外摄像头在车辆上装配的、确定的位置关系，可以确定HUD坐标系与相机坐标系之间的关系，基于两坐标系之间的位置关系，可以进行坐标系转换处理，将相机坐标系转换至HUD坐标系，从而将视线方向由相机坐标系转换至HUD坐标系，并确定视线方向转换在HUD坐标系中的第三坐标；在HUD坐标系中，根据视线方向转换后的第三坐标以及当前显示内容中各子区域对应的坐标范围，判断第三坐标是否落在某一子区域的坐标范围内，便可以确定视线方向当前关注的子区域；即，视线方向对应的当前子区域，可以将其直接作为目标区域。其中，本申请对不同坐标系之间的转换计算方法不做限制。
本示例实施方式中，在上述的步骤S32中，具体来说，在实时计算并确定驾驶员视线对应的当前子区域后，还可以对该当前子区域是否作为最终的目标区域进行再次确认。即，只有在视线方向满足预设判定条件时，才能将视线方向对应的当前子区域最终确定为目标区域。
具体的，可以预先配置一用于确认目标区域的视线判定条件，当驾驶的视线方向满足该预设的视线判定条件时，可以确定当前子区域为目标区域；或者，若判断不满足视线判定条件，则当前子区域不能作为目标区域，并可以开始重新检测驾驶员的视线方向并重新计算当前子区域。
具体的，预设的视线判定条件可以包括用户视线的停留时长。举例来说，在确定当前子区域后，可以同步计算用户视线在当前子区域的停留时长。若用户的视线方向在当前子区域的停留时长满足预设阈值，则可以将当前子区域确认为目标区域。例如，可以配置视线停留时长的阈值为1秒、0.5秒、1.2秒、2秒等时长。
或者，在一些示例性实施例中，预设的视线判定条件也可以是统计一段时长内用户视线在该当前子区域内的停留/关注次数，或者是停留总时长。举例来说，若5秒内用户视线的落在当前子区域内的关注次数大于或等于三次；或者，5秒内用户视线在当前子区域的停留总时长大于等于2秒，则可以确认该当前子区域为目标区域。
在步骤S12中，可以采集所述用户的音频信息，并对所述音频信息进行识别以确定语音指令。
本示例实施方式中，具体来说，上述的步骤S12还可以包括：
步骤S41，对采集的所述音频信息进行语义识别，以获取对应的语义识别结果；
步骤S42，将所述语义识别结果与预设指令进行匹配，并在匹配成功时确定所述音频信息对应的所述语音指令。
具体而言，在实时进行视线方向检测的同时，还可以通过语音识别系统实时采集驾驶员的音频信息，确定对应的语音指令。具体的，可以预先配置一指令集合，其中可以包括放大、下一级、上一页、搜索XXX、亮度调高、亮度调低等针对HUD页面显示内容、显示效果的控制指令；各指令配置有对应的指令关键词。
在实时的采集到驾驶员的音频信息后，便可以对音频信息转换为对应的文本数据，并对文本数据进行语义识别，获取对应的语义识别结果。再将语义识别结果与预设的指令集合进行匹配，判断当前的语义识别结果是否包含语音指令，以及语音指令是否为可执行的预设指令。在匹配成功时，便可以确定当前的音频信息对应的具体可以执行的语音指令。
本示例实施方式中，所述对采集的所述音频信息进行语义识别时，所述方法还包括：识别所述音频信息中的对象关键词，并将所述对象关键词与所述目标区域对应的标识信息进行比对，以验证所述目标区域是否准确。
具体来说，对于HUD设备中的显示内容，从各子区域的显示内容中均可以提取出对应的标识信息，例如价格/￥/＄、时间/Time/Date、名称/Name/Title等等。当根据驾驶员的视线确定目标区域时，便可以识别该目标区域对应的标识信息；同时，也可以提取其他各子区域对应的标识信息。
另外，上述的对象关键词可以是基于语义识别结果确定的，例如可以是语音识别结果中包含的动作执行对象。例如，采集的音频信息为“价格看不清”，则对应的对象关键词为“价格”，此时便可以将该对象关键词与已确定的目标区域对应的标识信息进行比对，判断是否匹配。若匹配，则验证成功。若不匹配，则将对象关键词与当前显示内容中各子区域对应的标识信息分别进行比对，判断是否匹配；若存在匹配的，则更新目标区域；若不匹配，则生成提示信息。或者，在匹配失败时，也可以是将识别出的对象关键词直接与各子区域对应的标识信息进行比对，验证当前的目标区域是否准确，并根据比对结果更正目标区域。
此外，在一些示例性实施方式中，还可以根据图像数据采集时间为当前基于用户视线方向确定的目标区域配置一时间戳信息；同时，根据音频信息的数据采集时间为根据音频信息确定的语音指令配置一时间戳信息。在确定目标区域以及语音指令后，还可以根据时间戳信息对用户视线和语音指令进行匹配和确认。若两时间戳在指定的时间误差范围内，则可以确认当前视线对应的语音指令。从而避免将语音指令应用于错误的目标区域中。
或者，在一些示例性实施方式中，上述的目标区域也可以是当前显示内容的整体。例如，可以将图2中的整体作为目标区域。具体的，在根据用户的音频数据识别到语音指令是针对HUD显示内容的当前显示效果的变换指令时，则可以对目标区域进行更正，并将HUD设备当前显示内容的整体作为目标区域；从而可以使得当前的语音指令可以应用于修改后的目标区域，即应用于HUD设备当前显示内容的整体。举例来说，可以应用于HUD设备当前显示内容的整体区域的语音指令可以是：调高亮度、降低亮度、近距离显示、远距离显示等。
在一些示例性实施方式中，所述方法还包括：确定所述音频信息对应的所述语音指令时，执行目标控制模式，以执行所述语音指令。
具体来说，可以为HUD设备的信息显示控制系统预先配置不同的工作模式，例如可以包括数据采集模式、语音控制模式，等。其中，上述的数据采集模式可以是用于对驾驶员视线、驾驶舱内音频数据进行采集、计算、分析的数据处理模式；语音控制模式可以是用于在确定驾驶员当前视线已选定对应的目标区域后，需要执行语音指令的数据处理模式，可以是用于驾驶员视线与语音指令协作的控制模式。举例来说，上述的目标控制模式可以是语音控制模式。在确定音频信息对应的语音指令，并确定该语音指令可以应用于目标区域时，可以从数据采集模式切换至语音控制模式，从而执行该具体的语音指令。通过设置不同的数据处理模式，可以实现在不同的模式下配置有不同的数据处理重点，从而避免出现误操作的情况。
基于上述内容，在本示例实施方式中，还可以预先配置有不同模式之间自动切换的判断条件。例如，可以配置有语音控制模式向数据采集模式自动切换的预设条件。举例来说，该预设条件可以是在一段时间未采集到音频信息或者没有识别到语音指令时，便可以由语音控制模块自动切换回数据采集模式。从而提高系统的工作效率，提升用户指令控制的准确性。
在步骤S13中，根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容。
本示例实施方式中，上述的步骤S13可以包括：
步骤S51，将所述语音指令配置为应用于HUD设备的当前控制指令；
步骤S52，在HUD设备执行所述当前控制指令，获取所述目标区域对应的元素数据；
步骤S53，基于所述当前控制指令对所述元素数据进行变换以获取更新元素数据，根据更新元素数据生成更新后的目标显示内容。
具体来说，在确定语音指令后，并执行上述的语音控制模式后，便可以首先将该语音指令配置为应用于HUD设备的当前控制指令，并将该当前控制指令发送至HUD设备，并由HUD设备执行该当前控制指令。HUD设备向目标区域执行该当前控制指令，向预设的元素数据库中获取目标区域对应的元素数据，并按照当前控制指令具体的指令内容进行变换，得到变换后的更新元素数据，并将该更新元素数据生成更新后的目标显示内容在HUD设备中进行显示。
例如，如图7中HUD设备的当前显示内容，对应图3、图5，在确定子区域3为目标区域时，便可以向元素数据库中查到对应的元素数据，并根据当前控制指令对查到的元素数据进行放大处理，或者调用高倍数的目标元素图像，配置其对应的显示位置并进行渲染完成图像绘制，如图4、图6所示。通过HUD设备的光学单元将该实像反射至前风挡玻璃处，例如图8所示的显示效果。
举例来说，在AR-HUD设备的应用环境中，可以实时生成各个元素在对应的虚拟相机拍摄记录的当前帧。虚拟相机只能拍摄到预设FOV之内的内容，且每个元素只能被一个虚拟相机所记录下来。二维映射元素指虚拟三维元素在虚拟相机视角下对应的二维投影。虚拟相机的视场角大小、角度和虚拟三维元素之间的相对坐标都会改变二维映射元素的显示效果。人眼通过HUD观察到的实际上是该CGR(Computer Generated Reality，计算机生成现实)被虚拟相机记录下的二维投影。
举例来说，当识别到驾驶员的视线落在子区域3时，将其作为目标区域；同时采集到驾驶员的音频信息“放大”、“把图放大”、“图太小看不清”等描述时，对音频信息进行语义识别，根据语义识别结果匹配到系统中的语音指令“放大”，并将该控制指令发送至HUD设备，将子区域3的图像进行放大处理后，展示于AR区域，如图4所示。
本示例实施方式中，所述方法还包括：根据所述更新元素数据中包含的子元素数据进行子区域划分，根据划分后的子区域对更新后的目标显示内容进行显示。
具体来说，在显示内容发生变化时，可以根据更新后的显示内容中包含的子元素数据进行子区域自动划分，从而便于后续的控制操作。
举例来说，如图3中已划分的HUD图像区域，还可以在此基础上，继续对每个子区域再次基于其包含的子元素进行划分。如图4所示的变换后的图像，可以对其基于子元素再次划分子区域，例如基于子元素1(今日票价)、子元素2(老人…88)、子元素3(儿童…99)、子元素4(成人…199)划分为子区域1，子区域2、子区域3、子区域4。例如，当检测到视线落在子区域3时，可进一步将子区域3确定为目标区域，并将子区域3中的区域元素(儿童…99)基于语音控制进行缩放显示。
举例来说，当检测到视线落入子区域1或将子区域1判定为目标区域时，显示该目标区域的区域元素(今日票价)对用户来说并无法起到实际有效的提示效果。因此，为了避免这种情况出现，进一步的，还可以基于各个子元素的标识信息的特征(例如，是否含有数字标识、金钱标识等)，将由子元素1确定的子区域1判定为公共子区域，在图4的基础上，当检测到视线落在子区域3时，可进一步将子区域3确定为目标区域，并将子区域3中的区域元素(儿童…99)以及公共子区域中的区域元素(今日票价)一并作为目标对象(即目标显示内容)进行缩放显示。
本示例实施方式中，所述方法还包括：在识别到HUD设备的当前显示内容符合目标控制条件时，配置所述当前显示内容为目标显示状态。
具体而言，上述的目标控制条件可以是用于判断是否将当前显示内容切换到指定的显示内容或显示状态的判断条件。其中，上述的目标显示状态可以是预先定义的初始显示状态或者初始显示内容。
上述目标控制条件可以是根据显示内容来确定的；例如，对于不同的显示内容，或者不同层级的显示页面中，可以配置有不同的目标控制条件。此外，还可以配置有对不同的显示内容统一使用的目标控制条件。
举例来说，当根据视线检测结果和语音指令在HUD设备中将图8中“老人”类型对应的票价数据“88”放大显示，即将子元素2放大显示后，在一段预设时长内未检测新的控制指令，则可以退回至如图8所示的显示状态。
此外，在本公开的其他示例性实施方式中，每个子区域中的区域元素可以配置有与之关联的详情信息。当将某个子区域中的区域元素进行放大显示后，若进一步检测到用户的视线落在该放大显示的子区域达到预设时长时，判定放大显示的该子区域的区域元素是否具有关联的详情信息，若有，则进一步展示该详情信息，若无，则通过特定的图形化展示方式(如短暂显示高亮或闪烁后恢复正常)提醒用户该子区域的区域元素为最终内容。
本公开实施例所提供的信息显示控制方法，用户在驾驶车辆行驶的过程中，可以实时的识别用户视线方向，确定用户视线当前关注的HUD显示内容的目标区域，同时实时的收集用户音频信息并进行语义识别，确定对目标区域的语音指令。从而实现将视线方向识别和语音指令控制有机结合，并用于对HUD显示内容的变化控制；辅助驾驶员方便查看详细信息。例如，当驾驶员需要了解价格信息，当前路况等，或标记路名，店名等信息，当驾驶员需要针对详细信息进行了解时，因正在驾驶车辆，存在不方便操作的问题，可以通过视线凝聚以及语音控制方式实现详细查看特定的POI信息等。达到适配场景、提升体验的目的。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图9所示，本示例的实施方式中还提供一种信息显示控制装置90，所述装置包括：视线识别模块901、音频数据处理模块902、显示控制模块903。其中，
视线识别模块901可以用于识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域。
音频数据处理模块902可以用于采集音频信息，并对所述音频信息进行识别以确定语音指令。
显示控制模块903可以用于根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容。
在一些示例性实施方式中，所述HUD设备的当前显示内容包括若干个子区域；
视线识别模块901可以包括：目标区域识别模块。
所述目标区域识别模块可以用于确定所述视线方向对应的当前子区域；在识别到所述视线方向满足预设判定条件时，确定所述当前子区域为所述目标区域。
在一些示例性实施方式中，所述目标区域识别模块可以用于基于所述HUD设备当前显示内容中各子区域对应的第一坐标信息，结合所述视线方向对应的第二坐标信息，确定所述当前子区域。
在一些示例性实施方式中，音频数据处理模块902可以用于对采集的所述音频信息进行语义识别，以获取对应的语义识别结果；将所述语义识别结果与预设指令进行匹配，并在匹配成功时确定所述音频信息对应的所述语音指令。
在一些示例性实施方式中，信息显示控制装置90还包括：模式控制模块。
所述模式控制模块可以用于确定所述音频信息对应的所述语音指令时，执行目标控制模式，以执行所述语音指令。
在一些示例性实施方式中，信息显示控制装置90还包括：验证模块。
所述验证模块可以用于对采集的所述音频信息进行语义识别时，识别所述音频信息中的对象关键词，并将所述对象关键词与所述目标区域对应的标识信息进行比对，以验证所述目标区域是否准确。
在一些示例性实施方式中，显示控制模块903可以用于将所述语音指令配置为应用于HUD设备的当前控制指令；在HUD设备执行所述当前控制指令，获取所述目标区域对应的元素数据；基于所述当前控制指令对所述元素数据进行变换以获取更新元素数据，根据更新元素数据生成更新后的目标显示内容。
在一些示例性实施方式中，信息显示控制装置90还包括：子区域划分模块。
所述子区域划分模块可以用于根据所述更新元素数据中包含的子元素数据进行子区域划分；根据划分后的子区域对所述更新后的目标显示内容进行显示。
在一些示例性实施方式中，信息显示控制装置90还包括：显示状态切换模块。
所述显示状态切换模块可以用于在识别到HUD设备的当前显示内容符合目标控制条件时，配置所述当前显示内容为目标显示状态。
在一些示例性实施方式中，视线识别模块901可以用于采集头部图像；对所述头部图像进行特征点识别以获取对应的特征点坐标数据；基于识别的特征点坐标数据，结合预设的头部模型确定头部姿态；根据头部姿态确定视线方向，并对视线方向进行修正。
上述的信息显示控制装置90中各模块的具体细节已经在对应的显示控制方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图10示出了适于用来实现本发明实施例的电子设备的示意图。
需要说明的是，图10示出的电子设备1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
具体来说，上述的电子设备可以是手机、平板电脑或者笔记本电脑等智能移动电子设备。或者，上述的电子设备也可以是台式电脑等智能电子设备。
需要说明的是，本发明实施例所示的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何存储介质，该存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
需要说明的是，作为另一方面，本申请还提供了一种存储介质，该存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种信息显示控制方法，其特征在于，所述方法包括：
识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域，并根据图像数据采集时间为当前基于用户视线方向确定的所述目标区域配置第一时间戳信息；其中，所述HUD设备的当前显示内容包括若干个子区域；
采集音频信息，并对所述音频信息进行识别以确定语音指令，并根据所述音频信息的数据采集时间为根据所述音频信息确定的所述语音指令配置第二时间戳信息；
根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容；
所述根据视线方向确定HUD设备当前显示内容中对应的目标区域，包括：基于所述HUD设备当前显示内容中各子区域对应的第一坐标信息，结合所述视线方向对应的第二坐标信息，确定当前子区域；在识别到所述视线方向满足预设判定条件时，确定所述当前子区域为所述目标区域；所述预设的视线判定条件为统计一段时长内用户视线在当前子区域内的停留或关注次数；
所述方法还包括，在确定所述目标区域以及所述语音指令后，根据所述第一时间戳信息和所述第二时间戳信息对所述用户视线和所述语音指令进行匹配和确认，若两时间戳在预设时间误差范围内，则确认当前视线对应的所述语音指令；
所述确定语音指令时，包括：识别所述音频信息中的对象关键词，将所述对象关键词与所述目标区域对应的标识信息进行比对，以验证所述目标区域是否准确；其中，若不匹配，则将所述对象关键词与当前显示内容中各子区域对应的标识信息分别进行比对，判断是否匹配；若存在匹配的，则更新目标区域；若不匹配，则生成提示信息。
2.根据权利要求1所述的信息显示控制方法，其特征在于，所述对所述音频信息进行识别以确定语音指令，包括：
对采集的所述音频信息进行语义识别，以获取对应的语义识别结果；
将所述语义识别结果与预设指令进行匹配，并在匹配成功时确定所述音频信息对应的所述语音指令。
3.根据权利要求2所述的信息显示控制方法，其特征在于，所述方法还包括：
确定所述音频信息对应的所述语音指令时，执行目标控制模式，以执行所述语音指令。
4.根据权利要求1所述的信息显示控制方法，其特征在于，所述根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，包括：
将所述语音指令配置为应用于HUD设备的当前控制指令；
在HUD设备执行所述当前控制指令，获取所述目标区域对应的元素数据；
基于所述当前控制指令对所述元素数据进行变换以获取更新元素数据，根据更新元素数据生成更新后的目标显示内容。
5.根据权利要求4所述的信息显示控制方法，其特征在于，所述在HUD设备中显示所述更新后的目标显示内容，包括：
根据所述更新元素数据中包含的子元素数据进行子区域划分；
根据划分后的子区域对所述更新后的目标显示内容进行显示。
6.根据权利要求1所述的信息显示控制方法，其特征在于，所述方法还包括：
在识别到HUD设备的当前显示内容符合目标控制条件时，配置所述当前显示内容为目标显示状态。
7.根据权利要求1所述的信息显示控制方法，其特征在于，所述识别视线方向，包括：
采集头部图像；
对所述头部图像进行特征点识别以获取对应的特征点坐标数据；
基于识别的特征点坐标数据，结合预设的头部模型确定头部姿态；
根据头部姿态确定视线方向，并对视线方向进行修正。
8.一种信息显示控制装置，其特征在于，所述装置包括：
视线识别模块，用于识别视线方向，并根据视线方向确定HUD设备当前显示内容中对应的目标区域，并根据图像数据采集时间为当前基于用户视线方向确定的所述目标区域配置第一时间戳信息；其中，所述HUD设备的当前显示内容包括若干个子区域；
音频数据处理模块，用于采集音频信息，并对所述音频信息进行识别以确定语音指令，并根据所述音频信息的数据采集时间为根据所述音频信息确定的所述语音指令配置第二时间戳信息；
显示控制模块，用于根据所述语音指令对所述目标区域进行变换处理以获取更新后的目标显示内容，并在HUD设备中显示所述更新后的目标显示内容；
所述根据视线方向确定HUD设备当前显示内容中对应的目标区域，包括：基于所述HUD设备当前显示内容中各子区域对应的第一坐标信息，结合所述视线方向对应的第二坐标信息，确定当前子区域；在识别到所述视线方向满足预设判定条件时，确定所述当前子区域为所述目标区域；所述预设的视线判定条件为统计一段时长内用户视线在当前子区域内的停留或关注次数；
所述装置还用于，在确定所述目标区域以及所述语音指令后，根据所述第一时间戳信息和所述第二时间戳信息对所述用户视线和所述语音指令进行匹配和确认，若两时间戳在预设时间误差范围内，则确认当前视线对应的所述语音指令；
所述确定语音指令时，包括：识别所述音频信息中的对象关键词，将所述对象关键词与所述目标区域对应的标识信息进行比对，以验证所述目标区域是否准确；其中，若不匹配，则将所述对象关键词与当前显示内容中各子区域对应的标识信息分别进行比对，判断是否匹配；若存在匹配的，则更新目标区域；若不匹配，则生成提示信息。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的信息显示控制方法。
CN202310089475.1A 2023-02-09 2023-02-09 一种信息显示控制方法、装置及电子设备 Active CN116185190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310089475.1A CN116185190B (zh) 2023-02-09 2023-02-09 一种信息显示控制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310089475.1A CN116185190B (zh) 2023-02-09 2023-02-09 一种信息显示控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116185190A CN116185190A (zh) 2023-05-30
CN116185190B true CN116185190B (zh) 2024-05-10

Family

ID=86443849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310089475.1A Active CN116185190B (zh) 2023-02-09 2023-02-09 一种信息显示控制方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116185190B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105667421A (zh) * 2014-10-15 2016-06-15 通用汽车环球科技运作有限责任公司 包括眼跟踪装置的供车辆使用的系统和方法
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载系统人眼控制方法及装置
CN107310476A (zh) * 2017-06-09 2017-11-03 武汉理工大学 基于车载hud的眼动辅助语音交互方法及系统
CN107590174A (zh) * 2017-07-31 2018-01-16 北京五八信息技术有限公司 页面访问方法及装置
CN109600646A (zh) * 2018-12-11 2019-04-09 未来电视有限公司 语音定位的方法及装置、智能电视、存储介质
CN110211586A (zh) * 2019-06-19 2019-09-06 广州小鹏汽车科技有限公司 语音交互方法、装置、车辆以及机器可读介质
CN111511599A (zh) * 2017-12-13 2020-08-07 戴姆勒股份公司 用于运行辅助系统的方法和汽车用辅助系统
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
CN114690992A (zh) * 2020-12-31 2022-07-01 上海擎感智能科技有限公司 提示方法、装置及计算机存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160335051A1 (en) * 2014-02-21 2016-11-17 Mitsubishi Electric Corporation Speech recognition device, system and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105667421A (zh) * 2014-10-15 2016-06-15 通用汽车环球科技运作有限责任公司 包括眼跟踪装置的供车辆使用的系统和方法
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载系统人眼控制方法及装置
CN107310476A (zh) * 2017-06-09 2017-11-03 武汉理工大学 基于车载hud的眼动辅助语音交互方法及系统
CN107590174A (zh) * 2017-07-31 2018-01-16 北京五八信息技术有限公司 页面访问方法及装置
CN111511599A (zh) * 2017-12-13 2020-08-07 戴姆勒股份公司 用于运行辅助系统的方法和汽车用辅助系统
CN109600646A (zh) * 2018-12-11 2019-04-09 未来电视有限公司 语音定位的方法及装置、智能电视、存储介质
CN110211586A (zh) * 2019-06-19 2019-09-06 广州小鹏汽车科技有限公司 语音交互方法、装置、车辆以及机器可读介质
CN114690992A (zh) * 2020-12-31 2022-07-01 上海擎感智能科技有限公司 提示方法、装置及计算机存储介质
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品

Also Published As

Publication number Publication date
CN116185190A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN102887121A (zh) 将注视位置映射到车辆中的信息显示器的方法
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN108958577B (zh) 基于可穿戴设备的窗口操作方法、装置、穿戴设备及介质
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
US7377650B2 (en) Projection of synthetic information
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
US11816924B2 (en) Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN112835484B (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
KR20190067433A (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
CN111078102B (zh) 一种通过投影确定点读区域的方法及终端设备
CN111818385A (zh) 视频处理方法、视频处理装置及终端设备
CN116185190B (zh) 一种信息显示控制方法、装置及电子设备
CN110213407B (zh) 一种电子装置的操作方法、电子装置和计算机存储介质
CN106169057B (zh) 信息处理装置及方法
CN111610886A (zh) 触控屏幕亮度的调整方法、设备及计算机可读存储介质
CN112069865A (zh) 用于报告对于评述物理对象的请求的方法和系统
CN114281236B (zh) 文本处理方法、装置、设备、介质和程序产品
CN116363725A (zh) 显示设备的人像追踪方法、系统、显示设备及存储介质
CN111198926B (zh) 业务办理管理方法、装置、电子设备及存储介质
CN113032605B (zh) 一种信息展示方法、装置、设备及计算机存储介质
CN112817441A (zh) 一种按键与人眼识别结合的方法和装置
CN114090738A (zh) 场景数据信息确定的方法、装置、设备及存储介质
CN114742561A (zh) 人脸识别方法、装置、设备及存储介质
US11790692B2 (en) Method for behaviour recognition, electronic equipment, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant