CN109445597B - 一种应用于终端的操作提示方法、装置和终端 - Google Patents

一种应用于终端的操作提示方法、装置和终端 Download PDF

Info

Publication number
CN109445597B
CN109445597B CN201811314110.XA CN201811314110A CN109445597B CN 109445597 B CN109445597 B CN 109445597B CN 201811314110 A CN201811314110 A CN 201811314110A CN 109445597 B CN109445597 B CN 109445597B
Authority
CN
China
Prior art keywords
information
scene
user
prompt
process position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811314110.XA
Other languages
English (en)
Other versions
CN109445597A (zh
Inventor
刘琳
秦林婵
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201811314110.XA priority Critical patent/CN109445597B/zh
Publication of CN109445597A publication Critical patent/CN109445597A/zh
Application granted granted Critical
Publication of CN109445597B publication Critical patent/CN109445597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种应用于终端的操作提示的方法、装置和终端,包括:获取注视信息和场景信息,然后,根据注视信息以及获取的场景信息,确定用户操作所在的操作场景以及用户操作在该操作场景对应的操作流程中处于的流程位置,进而根据该流程位置,确定提示信息,以便于利用该提示信息提示用户流程位置和/或在该操作流程中位于流程位置之后的后续操作。可见,通过根据用户的注视信息以及操作场景,确定出用户执行的用户操作在操作流程中的流程位置,这样,可以针对用户所需执行的特定操作进行特定提示,从而可以降低因操作流程复杂而导致用户操作失误的可能性。

Description

一种应用于终端的操作提示方法、装置和终端
技术领域
本申请涉及控制技术领域,特别是涉及一种应用于终端的操作提示方法、装置和终端。
背景技术
在一些设备或系统的操作场景中,操作人员需要同时对照多个目标来确定所要执行的操作。例如,在车辆驾驶的倒车场景中,驾驶员可能需要对照左后视镜、右后视镜、正前方视野、倒车雷达视频等多个目标来执行驾驶操作,从而才能实现倒车。又如,在港口、车间等环境下的货物调度场景中,操作员也可能需要对照多个目标执行一系列流程复杂的操作,从而才能实现货物的调度。
在上述操作场景中,一些经验不足、熟练程度不够的操作人员可能难以独立完成操作。为此,设备或系统可以为操作人员提供相关操作的提示,以使得操作人员能够较为轻松地完成相应的操作。但是,由于操作人员所要对照的目标较多以及操作场景涉及较复杂的一系列操作,目前的操作提示技术还无法针对操作人员当前需要执行的特定操作进行特定提示,因此,操作人员所能得到的操作提示还不够实用,提示效果并不理想。
发明内容
本申请实施例所要解决的技术问题是,提供一种应用于终端的操作提示方法、装置和终端,以能够针对操作人员需要执行的特定操作进行特定提示,从而使得操作人员能够得到更为实用的操作提示,提升操作提示的提示效果。
第一方面,本申请实施例提供了一种应用于终端的操作提示的方法,包括:
获取注视信息以及场景信息;
根据所述注视信息和所述场景信息,确定操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置;
根据所述流程位置,确定提示信息。
在一些可能的实施方式中,在获取注视信息以及场景信息之前还包括:
获取注视点信息,所述注视点信息通过眼球追踪模块采集获取;
基于所述注视点信息,计算得到所述注视信息。
在一些可能的实施方式中,所述场景信息被配置为通过场景追踪模块采集获取。
在一些可能的实施方式中,所述提示信息用于提示所述当前流程位置和/或在所述操作流程中位于所述流程位置之后的后续操作。
在一些可能的实施方式中,所述根据所述注视信息和所述场景信息,确定操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置,包括:
在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素;
通过所述预设的对应关系,确定目标元素对应的操作场景以及目标元素对应的流程位置。
在一些可能的实施方式中,所述注视点信息为用户眼部图像,所述眼球追踪模块为眼部图像拍摄模块。
在一些可能的实施方式中,所述场景信息为用户操作处于的环境图像,所述场景追踪模块为环境图像拍摄模块。
在一些可能的实施方式中,所述方法还包括:
将所述提示信息转换为语音信息并对所述语音信息进行播放。
在一些可能的实施方式中,所述根据所述流程位置,确定提示信息,包括:
呈现所述流程位置;
响应于在所述流程位置中选择目标流程位置的用户交互操作,根据所述目标流程位置,确定所述提示信息;其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置;
其中,所述提示信息具体用于提示所述目标流程位置和/或在所述操作流程中位于所述目标流程位置之后的后续操作。
第二方面,本申请实施例提供了一种应用于终端的操作提示的装置,该装置包括:
第一获取单元,用于获取注视信息以及场景信息;
第一确定单元,用于根据所述注视信息和所述场景信息,确定操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置;
第二确定单元,用于根据所述流程位置,确定提示信息。
在一些可能的实施方式中,所述装置还包括:
第二获取单元,用于获取注视点信息,所述注视点信息通过眼球追踪模块采集获取;
计算单元,用于基于所述注视点信息,计算得到所述注视信息。
在一些可能的实施方式中,所述场景信息被配置为通过场景追踪模块采集获取。
在一些可能的实施方式中,所述提示信息用于提示所述当前流程位置和/或在所述操作流程中位于所述流程位置之后的后续操作。在一些可能的实施方式中,第一确定单元,包括:
查找子单元,用于在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素;
第一确定子单元,用于通过所述预设的对应关系,确定所述目标元素对应的操作场景,以及所述目标元素对应的流程位置。
在一些可能的实施方式中,所述注视点信息为用户眼部图像,所述眼球追踪模块为眼部图像拍摄模块。
在一些可能的实施方式中,所述场景信息为操作处于的环境图像,所述场景追踪模块为环境图像拍摄模块。
在一些可能的实施方式中,所述装置还包括:
语音单元,用于将所述提示信息转换为语音信息并对所述语音信息进行播放。
在一些可能的实施方式中,所第二确定单元,包括:
呈现子单元,用于呈现所述流程位置;
第二确定子单元,用于响应于在所述流程位置中选择目标流程位置的用户交互操作,根据所述目标流程位置,确定所述提示信息;其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置;
其中,所述提示信息具体用于提示所述目标流程位置和/或在所述操作流程中位于所述目标流程位置之后的后续操作。
第三方面,本申请实施例还提供了一种用于操作提示的终端,包括处理器、眼球追踪模块和场景追踪模块;
所述眼球追踪设备,用于采集注视点信息,所述注视点信息用于计算注视信息;
所述场景追踪设备,用于采集场景信息;
所述处理器,用于获取所述注视信息以及所述场景信息,根据所述注视信息和所述场景信息确定操作所在的操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置,根据所述流程位置确定提示信息。
在一种示例性的实施方式中,所述终端还包括:
呈现模块,用于呈现所述提示信息,并且,所述呈现模块可以是实时信息显示屏幕。
在一些可能的实施方式中,所述处理器,还用于在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素,并通过该对应关系,确定所述目标元素对应的操作场景,以及目标元素对应的流程位置。
在一些可能的实施方式中,所述提示信息用于提示所述当前流程位置和/或在所述操作流程中位于所述流程位置之后的后续操作。在一些可能的实施方式中,所述注视点信息为用户眼部图像,所述眼球追踪模块为眼部图像拍摄模块。
在一些可能的实施方式中,所述场景信息为操作处于的环境图像,所述场景追踪模块为环境图像拍摄模块。
在一些可能的实施方式中,该终端还包括语音播放设备;
所述处理器,还用于将所述提示信息转换为语音信息并向所述语音播放设备发送所述语音信息;
所述语音播放设备,用于对所述语音信息进行播放。
在一些可能的实施方式中,呈现模块,还用于呈现所述流程位置;
所述处理器,还用于向所述呈现模块发送所述流程位置,以及,响应于在所述流程位置中选择目标流程位置的用户交互操作,根据所述目标流程位置,确定所述提示信息;其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置;
其中,所述提示信息具体用于提示所述目标流程位置和/或在所述操作流程中位于所述目标流程位置之后的后续操作。
本申请实施例中,可以获取注视信息以及场景信息,并根据注视信息以及场景信息,可以确定操作场景以及用户操作在该操作场景对应的操作流程中处于的流程位置,进而可以根据该流程位置,确定提示信息,以便于利用该提示信息提示用户流程位置和/或在该操作流程中位于流程位置之后的后续操作。可见,在用户执行具有复杂流程的操作时,通过根据用户的注视信息以及操作场景,可以确定出用户执行的用户操作在操作流程中的流程位置,这样,可以针对用户所需执行的特定操作进行特定提示,从而可以降低因操作流程复杂而导致用户操作失误的可能性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种应用于终端的操作提示方法流程示意图;
图2为本发明实施例中一种应用于终端的操作提示装置结构示意图;
图3为本申请实施例中一种用于操作提示终端结构示意图。
具体实施方式
目前,操作员可能需要对照多个目标执行一系列流程复杂的操作,这就要求操作员需要具备一定的经验积累以及熟练程度,但是实际应用中,由于所需对照的目标较多,流程复杂,对于一些经验不足或者熟练程度不够的操作人员,很容易出现不知道当前已经进行到哪个操作,或者下一步需要对照哪些目标完成何种操作的情况。
现有的操作提示技术中,通常只是向操作人员展示整个复杂流程的全部操作过程,以便于操作人员以此作为对照依次完成整个复杂流程的全部操作。但是,现有的操作提示技术还无法针对操作人员当前需要执行的特定操作进行特定提示,尤其是当操作人员忘记当前所进行的步骤时,现有的操作提示技术无法对操作人员作出相应的提示,从而可能导致操作人员的操作失误。因此,操作人员所能得到的操作提示还不够实用,现有提示操作技术的提示效果并不理想。
为此,本申请实施例提供了一种应用于终端的操作提示的方法,根据获取的注视信息以及操作场景信息,来分析确定用户操作所处的流程位置,进而可以针对用户当前所需执行的特定操作进行特定提示。具体实施时,可以获取注视信息以及场景信息,并根据该注视信息以及场景信息,可以确定操作场景以及用户操作在该操作场景对应的操作流程中处于的流程位置,进而可以根据该流程位置,确定提示信息,以便于提示用户流程位置和/或在该操作流程中位于流程位置之后的后续操作。可见,在用户执行具有复杂流程的操作时,通过根据用户的注视信息以及操作场景,可以确定出用户执行的用户操作在操作流程中的流程位置,这样,可以针对用户所需执行的特定操作进行特定提示,从而可以降低因操作流程复杂而导致用户操作失误的可能性。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,图1示出了本申请实施例中一种应用于终端的操作提示的方法流程示意图,具体的,该方法可以包括:
S101:获取注视信息以及场景信息。
本实施例中,在根据用户的注视信息以及操作场景,确定出用户操作在操作流程中的流程位置时,可以获取确定注视信息所需的注视点信息,以及确定操作场景所需的场景信息。作为一种示例,可以是通过眼球追踪模块采集来获取注视点信息,并基于注视点信息计算得到所述注视信息,实现注视信息的获取。作为又一种示例,可以是通过场景追踪模块采集来获取场景信息。其中,该眼球追踪模块例如可以是眼球追踪设备,该场景追踪模块例如可以是场景追踪设备。
在一些示例性的实施方式中,通过眼球追踪模块所获取的注视点信息具体可以是用户眼部图像,该图像可以反映用户的眼睛运动情况,则在采集用户眼部图像时,具体可以是利用眼部图像拍摄模块对用户的眼部进行拍摄得到。
另外,所获取的场景信息具体是用户操作所处环境的环境图像,则在采集该环境图像时,具体可以是利用环境图像拍摄模块对周边环境进行拍摄得到。比如,在用户为驾驶员的场景下,场景信息可以是利用照相机或者摄像机等环境图像拍摄模块所拍摄到的车内环境的图像以及车外环境的图像;在用户为港口/车间操作员的场景下,场景信息可以是利用环境图像拍摄模块所拍摄到的港口的环境/操作间内的环境。
在本实施例中,基于所获取的注视点信息,可以计算出注视信息。
具体实现时,在采集用户眼部图像时,会在眼部图像拍摄设备两侧部署一对光源,从而在人眼的角膜上形成两个光斑,这样,在所拍摄得到的当前用户眼部图像中角膜上会存在两个光斑,则,在一种示例性的实施方式中,可以根据当前用户眼部图像中的两个光斑分布情况,计算出用户的注视信息。
其中,用户的注视信息,可以是用户所注视的位置、方向或深度等。比如,在用户进行侧方停车时,用户可能会回头看向车辆后方,以观察车辆后方的具体情况,此时,用户的注视信息可以表征为用户在注视车辆后方。
S102:根据注视信息和场景信息,确定操作场景以及用户操作在该操作场景对应的操作流程中处于的流程位置。
在一种示例性的实施方式中,可以预先设置元素分别与操作场景、流程位置的对应关系,其中,该元素可以根据注视信息以及场景信息进行确定,具体可以是注视信息以及场景信息中所包括的信息。比如,当用户进行侧方停车时,注视信息可以体现为用户注视的车辆后方,场景信息可以是包含与本车位置平行的另一辆车的车门图像,则该元素即可以是车辆后方,以及场景信息中包括的车门图像等,当然,此处仅是对元素进行示例性说明,并不用于对元素所包括的内容进行限定。
则在获取到注视信息以及场景信息后,可以在元素分别与操作场景、流程位置的预设的对应关系中,查找与注视信息和场景信息所匹配上的元素,并将该元素作为目标元素;然后,通过所述预设的对应关系,可以确定出目标元素在所对应的操作场景,以及目标元素所对应的流程位置。
在另一种示例性的具体实施方式中,在计算出用户的注视信息以及获取到场景信息后,可以据此来确定用户进行的用户操作所在的操作场景,也即,确定用户是在何种场景下进行操作的。然后,由于每种操作场景都会存在对应的操作流程,比如,驾驶员在侧方停车时所对应的操作流程为挂挡、踩加速踏板以倒车/前进、查看左右后视镜、转动方向盘、刹车等,因此,在确定操作场景后,可以确定出操作场景所对应的操作流程。接着,根据注视信息以及场景信息,可以分析确定出用户操作在操作场景所对应的操作流程中处于的流程位置,即确定出执行到该操作流程中的哪一阶段。比如,对于侧方停车这一操作流程而言,可以划分为操作开始阶段、倒车/前进一定距离阶段、车尾转向倒入车位阶段以及车辆全部处于车位阶段四个流程位置,如果注视信息为左右后视镜,则可以确定流程位置为车尾转向倒入车位阶段。
S103:根据流程位置,确定提示信息。
本实施例中,在确定出当前流程位置后,可以根据该当前流程位置,确定出提示信息,以便于提示用户其所执行的用户操作在操作流程中的当前流程位置,和/或提示用户在当前操作流程中当前流程位置之后的后续操作。举例来说,若确定用户当前正在进行侧方停车,并且当前流程位置为倒车,则在确定并呈现当前提示信息时,可以是提示用户当前处于当前操作流程中的踩加速踏板来实现倒车的阶段,和/或者,可以是提示用户踩加速踏板之后的操作依次为查看左右后视镜、转动方向盘以及刹车。实际应用中,还可以提示用户具体如何转动方向盘以获取最佳的倒入车位位置、与周围车辆的实施距离等信息。
值得注意的是,如果根据注视信息和场景信息,所确定出的流程位置也有可能为多个。比如,用户在进行侧方停车时,用户正在注视左右后视镜,并且所拍摄得到的场景信息为与本车位置基本平行的另一辆车的车门,则所确定出的流程位置可能是操作开始阶段,也可能是倒车/前进一定距离阶段,此时,可以是由用户来确定流程位置,进而确定出提示信息。
具体的,在一种确定提示信息的示例性实施方式中,在确定出流程位置后,可以通过实时信息显示屏幕向用户呈现用户操作所处于的可能的流程位置,由用户执行用户交互操作以在流程位置中选择出目标流程位置,然后,响应于该用户交互操作,根据目标流程位置确定出提示信息。其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置。例如,用户可以通过触摸(如在点击屏幕等)、声控、眼控等方式来从呈现出的流程位置中选择出目标流程位置。需要说明的是,当采用眼控的方式来选择目标流程位置时,追踪用户眼球的装置可以是上述眼球追踪设备,也可是其它额外配备的眼球追踪设备。
实际应用中,为了方便用户接受该提示信息,可以是采用语音的方式来提示用户。则,作为一种呈现提示信息的示例性实施方式,在呈现提示信息时,具体可以是先利用设置有语音库的语音转换器将提示信息转换为语音信息,然后,将该语音信息播放给用户。
本实施例中,可以获取注视信息以及场景信息;然后,根据所获取的注视信息以及场景信息,可以确定用户操作所在的操作场景以及用户操作在该操作场景对应的操作流程中处于的流程位置,进而可以根据该流程位置,确定提示信息,以便于利用该提示信息提示用户流程位置和/或在该操作流程中位于流程位置之后的后续操作。可见,在用户执行具有复杂流程的操作时,通过根据用户的注视信息以及操作场景,可以确定出用户操作在操作流程中的流程位置,这样,可以针对用户所需执行的特定操作进行特定提示,从而可以降低因操作流程复杂而导致用户操作失误的可能性。
此外,本申请实施例还提供了一种应用于终端的操作提示的装置。参阅图2,图2示出了本申请实施例中一种应用于终端的操作提示的装置结构示意图,该装置200具体可以包括:
第一获取单元201,用于获取注视信息以及场景信息;
第一确定单元202,用于根据所述注视信息和所述场景信息,确定操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置;
第二确定单元203,用于根据所述流程位置,确定提示信息。
在一些可能的实施方式中,所述装置200还包括:
第二获取单元,用于获取注视点信息,所述注视点信息通过眼球追踪模块采集获取;
计算单元,用于基于所述注视点信息,计算得到所述注视信息。
在一些可能的实施方式中,所述场景信息被配置为通过场景追踪模块采集获取。
在一些可能的实施方式中,所述提示信息用于提示所述当前流程位置和/或在所述操作流程中位于所述流程位置之后的后续操作。在一些可能的实施方式中,第一确定单元202,包括:
查找子单元,用于在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素;
第一确定子单元,用于通过所述预设的对应关系,确定所述目标元素对应的操作场景,以及所述目标元素对应的流程位置。
在一些可能的实施方式中,所述注视点信息为用户眼部图像,所述眼球追踪模块为眼部图像拍摄模块。
在一些可能的实施方式中,所述场景信息为操作处于的环境图像,所述场景追踪模块为环境图像拍摄模块。
在一些可能的实施方式中,所述装置200还包括:
语音单元,用于将所述提示信息转换为语音信息并对所述语音信息进行播放。
在一些可能的实施方式中,所第二确定单元203,包括:
呈现子单元,用于呈现所述流程位置;
第二确定子单元,用于响应于在所述流程位置中选择目标流程位置的用户交互操作,根据所述目标流程位置,确定所述提示信息;其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置;
其中,所述提示信息具体用于提示所述目标流程位置和/或在所述操作流程中位于所述目标流程位置之后的后续操作。
本实施例中,在用户执行具有复杂流程的操作时,通过根据用户的注视信息以及操作场景,可以确定出用户操作在操作流程中的流程位置,这样,可以针对用户所需执行的特定操作进行特定提示,从而可以降低因操作流程复杂而导致用户操作失误的可能性。
另外,本申请实施例还提供了一种用于操作提示的终端。参阅图3,图3示出了本申请实施例中一种用于操作提示的终端结构示意图,该终端300具体可以包括眼球追踪模块301、场景追踪模块302和处理器303;
所述眼球追踪设备301,用于采集注视点信息,所述注视点信息用于计算注视信息;
所述场景追踪设备302,用于采集场景信息;
所述处理器303,用于获取所述注视信息以及所述场景信息,根据所述注视信息和所述场景信息确定操作所在的操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置,根据所述流程位置确定提示信息。
在一种示例性的实施方式中,所述终端300还包括:
呈现模块,用于呈现所述提示信息,并且,所述呈现模块可以是实时信息显示屏幕。
在一些可能的实施方式中,所述处理器303,还用于在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素,并通过该对应关系,确定所述目标元素对应的操作场景,以及目标元素对应的流程位置。
在一些可能的实施方式中,所述提示信息用于提示所述当前流程位置和/或在所述操作流程中位于所述流程位置之后的后续操作。在一些可能的实施方式中,所述注视点信息为用户眼部图像,所述眼球追踪模块301为眼部图像拍摄模块。
在一些可能的实施方式中,所述场景信息为操作处于的环境图像,所述场景追踪模块302为环境图像拍摄模块。
在一些可能的实施方式中,该终端300还包括语音播放设备;
所述处理器303,还用于将所述提示信息转换为语音信息并向所述语音播放设备发送所述语音信息;
所述语音播放设备,用于对所述语音信息进行播放。
在一些可能的实施方式中,呈现模块,还用于呈现所述流程位置;
所述处理器303,还用于向所述呈现模块发送所述流程位置,以及,响应于在所述流程位置中选择目标流程位置的用户交互操作,根据所述目标流程位置,确定所述提示信息;其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置;
其中,所述提示信息具体用于提示所述目标流程位置和/或在所述操作流程中位于所述目标流程位置之后的后续操作。
本实施例中,在用户执行具有复杂流程的操作时,通过根据用户的注视信息以及操作场景,可以确定出用户执行的用户操作在操作流程中的流程位置,这样,可以针对用户所需执行的特定操作进行特定提示,从而可以降低因操作流程复杂而导致用户操作失误的可能性。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,ROM)/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例和设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及装置实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本发明的优选实施方式,并非用于限定本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种应用于终端的操作提示方法,其特征在于,包括:
获取注视信息以及场景信息,所述场景信息包括用户操作所处环境的环境图像;
根据所述注视信息和所述场景信息,确定操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置,包括:在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素;通过所述预设的对应关系,确定所述目标元素对应的操作场景以及所述目标元素对应的流程位置;
根据所述流程位置,确定提示信息。
2.根据权利要求1所述的方法,其特征在于,在获取注视信息以及场景信息之前还包括:
获取注视点信息,所述注视点信息通过眼球追踪模块采集获取;
基于所述注视点信息,计算得到所述注视信息。
3.根据权利要求1所述的方法,其特征在于,所述场景信息被配置为通过场景追踪模块采集获取。
4.根据权利要求1所述的方法,其特征在于,所述提示信息用于提示当前流程位置和/或在所述操作流程中位于所述流程位置之后的后续操作。
5.根据权利要求2所述的方法,其特征在于,所述注视点信息为用户眼部图像,所述眼球追踪模块为眼部图像拍摄模块。
6.根据权利要求3所述的方法,其特征在于,所述场景信息为所述用户操作处于的环境图像,所述场景追踪模块为环境图像拍摄模块。
7.根据权利要求1所述的方法,其特征在于,还包括:
将所述提示信息转换为语音信息并对所述语音信息进行播放。
8.根据权利要求1所述的方法,其特征在于,所述根据所述流程位置,确定提示信息,包括:
呈现所述流程位置;
响应于在所述流程位置中选择目标流程位置的用户交互操作,根据所述目标流程位置,确定所述提示信息;其中,所述目标流程位置表示用户在所述流程位置中选取的流程位置;
其中,所述提示信息具体用于提示所述目标流程位置和/或在所述操作流程中位于所述目标流程位置之后的后续操作。
9.一种应用于终端操作提示的装置,其特征在于,包括:
第一获取单元,用于获取注视信息以及场景信息,所述场景信息包括用户操作所处环境的环境图像;
第一确定单元,用于根据所述注视信息和所述场景信息,确定操作场景以及用户操作在所述操作场景对应的操作流程中处于的流程位置;
所述第一确定单元,具体用于在元素与操作场景、流程位置的预设的对应关系中,查找所述注视信息和所述场景信息所匹配上的目标元素;通过所述预设的对应关系,确定所述目标元素对应的操作场景以及所述目标元素对应的流程位置;
第二确定单元,用于根据所述流程位置,确定提示信息。
10.一种用于操作提示的终端,其特征在于,包括处理器、眼球追踪模块和场景追踪模块;
所述眼球追踪模块,用于采集注视点信息,所述注视点信息用于计算注视信息;
所述场景追踪模块,用于采集场景信息;
所述处理器,用于执行如权利要求1至8中任意一项所述的方法。
CN201811314110.XA 2018-11-06 2018-11-06 一种应用于终端的操作提示方法、装置和终端 Active CN109445597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811314110.XA CN109445597B (zh) 2018-11-06 2018-11-06 一种应用于终端的操作提示方法、装置和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811314110.XA CN109445597B (zh) 2018-11-06 2018-11-06 一种应用于终端的操作提示方法、装置和终端

Publications (2)

Publication Number Publication Date
CN109445597A CN109445597A (zh) 2019-03-08
CN109445597B true CN109445597B (zh) 2022-07-05

Family

ID=65550890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811314110.XA Active CN109445597B (zh) 2018-11-06 2018-11-06 一种应用于终端的操作提示方法、装置和终端

Country Status (1)

Country Link
CN (1) CN109445597B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989533A (zh) * 2019-12-19 2020-04-10 西安博深安全科技股份有限公司 Scada监控平台操作提示方法、设备及可读存储介质
CN113065456A (zh) * 2021-03-30 2021-07-02 上海商汤智能科技有限公司 信息提示方法、装置、电子设备和计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103895650A (zh) * 2012-12-28 2014-07-02 环达电脑(上海)有限公司 智能陪驾装置及其方法
CN105190481A (zh) * 2013-03-15 2015-12-23 英特尔公司 响应于操作人员位置和手势的用户接口
CN105867410A (zh) * 2016-04-06 2016-08-17 东莞北京航空航天大学研究院 基于眼球跟踪的无人机地面站控制方法及其系统
CN106896915A (zh) * 2017-02-15 2017-06-27 传线网络科技(上海)有限公司 基于虚拟现实的输入控制方法及装置
CN107092662A (zh) * 2017-03-28 2017-08-25 阿里巴巴集团控股有限公司 互动任务的推送方法及装置
CN107499230A (zh) * 2017-07-28 2017-12-22 广州亿程交通信息有限公司 车辆驾驶行为分析方法及系统
CN108240821A (zh) * 2016-12-27 2018-07-03 沈阳美行科技有限公司 一种推荐车线的语音提示方法及装置
CN108499106A (zh) * 2018-04-10 2018-09-07 网易(杭州)网络有限公司 竞速游戏提示信息的处理方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363361B2 (en) * 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
JP5664603B2 (ja) * 2012-07-19 2015-02-04 株式会社デンソー 車載音響装置及びプログラム
CN106303088A (zh) * 2016-09-30 2017-01-04 努比亚技术有限公司 提示调节方法及移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103895650A (zh) * 2012-12-28 2014-07-02 环达电脑(上海)有限公司 智能陪驾装置及其方法
CN105190481A (zh) * 2013-03-15 2015-12-23 英特尔公司 响应于操作人员位置和手势的用户接口
CN105867410A (zh) * 2016-04-06 2016-08-17 东莞北京航空航天大学研究院 基于眼球跟踪的无人机地面站控制方法及其系统
CN108240821A (zh) * 2016-12-27 2018-07-03 沈阳美行科技有限公司 一种推荐车线的语音提示方法及装置
CN106896915A (zh) * 2017-02-15 2017-06-27 传线网络科技(上海)有限公司 基于虚拟现实的输入控制方法及装置
CN107092662A (zh) * 2017-03-28 2017-08-25 阿里巴巴集团控股有限公司 互动任务的推送方法及装置
CN107499230A (zh) * 2017-07-28 2017-12-22 广州亿程交通信息有限公司 车辆驾驶行为分析方法及系统
CN108499106A (zh) * 2018-04-10 2018-09-07 网易(杭州)网络有限公司 竞速游戏提示信息的处理方法和装置

Also Published As

Publication number Publication date
CN109445597A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
DE112018004847B4 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt
US11165955B2 (en) Album generation apparatus, album generation system, and album generation method
CN103786644B (zh) 用于追踪外围车辆位置的装置和方法
CN107914707A (zh) 碰撞预警方法、系统、车载后视镜及存储介质
CN109445597B (zh) 一种应用于终端的操作提示方法、装置和终端
JP2018507130A (ja) 認知ミラー装置、ならびにそれを制御するための方法およびコンピュータ・プログラム
CN106155290B (zh) 利用视线追踪的菜单选择设备
KR20210086583A (ko) 무인 주행 차량의 제어 방법, 장치 및 전자 기기
CN114820898A (zh) 模拟驾驶的图像渲染方法、装置、模拟器及存储介质
CN111693038B (zh) 路线导航方法及装置
CN110855895B (zh) 摄像控制方法和终端
CN113492756A (zh) 一种车外信息展示方法、装置、设备及存储介质
CN110466533A (zh) 一种车辆控制方法、装置及系统
CN112686958A (zh) 标定方法、装置及电子设备
CN115691267A (zh) 模拟驾驶控制方法、系统、驾驶模拟器及存储介质
CN113781766B (zh) 车端数据处理方法、装置、设备及存储介质
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN111919436A (zh) 信息处理装置、信息处理方法以及程序
CN111862576A (zh) 追踪嫌疑目标的方法及相应的车辆、服务器、系统和介质
CN113947747B (zh) 一种车辆的监控图像的处理方法、装置以及设备
CN113901895B (zh) 一种车辆的开门动作识别方法、装置以及处理设备
CN115376114B (zh) 一种汽车摄像的图像多模态取景方法及系统
CN113992885B (zh) 一种数据同步方法及装置
CN115223384B (zh) 一种车辆数据显示方法、装置、电子设备和存储介质
US20210197723A1 (en) Information processing apparatus, information processing system, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant