CN108874127A - 信息交互方法、装置、电子设备及计算机可读存储介质 - Google Patents

信息交互方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN108874127A
CN108874127A CN201810540673.4A CN201810540673A CN108874127A CN 108874127 A CN108874127 A CN 108874127A CN 201810540673 A CN201810540673 A CN 201810540673A CN 108874127 A CN108874127 A CN 108874127A
Authority
CN
China
Prior art keywords
user
operated
target object
area
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810540673.4A
Other languages
English (en)
Inventor
任皎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaodu Information Technology Co Ltd
Original Assignee
Beijing Xiaodu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaodu Information Technology Co Ltd filed Critical Beijing Xiaodu Information Technology Co Ltd
Priority to CN201810540673.4A priority Critical patent/CN108874127A/zh
Publication of CN108874127A publication Critical patent/CN108874127A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例公开了一种信息交互方法、装置、电子设备及计算机可读存储介质,所述方法包括:获取用户对屏幕的感兴趣区域;根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。该方案能够大大提高用户操作效率,节省用户宝贵的时间,为用户的使用带来极大的便利。

Description

信息交互方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及信息处理技术领域,具体涉及一种信息交互方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网、电子设备技术的发展,越来越多的事情都可以在电子设备上完成,比如:浏览新闻、查看文档、听音乐、观看视频等等,因此,很多时候用户在电子设备上都需要进行多线程的交互操作,但大多数电脑不支持触屏操作,需要通过键盘、触摸板、鼠标等外接输入设备进行信息或命令的输入,即使手机、平板这些移动设备支持触屏操作,在某些场景下(比如双手被占用时)也是无法进行多线程操作的,或者操作非常复杂,效率也较低,这就给用户的使用带来了极大的不便。
发明内容
本公开实施例提供一种信息交互方法、装置、电子设备及计算机可读存储介质。
第一方面,本公开实施例中提供了一种信息交互方法。
具体的,所述信息交互方法,包括:
获取用户对屏幕的感兴趣区域;
根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;
获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。
结合第一方面,本公开在第一方面的第一种实现方式中,所述获取用户对屏幕的感兴趣区域,包括:
获取所述用户对屏幕的注视区域;
将所述注视区域确定为所述感兴趣区域。
结合第一方面和第一方面的第一种实现方式,本公开在第一方面的第二种实现方式中,所述获取用户对屏幕的注视区域,包括:
获取用户的视线位置点和在屏幕上的注视点;
根据所述视线位置点和注视点确定用户视线范围图形;
将所述视线范围图形在所述屏幕上的投影面确定为所述注视区域。
结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式,本公开在第一方面的第三种实现方式中,所述视线范围图形为以所述视线位置点为顶点,以所述视线位置点与注视点之间的连接线为轴,以预设角度为顶角形成的圆锥体。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式,本公开在第一方面的第四种实现方式中,所述根据感兴趣区域确定待操作目标对象,包括:
确定所述感兴趣区域覆盖的候选待操作目标对象;
计算所述候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离;
根据所述距离确定所述候选待操作目标对象的优先级;
按照优先级从高到低的顺序确定待操作目标对象。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式,本公开在第一方面的第五种实现方式中,所述获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作,包括:
获取用户操作命令信息;
对所述用户操作命令信息进行识别,得到用户操作命令;
根据所述用户操作命令对所述待操作目标对象执行相应的操作。
第二方面,本公开实施例中提供了一种信息交互装置。
具体的,所述信息交互装置,包括:
获取模块,被配置为获取用户对屏幕的感兴趣区域;
确定模块,被配置为根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;
操作模块,被配置为获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。
结合第二方面,本公开在第二方面的第一种实现方式中,所述获取模块包括:
第一获取子模块,被配置为获取所述用户对屏幕的注视区域;
第一确定子模块,被配置为将所述注视区域确定为所述感兴趣区域。
结合第二方面和第二方面的第一种实现方式,本公开在第二方面的第二种实现方式中,所述第一获取子模块包括:
第二获取子模块,被配置为获取用户的视线位置点和在屏幕上的注视点;
第二确定子模块,被配置为根据所述视线位置点和注视点确定用户视线范围图形;
第三确定子模块,被配置为将所述视线范围图形在所述屏幕上的投影面确定为所述注视区域。
结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式,本公开在第二方面的第三种实现方式中,所述视线范围图形为以所述视线位置点为顶点,以所述视线位置点与注视点之间的连接线为轴,以预设角度为顶角形成的圆锥体。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式,本公开在第二方面的第四种实现方式中,所述确定模块包括:
第四确定子模块,被配置为确定所述感兴趣区域覆盖的候选待操作目标对象;
计算子模块,被配置为计算所述候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离;
第五确定子模块,被配置为根据所述距离确定所述候选待操作目标对象的优先级;
第六确定子模块,被配置为按照优先级从高到低的顺序确定待操作目标对象。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式,本公开在第二方面的第五种实现方式中,所述操作模块包括:
第三获取子模块,被配置为获取用户操作命令信息;
识别子模块,被配置为对所述用户操作命令信息进行识别,得到用户操作命令;
操作子模块,被配置为根据所述用户操作命令对所述待操作目标对象执行相应的操作。
第三方面,本公开实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条支持信息交互装置执行上述第一方面中信息交互方法的计算机指令,所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述信息交互装置还可以包括通信接口,用于信息交互装置与其他设备或通信网络通信。
第四方面,本公开实施例提供了一种计算机可读存储介质,用于存储信息交互装置所用的计算机指令,其包含用于执行上述第一方面中信息交互方法为信息交互装置所涉及的计算机指令。
本公开实施例提供的技术方案可以包括以下有益效果:
上述技术方案,通过获取用户对屏幕的感兴趣区域,根据感兴趣区域确定显示在屏幕上的待操作目标对象,再获取用户操作命令,并根据用户操作命令对待操作目标对象执行相应操作,来实现无需用户手动操作屏幕即可完成所需操作内容的目的,该技术方案能够大大提高用户操作效率,节省用户宝贵的时间,为用户的使用带来极大的便利。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
图1示出根据本公开一实施方式的信息交互方法的流程图;
图2示出根据图1所示实施方式的信息交互方法的步骤S101的流程图;
图3示出根据图2所示实施方式的信息交互方法的步骤S201的流程图;
图4示出根据图1所示实施方式的信息交互方法的步骤S102的流程图;
图5示出根据图1所示实施方式的信息交互方法的步骤S103的流程图;
图6示出根据本公开一实施方式的信息交互装置的结构框图;
图7示出根据图6所示实施方式的信息交互装置的获取模块601的结构框图;
图8示出根据图7所示实施方式的信息交互装置的第一获取子模块701的结构框图;
图9示出根据图6所示实施方式的信息交互装置的确定模块602的结构框图;
图10示出根据图6所示实施方式的信息交互装置的操作模块603的结构框图;
图11示出根据本公开一实施方式的电子设备的结构框图;
图12是适于用来实现根据本公开一实施方式的信息交互方法的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
本公开实施例提供的技术方案通过获取用户对屏幕的感兴趣区域,根据感兴趣区域确定显示在屏幕上的待操作目标对象,再获取用户操作命令,并根据用户操作命令对待操作目标对象执行相应操作,来实现无需用户手动操作屏幕即可完成所需操作内容的目的,该技术方案能够大大提高用户操作效率,节省用户宝贵的时间,为用户的使用带来极大的便利。
图1示出根据本公开一实施方式的信息交互方法的流程图。如图1所示,所述信息交互方法包括以下步骤S101-S103:
在步骤S101中,获取用户对屏幕的感兴趣区域;
在步骤S102中,根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;
在步骤S103中,获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。
上文提及,随着互联网、电子设备技术的发展,越来越多的事情都可以在电子设备上完成,比如:浏览新闻、查看文档、听音乐、观看视频等等,因此,很多时候用户在电子设备上都需要进行多线程的交互操作,但大多数电脑不支持触屏操作,需要通过键盘、触摸板、鼠标等外接输入设备进行信息或命令的输入,即使手机、平板这些移动设备支持触屏操作,在某些场景下(比如双手被占用时)也是无法进行多线程操作的,或者操作非常复杂,效率也较低,这就给用户的使用带来了极大的不便。
考虑到上述缺陷,在该实施方式中,提出一种信息交互方法,该方法首先获取用户对于屏幕的感兴趣区域,然后根据所述感兴趣区域确定待操作目标对象,最后获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。该方案无需用户手动操作即可完成所需操作,能够大大提高用户操作效率,节省用户宝贵的时间,为用户的使用带来极大的便利。
其中,所述感兴趣区域指的是用户对于所述屏幕的关注区域,也即,用户操作极有可能发生的区域。
其中,所述待操作目标对象显示在所述感兴趣区域中,或者说,所述待操作目标对象所在的区域被所述感兴趣区域覆盖或者部分覆盖。所述待操作目标对象可以被认为是用户有可能想要操作的对象。
在本实施例的一个可选实现方式中,如图2所示,所述步骤S101,即所述获取用户对屏幕的感兴趣区域的步骤,包括步骤S201-S202:
在步骤S201中,获取所述用户对屏幕的注视区域;
在步骤S202中,将所述注视区域确定为所述感兴趣区域。
在该实施方式中,认为用户观看、注视屏幕的区域或范围是用户目前正在关注的区域或范围,若用户想要对于屏幕执行一定的操作,那么极有可能是发生在这个区域或范围,因此,可以首先获取用户对屏幕的注视区域,然后将所述注视区域确定为用户的感兴趣区域。
在本实施例的一个可选实现方式中,如图3所示,所述步骤S201,即获取所述用户对屏幕的注视区域的步骤,包括步骤S301-S303:
在步骤S301中,获取用户的视线位置点和在屏幕上的注视点;
在步骤S302中,根据所述视线位置点和注视点确定用户视线范围图形;
在步骤S303中,将所述视线范围图形在所述屏幕上的投影面确定为所述注视区域。
考虑到人在观看屏幕时,其实际观看的内容所在的区域与人眼所在位置之间是存在一定的对应关系的,而这个对应关系可以利用两者所构成的一个图形来表示。因此,在该实施方式中,首先获取用户的视线位置点和在屏幕上的注视点,然后根据所述视线位置点和注视点确定用户视线范围图形;最后将所述视线范围图形在所述屏幕上的投影面确定为所述注视区域。
其中,所述视线位置点用于表征用户视线所在的位置,在本实施例的一个可选实现方式中,所述视线位置点可认为是用户两个瞳孔点形成的直线的中心点,当然,对于一些特殊情况,比如用户双眼视力明显不同、用户眼睛出现受伤、用户为斜视等情况,所述视线位置点也可以确定为其他位置点,只要该位置点能够表征用户视线的所在位置即可。
其中,用户在屏幕上的注视点用于表征用户视线在屏幕上的聚焦位置,该点位置的确定能够有助于后续对于注视区域的确定。在本实施例的一个可选实现方式中,在比较常见的情况下,当用户正对屏幕时,也就是说,所述屏幕所在的平面与用户脸部所在平面近乎平行时,所述注视点可认为是以所述视线位置点为起点,以所述屏幕所在平面为终点所在的平面,形成的垂线的垂点的位置,即所述垂线与所述屏幕所在平面的交点所在的位置。在本实施例的另一个可选实现方式中,当用户并未正对屏幕,也就是说,当所述屏幕所在的平面与用户脸部所在平面不平行,而是呈现某一角度时,所述注视点可认为是用户视线所在平面与屏幕所在平面之间的交线的中心点,其中,所述用户视线所在平面可以是由用户瞳孔点、虹膜中心点所形成的平面,也可以是由其他视线相关点所形成的平面,只要该平面能够表征用户视线的方向即可。对于其他一些特殊情况,比如用户为斜视时,用户在屏幕上的注视点可根据用户视线方向的特点对于用户视线所在平面的确定进行调整。
其中,所述视线范围图形可以为平面图形也可以为立体图形。
在本实施例的一个可选实现方式中,所述视线范围图形可以为以所述视线位置点为顶点,以所述视线位置点与注视点之间的连接线为轴,以预设角度为顶角形成的圆锥体,其中,所述顶角指的是所述圆锥体竖截面形成的等边三角形的顶角,所述预设角度可根据先验知识或者根据用户的视线特点来定,比如,所述预设角度可取值为20°~40°。
在本实施例的一个可选实现方式中,如图4所示,所述步骤S102,即根据感兴趣区域确定待操作目标对象的步骤,包括步骤S401-S404:
在步骤S401中,确定所述感兴趣区域覆盖的候选待操作目标对象;
在步骤S402中,计算所述候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离;
在步骤S403中,根据所述距离确定所述候选待操作目标对象的优先级;
在步骤S404中,按照优先级从高到低的顺序确定待操作目标对象。
在确定感兴趣区域之后,需要确定用户很有可能想要操作的目标对象。上文提及,很多时候用户在电子设备上都需要进行多线程的交互操作,比如,在浏览新闻或者是查看文档的时候听着音乐等等,而且,很多网页上既包括文字还包括图片,文字和图片还大多呈现交错出现的形式。因此,所述感兴趣区域中很有可能既包括文字,还包括图片、音乐、视频等其他类型的可操作对象,既包括这个对象的文字,还包括那个对象的文字,如果不能够准确判断用户实际上想要操作的目标对象,则很有可能会出现误操作的情况。
在该实施方式中,根据感兴趣区域所覆盖的各个候选待操作目标对象所在区域与感兴趣区域之间的距离来判断哪个候选待操作目标对象是用户实际上想要操作的目标对象。首先确定所述感兴趣区域所覆盖的一个或多个候选待操作目标对象,当所述候选待操作目标对象的个数大于1时,计算各个候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离,然后根据所述距离确定所述候选待操作目标对象的优先级,比如,距离所述感兴趣区域的中心点最近的候选待操作目标对象很有可能是用户正在观看的内容,可认为其就是用户实际上想要操作的目标对象,因此可给予该候选待操作目标对象最高的优先级;最后按照优先级从高到低的顺序确定得到待操作目标对象。该技术方案能够大大提高识别目标对象的正确率,进而增强用户的使用体验。
在本实施例的一个可选实现方式中,如图5所示,所述步骤S103,即所述获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作的步骤,包括步骤S501-S503:
在步骤S501中,获取用户操作命令信息;
在步骤S502中,对所述用户操作命令信息进行识别,得到用户操作命令;
在步骤S503中,根据所述用户操作命令对所述待操作目标对象执行相应的操作。
在该实施方式中,在获取得到用户的操作命令信息后,基于用户操作命令信息,通过语音识别或者动作识别来得到用户的操作命令,并根据所述操作命令对所述待操作目标对象执行相应的操作。
其中,所述用户操作命令信息可以是语音命令信息,也可以是动作或手势命令信息等,所述用户操作命令信息可包括:打开、关闭、下滑、上滑、复制、粘贴、删除、下一个、上一个、返回、播放、暂停或停止、继续、保存、放大、缩小、回放等内容,当然,为了为用户提供更多的方便,所述用户操作命令信息还可包括自定义命令信息,用户可根据自身的需要,自定义相应的命令内容。当所述用户操作命令信息为语音命令信息时,可使用默认语音命令数据集,用户也可以自行录制自己需要的、符合自己特点的语音命令。当所述用户操作命令信息为动作或手势命令信息时,可预先建立动作或手势与命令内容之间的对应关系的数据集,既可使用默认的对应关系数据集,也可自行录制自己需要的、符合自己特点的动作或手势命令。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图6示出根据本公开一实施方式的信息交互装置的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示,所述信息交互装置包括:
获取模块601,被配置为获取用户对屏幕的感兴趣区域;
确定模块602,被配置为根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;
操作模块603,被配置为获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。
上文提及,随着互联网、电子设备技术的发展,越来越多的事情都可以在电子设备上完成,比如:浏览新闻、查看文档、听音乐、观看视频等等,因此,很多时候用户在电子设备上都需要进行多线程的交互操作,但大多数电脑不支持触屏操作,需要通过键盘、触摸板、鼠标等外接输入设备进行信息或命令的输入,即使手机、平板这些移动设备支持触屏操作,在某些场景下(比如双手被占用时)也是无法进行多线程操作的,或者操作非常复杂,效率也较低,这就给用户的使用带来了极大的不便。
考虑到上述缺陷,在该实施方式中,提出一种信息交互装置,该装置通过获取模块601获取用户对于屏幕的感兴趣区域,通过确定模块602根据所述感兴趣区域确定待操作目标对象,通过操作模块603获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。该方案无需用户手动操作即可完成所需操作,能够大大提高用户操作效率,节省用户宝贵的时间,为用户的使用带来极大的便利。
其中,所述感兴趣区域指的是用户对于所述屏幕的关注区域,也即,用户操作极有可能发生的区域。
其中,所述待操作目标对象显示在所述感兴趣区域中,或者说,所述待操作目标对象所在的区域被所述感兴趣区域覆盖或者部分覆盖。所述待操作目标对象可以被认为是用户有可能想要操作的对象。
在本实施例的一个可选实现方式中,如图7所示,所述获取模块601包括:
第一获取子模块701,被配置为获取所述用户对屏幕的注视区域;
第一确定子模块702,被配置为将所述注视区域确定为所述感兴趣区域。
在该实施方式中,认为用户观看、注视屏幕的区域或范围是用户目前正在关注的区域或范围,若用户想要对于屏幕执行一定的操作,那么极有可能是发生在这个区域或范围,因此,第一确定子模块702将第一获取子模块701获取的用户对屏幕的注视区域确定为用户的感兴趣区域。
在本实施例的一个可选实现方式中,如图8所示,所述第一获取子模块701包括:
第二获取子模块801,被配置为获取用户的视线位置点和在屏幕上的注视点;
第二确定子模块802,被配置为根据所述视线位置点和注视点确定用户视线范围图形;
第三确定子模块803,被配置为将所述视线范围图形在所述屏幕上的投影面确定为所述注视区域。
考虑到人在观看屏幕时,其实际观看的内容所在的区域与人眼所在位置之间是存在一定的对应关系的,而这个对应关系可以利用两者所构成的一个图形来表示。因此,在该实施方式中,通过第二获取子模块801获取用户的视线位置点和在屏幕上的注视点,通过第二确定子模块802根据所述视线位置点和注视点确定用户视线范围图形;通过第三确定子模块803将所述视线范围图形在所述屏幕上的投影面确定为所述注视区域。
其中,所述视线位置点用于表征用户视线所在的位置,在本实施例的一个可选实现方式中,所述视线位置点可认为是用户两个瞳孔点形成的直线的中心点,当然,对于一些特殊情况,比如用户双眼视力明显不同、用户眼睛出现受伤、用户为斜视等情况,所述视线位置点也可以确定为其他位置点,只要该位置点能够表征用户视线的所在位置即可。
其中,用户在屏幕上的注视点用于表征用户视线在屏幕上的聚焦位置,该点位置的确定能够有助于后续对于注视区域的确定。在本实施例的一个可选实现方式中,在比较常见的情况下,当用户正对屏幕时,也就是说,所述屏幕所在的平面与用户脸部所在平面近乎平行时,所述注视点可认为是以所述视线位置点为起点,以所述屏幕所在平面为终点所在的平面,形成的垂线的垂点的位置,即所述垂线与所述屏幕所在平面的交点所在的位置。在本实施例的另一个可选实现方式中,当用户并未正对屏幕,也就是说,当所述屏幕所在的平面与用户脸部所在平面不平行,而是呈现某一角度时,所述注视点可认为是用户视线所在平面与屏幕所在平面之间的交线的中心点,其中,所述用户视线所在平面可以是由用户瞳孔点、虹膜中心点所形成的平面,也可以是由其他视线相关点所形成的平面,只要该平面能够表征用户视线的方向即可。对于其他一些特殊情况,比如用户为斜视时,用户在屏幕上的注视点可根据用户视线方向的特点对于用户视线所在平面的确定进行调整。
其中,所述视线范围图形可以为平面图形也可以为立体图形。
在本实施例的一个可选实现方式中,所述视线范围图形可以为以所述视线位置点为顶点,以所述视线位置点与注视点之间的连接线为轴,以预设角度为顶角形成的圆锥体,其中,所述顶角指的是所述圆锥体竖截面形成的等边三角形的顶角,所述预设角度可根据先验知识或者根据用户的视线特点来定,比如,所述预设角度可取值为20°~40°。
在本实施例的一个可选实现方式中,如图9所示,所述确定模块602包括:
第四确定子模块901,被配置为确定所述感兴趣区域覆盖的候选待操作目标对象;
计算子模块902,被配置为计算所述候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离;
第五确定子模块903,被配置为根据所述距离确定所述候选待操作目标对象的优先级;
第六确定子模块904,被配置为按照优先级从高到低的顺序确定待操作目标对象。
在确定感兴趣区域之后,需要确定用户很有可能想要操作的目标对象。上文提及,很多时候用户在电子设备上都需要进行多线程的交互操作,比如,在浏览新闻或者是查看文档的时候听着音乐等等,而且,很多网页上既包括文字还包括图片,文字和图片还大多呈现交错出现的形式。因此,所述感兴趣区域中很有可能既包括文字,还包括图片、音乐、视频等其他类型的可操作对象,既包括这个对象的文字,还包括那个对象的文字,如果不能够准确判断用户实际上想要操作的目标对象,则很有可能会出现误操作的情况。
在该实施方式中,根据感兴趣区域所覆盖的各个候选待操作目标对象所在区域与感兴趣区域之间的距离来判断哪个候选待操作目标对象是用户实际上想要操作的目标对象。首先通过第四确定子模块901确定所述感兴趣区域所覆盖的一个或多个候选待操作目标对象,当所述候选待操作目标对象的个数大于1时,计算子模块902计算各个候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离,第五确定子模块903根据所述距离确定所述候选待操作目标对象的优先级,比如,距离所述感兴趣区域的中心点最近的候选待操作目标对象很有可能是用户正在观看的内容,可认为其就是用户实际上想要操作的目标对象,因此可给予该候选待操作目标对象最高的优先级;第六确定子模块904按照优先级从高到低的顺序确定得到待操作目标对象。该技术方案能够大大提高识别目标对象的正确率,进而增强用户的使用体验。
在本实施例的一个可选实现方式中,如图10所示,所述操作模块603包括:
第三获取子模块1001,被配置为获取用户操作命令信息;
识别子模块1002,被配置为对所述用户操作命令信息进行识别,得到用户操作命令;
操作子模块1003,被配置为根据所述用户操作命令对所述待操作目标对象执行相应的操作。
在该实施方式中,在第三获取子模块1001获取得到用户的操作命令信息后,识别子模块1002基于用户操作命令信息,通过语音识别或者动作识别来得到用户的操作命令,操作子模块1003根据所述操作命令对所述待操作目标对象执行相应的操作。
其中,所述用户操作命令信息可以是语音命令信息,也可以是动作或手势命令信息等,所述用户操作命令信息可包括:打开、关闭、下滑、上滑、复制、粘贴、删除、下一个、上一个、返回、播放、暂停或停止、继续、保存、放大、缩小、回放等内容,当然,为了为用户提供更多的方便,所述用户操作命令信息还可包括自定义命令信息,用户可根据自身的需要,自定义相应的命令内容。当所述用户操作命令信息为语音命令信息时,可使用默认语音命令数据集,用户也可以自行录制自己需要的、符合自己特点的语音命令。当所述用户操作命令信息为动作或手势命令信息时,可预先建立动作或手势与命令内容之间的对应关系的数据集,既可使用默认的对应关系数据集,也可自行录制自己需要的、符合自己特点的动作或手势命令。
本公开还公开了一种电子设备,图11示出根据本公开一实施方式的电子设备的结构框图,如图11所示,所述电子设备1100包括存储器1101和处理器1102;其中,
所述存储器1101用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器1102执行以实现上述任一方法步骤。
图12适于用来实现根据本公开实施方式的信息交互方法的计算机系统的结构示意图。
如图12所示,计算机系统1200包括中央处理单元(CPU)1201,其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行上述实施方式中的各种处理。在RAM1203中,还存储有系统1200操作所需的各种程序和数据。CPU1201、ROM1202以及RAM1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205:包括键盘、鼠标等的输入部分1206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207;包括硬盘等的存储部分1208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1210上,以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地,根据本公开的实施方式,上文描述的方法可以被实现为计算机软件程序。例如,本公开的实施方式包括一种计算机程序产品,其包括有形地包含在及其可读介质上的计算机程序,所述计算机程序包含用于执行所述信息交互方法的程序代码。在这样的实施方式中,该计算机程序可以通过通信部分1209从网络上被下载和安装,和/或从可拆卸介质1211被安装。
附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种信息交互方法,其特征在于,包括:
获取用户对屏幕的感兴趣区域;
根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;
获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。
2.根据权利要求1所述的方法,其特征在于,所述获取用户对屏幕的感兴趣区域,包括:
获取所述用户对屏幕的注视区域;
将所述注视区域确定为所述感兴趣区域。
3.根据权利要求1所述的方法,其特征在于,所述根据感兴趣区域确定待操作目标对象,包括:
确定所述感兴趣区域覆盖的候选待操作目标对象;
计算所述候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离;
根据所述距离确定所述候选待操作目标对象的优先级;
按照优先级从高到低的顺序确定待操作目标对象。
4.根据权利要求1所述的方法,其特征在于,所述获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作,包括:
获取用户操作命令信息;
对所述用户操作命令信息进行识别,得到用户操作命令;
根据所述用户操作命令对所述待操作目标对象执行相应的操作。
5.一种信息交互装置,其特征在于,包括:
获取模块,被配置为获取用户对屏幕的感兴趣区域;
确定模块,被配置为根据所述感兴趣区域确定待操作目标对象,其中,所述待操作目标对象在所述感兴趣区域中显示;
操作模块,被配置为获取用户操作命令,并根据所述用户操作命令对所述待操作目标对象执行相应操作。
6.根据权利要求5所述的装置,其特征在于,所述获取模块包括:
第一获取子模块,被配置为获取所述用户对屏幕的注视区域;
第一确定子模块,被配置为将所述注视区域确定为所述感兴趣区域。
7.根据权利要求5所述的装置,其特征在于,所述确定模块包括:
第四确定子模块,被配置为确定所述感兴趣区域覆盖的候选待操作目标对象;
计算子模块,被配置为计算所述候选待操作目标对象所在区域的中心点与所述感兴趣区域的中心点之间的距离;
第五确定子模块,被配置为根据所述距离确定所述候选待操作目标对象的优先级;
第六确定子模块,被配置为按照优先级从高到低的顺序确定待操作目标对象。
8.根据权利要求5所述的装置,其特征在于,所述操作模块包括:
第三获取子模块,被配置为获取用户操作命令信息;
识别子模块,被配置为对所述用户操作命令信息进行识别,得到用户操作命令;
操作子模块,被配置为根据所述用户操作命令对所述待操作目标对象执行相应的操作。
9.一种电子设备,其特征在于,包括存储器和处理器;其中,
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现权利要求1-4任一项所述的方法步骤。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-4任一项所述的方法步骤。
CN201810540673.4A 2018-05-30 2018-05-30 信息交互方法、装置、电子设备及计算机可读存储介质 Pending CN108874127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810540673.4A CN108874127A (zh) 2018-05-30 2018-05-30 信息交互方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810540673.4A CN108874127A (zh) 2018-05-30 2018-05-30 信息交互方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN108874127A true CN108874127A (zh) 2018-11-23

Family

ID=64336672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810540673.4A Pending CN108874127A (zh) 2018-05-30 2018-05-30 信息交互方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108874127A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045830A (zh) * 2019-04-17 2019-07-23 努比亚技术有限公司 应用操作方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN103176584A (zh) * 2011-12-26 2013-06-26 联想(北京)有限公司 电源管理系统和电源管理方法
CN103970260A (zh) * 2013-01-31 2014-08-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
CN104246682A (zh) * 2012-03-26 2014-12-24 苹果公司 增强的虚拟触摸板和触摸屏
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN107567611A (zh) * 2015-03-20 2018-01-09 脸谱公司 通过将眼睛跟踪与语音辨别组合而精细控制的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
CN103176584A (zh) * 2011-12-26 2013-06-26 联想(北京)有限公司 电源管理系统和电源管理方法
CN104246682A (zh) * 2012-03-26 2014-12-24 苹果公司 增强的虚拟触摸板和触摸屏
CN103970260A (zh) * 2013-01-31 2014-08-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN107567611A (zh) * 2015-03-20 2018-01-09 脸谱公司 通过将眼睛跟踪与语音辨别组合而精细控制的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045830A (zh) * 2019-04-17 2019-07-23 努比亚技术有限公司 应用操作方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11645034B2 (en) Matching content to a spatial 3D environment
KR102432283B1 (ko) 콘텐츠를 공간 3d 환경에 매칭
CN107430479A (zh) 信息处理装置、信息处理方法和程序
CN107209775A (zh) 用于搜索图像的方法和装置
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
EP3513290A1 (en) Management system for audio and visual content
US20210020159A1 (en) Reading order system for improving accessibility of electronic content
Fletcher et al. Overcoming barriers to mobile health technology use in the aging population
CN106970467B (zh) 信息显示方法及头戴式显示设备
CN112114918A (zh) 一种智能设备、服务端、智能化系统和相关界面展示方法
CN109426342B (zh) 基于增强现实的文档阅读方法和装置
CN108874127A (zh) 信息交互方法、装置、电子设备及计算机可读存储介质
CN114296627B (zh) 内容显示方法、装置、设备及存储介质
JP2020013381A (ja) 情報処理プログラム、情報処理方法、端末装置及び解析装置
CN114281937A (zh) 嵌套实体识别模型的训练方法、嵌套实体识别方法及装置
WO2021216376A1 (en) Methods and systems for transition-coded media, measuring engagement of transition-coded media, and distribution of components of transition-coded media
CN108804901B (zh) 基于图像识别技术的终端设备及控制方法
US10380460B2 (en) Description of content image
US11934623B2 (en) Information presentation apparatus, method, and program
US11488593B2 (en) Providing extended information within a digital assistant response
WO2022217888A1 (zh) 地图应用图标显示的方法、装置、存储介质和终端
Derby Designing Tomorrow's Reality: The Development and Validation of an Augmented and Mixed Reality Heuristic Checklist
WO2023239663A1 (en) Extended reality based digital assistant interactions
KR20160023567A (ko) 요약된 콘텐트를 사용자에게 제공하기 위한 방법 및 장치
CN117872561A (zh) 焦距调整方法、装置、vr设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123