CN108829247A - 基于视线跟踪的交互方法及装置、计算机设备 - Google Patents
基于视线跟踪的交互方法及装置、计算机设备 Download PDFInfo
- Publication number
- CN108829247A CN108829247A CN201810558371.XA CN201810558371A CN108829247A CN 108829247 A CN108829247 A CN 108829247A CN 201810558371 A CN201810558371 A CN 201810558371A CN 108829247 A CN108829247 A CN 108829247A
- Authority
- CN
- China
- Prior art keywords
- display
- interaction
- interactive
- target
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003993 interaction Effects 0.000 claims abstract description 178
- 230000002452 interceptive effect Effects 0.000 claims abstract description 114
- 230000000694 effects Effects 0.000 claims abstract description 48
- 230000008859 change Effects 0.000 claims description 65
- 210000005252 bulbus oculi Anatomy 0.000 claims description 14
- 210000003128 head Anatomy 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000008034 disappearance Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于视线跟踪的交互方法及装置、存储介质、计算机设备，所述方法包括：展示至少一个交互对象；获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；控制所述处于交互状态的目标交互对象改变展示效果。
Description
技术领域
本发明涉及交互技术领域，尤其涉及一种基于视线跟踪的交互方法及装置、存储介质、计算机设备。
背景技术
随着科技的发展，终端的性能飞速提高，从而给越来越多的应用的产生和发展提供了有力的技术支持。为了增加用户对应用的粘性，一种较为常见的服务是为用户提供个性化、人性化的交互方式，以提高用户的交互兴趣。
目前的交互方式较为单一，一般都是通过触摸操作、手势操作、键盘操作、鼠标操作等来实现交互，无法解放双手，交互体验较为乏味。
发明内容
为解决上述技术问题，本发明实施例提供了一种基于视线跟踪的交互方法及装置、存储介质、计算机程序产品、计算机设备。
本发明实施例提供的基于视线跟踪的交互方法，包括：
展示至少一个交互对象；
获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；
控制所述处于交互状态的目标交互对象改变展示效果。
本发明实施例中，所述基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，包括：
基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；
所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
本发明实施例中，所述方法还包括：
记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；
所述控制所述处于交互状态的目标交互对象改变展示效果，包括：
基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。
本发明实施例中，所述基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果，包括：
基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，
基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。
本发明实施例中，所述记录所述处于交互状态的目标交互对象的交互时长，包括：
基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。
本发明实施例中，所述至少一个交互对象随着时间的改变发生移动；
所述获取展示对象的视线方向信息，包括：
采集所述展示对象在第一时长内的连续图像；
基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。
本发明实施例中，所述获取展示对象的视线方向信息，包括：
获取所述展示对象的眼珠转角信息和头部姿态信息；
基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。
本发明实施例中，所述获取所述展示对象的眼珠转角信息和头部姿态信息，包括：
利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；
利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。
本发明实施例中，所述方法还包括：
展示所述至少一个交互对象时，采集所述展示对象的图像；
将所述至少一个交互对象叠加显示在所述展示对象的图像上。
本发明实施例提供的基于视线跟踪的交互装置，包括：
显示单元，用于展示至少一个交互对象；
获取单元，用于获取展示对象的视线方向信息；
第一确定单元，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；
控制单元，用于控制所述处于交互状态的目标交互对象改变展示效果。
本发明实施例中，所述第一确定单元，用于基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
本发明实施例中，所述装置还包括：
记录单元，用于记录所述处于交互状态的目标交互对象的交互时长；
第二确定单元，用于基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；
所述控制单元，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。
本发明实施例中，所述控制单元，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。
本发明实施例中，所述记录单元，用于基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。
本发明实施例中，所述至少一个交互对象随着时间的改变发生移动；
所述获取单元，用于采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。
本发明实施例中，所述获取单元，用于获取所述展示对象的眼珠转角信息和头部姿态信息；基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。
本发明实施例中，所述获取单元，用于利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。
本发明实施例中，所述装置还还包括：
采集单元，用于在所述显示单元展示所述至少一个交互对象时，采集所述展示对象的图像；
所述显示单元，用于将所述至少一个交互对象叠加显示在所述展示对象的图像上。
本发明实施例提供的计算机程序产品上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的基于视线跟踪的交互方法。
本发明实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的基于视线跟踪的交互方法。
本发明实施例提供的计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的基于视线跟踪的交互方法。
本发明实施例的技术方案中，展示至少一个交互对象；获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；控制所述处于交互状态的目标交互对象改变展示效果。采用本发明实施例的技术方案，实现了通过展示对象的视线方向信息来触发对交互对象的控制，这种交互方式在解放双手的同时，增加了交互的趣味性，大大提高了用户对交互操作的使用体验，另一方面，由于是基于展示对象的视线方向信息来触发对交互对象的控制，控制的效果对于人体感官而言更加直接且精准度较高。
附图说明
图1为本发明实施例的基于视线跟踪的交互方法的流程示意图一；
图2为本发明实施例的基于视线跟踪的交互方法的流程示意图二；
图3为本发明实施例的一个应用场景示意图；
图4为本发明实施例的基于视线跟踪的交互装置的结构组成示意图一；
图5为本发明实施例的基于视线跟踪的交互装置的结构组成示意图二；
图6为本发明实施例的计算机设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于固定终端/移动终端等终端设备，例如：手机、平板电脑、游戏机、台式机、一体机、车载终端等等。在本发明实施例中，该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
图1为本发明实施例的基于视线跟踪的交互方法的流程示意图一，如图1所示，所述基于视线跟踪的交互方法包括以下步骤：
步骤101：展示至少一个交互对象。
本发明实施例中，交互对象可以是任意一种用户能够对其进行操作的对象，交互对象通过一个特定的图案进行展示，例如：APP中的游戏对象、桌面上的快捷图标对象、文件夹中的文件对象等等。
本发明实施例中，通过显示装置展示至少一个交互对象。显示装置可以是普通的显示屏、一体机、投影仪、虚拟现实(VR，Virtual Reality)设备、增强现实(AR，AugmentedReality)设备等等。
在一个例子中，在显示装置上显示多个游戏对象，这里的游戏对象例如是飞机、昆虫、坦克等等。游戏对象的具体展示形态不做限制。
步骤102：获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象。
这里，展示对象可以是用户、也可以是机器人、还可以是其他智能设备。
本发明实施例中，如何基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，可以通过以下方式实现：基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
例如：当前的显示装置上展示有4个交互对象，分别为交互对象1、交互对象2、交互对象3、交互对象4，其中，交互对象1的显示区域可以通过S1表示，交互对象2的显示区域通过S2表示，交互对象3和交互对象4的显示区域分别通过S3和S4表示。这里，S1、S2、S3、S4可以是一个矩形区域或者圆形局域，以矩形区域为例，S1、S2、S3、S4可以通过两个对角线上的坐标来表示，以S1为例，S1可以通过坐标(x1，y1)和坐标(x2，y2)来表示，其中，(x1，y1)为S1左上角的坐标，(x2，y2)为S2右下角的坐标。具体实现时，计算展示对象的视线方向信息映射到显示装置的坐标(x0，y0)，判断(x0，y0)是否落入了S1、S2、S3、S4中的其中一个，假设(x0，y0)落入了S1，则S1对应的交互对象1为处于交互状态的目标交互对象。
这里，展示对象的视线方向信息能够准确地表明展示对象所关注的交互对象，这种较高的定位操作能够有效减少误操作。
步骤103：控制所述处于交互状态的目标交互对象改变展示效果。
在一实施方式中，记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。
这里，可以基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。
假设T1时刻开始，展示对象的视线落入了S1，并且在S1区域维持了t时长，那么，对于S1对应的交互对象1的效果改变参数与t时长有关。
例如：1)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态。目标交互对象具有一个进度条，该进度条的初始状态为满格，t越长，则进度条越短，特别地，t超过一定时长后，进度条缩短至0。这种场景可以应用在利用视线打怪兽、飞机、植物等等，视线注视目标交互对象的时间越长，对目标交互对象的打击力度就越大，目标交互对象的进度条就越也来越小。
再例如：2)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。目标交互对象的进度条缩短至0时，目标交互对象就会消失，以利用视线打飞机为例，飞机消失代表该飞机被击毙成功。
在另一实施方式中，也可以不记录处于交互状态的目标交互对象的交互时长，只要某个交互对象处于交互状态，就可以控制所述处于交互状态的目标交互对象改变展示效果，例如目标交互对象按照预设的变化效果从第一展示状态改变到消失状态。
本发明实施例的技术方案，实现了通过展示对象的视线方向信息来触发对交互对象的控制，这种交互方式在解放双手的同时，增加了交互的趣味性，大大提高了用户对交互操作的使用体验，另一方面，由于是基于展示对象的视线方向信息来触发对交互对象的控制，控制的效果对于人体感官而言更加直接且精准度较高。
图2为本发明实施例的基于视线跟踪的交互方法的流程示意图二，如图2所示，所述基于视线跟踪的交互方法包括以下步骤：
步骤201：展示至少一个交互对象，所述至少一个交互对象随着时间的改变发生移动。
本发明实施例中，交互对象可以是任意一种用户能够对其进行操作的对象，交互对象通过一个特定的图案进行展示，例如：APP中的游戏对象、桌面上的快捷图标对象、文件夹中的文件对象等等。
本发明实施例中，通过显示装置展示至少一个交互对象。显示装置可以是普通的显示屏、一体机、投影仪、虚拟现实(VR，Virtual Reality)设备、增强现实(AR，AugmentedReality)设备等等。
在一个例子中，在显示装置上显示多个游戏对象，这里的游戏对象例如是飞机、昆虫、坦克等等。游戏对象的具体展示形态不做限制。
本发明实施例中，所述至少一个交互对象随着时间的改变发生移动，如图3所示，交互对象为飞机，飞机在显示装置的显示区域会移动，在移动的过程中，可能会移出显示装置的显示区域，也可能有新的飞机移入显示装置的显示区域。
步骤202：采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。
具体地，终端设备开启摄像头，实时采集展示对象的连续图像，对于每一幅图像，利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。最后，基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。通过对连续的图像的采集能够捕获展示对象随时间发生变化的视线方向信息，当然，也可能捕获到的视线方向信息随时间并未发生变化，这种情况下，展示对象是盯着某一个特定的位置持续注视。
步骤203：基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象。
这里，展示对象可以是用户、也可以是机器人、还可以是其他智能设备。
本发明实施例中，如何基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，可以通过以下方式实现：基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
例如：当前的显示装置上展示有4个交互对象，分别为交互对象1、交互对象2、交互对象3、交互对象4，其中，交互对象1的显示区域可以通过S1表示，交互对象2的显示区域通过S2表示，交互对象3和交互对象4的显示区域分别通过S3和S4表示。这里，S1、S2、S3、S4可以是一个矩形区域或者圆形局域，以矩形区域为例，S1、S2、S3、S4可以通过两个对角线上的坐标来表示，以S1为例，S1可以通过坐标(x1，y1)和坐标(x2，y2)来表示，其中，(x1，y1)为S1左上角的坐标，(x2，y2)为S2右下角的坐标。具体实现时，计算展示对象的视线方向信息映射到显示装置的坐标(x0，y0)，判断(x0，y0)是否落入了S1、S2、S3、S4中的其中一个，假设(x0，y0)落入了S1，则S1对应的交互对象1为处于交互状态的目标交互对象。
这里，展示对象的视线方向信息能够准确地表明展示对象所关注的交互对象，这种较高的定位操作能够有效减少误操作。
步骤204：控制所述处于交互状态的目标交互对象改变展示效果。
在一实施方式中，记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。
这里，可以基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。
假设T1时刻开始，展示对象的视线落入了S1，并且在S1区域维持了t时长，那么，对于S1对应的交互对象1的效果改变参数与t时长有关。
例如：1)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态。目标交互对象具有一个进度条，该进度条的初始状态为满格，t越长，则进度条越短，特别地，t超过一定时长后，进度条缩短至0。这种场景可以应用在利用视线打怪兽、飞机、植物等等，视线注视目标交互对象的时间越长，对目标交互对象的打击力度就越大，目标交互对象的进度条就越也来越小。
再例如：2)基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。目标交互对象的进度条缩短至0时，目标交互对象就会消失，以利用视线打飞机为例，飞机消失代表该飞机被击毙成功。
在另一实施方式中，也可以不记录处于交互状态的目标交互对象的交互时长，只要某个交互对象处于交互状态，就可以控制所述处于交互状态的目标交互对象改变展示效果，例如目标交互对象按照预设的变化效果从第一展示状态改变到消失状态。
此外，本发明实施例可以引入AR技术，具体地，展示所述至少一个交互对象时，采集所述展示对象的图像；将所述至少一个交互对象叠加显示在所述展示对象的图像上。
参照图3，图3为本发明实施例的一个应用场景示意图，本示例中，交互对象为飞机，展示对象为用户，用户可以通过注视某个飞机来实现对该飞机的击打，用户的视线不同，可以定位到不同的飞机，从而实现对不同飞机的击打，这种交互方式趣味性很强，无需用户通过手来进行交互。
图4为本发明实施例的基于视线跟踪的交互装置的结构组成示意图一，如图4所示，所述装置包括：
显示单元401，用于展示至少一个交互对象；
获取单元402，用于获取展示对象的视线方向信息；
第一确定单元403，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；
控制单元404，用于控制所述处于交互状态的目标交互对象改变展示效果。
本领域技术人员应当理解，图4所示的基于视线跟踪的交互装置中的各单元的实现功能可参照前述基于视线跟踪的交互方法的相关描述而理解。图4所示的基于视线跟踪的交互装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
图5为本发明实施例的基于视线跟踪的交互装置的结构组成示意图二，如图5所示，所述装置包括：
显示单元401，用于展示至少一个交互对象；
获取单元402，用于获取展示对象的视线方向信息；
第一确定单元403，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；
控制单元404，用于控制所述处于交互状态的目标交互对象改变展示效果。
在一实施方式中，所述第一确定单元403，用于基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
在一实施方式中，所述装置还包括：
记录单元405，用于记录所述处于交互状态的目标交互对象的交互时长；
第二确定单元406，用于基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；
所述控制单元404，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。
在一实施方式中，所述控制单元404，用于基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到第二展示状态；或者，基于所述效果改变参数，控制所述处于交互状态的目标交互对象从第一展示状态改变到消失状态。
在一实施方式中，所述记录单元405，用于基于所述展示对象的视线方向信息，记录所述展示对象的视线落入所述目标交互对象对应的第一显示区域的时长。
在一实施方式中，所述至少一个交互对象随着时间的改变发生移动；
所述获取单元402，用于采集所述展示对象在第一时长内的连续图像；基于所述第一时长内的连续图像，获取所述展示对象在所述第一时长内的视线方向信息；其中，所述展示对象在所述第一时长内的视线方向信息随着时间的改变发生变化。
在一实施方式中，所述获取单元402，用于获取所述展示对象的眼珠转角信息和头部姿态信息；基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。
在一实施方式中，所述获取单元402，用于利用第一神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的眼珠转角信息；利用第二神经网络对所述展示对象的图像进行处理，得到所述至少一个展示对象的头部姿态信息。
在一实施方式中，所述装置还还包括：
采集单元407，用于在所述显示单元展示所述至少一个交互对象时，采集所述展示对象的图像；
所述显示单元401，用于将所述至少一个交互对象叠加显示在所述展示对象的图像上。
本领域技术人员应当理解，图5所示的基于视线跟踪的交互装置中的各单元的实现功能可参照前述基于视线跟踪的交互方法的相关描述而理解。图5所示的基于视线跟踪的交互装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
本发明实施例上述定点化装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
相应地，本发明实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本发明实施例的上述定点化方法。
图6为本发明实施例的计算机设备的结构组成示意图，如图6所示，计算机设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备100还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
存储器1004可用于存储应用软件的软件程序以及模块，如本发明实施例中的方法对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于视线跟踪的交互方法，其特征在于，所述方法包括：
展示至少一个交互对象；
获取展示对象的视线方向信息，基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；
控制所述处于交互状态的目标交互对象改变展示效果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象，包括：
基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；
所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
记录所述处于交互状态的目标交互对象的交互时长，基于所述目标交互对象的交互时长确定所述目标交互对象的效果改变参数；
所述控制所述处于交互状态的目标交互对象改变展示效果，包括：
基于所述效果改变参数，控制所述处于交互状态的目标交互对象改变展示效果。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取展示对象的视线方向信息，包括：
获取所述展示对象的眼珠转角信息和头部姿态信息；
基于所述展示对象的眼珠转角信息和头部姿态信息，计算所述展示对象的视线方向信息。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
展示所述至少一个交互对象时，采集所述展示对象的图像；
将所述至少一个交互对象叠加显示在所述展示对象的图像上。
6.一种基于视线跟踪的交互装置，其特征在于，所述装置包括：
显示单元，用于展示至少一个交互对象；
获取单元，用于获取展示对象的视线方向信息；
第一确定单元，用于基于所述展示对象的视线方向信息，确定处于交互状态的目标交互对象；
控制单元，用于控制所述处于交互状态的目标交互对象改变展示效果。
7.根据权利要求6所述的装置，其特征在于，所述第一确定单元，用于基于所述展示对象的视线方向信息，确定所述展示对象的视线是否落入第一显示区域，所述第一显示区域为所述至少一个交互对象中的任意一个交互对象的显示区域；所述展示对象的视线落入第一显示区域，确定所述第一显示区域对应的交互对象，作为处于交互状态的目标交互对象。
8.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至5任一项所述的方法步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至5任一项所述的方法步骤。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810558371.XA CN108829247B (zh) | 2018-06-01 | 2018-06-01 | 基于视线跟踪的交互方法及装置、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810558371.XA CN108829247B (zh) | 2018-06-01 | 2018-06-01 | 基于视线跟踪的交互方法及装置、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108829247A true CN108829247A (zh) | 2018-11-16 |
| CN108829247B CN108829247B (zh) | 2022-11-15 |
Family
ID=64147139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810558371.XA Active CN108829247B (zh) | 2018-06-01 | 2018-06-01 | 基于视线跟踪的交互方法及装置、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108829247B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111013135A (zh) * | 2019-11-12 | 2020-04-17 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、介质和电子设备 |
| WO2021227918A1 (zh) * | 2020-05-09 | 2021-11-18 | 维沃移动通信有限公司 | 交互方法和增强现实设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793060A (zh) * | 2014-02-14 | 2014-05-14 | 杨智 | 一种用户交互系统和方法 |
| US20140208272A1 (en) * | 2012-07-19 | 2014-07-24 | Nitin Vats | User-controlled 3d simulation for providing realistic and enhanced digital object viewing and interaction experience |
| US20150329217A1 (en) * | 2014-05-19 | 2015-11-19 | Honeywell International Inc. | Aircraft strike zone display |
| CN105426827A (zh) * | 2015-11-09 | 2016-03-23 | 北京市商汤科技开发有限公司 | 活体验证方法、装置和系统 |
| WO2016183954A1 (zh) * | 2015-05-21 | 2016-11-24 | 中兴通讯股份有限公司 | 运动轨迹的计算方法及装置、终端 |
| CN106201518A (zh) * | 2016-07-12 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 一种信息显示方法和电子设备 |
| CN106502387A (zh) * | 2016-09-27 | 2017-03-15 | 浙江工业大学 | 一种基于视线跟踪的跨设备分布式信息传输交互方法 |
| CN107122052A (zh) * | 2017-04-26 | 2017-09-01 | 深圳前海弘稼科技有限公司 | 一种基于vr设备的种植设备控制方法及装置 |
| CN107233732A (zh) * | 2016-03-28 | 2017-10-10 | 株式会社万代南梦宫娱乐 | 模拟控制装置 |
| CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| US20180143757A1 (en) * | 2016-11-18 | 2018-05-24 | Zspace, Inc. | 3D User Interface |
-
2018
- 2018-06-01 CN CN201810558371.XA patent/CN108829247B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140208272A1 (en) * | 2012-07-19 | 2014-07-24 | Nitin Vats | User-controlled 3d simulation for providing realistic and enhanced digital object viewing and interaction experience |
| CN103793060A (zh) * | 2014-02-14 | 2014-05-14 | 杨智 | 一种用户交互系统和方法 |
| US20150329217A1 (en) * | 2014-05-19 | 2015-11-19 | Honeywell International Inc. | Aircraft strike zone display |
| WO2016183954A1 (zh) * | 2015-05-21 | 2016-11-24 | 中兴通讯股份有限公司 | 运动轨迹的计算方法及装置、终端 |
| CN105426827A (zh) * | 2015-11-09 | 2016-03-23 | 北京市商汤科技开发有限公司 | 活体验证方法、装置和系统 |
| CN107233732A (zh) * | 2016-03-28 | 2017-10-10 | 株式会社万代南梦宫娱乐 | 模拟控制装置 |
| CN106201518A (zh) * | 2016-07-12 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 一种信息显示方法和电子设备 |
| CN106502387A (zh) * | 2016-09-27 | 2017-03-15 | 浙江工业大学 | 一种基于视线跟踪的跨设备分布式信息传输交互方法 |
| CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| US20180143757A1 (en) * | 2016-11-18 | 2018-05-24 | Zspace, Inc. | 3D User Interface |
| CN107122052A (zh) * | 2017-04-26 | 2017-09-01 | 深圳前海弘稼科技有限公司 | 一种基于vr设备的种植设备控制方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| RETNO YULI CRISTANTI; RIYANTO SIGIT; TRI HARSONO; DYAH CENI ADEL: ""Eye gaze tracking to operate android-based communication helper application"", 《IEEE》 * |
| 吴凤山等: "眼动人机交互技术的类别与特点", 《人类工效学》 * |
| 许向东: "数据可视化传播效果的眼动实验研究", 《国际新闻界》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111013135A (zh) * | 2019-11-12 | 2020-04-17 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、介质和电子设备 |
| WO2021227918A1 (zh) * | 2020-05-09 | 2021-11-18 | 维沃移动通信有限公司 | 交互方法和增强现实设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108829247B (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112424790B (zh) | 混合式眼睛跟踪器的系统和方法 | |
| CN110168618B (zh) | 增强现实控制系统和方法 | |
| EP3673345B1 (en) | System and method for distributed device tracking | |
| CN109529319B (zh) | 界面控件的显示方法、设备及存储介质 | |
| CN105159687B (zh) | 一种信息处理方法、终端及计算机存储介质 | |
| JP7121805B2 (ja) | 仮想アイテムの調整方法並びにその装置、端末及びコンピュータープログラム | |
| CN107390863B (zh) | 设备的控制方法及装置、电子设备、存储介质 | |
| CN108038726B (zh) | 物品展示方法及装置 | |
| CN112774203B (zh) | 一种虚拟对象的位姿控制方法、装置以及计算机存储介质 | |
| CN111492405B (zh) | 头戴式显示设备及其方法 | |
| CN109634413B (zh) | 对虚拟环境进行观察的方法、设备及存储介质 | |
| KR20160061133A (ko) | 이미지 표시 방법 및 그 전자 장치 | |
| US20200293176A1 (en) | 360° video viewer control using smart device | |
| CN109117779A (zh) | 一种穿搭推荐方法、装置及电子设备 | |
| CN112068698A (zh) | 一种交互方法、装置及电子设备、计算机存储介质 | |
| US20230289054A1 (en) | Control mode selection to indicate whether simultaneous perspective change and function selection is enabled | |
| EP3342162B1 (en) | Electronic device and method for displaying and generating panoramic image | |
| CN108829247B (zh) | 基于视线跟踪的交互方法及装置、计算机设备 | |
| CN110192169B (zh) | 虚拟场景中菜单处理方法、装置及存储介质 | |
| CN115480639A (zh) | 人机交互系统、人机交互方法、可穿戴设备及头显设备 | |
| CN113289336A (zh) | 在虚拟环境中标记物品的方法、装置、设备及介质 | |
| Ahuja et al. | Bodyslam: Opportunistic user digitization in multi-user ar/vr experiences | |
| WO2022166173A1 (zh) | 视频资源处理方法、装置、计算机设备、存储介质及程序 | |
| CN110213307B (zh) | 多媒体数据推送方法、装置、存储介质及设备 | |
| CN111913674A (zh) | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |