CN110825228B - 交互控制方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种交互控制方法和装置、存储介质及电子装置。其中，该方法包括：获取图像采集装置采集到的目标对象的人脸图像集；从人脸图像集中提取目标对象的眼球数据，其中，眼球数据用于指示目标对象的眼球变化状态；生成与眼球变化状态相匹配的交互控制指令；按照交互控制指令在人机交互设备中执行交互动作。本发明解决了相关技术中的交互控制方法存在复杂度较高的技术问题。

Description

交互控制方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种交互控制方法和装置、存储介质及电子装置。

背景技术

如今，很多用户常常会通过各种不同的播放平台来观看视频，这里播放平台可以为电视(Television，简称TV)，个人电脑(Personal Computer，简称PC)和手机等智能终端设备。但为了与上述播放平台实现实时交互，用户往往需要依赖双手或额外的手持控制设备，比如电视需要依赖遥控器来实现远程交互控制，PC需要依赖鼠标来实现交互控制，而对于手机等设备，也需要用户执行触屏操作或展示手势动作后才可以完成交互。其中，在对手势动作进行识别时，很容易受到识别角度的影响，而导致识别结果不准确，从而需要用户反复比划手势动作。

也就是说，在相关技术提供的交互控制方法中，往往需要借助其他工具或依赖双手，造成交互控制复杂度较高的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种交互控制方法和装置、存储介质及电子装置，以至少解决相关技术中的交互控制方法存在复杂度较高的技术问题。

根据本发明实施例的一个方面，提供了一种交互控制方法，包括：获取图像采集装置采集到的目标对象的人脸图像集；从上述人脸图像集中提取上述目标对象的眼球数据，其中，上述眼球数据用于指示上述目标对象的眼球变化状态；生成与上述眼球变化状态相匹配的交互控制指令；按照上述交互控制指令在人机交互设备中执行交互动作。

根据本发明实施例的另一方面，还提供了一种交互控制装置，包括：第一获取单元，用于获取图像采集装置采集到的目标对象的人脸图像集；提取单元，用于从上述人脸图像集中提取上述目标对象的眼球数据，其中，上述眼球数据用于指示上述目标对象的眼球变化状态；生成单元，用于生成与上述眼球变化状态相匹配的交互控制指令；执行单元，用于按照上述交互控制指令在人机交互设备中执行交互动作。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，交互该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述交互控制方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的交互控制方法。

在本发明实施例中，采用获取图像采集装置采集到的目标对象的人脸图像集，并从上述人脸图像集中提取上述目标对象的眼球数据，生成与上述眼球变化状态相匹配的交互控制指令，按照上述交互控制指令在人机交互设备中执行交互动作的方式，通过识别眼球的运动变化，进而控制焦点实现人机交互，达到了可仅通过眼球即可实现人机交互的目的，从而实现了降低交互控制复杂度较高的技术效果，进而解决了相关技术中的交互控制方法存在复杂度较高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的交互控制方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的交互控制方法的流程图示意图；

图3是根据本发明实施例的一种可选的交互控制方法的示意图；

图4是根据本发明实施例的另一种可选的交互控制方法的示意图；

图5是根据本发明实施例的另一种可选的交互控制方法的示意图；

图6是根据本发明实施例的另一种可选的交互控制方法的示意图；

图7是根据本发明实施例的另一种可选的交互控制方法的示意图；

图8是根据本发明实施例的另一种可选的交互控制方法的示意图；

图9是根据本发明实施例的一种可选的交互控制装置的结构示意图；

图10是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种交互控制方法，可选地，作为一种可选的实施方式，上述交互控制方法可以但不限于应用于如图1所示的环境中的交互控制系统中，其中，该交互控制系统可以包括但不限于终端设备102(也称作人机交互设备)、网络110及服务器112。其中，该终端设备102中运行有视频播放客户端，此外，上述终端设备中可以包括但不限于：人机交互屏幕104，处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取交互控制指令，还用于呈现执行交互动作后的结果。处理器106用于采集人脸图像集，并将人脸图像集发送服务器112。存储器108用于存储人脸图像集及交互动作后的结果。这里服务器可以包括但不限于：数据库114及处理引擎116，处理引擎116用于从人脸图像集中提取目标对象的眼球数据，还用于调用数据库114中存储的眼球变化状态与交互控制指令的映射关系，来确定交互控制指令，并按照该交互控制指令执行交互动作。

具体过程如以下步骤：如步骤S102-S116，终端设备102获取图像采集装置采集到的目标对象的人脸图像集，并通过网络110将人脸图像集发送给服务器112中。进一步，服务器112通过处理引擎116从人脸图像集中提取目标对象的眼球数据，并调用数据库114中存储的眼球变化状态与交互控制指令的映射关系，来确定交互控制指令。进一步，服务器112通过网络110将交互控制指令发送给终端设备102，终端设备102通过人机交互屏幕104根据交互控制指令，并呈现执行交互动作后的结果。

需要说明的是，在本实施例中，上述交互控制方法可以但不限于由终端设备独立完成。例如，终端设备中包括人机交互屏幕、处理器、存储器，其中，人机交互屏幕用于通过人机交互接口获取交互控制指令，还用于呈现执行交互动作后的结果。存储器用于存储人脸图像集及交互动作后的结果、眼球变化状态与交互控制指令的映射关系。处理器用于采集人脸图像集，并从人脸图像集中提取目标对象的眼球数据，还用于调用存储器中存储的眼球变化状态与交互控制指令的映射关系，来确定交互控制指令，并按照该交互控制指令执行交互动作。具体过程可参考上述步骤S102-S116，在此不做多余阐述。

通过上述实施例，根据眼球变化即可生成交互控制指令，丰富了生成交互控制指令的方式，且眼球变化较于其余方式，如手动操作、语音操作更具简易与便利性。进而克服相关技术中交互控制方法存在复杂度较高的技术问题。实现了提高交互控制方法存在复杂度的技术效果。

可选地，在本实施例中，上述交互控制方法可以但不限于应用于终端设备中，该终端设备可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述服务器和终端设备可以但不限于通过网络实现数据交互，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述交互控制方法包括：

S202，获取图像采集装置采集到的目标对象的人脸图像集；

S204，从人脸图像集中提取目标对象的眼球数据，其中，眼球数据用于指示目标对象的眼球变化状态；

S206，生成与眼球变化状态相匹配的交互控制指令；

S208，按照交互控制指令在人机交互设备中执行交互动作。

可选的，本实施例中，上述交互控制方法可以但不限于应用于需要通过信息交互来执行控制的场景中，如电视、电脑、手机等。图像采集装置可以但不限于包括摄像头、摄像机、相机、扫描仪、手机、平板电脑、台式电脑、笔记本等。眼球数据可以但不限于包括眼球的运动数据、位置数据、变化数据、特征数据等，其中，运动数据可以但不限于包括眼球转动、眼皮的关合等，位置数据可以但不限于包括眼球中心的位置、瞳孔中心的位置等，变化数据可以但不限于包括瞳孔的缩放等，特征数据可以但不限于包括眼纹、瞳孔颜色等。交互控制指令可以但不限于包括确认指令、移动指令、选定指令、快进指令、暂停指令、关闭指令等。可选的，眼球变化状态可以但不限于包括角膜、虹膜、巩膜、瞳孔、眼皮、眼睫毛等的变化状态。

需要说明的是，获取图像采集装置采集到的目标对象的人脸图像集，从人脸图像集中提取目标对象的眼球数据，其中，眼球数据用于指示目标对象的眼球变化状态。

进一步举例说明，如图3所示，如步骤S302，确定目标对象302，识别目标对象302的人脸图像集304，进一步，从人脸图像集304中提取眼球数据，进而获取目标对象的眼球306的相关信息，其中，相关信息可以但不限于包括目标对象的眼球306中上眼皮310、下眼皮312、瞳孔308的特征和/或位置信息等。

需要说明的是，生成与眼球变化状态相匹配的交互控制指令，按照交互控制指令在人机交互设备中执行交互动作。

进一步举例说明，如图4所示，假设眼球数据中包括上眼皮404、下眼皮406以及瞳孔402的相关数据，进一步，如步骤S402，根据眼球数据生成与眼球变化状态相匹配的交互控制指令，以及按照交互控制指令在人机交互设备中执行交互动作，其中，交互控制指令可以但不限于为快进指令408，人机交互设备可以但不限于为播放器410，其中，快进指令408用于指示播放器410的播放画面加快播放。

通过本申请提供的实施例，利用获取眼球变化状态，并生成与眼球变化状态相匹配的交互控制指令，按照交互控制指令在人机交互设备中执行交互动作的方式，达到了通过眼球生成交互控制指令的目的，实现了降低交互控制方法存在复杂度的效果。

作为一种可选的方案，生成与眼球变化状态相匹配的交互控制指令包括：

S1，在眼球变化状态指示为切换状态的情况下，生成切换控制指令，其中，切换控制指令用于指示控制人机交互设备中的焦点切换位置，焦点用于代替目标对象在人机交互设备中执行控制操作；

S2，在眼球变化状态指示为选中状态的情况下，生成选中控制指令，其中，选中控制指令用于指示选中焦点当前所在位置为焦点位置；

S3，在眼球变化状态指示为执行状态的情况下，生成执行控制指令，其中，执行控制指令用于指示对焦点位置上的控制元件执行操作。

需要说明的是，在眼球变化状态指示为切换状态的情况下，生成切换控制指令，其中，切换控制指令用于指示控制人机交互设备中的焦点切换位置，焦点用于代替目标对象在人机交互设备中执行控制操作。可选的，眼球变化状态指示为切换状态的条件可以但不限于包括眼球移动的幅度达到或超过预定的幅度阈值、眼球移动的速度达到或超过预定的速度阈值等。

需要说明的是，在眼球变化状态指示为选中状态的情况下，生成选中控制指令，其中，选中控制指令用于指示选中焦点当前所在位置为焦点位置。可选的，眼球变化状态指示为选中状态的条件可以但不限于包括眼球与预设条件位置的相对静止的时间，达到或超过预定的时间阈值和/或在眼球处于与预设条件位置的相对静止的情况下，完成预设的条件动作，如眨眼三次、瞳孔变大、逆时针转动三圈等。

需要说明的是，在眼球变化状态指示为执行状态的情况下，生成执行控制指令，其中，执行控制指令用于指示对焦点位置上的控制元件执行操作。可选的，眼球变化状态指示为执行状态的条件可以但不限于包括在眼球处于与预设条件位置的相对静止的情况下，完成预设的条件动作，如预设时间条件下的眨眼次数、瞳孔变大、逆时针转动三圈等。

进一步举例说明，如图5所示，眼球数据包括了上眼皮504、下眼皮506以及瞳孔502，播放器512中存在正在播放的画面，其中，播放画面上存在两个条件位置，即播放指令位置510与暂停指令为止508。进一步，假设此时识别到的上眼皮504与下眼皮506是处于“张开”状态，瞳孔502与播放指令为止处于相对静止状态，且播放画面是处于正常播放状态；进一步，识别到瞳孔502存在大幅度的移动，其中，大幅度的移动超过了预设的幅度阈值，进而生成切换状态指令，并消除播放指令位置510的选中状态；进一步，识别到瞳孔502与暂停指令位置508保持相对静止且，瞳孔502与暂停指令位置508保持相对静止的时间达到了3秒，其中预设时间阈值为3秒，进而生成选中状态指令，令暂停指令位置508处于选中状态，并等待下一步状态指令；进一步，识别到上眼皮504与下眼皮506执行“闭合”操作后，进行记录，在上述“闭合”操作执行3次的情况下，生成执行指令，令暂停指令为止508处于执行状态，即，暂停播放画面的播放，其中，预设的条件动作为上眼皮504与下眼皮506执行“闭合”操作累计3次。

通过本申请提供的实施例，利用多种识别眼球变化状态，生成对应的控制指令的方式，实现了通过眼球变化精准生成控制指令的目的，实现了提高眼球控制生成控制指令的精准度的技术效果。

作为一种可选的方案，在从人脸图像中提取目标对象的眼球数据之后，还包括：

S1，根据眼球数据确定每帧人脸图像中目标对象的瞳孔所在的位置；

S2，根据目标对象的瞳孔所在的位置的偏移变化确定眼球变化状态

需要说明的是，根据眼球数据确定每帧人脸图像中目标对象的瞳孔所在的位置，以及根据目标对象的瞳孔所在的位置的偏移变化确定眼球变化状态。可选的，确定眼球变化状态的操作可以但不限于包括眼睛区域初定位操作、噪声去除操作、眼镜的精准定位操作等。

进一步举例说明，如图5所示，假设瞳孔502对应播放器512中的播放画面的初始位置是在播放指令位置510，在识别到瞳孔502发生偏移的情况下，判定偏移角度与距离，确定发生偏移后瞳孔502的对应位置为暂停指令位置508。

进一步举例说明，如图5所示，包括目标对象602、人脸图像集604、眼球610、瞳孔A606与瞳孔B608。其中，瞳孔A606从目标对象602的人脸图像集中识别出来的眼球610数据中的原瞳孔图像，瞳孔B608为在瞳孔A的基础上发生变化的变化瞳孔图像。其中，瞳孔A606处于眼球610的中间位置，而瞳孔B处于眼球610的偏左位置，即，眼球610变化状态即为瞳孔从中间位置处移动到了偏左的位置处。

通过本申请提供的实施例，利用根据瞳孔的偏移变化确定眼球变化状态，达到了精准确定眼球变化状态的目的，实现了提高眼球变化状态确认的精准度的技术效果。

作为一种可选的方案，根据眼球数据确定每帧人脸图像中目标对象的瞳孔所在的位置包括：获取目标对象的瞳孔在人脸图像中的像素坐标位置，根据目标对象的瞳孔所在的位置的偏移变化确定眼球变化状态包括：确定目标对象的瞳孔的像素坐标位置的移动方向和移动距离；根据移动方向和移动距离确定眼球变换状态。

需要说明的是，根据眼球数据确定每帧人脸图像中目标对象的瞳孔所在的位置包括：获取目标对象的瞳孔在人脸图像中的像素坐标位置，根据目标对象的瞳孔所在的位置的偏移变化确定眼球变化状态包括：确定目标对象的瞳孔的像素坐标位置的移动方向和移动距离；根据移动方向和移动距离确定眼球变换状态。

进一步举例说明，将识别出来的每帧人脸图像以像素坐标的形式记录，即，每帧人脸图像上的每一个点都有各自的像素坐标信息。进一步，确定第n帧与第n+1帧人脸图像上的瞳孔像素坐标信息，比较上述像素坐标信息，进而获取变化的像素坐标信息，其中，n为大于或等于1的正整数。

通过本申请提供的实施例，利用像素坐标确认瞳孔所在位置的偏移变化，达到了精准确认瞳孔偏移距离与方向的目的，实现了提高确认瞳孔偏移距离与方向的精准度的效果。

作为一种可选的方案，根据目标对象的瞳孔所在的位置的偏移变化确定眼球变化状态包括：

在第一时间段内目标对象的瞳孔从第一位置变化到第二位置，且第一位置到第二位置的偏移距离大于第一阈值的情况下，确定眼球变化状态为切换状态，其中，切换状态用于指示将人机交互设备中焦点所在的位置从第一目标位置切换到第二目标位置，焦点用于代替目标对象在人机交互设备中执行控制操作，第一目标位置与第一位置对应，第二目标位置与第二位置对应。

需要说明的是，在第一时间段内目标对象的瞳孔从第一位置变化到第二位置，且第一位置到第二位置的偏移距离大于第一阈值的情况下，确定眼球变化状态为切换状态，其中，切换状态用于指示将人机交互设备中焦点所在的位置从第一目标位置切换到第二目标位置，焦点用于代替目标对象在人机交互设备中执行控制操作，第一目标位置与第一位置对应，第二目标位置与第二位置对应。

进一步举例说明，如图5所示，假设播放器512中的播放画面的焦点初始位置是在播放指令位置510，在识别到瞳孔502发生偏移，且偏移距离大于预设的距离阈值的情况下，确定眼球变化状态切换状态，并根据偏移角度与距离，确定播放器512中的播放画面的焦点的位置为暂停指令位置508。

通过本申请提供的实施例，利用瞳孔与人机交互设备的焦点对应的方式，达到了在瞳孔偏移距离大于第一阈值的情况下，实现人机交互设备的焦点对应移动的目的，实现了通过瞳孔的偏移量移动人机交互设备焦点的效果。

作为一种可选的方案，在目标对象的瞳孔在第三位置的停留时长大于第二阈值的情况下，确定眼球变化状态为选中状态，其中，选中状态用于指示将人机交互设备中的焦点当前所在的第三目标位置选中为焦点位置，焦点用于代替目标对象在人机交互设备中执行控制操作，第三目标位置与第三位置对应。

需要说明的是，在目标对象的瞳孔在第三位置的停留时长大于第二阈值的情况下，确定眼球变化状态为选中状态，其中，选中状态用于指示将人机交互设备中的焦点当前所在的第三目标位置选中为焦点位置，焦点用于代替目标对象在人机交互设备中执行控制操作，第三目标位置与第三位置对应。

进一步举例说明，如图5所示，假设播放器512中的播放画面的焦点初始位置是在播放指令位置510，在识别到瞳孔502维持相对的静止状态达到预定时间的情况下，确定眼球变化状态为选中状态，进而选中播放指令位置510，并等待下一步指令。

通过本申请提供的实施例，利用瞳孔与人机交互设备的焦点对应的方式，达到了在瞳孔停留同一位置的时长大于第二阈值的情况下，选中人机交互设备中焦点对应位置的目的，实现了通过瞳孔选中人机交互设备中焦点的效果。

作为一种可选的方案，根据目标对象的瞳孔位置的偏移变化确定眼球变化状态包括：

在目标对象的瞳孔在第四位置的停留时长大于第三阈值，且在第二时间段内检测到目标对象执行眨眼动作的次数大于第四阈值的情况下，确定眼球变化状态为执行状态，其中，执行状态用于指示将人机交互设备中的焦点当前所在的第四目标位置选中为焦点位置，并对焦点位置上的控制元件执行操作，焦点用于代替目标对象在人机交互设备中执行控制操作，第四目标位置与第四位置对应。

需要说明的是，在目标对象的瞳孔在第四位置的停留时长大于第三阈值，且在第二时间段内检测到目标对象执行眨眼动作的次数大于第四阈值的情况下，确定眼球变化状态为执行状态，其中，执行状态用于指示将人机交互设备中的焦点当前所在的第四目标位置选中为焦点位置，并对焦点位置上的控制元件执行操作，焦点用于代替目标对象在人机交互设备中执行控制操作，第四目标位置与第四位置对应。可选的，眨眼操作可以通过但不限于包括上眼皮位置、下眼皮位置、眼球位置、瞳孔位置、眼球半径、瞳孔半径等执行。

进一步举例说明，如图5所示，假设播放器512中的播放画面的焦点初始位置是在暂停指令位置508，在识别到瞳孔502维持相对的静止状态达到预定时间，且上眼皮504与下眼皮506共同执行眨眼动作的次数达到预定次数的情况下，确定眼球变化状态为执行状态，进而执行与暂停指令位置510对应的暂停指令。

进一步举例说明，如图5所示，在瞳孔502的半径达到或大于3厘米的情况下，则确定眼球为开；在在瞳孔502的半径小于3厘米的情况下，则确定眼球为关。进一步，谁给你书眼球为开、眼球为关在预定时长1秒内分别执行一次，则确定为眨眼动作。

通过本申请提供的实施例，利用瞳孔与人机交互设备的焦点对应的方式，达到了在瞳孔停留同一位置大于第三阈值且检测到的眨眼动作次数大于第四阈值的情况下，在人机交互设备中执行控制操作的目的，实现了通过眼球在人机交互设备中执行控制操作的效果。

作为一种可选的方案，在从人脸图像中提取目标对象的眼球数据之后，还包括：

根据眼球数据确定每帧人脸图像中目标对象的眼球所在的位置；

根据眼球所在的位置确定目标对象的眼球的开闭状态。

需要说明的是，根据眼球数据确定每帧人脸图像中目标对象的眼球所在的位置；根据眼球所在的位置确定目标对象的眼球的开闭状态。可选的，在确定眼球为关后，重置切换和/或选中和/或执行指令，和/或重置切换和/或选中和/或执行指令中的部分执行动作，如眨眼动作的次数、瞳孔在第四位置的停留时长等。

进一步举例说明，在眼球位置脱离图像采集装置的采集范围的情况下，则确定眼球为关。

进一步举例说明，在眼球位置在图像采集装置的采集范围的情况下，

通过本申请提供的实施例，利用眼球的位置确定眼球的开闭状态，达到了准确判定眨眼动作的目的，实现了提高判定眨眼动作的准确定的效果。

作为一种可选的方案，在按照交互控制指令在人机交互设备中执行交互动作之后，还包括：

在执行交互动作后的第三时间段之后，获取下一次交互控制指令。

需要说明的是，在执行交互动作后，需等待第三时间段的时长，才能获取下一次交互控制指令

进一步举例说明，假设第三时间段的时长为3秒，则在执行控制指令和/或选中指令和/或执行指令后的3秒内，不会触发其他任何指令；进一步，在执行控制指令和/或选中指令和/或执行指令后的3秒后，可执行其他指令。

通过本申请提供的实施例，利用规定在执行交互动作后，需等待第三时间段的时长，才能获取下一次交互控制指令的方式，达到了避免短时间内大量指令被触发的目的，实现了提高防误触能力的效果。

进一步，在本实施例中，上述交互控制方法的执行过程及执行结果可以但不限于应用于如图7所示的数据共享系统中。其中，数据共享系统700是指用于进行节点与节点之间数据共享的系统，该数据共享系统中可以包括多个节点701，多个节点701可以是指数据共享系统中各个客户端。每个节点701在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该数据共享系统内的共享数据。为了保证数据共享系统内的信息互通，数据共享系统中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当数据共享系统中的任意节点接收到输入信息时，数据共享系统中的其他节点便根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得数据共享系统中全部节点上存储的数据均一致。

对于数据共享系统中的每个节点，均具有与其对应的节点标识，而且数据共享系统中的每个节点均可以存储有数据共享系统中其他节点的节点标识，以便后续根据其他节点的节点标识，将生成的区块广播至数据共享系统中的其他节点。每个节点中可维护一个如下表所示的节点标识列表，将节点名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为网络之间互联的协议(Internet Protocol，简称IP)地址以及其他任一种能够用于标识该节点的信息，表1中仅以IP地址为例进行说明。

表1

节点名称	节点标识
		节点1	117.114.151.174
节点2	117.116.189.145
		…	…
节点N	119.123.789.258

数据共享系统中的每个节点均存储一条相同的区块链。区块链由多个区块组成，参见图8所示，区块链由多个区块组成，创始块中包括区块头和区块主体，区块头中存储有输入信息特征值、版本号、时间戳和难度值，区块主体中存储有输入信息；创始块的下一区块以创始块为父区块，下一区块中同样包括区块头和区块主体，区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值，并以此类推，使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联，保证了区块中输入信息的安全性。

在生成区块链中的各个区块时，参见图7所示，区块链所在的节点在接收到输入信息时，对输入信息进行校验，完成校验后，将输入信息存储至内存池中，并更新其用于记录输入信息的哈希树；之后，将更新时间戳更新为接收到输入信息的时间，并尝试不同的随机数，多次进行特征值计算，使得计算得到的特征值可以满足下述公式：

SHA256(SHA256(version+prev_hash+merkle_root+ntime+nbits+x))<TARGET

其中，SHA256为计算特征值所用的特征值算法；version(版本号)为区块链中相关区块协议的版本信息；prev_hash为当前区块的父区块的区块头特征值；merkle_root为输入信息的特征值；ntime为更新时间戳的更新时间；nbits为当前难度，在一段时间内为定值，并在超出固定时间段后再次进行确定；x为随机数；TARGET为特征值阈值，该特征值阈值可以根据nbits确定得到。

这样，当计算得到满足上述公式的随机数时，便可将信息对应存储，生成区块头和区块主体，得到当前区块。随后，区块链所在节点根据数据共享系统中其他节点的节点标识，将新生成的区块分别发送给其所在的数据共享系统中的其他节点，由其他节点对新生成的区块进行校验，并在完成校验后将新生成的区块添加至其存储的区块链中。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述交互控制方法的交互控制装置。如图9所示，该装置包括：

第一获取单元902，用于获取图像采集装置采集到的目标对象的人脸图像集；

提取单元904，用于从人脸图像集中提取目标对象的眼球数据，其中，眼球数据用于指示目标对象的眼球变化状态；

生成单元906，用于生成与眼球变化状态相匹配的交互控制指令；

执行单元908，用于按照交互控制指令在人机交互设备中执行交互动作。

可选的，本实施例中，上述交互控制方法可以但不限于应用于需要通过信息交互来执行控制的场景中，如电视、电脑、手机等。图像采集装置可以但不限于包括摄像头、摄像机、相机、扫描仪、手机、平板电脑、台式电脑、笔记本等。眼球数据可以但不限于包括眼球的运动数据、位置数据、变化数据、特征数据等，其中，运动数据可以但不限于包括眼球转动、眼皮的关合等，位置数据可以但不限于包括眼球中心的位置、瞳孔中心的位置等，变化数据可以但不限于包括瞳孔的缩放等，特征数据可以但不限于包括眼纹、瞳孔颜色等。交互控制指令可以但不限于包括确认指令、移动指令、选定指令、快进指令、暂停指令、关闭指令等。可选的，眼球变化状态可以但不限于包括角膜、虹膜、巩膜、瞳孔、眼皮、眼睫毛等的变化状态。

需要说明的是，获取图像采集装置采集到的目标对象的人脸图像集，从人脸图像集中提取目标对象的眼球数据，其中，眼球数据用于指示目标对象的眼球变化状态。

需要说明的是，生成与眼球变化状态相匹配的交互控制指令，按照交互控制指令在人机交互设备中执行交互动作。

具体实施例可以参考上述交互控制方法中所示示例，本示例中在此不再赘述。

通过本申请提供的实施例，利用获取眼球变化状态，并生成与眼球变化状态相匹配的交互控制指令，按照交互控制指令在人机交互设备中执行交互动作的方式，达到了通过眼球生成交互控制指令的目的，实现了降低交互控制方法存在复杂度的效果。

作为一种可选的方案，生成单元包括：

第一生成模块，用于在眼球变化状态指示为切换状态的情况下，生成切换控制指令，其中，切换控制指令用于指示控制人机交互设备中的焦点切换位置，焦点用于代替目标对象在人机交互设备中执行控制操作；

第二生成模块，用于在眼球变化状态指示为选中状态的情况下，生成选中控制指令，其中，选中控制指令用于指示选中焦点当前所在位置为焦点位置；

第三生成模块，用于在眼球变化状态指示为执行状态的情况下，生成执行控制指令，其中，执行控制指令用于指示对焦点位置上的控制元件执行操作。

具体实施例可以参考上述交互控制方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，还包括：

第一确定单元，用于在从人脸图像中提取目标对象的眼球数据之后，根据眼球数据确定每帧人脸图像中目标对象的瞳孔所在的位置；

第二确定单元，用于根据目标对象的瞳孔所在的位置的偏移变化确定眼球变化状态。

具体实施例可以参考上述交互控制方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第一确定单元包括：获取模块，用于获取目标对象的瞳孔在人脸图像中的像素坐标位置；

第二确定单元包括：确定模块，用于确定目标对象的瞳孔的像素坐标位置的移动方向和移动距离；根据移动方向和移动距离确定眼球变换状态。

具体实施例可以参考上述交互控制方法中所示示例，本示例中在此不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述交互控制方法的电子装置，如图10所示，该电子装置包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取图像采集装置采集到的目标对象的人脸图像集；

S2，从人脸图像集中提取目标对象的眼球数据，其中，眼球数据用于指示目标对象的眼球变化状态；

S3，生成与眼球变化状态相匹配的交互控制指令；

S4，按照交互控制指令在人机交互设备中执行交互动作。

可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。

其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的交互控制方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的交互控制方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储人脸图像集、眼球数据、交互控制指令等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述交互控制装置中的第一获取单元902、提取单元904、生成单元906及执行单元908。此外，还可以包括但不限于上述交互控制装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1008，用于显示上述执行交互动作的显示画面；和连接总线1010，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取图像采集装置采集到的目标对象的人脸图像集；

S2，从所述人脸图像集中提取所述目标对象的眼球数据，其中，所述眼球数据用于指示所述目标对象的眼球变化状态；

S3，生成与所述眼球变化状态相匹配的交互控制指令；

S4，按照所述交互控制指令在人机交互设备中执行交互动作。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种交互控制方法，其特征在于，应用于人机交互设备，所述人机交互设备包括人机交互屏幕、处理器和存储器，所述人机交互设备中运行有视频播放客户端，所述方法包括：

所述处理器确定目标对象，识别图像采集装置采集到的所述目标对象的人脸图像集，将识别出来的每帧人脸图像以像素坐标的形式记录，从所述人脸图像集中提取所述目标对象的眼球数据；根据所述眼球数据，确定每帧人脸图像中所述目标对象的瞳孔所在的像素坐标位置；

所述处理器确定所述目标对象的瞳孔的像素坐标位置的移动方向和移动距离，根据移动方向和移动距离，确定眼球变化状态；调用所述存储器中存储的眼球变化状态与交互控制指令的映射关系，确定待执行的交互控制指令，并按照所述待执行的交互控制指令执行交互动作，具体包括：

确定瞳孔对应播放画面的第一位置是在播放指令位置；

当识别到瞳孔发生偏移，且偏移距离大于预设的距离阈值时，确定所述眼球变化状态为切换状态，并根据偏移角度与距离，确定发生偏移后瞳孔的第二位置为暂停指令位置；

当识别到瞳孔维持相对的静止状态达到预定时间，且上眼皮与下眼皮共同执行眨眼动作的次数达到预定次数时，确定所述眼球变化状态为执行状态，并执行与所述暂停指令位置对应的暂停指令；其中，当瞳孔的半径达到或大于预设的距离阈值时，则确定眼球为开；当瞳孔的半径小于预设的距离阈值时，则确定眼球为关；若确定眼球为开、眼球为关在预定时长内分别执行一次，则确定为眨眼动作；

所述人机交互屏幕通过人机交互接口获取所述待执行的交互控制指令，并呈现执行交互动作后的结果。

2.一种交互控制装置，其特征在于，包括人机交互屏幕、处理器和存储器，所述交互控制装置中运行有视频播放客户端，其中，

所述处理器包括：

第一获取单元，用于确定目标对象，识别图像采集装置采集到的所述目标对象的人脸图像集，将识别出来的每帧人脸图像以像素坐标的形式记录；

提取单元，用于从所述人脸图像集中提取所述目标对象的眼球数据；

生成单元，用于根据所述眼球数据，确定每帧人脸图像中所述目标对象的瞳孔所在的像素坐标位置；确定所述目标对象的瞳孔的像素坐标位置的移动方向和移动距离，根据移动方向和移动距离，确定眼球变化状态；调用所述存储器中存储的眼球变化状态与交互控制指令的映射关系，确定待执行的交互控制指令，具体包括：确定瞳孔对应播放画面的第一位置是在播放指令位置；当识别到瞳孔发生偏移，且偏移距离大于预设的距离阈值时，确定所述眼球变化状态为切换状态，并根据偏移角度与距离，确定发生偏移后瞳孔的第二位置为暂停指令位置；当识别到瞳孔维持相对的静止状态达到预定时间，且上眼皮与下眼皮共同执行眨眼动作的次数达到预定次数时，确定所述眼球变化状态为执行状态；其中，当瞳孔的半径达到或大于预设的距离阈值时，则确定眼球为开；当瞳孔的半径小于预设的距离阈值时，则确定眼球为关；若确定眼球为开、眼球为关在预定时长内分别执行一次，则确定为眨眼动作；

执行单元，用于执行与所述暂停指令位置对应的暂停指令；

所述人机交互屏幕用于，通过人机交互接口获取所述待执行的交互控制指令，并呈现执行交互动作后的结果。

3.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1所述的方法。

4.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1所述的方法。

Images