CN105320259A - 遥控方法和装置 - Google Patents

Abstract

本发明公开了一种遥控方法，包括：根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置的坐标值；根据坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据第一对应关系，确定瞳孔质心位置变化对应的键值；将键值发送至被控终端，使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。本发明还公开了一种遥控装置。发明所提供的遥控方法和装置相比现有技术，在实现通过眼睛遥控被控终端的基础上，降低了相关计算方法复杂度低，以及减少了相关计算量，能够简单高效实现对被控终端遥控。

Description

遥控方法和装置

技术领域

本发明涉及遥控技术领域，尤其涉及一种遥控方法和装置。

背景技术

目前，人类对显示设备的操控大致分为以下两种方式：第一方式是通过遥控器、手机、或点读笔等遥控设备进行操控；第二方式是不借助外部设备，直接通过用户的手势、语音、或意念等进行操控。

对于第二种方式，现有技术已有基于眼睛视线实现对显示设备操控的技术，现有的这种技术均是将用户整体图像为输入对象，然后利用图像识别技术，检测用户脸部图像，再在脸部图像中定位人眼，最后才在人眼图像中检测视线或定位瞳孔位置，并通过检测的视线变化或瞳孔位置变化来操控显示设备，如申请公布号为102176191A专利文献公开的一种基于视线跟踪的电视操控方法。现有的这种基于眼睛视线实现对显示设备操控的方式算法复杂且计算量大。

发明内容

本发明的主要目的在于在实现眼睛遥控被控终端的基础上解决算法复杂且计算量大的技术问题。

为实现上述目的，本发明提供的一种遥控方法，包括：

根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；

以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；

根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；

将所述键值发送至被控终端，以使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。

优选地，在所述确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值之前还包括：

对每一帧眼睛图像依次进行如下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。

优选地，所述确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值具体包括：

提取每一帧眼睛图像的瞳孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图像对应的瞳孔质心在所述坐标系中的坐标值。

优选地，所述根据用户输入的遥控启动指令执行用户瞳孔对焦操作之前还包括：

建立与被控终端的对码通讯连接。

优选地，所述建立与被控终端的通讯连接具体为：

获取并缓存本机蓝牙MAC地址；

在本机与被控终端进行触碰操作时，将本机蓝牙MAC地址通过近场通讯协议传递给被控终端，以使被控终端根据本机蓝牙MAC地址自动与本机适配，建立与本机的蓝牙连接。

优选地，所述建立与被控终端的通讯连接具体为：

在本机与被控终端进行触碰操作时，通过近场通讯协议接收被控终端传递的WiFi的标识符和安全秘钥；

根据WiFi的标识符和安全秘钥完成WiFi联网，并与被控终端适配，建立与被控终端的WiFi连接。

优选地，所述键值以携带有遥控标识的数据包形式传输至被控终端，以使被控终端根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令。

优选地，所述的遥控方法还包括：

在接收用户输入的遥控启动指令后，监听用户语音指令；

当监听到用户的语音指令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作。

此外，为实现上述目的，本发明还提供一种遥控装置，包括：

坐标建立模块，用于根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；

瞳孔坐标确定模块，用于以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；

键值确定模块，用于根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；

键值发送模块，用于将所述键值发送至被控终端，以使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。

优选地，所述的遥控装置，还包括：

预处理模块，用于对每一帧眼睛图像依次进行如下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。

优选地，所述瞳孔坐标确定模块，具体用于提取每一帧眼睛图像的瞳孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图像对应的瞳孔质心在所述坐标系中的坐标值。

优选地，所述的遥控装置还包括：通讯建立模块，用于建立与被控终端的对码通讯连接。

优选地，所述通讯建立模块，具体用于获取并缓存本机蓝牙MAC地址；在本机与被控终端进行触碰操作时，将本机蓝牙MAC地址通过近场通讯协议传递给被控终端，以使被控终端根据本机蓝牙MAC地址自动与本机适配，建立与本机的蓝牙连接。

优选地，所述通讯建立模块，具体还用于在本机与被控终端进行触碰操作时，通过近场通讯协议接收被控终端传递的WiFi的标识符和安全秘钥；根据WiFi的标识符和安全秘钥完成WiFi联网，并与被控终端适配，建立与被控终端的WiFi连接。

优选地，所述键值发送模块，具体用于将所述键值以携带遥控标识的数据包形式发送至被控终端，以使被控终端根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令。

优选地，所述的遥控装置还包括：

监听模块，用于监听用户的语音指令；

语音指令发送模块，用于当监听模块监听到用户的语音指令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作。

发明所提供的遥控方法和装置，通过执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；将所述键值发送至被控终端，使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令的方式，相比现有技术，在实现通过眼睛遥控被控终端的基础上，降低了相关计算方法的复杂度低，以及减少了相关计算量，能够简单高效地实现对被控终端遥控。

附图说明

图1是本发明的遥控方法第一实施例的流程示意图；

图2是本发明的遥控装置第一实施例的功能模块示意图；

图3是本发明的遥控装置第二实施例的功能模块示意图；

图4是本发明的遥控装置第三实施例的功能模块示意图；

图5是本发明的遥控装置第四实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种遥控方法，参见图1，图1是本发明的遥控方法第一实施例的流程示意图。在第一实施例中所述遥控的方法包括：

步骤S10、根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系。

本实施例中，在根据用户输入的遥控启动指令执行用户瞳孔对焦操作之前还包括如下处理：建立与被控终端的无线通讯连接，建立与被控终端的通讯连接之后才能实现与被控终端的数据交互。

其中，建立的所述通讯连接可以是蓝牙通讯连接、WiFi通讯连接、或其他无线通讯连接。本实施例是通过近场通讯协议的方式建立与被控终端的无线通讯连接。若建立蓝牙无线通讯连接，则所述建立与被控终端的通讯连接具体过程如下：获取并缓存本机蓝牙MAC地址；在本机与被控终端进行触碰操作时，将本机蓝牙MAC地址通过近场通讯协议传递给被控终端，以使被控终端根据本机蓝牙MAC地址自动与本机适配，建立与本机的蓝牙连接。

若建立WiFi无线通讯连接，则所述建立与被控终端的通讯连接具体过程如下：在本机与被控终端进行触碰操作时，通过近场通讯协议接收被控终端传递的WiFi的标识符和安全秘钥；根据WiFi的标识符和安全秘钥完成WiFi联网，并与被控终端适配，建立与被控终端的WiFi连接。

本步骤S10中，执行用户瞳孔对焦操作具体包括：首先生成语音提示信息，提示用户保持视线水平朝前一定时间如2秒钟，并在该2秒钟内执行瞳孔对焦操作，然后生成语音提示信息，告知用户瞳孔对焦完成。

步骤S20、以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值。

本步骤S20中，所述设定时间间隔(以下第n帧与第n+1帧之间的时间间隔)的时间长度可以由用户设定。

本步骤S20中，在确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值之前需要对每一帧眼睛图像依次进行如下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。本步骤对每一帧眼睛图像进行预处理是为了提高每一帧眼睛图像的信噪比，抑制背景噪声，还原最真实的眼睛图像。

以下对眼睛图像预处理进行详细的描述：

首先假设本步骤中获取有m帧眼睛图像，以i(x,y)对每一帧眼睛图像进行命名，如第n帧与第n+1帧图像分别为命名为i_n(x,y)和i_n+1(x,y)。以第n、n+1(n+1≤m，n、m均为自然数)帧眼睛图像为例，详细说明图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理具体过程。

A、图像光照校正。图像光照校正算法主要是对原始眼睛图像中夹杂的一些变化信息(如光照变化、角度变化等)进行处理。可采用的方法包括但不限于：Gamma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，可以去除原始眼睛图像中无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是针对图像对比度调整的方法，能增强眼睛图像局部对比度，进行图像光照校正后的第n帧眼睛图像用A_n1(x,y)表示。

B、图像降噪滤波。图像降噪滤波算法主要是对眼睛图像中的噪声信息进行滤除，眼睛图像中典型的噪声包括：高斯噪声、椒盐噪声、加性噪声。本实施例采用的图像降噪滤波方法包括：均值滤波、中值滤波和高斯滤波。图像降噪滤波的第n帧图像用A_n2(x,y)表示。

C、图像灰度化。本实施获取的眼睛图像为彩色图像，彩色图像通常用RGB三分量值表示，但RGB三分量之间有很高的相关性，直接利用这些分量很难得到所需的效果，也增加计算的复杂度，而本实施中后续算法没有涉及到色彩信息，为了到所需效果、降低计算的复杂度，对眼睛图像进行灰度化。灰度化后的第n帧图像用A_n3(x,y)表示，A_n2(x,y)的三分量分别用A_n2R(x,y)，A_n2G(x,y)和A_n2B(x,y)表示。由于人眼对绿色敏感度最高，对蓝色敏感度最低，本实施例采用加权平均值法对眼睛图像进行灰度化，灰度化计算公式如下(1-1)。A_n3(x,y)＝0.3*A_n2R(x,y)+0.59*A_n2G(x,y)+0.11*A_n2B(x,y)----(1-1)。

D、图像阈值化。二值图像比灰度图像更能体现眼睛图像的关键特征，且能加快眼睛图像的处理速度，本实施中中对经过灰度化获取的A_n3(x,y)进行阈值化得到第n帧眼睛图像的二值化图像A_n4(x,y)，本实施例进行图像阈值化可的方法包括有：固定阈值法、自适应阈值法、上下阈值法、Otsu(最大类间方差法)法、熵值法、迭代法。

E、图像形态学处理。经过上述阈值化的图像A_n4(x,y)还可能存在一些孤立的噪音点或者原本应该连接的点被间断，此时通过形态学处理后可以将孤立的噪音点滤除，将被间断的连接点连接，图像形态学处理后的第n帧眼睛图像用A_n5(x,y)表示。

本步骤S20中，所述确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值具体包括如下处理：提取每一帧眼睛图像的瞳孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图像对应的瞳孔质心在所述坐标系中的坐标值。以下以第n帧眼睛图像为例对本步骤S20进行详细说明。

由于预处理后的眼睛图像包含瞳孔和眼睛边框的二值化图像，因此上述确定第n眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值具体处理如下：

一、瞳孔图像提取

对第n帧眼睛图像A_n5(x,y)进行眼睛边框去除操作，其具体算法采用公式(1-2)。其计算策略为：计算A_n5(x,y)每个独立连通像素点的区域面积的大小，当所述区域面积小于设定的第一阈值T₁(去除孤立点)或大于设定的第二阈值T₂(去除眼睛边框)时，则去除该对应的独立的连通像素点，保留下来的二值图像则为只包含瞳孔的图像，用A'_n5(x,y)表示。

$\begin{array}{c}{A}_{s_i}=\underset{(x,y)\&Element;S_i}{\mathrm{\&Sigma;}}{A}_{n5}(x,y)\\ B_{n1}(x,y)=A_{n5}^{\&prime;}(x,y)\mathrm{if}(T_1<A_{s_i}<T_2)\end{array}---(1-2);$

其中，表示第i个连通的像素点区域的面积，所述连通的像素点区域包括眼睛边框像素点区域、瞳孔像素点区域以及其它孤立的像素点区域，即i＝3；S_i表示第i个连通区域的坐标范围，T₁和T₂分别为第一、二阈值，B_n1(x,y)表示只包含瞳孔的图像。

二、瞳孔坐标获取

对上述只包含瞳孔的图像B_n1(x,y)进行轮廓提取，得到瞳孔轮廓图像，在对瞳孔轮廓图像进行瞳孔质心计算，得到第n帧瞳孔轮廓图像的瞳孔质心在坐标系中的坐标值，具体算法采用公式(1-3)：

$\begin{array}{c}{m}_{\mathrm{npq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}^p{y}^q{B}_{n1}(x,y)\\ x_n=m_{n10}/m_{n00}\\ y_n=m_{n01}/m_{n00}\end{array}---(1-3);$

其中，M和N分别表示第n帧瞳孔轮廓图像的宽和高，p,q＝0，1，2，...x_n和y_n分别表示第n帧瞳孔图像的瞳孔质心的x和y的坐标值。

步骤S30、根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值。

本实施例中，预先设置有瞳孔质心位置变化、操控动作、键值一一对应的对应的第一对应关系，具体参见表1，该第一对应关系中一种瞳孔质心位置变化对应一种操控动作，一种操控动作对应一个键值。

所述步骤S30具体为：首先在第一对应关系中查找与瞳孔质心位置变化对应的操控动作，然后根据该操控动作在第一对应关系中查找对应的键值，然后再将该查找到的键值发送给被控终端。

表1：

遥控功能	瞳孔质心位置变化	操控动作	键值
				方向键-上	瞳孔由下到上	UP	A1
方向键-下	瞳孔由上到下	DOWN	A2
				方向键-左	瞳孔由右到左	left	A3
方向键-右	瞳孔由左到右	right	A4
				确定	眨眼	OK	K1
返回	闭右眼	RETURN	K2
				主页	闭左眼	HOME	K3

以第n+1与n帧眼睛图像为例，根据第n+1与n帧眼睛图像对应的瞳孔质心坐标值，确定用户的瞳孔质心位置的变化情况，在第一对应关系中查找瞳孔质心位置变化对应的操控动作，具体算法如公式(1-4)；然后再在第一对应关系中查找与所述操控动作对应的键值。

KEY_n+1＝LEFTif(x_n+1<0&&|x_n+1-x_n|>T₃)

KEY_n+1＝RIGHTif(x_n+1>0&&|x_n+1-x_n|>T₃)

(1-4)；

KEY_n+1＝UPif(y_n+1>0&&|y_n+1-y_n|>T₃)

KEY_n+1＝DOWNif(y_n+1<0&&|y_n+1-y_n|>T₃)

其中，UP、DOWN、LEFT、RIGHT、分别表示向上、向下、向左、向右操控动作；T₃为经验阈值。

步骤S40、将所述键值发送至被控终端，以使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。

本实施例中，所述被控终端中预设设置有键值与遥控指令的第二对应关系，具体参见表2，在该第二对应关系中，一个键值对应一个遥控指令。所述键值优选以携带有遥控标识的数据包形式传输至被控终端，使被控终端接收所述数据包后根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令，自此即完成被控终端的遥控操作。

表2：

键值	遥控指令
		A1	向上移动指令
A2	向下移动指令
		A3	向左移动指令
A4	向右移动指令
		K1	确定指令
K2	返回指令
		K3	返回主页指令

本实施例中，所述遥控方法除了具有对被控终端进行向上、向下、向左、向右移动的操控，还具有对被控终端进行确定、返回、返回主页、查看菜单等相应功能按键操控。如定义眨眼操控动作为“确定”按键功能。当第n帧瞳孔图像的瞳孔质心位置位于坐标原点，则表示(睁眼)；第n+1帧瞳孔图像的中不存在瞳孔质心点，则表示双闭眼；第n、n+1帧瞳孔图像的连起来表示眨眼动作。具体算法如公式如(1-5)。

KEY_n+1＝OKif((x_n,y_n)＝(0,0)&&B_n+1(x,y)＝NULL)(1-5)；

其中，NULL表示不存在。

再如定义闭右眼操控动作对应为返回按键功能。具体第当第n帧瞳孔图像为双眼睁，第n+1帧瞳孔图像为右眼闭，则第n、n+1帧瞳孔图像的连起来表示闭右眼操作。具体算法如公式(1-6)。

其中，NULL表示不存在，为只包含右眼瞳孔的图像。

本实施例所提供的遥控方法，通过执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；将所述键值发送至被控终端，使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令的方式，相比现有技术，在实现通过眼睛遥控被控终端的基础上，降低了相关计算方法复杂度低，以及减少了相关计算量，能够简单高效实现对被控终端遥控。

本发明提出遥控方法的第二实施例，本实施例在上述实施例的基础上还包括如下处理：

在接收用户输入的遥控启动指令后，监听用户语音指令；当监听到用户的语音指令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作，实现语音遥控被控终端。

本发明进一步提供一种遥控装置，参见图2，图2本发明的遥控装置第一实施的功能模块示意图，在第一实施例中，所述遥控装置100包括：坐标建立模块110、瞳孔坐标确定模块120、键值确定模块130、键值发送模块140。其中，所述坐标建立模块110，用于根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系。所述瞳孔坐标确定模块120，用于以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值。所述操控动作确定模块130，用于根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值。所述键值发送模块140，用于将所述键值发送至被控终端，以使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。

本实施例中，坐标建立模块110执行用户瞳孔对焦操作具体包括：首先生成语音提示信息，提示用户保持视线水平朝前一定时间如2秒钟，并在该2秒钟内执行瞳孔对焦操作，然后生成语音提示信息，告知用户瞳孔对焦完成。

本实施例中，所述设定时间间隔(以下第n帧与第n+1帧之间的时间间隔)的时间长度可以由用户设定。

本实施例中，遥控装置100预先设置有瞳孔质心位置变化、操控动作、键值一一对应的第一对应关系，具体参见表1，该第一对应关系中一种瞳孔质心位置变化对应一种操控动作，一种操控动作对应一个键值。所述键值确定模块130首先在第一对应关系中查找与瞳孔质心位置变化对应的操控动作，然后根据该操控动作在第一对应关系中查找对应的键值，然后再将该查找到的键值发送给被控终端。

以第n+1与n帧眼睛图像为例，所述键值确定模块130首先根据第n+1与n帧眼睛图像对应的瞳孔质心坐标值，确定用户的瞳孔质心位置的变化情况，然后在第一对应关系中查找瞳孔质心位置变化对应的操控动作，具体算法如公式(1-4)；再在第一对应关系中查找与所述操控动作对应的键值。

KEY_n+1＝LEFTif(x_n+1<0&&|x_n+1-x_n|>T₃)

KEY_n+1＝RIGHTif(x_n+1>0&&|x_n+1-x_n|>T₃)

(1-4)；

KEY_n+1＝UPif(y_n+1>0&&|y_n+1-y_n|>T₃)

KEY_n+1＝DOWNif(y_n+1<0&&|y_n+1-y_n|>T₃)

其中，UP、DOWN、LEFT、RIGHT、分别表示向上、向下、向左、向右操控动作；T₃为经验阈值。

本实施例中，所述被控终端中预设设置有键值与遥控指令的第二对应关系，具体参见表2，在该第二对应关系中，一个键值对应一个遥控指令。所述键值以携带有遥控标识的数据包形式传输至被控终端，被控终端接收所述数据包后根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令，自此即完成了被控终端的遥控操作。

本实施例中，所述遥控装置除了具有对被控终端进行向上、向下、向左、向右移动的操控，还具有对被控终端进行确定、返回、返回主页、查看菜单等相应功能按键操控。如定义眨眼操控动作为“确定”按键功能。当第n帧瞳孔图像的瞳孔质心位置位于坐标原点，则表示(睁眼)；第n+1帧瞳孔图像的中不存在瞳孔质心点，则表示双闭眼；第n、n+1帧瞳孔图像的连起来表示眨眼动作。具体算法如公式如(1-5)。

KEY_n+1＝OKif((x_n,y_n)＝(0,0)&&B_n+1(x,y)＝NULL)(1-5)；

其中，NULL表示不存在。

再如定义闭右眼操控动作为“返回”按键功能。具体第当第n帧瞳孔图像为双眼睁，第n+1帧瞳孔图像为右眼闭，则第n、n+1帧瞳孔图像的连起来表示闭右眼操作。具体算法如公式(1-6)。

其中，NULL表示不存在，为只包含右眼瞳孔的图像。

参见图3，图3是本发明的遥控装置第二实施例的功能模块示意图。所述遥控装置100还包括：预处理模块150。所述预处理模块150，用于对每一帧眼睛图像依次进行如下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。

本实施例中对每一帧眼睛图像进行预处理是为了提高每一帧眼睛图像的信噪比，抑制背景噪声，还原最真实的眼睛图像。

以下对预处理模块150对眼睛图像进行预处理的过程进行详细的描述：

首先假设本实施例中获取有m帧眼睛图像，以i(x,y)对每一帧眼睛图像进行命名，如第n帧与第n+1帧图像分别为命名为i_n(x,y)和i_n+1(x,y)。以第n、n+1(n+1≤m，n、m均为自然数)帧眼睛图像为例，详细说明图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理具体过程。

A、图像光照校正。图像光照校正算法主要是对原始眼睛图像中夹杂的一些变化信息(如光照变化、角度变化等)进行处理。可采用的方法包括但不限于：Gamma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，可以去除原始眼睛图像中无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是针对图像对比度调整的方法，能增强眼睛图像局部对比度，进行图像光照校正后的第n帧眼睛图像用A_n1(x,y)表示。

B、图像降噪滤波。图像降噪滤波算法主要是对眼睛图像中的噪声信息进行滤除，眼睛图像中典型的噪声包括：高斯噪声、椒盐噪声、加性噪声。本实施例采用的图像降噪滤波方法包括：均值滤波、中值滤波和高斯滤波。图像降噪滤波的第n帧图像用A_n2(x,y)表示。

C、图像灰度化。本实施获取的眼睛图像为彩色图像，彩色图像通常用RGB三分量值表示，但RGB三分量之间有很高的相关性，直接利用这些分量很难得到所需的效果，也增加计算的复杂度，而本实施中后续算法没有涉及到色彩信息，为了到所需效果、降低计算的复杂度，对眼睛图像进行灰度化。灰度化后的第n帧图像用A_n3(x,y)表示，A_n2(x,y)的三分量分别用A_n2R(x,y)，A_n2G(x,y)和A_n2B(x,y)表示。由于人眼对绿色敏感度最高，对蓝色敏感度最低，本实施例采用加权平均值法对眼睛图像进行灰度化，灰度化计算公式如下(1-1)。A_n3(x,y)＝0.3*A_n2R(x,y)+0.59*A_n2G(x,y)+0.11*A_n2B(x,y)----(1-1)。

D、图像阈值化。二值图像比灰度图像更能体现眼睛图像的关键特征，且能加快眼睛图像的处理速度，本实施中中对经过灰度化获取的A_n3(x,y)进行阈值化得到第n帧眼睛图像的二值化图像A_n4(x,y)，本实施例进行图像阈值化可的方法包括有：固定阈值法、自适应阈值法、上下阈值法、Otsu(最大类间方差法)法、熵值法、迭代法。

E、图像形态学处理。经过上述阈值化的图像A_n4(x,y)还可能存在一些孤立的噪音点或者原本应该连接的点被间断，此时通过形态学处理后可以将孤立的噪音点滤除，将被间断的连接点连接，图像形态学处理后的第n帧眼睛图像用A_n5(x,y)表示。

上述实施例中，所述瞳孔坐标确定模块120，具体还用于提取每一帧眼睛图像的瞳孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图像对应的瞳孔质心在所述坐标系中的坐标值。

本实施例以第n帧眼睛图像为例进行详细说明。由于预处理后的眼睛图像包含瞳孔和眼睛边框的二值化图像，因此上述确定第n眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值具体处理如下：

一、瞳孔图像提取

瞳孔坐标确定模块120对第n帧眼睛图像A_n5(x,y)进行眼睛边框去除操作，其具体算法采用公式(1-2)。其计算策略为：计算A_n5(x,y)每个独立连通像素点的区域面积的大小，当所述区域面积小于设定的第一阈值T₁(去除孤立点)或大于设定的第二阈值T₂(去除眼睛边框)时，则去除该对应的独立的连通像素点，保留下来的二值图像则为只包含瞳孔的图像，用A'_n5(x,y)表示。

$\begin{array}{c}{A}_{s_i}=\underset{(x,y)\&Element;S_i}{\mathrm{\&Sigma;}}{A}_{n5}(x,y)\\ B_{n1}(x,y)=A_{n5}^{\&prime;}(x,y)\mathrm{if}(T_1<A_{s_i}<T_2)\end{array}---(1-2);$

其中，表示第i个连通的像素点区域的面积，所述连通的像素点区域包括眼睛边框像素点区域、瞳孔像素点区域以及其它孤立的像素点区域，即i＝3；S_i表示第i个连通区域的坐标范围，T₁和T₂分别为第一、二阈值，B_n1(x,y)表示只包含瞳孔的图像。

二、瞳孔坐标获取

瞳孔坐标确定模块120对上述只包含瞳孔的图像B_n1(x,y)进行轮廓提取，得到瞳孔轮廓图像，在对瞳孔轮廓图像进行瞳孔质心计算，得到第n帧瞳孔轮廓图像的瞳孔质心在坐标系中的坐标值，具体算法采用公式(1-3)：

$\begin{array}{c}{m}_{\mathrm{npq}}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}^p{y}^q{B}_{n1}(x,y)\\ x_n=m_{n10}/m_{n00}\\ y_n=m_{n01}/m_{n00}\end{array}---(1-3);$

其中，M和N分别表示第n帧瞳孔轮廓图像的宽和高，p,q＝0，1，2，...x_n和y_n分别表示第n帧瞳孔图像的瞳孔质心的x和y的坐标值。

参见图4、图4是本发明的遥控装置第三实施例的功能模块示意图。所述遥控装置100还包括通讯建立模块160。所述通讯建立模块160，用于建立与被控终端的对码通讯连接；建立与被控终端的通讯连接之后才能实现与被控终端的数据交互。其中，建立的所述通讯连接可以是蓝牙通讯连接、WiFi通讯连接、或其他无线通讯连接。本实施例是通过近场通讯协议的方式建立与被控终端的无线通讯连接。若建立蓝牙无线通讯连接，则所述通讯建立模块160具体用于获取并缓存本机蓝牙MAC地址；在本机与被控终端进行触碰操作时，将本机蓝牙MAC地址通过近场通讯协议传递给被控终端，以使被控终端根据本机蓝牙MAC地址自动与本机适配，建立与本机的蓝牙连接。若建立WiFi无线通讯连接，则所述通讯建立模块160具体用于在本机与被控终端进行触碰操作时，通过近场通讯协议接收被控终端传递的WiFi的标识符和安全秘钥；根据WiFi的标识符和安全秘钥完成WiFi联网，并与被控终端适配，建立与被控终端的WiFi连接。

上述实施例中，所述键值发送模块140，具体用于将所述键值以携带遥控标识的数据包形式发送至被控终端，以使被控终端根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令。

本实施例所提供的遥控装置，通过执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；将所述键值发送至被控终端，使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令的方式，相比现有技术，在实现通过眼睛遥控被控终端的基础上，降低了相关计算方法复杂度低，以及减少了相关计算量，能够简单高效实现对被控终端遥控。

参见图5，图是本发明的遥控装置第四实施例的功能模块示意图。本实施在上述实施例的基础还包括监听模块170和语音指令发送模块180，其中上述监听模块170，用于监听用户的语音指令。所述语音指令发送模块180，具体还用于当监听模块170监听到用户的语音指令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作，实现语音遥控被控终端。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (16)

1.一种遥控方法，其特征在于，包括：

根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；

以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；

根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；

将所述键值发送至被控终端，以使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。

2.根据权利要求1所述的遥控方法，其特征在于，在所述确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值之前还包括：

对每一帧眼睛图像依次进行如下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。

3.根据权利要求1或2所述的遥控方法，其特征在于，所述确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值具体包括：

提取每一帧眼睛图像的瞳孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图像对应的瞳孔质心在所述坐标系中的坐标值。

4.根据权利要求1所述的遥控方法，其特征在于，所述根据用户输入的遥控启动指令执行用户瞳孔对焦操作之前还包括：

建立与被控终端的对码通讯连接。

5.根据权利要求4所述的遥控方法，其特征在于，所述建立与被控终端的通讯连接具体为：

获取并缓存本机蓝牙MAC地址；

在本机与被控终端进行触碰操作时，将本机蓝牙MAC地址通过近场通讯协议传递给被控终端，以使被控终端根据本机蓝牙MAC地址自动与本机适配，建立与本机的蓝牙连接。

6.根据权利要求4所述的遥控方法，其特征在于，所述建立与被控终端的通讯连接具体为：

在本机与被控终端进行触碰操作时，通过近场通讯协议接收被控终端传递的WiFi的标识符和安全秘钥；

根据WiFi的标识符和安全秘钥完成WiFi联网，并与被控终端适配，建立与被控终端的WiFi连接。

7.根据权利要求1所述的遥控方法，其特征在于，所述键值以携带有遥控标识的数据包形式传输至被控终端，以使被控终端根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令。

8.根据权利要求1所述的遥控方法，其特征在于，还包括：

在接收用户输入的遥控启动指令后，监听用户语音指令；

当监听到用户的语音指令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作。

9.一种遥控装置，其特征在于，包括：

坐标建立模块，用于根据用户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标系；

瞳孔坐标确定模块，用于以设定时间间隔周期性获取每一帧用户的眼睛图像，确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值；

键值确定模块，用于根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值；

键值发送模块，用于将所述键值发送至被控终端，以使被控终端根据预设的键值与遥控指令的第二对应关系，确定并执行相应的遥控指令。

10.根据权利要求9所述的遥控装置，其特征在于，还包括：

预处理模块，用于对每一帧眼睛图像依次进行如下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。

11.根据权利要求9或10所述的遥控装置，其特征在于，瞳孔坐标确定模块，具体用于提取每一帧眼睛图像的瞳孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图像对应的瞳孔质心在所述坐标系中的坐标值。

12.根据权利要求9所述的遥控装置，其特征在于，还包括：通讯建立模块，用于建立与被控终端的对码通讯连接；

13.根据权利要求12所述的遥控的方法，其特征在于，所述通讯建立模块，具体用于获取并缓存本机蓝牙MAC地址；在本机与被控终端进行触碰操作时，将本机蓝牙MAC地址通过近场通讯协议传递给被控终端，以使被控终端根据本机蓝牙MAC地址自动与本机适配，建立与本机的蓝牙连接。

14.根据权利要求12所述的遥控的方法，其特征在于，所述通讯建立模块，具体还用于在本机与被控终端进行触碰操作时，通过近场通讯协议接收被控终端传递的WiFi的标识符和安全秘钥；根据WiFi的标识符和安全秘钥完成WiFi联网，并与被控终端适配，建立与被控终端的WiFi连接。

15.根据权利要求9所述的遥控装置，其特征在于，所述键值发送模块，具体用于将所述键值以携带遥控标识的数据包形式发送至被控终端，以使被控终端根据遥控标识，在第二对应关系中查找与所述键值对应的遥控指令，并执行所述遥控指令。

16.根据权利要求9所述的遥控装置，其特征在于，还包括：

监听模块，用于监听用户的语音指令；

语音指令发送模块，用于当监听模块监听到用户的语音指令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作。