CN105159460A

CN105159460A - 基于眼动跟踪的智能家居控制器及其控制方法

Info

Publication number: CN105159460A
Application number: CN201510574550.9A
Authority: CN
Inventors: 王鹏; 邵明磊; 李东滨; 梁超; 李琳琳
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2015-09-10
Filing date: 2015-09-10
Publication date: 2015-12-16
Anticipated expiration: 2035-09-10
Also published as: CN105159460B

Abstract

基于眼动跟踪的智能家居控制器及其控制方法，属于无线控制领域。可以解决现有的智能家居控制器采用的按键或触摸输入方式无法适用于有肢体障碍的特殊人群的问题。基于眼动跟踪的智能家居控制器，包括图像采集模块、图像处理模块、通信模块、FPGA模块以及FPGA芯片内部集成的子模块。基于眼动跟踪的智能家居控制方法，图像处理模块将采集到的脸部图像二值化处理，找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置，估算人眼视线方向；图像显示模块在VGA液晶显示屏中，将设计好的用户界面与用户视线位置显示在液晶显示屏中，实现人机交互。本发明采用非接触的控制方式，最大限度的减少对用户的干扰，减轻用户的负担。

Description

基于眼动跟踪的智能家居控制器及其控制方法

技术领域

本发明涉及一种基于眼动跟踪的智能家居控制器及其控制方法。

背景技术

智能家居是在互联网影响下的物联化体现。智能家居系统通过网络技术将现有的各种家居设备连接到一起，提供家电控制、照明控制、电话远程控制、环境监测等多种功能和手段。智能家居不仅具有传统的居住功能，而且兼备建筑、网络通信、信息家电、设备自动化，提供全方位的信息交互功能，甚至为居住者节约能源费用。

具有无线通信功能的操作终端可使居住者方便地控制家用电器及获取需要的信息。现有的无线操作终端包括智能遥控器、移动触摸屏、电脑、手机、PDA等，输入方式包括键盘按键、触摸菜单、语音识别方式。对于特定场景或者特定人群来说，其中某些输入方式不能使用或者效果较差。例如，在嘈杂环境下，语音识别输入方式识别率较低，不能发出声音的特定人群甚至无法使用语音识别。再例如，上肢残障人士、自理能力差的老人等特殊人群无法使用按键或触摸输入方式。

发明内容

本发明的目的是为了解决现有的智能家居控制系统采用的按键或触摸输入方式无法适用于有肢体障碍的特殊人群的问题，而提出一种基于眼动跟踪的智能家居控制器及其控制方法。

一种基于眼动跟踪的智能家居控制器，所述眼动跟踪的智能家居控制系统包括：

用于采集人脸部红外图像的图像采集模块；

用于将设计好的用户界面与用户视线位置显示在液晶显示屏中，实现人机交互的图像显示模块；

用于发出处理器发出的指令，控制室内电器的通信模块；

以及FPGA模块；

且FPGA模块中包括FPGA芯片及SRAM芯片：

其中FPGA芯片内部集成：

用于将图像采集模块采集到的人脸部红外图像进行二值化处理，找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置，估算人眼的视线方向的图像处理模块；

用于存储图像处理与功能判定所需的指令与算法，判断眼睛眨眼或注视动作，从而判断出视线所在图标的开启与关闭，并执行图标开启或关闭的功能判定模块；

用于将视频信号数据流解码转换成24bit图像数据的BT656解码模块；

用于缓存BT656解码模块解码得到的24bit图像数据的FIFO缓存模块；

用于读取FIFO缓存模块中的图像数据，并将数据发送到FPGA内部总线的READ接口模块；

用于将图像数据转换成灰度图像的NIOSII内核模块；

用于提供系统时钟的CLK时钟模块；

用于配置SDRAM存储芯片的SDRAM控制器；

用于配置SRAM存储芯片的SRAM控制器；

用于读写FPGA总线的指令并将其发送到通信模块的UART控制器；以及

用于模拟信号生成的VGA控制器。

一种基于眼动跟踪的智能家居控制器的控制方法，所述智能家居控制方法通过以下步骤实现，

步骤一、通过图像采集模块采集人脸部红外图像：

红外LED发光模块向人脸发射近红外光，CMOS摄像模块捕捉人脸部红外图像并存储至SDRAM存储模块中，之后输出复合视频信号；

步骤二、图像灰度处理过程：

令图像处理模块与功能判定模块共用FPGA芯片和SRAM存储模块；

FPGA芯片通过内部的8位BT656接口模块接收图像采集模块发送的基带视频信号数据流，经BT656解码模块解码后得到24bits的图像数据送入FIFO缓存，而后READ接口模块读取FIFO缓存中的数据并将其发送到FPGA内部数据总线，NIOSII内核从数据总线上读取图像数据并将图像数据转换成灰度图像，最后NIOSII内核将灰度图像数据存储在SDRAM中；

步骤三、判定红外光斑位置，通过红外光斑位置粗定眼部位置并截取人眼部子图图像：

第一，NIOSII内核模块将经数据总线从SDRAM存储模块中读取的人脸部红外图像作为原始图像数据，在原始图像数据的每一列中，用一维掩膜[-1,-1,0,1,1]对每个像素进行扫描，计算每列亮度梯度最大值；

第二，将原始图像数据平均分成左右两部分，分别搜索左右两部分亮度梯度最大值，定位两个红外光斑所在列坐标；同时，分别在两个红外光斑所在的列中，对每个像素用相同的一维掩膜进行扫描，计算各行亮度梯度的最大值，从而确定红外光斑所在的行坐标；

第三，计算两个红外光斑的距离，利用眼球距离这一先验知识进行容错处理，粗定到眼部位置后，截取出人眼部子图图像；

步骤四，将灰度图像通过阈值分割进行二值化处理，确定瞳孔位置：

第一，设步骤二得到的灰度图像的灰度取值{0,1,…,l-1}，其中，灰度值为i的像素的个数为n_i，则灰度值为i的像素的出现概率为：P_i＝n_i/N；其中，N表示灰度图中像素总数；

第二，确定阈值t，选取分割阈值t，即分离性最大时作为最佳门限，实现最大类间方差原理的自适应阈值方法将灰度图像中的像素划分为两类：

将小于阈值t的像素设定为白，即：C₀{0,1，…,t}，

将大于阈值t的像素设定为黑，即：C₁{t+1,t+2，…,l-1}，得到人眼部二值化图像；

第三，在灰度图像中采用等权重质心法求瞳孔中心位置：

以当前计算的瞳孔位置为中心，选取包围瞳孔的矩形框，之后在矩形框内重复利用等权重质心法定位瞳孔中心，直到瞳孔中心的位置稳定为止，将稳定时瞳孔中心作为瞳孔粗定位中心，并获得估算的瞳孔半径；

第四，根据瞳孔粗定位中心及估算的瞳孔半径确定圆，以圆为边缘提取圆形搜索区域，在圆形搜索区域内，以圆心为原点并沿半径方向用一维边缘检测算子[-1,-1,0,1,1]提取瞳孔边缘点；

第五，选择N个瞳孔边缘点，采用最小二乘法对瞳孔中心进行圆拟合，计算瞳孔中心坐标(x₀,y₀)和半径R，确定出瞳孔中心位置；

步骤五，利用FPGA芯片中的NIOSII内核模块比对图像采集模块采集到的人脸部红外图像中红外光斑与瞳孔中心位置的位移量，进行视线校准与人眼注视点定位的处理；

步骤六、在经过步骤三、四和五先后进行的红外光斑位置、瞳孔位置和视线校准与人眼注视点定位三个步骤的处理后，将确定的视线位置数据通过总线传输给图像显示模块进行用户界面及人眼注视点显示；

步骤七、判定眼部动作并执行相应功能：

FPGA芯片内部的NIOSII内核模块首先搜索人眼部二值化图像中黑色目标区域的左右边界并计算二者的距离，然后与参考阈值比较：

若大于参考阈值时，判定为眼睛闭合；

若小于参考阈值时，判定为眼睛睁开；

若连续3帧都为眼睛闭合，则判定为眨眼；

根据判定的眼部动作判定相应功能控制指令，将确认出的功能控制指令通过数据总线传送给通信模块，通信模块发送功能控制指令，功能控制指令被指定家电接收并解码，实现对家电的远程控制。

本发明的有益效果为：

本发明提出的基于眼动跟踪技术的智能家居控制器，包括图像采集模块、图像显示模块、通信模块、FPGA控制模块，FPGA控制模块包含FPGA芯片和SRAM存储芯片，其中FPGA芯片内部集成图像处理模块、功能判定模块、BT656解码模块、FIFO缓存模块、READ接口模块、NIOSII内核模块、CLK模块、SRAM控制器、UART控制器、SDRAM控制器和VGA控制器。图像处理模块将图像采集模块采集到的脸部图像进行二值化处理后，找出人眼瞳孔与红外灯在人眼巩膜显示的光斑位置，估算人眼的视线方向；将设计好的用户界面与用户视线位置显示在液晶显示屏中，实现人机交互：智能家居控制器通过跟踪视线方向确定对应功能的指示标识，功能判定电路判断眼睛眨眼或注视等动作，判断视线所在图标的开启与关闭；通信电路发出处理器发出的指令，与家用电器之间互动，实现通过判断眼部动作来实现智能家居的控制，如电器开启与关闭的过程。

本发明提出的基于眼动跟踪技术的智能家居控制器，与传统的接触式输入方式相比，眼动输入方式具有非接触、抗干扰等优点，尤其适用于噪声、低温等特殊环境或行动不变的特定人群，可提高控制精确度，带给用户新奇体验，增加生活趣味。

非接触的控制方式，可以最大限度的减少对用户的干扰，减轻用户的负担。

附图说明

图1为本发明的工作流程图；

图2为本发明涉及的眼动跟踪的智能家居控制器的结构框图；

图3为本发明涉及的红外光斑位置判定以及人眼部子图图像获取流程图；

图4为本发明涉及的确定瞳孔位置的流程图；

图5为本发明涉及的眼部动作检测的流程图。

具体实施方式

具体实施方式一：

本实施方式的基于眼动跟踪的智能家居控制器，结合图2所示的眼动跟踪的智能家居控制系统包括：

用于采集人脸部红外图像的图像采集模块；

用于发出处理器发出的指令，控制室内电器的通信模块；

以及FPGA模块；

且FPGA模块中包括FPGA芯片及SRAM芯片：

其中FPGA芯片内部集成：

用于将图像数据转换成灰度图像的NIOSII内核模块；

用于提供系统时钟的CLK时钟模块；

用于配置SDRAM存储芯片的SDRAM控制器；

用于配置SRAM存储芯片的SRAM控制器；

用于模拟信号生成的VGA控制器。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的基于眼动跟踪的智能家居控制器，所述图像采集模块还包括：

用于发出近红外光的红外LED发光模块，以及

用于捕捉红外LED发光模块发光后形成的人脸部红外图像的CMOS摄像模块。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的基于眼动跟踪的智能家居控制器，所述图像显示模块还包括：

用于控制信号的FPGA芯片，

用于将用户界面图像数据转换成模拟信号的数模转换(D/A)模块，

用于存储用户界面图像数据的SDRAM存储模块，和

用于显示模拟信号的VGA液晶显示屏。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的基于眼动跟踪的智能家居控制器，所述通信模块还包括：

用于发送控制指令的红外通信模块；以及

用于控制异步收发传输模块进行指令传输的FPGA芯片。

具体实施方式五：

本实施方式的基于眼动跟踪的智能家居控制系统进行智能家居控制器的控制方法，所述智能家居控制方法通过以下步骤实现，

步骤一、通过图像采集模块采集人脸部红外图像：

步骤二、图像灰度处理过程：

将小于阈值t的像素设定为白，即：C₀{0,1，…,t}，

第三，在灰度图像中采用等权重质心法求瞳孔中心位置：

步骤七、判定眼部动作并执行相应功能：

若大于参考阈值时，判定为眼睛闭合；

若小于参考阈值时，判定为眼睛睁开；

若连续3帧都为眼睛闭合，则判定为眨眼；

具体实施方式六：

与具体实施方式五不同的是，本实施方式的基于眼动跟踪的智能家居控制系统，步骤三所述采用最小二乘法对瞳孔中心进行圆拟合，计算瞳孔中心坐标(x_0,y₀)和半径R的过程为，

令：

L = Σ_{i = 1}^{N} [{(x_{i} - x_{0})}^{2} + {(y_{i} - y_{0})}^{2} - R^{2}]^{2},

对N个边缘点用上式求和，分别计算L对x₀、y₀及R的偏导数并令其为0，解方程组可得：

x_{0} = - \frac{H * D - E * G}{2 (C * G - D^{2})},

y_{0} = - \frac{H * C - E * D}{2 (D^{2} - G * C)},

R = \sqrt{x_{0}^{2} - y_{0}^{2} - F},

其中：

C = N Σ_{i = 1}^{N} x_{i}^{2} - {(Σ_{i = 1}^{N} x_{i})}^{2},

D = N Σ_{i = 1}^{N} x_{i} y_{i} - Σ_{i = 1}^{N} x_{i} Σ_{i = 1}^{N} y_{i},

E = N Σ_{i = 1}^{N} x_{i}^{3} + N Σ_{i = 1}^{N} x_{i} y_{i}^{2} - Σ_{i = 1}^{N} (x_{i}^{2} - y_{i}^{2}) Σ_{i = 1}^{N} x_{i},

F = \frac{Σ_{i = 1}^{N} (x_{i}^{2} - y_{i}^{2}) - 2 x_{0} Σ_{i = 1}^{N} x_{i} - 2 y_{0} Σ_{i = 1}^{N} y_{i}}{N},

G = N Σ_{i = 1}^{N} y_{i}^{2} - {(Σ_{i = 1}^{N} y_{i})}^{2},

H = N Σ_{i = 1}^{N} y_{i}^{3} + N Σ_{i = 1}^{N} y_{i} x_{i}^{2} - Σ_{i = 1}^{N} (x_{i}^{2} - y_{i}^{2}) Σ_{i = 1}^{N} y_{i} .

具体实施方式七：

与具体实施方式五或六不同的是，本具体实施方式的基于眼动跟踪的智能家居控制方法，步骤四所述确定阈值t的过程为，

人眼部子图图像中黑白两类像素的出现概率分别为：和

p_{1} (t) = Σ_{i = t + 1}^{l - 1} p_{i};

黑白两类像素的灰度均值分别为：

u_{0} (t) = Σ_{i = 0}^{t} {ip}_{i} / p_{0} (t)

和

u_{1} (t) = Σ_{i = t + 1}^{l - 1} {ip}_{i} / p_{1} (t);

人眼部子图图像的总体灰度为：

求出C₀和C₁这两类像素的类间方差：

σ_{B}^{2} (t) = p_{0} (t) {[u_{0} (t) - u]}^{2} + p_{1} (t) {[u_{1} (t) - u]}^{2},

并将两类像素的类间方差取最大值时的t确定为阈值。

具体实施方式八：

与具体实施方式七不同的是，本具体实施方式的基于眼动跟踪的智能家居控制器的控制方法，步骤五所述视线校准与人眼注视点定位的处理的过程为，

在进行视线校准时：

第一，在VGA显示屏上显示一组参考注视点，当用户注视参考点时，眼动跟踪装置测量瞳孔中心位置与红外光斑的相对位置偏移量；

第二，通过最小二乘曲线拟合，确定瞳孔中心位置及红外光斑相对位置偏移量与注视点的映射关系：

眼动跟踪控制装置采用拟合函数为6参数拟合函数：

Xs＝a₀+a₁x_e+a₂y_e+a₃x_e ²+a₄x_ey_e+a₅y_e ²

Ys＝b₀+b₁x_e+b₂y_e+b₃x_e ²+b₄x_ey_e+b₅y_e ²进行拟合校准；

在进行人眼注视点定位时：

根据拟合校准得到的映射函数以及人眼部子图图像中瞳孔中心位置和红外光斑相对位置偏移量计算人眼注视点，并叠加到VGA显示屏。

具体实施方式九：

与具体实施方式五、六或八不同的是，本具体实施方式的基于眼动跟踪的智能家居控制器的控制方法，步骤六所述用户界面及人眼注视点显示的过程为，

第一，用户界面和人眼注视点用液晶显示屏显示，FPGA芯片控制RGB三基色信号和行列同步信号；

第二，NIOSII内核模块读取SDRAM存储模块中的用户界面图像数据，之后将用户界面图像数据由总线传送给VGA控制器，再经数模转换模块转换成模拟信号，由VGA液晶显示屏显示。

具体实施方式十：

与具体实施方式九不同的是，本具体实施方式的基于眼动跟踪的智能家居控制器的控制方法，步骤七所述通信模块发送功能控制指令的过程为：

FPGA芯片内部数据总线接收来自NIOSII内核模块的功能控制指令，通过异步收发传输模块传送到红外通信模块，红外通信模块接收并转发功能控制指令，功能控制指令被指定家电上的红外接收模块接收并解码，实现对家电的远程控制本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种基于眼动跟踪的智能家居控制器，其特征在于：眼动跟踪的智能家居控制器包括：用于采集人脸部红外图像的图像采集模块；

用于发出处理器发出的指令，控制室内电器的通信模块；

以及FPGA模块；

且FPGA模块中包括FPGA芯片及SRAM芯片：

其中FPGA芯片内部集成：

用于将图像数据转换成灰度图像的NIOSII内核模块；

用于提供系统时钟的CLK时钟模块；

用于配置SDRAM存储芯片的SDRAM控制器；

用于配置SRAM存储芯片的SRAM控制器；

用于模拟信号生成的VGA控制器。

2.根据权利要求1所述基于眼动跟踪的智能家居控制器，其特征在于：所述图像采集模块还包括：

用于发出近红外光的红外LED发光模块，以及

3.根据权利要求1或2所述基于眼动跟踪的智能家居控制器，其特征在于：所述图像显示模块还包括：

用于控制信号的FPGA芯片，

用于存储用户界面图像数据的SDRAM存储模块，和

用于显示模拟信号的VGA液晶显示屏。

4.根据权利要求3所述基于眼动跟踪的智能家居控制器，其特征在于：所述通信模块还包括：

用于发送控制指令的红外通信模块；

用于控制异步收发传输模块进行指令传输的FPGA芯片。

5.一种利用上述基于眼动跟踪的智能家居控制器进行智能家居控制方法，其特征在于：所述智能家居控制方法通过以下步骤实现，

步骤一、通过图像采集模块采集人脸部红外图像：

步骤二、图像灰度处理过程：

令图像处理模块与功能判定模块共用FPGA芯片和SRAM存储芯片；

将小于阈值t的像素设定为白，即：C₀{0,1，…,t}，

第三，在灰度图像中采用等权重质心法求瞳孔中心位置：

步骤七、判定眼部动作并执行相应功能：

若大于参考阈值时，判定为眼睛闭合；

若小于参考阈值时，判定为眼睛睁开；

若连续3帧都为眼睛闭合，则判定为眨眼；

6.根据权利要求5所述基于眼动跟踪的智能家居控制器的控制方法，其特征在于：步骤三所述采用最小二乘法对瞳孔中心进行圆拟合，计算瞳孔中心坐标(x₀,y₀)和半径R的过程为，

令：

L = Σ_{i = 1}^{N} [{(x_{i} - x_{0})}^{2} + {(y_{i} - y_{0})}^{2} - R^{2}]^{2},

x_{0} = - \frac{H * D - E * G}{2 (C * G - D^{2})},

y_{0} = - \frac{H * C - E * D}{2 (D^{2} - G * C)},

R = \sqrt{x_{0}^{2} - y_{0}^{2} - F},

其中：

C = N Σ_{i = 1}^{N} x_{i}^{2} - {(Σ_{i = 1}^{N} x_{i})}^{2},

D = N Σ_{i = 1}^{N} x_{i} y_{i} - Σ_{i = 1}^{N} x_{i} Σ_{i = 1}^{N} y_{i},

E = N Σ_{i = 1}^{N} x_{i}^{3} + N Σ_{i = 1}^{N} x_{i} y_{i}^{2} - Σ_{i = 1}^{N} (x_{i}^{2} - y_{i}^{2}) Σ_{i = 1}^{N} x_{i},

F = \frac{Σ_{i = 1}^{N} (x_{i}^{2} - y_{i}^{2}) - 2 x_{0} Σ_{i = 1}^{N} x_{i} - 2 y_{0} Σ_{i = 1}^{N} y_{i}}{N},

G = N Σ_{i = 1}^{N} y_{i}^{2} - {(Σ_{i = 1}^{N} y_{i})}^{2},

H = N Σ_{i = 1}^{N} y_{i}^{3} + N Σ_{i = 1}^{N} y_{i} x_{i}^{2} - Σ_{i = 1}^{N} (x_{i}^{2} - y_{i}^{2}) Σ_{i = 1}^{N} y_{i} .

7.根据权利要求5或6所述基于眼动跟踪的智能家居控制器的控制方法，其特征在于：步骤四所述确定阈值t的过程为，

人眼部子图图像中黑白两类像素的出现概率分别为：和

黑白两类像素的灰度均值分别为：

u_{0} (t) = Σ_{i = 0}^{t} {ip}_{i} / p_{0} (t)

和

u_{1} (t) = Σ_{i = t + 1}^{l - 1} {ip}_{i} / p_{1} (t);

人眼部子图图像的总体灰度为：

求出C₀和C₁这两类像素的类间方差：

σ_{B}^{2} (t) = p_{0} (t) {[u_{0} (t) - u]}^{2} + p_{1} (t) {[u_{1} (t) - u]}^{2},

并将两类像素的类间方差取最大值时的t确定为阈值。

8.根据权利要求7所述基于眼动跟踪的智能家居控制器的控制方法，其特征在于：步骤五所述视线校准与人眼注视点定位的处理的过程为，

在进行视线校准时：

第一，在VGA液晶显示屏上显示一组参考注视点，当用户注视参考点时，眼动跟踪装置测量瞳孔中心位置与红外光斑的相对位置偏移量；

眼动跟踪控制装置采用拟合函数为6参数拟合函数：

Xs＝a₀+a₁x_e+a₂y_e+a₃x_e ²+a₄x_ey_e+a₅y_e ²

Ys＝b₀+b₁x_e+b₂y_e+b₃x_e ²+b₄x_ey_e+b₅y_e ²进行拟合校准；

在进行人眼注视点定位时：

9.根据权利要求5、6或8所述基于眼动跟踪的智能家居控制器的控制方法，其特征在于：

步骤六所述用户界面及人眼注视点显示的过程为，

第二，NIOSII内核模块读取SDRAM存储模块中的用户界面图像数据，之后将用户界面图像数据由总线传送给VGA控制器，再经数模转换(D/A)模块转换成模拟信号，由VGA液晶显示屏显示。

10.根据权利要求9所述基于眼动跟踪的智能家居控制器的控制方法，其特征在于：步骤七所述通信模块发送功能控制指令的过程为：

FPGA芯片内部数据总线接收来自NIOSII内核模块的功能控制指令，通过异步收发传输模块传送到红外通信模块，红外通信模块接收并转发功能控制指令，功能控制指令被指定家电上的红外接收模块接收并解码，实现对家电的远程控制。