CN107831900A - 一种眼控鼠标的人机交互方法及系统 - Google Patents

一种眼控鼠标的人机交互方法及系统 Download PDF

Info

Publication number
CN107831900A
CN107831900A CN201711175412.9A CN201711175412A CN107831900A CN 107831900 A CN107831900 A CN 107831900A CN 201711175412 A CN201711175412 A CN 201711175412A CN 107831900 A CN107831900 A CN 107831900A
Authority
CN
China
Prior art keywords
pupil
eye
center
image
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711175412.9A
Other languages
English (en)
Other versions
CN107831900B (zh
Inventor
金星
李志城
张晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201711175412.9A priority Critical patent/CN107831900B/zh
Publication of CN107831900A publication Critical patent/CN107831900A/zh
Application granted granted Critical
Publication of CN107831900B publication Critical patent/CN107831900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种眼控鼠标的人机交互方法，步骤如下：将头盔式固定装置放置在用户的头部，调整与所述头盔式固定装置连接的支架的位置，使与所述支架连接的摄像机位于用户面部的前方；所述摄像机摄取人脸图像；对所述人脸图像中的眼部图像进行定位；对所述眼部图像中的瞳孔图像进行提取，确定瞳孔中心的坐标；对所述摄像机的光斑中心进行定位，确定光斑中心的坐标；根据所述瞳孔中心的坐标和光斑中心的坐标计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量；将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点；根据所述坐标点的位置变化获取用户的眼动信息；将所述眼动信息转成鼠标的工作模式。本发明增强了人机交互的适应性。

Description

一种眼控鼠标的人机交互方法及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种眼控鼠标的人机交互方法及系统。
背景技术
在计算机技术的发展过程中，人机交互方式从最初的穿孔卡方式及以鼠标和键盘为代表的图形用户界面技术逐渐转变为自然人机交互技术。传统的人机交互方式实时性差，而基于语音和手势的人机交互技术效率较低，人的视线具有直接性、自然性和双向性等其他信息无法具备的特点，因此基于视线的人机交互方式成为了近年来人工智能和人机交互领域的研究热点。
基于视线跟踪的人机交互技术通过跟踪人眼视线获得的眼动信息实现眼控鼠标操作，进而实现人机交互。这种技术解放人的双手，增加了使用设备的灵活性和趣味性，从而进一步促进以人为本的人机交互的发展与实现。
发明内容
有鉴于此，本发明提供了一种能够降低视线跟踪技术产生的干扰的眼控鼠标的人机交互方法，还提供了一种操作简便的眼控鼠标的人机交互系统。
本发明提供一种眼控鼠标的人机交互方法，包括以下步骤：
S101，将头盔式固定装置放置在用户的头部，调整与所述头盔式固定装置连接的支架的位置，使与所述支架连接的摄像机位于用户面部的前方；
S102，所述摄像机摄取人脸图像；
S103，利用人脸分布先验知识对所述人脸图像中的眼部图像进行定位；
S104，采用改进的瞳孔图像提取及定位算法对所述眼部图像中的瞳孔图像进行提取和定位，确定瞳孔中心的坐标；
S105，利用质心法对所述摄像机的光斑中心进行定位，确定光斑中心的坐标；
S106，根据所述瞳孔中心的坐标和光斑中心的坐标计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量；
S107，将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点；
S108，根据所述坐标点的位置变化获取用户的眼动信息，所述眼动信息包括平滑运动、注视和眨眼；
S109，将所述眼动信息转成鼠标的工作模式。
进一步地，所述支架包括第一支杆、第二支杆和第三支杆，所述第一支杆的一端与头盔式固定装置连接，所述第一支杆可沿着头盔式固定装置向上或向下转动，所述第一支杆的另一端与第二支杆的一端活动连接，所述第二支杆的另一端与第三支杆的一端活动连接，所述第三支杆的另一端连接摄像机。
进一步地，步骤S103中，运用OpenCV对所述人眼图像进行降噪处理。
进一步地，步骤S104中，采用改进的瞳孔图像提取及定位算法对所述眼部图像中的瞳孔图像进行提取和定位的过程为：
4.1获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；
4.2利用最大类间方差法计算眼部图像的初始阈值；
4.3以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；
4.4以搜索到的第一峰值为中心，计算灰度分布直方图上的最小灰度值到第一峰值的第一距离，然后向第一峰值的右方延伸与第一距离相同的距离获得搜索阈值；
4.5对获得的初始阈值和搜索阈值进行求和计算，并计算出初始阈值和搜索阈值的平均值，将该平均值作为眼部图像的分割阈值；
4.6根据分割阈值获得分割后的瞳孔图像。
进一步地，步骤S106中，所述瞳孔中心与光斑中心的横向相对偏移量的计算公式为：
x＝x1-x0
式中，x为瞳孔中心与光斑中心的横向相对偏移量，x1为瞳孔中心的横坐标，x0为光斑中心的横坐标；
所述瞳孔中心与光斑中心的纵向相对偏移量的计算公式为：
y＝y1-y0
式中，y为瞳孔中心与光斑中心的纵向相对偏移量，y1为瞳孔中心的纵坐标，y0为光斑中心的纵坐标。
进一步地，步骤S107中，将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点的过程为：
7.1选取屏幕中的九个基本点，并采集每个基本点的瞳孔中心坐标数据，每个基本点记录30组数据，将该30组数据的平均值作为对应基本点的瞳孔中心坐标；
7.2建立六参数拟合函数{fx,fy}，函数fx中的待定参数为f(a0,a1,a2,a3,a4,a5)，函数fy中的待定参数为f(b0,b1,b2,b3,b4,b5)，将九个基本点的瞳孔中心坐标代入到拟合函数{fx,fy}中，计算得到各个待定参数的值，确定拟合函数{fx,fy}的表达式；
7.3将横向相对偏移量和纵向相对偏移量代入到拟合函数{fx,fy}的表达式中，得到瞳孔中心映射在屏幕中的坐标点。
本发明还提供一种眼控鼠标的人机交互系统，包括头盔式固定装置，与所述头盔式固定装置连接的支架，与所述支架连接的摄像机，位于所述头盔式固定装置上的眼部图像定位模块、瞳孔光斑定位模块、瞳孔-光斑偏移量计算模块、
坐标转换模块、眼动信息获取模块和眼控鼠标操作模块，所述头盔式固定装置放置在用户的头部，所述摄像机用以摄取人脸图像并将人脸图像发送到眼部图像定位模块，所述眼部图像定位模块用以对人脸图像中的眼部图像进行定位，所述瞳孔光斑定位模块用以采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位以确定瞳孔中心的坐标，并且采用质心法对摄像机的光斑中心进行定位以确定光斑中心的坐标，所述瞳孔-光斑偏移量计算模块用以计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量，所述坐标转换模块用以将横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点，所述眼动信息获取模块用以根据坐标点的位置变化获取用户的眼动信息，所述眼控鼠标操作模块用以将眼动信息转成鼠标的工作模式。
进一步地，所述支架包括第一支杆、第二支杆和第三支杆，所述第一支杆的一端与头盔式固定装置连接，所述第一支杆可沿着头盔式固定装置向上或向下转动，所述第一支杆的另一端与第二支杆的一端活动连接，所述第二支杆的另一端与第三支杆的一端活动连接，所述第三支杆的另一端连接摄像机。
进一步地，所述瞳孔光斑定位模块采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位的过程为：获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；利用最大类间方差法计算眼部图像的初始阈值；以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；以搜索到的第一峰值为中心，计算灰度分布直方图上的最小灰度值到第一峰值的第一距离，然后向第一峰值的右方延伸与第一距离相同的距离获得搜索阈值；对获得的初始阈值和搜索阈值进行求和计算，并计算出初始阈值和搜索阈值的平均值，将该平均值作为眼部图像的分割阈值；根据分割阈值获得分割后的瞳孔图像。
进一步地，所述坐标转换模块将横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点的过程为：选取屏幕中的九个基本点，并采集每个基本点的瞳孔中心坐标数据，每个基本点记录30组数据，将该30组数据的平均值作为对应基本点的瞳孔中心坐标；建立六参数拟合函数{fx,fy}，函数fx中的待定参数为f(a0,a1,a2,a3,a4,a5)，函数fy中的待定参数为f(b0,b1,b2,b3,b4,b5)，将九个基本点的瞳孔中心坐标代入到拟合函数{fx,fy}中，计算得到各个待定参数的值，确定拟合函数{fx,fy}的表达式；将横向相对偏移量和纵向相对偏移量代入到拟合函数{fx,fy}的表达式中，得到瞳孔中心映射在屏幕中的坐标点。
本发明提供的技术方案带来的有益效果是：本发明提供的眼控鼠标的人机交互方法利用头盔式固定装置使用户的头部位置与摄像机位置保持相对稳定，有效提高了人机交互的稳定性；本发明利用支架能够根据用户需求和实际情况调节摄像机的位置，增强了人机交互的适应性；本发明采用改进的瞳孔图像提取及定位算法有效降低了人机交互的运行时间，提高了人机交互的实时性和精度；本发明提供的人机交互系统结构简单、操作简便。
附图说明
图1是本发明一种眼控鼠标的人机交互方法的流程示意图。
图2是本发明一种眼控鼠标的人机交互系统的结构示意图。
图3是本发明一种眼控鼠标的人机交互方法采用的改进的瞳孔图像提取及定位算法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1和图2，本发明的实施例提供了一种眼控鼠标的人机交互方法，包括以下步骤：
步骤S101，将头盔式固定装置1放置在用户的头部，头盔式固定装置1连接一支架2，支架2包括第一支杆21、第二支杆22和第三支杆23，第一支杆21的一端与头盔式固定装置1连接，第一支杆21可沿着头盔式固定装置1向上或向下转动，第一支杆21的另一端与第二支杆22的一端活动连接使得第二支杆22可沿着第一支杆21转动，第二支杆22的另一端与第三支杆23的一端活动连接使得第三支杆23可沿着第二支杆22转动，第三支杆23的另一端连接摄像机3，调整第二支杆22与第一支杆21的相对位置及第三支杆23与第二支杆22的相对位置使摄像机3位于用户面部的前方。
步骤S102，摄像机3摄取人脸图像，本实施例选用的摄像机3带有850nm窄带自然光截止片和850nm红外光源，850nm窄带自然光截止片可以有效隔绝自然光对图像产生的干扰，850nm红外光源能够为成像提供足够的光源。
步骤S103，利用人脸分布先验知识结合Harris内眼角检测对人脸图像中的眼部图像进行定位，并运用OpenCV对人眼图像进行降噪处理。
对人脸图像中的眼部图像进行定位的过程为：
首先利用人脸分布先验知识对人脸图像中的眼部图像进行粗定位，人脸分布先验知识根据人脸特征在竖直方向将人脸分割为三部分，包括发际线到眉骨，眉骨至鼻子，鼻子至下巴；在水平方向将人脸均分为五部分，包括左侧发髻到左眼左边界、左眼到右眼左边界、左眼右边界到右眼左边界、右眼到右侧发髻、右眼右边界到右侧发髻，运用人脸分布先验知识有效减小了眼部图像精确定位的搜索范围，提高了瞳孔中心、光斑中心的定位效率和精度；
然后采用Harris内眼角检测对人脸图像中的眼部图像进行精确定位，本发明的实施例中采用5×5高斯窗口作为窗口模板，采用高斯函数一阶微分算子计算图像中某一点在水平方向上的导数Ix和在竖直方向上的导数Iy进行角点检测定位。
步骤S104，采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位，然后利用轮廓提取法和椭圆拟合算法确定瞳孔中心的坐标。
参考图3，采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位的过程为：
4.1获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；
4.2利用最大类间方差法计算眼部图像的初始阈值；
4.3以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；
4.4以搜索到的第一峰值为中心，计算灰度分布直方图上的最小灰度值到第一峰值的第一距离，然后向第一峰值的右方延伸与第一距离相同的距离获得搜索阈值；
4.5对获得的初始阈值和搜索阈值进行求和计算，并计算出初始阈值和搜索阈值的平均值，将该平均值作为眼部图像的分割阈值；
4.6根据分割阈值结合孔洞填充算法获得分割后的瞳孔图像。
步骤S105，利用质心法对摄像机的光斑中心进行定位，确定光斑中心的坐标。
步骤S106，根据瞳孔中心的坐标和光斑中心的坐标计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量，由于摄像机与用户的头部位置相对静止，因此光斑中心的坐标保持不变，则瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量可以反映瞳孔的运动情况。
瞳孔中心与光斑中心的横向相对偏移量的计算公式为：
x＝x1-x0
式中，x为瞳孔中心与光斑中心的横向相对偏移量，x1为瞳孔中心的横坐标，x0为光斑中心的横坐标；
瞳孔中心与光斑中心的纵向相对偏移量的计算公式为：
y＝y1-y0
式中，y为瞳孔中心与光斑中心的横向相对偏移量，y1为瞳孔中心的纵坐标，y0为光斑中心的纵坐标。
步骤S107，将横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点，其具体过程为：
7.1选取屏幕中的九个基本点，并采集每个基本点的瞳孔中心坐标数据，每个基本点记录30组数据，将该30组数据的平均值作为对应基本点的瞳孔中心坐标；
7.2建立六参数拟合函数{fx,fy}，函数fx中的待定参数为f(a0,a1,a2,a3,a4,a5)，函数fy中的待定参数为f(b0,b1,b2,b3,b4,b5)，将九个基本点的瞳孔中心坐标代入到拟合函数{fx,fy}中，计算得到各个待定参数的值，确定拟合函数{fx,fy}的表达式；
7.3将横向相对偏移量和纵向相对偏移量代入到拟合函数{fx,fy}的表达式中，得到瞳孔中心映射在屏幕中的坐标点。
步骤S108，根据坐标点的位置变化获取用户的眼动信息，眼动信息包括平滑运动、注视和眨眼。
步骤S109，将眼动信息转成鼠标的工作模式。
参考图2，本发明还提供一种眼控鼠标的人机交互系统，包括头盔式固定装置1，与头盔式固定装置1连接的支架2，与支架2连接的摄像机3，位于头盔式固定装置1上的眼部图像定位模块11、瞳孔光斑定位模块12、瞳孔-光斑偏移量计算模块13、坐标转换模块14、眼动信息获取模块15和眼控鼠标操作模块16。
头盔式固定装置1放置在用户的头部，支架2包括第一支杆21、第二支杆22和第三支杆23，第一支杆21的一端与头盔式固定装置1连接，第一支杆21可沿着头盔式固定装置1向上或向下转动，第一支杆21的另一端与第二支杆22的一端活动连接使得第二支杆22可沿着第一支杆21转动，第二支杆22的另一端与第三支杆23的一端活动连接使得第三支杆23可沿着第二支杆22转动，第三支杆23的另一端连接摄像机3，通过调节第二支杆22与第一支杆21的相对位置及第三支杆23与第二支杆22的相对位置可以调整摄像机3的位置。
摄像机3用以摄取人脸图像并将人脸图像发送到眼部图像定位模块11。
眼部图像定位模块11用以对人脸图像中的眼部图像进行定位。
瞳孔光斑定位模块12用以采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位以确定瞳孔中心的坐标，并且采用质心法对摄像机的光斑中心进行定位以确定光斑中心的坐标，瞳孔光斑定位模块12对瞳孔图像进行提取和定位的过程为：获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；利用最大类间方差法计算眼部图像的初始阈值；以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；以搜索到的第一峰值为中心，计算灰度分布直方图上的最小灰度值到第一峰值的第一距离，然后向第一峰值的右方延伸与第一距离相同的距离获得搜索阈值；对获得的初始阈值和搜索阈值进行求和计算，并计算出初始阈值和搜索阈值的平均值，将该平均值作为眼部图像的分割阈值；根据分割阈值结合孔洞填充算法获得分割后的瞳孔图像。
瞳孔-光斑偏移量计算模块13用以计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量。
坐标转换模块14用以将横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点，包括以下过程：选取屏幕中的九个基本点，并采集每个基本点的瞳孔中心坐标数据，每个基本点记录30组数据，将该30组数据的平均值作为对应基本点的瞳孔中心坐标；建立六参数拟合函数{fx,fy}，函数fx中的待定参数为f(a0,a1,a2,a3,a4,a5)，函数fy中的待定参数为f(b0,b1,b2,b3,b4,b5)，将九个基本点的瞳孔中心坐标代入到拟合函数{fx,fy}中，计算得到各个待定参数的值，确定拟合函数{fx,fy}的表达式；将横向相对偏移量和纵向相对偏移量代入到拟合函数{fx,fy}的表达式中，得到瞳孔中心映射在屏幕中的坐标点。
眼动信息获取模块15用以根据坐标点的位置变化获取用户的眼动信息，眼动信息包括平滑运动、注视和眨眼。
眼控鼠标操作模块16用以将眼动信息转成鼠标的工作模式。
本发明提供的眼控鼠标的人机交互方法利用头盔式固定装置1使用户的头部位置与摄像机3位置保持相对稳定，有效提高了人机交互的稳定性；本发明利用支架2能够根据用户需求和实际情况调节摄像机3的位置，增强了人机交互的适应性；本发明采用改进的瞳孔图像提取及定位算法有效降低了人机交互的运行时间，提高了人机交互的实时性和精度；本发明提供的人机交互系统结构简单、操作简便。
在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种眼控鼠标的人机交互方法，其特征在于，包括以下步骤：
S101，将头盔式固定装置放置在用户的头部，调整与所述头盔式固定装置连接的支架的位置，使与所述支架连接的摄像机位于用户面部的前方；
S102，所述摄像机摄取人脸图像；
S103，利用人脸分布先验知识对所述人脸图像中的眼部图像进行定位；
S104，采用改进的瞳孔图像提取及定位算法对所述眼部图像中的瞳孔图像进行提取和定位，确定瞳孔中心的坐标；
S105，利用质心法对所述摄像机的光斑中心进行定位，确定光斑中心的坐标；
S106，根据所述瞳孔中心的坐标和光斑中心的坐标计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量；
S107，将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点；
S108，根据所述坐标点的位置变化获取用户的眼动信息，所述眼动信息包括平滑运动、注视和眨眼；
S109，将所述眼动信息转成鼠标的工作模式。
2.如权利要求1所述的眼控鼠标的人机交互方法，其特征在于，所述支架包括第一支杆、第二支杆和第三支杆，所述第一支杆的一端与头盔式固定装置连接，所述第一支杆可沿着头盔式固定装置向上或向下转动，所述第一支杆的另一端与第二支杆的一端活动连接，所述第二支杆的另一端与第三支杆的一端活动连接，所述第三支杆的另一端连接摄像机。
3.如权利要求1所述的眼控鼠标的人机交互方法，其特征在于，步骤S103中，运用OpenCV对所述人眼图像进行降噪处理。
4.如权利要求1所述的眼控鼠标的人机交互方法，其特征在于，步骤S104中，采用改进的瞳孔图像提取及定位算法对所述眼部图像中的瞳孔图像进行提取和定位的过程为：
4.1获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；
4.2利用最大类间方差法计算眼部图像的初始阈值；
4.3以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；
4.4以搜索到的第一峰值为中心，计算灰度分布直方图上的最小灰度值到第一峰值的第一距离，然后向第一峰值的右方延伸与第一距离相同的距离获得搜索阈值；
4.5对获得的初始阈值和搜索阈值进行求和计算，并计算出初始阈值和搜索阈值的平均值，将该平均值作为眼部图像的分割阈值；
4.6根据分割阈值获得分割后的瞳孔图像。
5.如权利要求1所述的眼控鼠标的人机交互方法，其特征在于，步骤S106中，所述瞳孔中心与光斑中心的横向相对偏移量的计算公式为：
x＝x1-x0
式中，x为瞳孔中心与光斑中心的横向相对偏移量，x1为瞳孔中心的横坐标，x0为光斑中心的横坐标；
所述瞳孔中心与光斑中心的纵向相对偏移量的计算公式为：
y＝y1-y0
式中，y为瞳孔中心与光斑中心的纵向相对偏移量，y1为瞳孔中心的纵坐标，y0为光斑中心的纵坐标。
6.如权利要求1所述的眼控鼠标的人机交互方法，其特征在于，步骤S107中，将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点的过程为：
7.1选取屏幕中的九个基本点，并采集每个基本点的瞳孔中心坐标数据，每个基本点记录30组数据，将该30组数据的平均值作为对应基本点的瞳孔中心坐标；
7.2建立六参数拟合函数{fx,fy}，函数fx中的待定参数为f(a0,a1,a2,a3,a4,a5)，函数fy中的待定参数为f(b0,b1,b2,b3,b4,b5)，将九个基本点的瞳孔中心坐标代入到拟合函数{fx,fy}中，计算得到各个待定参数的值，确定拟合函数{fx,fy}的表达式；
7.3将横向相对偏移量和纵向相对偏移量代入到拟合函数{fx,fy}的表达式中，得到瞳孔中心映射在屏幕中的坐标点。
7.一种眼控鼠标的人机交互系统，其特征在于，包括头盔式固定装置，与所述头盔式固定装置连接的支架，与所述支架连接的摄像机，位于所述头盔式固定装置上的眼部图像定位模块、瞳孔光斑定位模块、瞳孔-光斑偏移量计算模块、坐标转换模块、眼动信息获取模块和眼控鼠标操作模块，所述头盔式固定装置放置在用户的头部，所述摄像机用以摄取人脸图像并将人脸图像发送到眼部图像定位模块，所述眼部图像定位模块用以对人脸图像中的眼部图像进行定位，所述瞳孔光斑定位模块用以采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位以确定瞳孔中心的坐标，并且采用质心法对摄像机的光斑中心进行定位以确定光斑中心的坐标，所述瞳孔-光斑偏移量计算模块用以计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量，所述坐标转换模块用以将横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点，所述眼动信息获取模块用以根据坐标点的位置变化获取用户的眼动信息，所述眼控鼠标操作模块用以将眼动信息转成鼠标的工作模式。
8.如权利要求7所述的眼控鼠标的人机交互系统，其特征在于，所述支架包括第一支杆、第二支杆和第三支杆，所述第一支杆的一端与头盔式固定装置连接，所述第一支杆可沿着头盔式固定装置向上或向下转动，所述第一支杆的另一端与第二支杆的一端活动连接，所述第二支杆的另一端与第三支杆的一端活动连接，所述第三支杆的另一端连接摄像机。
9.如权利要求7所述的眼控鼠标的人机交互系统，其特征在于，所述瞳孔光斑定位模块采用改进的瞳孔图像提取及定位算法对眼部图像中的瞳孔图像进行提取和定位的过程为：获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；利用最大类间方差法计算眼部图像的初始阈值；以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；以搜索到的第一峰值为中心，计算灰度分布直方图上的最小灰度值到第一峰值的第一距离，然后向第一峰值的右方延伸与第一距离相同的距离获得搜索阈值；对获得的初始阈值和搜索阈值进行求和计算，并计算出初始阈值和搜索阈值的平均值，将该平均值作为眼部图像的分割阈值；根据分割阈值获得分割后的瞳孔图像。
10.如权利要求7所述的眼控鼠标的人机交互系统，其特征在于，所述坐标转换模块将横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点的过程为：选取屏幕中的九个基本点，并采集每个基本点的瞳孔中心坐标数据，每个基本点记录30组数据，将该30组数据的平均值作为对应基本点的瞳孔中心坐标；建立六参数拟合函数{fx,fy}，函数fx中的待定参数为f(a0,a1,a2,a3,a4,a5)，函数fy中的待定参数为f(b0,b1,b2,b3,b4,b5)，将九个基本点的瞳孔中心坐标代入到拟合函数{fx,fy}中，计算得到各个待定参数的值，确定拟合函数{fx,fy}的表达式；将横向相对偏移量和纵向相对偏移量代入到拟合函数{fx,fy}的表达式中，得到瞳孔中心映射在屏幕中的坐标点。
CN201711175412.9A 2017-11-22 2017-11-22 一种眼控鼠标的人机交互方法及系统 Expired - Fee Related CN107831900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711175412.9A CN107831900B (zh) 2017-11-22 2017-11-22 一种眼控鼠标的人机交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711175412.9A CN107831900B (zh) 2017-11-22 2017-11-22 一种眼控鼠标的人机交互方法及系统

Publications (2)

Publication Number Publication Date
CN107831900A true CN107831900A (zh) 2018-03-23
CN107831900B CN107831900B (zh) 2019-12-10

Family

ID=61652302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711175412.9A Expired - Fee Related CN107831900B (zh) 2017-11-22 2017-11-22 一种眼控鼠标的人机交互方法及系统

Country Status (1)

Country Link
CN (1) CN107831900B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595008A (zh) * 2018-04-27 2018-09-28 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108992035A (zh) * 2018-06-08 2018-12-14 云南大学 一种眼动追踪中注视点位置偏移的补偿方法
CN109032347A (zh) * 2018-07-06 2018-12-18 昆明理工大学 一种基于眼电信号控制鼠标的方法
CN109375765A (zh) * 2018-08-31 2019-02-22 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
WO2019201337A1 (zh) * 2018-04-19 2019-10-24 北京七鑫易维信息技术有限公司 光斑提取方法
CN111078000A (zh) * 2019-11-18 2020-04-28 中北大学 一种根据眼行为特征进行眼机交互的方法、装置及系统
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN114093018A (zh) * 2021-11-23 2022-02-25 河南省儿童医院郑州儿童医院 一种基于瞳孔定位的视力筛查设备及系统
CN117311562A (zh) * 2023-11-28 2023-12-29 北京蓝天航空科技股份有限公司 基于鼠标控制的航空模拟器视景视角实时控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统
CN107145226A (zh) * 2017-04-20 2017-09-08 中国地质大学（武汉） 眼控人机交互系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统
CN107145226A (zh) * 2017-04-20 2017-09-08 中国地质大学（武汉） 眼控人机交互系统及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019201337A1 (zh) * 2018-04-19 2019-10-24 北京七鑫易维信息技术有限公司 光斑提取方法
CN108595008A (zh) * 2018-04-27 2018-09-28 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108595008B (zh) * 2018-04-27 2022-02-08 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108992035A (zh) * 2018-06-08 2018-12-14 云南大学 一种眼动追踪中注视点位置偏移的补偿方法
CN109032347A (zh) * 2018-07-06 2018-12-18 昆明理工大学 一种基于眼电信号控制鼠标的方法
CN109375765A (zh) * 2018-08-31 2019-02-22 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN111078000A (zh) * 2019-11-18 2020-04-28 中北大学 一种根据眼行为特征进行眼机交互的方法、装置及系统
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN114093018A (zh) * 2021-11-23 2022-02-25 河南省儿童医院郑州儿童医院 一种基于瞳孔定位的视力筛查设备及系统
CN117311562A (zh) * 2023-11-28 2023-12-29 北京蓝天航空科技股份有限公司 基于鼠标控制的航空模拟器视景视角实时控制方法及装置
CN117311562B (zh) * 2023-11-28 2024-02-20 北京蓝天航空科技股份有限公司 基于鼠标控制的航空模拟器视景视角实时控制方法及装置

Also Published As

Publication number Publication date
CN107831900B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN107831900A (zh) 一种眼控鼠标的人机交互方法及系统
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN103761519B (zh) 一种基于自适应校准的非接触式视线追踪方法
CN103870796B (zh) 一种人眼视线估计的方法与装置
CN105955465A (zh) 一种桌面便携式视线跟踪方法及装置
CN107168527A (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
CN105138965A (zh) 一种近眼式视线跟踪方法及其系统
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN109375765B (zh) 眼球追踪交互方法和装置
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN103902958A (zh) 人脸识别的方法
CN105550631A (zh) 一种虹膜图像采集方法及装置
CN109426767A (zh) 眼线描绘指引装置及其方法
CN104615996B (zh) 一种多视角二维人脸特征点自动定位方法
CN107145226A (zh) 眼控人机交互系统及方法
CN110794963A (zh) 基于深度相机的眼控辅助输入方法
CN109634407A (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
CN113920591B (zh) 基于多模态生物特征识别的中远距离身份认证方法及装置
Perra et al. Adaptive eye-camera calibration for head-worn devices
CN104898971A (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN104656884A (zh) 一种融合人脸和手势的智能终端人机交互方法
CN105184273B (zh) 一种基于asm的动态图像正面人脸重建系统及方法
CN102968636A (zh) 一种人脸轮廓的提取方法
US11398024B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
CN105590015A (zh) 信息图热点采集方法、处理方法和装置及热点系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191210

Termination date: 20201122

CF01 Termination of patent right due to non-payment of annual fee