CN109960892A - 一种基于眼动信号的cad指令生成方法及系统 - Google Patents

一种基于眼动信号的cad指令生成方法及系统 Download PDF

Info

Publication number
CN109960892A
CN109960892A CN201910269592.XA CN201910269592A CN109960892A CN 109960892 A CN109960892 A CN 109960892A CN 201910269592 A CN201910269592 A CN 201910269592A CN 109960892 A CN109960892 A CN 109960892A
Authority
CN
China
Prior art keywords
time series
eye movement
movement signal
cad
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910269592.XA
Other languages
English (en)
Other versions
CN109960892B (zh
Inventor
吉庆
郝佳
王国新
牛红伟
龙辉
王璐
薛庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910269592.XA priority Critical patent/CN109960892B/zh
Publication of CN109960892A publication Critical patent/CN109960892A/zh
Application granted granted Critical
Publication of CN109960892B publication Critical patent/CN109960892B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/12Timing analysis or timing optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于眼动信号的CAD指令生成方法。所述CAD指令生成方法包括:通过计算机上的摄像头实时采集眼动信号的原始数据;根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应;采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列;根据所述时间序列训练SVM分类模型;将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;根据所述信号特征类别生成CAD指令,绘制CAD图形。采用本发明所提供的CAD指令生成方法及系统能够准确识别出用户设计意图并生成正确的CAD指令以驱动CAD软件绘制相应图形。

Description

一种基于眼动信号的CAD指令生成方法及系统
技术领域
本发明涉及设计意图识别领域,特别是涉及一种基于眼动信号的CAD指令生成方法及系统。
背景技术
计算机辅助设计(Computer-Aided Design,CAD)技术的出现极大地缩短了产品开发的周期、提高了产品设计质量,为用户提供了便利;随着人工智能技术的兴起,智能化的人机交互技术出现了广阔的应用前景。
现有的主流技术是依靠鼠标和键盘进行人机交互,操作繁琐,一方面是因为设计规则要保证通用性和逻辑性,所以造成了操作过程的死板与复杂,交互过程不主动去满足人的需求,只想着实现设计功能。另一方面,眼动与认知的研究不深入、眼动仪设备功能不够强大,交互过程不自然,容易导致人的认知和身体疲劳。因此,在近些年兴起眼动交互技术,眼动交互设备通过眼动信号驱动计算机上的CAD软件,从而实现信息交互,通过眼动信号绘制二维图形或三维图像,而现有的眼动交互设备存在“米达斯接触”的缺陷,“米达斯接触”的缺陷是由于眼动不是完全静止的动作,还伴随着各种眼颤、分心等非有意的眼动造成干扰,导致计算机无法识别用户要选择的对象;即用户不能准确地选择想要选中的对象,无法准确识别出用户设计意图生成正确的CAD指令以驱动CAD软件绘制相应图形。
发明内容
本发明的目的是提供一种基于眼动信号的CAD指令生成方法及系统,以解决现有的眼动交互设备无法准确识别出用户设计意图并生成正确的CAD指令以驱动CAD软件绘制相应图形的问题。
为实现上述目的,本发明提供了如下方案:
一种基于眼动信号的CAD指令生成方法,包括:
通过计算机上的摄像头实时采集眼动信号的原始数据;所述原始数据包括注视点位置坐标以及所述注视点位置坐标所对应的时间戳;
根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应;
采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列;
根据所述时间序列训练SVM分类模型;
将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;所述信号特征类别包括模型浏览眼动信号、特征搜索眼动信号以及特征选择眼动信号;
根据所述信号特征类别生成CAD指令,绘制CAD图形。
可选的,所述根据所述原始数据确定时间序列,具体包括:
按照所述时间戳的先后顺序将所述注视点位置坐标进行排列,确定时间序列。
可选的,所述采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列,具体包括:
根据公式以及确定滤波后的时间序列;其中,Pt=(I-HtCt)P′t为t时刻注视点的横坐标的滤波估计值;为t时刻注视点的纵坐标的滤波估计值;vt为观测向量;At为状态转移矩阵;为状态转移矩阵的转置矩阵;Ct为量测矩阵;为量测矩阵的转置矩阵;Ht为增益矩阵;Pt是状态变量估计误差的均方值;Pt′是未经误差校正的状态变量估计误差的均方值;Q为过程噪声的方差矩阵;R为观测噪声的方差矩阵。
可选的,所述根据所述时间序列训练SVM分类模型,具体包括:
根据所述时间序列以及所述时间序列所对应的眼动信号建立非线性的最优分类超平面模型;
利用核函数确定所述非线性的最优分类超平面模型以及线性的最优分类超平面模型之间的映射变换关系;
根据所述映射变换关系将所述非线性的最优分类超平面模型转换为线性的最优分类超平面模型;
根据所述线性的最优分类超平面模型训练SVM分类模型。
可选的,所述将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别之后,还包括:
获取人眼的视觉区域;所述视觉区域为椭圆区域,所述视觉区域用于体现所述人眼分配的关注程度;
根据所述视觉区域构建视觉注意分布函数;
根据所述视觉注意分布函数判断所述信号特征类别是否为特征选择眼动信号,得到第一判断结果;
所述第一判断结果表示为所述信号特征类别为特征选择眼动信号,根据所述特征选择眼动信号生成CAD指令,绘制CAD图形。
一种基于眼动信号的CAD指令生成系统,包括:
原始数据采集模块,用于通过计算机上的摄像头实时采集眼动信号的原始数据;所述原始数据包括注视点位置坐标以及所述注视点位置坐标所对应的时间戳;
时间序列确定模块,用于根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应;
滤波模块,用于采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列;
SVM分类模型训练模块,用于根据所述时间序列训练SVM分类模型;
信号特征类别输出模块,用于将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;所述信号特征类别包括模型浏览眼动信号、特征搜索眼动信号以及特征选择眼动信号;
第一CAD指令生成模块,用于根据所述信号特征类别生成CAD指令,绘制CAD图形。
可选的,所述时间序列确定模块具体包括:
时间序列确定单元,用于按照所述时间戳的先后顺序将所述注视点位置坐标进行排列,确定时间序列。
可选的,所述滤波模块具体包括:
滤波单元,用于根据公式以及确定滤波后的时间序列;其中, Pt=(I-HtCt)P′t为t时刻注视点的横坐标的滤波估计值;为t时刻注视点的纵坐标的滤波估计值;vt为观测向量;At为状态转移矩阵;为状态转移矩阵的转置矩阵;Ct为量测矩阵;为量测矩阵的转置矩阵;Ht为增益矩阵;Pt是状态变量估计误差的均方值;Pt′是未经误差校正的状态变量估计误差的均方值;Q为过程噪声的方差矩阵;R为观测噪声的方差矩阵。
可选的,所述SVM分类模型训练模块具体包括:
非线性的最优分类超平面模型建立单元,用于根据所述时间序列以及所述时间序列所对应的眼动信号建立非线性的最优分类超平面模型;
映射变换关系确定单元,用于利用核函数确定所述非线性的最优分类超平面模型以及线性的最优分类超平面模型之间的映射变换关系;
转换单元,用于根据所述映射变换关系将所述非线性的最优分类超平面模型转换为线性的最优分类超平面模型;
SVM分类模型训练单元,用于根据所述线性的最优分类超平面模型训练SVM分类模型。
可选的,还包括:
视觉区域获取模块,用于获取人眼的视觉区域;所述视觉区域为椭圆区域,所述视觉区域用于体现所述人眼分配的关注程度;
视觉注意分布函数构建模块,用于根据所述视觉区域构建视觉注意分布函数;
第一判断模块,用于根据所述视觉注意分布函数判断所述信号特征类别是否为特征选择眼动信号,得到第一判断结果;
第二CAD指令生成模块,用于所述第一判断结果表示为所述信号特征类别为特征选择眼动信号,根据所述特征选择眼动信号生成CAD指令,绘制CAD图形。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种基于眼动信号的CAD指令生成方法及系统,根据眼动信号的原始数据确定时间序列,从而实现依据眼动信号的停留时间执行相应操作指令,且通过卡尔曼滤波方法有效滤除眼动所带来的眼颤、分心等干扰信号,精确识别用户所选择的对象;同时,利用支持向量机(supportvector machine,SVM)分类模型准确识别用户的设计意图,提高生成CAD指令的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于眼动信号的CAD指令生成方法流程图;
图2为本发明所提供的人眼视觉区域示意图;
图3为本发明所提供的基于眼动信号的CAD指令生成系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于眼动信号的CAD指令生成方法及系统,能够提高生成CAD指令的准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的基于眼动信号的CAD指令生成方法流程图,如图1所示,一种基于眼动信号的CAD指令生成方法,包括:
步骤101:通过计算机上的摄像头实时采集眼动信号的原始数据;所述原始数据包括注视点位置坐标以及所述注视点位置坐标所对应的时间戳。
人的眼睛看向不同坐标点,不同形状的图形时,眼部会有细微的变化(瞳孔的大小、角度等)。用户的眼睛在获取计算机屏幕上的“CAD软件窗口”所呈现的信息时,所获取的信息不仅可以传递给大脑,同时也可以被图像采集摄像头记录;图像采集摄像头通过眼球追踪技术识别这些变化,产生用户所看到的图形的位置、形状等图像特征的信息,该信息为用户的操作指令,即:眼动信号的原始数据。
步骤102:根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应。
所述步骤102具体包括:按照所述时间戳的先后顺序将所述注视点位置坐标进行排列,确定时间序列。
用户注视软件窗口信息时,图像采集摄像头实时地采集眼动信号的原始数据,即人眼在显示屏上的注视点位置坐标(x,y)以及坐标对应的时间戳t;将注视点的坐标值按照时间由先到后的顺序排列起来,构成一组时间序列。时间序列表示为:
Z={(xt,yt,t)|t∈T}
其中,xt,yt分别代表t时刻注视点的横坐标、纵坐标,t代表时间戳,T是时间序列对应的采样时间段,集合中的元素按照t由小到大的顺序排列。
步骤103:采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列。
用户从显示屏获取设计信息的过程中,伴随着眼睛的高频颤动,因此显示屏上的注视点会出现小幅度的波动,然而这些颤动不属于用户的意图行为,属于伪迹。
根据公式以及确定滤波后的时间序列;其中,Pt=(I-HtCt)P′t为t时刻注视点的横坐标的滤波估计值;为t时刻注视点的纵坐标的滤波估计值;vt为观测向量;At为状态转移矩阵;为状态转移矩阵的转置矩阵;Ct为量测矩阵;为量测矩阵的转置矩阵;Ht为增益矩阵;Pt是状态变量估计误差的均方值;Pt′是未经误差校正的状态变量估计误差的均方值;Q为过程噪声的方差矩阵;R为观测噪声的方差矩阵。
将横坐标x的序列和纵坐标y的序列分别代入上式从而得出滤波后的时间序列其中,w为注视点的个数。对于横坐标和纵坐标,各自有自己对应的At、Ht、Ct参数取值。横坐标与纵坐标之间是相互独立的,它们的滤波互相不干扰。
本发明采用卡尔曼滤波方法对时间序列进行处理,除去用户眼球高频颤动产生的伪迹以及设计环境的光照变化、设备电流不稳定等噪声;时间序列中的每一个注视点位置坐标的x、y值需要根据其他注视点的坐标值予以修正,从而滤除干扰信号。
用卡尔曼滤波方法计算序列中每个坐标的最优估计值,得到除去噪声的估值序列只提取注视点横纵坐标值并按照时间由先到后的顺序排列,用向量的形式表示为其中,w为注视点的个数。
步骤104:根据所述时间序列训练SVM分类模型。
为了能更准确的识别用户的设计意图,依据CAD软件功能及设计模块,眼动信号分为:模型浏览眼动信号、特征搜索眼动信号和特征选择眼动信号,这三类眼动信分别与软件程序模块相对应。
信号类别的判断原理是采用经过离线训练的支持向量机算法模型(SVM),SVM算法的优点是,能够根据少量训练样本实现准确分类,并且泛化能力强。SVM算法模型集成在信号处理CPU中,是基于时间序列的样本集进行训练的,这个样本集包含很多组代表不同眼动信号的时间序列样本。训练集表示为D={(z1,I1),(z2,I2),(z3,I3)……(zn,In)},其中z是时间序列,I是对应序列所代表的眼动信号,且I∈{模型浏览眼动信号,特征搜索眼动信号,特征选择眼动信号}。
所述步骤104具体包括:根据所述时间序列以及所述时间序列所对应的眼动信号建立非线性的最优分类超平面模型;利用核函数确定所述非线性的最优分类超平面模型以及线性的最优分类超平面模型之间的映射变换关系;根据所述映射变换关系将所述非线性的最优分类超平面模型转换为线性的最优分类超平面模型;根据所述线性的最优分类超平面模型训练SVM分类模型。
A)对于线性分类问题,可以利用一个超平面将两类不同的向量区分开,超平面可以表达为如下形式:
I=wTz+b
选择一个最优分类超平面,使得两类向量距离超平面的几何间隔最大化:
则问题可以转化为求解w的最小二范数:
应用Lagrange乘子法并满足KKT条件,得到
因此,最优分类超平面为:
B)由于时间序列的分类是非线性的,需要将时间序列从低维空间映射到高维特征空间,定义(z)为特征空间中时间序列样本z对应的向量。
将式*中的zi和z替换为(zi)和(z),并引入核函数K(zi,zi)的概念,其定义为:
通过上述映射变换,将非线性分类问题转化为线性分类问题。超平面方程可表示为:
c.离线训练SVM模型,选择分类效果最好的核函数并估计所有参数αi(i=1,2,…,n)的值,测试评估模型准确程度。
步骤105:将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;所述信号特征类别包括模型浏览眼动信号、特征搜索眼动信号以及特征选择眼动信号。
所述步骤105之后还包括:获取人眼的视觉区域;所述视觉区域为椭圆区域,所述视觉区域用于体现所述人眼分配的关注程度;根据所述视觉区域构建视觉注意分布函数;根据所述视觉注意分布函数判断所述信号特征类别是否为特征选择眼动信号,若是,根据所述特征选择眼动信号生成CAD指令,绘制CAD图形。
基于处理之后的眼动信息数据特征,与SVM算法模型中的样本训练集进行逐一对比,确定具体的信号特征类别(模型浏览眼动信号、特征搜索眼动信号和特征选择眼动信号),这三种设计意图都有各自的眼动特征。
其中,模型浏览眼动信号的特点在于无目的性,眼睛注视点的变化呈现出较强的随机性;特征搜索眼动信号的特点在于目的性强,搜索过程对于某个特征回视的次数较多,体现出较强的偏好性;特征选择眼动信号的特点是范围集中,除了偶然性的偏离外用户的注视点都集中在屏幕上的较小区域范围内。
图2为本发明所提供的人眼视觉区域示意图,如图2所示,基于人的生理心理特性,人眼观察到的视觉区域是一个近似椭圆形的区域,叫做眼椭圆;眼椭圆区域中不同位置的内容被用户分配的注意力(关注程度)不同,一般情况下越趋近椭圆边缘的位置获得的注意力越少。
根据这一原则,构造视觉注意分布函数F(x,y)。视觉注意分布函数是一个二维随机变量的联合概率密度函数,两个随机变量分别为样本点在显示屏上的坐标值(X,Y),样本点在显示屏平面上,其中X是样本点横坐标,Y是样本点纵坐标,X和Y的定义域为全体实数;每一个时间戳对应的注意分布函数在定义域上的全积分值为1:
步骤106:根据所述信号特征类别生成CAD指令,绘制CAD图形。
屏幕所呈现的特征包括点特征(顶点、球心等)、线特征(直线和曲线)、面特征(平面和曲面)。
针对每个特征构建其在屏幕上的特征选择区域,特征选择区域包括点特征选择区域、线特征选择区域、面特征选择区域。点特征选择区域是一个半径为r的圆形区域,线特征选择区域是线周围所有与线距离不大于b的区域,而面特征选择区域则是面所在区域与面外所有与面的距离不大于c的区域;其中r,b,c根据CAD软件中图标的大小为确定值。
点特征为零维特征,线特征为一维特征,面特征为二维特征。
从低维度向高维度特征进行逐一检索,当检测到特征维度≥2个维度时,确认为选择区域重合,高维特征与低维特征的特征选择区域重合时,把重合的区域划入低维特征的选择区域。例如:当点特征选择区域和线特征选择区域重合时,要把重合区域划入点特征选择区域。
按照这个原则划分特征选择区域,各个特征选择区域用a1、a2、……ap表示(共p个特征)。(参数r、b、c的选择根据CAD软件中的尺寸已确定)。
计算T时间内视觉注意分布函数F(x,y)在每个选择区域内的积分值s1、s2、…sp(共p个特征)。对于离散型时间序列,有
其中,i∈{1<=i<=p|i∈N},k为时间序列中注视点的序号,该序列中共有n个注视点;比较所得积分值的大小,选择最大积分值所对应的特征选择区域即为该CAD软件的操作指令。
计算机处理完成用户特征选择意图后,形成操作指令,输入给计算机辅助设计系统,调用CAD软件中相应的命令,完成目标特征的操作,CAD软件自动绘制相应图形。
完成对用户特征选择意图的识别后,针对用户想要选择的特征(点特征、线特征或面特征),调用CAD软件相应的选择指令,实现对目标特征的选择。
图3为本发明所提供的基于眼动信号的CAD指令生成系统结构图,如图3所示,一种基于眼动信号的CAD指令生成系统,包括:
原始数据采集模块301,用于通过计算机上的摄像头实时采集眼动信号的原始数据;所述原始数据包括注视点位置坐标以及所述注视点位置坐标所对应的时间戳。
时间序列确定模块302,用于根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应。
所述时间序列确定模块302具体包括:时间序列确定单元,用于按照所述时间戳的先后顺序将所述注视点位置坐标进行排列,确定时间序列。
滤波模块303,用于采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列。
所述滤波模块303具体包括:滤波单元,用于根据公式以及确定滤波后的时间序列;其中,Pt=(I-HtCt)P′t为t时刻注视点的横坐标的滤波估计值;为t时刻注视点的纵坐标的滤波估计值;vt为观测向量;At为状态转移矩阵;为状态转移矩阵的转置矩阵;Ct为量测矩阵;为量测矩阵的转置矩阵;Ht为增益矩阵;Pt是状态变量估计误差的均方值;Pt′是未经误差校正的状态变量估计误差的均方值;Q为过程噪声的方差矩阵;R为观测噪声的方差矩阵。
SVM分类模型训练模块304,用于根据所述时间序列训练SVM分类模型。
所述SVM分类模型训练模块304具体包括:非线性的最优分类超平面模型建立单元,用于根据所述时间序列以及所述时间序列所对应的眼动信号建立非线性的最优分类超平面模型;映射变换关系确定单元,用于利用核函数确定所述非线性的最优分类超平面模型以及线性的最优分类超平面模型之间的映射变换关系;转换单元,用于根据所述映射变换关系将所述非线性的最优分类超平面模型转换为线性的最优分类超平面模型;SVM分类模型训练单元,用于根据所述线性的最优分类超平面模型训练SVM分类模型。
信号特征类别输出模块305,用于将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;所述信号特征类别包括模型浏览眼动信号、特征搜索眼动信号以及特征选择眼动信号。
第一CAD指令生成模块306,用于根据所述信号特征类别生成CAD指令,绘制CAD图形。
本发明还包括:视觉区域获取模块,用于获取人眼的视觉区域;所述视觉区域为椭圆区域,所述视觉区域用于体现所述人眼分配的关注程度;视觉注意分布函数构建模块,用于根据所述视觉区域构建视觉注意分布函数;第一判断模块,用于根据所述视觉注意分布函数判断所述信号特征类别是否为特征选择眼动信号,得到第一判断结果;第二CAD指令生成模块,用于所述第一判断结果表示为所述信号特征类别为特征选择眼动信号,根据所述特征选择眼动信号生成CAD指令,绘制CAD图形。
本发明对原始眼动信号进行预处理,获取有效的眼动信号;采用离线训练好的SVM模型判断时间序列样本是否代表特征搜索意图,若是,采用离线训练好的SVM模型判断时间序列样本是否代表特征选择意图,若是,区分出所选特征,执行选择操作。
每一轮流程结束,自动进行下一轮流程,以便生成连续的CAD指令,绘制完整的CAD图形。
相对于现有的人机交互模式,基于眼动信号实现选择对象、操作对象的过程不需要借助于鼠标、键盘,减少了移动鼠标、光标的对准调节、操作指令的思考环节,人机交互过程更自然、更人性化。
采用时间序列模型和卡尔曼滤波方法,排除干扰信息,提高了信号的有效性和可信性。利用支持向量机模型消耗较少时间和内存,准确地识别用户的设计意图,从而辅助智能设计过程。提出了注意分布函数和“谦让原则”的特征选择规则,协助用户准确高效地选择希望选定的对象。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于眼动信号的CAD指令生成方法,其特征在于,包括:
通过计算机上的摄像头实时采集眼动信号的原始数据;所述原始数据包括注视点位置坐标以及所述注视点位置坐标所对应的时间戳;
根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应;
采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列;
根据所述时间序列训练SVM分类模型;
将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;所述信号特征类别包括模型浏览眼动信号、特征搜索眼动信号以及特征选择眼动信号;
根据所述信号特征类别生成CAD指令,绘制CAD图形。
2.根据权利要求1所述基于眼动信号的CAD指令生成方法,其特征在于,所述根据所述原始数据确定时间序列,具体包括:
按照所述时间戳的先后顺序将所述注视点位置坐标进行排列,确定时间序列。
3.根据权利要求1所述基于眼动信号的CAD指令生成方法,其特征在于,所述采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列,具体包括:
根据公式以及确定滤波后的时间序列;其中, 为t时刻注视点的横坐标的滤波估计值;为t时刻注视点的纵坐标的滤波估计值;vt为观测向量;At为状态转移矩阵;为状态转移矩阵的转置矩阵;Ct为量测矩阵;为量测矩阵的转置矩阵;Ht为增益矩阵;Pt是状态变量估计误差的均方值;P′t是未经误差校正的状态变量估计误差的均方值;Q为过程噪声的方差矩阵;R为观测噪声的方差矩阵。
4.根据权利要求1所述基于眼动信号的CAD指令生成方法,其特征在于,所述根据所述时间序列训练SVM分类模型,具体包括:
根据所述时间序列以及所述时间序列所对应的眼动信号建立非线性的最优分类超平面模型;
利用核函数确定所述非线性的最优分类超平面模型以及线性的最优分类超平面模型之间的映射变换关系;
根据所述映射变换关系将所述非线性的最优分类超平面模型转换为线性的最优分类超平面模型;
根据所述线性的最优分类超平面模型训练SVM分类模型。
5.根据权利要求1所述基于眼动信号的CAD指令生成方法,其特征在于,所述将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别之后,还包括:
获取人眼的视觉区域;所述视觉区域为椭圆区域,所述视觉区域用于体现所述人眼分配的关注程度;
根据所述视觉区域构建视觉注意分布函数;
根据所述视觉注意分布函数判断所述信号特征类别是否为特征选择眼动信号,得到第一判断结果;
所述第一判断结果表示为所述信号特征类别为特征选择眼动信号,根据所述特征选择眼动信号生成CAD指令,绘制CAD图形。
6.一种基于眼动信号的CAD指令生成系统,其特征在于,包括:
原始数据采集模块,用于通过计算机上的摄像头实时采集眼动信号的原始数据;所述原始数据包括注视点位置坐标以及所述注视点位置坐标所对应的时间戳;
时间序列确定模块,用于根据所述原始数据确定时间序列;所述时间序列与所述眼动信号相对应;
滤波模块,用于采用卡尔曼滤波方法对所述时间序列进行滤波处理,确定滤波后的时间序列;
SVM分类模型训练模块,用于根据所述时间序列训练SVM分类模型;
信号特征类别输出模块,用于将所述滤波后的时间序列输入至所述SVM分类模型,输出信号特征类别;所述信号特征类别包括模型浏览眼动信号、特征搜索眼动信号以及特征选择眼动信号;
第一CAD指令生成模块,用于根据所述信号特征类别生成CAD指令,绘制CAD图形。
7.根据权利要求6所述基于眼动信号的CAD指令生成系统,其特征在于,所述时间序列确定模块具体包括:
时间序列确定单元,用于按照所述时间戳的先后顺序将所述注视点位置坐标进行排列,确定时间序列。
8.根据权利要求6所述基于眼动信号的CAD指令生成系统,其特征在于,所述滤波模块具体包括:
滤波单元,用于根据公式以及确定滤波后的时间序列;其中, 为t时刻注视点的横坐标的滤波估计值;为t时刻注视点的纵坐标的滤波估计值;vt为观测向量;At为状态转移矩阵;为状态转移矩阵的转置矩阵;Ct为量测矩阵;为量测矩阵的转置矩阵;Ht为增益矩阵;Pt是状态变量估计误差的均方值;P′t是未经误差校正的状态变量估计误差的均方值;Q为过程噪声的方差矩阵;R为观测噪声的方差矩阵。
9.根据权利要求6所述基于眼动信号的CAD指令生成系统,其特征在于,所述SVM分类模型训练模块具体包括:
非线性的最优分类超平面模型建立单元,用于根据所述时间序列以及所述时间序列所对应的眼动信号建立非线性的最优分类超平面模型;
映射变换关系确定单元,用于利用核函数确定所述非线性的最优分类超平面模型以及线性的最优分类超平面模型之间的映射变换关系;
转换单元,用于根据所述映射变换关系将所述非线性的最优分类超平面模型转换为线性的最优分类超平面模型;
SVM分类模型训练单元,用于根据所述线性的最优分类超平面模型训练SVM分类模型。
10.根据权利要求6所述基于眼动信号的CAD指令生成系统,其特征在于,还包括:
视觉区域获取模块,用于获取人眼的视觉区域;所述视觉区域为椭圆区域,所述视觉区域用于体现所述人眼分配的关注程度;
视觉注意分布函数构建模块,用于根据所述视觉区域构建视觉注意分布函数;
第一判断模块,用于根据所述视觉注意分布函数判断所述信号特征类别是否为特征选择眼动信号,得到第一判断结果;
第二CAD指令生成模块,用于所述第一判断结果表示为所述信号特征类别为特征选择眼动信号,根据所述特征选择眼动信号生成CAD指令,绘制CAD图形。
CN201910269592.XA 2019-04-04 2019-04-04 一种基于眼动信号的cad指令生成方法及系统 Expired - Fee Related CN109960892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910269592.XA CN109960892B (zh) 2019-04-04 2019-04-04 一种基于眼动信号的cad指令生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910269592.XA CN109960892B (zh) 2019-04-04 2019-04-04 一种基于眼动信号的cad指令生成方法及系统

Publications (2)

Publication Number Publication Date
CN109960892A true CN109960892A (zh) 2019-07-02
CN109960892B CN109960892B (zh) 2020-09-01

Family

ID=67025714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910269592.XA Expired - Fee Related CN109960892B (zh) 2019-04-04 2019-04-04 一种基于眼动信号的cad指令生成方法及系统

Country Status (1)

Country Link
CN (1) CN109960892B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011394A (zh) * 2021-04-26 2021-06-22 吉林大学 一种眼动数据预处理方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102245085A (zh) * 2008-10-14 2011-11-16 俄亥俄大学 利用眼跟踪的认知和语言评估
CN103324287A (zh) * 2013-06-09 2013-09-25 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN104504390A (zh) * 2015-01-14 2015-04-08 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
US20160210602A1 (en) * 2008-03-21 2016-07-21 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
CN106155308A (zh) * 2016-06-22 2016-11-23 浙江工业大学 一种基于回忆和标注的眼动跟踪方法和系统
CN106488216A (zh) * 2016-09-27 2017-03-08 三星电子(中国)研发中心 生成物体3d模型的方法、装置和系统
CN107133584A (zh) * 2017-04-27 2017-09-05 贵州大学 基于眼动跟踪的隐式意图识别分类方法
CN107784132A (zh) * 2016-08-24 2018-03-09 南京乐朋电子科技有限公司 基于体感技术的cad制图系统
CN108921199A (zh) * 2018-06-11 2018-11-30 厦门大学 基于物体表征状态的眼部关注偏好预测方法
CN109377488A (zh) * 2018-10-24 2019-02-22 福州大学 一种基于视觉跟踪的插值图像评价方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210602A1 (en) * 2008-03-21 2016-07-21 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
CN102245085A (zh) * 2008-10-14 2011-11-16 俄亥俄大学 利用眼跟踪的认知和语言评估
CN103324287A (zh) * 2013-06-09 2013-09-25 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN104504390A (zh) * 2015-01-14 2015-04-08 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
CN106155308A (zh) * 2016-06-22 2016-11-23 浙江工业大学 一种基于回忆和标注的眼动跟踪方法和系统
CN107784132A (zh) * 2016-08-24 2018-03-09 南京乐朋电子科技有限公司 基于体感技术的cad制图系统
CN106488216A (zh) * 2016-09-27 2017-03-08 三星电子(中国)研发中心 生成物体3d模型的方法、装置和系统
CN107133584A (zh) * 2017-04-27 2017-09-05 贵州大学 基于眼动跟踪的隐式意图识别分类方法
CN108921199A (zh) * 2018-06-11 2018-11-30 厦门大学 基于物体表征状态的眼部关注偏好预测方法
CN109377488A (zh) * 2018-10-24 2019-02-22 福州大学 一种基于视觉跟踪的插值图像评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARTIN C.CÖLLN等: ""Comparing two types of engineering visualizations: Task-related manipulations matter"", 《APPLIED ERGONOMICS》 *
杨忠豪: ""面向残疾人的眼动交互技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邱莉榕等: "《算法优化与设计》", 30 June 2017 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011394A (zh) * 2021-04-26 2021-06-22 吉林大学 一种眼动数据预处理方法及系统
CN113011394B (zh) * 2021-04-26 2021-11-30 吉林大学 一种眼动数据预处理方法及系统

Also Published As

Publication number Publication date
CN109960892B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
Jiang et al. Gesture recognition based on skeletonization algorithm and CNN with ASL database
CN104504390B (zh) 一种基于眼动数据的网上用户状态识别方法和装置
CN102749991B (zh) 一种适用于人机交互的非接触式自由空间视线跟踪方法
US20190033974A1 (en) Armband for tracking hand motion using electrical impedance measurement
Várkonyi-Kóczy et al. Human–computer interaction for smart environment applications using fuzzy hand posture and gesture models
CN112970056A (zh) 使用高速和精确的用户交互跟踪的人类-计算机接口
CN108227912A (zh) 设备控制方法和装置、电子设备、计算机存储介质
Meena A study on hand gesture recognition technique
CN102221881A (zh) 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
Cvetkoska et al. Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture
CN106406518A (zh) 手势控制装置及手势识别方法
WO2009145915A1 (en) Smartscope/smartshelf
CN107390867A (zh) 一种基于安卓手表的人机交互系统
Aditya et al. Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect
Xia et al. Using the virtual data-driven measurement to support the prototyping of hand gesture recognition interface with distance sensor
Prasad et al. A wireless dynamic gesture user interface for HCI using hand data glove
Zhang et al. The effect of embodied interaction in visual-spatial navigation
Xin Evaluation of factors affecting dance training effects based on reinforcement learning
CN109960892A (zh) 一种基于眼动信号的cad指令生成方法及系统
Li et al. Enhancing representation of deep features for sensor-based activity recognition
Huang et al. Real-time precise human-computer interaction system based on gaze estimation and tracking
Salman et al. Improvement of Eye Tracking Based on Deep Learning Model for General Purpose Applications
CN114296543A (zh) 一种指尖力检测及手势识别的智能交互系统及智能指环
Harish et al. Human computer interaction-a brief study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200901

CF01 Termination of patent right due to non-payment of annual fee