CN102073377B - 基于人眼扫视信号的人机交互式二维定位方法 - Google Patents
基于人眼扫视信号的人机交互式二维定位方法 Download PDFInfo
- Publication number
- CN102073377B CN102073377B CN 201010617004 CN201010617004A CN102073377B CN 102073377 B CN102073377 B CN 102073377B CN 201010617004 CN201010617004 CN 201010617004 CN 201010617004 A CN201010617004 A CN 201010617004A CN 102073377 B CN102073377 B CN 102073377B
- Authority
- CN
- China
- Prior art keywords
- prime
- overbar
- signal
- pan
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于人眼扫视信号的人机交互式二维定位方法,通过对多次重复实验所检测EOG数据进行特征提取与识别,揭示眼球运动角度和EOG统计信号特征之间的映射规律,构建基于EOG信号二维平面目标定位基本模型,同时在实际应用中考虑被试个体差异对基本定位模型进行参数修正,能够快速得到适用于每个被试的实际定位模型;模型构建中采用端点检测技术来实现测量信号的实时在线检测,为在线交互式系统的实现奠定了基础;通过一定的现场标定方法可以快速建立人眼与仿生机械臂之间的坐标转换关系;该系统实现了人眼、仿生机械臂的交互式二维精确位置控制。
Description
技术领域
本发明属于生物医学和信息学交叉领域,具体说就是基于人眼扫视信号的人机交互式二维精确定位方法。
背景技术
假肢能够辅助残疾人完成更多的工作,对他们进行正常的生活和更好地融入社会起到重要作用,为了实现智能假肢的自然控制,不仅要从人体生物信息中获取控制任务,而且还需要控制过程中机械臂的位置反馈;而眼电图(EOG)是目前唯一一种产生于生物电的眼球运动记录技术,它可以作为人机交互中的输入指令为仿生机械臂提供精确定位。
人眼是一个双极性球体,角膜相对于视网膜呈正电位,视网膜相对于角膜呈负电位,当人眼自然平时前方时有一个基准电位,而当眼球作扫视运动时,角膜、视网膜间会产生电位差从而产生眼电图(electro-oculogram,EOG),EOG信号不可避免地会叠加肌电(EMG)、脑电(EEG)以及皮肤电压信号,但通过适当的带通滤波仍可得出:人眼扫视电位差与眼球转动角度存在一定数学关系;由于EOG信号容易采集,且信噪比较高,可以通过放置在眼眶周围的电极直接检测到。尽管EOG信号容易检测,但也不可避免的存在以下问题:
1.现有的EOG研究主要集中在水平方向上,由于受眼睑运动伪差和眨眼的影响,垂直方向上眼动的研究很少,虽然眼电信号特征提取与识别算法易于实现,但存在检测正确率低,在噪声环境下鲁棒性差的缺点。
2.由EOG信号的特点和被试个体差异可知在EOG角度辨识实验中很难建立一个普遍适用的眼球转动角度和扫视电位差之间的对应关系。
3.EOG信号存在个体差异,基于EOG扫视信号的二维精确定位较为困难,人眼、仿生机械臂交互式定位系统国内未见类似研究。
发明内容
本发明是为避免上述现有技术存在的问题所提出的一种新颖的基于人眼扫视信号的人机交互式二维定位方法;
本发明通过如下技术方案实现:
包括眼电信号预处理,人眼扫视定位模型建立以及人眼、仿生机械臂坐标系快速标定三个阶段:
1)眼电信号预处理阶段是对眼电信号进行带通滤波和端点检测;包括以下步骤:所述眼电信号预处理阶段的带通滤波截止频率为0.1Hz-10Hz;
对滤波后的眼电信号进行端点检测,检测扫视动作发生对应的眼电信号的起始点和终止点,端点检测步骤主要包括信号分帧和求取短时能量两部分,其中信号分帧是将连续的眼电信号转换为多段短时信号,进而对分帧后的短时信号求短时能量;
2)人眼扫视基本定位模型建立是基于多次扫视实验的统计数据经线性拟合得到的,具体实验步骤如下:
a、训练
a1、将眼电导连分别放置在双眼外眦10mm处并采用相对参考来检测水平扫视信号,上下导连距瞳孔30mm对称分布采用相对参考来检测垂直扫视信号;
a2、统计不同被试重复做已知角度扫视所对应峰值差,寻找角度与扫视信号峰值差之间的对应关系,建立基本定位模型;
所述基本定位模型中,人眼扫视信号峰值差与对应扫视角度呈线性关系(h表示水平方向,v表示垂直方向);
Uh=khθh+bh Uv=kvθv+bv
b、模型匹配
所述基本定位模型基于大量被试统计数据得出,单个被试具体实验时需根据至少三个已知角度扫视来对单次定位模型进行归一化,将定位模型统一到基本模型中:
3)人眼、仿生机械臂坐标系快速标定采用基于奇异值分解(SVD)的坐标转换算法;包括以下步骤:
采用基于奇异值分解(SVD)的坐标转换算法,先将待标定点在两个坐标系下的坐标重心化以移除坐标平移向量T以简化参数模型:
构建最小化目标函数:
得到旋转矩阵R和平移向量T后,人眼、仿生机械臂坐标系关系唯一确定。
本发明通过现场快速标定就可以建立人眼、机械手交互式二维定位系统。
附图说明
图1为本发明的总体技术路线图。
图2为本发明的眼电极接线示意图。
图3为人眼扫视信号的AR谱图。
图4为人眼扫视信号二维定位图。
图5为基本模型修正示意图。
以下通过具体实施方式,结合附图对本发明做进一步说明。
具体实施方式
参见图1的总体技术路线图可知本发明基于三部分来实现,分别是眼电信号特征提取、EOG扫视信号二维平面定位模型建立以及交互式系统构建;其中眼电信号特征提取主要是对实验测得的扫视信号进行带通滤波、端点检测等操作,以消除噪声干扰,实时检测扫视信号波形,提取扫视信号峰值,实现信号的在线处理;实时得到单次实验下不同扫视角度对应的扫视信号峰值后就可以根据实测峰值差对已建立模型进行归一化修正,实现二维精确定位;基于EOG二维定位模型可以通过一种快速标定方法标定出人眼坐标系和仿生机械手坐标系之间的位置关系,进而建立人眼、仿生机械手交互式二维定位系统。
参见图2,本发明具体实验实施中电极采用如下方式贴放;颞侧导连距双眼外眦10mm对称分布用来检测水平扫视信号,上下导连距瞳孔30mm对称分布用来检测垂直扫视信号,左耳设置导连与仪器地相连,导连电极采用相对参考,即A以B为参考,C1以C2为参考,实际检测信号为两两通道电压差值。
对实验检测到的水平和垂直两通道EOG信号进行预处理,由于EMG(肌电)信号可以被频带1-40HZ的带通滤波器滤除,且通过对EOG扫视信号做AR功率谱分析可知扫视信号能量主要集中在低频部分(<10Hz)参见图3,因此在信号预处理阶段选取带通滤波器的截止频率为1-10Hz;端点检测是检测扫视动作发生时所对应的眼电信号起始点和终止点,因为被试只做扫视和眨眼动作,因此通过对检测眼电信号合理分帧,对分帧后的短时信号求短时能量,并检测信号过零率,设置恰当门限可以以较高的正确率检测出扫视信号和眨眼信号。
通过在被试眼周围合理贴电极的方式来记录扫视动作发生时的EOG信号,由于EOG信号易受肌电、脑电以及皮肤电压信号的干扰,且当眼球转动角度较小时,EOG信号的信噪比降低,相关波形提取变得困难,识别准确率降低,目前2°的目标分布间隔在国际上是普遍接受的,因此待扫视目标在人眼瞳距中央距扫视平面位置已知的情况下以2°为间隔等角度分布;人眼生理构造决定了水平扫视范围大于垂直扫视,因此,本发明某此具体实验中目标水平分布范围为±20°,垂直分布范围为±14°。不同被试多次重复扫视各个角度目标得到的EOG峰值差数据进行统计分析,得到水平、垂直角度和扫视信号峰值差的对应关系,在MATLAB中采用最小二乘法对数据进行拟合,得到精确的数学模型,其中下标h表示水平方向定位模型,下标v表示垂直方向定位模型:
参见图4,人眼瞳距中央距扫视平面的距离D是事先标定好的,当水平、垂直角度已知时,目标点A唯一确定。
该数学模型是基于不同被试多次重复实验的统计数据得到的基本模型,具有一定的稳定性与普遍适用性;参见图5,当某个被试个体进行不同角度扫视的单次实验时,所得定位模型并非与理想模型完全相同,假设被试某次实验所得定位模型为:
Uh=21.05θh+49.59 Uv=23.18θv+57.08
引入参数矩阵A、B对该被试实际定位模型做归一化处理将其统一到基本定位模型中:
该模型与理想模型之间存在偏差,应用归一化参数对该模型做归一化处理将实际模型修正为具有较强鲁棒性的理性模型,经计算得出归一化矩阵为:
建立了基本定位模型后,通过人眼、机械手坐标系快速标定就可以将人眼坐标系下的坐标点转换到机械手坐标系下通过一定的控制程序控制机械手动作;具体标定过程如下:
根据坐标系转换关系:
适当选取一定数目的标定点,人眼坐标系下的标定点坐标可以通过被试做目标扫视检测EOG信号峰值差,在瞳距中央距扫视平面距离已知的情况下,根据定位模型反向推算出目标定位点在人眼坐标系下的水平、垂直角度,进而计算出坐标值,机械手坐标系下对应标定点的坐标值可以通过机械手测量系统触碰测量得到;本发明中选取1组实际标定数据来说明标定过程;实际标定点位置选取以及对应位置在人眼、机械手坐标系下坐标如下表所列,根据标定点在两个坐标系下的坐标值就可以按照算法流程在MATLAB中编制程序得到人眼、机械手坐标系之间的转换关系:
组1:
R1=[0.98480855962931 -0.17364200519791 -0.00074492394740
0.17364360300531 0.98479959659624 0.00420162816158
0.00000402166382 -0.00426715065610 0.99999089566311];
T1=[1.Oe+002*
8.42398747572195
1.11853097089217
0.14947836479515]
根据所得旋转矩阵和平移矩阵参数可以快速建立起了人眼、仿生机械臂之间的坐标关系,真正实现了人机二维交互式定位,实现了基于人眼扫视信号的仿生机械臂位置反馈。
人眼的运动有多种方式,其中,用于快速从一点定位到另一点的运动称为扫视运动,根据人眼生理构造,角膜和视网膜之间存在静息电位,当眼球做扫视运动时,角膜和视网膜之间会产生电位差,通过在眼睛周围贴电极的方式可以很容易检测到该电位,且该电位与眼球转动角度存在一定数学关系,本发明在研究眼球转动角度和EOG电位差之间对应关系进一步得到二维平面定位信息时采用了以下三个部分。
1)眼电信号预处理:通过实际绘制扫视信号谱图以及研究EOG噪声信号频带,确定合适的滤波器频带最大限度提高扫视信号信噪比,增加识别率;采用端点检测技术检测扫视动作发生时所对应的眼电信号起始点和终止点,实时检测扫视信号,提取信号峰值差,实现眼电扫视信号的在线检测。
2)基于EOG扫视信号的二维平面目标定位
基本定位模型是基于理想情况下不同被试多次重复实验得到的大量数据经统计分析后得到的,这在一定程度上代表了EOG扫视信号和目标分布角度的之间的一般规律。
a)水平扫视定位模型建立:要求被试进行多次重复水平扫视实验,且每次实验完成后以两次眨眼信号作为结束指示。根据水平电极记录到的数据分析水平方向目标位置与EOG峰值差均值之间的对应关系,建立数学模型如下:
Uh=khθh+bh
垂直扫视模型建立:要求被试进行多次重复垂直扫视实验,且每次实验完成后以两次眨眼信号作为结束指示。根据垂直电极记录到的数据分析垂直方向目标位置与EOG峰值差均值之间的对应关系,建立数学模型如下:
Uv=kvθv+bv
b)模型修正:由于基本定位模型的建立基于数据的统计特性,且EOG信号的产生受到较多干扰,即EOG信号本身存在不确定性,加之不同被试之间存在个体差异,相同模式下的不同实验产生的EOG峰值差有一个波动范围,因此在实际在线目标定位的单次实验中需要对实际检测数据做归一化处理;引入归一化参数矩阵,将单个被试的定位模型统一到基本模型中(h表示水平方向,v表示垂直方向):
在实际人眼二维平面扫视定位中对实测扫视信号峰值差进行正归一化处理将其仍满足基本定位模型所建立的定位关系,进而根据基本定位模型反向推算出目标位置实现二维平面精确定位的目的。
3)人眼、仿生机械臂现场快速标定方法
在完成了EOG扫视信号的二维平面定位模型构建后,本发明提出了一种人眼、仿生机械臂的现场快速标定方法,根据坐标系的转换原理可得人眼和仿生机械臂坐标转换关系如下:
其中,Q=(X′Y′Z′1)T为人眼坐标系下二维平面目标点通过扫视信号反向推算出的坐标值,P=(X Y Z 1)T为对应目标点在机械手坐标系下的坐标值;具体的:
整个关系式中有六个未知量,三个角度旋转量,三个平移量;至少需要6个方程来求解未知参数,建立人眼、机械手之间坐标转换关系,为了计算方便,可将坐标系平移向量 从坐标转换关系式中分离出去,对两个坐标系下所测得的待标定点坐标进行重心化计算,将两个坐标系的公共点的坐标均化算为以重心为原点的重心化坐标,分别记为和两个坐标系的重心的坐标分别为PR=(xR,yR,zR)和QR=(x′R,y′R,z′R),即
为了提高坐标转换精度,待标定点经过坐标重心化之后,构建最小化目标函数:
Claims (1)
1.基于人眼扫视信号的人机交互式二维定位方法,其特征在于,包括眼电信号预处理,人眼扫视定位模型建立以及人眼、仿生机械臂坐标系快速标定三个阶段:
1)眼电信号预处理阶段是对眼电信号进行带通滤波和端点检测;包括以下步骤:所述眼电信号预处理阶段的带通滤波截止频率为0.1Hz-10Hz;
对滤波后的眼电信号进行端点检测,检测扫视动作发生对应的眼电信号的起始点和终止点,端点检测步骤主要包括信号分帧和求取短时能量两部分,其中信号分帧是将连续的眼电信号转换为多段短时信号,进而对分帧后的短时信号求短时能量;
2)人眼扫视基本定位模型建立是基于多次扫视实验的统计数据经线性拟合得到的,具体实验步骤如下:
a、训练;
a1、将水平方向左、右导连分别放置在受试者双眼外眦10mm处,垂直方向上、下导连距受试者瞳孔30mm对称分布,并采用相对参考来检测受试者水平扫视和垂直扫视时对应的眼电信号;所谓相对参考就是左、右和上、下导连不以参考地为绝对参考,而是水平、垂直方向两两导连互为参考,即水平方向右侧导连以左侧导连为参考,垂直方向上方导连以下方导连为参考,实际检测信号为水平、垂直方向两通道电压差值;
a2、统计不同被试重复做已知角度扫视所对应峰值差,寻找角度与扫视信号峰值差之间的对应关系,建立基本定位模型;
所述基本定位模型中,人眼水平、垂直方向两通道中扫视信号峰值差与对应扫视角度呈以下线性关系:
水平方向:Uh=khθh+bh;式中,θh为水平扫视角度,Uh为相同角度重复扫视对应的EOG信号峰值差均值,kh为线性函数的斜率,bh为截距;
垂直方向:Uv=kvθv+bv;
式中,θv为垂直扫视角度,Uv为相同角度重复扫视对应的EOG信号峰值差均值,kv为线性函数的斜率,bh为截距;
在建立了水平、垂直方向基本定位模型后,就建立了二位目标点X(θh,θv)和水平、垂直信号峰值差均值之间直接的对应关系;b、模型匹配;
所述基本定位模型基于大量被试统计数据得出,单个被试具体实验时需根据至少三个已知角度扫视来对单次定位模型进行归一化,将定位模型统一到基本模型中:
式中, A、B分别为水平、垂直方向归一化矩阵,kh′、kv′为水平、垂直方向斜率的归一化因子,bh′、bv′为水平、垂直方向截距的归一化因子;3)人眼、仿生机械臂坐标系快速标定采用基于奇异值分解(SVD)的坐标转换算法;包括以下步骤:
所述人眼、仿生机械手坐标转换关系如下:
式中,Q=(X′Y′Z′1)T为人眼坐标系下二维平面目标点通过扫视信号反向推算出的坐标值,P=(X Y Z 1)T为对应目标点在机械手坐标系下的坐标值,R为人眼坐标系和机械手坐标系间的旋转矩阵,T为平移向量;
所述基于奇异值分解(SVD)的坐标转换算法是将两个坐标系下的公共标定点坐标重心化以移除坐标平移向量T,从而简化参数模型;
设人眼、机械手坐标系间公共标定点个数为n,其在人眼坐标系中的坐标为(xi′yi′zi′)T,在机械手坐标系中的坐标为(xi yi zi)T,公共标定点坐标
在机械手、人眼坐标系中的重心坐标为:
重心化坐标为
则
构建最小化目标函数,并对其求最小值:
得到旋转矩阵R和平移向量T后,人眼、仿生机械臂坐标系关系唯一确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010617004 CN102073377B (zh) | 2010-12-31 | 2010-12-31 | 基于人眼扫视信号的人机交互式二维定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010617004 CN102073377B (zh) | 2010-12-31 | 2010-12-31 | 基于人眼扫视信号的人机交互式二维定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102073377A CN102073377A (zh) | 2011-05-25 |
CN102073377B true CN102073377B (zh) | 2013-01-02 |
Family
ID=44031940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010617004 Expired - Fee Related CN102073377B (zh) | 2010-12-31 | 2010-12-31 | 基于人眼扫视信号的人机交互式二维定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102073377B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110123318A (zh) * | 2019-04-18 | 2019-08-16 | 华南理工大学 | 一种基于眼电信号监测眼球位置坐标的方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102350700A (zh) * | 2011-09-19 | 2012-02-15 | 华南理工大学 | 一种基于视觉的机器人控制方法 |
US8903174B2 (en) * | 2012-07-12 | 2014-12-02 | Spritz Technology, Inc. | Serial text display for optimal recognition apparatus and method |
US9857871B2 (en) | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
CN107992192A (zh) * | 2017-11-03 | 2018-05-04 | 青岛海信电器股份有限公司 | 一种缓解用眼疲劳的方法和虚拟现实显示设备 |
CN108175547A (zh) * | 2018-01-30 | 2018-06-19 | 浙江省公众信息产业有限公司 | 人工假体的控制方法、装置及计算机可读存储介质 |
CN108416322B (zh) * | 2018-03-27 | 2019-05-17 | 吉林大学 | 一种虚拟装配坐式操作中目视动作识别方法 |
CN109345542A (zh) * | 2018-09-18 | 2019-02-15 | 重庆大学 | 一种穿戴式视觉注视目标定位装置及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101598973A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 基于眼电信号的人机交互系统 |
-
2010
- 2010-12-31 CN CN 201010617004 patent/CN102073377B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101598973A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 基于眼电信号的人机交互系统 |
Non-Patent Citations (1)
Title |
---|
施宁、王行愚、邹俊忠、王蓓.基于支持向量机的二维人眼位置信息提取.《北京生物医学工程》.2006,第25卷(第6期),第602-605页. * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110123318A (zh) * | 2019-04-18 | 2019-08-16 | 华南理工大学 | 一种基于眼电信号监测眼球位置坐标的方法 |
CN110123318B (zh) * | 2019-04-18 | 2021-03-30 | 华南理工大学 | 一种基于眼电信号监测眼球位置坐标的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102073377A (zh) | 2011-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102073377B (zh) | 基于人眼扫视信号的人机交互式二维定位方法 | |
CN109243572B (zh) | 一种精准运动评估和康复训练系统 | |
CN109259739B (zh) | 一种手腕关节运动力矩的肌电估计方法 | |
CN101599127B (zh) | 眼电信号的特征提取与识别方法 | |
CN110946556B (zh) | 基于可穿戴式体感网的帕金森静息态震颤评估方法 | |
CN104107134A (zh) | 基于肌电反馈的上肢训练方法及系统 | |
CN110179643A (zh) | 一种基于环带传感器的颈部康复训练系统和训练方法 | |
Li et al. | Muscle activity onset time detection using teager-kaiser energy operator | |
CN104951808A (zh) | 一种用于机器人交互对象检测的3d视线方向估计方法 | |
CN106110507A (zh) | 一种经颅磁刺激器的导航定位装置及定位方法 | |
CN103984962A (zh) | 一种基于肌电信号的外骨骼行走模式识别方法 | |
Silva et al. | Study and evaluation of a single differential sensor design based on electro-textile electrodes for ECG biometrics applications | |
CN105473066A (zh) | 用于生成电生理学图的系统和方法 | |
CN111553307A (zh) | 一种融合生物电阻抗信息和肌电信息的手势识别系统 | |
CN107817731A (zh) | 融合肌电和脑电信息的无人平台操控系统及操控方法 | |
CN105943045A (zh) | 用于人体成分分析的高精度生物电阻抗测量系统及方法 | |
CN101779966A (zh) | 一种结合心音的超声频谱包络峰识别的方法 | |
CN107193374A (zh) | 一种主动故意手势动作的检测装置及检测方法 | |
Rantanen et al. | Capacitive measurement of facial activity intensity | |
CN103315767B (zh) | 心音信号的判别方法及心音信号的判别系统 | |
CN108523868A (zh) | 用于血压测量的自校准系统和方法 | |
CN110400618A (zh) | 一种基于人体运动结构特征的三维步态生成方法 | |
CN110751060B (zh) | 一种基于多源信号的便携式运动模式实时识别系统 | |
CN104965194B (zh) | 一种模拟双耳效应的室内多声源定位装置及方法 | |
CN114098768B (zh) | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20161231 |
|
CF01 | Termination of patent right due to non-payment of annual fee |