CN111714080B - 一种基于眼动信息的疾病分类系统 - Google Patents

Abstract

本发明涉及疾病诊断系统技术领域，公开了一种基于眼动信息的疾病分类系统，包括眼动特征提取系统、弱分类系统与强分类系统；眼动特征提取系统用于从受测者进行眼动试验的眼动视频中提取眼动特征向量；每完成所需眼动试验，则总共提取m项眼动特征向量；弱分类系统包括与所述m项眼动特征向量一一对应的预先训练完成的LSTM弱分类器，LSTM弱分类器用于计算单项眼动特征向量属于各类疾病的属性值；强分类系统用于对所述m项眼动特征向量进行联合分类，并计算各类疾病的联合分类概率。本发明解决现有技术对疾病诊断需要依赖透彻的先验医学知识的技术问题，针对多种疾病进行分类，功能不再单一，诊断更灵活，对人体无创，无伤害，实用性强，成本低。

Description

一种基于眼动信息的疾病分类系统

技术领域

本发明涉及疾病诊断系统技术领域，具体涉及一种基于眼动信息的疾病分类系统。

背景技术

医学研究表明，眼球运动涉及视神经、动眼神经、滑车神经等6对脑神经，眼动异常与多种心理活动、精神障碍和身体疾病相关。

从国内外研究来看，基于视频采集的眼动图像已经开展了相关研究，并取得了一定进展，但对人眼运动蕴含的丰富的生理和心里信息的挖掘还远远不够，目前主要存在的局限性包括：

(1)主要研究停留在直观的视线追踪性能提升及人机交互应用；

(2)由于在机理上不明确，难于将眼动特征与疾病判别进行直接关联，造成产品功能较为单一，用传统的统计方法也难以对多疾病进行区分，且主要针对前庭疾病、眩晕症等；

(3)自动分析功能较弱，多数应用只将直观信息呈现给用户，由研究者或医生做出判断，主观性较强，实用性较差；

(4)设备价格昂贵，推广难度大。

发明内容

针对上述现有技术的不足，本发明提供一种基于眼动信息的疾病分类系统，解决现有技术对疾病诊断需要依赖透彻的先验医学知识的技术问题。

为了解决上述技术问题，本发明采用了如下的技术方案：一种基于眼动信息的疾病分类系统，其特征在于：包括眼动特征提取系统、弱分类系统与强分类系统；

眼动特征提取系统用于从受测者进行眼动试验的眼动视频中提取眼动特征向量；每种眼动试验均提取对应的一组眼动特征向量；每组眼动特征向量中的每一项特征向量，均由从相应眼动实验的眼动视频中的各图像帧中提取的同种类型的眼动特征依次构成；完成所需眼动试验，则总共提取m项眼动特征向量；

弱分类系统包括与所述m项眼动特征向量一一对应的预先训练完成的LSTM弱分类器，LSTM弱分类器用于计算单项眼动特征向量属于各类疾病的属性值；属性值即以单项眼动特征向量作为输入的LSTM弱分类器的输出值；

强分类系统用于对所述m项眼动特征向量进行联合分类，并根据如下公式计算各类疾病的联合分类概率：

式中，P^j表示第j类疾病的联合分类概率，P_i ^j表示第i项眼动特征向量属于第j类疾病的属性值，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，i∈{1,2,...,m}，j∈{1,2,...,k}，k表示需要分类的疾病种类数。

进一步的，通过Sigmoid函数将LSTM弱分类器的分类能力值进行规范化，得到分类能力规范值：

式中，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，

表示第i个LSTM弱分类器对第j类疾病的分类能力值；

LSTM弱分类器的分类能力按如下公式定量评价：

式中，N_j表示同属于第j类疾病的训练样本个数，

表示第i个LSTM弱分类器将第l个训练样本分类为第j类疾病的风险值，l∈{1,2,...,N_j}；

的计算公式如下：

式中，

表示第i个LSTM弱分类器将第l个训练样本正确分类为第j类疾病的属性值，

表示第i个LSTM弱分类器将第l个训练样本错误分类为第j类疾病以外的疾病的属性值中的最大值，

表示第i个LSTM弱分类器将第l个训练样本分类为第r类疾病的属性值中的最大值，

表示第i个LSTM弱分类器将第l个训练样本分类为第r类疾病的属性值中的最小值。

进一步的，眼动试验包括凝视试验、扫描试验、平稳跟踪试验、视动性试验、位置性试验或变位性试验；通过进行单种眼动试验或两种及以上眼动试验来获取相应的眼动视频。

进一步的，眼动特征的类型包括瞳孔横坐标位置、瞳孔纵坐标位置、瞳孔面积、瞳孔最小外接矩形面积、最小外接矩形长宽比、瞳孔最小外接矩形方位角、瞳孔对称性，形状规则性。

与现有技术相比，本发明具有以下有益效果：

1、本发明无需依赖透彻的医学原理，也无需先验知识：眼动特征与疾病种类的对应关系。只需要事先采取需要分类的疾病样本对分类系统进行训练，所需要进行的眼动试验与所需要提取的眼动特征也不需要严格限制，分类系统在训练过程中就能适应选定的眼动试验与眼动特征组合，去获得相应的分类能力。本领域技术人员可以采用不同的眼动试验与眼动特征的组合来训练本发明所提供的基于眼动信息的疾病分类系统，并从中优选出能使分类系统获得较好分类能力的眼动试验与眼动特征的组合。

2、本发明同时针对多种疾病进行分类，功能不再单一，诊断更灵活，功能更为强大。

3、本发明基于从眼动视频中提取的眼动特征进行分类识别，对人体无创、无伤害，实用性强，成本低，并且不依赖研究员或医生的主观判断，以客观的眼动特征为依据，能够得到更加客观的诊断结果。

附图说明

图1是LSTM弱分类器的网络结构示意图；

图2是进行眼动试验采集眼动视频的示意图；

图3是诱导视靶运动轨迹示意图；

图4是弱分类系统与强分类系统对3类训练样本的分类效果图。

具体实施方式

下面结合附图和优选实施方式对本发明作进一步的详细说明。

一种基于眼动信息的疾病分类系统，包括眼动特征提取系统、弱分类系统与强分类系统。

眼动特征提取系统用于从受测者进行眼动试验的眼动视频中提取眼动特征向量；每种眼动试验均提取对应的一组眼动特征向量；每组眼动特征向量中的每一项特征向量，均由从相应眼动实验的眼动视频中的各图像帧中提取的同种类型的眼动特征依次构成；完成所需眼动试验，则总共提取m项眼动特征向量。

弱分类系统包括与所述m项眼动特征向量一一对应的预先训练完成的LSTM弱分类器，LSTM弱分类器用于计算单项眼动特征向量属于各类疾病的属性值；属性值即以单项眼动特征向量作为输入的LSTM弱分类器的输出值。

参考图1所示，LSTM即长短期记忆网络(Long Short-Term Memory)，是一种时间循环神经网络，其独特的结构使得它适合分类、处理和预测重要事件之间有较长时延的时间序列。而眼动视频中的病理信息，也可能贯穿在采集时间序列中的若干节点中，因此，采用LSTM构建分类器可以有效处理眼动视频中的信息。

强分类系统用于对所述m项眼动特征向量进行联合分类，并根据如下公式计算各类疾病的联合分类概率：

式中，P^j表示第j类疾病的联合分类概率，P_i ^j表示第i项眼动特征向量属于第j类疾病的属性值，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，i∈{1,2,...,m}，j∈{1,2,...,k}，k表示需要分类的疾病种类数。

本发明的基于眼动信息的疾病分类系统在正式投入使用前，需要采用训练样本进行训练，在训练中对LSTM弱分类器的分类能力进行定量评价，获得LSTM弱分类器的分类能力值。

训练实例如下：

对3类共98名参与者(脑损伤患者34人，眩晕症患者30人，健康自愿者34人)进行了如下两种实验：

受测者按图2所示佩戴红外眼动仪装置，正对屏幕，跟踪屏幕上的光点，以采集眼动试验中的眼动视频。

a)视动性试验(Optokinetic Test)

黑色背景的屏幕上，红色光点沿着屏幕中心从左到右，做匀速运动，当到达屏幕右边沿后，又从屏幕左边开始重复进行上述运动，如图3中path1绿色轨迹所示。

b)平稳跟踪试验(Ocular pursuit Test)

黑色背景的屏幕上，红色光点沿着正弦轨迹从左到右，做匀速运动，到达屏幕右边沿后，又从屏幕左边开始重复进行上述运动，如图3中path2黄色轨迹所示。

对于采集到的眼动视频，眼动特征提取系统采用常规图像处理方法提取瞳孔区域，计算出每一帧图像中瞳孔面积、瞳孔横坐标位置与瞳孔纵坐标位置。当然，还可以提取别的眼动特征，比如：瞳孔最小外接矩形面积、最小外接矩形长宽比、瞳孔最小外接矩形方位角、瞳孔对称性(左右面积比、上下面积比)，形状规则性(轮廓线的长度)。

将每位受测者在每一项试验中的瞳孔的面积、横坐标、纵坐标三种特征分别进行规范化处理(normalization)，即

其中，k表示眼动视频中的第k帧图像；M为每人每项实验采集的视频总帧数，本实施例中取250帧；f_k为规范化前的从第k帧图中提取的眼动特征(瞳孔面积、瞳孔横坐标位置、瞳孔纵坐标位置值)；g_k表示规范化后的从第k帧图中提取的眼动特征，为规范化后的瞳孔面积、瞳孔横坐标位置、瞳孔纵坐标位置值。该实施例中，每位被试进行了2项眼动实验，而每项实验又得到瞳孔的面积、横坐标、纵坐标3类眼动特征，因此一位被试会产生2*3＝6项眼动特征向量。因此规范化处理后的眼动特征值会得到6项250维的眼动特征向量。

将这6项特征向量分别输入6个LSTM弱分类器，LSTM(Long Short-Term Memory)即长短时记忆网络，是一种时间循环升降网络。本具体实施方式中LSTM弱分类器采用TensorFlow使用python编程实现。

在输入时，将每项特征向量中的250个值按时间顺序切为10片，输入即为10个250/10＝25维向量。将6个LSTM神经网络的输出分别通过全连接网络，经softmax函数输出，组成6个LSTM弱分类器，得到分类结果。对于每个LSTM弱分类器，结果向量中的值分别对应脑损伤、患眩晕症以及健康的属性值(单项眼动特征向量输入LSTM神经网络后，再通过全连接网络，经过softmax函数的输出值即为属性值，softmax函数用于使输出结果符合概率分布的要求)，共3个类别的输出。

然后，定量评价6个LSTM弱分类器的分类能力：

LSTM弱分类器的分类能力按如下公式定量评价：

式中，

表示第i个LSTM弱分类器对第j类疾病的分类能力值，N_j表示同属于第j类疾病的训练样本个数，

表示第i个LSTM弱分类器将第l个训练样本分类为第j类疾病的风险值，l∈{1,2,...,N_j}；

的计算公式如下：

式中，P_i ^j,l表示第i个LSTM弱分类器将第l个训练样本正确分类为第j类疾病的属性值，

表示第i个LSTM弱分类器将第l个训练样本错误分类为第j类疾病以外的疾病的属性值中的最大值，

表示第i个LSTM弱分类器将第l个训练样本分类为第r类疾病的属性值中的最大值，

表示第i个LSTM弱分类器将第l个训练样本分类为第r类疾病的属性值中的最小值。

再通过Sigmoid函数将LSTM弱分类器的分类能力值进行规范化，得到分类能力规范值：

式中，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，W_i ^j介于0～1之间；

表示第i个LSTM弱分类器对第j类疾病的分类能力值。

6个LSTM弱分类器组合成强分类系统。对任意测试样本，强分类系统计算该样本属于第j类疾病的联合分类概率：

式中，P^j表示第j类疾病的联合分类概率，P_i ^j表示第i项眼动特征向量属于第j类疾病的属性值，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，i∈{1,2,...,m}，j∈{1,2,...,k}，k表示需要分类的疾病种类数。

对于该输入样本，取最大联合分类概率对应的疾病种类作为受测者的疾病种类，即该强分类系统认为该输入对应的被受测者具有这一类疾病/健康。6种弱分类器和强分类系统对3类样本的分类准确率如图4所示，对于这3类样本，强分类系统的准确率分别达到了100％、92％，90％，对总共34个样本分类正确32个，总正确率为94.12％，证明了该方法的有效性。

Claims (8)

1.一种基于眼动信息的疾病分类系统，其特征在于：包括眼动特征提取系统、弱分类系统与强分类系统；

眼动特征提取系统用于从受测者进行眼动试验的眼动视频中提取眼动特征向量；每种眼动试验均提取对应的一组眼动特征向量；每组眼动特征向量中的每一项特征向量，均由从相应眼动实验的眼动视频中的各图像帧中提取的同种类型的眼动特征依次构成；完成所需眼动试验，则总共提取m项眼动特征向量；

弱分类系统包括与所述m项眼动特征向量一一对应的预先训练完成的LSTM弱分类器，LSTM弱分类器用于计算单项眼动特征向量属于各类疾病的属性值；属性值即以单项眼动特征向量作为输入的LSTM弱分类器的输出值；

强分类系统用于对所述m项眼动特征向量进行联合分类，并根据如下公式计算各类疾病的联合分类概率：

式中，P^j表示第j类疾病的联合分类概率，P_i ^j表示第i项眼动特征向量属于第j类疾病的属性值，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，i∈{1，2，...，m}，j∈{1，2，...，k}，k表示需要分类的疾病种类数；

通过Sigmoid函数将LSTM弱分类器的分类能力值进行规范化，得到分类能力规范值：

式中，W_i ^j表示第i个LSTM弱分类器对第j类疾病的分类能力规范值，

表示第i个LSTM弱分类器对第j类疾病的分类能力值；

LSTM弱分类器的分类能力按如下公式定量评价：

式中，N_j表示同属于第j类疾病的训练样本个数，

表示第i个LSTM弱分类器将第l个训练样本分类为第j类疾病的风险值，l∈{1，2，...，N_j}；

的计算公式如下：

式中，P_i ^j，l表示第i个LSTM弱分类器将第l个训练样本正确分类为第j类疾病的属性值，

表示第i个LSTM弱分类器将第l个训练样本错误分类为第j类疾病以外的疾病的属性值中的最大值，

表示第i个LSTM弱分类器将第l个训练样本分类为第r类疾病的属性值中的最大值，

表示第i个LSTM弱分类器将第l个训练样本分类为第r类疾病的属性值中的最小值。

2.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：强分类系统以最大联合分类概率对应的疾病种类作为受测者的疾病种类。

3.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：还包括用于采集眼动视频的眼动视频采集系统。

4.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：眼动试验包括凝视试验、扫描试验、平稳跟踪试验、视动性试验、位置性试验或变位性试验；通过进行单种眼动试验或两种及以上眼动试验来获取相应的眼动视频。

5.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：眼动特征的类型包括瞳孔横坐标位置、瞳孔纵坐标位置、瞳孔面积、瞳孔最小外接矩形面积、最小外接矩形长宽比、瞳孔最小外接矩形方位角、瞳孔对称性，形状规则性。

6.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：眼动特征提取系统将眼动特征向量归一化，并按时间顺序切片降维后输入给弱分类系统。

7.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：疾病种类包括未患病。

8.根据权利要求1所述的基于眼动信息的疾病分类系统，其特征在于：用于脑损伤、眩晕症与健康三类疾病的分类，从视动性试验与平稳跟踪试验的眼动视频中分别提取眼动特征向量；每种眼动试验均提取三项眼动特征向量，眼动特征的类型为瞳孔面积、瞳孔横坐标位置与瞳孔纵坐标位置。

Images