CN116186502B - 一种多模态视觉神经功能检测方法及其系统 - Google Patents

Abstract

本发明涉及多模态数据处理技术领域，具体公开了一种多模态视觉神经功能检测方法及其系统，通过对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，进行特征提取得到单生理特征；并根据单生理特征进行多模态耦合分析，得到脑眼功能耦合特征；根据单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型，建立待测者的个人视觉矫正数据库，输入视觉功能检测模型得到对应的视力量化程度，达到提高视觉检测准确度并便携实时检测青少年近视情况的目的。

Description

一种多模态视觉神经功能检测方法及其系统

技术领域

本发明涉及多模态数据处理技术领域，具体涉及一种多模态视觉神经功能检测方法及其系统。

背景技术

筛查与诊断是目前针对青少年视觉健康问题的重点措施之一，为了有效预防眼睛出现近视、散光等问题，只能尽可能地频繁进行视力筛查，尽早地发现眼部视力的变化。有研究表明近视与健康患者的视觉神经功能与脑活动存在差异，利用视觉系统光信号的输入研究近视发生、发展的中枢机制与神经成像可辅助诊断青少年近视程度。但目前对近视的检测与诊断主要是通过验光仪、视力表等视光学方法人工采集眼部参数，专业的诊断医疗资源需要较高的人力成本和金钱成本，且模式较为单一，主观判断的诊断结果可能会造成一些误诊、漏诊等事故。而目前仍然难以实现青少年近视状况在校普查，难以令青少年在近视后及时获得诊断与矫正，因此，目前亟需一种便携式、低成本、且客观准确的视觉检测设备与方法对近视人群进行全自动视觉诊断，以满足社区医疗机构的诊断需求。

发明内容

鉴于以上所述现有方法的局限，本发明的目的在于提供一种多模态视觉神经功能检测方法及其系统， 通过对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，进行特征提取得到单生理特征；并根据单生理特征进行多模态耦合分析，得到脑眼功能耦合特征；根据单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型，建立待测者的个人视觉矫正数据库，输入视觉功能检测模型得到对应的视力量化程度，达到提高视觉检测准确度并便携实时检测青少年近视情况的目的。

为了实现上述目的，根据本公开的一方面，提供一种多模态视觉神经功能检测方法，所述方法包括以下步骤：

S100，对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，包括视觉数据和脑部数据；

S200，对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

S300，对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

S400，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

S500，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

S600，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度。

进一步地，在S100中，所述视觉数据包括眼电信号，所述脑部数据包括同步采集的多个特定脑区对应的脑电信号和脑氧数据，其中所述特定脑区包括额叶、顶叶和枕叶。

进一步地，在S200中，对所述视觉脑部生理数据进行数据预处理包括：滤波去噪、基线矫正和伪迹去除，得到所述预处理多模态信号数据，包括眼电处理信号、脑电处理信号和脑氧处理信号。

进一步地，在S300中，所述视觉信号特征包括：眼电处理信号的眨眼次数、扫视角度和视觉诱发电位；所述脑部信号特征包括：脑电处理信号的事件相关电位、视觉诱发电位和小波包系数，以及脑氧处理信号的血红蛋白浓度和脑激活状态；其中，对所述预处理多模态信号数据进行特征提取得到单生理特征的方法包括：

S301，对所述眼电处理信号进行特征提取得到所述视觉信号特征，包括眨眼次数、扫视角度和视觉诱发电位；

S302，对所述脑电处理信号进行特征提取得到所述脑部信号特征，包括事件相关电位、视觉诱发电位和小波包系数；

S303，对所述脑氧处理信号进行特征提取得到所述脑部信号特征，包括血红蛋白浓度和脑激活状态。

进一步地，在S400中，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征的方法为：所述脑眼功能耦合特征包括神经血管耦合系数、脑功能连接特征以及视觉诱发神经传导时间，其计算方法包括：

S401，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算神经血管耦合系数，其计算方法为：选择在特定频率的所述脑电处理信号对应的脑部信号特征利用线性模型拟合得到线性脑部信号特征，所述脑电处理信号与标准血流动力学函数进行卷积得到耦合矩阵，将所述线性脑部信号特征与所述耦合矩阵中特定频率对应的数值计算比值得到神经血管耦合系数；其中，所述脑部信号特征包括事件相关电位、视觉诱发电位和小波包系数；

S402，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算脑功能连接特征，包括脑部功能相关系数和源相位耦合度，其计算方法为：

S4021，对所述脑电处理信号和脑氧处理信号对应的所有采集通道进行源分析，得到传导至所有采集通道对应的脑部源传输模型记作BSTM，其计算公式为：

；

其中，计算所有采集通道对应的脑氧处理信号的协方差构成脑部源协方差矩阵记作R，计算所有采集通道对应的系统噪声的协方差得到噪声协方差矩阵记作C，G表示为所述脑电处理信号映射到所有采集通道的增益矩阵，λ为采用L曲线法确定的正则化参数，EEG为所述脑电处理信号由所有采集通道构建的脑电信号矩阵，T表示为计算转置矩阵（所述脑部源协方差矩阵表示关于脑部源传输模型分布的先验知识，λ为正则化参数用于表征模型精度和复杂性）；

S4022，基于所述脑部源传输模型进行脑部功能连接分析，将所述脑电处理信号和脑氧处理信号分别输入所述脑部源传输模型，得到各个采集通道对应的脑电源功能信号和脑氧源功能信号；

S4023，计算所述脑电源功能信号和脑氧源功能信号的脑部功能相关系数记作BFCC，其计算公式为：

；

其中，x(t)为所述脑电源功能信号在某一通道对应的时刻为t上的采样值，t∈[t1,t2]，t1为初始计算时刻，t2为末始计算时刻；

为所述脑电源功能信号在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为所述脑氧源功能信号在同一通道对应的时刻为t上的光强度值，/>

为所述脑氧源功能信号在t∈[t1,t2]的采集时间段内y(t)的平均值；

S4024，计算所述脑电源功能信号和脑氧源功能信号的源相位耦合度记作PCV，其计算公式为：

；

其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电源功能信号在t时刻的瞬时相位值，∅y(t)为所述脑氧源功能信号在t时刻的瞬时相位值, t∈[t1,t2]；

S403，计算所述眼电处理信号和脑电处理信号对应的视觉诱发电位中P100潜伏期的时长之间的差值，得到视觉诱发神经传导时间（现有的视力检测方法一般为单一模态，通过视力学方法获得眼部视网膜参数，容易受到测量环境和运动伪影的噪声影响，诊断效率低且与视力相关性较差；在S400中，利用多种特征耦合发现更深层次生理信号与视力程度之间的联系，对所述预处理多模态信号数据进行多模态耦合分析，能够反映与视力程度相关的神经功能异常，其中脑眼功能耦合特征包括脑电-脑氧信号基于线性模型拟合的神经血管耦合系数、脑电-脑氧信号基于脑部源传输模型的脑功能连接特征，以及眼电-脑电信号基于视觉诱发电位的视觉诱发神经传导时间；计算得到脑眼功能耦合特征可作为表征视觉神经功能与脑功能耦合相关的评估标准，结合多模态信号数据的单生理特征构建输入数据库，能进一步提高S500中视觉功能检测模型的识别准确率）。

进一步地，在S500中，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型的方法为：

S501，对多个待测者分别重复步骤S100~S400获得各个待测者对应的单生理特征和脑眼功能耦合特征；

S502，将多个待测者对应的所述单生理特征和脑眼功能耦合特征集合作为输入数据集，按照一定比例划分为训练数据集、测试数据集和验证数据集；利用机器学习方法对进行所述训练数据集进行分类训练，构建初级分类模型；

S503，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；

S504，利用 BP神经网络模型、多层感知网络(MLP)、卷积神经网络(CNN)作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为视觉功能检测初级模型；

S505，利用所述测试数据集对所述视觉功能检测初级模型进一步优化训练，得到最优的视觉功能检测模型。

进一步地，在S600中，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库的具体方法为：对待测者进行多次视觉矫正训练，包括VR裸眼3D矫正训练，其中每次视觉矫正训练后进行S100~S400完成多次数据采集及数据耦合分析，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度；其中所述个人视觉矫正数据库包括多次视觉矫正训练后对应的单生理特征和脑眼功能耦合特征；所述视力量化程度，至少包括高度近视、近视和健康三种类别的视力量化程度的输出结果（现有的近视矫正训练的量化评价仅通过矫正前后近视度数的大小来评估变化，而忽略了矫正训练后视觉神经功能的变化特征；而在S600中，对每次视觉矫正训练均进行数据采集及耦合分析，构建个人视觉矫正数据库，可包括对比视觉矫正训练前后的特征变化，表征大脑视觉神经机制的改变以及结合视觉功能检测模型反应的视力量化程度的变化，可以通过多维度来对视力矫正的程度进行量化评价）。

根据本公开的另一方面，还提供一种多模态视觉神经功能检测系统，所述处理器执行所述计算机程序运行在以下系统的单元中：

视觉脑部数据采集单元，利用多模态视觉数据采集装置同步采集待测者的视觉脑部生理数据，包括视觉数据和脑部数据；

多模态数据预处理单元，用于对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

单生理特征提取单元，用于对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

脑眼功能耦合分析单元，用于根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

视觉功能检测模型建立单元，用于输入所述单生理特征和所述脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

视力量化程度评估单元，用于构建个人视觉矫正数据库，将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度。

如上所述，本发明所述的一种多模态视觉神经功能检测方法及系统，具有以下有益效果：（1）本申请利用近视所导致的神经功能异常进行视力判别，选择脑电、脑氧、眼电与神经活动密切相关的多模态生理参数，利用VR裸眼3D进行数据采集能直观反映出由于视力所导致的视觉神经功能与脑功能的改变；（2）利用单生理特征与多模态生理参数耦合提取的脑眼功能耦合特征，构建视觉功能检测模型，进一步提高识别率；（3）在一定程度上解决单一生理参数进行视力程度的量化准确度较低且特征与近视相关性较差的问题；（4）构建个人视觉矫正数据库，可包括对比视觉矫正训练前后的特征变化，表征大脑视觉神经机制的改变以及结合视觉功能检测模型反应的视力量化程度的变化。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种多模态视觉神经功能检测方法于一实施例中的流程图；

图2所示为一种多模态视觉神经功能检测系统于一实施例中的系统结构图；

图3所示为一种多模态视觉神经功能检测系统的多模态视觉数据采集装置于一实施例中的穿戴式脑部生理信号采集设备示意图；

图4所示为一种多模态视觉神经功能检测系统于另一实施例中的多模态视觉数据采集装置示意图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本发明的一种多模态视觉神经功能检测方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种多模态视觉神经功能检测方法。本公开提出一种多模态视觉神经功能检测方法，所述方法具体包括以下步骤：

S100，对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，包括视觉数据和脑部数据；

S200，对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

S300，对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

S400，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

S500，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

S600，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度。

进一步地，在S100中，所述视觉数据包括眼电信号，所述脑部数据包括同步采集的多个特定脑区对应的脑电信号和脑氧数据，其中所述特定脑区包括额叶、顶叶、枕叶中至少两种。

优选地，在本具体实施例中，所述对待测者进行裸眼视觉测试的具体过程为：待测者基于VR设备裸眼观看3D旋转图案完成事件过程，同步利用多模态视觉数据采集装置采集视觉脑部生理数据；其中VR设备与多模态视觉数据采集装置连接于相同的上位机系统进行事件标记。具体地，在裸眼视觉测试过程中保持安静无扰的测试环境，所述多模态视觉数据采集装置在初始测试过程中至少维持两分钟的静息态基线采集。

优选地，所述裸眼视觉测试采用n-block模型的实验范式，即基于n阶的块体模型（block model）进行设计。

具体地，在另一种可能的实施例中，在裸眼视觉测试结束后进行观察任务测试，测试图案为黑色交替的螺旋状长线条，由远及近以中心点顺时针旋转或由近及远逆时针旋转；每次观察任务具体为：开始时随机向远或向近移动持续十秒后，反向旋转并持续十秒，重复上述观察任务三次完成整个测试过程；其中，整个观察任务测试中利用多模态视觉数据采集装置同步进行数据采集，得到对应的视觉脑部生理数据。

进一步地，在S200中，对所述视觉脑部生理数据进行数据预处理包括：滤波去噪、基线矫正和伪迹去除，得到所述预处理多模态信号数据，包括眼电处理信号、脑电处理信号和脑氧处理信号。

优选地，在本具体实施例中，所述眼电处理信号的数据预处理具体过程包括：利用带通滤波去除眼电信号的漂移噪声和生理干扰，通过正弦函数将眼电信号的扫视角度变换为扫视幅度，最后进行基线矫正得到眼电处理信号。

优选地，在本具体实施例中，所述脑电信号的数据预处理具体过程包括：依次采用0.5~40Hz的带通滤波、按打标点分段、剔除坏导、重参考等方法进行滤波去噪和异常剔除，再利用独立成分分析法进行伪迹去除，包括去除脑电信号中的肌电、眼电、心电伪迹，最后得到所述脑电处理信号。

优选地，在本具体实施例中，利用近红外光谱探测特定脑区并采集对应的大脑皮层散射的原始光强信号得到所述脑氧数据；其中，所述脑氧数据的数据预处理具体过程包括：选择0.01~0.2Hz的带通滤波，用于去除原始光强信号中的漂移噪声和生理干扰；采用样条插值方法，用于矫正原始光强信号的基线和伪迹，得到所述脑氧处理信号。

进一步地，在S300中，所述视觉信号特征包括：眼电处理信号的眨眼次数、扫视角度和视觉诱发电位；所述脑部信号特征包括：脑电处理信号的事件相关电位、视觉诱发电位和小波包系数，以及脑氧处理信号的血红蛋白浓度和脑激活状态；其中，对所述预处理多模态信号数据进行特征提取得到单生理特征的方法包括：

S301，对所述眼电处理信号进行特征提取得到所述视觉信号特征，包括但不限于眨眼次数、扫视角度和视觉诱发电位；

S302，对所述脑电处理信号进行特征提取得到所述脑部信号特征，包括但不限于事件相关电位、视觉诱发电位和小波包系数；

S303，对所述脑氧处理信号进行特征提取得到所述脑部信号特征，包括但不限于血红蛋白浓度和脑激活状态。

具体地，在本具体实施例中，在S301中，对所述眼电处理信号进行特征提取得到视觉信号特征的具体方法包括：

S3011，通过峰值检测提取获得所述眼电处理信号的眨眼次数；

S3012，对所述眼电处理信号进行时域分析，分别在幅值高于与低于预设的眨眼阈值时标记为眨眼特征点“E”，并在0.2S后进行阈值检测；若不存在眨眼特征点则记为一次眨眼；将所述眨眼特征点对应的眼电处理信号的大小记作视觉诱发电位；

S3013，通过ICA与峰值检测方法针对垂直角度与水平角度进行划分所述眼电处理信号的扫视角度。

优选地，在S3011和S3013中，检测所述眨眼次数与所述扫视角度的时间窗口长度为10秒。

具体地，在S302中，对所述脑电处理信号进行特征提取得到脑部信号特征的具体方法包括：

S3021，记录对待测者进行裸眼视觉测试和多次视觉矫正训练的事件开始标志，并提取所述脑电处理信号在各个事件开始标志对应的时域特征，记作事件相关电位特征；

S3022，提取所述脑电处理信号在各个事件开始标志时刻对应的频域特征，记录所述脑电处理信号在频域上δ(0.5 ~ 4Hz)、θ(4～8Hz)、α(8～13Hz)、β(13～30Hz)、γ（>30Hz）五种频率波段的幅值大小记作视觉诱发电位，并计算各个事件开始标志对应的频域特征，包括但不限于小波包系数、P100潜伏期与振幅、P300潜伏期与振幅。

具体地，在本具体实施例中，在S303中，对所述脑氧处理信号进行特征提取得到脑部信号特征的具体方法包括：

S3031，计算所述脑氧处理信号中与皮层血红蛋白的相对浓度变化有关的光强度的浓度变化，记作血红蛋白浓度，其中血红蛋白浓度的计算公式为：

；

其中，OD为与皮层血红蛋白的相对浓度变化有关的光强度大小，I0为所述近红外光源的发光强度，I为所述脑氧处理信号，即为探测皮层散射的预处理后的原始光强信号大小，α为衰减系数，[X]为血红蛋白的相对浓度，包括氧合血红蛋白和脱氧血红蛋白；L为近红外光源与探测器之间的源探距离，DPF为差分路径长度因子，用于校正待测者的血红蛋白浓度变化大小由于个体年龄差异带来的计算误差，G_J为与散射相关的几何因子；其中，DPF的计算公式为：

；

其中， Age为待测者的个体年龄值。

S3032，基于GLM模型计算所述脑氧处理信号的脑激活状态，将所述裸眼视觉测试的实验范式对应的设计函数与标准的血流动力学函数（HRF）进行卷积得到设计矩阵；将判断脑部是否激活的判断参数记作回归系数，将所述设计矩阵与回归系数作乘积计算得到所述脑氧处理信号在某一个通道对应的脑激活状态。

进一步地，在S400中，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征的方法为：所述脑眼功能耦合特征包括神经血管耦合系数、脑功能连接特征以及视觉诱发神经传导时间，其计算方法包括：

S401，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算神经血管耦合系数，其计算方法为：选择在特定频率的所述脑电处理信号对应的脑部信号特征利用线性模型拟合得到线性脑部信号特征，所述脑电处理信号与标准血流动力学函数进行卷积得到耦合矩阵，将所述线性脑部信号特征与所述耦合矩阵中特定频率对应的数值计算比值得到神经血管耦合系数；其中，所述脑部信号特征包括但不限于事件相关电位、视觉诱发电位和小波包系数；优选地，所述线性模型为一般线性模型；

S402，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算脑功能连接特征，包括脑部功能相关系数和源相位耦合度，其计算方法为：

S4021，对所述脑电处理信号和脑氧处理信号对应的所有采集通道进行源分析，得到传导至所有采集通道对应的脑部源传输模型记作BSTM，其计算公式为：

；

其中，计算所有采集通道对应的脑氧处理信号的协方差构成脑部源协方差矩阵记作R，计算所有采集通道对应的系统噪声的协方差得到噪声协方差矩阵记作C，G表示为所述脑电处理信号映射到所有采集通道的增益矩阵，λ为采用L曲线法确定的正则化参数，EEG为所述脑电处理信号由所有采集通道构建的脑电信号矩阵，T表示为计算转置矩阵；

S4022，基于所述脑部源传输模型进行脑部功能连接分析，将所述脑电处理信号和脑氧处理信号分别输入所述脑部源传输模型，得到各个采集通道对应的脑电源功能信号和脑氧源功能信号；

S4023，计算所述脑电源功能信号和脑氧源功能信号的脑部功能相关系数记作BFCC，其计算公式为：

；

其中，x(t)为所述脑电源功能信号在某一通道对应的时刻为t上的采样值，t∈[t1,t2]，t1为初始计算时刻，t2为末始计算时刻；

为所述脑电源功能信号在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为所述脑氧源功能信号在同一通道对应的时刻为t上的光强度值，/>

为所述脑氧源功能信号在t∈[t1,t2]的采集时间段内y(t)的平均值；

S4024，计算所述脑电源功能信号和脑氧源功能信号的源相位耦合度记作PCV，其计算公式为：

；

其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电源功能信号在t时刻的瞬时相位值，∅y(t)为所述脑氧源功能信号在t时刻的瞬时相位值, t∈[t1,t2]；

S403，计算所述眼电处理信号和脑电处理信号对应的视觉诱发电位中P100潜伏期的时长之间的差值，得到视觉诱发神经传导时间。

进一步地，在S500中，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型的方法为：

S501，对多个待测者分别重复步骤S100~S400获得各个待测者对应的单生理特征和脑眼功能耦合特征；

S502，将多个待测者对应的所述单生理特征和脑眼功能耦合特征集合作为输入数据集，按照一定比例划分为训练数据集、测试数据集和验证数据集；利用机器学习方法对进行所述训练数据集进行分类训练，构建初级分类模型；

S503，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；

S504，利用 BP神经网络模型、多层感知网络(MLP)、卷积神经网络(CNN)作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为视觉功能检测初级模型；

S505，利用所述测试数据集对所述视觉功能检测初级模型进一步优化训练，得到最优的视觉功能检测模型。

具体地，所述多个待测者至少同时包括高度近视、近视和健康三种不同的视力程度；其中，高度近视为近视度数在-6.00D以上的屈光不正状态、近视为近视度数≤-6.00D以上的屈光不正状态、健康为未检测到有屈光不正等眼部疾病的客观验光结果。

进一步地，在S600中，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库的具体方法为：对待测者进行多次视觉矫正训练，包括VR裸眼3D矫正训练，其中每次视觉矫正训练后进行S100~S400完成多次数据采集及数据耦合分析，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度；其中所述个人视觉矫正数据库包括多次视觉矫正训练后对应的单生理特征和脑眼功能耦合特征；所述视力量化程度，至少包括高度近视、近视和健康三种类别的视力量化程度的输出结果。

如图2所示为本公开的一种多模态视觉神经功能检测系统结构图，所述处理器执行所述计算机程序运行在以下系统的单元中：

视觉脑部数据采集单元，利用多模态视觉数据采集装置同步采集待测者的视觉脑部生理数据，包括视觉数据和脑部数据；

多模态数据预处理单元，用于对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

单生理特征提取单元，用于对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

脑眼功能耦合分析单元，用于根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

视觉功能检测模型建立单元，用于输入所述单生理特征和所述脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

视力量化程度评估单元，用于构建个人视觉矫正数据库，将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度。

优选地，在本具体实施例中，所述视觉脑部数据采集单元，利用多模态视觉数据采集装置同步采集待测者的视觉脑部生理数据；其中，所述多模态视觉数据采集装置至少包括脑电采集设备、脑氧采集设备和眼电采集设备。具体地，所述脑电采集设备、脑氧采集设备和眼电采集设备的探测端集成于一种穿戴式脑部生理信号采集设备如图3所示，具有便携性和非侵入式的优点；其中，所述多模态视觉数据采集装置的使用场景能够满足包括但不限于社区医疗机构、医院门诊、学校、福利院等青少年群体的视力体检筛查。

优选地，在本具体实施例中，所述多模态视觉数据采集装置通过局域网连接上位机建立数据传输，由上位机进行无线同步控制和数据存储，所述视觉脑部数据采集单元将所述视觉脑部生理数据传输至所述多模态数据预处理单元进行数据预处理，得到预处理多模态信号数据。

优选地，在另一种可能的实施例中，所述脑电采集设备的脑电采集电极头与所述脑氧采集设备中用于采集脑氧数据的近红外探头分别交叉安放，如图4所示，集成在一个头戴式的EEG-fNIRS联合采集帽上，以覆盖待测者的大脑全头皮区域。具体的，所述EEG-fNIRS联合采集帽的采集区域集中在大脑左右半球的特定脑区，包括额叶、顶叶、枕叶等脑区。其中所述脑电采集电极头包括分为湿式电极头和干式电极头，优选使用湿式电极头。

具体地，在本具体实施例中，所述脑电采集设备使用脑电图10-20系统，选择符合10-20电极放置法的32导联脑电帽进行数据采集，设置采样率为1000Hz。所述脑氧采集设备采用24采集通道，采用3厘米的源-探测器距离，设定采样率为10Hz，使用近红外光谱的连续波照射模式，利用近红外探头仅测量通过头部的光衰减，采集受试者头部的散射光强度，然后通过校正的朗伯-比尔定律计算出氧合血红蛋白和脱氧血红蛋白的浓度变化，得到脑氧数据；其中，采集脑氧数据时将近红外探头对待测者头部的特定脑区进行散射光强探测。

优选地，在另一种可能的实施例中，所述眼电采集设备采用三通道分别采集双眼上下两侧和左右眼单侧的眼电数据。

优选地，在另一种可能的实施例中，利用多模态视觉数据采集装置同步采集待测者的视觉脑部生理数据，为了得到更精准的特征数据，在测量过程中开始前首先采集2分钟静息态的视觉脑部生理数据， 在视力矫正训练中佩戴好VR实验设备并进行一段预实验使待测者熟悉实验流程，并在实验中环境须保持安静状态，要求待测者头部尽量保持不动。并收集被试者的年龄、性别、眼部既往病史等信息，实验开始后进行两分钟静息态基线采集。

具体地，在本具体实施例中，所述多模态数据预处理单元中，对所述脑氧数据进行数据预处理的步骤包括：使用小波滤波去除运动伪影，使用0.01~0.2Hz的带通滤波去除生理噪声。

具体地，在本具体实施例中，所述多模态数据预处理单元，对所述脑电信号进行数据预处理的步骤包括：对所述脑电信号中的坏导数据进行插值处理，删除异常波动的时间段信号；然后对脑电信号进行0.5-40Hz带通滤波，基线校正和重参考；最后使用独立成分分析方法滤除眼电、心电以及其他伪迹成分，获得真实的脑电处理信号。

具体地，在本具体实施例中，采用6通道的眼电采集设备，采集频率为1000Hz，眼电采集设备分布在上下眼睑和左右眼角的位置。所述多模态数据预处理单元中，对所述眼电信号进行数据预处理的步骤包括：对所述眼电信号中的坏导数据进行插值处理，删除异常波动的时间段信号；然后对眼电信号进行0.5-30Hz带通滤波，然后进行独立成分分析方法滤除呼吸、心电信号等伪迹成分，最后进行基线校正得到眼电处理信号。

具体地，在本具体实施例中，所述单生理特征提取单元，对视觉脑部生理数据预处理后的预处理多模态信号数据进行特征提取得到单生理特征；所述脑眼功能耦合分析单元中，根据单生理特征对预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；利用多种特征组合得到更深层次生理信号与视力程度之间的联系。其中脑电信号与眼电信号记录了大脑皮层与眼电活动产生的电信号，具有较高的灵敏性，能够快速反应皮层活动状态，近视程度与脑电信号的α、β、γ波段的活动有较强关联，并且与脑电、眼电信号的事件相关电位的潜伏期、幅值等参数相关；而脑氧数据反映了大脑皮层的血氧浓度变化，在大脑进行认知活动与主动意图时，脑部的氧气消耗量增加，脑氧浓度变化也会进一步体现出待测者与视觉功能相关的大脑活动状态。

具体地，在本具体实施例中，所述脑眼功能耦合分析单元，所述脑眼功能耦合特征包括神经血管耦合系数、脑功能连接特征以及视觉诱发神经传导时间；其中，脑电信号与脑氧数据之间存在相关关系，对脑电信号与脑氧数据进行神经耦合分析得到神经血管耦合系数，能够更好的表征待测者的大脑活动状态；计算脑电信号与眼电信号产生的事件相关电位得到脑功能连接特征属于同一神经环路，针对相关实验的视觉刺激可以的实现相关神经环路传导时间的量化计算得到视觉诱发神经传导时间，能间接反应视觉神经功能与视力程度之间的联系。

优选地，在一些实施例中，所述视觉功能检测模型建立单元，输入单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型。在模型建立时可根据识别准确率与运算时间自行选择输入的特征数量，达到最优的特征数量的同时保证模型的识别效率，视觉功能检测模型会根据输入数据集大小的变化而改变，当数据集变大时特征的识别贡献度也会相应的变化，最终利用测试样本集对视觉功能检测模型进行评估。其中，集成学习方法结合多种机器学习算法模型，使用决策矩阵选择最优特征分类路径，同时再嵌入一个反向学习神经网络模型，进一步提升视觉功能检测模型的识别正确率。

优选地，在一些实施例中，所述视力量化程度评估单元，对待测者进行多次视觉矫正训练，构建个人视觉矫正数据库；一般在视觉矫正训练前后两个时间点进行数据采集，视觉矫正训练的实验范式为基于VR的3D视觉实验，其中患有近视的待测者可根据医师的训练处方以及自身眼部视觉功能的变化动态调整数据采集时间。具体地，待测者利用VR眼镜用于视觉矫正训练，包括但不限于3D裸眼图案、视频训练，可个性化根据医师的判断选择训练时长与训练周期，在实际场景中，VR眼镜可家用，并在定点学校、社区医疗机构采集多生理参数时佩戴使用，即VR眼镜中自带实验所需的视频资料，也可以用于日常视觉矫正训练。其中，VR眼镜属于耳挂式设计，在实验中不会影响脑电等数据的采集。

优选地，在另一种可能的实施例中，在近视患者首次通过多模态视觉数据采集装置采集视觉脑部生理数据并根据视觉功能检测模型获得对应的视力量化程度时，根据专业医师所制定的训练处方进行定期视力矫正训练，并在训练后定期进行数据采集，构建近视患者对应的个人数据库并对比在不同矫正训练阶段对应的单生理特征和脑眼功能耦合特征，进一步随着不同矫正训练阶段变化提取由于近视所改变的大脑神经活动异常的生物学标志物，用于表征近视患者的视力发展过程，实现对视力矫正训练的量化评价，并将上述生物学标志物作为输入进行迭代更新，进一步提高所述视觉功能检测模型的识别准确率。

所述一种多模态视觉神经功能检测系统可以运行于桌上型计算机、笔记本、掌上电脑及云端数据中心等计算设备中。所述一种多模态视觉神经功能检测系统包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种多模态视觉神经功能检测方法及系统的示例，并不构成对一种多模态视觉神经功能检测方法及系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种多模态视觉神经功能检测系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-ProgrammHCO3-le Gate Array，FPGA) 或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种多模态视觉神经功能检测系统的控制中心，利用各种接口和线路连接整个一种多模态视觉神经功能检测系统的各个分区域。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种多模态视觉神经功能检测方法及系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (6)

1.一种多模态视觉神经功能检测方法，其特征在于，所述方法包括以下步骤：

S100，对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，包括视觉数据和脑部数据；

S200，对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

S300，对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

S400，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

S500，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

S600，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度；

其中，在S200中，对所述视觉脑部生理数据进行数据预处理包括：滤波去噪、基线矫正和伪迹去除，得到所述预处理多模态信号数据，包括眼电处理信号、脑电处理信号和脑氧处理信号；

其中，在S400中，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征的方法为：所述脑眼功能耦合特征包括神经血管耦合系数、脑功能连接特征以及视觉诱发神经传导时间，其计算方法包括：

S401，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算神经血管耦合系数，其计算方法为：选择在特定频率的所述脑电处理信号对应的脑部信号特征利用线性模型拟合得到线性脑部信号特征，所述脑电处理信号与标准血流动力学函数进行卷积得到耦合矩阵，将所述线性脑部信号特征与所述耦合矩阵中特定频率对应的数值计算比值得到神经血管耦合系数；其中，所述脑部信号特征包括事件相关电位、视觉诱发电位和小波包系数；

S402，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算脑功能连接特征，包括脑部功能相关系数和源相位耦合度；

S403，计算所述眼电处理信号和脑电处理信号对应的视觉诱发电位中P100潜伏期的时长之间的差值，得到视觉诱发神经传导时间；

在S402中，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算脑功能连接特征的方法为：

S4021，对所述脑电处理信号和脑氧处理信号对应的所有采集通道进行源分析，得到传导至所有采集通道对应的脑部源传输模型记作BSTM，其计算公式为：

；

其中，计算所有采集通道对应的脑氧处理信号的协方差构成脑部源协方差矩阵记作R，计算所有采集通道对应的系统噪声的协方差得到噪声协方差矩阵记作C，G表示为所述脑电处理信号映射到所有采集通道的增益矩阵，λ为采用L曲线法确定的正则化参数，EEG为所述脑电处理信号由所有采集通道构建的脑电信号矩阵，T表示为计算转置矩阵；

S4022，基于所述脑部源传输模型进行脑部功能连接分析，将所述脑电处理信号和脑氧处理信号分别输入所述脑部源传输模型，得到各个采集通道对应的脑电源功能信号和脑氧源功能信号；

S4023，计算所述脑电源功能信号和脑氧源功能信号的脑部功能相关系数记作BFCC，其计算公式为：

；

其中，x(t)为所述脑电源功能信号在某一通道对应的时刻为t上的采样值，t∈[t1,t2]，t1为初始计算时刻，t2为末始计算时刻；

为所述脑电源功能信号在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为所述脑氧源功能信号在同一通道对应的时刻为t上的光强度值，/>

为所述脑氧源功能信号在t∈[t1,t2]的采集时间段内y(t)的平均值；

S4024，计算所述脑电源功能信号和脑氧源功能信号的源相位耦合度记作PCV，其计算公式为：

；

其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电源功能信号在t时刻的瞬时相位值，∅y(t)为所述脑氧源功能信号在t时刻的瞬时相位值, t∈[t1,t2]。

2.根据权利要求1所述的一种多模态视觉神经功能检测方法，其特征在于，在S100中，所述视觉数据包括眼电信号，所述脑部数据包括同步采集的多个特定脑区对应的脑电信号和脑氧数据，其中所述特定脑区包括额叶、顶叶和枕叶。

3.根据权利要求2所述的一种多模态视觉神经功能检测方法，其特征在于，在S300中，所述视觉信号特征包括：眼电处理信号的眨眼次数、扫视角度和视觉诱发电位；所述脑部信号特征包括：脑电处理信号的事件相关电位、视觉诱发电位和小波包系数，以及脑氧处理信号的血红蛋白浓度和脑激活状态；其中，对所述预处理多模态信号数据进行特征提取得到单生理特征的方法包括：

S301，对所述眼电处理信号进行特征提取得到所述视觉信号特征，包括眨眼次数、扫视角度和视觉诱发电位；

S302，对所述脑电处理信号进行特征提取得到所述脑部信号特征，包括事件相关电位、视觉诱发电位和小波包系数；

S303，对所述脑氧处理信号进行特征提取得到所述脑部信号特征，包括血红蛋白浓度和脑激活状态。

4.根据权利要求3所述的一种多模态视觉神经功能检测方法，其特征在于，在S500中，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型的方法为：

S501，对多个待测者分别重复步骤S100~S400获得各个待测者对应的单生理特征和脑眼功能耦合特征；

S502，将多个待测者对应的所述单生理特征和脑眼功能耦合特征集合作为输入数据集，按照一定比例划分为训练数据集、测试数据集和验证数据集；利用机器学习方法对进行所述训练数据集进行分类训练，构建初级分类模型；

S503，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；

S504，利用 BP神经网络模型、多层感知网络、卷积神经网络作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为视觉功能检测初级模型；

S505，利用所述测试数据集对所述视觉功能检测初级模型进一步优化训练，得到最优的视觉功能检测模型。

5.根据权利要求1所述的一种多模态视觉神经功能检测方法，其特征在于，在S600中，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库的具体方法为：对待测者进行多次视觉矫正训练，包括VR裸眼3D矫正训练，其中每次视觉矫正训练后进行S100~S400完成多次数据采集及数据耦合分析，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度；其中所述个人视觉矫正数据库包括多次视觉矫正训练后对应的单生理特征和脑眼功能耦合特征；所述视力量化程度，至少包括高度近视、近视和健康三种类别的视力量化程度的输出结果。

6.一种多模态视觉神经功能检测系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现权利要求1至5中的任意一种所述多模态视觉神经功能检测方法中的步骤，具体包括：

视觉脑部数据采集单元，利用多模态视觉数据采集装置同步采集待测者的视觉脑部生理数据，包括视觉数据和脑部数据；

多模态数据预处理单元，用于对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

单生理特征提取单元，用于对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

脑眼功能耦合分析单元，用于根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

视觉功能检测模型建立单元，用于输入所述单生理特征和所述脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

视力量化程度评估单元，用于构建个人视觉矫正数据库，将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度；

所述一种多模态视觉神经功能检测系统运行于桌上型计算机、笔记本、掌上电脑中。

Images