CN116468718A - 一种特征图像识别系统 - Google Patents

Abstract

本发明公开了一种特征图像识别系统，包括了特征量化单元、数据降维单元、预测模型建立单元、模型集成单元、最终模型单元、模型预测单元等多个具体实现设备，能够建立基于眼底视网膜血管结构特征的选定特征预测模型，精准识别眼底彩照图像中选定特征，将医务工作者根据经验识别的具体特征通过仪器设备具体量化比对筛选，有效的提高整体工作效率。可用于基层机构，辅助医务工作者进行具体特征信息的筛选和分析。

Description

一种特征图像识别系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种特征图像识别系统。

背景技术

眼底照相是眼科常用的检查手段之一，所检查的是整个视网膜的形态学改变，其原理就是用一种特制的照相机记录眼底镜下所看到的景象。眼底照相能够观察到视网膜、视盘、黄斑区、视网膜血管的形态，以及视网膜上有无出血、渗出、血管瘤、视网膜变性区、视网膜裂孔、新生血管、萎缩斑、色素紊乱等改变。通过眼底检查医生可以观察眼底的视盘、视网膜动静脉、黄斑部和视网膜等。

对于眼底彩色照片图像的应用，谷歌研究团队的一项题为“通过深度学习视网膜眼底照片预测心血管危险因素”的研究首次证实了可以通过眼底彩照有效预测心血管疾病的危险因素，包括年龄，性别，吸烟史，BMI，收缩压，舒张压和糖化血红蛋白等，并发现视网膜血管区域是预测模型主要识别的部位，提示视网膜血管改变在心血管疾病中的预测作用。该研究同时预测了5年心脑血管重大事件的发生，但模型的AUC仅为70％。由于在该数据集中大多数为健康人群，有重大心脏事件的仅有631例(1.3％)，这也是造成该模型准确率较低的原因之一。此外，还有研究构建了利用眼底彩照预测由冠状动脉电子计算机断层扫描(冠脉CT)和心脏磁共振成像获得的指标。Son等人使用20130例的眼底彩照智能评估冠状动脉钙化评分(CACS)，预测模型的AUC达到82.3％-83.2％。值得注意的是，该模型预测的指标并非实际的CACS数值，而是根据CACS分为高CACS组和低CACS组。Diaz-Pinto等人构建了利用眼底彩照预测左心室舒张末容积(LVEDV)和左心室质量指数(LVM)的模型，进一步构建利用人口学信息和LVEDV/LVM(由眼底彩照预测)预测心肌梗塞发生的模型，发现联合人口学信息和LVEDV/LVM(由眼底彩照预测)预测心肌梗塞的模型准确度(74％)明显高于单纯利用人口学信息模型的准确度(66％)。

眼底彩照图像作为相关疾病诊断中间过程，拍摄眼底彩照图像以及分析眼底彩照图像具体特征的过程，并不涉及具体的疾病诊断过程，而是为医生分析病症病情，制定治疗干预方案提供一种可行的依据，能够使得医生的判断更具有科学性。因而，如何有效的获取眼底彩照图像的特征并对其进行精细化分析甄别，是当前急需解决的一个重要问题。

发明内容

本发明提供一种特征图像识别系统，能够实现对眼底彩照图像的精准分析和特征识别。

根据本发明的一个方面，提供了一种特征图像识别系统，包括：

特征量化单元，用于获取眼底彩照图像，通过编码器-解码器方法建立与视网膜血管结构形态特征参数的映射关系，进行特征量化；

数据降维单元，用于通过对所述量化特征数据自身结构和分布的分析，进行数据降维，获取差异性最大的特征空间；

预测模型建立单元，用于根据所述特征空间，利用若干个随机投影矩阵分别进行空间降维，得到对应的低维子空间；对每个低维子空间，分别采用机器学习方法建立低维特征参数预测模型；

模型集成单元，用于对所述低维特征参数预测模型采用多数投票方法进行集成，得到对应于低维子空间的集成模型；

最终模型单元，用于对所述集成模型采用模型堆叠方法行最终集成，得到最终预测模型；

模型预测单元，用于根据所述最终预测模型对获取的眼底彩照图像进行选定特征的识别。

所述系统还包括：

图像采集单元，用于采集不同用户的眼底彩照图像，生成眼底彩照图像。

所述系统还包括：

无效维度去除单元，用于通过多因子相关性分析方法识别人口特征与所述量化后的影像量化特征之间的相关性、因子各维度间的相关性，结合各因子间的相关性分析，去除自相关性较强或相关性较小的维度指标。

所述数据降维单元，还用于：

通过经验最优传输估计方法得到样本量为n的特征组与样本量为m的非特征组数据之间的映射关系，并计算出两组数据之间的映射矩阵W；矩阵W中的第(i,j)个元素表示特征组中第i个数据映射到非特征组第j个数据的权重,记为w_ij；

根据映射矩阵W计算特征组数据的位移向量：特征组第i个数据x_i记非特征组数据为{z_1,z_2,…,z_m},则x_i对应的位移向量为(z_1*w_i1+z_2*w_i2+…+z_n2*w_im–x_i),记为y_i；

通过构建位移向量y_i与数据x_i之间的非参数回归模型y_i＝f(x_i)+e_i；其中e_i为模型误差；

通过估计回归函数f，对传输映射进行平滑，得到Wasserstein距离。

所述预测模型建立单元，具体用于：

在所述特征空间上，利用若干个随机投影P_1,…,P_k矩阵分别进行空间降维，得到k个不同的低维子空间B_1,…,B_k；

对应每个低维子空间，分别采用支持向量回归、随机森林、k近邻回归机器学习方法，建立低维特征参数与选取特征的预测模型。

所述模型集成单元，具体用于：

对降维得到的第j个低维子空间B_j上构建的机器学习预测模型，采用多数投票方法对预测模型的结果进行集成，得到对应于低维子空间B_j的集成模型g_j。

所述最终模型单元，具体用于：

对k个低维子空间集成模型{g_1,…,g_k}，采用模型堆叠方法，对k个模型进行最终集成，得到最终预测模型。

所述系统还包括数据分组单元，用于将选定特征与对应的眼底彩照图像按照特征组和非特征组进行分组；

根据所述特征组和非特征组分别对所述最终预测模型进行训练，优化所述最终预测模型。

所述数据分组单元，还用于将选定特征与对应的眼底彩照图像分为训练集和验证集，分别用以训练所述最终预测模型和验证所述最终预测模型。

所述模型预测单元，具体用于：

获取图像采集设备采集的用户的眼底彩照图像，输入所述最终模型单元的最终预测模型，与预先设定的选定特征比对识别，得到所述眼底彩照图像对应用户与选定特征的对应关系。

采用本发明的技术方案，提出了一种特征图像识别系统，包括了特征量化单元、数据降维单元、预测模型建立单元、模型集成单元、最终模型单元、模型预测单元等多个具体实现设备，能够建立基于眼底视网膜血管结构特征的选定特征预测模型，精准识别眼底彩照图像中选定特征，将医务工作者根据经验识别的具体特征通过仪器设备具体量化比对筛选，有效的提高整体工作效率。可用于基层机构，辅助医务工作者进行具体特征信息的筛选和分析。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中特征图像识别系统结构示意图。

图2为本发明一个实施例中Encoder-Decoder的运行原理图。

图3为本发明一个实施例中最终模型的获取结构示意图。

图4为本发明一个实施例中整体系统运行结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

由于眼部结构的独特性和视网膜的透明性，视网膜是全身唯一可以在直视下无损伤地观察血管结构的部位。既往研究表明眼底彩照图像能够较好的反映很多具体身体特征，证实眼底是许多身体指标的有效观察窗口。本发明的部分实施例中，最大突破在于将眼底彩色照片图像直接与冠脉造影相结合，可以更加直接和准确的反映冠状动脉实际状态和心血管具体状态，作为特征的一个反映指标，帮助医务工作者更加精准的获取具体体征。

现有的人工智能预测模型的“黑匣子”效应往往使模型可理解性差，决策风险高，本发明的部分实施例，基于人类视觉仿生机理，利用计算机视觉等人工智能技术对眼底彩照图像特征进行量化分析处理，获取血管直径、弯曲度、分形维度和夹角等信息，通过构造特征组与非特征组数据之间的高维结构映射，进行高维特征差异性分析，提取构成特征组与非特征组差异性的关键特征，一定程度上解决了传统人工智能预测模型特征提取的不可解释问题，具有较高的科学性。

传统的机器学习预测模型往往容易过拟合，导致模型鲁棒性低，无法很好地进行泛化。本发明的部分实施例中，通过在提取的关键差异性特征空间中应用模型集成，对于多个基础预测模型结果进行不同维度上的融合，构建基于眼底结构特征量化的选定特征评估模型，一定程度上解决了以往模型的稳定性差，无法泛化的问题。

为了实现上述本发明的具体方案，本发明技术方案提供一种特征图像识别系统，如图1所示，该特征图像识别系统包括：

特征量化单元11，用于获取眼底彩色照片图像，通过编码器-解码器方法建立与视网膜血管结构形态特征参数的映射关系，进行特征量化；

数据降维单元12，用于通过对所述量化特征数据自身结构和分布的分析，进行数据降维，获取差异性最大的特征空间；

预测模型建立单元13，用于根据所述特征空间，利用若干个随机投影矩阵分别进行空间降维，得到对应的低维子空间；对每个低维子空间，分别采用机器学习方法建立低维特征参数预测模型；

模型集成单元14，用于对所述低维特征参数预测模型采用多数投票方法进行集成，得到对应于低维子空间的集成模型；

最终模型单元15，用于对所述集成模型采用模型堆叠方法行最终集成，得到最终预测模型；

模型预测单元16，用于根据所述最终预测模型对获取的眼底彩色照片图像进行选定特征的识别。

本发明的一个实施例中，能够构建基于眼底视网膜血管形态特征的冠状动脉状态的评估模型。与现有方法相比，本研究利用人工智能视计算技术首先对眼底照片视网膜血管结构进行数字化解析，获取相关形态特征参数，然后建立相关形态特征参数与冠状动脉状态的统计预测模型，能够增加模型的可理解性和科学性。本发明实施例采用冠状动脉造影作为模型训练的结局指标，结合SYNTAX和Gesini评分，对冠状动脉状态的评估更加直观准确。

本发明的一个实施例中，首先进行影像特征量化。通过Encoder-Decoder等深度学习方法，建立眼底彩色照片图像与视网膜血管结构形态特征参数的映射关系。Encoder-Decoder通常称作编码器-解码器，是深度学习中常见的模型框架，Encoder-Decoder模型的结构包括一个编码器和一个解码器，编码器(Encoder)会先对输入的序列进行处理，然后将处理后的向量发送给解码器(Decoder)，转化成想要的输出。Encoder-Decoder的运行原理参见图2，为现有技术内容，此处不再赘述。

通常，在进行眼底彩色照片图像的处理之前，首先需要通过系统获取相关的眼底彩照图像。具体的，可以根据既往已经拍摄得到的大量的眼底彩照图像。并根据眼底彩照图像与实际选取的具体特征之间的对应关系，建立一个具体的训练特征库。可以根据具体的对应关系，对特征库进行分类，例如，可以分为特定的组别来区分不同类型的特征；也可以分为训练集、验证集或者正向集、反向集等多种方式。

通常的眼底彩照是通过专用的眼底彩色相机设备获取，也可以通过其它专用设备来获取。例如，可以采用广角眼底彩色照相机、眼底检查仪、光学相干断层扫描等多种设备都可以获取的眼底彩照图像。本发明实施例中，并不限定具体的获取方式，只要眼底彩照图像中能够包含必要的特征即可。例如，需要包含必要的视网膜动脉血管造影信息，以方便后续选定视网膜动脉血管造影特征作为选定特征。

所述系统还包括：

图像采集单元17，用于采集不同用户的眼底彩照图像，生成眼底彩照图像。

所述系统还包括：

无效维度去除单元18，用于通过多因子相关性分析方法识别人口特征与所述量化后的影像量化特征之间的相关性、因子各维度间的相关性，结合各因子间的相关性分析，去除自相关性较强或相关性较小的维度指标。

具体的，本发明的一个实施例中，通过多因子相关性分析等方法识别人口特征与影像量化特征之间的相关性，以及因子各维度与SYNTAX评分、Gesini评分的相关性，结合各因子间的相关性分析，去除自相关性较强的维度指标；结合各维度数据与SYNTAX评分、Gesini评分的相关性分析结果，去除相关性较小的维度指标，即去除无效维度。

所述系统还包括数据分组单元19，用于将选定特征与对应的眼底彩照图像按照特征组和非特征组进行分组；

根据所述特征组和非特征组分别对所述最终预测模型进行训练，优化所述最终预测模型。

这里的特征组为包含选定特征的组别，非特征组为不包含选定特征的组别。

所述数据分组单元19，还用于将选定特征与对应的眼底彩照图像分为训练集和验证集，分别用以训练所述最终预测模型和验证所述最终预测模型。

这里的训练集和验证集的比例可以根据模型训练的需要来调整，例如，可以是9：1。

所述数据降维单元12，还用于：

通过经验最优传输估计方法得到样本量为n的特征组与样本量为m的非特征组数据之间的映射关系，并计算出两组数据之间的映射矩阵W；矩阵W中的第(i,j)个元素表示特征组中第i个数据映射到非特征组第j个数据的权重,记为w_ij；

根据映射矩阵W计算特征组数据的位移向量：特征组第i个数据x_i记非特征组数据为{z_1,z_2,…,z_m},则x_i对应的位移向量为(z_1*w_i1+z_2*w_i2+…+z_n2*w_im–x_i),记为y_i；

通过构建位移向量y_i与数据x_i之间的非参数回归模型y_i＝f(x_i)+e_i；其中e_i为模型误差；

通过估计回归函数f，对传输映射进行平滑，得到Wasserstein距离。

所述预测模型建立单元13，具体用于：

在所述特征空间上，利用若干个随机投影P_1,…,P_k矩阵分别进行空间降维，得到k个不同的低维子空间B_1,…,B_k；

对应每个低维子空间，分别采用支持向量回归、随机森林、k近邻回归机器学习方法，建立低维特征参数与选取特征的预测模型。

所述模型集成单元14，具体用于：

对降维得到的第j个低维子空间B_j上构建的机器学习预测模型，采用多数投票方法对预测模型的结果进行集成，得到对应于低维子空间B_j的集成模型g_j。

所述最终模型单元15，具体用于：

对k个低维子空间集成模型{g_1,…,g_k}，采用模型堆叠方法，对k个模型进行最终集成，得到最终预测模型。

本发明的一个实施例中，通过对数据自身结构和分布的分析，利用数据降维，找出特征值与非特征值对应用户数据差别最大的特征空间。我们希望找出的特征子空间能满足如下性质：a)特征值与非特征值的数据在找出的特征子空间上“差别”最大；b)特征值与非特征值的数据在找出的特征子空间的补空间上差别很小。为了量化不同组别数据间的差异，我们采用最优传输Wasserstein距离。

通过经验最优传输估计方法得到特征组(样本量记为n)与非特征组(样本量记为m)数据之间的映射关系，并计算出两组数据之间的映射矩阵W,矩阵W中的第(i,j)个元素表示特征组中第i个数据映射到非特征组第j个数据的权重,记为w_ij。根据映射矩阵W计算特征组数据的位移向量。以特征组第i个数据x_i为例，记非特征组数据为{z_1,z_2,…,z_m},则x_i对应的位移向量为(z_1*w_i1+z_2*w_i2+…+z_n2*w_im–x_i),记为y_i。接下来，我们引入“平滑样条”来缓解经验最优传输估计的过拟合问题。具体地，通过构建位移向量y_i与数据x_i之间的非参数回归模型y_i＝f(x_i)+e_i，其中e_i为模型误差。通过估计回归函数f，我们可以对传输映射进行平滑，从而得到更加准确的Wasserstein距离。

通过上述估计方法得到特征组与非特征组最优传输映射位移向量做主成分分析(PCA)来找出不同组别数据差异较大的空间维度，维度保留个数由主成分的累计解释程度来确定，选取使得累计解释程度达到80％的主成分个数作为保留维度。这些维度张成的子空间则为我们需要的特征子空间。

本发明实施例中，采用集成学习技术，对多个基础预测模型进行结果的集成，以提高最终预测模型的准确性和鲁棒性。

在提取出的特征子空间上，利用多个随机投影(记为P_1,…,P_k)矩阵分别进行空间降维，得到k个不同的低维子空间，记为B_1,…,B_k。对应每个低维子空间，分别采用支持向量回归、随机森林、k近邻回归等机器学习方法，建立低维特征参数与冠状动脉病变严重程度的预测模型。

对于在上述降维得到的第j个低维子空间B_j上构建的多个机器学习预测模型，采用“多数投票(majority vote)”方法对多个机器学习预测模型的结果进行集成，得到对应于低维子空间B_j的集成模型g_j。

对于上述得到的k个低维子空间集成模型{g_1,…,g_k}，采用“模型堆叠(modelstacking)”方法，对k个模型进行最终集成，得到最终预测模型。具体最终模型的获取结构参见图3，为多个模型堆叠得到的最终模型。

具体的，所述模型预测单元16，具体用于：

获取图像采集设备采集的用户的眼底彩照图像，输入所述最终模型单元15的最终预测模型，与预先设定的选定特征比对识别，得到所述眼底彩照图像对应用户与选定特征的对应关系。

本发明一个实施例中，整个系统运行过程包括了数据收集部分、眼底彩照量化分析部分、建立预测模型部分和模型效果评估部分。如图4所示，其中，数据收集部分包括了人口学信息统计、冠脉造影评分、眼底彩色照片处理、随访等多个数据收集和处理的过程。量化分析包括了图像预处理、语义分割网络、血管分割最佳网络模型、血管形态特征数字化等部分。预测模型包括了数据准备、数据分组、数据训练、模型验证等过程。效果评估包括了平俊绝对误差分析、中位绝对误差分析、准确性、精确性、召回率、F1值等验证过程。实际上，本实施例是以血管造影与心血管特征之间的对应作为预测模型来训练的。

综上所述，本发明的技术方案，提出了一种特征图像识别系统，包括了特征量化单元、数据降维单元、预测模型建立单元、模型集成单元、最终模型单元、模型预测单元等多个具体实现设备，能够建立基于眼底视网膜血管结构特征的选定特征预测模型，精准识别眼底彩照图像中选定特征，将医务工作者根据经验识别的具体特征通过仪器设备具体量化比对筛选，有效的提高整体工作效率。可用于基层机构，辅助医务工作者进行具体特征信息的筛选和分析。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种特征图像识别系统，其特征在于，所述系统，包括：

特征量化单元，用于获取眼底彩照图像，通过编码器-解码器方法建立与视网膜血管结构形态特征参数的映射关系，进行特征量化；

数据降维单元，用于通过对所述量化特征数据自身结构和分布的分析，进行数据降维，获取差异性最大的特征空间；

预测模型建立单元，用于根据所述特征空间，利用若干个随机投影矩阵分别进行空间降维，得到对应的低维子空间；对每个低维子空间，分别采用机器学习方法建立低维特征参数预测模型；

模型集成单元，用于对所述低维特征参数预测模型采用多数投票方法进行集成，得到对应于低维子空间的集成模型；

最终模型单元，用于对所述集成模型采用模型堆叠方法行最终集成，得到最终预测模型；

模型预测单元，用于根据所述最终预测模型对获取的眼底彩照图像进行选定特征的识别。

2.根据权利要求1所述的一种特征图像识别系统，其特征在于，所述系统还包括：

图像采集单元，用于采集不同用户的眼底彩照图像，生成眼底彩照图像。

3.根据权利要求1所述的一种特征图像识别系统，其特征在于，所述系统还包括：

无效维度去除单元，用于通过多因子相关性分析方法识别人口特征与所述量化后的影像量化特征之间的相关性、因子各维度间的相关性，结合各因子间的相关性分析，去除自相关性较强或相关性较小的维度指标。

4.根据权利要求1所述的一种特征图像识别系统，其特征在于，所述数据降维单元，还用于：

通过经验最优传输估计方法得到样本量为n的特征组与样本量为m的非特征组数据之间的映射关系，并计算出两组数据之间的映射矩阵W；矩阵W中的第(i,j)个元素表示特征组中第i个数据映射到非特征组第j个数据的权重,记为w_ij；

根据映射矩阵W计算特征组数据的位移向量：特征组第i个数据x_i记非特征组数据为{z_1,z_2,…,z_m},则x_i对应的位移向量为(z_1*w_i1+z_2*w_i2+…+z_n2*w_im–x_i),记为y_i；

通过构建位移向量y_i与数据x_i之间的非参数回归模型y_i＝f(x_i)+e_i；其中e_i为模型误差；

通过估计回归函数f，对传输映射进行平滑，得到Wasserstein距离。

5.根据权利要求1所述的一种特征图像识别系统，其特征在于，所述预测模型建立单元，具体用于：

在所述特征空间上，利用若干个随机投影P_1,…,P_k矩阵分别进行空间降维，得到k个不同的低维子空间B_1,…,B_k；

对应每个低维子空间，分别采用支持向量回归、随机森林、k近邻回归机器学习方法，建立低维特征参数与选取特征的预测模型。

6.根据权利要求5所述的一种特征图像识别系统，其特征在于，所述模型集成单元，具体用于：

对降维得到的第j个低维子空间B_j上构建的机器学习预测模型，采用多数投票方法对预测模型的结果进行集成，得到对应于低维子空间B_j的集成模型g_j。

7.根据权利要求6所述的一种特征图像识别系统，其特征在于，所述最终模型单元，具体用于：

对k个低维子空间集成模型{g_1,…,g_k}，采用模型堆叠方法，对k个模型进行最终集成，得到最终预测模型。

8.根据权利要求1所述的一种特征图像识别系统，其特征在于，所述系统还包括数据分组单元，用于将选定特征与对应的眼底彩照图像按照特征组和非特征组进行分组；

根据所述特征组和非特征组分别对所述最终预测模型进行训练，优化所述最终预测模型。

9.根据权利要求8所述的一种特征图像识别系统，其特征在于，所述数据分组单元，还用于将选定特征与对应的眼底彩照图像分为训练集和验证集，分别用以训练所述最终预测模型和验证所述最终预测模型。

10.根据权利要求1所述的一种特征图像识别系统，其特征在于，所述模型预测单元，具体用于：

获取图像采集设备采集的用户的眼底彩照图像，输入所述最终模型单元的最终预测模型，与预先设定的选定特征比对识别，得到所述眼底彩照图像对应用户与选定特征的对应关系。