CN117237341A - 基于高光谱图像的人体外周血样本检测方法及系统 - Google Patents

Abstract

本发明涉及图像分析技术领域，具体为基于高光谱图像的人体外周血样本检测方法及系统，包括以下步骤：获取人体外周血样本的高光谱图像并预处理；预处理后的高光谱图像从光谱维度中提取光谱特征，从空间维度中提取目标的空间特征；空间特征经变换和迭代后与光谱特征关联，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果。从人体外周血样本的高光谱图像中，提取到人眼无法观测到的光谱特征形成特征映射图，再根据特征映射图提取表征细胞空间位置以及细胞形态的空间特征，两部分特征联合使用，能够弥补单一特征的缺陷从而应对空间信息多样性和光谱信息相似性的问题。

Description

基于高光谱图像的人体外周血样本检测方法及系统

技术领域

本发明涉及图像分析技术领域，具体为基于高光谱图像的人体外周血样本检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

光谱分辨率在10^-2λ数量级范围内的光谱图像称为高光谱图像，这类图像中除了包含被拍摄目标的信息以外还包含有光谱信息，利用这一特性能够从图像中分析一些肉眼无法观察到的信息。

以人体外周血样本的高光谱图像为例，分析这类图像时，通常会以图像中的细胞等物质作为目标，而同类目标的空间信息存在多样性，且相邻目标之间光谱信息具有相似性，会导致计算机不易提取出图像中的特征信息，从而难以满足检测需求。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供基于高光谱图像的人体外周血样本检测方法及系统，通过获取体外周血样本的高光谱图像，经预处理后，分析出图像中具有的人眼无法观测到的光谱特征和空间特征，两部分特征联合使用并以索引作为检测结果，弥补单一特征导致的性能不佳。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供基于高光谱图像的人体外周血样本检测方法，包括以下步骤：

获取人体外周血样本的高光谱图像并预处理；

预处理后的高光谱图像利用训练完毕的残差网络，从光谱维度中提取光谱特征形成特征映射图，得到的特征映射图利用训练完毕的胶囊网络，从空间维度中提取目标的空间特征；

空间特征经变换和迭代后，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果；

其中，索引对应的检测结果通过在训练残差网络和胶囊网络期间，根据预先设定的分类规则确定的人体外周血样本类型进行设置。

进一步的，预处理包括去噪、校准和归一化。

进一步的，预处理后的高光谱图像从光谱维度中提取光谱特征，具体为：基于残差网络获取不同细胞在光源照射下对不同波段所吸收光强的差异情况，形成光谱特征。

进一步的，残差网络具有多个残差块，残差块通过卷积核与预处理后的高光谱图像进行卷积处理，得到的高光谱子图经批量规范化层调整数据维度，经激活函数去除小于零的值，得到残差块主干的输出结果。

进一步的，残差块支干的输出结果和主干的输出结果根据对应的权重值和对应的偏移参数进行累加，得到最终的输出结果形成光谱特征。

进一步的，从空间维度中提取目标的空间特征，具体为：基于与残差网络级联的胶囊网络，获取图像中细胞的空间位置以及细胞形态形成空间特征。

进一步的，获取的空间特征经线性变换得到空间特征向量，对空间特征向量中的每个元素赋予权重后求和，得到对应的权重系数，经迭代后与光谱特征关联，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果。

本发明的第二个方面提供实现上述方法所需的系统，包括：

图像采集模块，被配置为：获取人体外周血样本的高光谱图像并预处理；

特征提取模块，被配置为：预处理后的高光谱图像从光谱维度中提取光谱特征形成特征映射图，基于得到的特征映射图从空间维度中提取目标的空间特征；

检测输出模块，被配置为：空间特征经变换和迭代后，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果；

其中，索引对应的检测结果通过在训练期间，根据预先设定的分类规则，设定索引所对应的人体外周血样本类型进行设置。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于高光谱图像的人体外周血样本检测方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于高光谱图像的人体外周血样本检测方法中的步骤。

与现有技术相比，以上一个或多个技术方案存在以下有益效果：

1、从人体外周血样本的高光谱图像中，提取到肉眼无法观测到的光谱特征形成特征映射图，再根据特征映射图提取表征细胞空间位置以及细胞形态的空间特征，两部分特征联合使用，能够弥补单一特征的缺陷从而应对空间信息多样性和光谱信息相似性的问题。

2、以索引作为检测结果，索引与光谱特征和空间特征相对应，而索引在前期对模型进行训练时，将索引与设定的体外周血样本的异常类型预先对应起来，通过查找索引对应的异常类型确定对应的检测结果，能够加快图像分析结果的速度。

3、光谱特征和空间特征通过级联的残差网络和胶囊网络获取，弥补残差网络不擅于学习空间特征、胶囊网络不擅于学习光谱特征的不足，结合了两者的优点，不仅可以获取多层次的特征，还能够有效地避免深层网络在训练过程中出现参数梯度消失的情况，并且不会引入额外的网络参数，因此不会增加模型的计算时间负担。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明一个或多个实施例提供的图像检测系统的结构示意图；

图2是本发明一个或多个实施例提供的图像检测过程中残差模块的示意图；

图3是本发明一个或多个实施例提供的图像检测过程中胶囊网络的工作过程示意图；

图4是本发明一个或多个实施例提供的图像检测过程中动态路由算法的示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

正如背景技术中所描述的，分析体外周血样本的高光谱图像时，同类目标的空间信息存在多样性，且相邻目标之间光谱信息具有相似性，会导致计算机不易提取出图像中的空间特征和光谱特征，从而难以满足检测需求。

血液样本中存在多种物质，可以通过不同检测方式确定各物质组分的含量，再根据各物质的组分含量确定异常样本。

例如，在肾移植术后，需要进行肾病复发的检测，临床上会根据患者的症状、体征等信息，结合血液中监测的血清生化指标如血肌酐等物质来判断肾功能，通过免疫荧光和免疫组化技术检测免疫复合物、蛋白沉积情况，或是考虑肾活检以及各类影像学方式辅助检测。

其中，针对血液的检测仍然以传统的各类生化方式进行检测，耗时较长并且依赖结构复杂的检测设备和检测试剂，一些现有技术虽然可以利用图像分析的方式来确定血液中物质的成分，但受限于图像分析算法的局限性，训练后的图像分析网络性能不理想，难以满足实际的检测需求。

实施例一：

如图1-图4所示，基于高光谱图像的人体外周血样本检测方法，包括以下步骤：

获取人体外周血样本的高光谱图像并预处理；

预处理后的高光谱图像利用训练完毕的残差网络，从光谱维度中提取光谱特征形成特征映射图，得到的特征映射图利用训练完毕的胶囊网络，从空间维度中提取目标的空间特征；

空间特征经变换和迭代后，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果；

其中，索引对应的检测结果通过在训练残差网络和胶囊网络期间，根据预先设定的分类规则确定的人体外周血样本类型进行设置。

以肾移植术后肾病复发检测期间所需的体外周血检验为例，通过获取体外周血样本的高光谱图像，分析出图像中有关肾移植术后肾病复发的相关物质的信息，能够根据血液中物质的组分差异检测出对应的图像。训练期间，通过预先设定的分类规则，将图像对应的样本类型（例如某种并发症类型，以标签的方式标记）与组分差异的检测结果（例如预测向量，以索引的方式标记）相关联起来。在训练完毕后，根据血液中物质的组分差异检测出对应的图像与前期设定的类别对应，从而得到某个人体外周血样本对应的类型信息（例如对应某种肾移植术后的并发症类型）。

步骤一、制作受体外周血样本。征求患者意见，对同意采集的肾移植术后患者采集对应的受体外周血，将采集的受体外周血样本根据术后恢复情况进行分类标记，并妥善保存。

步骤二、采集肾移植术后不同时间患者的受体外周血的高光谱图像。如图1所示，高光谱成像模块的硬件平台包括光源、分光模组、高光谱相机和装有图像处理单元的计算机；利用成像系统进行图像信息采集的时候可同时获得受体外周血中细胞的空间位置信息和光谱信息，不用分开采集，缩短时间。

本实施例中利用光谱仪完成图像信息采集，存储于计算机，上述的图像信息指的是肾移植术后不同时间段患者的受体外周血的图像；且采集的受体外周血图像既可以同时利用受体外周血的透射和反射两种图像，或者也可以仅利用透射图像。

需要指出的是，本实施例中可以利用图像采集卡的二次开发功能，实时控制采集的图像信息并存储于计算机，便于实时观察不同组织的光谱信息、对组织类别进行划分和对高光谱图像进行后续的处理分析。

本实施例中利用高光谱仪进行光谱信息采集，其采集范围可以为200-2500nm。

步骤三、通过数据处理单元，对所采集到的受体外周血高光谱图像进行图像预处理和特征提取。数据处理单元可以是计算机，包括预处理过程和特征提取过程，预处理过程负责通对采集到的高光谱图像进行去噪和校准，以减少高光谱图像中的热噪声和暗电流噪声，预处理后的图像经过特征提取过程获得需要的特征向量。

去噪主要采用小波变换的方法，去除高光谱图像中的热噪声和暗电流噪声；再使用预实验时通过高光谱采集装置采集的校准文件进行图片的校准操作；最后对高光谱图像进行归一化，假设A为原始的高光谱图像，是X中位于（x，y，z）的像素点，为归一化后的像素值，max（A）和min（A）分别表示原始高光谱图像中所有像素点X中的最大值和最小值，则归一化公式为：/>，将归一化后的高光谱图像输入到学习网络中进行学习，得到检测结果。

步骤四、对预处理后的高光谱图像进行训练，其特征提取过程采用级联网络，级联网络包括残差网络和胶囊网络。

由于体外周受血的高光谱图像数据集中，同类目标的空间信息存在多样性，且相邻目标之间光谱信息具有相似性，会导致网络模型的性能受限。针对上述问题，采用了残差网络和胶囊网络相级联的方式，上述级联网络通过结合残差网络和胶囊网络，学习深层次光谱特征和空间上下文方向特征。

在所提出的网络中，首先采用一个残差网络，从高光谱图像的光谱维中，学习目标的深层次光谱特征，之后设计了一个胶囊网络，从高光谱图像的空间维中，学习目标的空间上下文方向特征。从而弥补了残差网络不擅于学习空间特征、胶囊网络不擅于学习光谱特征的不足，结合了两者的优点。这种网络结构设计不仅可以获取多层次的特征，还能够有效地避免深层网络在训练过程中出现参数梯度消失的情况。此外，这种连接方式并不会引入额外的网络参数，因此不会增加模型的计算时间负担。

其中，残差网络中包含大量的残差块，其中一个残差块中有两个3-D卷积层，残差块的示意图如图2所示；一个残差块输出的计算公式如下：，，由于原始图像包含的信息量过多，直接进行特征提取会导致计算量过于庞大，于是采用残差块对原始图像进行区域化处理。

以第一个残差块为例，第一个卷积层通过卷积核与原始的高光谱进行卷积处理，得到高光谱子图A，再将第一个卷积层的输出结果，即高光谱子图A输入到第一个批量规范化层用于调整数据维度，使得A的维度与最终结果y的维度相等。再将第一个批量规范化层的输出结果输入到Leaky ReLU层（激活函数）中，去除小于零的值。

将上述过程重复一遍得到残差块主干的输出结果，其支干采用一个1×1卷积层进行处理，将其输出结果和主干的输出结果代入对应的权重值W₁和对应的偏移参数B₁进行累加，得到最终的输出结果；其中/>表示Leaky ReLU激活函数。

这些残差块按照从低到高层次的顺序排列，并且每个残差块都按照从前到后的顺序进行连接。血液图像中，不同细胞在光源照射下对不同波段的所吸收光强有所差异，但是通过人眼却不能清楚的观测出来，因此设计这种残差结构来有效地学习这些人眼无法观测到的深层次的光谱特征，从而在面对相邻目标之间的相似光谱信息时能够进行有效区分。

为了应对同一类别样本中目标的空间信息呈现多样性，设计了一种胶囊网络。该网络通过应用变换矩阵，对特征向量进行线性变换，以便捕捉目标的空间位置的特征向量，该特征向量表现为细胞的空间位置以及细胞形态。还引入了一种动态路由算法，用于对经过变换的特征向量进行多次加权迭代求和，从而在激活阶段获得最终的预测结果。

在空间特征学习过程中，使用两个卷积层来从光谱特征学习过程输出的特征映射图中提取空间特征，其中特征映射图是卷积层的输出，它反映了输入图像的空间特征和光谱特征。在卷积层中，每个卷积核对应输入数据的一个特征映射。当卷积核与输入数据进行卷积运算时，它会检测输入数据的特定特征，并将这些特征映射到输出特征映射图中。

然后将卷积层输出的光谱空间特征映射图转换成光谱空间胶囊，存储在上述胶囊网络中，这个胶囊由大量的特征向量组成，每个特征向量表示上述的高光谱子图中不同目标像元的位置和方向特征。

本实施例中，假设在该胶囊中存在一个长度为d的特征向量，记作，向量/>中的元素表示输入的上述高光谱子图中目标像元空间上下文信息的不同特征属性。再使用一个变换矩阵/>，对向量/>进行线性变换，得到向量/>。如下式所示：/>。使用变换矩阵对光谱空间胶囊中的特征向量进行线性变换，从而从光谱空间胶囊中获取目标的空间特征向量。图3展示了该过程。

随后在动态路由算法中，用表示一个长度为d的特征向量，假设对特征向量/>进行线性变换的为H_ij，向量/>经过H_ij经过线性变换之后的向量后，经过线性变换之后，向量/>的方向与目标在高光谱图像中的相对位置趋于一致，其计算公式为/>；经过线性变换之后，对向量/>中每个元素赋予权重然后求和。

假设表示加权求和之后的向量，则上述加权求和的计算公式如下：/>，/>，/>表示权重系数，/>是/>的初始值，它表示第i个光谱空间胶囊与第j个分类胶囊相关联的先验概率。

再假设分类胶囊中第j个预测向量为v _j，为了激活v _j，胶囊网络中使用了一个非线性压缩函数作为激活函数记作Squash，其计算公式如下：。

图4给出了动态路由过程其中一次迭代步骤的示意图，设置用于记录循环次数的参数p，当循环次数p=r+1时，表明当前循环次数与设置的迭代次数r相等，则结束循环并输出预测向量，其具体步骤为：

步骤1，将权重系数的初始值b _ij赋值为0，迭代次数设置为r，令p=0。

步骤2，如果p（用于记录循环次数）小于r+1，令p=p+1并转至步骤3，否则过程结束，返回分类胶囊中的预测向量。

步骤3，在所有的光谱空间胶囊中，计算，即计算权重系数p _i的归一化指数函数。

步骤4，在所有的分类胶囊中，计算，/>)，其中，v _j为预测向量，/>为加权求和后的向量。

步骤5，在所有的光谱空间胶囊和分类胶囊中，令，转至步骤2。

将分类胶囊中预测向量的长度输入到检测网络中，检测网络将长度最大的预测向量对应的索引，作为网络模型对目标的检测结果，索引对应的类别情况预先由医生根据临床的患病类型对标签进行设置，检测网络的计算公式如下：，类别/>表示级联网络对目标的预测标签，该标签所对应的样本病症由训练模型前通过临床医生进行设置。

整体过程如下：采集肾移植术后患者受体外周血样本，使用高光谱采集模块采集对应的高光谱图像，将高光谱图像输入到数据处理模块中，得到预处理后的高光谱图像，再将预处理后的高光谱图像输入到步骤四中训练好的级联网络进行检测，输出得到的检测结果的标签，根据预先设定的分类规则，得到标签对应的该患者的并发症类型。

检测网络输出的索引标记了图像中具有的，人眼无法观测到的深层次的光谱特征，以及相对应的细胞空间位置以及细胞形态，而索引在前期对模型进行训练时，将标签与异常的血液样本对应起来，在训练后能够根据索引查找到对应的异常类型。

例如，选取肾移植术后肾病复发的几种类型的患者血液样本，0对应急性排斥反应的体外周血样本，1对应慢性排斥反应的体外周血样本，2对应肾脏损害的体外周血样本，3对应术后恢复情况良好的体外周血样本等。在训练完成后，使用体外周血样本的高光谱图像进行检测，网络模型输出该血液样本图像的索引，根据索引对应的样本类型，能确定该样本对应患者的术后恢复情况。例如模型输出的检测结果为0，则表示该血液样本对应的患者为急性排斥反应，输出的检测结果为3，则表示该血液样本对应的患者为术后恢复情况良好的情况。

实施例二：

实现上述方法的系统，包括：

图像采集模块，被配置为：获取人体外周血样本的高光谱图像并预处理；

特征提取模块，被配置为：预处理后的高光谱图像利用训练完毕的残差网络，从光谱维度中提取光谱特征形成特征映射图，得到的特征映射图利用训练完毕的胶囊网络，从空间维度中提取目标的空间特征；

检测输出模块，被配置为：空间特征经变换和迭代后，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果；

其中，索引对应的检测结果通过在训练残差网络和胶囊网络期间，根据预先设定的分类规则确定的人体外周血样本类型进行设置。

实施例三：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于高光谱图像的人体外周血样本检测方法中的步骤。

实施例四：

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于高光谱图像的人体外周血样本检测方法中的步骤。

以上实施例二至四中涉及的各步骤或网络与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于高光谱图像的人体外周血样本检测方法，其特征在于，包括以下步骤：

获取人体外周血样本的高光谱图像并预处理；

预处理后的高光谱图像利用训练完毕的残差网络，从光谱维度中提取光谱特征形成特征映射图，得到的特征映射图利用训练完毕的胶囊网络，从空间维度中提取目标的空间特征；

空间特征经变换和迭代后，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果；

其中，索引对应的检测结果通过在训练残差网络和胶囊网络期间，根据预先设定的分类规则确定的人体外周血样本类型进行设置。

2.如权利要求1所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，所述预处理包括去噪、校准和归一化。

3.如权利要求1所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，预处理后的高光谱图像从光谱维度中提取光谱特征，具体为：基于残差网络获取不同细胞在光源照射下对不同波段所吸收光强的差异情况，形成光谱特征。

4.如权利要求3所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，所述残差网络具有多个残差块。

5.如权利要求4所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，所述残差块通过卷积核与预处理后的高光谱图像进行卷积处理，得到的高光谱子图经批量规范化层调整数据维度。

6.如权利要求5所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，得到的高光谱子图经激活函数去除小于零的值，得到残差块主干的输出结果。

7.如权利要求4所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，所述残差块主干的输出结果和支干的输出结果根据对应的权重值和对应的偏移参数进行累加，得到最终的输出结果形成光谱特征。

8.如权利要求1所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，从空间维度中提取目标的空间特征，具体为：基于胶囊网络获取图像中细胞的空间位置以及细胞形态形成空间特征。

9.如权利要求8所述的基于高光谱图像的人体外周血样本检测方法，其特征在于，获取的空间特征经线性变换得到空间特征向量，对空间特征向量中的每个元素赋予权重后求和，得到对应的权重系数，经迭代后与光谱特征关联，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果。

10.基于高光谱图像的人体外周血样本检测系统，其特征在于，包括：

图像采集模块，被配置为：获取人体外周血样本的高光谱图像并预处理；

特征提取模块，被配置为：预处理后的高光谱图像利用训练完毕的残差网络，从光谱维度中提取光谱特征形成特征映射图，得到的特征映射图利用训练完毕的胶囊网络，从空间维度中提取目标的空间特征；

检测输出模块，被配置为：空间特征经变换和迭代后，以长度最大的预测向量作为对应的索引，根据索引得到对应的检测结果；

其中，索引对应的检测结果通过在训练残差网络和胶囊网络期间，根据预先设定的分类规则确定的人体外周血样本类型进行设置。