CN110533636B - 一种图像分析装置 - Google Patents

Abstract

本发明公开了一种图像分析装置，涉及图像处理技术领域，用于处理肾小球图像，解决了现有技术中人工辨别肾小球类型而花费大量时间导致疾病研究人员工作效率低的问题，包括：图像获取模块，用于获取具有肾小球的图像数据；与图像获取模块电连接的图像处理模块，用于根据图像获取模块获取的图像数据中的肾小球数据转化为欧式空间的向量数据；与图像处理模块电连接的肾小球处理模块，用于在图像处理模块生成的所有向量数据内定位并筛选非正常的肾小球数据；与肾小球处理单元电连接的肾小球分型模块，用于将肾小球处理模块筛选的非正常肾小球数据进行分型处理；从而不必人工辨别肾小球，节省了疾病研究人员的工作时间，提高了疾病研究人员的工作效率。

Description

一种图像分析装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分析装置。

背景技术

肾脏是人体内的器官，但是据统计，国内患有肾脏疾病的人越来越多，而且肾脏疾病种类繁多，随着医疗水平的发展，对肾脏疾病的研究也越来越深入，其中，通过解析肾脏的病理数据，能够将肾小球分型为正常肾小球及硬化肾小球，能够加速对不同型肾小球病理的研究。

然而，在现有技术中，只能通过疾病研究人员的经验来对肾小球进行分型，从而得到正常肾小球及硬化肾小球，而为了疾病研究的严谨性，需要疾病研究人员花费大量的时间来人工辨别肾小球，从而将肾小球进行分型为正常肾小球及硬化肾小球，因此对肾小球的分型过程会花费疾病研究人员大量的时间，从而降低了疾病研究人员的工作效率。

发明内容

本发明的主要目的在于提供一种图像分析装置，旨在解决现有技术中人工辨别肾小球的类型而花费大量时间导致疾病研究人员工作效率低的技术问题。

为实现上述目的，本发明提供一种图像分析装置，包括：图像获取模块，用于获取具有肾小球的图像数据；与所述图像获取模块电连接的图像处理模块，所述图像处理模块用于根据所述图像获取模块获取的图像数据中的肾小球数据转化为欧式空间的向量数据，得到潜在的流形体；与所述图像处理模块电连接的肾小球处理模块，所述图像处理模块用于在所述图像处理模块生成的潜在的流形体内定位并筛选非正常的肾小球数据；与所述肾小球处理单元电连接的肾小球分型模块，所述肾小球分型单元用于将所述肾小球处理模块筛选的非正常肾小球数据进行分型处理。

进一步地，所述图像处理模块包括：与所述图像获取模块电连接的特征提取单元，所述特征提取单元用于对所述图像获取模块获取的图像数据进行特征提取，得到肾小球数据的在欧式三维空间中的特征向量，并形成结构化的数据，所有所述特征向量构成三维流形体；与所述特征提取单元电连接的降维迭代单元，所述降维迭代单元用于对所述特征提取单元得到的三维流形体进行降维处理，生成二维欧式空间中潜在的流形体，并得到肾小球数据的降维特征向量。

进一步地，所述肾小球处理模块包括：与所述降维迭代单元电连接的图像特征筛选单元，所述图像特征筛选单元用于将所述降维迭代单元生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量；与所述图像特征筛选单元电连接的图像剔除单元，所述图像剔除单元用于根据已知肾小球数据剔除图像特征筛选单元生成的非正常肾小球数据的降维特征向量中无研究价值的非正常肾小球数据，并保留有研究价值的非正常肾小球数据。

进一步地，所述肾小球处理模块还包括：与所述图像剔除单元电连接的离群点检测单元，所述离群点检测单元用于刻画所述图像剔除单元保留的有研究价值的非正常肾小球数据的疏离程度。

进一步地，所述离群点检测单元包括：与所述图像剔除单元电连接的二叉树构建子单元，所述二叉树构建子单元用于根据已有的肾小球数据构建二叉树；与所述二叉树构建子单元电连接的异常分值计算子单元，所述异常分值计算子单元用于计算所述二叉树构建子单元构建的二叉树每个数据点的异常分值，所述异常分值的大小即反映了相应数据点关联的肾小球数据的疏离程度。

进一步地，所述肾小球分型模块包括：与所述肾小球处理模块电连接的肾小球评比单元，所述肾小球评比单元用于将所述肾小球分型模块筛选出的非正常肾小球数据的权重进行调整；与所述肾小球评比单元电连接的分型阈值单元，所述分型阈值单元用于设定分型阈值，并根据所述肾小球数据的权重达到所述分型阈值的范围不同将肾小球数据进行分型。

进一步地，所述肾小球分型模块还包括：与所述分型阈值单元电连接的肾小球数据样本单元，所述肾小球数据样本单元用于存储并向所述分型阈值单元传输非正常肾小球与其对应权重的样本数据。

进一步地，所述装置还包括：与所述肾小球分型模块电连接的分型结果标记模块，所述分型结果标记模块用于把分型后的肾小球进行标记处理。

本发明提供一种图像分析装置，有益效果在于：能够通过图像获取模块、图像处理模块、肾小球处理模块及肾小球分型模块自动对肾小球进行分型，从而使得在疾病研究中，疾病研究人员不必人工辨别肾小球，从而节省了疾病研究人员的工作时间，提高了疾病研究人员的工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例图像分析装置的结构示意框图；

图2为本发明实施例图像分析装置的图像处理模块的结构示意框图；

图3为本发明实施例图像分析装置的肾小球处理模块的结构示意框图；

图4为本发明实施例图像分析装置的离群点检测单元的结构示意框图；

图5为本发明实施例图像分析装置的肾小球分型模块的结构示意框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为一种图像分析装置，包括：图像获取模块1、图像处理模块2、肾小球处理模块3及肾小球分型模块4；图像获取模块1用于获取具有肾小球的图像数据；图像处理模块2与所述图像获取模块1电连接，用于根据所述图像获取模块1获取的图像数据中的肾小球数据转化为欧式空间的向量数据；肾小球处理模块3与所述图像处理模块2电连接，用于在所述图像处理模块2生成的所有向量数据内定位并筛选非正常的肾小球数据；肾小球分型模块4与所述肾小球处理单元电连接，用于将所述肾小球处理模块3筛选的非正常肾小球数据进行分型处理。

请参阅图2，所述图像处理模块2包括：特征提取单元21及降维迭代单元22；特征提取单元21与所述图像获取模块1电连接，用于对所述图像获取模块1获取的图像数据进行特征提取，得到肾小球数据在欧式三维空间中的三维特征向量；降维迭代单元22与所述特征提取单元21电连接，用于对所述特征提取单元21得到的三维特征向量进行降维处理，生成二维欧式空间中的降维特征向量。

具体地，特征提取单元21集成了特征提取模型，图像数据中的肾小球数据经过特征提取模型的提取，生成肾小球数据的三维特征向量，并形成结构化的数据，三维特征向量中的每一维都代表欧式空间的一个维度；降维迭代单元22集成了降维模型，在将三维特征向量输入降维模型并进行迭代处理后，将三维特征向量转化为二维欧式空间中的降维特征向量。

三维特征向量转化为二维欧式空间中的降维特征向量具体实现过程如下：

设P为原来的空间分布(即，输入前三维特征向量所形成的数据分布)，Q为转化后的空间分布(即，经降维模型处理后得到的降维特征向量所形成的数据分布)，P的分布概率为pij，Q的分布概率为qij；P和Q在高斯分布下的条件概率公式1所示，公式1表示如下：

为了便于计算，P和Q在高斯分布下的条件概率转换为P和Q的联合分布概率，如公式2所示，公式2表示如下：

在公式1及公式2中，

在一次的处理流程中，肾小球数据的三维特征向量输入至降维模型后，得到初始降维特征向量，判断该初始降维特征向量的损失是否收敛，若否，则将初始降维特征向量返回至输入部分继续迭代，直至满足联合概率条件的数据要求，输出最终降维特征向量。

使用t-SNE算法将三维特征向量以低维数据表示，详细过程如下：

已知三维特征向量的数据X，X＝x1，...，xn；设置成本函数cost function的困惑度为Perp；设置迭代次数T，学习速率η,动量α(t)，将三维特征向量转化为降维特征向量的目标结果是低维数据表示Yt＝y1,...,yn；随后就是对Yt的优化，使得三维特征向量转化为降维特征向量。

在对Yt的优化过程中，先计算在给定Perp下的条件概率pj∣i；随后令然后用N(0,10-4I)随机初始化Y；最后从t＝1到T进行迭代，做如下操作:计算低维度下的qij，计算梯度，更新Yt＝Yt-1+ηdCdY+α(t)(Yt-1-Yt-2)；完成将三维特征向量转化为降维特征向量。

请参阅图3，所述肾小球处理模块3包括：图像特征筛选单元31及图像剔除单元32；图像特征筛选单元31与所述降维迭代单元22电连接，用于将所述降维迭代单元22生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量；图像剔除单元32与所述图像特征筛选单元31电连接，用于根据已知肾小球数据剔除图像特征筛选单元31生成的非正常肾小球数据的降维特征向量中无研究价值的非正常肾小球数据的降维特征向量，并保留有研究价值的非正常肾小球数据的降维特征向量。

所述肾小球处理模块3还包括：离群点检测单元33，离群点检测单元33与所述图像剔除单元32电连接，用于刻画所述图像剔除单元32保留的有研究价值的非正常肾小球数据的疏离程度。

请参阅图4，所述离群点检测单元33包括：二叉树构建子单元331及异常分值计算子单元332；所述二叉树构建子单元331与所述图像剔除单元32电连接，用于根据所述图像剔除单元32保留的有研究价值的非正常肾小球数据的降维特征向量构建二叉树；所述异常分值计算子单元332与所述二叉树构建子单元331电连接，用于计算所述二叉树构建子单元331构建的二叉树每个数据点的异常分值，所述异常分值的大小即反映了相应数据点关联的肾小球数据的疏离程度。

具体地，图像特征筛选单元31集成了数据筛选模型，在本实施例中，数据筛选模型为Isolation Forest模型，将降维特征向量输入到数据筛选模型中，得到筛选后的降维特征向量，筛选后的降维特征向量表示的为非正常肾小球数据；而图像剔除单元32则将筛选后的降维特征向量中的已知病理的非正常肾小球数据进行剔除，留下未知病理的非正常肾小球数据进行研究。

具体地，Isolation Forest用于离群点检测，可以直接去刻画数据的疏离程度。Isolation Forest采用二叉树去对数据进行切分，数据点在二叉树中所处的深度反应了该条数据的“疏离”程度。

在Isolation Forest的训练中，用二叉树构建子单元构建多棵二叉树；在用Isolation Forest进行预测时，综合多棵二叉树的结果，计算每个数据点的异常分值。

在构建一棵二叉树时，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支。然后，在左右两个分支数据中，重复上述步骤，直至数据不可再分及二叉树达到限定的最大深度。

在使用Isolation Forest进行预测时，计算数据x的异常分值时，先要估算它在每棵二叉树中的路径长度(也可以叫深度)。具体的，先沿着一棵二叉树，从根节点开始按不同特征的取值从上往下，直到到达某叶子节点。假设iTree的训练样本中同样落在x所在叶子节点的样本数为二叉树，则数据x在这棵二叉树上的路径长度h(x)。

请参阅图5，所述肾小球分型模块4包括：肾小球评比单元41及分型阈值单元42；肾小球评比单元41与所述肾小球处理模块3电连接，用于将所述肾小球分型模块4筛选出的非正常肾小球数据的权重进行调整；分型阈值单元42与所述肾小球评比单元41电连接，用于设定分型阈值，并根据所述肾小球数据的权重达到所述分型阈值的范围不同将肾小球数据进行分型。

具体地，肾小球评比单元41中集成了weighted-accuracy函数，使用weighted-accuracy函数对不同类别肾小球进行评比，通过weighted-accuracy函数对分类神经网络中不同类型肾小球权重进行调整。分类阈值单元在设定了分型阈值后，若肾小球权重达到某阈值，或位于某些阈值之间，则可判断出肾小球数据中的非正常肾小球的异常原因。

具体地，分类神经网络可以为ResNet50、ResNeXt、ResNet-FPN、DenseNet121等神经网络，在本实施例中，采用DenseNet121神经网络作为分类神经网络，DenseNet121神经网络应用原理如下：

步骤一：当三维特征向量为[512,512,3]时，两个512表示两个维度上的像素，3指的是特征通道数，即输入图像的大小为512*512*3，经过ZeroPadding2D处理后，得到518*518*3的图像数据；对518*518*3的图像数据进行Conv2D处理，得到256*256*64的图像数据；对256*256*64的图像数据BatchNormalization处理，得到标准化的256*256*64图像数据；经过激活函数Activation，对256*256*64图像数据进行ZeroPadding2D处理，得到258*258*64图像数据；对258*258*64图像数据进行MaxPooling2D处理，得到128*128*64图像数据。

步骤二：将上述128*128*64图像数据作为输入，循环指定blocks次，每次经过如下操作：进行BatchNormalization处理，经过激活函数Activation，进行Conv2D处理，进行BatchNormalization，进行Activation处理，进行Conv2D处理，进行Concatenate处理，结束一次循环。每次循环完成，图像大小不变，channel(特征通道)数量增加32。

步骤三：进行BatchNormalization处理，经过激活函数Activation，进行Conv2D处理，进行BatchNormalization，进行AveragePooling处理；其中，每进行一次transitionblock,图像大小变为原来的一半，channel数量不变。

步骤四：依次执行步骤二、步骤三，dense block，transitionblock，denseblock，最终输出形状大小为[16,16,1024]的特征图后，再次经过BatchNormalization，GlobalAvergatePooling输出大小为[1024]的特征向量，最终经过Dense，输出3分类的概率。

所述肾小球分型模块4还包括：肾小球数据样本单元43；肾小球数据样本单元43与所述分型阈值单元42电连接，用于存储并向所述分型阈值单元42传输非正常肾小球与其对应权重的样本数据；通过使用样本数据，能够将样本数据中的异常肾小球数据与对应的分型阈值来判断当前肾小球数据是否在历史中研究过，若当前异常肾小球数据在历史研究过，则能减少研究当前非正常肾小球数据的时间。

所述图像分析装置还包括：分型结果标记模块5；分型结果标记模块5与所述肾小球分型模块4电连接，用于把分型后的肾小球进行标记处理；在本实施例中，结果标记模块集成了三分类函数，通过使用三分类函数将非正常肾小球数据标记为阴性样本、肾小球及硬化肾小球。

以上为对本发明所提供的一种图像分析装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种图像分析装置，其特征在于，包括：

图像获取模块，用于获取具有肾小球的图像数据；

与所述图像获取模块电连接的图像处理模块，所述图像处理模块用于根据所述图像获取模块获取的图像数据中的肾小球数据转化为欧式空间的向量数据；所述图像处理模块包括：与所述图像获取模块电连接的特征提取单元，所述特征提取单元用于对所述图像获取模块获取的图像数据进行特征提取，得到肾小球数据在欧式三维空间中的三维特征向量；与所述特征提取单元电连接的降维迭代单元，所述降维迭代单元用于对所述特征提取单元得到的三维特征向量进行降维处理，生成二维欧式空间中的降维特征向量；

与所述图像处理模块电连接的肾小球处理模块，所述图像处理模块用于在所述图像处理模块生成的所有向量数据内定位并筛选非正常的肾小球数据；所述肾小球处理模块包括：与所述降维迭代单元电连接的图像特征筛选单元，所述图像特征筛选单元用于将所述降维迭代单元生成的降维特征向量进行筛选，得到非正常肾小球数据的降维特征向量；与所述图像特征筛选单元电连接的图像剔除单元，所述图像剔除单元用于根据已知肾小球数据剔除图像特征筛选单元生成的非正常肾小球数据的降维特征向量中无研究价值的非正常肾小球数据的降维特征向量，并保留有研究价值的非正常肾小球数据的降维特征向量；与所述图像剔除单元电连接的离群点检测单元，所述离群点检测单元用于刻画所述图像剔除单元保留的有研究价值的非正常肾小球数据的疏离程度；其中，所述离群点检测单元包括：与所述图像剔除单元电连接的二叉树构建子单元，所述二叉树构建子单元用于根据所述图像剔除单元保留的有研究价值的非正常肾小球数据的降维特征向量构建二叉树；与所述二叉树构建子单元电连接的异常分值计算子单元，所述异常分值计算子单元用于计算所述二叉树构建子单元构建的二叉树每个数据点的异常分值，所述异常分值的大小即反映了相应数据点关联的肾小球数据的疏离程度；

与所述肾小球处理模块电连接的肾小球分型模块，所述肾小球分型模块用于将所述肾小球处理模块筛选的非正常肾小球数据进行分型处理。

2.根据权利要求1所述的图像分析装置，其特征在于，

所述肾小球分型模块包括：

与所述肾小球处理模块电连接的肾小球评比单元，所述肾小球评比单元用于将所述肾小球分型模块筛选出的非正常肾小球数据的权重进行调整；

与所述肾小球评比单元电连接的分型阈值单元，所述分型阈值单元用于设定分型阈值，并根据所述肾小球数据的权重达到所述分型阈值的范围不同将肾小球数据进行分型。

3.根据权利要求2所述的图像分析装置，其特征在于，

所述肾小球分型模块还包括：

与所述分型阈值单元电连接的肾小球数据样本单元，所述肾小球数据样本单元用于存储并向所述分型阈值单元传输非正常肾小球与其对应权重的样本数据。

4.根据权利要求1所述的图像分析装置，其特征在于，

所述装置还包括：

与所述肾小球分型模块电连接的分型结果标记模块，所述分型结果标记模块用于把分型后的肾小球进行标记处理。