CN109948671A - 图像分类方法、装置、存储介质以及内窥镜成像设备 - Google Patents
图像分类方法、装置、存储介质以及内窥镜成像设备 Download PDFInfo
- Publication number
- CN109948671A CN109948671A CN201910161562.7A CN201910161562A CN109948671A CN 109948671 A CN109948671 A CN 109948671A CN 201910161562 A CN201910161562 A CN 201910161562A CN 109948671 A CN109948671 A CN 109948671A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- combined result
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本申请实施例公开了一种图像分类方法、装置、存储介质以及内窥镜成像设备。本申请实施例可以获取生命体组织在不同时间点的图像；对图像进行特征提取，得到图像的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；根据排序后组合结果确定图像的共同病理类型。在本方案中，每个图像表达相同病理时的特征信息存在差异，故可以通过对每个图像分别提取图像特征，以获得它们之间有差异的图像特征，再综合这些有差异的图像特征进行病理分类，从而通过联合决策的方式对图像的病理信息作出全局考虑。由此，该方案可以提升医学图像的病理分类效率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像分类方法、装置、存储介质以及内窥镜成像设备。
背景技术
医学图像分析的目的是得到生理过程的定量信息，利用医学设备成像来对生理过程进行动态观察，为临床诊疗提供更充分的依据。例如，使用内窥镜成像采集到涂抹化学试剂的阴道镜图像，例如涂抹生理盐水时的图像，涂抹5％醋酸的醋染图等等。由于生命体组织对试剂的反应在不同时间点的外貌特征不一样，医护人员常借助习得的知识和积累的经验，解读病人的医学图片中反映的解剖结构和病理信息，然而这种人工解读方式往往过于依赖于医生个人的经验、知识和情绪，且效率较低。
目前基于医学图像的分类方法存在着由于人为主观因素强、诊断准确性低以及诊断时间长导致的效率低下的问题。
发明内容
本申请实施例提供一种图像分类方法、装置、存储介质以及内窥镜成像设备，可以提升医学图像的病理分类效率。
本申请实施例提供一种图像分类方法，包括：
获取生命体组织在不同时间点的图像；
对所述图像进行特征提取，得到所述图像的图像特征集；
在所述图像特征集之间进行特征集组合操作，得到特征集组合结果；
对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；
根据所述排序后组合结果确定所述图像的共同病理类型。
在一些实施例中，对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果，包括：
对所述特征集组合结果中的图像特征进行随机排序，得到随机排序后的图像特征；
对所述随机排序后的图像特征进行特征组合，得到排序后组合结果。
在一些实施例中，根据所述排序后组合结果确定所述图像的共同病理类型，包括：
基于所述排序后组合结果计算所述图像属于各个病理类型的概率；
根据所述概率，确定所述生命体组织在不同时间点的图像的共同病理类型。
在一些实施例中，基于所述排序后组合结果计算所述图像属于各个病理类型的概率，包括：
获取所述排序后组合结果中特征对应的预设特征权重；
基于所述预设特征权重对所述排序后组合结果中的特征进行加权处理，得到加权结果；
根据所述加权结果计算所述图像属于各个病理类型的概率。
在一些实施例中，对所述图像进行特征提取，得到所述图像的图像特征集，包括：
从预设特征提取模型集合中选取所述图像对应的目标特征提取模型，其中，所述目标特征提取模型由标注了病理类型的训练图像集训练而成；
采用所述目标特征提取模型对所述图像进行特征提取，得到所述图像的图像特征集。
在一些实施例中，从预设特征提取模型集合中选取所述图像对应的目标特征提取模型之前，还包括：
从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像；
根据所述多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型；
将所述特征提取模型加入预设特征提取模型集合。
在一些实施例中，根据所述多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型，包括：
根据所述多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到训练后初始特征提取模型；
去除所述训练后初始特征提取模型的全连接层，得到特征提取模型。
在一些实施例中，从所述标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像之前，还包括：
确定当前随机数据增强操作的操作类型；
基于所述当前随机数据增强操作的操作类型对所述生命体组织在相同时间点的训练图像进行数据增强操作，得到多张数据增强处理后生命体组织在相同时间点的训练图像的训练图像。
本申请实施例还提供一种图像分类装置，包括：
图像获取模块，用于获取生命体组织在不同时间点的图像；
特征集模块，用于对所述图像进行特征提取，得到所述图像的图像特征集；
特征组合模块，用于在所述图像特征集之间进行特征集组合操作，得到特征集组合结果；
特征排序模块，用于对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；
联合决策模块，用于根据所述排序后组合结果确定所述图像的共同病理类型。
本申请实施例还提供一种内窥镜成像设备，所述内窥镜成像设备包括影像采集单元、处理器和存储器，其中：
所述图像采集单元用于采集命体组织在不同时间点的图像；
所述存储器用于存储图像数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取生命体组织在不同时间点的图像；
对所述图像进行特征提取，得到所述图像的图像特征集；
在所述图像特征集之间进行特征集组合操作，得到特征集组合结果；
对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；
根据所述排序后组合结果确定所述图像的共同病理类型。
在一些实施例中，当执行步骤对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果时，所述处理器具体执行以下步骤：
对所述特征集组合结果中的图像特征进行随机排序，得到随机排序后的图像特征；
对所述随机排序后的图像特征进行特征组合，得到排序后组合结果。
在一些实施例中，当执行步骤根据所述排序后组合结果确定所述图像的共同病理类型时，所述处理器具体执行以下步骤：
基于所述排序后组合结果计算所述图像属于各个病理类型的概率；
根据所述概率，确定所述生命体组织在不同时间点的图像的共同病理类型。
在一些实施例中，当执行步骤基于所述排序后组合结果计算所述图像属于各个病理类型的概率时，所述处理器具体执行以下步骤：
获取排序后组合结果中特征对应的预设特征权重；
基于所述预设特征权重对所述排序后组合结果中的特征进行加权处理，得到加权结果；
根据所述加权结果计算所述图像属于各个病理类型的概率。
在一些实施例中，当执行步骤对所述图像进行特征提取，得到所述图像的图像特征集时，所述处理器具体执行以下步骤：
从预设特征提取模型集合中选取所述图像对应的目标特征提取模型，其中，所述目标特征提取模型由标注了病理类型的训练图像集训练而成；
采用所述目标特征提取模型对所述图像进行特征提取，得到所述图像的图像特征集。
本申请实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行任一项所述的图像分类方法中的步骤。
本申请实施例可以获取生命体组织在不同时间点的图像；对图像进行特征提取，得到图像的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；根据排序后组合结果确定图像的共同病理类型。
在本方案中，每个图像表达相同病理时的特征信息存在差异，故可以通过对每个图像分别提取图像特征，以获得它们之间有差异的图像特征，再综合这些有差异的图像特征进行病理分类，从而通过联合决策的方式对图像的病理信息作出全局考虑。由此，该方案可以提升医学图像的病理分类效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的图像分类方法的场景示意图；
图1b是本申请实施例提供的图像分类方法的流程示意图；
图1c是本申请实施例提供的ResNet-50中残差块的结构；
图1d是本申请实施例提供的联合决策模型结构；
图2a是本申请实施例提供的图像分类方法的场景示意图；
图2b是本申请实施例提供的宫颈癌病变组织时序变化图像示意图；
图2c是本申请实施例提供的图像分类方法的处理流程图；
图3是本申请实施例提供的图像分类装置的结构示意图；
图4是本申请实施例提供的内窥镜成像设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像分类方法、装置、存储介质以及内窥镜成像设备。
其中，该图像分类装置具体可以集成在电子设备中，该电子设备可以是医学成像设备、服务器、终端等等。
所谓图像分类，指的是根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。而在本发明实施例中，可以指对医学图像进行分类，比如分析阴道镜图像中是否表现出宫颈癌病变等等，该分类图像后续可以供医护人员或其他医学专家进行分析，以便作出进一步的操作。
由于目前的阴道镜检查诊断技术中过多地依赖医师的主观经验，缺少适合筛查应用的质控管理及辅助诊断功能，使用效果很大程度上受限于基层医生的诊断能力。
在本发明实施例中，如图1a所示，在图像分类场景中可以具有多个并联的特征提取模型和联合决策模型，在此将多个并联的特征提取模型统称为联合提取模型，该联合提取模型与联合决策模型串联。由于特征提取模型之间相互独立，故可以对输入的多个图像分别进行独立的特征集提取，以减少不同图像之间产生的相互干扰；对这些独立的特征集组合在一起，即在图像特征集之间进行特征集组合操作，可以获得特征集组合结果，该特征集组合结果携带了多个图像所有的图像特征；对特征集组合结果进行特征排序后，决策模型可以根据整体特征，对输入的所有图像的类型作出定义。该方案可以对输入的所有图像所表达的病理信息进行全局考虑，并且可以极大降低系统的计算量，明显提升处理时间和判读精度。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本申请实施例中，将从图像分类装置的角度进行描述，该图像分类装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端、医学电子仪器等设备。
一种图像分类方法，包括：获取生命体组织在不同时间点的图像；对图像进行特征提取，得到图像的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；根据排序后组合结果确定图像的共同病理类型。
如图1b所示，该图像分类方法的具体流程可以如下：
S101、获取生命体组织在不同时间点的图像：
例如，具体由各医学图像采集设备，比如核磁共振成像仪、阴道镜或内窥镜等来对生命体组织进行图像采集，进而提供给该图像分类装置，即，图像分类装置具体可以接收医学图像采集设备发送的生命体组织在不同时间点的图像。
其中，生命体组织在不同时间点的图像指的是采集到的生命体组织在不同时间点的医学图像，所谓生命体组织可以指有生命形态的、且能对外界刺激做出相应反映的独立个体，比如人、猫或狗等的例如肠胃、心脏、喉咙和阴道等组织部位；所谓在不同时间点的医学图像是指在不同时间点拍摄的医学图像，例如初次拍摄脑部的图像、一分钟后拍摄的脑部图像以及五分钟后拍摄的脑部图像。
S102、对图像进行特征提取，得到图像的图像特征集：
确认每张图像的标识，将这些图像分别输入其标识对应的特征提取模型中进行卷积操作，得到从每张图像中提取的对应的图像特征集。
其中，图像特征集是指由多个图像特征构成的特征集合，由于不同的特征提取模型可以从其对应的图像中提取多个图像特征，故将每张图像中提取的多个图像特征统称为该图像的图像特征集。
其中，图像特征的形式有多种，例如可以是特征向量(feature vector)、特征图(feature map)、热图(heat map)、三维特征图等等。
其中，图像的标识可以指图像被标注的病理类型，比如图像1的标识为“20秒病理A”，图像2的标识为“40秒病理A”，图像3的标识为“20秒病理B”等等。
其中，得到每张图像对应的图像特征集可以是根据图像的标识选取其对应的特征提取模型，比如“20秒病理A”的标识与特征提取模型1对应，“40秒病理A”的标识与特征提取模型2对应，“20秒病理B”标识与特征提取模型3对应。
在一些实施例中，该图像分类装置可以在本地内置从预设特征提取模型集合，该从预设特征提取模型集合中包括多个不同的特征提取模型，以对不同时间点的图像进行图像特征提取，其具体步骤如下：
a.从预设特征提取模型集合中选取图像对应的目标特征提取模型，其中，目标特征提取模型由标注了病理类型的训练图像集训练而成；
b.采用目标特征提取模型对图像进行特征提取，得到图像的图像特征集。
其中，预设特征提取模型集合指的是图像分类装置中内置的多个特征提取模型。
在一些实施例中，该图像特征提取模型可以由多张标注了图像病理类型的训练图像训练而成，并在训练完成后将训练后得到的特征提取模型置入图像分类装置中的预设特征提取模型集合。具体可以由其他设备进行训练后，提供给该图像分类装置，或者，也可以由该图像分类装置自行进行训练；即步骤“从预设特征提取模型集合中选取图像对应的目标特征提取模型”可以包括：
1、采集多张标注了图像病理类型的训练图像。
比如，具体可以采集多张标注了图像病理类型的图像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设的初始特征提取模型的输入标准的图像，然后，对这些数据预处理后的图像进行图像病理类型的标注，即可得到多张标注了图像病理类型的训练图像。
其中，图像病理类型可以指图像中生命体组织的病变类型的信息，比如图像病理类型包括正常、a秒时的病变A、b秒时的病变B、b秒时的病变C、c秒时的病变C等等。
其中，标注方式也可以根据实际应用的需求进行选择，比如，可以在专业医生的指点下，由标注审核人员进行人工标注，或者，也可以通过训练标注模型来实现自动标注，等等，在此不作赘述。
其中，数据预处理可以包括去重、裁剪、旋转和/或翻转等操作。
比如，对训练图像进行数据剪裁操作，具体可以以预设的初始特征提取模型输入大小为“512*512(宽*高)”为例，则此时，可以将原始数据集里的图像裁剪为“512*512”大小，等等。
对这些训练图像进行数据增强操作，可以使得训练样本更加丰富，降低特征采集模型过拟合的程度，比如，进一步对这些图像进行其他的预处理操作，如随机旋转操作和随机水平翻转操作，等等。
除此之外，还可以对图像的颜色通道顺序调整为预设顺序；比如，可以将生命体组织图像的三通道改为红(R，red)、绿(G，Green)和蓝(B，Blue)的通道顺序，当然，如果图像原通道的顺序已经为R、G和B，则无需进行该操作。
2、从相同标识的训练图像中选取待训练图像。
比如，在图像病理类型为正常、a秒时的病变A、b秒时的病变B、b秒时的病变C、c秒时的病变C等等的多个训练图像中，选取所有标识为a秒时的病变A类型的训练图像作为待训练图像。
3、采用待训练样本对初始特征提取模型进行训练，得到待训练样本的预测值。
其中，该初始特征提取模型可以根据实际应用的需求而定，比如采用各种卷积神经网络(Convolutional Neural Network，CNN)模型例如，ResNet-50、LeNet-5、AlexNet以及VGGNet等卷积神经网络的特征提取部分，即这些CNN网络除去最后一层全连接层的网络部分，作为初始特征提取模型。
除此之外，各个CNN的参数可以采用该CNN在预设数据库的数据集上预训练的参数，比如ResNet-50网络在ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)数据集上预训练的参数，而各上采样层则采用方差0.01、均值为0的高斯分布进行初始化。
譬如，ResNet-50的结构可以包括为5部分，每部分的开头均可以先进行下采样，下采样的步长(stride)可以由技术人员任意设置。每个卷积层之后可以接有线性整流层(Rectified Linear Unit，ReLU)和批标准化层(Batch Normalization，BN)。图1c是ResNet-50中一个残差块的结构，ResNet-50中可以有多个残差块，每个残差块(block)包括三层，分别为1*1、3*3以及1*1的卷积层，除此之外，它还可以使用“shortcut connection”的方式进行连接，用于降低减少计算和参数量。
4、根据各个样本的真实值和预测值对该特征提取模型进行收敛，得到训练好的特征提取模型。
譬如，具体可以计算每个正样本的预测值和真实值之间的误差，得到每个正样本对应的正样本误差，以及计算每个负样本的预测值和真实值之间的误差，得到每个负样本对应的负样本误差，然后，将所有负样本误差和所有正样本误差进行卷积的反向传播，以达到收敛的目的，最终得到特征提取模型。
其中，该特征提取模型与其训练样本的标识相对应，比如“20秒病理A”的标识与特征提取模型1对应，“40秒病理A”的标识与特征提取模型2对应，“20秒病理B”的标识与特征提取模型3对应。
最后，在一些实施例中，可以将这些训练好的、与图像标识对应的特征提取模型置入特征提取集中，以便日后使用。
S103、在图像特征集之间进行特征集组合操作，得到特征集组合结果：
特征集组合操作是指在特征集之间进行两两特征集的特征组合。
特征组合(feature cross)是指通过将单独的特征进行组合(相乘或求笛卡尔积)而形成的合成特征。比如，采用相乘将多个单独的特征进行组合：
y1＝b+w1x1+w2x2+w3x3
其中，y1为求得的组合特征，b与w为预设的参数，x1、x2、x3为图像特征集中的图像特征。
比如，采用笛卡尔积来将多个单独的特征集进行组合，其中，笛卡尔积是指在数学中，两个集合X和Y的笛卡尔积(Cartesian product)，表示为X×Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员。比如，集合A＝{a，b}，集合B＝{0，1，2}，则两个集合的笛卡尔积为{(a，0)，(a，1)，(a，2)，(b，0)，(b，1)，(b，2)}。
S104、对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果：
在本实施例中为了防止模型过拟合，促使模型学习特征向量的本质信息，可以将步骤S203中获得的图像特征(即特征集组合结果)，进行特征顺序打乱操作(shuffle)，得到排序后特征集组合结果，使得网络分类性能更加鲁棒。
比如，将步骤S103中的y1打乱为y2：
y2＝w2x2+w1x1+w3x3+w4x4+b
其中，y2为求得的排序后特征集组合结果，b与w为预设的参数，x1、x2、x3为图像特征集中的图像特征。
S105、根据排序后特征集组合结果确定图像的共同病理类型：
例如，具体可以将排序后特征集组合结果导入联合决策模型中进行识别，由该联合决策模型输出关于该多张图像的共同病理类型。
其中，联合决策模型可以为全连接层(fully connected layers，FC)，例如，如图1d所示，x1、x2、x3为FC的输入，a1、a2、a3为FC的输出：
a1＝W11*x1+W12*x2+W13*x3+b1
a2＝W21*x1+W21*x2+W21*x3+b2
a3＝W31*x1+W31*x2+W31*x3+b3
其中，W与b为训练后的参数。
全连接层中的每个神经元与其前一层的所有神经元进行全连接，全连接层可以整合具有类别区分性的局部信息，可以采用逻辑回归(softmax regression)进行图像分类。在一些实施例中，为了提升网络性能，全连接层每个神经元的激励函数可以采用ReLU函数。
比如，以宫颈醋染图的图像的病理类型识别为例，将宫颈醋染图的排序后特征集组合结果导入该区域分类模型联合决策模型后，联合决策模型会对宫颈醋染图的排序后特征集组合结果进行识别，并输出宫颈醋染图中各病理类型的概率。譬如，若经过识别，预测宫颈醋染图排序后特征集组合结果的识别结果为正常80％，病理X的概率15％，病理Y的概率为5％等等，并且将这些识别出的概率进行比较，选取概率值最大的病理类型，则此时，联合决策模型可以输出识别结果：“正常”。
其中，具体步骤可以包括：
1、采集带有标识的排序后特征集组合结果，以作为训练样本：
其中，获取标注了病理类型的排序后特征集组合结果样本的方式可以有多种，比如，可以采用如下任意一种方式：
方式一(特征集组合结果样本已经标注了病理类型)：
可以从本地数据库或网络等获取多个标注了病理类型的特征集组合结果样本。
方式二(样本图像已标注了关键特征或未标注关键特征均可)：
(1)从本地数据库或网络等获取多个标注了病理类型的样本图像，并将病理类型的样本图像分为第一类训练图像与第二类训练图像。
比如，具体可以采集多张标注了图像病理类型的图像作为原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设的初始特征提取模型的输入标准的图像，然后，对这些数据预处理后的图像进行图像病理类型的标注，即可得到多张标注了图像病理类型的训练图像。
其中，图像病理类型可以指图像中生命体组织的病变类型的信息，比如图像病理类型包括正常、a秒时的病变A、b秒时的病变B、b秒时的病变C、c秒时的病变C等等。
其中，标注方式也可以根据实际应用的需求进行选择，比如，可以在专业医生的指点下，由标注审核人员进行人工标注，或者，也可以通过训练标注模型来实现自动标注，等等，在此不作赘述。
(2)从相同标识的第一类训练图像中选取待训练的第一类训练图像。
比如，在第一类训练图像病理类型为正常、a秒时的病变A、b秒时的病变B、b秒时的病变C、c秒时的病变C等等的多个训练图像中，选取所有标识为a秒时的病变A类型的训练图像作为第一类待训练图像。
再然后，采用第一类待训练图像对初始特征提取模型进行训练，得到第一类待训练图像的预测值：
其中，该初始特征提取模型可以根据实际应用的需求而定，比如采用各种卷积神经网络模型例如，ResNet-50、LeNet-5、AlexNet以及VGGNet等卷积神经网络的特征提取部分，即这些CNN网络除去最后一层全连接层的网络部分。
再然后，根据第一类待训练图像的真实值和预测值对该特征提取模型进行收敛，得到训练好的特征提取模型。
譬如，具体可以计算每个第一类待训练图像的正样本的预测值和真实值之间的误差，得到每个第一类待训练图像的正样本对应的正样本误差，以及计算每个第一类待训练图像的负样本的预测值和真实值之间的误差，得到每个第一类待训练图像的负样本对应的负样本误差，然后，将所有负样本误差和所有正样本误差进行卷积的反向传播，以达到收敛的目的，从而得到特征提取模型。
(3)将标注了病理类型的第二类训练图像输入对应的特征提取模型，得到每张第二类训练图像对应的图像特征集。
确认每张第二类训练图像的标识，将这些第二类训练图像分别输入其标识对应的特征提取模型中进行卷积操作，得到从每张第二类训练图像中提取的对应的图像特征集。
其中，图像特征集是指由多个图像特征构成的特征集合，由于不同的特征提取模型可以从其对应的图像中提取多个图像特征，故将每张图像中提取的多个图像特征统称为该图像的图像特征集。
(4)对多个图像特征集进行特征组合，得到特征集组合结果。
(5)对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果，以作为训练样本输入联合决策模型。
(6)根据特征集组合结果的真实值和预测值对该特征提取模型进行收敛，得到训练好的联合决策模型。
譬如，具体可以计算每个正样本的预测值和真实值之间的误差，得到每个正样本对应的正样本误差，以及计算每个负样本的预测值和真实值之间的误差，得到每个负样本对应的负样本误差，然后，将所有负样本误差和所有正样本误差进行卷积的反向传播，以达到收敛的目的，最终得到联合决策模型。
由上可知，本申请实施例可以获取生命体组织在不同时间点的图像；对图像进行特征提取，得到图像的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果；根据排序后特征集组合结果确定图像的共同病理类型。在本方案中，每个图像表达相同病理时的特征信息存在差异，故可以通过对每个图像分别提取图像特征，以获得它们之间有差异的图像特征，再综合这些有差异的图像特征进行病理分类，从而通过联合决策的方式对图像的病理信息作出全局考虑。由此，该方案可以提升医学图像的病理分类效率。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
在本申请实施例中，将以图像分类装置具体集成在电子设备如阴道内窥镜成像设备中进行说明。
图2a是本申请实施例提供的图像分类方法的场景示意图，如图2a所示，阴道内窥镜成像设备可以采集病患的阴道部位的五个时间点的阴道镜图像，分别是生理盐水图、64秒醋染图、92秒醋染图、124秒醋染图。阴道内窥镜成像设备获取了五个时间点的阴道镜图像后，使用训练好的ResNet-50A作为特征提取模型提取生理盐水图的图像特征集，使用训练好的ResNet-50B作为特征提取模型提取64秒醋染图，使用训练好的ResNet-50C作为特征提取模型提取92秒醋染图的图像特征集，使用训练好的ResNet-50D作为特征提取模型提取124秒醋染图的图像特征集。然后，将每个大小为11×11×2048的图像特征通过全局池化层(global average pooling)进行特征组合，得到大小为1×1×2048的特征图，即5条长度为2048的向量，再进行特征组合，得到特征集组合结果；再对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果；最后采用训练好的联合决策模型，根据排序后特征集组合结果确定多张图像的共同病理类型，即得到分类结果。
阴道内窥镜成像设备进行图像分类的具体流程如下：
S201、获取生命体组织在不同时间点的图像：
由阴道内窥镜成像设备采集病患的阴道部位的五个时间点的阴道镜图像，分别是生理盐水图、64秒醋染图、92秒醋染图、124秒醋染图。
其中，阴道镜是一种妇科内窥镜，主要应用于上皮内瘤变、早期宫颈癌及其它下生殖道早期病变的辅助诊断及评估。
由于醋酸溶液与细胞内的核蛋白和角蛋白反应出现可逆性凝固，镜下观察即为白色。
柱状上皮内糖原含量少，核蛋白丰富，遇醋酸液迅速变白，成葡萄状，数秒后消失。
而成熟鳞状上皮正好相反，由于核蛋白含量较少而变化不大。
不典型增生的上皮加醋酸后肿胀、呈明显白色，边界清晰，高出正常上皮组织，重者表面粗糙，似将封闭腺口。
根据恶性程度的不同，醋白上皮表现不同。
低度病变上皮亮白，薄而光滑，边界清楚，无血管或仅见细小点状血管，醋酸白反应速度慢，持续时间短，消退快。
而高度病变上皮明显增厚、污浊、形态不规则且突出于表面，且常合并有异型血管，醋酸白反应速度快，持续时间长，消退慢。
图2b是宫颈癌病变组织时序变化图像示意图，如图所示，相比于正常的宫颈组织，宫颈癌病变组织在不同时间点醋染图的外貌特征信息明显不一样，如涂抹醋酸后64秒的醋染图，相比较只涂抹生理盐水图，图像中位于左上方的病灶区域表面呈现出又厚又白的表征；92秒醋染图对比约64秒醋染图，其病灶区域内部边界更清晰以及呈现脊样隆起现象。因此不同时间点图像所表达的信息亦存在一定的差异。
故可以根据生理盐水图、64秒醋染图、92秒醋染图、124秒醋染图来判断阴道部位的宫颈癌病变情况。
S202、对图像进行特征提取，得到图像的图像特征集：
阴道内窥镜成像设备获取了五个时间点的阴道镜图像后，确认图像的图像标识，从特征提取模型集中选取相同标识的训练好的ResNet-50网络作为特征提取模型提取生理盐水图的多个图像特征。其中，每个图像特征的大小为11×11×2048。
其中，理盐水图、64秒醋染图、92秒醋染图、124秒醋染图的图像标识如下表(表1)所示：
表1、图像对应的图像标识示意表
其中，各特征提取模型对应的图像标识如下表(表2)所示：
表2、特征提取模型对应的图像标识示意表
阴道内窥镜成像设备获取了五个时间点的阴道镜图像后，使用训练好的ResNet-50A作为特征提取模型提取生理盐水图的多个图像特征，使用训练好的ResNet-50B作为特征提取模型提取64秒醋染图的多个图像特征，使用训练好的ResNet-50C作为特征提取模型提取92秒醋染图的多个图像特征，使用训练好的ResNet-50D作为特征提取模型提取124秒醋染图的多个图像特征。
将每张图像中提取的多个图像特征统称为该图像的图像特征集。
在此之前，本实施例可以预先训练好ResNet-50A、ResNet-50B、ResNet-50C、ResNet-50D特征提取模型，以ResNet-50A为例进行详细介绍：
1、采集多张标注了图像病理类型的训练图像：
通过网络从网络服务器的数据库中获取多张图像已将标识标注为宫颈癌初始图作为原始数据集，然后对该原始数据集里的图像进行数据预处理，调整图像尺寸大小至352×352大小，并且采用在线的以0.5概率随机进行左右翻转、顺时针90°、180°、270°旋转，对训练集进行数据增强，以得到满足预设的初始特征提取模型的输入标准的图像。
将处理后的训练图像分为第一类训练图像与第二类训练图像，并分别再将第一类训练图像分为第一类正样本与第一类负样本，将第二类训练图像分为第二类正样本与第二类负样本。
2、采用第一类训练图像对初始特征提取模型进行训练，得到待训练样本的预测值：
其中，该初始特征提取模型采用ResNet-50的特征提取部分，即ResNet-50除去最后一层全连接层的网络部分，作为初始特征提取模型。
ResNet-50的参数可以采用该模型在ImageNet数据集上预训练的参数，而各上采样层则采用方差0.01、均值为0的高斯分布进行初始化。
ResNet-50的结构如下表(表3)所示，网络分为5部分，分别为Conv1、Conv2_x、Conv3_x、Conv4_x以及Conv5_x。
表3、ResNet-50结构表
其中，每层的具体结构如图所示，Conv1包括7*7大小的卷积层，Conv2_x包括3*3大小的最大池化层、以及三个大小分别为1*1、3*3、1*1大小的卷积核，类似的，Conv3_x、Conv4_x以及Conv5_x也分别都包括三个大小分别为1*1、3*3、1*1大小的卷积核。
网络的五个部分中，每部分的开头均先进行下采样，下采样的步长均为2。每个卷积层之后接有ReLU和BN。
ResNet-50中可以有多个残差块，每个残差块具有三层，分别为1*1、3*3以及1*1的卷积层，除此之外，它还使用了“shortcut connection”的方式进行连接，用于降低减少计算和参数量。
3、根据各个样本的真实值和预测值对该特征提取模型进行收敛，得到训练好的特征提取模型。
计算生理盐水图的每个正样本的预测值和真实值之间的误差，得到每个正样本对应的正样本误差，以及计算每个负样本的预测值和真实值之间的误差，得到每个负样本对应的负样本误差，然后，将所有负样本误差和所有正样本误差进行卷积的反向传播，以达到收敛的目的，最终得到ResNet-50A。
其中，得到的ResNet-50A的标识为宫颈癌初始图。
最后，将标识为宫颈癌初始图的ResNet-50A置入特征提取集中，以便日后使用。
类似地，ResNet-50B、ResNet-50C、ResNet-50D训练方法与上述训练ResNet-50A的方法类似，在此不作赘述。
S203、在图像特征集之间进行特征集组合操作，得到特征集组合结果：
将ResNet-50A、ResNet-50B、ResNet-50C、ResNet-50D模型中Conv5_x网络部分输出大小为11×11×2048的特征图，通过全局池化层(global average pooling)得到大小为1×1×2048的特征图，即5条长度为2048的向量，并按照生理盐水图的图像特征、64秒醋染图的图像特征、92秒醋染图的图像特征、124秒醋染图的图像特征的顺序，如下所示进行拼接成一条长度为10240的长向量，得到特征集组合结果：
y1＝w1x1+w2x2+w3x3+w4x4+b
其中，y1为求得的组合特征，b与w为预设的参数，x1为生理盐水图的图像特征、x2为64秒醋染图的图像特征、x3为92秒醋染图的图像特征、x4为124秒醋染图的图像特征。
S204、对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果：
可以防止模型过拟合，促使模型学习特征向量的本质信息，本实施例将步骤S203中获得的长度为10240的长向量进行顺序打乱操作，得到顺序为64秒醋染图的图像特征、生理盐水图的图像特征、92秒醋染图的图像特征、124秒醋染图的图像特征，长度为10240的长向量，得到排序后特征集组合结果，使得网络分类性能更加鲁棒。
y2＝w2x2+w1x1+w3x3+w4x4+b
其中，y2为求得的排序后特征集组合结果，b与w为预设的参数，x1为生理盐水图的图像特征、x2为64秒醋染图的图像特征、x3为92秒醋染图的图像特征、x4为124秒醋染图的图像特征。
S205、根据排序后特征集组合结果确定图像的共同病理类型：
在本实施例中，在根据排序后特征集组合结果确定多张图像的共同病理类型之前还需要提前采用第二类训练图像训练联合决策模型，其具体步骤包括：
采用步骤S202中的ResNet-50A、ResNet-50B、ResNet-50C、ResNet-50D特征提取模型提取第二类训练图像的图像特征集，并如步骤S203对多个图像特征集进行特征组合，得到特征集组合结果，然后如步骤S204，对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果，最后将排序后特征集组合结果作为训练样本输入联合决策模型。根据特征集组合结果的真实值和预测值对该特征提取模型进行收敛，得到训练好的联合决策模型。
其中，联合决策模型为全连接层，其中的每个神经元与其前一层的所有神经元进行全连接，以整合具有类别区分性的局部信息。联合决策模型采用softmax进行图像分类，并且全连接层每个神经元的激励函数都采用ReLU函数。
训练好联合决策模型后，将排序后特征集组合结果输入联合决策模型，确定多张图像的共同病理类型。
其中，为全连接层(fully connected layers，FC)，x为输入FC的排序后特征集组合结果，即长度为10240的长向量，a1、a2为FC的输出，为多张图像的共同病理类型的概率：
a1＝W11*x+b1
a2＝W21*x+b2
a3＝W31*x+b3
其中，W与b为训练后的参数。
在每次迭代过程中，计算预测结果误差并反向传播到联合决策模型模型，计算梯度并更新联合决策模型模型的参数。
其中，计算预测结果误差的具体公式如下：
其中f为模型预测中各类的概率值，y为医生提供的类别金标准(Gold standard)。j与i皆为类别信息。
其中，金标准是当前临床医学界公认的诊断疾病的最可靠、最准确、最好的诊断方法临床上常用的金标准有组织病理学检查(活检、尸检)、手术发现、影像诊断(CT、核磁共振、彩色B超)、病原体的分离培养以及长期随访所得的结论。金标准一般是特异性诊断方法，可以正确区分为“有病”和“无病”。
其中，可以根据共同病理类型的概率判断多张图像的共同病理类型，其共同病理类型的概率与共同病理类型的示意表如下表(表4)所示：
| 共同病理类型的概率 | 0～0.5 | 0.5～1 |
| 共同病理类型 | 无病 | 有病 |
表4、共同病理类型的概率与共同病理类型的示意表
图2c是本申请实施例提供的图像分类方法的处理流程图，该图像分类方案可以从前端A获取生理盐水图、64秒醋染图、92秒醋染图、124秒醋染图，并在后端(本技术方案)中确定这些图像的共同病理类型，并将分类结果发送给前端B。采用本申请实施例提供的方案能够精确、快速地进行图像分类，从而升医学图像的病理分类效率。
由上可知，本申请实施例可以获取生理盐水图、64秒醋染图、92秒醋染图、124秒醋染图，并对每张图像进行特征提取，得到每张图像对应的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；根据排序后组合结果确定图像的共同病理类型。在本方案中，由于宫颈癌病变组织在不同时间点醋染图的外貌特征信息明显不一样，故可以通过对每个图像分别提取不同的图像特征，以获得它们之间的外貌信息差异(比如表面呈现出又厚又白的表征、脊样隆起表征等等)；再根据这些有差异的图像特征进行病理分类，从而通过联合决策的方式对图像的病理信息作出全局考虑，使得网络分类性能更加鲁棒。由此，该方案可以提升医学图像的病理分类效率。
为了更好地实施以上方法，本申请实施例还提供一种图像分类装置，该图像分类装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。
例如，如图3所示，该图像分类装置可以包括图像获取模块301、特征集模块302、特征组合模块303、特征排序模块304以及联合决策模块305如下：
(一)图像获取模块301，用于获取生命体组织在不同时间点的图像。
(二)特征集模块302，对图像进行特征提取，得到图像的图像特征集。
在一些实施例中，特征集模块302可以包括选取子模块和特征提取子模块，如下：
(1)选取子模块：用于从预设特征提取模型集合中选取图像对应的目标特征提取模型，其中，目标特征提取模型由标注了病理类型的训练图像集训练而成；
(2)特征提取子模块：用于采用目标特征提取模型对图像进行特征提取，得到图像的图像特征集。
在一些实施例中，选取子模块，在从预设特征提取模型集合中选取图像对应的目标特征提取模型之前，还可以具体用于：
从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像；
根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型；
将特征提取模型加入预设特征提取模型集合。
在一些实施例中，选取子模块，在从预设特征提取模型集合中选取图像对应的目标特征提取模型之前，还可以具体用于：
从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像；
根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型；
将特征提取模型加入预设特征提取模型集合。
在一些实施例中，选取子模块用于“根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型”时，具体用于：
根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到训练后初始特征提取模型；
去除训练后初始特征提取模型的全连接层，得到特征提取模型。
在一些实施例中，选取子模块在从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像之前，还可以具体用于：
确定当前随机数据增强操作的操作类型；
基于当前随机数据增强操作的操作类型对生命体组织在相同时间点的训练图像进行数据增强操作，得到多张数据增强处理后生命体组织在相同时间点的训练图像的训练图像。
(三)特征组合模块303，用于在图像特征集之间进行特征集组合操作，得到特征集组合结果。
(四)特征排序模块304，用于对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果。
在一些实施例中，特征排序模块304可以包括随机排序子模块和特征组合子模块，如下：
(1)随机排序子模块：用于对特征集组合结果中的图像特征进行随机排序，得到随机排序后的图像特征。
(2)特征组合子模块：用于对随机排序后的图像特征进行特征组合，得到排序后组合结果。
(五)联合决策模块，用于根据排序后特征集组合结果确定图像的共同病理类型。
在一些实施例中，联合决策模块305可以包括概率计算子模块和确定子模块，如下：
(1)概率计算子模块：基于排序后组合结果计算图像属于各个病理类型的概率。
(2)确定子模块：用于根据概率，确定生命体组织在不同时间点的图像的共同病理类型。
在一些实施例中，概率计算子模块，可以具体用于：
获取排序后特征集组合结果中特征对应的预设特征权重；
基于预设特征权重对排序后特征集组合结果中的特征进行加权处理，得到加权结果；
根据加权结果计算图像属于各个病理类型的概率。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的图像分类装置由图像获取模块301获取生命体组织在不同时间点的图像；特征集模块302对图像进行特征提取，得到图像的图像特征集；特征组合模块303在图像特征集之间进行特征集组合操作，得到特征集组合结果；特征排序模块304对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果；联合决策模块305根据排序后特征集组合结果确定图像的共同病理类型。在本方案中，每个图像表达相同病理时的特征信息存在差异，故可以通过对每个图像分别提取图像特征，以获得它们之间有差异的图像特征，再综合这些有差异的图像特征进行病理分类，从而通过联合决策的方式对图像的病理信息作出全局考虑。由此，该方案可以提升医学图像的病理分类效率。
此外，本发明实施例还提供一种内窥镜成像设备，具有图像采集、图像分类等一体化的功能。
当内窥镜成像设备具有图像采集功能时，可以采集人体体内的情况。比如，可以使用内窥镜经人体的天然孔道，或者是经手术做的小切口进入人体内，导入需要预检查的器官、组织等等，可直接窥视有关部位的变化。
当内窥镜成像设备具有图像分类功能时，其中，处理器可以从存储器中加载指令，用于执行以下步骤：
获取生命体组织在不同时间点的图像；对图像进行特征提取，得到图像的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果；根据排序后特征集组合结果确定图像的共同病理类型。
在一些实施例中，当执行步骤对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果时，处理器具体执行以下步骤：
对特征集组合结果中的图像特征进行随机排序，得到多个随机排序后的图像特征；对多个随机排序后的图像特征进行特征组合，得到排序后特征集组合结果。
在一些实施例中，当执行步骤根据排序后特征集组合结果确定多张图像的共同病理类型时，处理器具体执行以下步骤：
基于排序后特征集组合结果计算图像属于各个病理类型的概率；根据概率，确定生命体组织在不同时间点的图像的共同病理类型。
在一些实施例中，当执行步骤基于排序后特征集组合结果计算多个图像属于各个病理类型的概率时，处理器具体执行以下步骤：
获取排序后特征集组合结果中特征对应的预设特征权重；基于预设特征权重对排序后特征集组合结果中的特征进行加权处理，得到加权结果；根据加权结果计算图像属于各个病理类型的概率。
在一些实施例中，当执行步骤对每张图像进行特征提取，得到每张图像对应的图像特征集时，处理器具体执行以下步骤：
从预设特征提取模型集合中选取图像对应的目标特征提取模型，其中，目标特征提取模型由标注了病理类型的训练图像集训练而成；采用目标特征提取模型对图像进行特征提取，得到图像的图像特征集。
在一些实施例中，当执行步骤之前，处理器具体还执行以下步骤：
从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像；根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型；将特征提取模型加入预设特征提取模型集合。
在一些实施例中，当执行步骤根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型时，处理器具体执行以下步骤：
根据多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到训练后初始特征提取模型；去除训练后初始特征提取模型的全连接层，得到特征提取模型。
在一些实施例中，当执行步骤从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像之前时，处理器具体执行以下步骤：
确定当前随机数据增强操作的操作类型；基于当前随机数据增强操作的操作类型对生命体组织在相同时间点的训练图像进行数据增强操作，得到多张数据增强处理后生命体组织在相同时间点的训练图像的训练图像。
如图4所示，其示出了本发明实施例所涉及的内窥镜成像设备的结构示意图，具体来讲：
该内窥镜成像设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入单元404、图像采集单元405以及照明单元406等部件。本领域技术人员可以理解，图4中示出的内窥镜成像设备结构并不构成对内窥镜成像设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该内窥镜成像设备的控制中心，利用各种接口和线路连接整个内窥镜成像设备的各个部分，通过运行或进行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，进行内窥镜成像设备的各种功能和处理数据，从而对内窥镜成像设备进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理模型和调制解调处理模型，其中，应用处理模型主要处理操作系统、用户界面和应用程序等，调制解调处理模型主要处理无线通信。可以理解的是，上述调制解调处理模型也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而进行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序，比如图像播放功能等等；存储数据区可存储根据内窥镜成像设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储模型，还可以包括非易失性存储模型，例如至少一个磁盘存储模型件、闪存模型件、或其他易失性固态存储模型件。相应地，存储器402还可以包括存储模型控制模型，以提供处理器401对存储器402的访问。
内窥镜成像设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换模型或者逆变模型、电源状态指示模型等任意组件。
该内窥镜成像设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该内窥镜成像设备还可包括图像采集单元405，该图像采集单元405可用于采集多张生命体组织在不同时间点的图像，包括一个或多个内窥镜摄像机，比如硬管镜和软管镜等等，该内窥镜摄像机可以使用光学接口与内窥镜成像设备相连，比如标准C型防水变焦光学接口、标准C型防水硬直通光学接口等等。
该内窥镜成像设备还可包括照明单元406，该照明单元406可用于辅助采集多张生命体组织在不同时间点的图像，使得采集的多张生命体组织在不同时间点的图像明亮清晰，照明单元406包括可以发出冷光源的光源装置，例如LED、光导纤维束的光束等等。
尽管未示出，内窥镜成像设备还可以包括显示单元，比如医用监视器等，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的内窥镜成像设备由处理器401运行存储在存储器402中的应用程序获取生命体组织在不同时间点的图像；对图像进行特征提取，得到图像的图像特征集；在图像特征集之间进行特征集组合操作，得到特征集组合结果；对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果；根据排序后特征集组合结果确定图像的共同病理类型。在本方案中，每个图像表达相同病理时的特征信息存在差异，故可以通过对每个图像分别提取图像特征，以获得它们之间有差异的图像特征，再综合这些有差异的图像特征进行病理分类，从而通过联合决策的方式对图像的病理信息作出全局考虑。由此，该方案可以提升医学图像的病理分类效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理模型进行加载和进行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理模型进行加载，以进行本申请实施例所提供的任一种图像分类方法中的步骤。例如，该指令可以进行如下步骤：
获取生命体组织在不同时间点的图像；
对图像进行特征提取，得到图像的图像特征集；
在图像特征集之间进行特征集组合操作，得到特征集组合结果；
对特征集组合结果中的图像特征进行特征排序，得到排序后特征集组合结果；
根据排序后特征集组合结果确定图像的共同病理类型。
其中，该存储介质可以包括：只读存储模型(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以进行本申请实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像分类方法、装置和内窥镜成像设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种图像分类方法，其特征在于，包括：
获取生命体组织在不同时间点的图像；
对所述图像进行特征提取，得到所述图像的图像特征集；
在所述图像特征集之间进行特征集组合操作，得到特征集组合结果；
对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；
根据所述排序后组合结果确定所述图像的共同病理类型。
2.如权利要求1所述的图像分类方法，其特征在于，对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果，包括：
对所述特征集组合结果中的图像特征进行随机排序，得到随机排序后的图像特征；
对所述随机排序后的图像特征进行特征组合，得到排序后组合结果。
3.如权利要求1所述的图像分类方法，其特征在于，根据所述排序后组合结果确定所述图像的共同病理类型，包括：
基于所述排序后组合结果计算所述图像属于各个病理类型的概率；
根据所述概率，确定所述生命体组织在不同时间点的图像的共同病理类型。
4.如权利要求3所述的图像分类方法，其特征在于，基于所述排序后组合结果计算所述图像属于各个病理类型的概率，包括：
获取所述排序后组合结果中的特征对应的预设特征权重；
基于所述预设特征权重对所述排序后组合结果中的特征进行加权处理，得到加权结果；
根据所述加权结果计算所述图像属于各个病理类型的概率。
5.如权利要求1所述的图像分类方法，其特征在于，对所述图像进行特征提取，得到所述图像的图像特征集，包括：
从预设特征提取模型集合中选取所述图像对应的目标特征提取模型，其中，所述目标特征提取模型由标注了病理类型的训练图像集训练而成；
采用所述目标特征提取模型对所述图像进行特征提取，得到所述图像的图像特征集。
6.权利要求5所述的图像分类方法，其特征在于，从预设特征提取模型集合中选取所述图像对应的目标特征提取模型之前，还包括：
从标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像；
根据所述多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型；
将所述特征提取模型加入预设特征提取模型集合。
7.如权利要求6所述的图像分类方法，其特征在于，根据所述多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到特征提取模型，包括：
根据所述多张生命体组织在相同时间点的训练图像对初始特征提取模型进行训练，得到训练后初始特征提取模型；
去除所述训练后初始特征提取模型的全连接层，得到特征提取模型。
8.如权利要求6所述的图像分类方法，其特征在于，从所述标注了病理类型的训练图像集中选取多张生命体组织在相同时间点的训练图像之前，还包括：
确定当前随机数据增强操作的操作类型；
基于所述当前随机数据增强操作的操作类型对所述生命体组织在相同时间点的训练图像进行数据增强操作，得到多张数据增强处理后生命体组织在相同时间点的训练图像的训练图像。
9.一种图像分类装置，其特征在于，包括：
图像获取模块，用于获取生命体组织在不同时间点的图像；
特征集模块，用于对所述图像进行特征提取，得到所述图像的图像特征集；
特征组合模块，用于在所述图像特征集之间进行特征集组合操作，得到特征集组合结果；
特征排序模块，用于对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；
联合决策模块，用于根据所述排序后组合结果确定所述图像的共同病理类型。
10.一种内窥镜成像设备，所述内窥镜成像设备，所述内窥镜成像设备包括影像采集单元、处理器和存储器，其中：
所述图像采集单元用于采集命体组织在不同时间点的图像；
所述存储器用于存储图像数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取生命体组织在不同时间点的图像；
对所述图像进行特征提取，得到所述图像的图像特征集；
在所述图像特征集之间进行特征集组合操作，得到特征集组合结果；
对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果；
根据所述排序后组合结果确定所述图像的共同病理类型。
11.如权利要求10所述的内窥镜成像设备，其特征在于，当执行步骤对所述特征集组合结果中的图像特征进行特征排序，得到排序后组合结果时，所述处理器具体执行以下步骤：
对所述特征集组合结果中的图像特征进行随机排序，得到随机排序后的图像特征；
对所述随机排序后的图像特征进行特征组合，得到排序后组合结果。
12.如权利要求10所述的内窥镜成像设备，其特征在于，当执行步骤根据所述排序后组合结果确定所述图像的共同病理类型时，所述处理器具体执行以下步骤：
基于所述排序后组合结果计算所述图像属于各个病理类型的概率；
根据所述概率，确定所述生命体组织在不同时间点的图像的共同病理类型。
13.如权利要求12所述的内窥镜成像设备，其特征在于，当执行步骤基于所述排序后组合结果计算所述图像属于各个病理类型的概率时，所述处理器具体执行以下步骤：
获取所述排序后组合结果中特征对应的预设特征权重；
基于所述预设特征权重对所述排序后组合结果中的特征进行加权处理，得到加权结果；
根据所述加权结果计算所述图像属于各个病理类型的概率。
14.如权利要求10所述的内窥镜成像设备，其特征在于，当执行步骤对所述图像进行特征提取，得到所述图像的图像特征集时，所述处理器具体执行以下步骤：
从预设特征提取模型集合中选取所述图像对应的目标特征提取模型，其中，所述目标特征提取模型由标注了病理类型的训练图像集训练而成；
采用所述目标特征提取模型对所述图像进行特征提取，得到所述图像的图像特征集。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～8任一项所述的图像分类方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910161562.7A CN109948671B (zh) | 2019-03-04 | 2019-03-04 | 图像分类方法、装置、存储介质以及内窥镜成像设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910161562.7A CN109948671B (zh) | 2019-03-04 | 2019-03-04 | 图像分类方法、装置、存储介质以及内窥镜成像设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109948671A true CN109948671A (zh) | 2019-06-28 |
| CN109948671B CN109948671B (zh) | 2021-11-30 |
Family
ID=67008289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910161562.7A Active CN109948671B (zh) | 2019-03-04 | 2019-03-04 | 图像分类方法、装置、存储介质以及内窥镜成像设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948671B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111932492A (zh) * | 2020-06-24 | 2020-11-13 | 数坤（北京）网络科技有限公司 | 一种医学图像处理方法、装置及计算机可读存储介质 |
| CN112001442A (zh) * | 2020-08-24 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 特征检测方法、装置、计算机设备及存储介质 |
| CN113139944A (zh) * | 2021-04-25 | 2021-07-20 | 山东大学齐鲁医院 | 一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法 |
| CN113177616A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、设备及存储介质 |
| WO2023103883A1 (zh) * | 2021-12-10 | 2023-06-15 | 杭州海康威视数字技术股份有限公司 | 对象自动标注方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101167087A (zh) * | 2005-04-28 | 2008-04-23 | 伊斯曼柯达公司 | 在对图像中的人的识别过程中使用时间 |
| CN102930286A (zh) * | 2012-09-18 | 2013-02-13 | 重庆大学 | 老年痴呆症图像早期诊断系统 |
| WO2015054666A1 (en) * | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| CN105518684A (zh) * | 2013-08-27 | 2016-04-20 | 哈特弗罗公司 | 用于预测冠状动脉病变的位置、开始、和/或变化的系统和方法 |
| CN107480676A (zh) * | 2017-07-28 | 2017-12-15 | 浙江大华技术股份有限公司 | 一种车辆颜色识别方法、装置和电子设备 |
| CN107665736A (zh) * | 2017-09-30 | 2018-02-06 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108171260A (zh) * | 2017-12-15 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法及系统 |
-
2019
- 2019-03-04 CN CN201910161562.7A patent/CN109948671B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101167087A (zh) * | 2005-04-28 | 2008-04-23 | 伊斯曼柯达公司 | 在对图像中的人的识别过程中使用时间 |
| CN102930286A (zh) * | 2012-09-18 | 2013-02-13 | 重庆大学 | 老年痴呆症图像早期诊断系统 |
| CN105518684A (zh) * | 2013-08-27 | 2016-04-20 | 哈特弗罗公司 | 用于预测冠状动脉病变的位置、开始、和/或变化的系统和方法 |
| WO2015054666A1 (en) * | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| CN107480676A (zh) * | 2017-07-28 | 2017-12-15 | 浙江大华技术股份有限公司 | 一种车辆颜色识别方法、装置和电子设备 |
| CN107665736A (zh) * | 2017-09-30 | 2018-02-06 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108171260A (zh) * | 2017-12-15 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111932492A (zh) * | 2020-06-24 | 2020-11-13 | 数坤（北京）网络科技有限公司 | 一种医学图像处理方法、装置及计算机可读存储介质 |
| CN112001442A (zh) * | 2020-08-24 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 特征检测方法、装置、计算机设备及存储介质 |
| CN112001442B (zh) * | 2020-08-24 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 特征检测方法、装置、计算机设备及存储介质 |
| CN113139944A (zh) * | 2021-04-25 | 2021-07-20 | 山东大学齐鲁医院 | 一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法 |
| CN113139944B (zh) * | 2021-04-25 | 2023-05-12 | 山东大学齐鲁医院 | 一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法 |
| CN113177616A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、设备及存储介质 |
| WO2023273668A1 (zh) * | 2021-06-29 | 2023-01-05 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、设备、存储介质及程序产品 |
| WO2023103883A1 (zh) * | 2021-12-10 | 2023-06-15 | 杭州海康威视数字技术股份有限公司 | 对象自动标注方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109948671B (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948671A (zh) | 图像分类方法、装置、存储介质以及内窥镜成像设备 | |
| Sun et al. | Computer-aided diagnosis in histopathological images of the endometrium using a convolutional neural network and attention mechanisms | |
| Liu et al. | CVM-Cervix: A hybrid cervical Pap-smear image classification framework using CNN, visual transformer and multilayer perceptron | |
| WO2020151536A1 (zh) | 一种脑部图像分割方法、装置、网络设备和存储介质 | |
| CN109543719A (zh) | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 | |
| CN108230296A (zh) | 图像特征的识别方法和装置、存储介质、电子装置 | |
| CN109102491A (zh) | 一种胃镜图像自动采集系统及方法 | |
| CN111429407B (zh) | 基于双通道分离网络的胸部x光疾病检测装置及方法 | |
| CN109670510A (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统和方法 | |
| CN108615236A (zh) | 一种图像处理方法及电子设备 | |
| CN112396621B (zh) | 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法 | |
| CN113011485A (zh) | 多模态多病种长尾分布眼科疾病分类模型训练方法和装置 | |
| Pal et al. | Deep metric learning for cervical image classification | |
| Yu et al. | Automatic classification of cervical cells using deep learning method | |
| Huan et al. | Deep convolutional neural networks for classifying body constitution based on face image | |
| CN111160135A (zh) | 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统 | |
| CN116681958B (zh) | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 | |
| CN111369501B (zh) | 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法 | |
| Masmoudi et al. | Optimal feature extraction and ulcer classification from WCE image data using deep learning | |
| CN114398979A (zh) | 一种基于特征解耦的超声图像甲状腺结节分类方法 | |
| CN113222957A (zh) | 一种基于胶囊镜图像的多类别病灶高速检测方法及系统 | |
| CN112102332A (zh) | 基于局部分类神经网络的癌症wsi的分割方法 | |
| CN109241963A (zh) | 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法 | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| Noor et al. | GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210926 Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |