CN109117890B - 一种图像分类方法、装置和存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像分类方法、装置和存储介质；本发明实施例可以采集生命体组织的多张生命体组织图像；然后，根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像，该区域信息包括区域位置信息；对检测到的靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对待识别图像进行分类，得到生命体组织图像对应的分类结果；当得到采集到的所有生命体组织图像对应的分类结果时，对生命体组织图像的分类结果进行融合，得到最终分类结果；该方案可以减少漏检的概率，提高图像分类的准确率和有效性。

Description

一种图像分类方法、装置和存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种图像分类方法、装置和存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的发展，AI在医学领域的应用越来越广泛。比如，可以通过AI来实现宫颈癌的病变诊断或检测等。

目前传统的基于AI的宫颈癌病变诊断方法是获取电子内窥镜设备采集到的宫颈图像，利用深度学习技术对采集到的宫颈图像进行分类，并输出病变概率。但是，在对现有技术的研究和实践过程中，本发明的发明人发现，由于对整个宫颈图像进行分类，当某些病变区域较小时，现有方案在对宫颈图像进行检测(分类)时，容易出现漏检的情况，导致图像分类的准确率和有效性较低。

发明内容

本发明实施例提供一种图像分类方法、装置和存储介质，可以降低漏检的概率，提高图像分类的准确性和有效性。

本发明实施例提供一种图像分类方法，包括：

采集生命体组织的多张生命体组织图像；

根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

对检测到的靶向区域图像进行预处理，得到待识别图像；

采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

本发明实施例还提供另一种图像分类方法，包括：

采集生命体组织的多张生命体组织图像；

采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；

采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；

采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果。

相应的，本发明实施例还提供一种图像分类装置，包括：

采集单元，用于采集生命体组织的多张生命体组织图像；

检测单元，用于根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

预处理单元，用于对检测到的靶向区域图像进行预处理，得到待识别图像；

分类单元，用于采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

融合单元，用于当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

相应的，本发明实施例还提供另一种图像分类装置，包括：

采集单元，用于采集生命体组织的多张生命体组织图像；

图像特征提取单元，用于采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；

时序特征提取单元，用于采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；

分类单元，用于采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种图像分类方法中的步骤。

本发明实施例可以采集生命体组织的多张生命体组织图像；根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像，该区域信息包括区域位置信息；对检测到的靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对待识别图像进行分类，得到生命体组织图像对应的分类结果；当得到采集到的所有生命体组织图像对应的分类结果时，对生命体组织图像的分类结果进行融合，得到最终分类结果；由于该方案可以从整张图像中检测出靶向区域图像，对检测出的靶向区域图像进行分类，并且对每张图像的分类结果进行融合得到最终分类结果从而实现病变诊断；可以避免漏掉靶向区域较小的图像，因此，相对于现有只对整张图像来进行直接分类的方案而言，可以大大减少漏检的概率，提高图像分类的准确率和有效性；进而提升了病变诊断的准确性和有效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的图像分类系统的场景示意图；

图1b是本发明实施例提供的图像分类方法的流程图；

图2a是本发明实施例提供的图像分类方法的另一流程图；

图2b是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的图像分类的架构示例图；

图2c是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的图像分类的另一架构示例图；

图3是本发明实施例提供的辨别区域识别的流程示意图；

图4a是本发明实施例提供的辨别区域识别的另一流程示意图；

图4b是本发明实施例提供的关于宫颈转化区类型的图像识别的架构示意图；

图5是本发明实施例提供的活检区域预测的流程图；

图6a是本发明实施例提供的活检区域预测的另一流程图；

图6b是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的活检区域预测的架构示例图；

图7a是本发明实施例提供的图像分类方法的另一流程示意图；

图7b是本发明实施例提供的阴道镜图像(宫颈癌前诊断)分类的架构示意图；

图8a是本发明实施例提供的图像分类装置的结构示意图；

图8b是本发明实施例提供的图像分类装置的另一结构示意图；

图8c是本发明实施例提供的图像分类装置的另一结构示意图；

图8d是本发明实施例提供的图像分类装置的另一结构示意图；

图9a是本发明实施例提供的图像分类装置的另一结构示意图；

图9b是本发明实施例提供的图像分类装置的另一结构示意图；

图9c是本发明实施例提供的图像分类装置的另一结构示意图；

图9d是本发明实施例提供的图像分类装置的另一结构示意图；

图10是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像分类方法、装置和存储介质。

本发明实施例提供一种图像分类系统，该系统包括本发明实施例任一提供的图像分类理装置，该图像分类装置可以集成在网络设备中，该终端可以为，该网络设备可以是终端或服务器等设备，其中，该终端可以包括平板电脑、笔记本电脑或个人计算机(PC，Personal Computer)等。

此外，该系统还可以包括其他设备，比如，图像采集设备，该图像采集设备可以为电子内窥镜设备，如阴道镜、胃镜等等。

参考图1a，本发明实施例提供了一种图像分类系统，包括：电子内窥镜设备10以及网络设备20，网络设备20通过网络与电子内窥镜设备10连接。

其中，电子内窥镜设备10可以采集生命体的生命体组织图像，并向网络设备20发送采集到的生命体组织图像。

该电子内窥设备10可以是一种可插入生命体如人体体腔和人体脏器内腔进行直接观察、诊断、治疗的电子光学仪器。将电子内窥镜设备的探头插入人体体腔内，电子内窥镜设备将会采集输出图像信号，以便医生观察和诊断。

该电子内窥镜设备可以为阴道镜、胃镜等，此时，电子设备内窥镜设备可以采集阴道镜图像或胃镜图像，并向网络设备发送采集到的阴道镜图像或胃镜图像进行分类诊断。

网络设备集成有本实施例实施的图像分类装置，该网络设备可以是终端或服务器等设备。例如，参见图1a，网络设备可以采集生命体组织的多张生命体组织图像比如，具体可以接收一些图像采集设备，如电子内窥镜设备10(如阴道镜、胃镜等)等发送的多张生命体组织图像(如阴道镜图像或胃镜图像等)，然后，根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像，区域信息包括区域位置信息；对检测到的靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对待识别图像进行分类，得到生命体组织图像对应的分类结果(分为病变和正常)，预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

可选的，此后还可以网络设备还可以获取最终分类结果的预测概率(如病变预测概率、正常预测概率等)，然后输出分类结果和分类结果的预测概率，以供医生进行参考。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

上述图1a的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图1a的系统结构，基于该系统架构，提出本发明各个实施例。

本实施例将从图像分类装置的角度进行描述，该图像分类装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备，其中，该终端可以包括平板电脑、笔记本电脑或个人计算机(PC，Personal Computer)等。

在一实施例中，供了一种图像分类方法，该方法可以由网络设备的处理器执行，如图1b所示，该图像分类方法的具体流程可以如下：

101、采集生命体组织的多张生命体组织图像。

其中，生命体组织的多张生命体组织图像可以包括同一生命体组织在不同时间点的生命体组织图像；比如，可以为同一病人同一次检查的不同时间点的多张生命体组织图像，譬如，可以采集同一病人在某一次宫颈检查的不同时间点的多张宫颈图像。

其中，图像采集方式可以有多种，例如，在一实施例中，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给该图像分类装置，即，图像分类装置具体可以接收图像采集设备发送的待检测的生命体组织图像。

又例如，在一实施例中，还可以由图像分类装置自己采集，比如，图像分类装置可以从接收到生命体组织的生命体组织图像中选择多张生命体组织图像。例如，图像采集设备可以实时向图像分类装置发送采集到的生命体组织图像，图像分类装置可以从接收到图像中选择多张图像。

其中，生命体组织图像意为需要进行检测的生命体组织图像，所谓生命体组织图像，指的是生命体(有生命形态的独立个体就是生命体，能对外界刺激做出相应反映)的某组成部分(即组织)的图像，生命体组织可以包括：体的肠胃、心脏、喉咙和阴道等等；此时，生命体组织图像可以为人体的肠胃、心脏、喉咙和阴道等的图像，又比如还可以为狗的肠胃、甚至口腔或皮肤等的图像。

在一实施例中，本发明实施例图像分类方法应用到宫颈癌或癌前病变的诊断中的情况下，生命体组织图像可以为宫颈上皮染醋酸后醋酸白上皮的图像。此时，可以采集宫颈染醋酸后醋酸白上皮的多张图像。

其中，醋酸白上皮：又称醋白上皮，是指加醋酸后出现的白色斑块，未加醋酸以前与周围上皮颜色相同。

在一实施例中，还可以基于预设时间点采集生命体组织的多张生命体组织图像，也即，步骤“采集生命体组织的多张生命体组织图像”，可以包括：

根据预设时间点采集生命体组织的多张生命体组织图像。

其中，预设时间点可以为宫颈上皮染醋酸后的时间点，该时间点可以根据实际需求设定，比如，可以包括宫颈上皮染醋酸后的0秒、70秒、90秒、120秒、150秒等等。

具体地，可以根据预设时间点从接收到生命体组织图像中选择多张生命体组织图像；例如，在对宫颈上皮染醋酸后，电子内窥镜如阴道镜可以实时采集宫颈上皮染醋酸后的图像，并发送给图像分类装置(可以集成在网络设备如服务器中)；图像分类装置可以根据预设时间点从接收到图像中选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

又例如，在一实施例中，可以接收由电子内窥镜根据预设时间点采集的生命体组织的多张生命体组织图像；例如，在一实施例中，可以在对生命体组织加醋酸后，电子内窥镜设备可以根据预设时间点选择多张醋酸白上皮图像上报给图像分类装置；例如，在医生采用阴道镜检测宫颈图像时，电子内窥镜设备或者图像分类装置可以选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像，并上报给图像分类装置。

本发明实施例中，基于预设时间点采集或选择图像的方式可以包括自动选择、人工选择两种方式；比如，根据上述接收的方式，可以图像分类装置可以根据预设时间点自动选择采集的生命体组织的多张生命体组织图像；例如，根据预设时间点自动选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

此外，图像分类装置还可以基于人工选择方式来采集或选择图像，比如，医生可以参考预设时间点的参考手动触发电子内窥镜或者图像分类装置采集多张生命体组织图像；比如，手动触发电子内窥镜或者图像分类装置选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

102、根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像，区域信息包括区域位置信息。

其中，靶向区域图像可以为生命组织图像中可能发生病变的区域图像，或者生命体组织图像中需要诊断识别的区域，该区域可以根据实际需求设定；比如，宫颈图像的中心区域(一般宫颈癌前病变会发生在宫颈的中心区域)等。本发明实施例可以基于样本图像中标注的靶向区域的区域信息来检测当前生命体组织图像中的靶向区域图像。

其中，标注靶向区域为由标注人员在生命组织样本图像中标注的靶向区域，比如，靶向区域的标注可以由标注审核人员根据专业医生的指导进行标注，靶向区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注靶向区域，并给出区域信息如区域位置信息(如二维坐标)和区域尺寸(也即区域大小)，等等。

在一实施例中，根据标注靶向区域的区域信息在生命组织样本图像中确定靶向区域，然后，提取靶向区域内的图像，得到靶向区域图像。也即，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

根据生命组织样本图像中标注靶向区域的区域信息，生命体组织图像中确定靶向区域；

提取靶向区域内的图像，得到靶向区域图像。

其中，区域信息可以包括区域位置信息，该区域位置信息可以根据实际需求规定，比如，当采用矩形框标注靶向区域时，区域位置信息可以包括标注靶向区域的左上角点的位置信息、右上角点的位置信息、或者左下角点的位置信息等等。实际应用中，区域位置信息可以通过坐标值表示，如通过二者坐标值。

其中，区域信息还可以包括区域尺寸信息，比如，区域的高度、宽度等等尺寸信息。

基于区别信息检测靶向区域图像的方式有多种，比如，在一实施例中，可以仅仅基于标注靶向区域的区域位置信息检测靶向区域图像，又比如，在一实施例中可以结合区域位置信息和区域尺寸信息检测靶向区域图像。

为了提升靶向区域图像的检测准确性，在一实施例中，还可以获取多个标注靶向区域的区域信息，然后，基于多个标注靶向区域的区域信息来检测靶向区域图像。也即，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

采集多个标注了靶向区域的生命体组织样本图像；

获取生命组织样本图像中标注靶向区域的区域信息，得到多个标注靶向区域的区域信息；

根据多个标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像。

在一实施例中，可以基于区域位置信息和区域尺寸信息检测靶向区域图像，比如，计算平均区域位置和平均区域尺寸，然后，基于平均区域位置和平均区域尺寸来检测靶向区域图像。比如，步骤“根据多个标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

获取标注靶向区域的平均位置信息和平均尺寸信息；

根据平均位置信息和平均尺寸信息，从生命体组织图像中检测靶向区域图像。

比如，可以标注靶向区域的平均位置信息和平均尺寸信息，在生命体组织图像中确定一个区别，该区域即为靶向区域，然后，从提取该区域内的图像，得到靶向区域图像。

例如，标注审核人员根据专业医生指导，在生命体组织图像(如阴道镜图像)中标注靶向区域(矩形框)，给出区域位置的二维坐标和区域大小；然后，图像分类装置可以统计计算所有标注区域的位置和大小均值，并作为生命体组织图像(如阴道镜图像)的靶向区域。

假设共有n个标注区域为[x₁,y₁,w₁,h₁]，[x₂,y₂,w₂,h₂]…[x_n,y_n,w_n,h_n]，其中(x,y)为标注框的左上角点的坐标(也即标注区域的位置坐标)，w为区域宽度，h为区域高度，那么靶向区域为[∑x/n,∑y/n,∑w/n,∑h/n]；此时，可以提取靶向区域内的图像，得到靶向区域图像。

103、对检测到的靶向区域图像进行预处理，得到待识别图像。

本发明实施例中，在检测到靶向区域图像时，采用预设算法对靶向区域进行预处理，得到待识别图像。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对靶向区域进行重置等，即步骤“采用预设算法对靶向区域图像进行预处理，得到待识别图像”可以包括：采用预设算法对靶向区域图像进行重置，得到待识别图像。

其中，重置指的是将图像的尺寸缩放到预设尺寸，也即，步骤“，对检测到的靶向区域图像进行预处理，得到待识别图像”，包括：将检测到的靶向区域图像的尺寸缩放到预设尺寸，得到待识别图像。

其中，该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等。

104、采用预设病变分类模型对该待识别图像进行分类，得到生命体组织图像对应的分类结果。

例如，具体可以将待识别图像导入该病变分类模型中进行分类，若该待识别图像表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别图像存在病变情况，则该病变分类模型会输出表示病变的分类结果。也即，病变分类模型的分类结果可以包括：正常、病变等。

其中，该预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该图像分类装置，或者，也可以由该图像分类装置自行进行训练；即在步骤“采用预设病变分类模型对待识别图像进行分类”之前，该图像分类方法还可以包括：

(1)获取多个标注了病理分析结果的区域样本图像。

其中，获取该标注了病理分析结果的区域样本图像的方式可以有多种，比如，可以采用如下任意一种方式：

方式一(样本图像已标注靶向区域)：

采集多个标注了靶向区域的生命体组织样本图像，根据标注(即靶向区域的标注)从该生命体组织样本图像中截取靶向区域，得到靶向区域样本，采用预设算法对靶向区域样本进行预处理，对预处理后的靶向区域样本进行病理分析结果标注，得到区域样本图像。

方式二(样本图像已标注靶向区域或未标注靶向区域)：

采集多个生命体组织样本图像，采用预设靶向区域检测模型对该生命体组织样本图像进行靶向区域检测，若检测到靶向区域，则截取检测到的靶向区域作为靶向区域样本，并采用预设算法对靶向区域样本进行预处理，对预处理后的靶向区域样本进行病理分析结果标注，得到区域样本图像。

其中，靶向区域的标注可以由标注审核人员根据专业医生的指导进行标注，靶向区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注靶向区域，并给出二维坐标和区域大小，等等。

同理，病理分析结果的标注也可以由标注审核人员根据专业医生的指导进行标注，靶向区域的标注规则也可根据实际应用的需求而定，比如，可以采用“金标准”来确定“病理分析结果”，并将该具体的“病理分析结果”作为标注时所采用的标签，等等。其中，所谓"金标准"是指当前临床医学界公认的诊断疾病的最可靠、最准确、以及最好的诊断方法。临床上常用的金标准有组织病理学检查(活检和尸检等)、手术发现、影像诊断(CT、核磁共振、彩色和B超等)、病原体的分离培养以及长期随访所得的结论。金标准一般是特异性诊断方法，可以正确区分为“有病”和“无病”。

此外，需说明的是，不管是在方式一还是方式二中，均需要采用预设算法对靶向区域样本进行预处理，该预处理与在进行“图像分类”之前的预处理类似，即采用图像重置，比如具体可以如下：

比如，采集多个标注了靶向区域的生命体组织样本图像，根据标注(即靶向区域的标注)从该生命体组织样本图像中截取靶向区域，得到靶向区域样本，采用预设算法对靶向区域样本的尺寸缩放到预设尺寸(如“352×352”)，对缩放后的靶向区域样本进行病理分析结果标注，得到区域样本图像。

其中，该预设尺寸可以根据实际应用的需求进行设置，在此不作赘述。

(2)根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。

例如，具体可以将区域样本图像输入至预设分类模型中进行分类，得到预测的分类结果，比如病变或正常，将该预测的分类结果和标注的病理分析结果(标注的标签为病变或正常)进行收敛，使得预测的分类结果与标注的病理分析结果之间的误差最小化，即可完成一次训练，以此类推进行多次训练，直至所有区域样本图像训练完毕，便可得到最终所需的病变分类模型。

本发明实施例，可以通过上述步骤102至104对每张生命体组织图像进行分类处理，可以得到每张生命体组织图像对应的分类结果。

在一实施例中，可以并行地对每张生命体组织图像进行分类处理，比如，可以同时并行地对多张不同的生命体组织图像进行靶向区域检测、区域预处理以及分类处理等等。

在一实施例中，还可以按照一定时序依次对每张生命体组织图像进行分类处理，比如，先对图像1进行靶向区域检测、区域预处理以及分类处理，然后，对图像2进行靶向区域检测、区域预处理以及分类处理……依次类推直到对所有的图像进行靶向区域检测、区域预处理以及分类处理。

具体地，可以先确定每张图像的分类处理时序，然后，基于分类处理时序确定每次待分类的生命体组织图像，并对该生命体组织图像进行靶向区域检测、区域预处理以及分类处理。

比如，本发明实施例方法在采集多张图像之后，还可以包括：

根据生命体组织图像的采集时间，从多张生命体组织图像中确定当前待分类的目标生命体组织图像；

此时，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：根据生命组织样本图像中标注靶向区域的区域信息，从目标生命体组织图像中检测靶向区域图像；

在得到所有生命体图像对应的分类结果之前，本发明实施例方法还可以包括：

当得到目标生命体组织图像的分类结果时，返回执行根据生命体组织图像的分类处理时序，从多张生命体组织图像中确定当前待分类的目标生命体组织图像的步骤，直至所有生命体组织图像均被分类处理。

其中，每次选择当前待分类的图像可以不相同，比如，在得到目标生命体组织图像的分类结果时，可以根据图像的采集时间从多张图像中选择区别于之前选择的图像作为目标生命体组织图像，然后，进行分类处理。

比如，在一实施例中，可以选择按照采集时间的大小(或者时间先后)来选择当前待分类的图像。例如，以宫颈图像为例，可以按照宫颈上皮染醋酸后的时间大小确定当前待分类的图像。

在一实施例中，可以基于时间越小越先处理(或者时间越前越先处理)的规则来确定当前待分类的图像；譬如，对于宫颈上皮染醋酸后的0秒、70秒、90秒、120秒、150秒的图像，可以依次先后对0秒、70秒、90秒、120秒、150秒的图像进行分类处理(包括靶向区域检测、预处理、分类等)。

105、当得到采集到的所有生命体组织图像对应的分类结果时，对生命体组织图像的分类结果进行融合，得到最终分类结果。

经过上述步骤102至步骤104可以得到每张生命体组织图像对应的分类结果。

比如，以当采集同一病人的n张阴道镜图像(如宫颈图像)为例，采用上述介绍的方案，可以得到每张阴道镜图像的分类结果(正常、病变等)，即n个分类结果；然后，可以对每张阴道镜图像的分类结果进行融合，也即对n个分类结果进行融合，得到最终分类结果，n为大于2的正整数。

比如例如，在采集宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像进行分类诊断时，可以采用上述方式从每张醋酸白上皮图像中检测出靶向区域图像，然后，对每张醋酸白上皮图像的靶向区域图像进行预处理，然后，可以采用预设病变分类模型对每张生命体组织图像中的预处理后靶向区域图像进行分类，得到每张生命体组织图像的分类结果(此时，可以得到多个分类结果)；最后，对分类结果进行融合，得到最终分类结果。

本发明实施例由于采用对多张生命体组织图像进行分类，然后，对分类结果进行融合得到最终分类结果，可以提升图像分类的准确性和有效性；进而提升了病变诊断的准确性和有效性。

其中，分类结果的融合方式可以包括多种，比如，可以基于每种分类结果的数量来确定最终分类结果，比如，选择数量最多的分类结果为最终分类结果，也即投票方法。

具体地，分类结果包括病变、或者正常；步骤“对生命体组织图像的分类结果进行融合，得到最终分类结果”，可以包括：

获取分类结果为病变的第一结果数量、以及分类结果为正常的第二结果数据；

根据第一结果数量和第二结果数量，确定最终分类结果。

比如，当第一结果数量大于第二结果数量时，确定最终分类结果为病变；当第一结果数量小于第二结果数量时，确定最终分类结果为正常。

例如，假设有n个分类结果，分类结果包括正常、病变两种分类结果，假设分类结果为病变的数量大于分类结果为正常的数量，那么此时，确定最终分类结果为病变；反之，确定最终分类结果为正常。

在一实施例中，还可以基于分类结果的预测概率来确定最终分类结果。也即，步骤“对生命体组织图像的分类结果进行融合，得到最终分类结果”，可以包括：

获取生命体组织图像的分类结果所对应的预测概率；

根据预测概率对生命体组织图像的分类结果进行融合，得到最终分类结果。

其中，分类结果的预测概率可以包括：生命体组织图像属于该种分类结果的预测概率，比如，属于“正常”的预测概率，属于“病变”的预测概率。

其中，预设病变分类模型在输出分类结果的同时，还可以输出相应的分类结果的预测概率，比如，属于“正常”的预测概率，属于“病变”的预测概率。

本发明实施例中，基于预测概率的确定最终分类结果的方式可以有多种，比如，在一实施例中，可以将相同类型的分类结果的预测概率进行累加，得到累加概率，基于累加概率从分类结果中确定最终分类结果，比如，选择累加概率最大的分类结果作为最终分类结果。

具体地，步骤“获取生命体组织图像的分类结果所对应的预测概率”，可以包括：获取生命体组织图像的分类结果为病变的病变预测概率、以及分类结果为正常的正常预测概率；

步骤“根据预测概率对生命体组织图像的分类结果进行融合，得到最终分类结果”，可以包括：

将每张生命体组织图像的病变预测概率进行累加，得到病变累加概率；

将每张生命体组织图像的正常预测概率进行累加，得到正常累加概率；

根据病变累加概率和正常累加概率，从病变和正常中确定最终分类结果。

比如，当病变累加概率大于正常累加概率时，可以确定最终分类结果为病变；反之，可以确定最终分类结果为正常。

例如，预设病变分类模型可以输出各种分类结果的预测概率，比如，分类结果为正常的预测概率(即正常预测概率)、分类结果为病变的预测概率(即病变预测概率)；此时，可以相同种类的分类结果的预测概率进行累加，比如，可以将分类结果为正常的预测概率进行累加，得到正常累加预测概率，将分类结果为病变的预测概率进行累加，得到病变累加预测概率；当分类结果为病变的累加预测概率大于分类结果为正常的累加预测概率时，可以确定最终分类结果为病变，反之确定最终分类结果为正常。

在一实施例中，还可以基于所有分类结果中最大预测概率对应的分类结果来确定最终分类结果，也即，选择预测概率最大的分类结果。

具体地，步骤“获取生命体组织图像的分类结果所对应的预测概率”，可以包括：获取生命体组织图像的分类结果所对应的预测概率；

步骤“根据预测概率对生命体组织图像的分类结果进行融合，得到最终分类结果”，可以包括：

从病变预测概率中确定概率最大的目标病变预测概率；

根据目标病变预测概率，从病变和正常中确定最终分类结果。

比如，在一实施例中，当目标病变预测概率大于预设概率时，确定最终分类结果为病变；反之，可以确定最终分类结果为正常。其中，预设概率可以根据实际需求设定。

例如，预设病变分类模型可以输出分类结果为病变的预测概率，得到每张生命体组织图像的病变预测概率，此时，可以确定中最大的病变预测概率，当最大的病变预测概率大于某个阈值时，可以确定最终分类结果为病变，当不大于某个阈值时，可以确定最终分类结果为正常。

在一实施例中，还可以将选择最大概率对应的分类结果为最终分类结果；比如，步骤“获取生命体组织图像的分类结果所对应的预测概率”，可以包括：获取生命体组织图像的分类结果为病变的病变预测概率、以及分类结果为正常的正常预测概率；

此时，步骤“根据预测概率对生命体组织图像的分类结果进行融合，得到最终分类结果”，可以包括：

从病变预测概率中确定概率最大的目标病变预测概率，并从正常预测概率中确定概率最大的目标正常预测概率；

根据目标病变预测概率和目标正常预测概率，从病变和正常中确定最终分类结果。

比如，在一实施例中，当目标病变预测概率大于目标正常预测概率时，确定最终分类结果为病变，当目标病变预测概率小于目标正常预测概率时，可以确定最终分类结果为正常。

在一实施例中，当目标病变预测概率与目标正常预测概率相等时，可以采用其余方式确定最终分类结果，比如，可以采用上述介绍的任一种方式来对分类结果融合确定最终分类结果。

例如，预设病变分类模型可以输出每张生命体组织图像的各种分类结果的预测概率，比如，分类结果为正常的预测概率、分类结果为病变的预测概率；然后，从所有分类结果的预测概率中确定病变最大预测概率和正常最大预测概率，对这两种病变最大预测概率进行比较，当病变最大预测概率(如90％)大于正常最大预测概率(50％)时，确定最终分类结果为病变，反之为正常。

应当理解：本发明实施例虽然以分类结果为正常、病变为例，但是不仅限于这两种分类结果，还可以为其他分类结果，比如，轻微病变、严重病变等等。

由上可知，本实施例可以采集生命体组织的多张生命体组织图像；然后，根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像，区域信息包括区域位置信息；对检测到的靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对待识别图像进行分类，得到生命体组织图像对应的分类结果，预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；当得到采集到的所有生命体组织图像对应的分类结果时，对生命体组织图像的分类结果进行融合，得到最终分类结果靶向区域靶向区域靶向区域；由于该方案可以从整张图像中检测出靶向区域图像，对检测出的靶向区域图像进行分类，并且对每张图像的分类结果进行融合得到最终分类结果从而实现病变诊断；可以避免漏掉靶向区域较小的图像，因此，相对于现有只对整张图像来进行直接分类的方案而言，可以大大减少漏检的概率，提高图像分类的准确率和有效性；进而提升了病变诊断的准确性和有效性。

根据前面实施例所描述的方法，以下将以该图像分类装置具体集成在网络设备举例作进一步详细说明。

(一)首先，需要对病变分类模型进行训练，具体可以参考上述介绍的训练过程

(二)其次，通过该训练好的病变分类模型，便可对待检测生命体组织图像进行图像分类，具体可参见图2a。

如图2a所示，一种图像分类方法，具体流程可以如下：

201、图像采集设备对生命体组织进行图像采集，并将采集到的生命体组织图像提供给该网络设备。

例如，具体由医疗检测设备如阴道镜或内窥镜等，或者由各医疗监控设备等来对生命体组织进行图像采集，进而提供给该网络设备。

比如，生命体组织图像可以为宫颈上皮染醋酸后醋酸白上皮的图像。此时，可以采集宫颈染醋酸后醋酸白上皮的图像。

202、网络设备从接收到的生命体组织图像中选择待分类的多张生命体组织图像。

比如，网络设备可以根据预设时间点从接收到生命体组织图像选择待分类的多张生命体组织图像；比如，在对宫颈上皮染醋酸后，电子内窥镜如阴道镜可以实时采集宫颈上皮染醋酸后的图像，并发送给图像分类装置(可以集成在网络设备如服务器中)；图像分类装置可以根据预设时间点从接收到图像中选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

在一实施例中，图像采集设备还可以采集的多张待分类的生命体组织图像发送给网络设备分别进行分类；例如，可以在对生命体组织加醋酸后，图像采集设备可以根据预设时间点选择多张醋酸白上皮图像；例如，在医生采用阴道镜检测宫颈图像时，图像采集设备可以采集宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

203、网络设备可以根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像检测靶向区域图像，区域信息包括区域位置信息和区域尺寸信息。

其中，靶向区域图像可以为生命组织图像中可能发生病变的区域图像，或者生命体组织图像中需要诊断识别的区域，该区域可以根据实际需求设定；比如，宫颈图像的中心区域(一般宫颈癌前病变会发生在宫颈的中心区域)等。

其中，标注靶向区域为由标注人员在生命组织样本图像中标注的靶向区域，比如，靶向区域的标注可以由标注审核人员根据专业医生的指导进行标注，靶向区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注靶向区域，并给出区域信息如区域位置信息(如二维坐标)和区域尺寸(也即区域大小)，等等。

其中，基于区域信息检测靶向区域图像的过程可以参考上述的描述，这里不再赘述。

在一实施例中，当待分类(检测)的生命体组织图像为单张的情况下，可以根据生命组织样本图像中标注靶向区域的区域信息从单张生命体组织图像中检测出靶向区域图像。例如，以阴道镜图像为例，参见图2b，当网络设备获取单张待检测的阴道镜图像时，可以根据阴道镜样本图像中标注的靶向区域的区域信息从该阴道镜图像中检测出靶向区域图像，也即，图中矩形框框选的区域图像。

在一实施例中，当待分类(检测)的生命体组织图像为多张的情况下，可以采用标注靶向区域的区域信息从每张生命体组织图像中检测出靶向区域图像，此时，可以得到多个靶向区域图像。比如，可以针对每张生命体组织图像，采用标注靶向区域的区域信息检测出靶向区域图像。

例如，以阴道镜图像为例，参见图2c，当网络设备获取多张待检测的阴道镜图像时，可以根据阴道镜样本图像中标注的靶向区域的区域信息从每张阴道镜图像中检测出靶向区域图像，图中矩形框框选的区域图像。

204、网络设备对检测到的靶向区域图像进行预处理，得到待识别图像。

本发明实施例中，在检测到靶向区域图像时，采用预设算法对靶向区域进行预处理，得到待识别图像。其中，待识别图像可以为预处理后的图像。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对靶向区域进行重置等。其中，重置指的是将图像的尺寸缩放到预设尺寸。

比如，网络设备可以将检测到的靶向区域图像的尺寸缩放到预设尺寸，得到待识别图像。

在一实施例中，当待分类(检测)的生命体组织图像为多张的情况下，可以采用标注靶向区域的区域信息从每张生命体组织图像中检测出靶向区域图像，此时，可以得到多个靶向区域图像。比如，可以针对每张生命体组织图像，采用标注靶向区域的区域信息检测出靶向区域图像。然后，网络设备可以对每张靶向区域图像进行重置，比如，将靶向区域图像缩放到预设尺寸，如“352×352”，等等。最后，得到每张生命体组织图像对应的重置后靶向区域图像。

例如，以阴道镜图像为例，参见图2c，当网络设备获取多张待检测的阴道镜图像时，可以根据阴道镜样本图像中标注的靶向区域的区域信息从每张阴道镜图像中检测出靶向区域图像，图中矩形框框选的区域图像。然后，网络设备对每张靶向区域图像进行图像重置，比如，将每张靶向区域图像缩放到预设尺寸，如“352×352”，等等。最后得到每张待检测的阴道镜图像的重置后靶向区域图像。

205、网络设备采用预设病变分类模型对该待识别图像进行分类。

例如，具体可以将待识别图像导入该病变分类模型中进行分类，若该待识别图像表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别图像存在病变情况，则该病变分类模型会输出表示病变的分类结果。也即，病变分类模型的分类结果可以包括：正常、病变等。

其中，本发明实施例提供的方法可以应用到各种疾病诊断中，比如，可以应用到阴道镜宫颈癌前病变诊断中，此时，分类结果可以包括：正常、癌前病变等等。

本发明实施例提供的方法还可应用于阴道镜的高敏感度和高特异度的宫颈癌前病变(病变)诊断方案，利用深度学习技术，预测阴道镜图像的所属类别——即正常和癌前病变，其具有一致性好、覆盖广、人工成本低、流程规范、质量控制可量化等特点。

经过上述步骤可以得到每张待分类生命体组织图像的分类结果；比如，网络设备获取n张阴道镜图像(如宫颈图像)，经过上述步骤依次或并行地对每张阴道镜图像进行靶向区域检测、区域预处理以及分类处理，从而得到n张阴道镜图像的分类结果(如病变、正常)。

206、当得到所有待分类生命体组织图像的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

比如，以阴道镜图像(如宫颈图像)为例，参见图2b，当存在多张待分类的阴道镜图像(如宫颈图像)的情况下，可以检测到每张阴道镜图像的病变区域图像，然后，对每张病变区域图像进行重置，得到多个待识别图像，将每个待识别图像导入该宫颈疾病的病变分类模型中进行分类之后，若该待识别图像表现为正常，则该病变分类模型会输出表示正常的分类结果；而若该待识别图像存在病变情况，比如存在宫颈癌病变的情况，则该病变分类模型会输出表示病变的分类结果。

其中，分类结果的融合方式可以包括多种，比如，可以获取分类结果为病变的第一结果数量、以及分类结果为正常的第二结果数据；根据所述第一结果数量和所述第二结果数量，确定所述最终分类结果。

又比如，获取所述生命体组织图像的分类结果所对应的预测概率；

根据所述预测概率对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

其中，分类结果的预测概率可以包括：生命体组织图像属于该种分类结果的预测概率，比如，属于“正常”的预测概率，属于“病变”的预测概率。

其中，预设病变分类模型在输出分类结果的同时，还可以输出相应的分类结果的预测概率，比如，属于“正常”的预测概率，属于“病变”的预测概率。

其中，分类结果融合方式可以参考上述实施例的介绍，这里不再赘述。

实际应用中，本发明实施例还可以不断收集样本数据，进而加大离线病变分类模型的训练数据集，进一步提升模型识别能力。

由上可知，本实施例可以提供的方案可以从整张图像中检测出靶向区域图像，对检测出的靶向区域图像进行分类，并且对每张图像的分类结果进行融合得到最终分类结果从而实现病变诊断；可以避免漏掉靶向区域较小的图像，因此，相对于现有只对整张图像来进行直接分类的方案而言，可以大大减少漏检的概率，提高图像分类的准确率和有效性；进而提升了病变诊断的准确性和有效性。

另外，本发明实施例方案可面向医院和私人诊所，帮助医生专家快速诊断阴道镜图像。同时，规范阴道镜检查流程，实现可量化的质量控制。

根据上述的描述，为了提高诊断效率，本发明实施例还在上述方法基础上，增加诊断区域(如辨别区域)的识别和位置标注，比如，以宫颈癌前病变诊断为例，可以对宫颈转化区类型识别和位置标注。

在一实施例中，图像分类方法还可以包括：

当所述最终分类结果为正常时，采用预设区域检测模型对所述生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成；

采用预设区域分类模型对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成；

根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型。

如图3所示，一种区域类型识别和位置标注的流程可以包括：

301、采用预设区域检测模型对该生命体组织图像进行关键特征检测，得到至少一个辨别区域。

例如，具体可以将该生命体组织图像导入该区域检测模型中进行检测，若某个区域的关键特征与辨别区域的特征相符，则该区域检测模型预测该区域为辨别区域，并输出相应的预测概率(即辨别区域的预测概率)。

其中，关键特征指的是辨别区域(或称为诊断区域)与其他区域相比，所特有的显著性特征，比如，一般将生理性鳞柱交界(位于子宫颈内的柱状上皮和位于宫颈口外围的鳞状上皮，两种上皮的结合处成为鳞柱交界；阴道镜下清晰可见的称为生理性鳞柱交界)和原始鳞柱交界(生理性鳞柱交界向鳞状上皮扩展的外沿，称为原始鳞柱交界)围成的区域称为宫颈转化区，所以，若需要检测出的辨别区域为“宫颈转化区”，则可以将“生理性鳞柱交界”和“原始鳞柱交界”围成的这部分区域作为关键特征，该关键特征可以通过典型局部矩形框来表现，具体信息比如包括该典型局部矩形框的x偏移量(即横坐标偏移量)、y偏移量(即纵坐标偏移量)、宽和高等参数值。

需说明的，不同类型的辨别区域，其关键特征也不同，而通过设置不同的关键特征，也可以找出符合不同应用场景或需求的辨别区域，比如，在宫颈癌前和癌变诊断的场景下，可以将宫颈转化区作为辨别区域，等等。

当然，由于所采集的生命体组织图像的规格，如尺寸、像素和/或颜色通道等可能有所差异，因此，为了便于区域检测模型进行检测，改善检测效果，可以对采集到的生命体组织图像进行预处理，使得图像规格化。即可选的，在步骤“采用预设区域检测模型对该生命体组织图像进行关键特征检测”之前，该图像识别方法还可以包括：

按照预测策略对该生命体组织图像进行预处理，其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整等处理，具体可以如下：

①图像尺寸缩放：将生命体组织图像的尺寸缩放至预设大小；比如，具体可以在将生命体组织图像保持宽高比的同时，将宽缩放至预设大小，如将宽缩放至600像素，等等；

②颜色通道顺序调整：将生命体组织图像的颜色通道顺序调整为预设顺序；比如，可以将生命体组织图像的三通道改为红(R，red)、绿(G，Green)和蓝(B，Blue)的通道顺序，当然，如果生命体组织图像原通道顺序已经为R、G和B，则无需进行该操作；

③像素调整：按照预设策略对生命体组织图像中的像素进行处理，比如，可以将生命体组织图像中每个像素减去全图像素均值，等等；

④图像归一化：对生命体组织图像的每个通道值除以预设的系数，如255.0；

⑤图像数据排列：将生命体组织图像的图像数据排列设置为预设模式，比如，将图像数据排列改为通道优先，等等。

在生命体组织图像进行预处理后，预设区域检测模型便可以对预处理后的生命体组织图像进行关键特征检测，即此时，步骤“采用预设区域检测模型对该生命体组织图像进行关键特征检测”可以包括：采用预设区域检测模型对预处理后的生命体组织图像进行关键特征检测。

此外，需说明的是，区域检测模型可以由多个标注了关键特征的生命体组织样本图像训练而成(只需局部标注即可)；比如，具体可以由其他设备进行训练后，提供给该图像识别装置，或者，也可以由该图像识别装置自行进行训练，训练可以采用在线训练，也可以采用离线训练；即可选的，在步骤“采用预设区域检测模型对该生命体组织图像进行关键特征检测”之前，该图像识别方法还可以包括：

(1)采集多个标注了关键特征的生命体组织样本图像。

例如，具体可以采集多个生命体组织样本图像，然后，采用邻域局部典型区域标注法对采集到的多个生命体组织样本图像进行标注，得到多个标注了关键特征的生命体组织样本图像。

其中，采集的途径可以有多种，比如，可以从互联网、指定数据库和/或医疗记录中进行获取，具体可以根据实际应用的需求而定；同理，标注方式也可以根据实际应用的需求进行选择，比如，可以在专业医生的指点下，由标注审核人员进行人工标注，或者，也可以通过训练标注模型来实现自动标注，等等，在此不作赘述。

(2)根据该生命体组织样本图像对预设目标检测模型进行训练，得到区域检测模型。

例如，可以从采集到的多个生命体组织样本图像中确定当前需要进行训练的生命体组织样本图像，得到当前生命体组织样本图像，然后，将该当前生命体组织样本图像导入预设目标检测模型中进行训练，得到当前生命体组织样本图像对应的区域预测值，此后，将当前生命体组织样本图像对应的区域预测值与当前生命体组织样本图像的标注的关键特征进行收敛(即使得预测的矩形框参数无限接近于标注的矩形框参数)，以对该目标检测模型的参数进行调整(每调整一次即对该目标检测模型训练一次)，并返回执行采集到的多个生命体组织样本图像中确定当前需要进行训练的生命体组织样本图像的步骤，直至该多个生命体组织样本图像均训练完毕，便可以得到所需的区域检测模型。

其中，该目标检测模型可以根据实际应用的需求进行设置，比如，该目标检测模型可以包括深度残差网络(ResNet)和区域推荐网络(RPN，Regional Proposal Networks)，等等。

当该目标检测模型包括深度残差网络和区域推荐网络时，步骤“将该当前生命体组织样本图像导入预设目标检测模型中进行训练，得到当前生命体组织样本图像对应的区域预测值”可以包括：

将该当前生命体组织样本图像导入预设的深度残差网络中进行计算，得到当前生命体组织样本图像对应的输出特征，将该输出特征导入区域推荐网络中进行检测，得到当前生命体组织样本图像对应的区域预测值。

需说明的是，与对生命体组织图像进行辨别区域检测同理，由于所采集的生命体组织样本图像的规格，如尺寸、像素和/或颜色通道等可能有所差异，因此，为了便于区域检测模型进行检测，改善检测效果，可以对采集到的生命体组织样本图像进行预处理，使得图像规格化。即可选的，在步骤“根据该生命体组织样本图像对预设目标检测模型进行训练”之前，该图像识别方法还可以包括：

按照预测策略对该生命体组织样本图像进行预处理，其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整等处理，具体参考上述描述。

此时，步骤“根据该生命体组织样本图像对预设目标检测模型进行训练”可以包括：根据预处理后的生命体组织样本图像对预设目标检测模型进行训练。

302、采用预设区域分类模型对该辨别区域的类型进行识别。

例如，具体可以将包含了该辨别区域的图像导入该区域分类模型中进行识别，由该区域分类模型输出关于该辨别区域的识别结果。

比如，以宫颈转化区的类型识别为例，将包含了宫颈转化区的图像导入该区域分类模型后，区域分类模型会对宫颈转化区的区域类型特征进行识别，并输出宫颈转化区的三维概率，即转化区Ⅰ型的概率、转化区Ⅱ型的概率和转化区Ⅲ型的概率，譬如，若经过识别，预测某个宫颈转化区为“转化区Ⅰ型”的概率为80％，为“转化区Ⅱ型”的概率为15％，为“转化区Ⅲ型”的概率为5％，则此时，区域分类模型可以输出识别结果：“转化区Ⅰ型，80％”、“转化区Ⅱ型，15％”和“转化区Ⅲ型，5％”。

其中，该预设区域分类模型可以由多个标注了区域类型特征的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该图像识别装置，或者，也可以由该图像识别装置自行进行在线或离线的训练；即在步骤“采用预设区域分类模型对该辨别区域的类型进行识别”之前，该图像识别方法还可以包括：

(1)获取多个标注了区域类型特征的区域样本图像。

其中，获取标注了区域类型特征的区域样本图像的方式可以有多种，比如，可以采用如下任意一种方式：

方式一(样本图像已经标注了关键特征)：

采集多个标注了关键特征的生命体组织样本图像，根据标注(即关键特征的标注)从该生命体组织样本图像中截取辨别区域，得到辨别区域样本，对辨别区域样本进行区域类型特征标注，得到区域样本图像。

方式二(样本图像已标注了关键特征或未标注关键特征均可)：

采集多个生命体组织样本图像(该生命体组织样本图像可以是标注关键特征，也可以未标注关键特征)，采用预设区域检测模型对该生命体组织样本图像进行关键特征检测，得到至少一个辨别区域样本，对辨别区域样本进行区域类型特征标注，得到区域样本图像。

其中，区域类型特征的标注可以在专业医生的指点下，由标注审核人员进行人工标注，或者，也可以通过训练标注模型来实现自动标注，等等；区域类型特征的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注类型辨别区域的区域类型特征，并给出该辨别区域的二维坐标和区域大小，等等。

比如，以宫颈转化区为例，转化区Ⅰ型主要指的是位于子宫颈阴道部，可见完整的宫颈转化区，因此，转化区Ⅰ型的区域类型特征为“宫颈阴道部”，且“可见完整”等特征；转化区Ⅱ型指的是位于宫颈管内，通过颈管扩张器等辅助工具可见完整的宫颈转化区，因此，转化区Ⅱ型的区域类型特征为“宫颈管内”，且“通过颈管扩张器等辅助工具可见完整”等特征；而转化区Ⅲ型指的是借助工具，仍无法看到生理性鳞柱交界的宫颈转化区，所以，转化区Ⅲ型的区域类型特征为“借助工具，仍无法看到生理性鳞柱交界”等特征。

(2)根据该区域样本图像对预设分类模型进行训练，得到区域分类模型。

例如，具体可以将区域样本图像输入至预设分类模型中进行分类，得到预测的分类结果，比如转化区Ⅰ型、转化区Ⅱ型或转化区Ⅲ型，将该预测的分类结果的区域类型特征和标注的区域类型特征进行收敛，即可完成一次训练，以此类推进行多次训练，直至所有区域样本图像训练完毕，便可得到最终所需的区域分类模型。

303、根据识别结果在该生命体组织图像上标注辨别区域的位置和类型；例如，具体可以如下：

(1)根据识别结果确定辨别区域的类型，并获取辨别区域的坐标。

例如，具体可以根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度，通过非极大值抑制算法(non-maximum suppression)对该预设范围内各个识别框的类型的置信度进行计算，得到该预设范围的置信度，选择置信度最大的预设范围的类型作为辨别区域的类型。

由于识别结果中可以会存在多个识别框，每个识别框对应有多个类型及类型的预测概率，因此，可以从每个识别框的多个类型中选择预测概率最大的类型作为该识别框的类型、并将该最大的预测概率作为该识别框的置信度。

在得到各个识别框的类型、以及类型的置信度之后，便可以通过非极大值抑制算法对该预设范围内各个识别框的类型的置信度进行计算，比如，可以对该预设范围内各个识别框的类型的置信度进行比较，保留其中极大值的原数值，并将其他非极大值设置为极小值，比如(0.0)，最终得到该预设范围的置信度，然后，对各个预设范围的置信度进行排序，根据排序选择置信度最大的预设范围的类型作为辨别区域的类型。

(2)根据该坐标在该生命体组织图像上标注辨别区域的位置，并在该位置上标注辨别区域的类型。

例如，还是以宫颈转化区的类型识别为例，若某辨别区域被识别为“转化区Ⅰ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅰ型”；若某辨别区域被识别为“转化区Ⅱ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅱ型”；同理，若某辨别区域被识别为“转化区Ⅲ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅲ型”，以此类推，等等。

可选的，在标注时，还可以标注出该辨别区域的具体坐标，进一步的，还可以标注出识别结果的预测概率，当然，也可以标注出辨别区域的预测概率。

由上可知，本实施例提供的方案可以利用训练好的区域检测模型准确地划分出辨别区域，再通过区域分类模型有针对性地对辨别区域的类型进行识别，因此，可以避免其他区域(即非辨别区域)对类型识别的干扰，提高识别的准确率；此外，由于区域检测模型是由多个标注了关键特征的生命体组织样本图像训练而成的，而无需全面标注，因此，相对于现有方案而言，也大大降低了标注的难度，提高了标注的准确性，进而提高所训练模型的精度；总而言之，该方案可以大大提高模型的精度和识别准确率，改善识别效果。

根据前面实施例所描述的方法，以下将以该图像分类装置具体集成在网络设备举例作进一步详细说明。

首先，可以分别对区域检测模型和区域分类模型进行训练，其次，通过该训练好的区域检测模型和区域分类模型，便可对待检测生命体组织图像进行辨别区域类型的识别，模型训练可以参考上述实施例的介绍。

在区域检测模型和区域分类模型训练完毕之后，便可以采用区域检测模型和区域分类模型来对辨别区域类型进行识别，如图4a所示，具体的识别流程可以如下：

401、网络设备从多张生命体组织图像中选择待检测的生命体组织图像。

比如，网络设备具体可以根据预设时间从多张生命体组织图像中选择待检测的生命体组织图像。

比如，多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待检测的图像。

402、网络设备按照预设策略对该生命体组织图像进行预处理。

其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整等处理，例如，图4b所示，以该生命体组织图像具体为阴道镜宫颈图像为例，如该预处理具体可以参考上述实施例描述。

403、网络设备采用训练好的区域检测模型对预处理后的生命体组织图像进行关键特征检测。

例如，网络设备具体可以将预处理后的生命体组织图像导入区域检测模型中进行检测，若生命体组织图像中某个区域的关键特征与辨别区域的关键特征相符，则该区域检测模型预测该区域为辨别区域，并输出相应的预测概率。

比如，一般将生理性鳞柱交界和原始鳞柱交界围成的区域称为宫颈转化区，所以，若需要检测出的某个区域为“宫颈转化区”，则可以将“生理性鳞柱交界”和“原始鳞柱交界”围成的这部分区域作为关键特征，该关键特征可以通过典型局部矩形框来表现，具体信息比如包括该典型局部矩形框的x偏移量(即横坐标偏移量)、y偏移量(即纵坐标偏移量)、宽和高等参数值。

例如，以该生命体组织图像为阴道镜宫颈图像，且该区域检测模型包括深度残差网络(ResNet)和区域推荐网络(RPN)为例，如图4b所示，网络设备可以将预处理后的阴道镜宫颈图像导入宫颈转化区的区域检测模型中进行区域检测，比如，可以将该预处理后的阴道镜宫颈图像作为深度残差网络的输入，并以卷积特征作为该深度残差网络的输出，得到该预处理后的阴道镜宫颈图像对应的输出特征，然后，将该输出特征作为区域推荐模型的输入，以“预设的矩形框的尺寸数量*宽高比数量*矩形框参数数量”的维度向量作为输出，得到预测的宫颈转化区，可选的，还可以输出相应的预测概率。

404、网络设备采用训练好的区域分类模型对该辨别区域的类型进行识别。

例如，还是以宫颈转化区的类型识别为例，如图4b所示，若在步骤403中，已经得到了预测的宫颈转化区，以及相应的特征(深度残差网络的输出特征)，则此时，可以将该宫颈转化区和特征作为区域分类模型的输入进行训练，得到宫颈转化区的三维概率，即转化区Ⅰ型的概率、转化区Ⅱ型的概率和转化区Ⅲ型的概率。

譬如，若经过识别，预测某个宫颈转化区为“转化区Ⅰ型”的概率为80％，为“转化区Ⅱ型”的概率为15％，为“转化区Ⅲ型”的概率为5％，则此时，区域分类模型可以输出识别结果：“转化区Ⅰ型，80％”、“转化区Ⅱ型，15％”和“转化区Ⅲ型，5％”，还可以输出各个类型相应的识别框如回归矩形框。

405、网络设备根据识别结果确定辨别区域的类型，并获取辨别区域的坐标。

例如，网络设备具体可以根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度，通过非极大值抑制算法对该预设范围内各个识别框的类型的置信度进行计算，得到该预设范围的置信度，然后，选择置信度最大的预设范围的类型作为辨别区域的类型。

由于识别结果中可以会存在多个识别框(比如回归矩形框)，且每个识别框对应有多个类型及类型的预测概率，因此，可以从每个识别框的多个类型中选择预测概率最大的类型作为该识别框的类型、并将该最大的预测概率作为该识别框的置信度。比如，还是以宫颈转化区为例，若某个识别框A属于“转化区Ⅰ型”为70％，属于“转化区Ⅱ型”为40％，属于“转化区Ⅲ型”为0％，则可以将“转化区Ⅰ型”作为识别框A的类型、并将70％作为该识别框A的置信度。

在得到各个识别框的类型、以及类型的置信度之后，便可以通过非极大值抑制算法对该预设范围内各个识别框的类型的置信度进行计算，比如，可以对该预设范围内各个识别框的类型的置信度进行比较，保留其中极大值的原数值，并将其他非极大值设置为极小值，比如(0.0)，最终得到该预设范围的置信度，然后，对各个预设范围的置信度进行排序，根据排序选择置信度最大的预设范围的类型作为辨别区域的类型。

比如，以宫颈转化区为例，若某宫颈转化区的某预设范围K1包括识别框A和识别框B，识别框A的类型为“转化区Ⅰ型”，置信度为70％，识别框B的类型为“转化区Ⅱ型”，置信度为80％，则此时，可以确定该预设范围K1的类型为“转化区Ⅱ型”，且置信度为80％；类似的，若该宫颈转化区的某预设范围K2包括识别框C和识别框D，识别框C的类型为“转化区Ⅰ型”，置信度为60％，识别框D的类型为“转化区Ⅱ型”，置信度为40％，则此时，可以确定该预设范围K2的类型为“转化区Ⅰ型”，且置信度为60％；将预设范围K1和预设范围K2的置信度进行排序，由于K1的置信度大于K2，因此，选择预设范围K1的类型“转化区Ⅱ型”作为该宫颈转化区的类型。

406、网络设备根据该坐标在该生命体组织图像上标注辨别区域的位置，并在该位置上标注辨别区域的类型。

例如，还是以宫颈转化区的类型识别为例，若某辨别区域被识别为“转化区Ⅰ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅰ型”；若某辨别区域被识别为“转化区Ⅱ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅱ型”；同理，若某辨别区域被识别为“转化区Ⅲ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅲ型”，以此类推，等等。

可选的，在标注时，还可以标注出该辨别区域的具体坐标，进一步的，还可以标注出识别结果的预测概率，当然，也可以标注出辨别区域的预测概率。

由上可知，本发明实施例提供的方案可以利用训练好的区域检测模型准确地划分出辨别区域，再通过区域分类模型有针对性地对辨别区域的类型进行识别，因此，可以避免其他区域(即非辨别区域)对类型识别的干扰，提高识别的准确率；此外，由于区域检测模型是由多个标注了关键特征的生命体组织样本图像训练而成的，而无需全面标注，因此，相对于现有方案而言，也大大降低了标注的难度，提高了标注的准确性，进而提高所训练模型的精度；总而言之，该方案可以大大提高模型的精度和识别准确率，改善识别效果。

在一实施例中，为了提升宫颈癌的诊断效率和准确性，还可以在得到最终分类结果后，检测出活检区域。

活检区域，指的是在医疗活动中，进行活体组织检查的区域。活体组织检查，简称活检，意为从病人身上切取病变组织做病理检查，用以协助临床医生确定疾病，比如，宫颈活检指的就是从宫颈上取一小块或几块组织作为病理检查，等等，它是现代医疗活动中较为常规的一种检查方式，通过活检，可以为后续的诊断提供基础。

比如，在一实施例中，在上述基础上，本发明方法还可以包括：

当所述最终分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

采用预设病变分类模型对所述待识别区域进行分类；

获取分类结果为病变的待识别区域所对应的病变预测概率；

将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

下面将详细介绍活检区域预测过程，如图5所示，活检区域预测流程如下：

501、采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则执行步骤502。

例如，具体可以将该生命体组织图像导入该病变区域检测模型中进行检测，若存在病变区域，则该病变区域检测模型会输出所预测的病变区域，然后执行步骤502；而若不存在病变区域，则该病变区域检测模型会输出空白信息或输出无病变区域的提示信息，流程可以结束。

其中，该病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置，或者，也可以由该活检区域预测装置自行进行训练；即在步骤“用预设病变区域检测模型对该生命体组织图像进行病变区域检测”之前，该活检区域预测方法还可以包括：

采集多个标注了病变区域的生命体组织样本图像，根据该生命体组织样本图像对预设目标检测模型进行训练，得到病变区域检测模型。

例如，具体可以将生命体组织样本图像输入至预设目标检测模型中进行检测，得到预测的病变区域，将该预测的病变区域和标注的病变区域进行收敛，使得预测的病变区域无限接近于标注的病变区域，以此类推进行多次训练，最终便可得到病变区域检测模型。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

502、在检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对病变区域进行筛选和重置等，即步骤“采用预设算法对病变区域进行预处理，得到待识别区域”可以包括：

(1)采用非极大值抑制算法(non-maximum suppression)对病变区域进行筛选，得到候选区域。

所谓非极大值抑制算法，指的是如果两个检测出来的区域(在此指病变区域)的重叠度达到一定条件，比如超过70％，那么保留预测概率高的区域，删除预测概率低的区域，以此类推，不停迭代，直到剩下的所有检测出的区域重叠程度不符合条件。

其中，该条件可以根据实际应用的需求进行设置，在此不作赘述。

(2)从该候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；例如，具体可以如下：

获取候选区域所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象。

其中，该“根据该病变预测概率和位置信息确定病变对象，并从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象”的操作，在本发明实施例中也可以称为“归并”。

(3)将重置对象缩放为预设尺寸，得到待识别区域。

其中，该“将重置对象缩放为预设尺寸”的操作在本发明实施例中也可以称为“重置”，而该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等。

503、采用预设病变分类模型对该待识别区域进行分类。

例如，具体可以将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果，此时可以执行步骤504。

其中，该预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置，或者，也可以由该活检区域预测装置自行进行训练；即在步骤“采用预设病变分类模型对所述待识别区域进行分类”之前，该活检区域预测方法还可以包括：

(1)获取多个标注了病理分析结果的区域样本图像。

其中，获取该标注了病理分析结果的区域样本图像的方式可以有多种，比如，可以采用如下任意一种方式：

方式一(样本图像已标注病变区域)：

采集多个标注了病变区域的生命体组织样本图像，根据标注(即病变区域的标注)从该生命体组织样本图像中截取病变区域，得到病变区域样本，采用预设算法对病变区域样本进行预处理，对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像。

方式二(样本图像已标注病变区域或未标注病变区域)：

采集多个生命体组织样本图像，采用预设病变区域检测模型对该生命体组织样本图像进行病变区域检测，若检测到病变区域，则截取检测到的病变区域作为病变区域样本，并采用预设算法对病变区域样本进行预处理，对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

同理，病理分析结果的标注也可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则也可根据实际应用的需求而定，比如，可以采用“金标准”来确定“病理分析结果”，并将该具体的“病理分析结果”作为标注时所采用的标签，等等。其中，所谓"金标准"是指当前临床医学界公认的诊断疾病的最可靠、最准确、以及最好的诊断方法。临床上常用的金标准有组织病理学检查(活检和尸检等)、手术发现、影像诊断(CT、核磁共振、彩色和B超等)、病原体的分离培养以及长期随访所得的结论。金标准一般是特异性诊断方法，可以正确区分为“有病”和“无病”。

此外，需说明的是，不管是在方式一还是方式二中，均需要采用预设算法对病变区域样本进行预处理，该预处理与在进行“活检区域”预测中的预处理类似，即采用非极大值抑制算法对病变区域样本进行筛选后，进行归并和重置，比如具体可以如下：

采用非极大值抑制算法对病变区域样本进行筛选，得到候选区域样本，从该候选区域样本中确定病变对象，并对病变对象进行提取，得到重置对象样本，将重置对象样本缩放为预设尺寸，得到预处理后的病变区域样本。

比如，具体可以获取候选区域样本所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该候选区域样本中提取该病变对象的最小外接矩形区域作为重置对象样本，然后，将重置对象样本缩放为预设尺寸，如“352×352”，得到预处理后的病变区域样本。

其中，该预设尺寸可以根据实际应用的需求进行设置，在此不作赘述。

(2)根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。

例如，具体可以将区域样本图像输入至预设分类模型中进行分类，得到预测的分类结果，比如病变或正常，将该预测的分类结果和标注的病理分析结果(标注的标签为病变或正常)进行收敛，使得预测的分类结果与标注的病理分析结果之间的误差最小化，即可完成一次训练，以此类推进行多次训练，直至所有区域样本图像训练完毕，便可得到最终所需的病变分类模型。

504、获取分类结果为病变的待识别区域所对应的病变预测概率。

由于病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，因此，可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率(经过筛选后的病变预测概率)作为该待识别区域所对应的病变预测概率。

505、将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

可选的，若病变预测概率不高于预设阈值，则可以确定该待识别区域为非活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即在步骤“将病变预测概率高于预设阈值的待识别区域确定为活检区域”将之后，该活检区域预测还可以包括：

获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

由上可知，本实施例可以采集待检测的生命体组织图像，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，并采用预设病变分类模型对预处理得到的待识别区域进行分类，再然后，将分类结果为病变的待识别区域所对应的病变预测概率与预设阈值进行比较，若高于预设阈值，则确定为活检区域；由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小或位置奇特的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

根据前面实施例所描述的方法，以下将以该图像分类装置具体集成在网络设备举例作进一步详细说明。

(一)首先，需要对病变区域检测模型和病变分类模型进行训练，具体训练过程可以参考上述实施例的描述。

(二)其次，通过该训练好的病变区域检测模型和病变分类模型，便可对待检测生命体组织图像进行活检区域的预测，具体可参见图6a。

如图6a所示，一种活检区域预测方法，具体流程可以如下：

601、图像采集设备对生命体组织进行图像采集，并将采集到的生命体组织图像提供给该网络设备。

例如，具体由医疗检测设备如阴道镜或内窥镜等，或者由各医疗监控设备等来对生命体组织进行图像采集，进而提供给该网络设备。

为了描述方便，在本实施例中，将以该生命体组织图像具体为阴道镜图像为例进行说明。

602、网络设备从接收到生命组织图像中选择待检测的生命体组织图像，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则执行步骤603。

比如，多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待检测的图像。

例如，以该生命体组织图像为阴道镜图像为例，如图6b所示，网络设备可以将该阴道镜图像导入宫颈疾病的病变区域检测模型中进行检测，若不存在病变区域，则该病变区域检测模型会输出空白信息或输出无病变区域的提示信息，流程可以结束；而若存在病变区域，则该病变区域检测模型会输出所预测的病变区域，此外，还可以输出各病变区域所对应的病变预测概率，然后执行步骤603

603、在检测到病变区域时，网络设备采用非极大值抑制算法对病变区域进行筛选，得到候选区域，然后执行步骤604。

例如，具体可以获取各个病变区域两两之间的重叠度，确定重叠度是否符合预设条件，比如，可以确定该重叠度是否超过70％，若符合该预设条件，则保留其中病变预测概率较高的病变区域，而删除其中病变预测概率较低的病变区域，以此类推，不停迭代，直到保留下来的所有病变区域重叠程度不符合预设条件为止，然后，将保留下来的这些病变区域作为候选区域。

其中，该预设条件可以根据实际应用的需求进行设置，在此不作赘述。

604、网络设备从该候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；例如，具体可以如下：

网络设备获取候选区域所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象。

其中，该“根据该病变预测概率和位置信息确定病变对象，并从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象”的操作，在本发明实施例中也可以称为“归并”。例如，以阴道镜图像的宫颈癌前诊断为例，如图6b所示，在根据病变预测概率和位置信息确定病变对象(即可能发生宫颈癌病变的区域)后，可以在该病变对象上绘制一最小外接矩形，并将该最小外接矩形内的区域作为重置对象，详见图6b中“病变区域归并和重置”中左图的白色矩形框。

605、网络设备将重置对象缩放为预设尺寸，得到待识别区域，然后执行步骤606。

其中，该“将重置对象缩放为预设尺寸”的操作在本发明实施例中也可以称为“重置”，而该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等，比如，可参见图6b中“病变区域归并和重置”中的右图，该右图即为“病变区域归并和重置”左图中白色矩形框内区域部分(即重置对象)放大为预设尺寸后的图像(即待识别区域。)。

606、网络设备采用预设病变分类模型对该待识别区域进行分类，然后执行步骤607。

例如，具体可以将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果，此时可以执行步骤607。

比如，还是以阴道镜图像为例，参见图6b，将待识别区域导入该宫颈疾病的病变分类模型中进行分类之后，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，比如存在宫颈癌病变的情况，则该病变分类模型会输出表示病变的分类结果，则此时可以执行步骤607。

607、网络设备获取分类结果为病变的待识别区域所对应的病变预测概率。

病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，比如，参见图6b，因此，可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率(经过筛选后的病变预测概率)作为该待识别区域所对应的病变预测概率。

608、网络设备将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

可选的，若病变预测概率不高于预设阈值，则可以确定该待识别区域为非活检区域。

例如，如图6b所示，以该预设阈值为0.5为例，由于待识别区域A的病变预测概率为0.7，待识别区域B的病变预测概率为0.9，均高于预设阈值为0.5，因此，可以将待识别区域A和待识别区域B确定为预测的活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即还可以执行步骤609，如下：

609、网络设备获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

例如，该网络设备具体可以从病变区域检测模型输出的检测结果中获取该高于预设阈值的待识别区域的病变预测概率，作为相应的活检区域的病变预测概率，然后输出该活检区域和活检区域的病变预测概率，以供医生进行参考。

比如，还是以将待识别区域A和待识别区域B确定为预测的活检区域为例，则如图6b所示，此时可以输出“待识别区域A，病变预测概率为0.7”、以及输出“待识别区域B，病变预测概率为0.9”，等等，此后，医生便可基于该输出结果作进一步人工筛选，以确定最终的活检区域。

在一实施例中，本发明实施例还提供了另一种图像分类方法，参考图7a，具体流程如下：

701、采集生命体组织的多张生命体组织图像。

其中，生命体组织的多张生命体组织图像可以包括同一生命体组织在不同时间点的生命体组织图像；比如，可以为同一病人同一次检查的不同时间点的多张生命体组织图像，譬如，可以采集同一病人在某一次宫颈检查的不同时间点的多张宫颈图像。

在一实施例中多张生命体组织图像可以为多张具有时序关系的生命体组织图像，比如，多张有时序关系的阴道镜图像等。

其中，图像采集方式可以有多种，例如，在一实施例中，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给该图像分类装置，即，图像分类装置具体可以接收图像采集设备发送的待检测的生命体组织图像。

又例如，在一实施例中，还可以由图像分类装置自己采集，比如，图像分类装置可以从接收到生命体组织的生命体组织图像中选择多张生命体组织图像。例如，图像采集设备可以实时向图像分类装置发送采集到的生命体组织图像，图像分类装置可以从接收到图像中选择多张图像。

在一实施例中，本发明实施例图像分类方法应用到宫颈癌或癌前病变的诊断中的情况下，生命体组织图像可以为宫颈上皮染醋酸后醋酸白上皮的图像。此时，可以采集宫颈染醋酸后醋酸白上皮的多张图像。

具体地，生命体组织的多张生命体组织图像采集方式可以参考上述实施例的介绍，这里不再赘述。

702、采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征。

其中，预设特征提取网络模型可以为基于卷积神经网络(CNN)的特征提取模型，用于从生命体组织图像中提取图像特征。

比如，可以采用基于卷积神经网络的特征提取模型分别对每张生命体组织图像进行特征提取。

本发明实施例中，可以并行地对多张图像进行特征提取，也可以按照一定时序依次对多张图像进行特征提取，具体方式可以根据实际需求选择。

在一实施例中，为了提升图像分类的准确性，提取图像特征时，可以先从每张图像中检测出靶向区域，然后，提取靶向区域的图像特性。具体地，步骤“采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征”，可以包括：

根据生命组织样本图像中标注靶向区域的区域信息，分别从每张生命体组织图像中检测靶向区域图像，得到每张生命体组织图像的靶向区域图像，其中，所述区域信息包括区域位置信息；

对每张生命体组织图像的靶向区域图像进行预处理，得到每张生命体组织图像的预处理后图像；

采用预设特征提取网络模型分别对每张预处理后图像进行特征提取，得到每张生命体组织图像的图像特征。

其中，步骤“对每张生命体组织图像的靶向区域图像进行预处理，得到每张生命体组织图像的预处理后图像”，可以包括：

对每张缩放后区域图像的像素值进行去均值处理，得到处理后区域图像；

对所述处理后区域图像的像素值进行归一化处理，得到每张生命体组织图像的预处理后图像。

其中，靶向区域图像可以为生命组织图像中可能发生病变的区域图像，或者生命体组织图像中需要诊断识别的区域，该区域可以根据实际需求设定；比如，宫颈图像的中心区域(一般宫颈癌前病变会发生在宫颈的中心区域)等。本发明实施例可以基于样本图像中标注的靶向区域的区域信息来检测当前生命体组织图像中的靶向区域图像。

其中，标注靶向区域为由标注人员在生命组织样本图像中标注的靶向区域，比如，靶向区域的标注可以由标注审核人员根据专业医生的指导进行标注，靶向区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注靶向区域，并给出区域信息如区域位置信息(如二维坐标)和区域尺寸(也即区域大小)，等等。

在一实施例中，根据标注靶向区域的区域信息在生命组织样本图像中确定靶向区域，然后，提取靶向区域内的图像，得到靶向区域图像。也即，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

根据生命组织样本图像中标注靶向区域的区域信息，生命体组织图像中确定靶向区域；

提取靶向区域内的图像，得到靶向区域图像。

其中，区域信息可以包括区域位置信息，该区域位置信息可以根据实际需求规定，比如，当采用矩形框标注靶向区域时，区域位置信息可以包括标注靶向区域的左上角点的位置信息、右上角点的位置信息、或者左下角点的位置信息等等。实际应用中，区域位置信息可以通过坐标值表示，如通过二者坐标值。

其中，区域信息还可以包括区域尺寸信息，比如，区域的高度、宽度等等尺寸信息。

基于区别信息检测靶向区域图像的方式有多种，比如，在一实施例中，可以仅仅基于标注靶向区域的区域位置信息检测靶向区域图像，又比如，在一实施例中可以结合区域位置信息和区域尺寸信息检测靶向区域图像。

为了提升靶向区域图像的检测准确性，在一实施例中，还可以获取多个标注靶向区域的区域信息，然后，基于多个标注靶向区域的区域信息来检测靶向区域图像。也即，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

采集多个标注了靶向区域的生命体组织样本图像；

获取生命组织样本图像中标注靶向区域的区域信息，得到多个标注靶向区域的区域信息；

根据多个标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像。

在一实施例中，可以基于区域位置信息和区域尺寸信息检测靶向区域图像，比如，计算平均区域位置和平均区域尺寸，然后，基于平均区域位置和平均区域尺寸来检测靶向区域图像。比如，步骤“根据多个标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

获取标注靶向区域的平均位置信息和平均尺寸信息；

根据平均位置信息和平均尺寸信息，从生命体组织图像中检测靶向区域图像。

比如，可以标注靶向区域的平均位置信息和平均尺寸信息，在生命体组织图像中确定一个区别，该区域即为靶向区域，然后，从提取该区域内的图像，得到靶向区域图像。

其中，去均值处理指的是：计算图像中像素点的平均像素值，然后，将图像中每个像素点的像素值减去该平均像素值。

其中，归一化处理可以包括：将去均值处理后的区域图像的像素值转换到0-1之间。

本发明实施例，可以针对每张生命体组织图像检测出靶向区域图像，然后，对每张生命体组织图像的靶向区域图像进行去均值处理、归一化处理等，得到每张生命体组织图像的预处理后图像。

例如，参考图7b，可以采集宫颈染醋酸后不同时间点的醋酸白上皮图像。比如，宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。然后，对于每张醋酸白上皮图像，可以分别基于标注靶向区域的区域信息检测出靶向区域图像，并对靶向区域图像进行预处理(包括均值处理、归一化处理)；对于每张醋酸白上皮图像的预处理后靶向区域图像，可以采用CNN网络模型提取图像特征，得到每张醋酸白上皮图像的图像特征即CNN特征。

703、采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征。

经过上述步骤，可以提取每张生命体组织图像的图像特征如CNN特征，本发明实施例为了提升了图像分类的准确性，还可以对生命体组织图像的图像特征进行时序特征提取，得到时序特征。

其中，预设时序特征提取网络模型可以基于神经网络的时序特征提取模型，比如，可以为LSTM(Long Short-Term Memory，长短期记忆网络)模型。

LSTM是一种时间递归神经网络(recurrent neural network,RNN)，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，可以用于提取时序特征。

LSTM可以利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。

LSTM的特点就是在RNN结构以外添加了各层的阀门节点。阀门有3类：遗忘阀门(forget gate)，输入阀门(input gate)和输出阀门(output gate)。这些阀门可以打开或关闭，用于将判断模型网络的记忆态(之前网络的状态)在该层输出的结果是否达到阈值从而加入到当前该层的计算中。阀门节点利用sigmoid函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的的计算结果相乘作为下一层的输入；如果没有达到阈值则将该输出结果遗忘掉。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。

参考图7b，在提取每张醋酸白上皮图像的图像特征即CNN特征后，可以利用LSTM时序特征提取网络对多张醋酸白上皮图像的CNN特征进行时序特征提取并形成新的时序特征向量，最后经FC分类网络进行病变分类。

704、采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果。

其中，预设分类网络模型可以由标注了病理分析结果的样本生命体组织图像的时序特征训练而成。

其中，预设分类网络模型可以为FC(全连接)分类网络模型，比如，参考图7b，对于形成的时序特征向量，可以输入FC分类网络进行分类，得到分类结果(如病变、正常等)。在一实施例中，预设分类网络模型还可以输出分类结果的预测概率，如分类结果为病变的预测概率等等。

在一实施例中，为了提升宫颈癌的诊断效率和准确性，还可以识别宫颈转化区的类型，以及位置等。比如，本发明实施例方法还可以包括：

当所述分类结果为正常时，采用预设区域检测模型对所述生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成；

采用预设区域分类模型对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成；

根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型。

具体地，识别辨别区域的位置和类型的过程可以上述的介绍，比如，参考图3至图4a的描述，这里不再赘述。

在一实施例中，为了便于宫颈癌诊断，还可以检测出活检区域，比如，当分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

采用预设病变分类模型对所述待识别区域进行分类；

获取分类结果为病变的待识别区域所对应的病变预测概率；

将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

活检区域预测流程可以参考上述实施例的介绍，比如，参考图5、图6a的详细介绍，此处不再赘述。为了更好地实施以上方法，本发明实施例还可以提供一种图像分类装置，该图像分类装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。

例如，如图8a所示，该图像分类装置可以包括采集单元801、检测单元802、预处理单元803、分类单元804以及融合单元805，如下：

采集单元801，用于采集生命体组织的多张生命体组织图像；

检测单元802，用于根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

预处理单元803，用于对检测到的靶向区域图像进行预处理，得到待识别图像；

分类单元804，用于采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

融合单元805，用于当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

在一实施例中，所述分类结果包括病变、或者正常；所述融合单元805，用于：

获取分类结果为病变的第一结果数量、以及分类结果为正常的第二结果数据；

根据所述第一结果数量和所述第二结果数量，确定所述最终分类结果。

在一实施例中，所述融合单元805，可以具体用于：

获取所述生命体组织图像的分类结果所对应的预测概率；

根据所述预测概率对所述生命体组织图像的分类结果进行融合，得到最终分类结果。

在一实施例中，所述融合单元805，可以具体用于：

获取所述生命体组织图像的分类结果为病变的病变预测概率、以及分类结果为正常的正常预测概率；

将每张生命体组织图像的病变预测概率进行累加，得到病变累加概率；

将每张生命体组织图像的正常预测概率进行累加，得到正常累加概率；

根据所述病变累加概率和所述正常累加概率，从病变和正常中确定最终分类结果。

在一实施例中，参考图8b，所述检测单元802，可以包括:

采集子单元8021，用于采集多张标注了靶向区域的生命体组织样本图像；

信息获取子单元8022，用于获取所述生命组织样本图像中标注靶向区域的区域信息，得到多个标注靶向区域的区域信息；

检测子单元8023，用于根据所述多个标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像。

在一实施例中，所述区域信息还包括区域尺寸信息；检测子单元8023，可以具体用于：获取标注病变区域的平均位置信息和平均尺寸信息；根据所述平均位置信息和所述平均尺寸信息，从所述生命体组织图像中检测病变区域图像。

在一实施例中，参考图8c，本发明实施例提供的图像分类装置还可以包括：

特征检测单元806，用于当所述最终分类结果为正常时，采用预设区域检测模型对所述生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成；

识别单元807，用于采用预设区域分类模型对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成；

标注单元808，用于根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型。

在一实施例中，标注单元808，可以用于：

根据识别结果确定辨别区域的类型，并获取辨别区域的坐标；

根据所述坐标在所述生命体组织图像上标注辨别区域的位置，并在所述位置上标注辨别区域的类型。

在一实施例中，参考图8d，本发明实施例提供的图像分类装置还可以包括：

区域检测单元809，用于当所述最终分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

预处理单元810，用于若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

区域分类单元811，用于采用所述预设病变分类模型对所述待识别区域进行分类；

概率获取单元812，用于获取分类结果为病变的待识别区域所对应的病变预测概率；

区域确定单元813，用于将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

在一实施例中，预处理单元810，可以具体用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

从所述候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；

将重置对象缩放为预设尺寸，得到待识别区域。

在一实施例中，预处理单元810，可以具体用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

获取候选区域所对应的病变预测概率和位置信息；

根据所述病变预测概率和位置信息确定病变对象；

从所述病变区域中提取所述病变对象的最小外接矩形区域作为重置对象。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的图像分类装置通过采集单元801采集生命体组织的多张生命体组织图像；然后，由检测单元802根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；由预处理单元803对检测到的靶向区域图像进行预处理，得到待识别图像；由分类单元804采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果；由融合单元805当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果；由于该方案可以从整张图像中检测出靶向区域图像，对检测出的靶向区域图像进行分类，并且对每张图像的分类结果进行融合得到最终分类结果从而实现病变诊断；可以避免漏掉靶向区域较小的图像，因此，相对于现有只对整张图像来进行直接分类的方案而言，可以大大减少漏检的概率，提高图像分类的准确率和有效性；进而提升了病变诊断的准确性和有效性。

为了更好地实施以上方法，本发明实施例还可以提供另一种图像分类装置，该图像分类装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。

例如，如图9a所示，该图像分类装置可以包括采集单元901、图像特征提取单元902、时序特征提取单元903、以及分类单元904，如下：

采集单元901，用于采集生命体组织的多张生命体组织图像；

图像特征提取单元902，用于采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；

时序特征提取单元903，用于采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；

分类单元904，用于采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果。

在一实施例中，参考图9b，图像特征提取单元902，可以具体包括：

区域检测子单元9021，用于根据生命组织样本图像中标注靶向区域的区域信息，分别从每张生命体组织图像中检测靶向区域图像，得到每张生命体组织图像的靶向区域图像，其中，所述区域信息包括区域位置信息；

处理子单元9022，用于对每张生命体组织图像的靶向区域图像进行预处理，得到每张生命体组织图像的预处理后图像；

特征提取子单元9023，用于采用预设特征提取网络模型分别对每张预处理后图像进行特征提取，得到每张生命体组织图像的图像特征。

在一实施例中，处理子单元9022，可以具体用于：

将每张生命体组织图像的靶向区域图像的尺寸缩放到预设尺寸，得到每张生命体组织图像的缩放后区域图像；

对每张缩放后区域图像的像素值进行去均值处理，得到处理后区域图像；

对所述处理后区域图像的像素值进行归一化处理，得到每张生命体组织图像的预处理后图像。

在一实施例中，参考图9c，本发明实施例提供的图像分类装置还可以包括：

特征检测单元905，用于当所述最终分类结果为正常时，采用预设区域检测模型对所述生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成；

识别单元906，用于采用预设区域分类模型对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成；

标注单元907，用于根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型。

在一实施例中，标注单元907，可以用于：

根据识别结果确定辨别区域的类型，并获取辨别区域的坐标；

根据所述坐标在所述生命体组织图像上标注辨别区域的位置，并在所述位置上标注辨别区域的类型。

在一实施例中，参考图9d，本发明实施例提供的图像分类装置还可以包括：

区域检测单元908，用于当所述最终分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

预处理单元909，用于若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

区域分类单元910，用于采用所述预设病变分类模型对所述待识别区域进行分类；

概率获取单元911，用于获取分类结果为病变的待识别区域所对应的病变预测概率；

区域确定单元912，用于将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

在一实施例中，预处理单元909，可以具体用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

从所述候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；

将重置对象缩放为预设尺寸，得到待识别区域。

在一实施例中，预处理单元909，可以具体用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

获取候选区域所对应的病变预测概率和位置信息；

根据所述病变预测概率和位置信息确定病变对象；

从所述病变区域中提取所述病变对象的最小外接矩形区域作为重置对象。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的图像分类装置通过采集单元901采集生命体组织的多张生命体组织图像；然后，由图像特征提取单元902采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；由时序特征提取单元903采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；由分类单元904采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果；由于该方案可以从整张图像中检测出靶向区域图像，对检测出的靶向区域图像进行分类，并且对每张图像的分类结果进行融合得到最终分类结果从而实现病变诊断；可以避免漏掉靶向区域较小的图像，因此，相对于现有只对整张图像来进行直接分类的方案而言，可以大大减少漏检的概率，提高图像分类的准确率和有效性；进而提升了病变诊断的准确性和有效性。本发明实施例还提供一种网络设备，具体可以为终端，也可以为服务器，该网络设备可以集成本发明实施例所提供的任一种图像分类装置。

例如，如图10所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图10中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1001是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。

网络设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器1001会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的应用程序，从而实现各种功能，如下：

采集生命体组织的多张生命体组织图像；根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；对检测到的靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。或者

采集生命体组织的多张生命体组织图像；采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像分类方法中的步骤。例如，该指令可以执行如下步骤：

采集生命体组织的多张生命体组织图像；根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；对检测到的靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到最终分类结果。或者

采集生命体组织的多张生命体组织图像；采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；采用预设分类网络模型对所述目标时序特征进行分类处理，得到分类结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种图像分类方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种图像分类装置，其特征在于，

采集单元，用于采集生命体组织的多张生命体组织图像；

检测单元，用于根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

预处理单元，用于对检测到的靶向区域图像进行预处理，得到待识别图像；

分类单元，用于采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

融合单元，用于当得到采集到的所有生命体组织图像对应的分类结果时，获取所述生命体组织图像的分类结果为病变的病变预测概率、以及分类结果为正常的正常预测概率；从所述病变预测概率中确定概率最大的目标病变预测概率，并从所述正常预测概率中确定概率最大的目标正常预测概率；根据所述最大的目标病变预测概率和所述最大的目标正常预测概率，从病变和正常中确定最终分类结果；

特征检测单元，用于当所述最终分类结果为正常时，根据生命体组织图像的采集时间，从所述多张生命体组织图像中选择待检测的目标生命体组织图像；采用预设区域检测模型对所述目标生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述预设区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成；

识别单元，用于采用预设区域分类模型对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成；

标注单元，用于根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度；通过非极大值抑制算法对所述预设范围内各个识别框的类型的置信度进行计算，得到所述预设范围的置信度；选择置信度最大的预设范围的类型作为辨别区域的类型，并获取辨别区域的坐标；根据所述坐标在所述生命体组织图像上标注辨别区域的位置，并在所述位置上标注辨别区域的类型；

区域检测单元，用于当所述最终分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

预处理单元，用于若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

区域分类单元，用于采用所述预设病变分类模型对所述待识别区域进行分类；

概率获取单元，用于从所述预设病变分类模型输出的分类结果中获取分类结果为病变的待识别区域所对应的病变预测概率；

区域确定单元，用于将所述待识别区域所对应的病变预测概率高于预设阈值的待识别区域确定为活检区域。

2.如权利要求1所述的图像分类装置，其特征在于，所述检测单元，包括：

采集子单元，用于采集多张标注了靶向区域的生命体组织样本图像；

信息获取子单元，用于获取所述生命组织样本图像中标注靶向区域的区域信息，得到多个标注靶向区域的区域信息；

检测子单元，用于根据所述多个标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像。

3.如权利要求2所述的图像分类装置，其特征在于，所述区域信息还包括区域尺寸信息；检测子单元，用于：获取标注病变区域的平均位置信息和平均尺寸信息；根据所述平均位置信息和所述平均尺寸信息，从所述生命体组织图像中检测病变区域图像。

4.如权利要求1所述的图像分类装置，其特征在于，所述预处理单元，用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

从所述候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；

将重置对象缩放为预设尺寸，得到待识别区域。

5.如权利要求4所述的图像分类装置，其特征在于，所述预处理单元，用于：采用非极大值抑制算法对病变区域进行筛选，得到候选区域；获取候选区域所对应的病变预测概率和位置信息；根据所述病变预测概率和位置信息确定病变对象；从所述病变区域中提取所述病变对象的最小外接矩形区域作为重置对象。

6.如权利要求1所述的图像分类装置，其特征在于，所述特征检测单元，还用于：在对所述目标生命体组织图像进行关键特征检测之前，在按照预测策略对所述目标生命体组织图像进行预处理，其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整。

7.如权利要求1所述的图像分类装置，其特征在于，还包括：训练单元；

所述训练单元，用于：

采集多个生命体组织样本图像；

采用预设病变区域检测模型对所述生命体组织样本图像进行病变区域检测；

若检测到病变区域，则截取病变区域作为病变区域样本，并采用预设算法对病变区域样本进行预处理；

对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像；

根据所述区域样本图像对预设分类模型进行训练，得到预设病变分类模型。

8.如权利要求1所述的图像分类装置，其特征在于，区域确定单元，还用于：获取所述高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率；输出所述活检区域和活检区域的病变预测概率。

9.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如下方法步骤：

采集生命体组织的多张生命体组织图像；

根据生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

对检测到的靶向区域图像进行预处理，得到待识别图像；

采用预设病变分类模型对所述待识别图像进行分类，得到所述生命体组织图像对应的分类结果，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

当得到采集到的所有生命体组织图像对应的分类结果时，获取所述生命体组织图像的分类结果为病变的病变预测概率、以及分类结果为正常的正常预测概率；从所述病变预测概率中确定概率最大的目标病变预测概率，并从所述正常预测概率中确定概率最大的目标正常预测概率；根据所述目标病变预测概率和所述目标正常预测概率，从病变和正常中确定最终图像分类结果；

对所述生命体组织图像的分类结果进行融合，得到最终分类结果；

当所述最终分类结果为正常时，根据生命体组织图像的采集时间，从所述多张生命体组织图像中选择待检测的目标生命体组织图像；采用预设区域检测模型对所述目标生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述预设区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成；

对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成；

根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度；通过非极大值抑制算法对所述预设范围内各个识别框的类型的置信度进行计算，得到所述预设范围的置信度；选择置信度最大的预设范围的类型作为辨别区域的类型，并获取辨别区域的坐标；根据所述坐标在所述生命体组织图像上标注辨别区域的位置，并在所述位置上标注辨别区域的类型；

当所述最终分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

采用所述预设病变分类模型对所述待识别区域进行分类；

从所述预设病变分类模型输出的分类结果中获取分类结果为病变的待识别区域所对应的病变预测概率；

将所述待识别区域所对应的病变预测概率高于预设阈值的待识别区域确定为活检区域。

Images