CN109190540A - 活检区域预测方法、图像识别方法、装置和存储介质 - Google Patents

Abstract

本发明实施例公开了一种活检区域预测方法、图像识别方法、装置和存储介质；本发明实施例可以采集待检测的生命体组织图像，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，并采用预设病变分类模型对预处理得到的待识别区域进行分类，获取分类结果为病变的待识别区域所对应的病变预测概率，将病变预测概率高于预设阈值的待识别区域确定为活检区域；该方案可以减少漏检的概率，提高活检区域预测的准确率和有效性。

Description

活检区域预测方法、图像识别方法、装置和存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种活检区域预测方法、图像识别方法、装置和存储介质。

背景技术

活检区域，指的是在医疗活动中，进行活体组织检查的区域。活体组织检查，简称活检，意为从病人身上切取病变组织做病理检查，用以协助临床医生确定疾病，比如，宫颈活检指的就是从宫颈上取一小块或几块组织作为病理检查，等等，它是现代医疗活动中较为常规的一种检查方式，通过活检，可以为后续的诊断提供基础。

传统的活检、以及活检区域的确定均由人工进行操作，而随着人工智能(AI，Artificial Intelligence)的发展，人们逐渐提出了通过AI来实现活检的技术，比如，对图片的固定区域进行截取，然后，利用深度学习技术对截取的图像进行分类(即分为正常和病变)，并输出病变概率，此后，便可以基于病变概率来确定活检区域。但是，在对现有技术的研究和实践过程中，本发明的发明人发现，由于只对图片的固定区域进行截取，且某些病变区域较小，因此，现有方案在对图像进行检测(分类)时，容易出现漏检的情况，导致活检区域预测的准确率和有效性较低。

发明内容

本发明实施例提供一种活检区域预测方法、图像识别方法、装置和存储介质，可以降低漏检的概率，提高活检区域预测的准确率和有效性。

本发明实施例提供一种活检区域预测方法，包括：

采集待检测的生命体组织图像；

采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

获取分类结果为病变的待识别区域所对应的病变预测概率；

将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

相应的，本发明实施例还提供一种活检区域预测装置，包括：

采集单元，用于获取待检测的生命体组织图像；

检测单元，用于采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

预处理单元，用于在检测单元检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域；

分类单元，用于采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

获取单元，用于获取分类结果为病变的待识别区域所对应的病变预测概率；

确定单元，用于将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

本发明实施例还提供了一种图像识别方法，包括：

采集待检测的生命体组织图像；

对所述生命体组织图像进行分类，得到图像分类结果；

当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；

从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

相应的，本发明实施例还提供了一种图像识别装置，包括：

采集单元，用于采集待检测的生命体组织图像；

图像分类单元，用于对所述生命体组织图像进行分类，得到图像分类结果；

区域检测单元，用于当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

区域分类单元，用于采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

概率获取单元，用于获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；

区别识别单元，用于从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种活检区域预测方法、图像识别方法中的步骤。

本发明实施例可以采集待检测的生命体组织图像，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，并采用预设病变分类模型对预处理得到的待识别区域进行分类，再然后，将分类结果为病变的待识别区域所对应的病变预测概率与预设阈值进行比较，若高于预设阈值，则确定为活检区域；由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的活检区域预测方法的场景示意图；

图1b是本发明实施例提供的活检区域预测方法的流程图；

图2a是本发明实施例提供的活检区域预测方法的另一流程图；

图2b是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的活检区域预测的架构示例图；

图3a是本发明实施例提供的图像识别方法的场景示意图；

图3b是本发明实施例提供的图像识别方法的流程示意图；

图3c是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的病变分类的示意图；

图3d是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的病变分类结果融合示意图；

图3e是本发明实施例提供的阴道镜图像(宫颈癌前诊断)的图像分类架构示例图；

图4a是本发明实施例提供的辨别区域类型识别的流程示意图；

图4b是本发明实施例提供的关于宫颈转化区类型的图像识别的架构示意图；

图5a是本发明实施例提供的图像识别方法的另一流程示意图；

图5b是本发明实施例提供的图像识别方法的架构示意图；

图5c是本发明实施例提供的阴道镜辅助诊断方法各功能模块的输入输出示意图；

图6a是本发明实施例提供的活检区域预测装置的结构示意图；

图6b是本发明实施例提供的活检区域预测装置的另一结构示意图；

图7a是本发明实施例提供的图像识别装置的结构示意图；

图7b是本发明实施例提供的图像识别装置的另一结构示意图；

图7c是本发明实施例提供的图像识别装置的另一结构示意图；

图7d是本发明实施例提供的图像识别装置的另一结构示意图；

图7e是本发明实施例提供的图像识别装置的另一结构示意图；

图7f是本发明实施例提供的图像识别装置的另一结构示意图；

图8是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种活检区域预测方法、图像识别装置和存储介质。

其中，该活检区域预测装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备，例如，参见图1a，网络设备可以采集待检测的生命体组织图像，比如，具体可以接收一些图像采集设备，如阴道镜或内窥镜等发送的生命体组织图像(如阴道镜图像或内窥镜图像等)，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，比如进行归并和重置，得到待识别区域，再然后，采用预设病变分类模型对该待识别区域进行分类(分为病变和正常)，获取分类结果为病变的待识别区域所对应的病变预测概率，将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

可选的，此后还可以获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，然后输出该活检区域和活检区域的病变预测概率，以供医生进行参考。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

实施例一、

本实施例将从活检区域预测装置的角度进行描述，该活检区域预测装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备，其中，该终端可以包括平板电脑、笔记本电脑或个人计算机(PC，Personal Computer)等。

本发明实施例提供一种活检区域预测方法，包括：采集待检测的生命体组织图像，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域，采用预设病变分类模型对该待识别区域进行分类，获取分类结果为病变的待识别区域所对应的病变预测概率，将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

如图1b所示，该活检区域预测方法的具体流程可以如下：

101、采集待检测的生命体组织图像。

例如，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给该活检区域预测装置，即，活检区域预测装置具体可以接收图像采集设备发送的待检测的生命体组织图像。

其中，待检测的生命体组织图像意为需要进行检测的生命体组织图像，所谓生命体组织图像，指的是生命体(有生命形态的独立个体就是生命体，能对外界刺激做出相应反映)的某组成部分的图像，比如人体的肠胃、心脏、喉咙和阴道等的图像，又比如狗的肠胃、甚至口腔或皮肤等的图像。

102、采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则执行步骤103。

例如，具体可以将该生命体组织图像导入该病变区域检测模型中进行检测，若存在病变区域，则该病变区域检测模型会输出所预测的病变区域，然后执行步骤103；而若不存在病变区域，则该病变区域检测模型会输出空白信息或输出无病变区域的提示信息，流程可以结束。

其中，该病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置，或者，也可以由该活检区域预测装置自行进行训练；即在步骤“用预设病变区域检测模型对该生命体组织图像进行病变区域检测”之前，该活检区域预测方法还可以包括：

采集多个标注了病变区域的生命体组织样本图像，根据该生命体组织样本图像对预设目标检测模型进行训练，得到病变区域检测模型。

例如，具体可以将生命体组织样本图像输入至预设目标检测模型中进行检测，得到预测的病变区域，将该预测的病变区域和标注的病变区域进行收敛，使得预测的病变区域无限接近于标注的病变区域，以此类推进行多次训练，最终便可得到病变区域检测模型。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

103、在检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对病变区域进行筛选和重置等，即步骤“采用预设算法对病变区域进行预处理，得到待识别区域”可以包括：

(1)采用非极大值抑制算法(non-maximum suppression)对病变区域进行筛选，得到候选区域。

所谓非极大值抑制算法，指的是如果两个检测出来的区域(在此指病变区域)的重叠度达到一定条件，比如超过70％，那么保留预测概率高的区域，删除预测概率低的区域，以此类推，不停迭代，直到剩下的所有检测出的区域重叠程度不符合条件。

其中，该条件可以根据实际应用的需求进行设置，在此不作赘述。

(2)从该候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；例如，具体可以如下：

获取候选区域所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象。

其中，该“根据该病变预测概率和位置信息确定病变对象，并从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象”的操作，在本发明实施例中也可以称为“归并”。

(3)将重置对象缩放为预设尺寸，得到待识别区域。

其中，该“将重置对象缩放为预设尺寸”的操作在本发明实施例中也可以称为“重置”，而该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等。

104、采用预设病变分类模型对该待识别区域进行分类。

例如，具体可以将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果，此时可以执行步骤105。

其中，该预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置，或者，也可以由该活检区域预测装置自行进行训练；即在步骤“采用预设病变分类模型对所述待识别区域进行分类”之前，该活检区域预测方法还可以包括：

(1)获取多个标注了病理分析结果的区域样本图像。

其中，获取该标注了病理分析结果的区域样本图像的方式可以有多种，比如，可以采用如下任意一种方式：

方式一(样本图像已标注病变区域)：

采集多个标注了病变区域的生命体组织样本图像，根据标注(即病变区域的标注)从该生命体组织样本图像中截取病变区域，得到病变区域样本，采用预设算法对病变区域样本进行预处理，对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像。

方式二(样本图像已标注病变区域或未标注病变区域)：

采集多个生命体组织样本图像，采用预设病变区域检测模型对该生命体组织样本图像进行病变区域检测，若检测到病变区域，则截取检测到的病变区域作为病变区域样本，并采用预设算法对病变区域样本进行预处理，对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

同理，病理分析结果的标注也可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则也可根据实际应用的需求而定，比如，可以采用“金标准”来确定“病理分析结果”，并将该具体的“病理分析结果”作为标注时所采用的标签，等等。其中，所谓"金标准"是指当前临床医学界公认的诊断疾病的最可靠、最准确、以及最好的诊断方法。临床上常用的金标准有组织病理学检查(活检和尸检等)、手术发现、影像诊断(CT、核磁共振、彩色和B超等)、病原体的分离培养以及长期随访所得的结论。金标准一般是特异性诊断方法，可以正确区分为“有病”和“无病”。

此外，需说明的是，不管是在方式一还是方式二中，均需要采用预设算法对病变区域样本进行预处理，该预处理与在进行“活检区域”预测中的预处理类似，即采用非极大值抑制算法对病变区域样本进行筛选后，进行归并和重置，比如具体可以如下：

采用非极大值抑制算法对病变区域样本进行筛选，得到候选区域样本，从该候选区域样本中确定病变对象，并对病变对象进行提取，得到重置对象样本，将重置对象样本缩放为预设尺寸，得到预处理后的病变区域样本。

比如，具体可以获取候选区域样本所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该候选区域样本中提取该病变对象的最小外接矩形区域作为重置对象样本，然后，将重置对象样本缩放为预设尺寸，如“352×352”，得到预处理后的病变区域样本。

其中，该预设尺寸可以根据实际应用的需求进行设置，在此不作赘述。

(2)根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。

例如，具体可以将区域样本图像输入至预设分类模型中进行分类，得到预测的分类结果，比如病变或正常，将该预测的分类结果和标注的病理分析结果(标注的标签为病变或正常)进行收敛，使得预测的分类结果与标注的病理分析结果之间的误差最小化，即可完成一次训练，以此类推进行多次训练，直至所有区域样本图像训练完毕，便可得到最终所需的病变分类模型。

105、获取分类结果为病变的待识别区域所对应的病变预测概率。

由于病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，因此，可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率(经过筛选后的病变预测概率)作为该待识别区域所对应的病变预测概率。

106、将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

可选的，若病变预测概率不高于预设阈值，则可以确定该待识别区域为非活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即在步骤“将病变预测概率高于预设阈值的待识别区域确定为活检区域”将之后，该活检区域预测还可以包括：

获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

由上可知，本实施例可以采集待检测的生命体组织图像，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，并采用预设病变分类模型对预处理得到的待识别区域进行分类，再然后，将分类结果为病变的待识别区域所对应的病变预测概率与预设阈值进行比较，若高于预设阈值，则确定为活检区域；由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小或位置奇特的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

实施例二、

根据前面实施例所描述的方法，以下将以该活检区域预测装置具体集成在网络设备举例作进一步详细说明。

(一)首先，需要对病变区域检测模型和病变分类模型进行训练，具体可以如下：

(1)病变区域检测模型的训练。

网络设备采集多个标注了病变区域的生命体组织样本图像，然后，根据该生命体组织样本图像对预设目标检测模型进行训练，比如，具体可以从该多个生命体组织样本图像中确定当前需要训练的生命体组织样本图像，然后，将该当前需要训练的生命体组织样本图像输入至预设目标检测模型中进行检测，得到预测的病变区域，将该预测的病变区域和标注的病变区域(即当该前需要训练的生命体组织样本图像标注的病变区域)进行收敛，使得预测的病变区域与标注的病变区域误差最小化，进而对该目标检测模型中的参数进行调整，再然后返回执行“从该多个生命体组织样本图像中确定当前需要训练的生命体组织样本图像”的步骤，直至所有生命体组织样本图像均训练完毕，即可得到病变区域检测模型。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

例如，以病变区域检测模型具体为宫颈疾病的病变区域检测模型为例，则网络设备采集多个标注了病变区域的阴道镜图像，然后，根据该阴道镜图像对预设目标检测模型进行训练，比如，具体可以从该多个阴道镜图像中确定当前需要训练的阴道镜图像，然后，将该当前需要训练的阴道镜图像输入至预设目标检测模型中进行检测，得到预测的病变区域，将该预测的病变区域和标注的病变区域(即当该前需要训练的阴道镜图像标注的病变区域)进行收敛，使得预测的病变区域与标注的病变区域误差最小化，进而对该目标检测模型中的参数进行调整，再然后返回执行“从该多个阴道镜图像中确定当前需要训练的阴道镜图像”的步骤，直至所有阴道镜图像均训练完毕，即可得到宫颈疾病的病变区域检测模型。

(2)病变分类模型的训练。

网络设备获取多个标注了病理分析结果的区域样本图像，比如，可以采集多个标注了病变区域的生命体组织样本图像，根据标注(即病变区域的标注)从该生命体组织样本图像中截取病变区域，或者，也可以直接采用在训练病变区域检测模型时所采用的生命体组织样本图像，即当病变区域检测模型检测到病变区域时，对这些病变区域进行截取，然后，采用预设算法对截取得到的病变区域样本进行预处理，并对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像，再然后，便可以根据该区域样本图像对预设分类模型进行训练，比如，具体可以从这些区域样本图像中确定当前需要训练的区域样本图像，然后，将该当前需要训练区域样本图像输入至预设分类模型中进行分类，得到预测的指示病变的分类结果或指示正常的分类结果，将该预测的分类结果和标注的病理分析结果(标注的标签为病变或正常)进行收敛，使得预测的分类结果与标注的病理分析结果之间的误差最小化，即可完成一次训练，然后返回执行“从这些区域样本图像中确定当前需要训练的区域样本图像”的步骤，直至所有区域样本图像均训练完毕，便可得到最终所需的病变分类模型。

其中，病理分析结果的标注可以根据具体疾病的划分，由标注审核人员根据专业医生的指导进行标注，比如，若该病变分类模型为宫颈疾病的病变分类模型，则由标注审核人员根据宫颈疾病专业医生的指导对区域样本图像(由阴道镜图像进行病变区域检测而得到)等进行标注，又比如，若该病变分类模型为心肺疾病的病变分类模型，则由标注审核人员根据心肺疾病专业医生的指导对区域样本图像(由心肺图像进行病变区域检测而得到)等进行标注，等等。其中，病变区域的标注规则也可根据实际应用的需求而定，比如，可以采用“金标准”来确定“病理分析结果”，并将该具体的“病理分析结果”作为标注时所采用的标签，等等。

此外，预处理也可以根据实际应用的需求进行设置，比如，可以采用非极大值抑制算法对病变区域样本进行筛选后，进行归并和重置，具体如下：

网络设备采用非极大值抑制算法对病变区域样本进行筛选，得到候选区域样本，获取候选区域样本所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该候选区域样本中提取该病变对象的最小外接矩形区域作为重置对象样本，然后，将重置对象样本缩放为预设尺寸，如“352×352”，得到预处理后的病变区域样本。

其中，该预设尺寸可以根据实际应用的需求进行设置，在此不作赘述。

(二)其次，通过该训练好的病变区域检测模型和病变分类模型，便可对待检测生命体组织图像进行活检区域的预测，具体可参见图2a。

如图2a所示，一种活检区域预测方法，具体流程可以如下：

201、图像采集设备对生命体组织进行图像采集，并将采集到的生命体组织图像提供给该网络设备。

例如，具体由医疗检测设备如阴道镜或内窥镜等，或者由各医疗监控设备等来对生命体组织进行图像采集，进而提供给该网络设备。

生命体组织图像，指的是生命体的某组成部分的图像，比如人体的肠胃、心脏、喉咙和阴道等，又比如狗的肠胃、甚至口腔或皮肤，等等，为了描述方便，在本实施例中，将以该生命体组织图像具体为阴道镜图像为例进行说明。

202、网络设备获取到该生命体组织图像后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则执行步骤203。

例如，以该生命体组织图像为阴道镜图像为例，如图2b所示，网络设备可以将该阴道镜图像导入宫颈疾病的病变区域检测模型中进行检测，若不存在病变区域，则该病变区域检测模型会输出空白信息或输出无病变区域的提示信息，流程可以结束；而若存在病变区域，则该病变区域检测模型会输出所预测的病变区域，此外，还可以输出各病变区域所对应的病变预测概率，然后执行步骤203

203、在检测到病变区域时，网络设备采用非极大值抑制算法对病变区域进行筛选，得到候选区域，然后执行步骤204。

例如，具体可以获取各个病变区域两两之间的重叠度，确定重叠度是否符合预设条件，比如，可以确定该重叠度是否超过70％，若符合该预设条件，则保留其中病变预测概率较高的病变区域，而删除其中病变预测概率较低的病变区域，以此类推，不停迭代，直到保留下来的所有病变区域重叠程度不符合预设条件为止，然后，将保留下来的这些病变区域作为候选区域。

其中，该预设条件可以根据实际应用的需求进行设置，在此不作赘述。

204、网络设备从该候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；例如，具体可以如下：

网络设备获取候选区域所对应的病变预测概率和位置信息，根据该病变预测概率和位置信息确定病变对象，从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象。

其中，该“根据该病变预测概率和位置信息确定病变对象，并从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象”的操作，在本发明实施例中也可以称为“归并”。例如，以阴道镜图像的宫颈癌前诊断为例，如图2b所示，在根据病变预测概率和位置信息确定病变对象(即可能发生宫颈癌病变的区域)后，可以在该病变对象上绘制一最小外接矩形，并将该最小外接矩形内的区域作为重置对象，详见图2b中“病变区域归并和重置”中左图的白色矩形框。

205、网络设备将重置对象缩放为预设尺寸，得到待识别区域，然后执行步骤206。

其中，该“将重置对象缩放为预设尺寸”的操作在本发明实施例中也可以称为“重置”，而该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等，比如，可参见图2b中“病变区域归并和重置”中的右图，该右图即为“病变区域归并和重置”左图中白色矩形框内区域部分(即重置对象)放大为预设尺寸后的图像(即待识别区域。)。

206、网络设备采用预设病变分类模型对该待识别区域进行分类，然后执行步骤207。

例如，具体可以将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果，此时可以执行步骤207。

比如，还是以阴道镜图像为例，参见图2b，将待识别区域导入该宫颈疾病的病变分类模型中进行分类之后，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，比如存在宫颈癌病变的情况，则该病变分类模型会输出表示病变的分类结果，则此时可以执行步骤207。

207、网络设备获取分类结果为病变的待识别区域所对应的病变预测概率。

病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，比如，参见图2b，因此，可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率(经过筛选后的病变预测概率)作为该待识别区域所对应的病变预测概率。

208、网络设备将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

可选的，若病变预测概率不高于预设阈值，则可以确定该待识别区域为非活检区域。

例如，如图2b所示，以该预设阈值为0.5为例，由于待识别区域A的病变预测概率为0.7，待识别区域B的病变预测概率为0.9，均高于预设阈值为0.5，因此，可以将待识别区域A和待识别区域B确定为预测的活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即还可以执行步骤209，如下：

209、网络设备获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

例如，该网络设备具体可以从病变区域检测模型输出的检测结果中获取该高于预设阈值的待识别区域的病变预测概率，作为相应的活检区域的病变预测概率，然后输出该活检区域和活检区域的病变预测概率，以供医生进行参考。

比如，还是以将待识别区域A和待识别区域B确定为预测的活检区域为例，则如图2b所示，此时可以输出“待识别区域A，病变预测概率为0.7”、以及输出“待识别区域B，病变预测概率为0.9”，等等，此后，医生便可基于该输出结果作进一步人工筛选，以确定最终的活检区域。

由上可知，本实施例可以采集待检测生命体组织图像，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，并采用预设病变分类模型对预处理得到的待识别区域进行分类，再然后，将分类结果为病变的待识别区域所对应的病变预测概率与预设阈值进行比较，若高于预设阈值，则确定为活检区域；由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小或位置奇特的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

实施例三、

在上述实施例的基础上，本发明实施例还提供一种图像识别方法、装置。

其中，该图像识别装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备，例如，参见图3a，网络设备可以采集待检测的生命体组织图像，比如，具体可以接收一些图像采集设备，如阴道镜或内窥镜等发送的生命体组织图像(如阴道镜图像或内窥镜图像等)，然后，对所述生命体组织图像进行分类，得到图像分类结果；当图像分类结果为病变时，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，比如进行归并和重置，得到待识别区域，再然后，采用预设病变分类模型对该待识别区域进行分类(分为病变和正常)，获取分类结果为病变的待识别区域所对应的病变预测概率，将该病变预测概率高于预设阈值的待识别区域确定为活检区域；以及从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

以下分别进行详细说明。

本实施例将从图像识别装置的角度进行描述，该图像识别装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备，其中，该终端可以包括平板电脑、笔记本电脑或个人计算机(PC，Personal Computer)等。

如图3b所示，该图像识别方法的具体流程可以如下：

301、采集待检测的生命体组织图像。

例如，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给该图像识别装置，即，图像识别装置具体可以接收图像采集设备发送的待检测的生命体组织图像。

其中，本发明实施例可以采集单张图像进行分类，也可以采集多张图像进行分类。比如，在对单张图像进行分类诊断时，可以采集宫颈上皮染醋酸后醋酸白上皮的图像。

其中，待检测的单张图像的采集方式可以包括人工选择，系统自动选择；比如：

(1)、人工选择单张图像：

比如，医生在对生命体组织加醋酸后，采用电子内窥镜设备采集生命体组织图像如阴道镜图像、胃镜图像等时，可以通过对电子内窥镜设备进行操作选择一定时长后醋酸白上皮的图像作为待检测的生命体组织图像，比如，可以选择70s后醋酸白上皮最明显的图像作为待检测的生命体组织图像。

例如，在医生采用阴道镜检测宫颈图像时，医生根据宫颈上皮染醋酸后醋酸白上皮的变化，选择70s后醋酸白上皮最明显的图像作为输入。

(2)、自动选择单张图像：系统根据预设时间点选择待检测的生命体组织图像。

比如，在对生命体组织加醋酸后，电子内窥镜设备或者图像识别装置可以根据预设时间点选择相应的醋酸白上皮图像作为待检测的生命体组织图像。比如，在医生采用阴道镜检测宫颈图像时，电子内窥镜设备或者图像识别装置可以在宫颈染醋酸后的90秒时刻，自动选择图像作为输入。

在一实施例中，还可以采集多张待检测(待分类)的生命体组织图像进行分类诊断。比如，可以采集生命体组织的多个生命体组织图像。

比如，可以同一病人同一次检查的不同时间点的多张生命体组织图像，譬如，可以采集同一病人同一次阴道镜检查的不同时间点的多张阴道镜图像如宫颈图像。

比如，在一实施例中，可以在对生命体组织加醋酸后，电子内窥镜设备或者图像识别装置可以根据预设时间点选择多张醋酸白上皮图像；例如，在医生采用阴道镜检测宫颈图像时，电子内窥镜设备或者图像识别装置可以宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

302、对生命体组织图像进行分类，得到图像分类结果。

(1)、在一实施例中，当待检测的生命体组织图像为单张的情况下，步骤“对生命体组织图像进行分类，得到图像分类结果”，可以包括：

根据生命组织样本图像中标注病变区域的区域信息，从生命体组织图像中检测病变区域图像，区域信息包括区域位置信息；

对检测到的病变区域图像进行预处理，得到预处理后区域图像；

采用预设病变分类模型对预处理后区域图像进行分类，得到图像分类结果。

其中，靶向区域图像可以为生命组织图像中可能发生病变的区域图像，或者生命体组织图像中需要诊断识别的区域，该区域可以根据实际需求设定；比如，宫颈图像的中心区域(一般宫颈癌前病变会发生在宫颈的中心区域)等。本发明实施例可以基于样本图像中标注的靶向区域的区域信息来检测当前生命体组织图像中的靶向区域图像。

其中，标注靶向区域为由标注人员在生命组织样本图像中标注的靶向区域，比如，靶向区域的标注可以由标注审核人员根据专业医生的指导进行标注，靶向区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注靶向区域，并给出区域信息如区域位置信息(如二维坐标)和区域尺寸(也即区域大小)，等等。

在一实施例中，根据标注靶向区域的区域信息在生命组织样本图像中确定靶向区域，然后，提取靶向区域内的图像，得到靶向区域图像。也即，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

根据生命组织样本图像中标注靶向区域的区域信息，生命体组织图像中确定靶向区域；

提取靶向区域内的图像，得到靶向区域图像。

其中，区域信息可以包括区域位置信息，该区域位置信息可以根据实际需求规定，比如，当采用矩形框标注靶向区域时，区域位置信息可以包括标注靶向区域的左上角点的位置信息、右上角点的位置信息、或者左下角点的位置信息等等。实际应用中，区域位置信息可以通过坐标值表示，如通过二者坐标值。

其中，区域信息还可以包括区域尺寸信息，比如，区域的高度、宽度等等尺寸信息。

基于区别信息检测靶向区域图像的方式有多种，比如，在一实施例中，可以仅仅基于标注靶向区域的区域位置信息检测靶向区域图像，又比如，在一实施例中可以结合区域位置信息和区域尺寸信息检测靶向区域图像。

为了提升靶向区域图像的检测准确性，在一实施例中，还可以获取多个标注靶向区域的区域信息，然后，基于多个标注靶向区域的区域信息来检测靶向区域图像。也即，步骤“根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

采集多个标注了靶向区域的生命体组织样本图像；

获取生命组织样本图像中标注靶向区域的区域信息，得到多个标注靶向区域的区域信息；

根据多个标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像。

在一实施例中，可以基于区域位置信息和区域尺寸信息检测靶向区域图像，比如，计算平均区域位置和平均区域尺寸，然后，基于平均区域位置和平均区域尺寸来检测靶向区域图像。比如，步骤“根据多个标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像”，可以包括：

获取标注靶向区域的平均位置信息和平均尺寸信息；

根据平均位置信息和平均尺寸信息，从生命体组织图像中检测靶向区域图像。

比如，可以标注靶向区域的平均位置信息和平均尺寸信息，在生命体组织图像中确定一个区别，该区域即为靶向区域，然后，从提取该区域内的图像，得到靶向区域图像。

例如，标注审核人员根据专业医生指导，在生命体组织图像(如阴道镜图像)中标注靶向区域(矩形框)，给出区域位置的二维坐标和区域大小；然后，图像识别装置可以统计计算所有标注区域的位置和大小均值，并作为生命体组织图像(如阴道镜图像)的靶向区域。

假设共有n个标注区域为[x₁,y₁,w₁,h₁]，[x₂,y₂,w₂,h₂]…[x_n,y_n,w_n,h_n]，其中(x,y)为标注框的左上角点的坐标(也即标注区域的位置坐标)，w为区域宽度，h为区域高度，那么靶向区域为[∑x/n,∑y/n,∑w/n,∑h/n]；此时，可以提取靶向区域内的图像，得到靶向区域图像。

本发明实施例中，在检测到靶向区域图像时，采用预设算法对靶向区域进行预处理，得到预处理后区域图像。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对靶向区域进行重置等，即步骤“采用预设算法对靶向区域图像进行预处理，得到预处理后区域图像”可以包括：采用预设算法对靶向区域图像进行重置，得到预处理后区域图像。

其中，重置指的是将图像的尺寸缩放到预设尺寸，也即，步骤“，对检测到的靶向区域图像进行预处理，得到预处理后区域图像”，包括：将检测到的靶向区域图像的尺寸缩放到预设尺寸，得到预处理后区域图像。

其中，该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等。

其中，该预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该图像识别装置，或者，也可以由该图像识别装置自行进行训练。

在步骤“采用预设病变分类模型对预处理后区域图像进行分类”之前，还可以包括：获取多个标注了病理分析结果的区域样本图像；根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。具体的，预设病变分类模型的训练过程可以参考上述实施例的描述，这里不再赘述。

例如，参考图3b，可以采集单张阴道镜图像(如宫颈图像)，并标注靶向区域的区域信息从阴道镜图像中检出靶向区域图像(如宫颈图像的中心区域图像)，然后，对靶向区域图像(如宫颈图像的中心区域图像)进行重置，并采用病变分类模型对重置后的靶向区域图像进行分类，得到图像分类结果(如病变、正常等)。

(2)、在一实施例中，当待检测的生命体组织图像为多张时，比如，宫颈上皮染醋酸后的0秒、70秒、90秒、120秒、150秒的图像时，可以对每张生命体组织图像进行分类，然后，将每张生命体组织图像的分类结果进行融合，得到最终图像分类结果。

比如，步骤“采集待检测的生命体组织图像”，可以包括：采集生命体组织的多张生命体组织图像；

步骤“对生命体组织图像进行分类，得到图像分类结果”，可以包括：

根据生命组织样本图像中标注靶向区域的区域信息，从生命体组织图像中检测靶向区域图像，区域信息包括区域位置信息；

对检测到的靶向区域图像进行预处理，得到预处理后区域图像；

采用预设病变分类模型对预处理后区域图像进行分类，得到生命体组织图像对应的分类结果；

当得到采集到的所有生命体组织图像对应的分类结果时，对生命体组织图像的分类结果进行融合，得到图像分类结果。

其中，基于标注靶向区域的区域信息检测靶向区域图像的方式可以参考上述单张图像情况下检测靶向区域图像的方式，这里不再赘述。

在一实施例中多张生命体组织图像可以为多张具有时序关系的生命体组织图像，比如，多张有时序关系的阴道镜图像等。

比如，以当采集同一病人的n张阴道镜图像(如宫颈图像)为例，采用上述介绍的方案，可以得到每张阴道镜图像的分类结果(正常、病变等)，即n个分类结果；然后，可以对每张阴道镜图像的分类结果进行融合，也即对n个分类结果进行融合，得到最终图像分类结果，n为大于2的正整数。

其中，图像采集方式可以有多种，例如，在一实施例中，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给该图像识别装置，即，图像识别装置具体可以接收图像采集设备发送的待检测的生命体组织图像。

又例如，在一实施例中，还可以由图像识别装置自己采集，比如，图像识别装置可以从接收到生命体组织的生命体组织图像中选择多张生命体组织图像。例如，图像采集设备可以实时向图像识别装置发送采集到的生命体组织图像，图像识别装置可以从接收到图像中选择多张图像。

在一实施例中，还可以基于预设时间点采集生命体组织的多张生命体组织图像，也即，步骤“采集生命体组织的多张生命体组织图像”，可以包括：根据预设时间点采集生命体组织的多张生命体组织图像。

其中，预设时间点可以为宫颈上皮染醋酸后的时间点，该时间点可以根据实际需求设定，比如，可以包括宫颈上皮染醋酸后的0秒、70秒、90秒、120秒、150秒等等。

具体地，可以根据预设时间点从接收到生命体组织图像中选择多张生命体组织图像；例如，在对宫颈上皮染醋酸后，电子内窥镜如阴道镜可以实时采集宫颈上皮染醋酸后的图像，并发送给图像识别装置(可以集成在网络设备如服务器中)；图像识别装置可以根据预设时间点从接收到图像中选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

具体地，可以根据预设时间点从接收到生命体组织图像中选择多张生命体组织图像；例如，在对宫颈上皮染醋酸后，电子内窥镜如阴道镜可以实时采集宫颈上皮染醋酸后的图像，并发送给图像识别装置(可以集成在网络设备如服务器中)；图像识别装置可以根据预设时间点从接收到图像中选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

本发明实施例中，基于预设时间点采集或选择图像的方式可以包括自动选择、人工选择两种方式；比如，根据上述接收的方式，可以图像识别装置可以根据预设时间点自动选择采集的生命体组织的多张生命体组织图像；例如，根据预设时间点自动选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

此外，图像识别装置还可以基于人工选择方式来采集或选择图像，比如，医生可以参考预设时间点的参考手动触发电子内窥镜或者图像识别装置采集多张生命体组织图像；比如，手动触发电子内窥镜或者图像识别装置选择宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

例如，参考图3d，采集多张阴道镜图像如采集宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像进行分类诊断时，可以采用上述方式从每张醋酸白上皮图像中检测出靶向区域图像，然后，对每张醋酸白上皮图像的靶向区域图像进行预处理，然后，可以采用预设病变分类模型对每张生命体组织图像中的预处理后靶向区域图像进行分类，得到每张生命体组织图像的分类结果(此时，可以得到多个分类结果)；最后，对分类结果进行融合，得到最终图像分类结果。

其中，分类结果的融合方式可以包括多种，比如，可以获取分类结果为病变的第一结果数量、以及分类结果为正常的第二结果数据；根据第一结果数量和第二结果数量，确定最终分类结果。

又比如，获取生命体组织图像的分类结果所对应的预测概率；根据预测概率对生命体组织图像的分类结果进行融合，得到最终分类结果。

其中，分类结果的预测概率可以包括：生命体组织图像属于该种分类结果的预测概率，比如，属于“正常”的预测概率，属于“病变”的预测概率。

其中，预设病变分类模型在输出分类结果的同时，还可以输出相应的分类结果的预测概率，比如，属于“正常”的预测概率，属于“病变”的预测概率。

本发明实施例中，基于预测概率的确定最终分类结果的方式可以有多种，比如，将每张生命体组织图像的病变预测概率进行累加，得到病变累加概率；将每张生命体组织图像的正常预测概率进行累加，得到正常累加概率；根据病变累加概率和正常累加概率，从病变和正常中确定最终分类结果。

又比如，网络设备从病变预测概率中确定概率最大的目标病变预测概率；根据目标病变预测概率，从病变和正常中确定最终分类结果；具体地，在一实施例中，当目标病变预测概率大于预设概率时，确定最终分类结果为病变；反之，可以确定最终分类结果为正常。其中，预设概率可以根据实际需求设定。

(3)、在一实施例中，当待检测的生命体组织图像为多张时，比如，宫颈上皮染醋酸后的0秒、70秒、90秒、120秒、150秒的图像时，可以提取每张图像的特征，然后，在从提取的特征中提取时序特征，对时序特征进行分类，得到图像分类结果。

比如，步骤“采集待检测的生命体组织图像”，可以包括：采集生命体组织的多张生命体组织图像；

步骤“对生命体组织图像进行分类，得到图像分类结果”，可以包括：

采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；

采用预设时序特征提取网络模型对每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；

采用预设分类网络模型对目标时序特征进行分类处理，得到图像分类结果。

其中，生命体组织的多张生命体组织图像的介绍以及采集方式可以参考上述的描述，这里不再赘述。

其中，预设特征提取网络模型可以为基于卷积神经网络(CNN)的特征提取模型，用于从生命体组织图像中提取图像特征。

比如，可以采用基于卷积神经网络的特征提取模型分别对每张生命体组织图像进行特征提取。

本发明实施例中，可以并行地对多张图像进行特征提取，也可以按照一定时序依次对多张图像进行特征提取，具体方式可以根据实际需求选择。

在一实施例中，为了提升图像分类的准确性，提取图像特征时，可以先从每张图像中检测出靶向区域，然后，提取靶向区域的图像特性。

具体地，步骤“采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征”，可以包括：

根据生命组织样本图像中标注靶向区域的区域信息，分别从每张生命体组织图像中检测靶向区域图像，得到每张生命体组织图像的靶向区域图像，其中，区域信息包括区域位置信息；

对每张生命体组织图像的靶向区域图像进行预处理，得到每张生命体组织图像的预处理后图像；

采用预设特征提取网络模型分别对每张预处理后图像进行特征提取，得到每张生命体组织图像的图像特征。

其中，基于区域信息检测靶向区域图像的具体方式可以参考上述单张图像分类中的靶向区域图像检测方式。

在一实施例中，步骤“对每张生命体组织图像的靶向区域图像进行预处理，得到每张生命体组织图像的预处理后图像”，可以包括：

对每张缩放后区域图像的像素值进行去均值处理，得到处理后区域图像；

对处理后区域图像的像素值进行归一化处理，得到每张生命体组织图像的预处理后图像。

其中，去均值处理指的是：计算图像中像素点的平均像素值，然后，将图像中每个像素点的像素值减去该平均像素值。

其中，归一化处理可以包括：将去均值处理后的区域图像的像素值转换到0-1之间。

例如，参考图3e，可以采集宫颈染醋酸后不同时间点的醋酸白上皮图像。比如，宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。然后，对于每张醋酸白上皮图像，可以分别基于标注靶向区域的区域信息检测出靶向区域图像，并对靶向区域图像进行预处理(包括均值处理、归一化处理)；对于每张醋酸白上皮图像的预处理后靶向区域图像，可以采用CNN网络模型提取图像特征，得到每张醋酸白上皮图像的图像特征即CNN特征。

其中，预设时序特征提取网络模型可以基于神经网络的时序特征提取模型，比如，可以为LSTM(Long Short-Term Memory，长短期记忆网络)模型。

LSTM是一种时间递归神经网络(recurrent neural network,RNN)，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，可以用于提取时序特征。

LSTM可以利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。

LSTM的特点就是在RNN结构以外添加了各层的阀门节点。阀门有3类：遗忘阀门(forget gate)，输入阀门(input gate)和输出阀门(output gate)。这些阀门可以打开或关闭，用于将判断模型网络的记忆态(之前网络的状态)在该层输出的结果是否达到阈值从而加入到当前该层的计算中。阀门节点利用sigmoid函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的的计算结果相乘作为下一层的输入；如果没有达到阈值则将该输出结果遗忘掉。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。

参考图3e，在提取每张醋酸白上皮图像的图像特征即CNN特征后，可以利用LSTM时序特征提取网络对多张醋酸白上皮图像的CNN特征进行时序特征提取并形成新的时序特征向量，最后经FC分类网络进行病变分类。

其中，预设分类网络模型可以由标注了病理分析结果的样本生命体组织图像的时序特征训练而成。

其中，预设分类网络模型可以为FC(全连接)分类网络模型，比如，参考图3e，对于形成的时序特征向量，可以输入FC分类网络进行分类，得到分类结果(如病变、正常等)。在一实施例中，预设分类网络模型还可以输出分类结果的预测概率，如分类结果为病变的预测概率等等。

经过上述介绍的几种方式可以得到图像分类结果，如病变、或正常。

303、当图像分类结果为病变时，采用预设病变区域检测模型对生命体组织图像进行病变区域检测，得到待识别区域。

在一实施例中，当在多张图像分类的情况下，可以从多张生命体组织图像中选择一张生命体组织图像进行活检区域检测。比如，多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待检测活检区域的图像。

比如，在一实施例中，可以采用病变区域检测模型检测病变区域，然后，基于检测到的病变区域得到待识别区域。比如，可以直接将病变区域作为待识别区域。

又比如，在一实施例中，采用预设病变区域检测模型对生命体组织图像进行病变区域检测，病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域。

例如，具体可以将该生命体组织图像导入该病变区域检测模型中进行检测，若存在病变区域，则该病变区域检测模型会输出所预测的病变区域，然后执行预处理步骤；而若不存在病变区域，则该病变区域检测模型会输出空白信息或输出无病变区域的提示信息，流程可以结束。

其中，该病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置，或者，也可以由该活检区域预测装置自行进行训练；即在步骤“用预设病变区域检测模型对该生命体组织图像进行病变区域检测”之前，该活检区域预测方法还可以包括：

采集多个标注了病变区域的生命体组织样本图像，根据该生命体组织样本图像对预设目标检测模型进行训练，得到病变区域检测模型。

例如，具体可以将生命体组织样本图像输入至预设目标检测模型中进行检测，得到预测的病变区域，将该预测的病变区域和标注的病变区域进行收敛，使得预测的病变区域无限接近于标注的病变区域，以此类推进行多次训练，最终便可得到病变区域检测模型。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

本发明实施例中，在检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对病变区域进行筛选和重置等，具体地，预处理可以参考上述的描述。＝实际应用的需求进行设置，比如，可以设置为“352×352”，等等。

304、采用预设病变分类模型对该待识别区域进行分类。

例如，具体可以将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果，此时可以执行后续步骤。

其中，该预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成。具体地，训练过程可以参考上述实施例一和二的详细介绍。

305、获取分类结果为病变的待识别区域所对应的病变预测概率，并将病变预测概率高于预设阈值的待识别区域确定为活检区域。

由于病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，因此，可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率(经过筛选后的病变预测概率)作为该待识别区域所对应的病变预测概率。

可选的，若病变预测概率不高于预设阈值，则可以确定该待识别区域为非活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即在步骤“将病变预测概率高于预设阈值的待识别区域确定为活检区域”将之后，该活检区域预测还可以包括：获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

306、从生命体组织图像中检测出辨别区域，并对辨别区域的类型进行识别，得到辨别区域的识别结果。

本发明实施例，可以在活检区域之后，还可以识别辨别区域(如宫颈转化区)的类型，提升诊断效率。

在一实施例中，当在多张图像分类的情况下，可以从多张生命体组织图像中选择一张生命体组织图像进行辨别区域类型识别。比如，多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待识别图像。

A、辨别区域检测

在一实施例中，辨别区域(即诊断区域)如宫颈转化区的检测，可以基于关键特征检测来实现。比如，步骤“从生命体组织图像中检测出辨别区域”，可以包括：

采用预设区域检测模型对生命体组织图像进行关键特征检测，得到至少一个辨别区域，区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成。

例如，具体可以将该生命体组织图像导入该区域检测模型中进行检测，若某个区域的关键特征与辨别区域的特征相符，则该区域检测模型预测该区域为辨别区域，并输出相应的预测概率(即辨别区域的预测概率)。

其中，关键特征指的是辨别区域(或称为诊断区域)与其他区域相比，所特有的显著性特征，比如，一般将生理性鳞柱交界(位于子宫颈内的柱状上皮和位于宫颈口外围的鳞状上皮，两种上皮的结合处成为鳞柱交界；阴道镜下清晰可见的称为生理性鳞柱交界)和原始鳞柱交界(生理性鳞柱交界向鳞状上皮扩展的外沿，称为原始鳞柱交界)围成的区域称为宫颈转化区，所以，若需要检测出的辨别区域为“宫颈转化区”，则可以将“生理性鳞柱交界”和“原始鳞柱交界”围成的这部分区域作为关键特征，该关键特征可以通过典型局部矩形框来表现，具体信息比如包括该典型局部矩形框的x偏移量(即横坐标偏移量)、y偏移量(即纵坐标偏移量)、宽和高等参数值。

需说明的，不同类型的辨别区域，其关键特征也不同，而通过设置不同的关键特征，也可以找出符合不同应用场景或需求的辨别区域，比如，在宫颈癌前和癌变诊断的场景下，可以将宫颈转化区作为辨别区域，等等。

当然，由于所采集的生命体组织图像的规格，如尺寸、像素和/或颜色通道等可能有所差异，因此，为了便于区域检测模型进行检测，改善检测效果，可以对采集到的生命体组织图像进行预处理，使得图像规格化。即可选的，在步骤“采用预设区域检测模型对该生命体组织图像进行关键特征检测”之前，该图像识别方法还可以包括：

按照预设策略对该生命体组织图像进行预处理，其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整等处理，具体可以如下：

①图像尺寸缩放：将生命体组织图像的尺寸缩放至预设大小；比如，具体可以在将生命体组织图像保持宽高比的同时，将宽缩放至预设大小，如将宽缩放至600像素，等等；

②颜色通道顺序调整：将生命体组织图像的颜色通道顺序调整为预设顺序；比如，可以将生命体组织图像的三通道改为红(R，red)、绿(G，Green)和蓝(B，Blue)的通道顺序，当然，如果生命体组织图像原通道顺序已经为R、G和B，则无需进行该操作；

③像素调整：按照预设策略对生命体组织图像中的像素进行处理，比如，可以将生命体组织图像中每个像素减去全图像素均值，等等；

④图像归一化：对生命体组织图像的每个通道值除以预设的系数，如255.0；

⑤图像数据排列：将生命体组织图像的图像数据排列设置为预设模式，比如，将图像数据排列改为通道优先，等等。

在生命体组织图像进行预处理后，预设区域检测模型便可以对预处理后的生命体组织图像进行关键特征检测，即此时，步骤“采用预设区域检测模型对该生命体组织图像进行关键特征检测”可以包括：采用预设区域检测模型对预处理后的生命体组织图像进行关键特征检测。

此外，需说明的是，区域检测模型可以由多个标注了关键特征的生命体组织样本图像训练而成(只需局部标注即可)；比如，具体可以由其他设备进行训练后，提供给该图像识别装置，或者，也可以由该图像识别装置自行进行训练，训练可以采用在线训练，也可以采用离线训练；即可选的，在步骤“采用预设区域检测模型对该生命体组织图像进行关键特征检测”之前，该图像识别方法还可以包括：

(1)采集多个标注了关键特征的生命体组织样本图像。

例如，具体可以采集多个生命体组织样本图像，然后，采用邻域局部典型区域标注法对采集到的多个生命体组织样本图像进行标注，得到多个标注了关键特征的生命体组织样本图像。

其中，采集的途径可以有多种，比如，可以从互联网、指定数据库和/或医疗记录中进行获取，具体可以根据实际应用的需求而定；同理，标注方式也可以根据实际应用的需求进行选择，比如，可以在专业医生的指点下，由标注审核人员进行人工标注，或者，也可以通过训练标注模型来实现自动标注，等等，在此不作赘述。

(2)根据该生命体组织样本图像对预设目标检测模型进行训练，得到区域检测模型。

例如，可以从采集到的多个生命体组织样本图像中确定当前需要进行训练的生命体组织样本图像，得到当前生命体组织样本图像，然后，将该当前生命体组织样本图像导入预设目标检测模型中进行训练，得到当前生命体组织样本图像对应的区域预测值，此后，将当前生命体组织样本图像对应的区域预测值与当前生命体组织样本图像的标注的关键特征进行收敛(即使得预测的矩形框参数无限接近于标注的矩形框参数)，以对该目标检测模型的参数进行调整(每调整一次即对该目标检测模型训练一次)，并返回执行采集到的多个生命体组织样本图像中确定当前需要进行训练的生命体组织样本图像的步骤，直至该多个生命体组织样本图像均训练完毕，便可以得到所需的区域检测模型。

其中，该目标检测模型可以根据实际应用的需求进行设置，比如，该目标检测模型可以包括深度残差网络(ResNet)和区域推荐网络(RPN，Regional Proposal Networks)，等等。

当该目标检测模型包括深度残差网络和区域推荐网络时，步骤“将该当前生命体组织样本图像导入预设目标检测模型中进行训练，得到当前生命体组织样本图像对应的区域预测值”可以包括：

将该当前生命体组织样本图像导入预设的深度残差网络中进行计算，得到当前生命体组织样本图像对应的输出特征，将该输出特征导入区域推荐网络中进行检测，得到当前生命体组织样本图像对应的区域预测值。

需说明的是，与对生命体组织图像进行辨别区域检测同理，由于所采集的生命体组织样本图像的规格，如尺寸、像素和/或颜色通道等可能有所差异，因此，为了便于区域检测模型进行检测，改善检测效果，可以对采集到的生命体组织样本图像进行预处理，使得图像规格化。即可选的，在步骤“根据该生命体组织样本图像对预设目标检测模型进行训练”之前，该图像识别方法还可以包括：

按照预设策略对该生命体组织样本图像进行预处理，其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整等处理，具体可以参考上述预处理过程。

此时，步骤“根据该生命体组织样本图像对预设目标检测模型进行训练”可以包括：根据预处理后的生命体组织样本图像对预设目标检测模型进行训练。

B、辨别区域识别

在经过上述介绍的方式可以从生命体组织图像中检测出辨别区域；然后，对可以对辨别区域的类型进行识别。

比如，步骤“对辨别区域的类型进行识别”，可以包括：

采用预设区域分类模型对辨别区域的类型进行识别，预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成。

例如，具体可以将包含了该辨别区域的图像导入该区域分类模型中进行识别，由该区域分类模型输出关于该辨别区域的识别结果。

比如，以宫颈转化区的类型识别为例，将包含了宫颈转化区的图像导入该区域分类模型后，区域分类模型会对宫颈转化区的区域类型特征进行识别，并输出宫颈转化区的三维概率，即转化区Ⅰ型的概率、转化区Ⅱ型的概率和转化区Ⅲ型的概率，譬如，若经过识别，预测某个宫颈转化区为“转化区Ⅰ型”的概率为80％，为“转化区Ⅱ型”的概率为15％，为“转化区Ⅲ型”的概率为5％，则此时，区域分类模型可以输出识别结果：“转化区Ⅰ型，80％”、“转化区Ⅱ型，15％”和“转化区Ⅲ型，5％”。

其中，该预设区域分类模型可以由多个标注了区域类型特征的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该图像识别装置，或者，也可以由该图像识别装置自行进行在线或离线的训练；即在步骤“采用预设区域分类模型对该辨别区域的类型进行识别”之前，该图像识别方法还可以包括：

(1)获取多个标注了区域类型特征的区域样本图像。

其中，获取标注了区域类型特征的区域样本图像的方式可以有多种，比如，可以采用如下任意一种方式：

方式一(样本图像已经标注了关键特征)：

采集多个标注了关键特征的生命体组织样本图像，根据标注(即关键特征的标注)从该生命体组织样本图像中截取辨别区域，得到辨别区域样本，对辨别区域样本进行区域类型特征标注，得到区域样本图像。

方式二(样本图像已标注了关键特征或未标注关键特征均可)：

采集多个生命体组织样本图像(该生命体组织样本图像可以是标注关键特征，也可以未标注关键特征)，采用预设区域检测模型对该生命体组织样本图像进行关键特征检测，得到至少一个辨别区域样本，对辨别区域样本进行区域类型特征标注，得到区域样本图像。

其中，区域类型特征的标注可以在专业医生的指点下，由标注审核人员进行人工标注，或者，也可以通过训练标注模型来实现自动标注，等等；区域类型特征的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注类型辨别区域的区域类型特征，并给出该辨别区域的二维坐标和区域大小，等等。

比如，以宫颈转化区为例，转化区Ⅰ型主要指的是位于子宫颈阴道部，可见完整的宫颈转化区，因此，转化区Ⅰ型的区域类型特征为“宫颈阴道部”，且“可见完整”等特征；转化区Ⅱ型指的是位于宫颈管内，通过颈管扩张器等辅助工具可见完整的宫颈转化区，因此，转化区Ⅱ型的区域类型特征为“宫颈管内”，且“通过颈管扩张器等辅助工具可见完整”等特征；而转化区Ⅲ型指的是借助工具，仍无法看到生理性鳞柱交界的宫颈转化区，所以，转化区Ⅲ型的区域类型特征为“借助工具，仍无法看到生理性鳞柱交界”等特征。

(2)根据该区域样本图像对预设分类模型进行训练，得到区域分类模型。

例如，具体可以将区域样本图像输入至预设分类模型中进行分类，得到预测的分类结果，比如转化区Ⅰ型、转化区Ⅱ型或转化区Ⅲ型，将该预测的分类结果的区域类型特征和标注的区域类型特征进行收敛，即可完成一次训练，以此类推进行多次训练，直至所有区域样本图像训练完毕，便可得到最终所需的区域分类模型。

在一实施例中，为了便于诊断，还可以在图像中标注辨别区域的位置和类型，比如，本发明实施例方法在得到识别结果后，还可以包括：

根据识别结果在生命体组织图像上标注辨别区域的位置和类型。

例如，具体可以如下：

(1)根据识别结果确定辨别区域的类型，并获取辨别区域的坐标。

例如，具体可以根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度，通过非极大值抑制算法(non-maximum suppression)对该预设范围内各个识别框的类型的置信度进行计算，得到该预设范围的置信度，选择置信度最大的预设范围的类型作为辨别区域的类型。

由于识别结果中可以会存在多个识别框，每个识别框对应有多个类型及类型的预测概率，因此，可以从每个识别框的多个类型中选择预测概率最大的类型作为该识别框的类型、并将该最大的预测概率作为该识别框的置信度。

在得到各个识别框的类型、以及类型的置信度之后，便可以通过非极大值抑制算法对该预设范围内各个识别框的类型的置信度进行计算，比如，可以对该预设范围内各个识别框的类型的置信度进行比较，保留其中极大值的原数值，并将其他非极大值设置为极小值，比如(0.0)，最终得到该预设范围的置信度，然后，对各个预设范围的置信度进行排序，根据排序选择置信度最大的预设范围的类型作为辨别区域的类型。

(2)根据该坐标在该生命体组织图像上标注辨别区域的位置，并在该位置上标注辨别区域的类型。

例如，还是以宫颈转化区的类型识别为例，若某辨别区域被识别为“转化区Ⅰ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅰ型”；若某辨别区域被识别为“转化区Ⅱ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅱ型”；同理，若某辨别区域被识别为“转化区Ⅲ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅲ型”，以此类推，等等。

可选的，在标注时，还可以标注出该辨别区域的具体坐标，进一步的，还可以标注出识别结果的预测概率，当然，也可以标注出辨别区域的预测概率。

在一实施例中，当图像分类结果为正常或者非病变时，还可以直接进行辨别区域检测和识别，无需检测活检区域；也即，本发明方法还可以包括：

当图像分类结果为正常时，从生命体组织图像中检测出辨别区域，并对辨别区域的类型进行识别，得到辨别区域的类型。

具体地，辨别区域检测和识别与上述介绍的检测识别方式相同，参考上述的描述，这里不再赘述。

由上可知，本发明实施例可以采集待检测的生命体组织图像；对生命体组织图像进行分类，得到图像分类结果；当图像分类结果为病变时，采用预设病变区域检测模型对生命体组织图像进行病变区域检测，得到待识别区域，病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；采用预设病变分类模型对待识别区域进行分类；获取分类结果为病变的待识别区域所对应的病变预测概率，并将病变预测概率高于预设阈值的待识别区域确定为活检区域；从生命体组织图像中检测出辨别区域，并对辨别区域的类型进行识别，得到辨别区域的识别结果，以供医疗人员进行参考。该方案可以先对图像分类，当分类结果为病变时，进行活检区域检测、辨别区域检测和类型识别；提供了一套适用于宫颈癌前病变检测的完整方式，为医疗人员提供完整的辅助诊断信息。

由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小或位置奇特的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

此外，由于该方案可以利用训练好的区域检测模型准确地划分出辨别区域，再通过区域分类模型有针对性地对辨别区域的类型进行识别，因此，可以避免其他区域(即非辨别区域)对类型识别的干扰，提高识别的准确率；此外，由于区域检测模型是由多个标注了关键特征的生命体组织样本图像训练而成的，而无需全面标注，因此，相对于现有方案而言，也大大降低了标注的难度，提高了标注的准确性，进而提高所训练模型的精度；总而言之，该方案可以大大提高模型的精度和识别准确率，改善识别效果。

实施例四、

根据前面实施例所描述的方法，以下将以该图像识别装置具体集成在网络设备举例对辨别区域检测和类型识别进一步详细说明。

首先，可以分别对区域检测模型和区域分类模型进行训练，其次，通过该训练好的区域检测模型和区域分类模型，便可对待检测生命体组织图像进行辨别区域类型的识别，具体事务模型训练可以参考上述介绍的训练过程。

在区域检测模型和区域分类模型训练完毕之后，便可以采用区域检测模型和区域分类模型来对辨别区域类型进行识别，如图4a所示，具体的识别流程可以如下：

401、网络设备确定待识别的生命体组织图像。

比如，当图像分类结果为病变时，可以先检测活检区域，然后，再进行辨别区域检测和识别。当图像分类结果为正常时，可以直接进行辨别区域检测和识别。

在一实施例中，当对单张图像分类的情况下，可以直接确定该单张图像为需要识别辨别区域及其类型的待识别图像。

在一实施例中，当对多张图像分类的情况下，网络设备可以从多张生命体组织图像中选择待识别的图像；具体可以根据预设时间从多张生命体组织图像中选择待识别的生命体组织图像。

比如，多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待检测的图像。

其中，生命体组织图像的介绍可以参考上述的描述。

402、网络设备按照预设策略对该生命体组织图像进行预处理。

其中，该预处理可以包括图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化和/或图像数据排列调整等处理，例如，图4b所示，以该生命体组织图像具体为阴道镜宫颈图像为例，如该预处理具体可以可以参考上述的描述。

例如，网络设备具体可以将预处理后的生命体组织图像导入区域检测模型中进行检测，若生命体组织图像中某个区域的关键特征与辨别区域的关键特征相符，则该区域检测模型预测该区域为辨别区域，并输出相应的预测概率。

比如，一般将生理性鳞柱交界和原始鳞柱交界围成的区域称为宫颈转化区，所以，若需要检测出的某个区域为“宫颈转化区”，则可以将“生理性鳞柱交界”和“原始鳞柱交界”围成的这部分区域作为关键特征，该关键特征可以通过典型局部矩形框来表现，具体信息比如包括该典型局部矩形框的x偏移量(即横坐标偏移量)、y偏移量(即纵坐标偏移量)、宽和高等参数值。

例如，以该生命体组织图像为阴道镜宫颈图像，且该区域检测模型包括深度残差网络(ResNet)和区域推荐网络(RPN)为例，如图4b所示，网络设备可以将预处理后的阴道镜宫颈图像导入宫颈转化区的区域检测模型中进行区域检测，比如，可以将该预处理后的阴道镜宫颈图像作为深度残差网络的输入，并以卷积特征作为该深度残差网络的输出，得到该预处理后的阴道镜宫颈图像对应的输出特征，然后，将该输出特征作为区域推荐模型的输入，以“预设的矩形框的尺寸数量*宽高比数量*矩形框参数数量”的维度向量作为输出，得到预测的宫颈转化区，可选的，还可以输出相应的预测概率。

404、网络设备采用训练好的区域分类模型对该辨别区域的类型进行识别。

例如，还是以宫颈转化区的类型识别为例，如图4b所示，若在步骤403中，已经得到了预测的宫颈转化区，以及相应的特征(深度残差网络的输出特征)，则此时，可以将该宫颈转化区和特征作为区域分类模型的输入进行训练，得到宫颈转化区的三维概率，即转化区Ⅰ型的概率、转化区Ⅱ型的概率和转化区Ⅲ型的概率。

譬如，若经过识别，预测某个宫颈转化区为“转化区Ⅰ型”的概率为80％，为“转化区Ⅱ型”的概率为15％，为“转化区Ⅲ型”的概率为5％，则此时，区域分类模型可以输出识别结果：“转化区Ⅰ型，80％”、“转化区Ⅱ型，15％”和“转化区Ⅲ型，5％”，还可以输出各个类型相应的识别框如回归矩形框。

405、网络设备根据识别结果确定辨别区域的类型，并获取辨别区域的坐标。

例如，网络设备具体可以根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度，通过非极大值抑制算法对该预设范围内各个识别框的类型的置信度进行计算，得到该预设范围的置信度，然后，选择置信度最大的预设范围的类型作为辨别区域的类型。

由于识别结果中可以会存在多个识别框(比如回归矩形框)，且每个识别框对应有多个类型及类型的预测概率，因此，可以从每个识别框的多个类型中选择预测概率最大的类型作为该识别框的类型、并将该最大的预测概率作为该识别框的置信度。比如，还是以宫颈转化区为例，若某个识别框A属于“转化区Ⅰ型”为70％，属于“转化区Ⅱ型”为30％，属于“转化区Ⅲ型”为0％，则可以将“转化区Ⅰ型”作为识别框A的类型、并将70％作为该识别框A的置信度。

在得到各个识别框的类型、以及类型的置信度之后，便可以通过非极大值抑制算法对该预设范围内各个识别框的类型的置信度进行计算，比如，可以对该预设范围内各个识别框的类型的置信度进行比较，保留其中极大值的原数值，并将其他非极大值设置为极小值，比如(0.0)，最终得到该预设范围的置信度，然后，对各个预设范围的置信度进行排序，根据排序选择置信度最大的预设范围的类型作为辨别区域的类型。

比如，以宫颈转化区为例，若某宫颈转化区的某预设范围K1包括识别框A和识别框B，识别框A的类型为“转化区Ⅰ型”，置信度为70％，识别框B的类型为“转化区Ⅱ型”，置信度为80％，则此时，可以确定该预设范围K1的类型为“转化区Ⅱ型”，且置信度为80％；类似的，若该宫颈转化区的某预设范围K2包括识别框C和识别框D，识别框C的类型为“转化区Ⅰ型”，置信度为60％，识别框D的类型为“转化区Ⅱ型”，置信度为40％，则此时，可以确定该预设范围K2的类型为“转化区Ⅰ型”，且置信度为60％；将预设范围K1和预设范围K2的置信度进行排序，由于K1的置信度大于K2，因此，选择预设范围K1的类型“转化区Ⅱ型”作为该宫颈转化区的类型。

406、网络设备根据该坐标在该生命体组织图像上标注辨别区域的位置，并在该位置上标注辨别区域的类型。

例如，还是以宫颈转化区的类型识别为例，若某辨别区域被识别为“转化区Ⅰ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅰ型”；若某辨别区域被识别为“转化区Ⅱ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅱ型”；同理，若某辨别区域被识别为“转化区Ⅲ型”，则此时可以在阴道镜宫颈图像上标注该宫颈转化区的位置，并标注为“转化区Ⅲ型”，以此类推，等等。

可选的，在标注时，还可以标注出该辨别区域的具体坐标，进一步的，还可以标注出识别结果的预测概率，当然，也可以标注出辨别区域的预测概率。

由上可知，本实施例可以确定待识别的生命体组织图像如阴道镜宫颈图像，然后，采用预设区域检测模型对该生命体组织图像进行关键特征检测，并采用预设区域分类模型对检测得到的至少一个辨别区域如宫颈转化区的类型进行识别，再然后，根据识别结果在该生命体组织图像上标注辨别区域的位置和类型，以供医疗人员进行参考；由于该方案可以利用训练好的区域检测模型准确地划分出辨别区域，再通过区域分类模型有针对性地对辨别区域的类型进行识别，因此，可以避免其他区域(即非辨别区域)对类型识别的干扰，提高识别的准确率；此外，由于区域检测模型是由多个标注了关键特征的生命体组织样本图像训练而成的，而无需全面标注，因此，相对于现有方案而言，也大大降低了标注的难度，提高了标注的准确性，进而提高所训练模型的精度；总而言之，该方案可以大大提高模型的精度和识别准确率，改善识别效果。

实施例五、

根据前面实施例所描述的方法，以下将以该图像识别装置具体集成在网络设备举例对本发明识别方法进一步详细说明。

参考图5a和图5b，图像识别方法的具体流程可以如下：

501、网络设备采集生命体组织的多张生命体组织图像。

其中，生命体组织的多张生命体组织图像可以包括同一生命体组织在不同时间点的生命体组织图像；比如，可以为同一病人同一次检查的不同时间点的多张生命体组织图像，譬如，可以采集同一病人在某一次宫颈检查的不同时间点的多张宫颈图像。

比如，宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像。

502、网络设备分别对多张生命体组织图像进行分类，得到多个分类结果。

比如，对于每张生命体组织图像，可以先基于生命组织样本图像中标注靶向区域的区域信息检测出靶向区域图像，然后，对靶向区域图像进行预处理，得到待识别图像；采用预设病变分类模型对该待识别图像进行分类，得到生命体组织图像对应的分类结果。

具体地，生命体组织图像的分类方式可以参考上述实施例三、四的描述，如图3b、图3c的介绍。

对每张生命体组织图像进行分类后，可以得到每张生命体组织图像的分类结果。

503、网络设备对多个分类结果进行融合，得到最终分类结果。

例如，参考图3d，在采集宫颈染醋酸后的0秒、70秒、90秒、120秒、150秒等时刻的醋酸白上皮图像进行分类诊断时，可以采用上述方式从每张醋酸白上皮图像中检测出靶向区域图像，然后，对每张醋酸白上皮图像的靶向区域图像进行预处理，然后，可以采用预设病变分类模型对每张生命体组织图像中的预处理后靶向区域图像进行分类，得到每张生命体组织图像的分类结果(此时，可以得到多个分类结果)；最后，对分类结果进行融合，得到最终分类结果。

其中，分类结果的融合方式可以参考上述实施例三的具体描述。比如，基于分类结果数量、分类结果的预测概率等进行融合。

504、当最终分类结果为病变时，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测；当最终分类结果为正常时执行步骤509。

参考图5b，本发明实施例当最终分类结果为病变时，可以从生命组织图像中检测活检区域，然后，执行辨别区域(如宫颈转化区)类型识别。当最终分类结果为正常时，直接执行辨别区域(如宫颈转化区)类型识别，无需检测活检区域。

其中，病变区域检测模型的训练过程可以参考上述实施例介绍的训练过程。

本步骤中待检测活检区域的生命体组织图像可以为单张生命体组织图像，该待检测活检区域的单张生命体组织图像可以从采集到的多张生命体组织图像中选择，如根据预设时间选择，例如，当多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待检测活检区域的图像。

参考图5c，可以采集多张阴道镜图像，可以将多张阴道镜图像按照一定时序输入至宫颈癌前病变识别模型中，该宫颈癌前病变识别模型将会采用上述介绍的方式识别方式得到融合后的分类结果并输出。

另外，还可以从多张阴道图像中选择单张阴道镜图像输入至活检区域检测模块中，该活检区域检测模块将会采用实施例一所示的方式从单张阴道镜图像中检测出活检区域，并输出活检区域位置等。

另外，还可以从多张阴道图像中选择单张阴道镜图像输入至转化区类型识别模块中，该转换区类型识别模块可以采用上述实施例三和四介绍的识别方法识别宫颈转化区类型，并输出。

505、网络设备在检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域。

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对病变区域进行筛选和重置等。具体预处理过程可以参考上述实施例对预处理的的介绍。

506、网络设备采用预设病变分类模型对该待识别区域进行分类。

例如，具体可以将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果，流程可以结束；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果，此时可以执行后续步骤。

具体采用预设病变分类模型进行区域分类、以及模型的训练可以参考上述实施例的介绍。

507、网络设备获取分类结果为病变的待识别区域所对应的病变预测概率。

由于病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，因此，可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率(经过筛选后的病变预测概率)作为该待识别区域所对应的病变预测概率。

508、网络设备将该病变预测概率高于预设阈值的待识别区域确定为活检区域，执行步骤509。

可选的，若病变预测概率不高于预设阈值，则可以确定该待识别区域为非活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即在步骤“将病变预测概率高于预设阈值的待识别区域确定为活检区域”将之后，该活检区域预测还可以包括：

获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

509、网络设备采用预设区域检测模型对生命体组织图像进行关键特征检测，得到至少一个辨别区域。

本步骤可以采用单张生命体组织图像识别辨别区域类型，该待识别类型的单张生命体组织图像可以从采集到的多张生命体组织图像中选择，如根据预设时间选择，例如，当多张生命体组织图像为宫颈染醋酸后的0秒、70秒、90秒、140秒、150秒等时刻的醋酸白上皮图像时，可以根据预设时间段(80-100s)选择90s的醋酸白上皮图像作为待识别类型的图像。

参考图5c，可以从多张阴道图像中选择单张阴道镜图像输入至转化区类型识别模块中，该转换区类型识别模块可以采用上述实施例三和四介绍的识别方法识别宫颈转化区类型，并输出。

其中，具体地辨别区域的具体检测方式可以参考上述实施例的描述。

510、网络设备采用预设区域分类模型对该辨别区域的类型进行识别，得到识别结果。

例如，具体可以将包含了该辨别区域的图像导入该区域分类模型中进行识别，由该区域分类模型输出关于该辨别区域的识别结果。

比如，以宫颈转化区的类型识别为例，将包含了宫颈转化区的图像导入该区域分类模型后，区域分类模型会对宫颈转化区的区域类型特征进行识别，并输出宫颈转化区的三维概率，即转化区Ⅰ型的概率、转化区Ⅱ型的概率和转化区Ⅲ型的概率，譬如，若经过识别，预测某个宫颈转化区为“转化区Ⅰ型”的概率为80％，为“转化区Ⅱ型”的概率为15％，为“转化区Ⅲ型”的概率为5％，则此时，区域分类模型可以输出识别结果：“转化区Ⅰ型，80％”、“转化区Ⅱ型，15％”和“转化区Ⅲ型，5％”。

其中，预设区域分类模型的训练过程可以参考上述实施例的介绍。

511、网络设备根据识别结果在该生命体组织图像上标注辨别区域的位置和类型。

例如，具体可以根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度，通过非极大值抑制算法(non-maximum suppression)对该预设范围内各个识别框的类型的置信度进行计算，得到该预设范围的置信度，选择置信度最大的预设范围的类型作为辨别区域的类型。

具体地，标注方式可以参考上述实施例的描述。

由上可知，本发明实施例提供的方案可以先对图像分类，当分类结果为病变时，进行活检区域检测、辨别区域检测和类型识别；提供了一套适用于宫颈癌前病变检测的完整方式，为医疗人员提供完整的辅助诊断信息。

由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小或位置奇特的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

此外，由于该方案可以利用训练好的区域检测模型准确地划分出辨别区域，再通过区域分类模型有针对性地对辨别区域的类型进行识别，因此，可以避免其他区域(即非辨别区域)对类型识别的干扰，提高识别的准确率；此外，由于区域检测模型是由多个标注了关键特征的生命体组织样本图像训练而成的，而无需全面标注，因此，相对于现有方案而言，也大大降低了标注的难度，提高了标注的准确性，进而提高所训练模型的精度；总而言之，该方案可以大大提高模型的精度和识别准确率，改善识别效果。

实施例六、

为了更好地实施以上方法，本发明实施例还可以提供一种活检区域预测装置，该活检区域预测装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。

例如，如图6a所示，该活检区域预测装置可以包括采集单元601、检测单元602、预处理单元603、分类单元604、获取单元605和确定单元606，如下：

(1)采集单元601；

采集单元601，用于获取待检测的生命体组织图像。

例如，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给采集单元601，即，采集单元601，具体可以用于接收图像采集设备发送的待检测的生命体组织图像。

(2)检测单元602；

检测单元602，用于采用预设病变区域检测模型对该生命体组织图像进行病变区域检测。

例如，具体可以由该检测单元602将生命体组织图像导入病变区域检测模型中进行检测，若存在病变区域，则该病变区域检测模型会输出所预测的病变区域，而若不存在病变区域，则该病变区域检测模型会输出空白信息或输出无病变区域的提示信息，等等。

其中，该病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置的检测单元602，或者，也可以由该活检区域预测装置自行进行训练；即如图6b所示，该活检区域预测装置还可以包括第一训练单元607，如下：

该第一训练单元607，可以用于采集多个标注了病变区域的生命体组织样本图像，根据该生命体组织样本图像对预设目标检测模型进行训练，得到病变区域检测模型。

例如，具体可以由第一训练单元607将生命体组织样本图像输入至预设目标检测模型中进行检测，得到预测的病变区域，将该预测的病变区域和标注的病变区域进行收敛，使得预测的病变区域无限接近于标注的病变区域，便可完成一次训练，以此类推进行多次训练，最终便可得到所需的病变区域检测模型。

其中，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。

(3)预处理单元603；

预处理单元603，用于在检测单元检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域；

其中，该预处理可以根据实际应用的需求进行设置，比如，可以对病变区域进行筛选和重置等，例如，该预处理单元603可以包括筛选子单元、提取子单元和重置子单元，如下：

该筛选子单元，可以用于采用非极大值抑制算法对病变区域进行筛选，得到候选区域。

提取子单元，可以用于从该候选区域中确定病变对象，并对病变对象进行提取，得到重置对象。

例如，该提取子单元，具体可以用于获取候选区域所对应的病变预测概率和位置信息；根据该病变预测概率和位置信息确定病变对象；从该病变区域中提取该病变对象的最小外接矩形区域作为重置对象。

重置子单元，可以用于将重置对象缩放为预设尺寸，得到待识别区域。

其中，该预设尺寸可以根据实际应用的需求进行设置，比如，可以设置为“352×352”，等等。

(4)分类单元604；

分类单元604，用于采用预设病变分类模型对该待识别区域进行分类。

例如，分类单元604，具体可以用于将待识别区域导入该病变分类模型中进行分类，若该待识别区域表现为正常，则该病变分类模型会输出表示正常的分类结果；而若该待识别区域存在病变情况，则该病变分类模型会输出表示病变的分类结果。

其中，该预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成，具体可以由其他设备进行训练后，提供给该活检区域预测装置的分类单元604，或者，也可以由该活检区域预测装置自行进行训练；即如图6b所示，该活检区域预测装置还可以包括第二训练单元608，如下：

该第二训练单元608，可以用于获取多个标注了病理分析结果的区域样本图像，根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。

例如，该第二训练单元608，具体可以用于采集多个标注了病变区域的生命体组织样本图像，根据标注从该生命体组织样本图像中截取病变区域，得到病变区域样本，采用预设算法对病变区域样本进行预处理，对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像，根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。

或者，该第二训练单元608，具体可以用于采集多个生命体组织样本图像，采用预设病变区域检测模型对该生命体组织样本图像进行病变区域检测，若检测到病变区域，则截取病变区域作为病变区域样本，并采用预设算法对病变区域样本进行预处理，对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像，根据该区域样本图像对预设分类模型进行训练，得到病变分类模型。

其中，该预处理与在进行“活检区域”预测中的预处理类似，即采用非极大值抑制算法对病变区域样本进行筛选后，进行归并和重置，即：

该第二训练单元608，具体用于采用非极大值抑制算法对病变区域样本进行筛选，得到候选区域样本，从该候选区域样本中确定病变对象，并对病变对象进行提取，得到重置对象样本，将重置对象样本缩放为预设尺寸，得到预处理后的病变区域样本。其中，该预设尺寸可以根据实际应用的需求进行设置。

需说明的是，病变区域的标注可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则可根据实际应用的需求而定，比如，可用矩形框来标注病变区域，并给出二维坐标和区域大小，等等。同理，病理分析结果的标注也可以由标注审核人员根据专业医生的指导进行标注，病变区域的标注规则也可根据实际应用的需求而定，比如，可以采用“金标准”来确定“病理分析结果”，并将该具体的“病理分析结果”作为标注时所采用的标签，等等。

(5)获取单元605；

获取单元605，用于获取分类结果为病变的待识别区域所对应的病变预测概率。

由于病变区域检测模型在输出病变区域的同时，也可以输出相应的病变预测概率，因此，获取单元605可以直接从病变区域检测模型的输出结果中获取分类结果为病变的待识别区域所属的病变区域，并获取该病变区域所对应的病变预测概率作为该待识别区域所对应的病变预测概率。

(6)确定单元606；

确定单元606，用于将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

可选的，若病变预测概率不高于预设阈值，则确定单元606可以确定该待识别区域为非活检区域。

可选的，为了便于医生后续进行判断，帮助医生更加快速地定位活检点，提高活检的有效性，还可以相应地输出活检区域的病变预测概率，即：

确定单元606，还可以用于获取该高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率，输出该活检区域和活检区域的病变预测概率。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的活检区域预测装置的采集单元601可以采集待检测的生命体组织图像，然后，由检测单元602采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则由预处理单元603采用预设算法对病变区域进行预处理，并由分类单元604采用预设病变分类模型对预处理得到的待识别区域进行分类，再然后，由获取单元605和确定单元606将分类结果为病变的待识别区域所对应的病变预测概率与预设阈值进行比较，若高于预设阈值，则确定为活检区域；由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小或位置奇特的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

实施例七、

为了更好地实施以上方法，本发明实施例还可以提供一种图像识别装置，该图像识别装置具体可以集成在网络设备中，该网络设备可以是终端或服务器等设备。

例如，如图7a所示，该图像识别装置可以包括采集单元701、图像分类单元702、区域检测单元703、区域分类单元704、概率获取单元705和区别识别单元706，如下：

(1)采集单元701

采集单元701，用于采集待检测的生命体组织图像。

例如，具体由各图像采集设备，比如医疗检测设备(如阴道镜或内窥镜等)或医疗监控设备等来对生命体组织进行图像采集，进而提供给采集单元701，即，采集单元701，具体可以用于接收图像采集设备发送的待检测的生命体组织图像。

在一实施例中，采集单元701，可以具体用于采集生命体组织的多张生命体组织图像。

(2)图像分类单元702

图像分类单元702，用于对所述生命体组织图像进行分类，得到图像分类结果。

在一实施例中，采集单元701，可以具体用于采集生命体组织的多张生命体组织图像；

此时，参考图7b，图像分类单元702，可以包括：

区域检测子单元7021，用于根据所述生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

处理子单元7022，用于对检测到的靶向区域图像进行预处理，得到预处理后区域图像；

分类子单元7023，用于采用所述预设病变分类模型对所述预处理后区域图像进行分类，得到所述生命体组织图像对应的分类结果；

融合子单元7024，当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到图像分类结果。

在一实施例中，融合子单元7024，可以具体用于：

获取分类结果为病变的第一结果数量、以及分类结果为正常的第二结果数据；

根据所述第一结果数量和所述第二结果数量，确定所述图像分类结果。

在一实施例中，融合子单元7024，可以具体用于：

获取所述生命体组织图像的分类结果所对应的预测概率；

根据所述预测概率对所述生命体组织图像的分类结果进行融合，得到图像分类结果。

在一实施例中，区域检测子单元7021，可以具体包括：

采集多张标注了靶向区域的生命体组织样本图像；

获取所述生命组织样本图像中标注靶向区域的区域信息，得到多个标注靶向区域的区域信息；

根据所述多个标注靶向区域的区域信息，从每张生命体组织图像中检测靶向区域图像。

在一实施例中，采集单元701，可以具体用于采集生命体组织的多张生命体组织图像；此时，参考图7c，图像分类单元702可以包括：

第一特征提取子单元7025，用于采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；

第二特征提取子单元7026，用于采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；

特征分类子单元7027，用于采用预设分类网络模型对所述目标时序特征进行分类处理，得到图像分类结果。

其中，在一实施例中，第一特征提取子单元7025，可以具体用于：

根据生命组织样本图像中标注靶向区域的区域信息，分别从每张生命体组织图像中检测靶向区域图像，得到每张生命体组织图像的靶向区域图像，其中，所述区域信息包括区域位置信息；

对每张生命体组织图像的靶向区域图像进行预处理，得到每张生命体组织图像的预处理后图像；

采用预设特征提取网络模型分别对每张预处理后图像进行特征提取，得到每张生命体组织图像的图像特征。

其中，每张生命体组织图像的靶向区域图像进行预处理的过程可以包括：

将每张生命体组织图像的靶向区域图像的尺寸缩放到预设尺寸，得到每张生命体组织图像的缩放后区域图像；

对每张缩放后区域图像的像素值进行去均值处理，得到处理后区域图像；

对所述处理后区域图像的像素值进行归一化处理，得到每张生命体组织图像的预处理后图像。

(3)区域检测单元703

区域检测单元703，用于当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成。

在一实施例中，参考图7d，区域检测单元703，可以包括：

检测子单元7031，用于采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

预处理子单元7032，用于若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域。

在一实施例中，预处理子单元7032，可以用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

从所述候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；

将重置对象缩放为预设尺寸，得到待识别区域。

在一实施例中，预处理子单元7032，可以用于：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

获取候选区域所对应的病变预测概率和位置信息；

根据所述病变预测概率和位置信息确定病变对象；

从所述病变区域中提取所述病变对象的最小外接矩形区域作为重置对象；

将重置对象缩放为预设尺寸，得到待识别区域。

(4)区域分类单元704

区域分类单元704，用于采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成。

(5)概率获取单元705

概率获取单元705，用于获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

在一实施例中，参考图7e，本发明实施例图像识别装置还可以包括：

概率输出单元707，用于获取所述高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率；输出所述活检区域和活检区域的病变预测概率。

(6)区别识别单元706

区别识别单元706，用于从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

其中，区域识别单元706，还可以当所述图像分类结果为正常时，从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的类型。

在一实施例中，区域识别单元706，可以具体用于采用预设区域检测模型对所述生命体组织图像进行关键特征检测，得到至少一个辨别区域；对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

在一实施例中，参考图7e，图像识别装置还可以包括预处理单元708，所述预处理单元708，可以用于采用预设区域检测模型对所述生命体组织图像进行关键特征检测之前，采用预设区域检测模型对所述生命体组织图像进行关键特征检测之前。

在一实施例中，区域识别单元706，可以具体用于采用预设区域分类模型对所述辨别区域的类型进行识别，所述预设区域分类模型由多个标注了区域类型特征的区域样本图像训练而成。

在一实施例中，参考图7f，图像识别装置还可以包括：标注单元709；所述标注单元709，可以具体用于：根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型。

其中，所述标注单元709，可以具体用于：

根据识别结果确定辨别区域的类型，并获取辨别区域的坐标；

根据所述坐标在所述生命体组织图像上标注辨别区域的位置，并在所述位置上标注辨别区域的类型。

其中，所述标注单元709，可以具体用于：

根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度；

通过非极大值抑制算法对所述预设范围内各个识别框的类型的置信度进行计算，得到所述预设范围的置信度；

选择置信度最大的预设范围的类型作为辨别区域的类型。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本发明实施例图像识别装置可以通过采集单元701采集待检测的生命体组织图像；由图像分类单元702对所述生命体组织图像进行分类，得到图像分类结果；当所述图像分类结果为病变时，由区域检测单元703采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域；由区域分类单元704采用预设病变分类模型对所述待识别区域进行分类；由概率获取单元705获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；由区别识别单元706从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果，以供医疗人员进行参考。该方案可以先对图像分类，当分类结果为病变时，进行活检区域检测、辨别区域检测和类型识别；提供了一套适用于宫颈癌前病变检测的完整方式，为医疗人员提供完整的辅助诊断信息。

实施例八、

本发明实施例还提供一种网络设备，具体可以为终端，也可以为服务器，该网络设备可以集成本发明实施例所提供的任一种活检区域预测装置。

例如，如图8所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解，图8中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器801是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器801对存储器802的访问。

网络设备还包括给各个部件供电的电源803，优选的，电源803可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元804，该输入单元804可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能，如下：

采集待检测的生命体组织图像，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域，采用预设病变分类模型对该待识别区域进行分类，获取分类结果为病变的待识别区域所对应的病变预测概率，将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

在一实施例中，网络设备中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能，如下：

采集待检测的生命体组织图像；对所述生命体组织图像进行分类，得到图像分类结果；当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例的网络设备可以采集待检测的生命体组织图像，然后，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，并采用预设病变分类模型对预处理得到的待识别区域进行分类，再然后，将分类结果为病变的待识别区域所对应的病变预测概率与预设阈值进行比较，若高于预设阈值，则确定为活检区域；由于该方案可以灵活地对整张图像进行病变区域的自动检测，而非只限于图像的某个固定区域，而且，在分类前还可以对检测出的病变区域作预处理，以避免漏掉病变区域较小的图像，因此，相对于现有只对图像的固定区域进行截取来进行直接分类的方案而言，可以大大减少漏检的概率，进而提高活检区域预测的准确率和有效性。

实施例九、

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种活检区域预测方法中的步骤。例如，该指令可以执行如下步骤：

采集待检测的生命体组织图像，采用预设病变区域检测模型对该生命体组织图像进行病变区域检测，若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域，采用预设病变分类模型对该待识别区域进行分类，获取分类结果为病变的待识别区域所对应的病变预测概率，将该病变预测概率高于预设阈值的待识别区域确定为活检区域。

本发明实施例还提供另一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像识别方法中的步骤。例如，该指令可以执行如下步骤：

采集待检测的生命体组织图像；对所述生命体组织图像进行分类，得到图像分类结果；当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种活检区域预测方法中的步骤，因此，可以实现本发明实施例所提供的任一种活检区域预测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种活检区域预测方法、图像识别方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (20)

1.一种活检区域预测方法，其特征在于，包括：

采集待检测的生命体组织图像；

采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

若检测到病变区域，则采用预设算法对病变区域进行预处理，得到待识别区域；

采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

获取分类结果为病变的待识别区域所对应的病变预测概率；

将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

2.根据权利要求1所述的方法，其特征在于，所述采用预设算法对病变区域进行预处理，得到待识别区域，包括：

采用非极大值抑制算法对病变区域进行筛选，得到候选区域；

从所述候选区域中确定病变对象，并对病变对象进行提取，得到重置对象；

将重置对象缩放为预设尺寸，得到待识别区域。

3.根据权利要求2所述的方法，其特征在于，所述从所述候选区域中确定病变对象，并对病变对象进行提取，得到重置对象，包括：

获取候选区域所对应的病变预测概率和位置信息；

根据所述病变预测概率和位置信息确定病变对象；

从所述病变区域中提取所述病变对象的最小外接矩形区域作为重置对象。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测之前，还包括：

采集多个标注了病变区域的生命体组织样本图像；

根据所述生命体组织样本图像对预设目标检测模型进行训练，得到病变区域检测模型。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述采用预设病变分类模型对所述待识别区域进行分类之前，还包括：

获取多个标注了病理分析结果的区域样本图像；

根据所述区域样本图像对预设分类模型进行训练，得到病变分类模型。

6.根据权利要求5所述的方法，其特征在于，所述获取多个标注了病理分析结果的区域样本图像，包括：

采集多个标注了病变区域的生命体组织样本图像；

根据标注从所述生命体组织样本图像中截取病变区域，得到病变区域样本；

采用预设算法对病变区域样本进行预处理；

对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像。

7.根据权利要求5所述的方法，其特征在于，所述获取多个标注了病理分析结果的区域样本图像，包括：

采集多个生命体组织样本图像；

采用预设病变区域检测模型对所述生命体组织样本图像进行病变区域检测；

若检测到病变区域，则截取病变区域作为病变区域样本，并采用预设算法对病变区域样本进行预处理；

对预处理后的病变区域样本进行病理分析结果标注，得到区域样本图像。

8.根据权利要求6或7所述的方法，其特征在于，所述采用预设算法对病变区域样本进行预处理，包括：

采用非极大值抑制算法对病变区域样本进行筛选，得到候选区域样本；

从所述候选区域样本中确定病变对象，并对病变对象进行提取，得到重置对象样本；

将重置对象样本缩放为预设尺寸，得到预处理后的病变区域样本。

9.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述病变预测概率高于预设阈值的待识别区域确定为活检区域之后，还包括：

获取所述高于预设阈值的待识别区域的病变预测概率，作为活检区域的病变预测概率；

输出所述活检区域和活检区域的病变预测概率。

10.一种图像识别方法，其特征在于，包括：

采集待检测的生命体组织图像；

对所述生命体组织图像进行分类，得到图像分类结果；

当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；

从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

当所述图像分类结果为正常时，从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的类型。

12.根据权利要求10或11所述的方法，其特征在于，从所述生命体组织图像中检测出辨别区域，包括：

采用预设区域检测模型对所述生命体组织图像进行关键特征检测，得到至少一个辨别区域，所述区域检测模型由多个标注了关键特征的生命体组织样本图像训练而成。

13.根据权利要求10所述的方法，其特征在于，所述方法还包括：

根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型。

14.根据权利要求13所述的方法，其特征在于，所述根据识别结果在所述生命体组织图像上标注辨别区域的位置和类型，包括：

根据识别结果确定辨别区域的类型，并获取辨别区域的坐标；

根据所述坐标在所述生命体组织图像上标注辨别区域的位置，并在所述位置上标注辨别区域的类型。

15.根据权利要求14所述的方法，其特征在于，所述根据识别结果确定辨别区域的类型，包括：

根据识别结果确定辨别区域中预设范围内各个识别框的类型、以及类型的置信度；

通过非极大值抑制算法对所述预设范围内各个识别框的类型的置信度进行计算，得到所述预设范围的置信度；

选择置信度最大的预设范围的类型作为辨别区域的类型。

16.根据权利要求10所述的方法，其特征在于，采集待检测的生命体组织图像，包括：采集生命体组织的多张生命体组织图像；

对所述生命体组织图像进行分类，得到图像分类结果，包括：

根据所述生命组织样本图像中标注靶向区域的区域信息，从所述生命体组织图像中检测靶向区域图像，所述区域信息包括区域位置信息；

对检测到的靶向区域图像进行预处理，得到预处理后区域图像；

采用所述预设病变分类模型对所述预处理后区域图像进行分类，得到所述生命体组织图像对应的分类结果；

当得到采集到的所有生命体组织图像对应的分类结果时，对所述生命体组织图像的分类结果进行融合，得到图像分类结果。

17.根据权利要求10所述的方法，其特征在于，采集待检测的生命体组织图像，包括：采集生命体组织的多张生命体组织图像；

对所述生命体组织图像进行分类，得到图像分类结果，包括：

采用预设特征提取网络模型分别对每张生命体组织图像进行特征提取，得到每张生命体组织图像的图像特征；

采用预设时序特征提取网络模型对所述每张生命体组织图像的图像特征进行时序特征提取，得到目标时序特征；

采用预设分类网络模型对所述目标时序特征进行分类处理，得到图像分类结果。

18.一种活检区域预测装置，其特征在于，包括：

采集单元，用于获取待检测的生命体组织图像；

检测单元，用于采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

预处理单元，用于在检测单元检测到病变区域时，采用预设算法对病变区域进行预处理，得到待识别区域；

分类单元，用于采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

获取单元，用于获取分类结果为病变的待识别区域所对应的病变预测概率；

确定单元，用于将所述病变预测概率高于预设阈值的待识别区域确定为活检区域。

19.一种图像识别装置，其特征在于，包括：

采集单元，用于采集待检测的生命体组织图像；

图像分类单元，用于对所述生命体组织图像进行分类，得到图像分类结果；

区域检测单元，用于当所述图像分类结果为病变时，采用预设病变区域检测模型对所述生命体组织图像进行病变区域检测，得到待识别区域，所述病变区域检测模型由多个标注了病变区域的生命体组织样本图像训练而成；

区域分类单元，用于采用预设病变分类模型对所述待识别区域进行分类，所述预设病变分类模型由多个标注了病理分析结果的区域样本图像训练而成；

概率获取单元，用于获取分类结果为病变的待识别区域所对应的病变预测概率，并将所述病变预测概率高于预设阈值的待识别区域确定为活检区域；

区别识别单元，用于从所述生命体组织图像中检测出辨别区域，并对所述辨别区域的类型进行识别，得到所述辨别区域的识别结果。

20.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至17任一项所述的方法中的步骤。