CN109460717B - 消化道共聚焦激光显微内镜病变图像识别方法及装置 - Google Patents

Abstract

本申请实施例提供一种消化道共聚焦激光显微内镜病变图像识别方法及装置，通过从消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧，并对第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧，然后基于预先训练的病变图像识别模型对第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果。由此，通过对共聚焦图像深度学习分析从而对共聚焦图像中的病变情况进行识别，辅助内镜医师完成消化道共聚焦激光显微内镜检查工作，减少因检查医生经验不足带来的误诊，有效降低患者的经济及健康损失。

Description

消化道共聚焦激光显微内镜病变图像识别方法及装置

技术领域

本申请涉及深度学习领域，具体而言，涉及一种消化道共聚焦激光显微内镜病变图像识别方法及装置。

背景技术

消化道共聚焦激光显微内镜诊断消化道病变具有良好的敏感性和特异性，可以实现光学活检。然而掌握消化道共聚焦激光显微内镜诊断技术需要丰富的经验，经验不足的医师仅依靠自己的判断容易出现误诊，对患者造成经济及健康损失。如何快速准确地从消化道共聚焦激光显微内镜所检测到的图像信息中识别病变情况，减少因检查医生经验不足带来的误诊，降低患者的经济及健康损失，是本领域技术人员亟待解决的技术问题。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种消化道共聚焦激光显微内镜病变图像识别方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种消化道共聚焦激光显微内镜病变图像识别方法，应用于与消化道共聚焦激光显微内镜通信连接的计算机设备，所述方法包括：

从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧；

对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧；

基于预先训练的病变图像识别模型对所述第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，其中，所述预测结果中包括有该帧关键帧中每种病变部位的置信度；

对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果，所述病变图像识别结果包括对应的病变部位的描述信息。

可选地，所述从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧的步骤，包括：

接收所述消化道共聚焦激光显微内镜采集到的医学影像；

对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。

可选地，所述对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧的步骤，包括：

采用预先训练的全连接深度学习模型对所述第一数量帧关键帧中的每帧关键帧进行清晰度判断，得到每帧关键帧的清晰置信度，其中，所述全连接深度学习模型通过标准清晰样本和标准不清晰样本训练得到；

在检测到连续N帧关键帧的清晰置信度大于预设置信度阈值时，将所述连续N帧关键帧作为过滤后的关键帧，并将所有过滤后的关键帧作为所述第二数量帧关键帧，其中，N小于所述第一数量；

在检测到连续N帧关键帧的清晰置信度不大于预设置信度阈值时，将所述连续N帧关键帧剔除。

可选地，所述从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧的步骤之前，所述方法还包括：

训练所述病变图像识别模型。

可选地，所述训练所述病变图像识别模型的步骤，包括：

搭建多个备选卷积神经网络；

获取各个病变部位的训练样本集、对应的验证样本集和测试样本集，所述训练样本集包括标注有该病变部位的多个检查图像样本；

基于各个病变部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的识别率稳定后停止训练，保存处于最高识别率时的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行病变图像识别，统计每个备选卷积神经网络预测正确的样本数量，并选取正确的样本数量最多的备选卷积神经网络作为所述病变图像识别模型。

可选地，所述对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果的步骤之后，所述方法还包括：

接收输入的针对各个病变图像识别结果的本次检查报告，并将所述检查报告通过服务器发送给对应的检查报告调阅终端。

第二方面，本申请实施例还提供一种消化道共聚焦激光显微内镜病变图像识别装置，应用于与消化道共聚焦激光显微内镜通信连接的计算机设备，所述装置包括：

获取模块，用于从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧；

过滤模块，用于对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧；

预测模块，用于基于预先训练的病变图像识别模型对所述第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，其中，所述预测结果中包括有该帧关键帧中每种病变部位的置信度；

统计模块，用于对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果，所述病变图像识别结果包括对应的病变部位的描述信息。

第三方面，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的消化道共聚焦激光显微内镜病变图像识别方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供一种消化道共聚焦激光显微内镜病变图像识别方法及装置，通过从消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧，并对第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧，然后基于预先训练的病变图像识别模型对第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，最后对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果。由此，通过对共聚焦图像深度学习分析从而对共聚焦图像中的病变情况进行识别，辅助内镜医师完成消化道共聚焦激光显微内镜检查工作，减少因检查医生经验不足带来的误诊，有效降低患者的经济及健康损失。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的消化道共聚焦激光显微内镜病变图像识别方法的应用场景示意图；

图2为本申请实施例提供的消化道共聚焦激光显微内镜病变图像识别方法的流程示意图；

图3为本申请实施例提供的消化道共聚焦激光显微内镜病变图像识别装置的一种功能模块图；

图4为本申请实施例提供的消化道共聚焦激光显微内镜病变图像识别装置的另一种功能模块图；

图5为本申请实施例提供的用于上述消化道共聚焦激光显微内镜病变图像识别方法的计算机设备的结构示意框图。

图标：100-计算机设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-消化道共聚焦激光显微内镜病变图像识别装置；209-训练模块；210-获取模块；220-过滤模块；230-预测模块；240-统计模块；300-消化道共聚焦激光显微内镜。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本申请实施例提供的消化道共聚焦激光显微内镜病变图像识别方法的应用场景示意图。本实施例提供的消化道共聚焦激光显微内镜病变图像识别方法应用于与消化道共聚焦激光显微内镜300通信连接的计算机设备100。

本实施例中，计算机设备100可以是任意具有计算处理能力的电子设备，例如个人电脑、工作站、服务器等，在此不作具体限制。

消化道共聚焦激光显微内镜是一种显微内镜成像技术，包括整合式消化道共聚焦激光显微内镜和探头式消化道共聚焦激光显微内镜，可使图像放大1000倍以上，在体内实时显示消化道组织、细胞和亚细胞结构，能够准确识别正常、增生、瘤变和癌变黏膜，被誉为“光学活检”。

机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。人工智能深度学习目前已应用于皮肤病、眼底疾病、影像学等诸多医学领域，实现了接近甚至超过资深医师的诊断水平。然而，在消化道共聚焦激光显微内镜诊断疾病方面，人工智能深度学习尚属空白。

本申请发明人在实现下述实施例的过程中，发现消化道共聚焦激光显微内镜诊断消化道病变具有良好的敏感性和特异性，可以实现光学活检。然而掌握消化道共聚焦激光显微内镜诊断技术需要丰富的经验，经验不足的医师仅依靠自己的判断容易出现误诊，对患者造成经济及健康损失。如何快速准确地从消化道共聚焦激光显微内镜所检测到的图像信息中识别病变情况，减少因检查医生经验不足带来的误诊，降低患者的经济及健康损失，是本领域技术人员亟待解决的技术问题。

基于上述技术问题的发现，本申请发明人提出下述实施例以解决上述问题，需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

下面结合图1中所示的应用场景对图2所示的消化道共聚焦激光显微内镜病变图像识别方法进行详细说明，该消化道共聚焦激光显微内镜病变图像识别方法由图1中所示的计算机设备100执行。可以理解，本实施例提供的消化道共聚焦激光显微内镜病变图像识别方法不以图2及以下所述的具体顺序为限制，该消化道共聚焦激光显微内镜病变图像识别方法的详细步骤如下：

步骤S210，从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧。

医生在操作消化道共聚焦激光显微内镜300进行检查的过程中，消化道共聚焦激光显微内镜300可实时将采集到的医学影像发送给计算机设备100。消化道共聚焦激光显微内镜300输出的实时医学影像通过计算机设备100的采集卡采集，以得到实时视频流，该实时视频流的帧率由消化道共聚焦激光显微内镜300本身的性能决定，一般是在30～60帧/秒。由于计算机设备100对进行图像识别时需要很大的计算量，出于性能问题可能无法在单位时间内完成所有图像识别，同时还需要进行其它正常的业务操作，必须保留足够的计算资源。基于此，计算机设备100在接收到所述消化道共聚焦激光显微内镜300采集到的医学影像后可对所述医学影像进行重新采样从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。其中，该第一数量可以按照实际计算机设备100的性能需求进行设置，一般在保证计算机正常任务不受影响的情况下，该第一数量应该尽量大，以保证整个图像识别过程中的准确性。例如，若医学影像中的单位时间视频流包括50帧图像，那么则从这50帧图像中截取30帧图像，这30帧图像也即第一数量帧关键帧。

步骤S220，对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧。

发明人在研究过程中还发现，由于消化道共聚焦激光显微内镜300在检查过程中会放大数倍，那么在整个检查过程中，消化道共聚焦激光显微内镜300很微小的移动都会造成传输到计算机设备100中的画面的快速滑动，从而无法呈现清晰的图像，导致图像中的粘膜腺体无法被准确识别，同时也给计算机设备100造成不必要的性能压力。

为了解决上述问题，作为一种实施方式，本实施例可以采用预先训练的全连接深度学习模型对所述第一数量帧关键帧中的每帧关键帧进行清晰度判断，得到每帧关键帧的清晰置信度，其中，所述全连接深度学习模型通过标准清晰样本和标准不清晰样本训练得到。接着，在检测到连续N帧关键帧的清晰置信度大于预设置信度阈值时，将所述连续N帧关键帧作为过滤后的关键帧，并将所有过滤后的关键帧作为所述第二数量帧关键帧，其中，N小于所述第一数量。同时，在检测到连续N帧关键帧的清晰置信度不大于预设置信度阈值时，将所述连续N帧关键帧剔除。

上述N和预设置信度阈值可以根据实际需求进行设置，例如，当N为3，预设置信度为0.8时，可以在检测到连续3帧关键帧的清晰置信度大于0.8时，表明这连续3帧关键帧为可以满足计算机设备100识别要求的清晰图像，即可以将这连续3帧关键帧作为过滤后的关键帧，以作为所述第二数量帧关键帧中的一部分。同时，可以在检测到连续3帧关键帧的清晰置信度不大于0.8时，表明这连续3帧关键帧为无法满足计算机设备100识别要求的模糊图像，即可以将这连续3帧关键帧剔除，这样计算机设备100就可以不必对这连续3帧关键帧进行识别。

由此，能够有效避免消化道共聚焦激光显微内镜300很微小的移动都会造成传输到计算机设备100中的画面的快速滑动，从而无法呈现清晰的图像，降低计算机设备100的性能压力。

步骤S230，基于预先训练的病变图像识别模型对所述第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果。

可选地，在对步骤S230进行进一步阐述之前，下面首先对该病变图像识别模型的训练过程进行详细说明。

作为示例，该病变图像识别模型可以通过如下方式训练：

首先，搭建多个备选卷积神经网络。例如，目前神经网络中的卷积神经网络(Convolutional Neural Network，CNN)在图像识别上具有较佳的表现，因此可以选择CNN类型的神经网络，并选取不同的网络层数，不同的卷积核大小，不同的优化器，在不同层间加入池化和丢弃，最终可以通过对比识别率的方式，挑选几个识别率最高的网络作为备选卷积神经网络。

接着，获取各个病变部位的训练样本集、对应的验证样本集和测试样本集，所述训练样本集包括标注有该病变部位的多个检查图像样本。其中，上述训练样本集、对应的验证样本集和测试样本集可以是医生做进行内镜检查时进行全程录像收集的录像资料。以消化道病变为例，所述训练样本可以包括标注有非萎缩性胃炎、肠上皮化生、消化道肿瘤等多个检查图像样本。

接着，基于各个解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

而后，将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线(Receiver OperatingCharacteristic curve，受试者工作特征曲线)，并计算每个备选卷积神经网络预测的ROC曲线的AUC面积(Area Under Curve)。其中，AUC面积也即ROC曲线下的面积，其数值不大于1，又由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC面积的取值范围在0.5和1之间，使用AUC面积作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个备选卷积神经网络的预测效果更好，而作为一个数值，对应AUC更大的备选卷积神经网络的预测效果更好。由此，可以将AUC面积最大的备选卷积神经网络作为所述病变图像识别模型，从而训练得到最终用于实际预测的病变图像识别模型。

在上述基础上，训练得到的病变图像识别模型可用于对所述第二数量帧关键帧中每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，所述预测结果中包括有该帧关键帧中每种病变部位的置信度。仍旧以消化道病变为例，在每帧关键帧的预测结果中可包括非萎缩性胃炎、肠上皮化生、消化道肿瘤等多病变部位的置信度，置信度越高，说明该帧关键帧中所对应的病变部位越符合实际病变特征。

步骤S240，对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果。

本实施例中，所述病变图像识别结果包括对应的病变部位的描述信息，例如可以包括病变代码、病变名称、概率以及对应的关键帧图像。

如此，通过对共聚焦图像深度学习分析从而对共聚焦图像中的病变情况进行识别，辅助内镜医师完成消化道共聚焦激光显微内镜检查工作，减少因检查医生经验不足带来的误诊，有效降低患者的经济及健康损失。

进一步地，请参阅图3，本申请实施例还提供一种消化道共聚焦激光显微内镜病变图像识别装置200，该装置可以包括：

获取模块210，用于从所述消化道共聚焦激光显微内镜300采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧。

过滤模块220，用于对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧。

预测模块230，用于基于预先训练的病变图像识别模型对所述第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，其中，所述预测结果中包括有该帧关键帧中每种病变部位的置信度。

统计模块240，用于对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果，所述病变图像识别结果包括对应的病变部位的描述信息。

可选地，所述获取模块210，具体可以用于：

接收所述消化道共聚焦激光显微内镜300采集到的医学影像；

对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。

可选地，所述过滤模块220，具体可以用于：

采用预先训练的全连接深度学习模型对所述第一数量帧关键帧中的每帧关键帧进行清晰度判断，得到每帧关键帧的清晰置信度，其中，所述全连接深度学习模型通过标准清晰样本和和标准不清晰样本训练得到；

在检测到连续N帧关键帧的清晰置信度大于预设置信度阈值时，将所述连续N帧关键帧作为过滤后的关键帧，并将所有过滤后的关键帧作为所述第二数量帧关键帧，其中，N小于所述第一数量；

在检测到连续N帧关键帧的清晰置信度不大于预设置信度阈值时，将所述连续N帧关键帧剔除。

请进一步参阅图4，可选地，所述装置还可以包括：

训练模块209，用于训练所述病变图像识别模型；

所述训练模块209，具体可以用于：

搭建多个备选卷积神经网络；

获取各个病变部位的训练样本集、对应的验证样本集和测试样本集，所述训练样本集包括标注有该病变部位的多个检查图像样本；

基于各个解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述解剖部位预测模型。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

进一步地，请参阅图5，为本申请实施例提供的用于上述消化道共聚焦激光显微内镜病变图像识别方法的计算机设备100的一种结构示意框图。本实施例中，所述计算机设备100可以由总线110作一般性的总线体系结构来实现。根据计算机设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，计算机设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现计算机设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，计算机设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，计算机设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，计算机设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图5中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于计算机设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行上述实施例，具体地，所述存储介质130中可以存储有所述消化道共聚焦激光显微内镜病变图像识别装置200，所述处理器120可以用于执行所述消化道共聚焦激光显微内镜病变图像识别装置200。

进一步地，本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的消化道共聚焦激光显微内镜病变图像识别方法。

综上所述，本申请实施例提供一种消化道共聚焦激光显微内镜病变图像识别方法及装置，通过从消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧，并对第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧，然后基于预先训练的病变图像识别模型对第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，最后对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果。由此，通过对共聚焦图像深度学习分析从而对共聚焦图像中的病变情况进行识别，辅助内镜医师完成消化道共聚焦激光显微内镜检查工作，减少因检查医生经验不足带来的误诊，有效降低患者的经济及健康损失。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种消化道共聚焦激光显微内镜病变图像识别方法，其特征在于，应用于与消化道共聚焦激光显微内镜通信连接的计算机设备，所述方法包括：

从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧，所述第一数量按照计算机设备的性能需求进行设置；

对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧；

基于预先训练的病变图像识别模型对所述第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，其中，所述预测结果中包括有该帧关键帧中每种病变部位的置信度；

对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果，所述病变图像识别结果包括对应的病变部位的描述信息；

所述从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧的步骤，包括：

接收所述消化道共聚焦激光显微内镜采集到的医学影像；

对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧；

所述对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧的步骤，包括：

采用预先训练的全连接深度学习模型对所述第一数量帧关键帧中的每帧关键帧进行清晰度判断，得到每帧关键帧的清晰置信度，其中，所述全连接深度学习模型通过标准清晰样本和标准不清晰样本训练得到；

在检测到连续N帧关键帧的清晰置信度大于预设置信度阈值时，将所述连续N帧关键帧作为过滤后的关键帧，并将所有过滤后的关键帧作为所述第二数量帧关键帧，其中，N小于所述第一数量；

在检测到连续N帧关键帧的清晰置信度不大于预设置信度阈值时，将所述连续N帧关键帧剔除。

2.根据权利要求1所述的消化道共聚焦激光显微内镜病变图像识别方法，其特征在于，所述从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧的步骤之前，所述方法还包括：

训练所述病变图像识别模型。

3.根据权利要求2所述的消化道共聚焦激光显微内镜病变图像识别方法，其特征在于，所述训练所述病变图像识别模型的步骤，包括：

搭建多个备选卷积神经网络；

获取各个病变部位的训练样本集、对应的验证样本集和测试样本集，所述训练样本集包括标注有该病变部位的多个检查图像样本；

基于各个解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述病变图像识别模型。

4.根据权利要求1所述的消化道共聚焦激光显微内镜病变图像识别方法，其特征在于，所述对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果的步骤之后，所述方法还包括：

接收输入的针对各个病变图像识别结果的本次检查报告，并将所述检查报告通过服务器发送给对应的检查报告调阅终端。

5.一种消化道共聚焦激光显微内镜病变图像识别装置，其特征在于，应用于与消化道共聚焦激光显微内镜通信连接的计算机设备，所述装置包括：

获取模块，用于从所述消化道共聚焦激光显微内镜采集到的医学影像中的单位时间视频流中获取第一数量帧关键帧，所述第一数量按照计算机设备的性能需求进行设置；

过滤模块，用于对所述第一数量帧关键帧进行过滤，得到过滤后的第二数量帧关键帧；

预测模块，用于基于预先训练的病变图像识别模型对所述第二数量帧关键帧中的每帧关键帧中的病变部位进行预测，获得每帧关键帧的预测结果，其中，所述预测结果中包括有该帧关键帧中每种病变部位的置信度；

统计模块，用于对每帧关键帧的预测结果进行统计，若相同的预测结果超过第二数量，则输出对应的病变图像识别结果，所述病变图像识别结果包括对应的病变部位的描述信息；

所述获取模块，具体用于：

接收所述消化道共聚焦激光显微内镜采集到的医学影像；

对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧；

所述过滤模块，具体用于：

采用预先训练的全连接深度学习模型对所述第一数量帧关键帧中的每帧关键帧进行清晰度判断，得到每帧关键帧的清晰置信度，其中，所述全连接深度学习模型通过标准清晰样本和标准不清晰样本训练得到；

在检测到连续N帧关键帧的清晰置信度大于预设置信度阈值时，将所述连续N帧关键帧作为过滤后的关键帧，并将所有过滤后的关键帧作为所述第二数量帧关键帧，其中，N小于所述第一数量；

在检测到连续N帧关键帧的清晰置信度不大于预设置信度阈值时，将所述连续N帧关键帧剔除。

6.根据权利要求5所述的消化道共聚焦激光显微内镜病变图像识别装置，其特征在于，所述装置还包括：

训练模块，用于训练所述病变图像识别模型；

所述训练模块，具体用于：

搭建多个备选卷积神经网络；

获取各个病变部位的训练样本集、对应的验证样本集和测试样本集，所述训练样本集包括标注有该病变部位的多个检查图像样本；

基于各个解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述病变图像识别模型。

Images