CN114037647A - 胃镜图像处理方法、系统、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种胃镜图像处理方法、系统、设备及可读存储介质。其中，胃镜图像处理方法，包括：获取胃镜图像；根据预训练的深度学习网络对所述胃镜图像进行异常分类检测，并得到可疑标注数据集；根据所述可疑标注数据集对所述胃镜图像进行标注处理；其中，所述可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。上述胃镜图像处理方法，能够提高处理效率和准确率。

Description

胃镜图像处理方法、系统、设备及可读存储介质

技术领域

本发明涉及图像处理领域，尤其是涉及一种胃镜图像处理方法及系统、胃镜图像处理设备、计算机可读存储介质。

背景技术

胃镜是上消化道病变的首选检查方法，可直接观察食道、胃和十二指肠的病变,对可疑病变部位可进行病理活检。随着胃镜检查患者数量增多，每日产生众多胃镜图像，且胃镜图像的检测信息量十分巨大，使得实际诊断结果十分依赖于内科医生的诊断经验与技术，因此容易发生误诊情况。因此通过开发计算机辅助诊断技术去帮助医生发现和标注可疑异常区域，对降低医生工作量，降低疾病漏诊和早期疾病的发现是十分具有意义的。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种胃镜图像处理方法、胃镜图像处理系统、胃镜图像处理设备及计算机可读存储介质，能够提高图像处理效率和准确率。

第一方面，本发明的第一方面实施例的胃镜图像处理方法，包括：

获取胃镜图像；

根据预训练的深度学习网络对所述胃镜图像进行异常分类检测，并得到可疑标注数据集；

根据所述可疑标注数据集对所述胃镜图像进行标注处理；

其中，所述可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。

进一步地，所述深度学习网络包括：

深度学习第一分类网络，用于对所述胃镜图像进行正常异常结果分类，得到第一分类标签，所述第一分类标签包括：正常标签和异常标签；

深度学习第二分类网络，用于当所述第一分类标签为异常标签时，对所述胃镜图像进行胃炎、胃癌结果分类，得到第二分类标签，所述第二分类标签包括：胃炎标签和胃癌标签；

深度学习目标检测网络，用于对经过所述深度学习第二分类网络进行胃炎、胃癌结果分类后的所述胃镜图像进行目标区域结果检测，并得到病灶区域的目标框预测结果。

进一步地，训练所述深度学习网络时，根据所述可疑标注数据集的验证结果调整所述深度学习网络的参数。

进一步地，获取所述胃镜图像的方式包括：在线导入和/或本地导入；

对所述胃镜图像进行标注的方式包括：离线标注和/或在线标注。

进一步地，所述深度学习第一分类网络选取Inception V3模型、Inception V2模型，Inception V3模型及ResNet-101模型中的任一模型进行训练；

深度学习第二分类网络选取Inception V3模型、Inception V2模型，InceptionV3模型及ResNet-101模型中的任一模型进行训练；

深度学习目标检测网络选取RetinaNet模型、Yolo V1模型、Yolo V2模型、Yolo V3模型及Faster-RCNN模型、Mask-RCNN模型中的任一模型进行训练。

进一步地，所述可疑标注数据集为含有检测标签信息、目标区域坐标的JSON格式文件。

第二方面，本发明的第二方面实施例的胃镜图像处理系统，包括：

文件上传单元，用于获取所述胃镜图像；

算法检测单元，用于根据预训练的深度学习网络对所述胃镜图像进行异常分类检测，并得到可疑标注数据集；

标注单元，用于根据所述可疑标注数据集在所述胃镜图像上进行标注处理。

其中，所述可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。

进一步地，还包括：

标注核验单元，用于根据所述可疑标注数据集的验证结果调整所述深度学习网络的参数。

第三方面，本发明的第三方面实施例的胃镜图像处理设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第四方面，本发明的第四方面实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明实施例的胃镜图像处理方法及胃镜图像处理系统、胃镜图像处理设备、计算机可读存储介质至少具有如下有益效果：通过获取胃镜图像，基于胃镜图像，利用预先训练好的用于对胃镜图像进行异常分类检测的深度学习网络进行分类，得到可疑标注数据集，可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个，然后根据可疑标注数据集在胃镜图像上进行标注处理。通过训练好的深度学习网络对胃镜图像进行异常分类检测得到可疑标注数据集，根据该可疑标注数据集进行自动标注，在显示标注结果的同时，直观显示该胃镜图像的检测结果，节省人力成本，提高标注速度和准确度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例中一种胃镜图像处理方法的一具体实施例流程示意图；

图2是本发明实施例中一种胃镜图像处理方法的一具体实施例利用深度学习网络得到可疑标注数据集的流程示意图；

图3是本发明实施例中一种胃镜图像标注处理方法的一具体实施例标注处理过程示意图；

图4是本发明实施例中一种胃镜图像处理系统的一具体实施例结构框图。

附图标记：

100、文件上传单元；200、算法检测单元；300、标注单元；400、标注核验单元。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

如图1所示，本发明一些实施例提供一种胃镜图像处理方法，图1为本发明实施例提供的一种胃镜图像处理方法的流程示意图，该方法包括以下步骤：

S1：获取胃镜图像；

S2：根据预训练的深度学习网络对胃镜图像进行异常分类检测，并得到可疑标注数据集；

S3：根据可疑标注数据集对胃镜图像进行标注处理。

其中，可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。

胃镜图像反映人体中参数的差异，且胃镜图像显示活体组织时不用染色处理，即可获得所需图像，具有快速成像、操作简单等特点。此外，胃镜图像对人体胃部组织有良好的分辨能力，可得到高达120dB以上动态范围的有用信号，有利于识别生物组织的微小病变。

根据预训练的深度学习网络对胃镜图像进行异常分类检测，以得到可疑标注数据集。进一步地，通过可疑标注数据集对胃镜图像进行标注处理，并输出标注后的胃镜图像。医生可根据标注后的胃镜图像，对患者的病情进行快速判断。例如，医生根据胃镜图像判断患者脏器的位置、大小、形态，并确定病灶的范围和物理性质。

在一些实施例中，通过少部分人工标注处理构建初步深度学习网络模型，并通过人工修正胃镜图像的标注结果反馈至深度学习网络模型中，从而对深度学习网络模型进行优化。根据标注结果对深度学习网络模型进行反馈优化，从而提高胃镜图像标准的精度。

通过深度学习网络对胃镜图像进行快速自动标注，从而提高标注的精准度及可靠性。此外，通过将标注好的标注文件可自动存入数据库，以便于后续标注过程中对文件进行快速调用及管理。

在一些实施例中，将可疑标注数据集作预设判断处理的参数，系统根据胃镜图像的分类标签对患者的病情进行预判断，并输出判断诊断结果作为医生的诊断参考，从而提高诊断效率及精度。

例如，传统手工标注是由相关人员指定标注规范，并手动进行医疗图像标注，而数据标注是个耗时耗力的工作，完全基于人工的图片标注工作存在标注效率难以提升问题，并且由于每个标注者专业知识背景的不同，对标注规范的理解和认知也会有一定的差异，标注过程中可能会出现一些不符合标准的标注错误，而这些标注不规范的部分为后续的深度学习任务带来巨大的挑战，同时随着标注数据量越来越大，数据维护成本越来越高，标注数据难于管理。通过本实施例预训练的深度学习网络对胃镜图像进行自动化标注，从而保证不同胃镜图像的标注规范具有一致性。

在一些实施例中，步骤S2中的深度学习网络是经过预先训练过神经网络模型，其模型参数经过大量样本训练，在使用过程中也可以根据新的样本数据做参数调整提高模型的分类检测结果准确度。例如训练深度学习网络时，根据专业医生对可疑标注数据集的验证结果调整深度学习网络的参数，以提高深度学习网络对胃镜图像进行异常分类检测的结果准确率。

在一些实施例中，深度学习网络包括以下三种类型：

1)深度学习第一分类网络，用于对所述胃镜图像进行正常异常结果分类，得到第一分类标签，所述第一分类标签包括：正常标签和异常标签。

即接收输入的待分类胃镜图像，输出该胃镜图像的正常异常结果，包括：正常和异常，其中异常又分为：胃癌和胃炎，将异常结果的胃镜图像作为下一个深度学习第二分类网络的输入。

进一步地，深度学习第一分类网络选取Inception V3模型、Inception V2模型、Inception V3模型、ResNet-101模型之一进行训练，其本质都是属于神经网络对图像进行特征提取、特征融合和特征判断进行分类，属于同一种方法，如本领域技术人员可以理解的，其他能够实现特征分类的神经网络模型也可以用在本实施例中。

2)深度学习第二分类网络，用于当第一分类标签为异常标签时，对胃镜图像进行胃炎、胃癌结果分类，得到第二分类标签，第二分类标签包括：胃炎标签和胃癌标签。无论是胃炎标签还是胃癌标签均将输入到深度学习目标检测网络进行目标区域结果检测。

进一步地，深度学习第二分类网络选取Inception V3模型、Inception V2模型、Inception V3模型、ResNet-101模型之一进行训练。其本质都是属于神经网络对图像进行特征提取、特征融合和特征判断进行分类，属于同一种方法，如本领域技术人员可以理解的，其他能够实现特征分类的神经网络模型也可以用在本实施例中。

3)深度学习目标检测网络，用于对经过深度学习第二分类网络进行胃炎、胃癌结果分类后的胃镜图像进行目标区域结果检测，并得到病灶区域的目标框预测结果。

在一些实施例中，深度学习目标检测网络选取RetinaNet模型、Yolo V1模型、YoloV2模型、Yolo V3模型、Faster-RCNN模型、Mask-RCNN模型之一进行训练。

其中，Inception V3模型、Inception V2模型、Inception V3模型、ResNet-101模型、Mask-RCNN模型为卷积神经网络模型。可以理解为，通过可实现相同功能的神经网络对图像进行特征提取、特征融合和特征判断进行分类。如本领域技术人员可以理解的，其他能够实现特征分类的神经网络模型也可以用在本实施例中。

通过上述三个深度学习网络，同时实现医疗诊断(正常、胃炎和胃癌)的同时进行胃镜图像病灶区域的标注，便于进行结果观察。

在一些实施例中，通过分类器(例如基于决策树的梯度Boosting框架等)对胃镜图像的子图像进行特征提取，并进行训练以得到分类结果。根据子图像的分类结果对胃镜图像进行特征提取，并通过分类器对胃镜图像进行分类预测以对深度学习网络进行预训练。

其中，通过胃镜图像进行预处理，以优化深度学习算法所训练出来的模型，从而提高预测的准确率。可以理解为，预处理具体步骤包括图像感兴趣区域(ROI，Region ofInterest)提取，颜色及亮度归一化等操作。

在一些实施例中，如图2所示，为本实施例中利用深度学习网络得到可疑标注数据集的流程示意图，首先输入胃镜图像到深度学习第一分类网络进行正常异常结果分类，得到正常标签或异常标签，将异常标签的胃镜图像输入到深度学习第二分类网络进行胃炎、胃癌结果分类，然后输入到深度学习目标检测网络进行病灶区域的目标框预测结果，便于直观的确认病灶范围，即得到胃炎病灶区域和胃癌病灶区域。

在一些实施例中，如图3所示，为本实施例的标注过程示意图，从图中可见，经过后台管理系统，本实施例获取胃镜图像的方式包括：在线导入和/或本地导入，为了便于用户进行选择。后台调用上传的胃镜图像输入到深度学习网络中得到可疑标注数据集，可疑标注数据集为包含：检测标签信息label、目标区域坐标的JSON格式文件，目标区域坐标表示为(x1,y1,x2,y2)，进行标注之后，根据标注人员的确认结果，将样本回传用于训练深度学习网络以提高参数准确率。标注人员可以为专业医生对可疑标注数据集的验证结果调整深度学习网络的参数，以提高深度学习网络对胃镜图像进行异常分类检测的结果准确率。同时根据医生/标注人员可在胃镜图像处理软件中对标注处理结果和诊断结果进行标注处理核验和纠错，经确认后回传到深度学习网络中进行训练，以此获得更高质量的标注结果，使得标注处理的准确率得到保证，能够提高本实施例的标注处理方法可信度。

另外，进行胃镜图像处理的方式包括：离线标注和/或在线标注，由于在线标志时直接载入上述三个模型耗时较长，并且对电脑的环境和配置要求较高，因此为了节省图像标注处理时间和标注成本，本实施例在这一过程中可使用离线标注的方式处理可疑标注数据集。

在一些实施例中，对胃镜图像自动处理的分类结果和病灶区域进行显示。在一种具体场景中，可以设定胃镜图像处理软件的表现形式，利用胃镜图像处理软件调用上述json格式文件的相关的标签值和坐标点值进行标注处理，可选的，为了便于观察，胃镜图像处理软件的界面布局采用多行多列的形式，例如，第一行采用单栏的形式，显示上/下一例及显示/隐藏标注按钮，以及实现上传文件功能；第二行采用三栏的形式，第一栏显示已上传的文件以及它们的标注的状态，第二栏要显示的内容是画布，用来显示胃镜图像的诊断结果和病灶区域目标范围，并可以根据标注人员自己的经验可以加入新的病灶区域，第三栏可以在竖直方向上分为2个部分，第一部分显示智能诊断的结论，即标签的类别属性(胃炎标签或者胃癌标签)以及医生可以验证判断结果和区域。进一步地，还可以根据胃镜图像的图像状态在第二部分判断此张胃镜图像是弃用还是已阅(并进行回传以训练深度学习网络)，最后将上述标注处理正确的标注样本反馈到上述深度学习网络模型，直至所得到分类模型的分类性能提升增幅小于或等于预设阈值为止。

通过将本实施例的胃镜图像处理方法通过软件来展示，便于文件上传过程和标注处理结果的显示和核对，便于标注人员的操作和阅读，在显示标注处理结果的同时，给出医疗图像诊断的结果，大大节省了人力成本。

在一些实施例中，本发明实施例还提供一种胃镜图像标注系统，用于执行如上述任一的胃镜图像处理方法，如图4所示，为本实施例的胃镜图像处理系统结构框图，包括：

文件上传单元100，用于获取胃镜图像；算法检测单元200，用于根据预训练的深度学习网络对胃镜图像进行异常分类检测，并得到可疑标注数据集；标注单元300：用于根据可疑标注数据集在胃镜图像上进行标注；其中，上述可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。

通过对算法检测单元200中的深度学习网络进行预训练，并通过训练好的深度学习网络对胃镜图像进行异常分类检测，以获得可疑标注数据集。根据可疑标注数据集对胃镜图像进行标注处理，并得到标注后的胃镜图像，从而对胃镜图像进行快速自动标注处理，提高标注处理的精准度及可靠性。此外，通过将标注好的标注文件可自动存入数据库，以便于后续标注过程中对文件进行快速调用及管理。

在一些实施例中，胃镜图像处理系统还包括：标注核验单元400，用于根据可疑标注数据集的验证结果调整深度学习网络的参数，以提高深度学习网络对胃镜图像进行异常分类检测的结果准确率。其中，验证结果可由专业医生对可疑标注数据集进行验证所得到。标注核验单元400对检测结果进行可视化显示，专业医生根据经验对检测结果进行验证，以判断检测结果是否准确。

上述中胃镜图像处理系统功能单元的具体细节已经在上述实施例中的胃镜图像处理方法中进行了详细的描述，因此此处不再赘述。

在一些实施例中，本发明还提供胃镜图像处理设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如上述任一实施例中的胃镜图像处理方法。计算机程序即程序代码，当程序代码在胃镜图像处理设备上运行时，程序代码用于使胃镜图像处理设备执行本说明书上述实施例一部分描述的胃镜图像处理方法中的步骤。

在一些实施例中，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如上述任一实施例中的胃镜图像处理方法。

本发明实施例通过获取胃镜图像，基于胃镜图像，利用预先训练好的用于对胃镜图像进行异常分类检测的深度学习网络进行分类，得到可疑标注数据集，可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个，然后根据可疑标注数据集在胃镜图像上进行标注处理。通过训练好的深度学习网络对胃镜图像进行异常分类检测得到可疑标注数据集，根据该可疑标注数据集进行自动标注处理，在显示标注结果的同时，直观显示该胃镜图像的检测结果，节省人力成本，提高标注速度和准确度。可广泛应用于胃镜辅助诊断领域。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.胃镜图像处理方法，其特征在于，包括：

获取胃镜图像；

根据预训练的深度学习网络对所述胃镜图像进行异常分类检测，并得到可疑标注数据集；

根据所述可疑标注数据集对所述胃镜图像进行标注处理；

其中，所述可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。

2.根据权利要求1所述的胃镜图像处理方法，其特征在于，所述深度学习网络包括：

深度学习第一分类网络，用于对所述胃镜图像进行正常异常结果分类，得到第一分类标签，所述第一分类标签包括：正常标签和异常标签；

深度学习第二分类网络，用于当所述第一分类标签为异常标签时，对所述胃镜图像进行胃炎、胃癌结果分类，得到第二分类标签，所述第二分类标签包括：胃炎标签和胃癌标签；

深度学习目标检测网络，用于对经过所述深度学习第二分类网络进行胃炎、胃癌结果分类后的所述胃镜图像进行目标区域结果检测，并得到病灶区域的目标框预测结果。

3.根据权利要求1所述的胃镜图像处理方法，其特征在于，还包括：根据所述可疑标注数据集的验证结果调整所述深度学习网络的参数。

4.根据权利要求1所述的胃镜图像处理方法，其特征在于，获取所述胃镜图像的方式包括：在线导入和/或本地导入；

对所述胃镜图像进行处理的方式包括：离线标注和/或在线标注。

5.根据权利要求2所述的胃镜图像处理方法，其特征在于，所述深度学习第一分类网络选取Inception V3模型、Inception V2模型、Inception V3模型及ResNet-101模型中的任一模型进行训练；

深度学习第二分类网络选取Inception V3模型、Inception V2模型及Inception V3模型及ResNet-101模型中的任一模型进行训练；

深度学习目标检测网络选取RetinaNet模型、Yolo V1模型、Yolo V2模型、Yolo V3模型、Faster-RCNN模型及Mask-RCNN模型中的任一模型进行训练。

6.根据权利要求1至5任一项所述的胃镜图像处理方法，其特征在于，所述可疑标注数据集为含有检测标签信息、目标区域坐标的JSON格式文件。

7.胃镜图像处理系统，其特征在于，包括：

文件上传单元，用于获取所述胃镜图像；

算法检测单元，用于根据预训练的深度学习网络对所述胃镜图像进行异常分类检测，并得到可疑标注数据集；

标注单元，用于根据所述可疑标注数据集在所述胃镜图像上进行标注处理；

其中，所述可疑标注数据集包括：正常异常结果、胃炎、胃癌结果、目标区域结果中的一个或多个。

8.根据权利要求7所述的胃镜图像处理系统，其特征在于，还包括：

标注核验单元，用于根据所述可疑标注数据集的验证结果调整所述深度学习网络的参数。

9.胃镜图像处理设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至6任一项所述的方法。

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的方法。

Images