CN113920309B - 图像检测方法、装置、医学图像处理设备及存储介质 - Google Patents

Abstract

本申请提供一种图像检测方法、装置、医学图像处理设备及存储介质，方法包括：获取待检测的医学图像；通过已训练的图像分类模型，对医学图像进行标识分类，确定医学图像的图像类型；以及对医学图像进行标识检测，以提取医学图像中的目标区域图像；根据图像类型，对目标区域图像进行目标检测，以确定医学图像所属的光源模式。采用本方法，能够提高医学图像来源的可靠性，进而提升医学图像的腺瘤识别准确率。

Description

图像检测方法、装置、医学图像处理设备及存储介质

技术领域

本申请实施例涉及计算机视觉技术领域，特别是涉及一种图像检测方法、装置、医学图像处理设备及存储介质。

背景技术

随着人工智能技术的快速发展，以深度学习为中心的计算机视觉技术引起了人们的关注，并逐渐应用于医学领域。例如，已有学者提出利用电子染色结直肠内镜影像构建数据集，开发出参照结肠息肉（NBI International Colorectal Endoscopic，NICE）分型诊断标准的AI腺瘤识别模型，用于实现结直肠癌（Colorectal Cancer，CC）的精准影像分析，原因在于90%的结直肠癌由腺瘤演变而来，准确识别腺瘤即可精准判断癌性。

然而，实际应用中因人工参与，极易发生AI腺瘤识别模型待识别的医学图像可靠性不高，导致AI腺瘤识别模型的识别稳定性和准确率均不高。具体而言，由于经电子染色内镜弱放大后的病变位置，可清晰地观察到颜色差异、表面微结构、微血管的细微改变等特征，所以目前普遍需要人工操作电子染色内镜来开启光源的弱放大模式，但人工操作难免存在误差，抑或是非弱放大模式内镜影像的误输入，严重影响AI腺瘤识别模型的分析性能。

因此，现有的医学图像分析方法存在着因图像来源可靠性不高，而导致腺瘤识别准确率低的技术问题。

发明内容

本申请的目的在于提供一种图像检测方法、装置、医学图像处理设备及存储介质，用以结合深度学习技术实现对医学图像所属光源模式的精准分析，进而在解决图像来源可靠性不高的情况下，提升医学图像的腺瘤识别准确率。

第一方面，本申请提供一种图像检测方法，包括：

获取待检测的医学图像；

通过已训练的图像分类模型，对医学图像进行标识分类，确定医学图像的图像类型；以及

对医学图像进行标识检测，以提取医学图像中的目标区域图像；

根据图像类型，对目标区域图像进行目标检测，以确定医学图像所属的光源模式。

在本申请一些实施例中，根据图像类型，对目标区域图像进行目标检测，以确定医学图像所属的光源模式，包括：根据图像类型，调用已训练的目标检测模型；以及将目标区域图像输入至已训练的目标检测模型中进行目标检测，输出目标区域图像的光源模式特征向量；根据目标区域图像的光源模式特征向量，确定医学图像所属的光源模式。

在本申请一些实施例中，光源模式特征向量包括预测类别概率，根据目标区域图像的光源模式特征向量，确定医学图像所属的光源模式，包括：响应于图像类型为第一内镜图像，且预测类别概率满足于预设的标识字样概率，确定医学图像所属的光源模式为弱放大光源模式；响应于图像类型为第二内镜图像，且预测类别概率满足于预设的标识字样概率，且目标区域图像的像素占比数值满足于预设的像素占比阈值，确定医学图像所属的光源模式为弱放大光源模式；其中，光源模式包括非弱放大光源模式和弱放大光源模式，弱放大光源模式用于触发对医学图像进行腺瘤识别的操作。

在本申请一些实施例中，根据图像类型，调用已训练的目标检测模型，包括：响应于图像类型为第一内镜图像，调用已训练的YOLO-D1模型，作为对应已训练的目标检测模型；响应于图像类型为第二内镜图像，调用已训练的YOLO-D2模型，作为对应已训练的目标检测模型；其中，已训练的YOLO-D1模型是通过多个已标注文字标识的医学样本图像训练得到的，已训练的YOLO-D2模型是通过多个已标注图形标识的医学样本图像训练得到的。

在本申请一些实施例中，在调用已训练的目标检测模型之前，还包括：构建初始的目标检测模型，初始的目标检测模型为YOLO-D1模型或者YOLO-D2模型；获取医学样本图像集，并将医学样本图像集划分为训练集和测试集，医学样本图像集包括多个已标注字样或指示条的医学样本图像；使用训练集，对初始的目标检测模型进行初步训练，得到初步训练后的目标检测模型；使用测试集，对初步训练后的目标检测模型进行测试调整，得到已训练的目标检测模型。

在本申请一些实施例中，在通过已训练的图像分类模型，对医学图像进行标识分类，确定医学图像的图像类型之前，还包括：构建初始的图像分类模型，初始的图像分类模型由ResNet50网络结构构成，且预置有多元交叉熵损失函数；获取医学样本图像集，医学样本图像集包括多个已标注标识特征的医学样本图像；其中，标识特征包括第一内镜图像的第一标识特征，以及第二内镜图像的第二标识特征；使用医学样本图像集，对初始的图像分类模型进行训练，得到已训练的图像分类模型。

在本申请一些实施例中，获取待检测的医学图像，包括：获取待检测的医学视频；对医学视频进行抽帧，得到多于一帧的医学图像；其中，各医学图像用于顺序经过标识分类、标识检测以及目标检测之后，根据非弱放大光源模式和弱放大光源模式各自的占比，确定医学视频的光源模式。

第二方面，本申请提供一种图像检测装置，包括：

图像获取模块，用于获取待检测的医学图像；

图像分类模块，用于通过已训练的图像分类模型，对医学图像进行标识分类，确定医学图像的图像类型；

标识检测模块，用于对医学图像进行标识检测，以提取医学图像中的目标区域图像；

模式确定模块，用于根据图像类型，对目标区域图像进行目标检测，以确定医学图像所属的光源模式。

第三方面，本申请还提供一种医学图像处理设备，包括：

一个或多个处理器；

存储器；以及一个或多个应用程序，其中的一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现上述第一方面的图像检测方法。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行图像检测方法中的步骤。

第五方面，本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。医学图像处理设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该医学图像处理设备执行上述第一方面提供的方法。

上述图像检测方法、装置、医学图像处理设备及存储介质，服务器通过获取待检测的医学图像，并通过已训练的图像分类模型对医学图像进行标识分类，可确定医学图像的图像类型，进而通过对医学图像进行标识检测，可提取医学图像中的目标区域图像，最终根据图像类型对目标区域图像进行目标检测，可确定医学图像所属的光源模式。由于本申请提出结合深度学习技术实现对医学图像所属光源模式的精准分析，因而可在解决图像来源可靠性不高的情况下，有效提升医学图像的腺瘤识别准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的图像检测方法的场景示意图；

图2为本申请实施例中提供的图像检测方法的流程示意图；

图3是本申请实施例中提供的第一内镜图像的界面示意图；

图4是本申请实施例中提供的第二内镜图像的界面示意图；

图5是本申请实施例中提供的目标区域图像的提取示意图一；

图6是本申请实施例中提供的目标区域图像的提取示意图二；

图7是本申请实施例中提供的目标检测模型的架构示意图；

图8是本申请实施例中提供的医学样本图像集的界面示意图；

图9是本申请实施例中提供的图像检测方法的具体流程示意图；

图10是本申请实施例中提供的图像检测装置的结构示意图；

图11是本申请实施例中提供的医学图像处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请提供的方案涉及计算机视觉技术，具体通过如下实施例进行说明：

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供一种图像检测方法、装置和医学图像处理设备，以下分别进行详细说明。

参阅图1，图1为本申请提供的图像检测方法的场景示意图，该图像检测方法可应用于图像检测系统中。其中，图像检测系统包括终端102和服务器104。终端102可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。终端102具体可以是台式终端或移动终端，终端102具体还可以是手机、平板电脑、笔记本电脑中的一种。服务器104可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。此外，终端102与服务器104之间通过网络建立通信连接，网络具体可以是广域网、局域网、城域网中的任意一种。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是适用于本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的医学图像处理设备，例如图1中仅示出1个服务器104。可以理解的是，该图像检测系统还可以包括一个或多个其他服务器，具体此处不作限定。另外，如图1所示，该图像检测系统还可以包括存储器，用于存储数据，如存储医学图像。

需要说明的是，图1所示的图像检测系统的场景示意图仅仅是一个示例，本发明实施例描述的图像检测系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像检测系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

参阅图2，本申请实施例提供了一种图像检测方法，本实施例主要以该方法应用于上述图1中的服务器104来举例说明，该方法包括步骤S201至S204，具体如下：

S201，获取待检测的医学图像。

其中，本申请实施例涉及的医学图像分析(Medical Image Analysis)，是综合医学影像、数学建模、数字图像处理与分析、人工智能和数值算法等学科的交叉领域。医学图像包括但不局限于：CT影像、PET（Positron Emission Computed Tomography，正电子发射型计算机断层显像）影像，或者MRI（Magnetic Resonance Imaging，核磁共振成像）影像等。

具体实现中，服务器104可采用如下几种方式之一，获取待检测的医学图像，例如：（1）从终端102或其他设备处获取医学图像；（2）从其他区块链节点服务器处同步获取得到医学图像；（3）从上级服务器请求得到，或是从下级服务器轮询得到医学图像。除此之外，待检测的医学图像可以是服务器104当前所获的医学图像，也可以是用户通过终端102指定的医学图像，还可以是根据预设程序分析得到的医学图像，分析原理可以是针对某个目标部位，即可得到针对目标部位待检测的医学图像，目标部位可以是生物组织的任一部位，例如，脸部、手部、脚部、肠道、胃管等。

在一个实施例中，本步骤包括：获取待检测的医学视频；对医学视频进行抽帧，得到多于一帧的医学图像；其中，各医学图像用于顺序经过标识分类、标识检测以及目标检测之后，根据非弱放大光源模式和弱放大光源模式各自的占比，确定医学视频的光源模式。

其中，医学视频可以是终端102采集的视频，也可以是其他拍摄设备采集后发送至服务器104的视频，且视频内容涉及待检测的目标部位，目标部位已在上文简述，在此不再赘述。

具体实现中，服务器104在获取医学图像之前，若是获取到待检测的医学视频，则可利用OpenCV、ffmpeg、via等工具对视频进行抽帧处理，抽取多于一个连续的医学视频，即可得到连续帧的医学图像。由此，本申请实施例提出作为后续分析依据的医学图像可以不单是一帧，也可以是连续帧；若是连续帧，则将逐帧进行分析，最终再统计各帧医学图像所属的光源模式，以此判定医学视频所属的光源模式。

需要说明的是，本申请实施例提及的光源模式，是指电子染色内镜启动的光源模式，包括非弱放大光源模式和弱放大光源模式，而医学视频所属的光源模式或者医学图像所属的光源模式，是指拍摄医学图像或医学视频时电子染色内镜启动的光源模式。

S202，通过已训练的图像分类模型，对医学图像进行标识分类，确定医学图像的图像类型。

其中，已训练的图像分类模型可以是由基于深度学习的ResNet50网络构成，因其预先采用了不同型号内镜所采集的医学图像进行迭代训练，具备有内镜型号检测功能，故而称之为图像分类模型。

其中，图像类型包括第一图像类型和第二图像类型，第一图像类型可以为奥林巴斯内镜图像这类文字标识位于图像右上角的医学图像，第二图像类型可以为奥林巴斯内镜图像这类图形标识位于图像右上角的医学图像。

具体实现中，本申请提出的图像检测方法主要适用于奥林巴斯(OLYMPUS)内镜设备和富士(FUJIFILM)内镜设备，奥林巴斯内镜设备拍摄的医学图像可以称为第一内镜图像，富士内镜设备拍摄的医学图像可以称为第二内镜图像。具体而言，第一内镜图像即归属于第一图像类型的医学图像，可参阅图3所示。第二内镜图像即归属于第二图像类型的医学图像，可参阅图4所示。当然，本申请提出的图像检测方法也可适用于其他内镜设备，只需在应用时通过区分医学图像中的文字/图形标识特征，归类至第一图像类型或第二图像类型进行处理。

进一步地，由于两种内镜影像设备参数的文字标识特征不一，所以本实施例中所涉及针对于医学图像的分类，实质是针对于医学图像中标识特征的分类。例如，参阅图3和图4可知两种内镜图像存在较大布局差异，通过收集大量这两种型号的内镜图像构建数据集，并利用数据集进行模型训练，即可实现在应用环节中对待检测的医学图像的图像分类。例如，“0”分类为奥林巴斯内镜图像，即第一内镜图像；“1：分类为富士内镜图像，即第二内镜图像。本实施例中涉及的模型训练步骤将在下文详细说明。

在一个实施例中，在步骤之前还包括：构建初始的图像分类模型，初始的图像分类模型由ResNet50网络结构构成，且预置有多元交叉熵损失函数；获取医学样本图像集，医学样本图像集包括多个已标注标识特征的医学样本图像；其中，标识特征包括第一内镜图像的第一标识特征，以及第二内镜图像的第二标识特征；使用医学样本图像集，对初始的图像分类模型进行训练，得到已训练的图像分类模型。

其中，第一标识特征可以为奥林巴斯(OLYMPUS)内镜图像（即第一内镜图像）所含文字标识特征，第二标识特征可以为富士(FUJIFILM)内镜图像（即第二内镜图像）所含图形标识特征。例如，第一标识特征为“Near Focus”，第二标识特征为“用黑白色填充的指示条”。

具体实现中，服务器104可响应用户需求首先构建初始的图像分类模型，该模型可选择ResNet50为深度学习网络结构，来进行CNN-EndoType内镜型号识别的模型训练，损失函数采用多元交叉熵损失：

其中，

为输入样本数，

为类别数，模型预测值为

，真实值为

。

进一步地，服务器104可通过终端102获取少量已标注标识特征的医学样本图像，标注工具可以是基于Python语言编写的labellmg，其支持在Windows、Linux等跨平台运行，且对于指定的标识特征可通过可视化的操作界面进行画框标注标出。然后，对少量的医学样本图像进行数据扩增，以获取大量的医学样本图像构成医学样本图像集，数据扩增方式包括但不局限于：光学变换、仿射变换、Mosaic数据增强、Mixup数据增强等扩增方式。

更进一步地，模型训练的停止条件可以包括：1、误差小于某个预先设定的较小的值。2、两次迭代之间的权值变化已经很小，可设定一个阈值，当小于这个阈值后，就停止训练。3、设定最大迭代次数，当迭代超过最大次数就停止训练，例如“273个周期”。4、分类准确率达到某个预先设定的较大的值。

S203，对医学图像进行标识检测，以提取医学图像中的目标区域图像。

其中，目标区域图像可以为包含目标标识的区域图像，例如，图5所示包含文字标识“Near Focus”的目标区域图像，图6所示包含图形标识“用黑白色填充的指示条”的目标区域图像。

具体实现中，服务器104可调用已训练的网络模型，实现对医学图像的标识检测，该网络模型可以称为标识检测模型，用于检测第一内镜图像中的文字标识“Near Focus”，或是用于检测第二内镜图像中的图形标识“用黑白色填充的指示条”，以便进一步提取医学图像中的目标区域图像。

具体而言，富士和奥林巴斯内镜设备输出影像均为1080P高清图像，图像中均有设备参数标识字样，而弱放大模式（40倍放大）的标识字样均出现在右上角固定区域。如图3和图4所示，奥林巴斯内镜图像右上角出现“Near Focus”白底黑字标识字样时即表示处于弱放大模式。而富士内镜图像右上角用黑白色填充的指示条来体现放大倍数，未放大时默认为全黑，全部填充为白色时表示放大80倍，当且仅当白色填充面积为50%时表示放大40倍即处于弱放大模式。

由此，本申请为了减少医学图像中的无效信息、降低干扰，提高后续目标检测模型 的检测精度，提出对标识字样区域图像进行截取，处理过程如图5和图6所示。具体而言，源 内镜图像矩阵为

，其中“

”、“

”分别表示输入图像的高和宽，此时若设 定目标区域图像的尺寸为

（为便于匹配后续目标检测模型的输入尺寸），则服务 器104提取到的目标区域图像为

，即源图像右上角宽和高均 为352的区域图像。

可以理解的是，

表示从原始图像最左上角即(0,0)点开始，向右 以宽度为w₀和向下以高度h₀截取原图像。

表示截取原始图像宽 度从左至右数第w₀-352个像素点至w0个像素点（即原图像最右侧），与从上至下数第0个像 素点至第352个像素点之间的部分。

S204，根据图像类型，对目标区域图像进行目标检测，以确定医学图像所属的光源模式。

其中，光源模式可以包括非弱放大光源模式和弱放大光源模式，非弱放大光源模式可以进一步包括普通光源模式，由于非弱放大光源模式下成像的待检测部位纹理不够清晰，无法为后续的腺瘤检测提供可靠依据，因此本申请提出的图像检测方法主要用于检测医学图像所属的光源模式是否为弱放大光源模式。

具体实现中，服务器104依旧可通过神经网络模型，实现分图像类型的图像目标检测，以此确定医学图像所属的光源模式是否为弱放大光源模式。其中，分图像类型的图像目标检测，实际是指提供两种神经网络模型，用于对应检测不同图像类型的医学图像。

在一个实施例中，本步骤包括：根据图像类型，调用已训练的目标检测模型；以及将目标区域图像输入至已训练的目标检测模型中进行目标检测，输出目标区域图像的光源模式特征向量；根据目标区域图像的光源模式特征向量，确定医学图像所属的光源模式。

其中，目标检测模型可以包括两种目标检测模型，分别用于检测第一内镜图像中的目标区域图像，以及第二内镜图像中的目标区域图像。

具体实现中，目标检测模型的训练方式和样本采集方式，同上文所述针对于图像分类模型的详细处理方案，区别仅在于上文所述的图像分类模型所用样本图像，不同于本实施例中目标检测模型所用样本图像，且模型结构也不同。如此，模型输出也不同，即图像分类模型输出的是图像类型“0”或“1”，而本实施例中目标检测模型输出的是一个矩阵，即一个多维列向量，包括类别、边界框的左上角坐标与宽高和概率，概率值越大表示该图像越有可能属于这一类别。此时，模型输出的矩阵即为目标区域图像的光源模式特征向量，后续将以目标区域图像的光源模式特征向量作为分析依据，实现对医学图像所属光源模式的精准确定。

在一个实施例中，根据图像类型，调用已训练的目标检测模型，包括：响应于图像类型为第一内镜图像，调用已训练的YOLO-D1模型，作为对应已训练的目标检测模型；响应于图像类型为第二内镜图像，调用已训练的YOLO-D2模型，作为对应已训练的目标检测模型；其中，已训练的YOLO-D1模型是通过多个已标注文字标识的医学样本图像训练得到的，已训练的YOLO-D2模型是通过多个已标注图形标识的医学样本图像训练得到的。

其中，YOLO-D1模型和YOLO-D2模型均可选用YOLO-V4模型构成，而YOLO-V4模型的主干特征提取网络可以是以Keras为基础的CSPDarkNet53网络结构，模型结构如图7所示。

其中，已训练的YOLO-D1模型和已训练的YOLO-D2模型的不同之处在于，已训练的YOLO-D1模型是通过多个已标注文字标识的医学样本图像训练得到的，而已训练的YOLO-D2模型是通过多个已标注图形标识的医学样本图像训练得到的，其中的文字标识为“NearFocus”，图形标识为“用黑白色填充的指示条”。

具体实现中，在上述实施例的基础上，当服务器104分析确定当前所分析的医学图像，其图像类型为第一内镜图像时，可调用已训练的YOLO-D1模型进行目标检测；当图像类型为第二内镜图像时，可调用已训练的YOLO-D2模型进行目标检测。本实施例中涉及的模型训练步骤将在下文详细说明。

在一个实施例中，在调用已训练的目标检测模型之前，还包括：构建初始的目标检测模型，初始的目标检测模型为YOLO-D1模型或者YOLO-D2模型；获取医学样本图像集，并将医学样本图像集划分为训练集和测试集，医学样本图像集包括多个已标注字样或指示条的医学样本图像；使用训练集，对初始的目标检测模型进行初步训练，得到初步训练后的目标检测模型；使用测试集，对初步训练后的目标检测模型进行测试调整，得到已训练的目标检测模型。

其中，医学样本图像集包括多个已标注字样的医学样本图像，以及多个已标注指示条的医学样本图像，具体可参阅图8所示，医学样本图像中被标注的字样或指示条是采用矩形框标注的。

具体实现中，目标检测模型的初步训练步骤可参考上文所述针对于图像分类模型的训练步骤，而目标检测模型的测试调整步骤，实际为模型性能的测试，即可通过分析图像检测结果的置信度，获取置信度不满足于预设阈值的一个或多个图像作为回传图像，对初步训练后的目标检测模型进行调整训练，直至置信度均满足于预设阈值的图像不再被检出，或者满足于上述训练停止条件。

进一步地，无论是YOLO-D1模型还是YOLO-D2模型，均可以“Keras”为基础的CSPDarkNet53网络结构，使用Yolo-V4训练检测模型，损失函数如下：

其中，“d”代表的是计算两个中心点（预测框和真实框各自的中心点）之间的欧式距离，“c”代表闭包（包含预测框和真实框的最小闭包区域）的对角线距离。

除此之外，

，

。

在一个实施例中，光源模式特征向量包括预测类别概率，根据目标区域图像的光源模式特征向量，确定医学图像所属的光源模式，包括：响应于图像类型为第一内镜图像，且预测类别概率满足于预设的标识字样概率，确定医学图像所属的光源模式为弱放大光源模式；响应于图像类型为第二内镜图像，且预测类别概率满足于预设的标识字样概率，且目标区域图像的像素占比数值满足于预设的像素占比阈值，确定医学图像所属的光源模式为弱放大光源模式；其中，光源模式包括非弱放大光源模式和弱放大光源模式，弱放大光源模式用于触发对医学图像进行腺瘤识别的操作。

其中，预测类别概率可以包括针对于“Near Focus”或是“用黑白色填充的指示条”的预测概率值，例如，预测类别概率的取值可在“0”到“1”之间。

其中，标识字样概率可以为预设用于判断光源模式的临界值，例如，标识字样概率为“0.5、0.8”等。

其中，像素占比阈值可以为针对于图像中应有指示条所含白色像素点的面积占比临界值，例如，像素占比阈值为“0.5”。

具体实现中，服务器104在前序步骤中通过调用已训练的图像分类模型，已确定当前所分析待检测的医学图像的图像类型。如此，即可区分图像类型进行光源模式分析，其中便利用到光源模式特征向量包括的预测类别概率，通过上文可知该预测类别概率是目标检测模型输出携带的，此时可用。具体而言，服务器104可根据图像内容和预测类别概率，判断医学图像所属的光源模式。

例如，待检测的医学图像的图像类型为第一内镜图像，若其在前序步骤经目标检测模型分析得到的预测类别概率为“0.6”，而此时的标识字样概率为“0.5”，则该医学图像所属的光源模式为弱放大光源模式。

又例如，待检测的医学图像的图像类型为第二内镜图像，若其在前序步骤经目标检测模型分析得到的预测类别概率为“0.8”，而此时的标识字样概率为“0.5”，则可判定其预测类别概率满足于预设的标识字样概率，但仍需进一步分析该目标区域图像中像素占比数值是否满足于预设的像素占比阈值。

进一步地，当待检测的医学图像的图像类型为第二内镜图像时，若已判断其目标区域图像的预测类别概率满足于预设的标识字样概率，则可对目标区域图像进行灰度化处理，或是二值化处理，再计算白色像素点的面积占比“E”，即可判定在面积占比“E”大于50%时，因内镜放大倍数超过40倍，故富士电子染色内镜已处于弱放大模式。如此，即可激活AI腺瘤识别模型执行后续智能化操作，否则不作任何操作。其中，白色像素点的面积占比“E”的计算公式如下：

其中，“

”代表白色像素点个数，“

”、“

”表示检测到黑白指示条的宽和 高，乘积“

”为黑白指示条的像素数量。

上述实施例中的图像检测方法，服务器通过获取待检测的医学图像，并通过已训练的图像分类模型对医学图像进行标识分类，可确定医学图像的图像类型，进而通过对医学图像进行标识检测，可提取医学图像中的目标区域图像，最终根据图像类型对目标区域图像进行目标检测，可确定医学图像所属的光源模式。由于本申请提出结合深度学习技术实现对医学图像所属光源模式的精准分析，避免人工操作误差，或是非弱放大模式内镜影像的误输入等问题出现，因而可在解决医学图像来源可靠性不高的情况下，有效提升医学图像的腺瘤识别准确率。

为了便于本领域技术人员深入理解本申请实施例，以下将结合图9说明一个具体示例。图9是本申请实施例中一种图像检测方法的具体流程示意图，应用于医学腺瘤检测场景。

参阅图9，由于两种内镜影像设备参数的文字标识特征不一，首先需要对内镜设备型号进行区分，则步骤S1将输入的内镜视频影像解码为连续图像帧，以便于图像分类模型对输入的每帧图像进行图像所对应内镜型号的判别，预测结果为分类“0”的图像（奥林巴斯）可经步骤S2进行目标区域图像截取处理后进入步骤S3，预测结果为分类“1”的内镜图像（富士）可经步骤S2进行目标区域图像截取处理后进入步骤S4。

进一步地，步骤S3采用的是已训练的YOLO-D1模型，利用训练好的YOLO-D1模型对输入图像进行检测，如检测到“Near Focus”特征字样，说明奥林巴斯电子染色内镜已处于弱放大模式，随之激活AI腺瘤识别模型进行后续针对于该医学图像的腺瘤识别操作，否则不作任何操作。

进一步地，步骤S4采用的是已训练的YOLO-D2模型，利用训练好的YOLO-D2模型对输入图像进行检测，检测到黑白指示条后，可对目标区域图像进行灰度化处理或二值化处理，再计算白色像素点的面积占比“E”，以便在面积占比“E”大于50%时，说明内镜放大倍数超过40倍，即判定富士电子染色内镜已处于弱放大模式，随之激活AI腺瘤识别模型进行后续针对于该医学图像的腺瘤识别操作，否则不作任何操作。

由此，本申请提出的图像检测方法，可避免人工操作误差，或是非弱放大模式内镜影像的误输入等问题出现，进而可在解决医学图像来源可靠性不高的情况下，有效提升医学图像的腺瘤识别准确率。

应该理解的是，虽然图2、9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了更好实施本申请实施例提供的图像检测方法，在本申请实施例所提出的图像检测方法的基础之上，本申请实施例中还提供了一种图像检测装置，如图10所示，该图像检测装置1000包括：

图像获取模块1010，用于获取待检测的医学图像；

图像分类模块1020，用于通过已训练的图像分类模型，对医学图像进行标识分类，确定医学图像的图像类型；

标识检测模块1030，用于对医学图像进行标识检测，以提取医学图像中的目标区域图像；

模式确定模块1040，用于根据图像类型，对目标区域图像进行目标检测，以确定医学图像所属的光源模式。

在一个实施例中，模式确定模块1040还用于根据图像类型，调用已训练的目标检测模型；以及将目标区域图像输入至已训练的目标检测模型中进行目标检测，输出目标区域图像的光源模式特征向量；根据目标区域图像的光源模式特征向量，确定医学图像所属的光源模式。

在一个实施例中，模式确定模块1040还用于响应于图像类型为第一内镜图像，且预测类别概率满足于预设的标识字样概率，确定医学图像所属的光源模式为弱放大光源模式；响应于图像类型为第二内镜图像，且预测类别概率满足于预设的标识字样概率，且目标区域图像的像素占比数值满足于预设的像素占比阈值，确定医学图像所属的光源模式为弱放大光源模式；其中，光源模式包括非弱放大光源模式和弱放大光源模式，弱放大光源模式用于触发对医学图像进行腺瘤识别的操作。

在一个实施例中，模式确定模块1040还用于响应于图像类型为第一内镜图像，调用已训练的YOLO-D1模型，作为对应已训练的目标检测模型；响应于图像类型为第二内镜图像，调用已训练的YOLO-D2模型，作为对应已训练的目标检测模型。

在一个实施例中，模式确定模块1040还用于构建初始的目标检测模型，初始的目标检测模型为YOLO-D1模型或者YOLO-D2模型；获取医学样本图像集，并将医学样本图像集划分为训练集和测试集，医学样本图像集包括多个已标注字样的医学样本图像；使用训练集，对初始的目标检测模型进行初步训练，得到初步训练后的目标检测模型；使用测试集，对初步训练后的目标检测模型进行测试调整，得到已训练的目标检测模型。

在一个实施例中，图像检测装置1000还包括模型训练模块，用于构建初始的图像分类模型，初始的图像分类模型由ResNet50网络结构构成，且预置有多元交叉熵损失函数；获取医学样本图像集，医学样本图像集包括多个已标注标识特征的医学样本图像；其中，标识特征包括第一内镜图像的第一标识特征，以及第二内镜图像的第二标识特征；使用医学样本图像集，对初始的图像分类模型进行训练，得到已训练的图像分类模型。

在一个实施例中，图像获取模块1010还用于获取待检测的医学视频；对医学视频进行抽帧，得到多于一帧的医学图像；其中，各医学图像用于顺序经过标识分类、标识检测以及目标检测之后，根据非弱放大光源模式和弱放大光源模式各自的占比，确定医学视频的光源模式。

上述实施例中，本申请提出结合深度学习技术实现对医学图像所属光源模式的精准分析，避免人工操作误差，或是非弱放大模式内镜影像的误输入等问题出现，因而可在解决医学图像来源可靠性不高的情况下，有效提升医学图像的腺瘤识别准确率。

需要说明的是，关于图像检测装置的具体限定可以参见上文中对于图像检测方法的限定，在此不再赘述。上述图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本申请一些实施例中，图像检测装置1000可以实现为一种计算机程序的形式，计算机程序可在如图11所示的医学图像处理设备上运行。医学图像处理设备的存储器中可存储组成该图像检测装置1000的各个程序模块，比如，图10所示的图像获取模块1010、图像分类模块1020、标识检测模块1030以及模式确定模块1040；各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像检测方法中的步骤。例如，图11所示的医学图像处理设备可以通过如图10所示的图像检测装置1000中的图像获取模块1010执行步骤S201。医学图像处理设备可通过图像分类模块1020执行步骤S202。医学图像处理设备可通过标识检测模块1030执行步骤S203。医学图像处理设备可通过模式确定模块1040执行步骤S204。其中，该医学图像处理设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该医学图像处理设备的处理器用于提供计算和控制能力。该医学图像处理设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该医学图像处理设备的网络接口用于与外部的医学图像处理设备通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检测方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的医学图像处理设备的限定，具体的医学图像处理设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请一些实施例中，提供了一种医学图像处理设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中的一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述图像检测方法的步骤。此处图像检测方法的步骤可以是上述各个实施例的图像检测方法中的步骤。

在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行上述图像检测方法的步骤。此处图像检测方法的步骤可以是上述各个实施例的图像检测方法中的步骤。

本邻域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例提供的一种图像检测方法、装置、医学图像处理设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像检测方法，其特征在于，包括：

获取待检测的医学图像；

通过已训练的图像分类模型，对所述医学图像进行标识分类，确定所述医学图像的图像类型；以及

对所述医学图像进行标识检测，以提取所述医学图像中的目标区域图像；

根据所述图像类型，对所述目标区域图像进行目标检测，以确定所述医学图像所属的光源模式；其中，确定所述医学图像所属的光源模式的步骤包括：

根据所述图像类型，调用已训练的目标检测模型；以及

将所述目标区域图像输入至所述已训练的目标检测模型中进行目标检测，输出所述目标区域图像的光源模式特征向量；其中，所述光源模式特征向量包括预测类别概率；

响应于所述图像类型为第一内镜图像，且所述预测类别概率满足于预设的标识字样概率，确定所述医学图像所属的光源模式为弱放大光源模式；

响应于所述图像类型为第二内镜图像，且所述预测类别概率满足于预设的标识字样概率，且所述目标区域图像的像素占比数值满足于预设的像素占比阈值，确定所述医学图像所属的光源模式为弱放大光源模式；其中，

所述第一内镜图像为奥林巴斯内镜设备拍摄的医学图像，所述第二内镜图像为富士内镜设备拍摄的医学图像。

2.如权利要求1所述的方法，其特征在于，还包括：对所述目标区域图像进行灰度化处理或二值化处理，以判断所述目标区域图像的像素占比数值是否满足于预设的像素占比阈值。

3.如权利要求1所述的方法，其特征在于，所述光源模式还包括非弱放大光源模式，所述弱放大光源模式用于触发对所述医学图像进行腺瘤识别的操作。

4.如权利要求1所述的方法，其特征在于，所述根据所述图像类型，调用已训练的目标检测模型，包括：

响应于所述图像类型为第一内镜图像，调用已训练的YOLO-D1模型，作为所述已训练的目标检测模型；

响应于所述图像类型为第二内镜图像，调用已训练的YOLO-D2模型，作为所述已训练的目标检测模型；

其中，所述已训练的YOLO-D1模型是通过多个已标注文字标识的医学样本图像训练得到的，所述已训练的YOLO-D2模型是通过多个已标注图形标识的医学样本图像训练得到的，所述第一内镜图像为奥林巴斯内镜设备拍摄的医学图像，所述第二内镜图像为富士内镜设备拍摄的医学图像。

5.如权利要求4所述的方法，其特征在于，在所述调用已训练的目标检测模型之前，还包括：

构建初始的目标检测模型，所述初始的目标检测模型为YOLO-D1模型或者YOLO-D2模型；

获取医学样本图像集，并将所述医学样本图像集划分为训练集和测试集，所述医学样本图像集包括多个已标注字样或指示条的医学样本图像；

使用所述训练集，对所述初始的目标检测模型进行初步训练，得到初步训练后的目标检测模型；

使用所述测试集，对所述初步训练后的目标检测模型进行测试调整，得到所述已训练的目标检测模型。

6.如权利要求1所述的方法，其特征在于，在所述通过已训练的图像分类模型，对所述医学图像进行标识分类，确定所述医学图像的图像类型之前，还包括：

构建初始的图像分类模型，所述初始的图像分类模型由ResNet50网络结构构成，且预置有多元交叉熵损失函数；

获取医学样本图像集，所述医学样本图像集包括多个已标注标识特征的医学样本图像；其中，所述标识特征包括第一内镜图像的第一标识特征，以及第二内镜图像的第二标识特征；

使用所述医学样本图像集，对所述初始的图像分类模型进行训练，得到所述已训练的图像分类模型；其中，

所述第一内镜图像为奥林巴斯内镜设备拍摄的医学图像，所述第二内镜图像为富士内镜设备拍摄的医学图像。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述获取待检测的医学图像，包括：

获取待检测的医学视频；

对所述医学视频进行抽帧，得到多于一帧的医学图像；其中，

各所述医学图像用于顺序经过标识分类、标识检测以及目标检测之后，根据非弱放大光源模式和弱放大光源模式各自的占比，确定所述医学视频的光源模式。

8.一种图像检测装置，其特征在于，包括：

图像获取模块，用于获取待检测的医学图像；

图像分类模块，用于通过已训练的图像分类模型，对所述医学图像进行标识分类，确定所述医学图像的图像类型；

标识检测模块，用于对所述医学图像进行标识检测，以提取所述医学图像中的目标区域图像；

模式确定模块，用于根据所述图像类型，对所述目标区域图像进行目标检测，以确定所述医学图像所属的光源模式，所述医学图像所属的光源模式通过根据所述图像类型，调用已训练的目标检测模型；以及将所述目标区域图像输入至所述已训练的目标检测模型中进行目标检测，输出所述目标区域图像的光源模式特征向量；其中，所述光源模式特征向量包括预测类别概率；响应于所述图像类型为第一内镜图像，且所述预测类别概率满足于预设的标识字样概率，确定所述医学图像所属的光源模式为弱放大光源模式；响应于所述图像类型为第二内镜图像，且所述预测类别概率满足于预设的标识字样概率，且所述目标区域图像的像素占比数值满足于预设的像素占比阈值，确定所述医学图像所属的光源模式为弱放大光源模式来获取；其中，所述第一内镜图像为奥林巴斯内镜设备拍摄的医学图像，所述第二内镜图像为富士内镜设备拍摄的医学图像。

9.一种医学图像处理设备，其特征在于，包括：

一个或多个处理器；

存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的图像检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的图像检测方法中的步骤。

Images