CN114004969A - 一种内镜图像病灶区检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种内镜图像病灶区检测方法、装置、设备及存储介质，所述的方法包括：获取待检测图像；对所述待检测图像进行预处理，得到预处理图像；对所述预处理图像进行深度估计处理，得到目标深度图像；基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，所述目标分割图像包括病灶区域和背景区域；将所述目标分割图像和所述待检测图像融合，得到目标检测图像，本申请通过获取的深度图像指导语义分割模型对预处理图像进行分割，提高了微小病灶区域的检出率和检测的精确度，且提升了病灶区边缘的分割检测效果，大大降低假阳性概率，对于临床的内镜检查有良好的辅助作用。

Description

一种内镜图像病灶区检测方法、装置、设备及存储介质

技术领域

本申请涉及智能医疗技术领域，尤其涉及一种内镜图像病灶区检测方法、装置、设备及存储介质。

背景技术

内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器；一个具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案；

内镜检查一直是多种疾病检查的常规和重要手段，其在消化系统、呼吸系统、泌尿系统等多个方面的检查中有着广泛的应用。施行内镜检查的一大特点就是能通过内镜自带的摄像头，观察自然腔道内的图像信息。但是该项检查也具有一定的局限性，如：图像信息量过于庞大，病人配合度较低导致的检查时间有限，医师的工作强度过大等；以上的多种局限性使得了漏诊的情况时有发生。

近年来，出现了利用深度学习对内镜图像中的病灶区域进行自动分割的方法。这些方法在实际应用中，普遍存在假阳性偏高的问题，即在实际操作中，经常将正常的区域检测标出为病灶。同时，一些处于轻型的病灶，由于病变形态较小，会出现漏诊的情况。

发明内容

为了解决上述技术问题，本申请公开了内镜图像病灶区检测方法，通过获取的深度图像指导语义分割模型对预处理图像进行分割，提高了微小病灶区域的检出率和检测的精确度，且提升了病灶区边缘的分割检测效果，大大降低假阳性概率，对于临床的内镜检查有良好的辅助作用。

为了达到上述发明目的，本申请提供了一种内镜图像病灶区检测方法，所述的方法包括：

获取待检测图像；

对所述待检测图像进行预处理，得到预处理图像；

对所述预处理图像进行深度估计处理，得到目标深度图像；

基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，所述目标分割图像包括病灶区域和背景区域；

将所述目标分割图像和所述待检测图像融合，得到目标检测图像。

在一些实施方式中，所述对所述预处理图像进行深度估计处理，得到目标深度图像包括：

对所述预处理图像进行全局估计处理和局部估计处理，得到目标深度图像。

在一些实施方式中，所述对所述预处理图像进行全局估计处理和局部估计处理，得到目标深度图像，包括

对所述预处理图像进行全局估计处理，得到第一深度图像；

对所述预处理图像进行初步局部估计处理，得到第二深度图像；

将所述第一深度图像和所述第二深度图像进行叠加，得到第三深度图像；

对所述第三深度图像进行局部估计处理，得到目标深度图像。

在一些实施方式中，所述基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，包括：

利用语义分割模型的特征提取层对所述目标深度图像进行特征提取处理，得到所述目标深度图像的深度特征，所述深度特征用于表征所述目标深度图像中的深度信息；

利用语义分割模型的注意力层，对所述目标深度图像的深度特征进行注意力处理，得到目标权重信息；所述目标权重信息用于表征对图像中各区域的深度变化幅度信息对应的权重；

基于所述目标权重信息，对所述预处理图像进行语义分割处理，得到目标分割图像。

在一些实施方式中，所述对所述目标深度图像进行深度特征提取处理，得到图像特征，包括：

利用语义分割模型的特征提取层，对所述目标深度图像的特征向量进行卷积、池化处理，得到所述目标深度图像的深度特征；

所述基于所述目标权重信息，对所述预处理图像进行语义分割处理，得到目标分割图像，包括：

基于所述语义分割模型的特征提取层，对所述预处理图像的特征向量进行卷积、池化处理，得到预处理图像对应的第一图像特征；

基于所述目标权重信息，对所述第一图像特征进行特征的权重处理，得到预处理图像对应的第二图像特征；

将所述预处理图像对应的第二图像特征进行语义分割处理，得到目标分割图像。

在一些实施方式中，还包括构建语义分割模型，所述构建语义分割模型包括：

获取样本训练集，所述样本训练集包括多个样本图像以及与所述多个样本图像对应的标签图像信息；

将所述多个样本图像输入初始化模型，得到与所述多个样本图像对应的目标图像信息；

基于与所述多个样本图像对应的目标图像信息，以及所述多个样本图像对应的标签图像信息，确定损失信息；

基于所述损失信息对所述初始化模型进行训练，得到所述语义分割模型。

在一些实施方式中，所述预设损失函数的建立方法包括：

获取第一初始损失函数和第二初始损失函数；

将所述第一初始损失函数和所述第二初始损失函数进行加权处理，得到预设损失函数。

在一些实施方式中，所述基于所述目标分割图像和所述待检测图像，得到目标检测图像，包括：

将所述目标分割图像的像素进行调整，得到目标像素的目标分割图像，其中，所述目标像素与所述待检测图像的像素相同；

将所述目标像素的目标分割图像与所述待检测图像叠加处理，得到目标检测图像。

本申请还提供了一种内镜图像病灶区检测装置，所述的装置包括：

获取模块，用于获取待检测图像；

预处理模块，用于对所述待检测图像进行预处理，得到预处理图像；

深度处理模块，用于对所述预处理图像进行深度估计处理，得到目标深度图像；

分割处理模块，用于基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，所述目标分割图像包括病灶区域和背景区域；

图像融合模块，用于将所述目标分割图像和所述待检测图像融合，得到目标检测图像。

本申请还提供了一种内镜图像病灶区检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的内镜图像病灶区检测方法。

本申请还提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上述所述的内镜图像病灶区检测方法。

实施本申请实施例，具有如下有益效果：

本申请公开的内镜图像病灶区检测方法：通过获取的深度图像指导语义分割模型对预处理图像进行分割，提高了微小病灶区域的检出率和检测的精确度，且提升了病灶区边缘的分割检测效果，大大降低假阳性概率，对于临床的内镜检查有良好的辅助作用。

附图说明

为了更清楚地说明本申请所述的内镜图像病灶区检测方法、装置、设备及存储介质，下面将对实施例所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本申请实施例提供的一种单目相机成像的模拟示意图；

图2为本申请实施例提供的一种内镜图像病灶区检测方法的流程示意图；

图3为本申请实施例提供的一种图像分割方法的流程示意图；

图4为本申请实施例提供的一种语义分割模型的构建方法的流程示意图；

图5为本申请实施例提供的另一种内镜图像病灶区检测装置的结构示意图；

图6为本申请实施例提供的一种内镜图像病灶区检测设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

单目图像深度估计模型，简单表示为可以从单张图像中估计出每个像素对应的三维深度值，输出深度图。

注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度(Acuity)，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分；将有限的信息处理资源分配至重要的部分。

现有技术中，内镜诊断过程中普遍存在假阳性偏高的问题，即在实际操作中，经常将正常的区域检测标出为病灶。同时，一些处于轻型的病灶，由于病变形态较小，会出现漏诊的情况。

通过分析可知，大多数的假阳性情况是出现在内镜图像的外周部分，该部分深度变化剧烈，而通过单目相机成像时，原本正常的纹理会被出现视觉上的畸变，最终被错误检测为病灶区域。可通过模拟图1看出，在三维空间的立体图形，通过二维视角观察时，深度变化较为剧烈的边缘区域，图案中原本均匀分布的点发生了聚集和皱缩，从而导致纹理形态发生了改变；同时，处于轻型时期的病灶，其往往和正常组织差异较小，病灶的隆起、皱缩、破溃等特征并不明显，其深度变化幅度较小，反应在二维图像上并不直观，导致发生漏诊的可能性偏高。

对此，本申请通过引入单目图像深度估计模型，使用估计得出的深度图像来指导训练好的语义分割模型对预处理图像进行分割，同时调整现有通用模型的损失函数，使用了更贴近于内镜图像这一实际情况的组合损失函数，进而得到最终的优化图像。

以下结合图2介绍本申请的内镜图像病灶区检测方法，可以应用于智能医疗领域，具体的，可以应用于在手术中的内镜图像病灶区检测的过程中；可以应用于各种内镜检查图像中需要进行诊断的人体组织区域，如上消化道检查、下消化道检查、支气管镜检查、膀胱镜检查等；以在内镜诊断过程中，更加精确的识别出病变程度较低的病灶区，以及避免出现假阳性偏高的问题。

请参考图2，其所示为本申请实施例提供的一种内镜图像病灶区检测方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规；或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序，内镜图像病灶区检测方法，可以按照实施例或附图所示的方法顺序执行。具体的如图2所示，所述方法包括：

S201,获取待检测图像；

需要说明的是，在本申请实施例中，待检测图像可以是内镜在诊断过程中实时生成的三维图像；

具体的，在实际操作过程中，可以从内镜系统的视频流中实时的获取待检测图像。

待检测图像可以为正常白光图像，也可为窄带成像图像(NBI),放大内镜图像，碘染色增强图像等。

S203,对待检测图像进行预处理，得到预处理图像；

在本申请实施例中，可以基于预设剪裁规则，对待检测图像进行剪裁，得到预处理图像。

具体的，可以获取待检测图像的图像边缘处的背景部分或者无用部分，具体的可以是纯黑色的无用部分或纯黑色的背景部分，纯黑色背景可以包括个人信息等；

裁剪待检测图像中图像边缘区域的背景部分或者无用部分，并将裁剪后的图片进行存储，即可得到预处理图像。

S205,对预处理图像进行深度估计处理，得到目标深度图像；

在本申请实施例中，可以基于单目图像深度估计模型对预处理图像进行深度估计处理；

对预处理图像进行深度估计处理，得到目标深度图像，可以包括对预处理图像进行全局估计处理和局部估计处理，得到目标深度图像。

具体的，可以包括以下步骤：

对预处理图像进行全局估计处理，得到第一深度图像；

在本申请实施例中，可以通过coarse网络对预处理图像的整个图像做粗略的全局估计，可以得到第一深度图像；其中，第一深度图像为预处理图像进行全局估计后的灰度图像；

对预处理图像进行初步局部估计处理，得到第二深度图像；

在本申请实施例中，可以通过fine网络对预处理图像的局部区域进行估计，基于fine网络的第一层优化输出的结果，即得到第二深度图像；第二深度图像为预处理图像进行第一层局部估计后的灰度图像；

其中，第二深度图像与第一深度图像的像素一一对应；

将第一深度图像和第二深度图像进行叠加，得到第三深度图像；

在本申请实施例中，将像素点一一对应的第一深度图像和第二深度图像叠加在一起，即可得到第三深度图像；

对第三深度图像进行局部估计处理，得到目标深度图像。

在本申请实施例中，将得到的第三深度图像，作为fine网络第二层的输入图像，对第三深度图像进行局部优化估计，即可得到目标深度图像。

目标深度图像可以用于表征预处理图像深度信息的图像。

在本申请实施例中，单目图像深度估计模型包括PackNet、FastDepth、Pix2Depth等，

在本申请中可以选用FastDepth，使用FastDepth所提供的各项参数；并采用深度估计数据集进行训练微调，得到本申请中的使用的单目图像深度估计模型。

S207,基于目标深度图像的深度特征，对预处理图像进行语义分割处理，得到目标分割图像，目标分割图像包括病灶区域和背景区域；

在本申请实施例中，可以调用语义分割模型对目标图像的深度特征进行提取，以及对预处理图像进行分割，以得到目标分割图像。

在本申请实施例中，如图3，其所示为本申请实施例提供的一种图像分割方法的流程示意图，具体的，如下：

S301，利用语义分割模型的特征提取层对目标深度图像进行特征提取处理，得到目标深度图像的深度特征，深度特征用于表征目标深度图像中的深度信息；

在本申请实施例中，可以利用语义分割模型的特征提取层，对目标深度图像的特征向量进行卷积、池化处理，得到目标深度图像的深度特征；

S303，利用语义分割模型的注意力层，对目标深度图像的深度特征进行注意力处理，得到目标权重信息；目标权重信息用于表征对图像中各区域的深度变化幅度信息对应的权重；

在本申请实施例中，在获取目标权重信息时，可以将上述获取的深度特征输入语义分割模型的注意力层，具体的，可以输入注意力机制模块，以基于图像的深度信息引导注意力机制模块对预处理图像的特征信息进行提取时的权重信息；

在本申请实施例中，在对目标深度图像的深度特征进行注意力处理时，可以基于图像深度信息，确定图像中各区域的深度变化幅度信息以及与深度变化幅度信息对应的图像的区域；

基于图像中各区域的深度变化幅度信息以及与深度变化幅度信息对应的图像的区域，确定第一目标区域和第二目标区域；

其中，第一目标区域可以是图像边缘区域中深度变化幅度较大的区域；第二目标区域可以是图像中间区域中深度变化幅度较小的区域；

具体的，注意力机制模块在实际的特征提取时，可以基于目标权重信息，降低对第一目标区域的特征提取权重，以及提高对第二目标区域的特征提取权重。

S305，基于目标权重信息，对预处理图像进行语义分割处理，得到目标分割图像。

在本申请实施例中，基于目标权重信息，对预处理图像进行语义分割处理，得到目标分割图像，可以包括以下步骤：

基于语义分割模型的特征提取层，对预处理图像的特征向量进行卷积、池化处理，得到预处理图像对应的第一图像特征；

基于目标权重信息，对第一图像特征进行特征的权重处理，得到预处理图像对应的第二图像特征；

在本申请实施例中，可以利用语义分割模型的注意力层获取第二图像特征；

具体的，将第一图像特征输入语义分割模型的注意力层，基于注意力层的目标权重信息，对图像特征进行进一步的特征提取，得到预处理图像对应的第二图像特征；

其中，注意力层可以是注意力机制模块。

将预处理图像对应的第二图像特征进行语义分割处理，得到目标分割图像。

在本申请实施例中，将得到的第二图像特征再进行卷积、池化、分割等处理，即可得到目标分割图像；在本申请中，这种设计使得在对图像分割时，可以对预处理图像中病变程度较轻的深度变化幅度较小的区域进行准确地识别并分割。

在本申请实施例中，还包括构建语义分割模型；

具体的，如图4，其所示为本申请实施例提供的一种语义分割模型的构建方法的流程示意图，具体的，如下：

S401,获取样本训练集，样本训练集包括多个样本图像以及与多个样本图像对应的标签图像信息；

在本申请实施例中，在获取样本训练集之前，还包括构建样本训练集；

具体的，构建样本训练集包括：

收集疑似罹患目标疾病的病人的内镜检查录像视频；

从上述内镜检查录像视频，获取全部或隔帧获取多个初始样本图像；

对多个初始样本图像进行预处理，得到各样本图像对应的预处理样本图像；

具体的，可以对初始样本图像进行裁剪；裁剪可以是对初始样本图像的图像边缘处的背景部分或者无用部分进行剪裁，具体的可以是纯黑色的无用部分或纯黑色的背景部分，纯黑色背景可以包括个人信息等；

裁剪样本图像中图像边缘区域的背景部分或者无用部分，并将裁剪后的图片进行存储，即可得到预处理样本图像。

对多个预处理样本图像进行标签的标记，即可得到初始样本图像对应的标签图像信息；其中，标签图像信息可以为包括病灶区域的图像信息。

在一个优选的实施例中，可以在预处理样本图像上进行标注，具体的，可以以多边形封闭轮廓的形势进行标注，标注出预处理图像中的所有病灶区域；若单张图像中出现多个病灶区域，则用多个多边形封闭轮廓将其逐一标出；

在对预处理样本图进行标签标注之后，建立与初始样本图像像素尺寸相同的灰度图像，将该灰度图像的全部像素点的像素值设为0，将标注出的标签图像信息所在的区域像素值设置为1，该图像可以初始样本图像对应的标签图像信息；将所有的初始样本图像进行上述处理即可得到多个初始样本图像对应的标签图像信息，也即是原始数据集；

对原始数据集进行增广即可得到样本训练集。

具体的，对原始数据集进行增广可以包括以下步骤：

a.对原始数据集进行随机旋转、随机平移、随机明暗度变化等操作；

b.随机选取图像上的一个标注出的掩膜轮廓区域，求得该掩膜区域的外接矩形框；将初始样本图像进行随机旋转，然后随机创建一个新的矩形框，确保该矩形框能将上述掩膜区域的外接矩形框全部包裹；按照这个新的矩形框对初始样本图像进行裁切，生成一副新的图像；

a)和b)的操作可以重复多次，将图像统一至模型的输出尺寸的像素大小；存储每次操作所获得的新的图像和其对应的标签图像信息，最终得到增广后的数据集，也即是样本训练集。

具体的，在对数据集进行增广时，可以采用不同的超参数进行训练，并选出效果最好的一个作为样本训练集；其中，超参数可以为权重信息。

S403,将多个样本图像输入初始化模型，得到与多个样本图像对应的目标图像信息；

在本申请实施例中，初始化模型可以为Deeplab系列、U-Net、PSPNet等模型。

S405,调用预设损失函数，基于多个样本图像对应的目标图像信息和多个样本图像对应的标签图像信息，确定损失信息；

在本申请实施例中，预设损失函数的构建方法可以包括：

获取第一初始损失函数和第二初始损失函数；

将第一初始损失函数和第二初始损失函数进行加权处理，得到预设损失函数。

在本申请实施例中，第一初始损失函数和第二初始损失函数可以分别是损失函数DPCE loss和损失函数Log-Cosh Dice loss；

具体的，预设损失函数可以是将DPCE loss和Log-Cosh Dice loss两个损失函数进行加权得到预设损失函数；

具体的，预设损失函数可以为：

其中，Dice loss为：

S407,基于损失信息对初始化模型进行训练，得到语义分割模型。

基于该预设损失函数确定的损失信息对初始化模型进行训练，得到语义分割模型；

本申请通过对损失函数的改进，使通过预设损失函数训练的语义分割模型对图像进行分割时，可以提升分割模型对难以辨认的边缘的分割检测效果，且对标签图像信息的图像边缘的检测更加精确；同时对于医学图像数据集中普遍存在的样本不平衡问题也有改善效果。

在本申请实施例中，在构建语义分割模型时，在初始化模型的网络层上增加了辅助模块；其中，辅助模块至少包括注意力机制模块，辅助模块还可以包括金字塔池化模块，LSTM长短期记忆网络模块。

具体的，可以在初始化模型的各级分辨率的编码器上各加入一个注意力机制模块，对编码器的输出特征进行调整，然后再和解码器的对应特征进行拼接。

在本申请实施例中，在构建语义分割模型时，还在初始化模型的特征提取层增加了一个特征提取分支层，以用于输入由单目图像深度估计模型估计得到的深度图像，并对该深度图像进行特征提取；其中，特征提取分支层可以包括输入层、卷积层和池化层。

S209,将目标分割图像和待检测图像融合，得到目标检测图像；

在本申请实施例中，将目标分割图像的像素进行调整，得到目标像素的目标分割图像，其中，目标像素与待检测图像的像素相同；

将目标像素的目标分割图像与待检测图像叠加处理，得到目标检测图像。

在本申请实施例中，可以将目标像素的目标分割图像背景区域和病灶区域的像素值分别设置为0和1，以将背景区域和病灶区域区分开；

具体的，可以将病灶区域采用预设颜色进行标注；

之后，再将该目标分割图像与待检测图像叠加在一起，即可得到目标检测图像。

从该目标检测图像中，可以清楚的区分待检测图像中的人体组织中的病灶区域。

在本申请另一个实施例中，单目图像深度估计模型在训练时，可以先获取深度估计数据集；

具体的可以收集疑似罹患目标疾病的病人的内镜检查录像视频；

从上述内镜检查录像视频中抽取图像帧，同时存储原始样本图像和深度图像，得到原始数据集；

采用上述数据集增广方法对该原始数据集进行增广即可得到深度估计数据集；基于该深度估计数据集对FastDepth所提供的各项参数进行训练微调，得到单目图像深度估计模型。

由上述本申请提供的内镜图像病灶区检测方法、装置、设备及存储介质的实施例可见，本申请实施例获取待检测图像；对待检测图像进行预处理，得到预处理图像；对预处理图像进行深度估计处理，得到目标深度图像；基于目标深度图像的深度特征，对预处理图像进行语义分割处理，得到目标分割图像，目标分割图像包括病灶区域和背景区域；将目标分割图像和待检测图像融合，得到目标检测图像；利用本说明书实施例提供的技术方案，通过获取的深度图像指导语义分割模型对预处理图像进行分割，提高了微小病灶区域的检出率和检测的精确度，且提升了病灶区边缘的分割检测效果，大大降低假阳性概率，对于临床的内镜检查有良好的辅助作用。

本申请实施例还提供了一种内镜图像病灶区检测装置，如图5所示，其所示为本申请实施例提供的一种内镜图像病灶区检测装置的结构示意图；具体的，的装置包括：

获取模块510，用于获取待检测图像；

预处理模块520，用于对待检测图像进行预处理，得到预处理图像；

深度处理模块530，用于对预处理图像进行深度估计处理，得到目标深度图像；

分割处理模块540，用于基于目标深度图像的深度特征，对预处理图像进行语义分割处理，得到目标分割图像，目标分割图像包括病灶区域和背景区域；

图像融合模块550，用于将目标分割图像和待检测图像融合，得到目标检测图像。

在本申请实施例中，深度处理模块530包括：

深度处理单元，用于对预处理图像进行全局估计处理和局部估计处理，得到目标深度图像。

在本申请实施例中，深度处理单元包括：

全局处理子单元，用于对预处理图像进行全局估计处理，得到第一深度图像；

第一局部处理子单元，用于对预处理图像进行初步局部估计处理，得到第二深度图像；

图像融合子单元，用于将第一深度图像和第二深度图像进行叠加，得到第三深度图像；

第二局部处理子单元，用于对第三深度图像进行局部估计处理，得到目标深度图像。

在本申请实施例中，分割处理模块540包括：

特征提取单元，用于利用语义分割模型的特征提取层对目标深度图像进行特征提取处理，得到目标深度图像的深度特征，深度特征用于表征目标深度图像中的深度信息；

权重信息获取单元，用于利用语义分割模型的注意力层，对目标深度图像的深度特征进行注意力处理，得到目标权重信息；目标权重信息用于表征对图像中各区域的深度变化幅度信息对应的权重；

分割处理单元，用于基于目标权重信息，对预处理图像进行语义分割处理，得到目标分割图像。

在本申请实施例中，特征提取单元包括：

第一特征提取单元子单元，用于利用语义分割模型的特征提取层，对目标深度图像的特征向量进行卷积、池化处理，得到目标深度图像的深度特征；

在本申请实施例中，分割处理单元包括：

第二特征提取单元子单元，用于基于语义分割模型的特征提取层，对预处理图像的特征向量进行卷积、池化处理，得到预处理图像对应的第一图像特征；

第三特征提取单元子单元，用于基于目标权重信息，对第一图像特征进行特征的权重处理，得到预处理图像对应的第二图像特征；

分割处理子单元，用于将预处理图像对应的第二图像特征进行语义分割处理，得到目标分割图像

在本申请实施例中，还包括：

样本获取模块，用于获取样本训练集，样本训练集包括多个样本图像以及与多个样本图像对应的标签图像信息；

图像输入模块，用于将多个样本图像输入初始化模型，得到与多个样本图像对应的目标图像信息；

损失信息确定模块，用于调用预设损失函数，基于多个样本图像对应的目标图像信息和多个样本图像对应的标签图像信息，确定损失信息；

训练模块，用于基于损失信息对初始化模型进行训练，得到语义分割模型。

在本申请实施例中，图像融合模块550包括：

像素调整单元，用于将目标分割图像的像素进行调整，得到目标像素的目标分割图像，其中，目标像素与待检测图像的像素相同；

图像融合单元，用于将目标像素的目标分割图像与待检测图像叠加处理，得到目标检测图像。

本申请实施例提供了一种内镜图像病灶区检测设备，设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例所述的内镜图像病灶区检测方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图6为本申请实施例提供的一种内镜图像病灶区检测设备的结构示意图，该内镜图像病灶区检测设备的内部构造可包括但不限于：处理器、网络接口及存储器，其中内镜图像病灶区检测设备内的处理器、网络接口及存储器可以通过总线或其他方式连接，在本说明书实施例所示图6中以通过总线连接为例。

其中，处理器(或称CPU(Central Processing Unit，中央处理器))是内镜图像病灶区检测设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是内镜图像病灶区检测设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了内镜图像病灶区检测设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)等等，本申请对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本申请实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的内镜图像病灶区检测方法。

本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于内镜图像病灶区检测设备之中以保存用于实现方法实施例中的一种内镜图像病灶区检测方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集可由电子设备的处理器加载并执行以实现上述方法实施例提供的内镜图像病灶区检测方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (11)

1.一种内镜图像病灶区检测方法，其特征在于，所述的方法包括：

获取待检测图像；

对所述待检测图像进行预处理，得到预处理图像；

对所述预处理图像进行深度估计处理，得到目标深度图像；

基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，所述目标分割图像包括病灶区域和背景区域；

将所述目标分割图像和所述待检测图像融合，得到目标检测图像。

2.根据权利要求1所述的内镜图像病灶区检测方法，其特征在于，所述对所述预处理图像进行深度估计处理，得到目标深度图像包括：

对所述预处理图像进行全局估计处理和局部估计处理，得到目标深度图像。

3.根据权利要求2所述的内镜图像病灶区检测方法，其特征在于，所述对所述预处理图像进行全局估计处理和局部估计处理，得到目标深度图像，包括

对所述预处理图像进行全局估计处理，得到第一深度图像；

对所述预处理图像进行初步局部估计处理，得到第二深度图像；

将所述第一深度图像和所述第二深度图像进行叠加，得到第三深度图像；

对所述第三深度图像进行局部估计处理，得到目标深度图像。

4.根据权利要求1所述的内镜图像病灶区检测方法，其特征在于，所述基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，包括：

利用语义分割模型的特征提取层对所述目标深度图像进行特征提取处理，得到所述目标深度图像的深度特征，所述深度特征用于表征所述目标深度图像中的深度信息；

利用语义分割模型的注意力层，对所述目标深度图像的深度特征进行注意力处理，得到目标权重信息；所述目标权重信息用于表征对图像中各区域的深度变化幅度信息对应的权重；

基于所述目标权重信息，对所述预处理图像进行语义分割处理，得到目标分割图像。

5.根据权利要求4所述的内镜图像病灶区检测方法，其特征在于，所述对所述目标深度图像进行深度特征提取处理，得到图像特征，包括：

利用语义分割模型的特征提取层，对所述目标深度图像的特征向量进行卷积、池化处理，得到所述目标深度图像的深度特征；

所述基于所述目标权重信息，对所述预处理图像进行语义分割处理，得到目标分割图像，包括：

基于所述语义分割模型的特征提取层，对所述预处理图像的特征向量进行卷积、池化处理，得到预处理图像对应的第一图像特征；

基于所述目标权重信息，对所述第一图像特征进行特征的权重处理，得到预处理图像对应的第二图像特征；

将所述预处理图像对应的第二图像特征进行语义分割处理，得到目标分割图像。

6.根据权利要求1所述的内镜图像病灶区检测方法，其特征在于，还包括构建语义分割模型，所述构建语义分割模型包括：

获取样本训练集，所述样本训练集包括多个样本图像以及与所述多个样本图像对应的标签图像信息；

将所述多个样本图像输入初始化模型，得到与所述多个样本图像对应的目标图像信息；

调用预设损失函数，基于所述多个样本图像对应的目标图像信息和所述多个样本图像对应的标签图像信息，确定损失信息；

基于所述损失信息对所述初始化模型进行训练，得到所述语义分割模型。

7.根据权利要求6所述的内镜图像病灶区检测方法，其特征在于，所述预设损失函数的建立方法包括：

获取第一初始损失函数和第二初始损失函数；

将所述第一初始损失函数和所述第二初始损失函数进行加权处理，得到预设损失函数。

8.根据权利要求1所述的内镜图像病灶区检测方法，其特征在于，所述基于所述目标分割图像和所述待检测图像，得到目标检测图像，包括：

将所述目标分割图像的像素进行调整，得到目标像素的目标分割图像，其中，所述目标像素与所述待检测图像的像素相同；

将所述目标像素的目标分割图像与所述待检测图像叠加处理，得到目标检测图像。

9.一种内镜图像病灶区检测装置，其特征在于，所述的装置包括：

获取模块，用于获取待检测图像；

预处理模块，用于对所述待检测图像进行预处理，得到预处理图像；

深度处理模块，用于对所述预处理图像进行深度估计处理，得到目标深度图像；

分割处理模块，用于基于所述目标深度图像的深度特征，对所述预处理图像进行语义分割处理，得到目标分割图像，所述目标分割图像包括病灶区域和背景区域；

图像融合模块，用于将所述目标分割图像和所述待检测图像融合，得到目标检测图像。

10.一种内镜图像病灶区检测设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的内镜图像病灶区检测方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如权利要求1至8任一项所述的内镜图像病灶区检测方法。

Images