CN117764995A - 基于深度神经网络算法的胆胰成像系统及方法 - Google Patents

基于深度神经网络算法的胆胰成像系统及方法 Download PDF

Info

Publication number
CN117764995A
CN117764995A CN202410196859.8A CN202410196859A CN117764995A CN 117764995 A CN117764995 A CN 117764995A CN 202410196859 A CN202410196859 A CN 202410196859A CN 117764995 A CN117764995 A CN 117764995A
Authority
CN
China
Prior art keywords
biliary
endoscopic
pancreatic
semantic
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410196859.8A
Other languages
English (en)
Other versions
CN117764995B (zh
Inventor
胡晓刚
杨亮
姚莹
顾威
吕霄
陈东艳
肖森
吴苏娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shouding Shijie Technology Co ltd
Original Assignee
Zhejiang Shouding Shijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shouding Shijie Technology Co ltd filed Critical Zhejiang Shouding Shijie Technology Co ltd
Priority to CN202410196859.8A priority Critical patent/CN117764995B/zh
Publication of CN117764995A publication Critical patent/CN117764995A/zh
Application granted granted Critical
Publication of CN117764995B publication Critical patent/CN117764995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及智慧医疗技术领域,其具体地公开了一种基于深度神经网络算法的胆胰成像系统及方法,其利用基于深度学习的人工智能技术对胆胰内窥图像进行形态特征挖掘和图像语义分割,以感知图像中的结石区域和非结石区域,实现对结石的定位和识别,从而确定结石的尺寸。这样,可以为医生提供更准确的辅助诊断工具,进而提高诊断效率,减轻医护人员的工作负担。

Description

基于深度神经网络算法的胆胰成像系统及方法
技术领域
本申请涉及智慧医疗技术领域,且更为具体地,涉及一种基于深度神经网络算法的胆胰成像系统及方法。
背景技术
胆胰疾病是一种常见的消化系统疾病,其中包括结石等病变形式。胆结石的形成与多种因素有关,如胆固醇过饱和、胆囊收缩不良、肠道感染、肥胖、高血脂、高血糖、不良饮食习惯等。这些因素导致胆汁中的胆固醇、胆汁酸、卵磷脂等成分失衡,进而形成结石。结石在胆胰器官中形成,可导致一系列的临床症状和并发症,例如右上腹疼痛、黄疸、消化不良等,若结石阻塞胆管,还可引起急性胆管炎、胰腺炎等严重并发症。
在胆胰结石的治疗方面,胆胰内窥成像是一种常用的医学影像技术,用于检测和诊断胆胰疾病。然而,由于胆胰内窥图像的复杂性和多样性,以及结石与周围组织的相似性,使得结石区域的识别和分割面临极大的挑战。因此,期待一种基于深度神经网络算法的胆胰成像系统及方法。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于深度神经网络算法的胆胰成像系统及方法,其利用基于深度学习的人工智能技术对胆胰内窥图像进行形态特征挖掘和图像语义分割,以感知图像中的结石区域和非结石区域,实现对结石的定位和识别,从而确定结石的尺寸。这样,可以为医生提供更准确的辅助诊断工具,进而提高诊断效率,减轻医护人员的工作负担。
相应地,根据本申请的一个方面,提供了一种基于深度神经网络算法的胆胰成像系统,其包括:胆胰内窥模块,用于获取由内窥镜采集的胆胰内窥图像;胆胰内窥形态编码模块,用于提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图;上下文语义编码模块,用于提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵;语义分割模块,用于对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图;结石尺寸识别模块,用于基于所述胆胰内窥语义分割图,确定结石尺寸。
在上述基于深度神经网络算法的胆胰成像系统中,所述胆胰内窥形态编码模块,包括:高频成分提取单元,用于提取所述胆胰内窥图像中的高频成分以得到胆胰内窥高频成分图像;形态特征提取单元,用于使用深度学习模型对所述胆胰内窥高频成分图像进行形态特征提取以得到所述胆胰内窥形态特征图。
在上述基于深度神经网络算法的胆胰成像系统中,所述深度学习模型为基于卷积神经网络模型的形态特征提取器。
在上述基于深度神经网络算法的胆胰成像系统中,所述形态特征提取单元,用于:将所述胆胰内窥高频成分图像通过基于卷积神经网络模型的形态特征提取器以得到所述胆胰内窥形态特征图。
在上述基于深度神经网络算法的胆胰成像系统中,所述上下文语义编码模块,包括:形态语义上下文强化单元,用于对所述胆胰内窥形态特征图进行形态语义上下文强化处理以得到上下文语义强化胆胰内窥形态特征图;特征优化单元,用于对所述上下文语义强化胆胰内窥形态特征图进行特征优化以得到优化后上下文语义强化胆胰内窥形态特征图;均值池化单元,用于对所述优化后上下文语义强化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到所述上下文语义强化胆胰内窥形态特征矩阵。
在上述基于深度神经网络算法的胆胰成像系统中,所述形态语义上下文强化单元,用于:将所述胆胰内窥形态特征图通过基于金字塔池化模块的形态语义上下文强化器以得到所述上下文语义强化胆胰内窥形态特征图。
在上述基于深度神经网络算法的胆胰成像系统中,所述基于金字塔池化模块的形态语义上下文强化器使用四种不同尺度的平均池化窗口,其中,所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
在上述基于深度神经网络算法的胆胰成像系统中,所述语义分割模块,用于:将所述上下文语义强化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到胆胰内窥语义分割图。
在上述基于深度神经网络算法的胆胰成像系统中,所述语义分割模块,用于:使用所述图像语义分割网络的分类函数对所述上下文语义强化胆胰内窥形态特征矩阵中各个位置的特征值进行分类,以得到所述胆胰内窥语义分割图,其中,所述胆胰内窥语义分割图包含了所述胆胰内窥语义分割图中各个像素点所属的类别标签,所述类别标签包括结石区域和非结石区域。
根据本申请的另一个方面,提供了一种基于深度神经网络算法的胆胰成像方法,其包括:获取由内窥镜采集的胆胰内窥图像;提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图;提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵;对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图;基于所述胆胰内窥语义分割图,确定结石尺寸。
与现有技术相比,本申请提供的基于深度神经网络算法的胆胰成像系统及方法,其利用基于深度学习的人工智能技术对胆胰内窥图像进行形态特征挖掘和图像语义分割,以感知图像中的结石区域和非结石区域,实现对结石的定位和识别,从而确定结石的尺寸。这样,可以为医生提供更准确的辅助诊断工具,进而提高诊断效率,减轻医护人员的工作负担。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于深度神经网络算法的胆胰成像系统的框图。
图2为根据本申请实施例的基于深度神经网络算法的胆胰成像系统的架构示意图。
图3为根据本申请实施例的基于深度神经网络算法的胆胰成像系统中胆胰内窥形态编码模块的框图。
图4为根据本申请实施例的基于深度神经网络算法的胆胰成像系统中上下文语义编码模块的框图。
图5为根据本申请实施例的基于深度神经网络算法的胆胰成像方法的流程图。
图6A图示了本申请实施例的基于深度神经网络算法的胆胰成像方法中胆胰内窥图像的示意图。
图6B图示了本申请实施例的基于深度神经网络算法的胆胰成像方法中胆胰内窥语义分割图的示意图。
图6C图示了本申请实施例的基于深度神经网络算法的胆胰成像方法中胆胰内窥语义分割图的另一示意图。
图6D图示了本申请实施例的基于深度神经网络算法的胆胰成像方法中胆胰内窥语义分割图的另一示意图。
图6E图示了本申请实施例的基于深度神经网络算法的胆胰成像方法中胆胰内窥语义分割图的另一示意图。
具体实施方式
下面,将结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。同时,附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于深度神经网络算法的胆胰成像系统的框图。图2为根据本申请实施例的基于深度神经网络算法的胆胰成像系统的架构示意图。如图1和图2所示,根据本申请实施例的基于深度神经网络算法的胆胰成像系统100,包括:胆胰内窥模块110,用于获取由内窥镜采集的胆胰内窥图像;胆胰内窥形态编码模块120,用于提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图;上下文语义编码模块130,用于提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵;语义分割模块140,用于对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图;结石尺寸识别模块150,用于基于所述胆胰内窥语义分割图,确定结石尺寸。
如上述背景技术所言,胆胰疾病是一种常见的消化系统疾病,其中包括结石等病变形式。结石可以形成在胆囊或胰腺内,导致一系列的临床症状和并发症,例如右上腹疼痛、黄疸、消化不良等。除了上述症状,结石还可能引起胆道感染、胆道梗阻、胆管炎、胆管扩张等问题,严重时可能导致胆囊切除或胰腺切除等手术治疗的需求。
对于胆胰疾病患者来说,及时的诊断和治疗非常重要。例如,通过影像学检查来确认结石的尺寸和位置,并根据病情采取相应的治疗措施,如药物治疗、胆道引流、胆囊切除或胰腺切除等。其中,胆胰内窥图像是一种医学影像技术,常用于检测和诊断胆胰疾病,其利用内窥镜来采集胆胰内窥图像,通过对胆胰内窥图像分析来确定结石的尺寸和位置。然而,传统的胆胰内窥图像分析方法主要依赖于医生的经验和专业知识,不仅效率低下,而且存在主观性和个体差异性的问题。随着医疗科技的发展,虽然已经有研究者尝试将人工智能技术应用于医学影像分析,但是,由于胆胰内窥图像的复杂性和多样性,以及结石与周围组织的相似性,现有的一些影像分析技术在结石区域的识别和分割方面依然面临极大的挑战。
针对上述技术问题,本申请的技术构思为利用基于深度学习的人工智能技术对胆胰内窥图像进行形态特征挖掘和图像语义分割,以感知图像中的结石区域和非结石区域,实现对结石的定位和识别,从而确定结石的尺寸。这样,可以为医生提供更准确的辅助诊断工具,进而提高诊断效率,减轻医护人员的工作负担。
在上述基于深度神经网络算法的胆胰成像系统100中,所述胆胰内窥模块110,用于获取由内窥镜采集的胆胰内窥图像,例如,如图6A所示。应可以理解,内窥镜是一种医疗设备,可以通过口腔或直肠等途径进入胆胰腔道,直接观察和拍摄胆胰内部的图像。相比其他影像技术,如CT扫描或超声波检查,利用内窥镜来采集胆胰内窥图像能够提供更高分辨率、更清晰的胆胰内部图像,为后续的图像语义分割提供了必要的输入数据,有助于更准确地分析和诊断胆胰疾病。
在上述基于深度神经网络算法的胆胰成像系统100中,所述胆胰内窥形态编码模块120,用于提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图。应可以理解,所述胆胰内窥图像可以提供有关结石病变的形状、大小、轮廓等信息。具体来说,通过提取所述胆胰内窥图像的形态特征,可以获取胆囊、胰腺和结石的形态特征,如轮廓、边界等,进而可以获取结石的形态、纹理、位置等信息,有助于对结石病变进行初步的诊断和鉴别。
图3为根据本申请实施例的基于深度神经网络算法的胆胰成像系统中胆胰内窥形态编码模块的框图。如图3所示,所述胆胰内窥形态编码模块120,包括:高频成分提取单元121,用于提取所述胆胰内窥图像中的高频成分以得到胆胰内窥高频成分图像;形态特征提取单元122,用于使用深度学习模型对所述胆胰内窥高频成分图像进行形态特征提取以得到所述胆胰内窥形态特征图。
具体地,所述高频成分提取单元121,用于提取所述胆胰内窥图像中的高频成分以得到胆胰内窥高频成分图像。应可以理解,图像中的高频成分是指图像中变化频率较高的信息,即图像中变化剧烈的部分,通常对应于图像的边缘、纹理和细节。在本申请的技术方案中,通过提取所述胆胰内窥图像中的高频成分,可以突出所述胆胰内窥图像中的边缘、纹理等细节特征,使得结石区域和非结石区域的差异更加明显,有助于后续的图像语义分割过程,从而提高对结石区域定位和识别的准确性。具体地,提取所述胆胰内窥图像中的高频成分特征,则是将所述胆胰内窥图像进行快速傅里叶变换以将其转换为频谱表示。频谱表示显示了图像中不同频率的成分。在频谱中,高频成分对应于频率较高的部分,这些高频成分在频谱图中通常表现为较亮的区域。通过提取其中的高频成分,再进行反变换得到以高频成分对应的所述胆胰内窥高频成分图像。
具体地,所述形态特征提取单元122,用于使用深度学习模型对所述胆胰内窥高频成分图像进行形态特征提取以得到所述胆胰内窥形态特征图。在本申请的一个具体示例中,使用深度学习模型对所述胆胰内窥高频成分图像进行形态特征提取以得到所述胆胰内窥形态特征图的处理方式是将所述胆胰内窥高频成分图像通过基于卷积神经网络模型的形态特征提取器以得到所述胆胰内窥形态特征图。本领域普通技术人员应知晓,卷积神经网络(Convolutional Neural Network,CNN)是一种在图像处理和计算机视觉任务中广泛应用的深度学习模型,其通过卷积层和池化层能够自动学习和提取图像中的特征表示。卷积神经网络的核心思想是通过卷积操作来提取输入数据的特征。卷积操作是一种局部特征提取操作,其通过在输入数据上滑动一个小的窗口(通常称为卷积核或过滤器),并在每个位置上执行一次乘法累加操作,以学习到输入数据的不同特征表示,例如边缘、纹理和形状等,从而生成输出特征图。在本申请的技术方案中,通过将胆胰内窥高频成分图像输入到基于卷积神经网络的形态特征提取器中,可以利用所述形态特征提取器的卷积层通过滑动窗口的方式对所述胆胰内窥高频成分图像进行局部卷积操作,从不同尺度和方向来提取所述胆胰内窥高频成分图像的局部特征,捕捉结石的边缘、纹理等形态特征。并通过池化层来降低特征的维度,减少数据的冗余,以获得蕴含了结石区域和非结石区域的形状和轮廓信息的胆胰内窥形态特征图。这样,将所述胆胰内窥形态特征图作为后续图像语义分割和结石尺寸确定的数据基础,可以提高对结石区域的定位和识别的准确性,从而更精确地获取结石的尺寸。
在上述基于深度神经网络算法的胆胰成像系统100中,所述上下文语义编码模块130,用于提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵。在本申请的技术方案中,考虑到结石的形态特征往往与周围组织的关系密切相关。例如,在胆道中,结石可能与胆管壁或胆囊壁相接触。这种接触可能导致结石在形态上受到约束,呈现出较为规则的形状。相反,如果结石与周围组织没有明显的接触,其形态可能更加自由,并呈现出较为不规则的形状。因此,为了捕捉所述胆胰内窥形态特征图中的上下文语义关联信息,进一步对所述胆胰内窥形态特征图进行上下文语义强化处理。
图4为根据本申请实施例的基于深度神经网络算法的胆胰成像系统中上下文语义编码模块的框图。如图4所示,所述上下文语义编码模块130,包括:形态语义上下文强化单元131,用于对所述胆胰内窥形态特征图进行形态语义上下文强化处理以得到上下文语义强化胆胰内窥形态特征图;特征优化单元132,用于对所述上下文语义强化胆胰内窥形态特征图进行特征优化以得到优化后上下文语义强化胆胰内窥形态特征图;均值池化单元133,用于对所述优化后上下文语义强化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到所述上下文语义强化胆胰内窥形态特征矩阵。
具体地,所述形态语义上下文强化单元131,用于对所述胆胰内窥形态特征图进行形态语义上下文强化处理以得到上下文语义强化胆胰内窥形态特征图。在本申请的一个具体示例中,对所述胆胰内窥形态特征图进行形态语义上下文强化处理以得到上下文语义强化胆胰内窥形态特征图的处理方式是将所述胆胰内窥形态特征图通过基于金字塔池化模块的形态语义上下文强化器以得到所述上下文语义强化胆胰内窥形态特征图。也就是,通过引入上下文语义信息来强化特征表达,从而更好地区分结石区域特征和非结石区域特征。
本领域普通技术人员应知晓,金字塔池化模块(Pyramid Pooling Module)是一种用于图像处理任务的池化操作,其主要通过在不同尺度上对图像进行特征提取,以捕捉不同尺度下的上下文信息。传统的池化操作(如最大池化或平均池化)通常在固定大小的窗口上进行,而金字塔池化模块引入了多个不同大小的池化窗口,以便捕捉不同尺度下的特征。金字塔池化模块的基本思想是利用不同尺度的池化窗口对输入特征进行池化操作。然后,将池化后的特征按照一定规则进行组合,以形成综合的特征表示,从而获得具有不同尺度上下文信息的特征表示。应可以理解,在形态特征提取过程中随着网络不断加深,导致实际网络感受野总有一定偏差,使网络无法有效融合全局上下文特征。为此,在本申请的技术方案中,引入金字塔池化模块,通过在不同尺度上对所述胆胰内窥形态特征图进行池化操作来捕捉多尺度的上下文语义信息,实现将丰富的高层次信息向低层次特征的映射。并利用卷积层将不同尺度池化层输出的特征进行整合和跳跃连接,以聚合所述胆胰内窥形态特征图中的浅层细节信息与高层语义信息,增强了所述胆胰内窥形态特征图的语义表达能力,从而提高对结石区域的定位和识别的准确性。具体地,所述基于金字塔池化模块的形态语义上下文强化器使用四种不同尺度的平均池化窗口,其中,所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
具体地,所述特征优化单元132,用于对所述上下文语义强化胆胰内窥形态特征图进行特征优化以得到优化后上下文语义强化胆胰内窥形态特征图。在本申请的技术方案中,所述胆胰内窥形态特征图的各个特征矩阵用于表达所述胆胰内窥高频成分图像的图像语义特征,而各个特征矩阵之间遵循所述卷积神经网络模型的通道分布,这样,在通过基于金字塔池化模块的形态语义上下文强化器后,会针对图像语义特征的空间分布基于金字塔池化来进行图像语义空间分布的上下文强化,但是这也会导致所述上下文语义强化胆胰内窥形态特征图的通道间关联下降,影响所述上下文语义强化胆胰内窥形态特征矩阵的表达效果,从而影响所述上下文语义强化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络的语义分割准确性。
因此,在本申请的技术方案中,考虑提升所述上下文语义强化胆胰内窥形态特征图的通道维度特征分布整体性,具体地,首先将所述上下文语义强化胆胰内窥形态特征图进行线性变换以使得所述胆胰内窥形态特征图的各个特征矩阵的宽度和高度相等,然后对转换后的上下文语义强化胆胰内窥形态特征图以特征矩阵为单位,基于相邻特征矩阵的优化以如下优化公式来校正转换后的上下文语义强化胆胰内窥形态特征图,以得到优化后上下文语义强化胆胰内窥形态特征图,其中,所述优化公式为:;其中,/>和/>分别是所述转换后的上下文语义强化胆胰内窥形态特征图中的第/>和第/>个特征矩阵,且/>和/>分别是特征矩阵/>和/>的全局均值,/>表示矩阵的转置,/>表示矩阵乘法,/>表示按位置点乘,/>是所述优化后上下文语义强化胆胰内窥形态特征图中的第/>个特征矩阵。
这里,通过以所述上下文语义强化胆胰内窥形态特征图的特征矩阵沿通道分布的中心作为通道维度下的场景传递的种子点,来将所述上下文语义强化胆胰内窥形态特征图的特征矩阵的每个特征值通过矩阵相乘而进行稳健化的聚合和子采样提议,从而在所述上下文语义强化胆胰内窥形态特征图的特征矩阵的每个特征值的参与基础上进行相邻特征矩阵的分布边界框传递定向约束,以在所述上下文语义强化胆胰内窥形态特征图的整体沿通道维度由下而上的上下文关联的基础上提升所述上下文语义强化胆胰内窥形态特征图的特征表示的整体性,从而提升所述上下文语义强化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络的语义分割准确性。
具体地,所述均值池化单元133,用于对所述优化后上下文语义强化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到所述上下文语义强化胆胰内窥形态特征矩阵。应可以理解,为了将所述优化后上下文语义强化胆胰内窥形态特征图与原始胆胰内窥图像的尺寸对齐,以便进行后续的图像语义分割处理,进一步对所述优化后上下文语义强化胆胰内窥形态特征图进行沿通道维度的全局均值池化处理。也就是,通过池化操作以实现所述优化后上下文语义强化胆胰内窥形态特征图和所述胆胰内窥图像的维度一致化,便于后续进行像素级别的分类,即将图像的每个像素标记为结石区域或非结石区域。此外,通过池化操作可以降低特征的维度,减少后续计算的复杂性和存储的需求,从而提高计算效率并减少内存占用。在胆胰成像系统的实际应用中,面对大规模数据时,通过池化操作可以提高系统的计算效率和实用性。
在上述基于深度神经网络算法的胆胰成像系统100中,所述语义分割模块140,用于对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图,如图6B所示。在本申请的一个具体示例中,对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图的处理方式是将所述上下文语义强化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到胆胰内窥语义分割图。应可以理解,基于分类函数的图像语义分割网络是一种用于图像分割任务的深度学习模型,其通过将图像中的每个像素分类为不同的类别来实现对图像的语义分割,即将图像中的每个像素分配给特定的语义类别。传统的图像分类任务是将整个图像分为不同的类别,而图像语义分割任务则是将图像中的每个像素进行分类。在胆胰成像系统中,期望将胆胰内窥图像中的每个像素标记为结石区域或非结石区域,以实现对结石的定位和识别。为此,对所述胆胰内窥图像进行形态特征提取后将其与原始图像进行维度对齐,并利用所述图像语义分割网络的分类函数对所述上下文语义强化胆胰内窥形态特征矩阵中的每个特征值进行分类,将其映射到相应的类别,以生成所述胆胰内窥语义分割图,其中,所述胆胰内窥语义分割图包含了所述胆胰内窥语义分割图中各个像素点所属的类别标签,即“结石区域”和“非结石区域”。也就是说,所述胆胰内窥语义分割图中每个像素被标记为结石或非结石,从而为后续的结石尺寸测量提供准确的数据基础。
如图6B所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示胆管黏膜内凸起型病变。在6C所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示胆管新生中肿物。在6D所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示结石。在6E所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示胆总管下端下载部分异常增厚。
在上述基于深度神经网络算法的胆胰成像系统100中,所述结石尺寸识别模块150,用于基于所述胆胰内窥语义分割图,确定结石尺寸。也就是,如果存在结石的话,可以基于所述胆胰内窥语义分割图,确定结石尺寸。应可以理解,经过上述的图像语义分割处理,所述胆胰内窥语义分割图提供了结石区域的像素级别标记,可以清晰地显示结石的位置和形状。这样,可以基于所述胆胰内窥语义分割图中结石区域的像素数量和分布来估计结石的尺寸,进而根据结石尺寸来评估结石的严重程度和选择适当的治疗方法,例如药物治疗、体外冲击波碎石术(ESWL)或内窥镜手术等。具体地,可以使用阈值分割、连通区域分析等方法,对所述胆胰内窥语义分割图中归属于结石区域标记的像素进行像素数量统计,基于结石区域的像素数量和像素大小来确定结石的尺寸。
综上,根据本申请实施例的基于深度神经网络算法的胆胰成像系统被阐明,其利用基于深度学习的人工智能技术对胆胰内窥图像进行形态特征挖掘和图像语义分割,以感知图像中的结石区域和非结石区域,实现对结石的定位和识别,从而确定结石的尺寸。这样,可以为医生提供更准确的辅助诊断工具,进而提高诊断效率,减轻医护人员的工作负担。
图5为根据本申请实施例的基于深度神经网络算法的胆胰成像方法的流程图。如图5所示,根据本申请实施例的基于深度神经网络算法的胆胰成像方法,包括步骤:S1,获取由内窥镜采集的胆胰内窥图像;S2,提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图;S3,提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵;S4,对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图;S5,基于所述胆胰内窥语义分割图,确定结石尺寸。
这里,本领域技术人员可以理解,上述基于深度神经网络算法的胆胰成像方法中的各个步骤的具体操作已经在上面参考图1到图4的基于深度神经网络算法的胆胰成像系统的描述中得到了详细介绍,并因此,将省略其重复描述。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,在本发明中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外,上述实施例的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本发明为必须采用上述具体的细节来实现。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。在本发明所提供的几个实施例中,应该理解到,所揭露的设备,系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元也可以由一个单元通过软件或者硬件来实现。
最后应说明的是,为了例示和描述的目的已经给出了以上描述。此外,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于深度神经网络算法的胆胰成像系统,其特征在于,包括:胆胰内窥模块,用于获取由内窥镜采集的胆胰内窥图像;胆胰内窥形态编码模块,用于提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图;上下文语义编码模块,用于提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵;语义分割模块,用于对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图;结石尺寸识别模块,用于基于所述胆胰内窥语义分割图,确定结石尺寸。
2.根据权利要求1所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述胆胰内窥形态编码模块,包括:高频成分提取单元,用于提取所述胆胰内窥图像中的高频成分以得到胆胰内窥高频成分图像;形态特征提取单元,用于使用深度学习模型对所述胆胰内窥高频成分图像进行形态特征提取以得到所述胆胰内窥形态特征图。
3.根据权利要求2所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述深度学习模型为基于卷积神经网络模型的形态特征提取器。
4.根据权利要求3所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述形态特征提取单元,用于:将所述胆胰内窥高频成分图像通过基于卷积神经网络模型的形态特征提取器以得到所述胆胰内窥形态特征图。
5.根据权利要求4所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述上下文语义编码模块,包括:形态语义上下文强化单元,用于对所述胆胰内窥形态特征图进行形态语义上下文强化处理以得到上下文语义强化胆胰内窥形态特征图;特征优化单元,用于对所述上下文语义强化胆胰内窥形态特征图进行特征优化以得到优化后上下文语义强化胆胰内窥形态特征图;均值池化单元,用于对所述优化后上下文语义强化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到所述上下文语义强化胆胰内窥形态特征矩阵。
6.根据权利要求5所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述形态语义上下文强化单元,用于:将所述胆胰内窥形态特征图通过基于金字塔池化模块的形态语义上下文强化器以得到所述上下文语义强化胆胰内窥形态特征图。
7.根据权利要求6所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述基于金字塔池化模块的形态语义上下文强化器使用四种不同尺度的平均池化窗口,其中,所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
8.根据权利要求7所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述语义分割模块,用于:将所述上下文语义强化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到胆胰内窥语义分割图。
9.根据权利要求8所述的基于深度神经网络算法的胆胰成像系统,其特征在于,所述语义分割模块,用于:使用所述图像语义分割网络的分类函数对所述上下文语义强化胆胰内窥形态特征矩阵中各个位置的特征值进行分类,以得到所述胆胰内窥语义分割图,其中,所述胆胰内窥语义分割图包含了所述胆胰内窥语义分割图中各个像素点所属的类别标签,所述类别标签包括结石区域和非结石区域。
10.一种基于深度神经网络算法的胆胰成像方法,其特征在于,包括:获取由内窥镜采集的胆胰内窥图像;提取所述胆胰内窥图像的形态特征以得到胆胰内窥形态特征图;提取所述胆胰内窥形态特征图的上下文语义特征以得到上下文语义强化胆胰内窥形态特征矩阵;对所述上下文语义强化胆胰内窥形态特征矩阵进行语义分割以得到胆胰内窥语义分割图;基于所述胆胰内窥语义分割图,确定结石尺寸。
CN202410196859.8A 2024-02-22 2024-02-22 基于深度神经网络算法的胆胰成像系统及方法 Active CN117764995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410196859.8A CN117764995B (zh) 2024-02-22 2024-02-22 基于深度神经网络算法的胆胰成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410196859.8A CN117764995B (zh) 2024-02-22 2024-02-22 基于深度神经网络算法的胆胰成像系统及方法

Publications (2)

Publication Number Publication Date
CN117764995A true CN117764995A (zh) 2024-03-26
CN117764995B CN117764995B (zh) 2024-05-07

Family

ID=90326120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410196859.8A Active CN117764995B (zh) 2024-02-22 2024-02-22 基于深度神经网络算法的胆胰成像系统及方法

Country Status (1)

Country Link
CN (1) CN117764995B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055237A1 (en) * 2014-08-20 2016-02-25 Mitsubishi Electric Research Laboratories, Inc. Method for Semantically Labeling an Image of a Scene using Recursive Context Propagation
US20180108138A1 (en) * 2015-04-29 2018-04-19 Siemens Aktiengesellschaft Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
CN112233777A (zh) * 2020-11-19 2021-01-15 中国石油大学(华东) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112927255A (zh) * 2021-02-22 2021-06-08 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN113902925A (zh) * 2021-10-26 2022-01-07 上海师范大学 一种基于深度卷积神经网络的语义分割方法及系统
CN114202516A (zh) * 2021-11-29 2022-03-18 上海联影医疗科技股份有限公司 一种异物检测方法、装置、电子设备及存储介质
CN114693634A (zh) * 2022-03-28 2022-07-01 深圳市安健科技股份有限公司 X光图像非人体组织区域的识别方法、装置、设备和介质
CN115661655A (zh) * 2022-11-03 2023-01-31 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN115690668A (zh) * 2021-07-23 2023-02-03 菅政 基于图像语义分割算法的损伤识别技术
KR20230017678A (ko) * 2021-07-28 2023-02-06 현대모비스 주식회사 영상 의미 분할 시스템 및 그 방법
CN116486308A (zh) * 2023-05-10 2023-07-25 浙江晓扬科技有限公司 基于智慧教育的教学管理系统及其方法
CN116794553A (zh) * 2023-04-07 2023-09-22 浙江万能弹簧机械有限公司 用于高频电源的智能故障诊断方法及其系统
CN117392153A (zh) * 2023-12-06 2024-01-12 江西师范大学 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN117558397A (zh) * 2024-01-12 2024-02-13 吉林大学 用于肾病患者恶化情况分析的报告生成系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055237A1 (en) * 2014-08-20 2016-02-25 Mitsubishi Electric Research Laboratories, Inc. Method for Semantically Labeling an Image of a Scene using Recursive Context Propagation
US20180108138A1 (en) * 2015-04-29 2018-04-19 Siemens Aktiengesellschaft Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
CN112233777A (zh) * 2020-11-19 2021-01-15 中国石油大学(华东) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112927255A (zh) * 2021-02-22 2021-06-08 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN115690668A (zh) * 2021-07-23 2023-02-03 菅政 基于图像语义分割算法的损伤识别技术
KR20230017678A (ko) * 2021-07-28 2023-02-06 현대모비스 주식회사 영상 의미 분할 시스템 및 그 방법
CN113902925A (zh) * 2021-10-26 2022-01-07 上海师范大学 一种基于深度卷积神经网络的语义分割方法及系统
CN114202516A (zh) * 2021-11-29 2022-03-18 上海联影医疗科技股份有限公司 一种异物检测方法、装置、电子设备及存储介质
CN114693634A (zh) * 2022-03-28 2022-07-01 深圳市安健科技股份有限公司 X光图像非人体组织区域的识别方法、装置、设备和介质
CN115661655A (zh) * 2022-11-03 2023-01-31 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN116794553A (zh) * 2023-04-07 2023-09-22 浙江万能弹簧机械有限公司 用于高频电源的智能故障诊断方法及其系统
CN116486308A (zh) * 2023-05-10 2023-07-25 浙江晓扬科技有限公司 基于智慧教育的教学管理系统及其方法
CN117392153A (zh) * 2023-12-06 2024-01-12 江西师范大学 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN117558397A (zh) * 2024-01-12 2024-02-13 吉林大学 用于肾病患者恶化情况分析的报告生成系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PUGLIATTI M等: "On-board Small-Body Semantic Segmentation Based on Morphological Features with U-Net", 《ADVANCES IN THE ASTRONAUTICAL SCIENCES》, 31 December 2022 (2022-12-31), pages 603 - 622 *
符小睿: "基于 U-Net 的肝胆管及结石图像分割方法研究", 《中国优秀博硕士论文全文数据库(硕士)信息科技辑》, no. 6, 15 June 2021 (2021-06-15), pages 8 - 9 *

Also Published As

Publication number Publication date
CN117764995B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Du et al. Review on the applications of deep learning in the analysis of gastrointestinal endoscopy images
Torrents-Barrena et al. Segmentation and classification in MRI and US fetal imaging: recent trends and future prospects
CN110310281B (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
Li et al. Computer-based detection of bleeding and ulcer in wireless capsule endoscopy images by chromaticity moments
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN111899229A (zh) 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
CN114841320A (zh) 一种基于喉镜医学影像的器官自动分割方法
CN110767293B (zh) 一种脑部辅助诊断系统
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN110288698B (zh) 基于mri的半月板三维重建系统
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
CN113239755A (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
Ay et al. Automated classification of nasal polyps in endoscopy video-frames using handcrafted and CNN features
CN116206741A (zh) 一种消化科医疗信息处理系统及方法
Wang et al. Localizing and identifying intestinal metaplasia based on deep learning in oesophagoscope
Hao et al. Magnetic resonance image segmentation based on multi-scale convolutional neural network
CN113538344A (zh) 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质
CN117764995B (zh) 基于深度神经网络算法的胆胰成像系统及方法
Xu et al. MDFF-Net: A multi-dimensional feature fusion network for breast histopathology image classification
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
Jiang et al. A hybrid enhanced attention transformer network for medical ultrasound image segmentation
Leibetseder et al. Endometriosis detection and localization in laparoscopic gynecology
Li et al. Computer aided detection of bleeding in capsule endoscopy images
Bernal et al. Towards intelligent systems for colonoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant