CN117764994A - 基于人工智能的胆胰成像系统及方法 - Google Patents

基于人工智能的胆胰成像系统及方法 Download PDF

Info

Publication number
CN117764994A
CN117764994A CN202410196857.9A CN202410196857A CN117764994A CN 117764994 A CN117764994 A CN 117764994A CN 202410196857 A CN202410196857 A CN 202410196857A CN 117764994 A CN117764994 A CN 117764994A
Authority
CN
China
Prior art keywords
image
endoscopic
biliopancreatic
feature
biliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410196857.9A
Other languages
English (en)
Other versions
CN117764994B (zh
Inventor
黄希望
杨亮
陈东艳
顾威
吕霄
肖森
吴苏娇
姚莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shouding Shijie Technology Co ltd
Original Assignee
Zhejiang Shouding Shijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shouding Shijie Technology Co ltd filed Critical Zhejiang Shouding Shijie Technology Co ltd
Priority to CN202410196857.9A priority Critical patent/CN117764994B/zh
Priority claimed from CN202410196857.9A external-priority patent/CN117764994B/zh
Publication of CN117764994A publication Critical patent/CN117764994A/zh
Application granted granted Critical
Publication of CN117764994B publication Critical patent/CN117764994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

公开了一种基于人工智能的胆胰成像系统及方法。其首先获取由内窥镜采集的胆胰内窥图像,接着,提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像,然后,提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图,接着,对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图,最后,基于所述胆胰内窥语义分割图,确定结石尺寸。这样,可以通过对胆胰内窥图像的智能化语义分割确定结石尺寸。

Description

基于人工智能的胆胰成像系统及方法
技术领域
本申请涉及胆胰成像领域,且更为具体地,涉及一种基于人工智能的胆胰成像系统及方法。
背景技术
胆胰成像是一种利用内窥镜或其他影像设备对胆胰管进行观察和诊断的方法。胆胰成像可以帮助医生发现胆胰管的狭窄、结石、炎症、肿瘤等异常情况,从而制定合适的治疗方案。
然而,现有的胆胰成像存在一些问题,例如:图像质量不高,难以区分正常组织和病变组织;图像分析依赖于人工经验,容易出现主观误差等。
因此,期待一种基于人工智能的胆胰成像系统及方法。
发明内容
有鉴于此,本申请提出了一种基于人工智能的胆胰成像系统及方法,其可以利用传统的图像特征提取手段和基于深度学习的人工智能技术,对由内窥镜采集的胆胰内窥图像进行分析和处理,以挖掘所述胆胰内窥图像中的形态特征信息,并以此来实现对胆胰内窥图像的智能化语义分割。
根据本申请的一方面,提供了一种基于人工智能的胆胰成像系统,其包括:图像获取模块,用于获取由内窥镜采集的胆胰内窥图像;图像特征提取模块,用于提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像;图像形态语义特征提取模块,用于提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图;图像语义分割模块,用于对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图;以及尺寸分析模块,用于基于所述胆胰内窥语义分割图,确定结石尺寸。
在上述的基于人工智能的胆胰成像系统中,所述图像特征提取模块,包括:边缘信息特征提取单元,用于提取所述胆胰内窥图像的边缘信息特征;滤波处理后特征提取单元,用于提取所述胆胰内窥图像的多级滤波处理后的特征;局部灰度最大值特征提取单元,用于提取所述胆胰内窥图像的局部灰度最大值特征;以及特征融合单元,用于融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到所述多通道特征融合图像。
在上述的基于人工智能的胆胰成像系统中,所述边缘信息特征提取单元,包括:边缘图计算子单元,用于计算所述胆胰内窥图像的边缘图;以及边缘直方图计算子单元,用于计算所述边缘图的直方图作为所述边缘信息特征。
在上述的基于人工智能的胆胰成像系统中,所述滤波处理后特征提取单元,包括:多级滤波处理子单元,用于对所述胆胰内窥图像进行多级滤波处理以得到多个滤波后图像;以及滤波后直方图计算子单元,用于分别计算所述多个滤波后图像的直方图作为所述多级滤波处理后的特征。
在上述的基于人工智能的胆胰成像系统中,所述局部灰度最大值特征提取单元,包括:图像分块处理子单元,用于对所述胆胰内窥图像进行图像分块处理以得到胆胰内窥图像块的序列;以及灰度最大值计算子单元,用于分别计算所述胆胰内窥图像块的序列中的各个胆胰内窥图像块的灰度最大值以得到局部灰度最大值图像作为所述局部灰度最大值特征。
在上述的基于人工智能的胆胰成像系统中,所述图像形态语义特征提取模块,用于:将所述多通道特征融合图像基于卷积神经网络模型的形态特征提取器以得到所述胆胰内窥形态特征图。
在上述的基于人工智能的胆胰成像系统中,所述基于卷积神经网络模型的形态特征提取器包括输入层、卷积层、激活层、池化层和输出层。
在上述的基于人工智能的胆胰成像系统中,所述图像语义分割模块,包括:优化单元,用于对所述胆胰内窥形态特征图进行优化以得到优化胆胰内窥形态特征图;全局均值池化单元,用于对所述优化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到优化胆胰内窥形态特征矩阵;以及分类单元,用于将所述优化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到所述胆胰内窥语义分割图。
根据本申请的另一方面,提供了一种基于人工智能的胆胰成像方法,其包括:获取由内窥镜采集的胆胰内窥图像;提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像;提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图;对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图;以及基于所述胆胰内窥语义分割图,确定结石尺寸。
在上述的基于人工智能的胆胰成像方法中,提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像,包括:提取所述胆胰内窥图像的边缘信息特征;提取所述胆胰内窥图像的多级滤波处理后的特征;提取所述胆胰内窥图像的局部灰度最大值特征;以及融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到所述多通道特征融合图像。
在本申请中,其首先获取由内窥镜采集的胆胰内窥图像,接着,提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像,然后,提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图,接着,对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图,最后,基于所述胆胰内窥语义分割图,确定结石尺寸。这样,可以通过对胆胰内窥图像的智能化语义分割确定结石尺寸。
根据下面参考附图对本申请的详细说明,本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面,并且用于解释本申请的原理。
图1示出根据本申请的实施例的基于人工智能的胆胰成像系统的框图。
图2示出根据本申请的实施例的基于人工智能的胆胰成像方法的流程图。
图3示出根据本申请的实施例的基于人工智能的胆胰成像方法的架构示意图。
图4示出根据本申请的实施例的基于人工智能的胆胰成像系统的应用场景图。
图5A示出根据本申请的实施的基于人工智能的胆胰成像系统中胆胰内窥图像的示意图。
图5B示出根据本申请的实施的基于人工智能的胆胰成像系统的语义分割效果示意图之一。
图5C图示了本申请实施例的基于人工智能的胆胰成像系统的语义分割效果示意图之二。
图5D图示了本申请实施例的基于人工智能的胆胰成像系统的语义分割效果示意图之三。
图5E图示了本申请实施例的基于人工智能的胆胰成像系统的语义分割效果示意图之四。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本申请,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本申请同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本申请的主旨。
针对上述技术问题,本申请的技术构思为利用传统的图像特征提取手段和基于深度学习的人工智能技术,对由内窥镜采集的胆胰内窥图像进行分析和处理,以挖掘所述胆胰内窥图像中的形态特征信息,并以此来实现对胆胰内窥图像的智能化语义分割,从而确定结石尺寸。
基于此,图1示出根据本申请的实施例的基于人工智能的胆胰成像系统的框图示意图。如图1所示,根据本申请实施例的基于人工智能的胆胰成像系统100,包括:图像获取模块110,用于获取由内窥镜采集的胆胰内窥图像;图像特征提取模块120,用于提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像;图像形态语义特征提取模块130,用于提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图;图像语义分割模块140,用于对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图;以及,尺寸分析模块150,用于基于所述胆胰内窥语义分割图,确定结石尺寸。
应可以理解,图像获取模块110负责从内窥镜设备中接收图像数据,并将其传递给后续的处理模块。图像特征提取模块120通过分析图像的各种特征(如颜色、纹理、形状等),将这些特征提取出来,并将它们融合成一个多通道的特征图像。图像形态语义特征提取模块130分析图像的形态学特征(如边缘、轮廓、几何形状等),并提取出与胆胰内窥图像的形态相关的语义特征。图像语义分割模块140对形态特征图进行处理,调整图像的维度,并进行语义分割,将图像中的不同组织或结构进行区分和标记,生成语义分割图。尺寸分析模块150利用语义分割图,对胆胰内窥图像中的结石进行识别和分析,测量结石的尺寸,以提供相关的尺寸信息。这些模块的功能组合起来,通过对胆胰内窥图像进行特征提取、形态特征提取、语义分割和尺寸分析,实现了对结石尺寸的确定和分析。
具体地,在本申请的技术方案中,首先获取由内窥镜采集的胆胰内窥图像,例如,如图5A所示。其中,内窥镜是一种直径较小、柔软且可弯曲的设备,可以通过人体的自然腔道进入胆管和胰管进行内窥检查。相比其他成像技术,内窥镜提供了更高分辨率的图像,能够显示更细微的结构变化和病变。此外,内窥镜可以在不同角度和位置下获取图像,对于复杂的胆胰管道结构和病变的观察非常有帮助。
接着,计算所述胆胰内窥图像的边缘图,并计算所述边缘图的直方图作为边缘信息特征。应可以理解,在胆胰内窥图像中,结构边界往往是重要的特征。通过计算边缘图,可以强调图像中的结构边界,使其更加清晰和显著。边缘信息特征能够凸显胆胰管道的形态特征,有助于后续模型更好地分析和识别结石区域。
同时,对所述胆胰内窥图像进行多级滤波处理以得到多个滤波后图像,并分别计算所述多个滤波后图像的直方图作为多级滤波处理后的特征。这里,考虑到在所述胆胰内窥图像中可能存在具有不同空间尺度的结构和病变信息。通过应用多级滤波处理,可以全面地获取不同尺度上的特征信息,增强特征的多样性。再通过计算多个滤波后图像的直方图,可以捕捉到滤波器对图像的影响,提取出不同尺度和频率的特征信息。这样可以更好地描述图像的纹理、边缘和形态等特征,为后续的分析提供更丰富的信息。
随后,对所述胆胰内窥图像进行图像分块处理以得到胆胰内窥图像块的序列,并分别计算所述胆胰内窥图像块的序列中的各个胆胰内窥图像块的灰度最大值以得到局部灰度最大值图像作为局部灰度最大值特征。这里,通过将胆胰内窥图像划分为小块并计算每个块的灰度最大值,可以捕捉到图像的局部信息,使得所述胆胰内窥图像中的细节更加明显。
然后,融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到多通道特征融合图像。也就是,综合利用边缘信息特征、多级滤波处理后的特征和局部灰度最大值特征以将这些分别表达不同角度和层次的特征信息进行交融和互相补充,强化对胆胰内窥图像的刻画能力。
相应地,所述图像特征提取模块120,包括:边缘信息特征提取单元,用于提取所述胆胰内窥图像的边缘信息特征;滤波处理后特征提取单元,用于提取所述胆胰内窥图像的多级滤波处理后的特征;局部灰度最大值特征提取单元,用于提取所述胆胰内窥图像的局部灰度最大值特征;以及,特征融合单元,用于融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到所述多通道特征融合图像。
应可以理解,在所述边缘信息特征提取单元中,边缘信息反映了图像中物体的边界和轮廓信息,通过检测图像中的边缘,可以提取出边缘的位置、形状和强度等特征。在所述滤波处理后特征提取单元中,滤波处理可以通过应用不同的滤波器来增强或抑制图像中的某些频率成分,从而提取出图像中的纹理、细节或其他特定特征。在所述局部灰度最大值特征提取单元中,局部灰度最大值特征表示图像中每个像素点周围局部区域的最大灰度值,可以用于捕捉图像中的明亮区域或灰度变化的细节。在所述特征融合单元中,特征融合可以将不同的特征信息组合起来,提供更全面和丰富的特征表示,从而增强图像特征的表达能力。通过这些单元的组合,图像特征提取模块可以从胆胰内窥图像中提取出边缘信息、滤波处理后的特征和局部灰度最大值特征,并将它们融合成一个多通道的特征融合图像,为后续的形态特征提取和语义分割提供更具信息量的输入。
其中,在一个示例中,所述边缘信息特征提取单元,包括:边缘图计算子单元,用于计算所述胆胰内窥图像的边缘图;以及,边缘直方图计算子单元,用于计算所述边缘图的直方图作为所述边缘信息特征。
值得一提的是,直方图是一种统计图表,用于表示数据的分布情况。它将数据的取值范围划分为若干个区间,并统计落入每个区间的数据数量或频率。直方图的横轴表示数据的取值范围,纵轴表示数据在每个区间中的数量或频率。直方图可以帮助理解数据的分布特征和统计规律。通过观察直方图的形状、峰值、集中度等特征,可以得到以下信息:1.数据的分布形态:直方图的形状可以示意数据是呈对称分布、偏态分布还是多峰分布等。例如,正态分布的直方图呈钟形曲线,而偏态分布的直方图则在某一侧比另一侧更长或更陡峭。2.数据的集中度:直方图的峰值表示数据的集中程度。峰值较高且集中的直方图表示数据较为集中,而峰值较低或扁平的直方图表示数据较为分散。3.数据的范围和分布密度:直方图的横轴范围和纵轴的刻度可以示意数据的取值范围和在每个区间的分布密度。通过观察直方图,可以了解数据的最大值、最小值、分布的稀疏程度等。直方图在数据分析、图像处理、图像特征提取等领域都有广泛的应用。在边缘信息特征提取中,边缘直方图计算子单元可以计算边缘图的直方图,从而提取出边缘信息特征。通过分析边缘直方图的形态和分布,可以揭示图像中边缘的强度、密度和分布情况,为后续的特征分析和图像处理提供基础。
其中,在一个示例中,所述滤波处理后特征提取单元,包括:多级滤波处理子单元,用于对所述胆胰内窥图像进行多级滤波处理以得到多个滤波后图像;以及,滤波后直方图计算子单元,用于分别计算所述多个滤波后图像的直方图作为所述多级滤波处理后的特征。
值得一提的是,多级滤波处理是一种在图像处理中常用的技术,它通过应用多个滤波器对图像进行连续的滤波处理,从而得到多个滤波后的图像,每个滤波器都可以捕捉图像中不同尺度或频率的特征。多级滤波处理的主要用途包括以下几个方面:1.特征增强:不同滤波器对图像进行滤波处理时,可以突出或增强不同尺度或频率的特征。例如,高斯滤波器可以平滑图像并降低噪声,而拉普拉斯滤波器可以增强图像的边缘和细节。2.尺度空间分析:多级滤波处理可以在不同尺度上分析图像的特征。通过应用不同尺度的滤波器,可以检测和提取图像中不同尺度的结构和纹理信息。这对于处理具有多个尺度特征的图像非常有用,例如在胆胰内窥图像中可能存在不同大小的结石。3.特征提取:多级滤波处理可以提取图像中的多个特征表示。每个滤波器的输出可以看作是图像在不同特征空间中的表示,例如边缘、纹理、角点等。通过使用多个滤波器并分析它们的输出,可以获得更丰富和多样化的特征表示。在滤波处理后特征提取单元中,多级滤波处理子单元对胆胰内窥图像应用多个滤波器,得到多个滤波后的图像。然后,滤波后直方图计算子单元计算每个滤波后图像的直方图,作为多级滤波处理后的特征。这样做的目的是通过多级滤波处理和直方图统计,提取出图像在不同尺度和频率上的特征信息,为后续的特征分析和图像处理提供更全面和多样化的特征表示。
其中,在一个示例中,所述局部灰度最大值特征提取单元,包括:图像分块处理子单元,用于对所述胆胰内窥图像进行图像分块处理以得到胆胰内窥图像块的序列;以及,灰度最大值计算子单元,用于分别计算所述胆胰内窥图像块的序列中的各个胆胰内窥图像块的灰度最大值以得到局部灰度最大值图像作为所述局部灰度最大值特征。
值得一提的是,灰度最大值是指图像中某个区域或像素点的灰度级别中的最大值。在数字图像中,每个像素的灰度级别表示了该像素的亮度或灰度强度,通常以0到255之间的整数表示,其中0表示黑色,255表示白色。局部灰度最大值特征提取单元中的灰度最大值计算子单元用于计算胆胰内窥图像块序列中各个图像块的灰度最大值。具体而言,它对每个图像块进行扫描,找到该图像块中像素的最大灰度值。这些最大灰度值被用来构建局部灰度最大值图像,该图像显示了图像中各个区域的最亮部分。局部灰度最大值特征提取有助于突出图像中的亮度变化和重要特征。通过计算图像块的灰度最大值,可以捕捉到图像中的局部亮度峰值,这些峰值通常对应于图像中的重要结构、边缘或特定区域。这些局部灰度最大值特征可以用于图像分割、目标检测、边缘提取等图像处理任务中,以提供更具信息量和区分度的特征表示。
接下来,将所述多通道特征融合图像基于卷积神经网络模型的形态特征提取器以得到胆胰内窥形态特征图。本领域的普通技术人员应当了解,卷积神经网络可以自动学习和提取图像中的高级特征。在本申请的技术方案中,通过将多通道特征融合图像输入到由卷积神经网络模型构建而成的所述形态特征提取器,可以从所述多通道特征融合图像中提取更具代表性和区分度的形态特征,例如轮廓、纹理等。
相应地,所述图像形态语义特征提取模块130,用于:将所述多通道特征融合图像基于卷积神经网络模型的形态特征提取器以得到所述胆胰内窥形态特征图。其中,所述基于卷积神经网络模型的形态特征提取器包括输入层、卷积层、激活层、池化层和输出层。
值得一提的是,卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,专门用于处理具有网格结构数据的任务。卷积神经网络模型的主要特点是它能够自动学习图像中的特征表示。它通过多层的卷积层、激活层和池化层组成,最后连接全连接层或输出层。卷积层使用卷积操作对输入图像进行特征提取,激活层引入非线性变换以增加模型的表达能力,池化层用于降低特征图的维度,减少计算量并提取主要特征。卷积神经网络模型的优势在于它能够自动学习图像的局部和全局特征,并具有平移不变性和部分平移不变性。通过卷积操作,神经网络可以捕捉到图像中的边缘、纹理、形状等局部特征,并通过层层堆叠的结构提取更高级别的语义特征。这使得卷积神经网络在处理图像数据时具有很强的表达能力和泛化能力。在胆胰内窥图像处理中,基于卷积神经网络模型的形态特征提取器用于提取图像的形态特征。通过输入层将多通道特征融合图像传入网络,经过卷积、激活、池化等层的处理,最终得到胆胰内窥形态特征图。这些形态特征图可以包含有关图像中不同结构、形状和纹理的信息,有助于对胆胰内窥图像进行分析、识别和分类。卷积神经网络模型的形态特征提取能力可以捕捉到图像中的局部和全局特征,提供更丰富和具有判别性的特征表示,从而提高胆胰内窥图像处理的准确性和效果。
进一步地,对所述胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到胆胰内窥形态特征矩阵;并将所述胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到胆胰内窥语义分割图,例如,如图5B所示。这里,通过对所述胆胰内窥形态特征图进行沿通道维度的全局均值池化可以减少特征的维度,并进行维度对齐与统一。其中,对所述胆胰内窥形态特征矩阵进行图像语义分割,旨在将各个位置的特征值对应分配到不同的语义类别之中,以实现对不同结构和组织的分割和定位,从而得到胆胰内窥语义分割图,为胆胰疾病的分析提供更准确和更全面的图像分割结果。继而,基于所述胆胰内窥语义分割图,确定结石尺寸。
如图5B所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示结石。在5C所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示胆管新生中肿物。在5D所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示结石。在5E所示意的胆胰内窥语义分割图中,语义分割圈出的部分表示胆总管下端下载部分异常增厚。
相应地,所述图像语义分割模块140,包括:优化单元,用于对所述胆胰内窥形态特征图进行优化以得到优化胆胰内窥形态特征图;全局均值池化单元,用于对所述优化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到优化胆胰内窥形态特征矩阵;以及,分类单元,用于将所述优化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到所述胆胰内窥语义分割图。
应可以理解,全局均值池化单元用于对优化的胆胰内窥形态特征图进行沿通道维度的全局均值池化操作,全局均值池化将特征图中每个通道的特征值取平均,从而得到一个特征矩阵,其中每个元素表示对应通道的平均特征值,这有助于减少特征图的维度,提取整体特征,并保留重要的语义信息。分类单元通过学习分类函数,将每个像素点或图像区域分配到不同的语义类别中,从而生成胆胰内窥语义分割图,这个单元用于将形态特征转化为具有语义信息的分割结果,实现对胆胰内窥图像的语义理解和分割。
在本申请的技术方案中,所述胆胰内窥形态特征图的各个特征矩阵用于表达所述多通道特征融合图像的图像语义特征,而各个特征矩阵之间遵循所述卷积神经网络模型的通道分布,但是,考虑到所述多通道特征融合图像融合了所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征,这些特征在图像语义空间分布上的差异会引起所述胆胰内窥形态特征图的用于表达相应图像语义的特征矩阵的分布差异,从而引起所述胆胰内窥形态特征图的通道间关联下降,影响所述胆胰内窥形态特征矩阵的表达效果,从而影响所述胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络的语义分割准确性。
因此,需要提升所述胆胰内窥形态特征图的通道维度特征分布整体性,具体地,首先将所述胆胰内窥形态特征图进行线性变换以使得特征矩阵的宽度和高度相等,然后对转换后的胆胰内窥形态特征图以特征矩阵为单位,基于相邻特征矩阵的优化来校正转换后的胆胰内窥形态特征图。
相应地,在一个示例中,所述优化单元,包括:线性变化子单元,用于将所述胆胰内窥形态特征图进行线性变换以使得所述胆胰内窥形态特征图沿通道维度的每个特征矩阵的宽度和高度相等以得到转换后的胆胰内窥形态特征图;以及,优化子单元,用于对转换后的胆胰内窥形态特征图以特征矩阵为单位,基于相邻特征矩阵的优化来校正转换后的胆胰内窥形态特征图以得到所述优化胆胰内窥形态特征图。
其中,所述优化子单元,进一步用于:以如下优化公式来校正转换后的胆胰内窥形态特征图以得到所述优化胆胰内窥形态特征图;其中,所述优化公式为:;其中,/>和/>分别是所述转换后的胆胰内窥形态特征图中的第/>和第/>位置的特征矩阵,且/>和/>分别是特征矩阵/>和/>的全局均值,/>表示矩阵乘法,/>表示按位置点乘,/>表示转置操作,/>是所述优化胆胰内窥形态特征图中的第/>位置的特征矩阵。
这里,通过以所述胆胰内窥形态特征图的特征矩阵沿通道分布的中心作为通道维度下的场景传递的种子点,来将所述胆胰内窥形态特征图的特征矩阵的每个特征值通过矩阵相乘而进行稳健化的聚合和子采样提议,从而在所述胆胰内窥形态特征图的特征矩阵的每个特征值的参与基础上进行相邻特征矩阵的分布边界框传递定向约束,以在所述胆胰内窥形态特征图的整体沿通道维度由下而上的上下文关联的基础上提升所述胆胰内窥形态特征图的特征表示的整体性,以改善所述胆胰内窥形态特征图的表达效果,从而提升所述胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络的语义分割准确性。
综上,基于本申请实施例的基于人工智能的胆胰成像系统100被阐明,其可以通过对胆胰内窥图像的智能化语义分割确定结石尺寸。
如上所述,根据本申请实施例的所述基于人工智能的胆胰成像系统100可以实现在各种终端设备中,例如具有基于人工智能的胆胰成像算法的服务器等。在一个示例中,基于人工智能的胆胰成像系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于人工智能的胆胰成像系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于人工智能的胆胰成像系统100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于人工智能的胆胰成像系统100与该终端设备也可以是分立的设备,并且该基于人工智能的胆胰成像系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图2示出根据本申请的实施例的基于人工智能的胆胰成像方法的流程图。图3示出根据本申请的实施例的基于人工智能的胆胰成像方法的系统架构的示意图。如图2和图3所示,根据本申请实施例的基于人工智能的胆胰成像方法,其包括:S110,获取由内窥镜采集的胆胰内窥图像;S120,提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像;S130,提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图;S140,对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图;以及,S150,基于所述胆胰内窥语义分割图,确定结石尺寸。
在一种可能的实现方式中,提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像,包括:提取所述胆胰内窥图像的边缘信息特征;提取所述胆胰内窥图像的多级滤波处理后的特征;提取所述胆胰内窥图像的局部灰度最大值特征;以及,融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到所述多通道特征融合图像。
这里,本领域技术人员可以理解,上述基于人工智能的胆胰成像方法中的各个步骤的具体操作已经在上面参考图1的基于人工智能的胆胰成像系统的描述中得到了详细介绍,并因此,将省略其重复描述。
图4示出根据本申请的实施例的基于人工智能的胆胰成像系统的应用场景图。如图4所示,在该应用场景中,首先,获取由内窥镜采集的胆胰内窥图像(例如,图4中所示意的D),然后,将所述胆胰内窥图像输入至部署有基于人工智能的胆胰成像算法的服务器(例如,图4中所示意的S)中,其中,所述服务器能够使用所述基于人工智能的胆胰成像算法对所述胆胰内窥图像进行处理以得到胆胰内窥语义分割图,然后,基于所述胆胰内窥语义分割图,确定结石尺寸。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器,上述计算机程序指令可由装置的处理组件执行以完成上述方法。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于人工智能的胆胰成像系统,其特征在于,包括:图像获取模块,用于获取由内窥镜采集的胆胰内窥图像;图像特征提取模块,用于提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像;图像形态语义特征提取模块,用于提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图;图像语义分割模块,用于对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图;以及尺寸分析模块,用于基于所述胆胰内窥语义分割图,确定结石尺寸。
2.根据权利要求1所述的基于人工智能的胆胰成像系统,其特征在于,所述图像特征提取模块,包括:边缘信息特征提取单元,用于提取所述胆胰内窥图像的边缘信息特征;滤波处理后特征提取单元,用于提取所述胆胰内窥图像的多级滤波处理后的特征;局部灰度最大值特征提取单元,用于提取所述胆胰内窥图像的局部灰度最大值特征;以及特征融合单元,用于融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到所述多通道特征融合图像。
3.根据权利要求2所述的基于人工智能的胆胰成像系统,其特征在于,所述边缘信息特征提取单元,包括:边缘图计算子单元,用于计算所述胆胰内窥图像的边缘图;以及边缘直方图计算子单元,用于计算所述边缘图的直方图作为所述边缘信息特征。
4.根据权利要求3所述的基于人工智能的胆胰成像系统,其特征在于,所述滤波处理后特征提取单元,包括:多级滤波处理子单元,用于对所述胆胰内窥图像进行多级滤波处理以得到多个滤波后图像;以及滤波后直方图计算子单元,用于分别计算所述多个滤波后图像的直方图作为所述多级滤波处理后的特征。
5.根据权利要求4所述的基于人工智能的胆胰成像系统,其特征在于,所述局部灰度最大值特征提取单元,包括:图像分块处理子单元,用于对所述胆胰内窥图像进行图像分块处理以得到胆胰内窥图像块的序列;以及灰度最大值计算子单元,用于分别计算所述胆胰内窥图像块的序列中的各个胆胰内窥图像块的灰度最大值以得到局部灰度最大值图像作为所述局部灰度最大值特征。
6.根据权利要求5所述的基于人工智能的胆胰成像系统,其特征在于,所述图像形态语义特征提取模块,用于:将所述多通道特征融合图像基于卷积神经网络模型的形态特征提取器以得到所述胆胰内窥形态特征图。
7.根据权利要求6所述的基于人工智能的胆胰成像系统,其特征在于,所述基于卷积神经网络模型的形态特征提取器包括输入层、卷积层、激活层、池化层和输出层。
8.根据权利要求7所述的基于人工智能的胆胰成像系统,其特征在于,所述图像语义分割模块,包括:优化单元,用于对所述胆胰内窥形态特征图进行优化以得到优化胆胰内窥形态特征图;全局均值池化单元,用于对所述优化胆胰内窥形态特征图进行沿通道维度的全局均值池化以得到优化胆胰内窥形态特征矩阵;以及分类单元,用于将所述优化胆胰内窥形态特征矩阵通过基于分类函数的图像语义分割网络以得到所述胆胰内窥语义分割图。
9.一种基于人工智能的胆胰成像方法,其特征在于,包括:获取由内窥镜采集的胆胰内窥图像;提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像;提取所述多通道特征融合图像的图像形态语义特征以得到胆胰内窥形态特征图;对所述胆胰内窥形态特征图进行维度调整和图像语义分割以得到胆胰内窥语义分割图;以及基于所述胆胰内窥语义分割图,确定结石尺寸。
10.根据权利要求9所述的基于人工智能的胆胰成像方法,其特征在于,提取所述胆胰内窥图像的多维度传统图像特征以得到多通道特征融合图像,包括:提取所述胆胰内窥图像的边缘信息特征;提取所述胆胰内窥图像的多级滤波处理后的特征;提取所述胆胰内窥图像的局部灰度最大值特征;以及融合所述边缘信息特征、所述多级滤波处理后的特征和所述局部灰度最大值特征以得到所述多通道特征融合图像。
CN202410196857.9A 2024-02-22 基于人工智能的胆胰成像系统及方法 Active CN117764994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410196857.9A CN117764994B (zh) 2024-02-22 基于人工智能的胆胰成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410196857.9A CN117764994B (zh) 2024-02-22 基于人工智能的胆胰成像系统及方法

Publications (2)

Publication Number Publication Date
CN117764994A true CN117764994A (zh) 2024-03-26
CN117764994B CN117764994B (zh) 2024-05-10

Family

ID=

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140303491A1 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN110310280A (zh) * 2019-07-10 2019-10-08 广东工业大学 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN111325709A (zh) * 2019-12-26 2020-06-23 联博智能科技有限公司 无线胶囊内窥镜图像检测系统及检测方法
CN112233777A (zh) * 2020-11-19 2021-01-15 中国石油大学(华东) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
CN112734748A (zh) * 2021-01-21 2021-04-30 广东工业大学 一种肝胆管及胆道结石的图像分割系统
WO2021196632A1 (zh) * 2020-03-30 2021-10-07 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法
US20210365741A1 (en) * 2019-05-08 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image classification method, computer-readable storage medium, and computer device
CN113743417A (zh) * 2021-09-03 2021-12-03 北京航空航天大学 语义分割方法和语义分割装置
CN114119547A (zh) * 2021-11-19 2022-03-01 广东工业大学 一种三维肝胆管图像分割算法及系统
US20230068238A1 (en) * 2021-10-29 2023-03-02 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for processing image, electronic device and storage medium
CN115843373A (zh) * 2020-04-23 2023-03-24 北京乐普智影科技股份有限公司 一种融合Gabor小波的多尺度局部水平集超声图像分割方法
CN116189179A (zh) * 2023-04-28 2023-05-30 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备
US20230282010A1 (en) * 2022-03-04 2023-09-07 National Chung Cheng University Method for detecting image by semantic segmentation
WO2024000161A1 (zh) * 2022-06-28 2024-01-04 中国科学院深圳先进技术研究院 Ct胰腺肿瘤自动分割方法、系统、终端以及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140303491A1 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US20210365741A1 (en) * 2019-05-08 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image classification method, computer-readable storage medium, and computer device
CN110310280A (zh) * 2019-07-10 2019-10-08 广东工业大学 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN111325709A (zh) * 2019-12-26 2020-06-23 联博智能科技有限公司 无线胶囊内窥镜图像检测系统及检测方法
WO2021196632A1 (zh) * 2020-03-30 2021-10-07 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法
CN115843373A (zh) * 2020-04-23 2023-03-24 北京乐普智影科技股份有限公司 一种融合Gabor小波的多尺度局部水平集超声图像分割方法
CN112233777A (zh) * 2020-11-19 2021-01-15 中国石油大学(华东) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
CN112734748A (zh) * 2021-01-21 2021-04-30 广东工业大学 一种肝胆管及胆道结石的图像分割系统
CN113743417A (zh) * 2021-09-03 2021-12-03 北京航空航天大学 语义分割方法和语义分割装置
US20230068238A1 (en) * 2021-10-29 2023-03-02 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for processing image, electronic device and storage medium
CN114119547A (zh) * 2021-11-19 2022-03-01 广东工业大学 一种三维肝胆管图像分割算法及系统
US20230282010A1 (en) * 2022-03-04 2023-09-07 National Chung Cheng University Method for detecting image by semantic segmentation
WO2024000161A1 (zh) * 2022-06-28 2024-01-04 中国科学院深圳先进技术研究院 Ct胰腺肿瘤自动分割方法、系统、终端以及存储介质
CN116189179A (zh) * 2023-04-28 2023-05-30 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张仲瑜等: "多特征融合的红外舰船目标检测方法", 红外与激光工程, 25 December 2015 (2015-12-25), pages 29 - 34 *
高丹;陈建英;谢盈;: "A-PSPNet:一种融合注意力机制的PSPNet图像语义分割模型", 中国电子科学研究院学报, no. 06, 20 June 2020 (2020-06-20) *

Similar Documents

Publication Publication Date Title
US10168526B2 (en) Cell contour formation apparatus and method of the same, and non-transitory computer readable storage medium storing a cell contour formation program
Miri et al. Retinal image analysis using curvelet transform and multistructure elements morphology by reconstruction
Malik et al. Consideration of illumination effects and optimization of window size for accurate calculation of depth map for 3D shape recovery
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Aslantas et al. A pixel based multi-focus image fusion method
CN114820494B (zh) 用于可视化流动的使用机器学习的散斑对比度分析
US8913848B2 (en) Microscopic image fusion method based on region growing
WO2014027522A1 (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
CN104075965B (zh) 一种基于分水岭分割的显微图像颗粒粒度测量方法
CN110691226B (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN111932532A (zh) 胶囊内窥镜无参考图像评价方法、电子设备及介质
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
KR20160140453A (ko) 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법
CN110738655A (zh) 影像报告生成方法、装置、终端及存储介质
Anand et al. Directionlet transform based sharpening and enhancement of mammographic X-ray images
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
CN114008613A (zh) 用于增强相位分布的图像处理装置和方法
CN110880177A (zh) 一种图像识别方法及装置
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
Kwok et al. Design of unsharp masking filter kernel and gain using particle swarm optimization
KR100858681B1 (ko) 지문 영상 생성을 위한 영상 필터 조합 생성 방법
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
CN113237881B (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN117764994B (zh) 基于人工智能的胆胰成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant