CN114862879B - 包含生理管状结构的图像的处理方法、处理系统和介质 - Google Patents

包含生理管状结构的图像的处理方法、处理系统和介质 Download PDF

Info

Publication number
CN114862879B
CN114862879B CN202210780799.5A CN202210780799A CN114862879B CN 114862879 B CN114862879 B CN 114862879B CN 202210780799 A CN202210780799 A CN 202210780799A CN 114862879 B CN114862879 B CN 114862879B
Authority
CN
China
Prior art keywords
image
segmentation
physiological
tubular structure
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210780799.5A
Other languages
English (en)
Other versions
CN114862879A (zh
Inventor
李俊环
李育威
曹坤琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Priority to CN202210780799.5A priority Critical patent/CN114862879B/zh
Publication of CN114862879A publication Critical patent/CN114862879A/zh
Application granted granted Critical
Publication of CN114862879B publication Critical patent/CN114862879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了包含生理管状结构的图像的处理方法、处理系统和介质,其中,所述图像的处理方法包括获取包含生理管状结构的图像,获取所述图像中所述生理管状结构的第一分割结果和中心线,基于所述第一分割结果识别分割缺陷部,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线,基于所述至少对应于所述分割缺陷部的中心线,对所述图像进行局部分割以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果,以及将所述第二分割结果与所述第一分割结果融合,以得到所述生理管状结构的分割图像。如此,能够提高补全及修复血管的精度,提高医生的诊断效率。

Description

包含生理管状结构的图像的处理方法、处理系统和介质
技术领域
本申请涉及图像处理技术领域,具体涉及包含生理管状结构的图像的处理方法、处理系统和介质。
背景技术
在基于CTA图像对血管进行分割时,在病变严重的位置或血管分叉处进行血管分割时容易发生断裂。而且,对于一些细微的血管,在血管分割时容易丢失。图像质量差导致无法正常分割出伪影处的完整血管,例如经常出现的运动伪影或图像断层。此外,由于扫描的触发时间过早或过晚导致图像造影剂提亮不足,也会导致无法获得完整的局部血管。由于造成血管断裂和血管丢失的原因呈多样化,所以无法通过简单的算法或模型对断裂或丢失的血管进行全自动修复、补全。
发明内容
针对现有技术中存在的上述技术问题,提出了本申请。本申请旨在提供包含生理管状结构的图像的处理方法、处理系统和介质,其能够提高对分割出的具有缺陷的血管进行修复、补全的精度,以提升用户的诊断效率和诊断精度。
根据本申请的第一方案,提供包含生理管状结构的图像的处理方法,包括获取包含生理管状结构的图像,获取所述图像中所述生理管状结构的第一分割结果和中心线,基于所述第一分割结果识别分割缺陷部,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线,基于所述至少对应于所述分割缺陷部的中心线,对所述图像进行局部分割以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果,以及将所述第二分割结果与所述第一分割结果融合,以得到所述生理管状结构的分割图像。
根据本申请的第二方案,提供包含生理管状结构的图像的处理系统,所述处理系统包括处理器,所述处理器被配置为执行根据本申请各个实施例所述的包含生理管状结构的图像的处理方法。其中,所述图像的处理方法包括获取包含生理管状结构的图像,获取所述图像中所述生理管状结构的第一分割结果和中心线,基于所述第一分割结果识别分割缺陷部,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线,基于所述至少对应于所述分割缺陷部的中心线,对所述图像进行局部分割以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果,以及将所述第二分割结果与所述第一分割结果融合,以得到所述生理管状结构的分割图像。
根据本申请的第三方案,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行根据本申请各个实施例所述的包含生理管状结构的图像的处理方法。
与现有技术相比,本申请实施例的有益效果在于:
基于第一分割结果识别出分割缺陷部,再基于分割缺陷部获得至少对应于分割缺陷部的中心线,基于该分割缺陷部的中心线对图像进行局部分割获得至少对应于分割缺陷部的生理管状结构的第二分割结果,以此能够精准的将断裂部、丢失部或者由于运动伪影等其他原因导致的分割缺陷部对应的原始血管完整的分割出来。将精确提取的第二分割结果与粗提取的第一分割结果进行融合,能够提高对断裂部、丢失部等分割缺陷部进行修复、补全的精度,从而获得完整的生理管状结构的分割图像。基于本申请所述的图像的处理方法得到的生理管状结构的分割图像,提升了用户的诊断效率和诊断精度。
上述的一般描述和以下的详细描述只是示例性和说明性的,并不旨在限制要求保护的申请。
附图说明
在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的,而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
图1(a)示出根据本申请实施例所述的包含生理管状结构的图像的处理方法的流程图;
图1(b)示出根据本申请实施例识别出的分割缺陷部的示意图;
图1(c)示出根据本申请实施例基于分割缺陷部将中心线沿路径延伸的示意图;
图1(d)示出根据本申请实施例的图像的处理方法将分割缺陷部的血管修复、补全后的分割图像的示意图;
图2(a)示出根据本申请实施例的图像的处理方法对图像进行局部分割的流程图;
图2(b)示出根据本申请实施例的图像的处理方法对图像进行局部分割的示意图;
图3示出根据本申请实施例对中心线的延伸路径进行寻优,并基于缺陷部中心线对血管进行修复、补全的示意图;
图4示出根据本申请实施例对CTA图像进行归一化处理后得到的导航代价图;
图5示出根据本申请实施例对基于CTA图像分割出的血管进行修复、补全的处理的流程图;
图6示出根据本申请实施例对包含生理管状结构的图像进行处理的处理系统的框图。
具体实施方式
为使本领域技术人员更好的理解本申请的技术方案,下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述,但不作为对本申请的限定。
本申请中使用的 “包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。在本申请中,各个步骤在图中所示的箭头仅仅作为执行顺序的示例,而不是限制,本申请的技术方案并不限于实施例中描述的执行顺序,执行顺序中的各个步骤可以合并执行,可以分解执行,可以调换顺序,只要不影响执行内容的逻辑关系即可。
本申请使用的所有术语(包括技术术语或者科学术语)与本申请所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
图1(a)示出根据本申请实施例所述的包含生理管状结构的图像的处理方法的流程图。
在一些实施例中,所述包含生理管状结构的图像的处理方法始于步骤101,可以获取包含生理管状结构的图像。其中,所述图像可以是从图像数据库中取得的血管图像或者基于其他方式获取的图像,具体不做限定。对于图像的获取方式包括但不限于通过各种成像模态直接获取,例如但不限于通过CT、MR、心肌核素扫描、螺旋CT、正电子发射断层扫描、X射线成像、荧光成像及超声成像等医学造影成像技术,或基于由成像装置获取的原始图像后处理或者重建获得。其中,技术术语“获取”表示在有或没有附加降噪、裁剪、重建等图像处理的情况下直接或间接获得的任何方式。
进一步地,所述生理管状结构包括血管、消化道、乳腺管、呼吸道中的至少一种或其中的病变。所述病变包括但不限于血管中粥样硬化斑块、动脉瘤、支架等病变或异常。而对于血管病变包括但不限于钙化斑块、非钙化斑块、混合斑块、或动脉瘤等。
在步骤102中,可以获取所述图像中所述生理管状结构的第一分割结果和中心线。所述包含生理管状结构的图像可以为包含血管的CTA图像,在本实施例,以血管作为生理管状结构的示例进行说明。对CTA图像中的血管进行分割的具体方法不做限定,例如,通过血管分割模型对医学图像进行分割,得到CTA图像血管第一分割结果,其中血管分割模型为含血管标签的数据训练得到。具体地,血管分割模型可以采用3D U-Net网络结构或其他学习网络,比如Unet、V-Net、No-local U-Net、U-Net++等。其中,血管分割模型的训练方式可以包括基于经验丰富的影像科医生对训练样本影像中的血管进行标记,以此作为训练时的金标准。然后训练样本影像输入血管分割模型中,得到血管的第一分割结果,并计算血管的第一分割结果与金标准之间的损失。依据该损失调整血管分割模型的网络参数,当该损失小于等于预设阈值或者达到收敛时,表明血管分割模型训练收敛。可选地,计算损失时可以采用Dice损失函数,交叉熵损失函数或者其他类型的损失函数,在此不做具体限定。在调整网络参数时,可以采用随机梯度下降SGD优化器或者其他类型的优化器,在此不做具体限定。
其中,对于中心线获取的方式可以有多种,比如,采用最小路径方法、基于形变或几何模型的中心线提取方法以及直接中心线跟踪方法来提取中心线。具体地,以提取血管中心线为示例进行简单示例性说明。最小路径方法通常在图像中的起始点和终点之间寻找一条通过血管内部的最短路径来实现对血管中心线的提取。基于形变或几何模型的中心线提取方法通常需要先分割出血管目标,然后利用几何重心模型来计算中轴线。直接中心线跟踪方法通过判断血管的局部方向来获得当前位置处的血管方向,然后结合图像中血管的局部空间信息和曲率变化,得到与当前位置处的血管方向正交的血管横切面及其中心点,然后根据该横切面的中心点来校正当前跟踪点和当前跟踪方向,重复上述的局部中心点计算过程,直至追踪到血管的末端。在该实施例中,对于中心线的提取可以基于第一分割结果来得到也可以独立于第一分割结果采用其他方法来得到,优选的,基于第一分割结果得到所述生理管状结构的中心线。以上仅为示例性说明,不构成对保护范围的具体限定。
在步骤103中,可以基于所述第一分割结果识别出分割缺陷部,其中,所述分割缺陷部包括但不限于断裂部、缺失部。以血管作为生理管状结构的示例进行说明,如图1(b)所示,A区域的两个箭头示意出血管的断裂,对于包含断裂的血管的部分邻近区域都可以理解为断裂部。图1(b)中的B区域示出血管的缺失部,其中,为了便于观察缺失部,分别从不同的角度呈现缺失部在血管中的位置。此外,当伪影超出阈值范围时,提取的血管的第一分割结果中也无法得到完整的血管,可能也会存在血管的断裂和缺失等。在该实施例中,血管病变严重、血管分叉、血管细小以及运动伪影、图像断层、图像造影剂提亮不足等都有可能导致获得的血管的第一分割结果中出现分割缺陷部,比如血管断裂部、血管缺失部等。
对于分割缺陷部的识别可以是人工识别或者自动识别。比如,用户可以通过比较第一分割结果和原始图像,基于先验知识,人工识别出第一分割结果中的分割缺陷部。用户可以根据原始图像和粗提取得到的血管的第一分割结果的差异,判断出实际的缺陷部,相比于自动识别分割缺陷部,人工识别提高了识别的准确度。此外,用户可以对分割缺陷部进行灵活地调整,进一步准确的识别出分割缺陷部,从而实现对分割缺陷部的精准修复、补全。以上仅为示例性说明,对于识别分割缺陷部的具体方法不做限定。
在步骤104中,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线。“基于”可以理解为至少包括,比如基于所述分割缺陷部可以理解为包括分割缺陷部以及分割缺陷部之外的邻近区域。具体地,如图1(c)所示,以血管中心线的延伸为示例进行说明。基于断裂部A和缺失部B,将中心线沿路径延伸,以形成至少对应于断裂部A的中心线1011,以及缺失部B的中心线1012。对于所述中心线的具体延伸方法将会在下文中详细说明。
在步骤105中,基于所述至少对应于所述分割缺陷部的中心线,对所述图像进行局部分割以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果。具体地,在对图像进行局部分割的过程中,基于分割缺陷部以及分割缺陷部的邻近部的中心线,实现对图像的局部分割,以进一步精确的将与分割缺陷部对应的生理管状结构提取出来。在步骤106中,将所述第二分割结果与所述第一分割结果融合,以得到所述生理管状结构的分割图像。可以采用常规的图像融合方法,对于融合的具体方法不做限定,比如将边缘、形状、轮廓、局部特征等信息进行综合处理进行特征融合。
通过传统的方法对生理管状结构进行提取得到第一分割结果,该第一分割结果可能无法获得完整的生理管状结构,这将增大医生基于第一分割结果进行诊断的效率,并降低诊断的准确度。基于所述第一分割结果,识别出分割缺陷部,并获得分割缺陷部的中心线,以所述分割缺陷部的中心线为基础对原始图像进行分割,将分割缺陷部对应的图像中的生理管状结构进一步精确的提取出来得到第二分割结果,再将局部分割的第二分割结果与粗提取的第一分割结果进行融合,经过融合之后,即可对第一分割结果中的断裂部、缺失部等分割缺陷部进行修复和补全。如图1(d)所示,将所述第二分割结果和所述第一分割结果进行融合,在断裂部A进行修复得到血管1013,在缺失部B进行补全得到血管1014,以此实现对断裂部A和缺失部B的精准修复和补全,进一步提高了用户利用血管分割图像进行诊断的诊断效率和准确度。其中,图1(d)分别从不同的角度呈现了对缺失部B的补全结果。
基于所述至少对应于所述分割缺陷部的中心线,对所述图像进行局部分割以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果的具体步骤如图2(a)所示。在步骤201中,在至少对应于所述分割缺陷部的中心线上,确定适用于局部分割的各个代表点,并基于所述各个代表点获取各个图像块。具体地,在分割缺陷部的中心线上确定各个代表点,利用深度学习分割方法,沿着分割缺陷部的中心线进行分割。对于代表点的确定方式可以是人工确定也可以是系统自动确定,对此不做限定。基于确定好的各个代表点获取各个图像块,比如,可以以各个代表点为中心进行扩展获得图像块,也可以采用其他可行的方式,对此不做限定。
其中,所述图像块的大小不低于第一阈值,以使得所述图像块包含至少对应于所述分割缺陷部的所述生理管状结构。所述第一阈值可以是用户人工设定的,也可以是系统配置的。比如,所述第一阈值范围可以为48×48×48 ~ 96×96×96,处于该范围下的图像块既能够包含分割缺陷部得生理管状结构,又可以降低运算负荷。
在步骤202中,对所述各个图像块进行分割,以获得所述各个图像块的各个分割结果。在步骤203中,将所述各个分割结果进行融合,以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果,从而完成局部分割。具体地,如图2(b),以在原始图像中提取断裂部对应的血管的第二分割结果为示例。在中心线上按照一定的间隔确定代表点,其中,可以选择代表点中的部分代表点用于扩展图像块,并对图像块的大小进行调整,从而获得包含血管的各个图像块,比如图像块M1、M2、M3、M4、M5,利用各个图像块对血管进行局部分割,获得各个图像块的各个分割结果,然后将各个分割结果进行拼接或融合即可提取出断裂部对应的血管的第二分割结果。利用分割模型对各个图像块进行血管分割,并将各个图像块对应的各个分割结果拼接或者融合,得到局部的血管的第二分割结果,能够针对特定的分割缺陷部对应的原始图像进行局部血管的精确分割,并将局部分割得到的第二分割结果与粗分割得到的第一分割结果融合,实现对第一分割结果中分割缺陷部的精准修复和补全。
在一些实施例中,在基于所述各个代表点获取各个图像块时,相邻两个代表点之间的间隔不超过第二阈值范围,以使得相邻两个图像块之间有部分重叠。所述第二阈值范围可以是用户人工设定的,也可以是系统配置的。比如,所述第二阈值范围可以是8-32,当相邻的两个代表点之间的间隔处于第二阈值范围内时,既可以保证相邻的两个图像块之间有重叠(如图2(b)中的204示出图像块M2和图像块M3之间的重叠区域),又能够避免两个图像块之间重叠过多导致运算负荷重。具体地,对于冠脉血管来说,当图像块的大小为64×64×64,相邻两个代表点之间的间隔为16,即该间隔为图像块边长的1/4,此时,可以保证每两个相邻的图像块之间有16个像素的重叠,通过对重叠区域重复预测,能够提高图像块边界处的血管召回率,从而提高局部分割血管的精准度。
在一些实施例中,所述包含生理管状结构的图像的处理方法还包括向用户呈现所述图像连同第一分割结果和中心线,接收用户用于设定起始部和终端部的第一操作。具体地,如图3所示的血管的分割为例。在识别出断裂部A和缺失部B之后,用户可以人工设定起始部和终端部。比如,用户设定断裂部A中心线的延伸起始部为S1,终端部为e1。对于起始部和终端部的设定位置不做具体限定,可以是用户基于经验进行设定并调整后确定的。系统接收用户的第一操作,程序认定用户设置的第一个点为起始部,最后一个点终端部。
此外,也可以是系统接收用于设定仅仅终端部的第二操作,响应于所述第二操作,自动设定默认的起始部。当用户仅仅指定终端部时,此时,终端部可以是顺着血流方向的血管远端的区域,比如图3所示的e2,在此情况下,程序自动默认起始部为当前血管所在冠脉树的入口点附近,如图3所示的S2。通过这种交互式的方式,一方面提高了对于图像的处理的灵活度,用户可以根据原始图像的实际情况对起始部、终端部进行调整,以满足用户的需要并有利于提高对中心线延伸的准确度。另一方面,用户通过与原始图像进行比较确定出第一分割结果的分割缺陷部,并通过调整确定分割缺陷部中心线的延伸路径,能够极大的提高对分割缺陷部修复、补全的准确度。
在一些实施例中,所述的图像的处理方法还包括接收用户在所述起始部和终端部之间设定路径经由点的第三操作,以使得中心线遵循其路径延伸时经由至少部分所述经由点。如图3中的断裂部A,用户在起始部S1和终端部e1之间设定了路径经由点包括C1、C2……Cn,在中心线从起始部S1向终端部e1进行延伸的过程中,经由部分或全部经由点,从而进一步提高了中心线在分割缺陷部进行路径延伸的精准度,使得分割缺陷部的中心线的延伸路径与图像中血管的弯曲状态保持一致。
在一些实施例中,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线具体包括对所述图像进行归一化处理,并使得归一化后的图像中的所述生理管状结构位置处的代价值小于非生理管状结构位置处的代价值,从而得到导航代价图。具体地,以对CTA图像进行处理得到导航代价图为例。将CTA图像进行归一化处理,并设置归一化后的图像中的血管的代价值小于非血管的代价值,得到如图4所示的导航代价图。如图4所示,越是原始CTA图像中高亮的地方,比如造影剂充盈的血管、骨骼等,其代价值越接近0,意味着导航路径经过此类组织的代价越小。相反,原始CTA图像中低亮度的地方,例如空气、脂肪等,代价值越接近于1,意味着导航经过此类组织的代价越大。如此设定,可以有效地引导中心线路径寻优算法优先的、精准的找出介于起始部、终端部之间代价较低的血管(高亮度)体素,同时避免此路径经过高代价的低亮度体素。
进一步,基于所述导航代价图,利用导航算法来确定所述中心线延伸的路径,使得所述路径的累加代价小于第三阈值或最小化。所述导航算法可以是Dijkstra算法、A*算法或fast marching算法等路径导航算法中的一种。回到图3,使用fast marching算法通过解Eikonal程函方程获得由起始部S1到终端部e1、由起始部S2到终端部e2的最短时间。此时,可以分别获得从起始部S1经由路径经由点(C1、C2……Cn)到达终端部e1、从起始部S2到达终端部e2的时间最短、损失最小的路径,该路径即为连接断裂部A和缺失部B的血管的最优化血管路径。
进一步地,所述中心线从起始部开始遵循所述路径延伸到终端部,以形成至少对应于所述分割缺陷部的中心线。具体地,如图3所示,中心线从起始部S1开始遵循最优化血管路径延伸到终端部e1,得到断裂部A的中心线1011。同理,中心线从起始部S2开始遵循最优化血管路径延伸到终端部e2,得到缺失部B的中心线1012。基于所述中心线1011和中心线1012,对CTA图像进行局部分割获得包含血管的第二分割结果。将第一分割结果和第二分割结果融合,实现对断裂部A和缺失部B的修复、补全,从而得到断裂部A修复后的血管1013和缺失部B补全后的血管1014。如此,极大的提高了对于分割缺陷部的修复、补全的准确度。
在一些实施例中,所述归一化处理的具体方法包括为所述图像设置观察所述生理管状结构的HU值的适用窗宽窗位,将HU值小于所述适用窗宽窗位的下限的体素的HU调整为所述下限,将HU值大于所述适用窗宽窗位的上限的体素的HU调整为所述上限,将调整后的HU值针对所述适用窗宽窗位的范围进行归一化。其中,窗宽窗位可以如下进行设置。可以获取已知图像的灰度值,可以获取所述图像的灰度值的直方图,再获取所述直方图中纵轴的总累计值。其中所述直方图的横轴为灰度值,纵轴为该灰度累计值。可以设置阈值,如0.05×总累计值,从所述直方图的左侧、右侧分别累加直方图纵轴,若累加值超过预设阈值,则分别取对应的左、右侧横轴坐标分别为统计的最小、最大灰度值min_v,max_v。可以通过最小、最大灰度值min_v,max_v计算窗宽窗位。通过最小、最大灰度值min_v,max_v计算窗宽窗位的公式如下:
窗宽ww (window width) = max_v-min_v,
窗位wl (window level) = (max_v﹢min_v)/2。
比如,设定min_v=-200,max_v=800,则对应的窗位为300,窗宽为1000。或者,对于钙化病变较多的血管,设定min_v=-450,max_v=1050,则对应的窗位为300,窗宽为1500。其中,所述适用窗宽窗位的范围可以是人工设定或者系统配置而成,对此不做具体限定。通过将调整后的HU值针对所述适用窗宽窗位的范围进行归一化处理,使得图像变为更标准且更规范的待处理图像,有利于后续步骤得到处理,比如基于归一化后的图像得到导航代价图(如图4)。
图5示出根据本申请实施例对基于CTA图像分割出的血管进行修复、补全的处理的流程图,对血管的图像的处理方法进行示例性说明。在步骤501中,获取包含血管的CTA图像,对CTA图像进行处理,获取包含血管的第一分割结果(如步骤502)和中心线(如步骤503)。用户通过将包含血管的第一分割结果与血管的CTA图像进行比较,基于第一分割结果识别出断裂部和缺失部(如步骤504)。然后,用户在断裂部和缺失部的中心线上设定终端部(如步骤505),系统判断用户是否设定起始部(如步骤506)。如果用户没有设定起始部,则按照系统自动设定默认的起始部(如步骤507)。在步骤508中,将CTA图像转换为导航代价图,基于导航代价图,对起始部和终端部之间的路径进行寻优(如步骤509),以获得中心线在断裂部和缺失部延伸的最优路径。接着,在步骤510中,沿最优路径对CTA图像进行局部分割,获取包含断裂部和缺失部的血管的第二分割结果(如步骤511)。最后,在步骤512中,将第二分割结果和第一分割结果融合得到血管的分割图像,从而提高了对断裂部和缺失部血管进行修复和补全的准确度。
图6示出根据本申请实施例对包含生理管状结构的图像进行处理的处理系统的结构示意图。如图6所示,图像的处理系统600,可以包括接口607和处理器601。接口607可以配置为接收包含生理管状结构的图像。处理器601可以配置为执行根据本申请各个实施例的包含生理管状结构的图像的处理方法。
通过该接口607,对医学图像进行分割以及中心线提取的装置可以连接到网络(未示出),例如但不限于医院中的局域网或因特网。但接口607实现的通信方式不限于网络,可以包括NFC、蓝牙、WIFI等;可以是有线连接,也可以是无线连接。以网络为例,接口607可以将对医学图像进行分割和中心线提取的装置与诸如图像采集装置(未示出)、医学图像数据库608和图像数据存储装置609的外部装置连接。图像采集装置可以是任何类型的成像模态,例如但不限于计算机断层摄影(CT)、数字减影血管造影(DSA)、磁共振成像(MRI)、功能性MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、单光子发射计算断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像。
在一些实施例中,图像的处理系统600可以是专用智能装置或通用智能装置。例如,图像的处理系统600可以是为对生理管状结构的第一分割结果进行修复和补全的处理任务定制的计算机,或者是放置在云中的服务器。例如,图像的处理系统600集成到图像采集装置中。
图像的处理系统600可以包括处理器601和存储器604,并且可以另外可以包括输入/输出602和图像显示器603中的至少一个。
处理器601可以是可以包括一个或多个通用处理装置的处理装置,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,处理器601可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。处理器601还可以是一个或多个专用处理装置,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP),片上系统(SoC)等。如本领域技术人员将理解的,在一些实施例中,处理器601可以是专用处理器,而不是通用处理器。处理器601可以包括一个或多个已知的处理装置,例如来自IntelTM制造的Pentium TM、Core TM、Xeon TM或Itanium系列的微处理器,由AMD TM制造的Turion TM、Athlon TM、Sempron TM、Opteron TM、FX TM、 Phenom TM系列,或由SunMicrosystems制造的各种处理器。处理器601还可以包括图形处理单元,诸如来自GeForce®的GPU,由Nvidia TM制造的Quadro®、Tesla®系列,由Intel TM制造的GMA,Iris TM系列,或由AMD TM制造的Radeon TM系列。处理器601还可以包括加速处理单元,例如由AMD TM制造的Desktop A-4(6,6)系列,由Intel TM制造的Xeon Phi TM系列。所公开的实施例不限于任何类型的处理器或处理器电路,其以其他方式被配置为执行根据本申请各个实施例的包含生理管状结构的图像的处理方法。该方法可以包括获取包含生理管状结构的图像,获取所述图像中所述生理管状结构的第一分割结果和中心线,基于所述第一分割结果识别出分割缺陷部,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线,基于所述至少对应于所述分割缺陷部的中心线,对所述图像进行局部分割以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果,以及将所述第二分割结果与所述第一分割结果融合,以得到所述生理管状结构的分割图像。另外,术语“处理器”或“图像处理器”可以包括一个以上的处理器,例如,多核设计或多个处理器,每个处理器具有多核设计。处理器601可以执行存储在存储器604中的计算机程序指令序列,以执行本文公开的各种操作、过程和方法。
处理器601可以通信地耦合到存储器604并且被配置为执行存储在其中的计算机可执行指令。存储器604可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如,闪存、静态随机存取存储器)等,计算机可执行指令以任何格式存储在其上。在一些实施例中,存储器604可以存储一个或多个图像处理程序605的计算机可执行指令。计算机程序指令可以由处理器601访问,从ROM或者任何其他合适的存储器位置读取,并且加载在RAM中以供处理器601执行。例如,存储器604可以存储一个或多个软件应用程序。存储在存储器604中的软件应用程序可以包括,例如,用于普通计算机系统的操作系统(未示出)以及用于软控制装置的操作系统。
此外,存储器604可以存储整个软件应用程序或仅存储可由处理器601执行的软件应用程序的一部分(例如,图像处理程序605)。此外,存储器604可以存储多个软件模块,用于实现与本申请一致的对生理管状结构进行图像处理的各个步骤或用于训练分割模型的过程。
此外,存储器604可以存储在执行计算机程序时生成/缓冲的数据,例如,医学图像数据606,可以包括从图像采集装置、医学图像数据库608、图像数据存储装置609等发送的医学图像。在一些实施例中,医学图像数据606可以包括要进行中心线提取的包含生理管状结构的图像,图像处理程序605将要对其实现分割、获取分割结果、提取中心线、进行局部分割以及将第一分割结果和第二分割结果融合得到生理管状结构的分割图像。
在一些实施例中,可以提供图像数据存储装置609以与医学图像数据库608交换图像数据,以及存储器604可以与医学图像数据库608通信以获得待处理的图像。例如,图像数据存储装置609可以驻留在其他医学图像采集装置(例如对该患者执行扫描的CT)中。患者的医学图像可以被传输并保存到医学图像数据库608,以及图像的处理系统600可以从医学图像数据库608取得特定患者的医学图像并为该特定患者的医学图像进行生理管状结构的分割并对分割结果进行修复和补全。此外,训练好的各个分割模型及其分割参数可以存储在医学图像数据库608上,以在需要时供其他图像处理装置访问、获取和利用。
在一些实施例中,分割模型(尤其学习网络)可以保存在存储器604中。可选地,学习网络可以存储在远程装置、分离的数据库(诸如医学图像数据库608)、分布式装置中,且可以被图像处理程序605使用。
除了显示医学图像之外,图像显示器603还可以显示其他信息,诸如,关注区域的分割结果、骨架和延伸路径。例如,该图像显示器603可以是LCD、CRT或LED显示器。
输入/输出602可以被配置为允许图像的处理系统600接收和/或发送数据。输入/输出602可以包括允许装置与用户或其他机器和装置通信的一个或多个数字和/或模拟通信装置。例如,输入/输出602可以包括允许用户提供输入的键盘和鼠标。
在一些实施例中,图像显示器603可以呈现用户界面,以便用户利用输入/输出602连同该用户界面,可以方便且直观地修正(诸如编辑、移动、修改等)所生成的解剖标签。
接口607可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 6.0、闪电、例如Wi-Fi适配器的无线网络适配器、电信(6G、4G / LTE等)适配器。装置可以通过接口607连接到网络。网络可以提供局域网(LAN)、无线网络、云计算环境(例如,作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(WAN)等。
本申请的实施例还提供一种计算机存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行根据本申请各个实施例所述的包含生理管状结构的图像的处理方法。存储介质可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如,闪存、静态随机存取存储器)等,其上可以以任何格式存储计算机可执行指令。
对本申请的方法、装置和系统可以进行各种变型和更改。鉴于所公开的系统和相关方法的描述和实践,可以由本领域的技术人员衍生出其他实施例。本申请的各个权利要求都可理解为独立实施例,并且它们之间的任意组合也用作本申请的实施例,并且这些实施例被视为都包括在本申请中。
示例仅视为示例性的,真实范围由所附权利要求书及其等效来表示。

Claims (10)

1.包含生理管状结构的图像的处理方法,其特征在于,包括:
获取包含生理管状结构的图像;
获取所述图像中所述生理管状结构的第一分割结果和中心线;
基于所述第一分割结果识别出分割缺陷部;
基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线;在至少对应于所述分割缺陷部的中心线上,确定适用于局部分割的各个代表点,并基于所述各个代表点获取各个图像块;所述图像块的大小不低于第一阈值,以使得所述图像块包含至少对应于所述分割缺陷部的所述生理管状结构;
对所述各个图像块进行分割,以获得所述各个图像块的各个分割结果;
将所述各个分割结果进行融合,以获得包含至少对应于所述分割缺陷部的所述生理管状结构的第二分割结果;以及
将所述第二分割结果与所述第一分割结果融合,以得到所述生理管状结构的分割图像。
2.根据权利要求1所述的图像的处理方法,其特征在于,在基于所述各个代表点获取各个图像块时,相邻两个代表点之间的间隔不超过第二阈值范围,以使得相邻两个图像块之间有部分重叠。
3.根据权利要求1所述的图像的处理方法,其特征在于,所述缺陷部包括但不限于断裂部、缺失部。
4.根据权利要求1所述的图像的处理方法,其特征在于,还包括:
向用户呈现所述图像连同第一分割结果和中心线;
接收用户用于设定起始部和终端部的第一操作,或者用于设定仅仅终端部的第二操作;
响应于所述第二操作,自动设定默认的起始部。
5.根据权利要求4所述的图像的处理方法,其特征在于,还包括:
接收用户在所述起始部和终端部之间设定路径经由点的第三操作,以使得中心线遵循其路径延伸时经由至少部分所述经由点。
6.根据权利要求1所述的图像的处理方法,其特征在于,基于所述分割缺陷部将所述中心线沿路径延伸,以形成至少对应于所述分割缺陷部的中心线具体包括:
对所述图像进行归一化处理,并使得归一化后的图像中的所述生理管状结构位置处的代价值小于非生理管状结构位置处的代价值,从而得到导航代价图;
基于所述导航代价图,利用导航算法来确定所述中心线延伸的路径,使得所述路径的累加代价小于第三阈值或最小化;
所述中心线从起始部开始遵循所述路径延伸到终端部,以形成至少对应于所述分割缺陷部的中心线。
7.根据权利要求6所述的图像的处理方法,其特征在于,所述归一化处理的具体方法包括:为所述图像设置观察所述生理管状结构的HU值的适用窗宽窗位;
将HU值小于所述适用窗宽窗位的下限的体素的HU调整为所述下限,将HU值大于所述适用窗宽窗位的上限的体素的HU调整为所述上限;
将调整后的HU值针对所述适用窗宽窗位的范围进行归一化。
8.根据权利要求1所述的图像的处理方法,其特征在于,所述生理管状结构包括血管、消化道、乳腺管、呼吸道中的至少一种或其中的病变。
9.包含生理管状结构的图像的处理系统,其特征在于,所述处理系统包括处理器,所述处理器被配置为执行根据权利要求1-8任一项所述的包含生理管状结构的图像的处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的包含生理管状结构的图像的处理方法。
CN202210780799.5A 2022-07-05 2022-07-05 包含生理管状结构的图像的处理方法、处理系统和介质 Active CN114862879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780799.5A CN114862879B (zh) 2022-07-05 2022-07-05 包含生理管状结构的图像的处理方法、处理系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780799.5A CN114862879B (zh) 2022-07-05 2022-07-05 包含生理管状结构的图像的处理方法、处理系统和介质

Publications (2)

Publication Number Publication Date
CN114862879A CN114862879A (zh) 2022-08-05
CN114862879B true CN114862879B (zh) 2022-09-27

Family

ID=82626389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780799.5A Active CN114862879B (zh) 2022-07-05 2022-07-05 包含生理管状结构的图像的处理方法、处理系统和介质

Country Status (1)

Country Link
CN (1) CN114862879B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166124A (zh) * 2018-11-20 2019-01-08 中南大学 一种基于连通区域的视网膜血管形态量化方法
CN109273074A (zh) * 2018-11-27 2019-01-25 数坤(北京)网络科技有限公司 一种用于医疗图像的网络模型调整方法及设备
CN109965865A (zh) * 2017-12-28 2019-07-05 徕卡仪器(新加坡)有限公司 使用荧光团测量血流方向的设备和方法
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN112818822A (zh) * 2021-01-28 2021-05-18 中国空气动力研究与发展中心超高速空气动力研究所 一种航空航天复合材料损伤区域自动识别方法
CN113902741A (zh) * 2021-12-08 2022-01-07 深圳科亚医疗科技有限公司 一种对医学图像进行血管分割的方法、装置及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050110791A1 (en) * 2003-11-26 2005-05-26 Prabhu Krishnamoorthy Systems and methods for segmenting and displaying tubular vessels in volumetric imaging data
US10430949B1 (en) * 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
CA3087811A1 (en) * 2019-07-23 2021-01-23 Ischemaview, Inc. Systems and methods for simulating braided stent deployments
CN112862759B (zh) * 2021-01-19 2023-06-23 杭州深睿博联科技有限公司 图像处理方法、装置、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965865A (zh) * 2017-12-28 2019-07-05 徕卡仪器(新加坡)有限公司 使用荧光团测量血流方向的设备和方法
CN109166124A (zh) * 2018-11-20 2019-01-08 中南大学 一种基于连通区域的视网膜血管形态量化方法
CN109273074A (zh) * 2018-11-27 2019-01-25 数坤(北京)网络科技有限公司 一种用于医疗图像的网络模型调整方法及设备
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN112818822A (zh) * 2021-01-28 2021-05-18 中国空气动力研究与发展中心超高速空气动力研究所 一种航空航天复合材料损伤区域自动识别方法
CN113902741A (zh) * 2021-12-08 2022-01-07 深圳科亚医疗科技有限公司 一种对医学图像进行血管分割的方法、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于最小代价路径的血管中心线提取;盛惠娟等;《计算机工程与应用》;20150126(第2期);正文第157页 *
基于深度学习的冠脉DSA图像分割;高雨枫;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20220615(第6期);E062-5 *
血管内光学相干层析成像中的冠状动脉支架重建;刘铁根等;《光学学报》;20210226;第41卷(第4期);166-173 *

Also Published As

Publication number Publication date
CN114862879A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US11847547B2 (en) Method and system for generating a centerline for an object, and computer readable medium
CN113902741B (zh) 一种对医学图像进行血管分割的方法、装置及介质
CN114119602B (zh) 对医学图像进行对象分析的方法、装置和存储介质
US11127138B2 (en) Automatic detection and quantification of the aorta from medical images
US10431328B1 (en) Method and system for anatomical tree structure analysis
CN112001925A (zh) 图像的分割方法、放射治疗系统、计算机设备和存储介质
US9098912B2 (en) Method, system and computer readable medium for automatic segmentation of a medical image
CN111476791B (zh) 图像处理方法、图像处理装置和非暂时性计算机可读介质
US20230037338A1 (en) Method and system for anatomical tree structure analysis
CN117115150B (zh) 用于确定分支血管的方法、计算设备和介质
CN114677436A (zh) 基于模型配准的脑部cta图像中的脑血管自动定位方法
US8774483B2 (en) Image processing method, image processing apparatus and program
CN114708390B (zh) 一种生理管状结构的图像处理方法、装置及存储介质
CN114862879B (zh) 包含生理管状结构的图像的处理方法、处理系统和介质
US20200188027A1 (en) Virtual stent placement apparatus, virtual stent placement method, and virtual stent placement program
CN114004835B (zh) 对医学图像进行对象分析的方法、装置和存储介质
CN114782443A (zh) 基于数据增强的动脉瘤风险评估的装置和存储介质
US20200170713A1 (en) Virtual stent placement apparatus, virtual stent placement method, and virtual stent placement program
WO2020054019A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011182946A (ja) 医用画像表示装置及び医用画像表示方法
US20240087132A1 (en) Segment shape determination
CN115760961B (zh) 血管图像处理方法、装置、服务器及后处理图像生成系统
WO2022157104A1 (en) Vessel shape
CN117333422A (zh) 一种基于深度学习的spect血管狭窄预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant