CN110490927B - 用于为图像中的对象生成中心线的方法、装置和系统 - Google Patents

用于为图像中的对象生成中心线的方法、装置和系统 Download PDF

Info

Publication number
CN110490927B
CN110490927B CN201910785201.XA CN201910785201A CN110490927B CN 110490927 B CN110490927 B CN 110490927B CN 201910785201 A CN201910785201 A CN 201910785201A CN 110490927 B CN110490927 B CN 110490927B
Authority
CN
China
Prior art keywords
image
learning network
centerline
endpoint
end point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910785201.XA
Other languages
English (en)
Other versions
CN110490927A (zh
Inventor
宋麒
白军杰
郭智慧
尹游兵
王昕�
陆易
曹坤琳
许晓阳
欧阳滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Publication of CN110490927A publication Critical patent/CN110490927A/zh
Application granted granted Critical
Publication of CN110490927B publication Critical patent/CN110490927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及用于为图像中的对象生成中心线的方法、装置和系统。该方法包括接收包含所述对象的图像。该方法还包括基于图像使用训练好的第一学习网络生成距离成本图像。该方法进一步包括基于所述图像使用训练好的第二学习网络检测所述对象的端点。此外，该方法还包括基于所述距离成本图像和所述对象的所述端点提取所述对象的所述中心线。由于更大的模型容量和学习网络从大量训练数据中学习的能力，面对诸如“接吻”分支、交叉分支等的复杂情况，它具有更好的性能，提高了检测率，降低了端点(以及对象)的假阳率。

Description

用于为图像中的对象生成中心线的方法、装置和系统
相关申请的交叉引用
本申请要求2018年8月23日提交的美国临时申请第62/722,145号的优先权，其全部内容通过引用结合在此。
技术领域
本公开一般涉及医学图像处理和分析。更具体地，本公开涉及用于为图像中诸如血管的对象生成中心线的方法、装置和系统。
背景技术
中心线是对象的一种骨架表示，其每个点在该点的纵向位置处与对象的边界等距。中心线提供强调对象的几何和拓扑属性(例如连通性、长度、方向等)的简明表示，特别是对于树状对象。它广泛应用于光学字符识别、指纹识别、医学图像(2D、3D或4D)分析等。例如，在光学字符识别任务中，正确提取字符中心线对于构建不同字体/大小等的字符的鲁棒(robust)的表示是必不可少的。在血管树结构的医学图像分析中，中心线提取有助于改善血管分割，还可以评估每个纵向位置的血管直径和狭窄的检测/量化等。
用于自动或半自动地提取对象的中心线的当前方法可以分为两个主要类别，形态骨架化和基于最小成本路径的方法。对于诸如侵蚀和细化的形态骨架化方法，图像上的小扰动或噪声很容易导致短中心线(表示虚假分支)的假阳性。尽管可以采用更多的全局特征来减少这种假阳性，但是，即使对于中等尺寸的图像，通常也需要数小时的时间，这在临床上是不可接受的。对于基于最小成本路径的方法，要求用户明确指定几何约束条件(例如，唯一分支的端点)和计算最小成本路径。然而，基于当前距离变换的成本图像计算和端点检测不能可靠地应对处理在不同位置处具有不均匀厚度的对象，导致粗区域中的假阳性中心线或者对于细/小分支则缺乏中心线。
此外，传统的距离成本图像通常是尺度变化的，这导致粗区域和细区域之间的不一致结果。传统的自动端点发现算法通常基于局部极大值来检测突出位置作为端点。端点检测通常难以在假阳性检测和遗漏端点之间取得平衡。
此外，当两个分支彼此部分靠近时的“接吻”情况下，传统方法会失败，其中一个分支检测到的中心线可以容易地跳到另一个分支。为了克服所有上述缺点，一些传统方法强制执行强大的先验拓扑模型，例如具有预定义分级结构的预定义数量的分支。然而，由于存在这样的限制，目前的方法仅适用于非常有限的应用，例如主气道中心线提取，这阻碍了其推广和发展。
提供本公开以克服在各种图像中用于提取具有各种几何形状和结构的对象的中心线的传统方法中的技术缺陷。
发明内容
在一个方面，本公开涉及一种用于为对象生成中心线的方法。该方法包括接收包含所述对象的图像。该方法还包括基于所述图像使用训练好的第一学习网络生成距离成本图像。该方法还包括基于所述图像使用训练好的第二学习网络检测所述对象的端点。此外，该方法包括基于所述距离成本图像和所述对象的端点提取所述对象的所述中心线。
在另一方面，本公开涉及一种用于为对象生成中心线的系统。该系统包括接口，该接口被配置为接收包含所述对象的图像。所述图像由成像装置获取。该系统还包括处理器，所述处理器被配置为基于所述图像使用训练好的第一学习网络生成距离成本图像。所述处理器还被配置为基于所述图像使用训练好的第二学习网络来检测所述对象的端点。此外，所述处理器还被配置为基于所述距离成本图像和所述对象的所述端点来提取所述对象的所述中心线。
在另一方面，本公开涉及一种用于为对象生成中心线的装置。该装置包括生成单元、检测单元和提取单元。所述生成单元被配置为基于所述图像使用训练好的第一学习网络生成距离成本图像。所述检测单元被配置为基于所述图像使用训练好的第二学习网络检测所述对象的端点。所述提取单元被配置为基于所述距离成本图像和所述对象的所述端点来提取所述对象的所述中心线。
在又一方面，本公开涉及一种非暂时性计算机可读介质，其上存储有指令。所述指令当由处理器执行时，执行用于为对象生成中心线的方法。该方法包括接收包含所述对象的图像。该方法还包括基于所述图像使用训练好的第一学习网络生成距离成本图像。该方法还包括基于所述图像使用训练好的第二学习网络检测所述对象的端点。此外，该方法包括基于所述距离成本图像和所述对象的端点提取所述对象的所述中心线。
用于为图像中的对象生成中心线的方法、装置、系统和介质，由于更大的模型容量和学习网络从大量训练数据中学习的能力，面对诸如“接吻”分支、交叉分支等复杂情况，具有更好的性能，且提高了检测率，降低了端点(以及对象)的假阳率。
应当理解，前面的一般性描述和以下的详细描述仅是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以描述不同视图中的类似部件。具有字母后缀或不同字母后缀的相同数字可表示类似部件的不同实例。附图通常通过示例而非通过限制的方式示出了各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本方法、装置、系统或其上存储有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。
图1示出了根据本公开的实施例的用于为图像中的对象生成中心线的方法；
图2示出了根据本公开的实施例的中心线生成装置及其工作流程；
图3示出了在根据本公开实施例的方法中使用的学习网络(包括第一学习网络和第二学习网络)的示例；
图4示出了在根据本公开的实施例的方法中使用的学习网络(包括第一学习网络和第二学习网络)的示例；
图5示出了根据本公开的实施例的学习网络(包括第一学习网络和第二学习网络)的训练过程；
图6示出了根据本公开的实施例的学习网络(包括第一学习网络和第二学习网络)的训练过程；
图7示出了在根据本公开的实施例的方法中使用的学习网络的示例；
图8描绘了图示根据本公开的实施例的示例性中心线生成系统的框图。
具体实施方式
在下文中，技术术语“对象”是为了与图像的背景对比而使用的。对于医学图像，“对象”可以指关注的器官和组织，例如，血管、气道、腺体。对于光学字符识别，“对象”可以指字符。在一些实施例中，医学图像被用作图像的示例，并且血管被用作“对象”的示例，但是实施例中的方法、装置和系统可以被容易且顺畅地变换为提取在其他类型的图像中的其他对象的中心线。并且技术术语“图像”可以指完整图像或从图像裁剪的图像块。
图1示出了根据本公开的实施例的用于为图像中的对象生成中心线的计算机实现的方法。如图1所示，中心线生成过程100开始于接收由成像装置获取的包含对象的图像(步骤101)。图像可以是2D图像、3D图像或4D图像。图像可以通过各种成像模态直接获取，例如但不限于CT、数字减影血管造影(DSA)、MRI、功能MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层扫描(CBCT)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线成像、光学断层扫描、荧光成像、超声成像，放射治疗门户成像，或基于由成像装置获取的原始图像重建获得。例如，可以通过基于两个不同投影方向上的血管DSA图像的重建来获得3D血管体积图像。技术术语“获取”表示在有或没有附加图像处理(降噪、裁剪、重建等)的情况下直接或间接获得的任何方式，并且所获取的图像被接收作为中心线生成过程100的输入图像。
基于输入图像(2D、3D或4D图像)，可以由处理器使用训练好的第一学习网络自动生成距离成本图像(步骤102)。技术术语“距离成本图像”表示尺寸与输入图像的尺寸相同的图像，并且该图像上的每个像素具有指示其距中心线的距离的强度。由于第一学习网络的容量和从覆盖复杂情况的大量数据中学习的能力，通过训练好的第一学习网络，距离成本图像的生成对诸如“接吻”分支的复杂情况是鲁棒的。此外，第一学习网络可以采用卷积网络，其具有有效的分级学习能力，并且可以具有面对诸如“接吻”分支、交叉分支等复杂情况的更好性能。
在一些实施例中，可以对用于训练第一学习网络的地面真值距离成本图像进行归一化，使得其每个像素的强度指示该像素距对象的中心线的归一化距离。属于对象的像素的归一化距离可以是其距中心线的距离与在中心线的对应于像素的纵向位置处的对象的半径的比率。以这种方式，属于对象的每个像素的强度可以是1或更小：位于对象边界上的像素的强度可以是1；边界内像素的强度可以小于1。此外，地面真值距离成本图像中远离对象的像素的强度可以预定义为某个值，例如但不限于1或更大。通过使用归一化的地面真值距离成本图像作为训练数据进行训练，第一学习网络可以学习到图像中各处的像素的尺度不变距离成本，并且可以用于有效地计算尺度不变距离成本图像，这可以是鲁棒性的并且可以良好地处理具有不均匀厚度/直径的对象。
在步骤103，可以通过基于输入图像使用训练好的第二学习网络来检测对象的端点。尽管图1示出了步骤102和步骤103的顺序，但是并不意图限制两个步骤的执行顺序。而是，只要在步骤101之后和步骤104之前执行步骤102和步骤103即可，它们可以以任何顺序执行。由于第二学习网络的大得多的模型容量和从大量训练数据学习的能力，通过训练好的第二学习网络，与现有技术的基于规则的局部极大值查找算法相比，检测率可以明显更高并且假阳率可以明显更低。
然后，中心线生成过程100可以进入步骤104：可以基于距离成本图像和对象的端点作为输入来提取对象的中心线。在一些实施例中，对于任何两个端点，可以生成具有最小距离成本(即，沿着路径的距离成本的总和)的连接它们的路径，并且可以对所生成的路径进行手动、半自动或自动的筛选，以过滤掉假路径(其与对象的拓扑结构不一致，例如，其两个端点在对象的解剖结构中彼此并非拓扑连接)。最小成本路径可以通过各种算法来计算，例如但不限于迪科斯彻算法(Dijkstra’s algorithm)、A星搜索算法(A*searchalgorithm)、Bellman-Ford算法和快速行进(fast marching)算法。具体地，可以预设路径成本阈值，并且可以将成本高于路径成本阈值的路径视为假路径并删除。
在一些实施例中，可以首先对检测到的端点进行筛选和配对，以便找到成对的起始端点及其对应的结束端点。对于每对起始端点及其对应的结束端点，可以生成具有最小距离成本的连接它们的路径，作为对象的中心线的一部分。以这种方式，可以节省在假路径生成(对于解剖学上不成对的端点)上的工作量，并且可以进一步提高中心线的提取精度。检测到的端点的配对可以自动、半自动或通过人为干预来执行。
在一些实施例中，第二学习网络可以采用卷积网络，尤其是全卷积网路，以加速其在GPU上的计算。相应地，第二学习网络可以用于基于输入图像预测端点图，端点图的每个像素的强度指示像素是否是端点。除了像素是否是端点之外，强度可以传递更丰富的信息，例如但不限于像素是起始端点、结束端点还是并非端点，(如果该像素是端点)则该端点与哪个端点成对等。这些信息可以用于确定对象的主要拓扑结构，基于该信息可以调整(简化)中心线提取步骤(步骤104)以提高提取精度，提高计算速度和减少(甚至避免)人为干预。
作为示例，在起始端点与多个结束端点成对的情况下，这意味着与它们相关联的中心线是树状的，可以确定连接起始端点和每个结束端点的具有最小距离成本的路径，并且可以将所确定的路径整合作为由起始端点和多个结束端点限定的对象的对应部分的中心线的至少一部分。特别地，起始端点用作树状中心线的根点，并且每个其他结束端点用作树状中心线的叶子。一系列最小成本路径可以构成对象的中心线。在一些实施例中，对于树状中心线，具有相同起始端点的路径，如果在某些部分中彼此太靠近(例如，它们的距离小于阈值)，则路径可以在所述部分中融合，以避免计算误差导致的假分支。
作为另一示例，在起始端点仅与一个结束端点成对的情况下，这意味着与它们相关联的中心线是管状形状，可以将连接它们的具有最小距离成本的路径确定作为由起始端点和一个结束端点限定的对象的相应部分的中心线的至少一部分。
中心线生成过程100可以避免由传统形态学方法产生的虚假的假阳性中心线。它不依赖于目标对象的预定结构/拓扑，并且可以广泛应用于具有不同结构和拓扑的各种对象。
在一些实施例中，在步骤104提取的对象的中心线可以是单个像素宽的线，其可以以高分辨率和灵敏度传递对象的几何和拓扑属性。
图2示出了根据本公开的实施例的中心线生成装置200及其工作流程。如图2所示，中心线生成装置200可以包括生成单元201、检测单元202和提取单元203。可以将训练好的第一学习网络从第一训练单元204发送到生成单元201，并且然后生成单元201可以利用训练好的第一学习网络，基于来自成像装置/医学图像数据库209的输入图像生成距离成本图像。可以将训练好的第二学习网络从第二训练单元205发送到检测单元202，然后，检测单元202可以利用训练好的第二学习网络，基于来自成像装置/医学图像数据库209的输入图像来检测对象的端点。由生成单元201生成的距离成本图像与检测单元202检测到的对象的端点可以一起输入到提取单元203中，提取单元203被配置为基于距离成本图像以对象的端点作为约束条件提取对象的中心线。
在一些实施例中，提取单元203可以包括路径生成单元207和整合单元208。路径生成单元207可以被配置为通过迪科斯彻算法(Dijkstra’s algorithm)、A星搜索算法(A*search algorithm)、Bellman-Ford算法和快速行进算法中的任何一种生成连接每对起始端点及其对应的结束端点的具有最小距离成本的路径。并且，整合单元208可以被配置为将所有生成的路径整合(例如，相加、融合等)为对象的中心线。
在一些实施例中，训练过程可以在远离中心线生成装置200的远程位置执行(如图2所示，第一训练单元204和第二训练单元205均没有位于中心线生成装置200内)或在中心线生成装置200本地执行。各个单元之间的信息传输可以经由网络214来实现。
如图2所示，第一学习网络和训练数据(包括医学图像及其地面真值距离成本图像，由训练数据数据库210提供)可以被馈送到第一训练单元204，使得第一训练单元204可以使用训练数据训练第一学习网络。在一些实施例中，可以增加归一化单元206以对地面真值距离成本图像执行归一化，以便提供尺度不变的地面真值距离成本图像。因此，第一学习网络可以向其学习并生成尺度不变的距离成本图像。可以将第二学习网络和训练数据(包括医学图像及其端点的地面真值列表，由训练数据数据库210提供)馈送到第二训练单元205，使得第二训练单元205可以使用训练数据训练第二学习网络。
在一些实施例中，可以在第二训练单元205的上游增加配对和分类单元211，以便对医学图像中的端点标签进行后处理以提供地面真值端点图，其中其每个像素的强度指示像素是起始端点还是结束端点(分类)以及它与哪个端点成对(配对)。可以通过各种算法来执行分类，例如但不限于，识别在对象的纵向方向上其(该端点)位置处对象直径较大的端点作为起始端点。并且可以通过例如参考端点之间的拓扑连接关系来执行配对。特别地，如果对象的连接部分覆盖两个端点，则可以将两个端点识别为彼此成对。通过配对和分类单元211，训练好的第二学习网络可以直接预测端点图，其每个像素的强度指示该像素是起始端点还是结束端点以及该端点与哪个端点是成对的。作为替代选项，可以将配对单元212和起始端点选择单元213增加到提取单元203。配对单元212可以配置为配对检测到的端点，并且起始端点选择单元213可以配置为将从检测到的端点中选择子集作为起始端点。然后可以将剩余的端点识别作为结束端点。相应地，检测单元202可以包括预测单元(未示出)，并且预测单元可以被配置为基于图像使用训练好的第二学习网络预测端点图，其中，端点图的每个像素的强度指示像素是否端点。
根据本公开的实施例的方法利用包括第一学习网络和第二学习网络的学习网络。如图3所示，第一学习网络308可以包括编码器302和解码器303，并且第二学习网络309可以包括编码器304和解码器305。编码器302、304可以被配置为从输入图像301中提取特征，解码器303可以被配置为基于由编码器302提取的特征来生成距离成本图像306，并且解码器305可以被配置为基于由编码器304提取的特征来检测血管的端点307。在一些实施例中，第一学习网络308和/或第二学习网络309中的至少一个可以基于卷积网络构建，卷积网络可以包括卷积层、池化层和上采样层等的分层组合。例如，卷积网络可以由VGG、ResNet、DenseNet卷积网络等中的任何一种来实现。
如图3所示，第一学习网络308和第二学习网络309彼此独立，因此可以彼此独立地训练。
图4示出了在根据本公开的实施例的方法中使用的学习网络的另一示例。学习网络400与学习网络300的不同之处仅在于第一学习网络408与第二学习网络409共享编码器402。解码器403和405、输入图像401、距离成本图像406和血管的端点407各自类似于图3中的解码器303和305，输入图像301、距离成本图像306和血管的端点307，因此这里省略了它们的配置。与图3所示相比，如图4所示的学习网络的构造被显著简化，需要确定的学习网络的参数更少，因此使用如图4所示的学习网络的训练和预测两者可以更容易而得到加速。
在一些实施例中，可以独立地或以联合方式训练如图3中所示的第一学习网络和第二学习网络。如图5所示，训练过程500可以在加载一个(批)用于第一学习网络的第一训练数据和用于第二学习网络的第二训练数据的步骤501处开始。第一训练数据可以包括输入血管图像和相应的地面真值距离成本图像，第二训练数据可以包括输入血管图像和相应的地面真值端点图。
在步骤502，可以使用第一学习网络的当前参数基于第一训练数据计算第一损失函数，并且可以使用第二学习网络的当前参数基于第二训练数据计算第二损失函数。在步骤503，可以对第一损失函数和第二损失函数进行整合(例如，但不限于加权均方误差和/或交叉熵等)。
在步骤504，可以基于整合的损失函数调整第一和第二学习网络的参数。然后，可以确定是否还有其他(批)的训练数据(步骤505)，如果是，则过程500可以返回到步骤501，否则过程500结束。通过整合的损失函数，训练好的第一和第二学习网络作为一个整体可以在距离成本图像和端点图预测两个方面都提供良好的性能，而距离成本图像和端点图两者的预测都作为后续最小成本路径生成的基础。
在一些实施例中，可以稍微调整训练过程500以应用于如图4所示的学习网络，其中第一学习网络与第二学习网络共享编码器。作为示例，在步骤504，(第一和第二学习网络的)两个解码器的参数和仅一个编码器(即第一和第二学习网络的共同编码器)的参数需要基于整合的损失函数来调整，因此，可以简化和加速训练过程。
图6示出了根据本公开的实施例的如图4所示的学习网络的训练过程600，其中步骤601-605类似于步骤501-505。与如图5所示的训练过程500相比，在步骤601之前增加第一学习网络的预训练(步骤6011-6014)。在步骤6011，可以加载一个(批)第一训练数据。可以在步骤6012基于第一训练数据确定第一损失函数，然后可以在步骤6013基于第一损失函数调整第一学习网络的参数。然后，可以确定是否还有用于第一学习网络的预训练的其他(批)的第一训练数据(步骤6014)，如果是，则过程600可以返回到步骤6011，否则过程600可以进入到步骤601以执行第一和第一学习网络的联合训练。由于地面真值距离成本图像更容易获得并且地面真值距离成本图像的像素的强度分布相对密集(与地面真值端点图的强度分布相比，其中由于血管图像中的端点的稀疏分布，少数强度是非零的)，因此，第一学习网络的训练可以更容易和更快。以这种方式，预训练的第一学习网络的编码器的参数可以用作共同编码器的初始参数，以执行参数调整步骤604。事实证明，与使用任意预定义的初始参数相比，将预训练好的编码器的参数用作共同编码器的初始参数，第一和第二学习网络的联合训练可以显著加速。
在一些实施例中，不需要采用所有第一训练数据用于第一学习网络的预训练。相反，可以采用其子集用于第一学习网络的预训练，从而可以进一步加速整个训练过程600。
在一些实施例中，用于训练第二学习网络的地面真值端点图可以通过基于每个端点处的像素的强度设置该端点的周围区域中的像素的强度来获得。例如，每个端点周围的5-10个像素的强度可以设置为非零值。以这种方式，可以显著增加地面真值端点图中的正样本，以便缓解正样本和负样本之间的不平衡(由于血管中的端点的稀疏分布)，并且因此第二学习网络的训练可变得容易得多。
还可以采用根据本公开的任何实施例的学习网络的修改示例。如图7所示，学习网络700可以包括第一学习网络、第二学习网络和第三学习网络。第一学习网络可以包括：编码器702，其被配置为从输入图像中提取特征；解码器703，其被配置为基于所提取的特征生成距离成本图像706。第二学习网络可以包括：编码器704，其被配置为从输入图像中提取特征；解码器705，其被配置为基于所提取的特征生成端点图707。以及，第三学习网络可以包括：编码器709，其被配置为从输入图像中提取特征；解码器710，其被配置为基于所提取的特征来检测对象的分叉部711。然后，距离成本图像706、端点图707和分叉部711可以一起被馈送到最小成本路径提取器712，使得最小成本路径提取器712可以在中心线通过检测到的分叉部711的约束条件下，基于距离成本图像706和端点图707提取连接端点的最小成本路径作为对象的中心线。以这种方式，可以有效地避免中心线的假分支。在一些实施例中，第一、第二和第三学习网络可以由卷积网络构成。
在一些实施例中，可以将一个或多个关注单元708增加到在其中位置处的编码器702、704和/或709中的任何一个中的(至少一个)位置处，以便与不对应于对象的特征相比，增加在对应于对象的位置处提取的特征的权重。以这种方式，相应的学习网络可以更精确地聚焦于关注区域(例如，与对象相对应的位置处的区域)。
图8示出了根据本公开的实施例的示例性中心线生成系统800的框图。该中心线生成系统800可以包括网络接口807，通过该网络接口807，中心线生成系统800(或其中的中心线生成装置，其指代除网络接口807之外的其他部件)可以连接到网络(未示出)，例如但不限于医院中的局域网或因特网。网络可以将中心线生成系统800与诸如图像采集装置(未示出)、医学图像数据库808和图像数据存储装置809的外部装置连接。图像采集装置可以使用任何类型的成像模态，例如但不限于计算机断层摄影(CT)、数字减影血管造影(DSA)、磁共振成像(MRI)、功能性MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、单光子发射计算断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像。
在一些实施例中，中心线生成系统800可以是专用智能装置或通用智能装置。例如，系统800可以是为图像数据获取和图像数据处理任务定制的计算机，或者是置于云端的服务器。例如，系统800可以集成到图像采集装置中。
中心线生成系统800可以包括图像处理器801和存储器804，并且可以另外包括输入/输出802和图像显示器803中的至少一个。
图像处理器801可以是包括一个或多个通用处理装置的处理装置，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，图像处理器801可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。图像处理器801还可以是一个或多个专用处理装置，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)，片上系统(SoC)等。如本领域技术人员将理解的，在一些实施例中，图像处理器801可以是专用处理器，而不是通用处理器。图像处理器801可以包括一个或多个已知的处理装置，例如来自IntelTM制造的PentiumTM、CoreTM、XeonTM或Itanium系列的微处理器，由AMDTM制造的TurionTM、AthlonTM、SempronTM、OpteronTM、FXTM、PhenomTM系列，或由Sun Microsystems制造的各种处理器。图像处理器801还可以包括图形处理单元，诸如由NvidiaTM制造的
Figure BDA0002177821080000121
Figure BDA0002177821080000122
系列的GPU，由IntelTM制造的GMA、IrisTM系列的GPU，或由AMDTM制造的RadeonTM系列的GPU。图像处理器801还可以包括加速处理单元，例如由AMDTM制造的Desktop A-4(6,6)系列，由IntelTM制造的Xeon PhiTM系列。所公开的实施例不限于任何类型的处理器或处理器电路，其以其他方式被配置为满足识别、分析、维护、生成和/或提供大量成像数据或操纵这样的成像数据以实现如下操作的计算需求：基于输入图像使用训练好的第一学习网络生成距离成本图像，基于输入图像使用训练好的第二学习网络检测对象的端点，生成连接端点的最小成本路径，整合一系列的生成的最小成本路径，和/或训练学习网络，或以与所公开的实施例一致的方式操作任何其他类型的数据。另外，术语“处理器”或“图像处理器”可以包括一个以上的处理器，例如，多核设计或多个处理器，每个处理器具有多核设计。图像处理器801可以执行存储在存储器804中的计算机程序指令序列，以执行本文公开的各种操作、过程和方法。
图像处理器801可以通信地耦合到存储器804并且被配置为执行存储在其中的计算机可执行指令。存储器804可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，计算机可执行指令以任何格式存储在其上。在一些实施例中，存储器804可以存储一个或多个图像处理程序805的计算机可执行指令。计算机程序指令可以由图像处理器801访问，从ROM或者任何其他合适的存储器位置读取，并且加载在RAM中以供图像处理器801执行。例如，存储器804可以存储一个或多个软件应用程序。存储在存储器804中的软件应用程序可以包括，例如，用于普通计算机系统的操作系统(未示出)以及用于软控制装置的操作系统。
此外，存储器804可以存储整个软件应用程序或仅存储可由图像处理器801执行的软件应用程序的一部分(例如，图像处理程序805)。此外，存储器804可以存储多个软件模块，用于实现与本公开一致的用于为图像中的对象生成中心线的方法或训练学习网络的过程中的各个步骤。例如，第一训练单元204、归一化单元206、生成单元201、第二训练单元205、配对和分类单元211、检测单元202、提取单元203、路径生成单元207、整合单元208、配对单元212和起始端点选择单元213(如图2所示)，可以实现为存储在存储器804上的软件模块，尤其作为图像处理程序805。对于另一个例子，至少生成单元201、检测单元202和提取单元203被实现为存储在存储器804上的软件模块(例如图像处理程序805)，第一训练单元204和第二训练单元205以及归一化单元206和配对和分类单元211可以位于中心线生成系统800的远程位置并且与生成单元201/检测单元202通信以使其能够接收训练好的相应的学习网络，该学习网络已经由第一训练单元204和第二训练单元205利用来自训练数据数据库210的训练数据(在离线训练过程中)和/或来自生成单元201和检测单元202(在在线训练过程中)的新鲜训练数据(即，自动地生成的距离成本图像和自动检测到的端点连同相应的输入图像)进行训练，以便生成输入图像中的对象的中心线。
此外，存储器804可以存储在执行计算机程序时生成/缓冲的数据，例如，医学图像数据806，包括从图像采集装置、医学图像数据库808、图像数据存储装置809等发送的医学图像。在一些实施例中，医学图像数据806可以包括从图像采集装置接收的要由图形处理程序805处理的图像，并且可包括在执行生成对象的中心线和/或训练学习网络的方法的过程中生成的医学图像数据。
此外，图像处理器801可以执行图像处理程序805以实现生成对象的中心线的方法，然后将输入图像与自动生成的相应的距离成本图像和自动检测的端部相关联，并将其传输到存储器804，尤其作为其中的医学图像数据806。以这种方式，每个在线中心线生成过程可以生成一些新鲜的训练数据以更新医学图像数据806。通过执行如图2所示的第一和第二训练单元204、205，图像处理器801可以以在线方式训练第一和第二学习网络，以更新当前学习网络中的现有参数(例如权重)。在一些实施例中，训练好的学习网络的更新参数可以存储在医学图像数据806中，然后可以在同一患者的相同对象的下一次中心线生成中使用。因此，如果图像处理器801确定中心线生成系统800已经对当前患者的相同对象执行了中心线生成，则可以直接调用和使用用于中心线生成的最近更新的学习网络。
在一些实施例中，图像处理器801在执行在线中心线生成过程后，可以将输入图像与对象的自动(或半自动)生成的对象的中心线相关联作为医学图像数据806，以用于呈现和/或传输。在一些实施例中，输入图像与生成的中心线一起可以显示在图像显示器803上以供用户查看。在一些实施例中，通过将输入图像与所生成的中心线(或距离成本图像和端点)相关联的医学图像数据可以被传输到医学图像数据库808，以便需要时由其他医学装置访问、获得和利用。
在一些实施例中，可以提供图像数据存储装置809以与医学图像数据库808交换图像数据，并且存储器804可以与医学图像数据库808通信以获得当前患者的图像。例如，图像数据存储装置809可以驻留在其他医学图像采集装置(例如对该患者执行扫描的CT)中。患者的关于对象(诸如血管)的切片图像可以被传输、重建为体积图像并保存到医学图像数据库808，并且中心线生成系统800可以从医学图像数据库808取得对象的体积图像并为体积图像中的对象生成中心线。
在一些实施例中，存储器804可以与医学图像数据库808通信，以将与所生成的距离成本图像和检测到的端点相关联的输入体积图像传输并保存到医学图像数据库808中作为训练数据的条目，其可以用于如上所述的离线训练。
例如，图像显示器803可以是LCD、CRT或LED显示器。
输入/输出802可以被配置为允许中心线生成系统800接收和/或发送数据。输入/输出802可以包括一个或多个数字和/或模拟通信装置，其允许系统800与用户或其他机器和装置通信。例如，输入/输出802可以包括允许用户提供输入的键盘和鼠标。
在一些实施例中，图像显示器803可以呈现用户界面，使得用户通过输入/输出802连同用户界面，可以方便且直观地修正(例如编辑、移动、修改等)自动生成的对象的中心线，自动生成的距离成本图像和自动检测到的端点。
网络接口807可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 6.0、闪电、例如Wi-Fi适配器的无线网络适配器、电信(5G、4G/LTE等)适配器。系统800可以通过网络接口807连接到网络。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(WAN)等的功能。
本文描述了各种操作或功能，其可以实现为软件代码或指令或者定义为软件代码或指令。这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机构，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。
已经出于说明的目的呈现了前面的描述。它并非穷尽的，并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，实施例的修改和改编将是显而易见的。
这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的非暂时性计算机可读介质或机器可读介质，所述指令可操作以配置电子装置执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用Java、Python、C、C++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被整合到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAM)、只读存储器(ROM)等。
此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效要素、修改、省略、组合(例如，跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或排列来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (20)

1.一种用于为对象生成中心线的方法，其中，所述方法包括以下步骤：
接收包含所述对象的图像，其中，所述图像由成像装置获取；
由处理器，基于所述图像使用训练好的第一学习网络生成距离成本图像，所述距离成本图像上的像素的强度指示其距所述对象的中心线的距离；
由所述处理器，基于所述图像使用训练好的第二学习网络检测所述对象的端点；以及
由所述处理器，基于所述距离成本图像和所述对象的所述端点提取所述对象的所述中心线。
2.根据权利要求1所述的方法，其中，提取所述对象的所述中心线包括：
生成连接成对的起始端点及其对应的结束端点的具有最小距离成本的路径。
3.根据权利要求1所述的方法，其中，所述方法还包括：
由所述处理器，基于所述图像使用训练好的所述第二学习网络预测端点图，其中，所述端点图的像素的强度指示所述像素是否对应于端点。
4.根据权利要求3所述的方法，其中，所述端点图的像素的强度指示所述像素是对应于起始端点还是结束端点，还是所述像素不对应于端点。
5.根据权利要求3所述的方法，其中，在所述像素对应于端点的情况下，则所述像素的强度进一步指示另一端点，该另一端点与所述像素对应的端点成对。
6.根据权利要求3所述的方法，其中，用于训练所述第二学习网络的地面真值端点图是通过基于每个端点处的像素的强度设置所述端点的周围区域中的像素的强度来获得的。
7.根据权利要求1所述的方法，还包括：
在起始端点与多个结束端点成对的情况下，确定连接所述起始端点和每个结束端点的具有最小距离成本的路径，并且整合所确定的路径作为由所述起始端点和所述多个结束端点限定的对象的相应部分的中心线的至少一部分；和
在起始端点仅与一个结束端点成对的情况下，确定连接所述起始端点和成对的结束端点的具有最小距离成本的路径作为由所述起始端点和所述成对的结束端点限定的所述对象的相应部分的所述中心线的至少一部分。
8.根据权利要求1所述的方法，其中，所提取的所述对象的所述中心线包括单个像素宽的线。
9.根据权利要求1所述的方法，其中，用于训练所述第一学习网络的地面真值距离成本图像的每个像素的强度指示所述像素与所述对象的所述中心线的归一化距离，并且属于所述对象的所述像素的所述归一化距离指示到所述中心线的距离与中心线上对应于所述像素的纵向位置处的所述对象的半径的比率。
10.根据权利要求1所述的方法，其中，所述第一学习网络或所述第二学习网络中的至少一个包括用于提取特征的编码器，并且所述方法还包括：
向所述编码器与所述对象对应的位置处增加关注单元，以便与不对应所述对象的另一位置处提取的特征的权重相比，增加在该位置处提取的特征的权重。
11.根据权利要求1所述的方法，其中，所述第一学习网络或所述第二学习网络中的至少一个由卷积网络构成。
12.根据权利要求1所述的方法，其中，所述第一学习网络和所述第二学习网络彼此独立。
13.根据权利要求1所述的方法，其中，所述第一学习网络与所述第二学习网络共享编码器。
14.根据权利要求13所述的方法，其中，所述第一学习网络和所述第二学习网络以下列方式中的任何方式来训练：
首先训练所述第一学习网络，然后使用所述第一学习网络的训练好的编码器的参数作为第一和第二学习网络两者的编码器的初始参数，对所述第一和第二学习网络进行联合训练；
利用所述第一和第二学习网络的编码器的预定初始参数，对所述第一和第二学习网络进行联合训练。
15.根据权利要求1所述的方法，其中，所述方法还包括：
由所述处理器，基于所述图像使用训练好的第三学习网络检测所述对象的分叉部；以及
由所述处理器，在所述中心线经过检测到的相应分叉部的约束条件下，基于所述距离成本图像和所述对象的端点来提取所述对象的所述中心线。
16.一种用于为对象生成中心线的系统，包括：
接口，配置为接收包含所述对象的图像，其中，所述图像由成像装置获取；和
处理器，配置为：
基于所述图像使用训练好的第一学习网络生成距离成本图像，所述距离成本图像上的像素的强度指示其距所述对象的中心线的距离；
基于所述图像使用训练好的第二学习网络检测所述对象的端点；和
基于所述距离成本图像和所述对象的端点提取所述对象的中心线。
17.根据权利要求16所述的系统，其中，所述对象包括血管。
18.根据权利要求16所述的系统，其中，所述处理器进一步配置为：生成连接成对的起始端点及其对应的结束端点的具有最小距离成本的路径。
19.根据权利要求16所述的系统，其中，所述处理器进一步配置为
对检测到的所述端点进行配对；和
从检测到的端点中选择子集作为起始端点。
20.一种非暂时性计算机可读介质，其上存储有指令，所述指令在由处理器执行时，执行用于为对象生成中心线的方法，所述方法包括：
接收包含所述对象的图像，其中，所述图像由成像装置获取；
基于所述图像，使用训练好的第一学习网络生成距离成本图像，所述距离成本图像上的像素的强度指示其距所述对象的中心线的距离；
基于所述图像，使用训练好的第二学习网络检测所述对象的端点；和
基于所述距离成本图像和所述对象的所述端点来提取所述对象的中心线。
CN201910785201.XA 2018-08-23 2019-08-23 用于为图像中的对象生成中心线的方法、装置和系统 Active CN110490927B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862722145P 2018-08-23 2018-08-23
US62/722,145 2018-08-23

Publications (2)

Publication Number Publication Date
CN110490927A CN110490927A (zh) 2019-11-22
CN110490927B true CN110490927B (zh) 2022-04-12

Family

ID=68553324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910785201.XA Active CN110490927B (zh) 2018-08-23 2019-08-23 用于为图像中的对象生成中心线的方法、装置和系统

Country Status (2)

Country Link
US (2) US11069078B2 (zh)
CN (1) CN110490927B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490927B (zh) * 2018-08-23 2022-04-12 深圳科亚医疗科技有限公司 用于为图像中的对象生成中心线的方法、装置和系统
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
EP3948886A4 (en) 2019-04-01 2022-12-21 CathWorks Ltd. METHOD AND DEVICE FOR SELECTING ANGIOGRAPHIC IMAGES
WO2021059165A1 (en) 2019-09-23 2021-04-01 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
CN111667421B (zh) * 2020-05-25 2022-07-19 武汉大学 一种图像去雾方法
CN111784762B (zh) * 2020-06-01 2023-05-30 北京理工大学 X光造影图像血管中心线提取方法及装置
CN112954399B (zh) * 2021-02-09 2021-12-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及计算机设备
CN114757944B (zh) * 2022-06-13 2022-08-16 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质
EP4390845A1 (en) 2022-12-22 2024-06-26 Hemolens Diagnostics Spólka Z Ograniczona Odpowiedzialnoscia A computer-implemented method, computer program product and imaging system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425186A (zh) * 2008-11-17 2009-05-06 华中科技大学 一种基于ct图像的肝脏分段方法及其系统
CN101551862A (zh) * 2009-05-13 2009-10-07 西安电子科技大学 基于边界距离场的血管中心路径提取方法
CN103324934A (zh) * 2013-06-19 2013-09-25 北京理工大学 基于平行结构检测与聚类的血管中心线自动提取方法
CN103971403A (zh) * 2013-01-29 2014-08-06 西门子公司 3d管状结构的曲线重建的快速呈现
CN106980899A (zh) * 2017-04-01 2017-07-25 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和系统
CN107644420A (zh) * 2017-08-31 2018-01-30 西北大学 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN108022251A (zh) * 2017-12-14 2018-05-11 北京理工大学 一种管状结构的中心线的提取方法及系统
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005023086A2 (en) * 2003-08-25 2005-03-17 University Of North Carolina At Chapel Hill Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning
WO2005069223A2 (en) * 2004-01-15 2005-07-28 Algotec Systems Ltd. Vessel centerline determination
US9129417B2 (en) * 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction
KR102361733B1 (ko) * 2014-11-28 2022-02-11 삼성전자주식회사 ３ｄ ｃｔａ영상으로부터 관상동맥의 구조를 모델링하는 방법 및 장치
EP3295374B8 (en) 2015-05-11 2023-10-18 Siemens Healthcare GmbH Method and system for landmark detection in medical images using deep neural networks
US10206646B2 (en) * 2016-03-10 2019-02-19 Siemens Healthcare Gmbh Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
US10417788B2 (en) 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
CN110490927B (zh) * 2018-08-23 2022-04-12 深圳科亚医疗科技有限公司 用于为图像中的对象生成中心线的方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425186A (zh) * 2008-11-17 2009-05-06 华中科技大学 一种基于ct图像的肝脏分段方法及其系统
CN101551862A (zh) * 2009-05-13 2009-10-07 西安电子科技大学 基于边界距离场的血管中心路径提取方法
CN103971403A (zh) * 2013-01-29 2014-08-06 西门子公司 3d管状结构的曲线重建的快速呈现
CN103324934A (zh) * 2013-06-19 2013-09-25 北京理工大学 基于平行结构检测与聚类的血管中心线自动提取方法
CN106980899A (zh) * 2017-04-01 2017-07-25 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和系统
CN107644420A (zh) * 2017-08-31 2018-01-30 西北大学 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN108022251A (zh) * 2017-12-14 2018-05-11 北京理工大学 一种管状结构的中心线的提取方法及系统
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Automated generation of directed graphs from vascular segmentations;Brian E. Chapman 等;《Journal of Biomedical Informatics》;20150709;395-405 *
Coronary centerline extraction from CT coronary angiography images using a minimum cost path approach;C. T. Metz 等;《Medical Physics》;20091109;第36卷(第12期);5568-5579 *
Coronary Centerline Extraction via Optimal Flow Paths and CNN Path Pruning;Mehmet A. Gu¨lsu¨n 等;《MICCAI 2016》;20161002;317-325 *
CT 冠脉造影中冠状动脉中心线的提取;易建华 等;《计算机科学与探索》;20111115;第5卷(第11期);999-1005 *
一种基于磁敏感加权成像的三维脑静脉中心线提取技术;锁时 等;《测试工具与解决方案》;20150505;105-107 *
基于中心线提取的视网膜血管分割;周琳 等;《生物医学工程学杂志》;20120225;第29卷(第1期);1-6 *

Also Published As

Publication number Publication date
CN110490927A (zh) 2019-11-22
US20200065989A1 (en) 2020-02-27
US11748902B2 (en) 2023-09-05
US11069078B2 (en) 2021-07-20
US20210279906A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
CN110490927B (zh) 用于为图像中的对象生成中心线的方法、装置和系统
US11574406B2 (en) Systems and methods for image segmentation using a scalable and compact convolutional neural network
US10460447B2 (en) Method and system for performing segmentation of image having a sparsely distributed object
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
US10867384B2 (en) System and method for automatically detecting a target object from a 3D image
US11568533B2 (en) Automated classification and taxonomy of 3D teeth data using deep learning methods
US11847547B2 (en) Method and system for generating a centerline for an object, and computer readable medium
CN112102321A (zh) 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN109308495B (zh) 从患者的医学图像自动预测生理状况的装置和系统
CN109635876B (zh) 为生理树结构生成解剖标签的计算机实现的方法、装置和介质
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
US20230177677A1 (en) Method and system for performing vessel segmentation in a medical image
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
US12026877B2 (en) Device and method for pneumonia detection based on deep learning
CN111754476A (zh) 用于解剖树结构的疾病量化建模的方法及系统
CN110570419A (zh) 特征信息的获取方法、装置和存储介质
CN110599444B (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
CN116797554A (zh) 图像处理方法以及装置
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
Wu et al. Semiautomatic segmentation of glioma on mobile devices
CN114913174B (zh) 用于血管系统变异检测的方法、装置和存储介质
Khanh Phung et al. A research for segmentation of brain tumors based on GAN model
CN110490870B (zh) 对图像进行分析的方法、装置和非暂时性计算机可读介质
CN116205844A (zh) 一种基于扩张残差网络的全自动心脏磁共振成像分割方法
CN113012178A (zh) 一种肾脏肿瘤图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant