CN111429502B - 用于生成对象的中心线的方法和系统以及计算机可读介质 - Google Patents

用于生成对象的中心线的方法和系统以及计算机可读介质 Download PDF

Info

Publication number
CN111429502B
CN111429502B CN202010212978.XA CN202010212978A CN111429502B CN 111429502 B CN111429502 B CN 111429502B CN 202010212978 A CN202010212978 A CN 202010212978A CN 111429502 B CN111429502 B CN 111429502B
Authority
CN
China
Prior art keywords
image block
centerline
network
learning network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010212978.XA
Other languages
English (en)
Other versions
CN111429502A (zh
Inventor
王昕�
尹游兵
宋麒
白军杰
陆易
吴毅
高峰
曹坤琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Publication of CN111429502A publication Critical patent/CN111429502A/zh
Application granted granted Critical
Publication of CN111429502B publication Critical patent/CN111429502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了用于生成对象的中心线的方法和系统以及计算机可读介质。该方法包括接收包含对象的图像。该方法还包括通过追踪图像块序列来生成对象的中心线。通过追踪图像块序列来生成对象的中心线包括，对于除初始图像块之外的各个图像块：根据前一个图像块的位置和动作来追踪当前图像块；基于当前图像块利用训练好的学习网络输出策略函数和值函数，该学习网络包括编码器后跟第一学习网络和第二学习网络，所述学习网络通过最大化累积奖励来训练；并且确定当前图像块的动作。

Description

用于生成对象的中心线的方法和系统以及计算机可读介质
相关申请的交叉引用
本申请要求2019年3月26日提交的美国临时申请第62/824,240号的优先权的权益，其全部内容通过引用合并于本文中。
技术领域
本公开总体上涉及医学图像处理和分析。更具体地，本公开涉及一种用于生成图像中的对象(例如，血管、气道、乳腺管等)的中心线的方法和系统。
背景技术
各种生物医学图像应用涉及树结构的复杂对象，例如血管和气道。在人体中通常会观察到呈现树结构的对象，包括人体气道、血管(动脉和静脉，毛细血管)、神经结构以及从乳头延伸的乳腺管等。医学成像(CT、MRI、眼底照相机成像等)中的最新技术进步使得有可能获取包括上述结构的医学图像(2D、3D或4D)。
中心线是形状的骨架(或中间轴)表示，使得其上的每个点与形状的边界等距。中心线提供了简洁的表示，强调了对象的几何和拓扑属性，诸如连通性、长度、方向等。例如，在临床实践中，中心线提取对于定量测量树结构(包括长度、半径、角度等)是很必要的。当前的中心线追踪方法可以分为两大类：形态骨架化方法和基于最小成本路径的方法。对于诸如腐蚀和细化之类的形态骨架化方法，通常使用分割蒙版，并且图像/蒙版上的小扰动或噪声很容易导致虚假分支。与之对比，基于最小成本路径的方法构建成本图像并计算从起点到终点的最佳路径。通常根据图像强度或派生的度量来计算成本图像。另外，为了确保提取的中心线位于管腔内部，这种最小成本路径方法可以应用于分割蒙版本身，并且基于距离变换来计算成本图像。尽管基于最小成本路径的算法通常比形态追踪算法更具鲁棒性，但它仍然具有严重的局限性。一方面，手动指定起点和终点，这会增加用户交互，或者使用先验信息进行检测，这可能会导致缺失点或检测到不必要的点。另一方面，基于强度或强度派生的度量计算的成本图像可能无法很好地处理图像强度和质量的较大变异。此外，计算成本图像还需要额外的步骤来提取蒙版，这实际上是一项非常艰巨的任务。
由于上述常规方法缺乏鲁棒性，临床医生或技术人员通常手动地或使用一些半自动工具追踪中心线，这是费力且费时的，并且结果可能易于出错。
常规方法具有缺点。例如，基于强度的最小成本路径算法由于图像强度的大差异而缺乏鲁棒性。对于基于分割的中心线追踪算法，须在整张扫描片(“全片”)各处执行分割步骤。通常，医学图像的尺寸非常大，因此分割步骤本身非常耗时。基于分割的中心线追踪算法还需要基于先验信息手动指定或提取起点或终点。基于分割的中心线追踪算法不是端到端模型。这些算法使用后处理来处理中心线追踪的平滑度，通常依赖于先前的多步模型的输出，因此结果对于图像对象而言不是最佳的。中心线是从单条路径到另一条路径分别提取的，因此对于树结构的处理不佳。
发明内容
提供本公开内容以克服在各种图像中提取具有各种几何形状和结构(例如复杂树结构)的对象的中心线的常规方法中的缺点。提供本公开以通过引入深度强化学习(DRL)算法以端对端的方式实现对树结构中心线的鲁棒性自动提取。
在一个方面，公开了一种用于生成对象的中心线的计算机实现的方法。该方法包括接收包含对象的图像。该图像由成像装置获取。该方法还包括通过处理器追踪图像块序列来生成对象的中心线。通过处理器追踪图像块序列来生成对象的中心线包括，对于除初始图像块之外的各个图像块：基于前一个图像块的位置和动作来追踪当前图像块；基于当前图像块利用训练好的学习网络来输出策略函数和值函数，所述学习网络包括编码器后跟第一学习网络和第二学习网络；以及确定当前图像块的动作。该学习网络可以通过最大化累积奖励来训练。
在另一方面，公开了一种用于生成对象的中心线的系统。该系统包括被配置为接收包含对象的图像的接口。该图像由成像装置获取。该系统还包括处理器，该处理器被配置为通过追踪图像块序列来生成对象的中心线。所述处理器还被配置为，对于除初始图像块之外的各个图像块：基于前一个图像块的位置和动作来追踪当前图像块；基于当前图像块利用训练好的学习网络来输出策略函数和值函数，所述学习网络包括编码器后跟第一学习网络和第二学习网络；以及确定当前图像块的动作。该学习网络可以通过最大化累积奖励来训练。
在另一方面，公开了一种存储有指令的非暂时性的计算机可读介质。指令在由处理器执行时实施用于生成对象的中心线的方法。该方法包括接收包含对象的图像，其中该图像是由成像装置获取的。该方法还包括通过处理器追踪图像块序列来生成对象的中心线。该方法进一步包括，对于除初始图像块之外的各个图像块：基于前一个图像块的位置和动作来追踪当前图像块；基于当前图像块利用训练好的学习网络输出策略函数和值函数，所述学习网络包括编码器后跟第一学习网络和第二学习网络；以及确定当前图像块的动作。该学习网络可以通过最大化累积奖励来训练。
为了处理生物医学图像中的树状结构中心线的追踪，可以通过利用辅助任务增强损失函数来改善强化学习过程，该辅助任务提供了更多支持追踪相关任务学习的训练信息。可以考虑三个附加的辅助任务，即分叉检测、端点检测和环路检测。分叉检测任务涉及识别分叉。该辅助任务旨在改善分叉处的轨迹规划，并保持沿所有分叉分支的追踪。端点检测任务直接检测树的端点。训练智能体(agent)来预测当前位置是否是端点以便停止追踪。环路检测任务直接从追踪轨迹检测环路闭合。训练智能体来预测当前位置是否先前已被访问过。训练好的学习网络可用作智能体。
本公开的用于生成图像中的对象的中心线的方法、系统和介质的优点可总结如下。该模型是端到端的深度网络(以图像作为其输入)，可以通过针对相应图像块更新的策略函数和值函数来确定各个图像块的移动动作，从而追踪图像块序列，由此以鲁棒的方式准确且快速地生成对象的中心线。此外，在一些实施例中，可以通过引入辅助输出层和相应的辅助任务来改善模型的增强学习过程，以提供更多的训练信息，从而从各种结构和拓扑特征对模型进行训练。以这种方式，训练好的模型可以联合地学习目标驱动的强化学习问题，并更好地解决树结构中的中心线追踪问题。而且，本发明的方法能够避免在训练阶段和预测阶段都扫描全片图像。
应当理解，前面的一般描述和下面的详细描述仅是示例性和说明性的，并且不限制所要求保护的本发明。
附图说明
在不一定按比例绘制的附图中，相似的附图标记可以在不同的视图中描述相似的组件。具有字母后缀或不同字母后缀的相似附图标记可以表示相似组件的不同实例。附图通过示例而非限制的方式大体上示出了各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。这样的实施例是说明性的，并且不意图是本方法、系统或其上具有用于实现该方法的指令的非暂时性计算机可读介质的穷举或排他性实施例。
图1(a)示出根据本公开的实施例的用于生成图像中的对象的中心线的方法的概要；
图1(b)示出了常规的基于分割的方法的概要；
图2示出了根据本公开实施例的用于生成对象的中心线的深度强化学习(DRL)网络的架构；
图3示出了根据本公开的另一实施例的用于生成对象的中心线的DRL网络的架构；
图4示出了根据本公开的再一实施例的用于生成对象的中心线的DRL网络的示例架构；
图5示出了根据本公开的实施例的用于生成对象的中心线的示例方法的流程图；
图6示出了训练阶段和预测阶段的示意图；并且
图7示出图示根据本公开的实施例的示例性中心线生成系统的框图。
具体实施方式
在下文中，使用技术术语“对象”以与图像的背景对比。对于医学图像，“对象”可以表示关注的器官和组织，例如血管、气道、腺体。对于光学字符识别，“对象”可以表示字符。在一些实施例中，医学图像被用作图像的示例并且血管被用作“对象”的示例，但是实施例中的方法、装置和系统可以容易且平滑地转换为提取其他类型的图像中的其他对象的中心线。并且，技术术语“图像”可以指完整图像或从图像裁剪出的图像块。
图1(a)和图1(b)分别示出根据本公开的实施例的用于生成图像中的对象的中心线的方法和常规的基于分割的方法的概要，以对这两种方法进行比较。根据本公开的实施例的用于针对图像中的对象生成中心线的方法可以借助于端到端学习框架，特别是DRL端到端方法来实现，该方法将至少一个辅助任务(检测分叉、端点、环路等)结合到追踪对象(例如血管)的中心线的主要任务中。相比之下，如图1(b)所示的传统基于分割的方法必须首先分割图像。对于基于分割的中心线追踪算法，必须首先在全片各处执行分割步骤。通常，医学图像的尺寸非常大，因此分割步骤本身非常耗时。对于基于分割的中心线追踪算法，需要根据先验信息手动指定或提取起点或终点。如图1(b)所示，可以将分叉、端点等的辅助检测结果结合到通过分割获得的图像蒙版中，以辅助追踪中心线。
如图1(a)所示，本公开的端到端学习框架可以如下工作。该图像可以被馈送到DRL追踪器中。初始图像块可以预先设置。例如，可以将包含对象的一部分而不是背景的一部分的图像块设置为初始图像块。在一些实施例中，其他图像块，甚至属于背景的图像块也可以用作初始图像块。以这种方式，可以减少甚至消除手动交互，这大大减少了临床医生和技术人员的工作量。
DRL追踪器实际上可以针对每个追踪步骤应用于各个图像块，并且可以决定当前图像块的动作。DRL追踪器可以至少部分地由学习网络实现，该学习网络可以通过考虑辅助任务的表现来训练，辅助任务例如分叉、端点和环路的检测。然后，可以通过从当前图像块(的位置)执行决定的动作来追踪(更新)下一个图像块。现在，追踪到和更新后的图像块成为当前图像块。可以针对各个当前图像块重复这样的步骤，以便通过顺序地连接所追踪到的图像块来生成中心线。
在一些实施例中，如图1(a)所示的DRL追踪器可以实现为异步优势行为者-批评者(A3C)架构。
A3C架构具有智能体，该智能体通常被训练以完成追踪图像中所包括的对象的中心线的任务，该图像可以是2D图像或3D图像。如图1(a)中所示的DRL追踪器充当智能体。智能体的动作空间可以包括六个维度，例如但不限于左、右、上、下、前、后。在时间t，在智能体选择了动作at之后，智能体根据所选择的动作从当前图像块移动到下一个位置。然后位于下一个位置的图像块将成为当前图像块。对于A3C架构，行为者(Actor)对应于策略函数(关于如何做出动作，例如在动作上的概率分布)，而批评者(Critic)对应于值函数(关于如何评估动作的表现)。对于训练阶段，可以通过优势函数来计算累积奖励，学习网络(即智能体)可以依据其进行训练，从而可以学习和更新策略函数和值函数，这在A3C架构中是众所周知的，在此不再赘述。
图2示出了根据本公开的实施例的用于生成对象的中心线的DRL网络200的结构的示例，特别是关于如何针对独立追踪步骤(一个时间步)从当前图像块204追踪下一个图像块(预期属于中心线)。如上所述，可以迭代执行如图2所示的一个时间步的操作，直到达到最大局(episode)长度，并且可以通过追踪的图像块序列来生成中心线。
如图2所示，DRL网络200的架构包括编码器201，其接收包含对象的图像。作为示例，编码器201可以是任何卷积神经网络(CNN)架构。图像可以由成像装置获取。该图像可以是2D图像、3D图像或4D图像。可以通过各种成像方式直接获取图像，例如但不限于CT、数字减影血管造影(DSA)、MRI、功能性MRI、动态对比度增强MRI、扩散MRI、螺旋CT、锥束计算机断层显像(CBCT)、正电子发射断层显像(PET)、单光子发射计算机断层显像(SPECT)、X射线成像、光学断层显像、荧光成像、超声成像、放射治疗射野成像，或基于通过图像装置获取的原始图像进行重建来获取。例如，可以通过基于在两个不同投影方向上的血管DSA图像的重建来获得3D血管体积图像。技术术语“获取”或其变体是指直接或间接获得的任何方式，可进行或不进行额外图像处理(降噪、裁剪、重建等)，并且所获取的图像作为输入图像被接收到DRL网络。
如图2所示，根据实施例的DRL网络200的架构还包括跟随编码器201的第一学习网络202和第二学习网络203。策略函数(π)和值函数(V)是DRL网络200的输出，共享所有中间表示，两者均是从模型的最顶部使用分立的输出层(例如，线性层)来计算的。为了便于说明，以下将全连接层用作输出层，但是输出层也可以采用其他设计。
在图2中，作为示例，第一全连接层210级联到第二学习网络的主要部分203'的末端并输出策略函数，第二全连接层211级联到第二学习网络的主要部分203'的末端并输出值函数。在下文中，第二学习网络的主要部分203'连同输出层(例如，第一全连接层210和第二全连接层211)一起构成第二学习网络203。
第一全连接层210和第二全连接层211包括多个节点，每个节点都连接到第二学习网络的主要部分203'的各个节点。通过最大化累积奖励来训练第一学习网络202和第二学习网络203，以便在给定状态观察(st)的情况下学习策略函数和值函数。在一些实施例中，通过第(t-1)个(t为大于1的整数)追踪步骤执行的动作而获得的图像块的强度可以用作状态观察值(st)。
第一学习网络202和第二学习网络203(或第二学习网络的主要部分203')可以是多层感知器(MLP)层或层叠的递归神经网络(RNN)层。可以将层叠的RNN添加到网络架构中，以便考虑沿中心线的上下文信息。实际上，RNN结构在产生当前决策时可能会考虑历史状态。增加层叠的RNN可以反映中心线上的点之间的空间依赖关系，从而改善中心线的追踪。
图3示出了根据本公开的另一实施例的用于生成对象的中心线的DRL网络300的架构。在图3中，DRL网络300的架构包括编码器301，其接收包含对象的图像，接着是第一学习网络302和第二学习网络303，第一全连接层310级联到第二学习网络的主要部分303'并输出策略函数作为DRL网络300的输出，以及第二全连接层311级联到第二学习网络的主要部分303'并输出值函数作为DRL网络300的另一输出。
根据该实施例，第二学习网络303的输入是由编码器301的输出、第一学习网络302的输出和附加输入构成的连接向量。本实施例的DRL网络300的架构在其他方面类似于图2的实施例。附加输入可以是第(t-1)步的奖励rt-1，第(t-1)步的动作at-1，第t步的追踪速度vt等，等等，将在下面详细描述。其中，联合奖励函数包括点到曲线的距离，该距离用于测量从状态到状态的转换的效果，以及强度的相似度，例如智能体的当前位置与下一位置之间的强度(差)的平均积分，该联合奖励函数可以用作第(t-1)步的奖励函数。点到曲线的距离可以指示当前图像块的位置与对象的中心线之间的距离，并且可以被最小化以最大化当前图像块(或当前步骤)的奖励。可以使用任何用于计算点到曲线距离的函数。作为示例，从图像块中的采样点到最近的中心线上的采样点的平均距离可以被计算作为点到曲线距离，以测量图像块和中心线之间的距离。可以最大化图像的当前图像块和下一个图像块之间的强度相似度，以便最大化当前图像块的奖励。作为示例，可以计算图像的当前图像块与下一图像块之间的强度(差)的平均积分。由于对于各个图像块都使用联合奖励函数，因此图像块的拓扑结构尽可能紧密地与对象的中心线匹配。可以预期和使用其他附加输入。
图4示出了根据本公开的另一实施例的用于生成对象的中心线的DRL网络400的架构。图4所示的架构与图3所示的架构的不同之处在于，考虑了三个附加的辅助任务：分叉检测、端点检测和环路检测。分叉检测任务涉及识别分叉。该辅助任务旨在改善分叉处的轨迹规划，并保持沿所有分叉分支追踪。端点检测任务直接检测树的端点，并且训练了智能体以预测当前位置是否是端点以便停止追踪。环路检测任务直接从追踪轨迹中检测环路闭合，并且对智能体进行训练以预测当前位置是否先前已被访问过。全连接层312、313、314被级联到第二学习网络的主要部分403'，并分别输出分叉、端点和环路的检测结果。如图4所示，第二学习网络403具有5个输出层，例如，全连接层410，411，412，413和414，分别用于输出策略函数、值函数、分叉检测结果、端点检测结果和环路检测结果。可以通过最大化累积奖励同时最小化这些检测分叉、端点和环路闭合的辅助损失的方式来训练DRL网络400。
图5示出了根据本公开的实施例的用于生成对象的中心线的过程的流程图。如图5所示，生成对象的中心线的过程始于在步骤S10接收包含该对象的图像，然后进行到步骤S20，通过追踪图像块序列来生成对象的中心线。在步骤S20通过追踪图像块序列生成对象的中心线的步骤包括，对于除初始图像块之外的各个图像块：在步骤S200，基于前一个图像块的位置和动作来追踪当前图像块；在步骤S210，基于当前图像块利用学习网络输出策略函数和值函数；在步骤S220，通过使累积奖励最大化来学习策略函数和值函数；以及在步骤S230，确定当前图像块的动作。特别地，学习网络可以包括编码器后跟第一学习网络和第二学习网络。作为示例，学习/训练步骤S220可以离线或在线执行。在一些实施例中，在预测阶段期间，可以不执行步骤S220。而是可以离线地训练学习网络，因此，在步骤S210，可以借助于已训练好的学习网络基于当前图像块来确定策略函数和值函数。在一些实施例中，对于一局，各个图像块(各个步骤)可以共享相同的学习网络，该学习网络的参数已经通过训练确定。
在一些实施例中，借助于训练好的学习网络基于当前图像块输出策略函数和值函数包括以下步骤：利用编码器201、302、401基于当前图像块确定第一向量，利用第一学习网络202、302、402基于第一向量确定第二向量，并利用第二学习网络203、303、403中的各个，基于通过将第一向量、第二向量和附加输入连接而获得的向量，来输出策略函数和值函数，该附加输入例如包括前一个图像块的奖励和动作。
在一些实施例中，附加输入包括前一个图像块的奖励和动作以及当前图像块的追踪速度。
在一些实施例中，可以通过最大化(例如一局内的)累积奖励并最小化检测分叉、端点和环路闭合的辅助损失来训练学习网络。
在一些实施例中，分别从级联到先前的学习网络(例如第二学习网络的主要部分203'、303'、403')的各个全连接层410、411、412、413、414输出策略函数和值函数以及分叉、端点和环路闭合的检测结果，如图2至图4所示。
在一些实施例中，每个图像块的奖励可以结合点到曲线的距离以及当前图像块和下一个图像块之间的强度的相似度，并且点到曲线的距离表示当前图像块的位置与对象的中心线之间的距离。以这种方式，可以禁止追踪的图像块偏离中心线。此外，可考虑位于中心线上的图像块的纹理(或强度分布)相似度，以进一步提高追踪精度。
在一些实施例中，初始图像块可以被预设和选择。追踪图像块序列的步骤以终止状态或达到最大局长度结束。智能体的参数以Θ表示。Θ的梯度从行为者-批评者的输出反向传播到较低级别的层。以这种方式，可以以端到端的方式训练智能体。
在一些实施例中，图像包括3D图像，并且动作空间包括六个动作。如上所述，六个动作包括左、右、上、下、前和后。此时，图像可以是3D图像。追踪的对象中心线可以以3D模式呈现给用户。
根据一些实施例，编码器可以是卷积神经网络，并且第一学习网络和第二学习网络都可以是RNN。RNN网络可能是长短期记忆(LSTM)、门控递归单元(GRU)、卷积门控递归单元(CGRU)或卷积长短期记忆(CLSTM)。
根据各个实施例的基于DRL的方法通常包括两个阶段，训练阶段和预测阶段，并且通过智能体与环境的交互来学习策略函数和值函数。与其他深度学习网络的传统的监督学习和无监督学习不同，强化学习可以通过奖励间接地考虑地面真值(ground truth)。作为示例，各个图像块的奖励可以结合点到曲线的距离，该点到曲线的距离表示当前图像块的位置与对象的地面真值中心线之间的距离。
训练阶段可以是离线过程，在此过程中，可以组成利用地面真值标注的训练数据的数据库。给定3D体积图像和地面真值血管中心线点的列表，可以学习智能体的追踪模型，以通过最佳轨迹追踪中心线。批量归一化、熵正则化兼容性等方法也可用于稳定和改进训练。预测阶段可以是在线过程。对于看不见的测试样本，将例如在血管根处的起点提供给系统。如果智能体移出体积，或形成循环，即移至先前已经访问过的位置，则中心线追踪过程停止。
接下来，可以参考图6详细描述用于中心线追踪和/或生成的训练阶段和预测阶段，图6示出了包括训练阶段和预测阶段的中心线追踪系统600的实施方式的概要。如所示，中心线追踪系统600可以包括中心线追踪模型训练单元602和中心线追踪预测单元604。中心线追踪模型训练单元602从训练图像数据库601获取训练图像作为地面真值以训练中心线追踪模型，作为结果，将训练好的中心线追踪模型输出到中心线追踪预测单元604。中心线追踪预测单元604通信地耦合到图像块提取单元603，图像块提取单元603可以从医学图像数据库606中的医学图像中提取一个或多个图像块，然后中心线追踪预测单元604可以通过追踪图像块序列来预测对象的中心线，最终生成对象的中心线作为预测结果。根据本公开的实施例，可以通过在模型的训练期间最大化累积奖励来学习如上所述的策略函数和值函数。通过使用训练数据进行迭代训练后，可以获得训练好的中心线追踪模型，特别是可以优化学习网络的参数。在一些实施例中，中心线追踪预测单元604可以经由网络605通信地耦合到训练图像数据库601。以这种方式，由中心线追踪预测单元604获得的中心线的预测结果，特别是标记有中心线的医学图像，在放射科医生或临床医生确认后，可以将其作为训练样本反馈到训练图像数据库601。由此，可以扩展训练图像数据库601。
图7示出了根据本公开的实施例的示例性中心线生成系统700的框图。中心线生成系统700可以包括网络接口707，中心线生成系统700(或者其中的中心线生成装置，指的是除网络接口707以外的其他组件)可以通过网络接口707连接到网络(未示出)，例如但不限于医院中的局域网或因特网。网络可以将中心线生成系统700与诸如图像获取装置(未示出)、医学图像数据库708和图像数据存储装置709之类的外部装置连接。图像获取装置可以使用任何类型的成像模态，例如但不限于CT，数字减影血管造影(DSA)，MRI，功能性MRI，动态对比度增强MRI，扩散MRI，螺旋CT，锥束计算机断层显像(CBCT)，正电子发射断层显像(PET)，单光子发射计算断层显像(SPECT)，X射线，光学断层显像，荧光成像，超声成像，放射治疗射野成像。
在一些实施例中，中心线生成系统700可以是专用智能装置或通用智能装置。例如，系统700可以采用针对图像数据获取和图像数据处理任务而定制的计算机，或者在云端的服务器。例如，系统700可以被集成到图像采集装置中。
中心线生成系统700可以包括图像处理器701和存储器704，并且可以另外包括输入/输出702和图像显示器703中的至少一个。
图像处理器701可以是包括一个或多个通用处理装置的处理装置，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地说，图像处理器701可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。图像处理器701也可以是一个或多个专用处理装置，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。如本领域技术人员将理解的，在一些实施例中，图像处理器701可以是专用处理器，而不是通用处理器。图像处理器701可以包括一个或多个已知的处理装置，例如由IntelTM制造的PentiumTM，CoreTM，XeonTM或系列的微处理器，AMDTM制造的TurionTM，AthlonTM，SempronTM，OpteronTM，FXTM，PhenomTM系列或Sun Microsystems制造的各种处理器中的任何一种。图像处理器701还可以包括图形处理单元，诸如来自NvidiaTM制造的/>由/>系列的GPU，由IntelTM制造的GMA，IrisTM系列的GPU，或由AMDTM制造的RadeonTM系列的GPU。图像处理器701还可包括加速处理单元，诸如AMDTM制造的Desktop A-4(6,6)系列，IntelTM制造的Xeon PhiTM系列，等等。所公开的实施例不限于另外配置为满足接收、识别、分析，维护、生成和/或提供大量成像数据或操纵这样的成像数据以执行与公开的实施例一致的以下操作的计算需求的任何类型的处理器或处理器电路：通过利用训练好的第一学习网络和第二学习网络基于输入图像追踪图像块序列来生成对象的中心线，并对于除预先设置或选择的初始图像块以外的各个图像块，基于前一个图像块的位置和动作来追踪当前图像块，基于当前图像块利用第一和第二学习网络来输出策略函数和值函数，通过最大化累积奖励来学习策略函数和值函数，并确定当前图像块的动作。另外，术语“处理器”或“图像处理器”可以包括一个以上处理器，例如，多核设计或每个都具有多核设计的多个处理器。图像处理器701可执行存储在存储器704中的计算机程序指令的序列，以执行本文公开的各种操作、过程、方法。
图像处理器701可以通信地耦合到存储器704，并且被配置为执行存储在其中的计算机可执行指令以执行如上所述的方法的步骤。存储器704可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM之类的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器等)等，计算机可执行指令以任何格式存储在其上。在一些实施例中，存储器704可以存储一个或多个图像处理程序705的计算机可执行指令。计算机程序指令可以由图像处理器701访问，从ROM或任何其他合适的存储位置读取，并加载到RAM中以供图像处理器701来执行。例如，存储器704可以存储一个或多个软件应用程序。存储在存储器704中的软件应用程序可以包括例如用于通用计算机系统以及用于软控制装置的操作系统(未示出)。
此外，存储器704可以存储整个软件应用程序或者仅一部分软件应用程序(例如，图像处理程序705)以便能够由图像处理器701执行。另外，存储器704可以存储多个软件模块，用于实现根据本公开的用于生成图像中的对象的中心线的方法或用于训练学习网络的过程的各个步骤。例如，编码器201、301、401，第一学习网络202、302、402和第二学习网络203、303、403(如图2-4所示)可以被实现为存储在存储器704上的软件模块。
此外，存储器704可以存储在执行计算机程序时生成/缓冲的数据，例如医学图像数据706，包括从图像采集装置、医学图像数据库708、图像数据存储装置709等发送的医学图像。在一些实施例中，医学图像数据706可以包括从图像采集装置接收的、要由图像处理程序705处理的图像，并且可以包括在执行生成对象中心线和/或训练学习网络的方法期间生成的医学图像数据。
此外，图像处理器701可以执行图像处理程序705以实现用于生成对象的中心线的方法。以这种方式，每个在线中心线生成过程可以生成一条新的训练数据以更新医学图像数据706。图像处理器701可以以在线方式训练第一和第二学习网络以更新当前的学习网络中的现有参数(例如，权重)。在一些实施例中，训练好的学习网络的更新的参数可以存储在医学图像数据706中，然后可以在下一中心线生成中用于同一患者的同一对象。因此，如果图像处理器701确定中心线生成系统700已经针对当前患者的同一对象执行过中心线生成，则用于中心线生成的最近更新的学习网络可以被调用并直接使用。
在一些实施例中，图像处理器701在执行在线中心线生成过程时，可以将输入图像与对象的自动(或半自动)生成的中心线关联在一起，作为用于呈现和/或传输的医学图像数据706。在一些实施例中，输入图像连同所生成的中心线可以被显示在图像显示器703上以供用户查看。在一些实施例中，通过将输入图像与所生成的中心线相关联的医学图像数据可以被传输到医学图像数据库708，以便在需要时被其他医学装置访问、获得和利用。
在一些实施例中，可以提供图像数据存储装置709以与医学图像数据库708交换图像数据，并且存储器704可以与医学图像数据库708通信以获得当前患者的图像。例如，图像数据存储装置709可以驻留在其他医学图像采集装置中，例如对患者执行扫描的CT。关于对象(例如血管)的患者的切片可以被传输、重建为体积图像并保存到医学图像数据库708中，并且中心线生成系统700可以从医学图像数据库708中取得对象的体积图像，并生成体积图像中的对象的中心线。
在一些实施例中，存储器704可以与医学图像数据库708进行通信，以将与所生成的中心线相关联的输入图像作为一条标注地面真值的训练数据发送并保存到医学图像数据库708中，该标注地面真值的训练数据可以如上所述用于训练。
例如，图像显示器703可以是LCD、CRT或LED显示器。
输入/输出702可以被配置为允许中心线生成系统700接收和/或发送数据。输入/输出702可以包括一个或多个数字和/或模拟通信装置，其允许系统700与用户或其他机器和装置进行通信。例如，输入/输出702可以包括允许用户提供输入的键盘和鼠标。
在一些实施例中，图像显示器703可以呈现用户界面，从而使得用户可以通过输入/输出702以及用户界面来方便且直观地校正(例如，编辑，移动，修改，等)自动生成的对象中心线。
网络接口707可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 6.0、闪电、例如Wi-Fi适配器的无线网络适配器、电信(4G/LTE、5G、6G或更高版本等)适配器。系统700可以通过网络接口707连接到网络。网络可以通过当前使用或将来开发的各种通信协议提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础架构即服务等)、客户端服务器、广域网(WAN)等的功能。
本文描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。此类内容可以是可以直接执行的源代码或差分代码(“增量”或“补丁”代码)(“对象”或“可执行”形式)。软件代码或指令可以存储在计算机可读存储介质中，并且在被执行时，可以使机器执行所描述的功能或操作，并且包括以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机制，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置等)。
本文描述的示例性方法可以至少部分地由机器或计算机实现。一些示例可以包括编码有指令的非暂时性计算机可读介质或机器可读介质，所述指令可操作以配置电子装置来执行如以上示例中所述的方法。这样的方法的实现可以包括软件代码，例如微代码、汇编语言代码、高级语言代码等。可以使用各种软件编程技术来创建各种程序或程序模块。例如，程序部分或程序模块可以用或借助Java、Python、C、C++、汇编语言或任何已知的编程语言来设计。可以将这样的软件部分或模块中的一个或多个集成到计算机系统和/或计算机可读介质中。这样的软件代码可以包括用于执行各种方法的计算机可读指令。该软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在示例中，软件代码可以有形地存储在一个或多个易失性，非暂时性或非易失性有形计算机可读介质上，例如在执行期间或在其他时间。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如光盘和数字视频盘)、盒式磁带、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。
此外，尽管本文已经描述了说明性实施例，但是范围包括具有基于本公开的等同要素、修改、省略、组合(例如，跨各个实施例中的方面的组合)、改编或变更的任何和所有实施例。权利要求中的元素将基于权利要求中使用的语言来广泛地解释，并且不限于本说明书中或在本申请审查期间描述的示例。此外，可以以任何方式修改所公开的方法的步骤，包括通过重新排序步骤或插入或删除步骤。因此，旨在将描述仅视为示例，真正的范围由所附权利要求及其等同的全部范围来表明。

Claims (17)

1.一种用于生成对象的中心线的计算机实现的方法，包括：
接收包含所述对象的图像，其中，所述图像是由成像装置获取的；以及
通过处理器追踪图像块序列来生成所述对象的中心线，包括设置初始图像块，并且对于除初始图像块之外的各个图像块：
根据前一个图像块的位置，从前一个图像块执行决定的动作来追踪当前图像块；
基于当前图像块利用训练好的DRL网络输出策略函数和值函数，所述DRL网络包括编码器后跟第一学习网络和第二学习网络，其中，所述DRL网络通过最大化累积奖励来训练；以及
基于输出的策略函数和值函数确定当前图像块的动作，
基于当前图像块利用训练好的DRL网络输出策略函数和值函数包括：
基于当前图像块利用所述编码器确定第一向量；
基于所述第一向量利用所述第一学习网络确定第二向量；以及
基于将第一向量、第二向量和附加输入连接而获得的向量利用所述第二学习网络来输出策略函数和值函数，所述附加输入至少包括前一个图像块的奖励和动作。
2.根据权利要求1所述的方法，其特征在于，所述附加输入包括前一个图像块的奖励和动作以及当前图像块的追踪速度。
3.根据权利要求1所述的方法，其特征在于，所述DRL网络通过最大化累积奖励并且最小化检测分叉、端点和环路闭合的辅助损失来训练。
4.根据权利要求3所述的方法，其特征在于，利用在所述第二学习网络的末端的分立的全连接层，分别输出所述策略函数和所述值函数以及所述分叉、端点和环路闭合的检测结果。
5.根据权利要求1所述的方法，其特征在于，每个图像块的奖励结合了点到曲线的距离以及当前图像块和下一个图像块之间的强度的相似度，并且所述点到曲线的距离表示当前图像块的位置与对象的中心线之间的距离。
6.根据权利要求1所述的方法，其特征在于，所述初始图像块是预先设定的，并且追踪图像块序列的步骤以终止状态结束或在达到最大局长度而结束。
7.根据权利要求1所述的方法，其特征在于，所述图像包括3D图像，并且所述动作的空间包括六个动作。
8.根据权利要求1所述的方法，其特征在于，所述编码器是卷积神经网络，并且所述第一学习网络和所述第二学习网络都是递归神经网络。
9.一种用于生成对象的中心线的系统，包括：
接口，被配置为接收包含所述对象的图像，其中，所述图像是由成像装置获取的；以及
处理器，被配置为：
通过追踪图像块序列来生成对象的中心线，包括设置初始图像块，并且对于除初始图像块之外的各个图像块：
根据前一个图像块的位置，从前一个图像块执行决定的动作来追踪当前图像块；
基于当前图像块利用训练好的DRL网络输出策略函数和值函数，所述DRL网络包括编码器后跟第一学习网络和第二学习网络，其中，所述DRL网络通过最大化累积奖励来训练；以及
基于输出的策略函数和值函数确定当前图像块的动作，
所述处理器还被配置为：
基于当前图像块利用编码器确定第一向量，
基于所述第一向量利用所述第一学习网络确定第二向量，以及
基于将第一向量、第二向量和附加输入连接而获得的向量利用所述第二学习网络来输出策略函数和值函数，所述附加输入至少包括前一个图像块的奖励和动作。
10.根据权利要求9所述的系统，其特征在于，所述附加输入包括前一个图像块的奖励和动作以及当前图像块的追踪速度。
11.根据权利要求9所述的系统，其特征在于，所述处理器还被配置为通过最大化累积奖励并且最小化检测分叉、端点和环路闭合的辅助损失来训练所述DRL网络。
12.根据权利要求11所述的系统，其特征在于，所述策略函数和所述值函数以及所述分叉、端点和环路闭合的检测结果利用在所述第二学习网络的末端的分立的全连接层分别输出。
13.根据权利要求9所述的系统，其特征在于，每个图像块的奖励结合了点到曲线的距离以及当前图像块和下一个图像块之间的强度的相似度，并且所述点到曲线的距离表示当前图像块的位置与对象的中心线之间的距离。
14.根据权利要求9所述的系统，其特征在于，所述初始图像块是预先设定的，并且所述处理器被配置为在达到终止状态或最大局长度时结束对图像块序列的追踪。
15.根据权利要求9所述的系统，其特征在于，所述图像包括3D图像，并且所述动作的空间包括六个动作。
16.根据权利要求9所述的系统，其特征在于，所述编码器是卷积神经网络，并且所述第一学习网络和所述第二学习网络都是递归神经网络。
17.一种非暂时性的计算机可读介质，其中存储有指令，所述指令在由处理器执行时实施用于生成对象的中心线的方法，所述方法包括：
接收包含所述对象的图像，其中，所述图像是由成像装置获取的；以及
通过处理器追踪图像块序列来生成所述对象的中心线，包括设置初始图像块，并且对于除初始图像块之外的各个图像块：
根据前一个图像块的位置，从前一个图像块执行决定的动作来追踪当前图像块；
基于当前图像块利用训练好的DRL网络输出策略函数和值函数，所述DRL网络包括编码器后跟第一学习网络和第二学习网络，其中，所述DRL网络通过最大化累积奖励来训练；以及
基于输出的策略函数和值函数确定当前图像块的动作，
所述方法还包括：
基于当前图像块利用编码器确定第一向量，
基于所述第一向量利用所述第一学习网络确定第二向量，以及
基于将第一向量、第二向量和附加输入连接而获得的向量利用所述第二学习网络来输出策略函数和值函数，所述附加输入至少包括前一个图像块的奖励和动作。
CN202010212978.XA 2019-03-26 2020-03-24 用于生成对象的中心线的方法和系统以及计算机可读介质 Active CN111429502B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962824240P 2019-03-26 2019-03-26
US62/824,240 2019-03-26

Publications (2)

Publication Number Publication Date
CN111429502A CN111429502A (zh) 2020-07-17
CN111429502B true CN111429502B (zh) 2024-03-22

Family

ID=71548609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010212978.XA Active CN111429502B (zh) 2019-03-26 2020-03-24 用于生成对象的中心线的方法和系统以及计算机可读介质

Country Status (2)

Country Link
US (2) US11308362B2 (zh)
CN (1) CN111429502B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308362B2 (en) 2019-03-26 2022-04-19 Shenzhen Keya Medical Technology Corporation Method and system for generating a centerline for an object, and computer readable medium
WO2021008697A1 (en) * 2019-07-17 2021-01-21 Siemens Healthcare Gmbh 3d vessel centerline reconstruction from 2d medical images
CN112329875B (zh) * 2020-11-16 2022-05-03 电子科技大学 一种基于连续吸引子网络的连续图像序列识别方法
CN113011587B (zh) * 2021-03-24 2022-05-10 支付宝(杭州)信息技术有限公司 一种隐私保护的模型训练方法和系统
CN114676635B (zh) * 2022-03-31 2022-11-11 香港中文大学（深圳） 一种基于强化学习的光学谐振腔反向设计和优化的方法
CN115588012B (zh) * 2022-12-13 2023-04-07 四川大学 一种盆骨动脉血管分割方法、系统、存储介质及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545269A (zh) * 2016-06-23 2018-01-05 西门子保健有限责任公司 使用递归神经网络进行血管疾病检测的方法和系统
WO2018083671A1 (en) * 2016-11-04 2018-05-11 Deepmind Technologies Limited Reinforcement learning with auxiliary tasks
CN108536144A (zh) * 2018-04-10 2018-09-14 上海理工大学 一种融合稠密卷积网络和竞争架构的路径规划方法
CN108830848A (zh) * 2018-05-25 2018-11-16 深圳科亚医疗科技有限公司 利用计算机确定血管上的血管状况参数的序列的装置和系统
CN109242099A (zh) * 2018-08-07 2019-01-18 中国科学院深圳先进技术研究院 强化学习网络的训练方法、装置、训练设备及存储介质
WO2019025270A1 (en) * 2017-08-01 2019-02-07 Siemens Healthcare Gmbh NON-INVASIVE EVALUATION AND THERAPY GUIDANCE FOR CORONAROPATHY IN DIFFUSE AND TANDEM INJURIES
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1709589B1 (en) * 2004-01-15 2013-01-16 Algotec Systems Ltd. Vessel centerline determination
US9087370B2 (en) * 2013-05-22 2015-07-21 Siemens Aktiengesellschaft Flow diverter detection in medical imaging
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10206646B2 (en) * 2016-03-10 2019-02-19 Siemens Healthcare Gmbh Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
EP4241694A3 (en) * 2016-05-16 2023-12-20 Cathworks Ltd. Selection of vascular paths from images
WO2018053187A1 (en) * 2016-09-15 2018-03-22 Google Inc. Deep reinforcement learning for robotic manipulation
JP7100627B2 (ja) * 2016-09-20 2022-07-13 ハートフロー， インコーポレイテッド 次数低減モデル及び／または機械学習を使用して血流特性を推定するためのシステム及び方法
US10467274B1 (en) * 2016-11-10 2019-11-05 Snap Inc. Deep reinforcement learning-based captioning with embedding reward
US10671076B1 (en) * 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10685438B2 (en) * 2017-07-17 2020-06-16 Siemens Healthcare Gmbh Automated measurement based on deep learning
US11589924B2 (en) * 2017-08-01 2023-02-28 Siemens Healthcare Gmbh Non-invasive assessment and therapy guidance for coronary artery disease in diffuse and tandem lesions
US10922409B2 (en) * 2018-04-10 2021-02-16 Microsoft Technology Licensing, Llc Deep reinforcement learning technologies for detecting malware
US10430949B1 (en) * 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
US10937549B2 (en) * 2018-05-22 2021-03-02 Shenzhen Keya Medical Technology Corporation Method and device for automatically predicting FFR based on images of vessel
EP3834138A1 (en) * 2018-09-27 2021-06-16 DeepMind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
US11062490B2 (en) * 2018-10-25 2021-07-13 The Board Of Trustees Of The Leland Stanford Junior University Reinforcement learning for online sampling trajectory optimization for magnetic resonance imaging
US11574148B2 (en) * 2018-11-05 2023-02-07 Royal Bank Of Canada System and method for deep reinforcement learning
US10955853B2 (en) * 2018-12-18 2021-03-23 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
US11308362B2 (en) * 2019-03-26 2022-04-19 Shenzhen Keya Medical Technology Corporation Method and system for generating a centerline for an object, and computer readable medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545269A (zh) * 2016-06-23 2018-01-05 西门子保健有限责任公司 使用递归神经网络进行血管疾病检测的方法和系统
WO2018083671A1 (en) * 2016-11-04 2018-05-11 Deepmind Technologies Limited Reinforcement learning with auxiliary tasks
WO2019025270A1 (en) * 2017-08-01 2019-02-07 Siemens Healthcare Gmbh NON-INVASIVE EVALUATION AND THERAPY GUIDANCE FOR CORONAROPATHY IN DIFFUSE AND TANDEM INJURIES
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及系统
CN108536144A (zh) * 2018-04-10 2018-09-14 上海理工大学 一种融合稠密卷积网络和竞争架构的路径规划方法
CN108830848A (zh) * 2018-05-25 2018-11-16 深圳科亚医疗科技有限公司 利用计算机确定血管上的血管状况参数的序列的装置和系统
CN109242099A (zh) * 2018-08-07 2019-01-18 中国科学院深圳先进技术研究院 强化学习网络的训练方法、装置、训练设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Moritz et al." Cascaded-CNN: Deep Learning to Predict Protein Backbone Structure from High-Resolution Cryo-EM Density Maps".2019,8-9页. *
Zhang P, Wang F, Zheng Y."Deep reinforcement learning for vessel centerline tracing in multi-modality 3D volumes".《MICCAI 2018》.2018,755-763页，图1. *

Also Published As

Publication number Publication date
US20220198226A1 (en) 2022-06-23
CN111429502A (zh) 2020-07-17
US20200311485A1 (en) 2020-10-01
US11308362B2 (en) 2022-04-19
US11847547B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
CN111429502B (zh) 用于生成对象的中心线的方法和系统以及计算机可读介质
US10258244B2 (en) Method and system for machine learning based assessment of fractional flow reserve
US11495357B2 (en) Method and device for automatically predicting FFR based on images of vessel
CN110998744A (zh) 针对弥漫性和串联性病变中冠状动脉疾病的非侵入性评估和治疗指导
US20230177677A1 (en) Method and system for performing vessel segmentation in a medical image
US11508460B2 (en) Method and system for anatomical tree structure analysis
CN111709925A (zh) 用于血管斑块分析的装置、系统及介质
CN109635876B (zh) 为生理树结构生成解剖标签的计算机实现的方法、装置和介质
CN110490927B (zh) 用于为图像中的对象生成中心线的方法、装置和系统
CN111476791B (zh) 图像处理方法、图像处理装置和非暂时性计算机可读介质
CN114119602B (zh) 对医学图像进行对象分析的方法、装置和存储介质
US20230037338A1 (en) Method and system for anatomical tree structure analysis
CN114596311B (zh) 基于血管图像的血管功能评估方法和血管功能评估装置
EP3564963A1 (en) System and methods for fast computation of computed tomography based fractional flow reserve
CN110599444B (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
Jiang et al. Ori-net: Orientation-guided neural network for automated coronary arteries segmentation
CN110070534B (zh) 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置
CN114419032B (zh) 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置
US20220198667A1 (en) Method and device for extracting blood vessel wall
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
CN114782443A (zh) 基于数据增强的动脉瘤风险评估的装置和存储介质
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
CN114711730A (zh) 由医学图像进行联合异常检测和生理状况估计的系统和方法
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
JP7408381B2 (ja) 画像処理装置、プログラム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant