CN117314939A - 血管分割智能体的训练方法、血管分割方法及相关产品 - Google Patents

血管分割智能体的训练方法、血管分割方法及相关产品 Download PDF

Info

Publication number
CN117314939A
CN117314939A CN202311609234.1A CN202311609234A CN117314939A CN 117314939 A CN117314939 A CN 117314939A CN 202311609234 A CN202311609234 A CN 202311609234A CN 117314939 A CN117314939 A CN 117314939A
Authority
CN
China
Prior art keywords
training
image
dimensional
trained
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311609234.1A
Other languages
English (en)
Other versions
CN117314939B (zh
Inventor
谢卫国
黄炳顶
李昊玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weide Precision Medical Technology Co ltd
Original Assignee
Shenzhen Weide Precision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weide Precision Medical Technology Co ltd filed Critical Shenzhen Weide Precision Medical Technology Co ltd
Priority to CN202311609234.1A priority Critical patent/CN117314939B/zh
Publication of CN117314939A publication Critical patent/CN117314939A/zh
Application granted granted Critical
Publication of CN117314939B publication Critical patent/CN117314939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种血管分割智能体的训练方法、血管分割方法及相关产品。该方法包括：获取待训练智能体、训练数据和训练数据的标签，训练数据包括训练三维CT图像和训练三维CT图像的血管预测概率图像，标签包括训练三维CT图像中的血管的位置；基于血管预测概率图像，确定待训练智能体的训练起始点；基于训练起始点，控制待训练智能体在训练三维空间内运动，得到待训练智能体在训练三维CT图像中的训练运动轨迹；基于训练运动轨迹与训练三维CT图像中的血管的位置，确定待训练智能体的奖励；基于奖励，更新待训练智能体的参数，得到目标智能体。

Description

血管分割智能体的训练方法、血管分割方法及相关产品
技术领域
本申请涉及医疗图像技术领域，尤其涉及一种血管分割智能体的训练方法、血管分割方法及相关产品。
背景技术
随着人工智能技术的快速发展，人工智能技术的应用越来越广，其中就包括通过模型对三维电子计算机断层扫描（computed tomography，CT）图像中的血管进行分割，以得到血管的分割结果。因此，如何训练得到可分割出单连通区域的血管的模型，具有非常重要的意义。
发明内容
本申请提供一种血管分割智能体的训练方法、血管分割方法及相关产品，以训练得到可分割出血管的智能体。
第一方面，提供了一种血管分割智能体的训练方法，所述训练方法包括：
获取待训练智能体、训练数据和所述训练数据的标签，所述训练数据包括训练三维CT图像和所述训练三维CT图像的血管预测概率图像，所述血管预测概率图像包括所述训练三维CT图像中的体素的语义为血管的概率，所述标签包括所述训练三维CT图像中的血管的位置；
基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，所述训练起始点为所述待训练智能体在训练三维空间内的起始点，所述训练三维空间为由所述训练三维CT图像确定的三维空间；
基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹；
基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励；
基于所述奖励，更新所述待训练智能体的参数，得到目标智能体。
结合本申请任一实施方式，所述基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹，包括：
获取训练感知范围，所述训练感知范围为所述待训练智能体在所述训练三维空间中的感知范围；
基于所述训练起始点和所述训练感知范围，确定所述待训练智能体在所述训练三维空间内的感知区域为训练感知区域，所述训练感知区域内的体素为训练体素；
利用所述待训练智能体对所述训练体素进行处理，确定所述待训练智能体的训练运动方向；
基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
结合本申请任一实施方式，所述基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹，包括：
确定所述训练三维空间内的体素的数量；
在所述待训练智能体的运动距离小于或等于所述数量的情况下，基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
结合本申请任一实施方式，所述基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励，包括：
计算所述训练运动轨迹与所述训练三维CT图像中的血管的位置的重合度；
在所述重合度与所述奖励呈正相关的情况下，根据所述重合度确定所述奖励。
结合本申请任一实施方式，所述基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，包括：
根据所述血管预测概率图像，确定体素的语义为血管的概率的最大值；
将所述最大值所对应的体素作为所述训练起始点。
结合本申请任一实施方式，所述训练感知范围的体积与所述训练三维空间的体积的比值小于或等于目标阈值。
结合本申请任一实施方式，所述血管为肾动脉。
第二方面，提供了一种血管分割方法，所述方法用于从三维CT图像中分割出血管，所述方法包括：
获取待分割三维CT图像，所述待分割三维CT图像包括血管；
获取根据第一方面及其任一实施方式训练得到的目标智能体；
利用所述目标智能体，对所述待分割三维CT图像进行处理，得到所述目标智能体在所述待分割三维CT图像中的目标运动轨迹；
将所述目标运动轨迹作为所述待分割三维CT图像中的血管的分割结果。
结合本申请任一实施方式，所述利用所述目标智能体，对所述待分割三维CT图像进行处理，得到所述目标智能体在所述待分割三维CT图像中的目标运动轨迹，包括：
确定由所述待分割三维CT图像确定的目标三维空间；
确定所述目标三维空间内的任意一点为所述目标智能体的目标起始点；
基于所述目标起始点和目标感知范围，确定所述目标智能体的目标感知区域，所述目标感知范围为所述目标智能体在所述目标三维空间内的感知范围，所述目标感知区域为所述目标智能体在所述目标三维空间内的感知区域；
利用所述目标智能体对所述目标感知区域内的目标体素进行处理，确定所述目标智能体的目标运动方向；
基于所述目标运动方向控制所述目标智能体运动，得到所述目标运动轨迹。
结合本申请任一实施方式，所述基于所述目标运动方向控制所述目标智能体运动，得到所述目标运动轨迹，包括：
获取所述目标智能体的目标运动步长；
基于所述目标运动方向和所述目标运动步长，控制所述目标智能体运动，得到所述目标运动轨迹。
结合本申请任一实施方式，所述目标感知范围的体积与所述目标三维空间的体积的比值小于或等于目标阈值。
第三方面，提供了一种血管分割智能体的训练装置，所述训练装置包括：
获取单元，用于获取待训练智能体、训练数据和所述训练数据的标签，所述训练数据包括训练三维CT图像和所述训练三维CT图像的血管预测概率图像，所述血管预测概率图像包括所述训练三维CT图像中的体素的语义为血管的概率，所述标签包括所述训练三维CT图像中的血管的位置；
确定单元，用于基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，所述训练起始点为所述待训练智能体在训练三维空间内的起始点，所述训练三维空间为由所述训练三维CT图像确定的三维空间；
控制单元，用于基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹；
所述确定单元，用于基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励；
更新单元，用于基于所述奖励，更新所述待训练智能体的参数，得到目标智能体。
结合本申请任一实施方式，所述控制单元，用于：
获取训练感知范围，所述训练感知范围为所述待训练智能体在所述训练三维空间中的感知范围；
基于所述训练起始点和所述训练感知范围，确定所述待训练智能体在所述训练三维空间内的感知区域为训练感知区域，所述训练感知区域内的体素为训练体素；
利用所述待训练智能体对所述训练体素进行处理，确定所述待训练智能体的训练运动方向；
基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
结合本申请任一实施方式，所述控制单元，用于：
确定所述训练三维空间内的体素的数量；
在所述待训练智能体的运动距离小于或等于所述数量的情况下，基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
结合本申请任一实施方式，所述确定单元，用于：
计算所述训练运动轨迹与所述训练三维CT图像中的血管的位置的重合度；
在所述重合度与所述奖励呈正相关的情况下，根据所述重合度确定所述奖励。
结合本申请任一实施方式，所述确定单元，用于：
根据所述血管预测概率图像，确定体素的语义为血管的概率的最大值；
将所述最大值所对应的体素作为所述训练起始点。
结合本申请任一实施方式，所述训练感知范围的体积与所述训练三维空间的体积的比值小于或等于目标阈值。
结合本申请任一实施方式，所述血管为肾动脉。
第四方面，提供了一种血管分割装置，所述分割装置用于从三维CT图像中分割出血管，所述分割装置包括：
获取单元，用于获取待分割三维CT图像，所述待分割三维CT图像包括血管；
所述获取单元，用于获取根据第一方面及其任一实施方式训练得到的目标智能体；
处理单元，用于利用所述目标智能体，对所述待分割三维CT图像进行处理，得到所述目标智能体在所述待分割三维CT图像中的目标运动轨迹；
所述处理单元，用于将所述目标运动轨迹作为所述待分割三维CT图像中的血管的分割结果。
结合本申请任一实施方式，所述处理单元，用于：
确定由所述待分割三维CT图像确定的目标三维空间；
确定所述目标三维空间内的任意一点为所述目标智能体的目标起始点；
基于所述目标起始点和目标感知范围，确定所述目标智能体的目标感知区域，所述目标感知范围为所述目标智能体在所述目标三维空间内的感知范围，所述目标感知区域为所述目标智能体在所述目标三维空间内的感知区域；
利用所述目标智能体对所述目标感知区域内的目标体素进行处理，确定所述目标智能体的目标运动方向；
基于所述目标运动方向控制所述目标智能体运动，得到所述目标运动轨迹。
结合本申请任一实施方式，所述处理单元，用于：
获取所述目标智能体的目标运动步长；
基于所述目标运动方向和所述目标运动步长，控制所述目标智能体运动，得到所述目标运动轨迹。
结合本申请任一实施方式，所述目标感知范围的体积与所述目标三维空间的体积的比值小于或等于目标阈值。
第五方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；
在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式；在所述处理器执行所述计算机指令的情况下，所述电子设备或者执行如上述第二方面及其任一实施方式。
第六方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；
在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式；在所述处理器执行所述计算机指令的情况下，所述电子设备或者执行如上述第二方面及其任一实施方式。
第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令；
在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式；在所述程序指令被处理器执行的情况下，或者使所述处理器或者执行如上述第二方面及其任一实施方式。
第八方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式；在所述程序指令被处理器执行的情况下，或者使所述处理器执行如上述第二方面及其任一实施方式。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
本申请中，训练数据包括训练三维CT图像和训练三维CT图像的血管预测概率图像，其中，血管预测概率图像包括训练三维CT图像中的体素的语义为血管的概率，标签包括训练三维CT图像中的血管的位置。训练装置在获取待训练智能体、训练数据和训练数据的标签后，基于血管预测概率图像，确定待训练智能体的训练起始点，这样，可提升训练起始点为血管所在的位置的概率。再基于训练起始点，控制待训练智能体在训练三维空间内运动，可得到待训练智能体在训练三维CT图像中的训练运动轨迹，该训练运动轨迹即为待训练智能体从训练三维CT图像中分割出的血管，而且由于待训练智能体的训练运动轨迹为连续轨迹，待训练智能体从训练三维CT图像中分割出的血管也为连续的，即通过待训练智能体从训练三维CT图像中分割出来的血管区域为单连通区域。训练装置在得到训练运动轨迹后，可基于训练运动轨迹与训练三维CT图像中的血管的位置，确定待训练智能体的奖励，最后基于奖励，更新待训练智能体的参数，可得到目标智能体，这样，目标智能体具备从三维CT图像中分割出血管的能力，而且目标智能体所分割出来的血管区域为单连通区域。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种血管分割智能体的训练方法的流程示意图；
图2为本申请实施例提供的一种通过强化学习对智能体进行训练的示意图；
图3为本申请实施例提供的一种得到肾动脉预测概率图像的示意图；
图4为本申请实施例提供的一种智能体的动作的示意图；
图5为本申请实施例提供的一种控制待训练智能体运动得到训练运动轨迹的示意图；
图6a为本申请实施例提供的一种标签所指示的肾动脉的示意图；
图6b为本申请实施例提供的一种通过传统方法分割出来的肾动脉的示意图；
图6c为本申请实施例提供的一种通过目标智能体分割出来的肾动脉的示意图；
图7为本申请实施例提供的另一种血管分割智能体的训练方法的流程示意图；
图8为本申请实施例提供的又一种血管分割智能体的训练方法的流程示意图；
图9为本申请实施例提供的一种血管分割方法的流程示意图；
图10为本申请实施例提供的一种血管分割智能体的训练装置的结构示意图；
图11为本申请实施例提供的一种血管分割装置的结构示意图；
图12为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上，“至少两个（项）”是指两个或三个及三个以上。
本申请实施例包括血管分割智能体的训练方法和血管分割方法，其中，血管分割智能体的训练方法用于训练得到可用于分割三维CT图像中的血管的智能体。血管分割智能体的训练方法的执行主体为血管分割智能体的训练装置（下文简称为训练装置），其中，训练装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的，训练装置可以是以下中的一种：计算机、服务器。
应理解，本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1，图1是本申请实施例提供的一种血管分割智能体的训练方法的流程示意图。
101、获取待训练智能体、训练数据和上述训练数据的标签。
本申请实施例中，智能体（包括上述待训练智能体和下文将要提及的目标智能体）是指驻留在某一环境下，能持续自主地发挥作用，具备驻留性、反应性、社会性、主动性等特征的计算实体。智能体具备参数，通过对待训练智能体进行训练，可改变待训练智能体的参数，进而使待训练智能体具备执行某种任务的能力。例如，通过对待训练智能体进行训练，可使待训练智能体具备从三维CT图像中分割出血管的能力。在一种可能实现的方式中，可通过强化学习对智能体进行训练。例如，图2为本申请实施例提供的一种通过强化学习对智能体进行训练的示意图，如图2所示，强化学习是智能体通过与环境的交互，来优化智能体的参数的训练方法，其中，智能体与环境的交互包括：智能体基于环境的状态确定下一步的动作，并在环境中执行该动作。而在智能体在环境中执行该动作的情况下，环境将发生相应的改变，进而导致环境的状态发生改变。此外，在智能体在环境中执行该动作的情况下，基于智能体所执行的动作获得的结果的准确度，可确定智能体的奖励，进而可基于该奖励优化智能体的参数。
本申请实施例中，训练数据包括训练三维CT图像和训练三维CT图像的血管预测概率图像。训练三维CT图像为包括血管的三维CT图像，例如，通过对肾脏进行CT扫描，可得到多张包括肾脏的二维CT图像，然后基于多张包括肾脏的二维CT图像可得到包括肾脏的三维CT图像，并可将包括肾脏的三维CT图像作为训练三维CT图像。血管预测概率图像包括训练三维CT图像中的体素的语义为血管的概率，例如，训练三维CT图像包括体素a，若在血管预测概率图像中，体素a的概率为0.8，那么说明体素a的语义为血管的概率为0.8，也就是血管出现在体素a所在的位置的概率为0.8。
在一种可能实现的方式中，利用血管分割模型对训练三维CT图像进行处理，可得到血管预测概率图像，其中，血管分割模型为用于对三维CT图像中的血管进行分割的模型。例如，在血管为肾动脉的情况下，血管预测概率图像为肾动脉预测概率图像，图3为本申请实施例提供的一种得到肾动脉预测概率图像的示意图。如图3所示，首先利用训练集对初始分割模型进行有监督训练，其中，训练集包括肾部三维CT图像和肾动脉人工标注，肾部三维CT图像为包括肾脏的三维CT图像，肾动脉人工标注是通过对肾部三维CT图像中的肾动脉进行人工标注得到的标注数据，有监督训练指在肾动脉人工标注的监督下，利用肾部三维CT图像对初始分割模型进行训练。在完成初始分割模型的训练后，利用训练后的初始分割模型，预测所有数据中的肾动脉，得到所有数据的肾动脉预测概率图像，其中，所有数据包括训练集和测试集，测试集包括与训练集中的肾部三维CT图像不同的肾部三维CT图像。具体来讲，利用训练后的初始分割模型预测训练集中的肾部三维CT图像中的肾动脉，得到训练集中的肾部三维CT图像的肾动脉预测概率图像，利用训练后的初始分割模型预测测试集中的肾部三维CT图像中的肾动脉，得到测试集中的肾部三维CT图像的肾动脉预测概率图像。
可选的，肾部三维CT图像为肾部的CT血管造影（CT angiography，CTA）图像。
本申请实施例中，标签包括训练三维CT图像中的血管的位置，标签为真值（groundtruth，GT），换句话说，血管在三维CT图像中的真实位置即为标签所指示的位置。可选的，标签通过对训练三维CT图像进行人工标注得到。
在一种获取待训练智能体的实现方式中，训练装置接收用户通过输入组件输入的待训练智能体，其中，输入组件包括：鼠标、键盘、触控屏、触控板、音频输入器。
在又一种获取待训练智能体的实现方式中，训练装置接收用户通过终端发送的待训练智能体，其中，终端包括：手机、电脑、平板电脑、智能可穿戴设备。
在一种获取训练数据的实现方式中，训练装置接收用户通过输入组件输入的训练数据。
在又一种获取训练数据的实现方式中，训练装置接收用户通过终端发送的训练数据。
在一种获取训练数据的标签的实现方式中，训练装置接收用户通过输入组件输入的训练数据的标签。
在又一种获取训练数据的标签的实现方式中，训练装置接收用户通过终端发送的训练数据的标签。
应理解，本申请实施例中，训练装置获取待训练智能体的步骤、获取训练的步骤、获取训练数据的标签的步骤，可以分开执行，也可以同时执行，本申请对此不做限定。
102、基于血管预测概率图像，确定上述待训练智能体的训练起始点。
本申请实施例中，训练起始点为待训练智能体在训练三维空间内的起始点，即待训练智能体在训练三维空间内从训练起始点开始运动。训练三维空间为由训练三维CT图像确定的三维空间，具体的，若训练三维CT图像的尺寸为W×H×D，其中，W为三维CT图像的宽（width），H为三维CT图像的高（height），D为三维CT图像的深度（depth），那么训练三维空间的长、宽、高分别与W、H、D对应。例如，训练三维空间的长为D，训练三维空间的宽为W，训练三维空间的高为H。
在一种可能实现的方式中，训练装置根据血管预测概率图像，确定体素的语义为血管的概率的最大值，训练装置将最大值所对应的体素作为训练起始点。例如，在血管预测概率图像中，体素a的语义为血管的概率为0.6、体素b的语义为血管的概率为0.9、体素c的语义为血管的概率为0.7，那么最大值为0.9，最大值所对应的体素为体素b，此时，体素b为训练起始点。可选的，在最大值的数量大于1的情况下，训练装置从最大值所对应的体素中任选一个作为训练起始点。
在该种实现方式中，训练装置在基于血管预测概率图像确定最大值后，通过将最大值所对应体素作为待训练智能体的训练起始点，可使待训练智能体能更快速的从训练三维CT图像中分割出血管，从而提升训练效率。
在另一种可能实现的方式中，训练装置根据血管预测概率图像，确定语义为血管的概率大于或等于起始阈值的体素为参考体素，训练装置将参考体素作为训练起始点。例如，在血管预测概率图像中，体素a的语义为血管的概率为0.6、体素b的语义为血管的概率为0.9、体素c的语义为血管的概率为0.7，若起始阈值为0.65，那么体素b和体素c均为参考体素，此时，训练装置可从体素b和体素c中任选一个作为训练起始点。
在该种实现方式中，训练装置在基于血管预测概率图像确定参考体素后，通过将参考体素作为待训练智能体的训练起始点，可使待训练智能体能更快速的从训练三维CT图像中分割出血管，从而提升训练效率。
103、基于上述训练起始点，控制上述待训练智能体在训练三维空间内运动，得到上述待训练智能体在训练三维CT图像中的训练运动轨迹。
在确定训练起始点后，待训练智能体可以训练起始点为起始点，在训练三维空间内进行运动，具体的，待训练智能体基于待训练智能体周围的体素，判断血管所在的位置，进而运动至血管所在的位置。
由于训练三维空间为由训练三维CT图像确定的三维空间，因此，待训练智能体在训练三维空间内的运动轨迹，即为待训练智能体在训练三维CT图像内的运动轨迹。本申请实施例中，将待训练智能体在训练三维CT图像中的运动轨迹称为训练运动轨迹。
如前文所述，待训练智能体是朝血管所在的位置运动的，因此，训练运动轨迹为待训练智能体从训练三维CT图像中分割出的血管，换句话说，训练轨迹为待训练智能体预测的血管在训练三维CT图像中的位置。
104、基于上述训练运动轨迹与上述训练三维CT图像中的血管的位置，确定上述待训练智能体的奖励。
如前文所述，训练三维CT图像中的血管的位置为血管的在训练三维CT图像中的真实位置，因此，训练装置可以训练三维CT图像中的血管的位置为参考，判断训练运动轨迹的准确度，换句话说，训练装置可以训练三维CT图像中的血管的位置为参考，判断待训练智能体预测的血管在训练三维CT图像中的位置的准确度。而待训练智能体的奖励，表征待训练智能体预测的血管在训练三维CT图像中的位置的准确度。因此，训练装置可基于训练运动轨迹与训练三维CT图像中的血管的位置，确定待训练智能体的奖励。
在一种可能实现的方式中，训练装置计算训练运动轨迹与训练三维CT图像中的血管的位置的重合度。在重合度与奖励呈正相关的情况下，根据重合度确定奖励。
在该种实现方式中，训练运动轨迹与训练三维CT图像中的血管的位置的重合度越高，说明待训练智能体预测的血管在训练三维CT图像中的位置的准确度越高，因此，在重合度与奖励呈正相关的情况下，可根据重合度确定奖励。
在另一种可能实现的方式中，训练装置基于训练运动轨迹与训练三维CT图像中的血管的位置的差异，确定待训练智能体的奖励，其中，差异与奖励呈负相关。
在该种实现方式中，训练运动轨迹与训练三维CT图像中的血管的位置的差异越大，说明待训练智能体预测的血管在训练三维CT图像中的位置的准确度越低，因此，在差异与奖励呈负相关的情况下，可基于重合度确定奖励。
105、基于上述奖励，更新上述待训练智能体的参数，得到目标智能体。
训练装置基于奖励，更新待训练智能体的参数，可使待训练智能体提升预测的血管在训练三维CT图像中的位置的准确度。通过更新待训练智能体的参数，即可目标智能体。
在一种可能实现的方式中，训练装置在基于奖励，更新待训练智能体的参数后，再次通过控制待训练智能体在训练三维空间内运动，得到训练运动轨迹，并再基于训练运动轨迹与训练三维CT图像中的血管的位置，确定是否继续训练待训练智能体。可选的，训练装置在训练运动轨迹与训练三维CT图像中的血管的位置的重合度大于或等于重合阈值的情况下，停止训练待训练智能体，并将待训练智能体作为目标智能体。训练装置在训练运动轨迹与训练三维CT图像中的血管的位置的重合度小于重合阈值的情况下，确定新的奖励，并基于新的奖励，继续更新待训练智能体的参数，直至训练运动轨迹与训练三维CT图像中的血管的位置的重合度大于或等于重合阈值，停止训练待训练智能体，并将待训练智能体作为目标智能体。
本申请实施例中，训练数据包括训练三维CT图像和训练三维CT图像的血管预测概率图像，其中，血管预测概率图像包括训练三维CT图像中的体素的语义为血管的概率，标签包括训练三维CT图像中的血管的位置。训练装置在获取待训练智能体、训练数据和训练数据的标签后，基于血管预测概率图像，确定待训练智能体的训练起始点，这样，可提升训练起始点为血管所在的位置的概率。再基于训练起始点，控制待训练智能体在训练三维空间内运动，可得到待训练智能体在训练三维CT图像中的训练运动轨迹，该训练运动轨迹即为待训练智能体从训练三维CT图像中分割出的血管，而且由于待训练智能体的训练运动轨迹为连续轨迹，待训练智能体从训练三维CT图像中分割出的血管也为连续的，即通过待训练智能体从训练三维CT图像中分割出来的血管区域为单连通区域。训练装置在得到训练运动轨迹后，可基于训练运动轨迹与训练三维CT图像中的血管的位置，确定待训练智能体的奖励，最后基于奖励，更新待训练智能体的参数，可得到目标智能体，这样，目标智能体具备从三维CT图像中分割出血管的能力，而且目标智能体所分割出来的血管区域为单连通区域。
作为一种可选的实施方式，训练装置在执行步骤103的过程中执行以下步骤：
201、获取训练感知范围。
本申请实施例中，训练感知范围为待训练智能体在训练三维空间中的感知范围，例如，感知范围为长10个体素、宽5个体素、高6个体素，那么待训练智能体可感知以自身为中心、长为10个体素、宽为5个体素、高为6个体素的空间内的体素。
在待训练智能体的运动过程中，待训练智能体可获取感知范围内的体素的信息，进而可基于感知范围内的体素的信息，确定下一步的动作，换句话说，待训练智能体可根据感知范围内的体素的信息，预测血管所在的位置。例如，图4为本申请实施例提供的一种智能体的动作的示意图，如图4所示，标注空间为训练三维空间，D、W、H分别为标注空间的长、宽、高，标注空间内的圆球为待训练智能体，待训练智能体的动作包括上、下、左、右、前、后，也就是说，待训练智能体的下一步动作为向上运动、向下运动、向左运动、向右运动、向前运动、向后运动中的一种。
在一种可能实现的方式中，训练感知范围的体积与训练三维空间的体积的比值小于或等于目标阈值。在该种实现方式中，训练感知范围的体积与训练三维空间的体积的比值小于或等于目标阈值，表征训练感知范围的体积远小于训练三维空间的体积，此时，待训练智能体能更好的通过感知范围内的体素的信息，预测血管在三维CT空间内位置。可选的，目标阈值为1/8000。
202、基于上述训练起始点和上述训练感知范围，确定上述待训练智能体在上述训练三维空间内的感知区域为训练感知区域。
本申请实施例中，训练三维空间即为待训练智能体所处的环境。训练起始点为待训练智能体在训练三维空间的起始点，因此，训练装置可基于训练起始点和训练感知范围，确定待训练智能体在训练三维空间内的感知区域，本申请实施例中，将待训练智能体在训练起始点时的感知区域称为训练感知区域，将训练感知区域内的体素为训练体素。应理解，训练感知区域即为待训练智能体从环境中获取的状态。
203、利用上述待训练智能体对上述训练体素进行处理，确定上述待训练智能体的训练运动方向。
待训练智能体基于训练体素的信息，可预测血管在训练三维空间内的位置，进而可确定待训练智能体的下一步运动方向，即为训练运动方向。可选的，训练装置利用待训练智能体对训练体素进行处理，确定待训练智能体的动作，进而根据动作确定训练运动方向。
204、基于上述训练运动方向控制上述待训练智能体运动，得到上述训练运动轨迹。
在一种可能实现的方式中，训练装置基于训练运动方向和预设的运动步长，控制待训练智能体运动，得到训练运动轨迹。可选的，预设的运动步长为1个体素。
在另一种可能实现的方式中，训练装置确定训练三维空间内的体素的数量，在待训练智能体的运动距离小于或等于数量的情况下，基于训练运动方向控制待训练智能体运动，得到训练运动轨迹。待训练智能体的运动距离小于或等于数量，可保证待训练智能体的训练运动轨迹具备覆盖训练三维空间内的所有体素的可能性。考虑到待训练智能体的训练运动轨迹可能存在重复的轨迹点，也就是待训练智能体运动至同一个体素的次数超过1，待训练智能体的运动距离小于或等于数量，可在保证待训练智能体的训练运动轨迹具备覆盖训练三维空间内的所有体素的可能性的情况下，尽可能减少训练运动轨迹中的重复的轨迹点的数量，进而提高得到训练运动轨迹的效率，从而提高待训练智能体的训练效率。
可选的，在待训练智能体的运动步长为1个体素的情况下，待训练智能体的最大运动步数为训练三维空间内的体素的数量，例如，训练三维空间内的体素的数量为10000，那么待训练智能体的最大运动步数为10000。
例如，图5为本申请实施例提供的一种控制待训练智能体运动得到训练运动轨迹的示意图。如图5所示， D、W、H分别为训练三维空间的长、宽、高，训练三维空间内的圆球为待训练智能体，d、w、h分别为待训练智能体的训练感知区域。训练三维空间内还包括血管，该血管即为待训练智能体的训练运动轨迹。图5示出了待训练智能体运动方向为向下和运动方向为向右的两个状态。
在该种实施方式中，训练装置在获取训练感知范围后，基于训练起始点和训练感知范围，确定待训练智能体在训练三维空间内的感知区域为训练感知区域。然后利用待训练智能体对训练感知区域内的训练体素进行处理，可预测血管在训练三维空间内的位置，由此可确定待训练智能体的训练运动方向，进而可基于训练运动方向控制待训练智能体运动，得到训练运动轨迹。
在一种可能实现的方式中，上述血管为肾动脉，此时，通过前文所述的方法训练得到的目标智能体具备从三维CT图像中分割出肾动脉的能力，而且相较于通过传统方法分割出来的肾动脉不是单连通区域，目标智能体所分割出来的肾动脉为单连通区域。例如，图6a为本申请实施例提供的一种标签所指示的肾动脉的示意图，图6b为本申请实施例提供的一种通过传统方法分割出来的肾动脉的示意图，图6c为本申请实施例提供的一种通过目标智能体分割出来的肾动脉的示意图。显然，图6a中的肾动脉和图6c中的肾动脉均为单连通区域，而图6b中的肾动脉不是单连通区域。应理解，在图6a、图6b、图6c中，血管均存在锯齿状的边界，该锯齿状的边界是由于图像中的像素的颗粒感致的，而不是血管实际的边界为锯齿状，也不是图像不清晰导致的。
请参阅图7，图7为本申请实施例提供的另一种血管分割智能体的训练方法的流程示意图。在图7所示的流程中，血管为肾动脉，如图7所示，首先将肾部三维CT图像、肾动脉预测概率图像、待标注智能体的标注图像，沿通道维度组合成大小为H×W×D×3的三通道四维图像，该四维图像即为待训练智能体所处的环境。可选的，肾部三维CT图像为肾部的CTA图像。肾部三维CT图像为包括肾脏的三维CT图像，肾动脉预测概率图像为包括肾部三维CT图像中体素的语义为肾动脉的概率的图像，待标注智能体的标注图像为包括待标注智能体的运动轨迹的图像。然后在待训练智能体所处的环境中，裁剪待训练智能体的感知范围得到状态图，该步骤的实现可参见步骤202的实现过程，其中，状态图即为步骤202中的训练感知区域。再将状态图输入待训练智能体，待训练智能体通过对状态图进行处理输出动作，该步骤的实现可参见步骤203的实现过程，具体的，待训练智能体对状态图内的训练体素进行处理，确定待训练智能体的动作。在图7所示的流程中，待训练智能体输出的动作为向上运动、向下运动、向左运动、向右运动、向前运动、向后运动这6种动作中的一种，也就是说，待训练智能体输出的动作的种类共6种。待训练智能体再将待训练智能体的动作反映为在标注图像上进行标注，具体的，待训练智能体根据输出的动作在待标注智能体的标注图像上进行运动，得到待训练智能体的训练运动轨迹，然后将训练运动轨迹作为标注图像内的标注。再基于待标注智能体的标注图像和肾动脉人工标注，计算得到奖励，其中，肾动脉人工标注是通过对肾部三维CT图像中的肾动脉进行人工标注得到的标注数据。基于待标注智能体的标注图像和肾动脉人工标注，计算得到奖励的实现过程，可参见步骤104的实现过程，具体的，待标注智能体的标注图像相当于步骤104中的训练运动轨迹，肾动脉人工标注相当于步骤104中的训练三维CT图像中的血管的位置。在得到待训练智能体的奖励后，可基于该奖励对待训练智能体进行更新参数，该步骤的实现过程可参见步骤105的实现过程。通过更新待训练智能体的参数，可完成待训练智能体的训练，得到目标智能体。
请参阅图8，图8为本申请实施例提供的又一种血管分割智能体的训练方法的流程示意图。在图8所示的流程中，血管为肾动脉，如图8所示，首先利用初始分割模型预测肾部CTA图像中的肾动脉，得到肾动脉预测概率图像，其中，肾部CTA图像为包括肾脏的CTA图像，初始分割模型用于预测肾部CTA图像中的肾动脉的模型。如图8所示，肾部CTA图像和肾动脉预测概率图像的尺寸均为：H×W×D。然后通过强化学习训练待训练智能体，具体的，利用肾部CTA图像和肾动脉预测概率图像，对待训练智能体进行训练。在对待训练智能体进行训练的过程中，待训练智能体进行N步标注，以在待训练智能体的标注图像内将肾部CTA图像内的肾动脉标注出来，进而使待标注智能体学习到从肾部CTA图像中分割出肾动脉的能力，其中，待训练智能体的标注图像的尺寸也为H×W×D。
可选的，在通过前文所述的血管分割智能体的训练方法训练得到用于分割肾部CTA图像内的肾动脉的目标智能体后，通过利用目标智能体对测试集进行处理，评估目标智能体对测试集中的肾动脉的分割效果，其中，测试集包括多张肾部CTA图像，评估结果可参见下表1。
表1
如表1所示，目标智能体通过对测试集中的肾动脉进行分割得到的分割结果，与测试集中的肾动脉的GT的相似度的平均值为0.791 ± 0.067，即相似度的平均值的处于（0.791－0.067）至（0.791+0.067）之间。可选的，相似度为戴斯（Dice）系数。目标智能体通过对测试集中的肾动脉进行分割得到的分割结果的召回率（recall）的平均值为0.776 ±0.124，即召回率的平均值的处于（0.776 － 0.124）至（0.776 + 0.124）之间。目标智能体通过对测试集中的肾动脉进行分割得到的分割结果的精准度（precision）的平均值为0.828 ± 0.076，即精准度的平均值的处于（0.828－0.076）至（0.828 + 0.076）之间。
请参阅图9，图9为本申请实施例提供的一种血管分割方法的流程示意图。血管分割方法用于从三维CT图像中分割出血管，血管分割方法的执行主体为血管分割装置，其中，血管分割装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的，训练装置可以是以下中的一种：计算机、服务器。
901、获取待分割三维CT图像。
本申请实施例中，待分割三维CT图像包括血管，在一种可能实现的方式中，待分割三维CT图像为包括肾脏的三维CT图像。
902、获取根据血管分割智能体的训练方法训练得到的目标智能体。
903、利用上述目标智能体，对上述待分割三维CT图像进行处理，得到上述目标智能体在上述待分割三维CT图像中的目标运动轨迹。
本申请实施例中，目标运动轨迹为目标智能体在上述待分割三维CT图像中的运动轨迹，即为目标智能体对待分割三维CT图像中的血管所在的位置的预测。
在一种可能实现的方式中，血管分割装置确定由待分割三维CT图像确定的目标三维空间，确定目标三维空间内的任意一点为目标智能体的目标起始点。基于目标起始点和目标感知范围，确定目标智能体的目标感知区域，其中，目标感知范围为目标智能体在目标三维空间内的感知范围，目标感知区域为目标智能体在目标三维空间内的感知区域。利用目标智能体对目标感知区域内的目标体素进行处理，确定目标智能体的目标运动方向。基于目标运动方向控制目标智能体运动，得到目标运动轨迹。
可选的，血管分割装置通过执行以下步骤得到目标运动轨迹：获取目标智能体的目标运动步长。基于目标运动方向和目标运动步长，控制目标智能体运动，得到目标运动轨迹。
可选的，目标感知范围的体积与目标三维空间的体积的比值小于或等于目标阈值。
904、将上述目标运动轨迹作为上述待分割三维CT图像中的血管的分割结果。
由于目标智能体的目标运动轨迹即为目标智能体预测的待分割三维CT图像内的血管所在的位置，因此，血管分割装置可将目标运动轨迹作为待分割三维CT图像中的血管的分割结果。
本申请实施例中，血管分割装置在获取待分割三维CT图像和目标智能体后，利用目标智能体，对待分割三维CT图像进行处理，可得到目标智能体在待分割三维CT图像中的目标运动轨迹，进而可将目标运动轨迹作为待分割三维CT图像中的血管的分割结果，进而可使分割结果中的血管为单连通区域，从而提高血管的分割结果的准确度。
在一种可能实现的方式中，血管为肾动脉，待分割三维CT图像为包括肾脏的三维CT图像。此时，通过目标智能体得到的待分割三维CT图像中的血管的分割结果，为待分割三维CT图像中的肾动脉的分割结果。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人授权，并且同时满足“明示同意”的要求。其中，个人信息处理可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图10，图10为本申请实施例提供的一种血管分割智能体的训练装置的结构示意图，该血管分割智能体的训练装置1包括获取单元11、确定单元12、控制单元13、更新单元14，具体的：
获取单元11，用于获取待训练智能体、训练数据和所述训练数据的标签，所述训练数据包括训练三维CT图像和所述训练三维CT图像的血管预测概率图像，所述血管预测概率图像包括所述训练三维CT图像中的体素的语义为血管的概率，所述标签包括所述训练三维CT图像中的血管的位置；
确定单元12，用于基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，所述训练起始点为所述待训练智能体在训练三维空间内的起始点，所述训练三维空间为由所述训练三维CT图像确定的三维空间；
控制单元13，用于基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹；
所述确定单元12，用于基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励；
更新单元14，用于基于所述奖励，更新所述待训练智能体的参数，得到目标智能体。
结合本申请任一实施方式，所述控制单元13，用于：
获取训练感知范围，所述训练感知范围为所述待训练智能体在所述训练三维空间中的感知范围；
基于所述训练起始点和所述训练感知范围，确定所述待训练智能体在所述训练三维空间内的感知区域为训练感知区域，所述训练感知区域内的体素为训练体素；
利用所述待训练智能体对所述训练体素进行处理，确定所述待训练智能体的训练运动方向；
基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
结合本申请任一实施方式，所述控制单元13，用于：
确定所述训练三维空间内的体素的数量；
在所述待训练智能体的运动距离小于或等于所述数量的情况下，基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
结合本申请任一实施方式，所述确定单元12，用于：
计算所述训练运动轨迹与所述训练三维CT图像中的血管的位置的重合度；
在所述重合度与所述奖励呈正相关的情况下，根据所述重合度确定所述奖励。
结合本申请任一实施方式，所述确定单元12，用于：
根据所述血管预测概率图像，确定体素的语义为血管的概率的最大值；
将所述最大值所对应的体素作为所述训练起始点。
结合本申请任一实施方式，所述训练感知范围的体积与所述训练三维空间的体积的比值小于或等于目标阈值。
结合本申请任一实施方式，所述血管为肾动脉。
本申请实施例中，训练数据包括训练三维CT图像和训练三维CT图像的血管预测概率图像，其中，血管预测概率图像包括训练三维CT图像中的体素的语义为血管的概率，标签包括训练三维CT图像中的血管的位置。训练装置在获取待训练智能体、训练数据和训练数据的标签后，基于血管预测概率图像，确定待训练智能体的训练起始点，这样，可提升训练起始点为血管所在的位置的概率。再基于训练起始点，控制待训练智能体在训练三维空间内运动，可得到待训练智能体在训练三维CT图像中的训练运动轨迹，该训练运动轨迹即为待训练智能体从训练三维CT图像中分割出的血管，而且由于待训练智能体的训练运动轨迹为连续轨迹，待训练智能体从训练三维CT图像中分割出的血管也为连续的，即通过待训练智能体从训练三维CT图像中分割出来的血管区域为单连通区域。训练装置在得到训练运动轨迹后，可基于训练运动轨迹与训练三维CT图像中的血管的位置，确定待训练智能体的奖励，最后基于奖励，更新待训练智能体的参数，可得到目标智能体，这样，目标智能体具备从三维CT图像中分割出血管的能力，而且目标智能体所分割出来的血管区域为单连通区域。
请参阅图11，图11为本申请实施例提供的一种血管分割装置的结构示意图，该血管分割装置2用于从三维CT图像中分割出血管，所述血管分割装置2包括获取单元21、处理单元22，具体的：
获取单元21，用于获取待分割三维CT图像，所述待分割三维CT图像包括血管；
所述获取单元21，用于获取根据第一方面及其任一实施方式训练得到的目标智能体；
处理单元22，用于利用所述目标智能体，对所述待分割三维CT图像进行处理，得到所述目标智能体在所述待分割三维CT图像中的目标运动轨迹；
所述处理单元22，用于将所述目标运动轨迹作为所述待分割三维CT图像中的血管的分割结果。
结合本申请任一实施方式，所述处理单元22，用于：
确定由所述待分割三维CT图像确定的目标三维空间；
确定所述目标三维空间内的任意一点为所述目标智能体的目标起始点；
基于所述目标起始点和目标感知范围，确定所述目标智能体的目标感知区域，所述目标感知范围为所述目标智能体在所述目标三维空间内的感知范围，所述目标感知区域为所述目标智能体在所述目标三维空间内的感知区域；
利用所述目标智能体对所述目标感知区域内的目标体素进行处理，确定所述目标智能体的目标运动方向；
基于所述目标运动方向控制所述目标智能体运动，得到所述目标运动轨迹。
结合本申请任一实施方式，所述处理单元22，用于：
获取所述目标智能体的目标运动步长；
基于所述目标运动方向和所述目标运动步长，控制所述目标智能体运动，得到所述目标运动轨迹。
结合本申请任一实施方式，所述目标感知范围的体积与所述目标三维空间的体积的比值小于或等于目标阈值。
本申请实施例中，血管分割装置在获取待分割三维CT图像和目标智能体后，利用目标智能体，对待分割三维CT图像进行处理，可得到目标智能体在待分割三维CT图像中的目标运动轨迹，进而可将目标运动轨迹作为待分割三维CT图像中的血管的分割结果，进而可使分割结果中的血管为单连通区域，从而提高血管的分割结果的准确度。
在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图12为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备3包括处理器31，存储器32。可选的，该电子设备3还包括输入装置33，输出装置34。该处理器31、存储器32、输入装置33和输出装置34通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器31可以是一个或多个图形处理器（graphics processing unit， GPU），在处理器31是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器31可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。
存储器32可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体（random accessmemory，RAM）、只读存储器（read-only memory，ROM）、可擦除可编程只读存储器（erasableprogrammable read only memory，EPROM）、或便携式只读存储器（compact disc read-only memory，CD-ROM），该存储器用于相关指令及数据。
输入装置33用于输入数据和/或信号，以及输出装置34用于输出数据和/或信号。输入装置33和输出装置34可以是独立的器件，也可以是一个整体的器件。
可理解，本申请实施例中，存储器32不仅可用于存储相关指令，还可用于存储相关数据，本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是，图12仅仅示出了一种电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriberline，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘（digital versatiledisc，DVD）)、或者半导体介质（例如固态硬盘（solid state disk ，SSD））等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器（read-only memory，ROM）或随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种血管分割智能体的训练方法，其特征在于，所述方法包括：
获取待训练智能体、训练数据和所述训练数据的标签，所述训练数据包括训练三维CT图像和所述训练三维CT图像的血管预测概率图像，所述血管预测概率图像包括所述训练三维CT图像中的体素的语义为血管的概率，所述标签包括所述训练三维CT图像中的血管的位置；
基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，所述训练起始点为所述待训练智能体在训练三维空间内的起始点，所述训练三维空间为由所述训练三维CT图像确定的三维空间；
基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹；
基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励；
基于所述奖励，更新所述待训练智能体的参数，得到目标智能体。
2.根据权利要求1所述的方法，其特征在于，所述基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹，包括：
获取训练感知范围，所述训练感知范围为所述待训练智能体在所述训练三维空间中的感知范围；
基于所述训练起始点和所述训练感知范围，确定所述待训练智能体在所述训练三维空间内的感知区域为训练感知区域，所述训练感知区域内的体素为训练体素；
利用所述待训练智能体对所述训练体素进行处理，确定所述待训练智能体的训练运动方向；
基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹，包括：
确定所述训练三维空间内的体素的数量；
在所述待训练智能体的运动距离小于或等于所述数量的情况下，基于所述训练运动方向控制所述待训练智能体运动，得到所述训练运动轨迹。
4.根据权利要求1所述的方法，其特征在于，所述基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励，包括：
计算所述训练运动轨迹与所述训练三维CT图像中的血管的位置的重合度；
在所述重合度与所述奖励呈正相关的情况下，根据所述重合度确定所述奖励。
5.根据权利要求1所述的方法，其特征在于，所述基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，包括：
根据所述血管预测概率图像，确定体素的语义为血管的概率的最大值；
将所述最大值所对应的体素作为所述训练起始点。
6.一种血管分割方法，其特征在于，所述方法用于从三维CT图像中分割出血管，所述方法包括：
获取待分割三维CT图像，所述待分割三维CT图像包括血管；
获取根据权利要求1至5中任意一项所述的方法训练得到的目标智能体；
利用所述目标智能体，对所述待分割三维CT图像进行处理，得到所述目标智能体在所述待分割三维CT图像中的目标运动轨迹；
将所述目标运动轨迹作为所述待分割三维CT图像中的血管的分割结果。
7.一种血管分割智能体的训练装置，其特征在于，所述训练装置包括：
获取单元，用于获取待训练智能体、训练数据和所述训练数据的标签，所述训练数据包括训练三维CT图像和所述训练三维CT图像的血管预测概率图像，所述血管预测概率图像包括所述训练三维CT图像中的体素的语义为血管的概率，所述标签包括所述训练三维CT图像中的血管的位置；
确定单元，用于基于所述血管预测概率图像，确定所述待训练智能体的训练起始点，所述训练起始点为所述待训练智能体在训练三维空间内的起始点，所述训练三维空间为由所述训练三维CT图像确定的三维空间；
控制单元，用于基于所述训练起始点，控制所述待训练智能体在所述训练三维空间内运动，得到所述待训练智能体在所述训练三维CT图像中的训练运动轨迹；
所述确定单元，用于基于所述训练运动轨迹与所述训练三维CT图像中的血管的位置，确定所述待训练智能体的奖励；
更新单元，用于基于所述奖励，更新所述待训练智能体的参数，得到目标智能体。
8.一种血管分割装置，其特征在于，所述分割装置用于从三维CT图像中分割出血管，所述分割装置包括：
获取单元，用于获取待分割三维CT图像，所述待分割三维CT图像包括血管；
所述获取单元，用于获取根据权利要求1至5中任意一项所述的方法训练得到的目标智能体；
处理单元，用于利用所述目标智能体，对所述待分割三维CT图像进行处理，得到所述目标智能体在所述待分割三维CT图像中的目标运动轨迹；
所述处理单元，用于将所述目标运动轨迹作为所述待分割三维CT图像中的血管的分割结果。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；
在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至5中任意一项所述的方法；
在所述处理器执行所述计算机指令的情况下，所述电子设备或者执行如权利要求6所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令；
在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至5中任意一项所述的方法；
在所述程序指令被处理器执行的情况下，或者使所述处理器执行如权利要求6所述的方法。
CN202311609234.1A 2023-11-29 2023-11-29 血管分割智能体的训练方法、血管分割方法及相关产品 Active CN117314939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311609234.1A CN117314939B (zh) 2023-11-29 2023-11-29 血管分割智能体的训练方法、血管分割方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311609234.1A CN117314939B (zh) 2023-11-29 2023-11-29 血管分割智能体的训练方法、血管分割方法及相关产品

Publications (2)

Publication Number Publication Date
CN117314939A true CN117314939A (zh) 2023-12-29
CN117314939B CN117314939B (zh) 2024-03-19

Family

ID=89285194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311609234.1A Active CN117314939B (zh) 2023-11-29 2023-11-29 血管分割智能体的训练方法、血管分割方法及相关产品

Country Status (1)

Country Link
CN (1) CN117314939B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114072838A (zh) * 2019-07-17 2022-02-18 西门子医疗有限公司 根据2d医学图像进行3d血管中心线重建
EP4152339A1 (en) * 2021-09-20 2023-03-22 Universität Zürich Method for determining a surgery plan by means of a reinforcement learning method
CN117036689A (zh) * 2023-07-10 2023-11-10 广东工业大学 一种基于深度强化学习的左心室内膜图像分割方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114072838A (zh) * 2019-07-17 2022-02-18 西门子医疗有限公司 根据2d医学图像进行3d血管中心线重建
EP4152339A1 (en) * 2021-09-20 2023-03-22 Universität Zürich Method for determining a surgery plan by means of a reinforcement learning method
CN117036689A (zh) * 2023-07-10 2023-11-10 广东工业大学 一种基于深度强化学习的左心室内膜图像分割方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAOFAN MA ET AL.: "Boundary-Aware Supervoxel-Level Iteratively Refined Interactive 3D Image Segmentation With Multi-Agent Reinforcement Learning", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 40, no. 10, pages 2563 - 2574, XP011880664, DOI: 10.1109/TMI.2020.3048477 *
GUANGHUI HAN ET AL.: "Deep Reinforcement Learning Method for 3D-CT Nasopharyngeal Cancer Localization with Prior Knowledge", APPLIED SCIENCES, pages 1 - 12 *

Also Published As

Publication number Publication date
CN117314939B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN112767329B (zh) 图像处理方法及装置、电子设备
CN107622240B (zh) 人脸检测方法和装置
US10977549B2 (en) Object animation using generative neural networks
CN112132265B (zh) 模型训练方法、杯盘比确定方法、装置、设备及存储介质
CN107548557A (zh) 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
CN113614780A (zh) 使用损失函数学习检测模型
US11036975B2 (en) Human pose estimation
CN108648201A (zh) 瞳孔定位方法及装置、存储介质、电子设备
CN112541928A (zh) 网络训练方法及装置、图像分割方法及装置和电子设备
CN110674837A (zh) 视频相似度获取方法、装置、计算机设备及存储介质
US11620737B2 (en) System and method for indoor image inpainting under multimodal structural guidance
US20240046583A1 (en) Real-time photorealistic view rendering on augmented reality (ar) device
CN116431004A (zh) 康复机器人交互行为的控制方法及系统
CN117011156A (zh) 图像处理方法、装置、设备及存储介质
CN108734718B (zh) 用于图像分割的处理方法、装置、存储介质及设备
CN117314939B (zh) 血管分割智能体的训练方法、血管分割方法及相关产品
CN113628221A (zh) 图像处理方法、图像分割模型训练方法及相关装置
CN116152246B (zh) 一种图像识别方法、装置、设备及存储介质
KR102590916B1 (ko) 비디오 내의 객체 간 동적 관계 추론 방법 및 장치
CN116342888A (zh) 一种基于稀疏标注训练分割模型的方法及装置
US11526967B2 (en) System and method for precise image inpainting to remove unwanted content from digital images
CN115049590A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112560959A (zh) 骨骼动画的姿态匹配方法、装置、电子设备及存储介质
US20200050934A1 (en) System and method for deep memory network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant