CN113989293A - 图像分割方法及相关模型的训练方法和装置、设备 - Google Patents

图像分割方法及相关模型的训练方法和装置、设备 Download PDF

Info

Publication number
CN113989293A
CN113989293A CN202111274342.9A CN202111274342A CN113989293A CN 113989293 A CN113989293 A CN 113989293A CN 202111274342 A CN202111274342 A CN 202111274342A CN 113989293 A CN113989293 A CN 113989293A
Authority
CN
China
Prior art keywords
image
blood vessel
segmentation
view
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111274342.9A
Other languages
English (en)
Inventor
王娜
刘星龙
黄宁
陈翼男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202111274342.9A priority Critical patent/CN113989293A/zh
Publication of CN113989293A publication Critical patent/CN113989293A/zh
Priority to PCT/CN2022/093458 priority patent/WO2023071154A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本申请公开了一种图像分割方法及相关模型的训练方法和装置、设备。图像分割模型的训练方法包括：获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，样本医学图像包含血管；利用图像分割模型对各样本视角图像进行图像分割，以得到与样本医学图像相关的血管分割结果；基于血管分割结果，调整图像分割模型的网络参数。上述方案，能够提高血管分割的准确度。

Description

图像分割方法及相关模型的训练方法和装置、设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分割方法及相关模型的训练方法和装置、设备。
背景技术
医学图像处理的血管分割是目前的热点问题。通过对血管进行分割，可以使得医生快速了解血管的相关情况并进行对应的模拟操作。例如。通过对血管进行分割，分割结果可以辅助医生进行术前规划和模拟手术，这有助于降低手术过程中的风险，提高手术的成功率。
然而，现有的血管分割技术，都是基于单一视角的医学图像进行分割，这也使得血管分割的准确度不高，这极大的限制了血管分割技术的进一步应用。
因此，如何提高血管分割的准确度，对于促进血管技术的进一步发展和应用，具有极其重要的意义。
发明内容
本申请至少提供一种图像分割方法及相关模型的训练方法和装置、设备。
本申请第一方面提供了一种图像分割模型的训练方法，方法包括：获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，样本医学图像包含血管；利用图像分割模型对各样本视角图像进行图像分割，以得到与样本医学图像相关的血管分割结果；基于血管分割结果，调整图像分割模型的网络参数。
因此，通过使用不同视角的样本视角图对图像分割模型的训练，使得训练后的图像分割模型在后续应用中，能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。
其中，上述的图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络；上述的利用图像分割模型对各样本视角图像进行图像分割，以得到与样本医学图像相关的血管分割结果，包括：对于每个视角，利用视角对应的分割子网络对视角对应的样本视角图像进行图像分割，得到各视角对应的各第一血管分割结果；利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到样本医学图像的第二血管分割结果；上述的基于血管分割结果，调整图像分割模型的网络参数，包括以下至少一个步骤：对于每个视角，基于各视角对应的各第一血管分割结果与视角对应的局部血管分割标注信息，调整视角对应的分割子网络的参数；基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整各分割子网络和/或融合子网络的参数。
因此，通过设置视角对应的分割子网络对样本视角图像进行图像分割，并利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，使得图像分割模型能够基于不同视角的图像信息，实现对血管的分割。此外，通过利用第一血管分割结果和第二血管分割结果以及与各分割结果对应的标注信息，可以实现对分割子网络和融合子网络的训练。
其中，上述的分割子网络包括依序连接的特征处理层、注意力层和预测层，上述的调整视角对应的分割子网络的参数包括特征处理层、注意力层和预测层中至少一者的参数。上述的利用视角对应的分割子网络对视角对应的样本视角图像进行图像分割，得到各视角对应的各第一血管分割结果，包括：利用特征处理层对视角对应的样本视角图像进行特征提取，得到视角对应的样本特征图；利用注意力层对视角对应的样本特征图进行处理，得到视角对应的区域预测结果，其中，视角对应的区域预测结果用于表示视角对应的样本视角图像中的预设区域的位置；利用预测层基于各视角对应的区域预测结果预测得到各视角对应的各第一血管分割结果。
因此，通过利用注意力层输出预设区域的位置，可以使得分割子网络在后续进行图像分割时，能够更加关注与预设区域附近的图像信息，以提升分割子网络对血管特征信息的敏感性，进而有助于提高血管分割的准确度。
其中，上述的局部血管分割标注信息包括表示样本视角图像的第一图像点是否属于预设类别的第一标注信息和表示第一图像点是否属于预设区域的第二标注信息，预设类别包括至少一种血管类别和非血管类别；上述的基于各视角对应的各第一血管分割结果与视角对应的局部血管分割标注信息，调整视角对应的分割子网络的参数，包括以下至少一个步骤：基于视角对应的区域预测结果和视角对应的第二标注信息，至少调整注意力层的参数；基于各视角对应的各第一血管分割结果、视角对应的第一标注信息，调整特征处理层、注意力层和预测层中至少一者的参数。
因此，通过基于各视角对应的各第一血管分割结果、视角对应的第一标注信息，可以实现对特征处理层、注意力层和预测层中至少一者的训练。
其中，上述的分割子网络包括依序连接的至少一个处理单元和预测层，每个处理单元包括特征处理层，至少部分处理单元还包括连接于特征处理层之后的注意力层，预测层基于至少一注意力层输出的区域预测结果得到第一血管分割结果，每层注意力层的参数是基于对应所有注意力层的区域预测结果和视角对应的第二标注信息调整的；上述的基于视角对应的区域预测结果和视角对应的第二标注信息，至少调整注意力层的参数，包括：利用各注意力层输出的区域预测结果和视角对应的第二标注信息之间的差异，对应得到各注意力层的第一损失值；对各注意力层的第一损失值进行融合，得到第二损失值；基于第二损失值，调整各注意力层的参数。
因此，通过利用第二损失值来调整各注意力层的参数，可以实现对注意力层的训练。
其中，上述的第一损失值是利用正则化损失函数确定得到的；上述的利用各注意力层输出的区域预测结果和视角对应的第二标注信息之间的第一差异，对应得到各注意力层的第一损失值，包括：利用各注意力层对应的差异、至少一个结构权重，对应得到各注意力层的第一损失值，其中，至少一个结构权重为注意力层的权重和/或注意力层所在的分割子网络的权重；上述的对各注意力层的第一损失值进行融合，得到第二损失值，包括：利用各注意力层的损失权重对对各注意力层的第一损失值进行加权处理，得到第二损失值。
因此，通过利用正则化损失函数对第一损失值进行进一步的约束，可以加强注意力层对血管区域的特征提取能力。
其中，越靠近预测层的注意力层的损失权重越大。
因此，通过设置越靠近预测层的注意力层的损失权重越大，可以使得得到的第二损失值可以更加合理。
其中，上述的融合子网络包括权重确定层和融合输出层，调整的融合子网络的参数包括权重确定层和/或融合输出层的参数；上述的利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到样本医学图像的第二血管分割结果，包括：利用权重确定层对多个视角对应的第一血管分割结果进行处理，得到各视角对应的融合权重信息；利用融合输出层基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到样本医学图像的第二血管分割结果。
因此，通过利用权重确定层结合多个视角对应的第一血管分割结果信息来得到融合权重信息，使得融合子网络能够根据不同的第一血管分割结果输出不同的融合权重信息，实现了多个视角对应的第一血管分割结果信息的软融合，有助于提高血管分割的准确度。此外，通过利用融合输出层将融合权重信息和多个视角对应的第一血管分割结果进行融合，使得融合子网络能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。此外，由于融合权重信息结合了多个视角对应的第一血管分割结果信息，使得后续利用融合权重信息进行血管分割时，可以减少血管分支错分的情况。
其中，上述的全局血管分割标注信息包括表示样本医学图像的第二图像点是否属于预设类别的第三标注信息，第二血管分割结果包括表示各第二图像点是否属于预设类别的预测信息，预设类别包括至少一种血管类别和非血管类别；上述的基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整各分割子网络和/或融合子网络的参数，包括：基于各第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各第二图像点的位置权重；以及基于各第二图像点对应的预测信息和第三标注信息，得到各第二图像点的第三损失值；利用各第二图像点的位置权重对各第二图像点的第三损失值进行加权处理，得到第四损失值；基于第四损失值，调整各分割子网络和/或融合子网络的参数。
因此，通过利用第二图像点的位置权重对各第二图像点的第三损失值进行加权处理，可以在训练时使得网络更加关注位置权重大的第二图像点，以此提高网络对关注位置权重大的第二图像点的区域的血管分割准确度。
其中，上述的基于各第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各第二图像点的位置权重，包括：确定各第二图像点的参考距离，其中，属于血管类别的第二图像点的参考距离为第二图像点与样本医学图像中血管的预设区域之间的距离，属于非血管类别的第二图像点的参考距离为预设距离值；基于各第二图像点的参考距离，确定各第二图像点的位置权重。
因此，通过确定各第二图像点的参考距离，便可基于各第二图像点的参考距离，确定各第二图像点的位置权重，使得位置权重可以反映参考距离的距离特征。
其中，属于血管类别的第二图像点的参考距离越大，对应的位置权重越大，属于非血管类别的第二图像点的位置权重为预设权重值；上述的全局血管分割标注信息还包括表示第二图像点是否属于血管的预设区域的第四标注信息；在确定各第二图像点的参考距离之前，图像分割模型的训练方法还包括：利用第四标注信息，确定预设区域在样本医学图像中的位置；利用第二血管分割结果或第三标注信息，确定样本医学图像中各第二图像点为属于血管类别或属于非血管类别。
因此，通过利用第四标注信息来确定预设区域的位置，以及利用第二血管分割结果或第三标注信息来确定第二图像点为属于血管类别或属于非血管类别，后续便可以确定第二图像点的位置权重。
其中，上述的预设区域为中心线，和/或，至少一种血管类别包括动脉和静脉中的至少一种。
因为血管中心线附近的区域也是血管区域，因此通过将预设区域设置为血管中心线，可以使得分割子网络在对样本视角图像进行血管分割时，可以更加关注血管中心线附近的区域，以此有助于提高血管分割的准确度。此外，通过限定至少一种血管类别包括动脉和静脉中的至少一种，可以使得图像分割模型能够针对动脉和静脉进行血管分割。
其中，上述的样本医学图像为对器官扫描得到的三维图像；上述的多个视角包括横断位视角、矢状位视角、冠状位视角中的多种；上述的获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，包括：对于每个视角，从视角对样本医学图像提取得到视角的若干子样本图像，并将视角的若干子样本图像进行拼接，得到视角对应的样本视角图像。
因此，通过对每个视角都提取得到对应的样本视角图像，可以获得不同视角对应的图像信息，后续图像分割模型便能基于不同视角的图像信息进行血管分割，有助于提高血管分割的准确度。
本申请第二方面提供了一种图像分割方法，方法包括：获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，其中，目标医学图像包含血管；利用图像分割模型对各目标视角图像进行图像分割，以得到与目标医学图像相关的血管分割结果。
因此，通过利用图像分割模型对各目标视角图像进行图像分割，使得图像分割模型可以利用多个视角的目标视角图像的图像信息进行血管分割，有助于提高图像分割模型的分割准确度。
其中，上述的图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络；上述的利用图像分割模型对各样本视角图像进行图像分割，以得到与目标医学图像相关的血管分割结果，包括：对于每个视角，利用视角对应的分割子网络对视角对应的目标视角图像进行图像分割，得到各视角对应的各第一血管分割结果；利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到目标医学图像的第二血管分割结果。
因此，通过利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，使得融合子网络能够利用多个视角的第一血管分割结果的预测信息，有助于提高图像分割模型的分割准确度。
其中，上述的利用视角对应的分割子网络对视角对应的目标视角图像进行图像分割，得到各视角对应的各第一血管分割结果，包括：对视角对应的样本视角图像进行特征提取，得到视角对应的样本特征图；对视角对应的样本特征图进行处理，得到视角对应的区域预测结果，其中，视角对应的区域预测结果用于表示视角对应的样本视角图像中的预设区域的位置；基于视角对应的区域预测结果预测得到各视角对应的各第一血管分割结果；上述的利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到目标医学图像的第二血管分割结果，包括：基于多个视角对应的第一血管分割结果，得到各视角对应的融合权重信息；基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到目标医学图像的第二血管分割结果。
因此，通过基于视角对应的区域预测结果预测得到各视角对应的各第一血管分割结果，使得可以更多的利用区域预测结果来得到第一分割结果时，有助于提高图像分割模型的分割准确度。此外，通过结合多个视角对应的第一血管分割结果信息来得到融合权重信息，使得融合子网络能够根据不同的第一血管分割结果输出不同的融合权重信息，实现了多个视角对应的第一血管分割结果信息的软融合，有助于提高血管分割的准确度。此外，通过将融合权重信息和多个视角对应的第一血管分割结果进行融合，使得融合子网络能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。
其中，上述的对视角对应的样本特征图进行处理，得到视角对应的区域预测结果是由分割子网络的注意力层执行的；和/或，预设区域为血管的中心线；和/或，区域预测结果包括目标视角图像中各第一图像点为预设区域的概率信息。
因此，通过利用注意力层对视角对应的样本特征图进行处理，得到视角对应的区域预测结果，可以使得分割子网络更加关注预设区域的特征信息。此外，因为血管中心线附近的区域也是血管区域，因此通过将预设区域设置为血管中心线，可以使得分割子网络在对样本视角图像进行血管分割时，可以更加关注血管中心线附近的区域，以此有助于提高血管分割的准确度。
其中，上述的视角对应的第一血管分割结果包括表示视角对应的目标视角图像中各第一图像点是否属于预设类别的第一预测信息，第二血管分割结果包括表示目标医学图像中各第二图像点是否属于预设类别的第二预测信息，预设类别包括至少一种血管类别和非血管类别；上述的基于多个视角对应的第一血管分割结果，得到各视角对应的融合权重信息，包括：对于每个视角，基于视角的第一血管分割结果，得到视角对应的各第一图像点的融合权重；上述的基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到目标医学图像的第二血管分割结果，包括：对于各第一图像点，基于第一图像点对应各视角的融合权重对第一图像点对应各视角的预测信息进行加权处理，得到目标医学图像中与第一图像点对应的第二图像点的第二预测信息。
因此，通过结合多个视角对应的第一血管分割结果信息来得到融合权重信息，实现了根据不同的第一血管分割结果输出不同的融合权重信息，实现了多个视角对应的第一血管分割结果信息的软融合，有助于提高血管分割的准确度。此外，通过将融合权重信息和多个视角对应的第一血管分割结果进行融合，使得融合子网络能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。此外，由于融合权重信息结合了多个视角对应的第一血管分割结果信息，使得后续利用融合权重信息进行血管分割时，可以减少血管分支错分的情况。
其中，上述的图像分割模型为利用上述第一方面描述的图像分割模型的训练方法训练得到的。
因此，通过限定图像分割模型是利用图像分割模型的训练方法的实施例得到的，使得在利用经过训练的图像分割模型进行血管分割时，血管分割的准确度更高。
其中，上述的目标医学图像为对器官扫描得到的三维图像；上述的多个视角包括横断位视角、矢状位视角、冠状位视角中的多种；上述的获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，包括：对于每个视角，从视角对目标医学图像提取得到视角的若干子目标图像，并将视角的若干子目标图像进行拼接，得到视角对应的目标视角图像。
因此，通过对每个视角都提取得到对应的样本视角图像，可以获得不同视角对应的图像信息，后续图像分割模型便能基于不同视角的图像信息进行血管分割，有助于提高血管分割的准确度。
本申请第三方面提供了一种图像检测模型的训练装置，训练装置包括获取模块、图像分割模块和参数调整模块。获取模块用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，样本医学图像包含血管；图像分割模块用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，样本医学图像包含血管；参数调整模块用于基于血管分割结果，调整图像分割模型的网络参数。
本申请第四方面提供了一种图像分割装置，图像分割装置包括获取模块和图像分割模块。获取模块用于获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，其中，目标医学图像包含血管；图像分割模块用于利用图像分割模型对各目标医学图像进行图像分割，以得到与目标医学图像相关的血管分割结果。
本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像分割模型的训练方法，或实现上述第二方面中的图像分割方法。
本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像分割模型的训练方法，或实现上述第二方面中的图像分割方法。
上述方案，通过使用不同视角的样本视角图对图像分割模型的训练，使得训练后的图像分割模型在后续应用中，能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请图像检测模型的训练方法一实施例的第一流程示意图；
图2是本申请图像分割模型的训练方法一实施例的第二流程示意图；
图3是本申请图像分割模型的训练方法一实施例的第三流程示意图；
图4是本申请图像分割模型的训练方法中分割子网络的一结构示意图；
图5是本申请图像分割模型的训练方法一实施例的第四流程示意图；
图6是本申请图像分割模型的训练方法一实施例的第五流程示意图；
图7是本申请图像分割模型的训练方法中图像分割模型的一结构示意图；
图8是本申请图像分割方法实施例的第一流程示意图；
图9是本申请图像分割模型的训练装置一实施例的框架示意图；
图10是本申请图像分割装置一实施例的框架示意图；
图11是本申请电子设备一实施例的框架示意图；
图12是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请图像分割模型的训练方法一实施例的第一流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取分别从多个视角对样本医学图像提取得到的多个样本视角图像。
在本申请中，样本医学图像可以是三维图像，具体可以是器官扫描得到的三维图像。例如，可以通过电子计算机断层扫描(Computed Tomography，CT)成像技术，进行三维成像，以此得到样本医学图像。在样本医学图像中包括血管，后续便可以对血管进行分割。样本医学图像例如是肺部的三维图像，或者是心脏的三维图像等。在本申请中，样本医学图像、样本视角图像等三维图像的构成单位为体素。
在本申请中，多个视角指至少包括两个视角。在一个实施方式中，多个视角包括横断位视角、矢状位视角、冠状位视角中的多种。从多个视角对样本医学图像提取得到的多个样本视角图像，即是在视角的方向上，对样本医学图像进行裁剪，以此得到多个样本视角图像。
在一个实施方式中，对于每个视角，可以从视角对样本医学图像提取得到视角的若干子样本图像，并将视角的若干子样本图像进行拼接，以此得到视角对应的样本视角图像。在一个具体实施方式中，从视角对样本医学图像提取得到视角的若干子样本图像，可以是以滑窗的形式进行图像提取，以此获得若干子样本图像。例如，对于横断位视角而言，可以从横断位方向，提取一定大小的若干子样本图像，然后再将这些子样本图像进行拼接，以此便能得到样本视角图像。在一个例子中，滑窗的大小为128*128*128，从横断位方向提取了4个128*128*128大小的子样本图像，通过将这4个子样本图像拼接为128*128*512大小的图像，便可得到样本视角图像。因此，通过对每个视角都提取得到对应的样本视角图像，可以获得不同视角对应的图像信息，后续图像分割模型便能基于不同视角的图像信息进行血管分割，有助于提高血管分割的准确度。
在一个实施方式中，样本医学图像可以是对初始样本医学图像进行重采样得到的。通过对初始样本医学图像进行重采样，可以使得样本医学图像的分辨率符合要求，有助于提高血管分割的准确度。进一步地，还可以对样本医学图像中的像素值进行归一化操作，方便于后续图像分割模型的训练。
在一个实施方式中，在得到多个样本视角图像以后，还可以对样本视角图像进行旋转、平移、镜像、缩放等操作，以此实现数据增强，并且能够平衡样本视角图像中的正负样本，达到扩增数据量的目的，有助于提高图像分割模型的泛化性、降低过拟合的可能。
步骤S12：利用图像分割模型对各样本视角图像进行图像分割，以得到与样本医学图像相关的血管分割结果。
通过将到的样本视角图像输入到图像分割模型，并利用图像分割模型对各样本视角图像进行图像分割，使得图像分割模型可以利用不同视角的样本视角图的图像信息，以此获得更多关于血管的特征信息，最终输出与样本医学图像相关的血管分割结果。
在一个实施方式中，血管分割结果可以包括样本医学图像中的动脉和静脉的分割结果。具体的，血管分割结果可以是样本医学图像中的图像点属于动脉、静脉或背景的结果。
步骤S13：基于血管分割结果，调整图像分割模型的网络参数。
在一个具体实施方式中，血管标签信息可以认为是样本医学图像中每一个像素点为血管或者是背景的分类结果。此外，对于分类为血管的像素点，血管标签信息还可以包括血管是动脉或者静脉的分类信息。
在得到血管分割结果以后，就可以根据血管分割结果和对应的血管标签信息的差异，调整图像分割模型的网络参数，实现了利用不同视角的样本视角图对图像分割模型的训练。
因此，通过使用不同视角的样本视角图对图像分割模型的训练，使得训练后的图像分割模型在后续应用中，能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。
请参阅图2，图2是本申请图像分割模型的训练方法一实施例的第二流程示意图。在本实施例中，上述提及的图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络，即分割子网络的数量与视角的相同，全部分割子网络的输出结果可以输入到融合子网络中。在此情况下，上述步骤提及的“利用图像分割模型对各样本视角图像进行图像分割，以得到与样本医学图像相关的血管分割结果”，具体包括步骤S121和步骤S122。
步骤S121：对于每个视角，利用视角对应的分割子网络对视角对应的样本视角图像进行图像分割，得到各视角对应的各第一血管分割结果。
在本实施例中，每个视角对应的分割子网络都会对与视角对应的样本视角图像进行图像分割的操作，以此得到每个视角对应的第一血管分割结果。例如，某一分割子网络与横断位视角对应，则可以将从横断位视角对样本医学图像提取得到的样本视角图像输入到该分割子网络中，以此得到横断位视角的样本视角图像的第一血管分割结果。第一血管分割结果可以是样本视角图像的第一图像点是否属于预设类别的预测结果。预设类别包括至少一种血管类别和非血管类别，血管类别是动脉和静脉。
步骤S122：利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到样本医学图像的第二血管分割结果。
通过将全部分割子网络的输出结果输入到融合子网络，可以利用融合子网络对每一个视角对应的各第一血管分割结果进行融合处理，使得融合子网络能够基于不同视角的图像信息，实现对血管的分割，以得到样本医学图像的第二血管分割结果。第二血管分割结果可以是样本医学图像的第二图像点是否属于预设类别的预测结果。预设类别包括至少一种血管类别和非血管类别，血管类别是动脉和静脉。
在一个具体实施方式中，融合子网络可以是编码-解码结构的网络。具体地，在融合子网络中，编码器和解码器中的每一层的卷积层都可以是带孔卷积层，以此可以获得不同大小感受野的信息。在卷积层后可以连接批标准化层和一个激活层。在编码器的每一层之间可以连接池化层，编码器与解码器之间，以及解码器各层之间，都可以进行上采样。
因此，通过设置视角对应的分割子网络对样本视角图像进行图像分割，并利用融合子网络对每一个视角对应的各第一血管分割结果进行融合处理，使得图像分割模型能够基于不同视角的图像信息，实现对血管的分割。
对应于图像分割模型包括分别与多个分割子网络和融合子网络的情况，上述步骤提及的“基于血管分割结果，调整图像分割模型的网络参数”，具体可以包括以下至少一个步骤：
步骤S131：对于每个视角，基于各视角对应的各第一血管分割结果与视角对应的局部血管分割标注信息，调整视角对应的分割子网络的参数。
局部血管分割标注信息是该视角对应的样本视角图像中的血管的标签信息。对于每个视角而言，可以利用与各视角对应的各第一血管分割结果和与该视角对应的局部血管分割标注信息，来对分割子网络进行训练。训练分割子网络的方式可以是监督学习的方式，也可以是半监督学习的方式。例如，可以基于第一血管分割结果与对应的局部血管分割标注信息的差异，确定二者的损失值，并根据损失值来调整视角对应的分割子网络的参数。
步骤S132：基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整各分割子网络和/或融合子网络的参数。
全局血管分割标注信息是样本医学图像中的血管的标签信息。因为第二血管分割结果是基于第一血管分割结果得到的，所以在基于第二血管分割结果与样本医学图像的全局血管分割标注信息来训练图像分割模型时，可以基于二者来调整各分割子网络和/或融合子网络的参数。
在一个实施方式中，可以基于第二血管分割结果与样本医学图像的全局血管分割标注信息二者的差异，同时调整分割子网络和融合子网络的参数。在一个实施方式中，可以基于第二血管分割结果与样本医学图像的全局血管分割标注信息，仅调整融合子网络的参数。在一个实施方式中，可以现基于第一血管分割结果与对应的局部血管分割标注信息，调整分割子网络的参数，后续再基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整融合子网络的参数。
因此，通过利用第一血管分割结果和第二血管分割结果以及与各分割结果对应的标注信息，可以实现对分割子网络和融合子网络的训练。
在本实施例中，分割子网络包括依序连接的特征处理层、注意力层和预测层。分割子网络例如是3D-Unet，注意力层设置可以是在特征处理层之后。
请参阅图3，图3是本申请图像分割模型的训练方法一实施例的第三流程示意图。对应于分割子网络包括依序连接的特征处理层、注意力层和预测层的结果，上述步骤提及的“利用视角对应的分割子网络对视角对应的样本视角图像进行图像分割，得到各视角对应的各第一血管分割结果”，具体包括可以包括步骤S1211至步骤S1213。
步骤S1211：利用特征处理层对视角对应的样本视角图像进行特征提取，得到视角对应的样本特征图。
特征处理层用于提取样本视角图的特征信息，以此可以得到与样本视角图像对应的样本特征图。可以理解的，每一个分割子网络的特征处理层都可以输出样本特征图。
步骤S1212：利用注意力层对视角对应的样本特征图进行处理，得到视角对应的区域预测结果。
注意力层例如是基于注意力机制的注意力模块。注意力模块可以是深度学习领域通用的注意力模块，此处不再赘述。
在本实施例中，视角对应的区域预测结果用于表示视角对应的样本视角图像中的预设区域的位置。具体的，视角对应的区域预测结果可以是表示样本特征图中每个体素为预设区域的概率。
在一个实施方式中，样本视角图像中的预设区域可以是血管的中心线位置。通过利用注意力层输出预设区域的位置，可以使得分割子网络在后续进行图像分割时，能够更加关注与预设区域附近的图像信息，以提升分割子网络对血管特征信息的敏感性，进而有助于提高血管分割的准确度。可以理解的，血管中心线附近的区域也是血管区域，因此通过将预设区域设置为血管中心线，可以使得分割子网络在对样本视角图像进行血管分割时，可以更加关注血管中心线附近的区域，以此有助于提高血管分割的准确度。
步骤S1213：利用预测层基于各视角对应的区域预测结果预测得到各视角对应的各第一血管分割结果。
预测层可以根据视角对应的区域预测结果，进行进一步地预测，以此得到各视角对应的各第一血管分割结果。具体而言，可以是基于视角对应的区域预测结果对样本特征图进行处理，使得样本特征图的特征信息的关于预设区域的权重更大，以此使得预测层在得到第一血管分割结果时，可以更多的参考预设区域附近的特征信息，以使得第一血管分割结果的准确度更高。第一血管分割结果可以包括样本视角图像的第一图像点是否属于预设类别的预测结果，例如，第一血管分割结果可以是第一图像点属于动脉或者是静脉，或者是属于背景。
因为分割子网络包括依序连接的特征处理层、注意力层和预测层，上述步骤中提及的调整视角对应的分割子网络的参数具体可以是调整特征处理层、注意力层和预测层中至少一者的参数。
在一个实施方式中，上述步骤提及的局部血管分割标注信息可以包括表示样本视角图像的第一图像点是否属于预设类别的第一标注信息和表示第一图像点是否属于预设区域的第二标注信息，预设类别包括至少一种血管类别和非血管类别。样本视角图像的第一图像点例如是样本视角图像的体素。血管类别包括动脉和静脉，非血管类别即不属于动脉也不属于静脉，为背景。在此情况下，上述步骤提及的“基于各视角对应的各第一血管分割结果与视角对应的局部血管分割标注信息，调整视角对应的分割子网络的参数”，可以包括以下至少一个步骤：
步骤S1311：基于视角对应的区域预测结果和视角对应的第二标注信息，至少调整注意力层的参数。
因为视角对应的区域预测结果是与第二标注信息(第一图像点是否属于预设区域)相互对应的，因此基于二者的差异，至少可以调整注意力层的参数。在一个实施方式中，还可以基于视角对应的区域预测结果和视角对应的第二标注信息，调整注意力层和特征处理层的参数。
步骤S1312：基于各视角对应的各第一血管分割结果、视角对应的第一标注信息，调整特征处理层、注意力层和预测层中至少一者的参数。
因为每一个视角对应的第一血管分割结果是与第一标注信息(第一图像点是否属于预设类别)相互对应的，因此基于二者的差异，可以调整特征处理层、注意力层和预测层中至少一者的参数。在一个实施方式中，可以是调整特征处理层、注意力层和预测层三者的参数。在一个实施方式中，可以是调整特征处理层和预测层的参数。在一个实施方式中，还可以是仅调整预测层的参数。
因此，通过基于各视角对应的各第一血管分割结果、视角对应的第一标注信息，可以实现对特征处理层、注意力层和预测层中至少一者的训练。
在一个具体实施方式中，可以是利用各视角对应的各第一血管分割结果是与第一标注信息的差异，利用损失函数确定损失值，进而调整特征处理层、注意力层和预测层中至少一者的参数。在一个具体实施方式中，在确定损失值时，在血管区域内，可以设置离血管中心线越远的第一图像点的权重越大，然后将第一图像点的权重和损失值进行加权，以此使得在训练分割子网络时，能够给予血管边缘区域更高的权重，使得血管边缘区域能够成为网络训练的重点，提升分割子网络对血管边缘区域分割的准确度。
在一个实施方式中，分割子网络包括依序连接的至少一个处理单元和预测层，每个处理单元包括特征处理层，至少部分处理单元还包括连接于特征处理层之后的注意力层，预测层基于至少一注意力层输出的区域预测结果得到第一血管分割结果。在本实施方式中，处理单元的数量至少为一个。每个处理单元可以依序连接，最后一个处理单元可以与预测层连接。具体的，每一个处理单元都包括特征处理层，特征处理层可以是特征提取层，也可以是特征解码层。在至少部分的处理单元中，特征处理层后还连接有注意层。
请参阅图4，图4是本申请图像分割模型的训练方法中分割子网络的一结构示意图。在图4中，分割子网络40的网络结构为3D-Unet结构。处理单元41的数量为9个，分别是处理单元S1至S9，预测层42为S10。其中，处理单元S1-S5中的特征处理层411为特征提取层，处理单元S6-S9中的特征处理层411为特征解码层。在处理单元S1至S9中，每一个特征处理层311之后都连接有注意力层412。对于每一个处理单元41的特征处理层411，特征处理层411可以包含两层的子处理层，每个子处理层可以包括卷积层(Conv)、批量归一化(BN)和激活函数(Relu)。预测层S10包括卷积层(Conv)和归一化指数函数(softmax)。图4中每一层旁边的数字表示该层的通道数，如处理单元S1的特征处理层411的第一个子处理层的通道数即为16。Maxpooling表示最大值池化操作，upsample为上采样，Conv为卷积操作，
Figure BDA0003329682730000111
为特征联合操作。样本视角图像可以输入至处理单元S1，最终由预测层42输出第一血管分割结果。
在一个实施方式中，分割子模型中的每层注意力层的参数是基于对应所有注意力层的区域预测结果和视角对应的第二标注信息调整的。具体而言，上述步骤提及的“基于视角对应的区域预测结果和视角对应的第二标注信息，至少调整注意力层的参数”，具体包括步骤S13111至步骤S13113。
步骤S13111：利用各注意力层输出的区域预测结果和视角对应的第二标注信息之间的差异，对应得到各注意力层的第一损失值。
每一层注意力层都可以输出区域预测结果，因此可以利用每个注意力层输出的区域预测结果和视角对应的第二标注信息之间的差异，对应得到各注意力层的第一损失值。
在一个实施方式中，在计算第一损失值时，具体可以是利用各注意力层对应的差异、至少一个结构权重，对应得到各注意力层的第一损失值。各注意力层对应的差异为各注意力层输出的区域预测结果与第二标注信息之间的差异，至少一个结构权重为注意力层的权重和/或注意力层所在的分割子网络的权重。注意力层的权重可以是该注意层的损失值的权重。注意力层所在的分割子网络的权重，则表示该注意力层所在的分割子网络整体的权重。
在一个实施方式中，第一损失值是利用正则化损失函数确定得到的，即在计算第一损失值的过程中，会利用正则化损失函数得到的损失值进行进一步地约束。通过利用正则化损失函数对第一损失值进行进一步的约束，可以加强注意力层对血管区域的特征提取能力。
步骤S13112：对各注意力层的第一损失值进行融合，得到第二损失值。
在得到各注意力层的第一损失值以后，可以将每一层注意力层的第一损失值进行融合，以此得到用于表征全部注意力层的综合损失值，即第二损失值。
在一个实施方式中，第二损失值具体可以是利用各注意力层的损失权重对对各注意力层的第一损失值进行加权处理，得到第二损失值。
在一个具体实施方式中，计算第二损失值的公式(1)如下：
Figure BDA0003329682730000112
其中，Lattention(X,Y,w)表示一个分割子网络中基于全部注意力层的第一损失值，X是第一图像点，Y为对应的第二标注信息，s表示每一个注意力层，S表示注意力层的数量，w＝(w1；w2；…；ws)表示每一个注意力层所在的分割子网络的权重，θ＝(θ1；θ2；…；θs)表示各注意力层的损失权重。
在一个具体实施方式中，因为越靠近的预测层的注意力层的获得更高的特征信息以及对应的区域预测结果会更加准确，因此可以设置越靠近预测层的注意力层的损失权重越大。例如，对于公式1而言，可以是设置θ1～θ9＝0.2，0.2，0.4，0.4，0.6，0.6，0.6，0.8，0.8。以此，通过设置越靠近预测层的注意力层的损失权重越大，可以使得得到的第二损失值可以更加合理。
在一个具体实施方式中，也可以计算全部分割子网络的注意力层的第二损失值，此时计算第二损失值的公式(2)如下：
Figure BDA0003329682730000121
其中，对比于公式(1)，新增加了表示各个分割子网络的权重系数Wl。
正则化损失函数例如是L2正则化损失函数。此时，计算第二损失值的公式(3)如下：
Figure BDA0003329682730000122
其中，对比于公式(1)，新增加了表示各个注意力层的L2正则化损失函数的损失值
Figure BDA0003329682730000123
在一个实施方式中，L2正则化损失函数
Figure BDA0003329682730000124
的计算公式(4)如下：
Figure BDA0003329682730000125
其中，
Figure BDA0003329682730000126
为一个分割子网络中基于各注意力层的L2正则化损失函数的损失值，w＝(w1；w2；…；ws)表示每一个处理单元的注意力层的权重，X是第一图像点，Y为对应的第二标注信息，yi为第一图像点对应的区域预测结果，P表示第一图像点的区域预测结果的概率值。
步骤S13113：基于第二损失值，调整各注意力层的参数。
在得到用于表征全部注意力层的综合损失值的第二损失值以后，便能够根据第二损失值，调整各注意力层的参数，以此实现对注意力层的训练。
在一个实施方式中，上述的融合子网络包括权重确定层和融合输出层。此外，在一个具体实施方式中，融合子网络还可以若干特征提取层，以及若干加码层。
请参阅图5，图5是本申请图像分割模型的训练方法一实施例的第四流程示意图。在本实施例中，对应于融合子网络包括权重确定层和融合输出层，上述步骤提及的“利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到样本医学图像的第二血管分割结果”具体包括步骤S1221和步骤S1222。
步骤S1221：利用权重确定层对多个视角对应的第一血管分割结果进行处理，得到各视角对应的融合权重信息。
在利用权重确定层对多个视角对应的第一血管分割结果进行处理之前，可以将多个视角对应的第一血管分割结果进行通道拼接，以此得到表征多个视角对应的第一血管分割结果的信息。
权重确定层对多个视角对应的第一血管分割结果进行处理，可以是直接基于多个视角对应的第一血管分割结果进行处理，也可以是基于融合子网络中的其他网络层对第一血管分割结果进行出的处理以后再进行处理。各视角对应的融合权重信息可以是样本医学图像中的第二图像点属于哪一个类别的概率的权重。因此，通过利用权重确定层结合多个视角对应的第一血管分割结果信息来得到融合权重信息，使得融合子网络能够根据不同的第一血管分割结果输出不同的融合权重信息，实现了多个视角对应的第一血管分割结果信息的软融合，有助于提高血管分割的准确度。此外，由于融合权重信息结合了多个视角对应的第一血管分割结果信息，使得后续利用融合权重信息进行血管分割时，可以减少血管分支错分的情况。
在一个具体实施方式中，融合权重信息的融合公式(5)如下：
Figure BDA0003329682730000131
其中，F(Wg)为融合权重信息，G为融合子网络，Wg是融合子网络的权重，
Figure BDA0003329682730000132
为多个视角对应的第一血管分割结果信息。
步骤S1222：利用融合输出层基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到样本医学图像的第二血管分割结果。
在得到融合权重信息以后，就可以利用融合输出层将融合权重信息和多个视角对应的第一血管分割结果进行融合，以充分利用多个视角对应的第一血管分割结果，以此得到样本医学图像的第二血管分割结果。
因此，通过利用融合输出层将融合权重信息和多个视角对应的第一血管分割结果进行融合，使得融合子网络能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。
在一个实施方式中，上述步骤提及的全局血管分割标注信息包括表示样本医学图像的第二图像点是否属于预设类别的第三标注信息，第二血管分割结果包括表示各第二图像点是否属于预设类别的预测信息。预设类别包括至少一种血管类别和非血管类别。在一个具体实施方式中，至少一种血管类别包括动脉和静脉中的至少一种。
对应于融合子网络包括权重确定层和融合输出层，上述步骤提及的调整融合子网络的参数，具体可以是调整包括权重确定层和/或融合输出层的参数。
请参阅图6，图6是本申请图像分割模型的训练方法一实施例的第五流程示意图。在本实施例中，上述步骤提及的“基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整各分割子网络和/或融合子网络的参数”，具体包括步骤S1321至步骤S1324。
步骤S1321：基于各第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各第二图像点的位置权重。
在一个实施方式中，预设区域为中心线，具体可以是血管中心线，即动脉血管的中心线和静脉血管的中心线。在一个具体实施方式中，各第二图像点与样本医学图像中血管的预设区域之间的位置关系可以是第二图像点与预设区域之间的距离。
在一个实施方式中，步骤S1321具体可以包括步骤S13212和步骤S13213。
步骤S13211：确定各第二图像点的参考距离。
在本实施方式中，属于血管类别的第二图像点的参考距离为第二图像点与样本医学图像中血管的预设区域之间的距离，也即，在血管区域类的第二图像点的参考距离为第二图像点与样本医学图像中血管的预设区域之间的距离。在一个具体实施方式中，血管的预设区域为血管的中心线，则血管中心线的上点到预设区域的距离可以认为是0。属于非血管类别的第二图像点的参考距离为预设距离值，也即，属于背景的第二图像点的参考距离为预设距离值，预设距离值例如是0。
步骤S13212：基于各第二图像点的参考距离，确定各第二图像点的位置权重。
在确定参考距离以后，即获得了各第二图像点与样本医学图像中血管的预设区域之间的位置关系，以此可以根据网络训练的需要，基于参考距离，确定各第二图像点的位置权重。
因此，通过确定各第二图像点的参考距离，便可基于各第二图像点的参考距离，确定各第二图像点的位置权重，使得位置权重可以反映参考距离的距离特征。
在一个具体实施方式中，属于血管类别的第二图像点的参考距离越大，对应的位置权重越大，属于非血管类别的第二图像点的位置权重为预设权重值。通过这样的设置方法，可以是血管区域的边缘区域的第二图像点的权重更大，使得融合子网络在训练时能够更加关注血管边缘区域，有助于提高血管分割中对血管边缘区域的分割效果。
在一个具体实施方式中，计算属于血管类别的第二图像点的参考距离公式(6)如下：
Figure BDA0003329682730000141
其中，di属于血管类别的第二图像点的参考距离，点cj为预设区域上的点，yi为属于血管类别的第二图像点。
在一个具体实施方式中，第二图像点的位置权重的计算公式(7)如下：
Figure BDA0003329682730000142
其中，max(di)为血管最边缘的第二图像点到预设区域的参考距离，di属于血管类别的第二图像点的参考距离，D为第二图像点的位置权重。
在另一个具体实施方式中，第二图像点的位置权重的计算公式(8)和如下：
Figure BDA0003329682730000143
步骤S1322：基于各第二图像点对应的预测信息和第三标注信息，得到各第二图像点的第三损失值。
因为第二图像点对应的预测信息(第二图像点是否属于预设类别的预测信息)是与第三标注信息(第二图像点是否属于预设类别)相互对应的，因此基于二者的差异，利用相关的损失函数进行计算，可以得到第二图像点的第三损失值。
在一个具体实施方式中，第三损失值是基于多个不同的损失函数对应的损失值得到的。例如，可以基于两个不同的损失函数对应的损失值来得到第三损失值。两个不同的损失函数分别为交叉熵损失函数(Cross Entropy Loss，CEL)和Dice Loss。
在一个具体实施方式中，计算第二损失值的公式(9)如下：
Ltotal＝Ldl+θ*Lcel (9)
其中，Ltotal为第二损失值，Ldl为Dice Loss损失函数对应的损失值，Lcel为CEL损失函数对应的损失值，θ为CEL损失函数对应的损失值的权重。
在一个具体实施方式中，计算CEL损失函数对应的损失值的公式(10)如下：
Figure BDA0003329682730000144
其中，Y+1，Y+2，Y_表示第三标注信息的动脉、静脉和背景，yi∈0,1,2分别表示第三标注信息中的第二图像点i属于背景、动脉和静脉，P(yi＝n)|X；W表示的第二图像点对应的预测信息，其中，W是各分割子网络和融合子网络的权重，α，β为调节系数。
在一个具体实施方式中，计算Dice Loss损失函数对应的损失值的公式(11)如下：
Figure BDA0003329682730000145
其中，n∈0,1,2分别表示第二图像点属于背景，动脉和静脉，P(yi＝n)|X；W表示第二图像点对应的预测信息，P(yi；W)表示各分割子网络和融合子网络的权重，Y为第三标注信息。
在本申请中，步骤S1321和步骤S1322的执行顺序不做限定。
步骤S1323：利用各第二图像点的位置权重对各第二图像点的第三损失值进行加权处理，得到第四损失值。
利用各第二图像点的位置权重对各第二图像点的第三损失值进行加权处理，可以使得得到的第四损失值可以反映出不同第二图像点的重要程度的差别，使得位置权重大的第二图像点对第四损失值的影响更大，以此使得在训练融合子网络时，可以更加关注位置权重大的第二图像点。
在一个具体实施方式中，计算第四损失值的公式(12)如下：
Ltotal＝D*(Ldl+θ*Lcel) (12)
其中Ltotal为第二损失值，Ldl为Dice Loss损失函数对应的损失值，Lcel为CEL损失函数对应的损失值，θ为CEL损失函数对应的损失值的权重，D为第二图像点的位置权重。
步骤S1324：基于第四损失值，各调整分割子网络和/或融合子网络的参数。
在得到第四损失值，便可根据第四损失值，各调整分割子网络和/或融合子网络的参数。在一个实施方式中，可以仅调整融合子网络。在另一个实施方式中，可以是调整分割子网络和融合子网络的参数。
因此，通过利用第二图像点的位置权重对各第二图像点的第三损失值进行加权处理，可以在训练时使得网络更加关注位置权重大的第二图像点，以此提高网络对注位置权重大的第二图像点的区域的血管分割准确度。
在一个实施例中，全局血管分割标注信息还包括表示第二图像点是否属于血管的预设区域的第四标注信息。
在一个实施方式中，在上述提及的步骤“确定各第二图像点的参考距离”之前，本申请的图像分割模型的训练方法还包括步骤S21和步骤S22。
步骤S21：利用第四标注信息，确定预设区域在样本医学图像中的位置。
通过利用第四标注信息，可以确定第二图像点属于血管的预设区域的第二图像点，进而可以确定预设区域在样本医学图像中的位置。
步骤S22：利用第二血管分割结果或第三标注信息，确定样本医学图像中各第二图像点为属于血管类别或属于非血管类别。
在一个实施方式中，因为第二血管结果包括表示各第二图像点是否属于预设类别的预测信息，因此可以利用第二血管分割结果，确定样本医学图像中各第二图像点为属于血管类别或属于非血管类别。
在另一个实施方式中，因为第三标注信息也包括样本医学图像的第二图像点是否属于预设类别的信息，因此可以基于第三标注信息，确定样本医学图像中各第二图像点为属于血管类别或属于非血管类别。
因此，通过利用第四标注信息来确定预设区域的位置，以及利用第二血管分割结果或第三标注信息来确定第二图像点为属于血管类别或属于非血管类别，后续便可以确定第二图像点的位置权重。
请参阅图7，图7是本申请图像分割模型的训练方法中图像分割模型的一结构示意图。在图7中，图像分割模型70包括多个分割子网络73和融合子网络75。在融合子网络75中，包括编码器751和解码器752。在解码器752中，还包括权重确定层7521和融合输出层7522。
以下结合图7中的图像分割网络的结构，示例性地简要描述图像分割模型70的预测过程。样本医学图像71被提取成三个视角对应的样本视角图像72，将每个样本视角图像72输入到对应的分割子网络73中，可以得到与视角数量对应的第一分割结果74。在将全部第一分割结果74进行特征联合操作后输入到融合子网络75的编码器751中。此时，编码器751中的第一个特征处理层的最后一个子处理层输出的特征信息经过点积能够得到需要输入到权重确定层7521的第一特征信息，权重确定层7521中的上一层输出的特征信息经过上采样操作后能够得到需要输入到权重确定层7521的第二特征信息。然后，权重确定层7521可以基于第一特征信息和第二特征信息，得到融合权重信息。融合权重信息继续被解码器752的其他网络层解码，最后由融合输出层7522输出第二血管分割结果76。
请参阅图8，图8是本申请图像分割方法实施例的第一流程示意图。具体的，图像分割方法可以包括步骤S31和步骤S32。
步骤31：获取分别从多个视角对目标医学图像提取得到的多个目标视角图像。
在本实施例中，目标医学图像包含血管，以此图像分割模型可以针对目标医学图像包含的血管进行血管分割，在一个实施方式中，目标医学图像为对器官扫描得到的三维图像。获得目标医学图像的方法可以参阅上述步骤S11中获得样本医学图像的方法，此处不再赘述。
在一个实施方式中，多个视角包括横断位视角、矢状位视角、冠状位视角中的多种。在一个具体实施方式中，对于每个视角，可以从视角对目标医学图像提取得到视角的若干子目标图像，并将视角的若干子目标图像进行拼接，得到视角对应的目标视角图像。获得目标视角图像的方法可以参阅上述步骤S11中获得样本视角图像的方法，此处不再赘述。
步骤S32：利用图像分割模型对各目标视角图像进行图像分割，以得到与目标医学图像相关的血管分割结果。
血管分割结果可以是目标医学图像的图像点(体素)的分类信息，类别信息包括动脉、静脉和背景。也即，可以利用图像分割模型对各目标视角图像进行图像分割，以此得到目标医学图像的图像点的分类信息。
因此，通过利用图像分割模型对各目标视角图像进行图像分割，使得图像分割模型可以利用多个视角的目标视角图像的图像信息进行血管分割，有助于提高图像分割模型的分割准确度。
在一个实施方式中，图像分割模型可以是上述图像分割模型的训练方式的实施例所描述的图像分割模型。在一个具体实施方式中，图像分割模型是利用图像分割模型的训练方法的实施例描述的图像分割模型的训练方法训练得到的。因此，通过限定图像分割模型是利用图像分割模型的训练方法的实施例得到的，使得在利用经过训练的图像分割模型进行血管分割时，血管分割的准确度更高。
在一个实施方式中，本实施例描述的图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络。分割子网络和融合子网络例如是上述图像分割模型的训练方法的实施例描述的图像分割模型的分割子网络和融合子网络。
对应于图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络，上述步骤提及的“图像分割模型对各样本视角图像进行图像分割，以得到与目标医学图像相关的血管分割结果”具体步骤S321和步骤S322。
步骤S321：对于每个视角，利用视角对应的分割子网络对视角对应的目标视角图像进行图像分割，得到各视角对应的各第一血管分割结果。
在一个实施中方式，上述的视角对应的第一血管分割结果包括表示视角对应的目标视角图像中各第一图像点是否属于预设类别的第一预测信息。预设类别包括至少一种血管类别和非血管类别。血管类别例如是动脉和静脉。
关于步骤S321的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S121的相关描述，此处不再赘述。
步骤S322：利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到目标医学图像的第二血管分割结果。
在一个实施中方式，第二血管分割结果包括表示目标医学图像中各第二图像点是否属于预设类别的第二预测信息，预设类别包括至少一种血管类别和非血管类别。
关于步骤S321的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S122的相关描述，此处不再赘述。
因此，通过利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，使得融合子网络能够利用多个视角的第一血管分割结果的预测信息，有助于提高图像分割模型的分割准确度。
在一个实施方式中，上述步骤提及的“利用视角对应的分割子网络对视角对应的目标视角图像进行图像分割，得到各视角对应的各第一血管分割结果”具体包括步骤3211至步骤3213。
步骤S3211：对视角对应的样本视角图像进行特征提取，得到视角对应的样本特征图。
关于步骤S3211的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S1211的相关描述，此处不再赘述。
步骤S3212：对视角对应的样本特征图进行处理，得到视角对应的区域预测结果。
在本实施例中，视角对应的区域预测结果用于表示视角对应的样本视角图像中的预设区域的位置。在一个实施方式中，预设区域为血管的中心线。在一个具体实施方式中，区域预测结果包括目标视角图像中各第一图像点为预设区域的概率信息。
在一个实施方式中，步骤3212提及的“对视角对应的样本特征图进行处理，得到视角对应的区域预测结果”是由分割子网络的注意力层执行的。
关于步骤S3212的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S1212的相关描述，此处不再赘述。
步骤S3213：基于视角对应的区域预测结果预测得到各视角对应的各第一血管分割结果。
关于步骤S3213的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S1213的相关描述，此处不再赘述。
因此，通过基于视角对应的区域预测结果预测得到视角对应的第一血管分割结果，使得可以更多的利用区域预测结果来得到第一分割结果时，有助于提高图像分割模型的分割准确度。
在一个实施方式中，上述步骤提及的“利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到目标医学图像的第二血管分割结果”具体包括步骤3221至步骤3222。
步骤3221：基于多个视角对应的第一血管分割结果，得到各视角对应的融合权重信息。
在一个具体实施方式中，对于每个视角，可以基于视角的第一血管分割结果，得到视角对应的各第一图像点的融合权重。
关于步骤S3221的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S1221的相关描述，此处不再赘述。
步骤3222：基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到目标医学图像的第二血管分割结果。
在一个具体实施方式中，对于各第一图像点，可以基于第一图像点对应各视角的融合权重对第一图像点对应各视角的预测信息进行加权处理，得到目标医学图像中与第一图像点对应的第二图像点的第二预测信息。
关于步骤S3222的详细描述请参阅上述图像分割模型的训练方法的实施例中步骤S1222的相关描述，此处不再赘述。
因此，通过基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，以此可以更加充分的利用多个视角对应的第一血管分割结果的信息，有助于提高图像分割模型的分割准确度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图9，图9是本申请图像分割模型的训练装置一实施例的框架示意图。图像分割模型的训练装置90包括获取模块91、图像分割模块92和参数调整模块93。获取模块91用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，样本医学图像包含血管。图像分割模块92用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，样本医学图像包含血管。参数调整模块93用于基于血管分割结果，调整图像分割模型的网络参数。
其中，上述的图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络。上述的图像分割模块92利用图像分割模型对各样本视角图像进行图像分割，以得到与样本医学图像相关的血管分割结果，包括：对于每个视角，利用视角对应的分割子网络对视角对应的样本视角图像进行图像分割，得到各视角对应的各第一血管分割结果；利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到样本医学图像的第二血管分割结果。上述的参数调整模块93用于基于血管分割结果，调整图像分割模型的网络参数，包括以下至少一个步骤：对于每个视角，基于各视角对应的各第一血管分割结果与视角对应的局部血管分割标注信息，调整视角对应的分割子网络的参数；基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整各分割子网络和/或融合子网络的参数。
其中，上述的分割子网络包括依序连接的特征处理层、注意力层和预测层，上述的参数调整模块93用于调整视角对应的分割子网络的参数包括特征处理层、注意力层和预测层中至少一者的参数。上述的图像分割模块92用于利用视角对应的分割子网络对视角对应的样本视角图像进行图像分割，得到各视角对应的各第一血管分割结果，包括：利用特征处理层对视角对应的样本视角图像进行特征提取，得到视角对应的样本特征图；利用注意力层对视角对应的样本特征图进行处理，得到视角对应的区域预测结果，其中，视角对应的区域预测结果用于表示视角对应的样本视角图像中的预设区域的位置；利用预测层基于各视角对应的区域预测结果预测得到视角对应的各第一血管分割结果。
其中，上述的局部血管分割标注信息包括表示样本视角图像的第一图像点是否属于预设类别的第一标注信息和表示第一图像点是否属于预设区域的第二标注信息，预设类别包括至少一种血管类别和非血管类别。
其中，上述的参数调整模块93用于基于各视角对应的各第一血管分割结果与视角对应的局部血管分割标注信息，调整视角对应的分割子网络的参数，包括以下至少一个步骤：基于视角对应的区域预测结果和视角对应的第二标注信息，至少调整注意力层的参数；基于各视角对应的各第一血管分割结果、视角对应的第一标注信息，调整特征处理层、注意力层和预测层中至少一者的参数。
其中，上述的分割子网络包括依序连接的至少一个处理单元和预测层，每个处理单元包括特征处理层，至少部分处理单元还包括连接于特征处理层之后的注意力层，预测层基于至少一注意力层输出的区域预测结果得到第一血管分割结果，每层注意力层的参数是基于对应所有注意力的区域预测结果和视角对应的第二标注信息调整的。上述的参数调整模块93用于基于视角对应的区域预测结果和视角对应的第二标注信息，至少调整注意力层的参数，包括：利用各注意力层输出的区域预测结果和视角对应的第二标注信息之间的差异，对应得到各注意力层的第一损失值；对各注意力层的第一损失值进行融合，得到第二损失值；基于第二损失值，调整各注意力层的参数。
其中，上述的第一损失值是利用正则化损失函数确定得到的。上述的参数调整模块93用于利用各注意力层输出的区域预测结果和视角对应的第二标注信息之间的第一差异，对应得到各注意力层的第一损失值，包括：利用各注意力层对应的差异、至少一个结构权重，对应得到各注意力层的第一损失值，其中，至少一个结构权重为注意力层的权重和/或注意力层所在的分割子网络的权重。上述的参数调整模块93用于对各注意力层的第一损失值进行融合，得到第二损失值，包括：利用各注意力层的损失权重对对各注意力层的第一损失值进行加权处理，得到第二损失值。
其中，越靠近预测层的注意力层的损失权重越大。
其中，上述的融合子网络包括权重确定层和融合输出层。上述的参数调整模块93用于调整的融合子网络的参数包括权重确定层和/或融合输出层的参数。
其中，上述的图像分割模块92用于利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到样本医学图像的第二血管分割结果，包括：利用权重确定层对多个视角对应的第一血管分割结果进行处理，得到各视角对应的融合权重信息；利用融合输出层基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到样本医学图像的第二血管分割结果。
其中，上述的全局血管分割标注信息包括表示样本医学图像的第二图像点是否属于预设类别的第三标注信息，第二血管分割结果包括表示各第二图像点是否属于预设类别的预测信息，预设类别包括至少一种血管类别和非血管类别。其中，上述的参数调整模块93用于基于第二血管分割结果与样本医学图像的全局血管分割标注信息，调整各分割子网络和/或融合子网络的参数，包括：基于各第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各第二图像点的位置权重；以及基于各第二图像点对应的预测信息和第三标注信息，得到各第二图像点的第三损失值；利用各第二图像点的位置权重对各第二图像点的第三损失值进行加权处理，得到第四损失值；基于第四损失值，调整各分割子网络和/或融合子网络的参数。
其中，上述的参数调整模块93用于基于各第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各第二图像点的位置权重，包括：确定各第二图像点的参考距离，其中，属于血管类别的第二图像点的参考距离为第二图像点与样本医学图像中血管的预设区域之间的距离，属于非血管类别的第二图像点的参考距离为预设距离值；基于各第二图像点的参考距离，确定各第二图像点的位置权重。
其中，属于血管类别的第二图像点的参考距离越大，对应的位置权重越大，属于非血管类别的第二图像点的位置权重为预设权重值。全局血管分割标注信息还包括表示第二图像点是否属于血管的预设区域的第四标注信息。在参数调整模块93用于确定各第二图像点的参考距离之前，参数调整模块93还用于利用第四标注信息，确定预设区域在样本医学图像中的位置；利用第二血管分割结果或第三标注信息，确定样本医学图像中各第二图像点为属于血管类别或属于非血管类别。
其中，上述的预设区域为中心线，和/或，至少一种血管类别包括动脉和静脉中的至少一种。
其中，上述的样本医学图像为对器官扫描得到的三维图像；和/或，多个视角包括横断位视角、矢状位视角、冠状位视角中的多种；其中，上述的获取模块91用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，包括：对于每个视角，从视角对样本医学图像提取得到视角的若干子样本图像，并将视角的若干子样本图像进行拼接，得到视角对应的样本视角图像。
因此，通过使用不同视角的样本视角图对图像分割模型的训练，使得训练后的图像分割模型在后续应用中，能够利用不同视角的样本视角图的图像信息进行血管分割，有助于提高血管分割的准确度。
请参阅图10，图10是本申请图像分割装置一实施例的框架示意图。图像分割装置100包括获取模块101和图像分割模块102。获取模块101用于获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，其中，目标医学图像包含血管；图像分割模块102用于利用图像分割模型对各目标医学图像进行图像分割，以得到与目标医学图像相关的血管分割结果。
其中，上述的图像分割模型包括分别与多个视角对应的多个分割子网络和融合子网络。上述的图像分割模块102用于利用图像分割模型对各样本视角图像进行图像分割，以得到与目标医学图像相关的血管分割结果，包括：对于每个视角，利用视角对应的分割子网络对视角对应的目标视角图像进行图像分割，得到各视角对应的各第一血管分割结果；利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到目标医学图像的第二血管分割结果。
其中，上述的图像分割模块102用于利用视角对应的分割子网络对视角对应的目标视角图像进行图像分割，得到各视角对应的各第一血管分割结果，包括：对视角对应的样本视角图像进行特征提取，得到视角对应的样本特征图；对视角对应的样本特征图进行处理，得到视角对应的区域预测结果，其中，视角对应的区域预测结果用于表示视角对应的样本视角图像中的预设区域的位置；基于视角对应的区域预测结果预测得到各视角对应的各第一血管分割结果。上述的图像分割模块102用于利用融合子网络对各视角对应的各第一血管分割结果进行融合处理，得到目标医学图像的第二血管分割结果，包括：基于多个视角对应的第一血管分割结果，得到各视角对应的融合权重信息；基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到目标医学图像的第二血管分割结果。
其中，上述的对视角对应的样本特征图进行处理，得到视角对应的区域预测结果是由分割子网络的注意力层执行的；和/或，预设区域为血管的中心线；和/或，区域预测结果包括目标视角图像中各第一图像点为预设区域的概率信息。
其中，上述的视角对应的第一血管分割结果包括表示视角对应的目标视角图像中各第一图像点是否属于预设类别的第一预测信息，第二血管分割结果包括表示目标医学图像中各第二图像点是否属于预设类别的第二预测信息，预设类别包括至少一种血管类别和非血管类别。上述的图像分割模块102用于基于多个视角对应的第一血管分割结果，得到各视角对应的融合权重信息，包括：对于每个视角，基于视角的第一血管分割结果，得到视角对应的各第一图像点的融合权重；上述的图像分割模块102用于基于各视角对应的融合权重信息对多个视角对应的第一血管分割结果进行融合，得到目标医学图像的第二血管分割结果，包括：对于各第一图像点，基于第一图像点对应各视角的融合权重对第一图像点对应各视角的预测信息进行加权处理，得到目标医学图像中与第一图像点对应的第二图像点的第二预测信息。
其中，上述的图像分割模型为利用上述的图像分割模型的训练方法训练得到的。
其中，上述的目标医学图像为对器官扫描得到的三维图像；上述的多个视角包括横断位视角、矢状位视角、冠状位视角中的多种；上述的获取模块101用于获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，包括：对于每个视角，从视角对目标医学图像提取得到视角的若干子目标图像，并将视角的若干子目标图像进行拼接，得到视角对应的目标视角图像。
因此，通过利用图像分割模型对各目标视角图像进行图像分割，使得图像分割模型可以利用多个视角的目标视角图像的图像信息进行血管分割，有助于提高图像分割模型的分割准确度。
请参阅图11，图11是本申请电子设备一实施例的框架示意图。电子设备110包括相互耦接的存储器111和处理器112，处理器112用于执行存储器111中存储的程序指令，以实现上述任一图像分割模型的训练方法实施例的步骤，或实现上述任一图像分割方法实施例中的步骤。在一个具体的实施场景中，电子设备110可以包括但不限于：微型计算机、服务器，此外，电子设备110还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器112用于控制其自身以及存储器111以实现上述任一图像分割模型的训练方法实施例的步骤，或实现上述任一图像分割方法实施例中的步骤。处理器112还可以称为CPU(Central Processing Unit，中央处理单元)。处理器112可能是一种集成电路芯片，具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器112可以由集成电路芯片共同实现。
请参阅图12，图12为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质120存储有能够被处理器运行的程序指令121，程序指令121用于实现上述任一图像分割模型的训练方法实施例的步骤，或实现上述任一图像分割方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (24)

1.一种图像分割模型的训练方法，其特征在于，包括：
获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，所述样本医学图像包含血管；
利用图像分割模型对各所述样本视角图像进行图像分割，以得到与所述样本医学图像相关的血管分割结果；
基于所述血管分割结果，调整所述图像分割模型的网络参数。
2.根据权利要求1所述的方法，其特征在于，所述图像分割模型包括分别与所述多个视角对应的多个分割子网络和融合子网络；所述利用图像分割模型对各所述样本视角图像进行图像分割，以得到与所述样本医学图像相关的血管分割结果，包括：
对于每个视角，利用所述视角对应的分割子网络对所述视角对应的样本视角图像进行图像分割，得到各所述视角对应的各第一血管分割结果；
利用所述融合子网络对各所述视角对应的各第一血管分割结果进行融合处理，得到所述样本医学图像的第二血管分割结果；以及
所述基于所述血管分割结果，调整所述图像分割模型的网络参数，包括以下至少一个步骤：
对于每个视角，基于各所述视角对应的所述第一血管分割结果与所述各视角对应的局部血管分割标注信息，调整所述视角对应的分割子网络的参数；
基于所述第二血管分割结果与所述样本医学图像的全局血管分割标注信息，调整各所述分割子网络和/或融合子网络的参数。
3.根据权利要求2所述的方法，其特征在于，所述分割子网络包括依序连接的特征处理层、注意力层和预测层，所述调整所述视角对应的分割子网络的参数包括所述特征处理层、注意力层和预测层中至少一者的参数；
所述利用所述视角对应的分割子网络对所述视角对应的样本视角图像进行图像分割，得到各所述视角对应的各第一血管分割结果，包括：
利用所述特征处理层对所述视角对应的样本视角图像进行特征提取，得到所述视角对应的样本特征图；
利用所述注意力层对所述视角对应的样本特征图进行处理，得到所述视角对应的区域预测结果，其中，所述视角对应的区域预测结果用于表示所述视角对应的样本视角图像中的预设区域的位置；
利用所述预测层基于各所述视角对应的区域预测结果预测得到各所述视角对应的各第一血管分割结果。
4.根据权利要求3所述的方法，其特征在于，所述局部血管分割标注信息包括表示所述样本视角图像的第一图像点是否属于预设类别的第一标注信息和表示所述第一图像点是否属于所述预设区域的第二标注信息，所述预设类别包括至少一种血管类别和非血管类别；
所述基于所述视角对应的所述第一血管分割结果与所述视角对应的局部血管分割标注信息，调整所述视角对应的分割子网络的参数，包括以下至少一个步骤：
基于所述视角对应的区域预测结果和所述视角对应的所述第二标注信息，至少调整所述注意力层的参数；
基于各所述视角对应的各第一血管分割结果、所述视角对应的所述第一标注信息，调整所述特征处理层、注意力层和预测层中至少一者的参数。
5.根据权利要求4所述的方法，其特征在于，所述分割子网络包括依序连接的至少一个处理单元和所述预测层，每个所述处理单元包括特征处理层，至少部分所述处理单元还包括连接于特征处理层之后的注意力层，所述预测层基于至少一所述注意力层输出的区域预测结果得到所述第一血管分割结果，每层所述注意力层的参数是基于对应所有所述注意力层的区域预测结果和所述视角对应的所述第二标注信息调整的；
和/或，所述基于所述视角对应的区域预测结果和所述视角对应的所述第二标注信息，至少调整所述注意力层的参数，包括：
利用各所述注意力层输出的区域预测结果和所述视角对应的所述第二标注信息之间的差异，对应得到各所述注意力层的第一损失值；
对各所述注意力层的第一损失值进行融合，得到第二损失值；
基于所述第二损失值，调整各所述注意力层的参数。
6.根据权利要求5所述的方法，其特征在于，所述第一损失值是利用正则化损失函数确定得到的；
和/或，所述利用各所述注意力层输出的区域预测结果和所述视角对应的所述第二标注信息之间的第一差异，对应得到各所述注意力层的第一损失值，包括：
利用各所述注意力层对应的所述差异、至少一个结构权重，对应得到各所述注意力层的第一损失值，其中，所述至少一个结构权重为所述注意力层的权重和/或所述注意力层所在的分割子网络的权重；
和/或，所述对各所述注意力层的第一损失值进行融合，得到第二损失值，包括：
利用各所述注意力层的损失权重对所述对各所述注意力层的第一损失值进行加权处理，得到所述第二损失值。
7.根据权利要求6所述的方法，其特征在于，越靠近所述预测层的所述注意力层的所述损失权重越大。
8.根据权利要求2所述的方法，其特征在于，所述融合子网络包括权重确定层和融合输出层，调整的所述融合子网络的参数包括所述权重确定层和/或融合输出层的参数；所述利用所述融合子网络对各所述视角对应的各第一血管分割结果进行融合处理，得到所述样本医学图像的第二血管分割结果，包括：
利用所述权重确定层对所述多个视角对应的第一血管分割结果进行处理，得到各所述视角对应的融合权重信息；
利用所述融合输出层基于各所述视角对应的融合权重信息对所述多个视角对应的第一血管分割结果进行融合，得到所述样本医学图像的第二血管分割结果。
9.根据权利要求2所述的方法，其特征在于，所述全局血管分割标注信息包括表示所述样本医学图像的第二图像点是否属于预设类别的第三标注信息，所述第二血管分割结果包括表示各所述第二图像点是否属于预设类别的预测信息，所述预设类别包括至少一种血管类别和非血管类别；所述基于所述第二血管分割结果与所述样本医学图像的全局血管分割标注信息，调整各所述分割子网络和/或融合子网络的参数，包括：
基于各所述第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各所述第二图像点的位置权重；以及
基于各所述第二图像点对应的预测信息和所述第三标注信息，得到各所述第二图像点的第三损失值；
利用各所述第二图像点的位置权重对各所述第二图像点的第三损失值进行加权处理，得到第四损失值；
基于所述第四损失值，调整各所述分割子网络和/或融合子网络的参数。
10.根据权利要求9所述的方法，其特征在于，所述基于各所述第二图像点与样本医学图像中血管的预设区域之间的位置关系，确定各所述第二图像点的位置权重，包括：
确定各所述第二图像点的参考距离，其中，属于所述血管类别的第二图像点的参考距离为所述第二图像点与样本医学图像中所述血管的预设区域之间的距离，属于所述非血管类别的第二图像点的参考距离为预设距离值；
基于各所述第二图像点的参考距离，确定各所述第二图像点的位置权重。
11.根据权利要求10所述的方法，其特征在于，属于所述血管类别的第二图像点的参考距离越大，对应的位置权重越大，属于所述非血管类别的第二图像点的位置权重为预设权重值；
和/或，所述全局血管分割标注信息还包括表示所述第二图像点是否属于血管的预设区域的第四标注信息；在所述确定各所述第二图像点的参考距离之前，所述方法还包括：
利用所述第四标注信息，确定所述预设区域在所述样本医学图像中的位置；
利用所述第二血管分割结果或所述第三标注信息，确定所述样本医学图像中各所述第二图像点为属于所述血管类别或属于所述非血管类别。
12.根据权利要求4或9所述的方法，其特征在于，所述预设区域为中心线，和/或，所述至少一种血管类别包括动脉和静脉中的至少一种。
13.根据权利要求1所述的方法，其特征在于，所述样本医学图像为对器官扫描得到的三维图像；
和/或，所述多个视角包括横断位视角、矢状位视角、冠状位视角中的多种；
和/或，所述获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，包括：
对于每个所述视角，从所述视角对所述样本医学图像提取得到所述视角的若干子样本图像，并将所述视角的若干子样本图像进行拼接，得到所述视角对应的样本视角图像。
14.一种图像分割方法，其特征在于，包括：
获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，其中，所述目标医学图像包含血管；
利用图像分割模型对各所述目标视角图像进行图像分割，以得到与所述目标医学图像相关的血管分割结果。
15.根据权利要求14所述的方法，其特征在于，所述图像分割模型包括分别与所述多个视角对应的多个分割子网络和融合子网络；所述利用图像分割模型对各所述样本视角图像进行图像分割，以得到与所述目标医学图像相关的血管分割结果，包括：
对于每个视角，利用所述视角对应的分割子网络对所述视角对应的目标视角图像进行图像分割，得到各所述视角对应的各第一血管分割结果；
利用所述融合子网络对各所述视角对应的各第一血管分割结果进行融合处理，得到所述目标医学图像的第二血管分割结果。
16.根据权利要求15所述的方法，其特征在于，所述利用所述视角对应的分割子网络对所述视角对应的目标视角图像进行图像分割，得到各所述视角对应的各第一血管分割结果，包括：
对所述视角对应的样本视角图像进行特征提取，得到所述视角对应的样本特征图；
对所述视角对应的样本特征图进行处理，得到所述视角对应的区域预测结果，其中，所述视角对应的区域预测结果用于表示所述视角对应的样本视角图像中的预设区域的位置；
基于所述视角对应的区域预测结果预测得到各所述视角对应的各第一血管分割结果；
和/或，所述利用所述融合子网络对各所述视角对应的各第一血管分割结果进行融合处理，得到所述目标医学图像的第二血管分割结果，包括：
基于所述多个视角对应的第一血管分割结果，得到各所述视角对应的融合权重信息；
基于各所述视角对应的融合权重信息对所述多个视角对应的第一血管分割结果进行融合，得到所述目标医学图像的第二血管分割结果。
17.根据权利要求16所述的方法，其特征在于，所述对所述视角对应的样本特征图进行处理，得到所述视角对应的区域预测结果是由所述分割子网络的注意力层执行的；
和/或，所述预设区域为血管的中心线；
和/或，所述区域预测结果包括所述目标视角图像中各第一图像点为所述预设区域的概率信息。
18.根据权利要求16所述的方法，其特征在于，所述视角对应的第一血管分割结果包括表示所述视角对应的目标视角图像中各第一图像点是否属于预设类别的第一预测信息，所述第二血管分割结果包括表示所述目标医学图像中各第二图像点是否属于预设类别的第二预测信息，所述预设类别包括至少一种血管类别和非血管类别；
所述基于所述多个视角对应的第一血管分割结果，得到各所述视角对应的融合权重信息，包括：
对于每个所述视角，基于所述视角的第一血管分割结果，得到所述视角对应的各所述第一图像点的融合权重；
所述基于各所述视角对应的融合权重信息对所述多个视角对应的第一血管分割结果进行融合，得到所述目标医学图像的第二血管分割结果，包括：
对于各所述第一图像点，基于所述第一图像点对应各视角的融合权重对所述第一图像点对应各视角的预测信息进行加权处理，得到所述目标医学图像中与所述第一图像点对应的第二图像点的第二预测信息。
19.根据权利要求16所述的方法，其特征在于，所述图像分割模型为利用上述权利要求1-13任一项所述的图像分割模型的训练方法训练得到的。
20.根据权利要求16所述的方法，其特征在于，所述目标医学图像为对器官扫描得到的三维图像；
和/或，所述多个视角包括横断位视角、矢状位视角、冠状位视角中的多种；
和/或，所述获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，包括：
对于每个所述视角，从所述视角对所述目标医学图像提取得到所述视角的若干子目标图像，并将所述视角的若干子目标图像进行拼接，得到所述视角对应的目标视角图像。
21.一种图像分割模型的训练装置，其特征在于，包括：
获取模块，用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，所述样本医学图像包含血管；
图像分割模块，用于获取分别从多个视角对样本医学图像提取得到的多个样本视角图像，其中，所述样本医学图像包含血管；
参数调整模块，用于基于所述血管分割结果，调整所述图像分割模型的网络参数。
22.一种图像分割装置，其特征在于，包括：
获取模块，用于获取分别从多个视角对目标医学图像提取得到的多个目标视角图像，其中，所述目标医学图像包含血管；
图像分割模块，用于利用图像分割模型对各所述目标医学图像进行图像分割，以得到与所述目标医学图像相关的血管分割结果。
23.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至13任一项所述的图像分割模型的训练方法，或实现权利要求14-20任一项所述的图像分割方法。
24.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至13任一项所述的图像分割模型的训练方法，或实现权利要求14-20任一项所述的图像分割方法。
CN202111274342.9A 2021-10-29 2021-10-29 图像分割方法及相关模型的训练方法和装置、设备 Pending CN113989293A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111274342.9A CN113989293A (zh) 2021-10-29 2021-10-29 图像分割方法及相关模型的训练方法和装置、设备
PCT/CN2022/093458 WO2023071154A1 (zh) 2021-10-29 2022-05-18 图像分割方法及相关模型的训练方法和装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111274342.9A CN113989293A (zh) 2021-10-29 2021-10-29 图像分割方法及相关模型的训练方法和装置、设备

Publications (1)

Publication Number Publication Date
CN113989293A true CN113989293A (zh) 2022-01-28

Family

ID=79744610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111274342.9A Pending CN113989293A (zh) 2021-10-29 2021-10-29 图像分割方法及相关模型的训练方法和装置、设备

Country Status (2)

Country Link
CN (1) CN113989293A (zh)
WO (1) WO2023071154A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494668A (zh) * 2022-04-13 2022-05-13 腾讯科技（深圳）有限公司 三维模型的展开方法、装置、设备、存储介质及程序产品
CN115170912A (zh) * 2022-09-08 2022-10-11 北京鹰瞳科技发展股份有限公司 图像处理模型训练的方法、生成图像的方法及相关产品
CN115908457A (zh) * 2023-01-06 2023-04-04 脑玺(苏州)智能科技有限公司 低密度梗死区分割方法、分析方法、装置、系统、设备及介质
WO2023071154A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 图像分割方法及相关模型的训练方法和装置、设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111768418A (zh) * 2020-06-30 2020-10-13 北京推想科技有限公司 图像分割方法及装置、图像分割模型的训练方法
CN112037186A (zh) * 2020-08-24 2020-12-04 杭州深睿博联科技有限公司 一种基于多视图模型融合的冠脉血管提取方法及装置
CN112561868B (zh) * 2020-12-09 2021-12-07 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
CN113409320A (zh) * 2021-05-18 2021-09-17 珠海横乐医学科技有限公司 基于多注意力的肝脏血管分割方法及系统
CN113989293A (zh) * 2021-10-29 2022-01-28 上海商汤智能科技有限公司 图像分割方法及相关模型的训练方法和装置、设备
CN114445376A (zh) * 2022-01-27 2022-05-06 上海商汤智能科技有限公司 图像分割方法及其模型训练方法和相关装置、设备、介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071154A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 图像分割方法及相关模型的训练方法和装置、设备
CN114494668A (zh) * 2022-04-13 2022-05-13 腾讯科技（深圳）有限公司 三维模型的展开方法、装置、设备、存储介质及程序产品
CN114494668B (zh) * 2022-04-13 2022-07-15 腾讯科技（深圳）有限公司 三维模型的展开方法、装置、设备及存储介质
CN115170912A (zh) * 2022-09-08 2022-10-11 北京鹰瞳科技发展股份有限公司 图像处理模型训练的方法、生成图像的方法及相关产品
CN115908457A (zh) * 2023-01-06 2023-04-04 脑玺(苏州)智能科技有限公司 低密度梗死区分割方法、分析方法、装置、系统、设备及介质

Also Published As

Publication number Publication date
WO2023071154A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
JP7297081B2 (ja) 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
CN113989293A (zh) 图像分割方法及相关模型的训练方法和装置、设备
WO2021051965A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN112767329B (zh) 图像处理方法及装置、电子设备
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111899244B (zh) 图像分割、网络模型的训练方法及装置，及电子设备
CN114820584B (zh) 肺部病灶定位装置
WO2023005634A1 (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN113256605B (zh) 一种基于深度神经网络的乳腺癌图像识别分类方法
CN111814768B (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
CN117152442B (zh) 影像靶区自动勾画方法、装置、电子设备和可读存储介质
WO2024021641A1 (zh) 一种血管分割方法、装置、设备及存储介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
Xu et al. Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network
EP4167184A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN113658107A (zh) 一种基于ct图像的肝脏病灶诊断方法及装置
CN116363152B (zh) 图像分割的方法、训练图像分割模型的方法及装置
CN112614118B (zh) 一种基于深度学习的ct图像预测方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064631

Country of ref document: HK