CN113870215A - 中线提取方法及装置 - Google Patents

中线提取方法及装置 Download PDF

Info

Publication number
CN113870215A
CN113870215A CN202111131351.2A CN202111131351A CN113870215A CN 113870215 A CN113870215 A CN 113870215A CN 202111131351 A CN202111131351 A CN 202111131351A CN 113870215 A CN113870215 A CN 113870215A
Authority
CN
China
Prior art keywords
centerline
key point
keypoint
scale
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111131351.2A
Other languages
English (en)
Other versions
CN113870215B (zh
Inventor
于朋鑫
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202111131351.2A priority Critical patent/CN113870215B/zh
Publication of CN113870215A publication Critical patent/CN113870215A/zh
Application granted granted Critical
Publication of CN113870215B publication Critical patent/CN113870215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供了一种中线提取方法及装置，用于提取血管中线，该方法包括：将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中关键点检测模型用于提取血管中线上的关键点；基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，其中关键点优化模型用于基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对多模态的特征图进行特征融合，得到融合后的特征图，并对融合后的特征图进行关键点分类；基于第二中线关键点集合，确定血管中线。本申请能够在不提取血管的情况下，直接对血管中线进行提取，提高了血管中线的提取精度。

Description

中线提取方法及装置
技术领域
本申请涉及深度学习技术领域，具体涉及一种中线提取方法及装置。
背景技术
目前，现有的血管中心线提取方法，通常需要先从医学影像中提取血管，然后基于血管的提取结果提取血管中线(或血管中心线)。在现有技术中，该方法不但增加了血管中线提取技术的复杂度，而且也导致血管中线提取的准确性依赖于血管提取的准确性，从而降低了血管中线的提取精度。尤其在因血管内疾病(例如颈动脉斑块等)造成血管形态异常时，上述的血管中线提取方法更容易受到影响。
发明内容
有鉴于此，本申请实施例提供了一种中线提取方法及装置，能够提高血管中线的提取精度。
第一方面，本申请的实施例提供了一种中线提取方法，用于提取血管中线，该方法包括：将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中关键点检测模型用于提取血管中线上的关键点；基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，其中关键点优化模型用于基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对多模态的特征图进行特征融合，得到融合后的特征图，并对融合后的特征图进行关键点分类；基于第二中线关键点集合，确定血管中线。
在本申请某些实施例中，基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，包括：基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得初始的第二中线关键点集合；基于初始的第二中线关键点集合和第二尺度的医学影像，利用关键点优化模型，获得第1次更新后的第二中线关键点集合；当经过第L次更新后的第二中线关键点集合与第L-1次更新后的第二中线关键点集合的差异满足预设条件，或者L等于预设更新次数时，将第L次更新后的第二中线关键点集合作为第二中线关键点集合，其中L≥2。
在本申请某些实施例中，基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，包括：根据至少一种图像转换方式，和/或每个第一中线关键点与第一尺度的医学影像上的每个像素点的距离关系，确定每个第一中线关键点对应的多模态的特征图。
在本申请某些实施例中，根据至少一种图像转换方式，和/或所述每个第一中线关键点集合与所述第一尺度的医学影像上的每个像素点的距离关系，确定所述每个第一中线关键点对应的所述多模态的特征图，包括：将每个第一中线关键点作为中心点对第二尺度的医学影像进行截取，以获得每个第一中线关键点对应的预设尺寸的目标图像；基于至少一种图像转换方式分别对目标图像进行转化，获得转换图像组，其中图像转换方式的种类大于等于两种；和/或基于每个第一中线关键点与第一尺度的医学影像上的每个像素点的距离关系，确定第二尺度的医学影像对应的第二尺度的关键点距离热力图，并根据每个第一中线关键点在第二尺度的医学影像中的位置坐标，对第二尺度的关键点距离热力图进行截取，获得每个第一中线关键点对应的关键点距离热力图；将目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型，确定每个第一中线关键点的多模态的特征图。
在本申请某些实施例中，将目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型，确定每个第一中线关键点的多模态的特征图，包括：将每个第一中线关键点的目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型的特征提取模块，以获得每个第一中线关键点对应的多模态的特征图，其中，多模态的特征图包括目标图像、转换图像组和/或关键点距离热力图各自对应的特征图。
在本申请某些实施例中，对多模态的特征图进行特征融合，得到融合后的特征图，包括：将多模态的特征图输入关键点优化模型的特征融合模块，以获得多模态的特征图中每个第一特征的相关性数值，其中多模态的特征图包括多个第一特征；基于多个第一特征的相关性数值，获得与多个第一特征对应的多个第二特征；将多个第二特征进行加和，获得融合后的特征图。
在本申请某些实施例中，对融合后的特征图进行关键点分类，包括：基于关键点优化模型判定融合后的特征图中作为中心点的第一中线关键点是否为血管中线上的关键点，该方法还包括：当第一中线关键点为血管中线上的关键点时，对第一中线关键点的位置进行校正，以获得第二中线关键点，其中第二中线关键点集合包括多个第二中线关键点。
在本申请某些实施例中，在将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像之前，还包括：将具有标签信息的样本数据输入初始网络模型进行训练，以获得关键点检测模型。
在本申请某些实施例中，基于第二中线关键点集合，确定血管中线包括：基于第二中线关键点集合的排布状态，确定血管中线的起始点和结束点；基于起始点与结束点，利用最短路径原则，确定血管中线。
第二方面，本申请的实施例提供了一种中线提取装置，用于提取血管中线，该装置包括：检测模块，用于将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中关键点检测模型用于提取血管中线上的关键点；优化模块，用于基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，其中关键点优化模型用于基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对多模态的特征图进行特征融合，得到融合后的特征图，并对融合后的特征图进行关键点分类；确定模块，用于基于第二中线关键点集合，确定血管中线。
第三方面，本申请的实施例提供了一种计算可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的中线提取方法。
第四方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的中线提取方法。
本申请实施例提供了一种中线提取方法及装置，通过两个网络模型直接从医学影像中进行血管中线的提取，无需对医学影像中的血管进行提取，避免了血管中线提取的准确性受到血管提取准确性的影响，提高了血管中线的提取精度。
附图说明
图1是本申请一示例性实施例提供的中线提取方法的流程示意图。
图2是本申请另一示例性实施例提供的中线提取方法的流程示意图。
图3是本申请又一示例性实施例提供的中线提取方法的流程示意图。
图4是本申请再一示例性实施例提供的中线提取方法的流程示意图。
图5是本申请一示例性实施例提供的中线提取方法的关键点优化模型的网络结构示意图。
图6是本申请再一示例性实施例提供的中线提取方法的流程示意图。
图7是本申请一示例性实施例提供的关键点检测模型的结构示意图。
图8是本申请一示例性实施例提供的中线提取装置的结构示意图。
图9是本申请一示例性实施例提供的用于中线提取的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
血管中线(也称血管中心线)可以描述血管的拓扑结构，例如颈动脉中心线可以描述颈动脉血管的拓扑结构，是血管几何结构三维重建的重要基础。因此，准确的血管中线对早期的心血管内疾病(例如颈动脉斑块)的发现以及预防都具有重要意义。
图1是本申请一示例性实施例提供的中线提取方法的流程示意图。图1的方法由计算设备，例如，服务器，来执行。如图1所示，该中线提取方法包括如下内容。
110：将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像。
在一实施例中，关键点检测模型用于提取血管中线上的关键点。
具体地，第一尺度可以是医学影像的原始尺寸，其中医学影像可以是三维图像数据，本申请实施例对第一尺度的具体大小不作具体限定。
关键点检测模型可以是基于具有标签信息的样本训练获得的，其中标签信息可以包括中线关键点标签和非中线关键点标签。并且在训练过程中可以通过损失函数反向传播，不断的进行训练，直至达到所需要的关键点检测模型。关键点检测模型可以包括特征金字塔网络，以便于对三维的医学影像进行特征提取，例如对医学影像的特征进行上采样和下采样，并获得下采样的第二尺度的医学影像，从而减少后续的计算量。
关键点检测模型的输入可以是第一尺度的医学影像，输出的可以是标注有第一中线关键点的第二尺度的医学影像。其中输出的第二尺度的医学影像中的每个点，可以对应于第一尺度的医学影像上的一个预定大小的区域，其中预定大小可以根据实际的需要灵活设置，本申请实施例对此不作具体限定。
例如，关键点检测模型的输入是尺寸为128×128×128的医学影像(即数据立方体)，而输出是尺寸为64×64×64的医学影像，即在输出的64×64×64的医学影像中，每个点对应于128×128×128的医学影像上的一个2×2×2的区域。
进一步地，关键点检测模型的主要目的可以是识别出医学影像中属于血管中线的关键点，以获得第一中线关键点集合。其中血管中线可以是由多个连续的点组成的线，这些点即为中线关键点。
在一实施例中，将第一尺度的医学影像输入关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中第一中线关键点集合可以包括多个第一中线关键点。多个第一中线关键点可以标记在第二尺度的医学影像上。
需要说明的是，医学影像可以是计算机断层扫描摄影(Computed Tomography,CT)图像。医学影像也可以是核磁共振成像(Magnetic Resonance Imaging,MRI)图像，本申请实施例对医学影像的具体类型不作具体限定。
优选地，本申请实施例将医学影像设定为核磁共振影像，以获得清晰的血管区域，例如颈动脉血管。
120：基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合。
在一实施例中，关键点优化模型用于基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对多模态的特征图进行特征融合，得到融合后的特征图，并对融合后的特征图进行关键点分类。
具体地，关键点优化模型可以是一个基于深度学习方法开发的多任务模型(例如关键点分类和关键点位置校正)。关键点优化模型可以包括特征提取模块和特征融合模块。其中特征提取模块可以用于将第一中线关键点集合中的每个第一中线关键点作为中心点，获取每个第一中线关键点对应的多模态的特征图。特征融合模块可以用于对作为中心点的每个第一中线关键点对应的多模态的特征图进行特征融合，获得作为中心点的每个第一中线关键点的融合后的特征图。
多模态的特征图可以是将第一中线关键点集合中的每个第一中线关键点作为中心点，对第二尺度的医学影像进行截取，以获得预设尺寸的目标图像。以及基于至少一种图像转换方式和/或每个第一中线关键点与第一尺度的医学影像之间的距离关系，获得的每个第一中线关键点的预设尺寸的转换图像组和/或预设尺寸的关键点距离热力图。也就是说，多模态的特征图可以包括目标图像、图像转换组和/关键点距离热力图三个模态的特征图。
融合后的特征图可以是将每个第一中线关键点对应的预设尺寸的目标图像、预设尺寸的转换图像组和/或预设尺寸的关键点距离热力图输入关键点优化模型的特征融合模块，获得的融合后的特征图。
进一步地，关键点优化模型还可以用于对融合后的特征图中作为中心点的第一中线关键点进行分类，即判定该第一中线关键点是否为血管中线上的关键点。当第一中线关键点为血管中线上的关键点时，对该第一中线关键点的位置进行校正。并将校正完的第一中线关键点作为第二中线关键点，其中第二中线关键点集合中可以包括多个第二中线关键点。
在一实施例中，特征提取模块可以是特征图提取网络，特征融合模块可以是非局部多模态注意力网络，本申请实施例对此不作具体限定。
对于关键点优化模型输出的第二中线关键点集合，可以再次输入到关键点优化模型中，实现迭代优化。在迭代优化的过程中，第二中线关键点集合会随着迭代过程的进行更新，第二中线关键点集合内包括的多个第二中线关键点的结果(例如数量)会发生改变，其中一些不属于中线关键点的第二中线关键点会被识别并删除，一些位置不够准确的第二中线关键点的位置会被校正，以此对第二中线关键点集合进行逐步的优化。
需要说明的是，具体的迭代过程详情请参见图2实施例的记载，为避免重复，在此不再赘述。此外，在进行上述中线提取方法时也可以不进行迭代，直接将下述实施例描述的初始的第二中线关键点集合，作为关键点优化模型最终的输出结果。
130：基于第二中线关键点集合，确定血管中线。
具体地，基于第二中线关键点集合的排布状态，确定血管中线的起始点和结束点。基于起始点与结束点，利用最短路径原则，获得一条连接起始点和结束点的最短距离的线段，并将该线段作为血管中线。
需要说明的是，本申请实施例基于预先训练的关键点检测模型，将核磁共振影像输入该关键点检测模型中，可以获得相对粗糙的中线关键点(即第一中线关键点集合)预测结果。将该粗糙的中线关键点(即第一中线关键点集合)和核磁共振影像共同输入本申请实施例的关键点优化模块进行迭代优化，来得到准确的中线关键点(即第二中线关键点集合)。
由此可知，本申请实施例通过两个网络模型直接从医学影像中进行血管中线的提取，无需对医学影像中的血管进行提取，避免了血管中线提取的准确性受到血管提取准确性的影响，提高了血管中线的提取精度。
图2是本申请另一示例性实施例提供的中线提取方法的流程示意图。图2实施例为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图2所示，该中线提取方法包括如下内容。
210：基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得初始的第二中线关键点集合。
具体地，基于第二尺度的医学影像和第一中线关键点集合，将该第一中线关键点集合中的每个第一中线关键点作为中心点，确定每个第一中线关键点对应的目标图像、转换图像组和/或关键点距离热力图。将每个第一中线关键点对应的目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型，通过关键点优化模型中的分类、校正的功能，获得初始的第二中线关键点集合。
220：基于初始的第二中线关键点集合和第二尺度的医学影像，利用关键点优化模型，获得第1次更新后的第二中线关键点集合。
具体地，基于初始的第二中线关键点集合和第二尺度的医学影像，将初始的第二中线关键点集合中的每个初始的第二中线关键点作为中心点，确定该初始的第二中线关键点对应的目标图像、转换图像组和/或关键点距离热力图。将每个初始的第二中线关键点对应的目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型，通过关键点优化模型中的分类、校正功能，以获得第1次更新的第二中线关键点集合。
基于第1次更新的第二中线关键点集合和第二尺度的医学影像，利用关键点优化模型，获得第2次更新后的第二中线关键点集合。……。基于第L-1次更新后的第二中线关键点集合和第二尺度的医学影像，利用关键点优化模型，获得第L次更新后的第二中线关键点集合，其中L≥3。
需要说明的是，获得第L次更新的第二中线关键点集合与获得初始的第二中线关键点集合的方法相同，详情请见上述实施例的记载。
230：当经过第L次更新后的第二中线关键点集合与第L-1次更新后的第二中线关键点集合的差异满足预设条件，或者L等于预设更新次数时，将第L次更新后的第二中线关键点集合作为第二中线关键点集合。
在一实施例中，L≥2。
具体地，当经过第L次更新后的第二中线关键点集合与第L-1次更新后的第二中线关键点集合的差异满足预设条件时，停止对第二中线关键点集合的迭代更新。将第L次更新后的第二中线关键点集合，作为最终的第二中线关键点集合。
其中，预设条件可以是第二中线关键点集合迭代前后的关键点数量相同。预设条件也可以是第二中线关键点集合中多个第二中线关键点迭代前后的位置相同或位置差异在一定范围内，本申请实施例对预设条件不作具体限定。
在一实施例中，当经过第L次更新后的第二中线关键点集合与第L-1次更新后的第二中线关键点集合的差异未满足预设条件时，则继续对第二中线关键点集合进行迭代更新(其中具体的更新步骤请参见步骤220)，直至第L+N+1次更新后的第二中线关键点集合与第L+N次更新后的第二中线关键点集合的差异满足预设条件，其中N≥1。
或者，当迭代更新的次数L等于预设更新次数时，停止对第二中线关键点集合的迭代更新，本申请实施例对预设更新次数不作具体限定。将第L次更新后的第二中线关键点集合，作为最终的第二中线关键点集合。
在一实施例中，当迭代更新的次数L不等于预设更新次数时，则继续对第二中线关键点集合进行迭代更新，直至迭代的次数满足预设更新次数。
需要说明的是，每一步迭代的过程均相同，本申请实施例为避免重复，不对每一步迭代过程进行展开描述，详情请参见下述实施例的记载。
由此可知，本申请实施例通过迭代优化，不断对第二中线关键点集合进行更新，提高了第二中线关键点集合中的关键点的精度。同时通过多次迭代，也使得关键点优化模型实现血管中线提取的自我优化，提高了关键点优化模型提取关键点的准确性。
在本申请一实施例中，基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，包括：根据至少一种图像转换方式，和/或每个第一中线关键点与第一尺度的医学影像上的像素点的距离关系，确定每个第一中线关键点对应的多模态的特征图。
具体地，为了获得特征更为丰富的融合后的特征图，本申请实施例可以获取每个第一中线关键点对应的多模态的特征图(即多个不同模态的特征图)。
多模态的特征图可以包括基于至少一种图像转换方式，获得每个第一中线关键点对应的转换图像或转换图像组，和/或第一尺度的医学影像上的像素点与每个第一中线关键点的最小距离，确定每个第一中线关键点对应的关键点距离热力图。
需要说明的是，本申请实施例的具体描述，详情请参见图3实施例的记载。
由此可知，本申请实施例通过构建多模态的特征图，为后续融合丰富的图像特征提供了保障。
图3是本申请又一示例性实施例提供的中线提取方法的流程示意图。图3实施例为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图3所示，该中线提取方法包括如下内容。
310：将每个第一中线关键点作为中心点对第二尺度的医学影像进行截取，以获得每个第一中线关键点对应的预设尺寸的目标图像。
具体地，第一中线关键点集合可以包括多个第一中线关键点。将多个第一中线关键点中的每个第一中线关键点作为中心点，根据预设尺寸的大小，从第二尺度的医学影像中，截取每个第一中线关键点对应的预设尺寸的目标图像。
其中，目标图像可以是图像立方体，即目标图像为三维图像。预设尺寸可以根据实际的操作需要灵活设置，本申请实施例对预设尺寸不作具体限定，例如预设尺寸为长、宽、高均为2的图像立方体。
需要说明的是，第一中线关键点集合中的每个第一中线关键点，都会作为中心点输入到关键点优化模型进行分类和校正。
320：基于至少一种图像转换方式分别对目标图像进行转化，获得转换图像组。
在一实施例中，图像转换方式的种类大于等于两种。
具体地，基于多种图像转换方式分别对预设尺寸的目标图像进行转换，获得多个转换图像，其中多种图像转换方式可以包括小波变换和拉普拉斯变换，本申请实施例对图像转换方式不作具体限定，只要图像转换方式符合图像转换不变性，都可以引入到关键点优化模型中，例如梯度化、平方化和对数化等。
基于获得的多个转换图像，构成转换图像组，其中多个转换图像与目标图像的预设尺寸相同。
需要说明的是，在关键点优化模型中引入一种图像转换方式时，获得的是预设尺寸的转换图像。本申请实施例为获得特征更为丰富的融合后的特征图，因此在关键点优化模型中引入多种图像转换方式。
330：基于每个第一中线关键点与第一尺度的医学影像上的每个像素点的距离关系，确定第二尺度的医学影像对应的第二尺度的关键点距离热力图，并根据每个第一中线关键点在第二尺度的医学影像中的位置坐标，对第二尺度的关键点距离热力图进行截取，获得每个第一中线关键点对应的关键点距离热力图。
具体地，根据第一尺度的医学影像上的每个像素点与每个第一中线关键点之间的距离，确定第一尺度的医学影像上的每个像素点与所有第一中线关键点的最小距离。基于该最小距离确定第一尺度的关键点距离热力图。将第一尺度的关键点距离热力图进行下采样，获得第二尺度的关键点距离热力图。
基于作为中心点的每个第一中线关键点在第二尺度的医学影像中的位置坐标，截取第二尺度的关键点距离热力图中的预设尺寸的关键点距离热力图，以获得每个第一中线关键点对应的预设尺寸的关键点距离热力图。
需要说明的是，截取的关键点距离热力图，与转换图像组和目标图像的尺寸大小相同，均为预设尺寸大小。
还需要说明的是，步骤320和步骤330可以均执行，也可以执行其中的一个，本申请实施例对此不作具体限定。
340：将目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型，确定每个第一中线关键点的多模态的特征图。
具体地，将作为中心点的每个第一中线关键点对应的预设尺寸的目标图像、预设尺寸的转换图像组和预设尺寸的关键点距离热力图输入关键点优化模型，以确定每个第一中线关键点对应的多模态的特征图。其中多模态的特征图是指目标图像、转换图像组和/或关键点距离热力图各自对应的特征图。
由此可知，本申请实施例将多个图像作为输入，获得多模态的特征图，为后续获得特征更为丰富的融合后的特征图，提供了保障。
在本申请一实施例中，将每个第一中线关键点的目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型的特征提取模块，以获得每个第一中线关键点对应的多模态的特征图，其中，多模态的特征图包括目标图像、转换图像组和/或关键点距离热力图各自对应的特征图。
具体地，将每个第一中线关键点(例如图5中的第一中线关键点511)对应的目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型的特征提取模块，以获得每个第一中线关键点的多模态的特征图。其中，转换图像组、目标图像以及关键点距离热力图均为大小相同的三维图像。
多模态的特征图可以包括目标图像对应的特征图、转换图像组对应的特征图和/或关键点距离热力图对应的特征图。
在一实施例中，特征提取模块可以是例如图5所示的特征图提取网络550。
示例性地，参见图5，每个第一中线关键点的转换图像组520输入特征提取网络550，获得转换图像组对应的特征图560A。将每个第一中线关键点的目标图像530输入特征提取网络550，获得目标图像对应的特征图560B。和/或将每个第一中线关键点的关键点距离热力图540输入特征提取网络550，获得关键点距离热力图对应的特征图560C。其中，特征图560A、560B和/或560C构成了每个第一中线关键点的多模态的特征图。
由此可知，本申请实施例通过特征提取模块，获得每个第一中线关键点的多模态的特征图，为后续获得特征更为丰富的融合后的特征图，以及提高血管中线的提取精度，提供了保障。
图4是本申请再一示例性实施例提供的中线提取方法的流程示意图。图4实施例为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图4所示，该中线提取方法包括如下内容。
410：将多模态的特征图输入关键点优化模型的特征融合模块，以获得多模态的特征图中每个第一特征的相关性数值。
在一实施例中，多模态的特征图包括多个第一特征。
具体地，参见图5，多模态的特征图可以包括转换图像组对应的特征图560A、目标图像对应的特征图560B和/或关键点距离热力图对应的特征图560C。其中，特征图560A可以包括多个第一特征561A，特征图560B可以包括多个第一特征561B，和/或特征图560C可以包括多个第一特征561C。也就是说，多模态的特征图包括多个第一特征(即第一特征561A、561B和/或561C)。
关键点优化模型的特征融合模块可以是非局部多模态注意力网络，本申请实施例对特征融合模块的具体类型不作具体限定。
在多模态的特征图(即特征图560A、560B和560C)输入非局部多模态注意力网络570后，可以计算多个第一特征中每个第一特征的相关性数值，其中相关性数值的取值范围可以是0至1。
在一示例中，可以以多个第一特征中的任意一个第一特征为基础进行计算，其中为基础的第一特征的相关性数值为1。例如当以非局部多模态注意力网络570中第一特征571为基础时，该第一特征571的相关性数值为1。此时只需计算其余的23个第一特征的相关性数值。
需要说明的是，本申请实施例对计算相关性数值的方式不作具体限定，可根据实际情况灵活设置。
420：基于多个第一特征的相关性数值，获得与多个第一特征对应的多个第二特征。
具体地，将每个第一特征的相关性数值与多个第一特征的相关性数值之和的比值，分别与该每个第一特征相乘，以获得与每个第一特征对应的第二特征，其中第一特征与第二特征一一对应，第一特征的数量与第二特征的数量相同。进而基于每个第一特征对应的第二特征，构成多个第二特征。
例如，参见图5，基于24个第一特征获得24个第二特征。
需要说明的是，第一特征可以理解为是一个特征向量，第一特征与相关性数值的比值相乘后获得的也是特征向量，即第二特征也可以是特征向量。
430：将多个第二特征进行加和，获得融合后的特征图。
具体地，参见图5，将24个第二特征进行加和，获得一个融合后的特征图。该融合后的特征图可以作为非局部多模态注意力网络570的输出，进行后续的分类分支580和校正分支590的操作。
需要说明的是，在非局部多模态注意力网络570中可以对多个特征信息进行融合优化，通过结合多个不同模态(即目标图像、转换图像组和关键点距离热力图)间的转换等变性和不同空间位置之间的相关性，输出具有更丰富上下文信息的特征表达。
由此可知，本申请实施例通过结合多个不同模态的特征信息，使得血管中线在提取的过程中可以利用图像转换不变性，以提高血管中线提取的准确性。
在本申请一实施例中，对融合后的特征图进行关键点分类，包括：基于关键点优化模型判定融合后的特征图中作为中心点的第一中线关键点是否为血管中线上的关键点，该方法还包括：当第一中线关键点为血管中线上的关键点时，对第一中线关键点的位置进行校正，以获得第二中线关键点，其中第二中线关键点集合包括多个第二中线关键点。
具体地，参见图5，关键点优化模型还可以包括分类分支580和校正分支590。将融合后的特征图输入到关键点优化模型中的分类分支580，判定当前融合后的特征图中作为中心点的第一中线关键点是否为血管中线上的关键点。当分类分支580判断该第一中线关键点属于血管中线上的关键点时，将该第一中线关键点输入到校正分支590。通过关键点优化模型中的校正分支590对第一中线关键点的位置进行校正。并将校正后的第一中线关键点作为第二中线关键点。
在一示例中，当分类分支580判断该第一中线关键点不属于血管中线上的关键点时，则丢弃该第一中线关键点。
需要说明的是，关键点优化模型输入的第二尺度的医学影像中的每个点对应于第一尺度的医学影像(即原始图像)上的一个设定范围(例如2×2×2)的区域，导致第一中线关键点的位置可能偏离了血管中线的区域，所以可以对第一中线关键点的位置进行校正，使其位于血管中线上。
由此可知，本申请实施例通过分类分支和校正分支对关键点进行分类、校正，提高了预测的关键点的精度。
图6是本申请再一示例性实施例提供的中线提取方法的流程示意图。图6实施例为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图6所示，该中线提取方法包括如下内容。
610：将具有标签信息的样本数据输入初始网络模型进行训练，以获得关键点检测模型。
具体地，关键点检测模型可以是基于具有标签信息的样本，对初始网络模型训练获得的，其中标签信息可以包括中线关键点标签和非中线关键点标签。初始网络模型可以是U-NET网络结构，本申请实施例对初始网络模型的网络结构不作具体限定。
在对关键点检测模型进行训练时，可以采用已知中线的第一尺度的医学影像(例如尺寸为128×128×128的核磁共振影像)构建训练集，其中训练集中的数据可以为核磁共振影像，对应的标签信息可以包括中线关键点标签和非中线关键点标签。
构建具有三维(three dimensional,3D)特征金字塔网络结构的关键点检测模型(也称“关键点检测深度学习模型”)，以获得下采样后的第二尺度的医学影像，其中第二尺度的医学影像(即64×64×64的核磁共振影像)中的每个点对应于第一尺度的医学影像上的一个预定大小的区域(例如2x2x2的区域)。
若第一尺度的医学影像的预定大小的区域内存在血管中线上的关键点时，则该点对应的标签为正。若第一尺度的医学影像的预定大小的区域的内不存在血管中线上的关键点时，则该点对应的标签为负。根据标定的标签信息与预测结果(即正或负的标定)，完成对关键点检测模型的训练。
需要说明的是，参见图7，在特征金字塔710中，将输入的第一尺度的医学影像720进行下采样，获得多个尺度的特征图711。在上采样阶段中，多个尺度的特征图712(多个尺度的特征图712为下采样获得的多个尺度的特征图711)都将在上采样阶段，与所有大小与其相同或更大的特征图712进行融合，以在最终的高分辨率特征图合并更多全局信息，以获得第二尺度的医学影像730。
620：将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像。
在一实施例中，关键点检测模型用于提取血管中线上的关键点。
630：基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合。
在一实施例中，关键点优化模型用于基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对多模态的特征图进行特征融合，得到融合后的特征图，并对融合后的特征图进行关键点分类。
640：基于第二中线关键点集合，确定血管中线。
由此可知，本申请实施例通过构建具有特征金字塔结构的关键点检测模型，使得本申请实施例无需对医学影像中的血管进行识别，避免了血管中线提取的准确性受到血管提取准确性的影响，进一步提高了血管中线的提取精度。
在本申请一实施例中，基于第二中线关键点集合，确定血管中线包括：基于第二中线关键点集合的排布状态，确定血管中线的起始点和结束点；基于起始点与结束点，利用最短路径原则，确定血管中线。
具体地，在迭代优化停止后，可以将关键点优化模型获得的第二中线关键点集合输入到后处理子模块中，后处理子模块用于基于第二中线关键点集合确定血管中线。
根据第二中线关键点集合中多个第二中线关键点的排布状态，确定血管的起始点和结束点，其中起始点和结束点可以是度为1的点。起始点也可以是排布在第二中线关键点集合中最边缘的点，结束点可以是与起始点排布方向相对的最边缘的点，例如起始点位于医学影像的最上端，结束点位于医学影像的最下端。
基于获得的起始点和结束点，利用最短路径算法，获得一条从起始点到结束点的唯一路径，该路径即为血管中线的提取结果，其中本申请实施例对最短路径算法不作具体限定，可根据实际需要灵活设置。需要说明的是，该路径不一定包含每个第二中线关键点，该路径可以是以最短路径贯穿最多的第二中线关键点的线段。
例如，从起始点出发，确定与该起始点距离最近的第二中线关键点。该与起始点距离最近的第二中线关键点进一步确定与其距离最近的下一个第二中线关键点，以此类推，进而确定血管中线。
在另一示例中，在后处理子模块中，根据第二中线关键点集合中的多个第二中线关键点，确定关键点计算距离图，其中关键点计算距离图可以是基于每个第二中线关键点与距离最近的第二中点关键的距离确定的。基于关键点距离图确定血管的起始点和结束点。基于最短路径算法在关键点计算距离图上，获得一条从起始点到结束点的唯一路径，该路径即为中线提取结果。
由此可知，本申请实施例通过第二中线关键点集合的排布状态，即整个血管走势的形态学信息，判定起始点和结束点，并利用最短路径算法，确定血管中线的提取结果，提高了血管中线识别的准确性。
图8是本申请一示例性实施例提供的中线提取装置的结构示意图。如图8所示，该中线提取装置800包括：训练模块810、检测模块820、优化模块830和确定模块840。
检测模块820用于将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中关键点检测模型用于提取血管中线上的关键点。优化模块830用于基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，其中关键点优化模型用于基于第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对多模态的特征图进行特征融合，得到融合后的特征图，并对融合后的特征图进行关键点分类。确定模块840用于基于第二中线关键点集合，确定血管中线。
本申请实施例提供了一种中线提取装置，通过两个网络模型直接从医学影像中进行血管中线的提取，无需对医学影像中的血管进行提取，避免了血管中线提取的准确性受到血管提取准确性的影响，提高了血管中线的提取精度。
根据本申请一实施例，优化模块830用于基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得初始的第二中线关键点集合；基于初始的第二中线关键点集合和第二尺度的医学影像，利用关键点优化模型，获得第1次更新后的第二中线关键点集合；当经过第L次更新后的第二中线关键点集合与第L-1次更新后的第二中线关键点集合的差异满足预设条件，或者L等于预设更新次数时，将第L次更新后的第二中线关键点集合作为第二中线关键点集合，其中L≥2。
根据本申请一实施例，根据至少一种图像转换方式，和/或每个第一中线关键点与第一尺度的医学影像上的像素点的距离关系，确定每个第一中线关键点对应的多模态的特征图。
根据本申请一实施例，优化模块830将每个第一中线关键点作为中心点对第二尺度的医学影像进行截取，以获得每个第一中线关键点对应的预设尺寸的目标图像；基于至少一种图像转换方式分别对目标图像进行转化，获得转换图像组，其中图像转换方式的种类大于等于两种；和/或基于每个第一中线关键点与第一尺度的医学影像上的每个像素点的距离关系，确定第二尺度的医学影像对应的第二尺度的关键点距离热力图，并根据每个第一中线关键点在第二尺度的医学影像中的位置坐标，对第二尺度的关键点距离热力图进行截取，获得每个第一中线关键点对应的关键点距离热力图；将目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型，确定每个第一中线关键点的多模态的特征图。
根据本申请一实施例，优化模块830用于将每个第一中线关键点的目标图像、转换图像组和/或关键点距离热力图输入关键点优化模型的特征提取模块，以获得每个第一中线关键点对应的多模态的特征图，其中，多模态的特征图包括目标图像、转换图像组和/或关键点距离热力图各自对应的特征图。
根据本申请一实施例，优化模块830用于将多模态的特征图输入关键点优化模型的特征融合模块，以获得多模态的特征图中每个第一特征的相关性数值，其中多模态的特征图包括多个第一特征；基于多个第一特征的相关性数值，获得与多个第一特征对应的多个第二特征；将多个第二特征进行加和，获得融合后的特征图。
根据本申请一实施例，优化模块830用于基于关键点优化模型判定融合后的特征图中作为中心点的第一中线关键点是否为血管中线上的关键点，该方法还包括：当第一中线关键点为血管中线上的关键点时，对第一中线关键点的位置进行校正，以获得第二中线关键点，其中第二中线关键点集合包括多个第二中线关键点。
根据本申请一实施例，训练模块810用于将具有标签信息的样本数据输入初始网络模型进行训练，以获得关键点检测模型，其中关键点检测模型包括特征金字塔网络。
根据本申请一实施例，确定模块840用于基于第二中线关键点集合的排布状态，确定血管中线的起始点和结束点；基于起始点与结束点，利用最短路径原则，确定血管中线。
应当理解，上述实施例中的训练模块810、检测模块820、优化模块830和确定模块840的具体工作过程和功能可以参考上述图1至图7实施例提供的中线提取方法中的描述，为了避免重复，在此不再赘述。
图9是本申请一示例性实施例提供的用于中线提取的电子设备900的框图。
参照图9，电子设备900包括处理组件910，其进一步包括一个或多个处理器，以及由存储器920所代表的存储器资源，用于存储可由处理组件910的执行的指令，例如应用程序。存储器920中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件910被配置为执行指令，以执行上述中线提取方法。
电子设备900还可以包括一个电源组件被配置为执行电子设备900的电源管理，一个有线或无线网络接口被配置为将电子设备900连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器920的操作系统操作电子设备900，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备900的处理器执行时，使得上述电子设备900能够执行一种中线提取方法，包括：将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像；基于第二尺度的医学影像和第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合；基于第二中线关键点集合，确定血管中线。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种中线提取方法，用于提取血管中线，其特征在于，包括：
将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中所述关键点检测模型用于提取所述血管中线上的关键点；
基于所述第二尺度的医学影像和所述第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，其中所述关键点优化模型用于基于所述第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对所述多模态的特征图进行特征融合，得到融合后的特征图，并对所述融合后的特征图进行关键点分类；
基于所述第二中线关键点集合，确定所述血管中线。
2.根据权利要求1所述的中线提取方法，其特征在于，所述基于所述第二尺度的医学影像和所述第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，包括：
基于所述第二尺度的医学影像和所述第一中线关键点集合，利用所述关键点优化模型，获得初始的第二中线关键点集合；
基于所述初始的第二中线关键点集合和所述第二尺度的医学影像，利用所述关键点优化模型，获得第1次更新后的第二中线关键点集合；
当经过第L次更新后的第二中线关键点集合与第L-1次更新后的第二中线关键点集合的差异满足预设条件，或者L等于预设更新次数时，将所述第L次更新后的第二中线关键点集合作为所述第二中线关键点集合，其中L≥2。
3.根据权利要求1所述的中线提取方法，其特征在于，所述基于所述第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，包括：
根据至少一种图像转换方式，和/或所述每个第一中线关键点与所述第一尺度的医学影像上的每个像素点的距离关系，确定所述每个第一中线关键点对应的所述多模态的特征图。
4.根据权利要求3所述的中线提取方法，其特征在于，所述根据至少一种图像转换方式，和/或所述每个第一中线关键点与所述第一尺度的医学影像上的每个像素点的距离关系，确定所述每个第一中线关键点对应的所述多模态的特征图，包括：
将所述每个第一中线关键点作为中心点对所述第二尺度的医学影像进行截取，以获得所述每个第一中线关键点对应的预设尺寸的目标图像；
基于所述至少一种图像转换方式分别对所述目标图像进行转化，获得转换图像组，其中所述图像转换方式的种类大于等于两种；和/或
基于所述每个第一中线关键点与所述第一尺度的医学影像上的所述每个像素点的距离关系，确定所述第二尺度的医学影像对应的第二尺度的关键点距离热力图，并根据所述每个第一中线关键点在所述第二尺度的医学影像中的位置坐标，对所述第二尺度的关键点距离热力图进行截取，获得所述每个第一中线关键点对应的关键点距离热力图；
将所述目标图像、所述转换图像组和/或所述关键点距离热力图输入所述关键点优化模型，确定所述每个第一中线关键点的所述多模态的特征图。
5.根据权利要求4所述的中线提取方法，其特征在于，所述将所述目标图像、所述转换图像组和/或所述关键点距离热力图输入所述关键点优化模型，确定所述每个第一中线关键点的所述多模态的特征图，包括：
将所述每个第一中线关键点的所述目标图像、所述转换图像组和/或所述关键点距离热力图输入所述关键点优化模型的特征提取模块，以获得所述每个第一中线关键点对应的所述多模态的特征图，
其中，所述多模态的特征图包括所述目标图像、所述转换图像组和/或所述关键点距离热力图各自对应的特征图。
6.根据权利要求1所述的中线提取方法，其特征在于，所述对所述多模态的特征图进行特征融合，得到融合后的特征图，包括：
将所述多模态的特征图输入所述关键点优化模型的特征融合模块，以获得所述多模态的特征图中每个第一特征的相关性数值，其中所述多模态的特征图包括多个第一特征；
基于所述多个第一特征的相关性数值，获得与所述多个第一特征对应的多个第二特征；
将所述多个第二特征进行加和，获得所述融合后的特征图。
7.根据权利要求1所述的中线提取方法，其特征在于，所述对所述融合后的特征图进行关键点分类，包括：
基于所述关键点优化模型判定所述融合后的特征图中作为中心点的第一中线关键点是否为所述血管中线上的关键点，
所述方法还包括：
当所述第一中线关键点为所述血管中线上的关键点时，对所述第一中线关键点的位置进行校正，以获得所述第二中线关键点，其中所述第二中线关键点集合包括多个第二中线关键点。
8.根据权利要求1所述的中线提取方法，其特征在于，在所述将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像之前，还包括：
将具有标签信息的样本数据输入初始网络模型进行训练，以获得所述关键点检测模型。
9.根据权利要求1所述的中线提取方法，其特征在于，所述基于所述第二中线关键点集合，确定所述血管中线包括：
基于所述第二中线关键点集合的排布状态，确定所述血管中线的起始点和结束点；
基于所述起始点与所述结束点，利用最短路径原则，获得所述血管中线。
10.一种中线提取装置，用于提取血管中线，其特征在于，包括：
检测模块，用于将第一尺度的医学影像输入具有特征金字塔网络的关键点检测模型，获得具有第一中线关键点集合的第二尺度的医学影像，其中所述关键点检测模型用于提取所述血管中线上的关键点；
优化模块，用于基于所述第二尺度的医学影像和所述第一中线关键点集合，利用关键点优化模型，获得第二中线关键点集合，其中所述关键点优化模型用于基于所述第一中线关键点集合中的每个第一中线关键点获取多模态的特征图，对所述多模态的特征图进行特征融合，得到融合后的特征图，并对所述融合后的特征图进行关键点分类；
确定模块，用于基于所述第二中线关键点集合，确定所述血管中线。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至9中任一项所述的中线提取方法。
12.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至9中任一项所述的中线提取方法。
CN202111131351.2A 2021-09-26 2021-09-26 中线提取方法及装置 Active CN113870215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111131351.2A CN113870215B (zh) 2021-09-26 2021-09-26 中线提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111131351.2A CN113870215B (zh) 2021-09-26 2021-09-26 中线提取方法及装置

Publications (2)

Publication Number Publication Date
CN113870215A true CN113870215A (zh) 2021-12-31
CN113870215B CN113870215B (zh) 2023-04-07

Family

ID=78990827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111131351.2A Active CN113870215B (zh) 2021-09-26 2021-09-26 中线提取方法及装置

Country Status (1)

Country Link
CN (1) CN113870215B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638878A (zh) * 2022-03-18 2022-06-17 北京安德医智科技有限公司 基于深度学习的二维超声心动图管径检测方法及装置
CN115482372A (zh) * 2022-09-28 2022-12-16 北京医准智能科技有限公司 一种血管中心线提取方法、装置及电子设备
CN116863146A (zh) * 2023-06-09 2023-10-10 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110443808A (zh) * 2019-07-04 2019-11-12 杭州深睿博联科技有限公司 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111832383A (zh) * 2020-05-08 2020-10-27 北京嘀嘀无限科技发展有限公司 姿态关键点识别模型的训练方法、姿态识别方法及装置
CN111862047A (zh) * 2020-07-22 2020-10-30 杭州健培科技有限公司 一种级联的医学影像关键点检测方法及装置
CN112149563A (zh) * 2020-09-23 2020-12-29 中科人工智能创新技术研究院(青岛)有限公司 一种注意力机制人体图像关键点姿态估计方法及系统
US20210049356A1 (en) * 2018-11-07 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Method for Detecting Key Points in Skeleton, Apparatus, Electronic Device and Storage Medium
CN113066090A (zh) * 2021-03-19 2021-07-02 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置
CN113128277A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸关键点检测模型的生成方法及相关设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049356A1 (en) * 2018-11-07 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Method for Detecting Key Points in Skeleton, Apparatus, Electronic Device and Storage Medium
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110443808A (zh) * 2019-07-04 2019-11-12 杭州深睿博联科技有限公司 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN113128277A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸关键点检测模型的生成方法及相关设备
CN111832383A (zh) * 2020-05-08 2020-10-27 北京嘀嘀无限科技发展有限公司 姿态关键点识别模型的训练方法、姿态识别方法及装置
CN111862047A (zh) * 2020-07-22 2020-10-30 杭州健培科技有限公司 一种级联的医学影像关键点检测方法及装置
CN112149563A (zh) * 2020-09-23 2020-12-29 中科人工智能创新技术研究院(青岛)有限公司 一种注意力机制人体图像关键点姿态估计方法及系统
CN113066090A (zh) * 2021-03-19 2021-07-02 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638878A (zh) * 2022-03-18 2022-06-17 北京安德医智科技有限公司 基于深度学习的二维超声心动图管径检测方法及装置
CN115482372A (zh) * 2022-09-28 2022-12-16 北京医准智能科技有限公司 一种血管中心线提取方法、装置及电子设备
CN116863146A (zh) * 2023-06-09 2023-10-10 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质
CN116863146B (zh) * 2023-06-09 2024-03-08 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质

Also Published As

Publication number Publication date
CN113870215B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113870215B (zh) 中线提取方法及装置
US11954863B2 (en) Image segmentation method and apparatus, diagnosis system, storage medium, and computer device
KR20210002606A (ko) 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체
US10395380B2 (en) Image processing apparatus, image processing method, and storage medium
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
US20120027277A1 (en) Interactive iterative closest point algorithm for organ segmentation
KR101645292B1 (ko) 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
WO2015166871A1 (en) Method for registering source image with target image
AU2019334755A1 (en) Determination of a growth rate of an object in 3D data sets using deep learning
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
CN116229066A (zh) 人像分割模型的训练方法及相关装置
CN116993812A (zh) 冠脉血管中心线的提取方法、装置、设备及存储介质
CN114693642B (zh) 一种结节匹配方法、装置、电子设备及存储介质
Schultz et al. Bayesian inference for uncertainty quantification in point-based deformable image registration
US10325367B2 (en) Information processing apparatus, information processing method, and storage medium
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN112258564B (zh) 生成融合特征集合的方法及装置
CN114022521A (zh) 一种非刚性多模医学图像的配准方法及系统
Farrag et al. Semi-automated myocardial segmentation in native T1-mapping CMR using deformable non-rigid registration of CINE images
Vos et al. Improving automated intracranial artery labeling using atlas-based features in graph convolutional nets
Pai et al. Image registration using stationary velocity fields parameterized by norm-minimizing wendland kernel
CN116416289B (zh) 基于深度曲线学习的多模图像配准方法、系统及介质
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant