CN116138877A - 目标定位方法、装置、电子设备及存储介质 - Google Patents

目标定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116138877A
CN116138877A CN202211516138.8A CN202211516138A CN116138877A CN 116138877 A CN116138877 A CN 116138877A CN 202211516138 A CN202211516138 A CN 202211516138A CN 116138877 A CN116138877 A CN 116138877A
Authority
CN
China
Prior art keywords
target
feature map
image
convolution layer
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211516138.8A
Other languages
English (en)
Inventor
周小虎
谢晓亮
陶可欣
刘市祺
李芮麒
奉振球
侯增广
项天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211516138.8A priority Critical patent/CN116138877A/zh
Publication of CN116138877A publication Critical patent/CN116138877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标定位方法、装置、电子设备及存储介质，该方法涉及图像处理技术领域，包括：获取数字减影血管造影DSA图像；DSA图像包括至少一根目标导丝；基于DSA图像，确定DSA图像中各目标导丝对应的目标图像；将目标图像输入至目标定位模型，得到目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和样本目标图像的标签数据进行训练得到的，用于对目标图像中的目标导丝的多个端点进行定位；关键点热图用于指示目标导丝的各端点的位置。本发明提供的方法，实现对DSA图像中目标导丝端点位置的定位，进而辅助对手术器械的定位，提升了对目标导丝端点位置的定位精度。

Description

目标定位方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种目标定位方法、装置、电子设备及存储介质。
背景技术
心血管疾病已成为威胁人类健康的主要疾病，对于心血管疾病的治疗方式主要采用冠脉介入手术，其中，冠脉介入手术作为一种微创手术，只需在病人大腿或手臂上开一个小孔进行经皮穿刺，借助人体血管通道将介入器械递送到狭窄病变部位并进行扩张，扩大病变处血管的内径后放置支架保持血管张开，从而恢复血流通。与其他手术相比，冠脉介入手术给病人带来的创伤小、痛苦小、且术后恢复快，同时冠脉介入手术的血运重建效果好，疗效确定。因此，冠脉介入手术受到了介入医生和冠心病患者的广泛青睐，已成为治疗冠心病的主要手术方式。
目前，市面上已经开发出来的主从式机器人，与第五代移动通信技术(5thGeneration Mobile Communication Technology，5G)相结合，允许手术医师在远程实施手术，解决医疗资源不平均的问题。但主从式机器人依旧需要手术医师进行操作，除了可以保证手术医师免受辐射和提高手术医师的操作稳定性以外，并没有减少手术医师的工作量。
未来的发展趋势是开发出全自动血管介入手术机器人，辅助手术医师对手术执行过程的判断。因此，对介入器械(例如导丝)进行智能定位是亟待解决的问题。
发明内容
针对现有技术中存在的问题，本发明提供一种目标定位方法、装置、电子设备及存储介质。
本发明提供一种目标定位方法，包括：
获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；
基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；
将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
根据本发明提供的一种目标定位方法，所述目标定位模型包括：至少一个卷积层、至少一个沙漏网络和至少一个分割注意力模块；
所述将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图，包括：
将所述目标图像输入至第一卷积层，得到所述第一卷积层输出的第一特征图；所述第一特征图用于表示所述目标图像对应的特征信息；
将所述第一特征图输入至第二卷积层，得到所述第二卷积层输出的第二特征图；
将所述第二特征图输入至第一沙漏网络，得到所述第一沙漏网络输出的第三特征图；
将所述第三特征图输入至第一分割注意力模块，得到所述第一分割注意力模块输出的第四特征图；
将所述第四特征图输入至第三卷积层，得到所述第三卷积层输出的第五特征图；
将所述第五特征图输入至第四卷积层，得到所述第四卷积层输出的第六特征图；
将所述第二特征图和所述第六特征图中各像素点的像素值进行相加，得到第七特征图；
基于所述第七特征图，确定所述关键点热图。
根据本发明提供的一种目标定位方法，所述基于所述第七特征图，确定所述关键点热图，包括：
基于所述第七特征图，确定最后一个分割注意力模块输出的第八特征图；
将所述第八特征输入至第五卷积层，得到所述第五卷积层输出的所述关键点热图。
根据本发明提供的一种目标定位方法，所述将所述第三特征图输入至第一分割注意力模块，得到所述第一分割注意力模块输出的第四特征图，包括：
将所述第三特征图输入至所述第一分割注意力模块中的第六卷积层，得到所述第六卷积层输出的第九特征图；
将所述第九特征图输入至第七卷积层，得到所述第七卷积层输出的第十特征图；
对所述第十特征图中的各个像素值进行归一化，得到分割注意力图；
将所述第九特征图和所述分割注意力图中各个像素点的像素值进行相乘，得到所述第一分割注意力模块输出的第四特征图。
根据本发明提供的一种目标定位方法，所述目标定位模型使用的损失函数采用公式(1)表示；其中，
Loss＝Llocal+λLatt (1)
其中，Llocal表示均方误差损失函数，Latt表示交叉熵损失函数，λ表示权重值。
根据本发明提供的一种目标定位方法，所述基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像，包括：
对所述DSA图像中的各所述目标导丝进行检测，得到所述目标导丝的检测框和所述检测框对应的置信度；
基于所述检测框和所述置信度，对所述目标导丝进行后处理；
对经过后处理的图像进行裁剪，得到所述DSA图像中各所述目标导丝对应的目标图像。
本发明还提供一种目标定位装置，包括：
获取模块，用于获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；
确定模块，用于基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；
定位模块，用于将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标定位方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标定位方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标定位方法。
本发明提供的目标定位方法、装置、电子设备及存储介质，通过获取数字减影血管造影DSA图像；DSA图像包括至少一根目标导丝；再根据获取的DSA图像，确定DSA图像中各目标导丝对应的目标图像；将目标图像输入至目标定位模型，得到目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和样本目标图像的标签数据进行训练得到的，用于对目标图像中的目标导丝的多个端点进行定位；关键点热图用于指示目标导丝的各所述端点的位置，实现对DSA图像中目标导丝端点位置的定位，进而辅助对手术器械的定位，提升了对目标导丝端点位置的定位精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的目标定位方法的流程示意图之一；
图2是是本发明提供的经过膨胀处理的分割注意力图；
图3是本发明提供的分割注意力模块的结构示意图；
图4是本发明提供的目标定位模型的结构示意图；
图5是本发明提供的目标定位方法的流程示意图之二；
图6是本发明提供的SA-hourglass模型中卷积通道数与定位精度和计算量之间的示意图；
图7是本发明提供的目标定位模型的结果示意图；
图8是本发明提供的目标定位装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于更加清晰地理解本申请提供的各实施例，首先对相关的背景知识进行如下介绍。
数字减影血管造影(Digital Subtraction Angiography，DSA)是一种将电子计算机与常规X射线血管造影相结合的检查方法，基本原理是将注入造影剂前后拍摄的两帧X射线图像经数字化之后输入图像计算机，通过减影增强和再成像过程把血管造影影像上的骨骼与软组织消除来获得清晰的纯血管影像。DSA影像的主要用途包括观察血管病变、血管狭窄的定位测量以及为介入治疗提供真实的血管图像，是各种介入治疗的必备条件。
基于DSA影像的导丝端点定位任务的输出结果是导丝端点在图像坐标系下的二维坐标。在冠脉介入手术实施过程中，由于所有手术操作都需要在病人体内完成，手术医师无法直接观察到手术器械的位置，需要观察实时DSA影像来获取手术器械在冠脉血管内的位置。因此，利用图像处理算法自动地获取手术器械在DSA影像上的相对位置，同样可以实现对手术器械的定位。
基于DSA影像的多导丝端点定位任务的挑战在于以下几个方面：(1)DSA影像中存在多根导丝；(2)导丝的可见部分尺寸小且外观简单；(3)导丝属于非刚体的手术器械；(4)导丝的两个端点的外观相似。
下面结合图1-图7描述本发明的目标定位方法。
图1是本发明提供的目标定位方法的流程示意图之一，如图1所示，该方法包括步骤101-步骤103；其中，
步骤101，获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝。
需要说明的是的，本发明提供的目标定位方法适用于目标定位场景中，例如DSA图像中导丝端点的定位。该方法的执行主体可以为目标定位装置，例如电子设备、或者该目标定位装置中的用于执行目标定位方法的控制模块。
具体地，DSA图像采集于同一临床中心的真实冠脉介入手术实施过程中，其中，DSA图像中包括至少一根目标导丝，该目标导丝包括两个端点。
目标导丝端点的位置是手术医师在DSA图像中重点关注的信息。目标导丝以镍钛合金为轴心，外围包裹着不锈钢线圈和一层亲水涂层。镍钛合金核心用于给目标导丝提供刚度。为了让手术医师在手术中能够观察到目标导丝，目标导丝的头端3厘米的部分被覆盖了一层含铅的造影涂层，使得这3厘米的部分在DSA图像上可以明显地区别于图像的背景。
步骤102，基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像。
具体地，根据获取的DSA图像，可以确定DSA图像中各目标导丝对应的目标图像；其中，目标图像表示目标导丝对应的目标区域，该目标区域包括一根目标导丝。
步骤103，将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；所述目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
需要说明的是，标签数据包括目标导丝端点的位置标签、目标导丝的检测框标签和目标导丝的分割标签。
具体地，将确定的目标图像输入至目标定位模型，可以得到目标定位模型输出的关键点热图；其中，目标定位模型是基于样本目标图像和样本目标图像的标签数据进行训练得到的，用于对目标图像中的目标导丝的多个端点进行定位；关键点热图用于指示目标导丝的各端点的位置。
采用热图回归的定位方式，根据输入目标图像和目标图像的标签数据，预测出每一类关键点的关键点热图，也就是预测每一个像素属于每一类关键点的概率值。在热图回归的定位方式下，预测的关键点热图中像素值的概率最大的像素，其坐标就是对应类别关键点的定位结果。
实际中，在目标定位模型训练的过程中，构建了冠脉介入导丝定位数据集，该数据集用于衡量目标导丝的端点定位算法的泛化性能；其中，数据集包括18名受试者的49个DSA序列，共2049张DSA图像，每张DSA影像中包含不超过两根导丝中的样本目标图像来自冠脉介入手术中所有包含目标导丝的手术阶段，包括血管造影阶段、导丝输送阶段和球囊支架放置阶段。因此，样本目标图像中可能含有造影剂和支架等复杂的干扰因素，使数据集展示了实际的应用场景。此外，数据集中同时给出了目标导丝的位置标签、检测框标签和分割标签，使得数据集有更多的应用可能，也为之后两阶段方法中提出的多任务思想提供了数据支撑。
本发明提供的目标定位方法，通过获取数字减影血管造影DSA图像；DSA图像包括至少一根目标导丝；再根据获取的DSA图像，确定DSA图像中各目标导丝对应的目标图像；将目标图像输入至目标定位模型，得到目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和样本目标图像的标签数据进行训练得到的，用于对目标图像中的目标导丝的多个端点进行定位；关键点热图用于指示目标导丝的各所述端点的位置，实现对DSA图像中目标导丝端点位置的定位，进而辅助对手术器械的定位，提升了对目标导丝端点位置的定位精度。
可选地，上述步骤102的具体实现方式包括以下步骤：
步骤1)对所述DSA图像中的各所述目标导丝进行检测，得到所述目标导丝的检测框和所述检测框对应的置信度。
需要说明的是，DSA图像中各目标导丝的检测阶段包括两个阶段，其中，第一阶段是对DSA图像进行目标导丝的检测，采用目标检测算法进行检测；第二阶段是使用连续帧的DSA图像中目标导丝的检测结果之间的位置关系来优化每一帧的检测结果。
具体地，采用目标检测算法对DSA图像中的各目标导丝进行检测，可以得到目标导丝的检测框和该检测框对应的置信度；其中，目标检测算法可以采用YOLOv3方法，也可以采用其他目标检测方法，对此本申请不做任何限定。
从任务难度来看，目标导丝的检测属于单类别的目标检测，而且目标导丝的外观相对简单，以及DSA图像的模式较为单一，因此，目标导丝检测的任务难度并不大，采用YOLOv3方法可以满足实时性的要求。然而，YOLOv3方法依然存在一些缺陷，包括：(1)检测结果中仍有少量的检测错误；(2)检测算法的输出是若干个具有置信值的检测框，实际测试中很难设置最优阈值；(3)检测算法只在单帧DSA图像上检测目标导丝，并没有利用相邻DSA图像帧之间目标导丝的位置关系。
步骤2)基于所述检测框和所述置信度，对所述目标导丝进行后处理。
具体地，为了解决上述问题，本申请实施例采用后处理算法，该算法除了利用相邻帧之间的约束关系外，还使用了双阈值的思想，可以在几乎不增加计算量的情况下进一步提高目标检测算法在连续帧上的检测结果。
后处理算法处理目标检测算法的输出结果，受到Canny算子的启发，后处理算法使用了双阈值(thH和thL，thH>thL)，后处理算法根据检测框和检测框的置信度，将检测框划分进入两个候选列表(CH和CL)；其中，若检测框的置信度大于第一阈值thH，则该检测框被划分至候选列表CH；若检测框的置信度大于第二阈值thL且小于第一阈值thH，则该检测框被划分至候选列表CL；若检测框的置信度小于第二阈值thL，则该检测框所对应的检测结果被去除。
在得到候选列表CH和CL之后，算法将在每一时刻t创建两个输出列表(Ot和Ot temp)；其中，Ot表示t时刻检测的真实的检测框，Ot temp表示t时刻检测的待确定真实性的检测框，即暂时认为存在检测框，但不确定检测框的真实性。后处理算法将使用相邻帧之间的位置约束关系从t时刻得到的两个候选列表(Ct H和Ct L)中选择候选检测框到两个输出列表中(Ot和Ot temp)。
实际中，后处理算法选择候选检测框是基于以下规则，如表1所示：
(1)如果t时刻的候选检测框(在Ct H或Ct L中)和t-1时刻输出的检测框(Ot-1和Ot-1 temp中)距离很近(S-IOU≥thIOU)，则认为该候选检测框内一定存在目标导丝，将该候选检测框放入Ot中；
需要说明的是，S-IOU表示将目标导丝的检测框扩展为长和宽相同的正方形检测框，计算t时刻的检测框与t-1时刻输出的检测框(Ot-1和Ot-1 temp中)之间的正方形交并比(Square-Intersection Over Union，S-IOU)，若正方形交并比S-IOU大于第三阈值，即S-IOU≥thIOU，则将检测框放入Ot中。
(2)如果一个Ot-1中的检测框在Ct H和Ct L中不能找到和它很近的候选框，则认为在t时刻丢失了该目标导丝。该检测框将从Ot-1中继承并放入Ot temp中。值得注意的是，此规则不适用于Ot-1 temp中的检测框。
(3)Ct H中的候选检测框被认为是包含目标导丝的。如果一个Ct H中的候选检测框在Ot-1或Ot-1 temp中不能找到和它很近的检测框，则直接将该候选框放入Ot temp中。
表1.目标检测结果的后处理算法使用的选择标准
Figure BDA0003970535550000111
步骤3)对经过后处理的图像进行裁剪，得到所述DSA图像中各所述目标导丝对应的目标图像。
具体地，在目标导丝的检测结果经过后处理之后，采用图像裁剪法，从后处理后的DSA图像中将每根目标导丝完整地裁剪出来，得到DSA图像中各目标导丝对应的目标图像，将该目标图像作为目标导丝的端点定位阶段的输入图像，可以有效防止目标导丝之间的相互影响。
本发明提供的目标定位方法，通过对DSA图像中的各目标导丝进行检测，得到目标导丝的检测框和检测框对应的置信度；再根据检测框和检测框对应的置信度，对目标导丝进行后处理；对后处理后的图像进行裁剪，得到DSA图像中各目标导丝对应的目标图像，后处理算法除了利用相邻帧间的约束关系之外，还使用了双阈值的思想，该算法可以为任何目标检测算法在连续帧中的检测结果进行后处理，而且非常适合检测结果中仅有少数的检测错误的情况，提升了目标导丝检测结果的准确性，从而提升了对目标导丝端点位置的定位精度。
可选地，所述目标定位模型包括：至少一个卷积层、至少一个沙漏网络和至少一个分割注意力模块；上述步骤103的具体实现方式包括以下步骤：
步骤(1)将所述目标图像输入至第一卷积层，得到所述第一卷积层输出的第一特征图；所述第一特征图用于表示所述目标图像对应的特征信息。
需要说明的是，目标定位模型(SA-hourglass)是修改设置后的堆叠沙漏模型，其中，目标定位模型中的沙漏网络为沙漏模型，沙漏网络的个数由8个缩减至3个，并且去除了堆叠沙漏模型中的一个最大池化(maxpooling)层，同时，对沙漏网络的卷积通道数(卷积核的个数)进行缩减。沙漏网络将下采样过程中的图像特征与上采样得到的图像特征进行融合，用来弥补下采样过程带来的图像特征的损失。
具体地，将经过裁剪之后的目标图像输入至目标定位模型中的第一卷积层，可以得到第一卷积层输出的第一特征图；第一特征图用于表示所述目标图像对应的特征信息。例如，目标图像的通道数为1，经过第一卷积层之后，得到第一卷积层输出的第一特征图为16通道。
步骤(2)将所述第一特征图输入至第二卷积层，得到所述第二卷积层输出的第二特征图。
具体地，将第一特征图输入至第二卷积层，可以得到第二卷积层输出的第二特征图。例如，第一特征图的通道数为16，经过第二卷积层之后，可以得到第二卷积层输出的第二特征图为32通道。
步骤(3)将所述第二特征图输入至第一沙漏网络，得到所述第一沙漏网络输出的第三特征图。
具体地，将第二特征图输入至第一沙漏网络，可以得到第一沙漏网络输出的第三特征图；其中，第一沙漏网络的输入和输出对应的特征图的通道数相同。例如，第二特征图的通道数为32，经过第一沙漏网络之后，可以得到第一沙漏网络输出的第三特征图依然为32通道。
步骤(4)将所述第三特征图输入至第一分割注意力模块，得到所述第一分割注意力模块输出的第四特征图。
具体地，将第三特征图输入至第一分割注意力模块，可以得到第一分割注意力模块输出的第四特征图。例如，第三特征图的通道数为32，经过第一分割注意力模块之后，可以得到第一分割注意力模块输出的第四特征图依然为32通道。
步骤(5)将所述第四特征图输入至第三卷积层，得到所述第三卷积层输出的第五特征图。
具体地，将第四特征图输入至第三卷积层，可以得到第三卷积层输出的第五特征图。例如，第四特征图的通道数为32，经过第三卷积层之后，可以得到第三卷积层输出的第五特征图为32通道。
需要说明的是，在目标定位模型训练过程中，在得到第五特征图之后，对第五特征图进行卷积，得到第一关键点热图。对于热力图回归任务，目标定位模型使用均方误差作为损失函数，其中，均方误差采用公式(2)计算，其中：
Figure BDA0003970535550000131
其中，Llocal表示均方误差，w表示第一关键点热图的宽度，h表示第一关键点热图的高度，x表示第一关键点热图中各像素的横坐标，y表示第一关键点热图中各像素的纵坐标，H(x,y)表示第一关键点热图中目标导丝的预测结果，H*(x,y)表示第一关键点热图中目标导丝的真实结果。
其中，使用二维高斯函数生成第一关键点热图的回归目标，即H*(x,y)采用公式(3)计算得到，其中：
Figure BDA0003970535550000141
其中，x0表示目标导丝的标签数据中端点横坐标的真实值，y0表示目标导丝的标签数据中端点纵坐标的真实值。
步骤(6)将所述第五特征图输入至第四卷积层，得到所述第四卷积层输出的第六特征图。
具体地，将第五特征图输入至第四卷积层，可以得到第四卷积层输出的第六特征图。例如，第五特征图的通道数为32，经过第四卷积层之后，可以得到第四卷积层输出的第六特征图为32通道。
步骤(7)将所述第二特征图和所述第六特征图中各像素点的像素值进行相加，得到第七特征图。
具体地，将第二特征图和第六特征图中各像素点的像素值进行逐像素相加，得到第七特征图。
步骤(8)基于所述第七特征图，确定所述关键点热图。
具体地，根据第七特征图，重复执行上述步骤(3)-步骤(7)，可以得到确定关键点热图。
本发明提供的目标定位方法，通过将目标图像输入至第一卷积层，得到第一卷积层输出的第一特征图；第一特征图用于表示目标图像对应的特征信息；将第一特征图输入至第二卷积层，得到第二卷积层输出的第二特征图；将第二特征图输入至第一沙漏网络，得到第一沙漏网络输出的第三特征图；将第三特征图输入至第一分割注意力模块，得到第一分割注意力模块输出的第四特征图；将第四特征图输入至第三卷积层，得到第五卷积层输出的第五特征图；将第五特征图输入至第四卷积层，得到第四卷积层输出的第六特征图；将第二特征图和第六特征图中各像素点的像素值进行相加，得到第七特征图；基于第七特征图，确定所述关键点热图，利用将修改后的沙漏网络和分割注意力模块相结合，只需将注意力放在目标导丝的分割结果上，而不需要从DSA图像的整个图像范围内定位目标导丝的端点，从而可以去除大部分背景像素带来的干扰，以及降低计算量，提升了对目标导丝端点位置的定位精度和效率。
可选地，上述步骤(4)的具体实现方式包括以下步骤：
步骤(4-1)将所述第三特征图输入至所述第一分割注意力模块中的第六卷积层，得到所述第六卷积层输出的第九特征图。
具体地，将第三特征图输入至第一分割注意力模块中的第六卷积层，可以得到第六卷积层输出的第九特征图。例如，第三特征图的通道数为32，经过3×3卷积核之后，得到第六卷积层输出的第九特征图为32通道。
步骤(4-2)将所述第九特征图输入至第七卷积层，得到所述第七卷积层输出的第十特征图。
具体地，将第九特征图输入至第七卷积层，可以得到第七卷积层输出的第十特征图。例如，第九特征图的通道数为32，经过1×1卷积核之后，得到第七卷积层输出的第十特征图为1通道。
步骤(4-3)对所述第十特征图中的各个像素值进行归一化，得到分割注意力图。
具体地，采用激活函数(Sigmoid)对第十特征图中的各个像素值进行归一化，将归一化之后的像素值与预设阈值进行比较，大于预设阈值的像素值为1，小于预设阈值的像素值为0，得到分割注意力图。
需要说明的是，在目标定位模型训练的过程中，对目标导丝的分割标签使用膨胀算法进行膨胀，将经过膨胀处理的目标导丝作为分割注意力图的真实结果。对于分割注意力图的预测任务，使用了像素级别的sigmoid交叉熵作为损失函数，采用公式(3)计算交叉熵，其中：
Figure BDA0003970535550000161
其中，Latt表示交叉熵，w表示分割注意力图的宽度，h表示分割注意力图的高度，x表示分割注意力图中各像素的横坐标，y表示分割注意力图中各像素的纵坐标，A(x,y)表示分割注意力图中目标导丝的预测结果，A*(x,y)表示分割注意力图中目标导丝的真实结果。
图2是本发明提供的经过膨胀处理的分割注意力图，如图2所示，图2(a)表示经过后处理后的图像，图2(b)表示归一化之后的二值化图像，图2(c)表示经过膨胀处理的分割注意力图。
步骤(4-4)将所述第九特征图和所述分割注意力图中各个像素点的像素值进行相乘，得到所述第一分割注意力模块输出的第四特征图。
具体地，将第九特征图中各像素点的像素值和分割注意力图中各个像素点的像素值进行逐像素相乘，得到第一分割注意力模块输出的第四特征图。
本发明提供的目标定位方法，通过将第三特征图输入至第一分割注意力模块中的第六卷积层，得到第六卷积层输出的第九特征图；将第九特征图输入至第七卷积层，得到第七卷积层输出的第十特征图；对第十特征图中的各个像素值进行归一化，得到分割注意力图；将第九特征图和分割注意力图中各个像素点的像素值进行相乘，得到第一分割注意力模块输出的第四特征图，采用第一分割注意力模块使得模型将注意力将在目标导丝分割的结果上，提升了目标导丝的端点的定位精度。
图3是本发明提供的分割注意力模块的结构示意图，如图3所示，将第九特征图301和分割注意力图302中各个像素点的像素值进行逐像素相乘，可以得到第一分割注意力模块输出的第四特征图；进一步地，将第四特征图输入至第三卷积层，得到第三卷积层输出的第五特征图303；再将第五特征图303输入至第八卷积层，得到第八卷积层输出的关键点热图304。
可选地，上述步骤步骤(8)的具体实现方式包括以下步骤：
步骤(8-1)基于所述第七特征图，确定最后一个分割注意力模块输出的第八特征图。
具体地，根据第七特征图，再将第七特征图输入至第二沙漏网络，得到第二沙漏网络输出的第十二特征图；将第十二特征图输入至第二分割注意力模块，得到第二分割注意力模块输出的第十三特征图；将第十三特征图输入至第九卷积层，得到第九卷积层输出的第十四特征图；将第十四特征图输入至第十卷积层，得到第十卷积层输出的第十五特征图；将第七特征图和第十五特征图进行逐像素相加，得到第十六特征图；将第十六特征图输入至第三沙漏网络，得到第三沙漏网络输出的第十七特征图；将第十七特征图输入至第三分割注意力模块，得到第三分割注意力模块输出的第十八特征图；将第十八特征图输入至第十一卷积层，得到第十一卷积层输出的第十九特征图；将第十九特征图输入至第十二卷积层，得到第十二卷积层输出的第二十特征图；将第二十特征图和第十六特征图进行逐像素相加，得到第八特征图，即得到最后一个分割注意力模块输出的第八特征图。
步骤(8-2)将所述第八特征输入至第五卷积层，得到所述第五卷积层输出的所述关键点热图。
具体地，将第八特征输入至第五卷积层，可以得到第五卷积层输出的关键点热图。
需要说明的是，在模型的训练过程中，在得到关键点热图之后，采用上述公式(2)可以计算均方误差。
可选地，所述目标定位模型使用的损失函数采用公式(1)表示；其中，
Loss＝Llocal+λLatt (1)
其中，Llocal表示均方误差损失函数，Latt表示交叉熵损失函数，λ表示权重值。
图4是本发明提供的目标定位模型的结构示意图，如图4所示，目标定位模型的输入是经过裁剪之后的目标图像，将目标图像输入至第一卷积层，得到第一卷积层输出的第一特征图(16通道)；将第一特征图输入至第二卷积层，得到第二卷积层输出的第二特征图(32通道)；将第二特征图输入至第一沙漏网络，得到第一沙漏网络输出的第三特征图(32通道)；将第三特征图输入至第一分割注意力模块中的第六卷积层，得到第六卷积层输出的第九特征图(32通道)；将第九特征图输入至第七卷积层，得到第七卷积层输出的第十特征图(1通道)；对第十特征图中的各个像素值进行归一化，得到分割注意力图(1通道)。需要说明的是，在目标定位模型训练的过程中，在得到分割注意力图之后，采用上述公式(4)可以计算交叉熵损失值。
将第九特征图和分割注意力图中各个像素点的像素值进行相乘，得到第一分割注意力模块输出的第四特征图(32通道)；将第四特征图输入至第三卷积层，得到第三卷积层输出的第五特征图(32通道)。需要说明的是，在目标定位模型训练的过程中，在得到第五特征图之后，采用上述公式(2)计算均方误差损失值。
将第五特征图输入至第四卷积层，得到第四卷积层输出的第六特征图(32通道)；将第二特征图和第六特征图中各像素点的像素值进行相加，得到第七特征图。
基于第七特征图，将第七特征图输入至第二沙漏网络，得到第二沙漏网络输出的第十二特征图；将第十二特征图输入至第二分割注意力模块，得到第二分割注意力模块输出的第十三特征图。需要说明的是，在目标定位模型训练过程中，第二分割注意力模块采用上述公式(3)计算交叉熵损失值。
将第十三特征图输入至第九卷积层，得到第九卷积层输出的第十四特征图。需要说明的是，在目标定位模型训练过程中，在得到第十四特征图之后，采用上述公式(2)计算均方误差损失值。
将第十四特征图输入至第十卷积层，得到第十卷积层输出的第十五特征图；将第七特征图和第十五特征图进行逐像素相加，得到第十六特征图。
将第十六特征图输入至第三沙漏网络，得到第三沙漏网络输出的第十七特征图；将第十七特征图输入至第三分割注意力模块，得到第三分割注意力模块输出的第十八特征图。需要说明的是，在目标定位模型训练过程中，第三分割注意力模块采用上述公式(3)计算交叉熵损失值。
将第十八特征图输入至第十一卷积层，得到第十一卷积层输出的第十九特征图。需要说明的是，在目标定位模型训练过程中，在得到第十九特征图之后，采用上述公式(2)计算均方误差损失值。
将第十九特征图输入至第十二卷积层，得到第十二卷积层输出的第二十特征图；将第二十特征图和第十六特征图进行逐像素相加，得到第八特征图，即得到最后一个分割注意力模块输出的第八特征图；将第八特征输入至第五卷积层，得到第五卷积层输出的关键点热图。需要说明的是，在目标定位模型训练过程中，在得到关键点热图之后，采用上述公式(2)计算均方误差损失值；在目标定位模型训练好之后，第五卷积层输出的关键点热图即为目标定位模型输出的关键点热图，其中，关键点热图表示目标导丝的各像素属于端点的概率，选择其中概率最大的两个像素作为目标导丝的端点。
需要说明的是，在目标定位模型训练的过程中，通过上述公式(1)计算最终的损失值，根据计算的损失值判断训练是否达到训练停止条件，其中训练停止条件为计算最终的损失值处于目标范围内；若没有达到训练停止条件，则不断更新目标定位模型的参数；若达到训练停止条件，则目标定位模型训练结束。
图5是本发明提供的目标定位方法的流程示意图之二，如图5所示，本发明根据自上而下的思路，提供了两阶段的针对多导丝端点的定位方法，即目标定位方法，该方法包括第一阶段(目标导丝检测阶段)和第二阶段(目标导丝定位阶段)等两个阶段，其中，目标导丝检测阶段采用目标检测方法和后处理算法，目标导丝定位阶段采用目标定位模型(SA-hourglass模型)，得到各目标导丝的端点位置的定位结果。
本发明提供的目标定位模型(SA-hourglass模型)与目前最先进的手术器械关键点定位模型进行对比，使用关键点正确估计的比例(Percentage of Correct Keypoints，PCK)指标和平均定位误差(Mean Pixel Error，MPE)指标来评价目标导丝的关键点定位结果。PCK计算了预测关键点与真实关键点之间的欧式距离(距离误差)小于某一阈值的百分比，PCK值越大，表示定位效果越好；MPE是指距离误差的平均值，MPE值越小，表示定位结果越好。
目标定位模型对损失函数中λ值不敏感，λ最优取值为2，σ最优取值为5。当沙漏网络的个数为8时，第三个沙漏网络输出的目标导丝端点的定位结果的性能是最好的，即图4中的第三个沙漏网络输出的目标导丝端点的定位结果是最准确的。
可选地，引入一个参数α，可以将SA-hourglass模型中每个通道乘以α。通过尝试使用不同的α(α∈{0.5,1,2,3,4})，对SA-hourglass模型进行训练，得到的结果如图6所示，图6是本发明提供的SA-hourglass模型中卷积通道数与定位精度和计算量之间的示意图，如图6所示，计算量的单位是千兆浮点运算次数(Giga Floating-point Operations PerSecond，GFLOPs)。从图6中可以看出，MPE指标会随着卷积通道数的增加而不断减小，同时需要的计算量不断增加。图6很直观的展示了SA-hourglass模型的参数量和计算量与定位误差之间的权衡关系。
本发明提出的SA-hourglass模型可以被泛化到其他的单实例手术器械关键点定位任务上，并可以在RMIT数据集上进行验证。图7是本发明提供的目标定位模型的结果示意图，如图7所示，相比于单任务学习、传统多任务学习、并联分割结果和本发明提供的目标定位方法可以明显地提高目标导丝的端点定位的精度，表明本发明提供的SA-hourglass模型具有很好的泛化性能，并且可以被推广到其他的单实例手术器械的关键点定位任务中。
本发明的硬件系统可以包括：目标导丝、镍钛合金核心、不锈钢线圈、亲水涂层、造影涂层、导丝端点和造影机；其中，目标导丝以镍钛合金为轴心，外围包裹着不锈钢线圈和一层亲水涂层；镍钛合金核心用于给目标导丝提供刚度，在越接近目标导丝头端的位置，镍钛合金核心的直径越小，目标导丝的刚度就越小；造影涂层覆盖于目标导丝的头端3厘米处，使得这3厘米的部分在DSA图像上可以明显地区别于图像的背景。
下面对本发明提供的目标定位装置进行描述，下文描述的目标定位装置与上文描述的目标定位方法可相互对应参照。
图8是本发明提供的目标定位装置的结构示意图，如图8所示，该目标定位装置800包括：获取模块801、确定模块802和定位模块803；其中，
获取模块801，用于获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；
确定模块802，用于基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；
定位模块803，用于将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
本发明提供的目标定位装置，通过获取数字减影血管造影DSA图像；DSA图像包括至少一根目标导丝；再根据获取的DSA图像，确定DSA图像中各目标导丝对应的目标图像；将目标图像输入至目标定位模型，得到目标定位模型输出的关键点热图；目标定位模型是基于样本目标图像和样本目标图像的标签数据进行训练得到的，用于对目标图像中的目标导丝的多个端点进行定位；关键点热图用于指示目标导丝的各所述端点的位置，实现对DSA图像中目标导丝端点位置的定位，进而辅助对手术器械的定位，提升了对目标导丝端点位置的定位精度。
可选地，所述目标定位模型包括：至少一个卷积层、至少一个沙漏网络和至少一个分割注意力模块；
所述定位模块803，具体用于：
将所述目标图像输入至第一卷积层，得到所述第一卷积层输出的第一特征图；所述第一特征图用于表示所述目标图像对应的特征信息；
将所述第一特征图输入至第二卷积层，得到所述第二卷积层输出的第二特征图；
将所述第二特征图输入至第一沙漏网络，得到所述第一沙漏网络输出的第三特征图；
将所述第三特征图输入至第一分割注意力模块，得到所述第一分割注意力模块输出的第四特征图；
将所述第四特征图输入至第三卷积层，得到所述第三卷积层输出的第五特征图；
将所述第五特征图输入至第四卷积层，得到所述第四卷积层输出的第六特征图；
将所述第二特征图和所述第六特征图中各像素点的像素值进行相加，得到第七特征图；
基于所述第七特征图，确定所述关键点热图。
可选地，所述定位模块803，具体用于：
基于所述第七特征图，确定最后一个分割注意力模块输出的第八特征图；
将所述第八特征输入至第五卷积层，得到所述第五卷积层输出的所述关键点热图。
可选地，所述定位模块803，具体用于：
将所述第三特征图输入至所述第一分割注意力模块中的第六卷积层，得到所述第六卷积层输出的第九特征图；
将所述第九特征图输入至第七卷积层，得到所述第七卷积层输出的第十特征图；
对所述第十特征图中的各个像素值进行归一化，得到分割注意力图；
将所述第九特征图和所述分割注意力图中各个像素点的像素值进行相乘，得到所述第一分割注意力模块输出的第四特征图。
可选地，所述目标定位模型使用的损失函数采用公式(1)表示；其中，
Loss＝Llocal+λLatt (1)
其中，Llocal表示均方误差损失函数，Latt表示交叉熵损失函数，λ表示权重值。
可选地，所述确定模块802，具体用于：
对所述DSA图像中的各所述目标导丝进行检测，得到所述目标导丝的检测框和所述检测框对应的置信度；
基于所述检测框和所述置信度，对所述目标导丝进行后处理；
对经过后处理的图像进行裁剪，得到所述DSA图像中各所述目标导丝对应的目标图像。
图9是本发明提供的一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行目标定位方法，该方法包括：获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；所述目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标定位方法，该方法包括：获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；所述目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标定位方法，该方法包括：获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；所述目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标定位方法，其特征在于，包括：
获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；
基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；
将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；所述目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
2.根据权利要求1所述的目标定位方法，其特征在于，所述目标定位模型包括：至少一个卷积层、至少一个沙漏网络和至少一个分割注意力模块；
所述将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图，包括：
将所述目标图像输入至第一卷积层，得到所述第一卷积层输出的第一特征图；所述第一特征图用于表示所述目标图像对应的特征信息；
将所述第一特征图输入至第二卷积层，得到所述第二卷积层输出的第二特征图；
将所述第二特征图输入至第一沙漏网络，得到所述第一沙漏网络输出的第三特征图；
将所述第三特征图输入至第一分割注意力模块，得到所述第一分割注意力模块输出的第四特征图；
将所述第四特征图输入至第三卷积层，得到所述第三卷积层输出的第五特征图；
将所述第五特征图输入至第四卷积层，得到所述第四卷积层输出的第六特征图；
将所述第二特征图和所述第六特征图中各像素点的像素值进行相加，得到第七特征图；
基于所述第七特征图，确定所述关键点热图。
3.根据权利要求2所述的目标定位方法，其特征在于，所述基于所述第七特征图，确定所述关键点热图，包括：
基于所述第七特征图，确定最后一个分割注意力模块输出的第八特征图；
将所述第八特征输入至第五卷积层，得到所述第五卷积层输出的所述关键点热图。
4.根据权利要求2所述的目标定位方法，其特征在于，所述将所述第三特征图输入至第一分割注意力模块，得到所述第一分割注意力模块输出的第四特征图，包括：
将所述第三特征图输入至所述第一分割注意力模块中的第六卷积层，得到所述第六卷积层输出的第九特征图；
将所述第九特征图输入至第七卷积层，得到所述第七卷积层输出的第十特征图；
对所述第十特征图中的各个像素值进行归一化，得到分割注意力图；
将所述第九特征图和所述分割注意力图中各个像素点的像素值进行相乘，得到所述第一分割注意力模块输出的第四特征图。
5.根据权利要求1-4任一项所述的目标定位方法，其特征在于，所述目标定位模型使用的损失函数采用公式(1)表示；其中，
Loss＝Llocal+λLatt (1)
其中，Llocal表示均方误差损失函数，Latt表示交叉熵损失函数，λ表示权重值。
6.根据权利要求1所述的目标定位方法，其特征在于，所述基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像，包括：
对所述DSA图像中的各所述目标导丝进行检测，得到所述目标导丝的检测框和所述检测框对应的置信度；
基于所述检测框和所述置信度，对所述目标导丝进行后处理；
对经过后处理的图像进行裁剪，得到所述DSA图像中各所述目标导丝对应的目标图像。
7.一种目标定位装置，其特征在于，包括：
获取模块，用于获取数字减影血管造影DSA图像；所述DSA图像包括至少一根目标导丝；
确定模块，用于基于所述DSA图像，确定所述DSA图像中各所述目标导丝对应的目标图像；
定位模块，用于将所述目标图像输入至目标定位模型，得到所述目标定位模型输出的关键点热图；所述目标定位模型是基于样本目标图像和所述样本目标图像的标签数据进行训练得到的，用于对所述目标图像中的所述目标导丝的多个端点进行定位；所述关键点热图用于指示所述目标导丝的各所述端点的位置。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述目标定位方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述目标定位方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述目标定位方法。
CN202211516138.8A 2022-11-29 2022-11-29 目标定位方法、装置、电子设备及存储介质 Pending CN116138877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211516138.8A CN116138877A (zh) 2022-11-29 2022-11-29 目标定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211516138.8A CN116138877A (zh) 2022-11-29 2022-11-29 目标定位方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116138877A true CN116138877A (zh) 2023-05-23

Family

ID=86349759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211516138.8A Pending CN116138877A (zh) 2022-11-29 2022-11-29 目标定位方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116138877A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830308A (zh) * 2024-03-05 2024-04-05 西安交通大学医学院第一附属医院 一种介入手术前后血管造影智能对比分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830308A (zh) * 2024-03-05 2024-04-05 西安交通大学医学院第一附属医院 一种介入手术前后血管造影智能对比分析方法
CN117830308B (zh) * 2024-03-05 2024-05-10 西安交通大学医学院第一附属医院 一种介入手术前后血管造影智能对比分析方法

Similar Documents

Publication Publication Date Title
CN107451995B (zh) 在cta图像中提取心血管方法、装置、设备及存储介质
CN112348821B (zh) 基于x光图像的导丝分割和尖端点定位方法、系统和装置
US8422753B2 (en) Method and system for automatic extraction of personalized left atrium models
CN111080700A (zh) 医疗器械图像检测方法及装置
CN114693710A (zh) 血管管腔内膜轮廓提取方法、装置及超声设备和存储介质
CN111681254A (zh) 用于血管动脉瘤介入手术导航系统的导管检测方法及系统
CN112348883B (zh) 血管介入手术中介入器械端点实时定位系统、方法、装置
CN116138877A (zh) 目标定位方法、装置、电子设备及存储介质
KR20210016862A (ko) 관상동맥 혈관조영술 기반의 기계 학습을 통한 허혈 병변 정보 제공 장치, 정보 제공 방법 및 이의 기록매체
CN111985485A (zh) 基于金字塔形注意力循环网络的手术介入器械追踪方法
CN111724365A (zh) 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN114998292A (zh) 一种基于残差双注意力机制的心血管钙化斑块检测系统
CN112651984A (zh) 血管管腔内膜轮廓提取方法、装置及超声设备和存储介质
CN116630334B (zh) 用于多分段血管实时自动分割方法、装置、设备及介质
JP2021174394A (ja) 推論装置、医用システム、およびプログラム
García et al. A deep learning model for brain vessel segmentation in 3DRA with arteriovenous malformations
CN114209344A (zh) 一种侧枝循环状态评估方法、装置、存储介质及电子设备
CN112348860B (zh) 用于血管内动脉瘤手术的血管配准方法、系统和装置
CN114119688A (zh) 基于深度学习的冠状动脉造影前后单模医学图像配准方法
CN113902689A (zh) 一种血管中心线提取方法、系统、终端以及存储介质
CN113017667A (zh) 一种血管狭窄的量化方法、装置、设备和可读存储介质
EP4107697B1 (en) Methods and systems for cardiac chamber imaging
Zhang et al. Coronary artery motion modeling from 3d cardiac ct sequences using template matching and graph search
CN114049282B (zh) 一种冠状动脉的构建方法、装置、终端及存储介质
JP7479080B2 (ja) 血管分割に基づいて血管映像を処理する方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination