CN114742979A - 基于定位贴片的位置识别方法、装置、存储介质及设备 - Google Patents

Abstract

本申请提供一种基于定位贴片的位置识别方法、装置、存储介质及设备，涉及图像处理领域。该方法包括：对三维医学图像的粗分割数据进行连通域过滤处理，得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据；基于M个连通域各自对应的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据，并确定M个定位贴片各自的图像关键点坐标数据；基于M个定位贴片各自的图像关键点坐标数据以及M个定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置。本申请可以解决定位贴片密度与分割场景密度相近而导致的分割不精确的问题，可以解决最大连通域提取定位贴片而导致的误检率高的问题。

Description

基于定位贴片的位置识别方法、装置、存储介质及设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种基于定位贴片的位置识别方法、装置、存储介质及电子设备。

背景技术

自动穿刺算法可以帮助医生进行穿刺手术，大幅提高手术的速度和准确度。其中，自动穿刺算法需要借助穿刺定位系统确定穿刺针的实时位置，再对穿刺路径予以规划和指引。对于借助穿刺定位系统的自动穿刺算法，需要借助多个定位贴片进行精准的识别和定位，得到穿刺针相对于穿刺对象的物理位置在穿刺对象的三维医学图像中的图像位置，从而获取实时的穿刺路径规划和指引。

相关技术中，是使用深度学习模型直接对穿刺对象体表的定位贴片进行实例分割，然后取几个最大的连通域作为选定的定位贴片，以确定穿刺针相对于穿刺对象的物理位置在穿刺对象的三维医学图像中的图像位置，而此种方法获取的定位贴片位置的准确性有待提高。

发明内容

为了解决上述技术问题，提出了本申请。本申请实施例提供了一种基于定位贴片的位置识别方法、装置、存储介质及设备。

第一方面，本申请一实施例提供了一种基于定位贴片的位置识别方法，用于基于穿刺对象体表的M个定位贴片，确定穿刺针在相对于穿刺对象的物理位置在穿刺对象的三维医学图像中的图像位置，该方法包括：基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据，其中，粗分割数据包括针对M个定位贴片的分割数据；基于M个连通域各自对应的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据，并基于精分割数据确定M个定位贴片各自的图像关键点坐标数据；基于M个定位贴片各自的图像关键点坐标数据以及M个定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置。

第二方面，本申请一实施例提供了一种穿刺定位引导方法，该方法包括：基于第一方面所述的基于定位贴片的位置识别方法，确定穿刺针在穿刺对象的三维医学图像中的图像位置；基于穿刺针在所述穿刺对象的三维医学图像中的图像位置，对穿刺针进行定位引导。

第三方面，本申请一实施例提供了一种基于定位贴片的位置识别装置，用于基于穿刺对象体表的M个定位贴片，确定穿刺针相对于所述穿刺对象的物理位置在穿刺对象的三维医学图像中的图像位置，M为正整数，该装置包括：处理模块，用于基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据，其中，粗分割数据包括针对M个定位贴片的分割数据；第一确定模块，用于基于M个连通域各自对应的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据，并基于精分割数据确定M个定位贴片各自的图像关键点坐标数据；第二确定模块，用于基于M个定位贴片各自的图像关键点坐标数据以及M个定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置。

第四方面，本申请一实施例提供了一种穿刺定位引导装置，该装置包括：第三确定模块，用于基于第一方面所述的基于定位贴片的位置识别方法，确定穿刺针在穿刺对象的三维医学图像中的图像位置；定位引导模块，用于基于穿刺针在所述穿刺对象的三维医学图像中的图像位置，对穿刺针进行定位引导。

第五方面，本申请一实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于执行第一方面和第二方面任一所述的方法。

第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述任一实施例提及的第一方面和第二方面任一所述的方法。

本申请实施例提供的基于定位贴片的位置识别方法，首先通过预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，解决了粗分割数据中存在的、因定位贴片密度和人体密度相近而导致的分割数据杂乱和不精确的问题，得到了更为准确的三维医学图像中的定位贴片对应的连通域、以及定位贴片对应的连通域的中心点坐标数据。再通过连通域各自的中心点坐标数据，对三维医学图像进行关于定位贴片的精分割，并确定定位贴片各自的图像关键点坐标数据，根据定位贴片各自的图像关键点坐标数据和定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置，以便在穿刺手术进行时，能够为穿刺针提供更精确、科学的路径规划和指引。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1所示为本申请实施例所适用的一场景示意图。

图2所示为本申请一示例性实施例提供的基于定位贴片的位置识别方法的流程示意图。

图3所示为本申请一示例性实施例提供的包含人体体表的3个定位贴片的CT图像示意图。

图4所示为本申请一示例性实施例提供的得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据的流程示意图。

图5所示为本申请一示例性实施例提供的确定M个连通域及M个连通域各自对应的中心点坐标数据的流程示意图。

图6所示为本申请一示例性实施例提供的确定N个候选连通域以及所述N个候选连通域各自对应的中心点坐标数据的流程示意图。

图7所示为粗分割数据对应的连通域分布示意图。

图8所示为基于定位贴片的体积连通域阈值，对所述粗分割数据进行过滤得到的连通域分布示意图。

图9所示为基于定位贴片的金属连通域阈值，对S个候选连通域进行过滤后得到连通域分布示意图。

图10所示为本申请另一示例性实施例提供的基于定位贴片的位置识别方法的流程示意图。

图11所示为本申请一示例性实施例提供的P组包含定位贴片的三维医学样本图像的生成方法的流程示意图。

图12所示为本申请一示例性实施例提供的确定针对所述M个定位贴片的精分割数据的流程示意图。

图13所示为定位贴片的结构示意图。

图14所示为本申请一示例性实施例提供的穿刺定位引导方法的流程示意图。

图15所示为本申请一示例性实施例提供的基于定位贴片的位置识别装置的结构示意图。

图16所示为本申请一示例性实施例提供的穿刺定位引导位置的结构示意图。

图17所示为本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。

穿刺手术，一种损伤较小的微创手术，主要使用细针通过局部的皮肤和组织器官抽取标本或注射药物，从而达到诊断和治疗的目的。穿刺一般分为诊断性穿刺和治疗性穿刺，常见的穿刺包括胸腔穿刺、腹腔穿刺、腰椎穿刺、硬膜外穿刺、骨髓穿刺、肺穿刺、关节腔穿刺、淋巴结穿刺以及体表肿块穿刺等。穿刺手术对于感染性疾病、出血性疾病、肿瘤等疾病的诊断具有重大的价值，同时还可用于术前麻醉、浆膜腔抽气及抽液、鞘内注药等治疗，而且穿刺创伤小、恢复快，因而广泛的用于临床之中。

定位贴片：在辅助医生进行穿刺手术时，需要在穿刺对象体表放置多个定位贴片，用于定位体表与穿刺对象的三维医学图像的相对位置。为了获得定位贴片的具体位置，需要在穿刺对象的三维医学图像中对定位贴片进行粗定位，然后依据此粗定位的位置提取定位贴片的关键点，以进行下一阶段的定位贴片的精确定位。

图像分割包括语义分割和实例分割。语义分割将整个图像分成一个个像素组，然后对其进行标记和分类。语义分割试图在语义上理解图像中每个像素的角色，比如，识别它是汽车、摩托车、火车等。实例分割将不同类型的实例进行分类，比如用五种颜色来标记5辆汽车。分割实例时，会看到多个重叠物体和不同背景的复杂景象，我们不仅需要将这些不同的对象进行分类，还需要确定对象的边界、差异和彼此之间的关系。

目前，在基于定位贴片进行位置识别前，一般先使用深度学习模型直接对穿刺对象体表的若干定位贴片的三维医学图像进行实例分割，然后取最大的几个连通域作为穿刺对象体表的定位贴片对应的连通域，此种方法主要存在以下问题。

首先，定位贴片的密度与人体的密度相近，因此难以直接通过分割阈值来实现定位贴片的自动分割。当分割阈值较小时，会产生各种杂乱的连通域与定位贴片对应的连通域相连；当分割阈值较大时，又有可能丢失实际的定位贴片对应的连通域。其次，听诊器与定位贴片的大小相似，若拍摄的包含定位贴片的三维医学图像中包含听诊器，此时，仅通过连通域大小对三维医学图像进行分割，很容易产生误检。

图1所示为本申请实施例所适用的一场景示意图。该场景包括图像采集设备110和计算机设备120，计算机设备120与图像采集设备110之间存在通信连接关系。

具体而言，图像采集设备110用于采集穿刺对象的三维医学图像，图像采集设备110可以是CT扫描仪、X线机，也可以是其他具有图像采集功能的设备，本申请对图像采集设备110的结构不做具体限定。

计算机设备120用于接收图像采集设备110采集的穿刺对象的三维医学图像，并基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，得到与穿刺对象体表的M个定位贴片匹配的M个连通域以及M个连通域各自的中心点坐标数据，再基于M个连通域各自的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据和M个定位贴片各自的图像关键点坐标数据。计算机设备120可以是通用性计算机或者由专用的集成电路组成的计算机装置，本申请对比不做限定。例如，计算机设备120可以是平板电脑等移动终端设备，也可以是个人计算机，且计算机设备120的数量可以为一个或多个，其类型可以相同或不同，本申请实施例对计算机设备120的数量和类型不做限定。计算机设备120可以根据M个定位贴片各自的图像关键点坐标数据以及M个定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置。

图2所示为本申请一示例性实施例提供的基于定位贴片的位置识别方法的流程示意图。如图2所示，本申请实施例提供的基于定位贴片的位置识别方法包括如下步骤。

步骤220，基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据。

进一步地，粗分割数据包括针对M个定位贴片的分割数据，三维医学图像是指包含穿刺对象体表的M个定位贴片的三维医学图像，其中，穿刺对象可以是人体，也可以是动物，本申请实施例对穿刺对象的类别不做具体限定。

三维医学图像可以是CT图像，也可以是核磁共振成像(Magnetic ResonanceImaging，MRI)图像，本申请实施例对三维医学图像的类型不做具体限定。

预设连通域阈值可以根据实际处理的粗分割数据进行设置，本申请实施例对预设连通域阈值的数值不做具体限定。穿刺对象体表的定位贴片的个数M可以根据实际需要取任一值。基于确定的预设连通域阈值，过滤三维医学图像的粗分割数据，将不满足预设连通域阈值的连通域过滤掉，进而得到与穿刺对象体表的M个定位贴片匹配的M个连通域及M个连通域各自对应的中心点坐标数据。

优选地，本申请实施例采用扫描时间快、图像清晰的CT图像作为三维医学图像。图3所示为本申请一示例性实施例提供的包含人体体表的3个定位贴片的CT图像示意图，其中，图3中的1为定位贴片，2为定位贴片，3为定位贴片，4为听诊器。

步骤230，基于M个连通域各自对应的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据，并基于精分割数据确定M个定位贴片各自的图像关键点坐标数据。

沿用图3的示例，根据定位贴片1、定位贴片2、定位贴片3对应的3个连通域的中心点坐标数据，得到图3中的CT图像对应的针对定位贴片1、定位贴片2和定位贴片3的精分割数据，并确定上述三个定位贴片各自的图像关键点坐标数据。

步骤240，基于M个定位贴片各自的图像关键点坐标数据以及M个定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置。

具体地，针对M个定位贴片中的每个位贴片，定位贴片的物理坐标数据和定位贴片的图像关键点数据是定位贴片上同一个点的坐标数据，此外，M个定位贴片各自的物理坐标数据是由电磁导航系统采集的，M个定位贴片各自的图像关键点坐标数据是基于穿刺对象体表的M个定位贴片的三维医学图像确定的，

基于M个定位贴片各自的图像关键点坐标数据和M个定位贴片各自的物理坐标数据，可以确定电磁导航系统中的坐标与三维医学图像中的坐标的一一对应关系，通过此种对应关系，可以将电磁导航系统中的穿刺针在穿刺对象中的坐标位置转换到方便医生观察的三维医学图像中，以此确定穿刺针在三维医学图像中的图像位置。

在本申请实施例中，通过预设的连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，解决了粗分割数据中存在的、因定位贴片密度和人体密度相近而导致的分割数据杂乱和不精确的问题，得到了更为准确的三维医学图像中的定位贴片对应的连通域、以及定位贴片对应的连通域的中心点坐标数据。此外，通过本实施例中的技术方案，可以确定穿刺针在三维医学图像中的位置，以便在进行穿刺手术时，能够为穿刺针提供更为准确、科学的路径规划和指引。

图4所示为本申请一示例性实施例提供的得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据的流程示意图。在图2所示实施例的基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图4所示，基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据步骤，包括如下步骤。

步骤221，基于预设连通域阈值，对粗分割数据进行连通域过滤处理，得到N个候选连通域以及N个候选连通域各自对应的中心点坐标数据，其中，N为大于或等于M的正整数。

例如，穿刺对象体表有3个定位贴片。在对粗分割数据进行连通域过滤处理之后，得到N个候选连通域，则N的取值可能等于3，也可能大于3。

步骤222，判断N是否大于M。

示例性地，在实际应用过程中，若步骤22的判断结果为是，即N大于M，则执行步骤23，若步骤22的判断结果为否，即N等于M，则执行步骤24。

步骤223，基于N个候选连通域各自对应的中心点坐标数据、以及M个定位贴片各自的物理坐标数据，从N个候选连通域中筛选得到M个连通域，并确定M个连通域各自对应的中心点坐标数据。

例如，M等于3，N等于4，根据4个候选连通域各自对应的中心点坐标数据、以及3个定位贴片各自的物理坐标数据，从4个候选连通域中筛选得到3个与定位贴片匹配的连通域，并确定前述3个与定位贴片匹配的连通域的中心点坐标数据。

步骤224，将N个候选连通域确定为M个连通域，将N个候选连通域各自对应的中心点坐标数据确定为M个连通域各自对应的中心点坐标数据。

例如，N＝M＝3，则将此3个候选连通域确定为与穿刺对象体表的3个定位贴片对应的3个连通域，并将此3个候选连通域的中心点坐标数据确定为与穿刺对象体表的3个定位贴片对应的连通域中心点坐标数据。

在本申请实施例中，首先通过预设连通域阈值，将粗分割数据中的、与定位贴片连通域相差较大的碎片连通域过滤掉，得到更为准确的连通域分布。当得到的连通域数量大于实际的定位贴片数量时，再对得到的连通域进行进一步过滤处理，得到与穿刺对象体表的定位贴片数量相同、且分布位置相同的连通域。

图5所示为本申请一示例性实施例提供的确定M个连通域及M个连通域各自对应的中心点坐标数据的流程示意图。在图4所示实施例的基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图5所示，基于N个候选连通域各自对应的中心点坐标数据、以及M个定位贴片各自的物理坐标数据，从N个候选连通域中筛选得到M个连通域，并确定M个连通域各自对应的中心点坐标数据步骤，包括如下步骤。

步骤2231，对N个候选连通域进行组合，得到P个待配准连通域集合，其中，每个待配准连通域集合均包含M个候选连通域。

例如，M＝3，N＝4，对4个候选连通域进行遍历组合，可以得到

组待配准连通域集合，每组待配准连通域集合中都包含3组候选连通域，

步骤2232，针对P个待配准连通域集合中的每个待配准连通域集合，将待配准连通域集合中的候选连通域各自的中心点坐标数据与M个定位贴片的物理坐标数据进行配准，生成待配准连通域集合的配准误差数据。

具体地，在进行配准前，首先需要将待配准连通域集合的候选连通域各自的中心点坐标数据乘以CT图像的像素间距，将待配准连通域集合的候选连通域的中心点坐标数据转换成物理尺寸坐标。

例如，待配准连通域集合中的某一候选连通域的中心点坐标为(280，280，280)，CT图像的像素间距为(1.2，0.7，0.7)，则转换为物理尺寸坐标的待配准连通域集合的候选连通域的中心点坐标数据为(336，196，196)。

沿用步骤2231中的示例，P＝4，将该4组候选连通域集合中的3个候选连通域中心点坐标数据和实际的3个定位贴片的物理坐标数据进行配准，即得到4组待配准连通域对应的4组配准误差数据。

步骤2233，基于P个待配准连通域集合各自的配准误差数据，将最小的配准误差数据对应的待配准连通域集合中的候选连通域确定为M个连通域、以及将最小的配准误差数据对应的待配准连通域集合中的候选连通域各自的中心点坐标数据确定为M个连通域对应的中心点坐标数据。

沿用步骤2232中的示例，即从4组配准误差数据中选择最小的配准误差数据对应的待配准连通域集合作为与穿刺对象体表的定位贴片对应的连通域。

如图3所示，拍摄的穿刺对象的CT图像中可能包含听诊器4等一类的与定位贴片形状和大小均相似的诊断设备，此时经过预设连通域对粗分割数据进行过滤之后，可能还包含极少数非定位贴片的连通域。通过将P个待配准连通域集合中包含的M个中心点坐标数据与实际的M个定位贴片的物理坐标数据进行配准，得到P组配准误差，通过比较配准误差数据，可以得到更为准确的与M个定位贴片对应的连通域。

图6所示为本申请一示例性实施例提供的确定N个候选连通域以及所述N个候选连通域各自对应的中心点坐标数据的流程示意图。在图4所示实施例的基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图6所示，对粗分割数据进行连通域过滤处理，得到N个候选连通域以及N个候选连通域各自对应的中心点坐标数据步骤，包括如下步骤。其中，预设连通域阈值包括定位贴片的体积连通域阈值和定位贴片的金属连通域阈值基于预设连通域阈值。

步骤2211，基于定位贴片的体积连通域阈值，对所述粗分割数据进行过滤，得到S个候选连通域以及所述S个候选连通域各自对应的中心点坐标数据。其中，S为大于或等于N的正整数。

图7所示为粗分割数据对应的连通域分布示意图。从图7可以看出，粗分割数据所呈现的图像中包含很多杂乱的、琐碎的、与穿刺对象体表的M个定位贴片无关的连通域。

进一步地，定位贴片的体积连通域阈值可以根据实际使用的定位贴片的情况进行合理设置，本申请实施例对定位贴片的体积连通域阈值不做具体限定。

图8所示为基于定位贴片的体积连通域阈值，对所述粗分割数据进行过滤得到的连通域分布示意图。从图8可以看出，根据定位贴片的体积连通域阈值对粗分割数据及性能过滤之后，得到的连通域更规则、数量也更少。

步骤2212，基于定位贴片的金属连通域阈值，对S个候选连通域进行过滤，得到N个候选连通域以及N个候选连通域各自对应的中心点坐标数据。

图9所示为基于定位贴片的金属连通域阈值，对S个候选连通域进行过滤后得到连通域分布示意图。需要说明的是，图7是针对图3的粗分割数据。故穿刺对象体表实际包含3个定位贴片。从图9可以看出，图9中的连通域分布比图8中的连通域分布更准确、更接近实际的穿刺对象体表的定位贴片的数量。

由于定位贴片的灰度值与人体的灰度值接近，所以粗分割数据结果会包含较多的与定位贴片灰度值相近的连通域碎片、以及形态和定位贴片相似的听诊器等设备的连通域。通过定位贴片的体积连通域阈值，可以将灰度值与定位贴片相近的零碎的分割连通域过滤掉。从图3可以看出，听诊器4和定位贴片3的形态相近，实际的听诊器和定位贴片3的灰度值相近，仅仅用步骤2211中的方法无法将与定位贴片的形态和灰度值均相近的诊断设备过滤掉。此时，可以根据定位贴片和其他诊断设备的内部结构的差别区别，设计定位贴片的金属连通域阈值，对定位贴片内部金属的连通域进行过滤。而定位贴片的金属连通域阈值可以根据实际使用的定位贴片而定，本申请实施例对定位贴片的金属连通域阈值的取值不做具体限定。

图10所示为本申请另一示例性实施例提供的基于定位贴片的位置识别方法的流程示意图。在图2所示实施例的基础上延伸出图10所示实施例，下面着重叙述图10所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图10所示，在基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理之前，还包括如下步骤：

步骤210，利用定位贴片粗分割模型处理所述三维医学图像，得到粗分割数据。

其中，定位贴片粗分割模型的训练数据集包括P组包含定位贴片的三维医学样本图像、P组包含定位贴片的三维医学样本图像各自对应的定位贴片标注图像和导线标注图像、以及Q组不含定位贴片的三维医学样本图像。

具体地，获取穿刺对象体表的M个定位贴片的三维医学样本图像作为正样本，并进行人工标注，得到包含定位贴片的三维医学样本图像各自对应的定位贴片标注图像和导线标注图像。同时，选取Q组不含贴片的三维医学样本图像作为负样本，输入到神经网络模型中进行训练，使神经网络模型具备区分正负样本的能力，使得到的训练好的定位贴片粗分割模型具有更高的鲁棒性。

例如，神经网络模型为3d ResUNet网络。

图11所示为本申请一示例性实施例提供的P组包含定位贴片的三维医学样本图像的生成方法的流程示意图。在图10所示实施例的基础上延伸出图11所示实施例，下面着重叙述图11所示实施例与图10所示实施例的不同之处，相同之处不再赘述。

如图11所示，P组包含定位贴片的三维医学样本图像的生成方法步骤，包括如下步骤。

步骤211，获取W组包含定位贴片的三维医学样本图像以及W组包含定位贴片的三维医学样本图像各自对应的定位贴片掩膜图像，得到W张定位贴片三维图像。其中，W为小于P的正整数。

步骤212，基于W组包含定位贴片的三维医学样本图像和W组包含定位贴片的三维医学样本图像各自对应的定位贴片掩膜图像，得到W张定位贴片三维图像。

具体地，将每张包含定位贴片的三维医学样本图像和前述包含定位贴片的三维医学样本图像对应的定位贴片掩膜图像相乘，得到包含定位贴片的三维医学样本图像对应的定位贴片三维图像。定位贴片三维图像只包含定位贴片。

步骤213，对W张定位贴片三维图像进行图像扩增，得到S张定位贴片扩增图像。其中，S为大于W的正整数。

由于带有定位贴片的穿刺对象的CT图像数量比较少且较难采集，所以通过对W张定位贴片三维图像进行图像扩增，例如将定位贴片三维图像进行随机翻折、随机缩放、随机偏移等等，得到S张定位贴片扩增图像。

步骤214，将S张定位贴片扩增图像中的R张定位贴片扩增图像与Q组不含定位贴片的三维医学样本图像中的每组不含定位贴片的三维医学样本图像进行组合，得到P组包含定位贴片的三维医学样本图像。

将R张定位贴片扩增图像随机与不含定位贴片的三维图像进行组合，即随机将R张定位贴片扩增图像与不含定位贴片的三维图像进行相同像素点的像素值相加，得到三维医学样本图像。

其中，R张定位贴片扩增图像分布在三维医学样本图像中的不同位置，R的取值为大于或等于1的正整数。

通过本实施例中的技术方案，可以得到大量的三维医学样本图像，保证在训练定位贴片粗分割模型时具有足够的训练样本，提高了定位贴片粗分割模型的鲁棒性。

图12所示为本申请一示例性实施例提供的确定针对所述M个定位贴片的精分割数据的流程示意图。在图2所示实施例的基础上，延伸出图12所示实施例，下面着重叙述图12所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图12所示，基于M个连通域各自对应的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据步骤，包括如下步骤。

步骤231，利用定位贴片精分割模型，基于M个连通域各自对应的中心点坐标数据以及所述三维医学图像，得到精分割数据。

具体地，将三维医学图像对应的M个连通域各自的中心点坐标数据和三维医学图像输入至定位贴片精分割模型中，定位贴片精分割模型以M个连通域各自的中心点坐标数据为依据，对三维医学图像进行针对M个定位贴片的精分割，得到关于M个定位贴片的精分割数据。

其中，定位贴片精分割模型的训练数据集的生成方法包括如下步骤。

步骤232，基于预设的切块尺寸，以M个连通域各自对应的中心点坐标数据为切块中心，对三维医学样本图像和三维医学样本图像对应的定位贴片标注图像进行切块，得到三维医学样本切块图像和定位贴片切块图像。

进一步地，切块尺寸大于定位贴片连通域的尺寸，以便获取的三维医学样本切块图像和定位贴片切块图像中包含完整的定位贴片。

例如，预设的切块尺寸为80×80×80，三维医学样本图像和定位贴片标注图像的尺寸为512×512×512，M的取值为3，即有3个连通域，每个连通域的中心点坐标数据为(100，100，100)、(200，200，200)、(350，350，350)，则以坐标(100，100，100)、(200，200，200)、以及(350，350，350)为中心，以尺寸80×80×80对三维医学样本图像和定位贴片标注图像进行切块，得到三维医学样本切块图像和定位贴片切块图像。

步骤233，将三维医学样本切块图像和定位贴片切块图像作为定位贴片精分割模型的训练数据集。

通过本实施例中的技术方案，可以获得小尺寸的三维医学样本切块图像和定位贴片切块图像，将三维医学样本切块图像和定位贴片切块图像作为定位贴片精分割模型的训练数据集，避免了对定位贴片精分割模型的训练数据集进行下采样的步骤，也减少了定位贴片精分割模型的计算量。

在一些实施例中，所述图像关键点坐标数据包括凹槽点的图像坐标数据。

图13所示为定位贴片的结构示意图。如图13所示，图像关键点坐标数据包括凹槽点5的图像坐标数据。

图14所示为本申请一示例性实施例提供的穿刺定位引导方法的流程示意图。如图14所示，本申请实施例提供的穿刺定位引导方法包括如下步骤。

步骤1410，确定穿刺针在穿刺对象的三维医学图像中的图像位置。

示例性地，穿刺针在穿刺对象的三维医学图像中的图像位置，是基于上述任一实施例提及的基于定位贴片的位置识别方法确定。

步骤1420，基于所述穿刺针在所述穿刺对象的三维医学图像中的图像位置，对所述穿刺针进行定位引导。

通过本实施例中的技术方案，可以在穿刺手术中实时观测到穿刺针在穿刺对象的三维医学图像中的位置，可以实时提供穿刺手术的定位和引导。

上文结合图1至图14，详细描述了本申请的方法实施例，下面结合图15和图16，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图15所示为本申请一示例性实施例提供的基于定位贴片的位置识别装置的结构示意图。如图15所示，本申请实施例提供的基于定位贴片的位置识别装置包括：

处理模块1510，用于基于预设连通域阈值，对三维医学图像的粗分割数据进行连通域过滤处理，得到与M个定位贴片匹配的M个连通域以及M个连通域各自对应的中心点坐标数据，其中，粗分割数据包括针对M个定位贴片的分割数据；

第一确定模块1520，用于基于M个连通域各自对应的中心点坐标数据以及三维医学图像，确定针对M个定位贴片的精分割数据，并基于精分割数据确定M个定位贴片各自的图像关键点坐标数据；

第二确定模块1530，用于基于M个定位贴片各自的图像关键点坐标数据以及M个定位贴片各自的物理坐标数据，确定穿刺针在三维医学图像中的图像位置。

在本申请一实施例中，处理模块1510还用于，基于预设连通域阈值，对粗分割数据进行连通域过滤处理，得到N个候选连通域以及N个候选连通域各自对应的中心点坐标数据，N为大于或等于M的正整数；若N大于M，基于N个候选连通域各自对应的中心点坐标数据、以及M个定位贴片各自的物理坐标数据，从N个候选连通域中筛选得到M个连通域，并确定M个连通域各自对应的中心点坐标数据；若N等于M，将N个候选连通域确定为M个连通域，将N个候选连通域各自对应的中心点坐标数据确定为M个连通域各自对应的中心点坐标数据。

在本申请一实施例中，处理模块1510还用于，对N个候选连通域进行组合，得到P个待配准连通域集合，其中，每个待配准连通域集合均包含M个候选连通域；针对P个待配准连通域集合中的每个待配准连通域集合，将待配准连通域集合中的候选连通域各自的中心点坐标数据与M个定位贴片的物理坐标数据进行配准，生成待配准连通域集合的配准误差数据；

基于P个待配准连通域集合各自的配准误差数据，将最小的配准误差数据对应的待配准连通域集合中的候选连通域确定为M个连通域、以及将最小的配准误差数据对应的待配准连通域集合中的候选连通域各自的中心点坐标数据确定为M个连通域对应的中心点坐标数据。

在本申请一实施例中，处理模块1510还用于，基于定位贴片的体积连通域阈值，对粗分割数据进行过滤，得到S个候选连通域以及S个候选连通域各自对应的中心点坐标数据，其中，S为大于或等于N的正整数；

基于定位贴片的金属连通域阈值，对S个候选连通域进行过滤，得到N个候选连通域以及N个候选连通域各自对应的中心点坐标数据。

在本申请一实施例中，处理模块1510还用于，利用定位贴片粗分割模型处理所述三维医学图像，得到粗分割数据，其中，定位贴片粗分割模型的训练数据集包括P组包含定位贴片的三维医学样本图像、P组包含定位贴片的三维医学样本图像各自对应的定位贴片标注图像和导线标注图像、以及Q组不含定位贴片的三维医学样本图像。

在本申请一实施例中，处理模块1510还用于，获取W组包含定位贴片的三维医学样本图像以及W组包含定位贴片的三维医学样本图像各自对应的定位贴片掩膜图像，其中，W为小于P的正整数；基于W组包含定位贴片的三维医学样本图像和W组包含定位贴片的三维医学样本图像各自对应的定位贴片掩膜图像，得到W张定位贴片三维图像；对W张定位贴片三维图像进行图像扩增，得到S张定位贴片扩增图像，S为大于W的正整数；将S张定位贴片扩增图像中的R张定位贴片扩增图像与Q组不含定位贴片的三维医学样本图像中的每组不含定位贴片的三维医学样本图像进行组合，得到P组包含定位贴片的三维医学样本图像。

在本申请一实施例中，第一确定模块1520还用于，利用定位贴片精分割模型，基于M个连通域各自对应的中心点坐标数据以及三维医学图像，得到所述精分割数据；其中，定位贴片精分割模型的训练数据集的生成方法包括：基于预设的切块尺寸，以M个连通域各自对应的中心点坐标数据为切块中心，对三维医学样本图像和三维医学样本图像对应的定位贴片标注图像进行切块，得到三维医学样本切块图像和定位贴片切块图像；将三维医学样本切块图像和定位贴片切块图像作为定位贴片精分割模型的训练数据集。

在本申请一实施例中，图像关键点坐标数据包括凹槽点的图像坐标数据。

图16所示为本申请一示例性实施例提供的穿刺定位引导位置的结构示意图。如图16所示，本申请实施例提供的穿刺定位引导装置包括：

第三确定模块1610，用于基于第一方面所述的基于定位贴片的位置识别方法，确定穿刺针在穿刺对象的三维医学图像中的图像位置；

定位引导模块1620，用于基于穿刺针在所述穿刺对象的三维医学图像中的图像位置，对穿刺针进行定位引导。

下面，参考图17来描述根据本申请实施例的电子设备。图17所示为本申请一示例性实施例提供的电子设备的结构示意图。

如图17所示，电子设备170包括一个或多个处理器1701和存储器1702。

处理器1701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备170中的其他组件以执行期望的功能。

存储器1702可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1701可以运行所述程序指令，以实现上文所述的本申请的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如包括三维医学图像的粗分割数据、M个连通域各自对应的中心点坐标数据、M个定位贴片的精分割数据、M个定位贴片各自的图像关键点坐标数据等各种内容。

在一个示例中，电子设备170还可以包括：输入装置1703和输出装置1704，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置1703可以包括例如键盘、鼠标等等。

该输出装置1704可以向外部输出各种信息，包括三维医学图像的粗分割数据、M个连通域各自对应的中心点坐标数据、M个定位贴片的精分割数据、M个定位贴片各自的图像关键点坐标数据等。该输出装置1704可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图17中仅示出了该电子设备170中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备170还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

以上描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种基于定位贴片的位置识别方法，其特征在于，用于基于穿刺对象体表的M个定位贴片，确定穿刺针相对于所述穿刺对象的物理位置在所述穿刺对象的三维医学图像中的图像位置，M为正整数，

所述方法包括：

基于预设连通域阈值，对所述三维医学图像的粗分割数据进行连通域过滤处理，得到与所述M个定位贴片匹配的M个连通域以及所述M个连通域各自对应的中心点坐标数据，其中，所述粗分割数据包括针对所述M个定位贴片的分割数据；

基于所述M个连通域各自对应的中心点坐标数据以及所述三维医学图像，确定针对所述M个定位贴片的精分割数据，并基于所述精分割数据确定所述M个定位贴片各自的图像关键点坐标数据；

基于所述M个定位贴片各自的图像关键点坐标数据以及所述M个定位贴片各自的物理坐标数据，确定所述穿刺针在三维医学图像中的图像位置。

2.根据权利要求1所述的基于定位贴片的位置识别方法，其特征在于，所述基于预设连通域阈值，对所述三维医学图像的粗分割数据进行连通域过滤处理，得到与所述M个定位贴片匹配的M个连通域以及所述M个连通域各自对应的中心点坐标数据，包括：

基于所述预设连通域阈值，对所述粗分割数据进行所述连通域过滤处理，得到N个候选连通域以及所述N个候选连通域各自对应的中心点坐标数据，N为大于或等于M的正整数；

若N大于M，基于所述N个候选连通域各自对应的中心点坐标数据、以及所述M个定位贴片各自的物理坐标数据，从所述N个候选连通域中筛选得到所述M个连通域，并确定所述M个连通域各自对应的中心点坐标数据；

若N等于M，将所述N个候选连通域确定为所述M个连通域，将所述N个候选连通域各自对应的中心点坐标数据确定为所述M个连通域各自对应的中心点坐标数据。

3.根据权利要求2所述的基于定位贴片的位置识别方法，其特征在于，所述基于所述N个候选连通域各自对应的中心点坐标数据、以及所述M个定位贴片各自的物理坐标数据，从所述N个候选连通域中筛选得到所述M个连通域，并确定所述M个连通域各自对应的中心点坐标数据，包括：

对所述N个候选连通域进行组合，得到P个待配准连通域集合，其中，每个所述待配准连通域集合均包含M个候选连通域；

针对所述P个待配准连通域集合中的每个待配准连通域集合，将所述待配准连通域集合中的候选连通域各自的中心点坐标数据与所述M个定位贴片的物理坐标数据进行配准，生成所述待配准连通域集合的配准误差数据；

基于所述P个待配准连通域集合各自的配准误差数据，将最小的配准误差数据对应的待配准连通域集合中的候选连通域确定为所述M个连通域、以及将所述最小的配准误差数据对应的待配准连通域集合中的候选连通域各自的中心点坐标数据确定为所述M个连通域对应的中心点坐标数据。

4.根据权利要求2所述的基于定位贴片的位置识别方法，其特征在于，所述预设连通域阈值包括定位贴片的体积连通域阈值和定位贴片的金属连通域阈值，所述基于所述预设连通域阈值，对所述粗分割数据进行所述连通域过滤处理，得到N个候选连通域以及所述N个候选连通域各自对应的中心点坐标数据，包括：

基于所述定位贴片的体积连通域阈值，对所述粗分割数据进行过滤，得到S个候选连通域以及所述S个候选连通域各自对应的中心点坐标数据，其中，S为大于或等于N的正整数；

基于所述定位贴片的金属连通域阈值，对所述S个候选连通域进行过滤，得到所述N个候选连通域以及所述N个候选连通域各自对应的中心点坐标数据。

5.根据权利要求1至4任一项所述的基于定位贴片的位置识别方法，其特征在于，在所述基于预设连通域阈值，对所述三维医学图像的粗分割数据进行连通域过滤处理之前，还包括：

利用定位贴片粗分割模型处理所述三维医学图像，得到所述粗分割数据，其中，所述定位贴片粗分割模型的训练数据集包括P组包含定位贴片的三维医学样本图像、所述P组包含定位贴片的三维医学样本图像各自对应的定位贴片标注图像和导线标注图像、以及Q组不含定位贴片的三维医学样本图像。

6.根据权利要求5所述的基于定位贴片的位置识别方法，其特征在于，所述P组包含定位贴片的三维医学样本图像的生成方法包括：

获取W组包含定位贴片的三维医学样本图像以及所述W组包含定位贴片的三维医学样本图像各自对应的定位贴片掩膜图像，其中，W为小于P的正整数；

基于所述W组包含定位贴片的三维医学样本图像和W组包含定位贴片的三维医学样本图像各自对应的定位贴片掩膜图像，得到W张定位贴片三维图像；

对所述W张定位贴片三维图像进行图像扩增，得到S张定位贴片扩增图像，S为大于W的正整数；

将所述S张定位贴片扩增图像中的R张定位贴片扩增图像与所述Q组不含定位贴片的三维医学样本图像中的每组所述不含定位贴片的三维医学样本图像进行组合，得到所述P组包含定位贴片的三维医学样本图像。

7.根据权利要求1至4任一项所述的基于定位贴片的位置识别方法，其特征在于，所述基于所述M个连通域各自对应的中心点坐标数据以及所述三维医学图像，确定针对所述M个定位贴片的精分割数据，包括：

利用定位贴片精分割模型，基于所述M个连通域各自对应的中心点坐标数据以及所述三维医学图像，得到所述精分割数据；

其中，所述定位贴片精分割模型的训练数据集的生成方法包括：

基于预设的切块尺寸，以所述M个连通域各自对应的中心点坐标数据为切块中心，对所述三维医学样本图像和所述三维医学样本图像对应的定位贴片标注图像进行切块，得到三维医学样本切块图像和定位贴片切块图像；

将所述三维医学样本切块图像和所述定位贴片切块图像作为所述定位贴片精分割模型的训练数据集。

8.根据权利要求1至4任一项所述的基于定位贴片的位置识别方法，其特征在于，所述图像关键点坐标数据包括凹槽点的图像坐标数据。

9.一种穿刺定位引导方法，其特征在于，包括：

基于权利要求1至8任一项所述的基于定位贴片的位置识别方法，确定穿刺针在穿刺对象的三维医学图像中的图像位置；

基于所述穿刺针在所述穿刺对象的三维医学图像中的图像位置，对所述穿刺针进行定位引导。

10.一种基于定位贴片的位置识别装置，其特征在于，用于基于穿刺对象体表的M个定位贴片，确定穿刺针相对于所述穿刺对象的物理位置在所述穿刺对象的三维医学图像中的图像位置，M为正整数，

所述装置包括：

处理模块，用于基于预设连通域阈值，对所述三维医学图像的粗分割数据进行连通域过滤处理，得到与所述M个定位贴片匹配的M个连通域以及所述M个连通域各自对应的中心点坐标数据，其中，所述粗分割数据包括针对所述M个定位贴片的分割数据；

第一确定模块，用于基于所述M个连通域各自对应的中心点坐标数据以及所述三维医学图像，确定针对所述M个定位贴片的精分割数据，并基于所述精分割数据确定所述M个定位贴片各自的图像关键点坐标数据；

第二确定模块，用于基于所述M个定位贴片各自的图像关键点坐标数据以及所述M个定位贴片各自的物理坐标数据，确定所述穿刺针在三维医学图像中的图像位置。

11.一种穿刺定位引导装置，其特征在于，包括：

第三确定模块，用于基于权利要求1至8任一项所述的基于定位贴片的位置识别方法，确定穿刺针在穿刺对象的三维医学图像中的图像位置；

定位引导模块，用于基于所述穿刺针在所述穿刺对象的三维医学图像中的图像位置，对所述穿刺针进行定位引导。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至9任一项所述的方法。

13.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至9任一项所述的方法。

Images