CN113744328A

CN113744328A - 医学图像标记点识别方法、装置、电子设备及存储介质

Info

Publication number: CN113744328A
Application number: CN202111303488.1A
Authority: CN
Inventors: 王迎智; 董先公; 高倩
Original assignee: Jixian Artificial Intelligence Co Ltd
Current assignee: Jixian Artificial Intelligence Co Ltd
Priority date: 2021-11-05
Filing date: 2021-11-05
Publication date: 2021-12-03
Anticipated expiration: 2041-11-05
Also published as: WO2023078169A1; CN113744328B

Abstract

本发明实施例提供了一种医学图像标记点识别方法，包括：读取三维医学图像；从三维医学图像中确定候选连通域；以候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与边缘的相似程度；若相似程度小于第二预设阈值的候选连通域识别为标记点。

Description

医学图像标记点识别方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及种植牙技术领域，尤其涉及一种医学图像标记点识别方法、装置、电子设备及存储介质。

背景技术

在种植牙手术前，首先获取患者佩戴口腔定位器情况下拍摄的三维医学图像，其中口腔定位器上设有多个定位球，然后识别定位球在三维医学图像中的影像并确定为标记点，再确定标记点与定位球的对应关系，进而确定三维医学图像坐标系和口腔定位器坐标系之间的转换关系。

然而，现有技术在识别标记点过程中经常出现类球体异物（如阈值分割后的牙齿、牙冠、种植体等）无法准确识别的问题，如将牙齿等物体在三维医学图像中的影像识别为定位球。

发明内容

本发明实施例提供一种医学图像标记点识别方法、装置、电子设备及存储介质，用以解决在识别标记点过程中经常出现将牙齿等物体在三维医学图像中的影像识别为定位球的技术问题。

一方面，本发明实施例提供了一种医学图像标记点识别方法，包括：

读取三维医学图像；

从所述三维医学图像中确定候选连通域；

以所述候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与所述边缘的相似程度；

若所述相似程度小于第二预设阈值则将所述候选连通域识别为标记点。

可选地，以所述候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与所述边缘的相似程度，包括：

沿x轴方向、y轴方向和z轴方向中的至少一个方向上选取至少一个所述截面，每个所述截面上包括一个所述边缘；其中，所述x轴、y轴、z轴相互垂直。

可选地，所述截面包括至少一个垂直于x轴的截面、至少一个垂直于y轴的截面和至少一个垂直于z轴的截面。

可选地，所述截面经过所述候选连通域的空间中心，所述候选连通域的空间中心为所述候选连通域中的像素点坐标的坐标中心。

可选地，所述截面包括垂直与x轴、y轴或z轴的至少三个截面。

可选地，以所述候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与所述边缘的相似程度，还包括：

在所述截面上选取识别区域；所述识别区域包含所述候选连通域的所述边缘；

在所述识别区域内获取所述边缘。

可选地，所述在所述截面上选取识别区域，包括：

针对所述截面，选取以F为中心，以

为边长的正方形区域作为识别区域；

其中，F为所述候选连通域的空间中心在所述截面上的投影点，∅A为所述标记点的直径，slice为所述三维医学图像的层间距。

可选地，在所述识别区域内获取截面边缘，包括：

通过边缘提取算法在所述识别区域内获取所述边缘。

可选地，在所述通过边缘提取算法在所述识别区域内获取所述边缘之前，还包括：

根据第三预设阈值对所述识别区域内的图像进行二值化。

获取所述边缘上各像素点到所述拟合圆的最小距离，并将所述最小距离中小于等于像素误差t的值归零，得到最小距离集合；

所述相似程度为所述最小距离集合的均方根。

可选地，获取所述边缘上各像素点到所述拟合圆的最小距离，并将所述最小距离中小于等于像素误差t的值归零，得到最小距离集合，具体为：

其中，

为所述截面边缘上各像素点到所述拟合圆的最小距离，所述拟合圆的圆心为

，半径为r。

可选地，所述像素误差t为像素长度的

倍。

可选地，所述从所述三维医学图像中确定候选连通域包括：

获取初选连通域；其中，所述初选连通域为所述三维医学图像中连接在一起且CT值在第一预设范围内的多个像素点的集合；

获取所述初选连通域的空间中心到能量中心之间的距离；其中，所述初选连通域的空间中心为所述初选连通域中的像素点坐标的坐标中心；所述能量中心根据所述初选连通域像素点坐标和所述像素点的CT值计算获得；

将所述初选连通域的空间中心到所述能量中心之间的距离小于第一预设阈值的所述初选连通域确定为所述候选连通域。

可选地，所述初选连通域的空间中心的坐标为

，

，

，

，所述能量中心的坐标为

，

，

，

，n为所述候选连通域内像素点个数，

为下标为i的像素点的x轴坐标值，

为下标为i的像素点的y轴坐标值，

为下标为i的像素点的z轴坐标值，

为下标为i的像素点的CT值。

可选地，在所述根据所述初选连通域的空间中心到所述能量中心之间的距离从所述初选连通域中选取所述候选连通域之前，还包括：

剔除尺寸不在第二预设范围的所述初选连通域，其中第二预设范围根据所述标记点的尺寸确定。

可选地，在所述获取初选连通域之前，还包括：

根据第四预设阈值对所述三维医学图像进行二值化。

可选地，所述三维医学图像为锥形束电子计算机断层扫描图像，所述第一预设阈值大于等于所述锥形束电子计算机断层扫描图像层间距的两倍且小于等于所述标记点的半径。

可选地，所述第二预设阈值为

-2。

可选地，所述第一预设范围为3500Hu至6500Hu；

可选地，所述第三预设阈值为3500Hu-6500Hu；

可选地，所述第四预设阈值为3500Hu-6500Hu。

另一方面，本发明实施例提供了一种医学图像标记点识别装置，其特征在于，包括：

读取模块，用于读取三维医学图像；

确定模块，用于从所述三维医学图像中确定候选连通域；

计算模块，用于以所述候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与所述边缘的相似程度；

识别模块，用于将所述相似程度小于第二预设阈值的所述候选连通域识别为标记点。

再一方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上任一项所述的医学图像识别点识别方法的步骤。

再一方面，本发明实施例提供了一种存储介质，所述存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的医学图像标记点识别方法的步骤。

本公开实施例提供的医学图像标记点识别方法，通过计算候选连通域截面边缘与拟合圆的相似程度可以将外形不是球体的异物排除，因此提高了标记点识别的准确性。

附图说明

图1为本发明实施例提供的一种医学图像标记点识别方法的步骤流程图；

图2为本发明实施例提供的一种医学图像标记点识别方法中三维医学图像二值化后的图像；

图3为本发明实施例提供的一种医学图像标记点识别方法中候选连通域的剖面示意图；

图4为本发明实施例提供的一种医学图像标记点识别方法中候选连通域的剖面提取边缘后的示意图；

图5为本发明实施例提供的一种医学图像标记点识别装置的结构框图；

图6为本发明实施例提供的电子设备的结构框图；

图7为本发明实施例提供的电子设备的一种硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的医学图像标记点识别方法进行详细说明。

如图1所示，本发明实施例提供的一种医学图像标记点识别方法具体可以包括如下步骤：

步骤S10：读取三维医学图像。

本发明实施例可以应用于种植牙手术前确定三维医学图像和口腔定位器的坐标系的转换关系的场景中。

种植牙手术前，通常需要患者拍摄口腔的三维医学图像，例如锥形束电子计算机扫描（Cone beam Computed Tomography，简称CBCT）图像，以获取待手术部位的位置及状态。为了实现种植牙机器人系统手术过程中的实时导航，从而使手机能够精准、高效的到达待手术部位，需要将三维医学图像的坐标系与口腔定位器坐标系匹配起来，然后将口腔定位器坐标系与手机运动坐标系匹配起来。

具体实现方法为，将设有定位球和红外反光球的口腔定位器佩戴在患者的牙齿上或者牙弓上，然后拍摄三维医学图像。定位球在三维医学图像中的影像称为标记点，通过识别标记点并确定标记点与定位球的一一对应关系，将三维医学图像坐标系与定位球确定的坐标系匹配起来。手术过程中，导航台车通过实时获取红外反光球的位置，将红外反光球确定的坐标系与手机运动坐标系匹配起来。由于定位球和红外反光球都设置在口腔定位器上，因此定位球和红外反光球之间的位置关系是确定的，也就是说定位球确定的坐标系与红外反光球确定的坐标系之间的匹配关系是确定的，从而实现了三维医学图像坐标系与手机运动坐标系的匹配。

其中，三维医学图像通过阵列的像素点显示图像信息，三维医学图像可以包括坐标系，例如笛卡尔坐标系，图像信息中的每个像素点都有相应的x轴坐标，y轴坐标和z轴坐标，并且每个像素点都有自己的CT值。

实际应用时，在获取三维医学图像后可以通过种植牙机器人系统中的计算机或电子设备读取三维医学图像。

步骤S20：从三维医学图像中确定候选连通域。

实际应用时，牙齿、定位球等物体均会在三维医学图像中成像，候选连通域是指与定位球的成像相同或相似的图像，即容易被识别为定位球的图像。先确定出候选连通域，再在候选连通域中识别出标记点，可以降低计算量，提高识别速度。

可选地，在本发明一实施例中，候选连通域可以通过如下方式获取：

步骤a1：获取初选连通域。

其中，初选连通域为三维医学图像中连接在一起且CT值在第一预设范围内的多个像素点的集合，示例性地，第一预设范围可以为3500Hu至6500Hu。定位球可以是密度均匀的球体，例如钛球，因此定位球在三维医学图像中的影像必定是连接在一起且CT值相同或相似的多个像素的集合。通过确定初选连通域可以将明显不是定位球的图像排除，可以提高降低计算量，提高识别速度。

可选地，在本发明一实施例中，在确定初选连通域之前可以先根据第四预设阈值对三维医学图像进行二值化。如图2所示，二值化后三维医学图像中白色区域为初选连通域。二值化后可以进一步地降低运算量，提高标记点识别速度。

可选地，在本发明一实施例中，第四预设阈值可以为CT值，取值范围可以在3500Hu至6500Hu之间。可以保证标记点识别准确的情况下降低运算量，提高标记点识别速度。

步骤a2：获取初选连通域的空间中心到能量中心之间的距离。

初选连通域的空间中心为初选连通域中的像素点坐标的坐标中心，能量中心根据初选连通域像素点坐标和像素点的CT值计算获得。实际应用时，可以通过图像处理技术对三维医学图像进行处理获得初选连通域的空间中心和能量中心。具体处理细节可以参照相关技术，在此不再赘述。

示例性地，初选连通域的空间中心的坐标为

，

，

，

，所述能量中心的坐标为

，

，

，

，n为所述候选连通域内像素点个数，

为下标为i的像素点的x轴坐标值，

为下标为i的像素点的y轴坐标值，

为下标为i的像素点的z轴坐标值，

为下标为i的像素点的CT值。通过初选连通域像素点的坐标值和CT值计算初选连通域的空间中心和能量中心，使初选连通域的空间中心和能量中心的距离的计算更加方便。

可以理解的是，初选连通域的空间中心也可以通过其他方式获取，例如通过初选连通域的边缘计算获取初选连通域的几何重心，将初选连通域的几何重心作为初选连通域的空间中心。

步骤a3：将初选连通域的空间中心到能量中心之间的距离小于等于第一预设阈值的初选连通域确定为候选连通域。

定位球为密度均匀的球体，在三维医学图像中定位球的影像的空间中心也应该与其能量中心也应该重合或接近。因此通过判断初选连通域的空间中心和能量中心的距离可以判断初选连通域所代表的物体是否为密度均匀的物体。其中，第一预设阈值可以大于等于锥形束电子计算机断层扫描图像层间距的两倍且小于等于标记点的半径。

可选地，在本发明一实施例中，在步骤a3之前还可以包括：

剔除尺寸不在第二预设范围的初选连通域。

定位球在三维医学图像的影像所代表的尺寸应与实际定位球的尺寸相同或相似，因此初选连通域中尺寸明显大于或小于定位球尺寸的不是定位球的影像，需要排除，以降低运算量、提高标记点识别的准确性。其中第二预设范围根据标记点的尺寸确定。

步骤S30：以候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与边缘的相似程度。

在三维医学图像中，物体的影像为三维立体影像，因此候选连通域也为三维立体影像。选取截面剖切候选连通域后，候选连通域在截面的图像为二维剖面图像，对二维剖面图像的边缘进行圆形拟合，拟合出一个圆形，然后确定拟合出的圆形与二维剖面图像的边缘的相似程度。为方便计算可以采用笛卡尔坐标系选取截面，沿x轴方向、y轴方向和z轴方向中的至少一个方向上选取至少一个截面。为提高识别结果的准确性，可以选取多个截面并判断相似程度，多个截面的选取可以有多个方式，下面举例说明。

方式一：

选取三个垂直于x轴的平面，选取三个垂直于y轴的平面，选取三个垂直于z轴的平面。其中，三个平面中位于中间的平面经过候选连通域的空间中心，例如三个平面的x轴坐标可以为

、

、

，

为取整符号。

方式二：

选取一个垂直于x轴的平面，选取一个垂直于y轴的平面，选取一个垂直于z轴的平面。其中，三个平面均经过候选连通域的空间中心。

方式三：

选取三个垂直于x轴的平面，或选取三个垂直于y轴的平面，或选取三个垂直于z轴的平面。其中，三个平面中位于中间的平面经过候选连通域的空间中心，例如三个平面的x轴坐标可以为

、

、

。

得到二维剖面图像后，可以通过图像处理技术获取二维剖面图像的边缘。可选地，在本发明一实施例中，通过边缘提取算法提取边缘，使边缘的提取更加准确。如图4所示，为提取边缘后的图像。

由于二维剖面图像中除了包含候选连通域的剖面外还包含其他图像信息，因此直接提取候选连通域的剖面边缘计算量较大。在一些实施方式中，可以先在截面上选取识别区域（识别区域包含候选连通域的边缘），再在识别区域内获取边缘。这样可以降低计算量，提高识别速度。

可选地，在本发明一实施例中，可以针对截面，选取以F为中心，以

为边长的正方形区域作为识别区域。其中，F为候选连通域的空间中心在截面上的投影点，∅A为标记点的直径，slice为三维医学图像的层间距。

可选地，在本发明一实施例中，在通过边缘提取算法在识别区域内获取边缘之前，可以根据第三预设阈值对识别区域内的图像进行二值化。这样可以进一步降低计算量，提高识别速度。示例性地，第三预设阈值可以为CT值，取值范围可以为3500Hu-6500Hu。

提取边缘后，对边缘进行圆形拟合，并确定拟合圆与边缘的相似程度。

其中，圆形拟合的方法可以参照相关技术，在此不再赘述。相似程度可以通过边缘上的像素点距离拟合出的圆形的最小距离衡量。

可选地，在本发明一实施例中，可以获取边缘上各像素点到拟合圆的最小距离，并将最小距离中小于等于像素误差的值归零，得到最小距离集合，相似程度为最小距离集合的均方根。因为三维医学图像是通过多个阵列的像素点呈现的，而像素点自身具有一定的尺寸，所以通过三维医学图像计算的距离存在像素误差。将最小距离小于等于像素误差的值归零可以降低误差。每个像素中最大距离等于像素对角线长度，即为

倍的像素长度，因此像素误差可以取

倍的像素长度。

可选地，在本发明一实施例中，获取边缘上各像素点到拟合圆的最小距离，并将最小距离中小于等于像素误差t的值归零，得到最小距离集合，具体为：

其中，

为截面边缘上各像素点到拟合圆的最小距离，拟合圆的圆心为

，半径为r。

可选地，相似程度的计算公式可以为：

步骤S40：若相似程度小于第二预设阈值则将候选连通域识别为标记点。

定位球为球体，因此定位球在三维医学图像中的影像在各个方向上的截面形状也应该为圆形或近似圆形。通过判断边缘与拟合出的圆形的相似程度可以判断候选连通域代表的物体是否为球体。其中，第二预设阈值可以根据计算精度灵活选取。可选地，所述第二预设阈值为

-2，在一实施例中，将相似程度小于2的候选连通域识别为标记点；在另一实施例中，将相似程度小于

的候选连通域识别为标记点。

本发明实施例提供的三维医学图像标记点识别方法，通过计算候选连通的空间中心和能量中心的距离可以将密度不均匀的异物排除，通过计算候选连通域截面边缘与拟合圆的相似程度可以将外形不是球体的异物排除，因此提高了标记点识别的准确性。

另一方面，本发明实施例提供了一种医学图像标记点识别装置，如图5所示，医学图像标记点识别装置100可以包括如下模块：

读取模块110，用于读取三维医学图像；

确定模块120，用于从三维医学图像中确定候选连通域；

计算模块130，用于以候选连通域在至少一个截面的边缘进行圆形拟合，并确定拟合圆与边缘的相似程度；

识别模块140，用于将相似程度小于第二预设阈值的候选连通域识别为标记点。

本发明实施例提供的医学图像标记点识别装置100，通过计算候选连通域截面边缘与拟合圆的相似程度可以将外形不是球体的异物排除，因此提高了标记点识别的准确性。

本发明实施例中的医学图像标记点识别装置100可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本或者个人数字助理（personal digital assistant，PDA）等，非移动电子设备可以为服务器、网络附属存储器（Network Attached Storage，NAS）、个人计算机（personal computer，PC）、电视机（television，TV）、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例中的三维医学图像标记点识别装置100可以为具有操作系统的装置。该操作系统可以为安卓（Android）操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。

本发明实施例提供的三维医学图像标记点识别装置100能够实现图1中三维医学图像标记点识别方法实施例实现的各个过程，为避免重复，这里不再赘述。

图6本发明实施例提供的电子设备的结构框图。

如图6所示，本发明实施例还提供一种电子设备M00，包括处理器M01，存储器M02，存储在存储器M02上并可在所述处理器M01上运行的程序或指令，该程序或指令被处理器M01执行时实现上述医学图像标记点识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本发明实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本发明实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源（比如电池），电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本发明实施例中，输入单元1004可以包括图形处理器（GraphicsProcessing Unit，GPU）10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本发明实施例还提供一种存储介质，所述存储介质可以是可读存储介质，所述存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述医学图像标记点识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory， RAM）、磁碟或者光盘等。

本发明实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述转动量确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本发明实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。