CN115830080B - 一种点云配准方法、装置、电子设备和存储介质 - Google Patents
一种点云配准方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115830080B CN115830080B CN202211329496.8A CN202211329496A CN115830080B CN 115830080 B CN115830080 B CN 115830080B CN 202211329496 A CN202211329496 A CN 202211329496A CN 115830080 B CN115830080 B CN 115830080B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- brain
- cloud data
- point
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 210000004556 brain Anatomy 0.000 claims abstract description 140
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 58
- 238000013519 translation Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 210000003625 skull Anatomy 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000002490 cerebral effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种点云配准方法，用于脑神经外科手术，所述方法包括：加载第一组脑部点云数据；加载第二组脑部点云数据；特征点提取以及特征点对比；通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标。本申请采用自动与手动相结合的配准方法，保证结构光相机拍摄的点云中存在与CT点云相似的少量局部特征就可以满足点云配准精度要求。
Description
技术领域
本发明涉及计算机视觉领域，具体而言，涉及一种点云配准方法、装置、电子设备和存储介质。
背景技术
随着医学领域的不断发展，医疗辅助机器人慢慢出现在人们的视野中，其中诞生了一种名为神经外科导航系统，是依靠医疗影像、计算机技术、空间定位技术来协助手术医生进行精准手术定位系统。
随着与点云相关的研究得到了极大程度的发展，在具体手术中需要把CT模型下的穿刺点坐标转换到相机坐标系，利用结构光相机拍摄的点云文件和CT模型的点云文件进行匹配，得到旋转矩阵，实现坐标系间的转换，从而也就得到相机坐标系下的穿刺点坐标。
为了达到精准配准，在实际手术中对医生、环境、设备以及灯光的要求都很高，万一出现突发情况，拍摄出来的点云与CT模型的点云将会存在很大区别，点云自动配准可能就达不到想要的精度。
发明内容
为了解决现有技术中自动点云配准依赖的是算法本身，对于外界的条件要求非常高，如果无法满足外部所需要的条件，就无法满足算法本身，也就无法达到精度要求的问题，本发明提供了一种点云配准方法，采用自动与手动相结合的配准方法，保证无论在什么环境下只要结构光相机拍摄的点云中存在与CT点云相似的少量局部特征就可以满足精度要求。
一种点云配准方法，用于脑神经外科手术，其改进之处在于，所述方法包括：
获取第一组脑部点云数据；
获取第二组脑部点云数据；
所述获取第一组脑部点云数据包括：通过第一算法获得第一点云数据，以及通过第二算法获得第二点云数据；
所述获取第二组脑部点云数据包括：通过第一算法获得第三点云数据，以及通过第二算法获得第四点云数据；
所述第二算法包括特征点提取以及特征点对比，所述特征点选自以下任一或其组合：眼角点、鼻尖点、鼻翼点、嘴角点、颅骨特征点和脑特征点；
通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标。
其中，所述通过第一算法获得第一点云数据包括：
获得脑部CT模型文件，通过第一算法进行所述脑部CT模型文件格式转换，由所述脑部CT模型文件stl格式转化为点云文件ply格式，获得第一点云数据；
所述通过第二算法获得第二点云数据包括：从所述第一点云数据中提取第一特征点，以建立第二点云数据。
其中，所述通过第一算法获得第三点云数据包括：
获取脑部图像信息，所述脑部图像信息为多组图像信息的平均值；
通过第一算法加载所述脑部图像信息，对所述脑部图像信息进行去除远距离冗余点操作，获得第三点云数据；
所述通过第二算法获得第四点云数据包括：从所述第三点云数据中提取第二特征点，以建立第四点云数据。
其中，所述第二算法包括：手动提取特征点，所述特征点由检测到与触敏显示器接触的区域获得；
所述区域包括：与触敏显示器接触的任意一点；
以检测与触敏显示器接触的第一点至第二点形成的直线作为对角线，所述对角线构成的矩形为所述区域；
以及由检测与触敏显示器接触的第一点至第二点的行程轨迹生成的封闭区域。
其中，所述方法还包括调整区域：
获得直角坐标系的旋转信息，所述旋转信息为沿坐标轴旋转的角度信息；
获得直角坐标系的平移信息，所述平移信息为从第一点至第二点形成的直线距离信息；
以及获得直角坐标系的缩放信息，所述缩放信息为所述区域n倍的放大倍数，n为大于零的自然数。
其中，所述第二算法包括：手动提取特征点，所述特征点由检测到与输入信号传输的区域获得；
所述区域包括：与输入信号对应的坐标位置；
检测与输入信号对应的第一点至第二点形成的直线作为对角线，以所述对角线构成的矩形为所述区域；
以及由检测与触敏显示器接触的第一点至第二点的行程轨迹生成的封闭区域。
其中，所述方法还包括区域调整：
获得直角坐标系的旋转信息，所述旋转信息为沿坐标轴旋转的角度信息；
获得直角坐标系的平移信息，所述平移为从第一点至第二点形成的直线距离；
以及获得直角坐标系的缩放信息，所述缩放信息为所述区域n倍的放大倍数，n为大于零的自然数。
其中，所述特征点对比包括：
获得所述第一特征点在正交视图上显示第一坐标位置信息，以及获得所述第二特征点在正交视图上显示第二坐标位置信息，以便将第一坐标位置信息和第二坐标位置信息进行对比；
获得所述第一特征点及其临近点在透视视图上显示第一图像信息，以及获得所述第二特征点及其临近点在透视视图上显示第二图像信息，以便将第一图像信息和第二图像信息进行对比；
若第一坐标位置信息和第二坐标位置信息一致，或者第一图像信息和第二图像信息一致，则确认第一特征点和第二特征点的选取；若不一致，则重新选取第一特征点和第二特征点。
其中，所述第一图像信息和第二图像信息一致包括：几何表面成像一致。
其中，通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系，并采用位置转换关系进行图像配准，获得旋转矩阵，包括：
对选择的第一组脑部点云数据与第二组脑部点云数据分别计算第一组脑部点云特征描述子和第二组脑部点云特征描述子；
根据所述特征描述子，将所述第一组脑部点云特征描述子和第二组脑部点云特征描述子进行配对，生成特征点对；
根据所述特征点对生成旋转平移矩阵，并根据所述旋转平移矩阵对第一组脑部点云数据进行变换，以便生成粗配准的第一组脑部点云数据；
基于迭代最近点算法，对所述粗配准的第一组脑部点云数据进行精配准；获取配准结果。
优选的，本申请还涉及一种点云配准装置，其改进之处在于，所述装置包括：
第一点云获取模块，用于获取第一组脑部点云数据；
第二点云获取模块，用于获取第二组脑部点云数据；
图像配准模块，用于通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系，并采用位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标。
优选的，本申请还涉及一种电子设备，其改进之处在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一所述的方法步骤。
优选的，本申请还涉及一种计算机可读存储介质，其改进之处在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法步骤。
与现有技术相比，本发明的有益效果为：
1、使用自动与手动相结合的配准方法无论在什么环境下只要相机拍摄的点云中有很小的局部与CT点云相似就可以满足精度要求。
2、假设后期更换标记物或者标记物脱落也完全不影响手术进程，当前自动与手动相结合的配准方法通用一切标记物，不需要根据标记物的不同而更换算法本身。
3、医疗手臂是辅助医生的工具，而不是代替医生，采用自动与手动相结合的点云配准方法，医生更加可控，可以根据自己的经验行事。
4、由于采取了图形化界面进行操作，可以完全不用担心操作困难的问题，本申请采用人机交互，界面设计简单，功能齐全，操作十分便捷。
附图说明
图1，本申请涉及的点云配准算法示意图；
图2，本申请涉及的整体执行过程的流程图；
图3，本申请涉及的点云粗配准流程图；
图4，本申请涉及的点云精配准流程图；
图5，本申请涉及的人机互动界面。
具体实施方式
针对点云配准的精度要求，点云配准的方法和算法有很多，通过高效的算法是可以达到一定的精度，但对于手术中的实际情况，对医生、环境、设备以及灯光的要求都很高，如果拍摄出来的点云与CT模型点云差别很大，点云自动配准可能就达不到想要的精度。
目前在手术中为了精度高会选择一种容易识别的标记物放在病人的头上，这样有些自动点云配准算法就可以大大提高配准精度，但是一旦把标记物换了或者标记物遗落，这又会造成精度不准确的问题。
因此，如图1所示，本发明提出一种点云自动与手动结合的匹配方式，改进了以往只有自动匹配，且匹配难操作、且精度不够准确的问题。
为了更好地理解本申请，下面结合说明书附图和实例对本发明的内容做进一步的说明。
本申请一种点云配准方法，用于脑神经外科手术，方法包括：
获取第一组脑部点云数据，具体为，对源点云数据的加载。包括：通过第一算法获得第一点云数据，以及通过第二算法获得第二点云数据，具体为：通过自动算法从源点云数据中获得的第一点云数据，以及通过手动提取获得的第二点云数据。
所述获取第二组脑部点云数据，具体为：对目标点云数据的加载。包括：通过第一算法获得第三点云数据，以及通过第二算法获得第四点云数据，具体为，通过自动算法从目标点云数据中获得的第三点云数据，以及通过手动提取获得的第四点云数据。
所述第二算法包括特征点提取以及特征点对比，所述特征点选自以下任一或其组合：眼角点、鼻尖点、鼻翼点、嘴角点、颅骨特征点和脑特征点。手术中一般选择具有明显角点特征的点。
在其中一个实施例中，所述通过第一算法获得第一点云数据包括：
获得脑部CT模型文件，通过第一算法，即自动算法对所述脑部CT模型文件进行格式转换，由所述脑部CT模型文件stl格式转化为点云文件ply格式，获得第一点云数据；具体为加载脑部CT模型文件：通过组织分割得到相应的脑部CT模型文件，组织分割为神经外科导航系统提取脑部CT模型的一个模块。然后通过手动加载脑部CT模型文件。由于脑部CT模型文件是stl(STereoLithography,立体光刻)格式的，点云文件是ply(Polygon FileFormat，多边形文件)格式的，并且脑部CT模型文件大小是点云文件的1000倍，因此需要自动算法对脑部CT模型文件进行格式的转化和大小的处理。然后再进行去除NAN点和下采样滤波处理，从而获得第一点云数据。
去除NAN点，具体为：NAN(Not a Number)，即为非数，去除NAN点也就是清除无效的点云数据；
下采样滤波，具体为：由于设备精度、操作者经验、环境因素等带来的影响，在获取点云数据时，点云数据中将不可避免地出现一些噪声点，这便需要点云进行后处理，只有在滤波预处理中将噪声点、离群点、空洞等按照后续处理定制，才能更好地进行接下来的点云配准工作。
在其中一个实施例中，所述通过第二算法获得第二点云数据包括：从所述第一点云数据中提取第一特征点，以建立第二点云数据，具体为：从上述由自动算法对脑部CT模型进行处理后的第一点云数据中手动选取第一特征点，以建立第二点云数据。
在其中一个实施例中，所述通过第一算法获得第三点云数据包括：
获取脑部图像信息，所述脑部图像信息为多组图像信息的平均值；
通过第一算法，即自动算法加载所述脑部图像信息，对所述脑部图像信息进行去除远距离冗余点操作，获得第三点云数据，具体为加载脑部点云文件如下：脑部点云文件通过结构光相机进行拍照，得到多组照片选取三幅用于点云配准，为了缩小误差范围，选取三组进去配准得到三组数据求取平均值，拍好之后就可以加载脑部点云文件，由于拍摄出来的照片可能有远距离的场景拍摄进来，因此将对脑部点云文件进行去除远距离冗余点操作，即是去除远距离场景的点云数据，然后与上述处理脑部CT模型文件的步骤一样，同样还需再进行去除NAN点和下采样滤波处理，从而获得第三点云数据。
在其中一个实施例中，所述通过第二算法获得第四点云数据包括：从所述第三点云数据中提取第二特征点，以建立第四点云数据，具体为：从上述自动算法得到的第三点云数据中手动选取第二特征点，以建立第四点云数据。
本实施例涉及的第二算法，即为手动提取特征点。在本申请中，均使用显示屏实现人机交互，以实现手动提取功能。
在其中一个实施例中，特征点由检测到与触敏显示器接触的区域获得，具体为：使用触敏显示屏，在屏幕上直接选取特征点。
与触敏显示器接触的区域包括：
与触敏显示器接触的任意一点，即为通过触敏显示器输入点选信号，点选的最大优点是精度会更高；
以检测与触敏显示器接触的第一点至第二点形成的直线作为对角线，所述对角线构成的矩形为所述区域，即为框选，如果特征点不够明显的话，可以选择更多的点；
以及由检测与触敏显示器接触的第一点至第二点的行程轨迹生成的封闭区域，即为自由选取区域，选取方式更加灵活多样。
在其中一个实施例中，特征点由检测到与输入信号传输的区域获得，具体为，特征点提取还可通过其他辅助输入设备进行选取，包括但不限于鼠标、键盘、手柄。
与输入信号传输的区域包括：
与输入信号对应的坐标位置，即为输入点选信号，可提高选点精度；
检测与输入信号对应的第一点至第二点形成的直线作为对角线，以所述对角线构成的矩形为所述区域，即为框选，如果特征点不够明显的话，可以选择更多的点；
以及由检测与触敏显示器接触的第一点至第二点的行程轨迹生成的封闭区域，即为自由选取区域，选取方式更加灵活多样。
在本实施例中，上述手动选取特征点还包括调整区域：
获得直角坐标系的旋转信息，所述旋转信息为沿坐标轴旋转的角度信息，即为旋转视图。通过旋转视图，可以看到点云的各个角度。
获得直角坐标系的平移信息，所述平移信息为从第一点至第二点形成的直线距离信息，即为平移视图。通过平移，可以将点云视图从旋转视图变为平移视图，平移视图可以上下左右的移动点云，方便特征点选取。
以及获得直角坐标系的缩放信息，所述缩放信息为所述区域n倍的放大倍数，n为大于零的自然数，即为缩放视图。有时候为了找到对应的点，选取难度会加大，为了减小选取难度，可以在屏幕里放大点云视图。如果放大倍数n为大于1的自然数，则为放大视图；如果放大倍数n为小于1的自然数，则为缩小视图。
在本申请实施例中，还包括特征点对比，具体为，对上述手动选取得第一特征点以及第二特征点进行点云特征的对比，包括：
获得所述第一特征点在正交视图上显示第一坐标位置信息，以及获得所述第二特征点在正交视图上显示第二坐标位置信息，以便将第一坐标位置信息和第二坐标位置信息进行对比；具体为在正交视图上分别对比第一特征点以及第二特征点的位置信息，可以对比它们在正交视图中的坐标位置。
获得所述第一特征点及其临近点在透视视图上显示第一图像信息，以及获得所述第二特征点及其临近点在透视视图上显示第二图像信息，以便将第一图像信息和第二图像信息进行对比；具体为在透视视图上对比第一特征点以及第二特征点的图像信息，可以对比它们在透视视图显示图像的相似程度。
若第一坐标位置信息和第二坐标位置信息一致，或者第一图像信息和第二图像信息一致，则确认第一特征点和第二特征点的选取；若不一致，则重新选取第一特征点和第二特征点；具体为，如果在正交视图上两者显示的坐标位置差距大于预定范围，则重新选取特征点；若坐标差距在预定范围内，则确认特征点的选取。如果在透视视图上两者显示的图像信息一致，即几何表面成像的信息一致，则确认特征点的选取；若几何表面成像的信息不一致，则重新选取特征点。
通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标，具体为：
如图2所示，完成手动选取特征，即第一特征点以及第二特征点的选取后，进入点云数据的配准步骤：通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系进行图像配准，获得旋转矩阵，包括：
步骤1、对选择的第一组脑部点云数据与第二组脑部点云数据分别计算第一组脑部点云特征描述子和第二组脑部点云特征描述子，具体为提取特征，对选择的源点云数据和目标点云数据的所有提取的特征点分别计算其特征描述子，包括：
计算表面法线和选取快速点特征信息(FPFH)，其中计算表面法线方式如下：
步骤1-1、计算表面法线：表面法线是几何体表面的重要属性，对于一个已知的几何体表面，根据垂直于点表面的矢量，因此推断表面某一点的法线方向。在本申请中采用直接从点云数据中近似推断表面法线，即：已知点云数据，在其中的每个点处直接近似计算表面法线。
确定脑部表面任意一点法线的问题近似于估计脑部表面的一个相切面法线的问题，因此可以由最小二乘法平面拟合完成，包括：从脑部任意一点的近邻元素中创建协方差矩阵，具体为，对于脑部的任意一点，即采样点Pi,其对应的协方差矩阵C，如下式所示：
此处，k是点Pi邻近点的数目；表示最近邻元素的三维质心；λj是协方差矩阵的第j个特征值；/>是第j个特征向量。
步骤1-2、选取快速点特征信息FPFH包括：
基于任意一点Pi与其邻域点之间的关系以及它们的表面法线特征，捕获脑部表面变化情况，以描述脑部的几何特征。对于任意一点Pi和其邻域点，分别根据与每一个邻域点构建局部坐标系，得到与每一个邻域点的四元组，经过统计得到简化的点特征直方图(SPFH)。然后分别以其邻域点作为目标点计算法向量、构建局部坐标系，得到以任意一点Pi和其邻域点为目标点的SPFH(Pk)，最终得到点Pi的FPFH特征计算公式为：
式中，以点Pi和其邻近点Pk之间的距离作为权重wk。
基于步骤1已经分别得到从源点云数据和目标点云数据中获得的两组特征向量，在此基础上，如图3所述，进入步骤2，进行粗配准。
步骤2、根据特征描述子，将所述第一组脑部点云特征描述子和第二组脑部点云特征描述子进行配对，生成特征点对，具体为：结合特征描述子在源点云数据和目标点云数据的坐标，以两者之间特征和位置的相似度为基础，估算它们的对应关系，将源点云数据和目标点云数据的特征描述子进行配对，生成特征点对；
同时，根据特征点对生成旋转平移矩阵，并根据旋转平移矩阵对第一组脑部点云数据，即对源点云数据进行变换，以生成粗配准的源点云数据。
具体为，对应关系估计采用：采样一致性初始配准算法，算法如下：
步骤2-1、从待配准的源点云数据X中选取i个采样点，为了尽量保证所采样的点具有不同的FPFH特征，采样点两两之间的距离应满足大于预先给定最小距离阈值d。
步骤2-2、在目标点云B中查找与待配准的源点云数据X中采样点具有相似FPFH特征的一个或多个点，从这些相似点中随机选取一个点作为待配准的源点云数据X在目标点云B中的一一对应点，并生成对应点集。
步骤2-3、计算对应点之间刚体变换矩阵,然后通过求解对应点变换后的距离误差和函数来判断当前配准变换的性能。此处的距离误差和函数多使用Huber惩罚函数表示，记为其中：
式中：ml为一预先给定值，lt为第t组对应点变换之后的距离差。上述配准的最终目的是在所有变换中找到一组最优的变换，使得误差函数的值最小。通过此时的配准变换矩阵，即实现了第一组脑部点云坐标系向第二组脑部点云坐标系的矩阵转换。
采样一致性初始配准算法得到的变换矩阵不精确，所以它一般仅用于粗配准。
完成步骤2后，由于噪声的影响，并不是所有估计的对应关系都是正确的。由于错误的对应关系对于最终的刚体变换矩阵的估算会产生负面的影响，所以必须去除错误的对应关系。
步骤3，基于迭代最近点算法，对所述粗配准的第一组脑部点云数据进行精配准，具体为：对应关系去除ICP(Iterative Closest Point)精配准，如图4所述，精配准算法如下:
步骤3-1、将初始配准后的源点云数据X’和目标点云数据B作为精配准的初始点云；
步骤3-2、对初始配准后的源点云数据中的每一点Xi’，在目标点云数据B中寻找距离最近的对应点Bi，作为该点在目标点云中的对应点，组成对应点对；
步骤3-3、采用方向向量阈值剔除错误的对应点对。
在上述步骤3中剔除错误对应关系后，最终只保留一定比例的对应关系，不仅可以提高配准速度，同时也为步骤4提高变换矩阵的估算精度。
步骤4、获取配准结果，具体为：
步骤4、利用剩余的正确对应关系来估算刚体变换，完成配准，即是计算实际的转换关系，得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标，即是获得手术中穿刺点坐标：
步骤4-1、构造转换矩阵：计算旋转矩阵R和平移向量t，使对应点集之间的均方误差最小；
步骤4-2、确定目标函数：
其中：Np：迭代次数，其中p是大于0的整数；
步骤4-3、判断收敛：设定某一阈值ε和最大迭代次数Nmax,将上一步得到的刚体变换作用于初始配准后的源点云数据X’，得到新点云数据X”，计算新点云数据X”和目标点云数据B的距离误差，如果两次迭代的误差小于阈值ε或者当前迭代次数大于Nmax，则迭代结束；否则将初始配准的点集更新为新点云数据X”和目标点云数据B，继续重复上述步骤，直至满足收敛条件。
步骤4-4、得到最终的转换矩阵下的转换坐标。
本实施例还提供了一种图像配准装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例还涉及一种点云配准装置，该装置包括：
第一点云获取模块，用于获取第一组脑部点云数据；
第二点云获取模块，用于获取第二组脑部点云数据；
图像配准模块，用于通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标。
本申请实施例图像配准方法可以由电子设备来实现，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述方法步骤。
本实施例还涉及一种计算机可读存储介质，其改进之处在于，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请涉及的点云配准方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
Claims (10)
1.一种点云配准方法，用于脑神经外科手术，其特征在于，所述方法包括：
获取第一组脑部点云数据；
获取第二组脑部点云数据；
所述获取第一组脑部点云数据包括：通过第一算法获得第一点云数据，以及通过第二算法获得第二点云数据；
所述获取第二组脑部点云数据包括：通过第一算法获得第三点云数据，以及通过第二算法获得第四点云数据；
所述第二算法包括特征点提取以及特征点对比，所述特征点选自以下任一或其组合：眼角点、鼻尖点、鼻翼点、嘴角点、颅骨特征点和脑特征点；
通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标；
所述通过第二算法获得第二点云数据包括：从所述第一点云数据中提取第一特征点，以建立第二点云数据；
所述通过第二算法获得第四点云数据包括：从所述第三点云数据中提取第二特征点，以建立第四点云数据；
所述第二算法包括：手动提取特征点，所述特征点由检测到与触敏显示器接触的区域获得；
所述区域包括：与触敏显示器接触的任意一点；
以检测与触敏显示器接触的第一点至第二点形成的直线作为对角线，所述对角线构成的矩形为所述区域；
以及由检测与触敏显示器接触的第一点至第二点的行程轨迹生成的封闭区域；
所述方法还包括调整区域：
获得直角坐标系的旋转信息，所述旋转信息为沿坐标轴旋转的角度信息；
获得直角坐标系的平移信息，所述平移信息为从第一点至第二点形成的直线距离信息；
以及获得直角坐标系的缩放信息，所述缩放信息为所述区域n倍的放大倍数，n为大于零的自然数；
所述特征点对比包括：
获得所述第一特征点在正交视图上显示第一坐标位置信息，以及获得所述第二特征点在正交视图上显示第二坐标位置信息，以便将第一坐标位置信息和第二坐标位置信息进行对比；
获得所述第一特征点及其临近点在透视视图上显示第一图像信息，以及获得所述第二特征点及其临近点在透视视图上显示第二图像信息，以便将第一图像信息和第二图像信息进行对比；
若第一坐标位置信息和第二坐标位置信息一致，或者第一图像信息和第二图像信息一致，则确认第一特征点和第二特征点的选取；若不一致，则重新选取第一特征点和第二特征点。
2.如权利要求1所述的点云配准方法，其特征在于，
所述通过第一算法获得第一点云数据包括：
获得脑部CT模型文件，通过第一算法进行所述脑部CT模型文件格式转换，由所述脑部CT模型文件stl格式转化为点云文件ply格式，获得第一点云数据。
3.如权利要求1所述的点云配准方法，其特征在于，
所述通过第一算法获得第三点云数据包括：
获取脑部图像信息，所述脑部图像信息为多组图像信息的平均值；
通过第一算法加载所述脑部图像信息，对所述脑部图像信息进行去除远距离冗余点操作，获得第三点云数据。
4.如权利要求1所述的点云配准方法，其特征在于，
所述第二算法包括：手动提取特征点，所述特征点由检测到与输入信号传输的区域获得；
所述区域包括：与输入信号对应的坐标位置；
检测与输入信号对应的第一点至第二点形成的直线作为对角线，以所述对角线构成的矩形为所述区域；
以及由检测与输入信号传输的第一点至第二点的行程轨迹生成的封闭区域。
5.如权利要求4所述的点云配准方法，其特征在于，所述方法还包括区域调整：
获得直角坐标系的旋转信息，所述旋转信息为沿坐标轴旋转的角度信息；
获得直角坐标系的平移信息，所述平移为从第一点至第二点形成的直线距离；
以及获得直角坐标系的缩放信息，所述缩放信息为所述区域n倍的放大倍数，n为大于零的自然数。
6.如权利要求1所述的点云配准方法，其特征在于：所述第一图像信息和第二图像信息一致包括：几何表面成像一致。
7.如权利要求1所述的点云配准方法，其特征在于：通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系，并采用位置转换关系进行图像配准，获得旋转矩阵，包括：
对选择的第一组脑部点云数据与第二组脑部点云数据分别计算第一组脑部点云特征描述子和第二组脑部点云特征描述子；
根据所述特征描述子，将所述第一组脑部点云特征描述子和第二组脑部点云特征描述子进行配对，生成特征点对；
根据所述特征点对生成旋转平移矩阵，并根据所述旋转平移矩阵对第一组脑部点云数据进行变换，以便生成粗配准的第一组脑部点云数据；
基于迭代最近点算法，对所述粗配准的第一组脑部点云数据进行精配准；获取配准结果。
8.一种点云配准装置，其特征在于，所述装置用于实现权利要求1-7任一所述的点云配准方法，包括：
第一点云获取模块，用于获取第一组脑部点云数据；
第二点云获取模块，用于获取第二组脑部点云数据；
图像配准模块，用于通过第一组脑部点云数据与第二组脑部点云数据的位置转换关系，并采用位置转换关系进行图像配准，获得旋转矩阵，以便将第一组脑部点云坐标系向第二组脑部点云坐标系转换，进而得到第一组脑部点云数据在第二组脑部点云数据坐标系下的转换坐标。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211329496.8A CN115830080B (zh) | 2022-10-27 | 2022-10-27 | 一种点云配准方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211329496.8A CN115830080B (zh) | 2022-10-27 | 2022-10-27 | 一种点云配准方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830080A CN115830080A (zh) | 2023-03-21 |
| CN115830080B true CN115830080B (zh) | 2024-05-03 |
Family
ID=85525614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211329496.8A Active CN115830080B (zh) | 2022-10-27 | 2022-10-27 | 一种点云配准方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830080B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN107220928A (zh) * | 2017-05-31 | 2017-09-29 | 中国工程物理研究院应用电子学研究所 | 一种牙齿ct图像像素数据转化至3d打印数据的方法 |
| CN112132875A (zh) * | 2020-08-31 | 2020-12-25 | 青岛秀山移动测量有限公司 | 一种基于面特征的多平台点云匹配方法 |
| CN113284170A (zh) * | 2021-05-26 | 2021-08-20 | 北京智机科技有限公司 | 一种点云快速配准方法 |
| CN113344992A (zh) * | 2021-05-31 | 2021-09-03 | 山东大学 | 一种全局点云配准方法、系统、存储介质及设备 |
| CN114792326A (zh) * | 2022-03-30 | 2022-07-26 | 河海大学 | 一种基于结构光的手术导航点云分割与配准方法 |
-
2022
- 2022-10-27 CN CN202211329496.8A patent/CN115830080B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN107220928A (zh) * | 2017-05-31 | 2017-09-29 | 中国工程物理研究院应用电子学研究所 | 一种牙齿ct图像像素数据转化至3d打印数据的方法 |
| CN112132875A (zh) * | 2020-08-31 | 2020-12-25 | 青岛秀山移动测量有限公司 | 一种基于面特征的多平台点云匹配方法 |
| CN113284170A (zh) * | 2021-05-26 | 2021-08-20 | 北京智机科技有限公司 | 一种点云快速配准方法 |
| CN113344992A (zh) * | 2021-05-31 | 2021-09-03 | 山东大学 | 一种全局点云配准方法、系统、存储介质及设备 |
| CN114792326A (zh) * | 2022-03-30 | 2022-07-26 | 河海大学 | 一种基于结构光的手术导航点云分割与配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘晓宇 等.Pro/ENGINEER野火版逆向工程设计专家精讲.中国铁道出版社,2014,(第一版),第113-114页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830080A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102013866B1 (ko) | 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치 | |
| JP5584441B2 (ja) | ボリュームデータ間の対応付け方法 | |
| JP5335280B2 (ja) | 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体 | |
| Khalifa et al. | State-of-the-art medical image registration methodologies: A survey | |
| EP3309749B1 (en) | Registration of a magnetic tracking system with an imaging device | |
| CN112382359B (zh) | 患者注册方法、装置、电子设备及计算机可读介质 | |
| Wang et al. | A review of deformation models in medical image registration | |
| CN114119549A (zh) | 一种多模态医学图像三维点云配准优化方法 | |
| CN109671505B (zh) | 一种用于医学诊疗辅助的头部三维数据处理方法 | |
| CN107240128B (zh) | 一种基于轮廓特征的x线片和彩色照片配准方法 | |
| KR20140126630A (ko) | 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치 | |
| CN111640143A (zh) | 一种基于PointNet的神经导航快速面配准方法及系统 | |
| CN111260765B (zh) | 一种显微手术术野的动态三维重建方法 | |
| CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及系统 | |
| CN115830080B (zh) | 一种点云配准方法、装置、电子设备和存储介质 | |
| Li et al. | Automatic generation of object shape models and their application to tomographic image segmentation | |
| CN116883471B (zh) | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 | |
| CN116612166A (zh) | 一种多模态影像的配准融合算法 | |
| Zhou et al. | Automatic segmentation of liver from CT scans with CCP–TSPM algorithm | |
| KR101732807B1 (ko) | 3차원 얼굴 비대칭 분석 장치 및 방법 | |
| CN115363754A (zh) | 提供用户指导以获得患者图像数据与手术跟踪系统之间的配准的技术 | |
| Qiao et al. | Research on standardized feature positioning technology of motion amplitude based on intelligent vision | |
| Khalifa et al. | State-of-the-Art Medical Image | |
| Bowden et al. | Anatomical registration and segmentation by warping template finite element models | |
| Khairunnisaa et al. | Facial-paralysis diagnostic system based on 3D reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |