CN115880469A - 一种表面点云数据与三维影像的配准方法 - Google Patents
一种表面点云数据与三维影像的配准方法 Download PDFInfo
- Publication number
- CN115880469A CN115880469A CN202310132310.8A CN202310132310A CN115880469A CN 115880469 A CN115880469 A CN 115880469A CN 202310132310 A CN202310132310 A CN 202310132310A CN 115880469 A CN115880469 A CN 115880469A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- surface point
- data
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种表面点云数据与三维影像的配准方法，包括步骤：分别获取目标物的三维影像和表面点云数据，对三维影像进行处理得到三角化模型数据；对三角化模型数据和表面点云数据进行分割提取得到每个分割区域的中心点，并进行配准；计算配准后表面点云数据中所有点到其在当前三角化模型数据中对应投影点之间的距离平均值，在该距离平均值小于等于设定阈值时认为三维影像与表面点云数据配准成功；在该距离平均值大于设定阈值时将表面点云数据中的点集与其在当前三角化模型数据中的投影点集进行最小二乘法匹配，据此更新当前三角化模型数据，重复该过程直至二者配准成功。本发明可快速完成表面点云数据与三维影像数据的配准，效率高，适应性强。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种表面点云数据与三维影像的配准方法。
背景技术
随着生物医学工程和计算机技术的发展，医学影像学为临床诊断提供了多模态的医学图像。在当今临床领域中，这些医学图像正扮演着越来越重要的角色，不仅应用于医疗诊断，还可用于手术计划的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果评价等各个方面。医学影像配准技术则是医学影像技术中的一个重要技术环节，其本质是通过寻找一种（或一系列）空间变换，使两幅图像的对应点到达空间位置或解剖结构上的完全一致，使得两个数据上的所有解剖点，或者至少是所有具有诊断意义的点都达到最佳匹配。
三维影像数据是医生进行病理判断的主要依据，具有影像数据完整、影像精度高、数据细节丰富的特点，是目前辅助导航机器人所常用的影像数据。 其三维影像一般在术前进行扫描获取，且扫描时不会有机器人系统相关标记加入，故为利用三维影像数据的细节优势，需将术前三维影像数据与术中影像数据进行配准，以建立术前影像数据与术中影像数据的映射关系，而术中常用的影像数据有C臂X射线机、超声图形、核磁图像、3D相机点云数据等。C臂X射线数据具有辐射性、超声图像数据精度较差、核磁图像获取效率较低且处理复杂，而3D相机点云数据有数据精度高，速度快、无辐射等特点，是一种安全、有效、快速的三维数据获取方法，但其仅能获取物体表面数据，与三维影像匹配存在困难。
因此，急需一种将点云数据与三维影像数据进行配准的方法。
发明内容
发明目的：本发明针对上述不足，提出一种表面点云数据与三维影像的配准方法，可快速完成表面点云数据与三维影像数据的配准。
技术方案：
一种表面点云数据与三维影像的配准方法，包括步骤：
分别获取目标物的三维影像和表面点云数据，对三维影像进行目标物表面三角化处理得到三角化模型数据；
对三角化模型数据和表面点云数据以相同规则进行分割并提取得到每个分割区域的中心点；
根据三角化模型数据和表面点云数据的分割区域及对应中心点对二者进行配准；
计算配准后表面点云数据中所有点到其在当前三角化模型数据中对应的投影点之间的距离平均值，并在该距离平均值小于等于设定阈值时，认为三维影像与表面点云数据配准成功；在该距离平均值大于设定阈值时，将表面点云数据中的点集与其在当前三角化模型数据中的投影点集进行最小二乘法匹配，并据此更新当前三角化模型数据，重复该过程直至三维影像与表面点云数据配准成功。
配准后表面点云数据中所有点到其在当前三角化模型数据中对应的投影点具体为：
取表面点云数据中任一点，以该点周围设定距离内的所有点拟合得到拟合平面，以拟合平面上经过该点的法向量构造投影线，则投影线与当前三角化模型数据的交点即为该点对应的投影点。
所述设定距离设为2.0mm。
所述配准具体为：
以三角化模型数据和表面点云数据中任一相对应分割区域的中心点为起点，以另一相对应分割区域的中心点为终点进行连线，以对应的连线方向分别作为三角化模型数据和表面点云数据的方向；
将其中任一对应分割区域的中心点重合，将三角化模型数据和表面点云数据的方向重合得到三角化模型数据和表面点云数据之间的变换关系。
选取三角化模型数据和表面点云数据中相隔最远的两个分割区域的中心点进行连线。
所述设定阈值为1*10-6mm。
所述目标物为脊椎，对三角化模型数据和表面点云数据以相同规则进行分割的分割规则为以脊柱各椎节作为分割区域。
所述三维影像采用CT设备进行扫描获取，所述表面点云数据采用3D相机进行扫描获取。
有益效果：本发明可快速完成表面点云数据与三维影像数据的配准，效率高，适应性强，在辅助手术机器人系统尤其是骨科辅助手术中具有广泛的应用场景。
附图说明
图1为本发明的表面点云数据与三维影像的配准方法的流程图；
图2为本发明具体实施例中CT影像的椎节三角化模型数据示意图；
图3为本发明具体实施例中椎节的表面点云数据；
图4为本发明具体实施例中CT影像的各椎节及中心点的框选示意图；
图5为本发明具体实施例中表面点云数据的各椎节及中心点的框选示意图；
图6为本发明具体实施例中CT影像和表面点云数据初步配准示意图；
图7为本发明具体实施例中计算投影点的示意图；
图8为本发明具体实施例中L1椎节的配准结果图。
实施方式
下面结合附图和具体实施例，进一步阐明本发明。
图1为本发明的表面点云与三维影像的配准方法的流程图，如图1所示，本发明的表面点云数据与三维影像的配准方法包括如下步骤：
（1）对术前采集的三维影像数据进行目标物表面三角化处理得到表面三角化模型数据，术中采集表面点云数据；
对采集到的原始三维影像数据进行表面等值面抽取而得到表面三角化模型数据，处理后的的三维影像数据的本质是由一系列三角形面片数据构成的表面三角化模型数据。
本发明的具体实施方式中，术前采用CT设备对患者病灶处进行扫描，得到患者病灶处的CT影像，患者病灶一般为患者脊椎，对CT影像中的脊椎表面CT值进行等值面抽取而得到椎节表面三角化模型数据，如图2所示；术中采用3D相机对患者病灶处进行扫描，得到患者病灶处的表面点云数据，如图3所示。
（2）对步骤（1）得到的表面三角化模型数据和表面点云数据进行分割，并分别选取分割区域的中心点；
本发明中，如图4所示，患者病灶为脊椎，医生根据经验值或设定规则框选出椎节表面三角化模型数据和表面点云数据中各椎节的范围，并标注对应的标签值，自动计算出框选区域的中心点。如图5所示，本发明具体实施例中，椎节表面三角化模型数据中三个椎节分别被框选出来，其标签值分别为L1、L2和L3，分别计算出每个框选区域内所有数据点的中心点，记作C1、C2、C2。对表面点云数据中相对应的三个椎节区域也进行框选，其标签值也为L1、L2和L3，计算得到对应的中心点为D1、D2、D3；
在本发明中，设定规则可以设置为在椎节表面三角化模型数据中框选每一椎节中上棘突及椎弓根即可。
本发明中，也可以通过神经网络模型训练得到分割模型对表面三角化模型数据和表面点云数据进行分割。
（3）将步骤（2）得到的表面三角化模型数据和表面点云数据的对应区域及其中心点进行初配准，得到变换后的表面三角化模型数据，将其作为当前表面三角化模型数据；
其中初配准具体为：
分别以表面三角化模型数据和表面点云数据中距离最远两分割区域的中心点进行连线，以连线上任一对应的中心点作为起始点，此时连线方向作为各自的方向，针对其中某一对应区域，将其对应中心点重合，将表面三角化模型数据和表面点云数据的方向重合得到表面三角化模型数据和表面点云数据该对应区域之间的初步变换关系，从而得到变换后的表面三角化模型数据；
在本发明中，也可以设置为以表面三角化模型数据和表面点云数据中任一相对应分割区域的中心点为起点，以另一相对应分割区域的中心点为终点进行连线。
本发明的具体实施例中，以脊椎图像为例，表面三角化模型数据中椎节L1的中心点为C1，脊椎方向为
，表面点云数据中椎节L1的中心点为D1，脊椎方向为/>
，则使点C1与D1重合，方向/>
与/>
重合，此时，表面三角化模型数据和表面点云数据中该对应区域的初配准完成，如图6所示。
（4）计算表面点云数据中各个点至当前表面三角化模型数据的投影点p i '，从而得到投影点集{p 1',p 2',…,p m '}；
其中，针对表面点云数据中某个点p i ，计算其至当前表面三角化模型数据的投影点p i '的计算方法为：
在表面点云数据中取某个点p i 设定距离范围内的所有点进行拟合得到平面plane i ，以经过点p i 的平面的法向量构造直线l i ，取直线l i 与当前表面三角化模型数据的交点即为投影点p i '，如图7所示，其中，黑色框内即为本发明具体实施例的设定距离范围。本发明中，设定距离可以设为2.0mm。
（5）计算表面点云数据中所有点与其对应的投影点之间的距离平均值作为匹配误差，判断其是否小于设定阈值，具体如下：
若匹配误差小于设定阈值，则配准成功，表面三角化模型数据和表面点云数据的配准完成，即三维影像数据与表面点云数据的配准完成，如图8为本发明具体实施例中L1椎节的配准结果图；若匹配误差大于设定阈值，则通过表面点云数据中所有点构成的点集与其对应的投影点集之间进行最小二乘法计算得到二者之间的当前变换关系，并利用当前变换关系对当前表面三角化模型数据做变换以更新当前表面三角化模型数据，返回步骤（4）继续操作直至满足上述设定阈值要求，配准完成。其中，设定阈值可设为1*10-6mm。
本发明可通过对三维影像进行表面三角化处理，提取出锥节表面的三角化数据模型，将数据较为复杂的三维透视影像转化为表面三角化数据模型，将表面三角化模型数据与表面点云数据进行配准实现快速完成将术中扫描的表面点云数据与术前三维影像数据进行配准。本发明效率高，适应性强，术中用3D影像采集数据对医生和患者不产生辐射，配准后即可在术前3D影像中对手术进行规划，在骨科辅助手术机器人系统中具有广泛的应用场景。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换（如数量、形状、位置等），这些等同变换均属于本发明的保护范围。
Claims (8)
1.一种表面点云数据与三维影像的配准方法，其特征在于：包括步骤：
分别获取目标物的三维影像和表面点云数据，对三维影像进行目标物表面三角化处理得到三角化模型数据；
对三角化模型数据和表面点云数据以相同规则进行分割并提取得到每个分割区域的中心点；
根据三角化模型数据和表面点云数据的分割区域及对应中心点对二者进行配准；
计算配准后表面点云数据中所有点到其在当前三角化模型数据中对应的投影点之间的距离平均值，并在该距离平均值小于等于设定阈值时，认为三维影像与表面点云数据配准成功；在该距离平均值大于设定阈值时，将表面点云数据中的点集与其在当前三角化模型数据中的投影点集进行最小二乘法匹配，并据此更新当前三角化模型数据，重复该过程直至三维影像与表面点云数据配准成功。
2.根据权利要求1所述的表面点云数据与三维影像的配准方法，其特征在于：配准后表面点云数据中所有点到其在当前三角化模型数据中对应的投影点具体为：
取表面点云数据中任一点，以该点周围设定距离内的所有点拟合得到拟合平面，以拟合平面上经过该点的法向量构造投影线，则投影线与当前三角化模型数据的交点即为该点对应的投影点。
3.根据权利要求2所述的表面点云数据与三维影像的配准方法，其特征在于：所述设定距离设为2.0mm。
4.根据权利要求1所述的表面点云数据与三维影像的配准方法，其特征在于：所述配准具体为：
以三角化模型数据和表面点云数据中任一相对应分割区域的中心点为起点，以另一相对应分割区域的中心点为终点进行连线，以对应的连线方向分别作为三角化模型数据和表面点云数据的方向；
将其中任一对应分割区域的中心点重合，将三角化模型数据和表面点云数据的方向重合得到三角化模型数据和表面点云数据之间的变换关系。
5.根据权利要求4所述的表面点云数据与三维影像的配准方法，其特征在于：选取三角化模型数据和表面点云数据中相隔最远的两个分割区域的中心点进行连线。
6.根据权利要求1所述的表面点云数据与三维影像的配准方法，其特征在于：所述设定阈值为1*10-6mm。
7.根据权利要求1所述的表面点云数据与三维影像的配准方法，其特征在于：所述目标物为脊椎，对三角化模型数据和表面点云数据以相同规则进行分割的分割规则为以脊柱各椎节作为分割区域。
8.根据权利要求1所述的表面点云数据与三维影像的配准方法，其特征在于：所述三维影像采用CT设备进行扫描获取，所述表面点云数据采用3D相机进行扫描获取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310132310.8A CN115880469B (zh) | 2023-02-20 | 2023-02-20 | 一种表面点云数据与三维影像的配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310132310.8A CN115880469B (zh) | 2023-02-20 | 2023-02-20 | 一种表面点云数据与三维影像的配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880469A true CN115880469A (zh) | 2023-03-31 |
| CN115880469B CN115880469B (zh) | 2023-05-09 |
Family
ID=85761286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310132310.8A Active CN115880469B (zh) | 2023-02-20 | 2023-02-20 | 一种表面点云数据与三维影像的配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880469B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170323443A1 (en) * | 2015-01-20 | 2017-11-09 | Indian Institute Of Technology, Bombay | Systems and methods for obtaining 3-d images from x-ray information |
| CN110010249A (zh) * | 2019-03-29 | 2019-07-12 | 北京航空航天大学 | 基于视频叠加的增强现实手术导航方法、系统及电子设备 |
| CN111127527A (zh) * | 2019-12-06 | 2020-05-08 | 广州柏视医疗科技有限公司 | 基于ct影像骨骼配准实现肺结节自适应匹配的方法与装置 |
| CN112472293A (zh) * | 2020-12-15 | 2021-03-12 | 山东威高医疗科技有限公司 | 一种术前三维影像与术中透视图像的配准方法 |
| CN113870329A (zh) * | 2021-09-30 | 2021-12-31 | 上海寻是科技有限公司 | 一种用于手术导航的医学影像配准系统及方法 |
| CN114792326A (zh) * | 2022-03-30 | 2022-07-26 | 河海大学 | 一种基于结构光的手术导航点云分割与配准方法 |
| WO2022160384A1 (zh) * | 2021-01-26 | 2022-08-04 | 浙江大学 | 图像引导机器人微创外科手术的物理空间与图像空间配准方法 |
-
2023
- 2023-02-20 CN CN202310132310.8A patent/CN115880469B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170323443A1 (en) * | 2015-01-20 | 2017-11-09 | Indian Institute Of Technology, Bombay | Systems and methods for obtaining 3-d images from x-ray information |
| CN110010249A (zh) * | 2019-03-29 | 2019-07-12 | 北京航空航天大学 | 基于视频叠加的增强现实手术导航方法、系统及电子设备 |
| CN111127527A (zh) * | 2019-12-06 | 2020-05-08 | 广州柏视医疗科技有限公司 | 基于ct影像骨骼配准实现肺结节自适应匹配的方法与装置 |
| CN112472293A (zh) * | 2020-12-15 | 2021-03-12 | 山东威高医疗科技有限公司 | 一种术前三维影像与术中透视图像的配准方法 |
| WO2022160384A1 (zh) * | 2021-01-26 | 2022-08-04 | 浙江大学 | 图像引导机器人微创外科手术的物理空间与图像空间配准方法 |
| CN113870329A (zh) * | 2021-09-30 | 2021-12-31 | 上海寻是科技有限公司 | 一种用于手术导航的医学影像配准系统及方法 |
| CN114792326A (zh) * | 2022-03-30 | 2022-07-26 | 河海大学 | 一种基于结构光的手术导航点云分割与配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880469B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11605185B2 (en) | System and method for generating partial surface from volumetric data for registration to surface topology image data | |
| CN110946654B (zh) | 一种基于多模影像融合的骨科手术导航系统 | |
| CN110956633A (zh) | 一种基于虚拟立体定位像的快速ct扫描方法及系统 | |
| CN109166177A (zh) | 一种颅颌面外科手术的术中导航方法 | |
| KR101767005B1 (ko) | 표면정합을 이용한 영상정합방법 및 영상정합장치 | |
| WO2021046455A1 (en) | Fast and automatic pose estimation using intraoperatively located fiducials and single-view fluoroscopy | |
| US20170270678A1 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN116883471B (zh) | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 | |
| TW202333628A (zh) | 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統 | |
| CN110752029B (zh) | 一种病灶的定位方法及装置 | |
| CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及系统 | |
| CN106875376B (zh) | 腰椎配准先验模型的构建方法以及腰椎配准方法 | |
| JP2024504867A (ja) | 断層撮影スキャンの画像ベースの計画 | |
| CN113570648B (zh) | 多骨骼影像配准方法、电子装置以及医学导航系统 | |
| CN109350059B (zh) | 用于肘部自动对准的组合的转向引擎和界标引擎 | |
| CN114463482A (zh) | 光学跟踪三维扫描仪的标定模型、方法及其手术导航系统 | |
| CN115880469B (zh) | 一种表面点云数据与三维影像的配准方法 | |
| Zhang et al. | SIFT algorithm-based 3D pose estimation of femur | |
| CN112085698A (zh) | 左右乳腺超声图像自动分析方法及装置 | |
| CN113313766B (zh) | 机器人及其位姿计算方法、位姿计算装置 | |
| Lin et al. | Optimization model for the distribution of fiducial markers in liver intervention | |
| CN114612536B (zh) | 对象三维模型的识别方法、装置、设备及可读存储介质 | |
| EP3800617B1 (en) | A computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an artificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image | |
| US11430203B2 (en) | Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image | |
| Çallar et al. | Efficient Body Registration Using Single-View Range Imaging and Generic Shape Templates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |