CN114298986A

CN114298986A - 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统

Info

Publication number: CN114298986A
Application number: CN202111549864.5A
Authority: CN
Inventors: 周春琳; 黄强豪; 万梓威; 熊蓉
Original assignee: Binjiang Research Institute Of Zhejiang University
Current assignee: Binjiang Research Institute Of Zhejiang University
Priority date: 2021-12-17
Filing date: 2021-12-17
Publication date: 2022-04-08

Abstract

本发明公开了一种基于多视点无序X光片的胸腔骨骼三维构建方法，包括：S1通过利用X射线设备对胸腔进行扫描拍摄，获得初始图像组，所述初始图像组包括多个角度下扫描生成的X光片图像；S2初始图像组进行预处理，同时基于X射线设备的构建相机模型，确定相机内外参数；S3对X光片图像进行特征提取，并进行特征点匹配；S4利用运动恢复结构算法进行稀疏点云模型的构建；S5提取稀疏点云模型中的几何信息，构建获得稠密点云模型；S6通过后期处理，获得具有颜色、纹理和结构特点的胸腔骨骼三维模型。本发明还提供基于该构建方法的系统。该方法操作简单，只需提供一组病人的X光片图像，从而获得表面纹理清晰的胸腔骨骼三维模型。

Description

一种基于多视点无序X光片的胸腔骨骼三维构建方法及系统

技术领域

本发明涉及医学图像生成技术领域，尤其涉及一种基于多视点无序X光片的胸腔骨骼三维构建方法及系统。

背景技术

肿瘤疾病对人体健康产生了极大的威胁。随着医学技术的发展，具备创口小、疼痛轻、出血少等优点的肿瘤穿刺术已经逐渐成为肿瘤病患者最新的重要诊疗途径之一。然而医生在针对胸腔部位的肿瘤器官进行穿刺手术时，通常需要术前通过ct三维建图，以肋骨、肋间隙、体表标志线等作为参照点，结合医生意见选择进针点、规划进针路线，术中在医疗影像指导下进针。

但由于CT无法实时成图，所以无法实时监控病患术中胸腔因呼吸或意外抖动造成的组织和肋骨移动等，存在穿刺针定位出错、误触肋骨附近的密集神经等风险。

随着医学影像三维重建技术的不断发展，计算机辅助医疗在临床检查与治疗中应用越来越广泛。考虑到CT拍摄成像慢、对病患的辐射量大等缺点，尤其是在穿刺手术中，病患需要多次拍摄CT图像，会对病患造成一定的身体损害与劳累，所以具备可实时监测、辐射小、成本低等特点的X光检测就亟需应用与此。不可否认，实时X光片的解剖信息不足，尤其是软组织成像模糊，因此本发明针对X光片中成像清晰的胸腔骨骼进行三维重建，快速重建得到的胸腔骨骼三维模型可以保证穿刺针与所在肋间段上下肋骨间的距离可视，避免误触肋间神经的风险。

专利文献CN109223016A公开了一种CT成像方法及成像设备，包括：S1，利用X射线对成像物进行扫描，获取初始投影数据，初始投影数据包括至少一个成像几何参数的数据；S2，对至少一个成像几何参数进行参数采样后进行模拟CT投影，以获取一系列投影数据；S3，在一系列投影数据中寻找与初始投影数据最接近的两个投影数据；S4，通过差值算法计算获得至少一个成像几何参数的更新值；S5，基于更新值，进行图像重建，获得成像物的CT断层图像；S6，评价CT断层图像是否符合要求；若符合，输出结果；若不符合，回到步骤S2重复执行直至获得符合要求的CT断层图像。该技术方案仅仅使用与初始投影数据最接近的投影数据进行重建，没有重复利用多个视角下的投影数据，骨骼重建的精度不高，且需要考虑人体各个组织对放射衰减系数的不同。

专利文献CN104282039A公开了基于三维扫描的骨骼矫形支具塑性方法，包括利用三维扫描技术，准确获取人体部位表面点云数据，修正三维模型，在利用3D打印技术，分块多线打印，制作出矫形支具，最后拼接成像。但是该技术方法采用的三维扫描技术是对人体表面进行扫描，再结合X光数据，而非直接基于X光进行扫描，无法获取精准的骨骼重建模型。

发明内容

为了解决上述问题，本发明提供了一种基于多视点无序X光片的胸腔骨骼三维构建方法，该方法操作简单，只需提供一组病人的X光片图像，从而获得表面纹理清晰的胸腔骨骼三维模型；更进一步的，通过该胸腔骨骼三维模型进行模拟练习，从而避免在实际手术中误触肋间神经。

一种基于多视点无序X光片的胸腔骨骼三维构建方法，包括：

S1通过利用X射线设备对胸腔进行扫描拍摄，获得初始图像组，所述初始图像组包括多个角度下扫描生成的X光片图像；

S2初始图像组进行预处理，同时基于X射线设备构建相机模型，确定相机内外参数；

S3对X光片图像进行特征提取，并进行特征点匹配；

S4利用运动恢复结构算法进行稀疏点云模型的构建；

S5提取稀疏点云模型中的几何信息，构建获得稠密点云模型；

S6通过后期处理，获得具有颜色、纹理和结构特点的胸腔骨骼三维模型。

优选的，所述S1中基于病患变换正卧、垂直侧躺两个姿势进行扫描拍摄，至少每隔20°拍摄一次，并在多细节位置至少每隔15°拍摄一次。

优选的，所述S2中的预处理：对X光片图像进行高频调滤波和直方图均衡化，并对经过比特分解后的X光片图像进行低阶比特层置零处理；采用高频增强滤波凸显骨骼同时去噪，滤波器的设计中常数项一般可以大于3，从而保留迷糊的肋骨边缘轮廓；通过直方图均衡化加强图像的对比度，从而凸显胸腔部位的肋骨。

优选的，所述S3中特征提取采用AKAZE特征算法，通过非线性扩散滤波来构建胸腔骨骼的尺度空间，从而解决X光片中肋骨部分模糊黯淡的问题；更进一步的，AKAZE特征算法属于简化后的算法，从而降低了整个三维模型构建的耗时。

优选的，所述特征提取过程中，将描述符LDB在垂直方向上的梯度值所占权重调至最大，以适应肋骨基本横现与图像中的实际特点。

优选的，所述S4的具体过程：

S4.1进行相机的标定，解出内参矩阵，提取特征点并对每2张图像进行特征匹配；

S4.2选择匹配点最多的一组作为起始图像，根据对极几何求解出本质矩阵或基础矩阵，其中本质矩阵指不同相机在相机坐标系下的关系，基础矩阵指图像坐标系的关系；

S4.3对以上2张图像匹配的特征点进行三角化，不断增加新的图像，通过新的图像匹配好的特征点进行3D-2D匹配；

S4.4根据BA算法，对所有相机位姿和空间中胸腔骨骼的三维坐标进行非线性优化，使得求解出的误差最小。

优选的，所述S3的特征点匹配过程中的误匹配特征点，通过RANSAC算法进行特征点过滤，从而降低特征点匹配的错误率。

优选的，所述S7中的后期处理采用隐性拟合的方式，具体为：

S7.1通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程；

S7.2通过对该方程进行等值面提取，从而得到具有几何实体信息的表面模型。

一种实施上述胸腔骨骼三维构建方法的系统，包括

图像输入模块，用于输入X光片图像；

模型输出模块，用于输出构建完成的三维模型；

相机标定模块，用于获取场景的三维坐标；

分析模块，用于分析X光片图像信息以及X射线设备的相机位姿；

生成模块，根据分析模块的分析结果构建模型；

修正模块，对模型构建过程中的图像信息进行修正。

医生只需要将病人扫描拍摄获得的X光片导入进该系统中，即可获得关于该病人的胸腔骨骼三维模型。

与现有技术相比，本发明的有益效果：

(1)采用A-KAZE算法，从而避免使用高斯模糊导致目标边界信息丢失的问题，进一步提高了胸腔肋骨表面纹理的清晰度。

(2)特征提取过程中，将描述符LDB在垂直方向上的梯度值所占权重调至最大，使得提取的图像特征更符合实际肋骨横现的特点。

(3)本方法只需提供X光机的图像信息，便可以自动生成对应的三维模型，适用于时间与影像设备都非常紧缺的医疗场景。

附图说明

图1是本发明胸腔骨骼三维构建方法的技术流程示意图；

图2是本发明实施胸腔骨骼三维构建方法的系统的结构示意图；

图3是本发明系统生成的胸腔骨骼三维模型效果图。

具体实施方式

如图1所示，通过C型臂式X光机对病患胸腔部位进行环拍，病患仅需变换正卧、垂直侧躺两个姿势，其余采集角度的变换有仪器实现。拍摄角度间隔无严格要求，在15°-20°之间，快速拍下30张以上的多视点X光片。

S2对X光片进行预处理：

采用高频增强滤波凸显骨骼同时去噪，滤波器的设计中常数项一般可以大于3，目的是保留模糊的肋骨边缘轮廓，免于被模板滤波丢弃。

针对低阶比特位，选择0位与1位置零，将模糊的、隶属软组织等的像素成分直接丢弃，从而突出较脊柱更模糊的肋骨。

采用直方图均衡化：求取像素级的累计分布函数(CDF)，取整后进行灰度级的合并，以此增强图像对比度，突出胸腔部位的肋骨。

S3对预处理过后的X光片图像进行特征提取，估计相机位姿以及特征点匹配：

提取所有X光片图像中任两幅图像之间的特征点，将匹配特征点数量达到一定阈值的两幅图片作为后续操作的像对。

采用A-KAZE算法对所有的X光片图像进行特征提取，通过设置层数O与塔数S后，通过扩散函数依据时间ti来进行尺度空间的构建：σi(o,s)＝2(o+s/S)；选用的二进制描述符LDB采用领域像素强度均值信息与梯度信息增加二值描述的鲁棒性，其中梯度算子对垂直边界更敏感，在特征提取时以适应肋骨基本横现与图像中的实际特点。

X射线设备的位置与姿态信息通过迭代最近点法求得，基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。设有两个三维点集X₁和X₂，对这两个点集进行ICP方法的配准步骤如下：

S3.1计算点集X₂中的每一个点在X₁点集中的对应近点；

S3.2计算使得上述对应点对平均距离变的最小的刚体变换，求得平移参数和旋转参数；

S3.3对X₂使用上一步求得的平移和旋转参数，得到新的变换点集；

S3.4如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集将作为新的X₂点集继续参与迭代，直至达到目标函数的要求。

选择位姿最近的N张图片，其中N取值为大于等于4的自然数。之后对未标记已匹配的图像之间利用最近邻匹算法进行匹配，算法利用求取特征向量的最近邻距离和次最近距离，将它们的比值作为匹配约束条件来进行特征点的匹配：例如对于图像I中的某一个特征值向量V₁，计算并筛选出另一个图像J的特征向量中与该特征向量距离最近的两个特征向量V_J1和V_J2，定义它们之间的距离比值为

将其与预设的阈值T相比较，如果d<T，则表示匹配成功，反之则不失败。

通常T≥0.6，同时完成匹配工作后，将该两图像标记为已匹配。

使用RANSAC算法进行特征点过滤，在特征点集中随机选取四个匹配点对组成一个样本，计算变换矩阵，结合误差度量函数计算满足当前变换矩阵的consensus，根据其中元素个数判断是否为最优一致集，继续更新一致集。

S4利用运动恢复结构算法进行稀疏点云模型的构建:

S4.2选择匹配点最多的一组作为起始图像，根据对极几何求解处本质矩阵或基础矩阵，其中本质矩阵指不同相机在相机坐标系下的关系，基础矩阵指图像坐标系的关系；

S5完成稀疏点云模型的构建后，我们将得到的结果转换成3类信息：

包含了所有图像相机内部参数的cameras.txt，包含了所有图像姿势和关键点的images.txt以及包含了所有重建3D点的points.txt。

使用基于面片的三维多视角立体视觉PMVS算法重建稠密点云。主要通过灰度一致性函数对面片相似度进行计算，高于一定阈值的两面片所在图像集合作为后续的面片提取图像对。灰度一致性函数的定义如下：

其中V(p)指一副图像中所有的可见面片集合，R(p)为对应的参考图像，h即灰度一致性函数。后续进行面片优化、过滤。过滤时依靠三个滤波器，第一个过滤器是通过可视一致性进行过滤，令U(p)表示与当前可视信息不连续的面片集合，所谓的不连续就是p和p’两个面片不属于近邻关系，但是却存在于同一个可视图像块中。对于U(p)中的面片p，如果满足下列条件，则将其过滤掉：

第二个过滤器同样考虑可视一致性，但对于每个面片p，计算p通过深度测试得到的可视图像的总数，如果数目小于阈值，就过滤掉。第三个过滤器，对于每个面片p，p的八邻域内的面片数量占收集所得面片数量的比例小于0.375，则认为p是异常值，将其过滤掉。最后提取面片，得到稠密的三维点云模型。

其中点云的位置即代表了物体表面的空间位置。在泊松重建中，给定一个区域M及其边界

定义一个指示函数X_m，对属于区域M的X函数值置1，否则置零，将重构边界问题转为重构该指示函数。

S6采取隐性拟合的方式，通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程，通过定义八叉树、选择空间基函数、求解泊松方程、表面提取主要步骤完成胸腔骨骼三维模型的重建，具体过程与现有技术相同即不再赘述。

利用颜色与纹理等信息进行胸腔骨骼三维模型的后续处理：包括将泊松重建中未包裹的点或面进行清除，根据纹理描述子平滑图像，从而增强骨骼三维重建模型结果的视觉效果，最后获得表面纹理清晰的胸腔骨骼三维模型。

如图2所示，一种实施上述胸腔骨骼三维构建方法的系统，包括:

图像输入模块，用于输入X光片图像；

模型输出模块，用于输出构建完成的三维模型；

相机标定模块，用于获取场景的三维坐标；

生成模块，根据分析模块的分析结果构建模型；

修正模块，对模型构建过程中的图像信息进行修正。

具体使用过程：选择输入图像与输出结果的保存路径，进行特征匹配与ISFM算法得到稀疏点云；接着开始稠密重建，输出文件中的models存放ply格式的稠密点云，其中txt存放每张图片的矩阵信息：bundle.rd.out存放sfm输出文件；接着进行泊松重建，最后会得到obj格式三维模型文件，即最终重建出的骨骼三维模型文件，借助Meshlab可以进行查看，其实际三维模型效果如图3所示。

Claims

1.一种基于多视点无序X光片的胸腔骨骼三维构建方法，其特征在于，包括：

S3对X光片图像进行特征提取，并进行特征点匹配；

S4利用运动恢复结构算法进行稀疏点云模型的构建；

2.根据权利要求1所述的胸腔骨骼三维构建方法，其特征在于，所述S1中基于病患变换正卧、垂直侧躺两个姿势进行扫描拍摄，至少每隔20°拍摄一次，并在多细节位置至少每隔15°拍摄一次。

3.根据权利要求1的胸腔骨骼三维构建方法，其特征在于，所述S2中的预处理：对X光片图像进行高频调滤波和直方图均衡化，并对经过比特分解后的X光片图像进行低阶比特层置零处理。

4.根据权利要求1所述的胸腔骨骼三维构建方法，其特征在于，所述S3中特征提取采用AKAZE特征算法，通过非线性扩散滤波来构建胸腔骨骼的尺度空间。

5.根据权利要求4所述的胸腔骨骼三维构建方法，其特征在于，所述特征提取的过程中，将描述符LDB在垂直方向上的梯度值所占权重调至最大。

6.根据权利要求1所述的胸腔骨骼三维构建方法，其特征在于，所述S4的具体过程：

7.根据权利要求1所述的胸腔骨骼三维构建方法，其特征在于，所述S6中的后期处理采用隐性拟合的方式，具体为：

S6.1通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程；

S6.2通过对该方程进行等值面提取，从而得到具有几何实体信息的表面模型。

8.一种实施权利要求1-7任一所述的胸腔骨骼三维构建方法的系统，包括：

图像输入模块，用于输入X光片图像；

模型输出模块，用于输出构建完成的三维模型；

相机标定模块，用于获取场景的三维坐标；

生成模块，根据分析模块的分析结果构建模型；

修正模块，对模型构建过程中的图像信息进行修正。