CN117173463A - 一种基于多分类稀疏点云的骨关节模型重建方法及装置 - Google Patents
一种基于多分类稀疏点云的骨关节模型重建方法及装置 Download PDFInfo
- Publication number
- CN117173463A CN117173463A CN202311108281.8A CN202311108281A CN117173463A CN 117173463 A CN117173463 A CN 117173463A CN 202311108281 A CN202311108281 A CN 202311108281A CN 117173463 A CN117173463 A CN 117173463A
- Authority
- CN
- China
- Prior art keywords
- sparse
- point cloud
- classification
- information
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000000605 extraction Methods 0.000 claims abstract description 64
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000009792 diffusion process Methods 0.000 claims description 102
- 230000004927 fusion Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010061728 Bone lesion Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000020061 kirsch Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种基于多分类稀疏点云的骨关节模型重建方法及装置，所述方法包括：获取骨关节的多层切片图像；对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；通过所述稠密点云数据重建骨关节模型。本申请中，通过边缘提取生成稀疏点云，并由稀疏点云生成稠密点云进行骨关节重建的方式，消除了多层切片叠加出现的阶梯状痕迹。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于多分类稀疏点云的骨关节模型重建方法及装置。
背景技术
骨关节三维模型重建是当前医学图像处理的核心内容，通过三维重建可以测量患者的骨关节结构参数，为进行正确认识骨骼病变提供依据，辅助手术方案制定和骨骼减除量的计算，提高手术精准度；根据三维模型设计个性化的骨科植入物，实现精准匹配骨关节形态，提高植入物融合率。
现有的骨关节三维模型重建过程中一般使用医学图像的切片图像生成稠密点云进行骨关节模型重建，这种重建的骨关节模型表面容易出现阶梯状痕迹，不够光滑。
发明内容
本申请解决的问题是使用医学图像生成稠密点云进行骨关节模型重建时模型表面不够光滑存在阶梯状痕迹。
为解决上述问题，本申请第一方面提供了一种基于多分类稀疏点云的骨关节模型重建方法，包括：
获取骨关节的多层切片图像；
对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
通过所述稠密点云数据重建骨关节模型。
本申请第二方面提供了一种基于多分类稀疏点云的骨关节模型重建装置，其包括：
图像获取模块，其用于获取骨关节的多层切片图像；
分割提取模块，其用于对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
点云生成模块，其用于基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
点云转换模块，其用于基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
模型重建模块，其用于通过所述稠密点云数据重建骨关节模型。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取骨关节的多层切片图像；
对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
通过所述稠密点云数据重建骨关节模型。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于多分类稀疏点云的骨关节模型重建方法。
本申请中，通过边缘提取生成稀疏点云，并由稀疏点云生成稠密点云进行骨关节重建的方式，消除了多层切片叠加出现的阶梯状痕迹。
本申请中，通过提取多层切片图像的边缘结果生成稀疏点云数据的方式对模型进行空心化，从而避免在进行骨关节模型重建时对内层的点云数据误判；通过将稀疏点云数据生成稠密点云数据后再进行模型重建的方式，对点云数据中的缺少部分进行填充，一方面增加了骨关节模型的表面的光滑性，另一方面避免了点云数据缺失产生的孔洞问题。
本申请中，通过提取边缘结果的方式生成稀疏点云数据，可以大大降低对点云数据进行平滑操作、数据重建操作等等数据处理操作的计算量，提高计算速度；与前述描述结合，可以快速且准确地得到重建后的光滑无孔洞骨关节模型。
附图说明
图1为根据本申请实施例的骨关节模型重建方法的流程图；
图2为根据本申请实施例的骨关节模型重建方法的模型架构图；
图3为根据本申请实施例的骨关节模型重建方法数据转换的流程图；
图4为根据本申请实施例的骨关节模型重建方法网络训练的流程图；
图5为根据本申请实施例的骨关节模型重建方法卷积模块的架构图；
图6为根据本申请实施例的骨关节模型重建方法点云扩散的原理图；
图7为根据本申请实施例的骨关节模型重建装置的结构框图；
图8为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
针对上述问题，本申请提供一种新的基于多分类稀疏点云的骨关节模型重建方案，能够通过边缘提取模型边缘，并基于模型边缘重建骨关节模型，解决使用医学图像生成稠密点云进行骨关节模型重建时模型表面不够光滑存在阶梯状痕迹的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
VTK：视觉化工具函式库(VTK，Visualization Toolkit)是一个开放源码，跨平台、支持并行处理的图形应用函式库。
Canny算法：Canny边缘检测算法是一个多级边缘检测算法，被认为是边缘检测的最优算法。
本申请实施例提供了一种基于多分类稀疏点云的骨关节模型重建方法，该方法的具体方案由图1-图6所示，该方法可以由基于多分类稀疏点云的骨关节模型重建装置来执行，该基于多分类稀疏点云的骨关节模型重建装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1所示，其为根据本申请一个实施例的基于多分类稀疏点云的骨关节模型重建方法的流程图；其中，所述基于多分类稀疏点云的骨关节模型重建方法，包括：
S100，获取骨关节的多层切片图像；
本申请中，所述多层切片图像可以是由医学图像进行处理后得到，也可以直接为医学图像；所述医学图像可以为：X线片、电子计算机断层扫描(Computed Tomography，CT)图像、磁共振(Magnetic Resonance Imaging，MRI)图像，或者上述多个图像的合成图像等。
在一种实施方式中，所述多层切片图像为骨关节的CT图像。
S200，对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
本申请中，可以通过基于深度学习的分割网络进行图像分割，所述深度学习的分割网络可以为UNet、SegNet、DeepLab系列、Mask R-CNN、Transformers结构等网络及上述网络的改进型网络。
本申请中，可以使用边缘提取算法对图像分割结果进行边缘提取，得到边缘提取结果；其中的所述边缘提取算法可以为一阶微分算子(如Roberts算子、Prewitt算子、Sobel算子)、二阶微分算子(如Laplacian算子)、Kirsch算子、Frei-Chen综合正交算子、Canny算子等。
在一种实施方式中，所述边缘提取算法为Canny算法。
S300，基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
本申请中，每层切片图像及边缘提取结果均为二维图像，其中的每个点均具有二维坐标；多层堆叠的情况下仅需要对每层切片的边缘提取结果赋予不同的第三轴坐标即可生成三维的稀疏点云数据。
本申请中，通过VTK将多层切片图像的边缘提取结果生成三维的稀疏点云数据。
S500，基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
S600，通过所述稠密点云数据重建骨关节模型。
本申请中，通过边缘提取生成稀疏点云，并由稀疏点云生成稠密点云进行骨关节重建的方式，消除了多层切片叠加出现的阶梯状痕迹。
本申请中，基于多层切片图像直接生成点云数据，重建骨关节模型时，由于点云数据通常存在噪声点，通过平滑滤波等方式虽然可以去除孤立点，但是对于点云数据中可能存在的缺失等情况，在进行骨关节模型重建时会自动将内层的点云数据作为骨关节表面的一部分，从而在重建时出现模型表面不够光滑存在细小孔洞的问题。
本申请中，通过提取多层切片图像的边缘结果生成稀疏点云数据的方式对模型进行空心化，从而避免在进行骨关节模型重建时对内层的点云数据误判；通过将稀疏点云数据生成稠密点云数据后再进行模型重建的方式，对点云数据中的缺少部分进行填充，一方面增加了骨关节模型的表面的光滑性，另一方面避免了点云数据缺失产生的孔洞问题。
需要说明的是，在进行骨关节模型重建时不仅仅将内层的点云数据作为骨关节表面的一部分会产生孔洞问题；对点云数据处理时滤波次数过多也会导致点云数据的范围缺失，从而在该范围内形成孔洞；通过稀疏点云数据到稠密点云数据的转换，可以避免点云数据的范围缺失，从而避免孔洞问题。
另外，需要说明的是，点云数据的平滑处理等操作是针对所有点云数据的；若直接将多层切片图像转换为点云数据(稠密点云数据)，则需要对所有稠密点云数据进行平滑操作、数据重建操作等，这会大大增加数据处理的计算量。
本申请中，通过提取边缘结果的方式生成稀疏点云数据，可以大大降低对点云数据进行平滑操作、数据重建操作等等数据处理操作的计算量，提高计算速度；与前述描述结合，可以快速且准确地得到重建后的光滑无孔洞骨关节模型。
在一种实施方式中，所述S600，通过所述稠密点云数据重建骨关节模型中，将所述稠密点云数据转换为由三角形组成的网格曲面，然后对网格曲面进行平滑处理，得到具有平滑曲面的骨关节模型。
本申请中，在建立骨关节的三角形组成的网格曲面后，可以采用光线追踪算法进行曲面平滑效果的处理，得到具有平滑曲面的骨关节模型。
本申请中，将所述稠密点云数据转换为由三角形组成的网格曲面所使用的算法可以为：Delaunay三角剖分、滚球重建、等值面提取重建、泊松表面重建、基于移动最小二乘的二次曲面构建三角网等等中的一种或是多种算法的变种与融合算法。
在一种实施方式中，使用贪婪投影算法将所述稠密点云数据转换为由三角形组成的网格曲面。
在一种实施方式中，使用贪婪投影算法将所述稠密点云数据转换为由三角形组成的网格曲面，包括：
在所述稠密点云数据中任选一点作为初始生长点，基于八叉树数据结构表示的稠密点云数据确定该初始生长点的近邻点；在所述近邻点中确定距离该初始生长点最近的点并连接，得到初始线段；在所述初始线段的近邻点中确定距离该初始线段最近的点，并构造出初始三角形；以初始三角形任一边作为初始线段，并构造出新的三角形；持续构造新的三角形，直至所有点云数据被选择完毕并构建出完整的拓扑结构为止。
在一种实施方式中，基于八叉树数据结构表示的稠密点云数据确定该初始生长点的近邻点，过程为：
若初始生长点在八叉树包围盒内就从所属的最末端的子包围盒叶子节点开始，如果在八叉树外的话就从任意最靠近的叶子节点开始，先找一个最靠近初始生长点的候选点；以初始生长点为圆心，初始生长点到候选点的距离为半径，做一个球体，把球体同八叉树求交(离初始生长点最近的点一定落在这个球体范围内)，筛选出有交集的叶子节点包围盒，将这些叶子节点包围盒内的点作为初始生长点的近邻点。
本申请中，通过球体相交的方式确定近邻点，与常规距离计算相比，可以大幅度缩短需要占用的计算资源。
本申请中，在所述近邻点中确定距离该初始生长点，可以是在确定近邻点后，迭代这些叶子节点包围盒里的点，一旦找到更近的就缩小球的范围，这样就能找到离初始生长点最近的点。这样，通过多次迭代的方式来寻找最近的点，从而节省计算资源。
本申请中，在所述初始线段的近邻点中确定距离该初始线段最近的点，可以先基于类似的方式确定初始线段的近邻点，然后确定距离该初始线段最近的点；也即是：若初始线段的两个端点中的任一个在八叉树包围盒内就从所属的最末端的子包围盒叶子节点开始，如果均在八叉树外的话就从任意最靠近的叶子节点开始，先找一个最靠近初始线段的两个端点中的候选点；以初始线段的两端为圆心，初始线段到候选点的距离为半径，分别做两个球体，并以初始线段为轴心，初始线段到候选点的距离为半径做圆柱体，把两个球体及圆柱体同八叉树求交，筛选出有交集的叶子节点包围盒，将这些叶子节点包围盒内的点作为初始线段的近邻点。
需要说明的是，初始线段到候选点的距离，若候选点到初始线段的垂线与初始线段相交，则交点与候选点的距离即为初始线段到候选点的距离；若候选点到初始线段的垂线与初始线段不相交，则初始线段的两个端点与候选点的最小的一个距离即为初始线段到候选点的距离。
本申请中，通过相交的方式确定初始线段的近邻点，进一步降低计算量。
本申请中，在所述初始线段的近邻点中确定距离该初始线段最近的点，具有的约束条件为该点与初始线段的垂线与初始线段相交。从而可以提高构建的三角形的锐角概率。
本申请中，可以先通过约束条件对初始线段的近邻点进行筛选，从而降低需要计算的数据量，提高计算效率。
本申请中，在同八叉树求交时，仅把圆柱体同八叉树求交，从而可以在求交时同时对约束条件进行筛选，从而在前述基础上大幅度降低计算量。
本申请中，以初始三角形任一边作为初始线段，可以是随机选取。
本申请中，可以将近邻点通过初始生长点、初始线段的法向量投影到一个平面上进行计算，从而简化拓扑结构，进一步提高计算速度。
本申请中，可以基于初始线段的近邻点生成多个三角形后，再重新寻找新的初始线段及新的近邻点，从而进一步提高计算速度，降低占用的计算资源。
在一种实施方式中，结合图2、图3所示，所述多分类稀疏点云网络包括特征提取单元、分类单元和扩散单元；所述S500，基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据，包括：
S501，将所述稀疏点云数据输入所述特征提取单元，得到稀疏特征信息；
本申请中，特征提取单元用于对稀疏点云数据进行特征提取，以获取稀疏点云数据的关键点特征，从而基于关键点特征进行数据填充。
S502，将所述稀疏特征信息输入所述分类单元，得到稀疏分类信息；
S503，将所述稀疏特征信息输入所述扩散单元，得到稀疏扩散信息；
S504，将所述稀疏分类信息与所述稀疏扩散信息合并，得到稠密点云数据。
本申请中，所述稀疏分类信息与所述稀疏扩散信息合并，为所述稀疏分类信息与所述稀疏扩散信息的原始特征直接拼接；通过拼接的合并方式，可以同时保留扩散后的特性信息和分类后的特性信息。
本申请中，所述拼接合并为CONCAT合并。该CONCAT合并为通道合并，也即是图像本身的特征数(通道数)增加，但每一特征下的信息并未增加。
通过该拼接方式，从而将分类特征信息和扩散特征信息连接起来，从而提高模型的分类表现能力和扩散表现能力。
结合图2可以看出，稀疏点云数据为N*4格式，输入特征提取单元后，得到N*1024格式的特征图(稀疏特征信息)；该稀疏特征信息输入分类单元后，得到2*2*N的系数分类信息，输入扩散单元后，得到2*2*N*3的稀疏扩散信息；所述稀疏分类信息与所述稀疏扩散信息合并为4*N*4的稠密点云数据。
本申请中，使用编码结构(特征提取单元)通过抽象特征学习，实现对输入信息的压缩及关键点特征的获取；在解码结构中未使用与编码结构类似的架构，而是将其分拆为分类单元和扩散单元；通过扩散单元对特征图/稀疏点云数据进行扩充/扩散，通过分类单元对特征图/稀疏点云数据进行分类，然后合并的方式保障各个点云数据在扩充后的分类的准确性，得到准确的稠密点云数据。
在一种实施方式中，结合图4所示，所述基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据之前，还包括：
S401，获取第一稀疏样本，所述第一稀疏样本具有标注信息；
本申请中，基于所述样本分类信息、样本扩散信息、样本稠密数据计算对应的分类损失、扩散损失和融合损失；基于此，第一稀疏样本的标注信息具有与分类损失、扩散损失和融合损失对应的标注。
本申请中，每个第一稀疏样本均对应有一个稠密点云数据格式的标注信息，该标注信息包括每个像素点的三维坐标信息和分类信息(4*N*4格式)。该标注信息中，三维坐标信息与扩散损失对应、分类信息与所述分类损失对应，三维坐标信息和分类信息的结合与所述融合损失对应。
S402，将所述第一稀疏样本输入所述特征提取单元，得到样本特征信息；
S403，将所述样本特征信息输入所述分类单元，得到样本分类信息；
S404，将所述样本特征信息输入所述扩散单元，得到样本扩散信息；
S405，将所述样本分类信息与所述样本扩散信息合并，得到样本稠密数据；
本申请中，第一稀疏样本、样本特征信息、样本分类信息、样本扩散信息和样本稠密数据分别与前述所述的稀疏点云数据、稀疏特征信息、稀疏分类信息、稀疏扩散信息和稠密点云数据一一对应且格式相同，不同之处在于前者为训练后的多分类稀疏点云网络的对应数据，后者为训练过程中的多分类稀疏点云网络的对应数据。
本申请中，步骤S402-S405的具体处理过程与步骤S501-S504的具体处理过程相同，仅所应用的多分类稀疏点云网络不同；因此本申请中步骤S402-S405的具体处理过程不再赘述。
S406，根据所述样本分类信息、样本扩散信息、样本稠密数据和标注信息，计算第一稀疏样本的分类损失、扩散损失和融合损失，并基于所述分类损失、扩散损失和融合损失计算所述多分类稀疏点云网络的整体损失；
S407，基于所述整体损失对所述特征提取单元、分类单元和扩散单元进行迭代，直至所述整体损失收敛为止。
需要说明的是，对所述特征提取单元、分类单元和扩散单元的参数进行迭代，也即是对多分类稀疏点云网络的参数进行迭代。
本申请中，通过第一稀疏样本对多分类稀疏点云网络进行训练，并分别通过分类损失和扩散损失对分类和扩散进行约束，通过融合损失对分类与扩散的对应关系进行约束。
本申请中，通过合并后计算融合损失的方式使得分类单元的分类结果与扩散单元的扩散结果进行互相约束，从而进一步提高训练的准确性。
在一种实施方式中，所述S406，根据所述样本分类信息、样本扩散信息、样本稠密数据和标注信息，计算所述多分类稀疏点云网络的整体损失，包括：
根据所述样本分类信息和标注的分类信息，计算第一稀疏样本的分类损失；
根据所述样本扩散信息和标注的三维坐标信息，计算第一稀疏样本的扩散损失；
根据所述样本稠密数据和标注的所述分类信息及三维坐标信息的结合，计算第一稀疏样本的融合损失；
根据所述分类损失、所述扩散损失和所述融合损失，计算第一稀疏样本的整体损失。
本申请中，所述标注信息的格式与所述稠密点云数据格式相同，该标注信息包括每个像素点的三维坐标信息和分类信息(4*N*4格式)。
该标注信息中，三维坐标信息与扩散损失对应、分类信息与所述分类损失对应，三维坐标信息和分类信息的结合与所述融合损失对应。
本申请中，基于所述分类损失对分类单元进行训练，基于所述扩散损失对所述扩散单元进行训练，基于所述融合损失对所述分类单元与所述扩散单元的对应关系进行训练，通过整体损失进行整合，以协调所述多分类稀疏点云网络的参数之间的对应关系。
在一种实施方式中，所述扩散损失的计算公式为：
其中，Lossex为扩散损失，P为预测点云，Ppre为标签点云(即label)，x为预测点云中的点，y为标签点云中的点。
在一种实施方式中，所述分类损失/融合损失的计算公式为：
其中，Losscls为分类损失，Lossfu为融合损失，yi为第i个正样本，yj为第j个负样本，M为正样本个数，N为负样本个数，pi为正样本预测结果，pj为负样本预测结果。
需要说明的是，本申请中，所述分类损失/融合损失的计算公式相同，但计算公式中的各个因子的具体数值不同。
在一种实施方式中，所述整体损失的计算公式为：
Loss＝α×Losscls+β×Lossex+γ×Lossfu
α+β+γ＝1
其中，Loss为整体损失，Losscls为分类损失，Lossex为扩散损失，Lossfu为融合损失，α为分类损失的权重系数，β为扩散损失的权重系数，γ为融合损失的权重系数。
在一种实施方式中，结合图2所示，所述特征提取单元包括三个卷积模块，每个所述卷积模块后设置有最大池化层；所述将所述稀疏点云数据输入所述特征提取单元，得到稀疏特征信息，包括：
将所述稀疏点云数据输入第一个所述卷积模块和所述最大池化层，得到256维的第一稀疏特征信息；
将所述第一稀疏特征信息输入第二个所述卷积模块和所述最大池化层，得到512维的第二稀疏特征信息；
将所述第二稀疏特征信息输入第三个所述卷积模块和所述最大池化层，得到1024维的所述稀疏特征信息。
本申请中，如图2所示，图中的ConvBlock即为卷积模块，Max Pooling即为最大池化层；稀疏点云数据为N*4维的数据，其中该4维包括点云数据的x、y、z坐标与分类的Label数据；在经过第一个卷积模块和最大池化层进行解码后，得到了N*256的特征图；经过第二个卷积模块和最大池化层进行解码后，得到了N*512的特征图；经过第三个卷积模块和最大池化层进行解码后，得到了N*1024的特征图，该N*1024的特征图即为稀疏点云数据对应的稀疏特征信息。
本申请中，三个卷积模块的结构相同，具体参数不同(参数取决于训练结果)，从而通过结构相同的卷积模块进行特征提取，降低特征提取过程中的复杂度，提高特征提取过程中的同源性。
需要说明的是，本申请中，三个卷积模块的结构相同的结构相同，但具体放大倍数不同。第一个卷积模块维度放大倍数为64倍，第二个和第三个卷积模块的维度放大倍数为2倍。
在一种实施方式中，结合图5所示，所述卷积模块包括第一卷积层、第二卷积层和归一层；所述将所述第一稀疏特征信息输入第二个所述卷积模块和所述最大池化层，得到512维的第二稀疏特征信息，包括：
将第一稀疏特征信息依次输入第一个所述第一卷积层和第一个第二卷积层，得到第一卷积特征信息；
将第一卷积特征信息依次输入第二个所述第一卷积层和第二个第二卷积层，得到第二卷积特征信息；
将所述第二卷积特征信息和经过第三个第二卷积层的第一稀疏特征信息相加，得到第三卷积特征信息；
将所述第三卷积特征信息输入所述归一层，得到所述第二稀疏特征信息。
结合图5所示，该图为第二个和第三个卷积模块的架构图，其中输入的为N*D的数据(第一稀疏特征信息)，经过第一个第一卷积层和第一个第二卷积层后，得到N*(2*D)的数据(第一卷积特征信息)，经过第二个第一卷积层和第二个第二卷积层后，得到N*(2*D)的数据(第二卷积特征信息)；然后将N*(2*D)的数据(第二卷积特征信息)与经过第三个第二卷积层的数据(N*(2*D))进行残差计算，得到N*(2*D)的数据(第三卷积特征信息)，并将N*(2*D)的数据(第三卷积特征信息)输入归一层，得到N*(2*D)的数据(第二稀疏特征信息)。
需要说明的是，第一个卷积模块的架构与图5中所示架构类似，不同之处在于维度放大倍数不同。例如，第一个卷积模块的架构可以为：
输入的为N*D的数据(第一稀疏特征信息)，经过第一个第一卷积层和第一个第二卷积层后，得到N*(16*D)的数据(第一卷积特征信息)，经过第二个第一卷积层和第二个第二卷积层后，得到N*(64*D)的数据(第二卷积特征信息)；然后将N*(64*D)的数据(第二卷积特征信息)与经过第三个第二卷积层的数据(N*(64*D))进行残差计算，得到N*(64*D)的数据(第三卷积特征信息)，并将N*(64*D)的数据(第三卷积特征信息)输入归一层，得到N*(64*D)的数据(第二稀疏特征信息)。
需要说明的是，本申请中，多个卷积模块的结构相同，会对输入的特征信息进行相同结构的处理；无论输入的是稀疏点云数据(对应第一个卷积模块)、是第一稀疏特征信息(对应第二个卷积模块)、还是第二稀疏特征信息(对应第三个卷积模块)。
需要说明的是，本申请中，在并非第二个卷积模块的情况下，输入的第一稀疏特征信息也可以是前一个卷积模块的输出特征图或稀疏点云数据。
本申请中，上述是以输入第一稀疏特征信息输出第二稀疏特征信息(对应第二个卷积模块)为例进行的阐述，该过程事实上也可以应用于第一个卷积模块和第三个卷积模块，具体过程本申请中不再赘述，参考上述阐述即可。
本申请中，通过设置第三个第二卷积层，从而对第一稀疏特征信息的维度进行调整，以保持残差计算的两个部分之间的相同维度。
本申请中，通过将输入的第一稀疏特征信息与提取得到的第二卷积特征信息进行残差计算，从而最大程度保留第一稀疏特征信息的细节特征。
本申请中，所述第一卷积层包括依次设置的3*3卷积层、BN层和Relu层，所述第二卷积层为1*1卷积层。通过依次设置的第一卷积层和第二卷积层，从而通过卷积层增加局部上下文信息的同时进行维度调整。
本申请中，所述归一层包括依次设置BN层和Relu层，从而进行完整归一化。
在一种实施方式中，结合图2所示，所述分类单元包括若干MLP层；所述将所述稀疏特征信息输入所述分类单元，得到稀疏分类信息，包括：
将所述稀疏特征信息输入第一个所述MLP层，得到第一分类特征信息；
将所述第一分类特征信息输入第二个所述MLP层，得到所述稀疏分类信息。
本申请中，MLP层为多层感知机(Multi-Layer Perceptron)，是一种经典的前馈神经网络模型。它由多个全连接层(也称为多层感知机)组成，每个全连接层都由多个神经元组成，其中每个神经元与前一层的所有神经元相连。
结合图2所示，所述稀疏特征信息为N*1024维特征信息，其输入第一个所述MLP层，得到N*256维的第一分类特征信息；N*256维的第一分类特征信息输入第二个所述MLP层，得到2*2*N维的稀疏分类信息。
在一种实施方式中，结合图2所示，所述扩散单元包括MLP层和扩散层；将所述稀疏特征信息输入所述扩散单元，得到稀疏扩散信息，包括：
将所述稀疏特征信息输入MLP层，得到第一扩散特征信息；
将所述第一扩散特征信息输入扩散层，得到所述稀疏扩散信息。
结合图2所示，所述稀疏特征信息为N*1024维特征信息，其输入所述MLP层，得到N*3维的第一扩散特征信息；N*3维的第一扩散特征信息输入扩散层，得到2*2*N*3维的稀疏扩散信息。
本申请中，扩散层为利用利用Tile(瓦片)的思想将当前点云的特征图扩充到原来的四倍；实质上此扩散层操作相当于将现在的稀疏的第一扩散特征信息中的每一个点云由4个点云代替。结合图6所示，具体执行时将N*3维的第一扩散特征信息与Tile进行插值/直接拼接代替原Nx3的对应元素，得到2*2*N*3维的稀疏扩散信息。
在一种实施方式中，S504，将所述稀疏分类信息与所述稀疏扩散信息合并，得到稠密点云数据中，所述稀疏分类信息与所述稀疏扩散信息合并后经过3x3卷积+BN+Relu操作得到最终的稠密点云数据。
本申请中，步骤S402-S405的具体处理过程与步骤S501-S504的具体处理过程相同，仅所应用的多分类稀疏点云网络不同；因此本申请中步骤S402-S405的具体处理过程不再赘述。
本申请实施例提供了一种基于多分类稀疏点云的骨关节模型重建装置，用于执行本申请上述内容所述的基于多分类稀疏点云的骨关节模型重建方法，以下对所述基于多分类稀疏点云的骨关节模型重建装置进行详细描述。
如图7所示，所述基于多分类稀疏点云的骨关节模型重建装置，包括：
图像获取模块101，其用于获取骨关节的多层切片图像；
分割提取模块102，其用于对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
点云生成模块103，其用于基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
点云转换模块104，其用于基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
模型重建模块105，其用于通过所述稠密点云数据重建骨关节模型。
在一种实施方式中，所述多分类稀疏点云网络包括特征提取单元、分类单元和扩散单元；所述点云转换模块104还用于：
将所述稀疏点云数据输入所述特征提取单元，得到稀疏特征信息；将所述稀疏特征信息输入所述分类单元，得到稀疏分类信息；将所述稀疏特征信息输入所述扩散单元，得到稀疏扩散信息；将所述稀疏分类信息与所述稀疏扩散信息合并，得到稠密点云数据。
在一种实施方式中，还包括网络训练模块，其用于：
获取第一稀疏样本，所述第一稀疏样本具有标注信息；将所述第一稀疏样本输入所述特征提取单元，得到样本特征信息；将所述样本特征信息输入所述分类单元，得到样本分类信息；将所述样本特征信息输入所述扩散单元，得到样本扩散信息；将所述样本分类信息与所述样本扩散信息合并，得到样本稠密数据；根据所述样本分类信息、样本扩散信息、样本稠密数据和标注信息，计算第一稀疏样本的分类损失、扩散损失和融合损失，并基于所述分类损失、扩散损失和融合损失计算所述多分类稀疏点云网络的整体损失；基于所述整体损失对所述特征提取单元、分类单元和扩散单元进行迭代，直至所述整体损失收敛为止。
在一种实施方式中，所述扩散损失的计算公式为：
其中，P为预测点云，Ppre为标签点云(即label)，x为预测点云中的点，y为标签点云中的点。
在一种实施方式中，所述特征提取单元包括三个卷积模块，每个所述卷积模块后设置有最大池化层；所述点云转换模块104还用于：
将所述稀疏点云数据输入第一个所述卷积模块和所述最大池化层，得到256维的第一稀疏特征信息；将所述第一稀疏特征信息输入第二个所述卷积模块和所述最大池化层，得到512维的第二稀疏特征信息；将所述第二稀疏特征信息输入第三个所述卷积模块和所述最大池化层，得到1024维的所述稀疏特征信息。
在一种实施方式中，所述卷积模块包括第一卷积层、第二卷积层和归一层；所述点云转换模块104还用于：
将第一稀疏特征信息依次输入第一个所述第一卷积层和第一个第二卷积层，得到第一卷积特征信息；将第一卷积特征信息依次输入第二个所述第一卷积层和第二个第二卷积层，得到第二卷积特征信息；将所述第二卷积特征信息和经过第三个第二卷积层的第一稀疏特征信息相加，得到第三卷积特征信息；将所述第三卷积特征信息输入所述归一层，得到所述第二稀疏特征信息。
在一种实施方式中，所述分类单元包括若干MLP层；所述点云转换模块104还用于：
将所述稀疏特征信息输入第一个所述MLP层，得到第一分类特征信息；将所述第一分类特征信息输入第二个所述MLP层，得到所述稀疏分类信息。
本申请的上述实施例提供的基于多分类稀疏点云的骨关节模型重建装置与本申请实施例提供的基于多分类稀疏点云的骨关节模型重建方法具有对应关系，因此该装置中的具体内容与骨关节模型重建方法具有对应关系，具体内容可以参照骨关节模型重建方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于多分类稀疏点云的骨关节模型重建装置与本申请实施例提供的基于多分类稀疏点云的骨关节模型重建方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于多分类稀疏点云的骨关节模型重建装置的内部功能和结构，如图8所示，实际中，该基于多分类稀疏点云的骨关节模型重建装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
获取骨关节的多层切片图像；
对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
通过所述稠密点云数据重建骨关节模型。
在一种实施方式中，所述多分类稀疏点云网络包括特征提取单元、分类单元和扩散单元；处理器303还用于：
将所述稀疏点云数据输入所述特征提取单元，得到稀疏特征信息；将所述稀疏特征信息输入所述分类单元，得到稀疏分类信息；将所述稀疏特征信息输入所述扩散单元，得到稀疏扩散信息；将所述稀疏分类信息与所述稀疏扩散信息合并，得到稠密点云数据。
在一种实施方式中，处理器303还用于：
获取第一稀疏样本，所述第一稀疏样本具有标注信息；将所述第一稀疏样本输入所述特征提取单元，得到样本特征信息；将所述样本特征信息输入所述分类单元，得到样本分类信息；将所述样本特征信息输入所述扩散单元，得到样本扩散信息；将所述样本分类信息与所述样本扩散信息合并，得到样本稠密数据；根据所述样本分类信息、样本扩散信息、样本稠密数据和标注信息，计算第一稀疏样本的分类损失、扩散损失和融合损失，并基于所述分类损失、扩散损失和融合损失计算所述多分类稀疏点云网络的整体损失；基于所述整体损失对所述特征提取单元、分类单元和扩散单元进行迭代，直至所述整体损失收敛为止。
在一种实施方式中，所述扩散损失的计算公式为：
其中，P为预测点云，Ppre为标签点云(即label)，x为预测点云中的点，y为标签点云中的点。
在一种实施方式中，所述特征提取单元包括三个卷积模块，每个所述卷积模块后设置有最大池化层；处理器303还用于：
将所述稀疏点云数据输入第一个所述卷积模块和所述最大池化层，得到256维的第一稀疏特征信息；将所述第一稀疏特征信息输入第二个所述卷积模块和所述最大池化层，得到512维的第二稀疏特征信息；将所述第二稀疏特征信息输入第三个所述卷积模块和所述最大池化层，得到1024维的所述稀疏特征信息。
在一种实施方式中，所述卷积模块包括第一卷积层、第二卷积层和归一层；处理器303还用于：
将第一稀疏特征信息依次输入第一个所述第一卷积层和第一个第二卷积层，得到第一卷积特征信息；将第一卷积特征信息依次输入第二个所述第一卷积层和第二个第二卷积层，得到第二卷积特征信息；将所述第二卷积特征信息和经过第三个第二卷积层的第一稀疏特征信息相加，得到第三卷积特征信息；将所述第三卷积特征信息输入所述归一层，得到所述第二稀疏特征信息。
在一种实施方式中，所述分类单元包括若干MLP层；处理器303还用于：
将所述稀疏特征信息输入第一个所述MLP层，得到第一分类特征信息；将所述第一分类特征信息输入第二个所述MLP层，得到所述稀疏分类信息。
本申请中，处理器还具体用于执行上述基于多分类稀疏点云的骨关节模型重建方法的所有流程及步骤，具体内容可参照骨关节模型重建方法中的记录，本申请中对此不再赘述。
本申请中，图8中仅示意性给出部分组件，并不意味着电子设备只包括图8所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于多分类稀疏点云的骨关节模型重建方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于多分类稀疏点云的骨关节模型重建方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于多分类稀疏点云的骨关节模型重建方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于多分类稀疏点云的骨关节模型重建方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于多分类稀疏点云的骨关节模型重建方法，其特征在于，包括：
获取骨关节的多层切片图像；
对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
通过所述稠密点云数据重建骨关节模型。
2.根据权利要求1所述的骨关节模型重建方法，其特征在于，所述多分类稀疏点云网络包括特征提取单元、分类单元和扩散单元；
所述基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据，包括：
将所述稀疏点云数据输入所述特征提取单元，得到稀疏特征信息；
将所述稀疏特征信息输入所述分类单元，得到稀疏分类信息；
将所述稀疏特征信息输入所述扩散单元，得到稀疏扩散信息；
将所述稀疏分类信息与所述稀疏扩散信息合并，得到稠密点云数据。
3.根据权利要求2所述的骨关节模型重建方法，其特征在于，所述基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据之前，还包括：
获取第一稀疏样本，所述第一稀疏样本具有标注信息；
将所述第一稀疏样本输入所述特征提取单元，得到样本特征信息；
将所述样本特征信息输入所述分类单元，得到样本分类信息；
将所述样本特征信息输入所述扩散单元，得到样本扩散信息；
将所述样本分类信息与所述样本扩散信息合并，得到样本稠密数据；
根据所述样本分类信息、样本扩散信息、样本稠密数据和标注信息，计算第一稀疏样本的分类损失、扩散损失和融合损失，并基于所述分类损失、扩散损失和融合损失计算所述多分类稀疏点云网络的整体损失；
基于所述整体损失对所述特征提取单元、分类单元和扩散单元进行迭代，直至所述整体损失收敛为止。
4.根据权利要求3所述的骨关节模型重建方法，其特征在于，所述扩散损失的计算公式为：
其中，P为预测点云，Ppre为标签点云(即label)，x为预测点云中的点，y为标签点云中的点。
5.根据权利要求2-4中任一项所述的骨关节模型重建方法，其特征在于，所述特征提取单元包括三个卷积模块，每个所述卷积模块后设置有最大池化层；所述将所述稀疏点云数据输入所述特征提取单元，得到稀疏特征信息，包括：
将所述稀疏点云数据输入第一个所述卷积模块和所述最大池化层，得到256维的第一稀疏特征信息；
将所述第一稀疏特征信息输入第二个所述卷积模块和所述最大池化层，得到512维的第二稀疏特征信息；
将所述第二稀疏特征信息输入第三个所述卷积模块和所述最大池化层，得到1024维的所述稀疏特征信息。
6.根据权利要求5所述的骨关节模型重建方法，其特征在于，所述卷积模块包括第一卷积层、第二卷积层和归一层；所述将所述第一稀疏特征信息输入第二个所述卷积模块和所述最大池化层，得到512维的第二稀疏特征信息，包括：
将第一稀疏特征信息依次输入第一个所述第一卷积层和第一个第二卷积层，得到第一卷积特征信息；
将第一卷积特征信息依次输入第二个所述第一卷积层和第二个第二卷积层，得到第二卷积特征信息；
将所述第二卷积特征信息和经过第三个第二卷积层的第一稀疏特征信息相加，得到第三卷积特征信息；
将所述第三卷积特征信息输入所述归一层，得到所述第二稀疏特征信息。
7.根据权利要求2-4中任一项所述的骨关节模型重建方法，其特征在于，所述分类单元包括若干MLP层；所述将所述稀疏特征信息输入所述分类单元，得到稀疏分类信息，包括：
将所述稀疏特征信息输入第一个所述MLP层，得到第一分类特征信息；
将所述第一分类特征信息输入第二个所述MLP层，得到所述稀疏分类信息。
8.一种基于多分类稀疏点云的骨关节模型重建装置，其特征在于，包括：
图像获取模块，其用于获取骨关节的多层切片图像；
分割提取模块，其用于对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
点云生成模块，其用于基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
点云转换模块，其用于基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
模型重建模块，其用于通过所述稠密点云数据重建骨关节模型。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取骨关节的多层切片图像；
对每层所述切片图像进行图像分割，并对图像分割结果进行边缘提取；
基于多层切片图像的边缘提取结果生成骨关节的稀疏点云数据；
基于多分类稀疏点云网络将所述稀疏点云数据转换为稠密点云数据；
通过所述稠密点云数据重建骨关节模型。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于多分类稀疏点云的骨关节模型重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108281.8A CN117173463A (zh) | 2023-08-30 | 2023-08-30 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108281.8A CN117173463A (zh) | 2023-08-30 | 2023-08-30 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173463A true CN117173463A (zh) | 2023-12-05 |
Family
ID=88933009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311108281.8A Pending CN117173463A (zh) | 2023-08-30 | 2023-08-30 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173463A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117670839A (zh) * | 2023-12-08 | 2024-03-08 | 北京长木谷医疗科技股份有限公司 | 膝关节炎辅助检测评估方法、装置、设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728671A (zh) * | 2019-10-15 | 2020-01-24 | 西安电子科技大学 | 基于视觉的无纹理场景的稠密重建方法 |
| CN111815766A (zh) * | 2020-07-28 | 2020-10-23 | 复旦大学附属华山医院 | 基于2d-dsa图像重建血管三维模型处理方法及系统 |
| WO2021185322A1 (zh) * | 2020-03-18 | 2021-09-23 | 广州极飞科技有限公司 | 图像处理方法及相关装置 |
| CN114758093A (zh) * | 2022-03-31 | 2022-07-15 | 深圳万兴软件有限公司 | 基于图像序列的三维模型生成方法、装置、设备及介质 |
| CN114972625A (zh) * | 2022-03-22 | 2022-08-30 | 广东工业大学 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
| CN115578574A (zh) * | 2022-10-28 | 2023-01-06 | 北京理工大学 | 一种基于深度学习和拓扑感知的三维点云补全方法 |
| CN116051736A (zh) * | 2022-12-23 | 2023-05-02 | 科大讯飞股份有限公司 | 一种三维重建方法、装置、边缘设备和存储介质 |
| CN116168143A (zh) * | 2021-11-25 | 2023-05-26 | 华为技术有限公司 | 一种多视图三维重建的方法 |
| CN116310753A (zh) * | 2023-02-17 | 2023-06-23 | 江西科骏实业有限公司 | 一种室外场景点云数据的矢量化骨架提取方法及系统 |
-
2023
- 2023-08-30 CN CN202311108281.8A patent/CN117173463A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728671A (zh) * | 2019-10-15 | 2020-01-24 | 西安电子科技大学 | 基于视觉的无纹理场景的稠密重建方法 |
| WO2021185322A1 (zh) * | 2020-03-18 | 2021-09-23 | 广州极飞科技有限公司 | 图像处理方法及相关装置 |
| CN111815766A (zh) * | 2020-07-28 | 2020-10-23 | 复旦大学附属华山医院 | 基于2d-dsa图像重建血管三维模型处理方法及系统 |
| CN116168143A (zh) * | 2021-11-25 | 2023-05-26 | 华为技术有限公司 | 一种多视图三维重建的方法 |
| WO2023093739A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 一种多视图三维重建的方法 |
| CN114972625A (zh) * | 2022-03-22 | 2022-08-30 | 广东工业大学 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
| CN114758093A (zh) * | 2022-03-31 | 2022-07-15 | 深圳万兴软件有限公司 | 基于图像序列的三维模型生成方法、装置、设备及介质 |
| CN115578574A (zh) * | 2022-10-28 | 2023-01-06 | 北京理工大学 | 一种基于深度学习和拓扑感知的三维点云补全方法 |
| CN116051736A (zh) * | 2022-12-23 | 2023-05-02 | 科大讯飞股份有限公司 | 一种三维重建方法、装置、边缘设备和存储介质 |
| CN116310753A (zh) * | 2023-02-17 | 2023-06-23 | 江西科骏实业有限公司 | 一种室外场景点云数据的矢量化骨架提取方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| WENTAO YUAN ET AL.: "PCN: Point Completion Network", 《2018 INTERNATIONAL CONFERENCE ON 3D VISION (3DV)》, 14 October 2018 (2018-10-14), pages 1 * |
| 林连庆;杨志刚;: "一种基于图像集合的三维重建方法", 电子世界, no. 12, 23 June 2016 (2016-06-23) * |
| 梁艳;盛业华;谢荣;: "近景图像序列线特征约束的建筑物立面重建", 测绘科学, no. 06, 15 September 2017 (2017-09-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117670839A (zh) * | 2023-12-08 | 2024-03-08 | 北京长木谷医疗科技股份有限公司 | 膝关节炎辅助检测评估方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Voxel-based representation of 3D point clouds: Methods, applications, and its potential use in the construction industry | |
| CN114092386A (zh) | 缺陷检测方法和设备 | |
| Yan et al. | Variational mesh segmentation via quadric surface fitting | |
| CN113781667B (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
| CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| US11983815B2 (en) | Synthesizing high resolution 3D shapes from lower resolution representations for synthetic data generation systems and applications | |
| CN114708255B (zh) | 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 | |
| CN113012063B (zh) | 一种动态点云修复方法、装置及计算机设备 | |
| CN114187310A (zh) | 基于八叉树和PointNet++网络的大规模点云分割方法 | |
| CN117173463A (zh) | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 | |
| CN111681204B (zh) | 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 | |
| CN114639102B (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| Van Nguyen et al. | Geometric modeling: background for processing the 3d objects | |
| CN115937461A (zh) | 多源融合模型构建及纹理生成方法、装置、介质及设备 | |
| CN114419278A (zh) | 室内三维彩色网格模型生成方法及系统 | |
| CN112529849B (zh) | 一种ct肋骨自动计数方法及装置 | |
| CN111369662A (zh) | Ct图像中血管的三维模型重建方法及系统 | |
| CN116894844B (zh) | 一种髋关节图像分割与关键点联动识别方法及装置 | |
| CN117788544A (zh) | 一种基于轻量级注意力机制的图像深度估计方法 | |
| CN116912675A (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| Zhao et al. | NormalNet: Learning-based normal filtering for mesh denoising | |
| CN116051813A (zh) | 全自动智能腰椎定位与识别方法及应用 | |
| CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN112017190B (zh) | 一种用于血管分割补全的全局网络构建和训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |