CN117593195A - 基于分层误差抑制的点云融合方法、装置、设备及介质 - Google Patents
基于分层误差抑制的点云融合方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117593195A CN117593195A CN202311549782.XA CN202311549782A CN117593195A CN 117593195 A CN117593195 A CN 117593195A CN 202311549782 A CN202311549782 A CN 202311549782A CN 117593195 A CN117593195 A CN 117593195A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- view
- sampling
- point
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001629 suppression Effects 0.000 title claims abstract description 60
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 138
- 230000004927 fusion Effects 0.000 claims abstract description 49
- 238000009499 grossing Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000000554 physical therapy Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 1
- 208000000112 Myalgia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000013465 muscle pain Diseases 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及数据处理技术领域，揭露一种基于点云分层误差抑制的点云融合方法，包括：采集目标物体的点云数据，得到原始多视角点云，并获取原始多视角点云的多个拍摄视角，将原始多视角点云进行拆分，得到多个原始单视角点云；在原始单视角点云中进行采样，得到稀疏采样点云；获取点云采集指令的采样场景，根据采样场景和稀疏采样点云构建ROI区域，并从ROI区域提取点云数据，得到标准单视角点云；基于拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；对多视角融合点云进行平滑处理，得到误差抑制的融合点云。本发明还提出一种基于点云分层误差抑制的点云融合装置、设备及存储介质。本发明可以提升点云数据的质量。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于点云分层误差抑制的点云融合方法、装置、设备及介质。
背景技术
机器人辅助按摩理疗作为一项新型的物理疗法，在现代医疗中受到越来越多的关注和引用，将机器人技术和按摩理疗等物理疗法相结合，通过机械设备来模拟人工按摩揉捏等手动按摩技术，以达到舒缓肌肉疼痛，缓解肌肉僵硬和改善血液循环的疗效。
在通过机器人进行辅助按摩理疗时，为了根据患者的情况定制化按摩方案，需要获取被按摩人身体构建的3D点云数据，然而现有技术一般使用多个3D相机对人体进行多视角观测采集，然后将观测采集到的点云数据进行拼接融合，已形成大范围超180度的完整曲面点云，但是在对采集到的点云数据进行拼接时，由于人体存在各种微小的移动(如有意的耸肩动作和无意的大幅呼吸运动等)，导致拼接融合后的点云数据存在点云分层误差的问题，形成的完整曲面点云存在各种缺陷。
发明内容
本发明提供一种基于点云分层误差抑制的点云融合方法、装置、设备及介质，其主要目的在于提升点云数据的质量。
为实现上述目的，本发明提供的一种基于点云分层误差抑制的点云融合方法，包括：
基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；
通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
可选地，所述基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云，包括：
步骤1、将所述拍摄视角作为视角I，初始化所述视角I＝0，并将多个所述标准单视角点云对应的视角数设置为Nv；
步骤2、获取所述标准单视角点云中数据点的集合，得到单视角点云集合，并根据数据点的点云法线对所述单视角点云集合中的数据点进行筛选，得到筛选点云集合；
步骤3、通过所述视角I的相机外参矩阵将所述筛选点云集合变换至所述视角I的相机坐标系，得到相机视角点云；
步骤4、利用所述视角I的相机内参矩阵将所述相机视角点云投影到所述视角I的图像平面，得到二维坐标点云；
步骤5、对所述二维坐标点云进行等比缩放，得到缩放二维坐标点云；
步骤6、通过所述缩放二维坐标点云计算所述相机视角点云在视角I图像平面的平均深度，得到点云平均深度图；
步骤7、获取所述筛选点云集合中除所述视角I以外的其他视角的数据点，得到剩余视角点云集合，并计算所述剩余点云集合与所述点云平均深度图的深度差异，得到点云深度差异；
步骤8、基于所述点云深度差异，计算除所述视角I以外的其他视角在图像平面的平均深度差异，得到平均深度差异图；
步骤9、对于除所述视角I以外的其他视角的每个数据点，通过所述平均深度差异图判断每个数据点是否为分层误差点，并在为所述分层误差点时，将所述数据点删除，反之则保留：
步骤10、在所述视角I为Nv-1时退出，得到多视角融合点云，否则令I＝I+1并返回步骤2。
可选地，所述通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云，包括：
通过所述点云密度确定采样间隔，得到目标采样间隔；
基于所述原始单视角点云中的点云空间将所述目标采样间隔转化为采样时的步长，得到采样步长；
从所述原始单视角点云中选择采样点，得到初始采样点；
根据所述初始采样点，利用所述采样步长在所述原始单视角点云中进行采样，直至遍历所述原始单视角点云，得到所述稀疏采样点云。
可选地，所述根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云，包括：
获取所述采集场景的空间约束规则，并通过所述空间约束规则和所述稀疏采样点云构建划分区域，得到所述ROI区域；
提取所述ROI区域内的点云数据，得到筛选点云，并获取所述筛选点云中最大的连续曲面点云片，得到所述标准单视角点云。
可选地，所述根据数据点的点云法线对所述单视角点云集合中的数据点进行筛选，得到筛选点云集合之前，所述方法还包括：
获取所述单视角点云集合中的各个数据点，并计算所述各个数据点的邻域内的协方差矩阵，得到邻域协方差矩阵；
对所述邻域协方差矩阵进行特征值分解，得到特征向量和特征值；
根据所述特征值的大小，选择最小特征值所对应的特征向量作为点的法线方向，得到所述点云法线。
可选地，所述通过所述视角I的相机外参矩阵将所述筛选点云集合变换至所述视角I的相机坐标系，得到相机视角点云，包括：
利用下述计算公式计算所述相机视角点云：
其中，HI为所述视角I的相机外参矩阵，为所述筛选点云集合。
可选地，所述通过所述缩放二维坐标点云计算所述相机视角点云在视角I图像平面的平均深度，得到点云平均深度图，包括：
利用下述计算公式计算所述点云平均深度图；
其中，NZ(x,y)表示的大小，/>为所述相机视角点云，/>和/>为所述视角I的两个缩放二维坐标点云的坐标。
为了解决上述问题，本发明还提供一种基于点云分层误差抑制的点云融合装置，所述装置包括：
点云获取模块，用于基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
点云稀疏化模块，用于获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
点云标准化模块，用于获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
点云误差抑制模块，用于基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于点云分层误差抑制的点云融合方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现如上所述的基于点云分层误差抑制的点云融合方法。
本发明实施例在采集目标物体的点云数据，得到原始多视角点云，并获取原始多视角点云的多个拍摄视角，将原始多视角点云进行拆分，得到多个原始单视角点云，实现原始点云的获取，之后在原始单视角点云中进行采样，得到稀疏采样点云，实现降低点云数据量的目的，然后获取点云采集指令的采样场景，根据采样场景和稀疏采样点云构建ROI区域，并从ROI区域提取点云数据，得到标准单视角点云，之后基于拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云，实现点云分层误差抑制的目的，最后对多视角融合点云进行平滑处理，得到误差抑制的融合点云，解决了点云构建过程中，不同层点云之间融合不贴合，存在分层误差的问题。因此本发明提出的基于点云分层误差抑制的点云融合方法、装置、电子设备及计算机可读存储介质，可以降低点云的缺陷，提升点云数据的质量。
附图说明
图1为本发明一实施例提供的一种基于点云分层误差抑制的点云融合方法的流程示意图；
图2为本发明一实施例提供的基于点云分层误差抑制的点云融合装置的模块示意图；
图3为本发明一实施例提供的实现基于点云分层误差抑制的点云融合方法的电子设备的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于点云分层误差抑制的点云融合方法。所述基于点云分层误差抑制的点云融合方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。换言之，所述基于点云分层误差抑制的点云融合方法可以由安装在远端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的一种基于点云分层误差抑制的点云融合方法的流程示意图。在本实施例中，所述基于点云分层误差抑制的点云融合方法包括以下步骤S1-S5：
S1、基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云。
本发明实施例中，所述结构光传感器是一种用于三维重建和深度测量的传感器，通过发射结构化的光源，然后利用相机或者其他传感器来捕捉光源反射或投影出的图案，从而实现对目标物体的形状和深度的感知。
其中，所述目标物体为点云数据采集时，不可避免的出现各种微小移动动作的物体，如存在呼吸状态的人体，以及某些安装在运动设备中，在点云采集时不可避免存在机械震动的设备。
本发明实施例中，通过所述结构光传感器采集目标物体点云数据，得到的原始多视角点云相比于3D相机采集的点云数据而言，是已经根据拍摄视角进行初步拼接的立体点云数据，但是在这种立体点云数据中，由于拍摄时目标物体的移动，仍存在点云分层误差的问题。
本发明实施例中，由于所述原始多视角点云是由多个拍摄视角的点云构成的，因此，在获取到原始多视角点云的多个拍摄视角后，可以将所述原始多视角点云进行拆分，得到多个原始单视角点云。
其中，可将所述原始多视角点云看作视角点云的集合{Vi|0≤i<Nv}，所述原始多视角点云可有Nv个视角，每个视角的点云为Vi，Vi＝{[xj,yj,zj,1]T|0≤j<Ni}表示拍摄视角I采集Ni个三维点的集合，每个点为4×1矩阵。
S2、获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云。
本发明实施例中，所述采样步长是指在对所述原始单视角点云进行采样时，两个相邻采样点之间的距离或间隔。
本发明实施例中，所述通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云，包括：
通过所述点云密度确定采样间隔，得到目标采样间隔；
基于所述原始单视角点云中的点云空间将所述目标采样间隔转化为采样时的步长，得到采样步长；
从所述原始单视角点云中选择采样点，得到初始采样点；
根据所述初始采样点，利用所述采样步长在所述原始单视角点云中进行采样，直至遍历所述原始单视角点云，得到所述稀疏采样点云。
具体的，所述初始采样点进行采样时的起点，所述初始采样点的选择可以根据具体的需求和应用场景来决定，可以选择点云中的第一个点作为初始采样点，也可以选择一个具有代表性的点作为初始采样点，并且初始采样点的选择可能会影响到最终的稀疏点云的分布和特征。
进一步地，所述采样间隔和采样步长是相关联的概念，在同一个确定的点云空间中，可以通过计算将采样间隔和采样步长进行相互转换。
本发明实施例中，得到稀疏采样点云的过程是一种下采样过程，通过下采样可以将原始点云中过多的数据点进行压缩和简化，得到一个相对稀疏的点云，减少点云数据量，提高点云数据的处理效率和准确性。
S3、获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云。
本发明实施例中，所述采样场景是指进行点云采样操作时的具体环境或应用场景。在点云处理中，所述ROI(Region of Interest)区域指的是从点云数据中选择出的特定区域。
进一步地，所述根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云，包括：
获取所述采集场景的空间约束规则，并通过所述空间约束规则和所述稀疏采样点云构建划分区域，得到所述ROI区域；
提取所述ROI区域内的点云数据，得到筛选点云，并获取所述筛选点云中最大的连续曲面点云片，得到所述标准单视角点云。
本发明实施例中，所述连续曲面点云片(Continuous Surface Point CloudPatches)是指由一组连续的点云构成的点云片段，这些点云片段代表着在三维空间中光滑的曲面。每个点云片段都包含了曲面上的一些离散点，这些点在局部区域内具有相似的几何形状和法线方向。
具体的，所述空间约束规则是在处理三维数据时，对物体或场景的空间位置、关系和约束进行定义和规定的规则。这些规则可以用于限制算法的搜索范围，提供更准确的分析和处理结果，常用的空间约束规则例如，距离约束、邻近关系约束、方向约束等。
本发明实施例中，根据所述采样场景构建ROI区域，并从所述ROI区域中提取点云数据，得到标准单视角点云的过程为一种点云曲面分割的过程。可以通过对点云进行曲面分割，可以将物体的点云图分割成不同部分，从而便于对不同部分进行独立的识别和处理。
S4、基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云。
本发明实施例中，所述基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云，包括：
S401、将所述拍摄视角作为视角I，初始化所述视角I＝0，并将多个所述标准单视角点云对应的视角数设置为Nv：
S402、获取所述标准单视角点云中数据点的集合，得到单视角点云集合，并根据数据点的点云法线对所述单视角点云集合中的数据点进行筛选，得到筛选点云集合；
S403、通过所述视角I的相机外参矩阵将所述筛选点云集合变换至所述视角I的相机坐标系，得到相机视角点云；
S404、利用所述视角I的相机内参矩阵将所述相机视角点云投影到所述视角I的图像平面，得到二维坐标点云；
S405、对所述二维坐标点云进行等比缩放，得到缩放二维坐标点云；
S406、通过所述缩放二维坐标点云计算所述相机视角点云在视角I图像平面的平均深度，得到点云平均深度图；
S407、获取所述筛选点云集合中除所述视角I以外的其他视角的数据点，得到剩余视角点云集合，并计算所述剩余点云集合与所述点云平均深度图的深度差异，得到点云深度差异；
S408、基于所述点云深度差异，计算除所述视角I以外的其他视角在图像平面的平均深度差异，得到平均深度差异图；
S409、对于除所述视角I以外的其他视角的每个数据点，通过所述平均深度差异图判断每个数据点是否为分层误差点，并在为所述分层误差点时，将所述数据点删除，反之则保留；
S4010、在所述视角I为Nv-1时退出，得到多视角融合点云，否则令I＝I+1并返回S402。
本发明实施例中，所述通过所述视角I的相机外参矩阵将所述筛选点云集合变换至所述视角I的相机坐标系，得到相机视角点云的计算公式为：
其中，HI为视角I的相机外参矩阵，为筛选点云集合。
本发明实施例中，所述二维坐标点云的计算公式为：
其中，KI为所述视角I的相机内参矩阵。
本发明实施例中，所述对所述二维坐标点云进行等比缩放，得到缩放二维坐标点云的计算公式为：
其中，S为预设缩放倍数，Pi(j)为所述二维坐标点云中二维坐标点。
进一步地，所述计算所述相机视角点云在视角I图像平面的平均深度，得到点云平均深度图的公式为：
其中，NZ(x,y)表示的大小，/>为所述相机视角点云，/>和/>为视角I的两个缩放二维坐标点云的坐标。
进一步地，所述根据数据点的点云法线对所述单视角点云集合中的数据点进行筛选，得到筛选点云集合之前，所述方法还包括：
获取所述单视角点云集合中的各个数据点，并计算所述各个数据点的邻域内的协方差矩阵，得到邻域协方差矩阵；
对所述邻域协方差矩阵进行特征值分解，得到特征向量和特征值；
根据所述特征值的大小，选择最小特征值所对应的特征向量作为点的法线方向，得到所述点云法线。
S5、通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
本发明实施例中，所述高斯滤波是一种常见的平滑滤波算法，利用高斯分布函数的权值对像素进行模糊处理，可以用于图像和点云数据的降噪、平滑和去除噪声等操作。
进一步地，通过对所述多视角融合点云进行平滑处理，可以减少点云的不规则性和噪声，使其更加规则、平滑和易于处理。
本发明实施例在采集目标物体的点云数据，得到原始多视角点云，并获取原始多视角点云的多个拍摄视角，将原始多视角点云进行拆分，得到多个原始单视角点云，实现原始点云的获取，之后在原始单视角点云中进行采样，得到稀疏采样点云，实现降低点云数据量的目的，然后获取点云采集指令的采样场景，根据采样场景和稀疏采样点云构建ROI区域，并从ROI区域提取点云数据，得到标准单视角点云，之后基于拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云，实现点云分层误差抑制的目的，最后对多视角融合点云进行平滑处理，得到误差抑制的融合点云，解决了点云构建过程中，不同层点云之间融合不贴合，存在分层误差的问题。因此本发明提出的基于点云分层误差抑制的点云融合方法、装置、电子设备及计算机可读存储介质，可以降低点云的缺陷，提升点云数据的质量。
如图2所示，是本发明基于点云分层误差抑制的点云融合装置的模块示意图。
本发明所述基于点云分层误差抑制的点云融合装置100可以安装于电子设备中。根据实现的功能，所述基于点云分层误差抑制的点云融合装置可以包括点云获取模块101、点云稀疏化模块102、点云标准化模块103和点云误差抑制模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述点云获取模块101，用于基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
点云稀疏化模块102，用于获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
点云标准化模块103，用于获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
点云误差抑制模块104，用于基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
详细地，本发明实施例中所述基于点云分层误差抑制的点云融合装置100中所述的各模块在使用时采用与上述图1所述的基于点云分层误差抑制的点云融合方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图3所示，是本发明实现基于点云分层误差抑制的点云融合方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于点云分层误差抑制的点云融合程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing Unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于点云分层误差抑制的点云融合程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于点云分层误差抑制的点云融合程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的基于点云分层误差抑制的点云融合程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：
基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；
通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；
通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于点云分层误差抑制的点云融合方法，其特征在于，所述方法包括：
基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；
通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
2.如权利要求1所述的基于点云分层误差抑制的点云融合方法，其特征在于，所述基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云，包括：
步骤1、将所述拍摄视角作为视角I，初始化所述视角I＝0，并将多个所述标准单视角点云对应的视角数设置为Nv；
步骤2、获取所述标准单视角点云中数据点的集合，得到单视角点云集合，并根据数据点的点云法线对所述单视角点云集合中的数据点进行筛选，得到筛选点云集合；
步骤3、通过所述视角I的相机外参矩阵将所述筛选点云集合变换至所述视角I的相机坐标系，得到相机视角点云；
步骤4、利用所述视角I的相机内参矩阵将所述相机视角点云投影到所述视角I的图像平面，得到二维坐标点云；
步骤5、对所述二维坐标点云进行等比缩放，得到缩放二维坐标点云；
步骤6、通过所述缩放二维坐标点云计算所述相机视角点云在视角I图像平面的平均深度，得到点云平均深度图；
步骤7、获取所述筛选点云集合中除所述视角I以外的其他视角的数据点，得到剩余视角点云集合，并计算所述剩余点云集合与所述点云平均深度图的深度差异，得到点云深度差异；
步骤8、基于所述点云深度差异，计算除所述视角I以外的其他视角在图像平面的平均深度差异，得到平均深度差异图；
步骤9、对于除所述视角I以外的其他视角的每个数据点，通过所述平均深度差异图判断每个数据点是否为分层误差点，并在为所述分层误差点时，将所述数据点删除，反之则保留：
步骤10、在所述视角I为Nv-1时退出，得到多视角融合点云，否则令I＝I+1并返回步骤2。
3.如权利要求1所述的基于点云分层误差抑制的点云融合方法，其特征在于，所述通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云，包括：
通过所述点云密度确定采样间隔，得到目标采样间隔；
基于所述原始单视角点云中的点云空间将所述目标采样间隔转化为采样时的步长，得到采样步长；
从所述原始单视角点云中选择采样点，得到初始采样点；
根据所述初始采样点，利用所述采样步长在所述原始单视角点云中进行采样，直至遍历所述原始单视角点云，得到所述稀疏采样点云。
4.如权利要求1所述的基于点云分层误差抑制的点云融合方法，其特征在于，所述根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云，包括：
获取所述采集场景的空间约束规则，并通过所述空间约束规则和所述稀疏采样点云构建划分区域，得到所述ROI区域；
提取所述ROI区域内的点云数据，得到筛选点云，并获取所述筛选点云中最大的连续曲面点云片，得到所述标准单视角点云。
5.如权利要求2所述的基于点云分层误差抑制的点云融合方法，其特征在于，所述根据数据点的点云法线对所述单视角点云集合中的数据点进行筛选，得到筛选点云集合之前，所述方法还包括：
获取所述单视角点云集合中的各个数据点，并计算所述各个数据点的邻域内的协方差矩阵，得到邻域协方差矩阵；
对所述邻域协方差矩阵进行特征值分解，得到特征向量和特征值；
根据所述特征值的大小，选择最小特征值所对应的特征向量作为点的法线方向，得到所述点云法线。
6.如权利要求2所述的基于点云分层误差抑制的点云融合方法，其特征在于，所述通过所述视角I的相机外参矩阵将所述筛选点云集合变换至所述视角I的相机坐标系，得到相机视角点云，包括：
利用下述计算公式计算所述相机视角点云：
其中，HI为所述视角I的相机外参矩阵，为所述筛选点云集合。
7.如权利要求1至6中任一项所述的基于点云分层误差抑制的点云融合方法，其特征在于，所述通过所述缩放二维坐标点云计算所述相机视角点云在视角I图像平面的平均深度，得到点云平均深度图，包括：
利用下述计算公式计算所述点云平均深度图；
其中，NZ(x,y)表示的大小，/>为所述相机视角点云，和/>为所述视角I的两个缩放二维坐标点云的坐标。
8.一种基于点云分层误差抑制的点云融合装置，其特征在于，所述装置包括：
点云获取模块，用于基于预设的点云采集指令，通过结构光传感器采集目标物体的点云数据，得到原始多视角点云，并获取所述原始多视角点云的多个拍摄视角，根据所述拍摄视角将原始多视角点云进行拆分，得到多个原始单视角点云；
点云稀疏化模块，用于获取所述原始单视角点云的点云密度，通过所述点云密度得到采样步长，并根据所述采样步长在所述原始单视角点云中进行采样，得到稀疏采样点云；
点云标准化模块，用于获取所述点云采集指令的采样场景，根据所述采样场景和所述稀疏采样点云构建ROI区域，并从所述ROI区域提取点云数据，得到标准单视角点云；
点云误差抑制模块，用于基于所述拍摄视角对多个标准单视角点云进行点云分层误差抑制，得到多视角融合点云；通过高斯滤波法对所述多视角融合点云进行平滑处理，得到误差抑制的融合点云。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于点云分层误差抑制的点云融合方法。
10.一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于点云分层误差抑制的点云融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311549782.XA CN117593195A (zh) | 2023-11-16 | 2023-11-16 | 基于分层误差抑制的点云融合方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311549782.XA CN117593195A (zh) | 2023-11-16 | 2023-11-16 | 基于分层误差抑制的点云融合方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117593195A true CN117593195A (zh) | 2024-02-23 |
Family
ID=89909290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311549782.XA Pending CN117593195A (zh) | 2023-11-16 | 2023-11-16 | 基于分层误差抑制的点云融合方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593195A (zh) |
-
2023
- 2023-11-16 CN CN202311549782.XA patent/CN117593195A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3818500B1 (en) | Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning | |
| EP3961500A1 (en) | Medical image detection method based on deep learning, and related device | |
| CN111696084B (zh) | 细胞图像分割方法、装置、电子设备及可读存储介质 | |
| CN116310076A (zh) | 基于神经辐射场的三维重建方法、装置、设备及存储介质 | |
| WO2023078169A1 (zh) | 医学图像标记点识别方法、装置、电子设备及存储介质 | |
| CN111915609A (zh) | 病灶检测分析方法、装置、电子设备及计算机存储介质 | |
| CN116229007B (zh) | 利用bim建模的四维数字图像构建方法、装置、设备及介质 | |
| CN113724185A (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN117593200A (zh) | 一种多视角体表标记点融合方法、装置、设备及介质 | |
| CN113627394B (zh) | 人脸提取方法、装置、电子设备及可读存储介质 | |
| CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
| CN113610746A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN115294426B (zh) | 介入医学设备的跟踪方法、装置、设备及存储介质 | |
| Laskov et al. | Curvature-based algorithms for nonrigid motion and correspondence estimation | |
| CN116563539A (zh) | 肿瘤图像分割方法、装置、设备及计算机可读存储介质 | |
| CN117593195A (zh) | 基于分层误差抑制的点云融合方法、装置、设备及介质 | |
| CN114155400B (zh) | 一种图像的处理方法、装置及设备 | |
| CN113920269B (zh) | 工程进度获取方法、装置、电子设备及介质 | |
| CN115908515A (zh) | 影像配准方法、影像配准模型的训练方法及装置 | |
| CN111598904B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN114298986A (zh) | 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统 | |
| CN113160144B (zh) | 目标物检测方法、装置、电子设备及存储介质 | |
| CN117726746B (zh) | 三维人体重建方法、装置、设备、存储介质及程序产品 | |
| CN113516669B (zh) | 一种基于ct影像的气管提取方法、装置、设备及存储介质 | |
| CN117495693B (zh) | 用于内窥镜的图像融合方法、系统、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |