CN113947623A - 一种粗糙度检测方法、slam定位方法及施工方法 - Google Patents

一种粗糙度检测方法、slam定位方法及施工方法 Download PDF

Info

Publication number
CN113947623A
CN113947623A CN202111212171.7A CN202111212171A CN113947623A CN 113947623 A CN113947623 A CN 113947623A CN 202111212171 A CN202111212171 A CN 202111212171A CN 113947623 A CN113947623 A CN 113947623A
Authority
CN
China
Prior art keywords
construction
image
wall surface
roughness
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111212171.7A
Other languages
English (en)
Inventor
邓煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dafang Intelligent Technology Co ltd
Original Assignee
Shenzhen Dafang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dafang Intelligent Technology Co ltd filed Critical Shenzhen Dafang Intelligent Technology Co ltd
Priority to CN202111212171.7A priority Critical patent/CN113947623A/zh
Publication of CN113947623A publication Critical patent/CN113947623A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种粗糙度检测方法、SLAM定位方法及施工方法，检测方法包括获取施工墙面的2D图像及对应的深度数据信息；利用粗糙度检测模型或者图像灰度处理算法，获取施工墙面粗糙值；SLAM定位方法包括当施工装置在平整墙面区域施工时，获取并存储当前位置信息及对应的粗糙值、2D图像及深度信息；当施工装置在非平整墙面区域施工时，利用2D图像及对应的深度信息进行SLAM定位；还公开了一种施工方法。实施本发明，通过获取不同施工位置的粗擦度，并根据施工墙面水泥的参数设置打磨参数，进而对施工墙面进行差异化打磨施工，提高施工效果和施工质量，通过进行SLAM定位，确定打磨施工效果，从而调整抹腻子的施工参数，使得每个项目获取最优施工效果。

Description

一种粗糙度检测方法、SLAM定位方法及施工方法
技术领域
本发明涉及室内机器人智能施工技术领域，特别涉及一种粗糙度检测方法、SLAM定位方法及施工方法。
背景技术
随着建筑行业的智能化，涌现出多种建筑施工机器人，施工机器人替代人工，可以实现安全、高效地施工。其中的内墙处理部分，包括对水泥墙面的打磨，去除水泥面的毛刺、在水泥墙面抹刮腻子、腻子层，来使得墙面整体更加平整。对腻子层墙面的打磨以及去除腻子层的接缝等，使得腻子层更加平整；在腻子层上进行喷漆或刷漆。墙面不同的粗糙度、硬度，决定了设备应该用不同的处理参数。不同项目的水泥墙面的软硬程度不同，因此相同粗糙程度需要的处理方式不同。
在使用机器人对墙面进行处理时，需要针对墙面不同的粗糙程度进行差异化处理。如墙面较为粗糙，则打磨工序需要使单位面积墙面接受的打磨力度更大，时间更久；抹腻子工序刮板与墙面间需要有更大的压力。如果不进行差异化处理，施工过程低效且质量难以保证。
吸附式施工机器人和吊篮式施工机器人不适合在室内工作，例如吸附式外立面清洁机器人在施工时需要吸附在外墙面对外墙面进行打磨、清洗工作，而室内墙面粗糙没有磁性；而吊篮式外立面清洁机器人，则需要在顶楼设置固定结构，放下吊篮。
因此室内施工工作一般使用抬升式机器人，包括单一功能的打磨、抹腻子、喷漆设备，每次设备抬升使得施工装置升高，在升高过程中施工装置完成垂直方向的打磨、抹腻子、喷漆功能。
但是现有的抬升式机器人，无法准确检测室内施工墙面的粗糙度，不能根据不同的墙面进行差异化施工，无法进行精确定位、规划施工路线，不能进行智能施工。
发明内容
针对上述问题，提出一种粗糙度检测方法，定位方法及施工方法，通过对施工区域进行粗糙度检测，获取不同施工位置的粗擦度，并根据施工墙面水泥的参数设置施工装置的打磨参数，进而使得施工装置可以对施工墙面进行差异化打磨施工，提高施工效果和施工质量，通过对施工装置进行SLAM定位，对比施工前后相同位置墙面的粗糙度，确定打磨施工效果，从而调整抹腻子的施工参数，使得每个项目获取最优施工效果。
第一方面，一种粗糙度检测方法，利用设置在施工装置中的第一感知单元、第二感知单元及计算单元对要施工的墙面进行粗糙度检测，包括步骤：
步骤100、获取施工墙面的2D图像及对应的深度数据信息；
步骤200、利用粗糙度检测模型或者图像灰度处理算法，获取施工墙面粗糙值；
其中，步骤200包括：
步骤210、对所述粗糙度检测模型进行训练。
优选地，所述步骤210包括子步骤：
步骤211、利用所述2D图像、深度数据及所述深度数据对应的粗糙值获取最小样本集合；
步骤212、根据所述最小样本集合分别确定训练集及测试集；
步骤213、利用所述训练集训练神经网络深度学习模型，获取粗糙度检测模型；
步骤214、检测施工墙面的2D图像及深度数据信息并输入到所述粗糙度检测模型，获取施工墙面粗糙度。
优选地，所述步骤214包括子步骤：
步骤2141、利用所述粗糙度检测模型中的第一深度学习结构对所述2D图像进行处理，获取第一深度数据；
步骤2142、利用所述粗糙度检测模型中的第二深度学习结构对所述深度数据信息进行处理，获取第二深度数据；
步骤2143、在所述粗糙度检测模型的全连接层将所述第一深度数据，第二深度数据进行合并再次输入全连接层；
步骤2144、对施工墙面图像每个点云的粗糙值进行分类判断，输出粗糙值；
优选地，所述步骤2142包括：
步骤21421、利用转换矩阵T-Net对点云数据集合进行对齐；
步骤21422、通过多次MLP提取所述点云数据集合特征并再次利用所述转换矩阵T-Net进行对齐；
步骤21423、在特征的各个维度上进行maxpooling池化操作，获取最终全局特征；
步骤21424、将全局特征与各点云的局部特征进行串联并通过MLP获取每个数据点的分类结果。
优选地，所述步骤200还包括子步骤：
步骤220、利用图像处理算法获取2D图像粗糙值；
步骤230、利用图像处理算法获取深度数据粗糙值；
步骤240、将所述2D图像粗糙值及深度数据粗糙值进行合成，获取施工墙面粗糙值。
优选地，所述步骤220包括子步骤：
步骤221、利用式子(1)计算2D图像粗糙值：
R2d＝aR2d_1+bR2d_2+cR2d_3 (1)
其中，a，b，c为系数，R2d_1为角点个数，R2d_2为灰度方差，R2d_3为灰度极值；
步骤222、将所述2D图像进行灰度化，获取角点个数、灰度方差及灰度极值。
优选地，所述步骤230包括子步骤：
步骤231、获取深度信息的深度方差R3d_1；
步骤232、获取深度信息的相邻法向量夹角之和R3d_2；
步骤233、利用式子(2)计算深度信息粗糙值：
R3d＝αR3d_1+βR3d_2 (2)
其中，α，β为系数，R3d_1为深度方差，R3d_2为为相邻法向量夹角之和；
优选地，所述步骤232包括步骤：
步骤2321、对点云中的每个点pi以半径A划定邻域范围或者直接选取最近邻的K个点得到邻域内点，使用最小二乘法为邻域内点拟合局部平面；
步骤2322、基于局部平面，计算出垂直于所述局部平面的法向量；
步骤2323、计算相邻法向量的夹角值。
优选地，所述步骤231包括子步骤：
步骤2311、对接收到的深度信息做数据清理，裁剪掉边缘处的n个像素；
步骤2312、将深度数据转化为点云数据；
步骤2313、使用所述点云数据，利用RANSAC算法拟合出墙面；
步骤2314、计算出各点到墙面的距离的方差R3d_1。
第二方面、一种施工装置SLAM定位方法，用于通过利用第一方面中的施工装置的第一感知单元、第二感知单元获取的2D图像及深度信息数据并利用所述计算单元进行图像融合，对所述施工装置进行定位，包括：
步骤300、当施工装置在平整墙面区域施工时，获取并存储当前位置信息及对应的粗糙值、2D图像及深度信息；
步骤400、当施工装置在非平整墙面区域施工时，利用2D图像及对应的深度信息进行SLAM定位。
优选地，所述步骤400，包括子步骤：
步骤410、获取相邻两2D图像的平面融合图像；
步骤420、获取相邻两深度信息的点云融合图像；
步骤430、利用所述平面融合图像及点云融合图像进行SLAM定位；
优选地，
所述步骤410包括：
步骤411、利用K-D TREE算法和BBF算法并根据最近邻和次近邻距离比值进行特征匹配初步筛选；
步骤412、利用RANSAC算法筛选匹配点并计算变换矩阵H1；
步骤413、利用所述变换矩阵H1获取平面融合图像；
所述步骤420包括：
步骤421、获取所述深度信息的包络盒子；
步骤422、利用所述包络盒子获取深度信息点云信息的对应关系；
步骤423、根据所述对应关系计算变换矩阵H2；
步骤424、利用所述变换矩阵H2获取所述点云融合图像；
所述步骤421包括子步骤：
步骤4211、利用RANSAC算法计算墙面的突出物点云；
步骤4212、根据所述突出物点云，利用主成分分析算法获取第一特征向量；
步骤4213、将所有深度信息点云投影到与所述第一特征向量垂直的平面上，获取所述深度信息点云的二维点图像；
步骤4214、在所述二维点图像上利用主成分分析算法获取第二特征向量；
步骤4215、利用所述第一特征向量、第二特征向量计算第三特征向量；
步骤4216、将所述突出物点云在所述第一特征向量、第二特征向量、第三特征向量上投影，获取包络盒子。
3、一种墙面施工方法，利用第一方面所述的粗糙度检测方法对施工墙面进行检测，第二方面所述的施工装置SLAM定位方法对施工装置的行进进行定位，包括:
步骤510、施工装置检测施工区域的粗糙值并获取水泥硬度参数；
步骤520、根据所述粗糙值及水泥硬度参数设置打磨参数，对施工区域进行打磨；
步骤530、对所述施工装置进行SLAM定位并获取当前施工位置粗糙度；
步骤540、根据所述施工区域粗糙度确定当前施工位置的墙面硬度T；
步骤550、根据所述墙面硬度T对施工区域进行抹腻子操作。
与现有技术相比，本发明有以下有益的技术效果：
通过对施工区域进行粗糙度检测，获取不同施工位置的粗擦度，并根据施工墙面水泥的参数设置施工装置的打磨参数，进而使得施工装置可以对施工墙面进行差异化打磨施工，提高施工效果和施工质量，通过对施工装置进行SLAM定位，对比施工前后相同位置墙面的粗糙度，确定打磨施工效果，从而调整抹腻子的施工参数，使得每个项目获取最优施工效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明中一种粗糙度检测方法第一实施例示意图；
图2是本发明中一种粗糙度检测方法第二实施例示意图；
图3是本发明中一种粗糙度检测方法第三实施例示意图；
图4是本发明中一种粗糙度检测方法第四实施例示意图；
图5是本发明中一种粗糙度检测方法第五实施例示意图；
图6是本发明中一种粗糙度检测方法第六实施例示意图；
图7是本发明中一种粗糙度检测方法第七实施例示意图；
图8是本发明中一种粗糙度检测方法第八实施例示意图；
图9是本发明中一种粗糙度检测方法第九实施例示意图；
图10是本发明中一种施工装置SLAM定位方法第一实施例示意图；
图11是本发明中一种施工装置SLAM定位方法第二实施例示意图；
图12是本发明中一种施工装置SLAM定位方法第三实施例示意图；
图13是本发明中一种施工装置SLAM定位方法第四实施例示意图；
图14是本发明中一种施工装置SLAM定位方法第五实施例示意图；
图15是本发明中一种施工方法实施例示意图；
具体实施方式
下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
名词解释：
MLP：多层感知，前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。
RANSAC算法：RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。
SLAM：SLAM(simultaneous localization and mapping)，也称为CML(ConcurrentMapping and Localization),即时定位与地图构建，或并发建图与定位。
k-d tree算法：即k-dimensional tree，常用来作空间划分及近邻搜索，k-d tree是每个节点均为k维数值点的二叉树，其上的每个节点代表一个超平面，该超平面垂直于当前划分维度的坐标轴，并在该维度上将空间划分为两部分，一部分在其左子树，另一部分在其右子树。即若当前节点的划分维度为d，其左子树上所有点在d维的坐标值均小于当前值，右子树上所有点在d维的坐标值均大于等于当前值。
BBF算法：通过对回溯可能需要的路过的结点加入队列，并按照查找点到该结点确定的超平面的距离进行排序，然后每次首先遍历的是优先级最高(即距离最短的结点)，直到队列为空算法结束。同时BBF算法也设立了一个时间限制，如果算法运行时间超过该限制，不管是不是为空，一律停止运行，返回当前的最近邻点作为结果。
现有抬升式机器人存在的问题为：1.无法准确检测室内施工墙面的粗糙度；2.不能根据不同的墙面进行差异化施工；3.无法进行精确定位、规划施工路线、不能进行智能施工。
针对现有抬升式机器人存在的问题，提出一种粗糙度检测方法，定位方法及施工方法，通过对施工区域进行粗糙度检测，获取不同施工位置的粗擦度，并根据施工墙面水泥的参数设置施工装置的打磨参数，进而使得施工装置可以对施工墙面进行差异化打磨施工，提高施工效果和施工质量，通过对施工装置进行SLAM定位，对比施工前后相同位置墙面的粗糙度，确定打磨施工效果，从而调整抹腻子的施工参数，使得每个项目获取最优施工效果、进行智能化施工。
第一方面，如图1，图1是本发明中一种粗糙度检测方法第一实施例示意图，一种粗糙度检测方法，包括：
步骤100、获取施工墙面的2D图像及对应的深度数据信息；
步骤200、利用粗糙度检测模型或者图像灰度处理算法，获取施工墙面粗糙值；
其中，所述获取粗糙值步骤包括：
步骤210、对所述粗糙度检测模型进行训练。
设置在施工装置中的第一感知单元、第二感知单元分别用于获取施工区域的2D图像、深度数据信息。
2D图像、深度数据信息(3D数据)的拍摄获取角点都是垂直于墙面，获取深度数据对应的粗糙值，利用上述深度数据及对应的粗糙值对墙面进行标记。2D图像、深度数据信息及对应的粗糙值构成最小样本集合。
优选地，如图2，图2是本发明中一种粗糙度检测方法第二实施例示意图，步骤:210包括：
步骤211、利用所述2D图像、深度数据及所述深度数据对应的粗糙值获取最小样本集合；步骤212、根据最小样本集合分别确定训练集及测试集；步骤213、利用训练集训练神经网络深度学习模型，获取粗糙度检测模型；步骤214、检测施工墙面的2D图像及深度数据信息并输入到所述粗糙度检测模型，获取施工墙面粗糙度。
优选地，如图3，图3是本发明中一种粗糙度检测方法第三实施例示意图，步骤214包括：
步骤2141、利用粗糙度检测模型中的第一深度学习结构对2D图像进行处理，获取第一深度数据；步骤2142、利用粗糙度检测模型中的第二深度学习结构对深度数据信息进行处理，获取第二深度数据；步骤2143、在粗糙度检测模型的全连接层将第一深度数据，第二深度数据进行合并再次输入全连接层；步骤2144、对施工墙面图像每个点云的粗糙值进行分类判断，输出粗糙值。
2D图像、深度数据信息分别采用不同的神经网络学习结构，第一深度学习结构优选RESNET结构，第二深度学习结构优选PointNet结构，RESNET结构、PointNet结构分别对2D图像、深度数据信息进行卷积操作，并且在卷积层后的全连接层进行合并，将PointNet结构的n*1024与RESNET结构的maxpool层的n*1024合并成为n*2048，合并后再输入全连接层，对施工墙面的粗糙度进行分类操作，并最终输出粗糙值。
优选地，如图4，图4是本发明中一种粗糙度检测方法第四实施例示意图，步骤2142包括：
步骤21421、获取施工墙面图像全部点云数据集合；步骤21422、利用转换矩阵T-Net对点云数据集合进行对齐；步骤21423、通过多次MLP提取点云数据集合特征并再次利用转换矩阵T-Net进行对齐；步骤21424：在特征的各个维度上进行maxpooling池化操作，获取最终全局特征；步骤21425、将全局特征与各点云的局部特征进行串联并通过MLP获取每个数据点的分类结果。
其中的全部点云数据的集合，可以表示为一个n×3的2d Tensor，n为点云数量，对应XYZ坐标。转换矩阵T-Net保证了粗糙度检测模型的对特定空间转换的不变性。在经过多次MLP对各点云数据进行特征提取后，再用一个转换矩阵T-Net进行对齐。
本申请还提供了粗糙度检测的另一个优选实施方式，利用图像处理算法分别对2D图像，深度信息数据进行粗糙检测，最终再合成总的粗糙度数值。
如图5，图5是本发明中一种粗糙度检测方法第五实施例示意图，具体的实施步骤包括：
步骤220、利用图像处理算法获取2D图像粗糙值；步骤230、利用图像处理算法获取深度数据粗糙值；步骤240、将2D图像粗糙值及深度数据粗糙值进行合成，获取施工墙面粗糙值。
优选地，如图6，图6是本发明中一种粗糙度检测方法第六实施例示意图，步骤220包括子步骤：
步骤221、利用式子(1)计算2D图像粗糙值：
R2d＝aR2d_1+bR2d_2+cR2d_3 (1)
其中，a，b，c为系数，R2d_1为角点个数，R2d_2为灰度方差，R2d_3为灰度极值；步骤222、将2D图像进行灰度化，获取角点个数、灰度方差及灰度极值差。
角点个数的检测实施方式：将彩色的2D图像灰度化；使用基于灰度变化的角点检测算法如Harris corner检测算法；检测出的角点个数即为R2d_1。
灰度方差的计算实施方式：将彩色的2D图像灰度化；检测墙面亮度，使用直通滤波去除掉亮度高于200的点，避免反光的墙面的干扰；计算剩余图像的方差，方差即为R2d_2，表征墙面的不均一程度。
灰度极值差：将彩色的2D图像灰度化；提取出墙面灰度值的中位数，并提取出数值在中位数一个方差内的点；中位数一个方差内的点的极值差异即为R2d_3。
优选地，如图7，图7是本发明中一种粗糙度检测方法第七实施例示意图，步骤230包括：
步骤231、获取深度信息的深度方差R3d_1；步骤232、获取深度信息的相邻法向量夹角之和R3d_2；步骤263：利用式子(2)计算深度信息粗糙值：
R3d＝αR3d_1+βR3d_2 (2)
其中，α，β为系数，R3d_1为深度方差，R3d_2为为相邻法向量夹角之和。
优选地，如图8，图8是本发明中一种粗糙度检测方法第八实施例示意图，步骤231包括子步骤：
步骤2311：对接收到的深度信息做数据清理，裁剪掉边缘处的固定n个像素；步骤2312：根据传感设备的内参，将深度数据转化为点云数据；步骤2313：使用点云数据基于RANSAC算法拟合出墙面；步骤2314：计算出各点到墙面的距离；距离的方差即为R3d_1。
优选地，如图9，图9是本发明中一种粗糙度检测方法第九实施例示意图，步骤232包括子步骤：
步骤2321、对点云中的每个点pi以半径A划定邻域范围或者直接选取最近邻的K个点得到邻域内点，使用最小二乘法为邻域内点拟合局部平面；步骤2322、基于局部平面，计算出垂直于平面的法向量；步骤2323、计算各个法向量与其相邻法向量的夹角值。
第二方面，如图10，图10是本发明中一种施工装置SLAM定位方法第一实施例示意图，一种施工装置SLAM定位方法，包括步骤：
步骤300、当施工装置在平整墙面区域施工时，获取并存储当前位置信息及对应的粗糙值、2D图像及深度信息；步骤400、当施工装置在非平整墙面区域施工时，利用2D图像及对应的深度信息进行SLAM定位。
当施工范围为平整墙面没有特征可供匹配时，使用位置信息完成墙面位置与粗糙度、墙面2D图像、3D数据的匹配存储。当同一位置，有多帧原始数据，在数据的交叉区域使用均值滤波的方法完成信息的生成及存储。
当施工区域有阴阳角、天花板、障碍物、门窗等可以提供特征点的物体时，本申请通过感知模块获取的2D图像，深度数据信息进行数据融合并利用融合数据信息进行SLAM定位。具体可以实施为：
如图11，图11是本发明中一种施工装置SLAM定位方法第二实施例示意图，步骤400包括子步骤：
步骤410：获取相邻两2D图像的平面融合图像；步骤420：获取相邻两深度信息的点云融合图像；步骤430：利用平面融合图像及点云融合图像进行SLAM定位。
优选地，如图12，图12是本发明中一种施工装置SLAM定位方法第三实施例示意图，步骤410包括子步骤：
步骤411：利用K-D TREE算法和BBF算法并根据最近邻和次近邻距离比值进行特征匹配初步筛选；步骤412：利用RANSAC算法筛选匹配点并计算变换矩阵H1；步骤413：利用变换矩阵H1获取平面融合图像。
对于2D图像，使用canny边缘检测及Harris角点检测算法，检测出轮廓及角点。2D的轮廓角点利用K-D TREE算法和BBF算法进行特征匹配查找，并根据最近邻和次近邻距离比值进行初步筛选。
平面融合图像可以实施为：最下方完全取自上一帧经变换后的数据，中间的重合部分是两幅图像的加权平均，重合区域上方的部分完全取自下一帧经变换后的图像。
优选地，如图13，图13是本发明中一种施工装置SLAM定位方法第四实施例示意图，步骤420包括子步骤：
步骤421：获取深度信息的包络盒子；步骤422：利用包络盒子获取深度信息点云信息的对应关系；步骤423：根据对应关系计算变换矩阵H2；步骤424：利用变换矩阵H2获取点云融合图像。
深度信息(3D数据)点云信息的对应关系可以理解为：
对点云A中的每一点，搜索在点云B中的对应关系，相互对应关系估计，只用A，B重叠部分，先从A到B找对应，再从B到A找对应。
利用变换矩阵H2获取点云融合图像的步骤可以具体实施为：
根据变化矩阵H2计算刚性变换，得到运动估计，如果运动过大，使用RANSAC算法检测出使运动最大的对应关系并删除，使错误测量值最小化；上一帧图经变换矩阵H1变换到一个新点云数据中，获取点云融合图像。
点云融合图像可以理解为：
最下方完全取自上一帧经变换后的数据，中间的重合部分是两幅点云数据的加权平均，重合区域上方的部分完全取自下一帧经变换后的点云数据。经过点云融合图像即可以完成地图的拼接。
优选地，如图14，图14是本发明中一种施工装置SLAM定位方法第五实施例示意图，步骤421包括子步骤：
步骤4211：利用RANSAC算法计算墙面的突出物点云；步骤4212：根据突出物点云，利用主成分分析算法获取第一特征向量；步骤4213：将所有深度信息点云投影到与特征向量垂直的平面上，获取深度信息点云的二维点图像；步骤4214：在二维点图像上利用主成分分析算法获取第二特征向量；步骤4215：利用第一特征向量、第二特征向量计算第三特征向量；步骤4216：将突出物点云在第一特征向量、第二特征向量、第三特征向量上投影，获取包络盒子。
获取包络盒子的步骤可以具体实施为：
使用RANSAC方法检测出墙面，墙面外的即为突出物；根据突出物体的点云，通过PCA(主成分分析)获得第一特征向量，即OBB包络盒子的主轴；将所有深度信息点云(3D点云)投影至与主轴垂直的平面上，得到平面上的2D点；在2D点中使用PCA(主成分分析)获得第二特征向量，即OBB包络盒子的辅轴方向；通过两轴计算出第三轴方向；再计算得到OBB包络盒子的中心点，三轴均穿过原点；将点云在三轴上投影，得到点云在三轴的极值；通过6个极值，生成包络盒子。
通过对施工装置进行SLAM定位，对比施工前后相同位置墙面的粗糙度，确定打磨施工效果，从而调整抹腻子的施工参数，使得每个项目获取最优施工效果。
第三方面，如图15，图15是本发明中一种施工方法实施例示意图，一种墙面施工方法，利用第一方面的粗糙度检测方法对施工墙面进行检测，利用第二方面的施工装置SLAM定位方法对施工装置的行进进行定位，包括步骤:步骤510：施工装置检测施工区域的粗糙值并获取水泥硬度参数；步骤520：根据粗糙值及水泥硬度参数设置施工装置的打磨参数，对施工区域进行打磨；步骤530：对施工装置进行SLAM定位，获取当前施工位置粗糙度；步骤540：根据施工区域粗糙度确定当前施工位置的墙面硬度T；步骤560：根据墙面硬度T对施工区域进行抹腻子操作。
通过对施工区域进行粗糙度检测，获取不同施工位置的粗擦度，并根据施工墙面水泥的参数设置施工装置的打磨参数，进而使得施工装置可以对施工墙面进行差异化打磨施工，提高施工效果和施工质量。
与现有技术相比，本发明有以下有益的技术效果：
通过对施工区域进行粗糙度检测，获取不同施工位置的粗擦度，并根据施工墙面水泥的参数设置施工装置的打磨参数，进而使得施工装置可以对施工墙面进行差异化打磨施工，提高施工效果和施工质量，通过对施工装置进行SLAM定位，对比施工前后相同位置墙面的粗糙度，确定打磨施工效果，从而调整抹腻子的施工参数，使得每个项目获取最优施工效果。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种粗糙度检测方法，利用设置在施工装置中的第一感知单元、第二感知单元及计算单元对要施工的墙面进行粗糙度检测，其特征在于，包括：
步骤100、获取施工墙面的2D图像及对应的深度数据信息；
步骤200、利用粗糙度检测模型或者图像灰度处理算法，获取施工墙面粗糙值；
其中，步骤200包括：
步骤210、对所述粗糙度检测模型进行训练。
2.如权1所述的粗糙度检测方法，其特征在于，所述步骤210包括：
步骤211、利用所述2D图像、深度数据及所述深度数据对应的粗糙值获取最小样本集合；
步骤212、根据所述最小样本集合分别确定训练集及测试集；
步骤213、利用所述训练集训练神经网络深度学习模型，获取粗糙度检测模型；
步骤214、检测施工墙面的2D图像及深度数据信息并输入到所述粗糙度检测模型，获取施工墙面粗糙度。
3.如权2所述的粗糙度检测方法，其特征在于，所述步骤214包括：
步骤2141、利用所述粗糙度检测模型中的第一深度学习结构对所述2D图像进行处理，获取第一深度数据；
步骤2142、利用所述粗糙度检测模型中的第二深度学习结构对所述深度数据信息进行处理，获取第二深度数据；
步骤2143、在所述粗糙度检测模型的全连接层将所述第一深度数据，第二深度数据进行合并再次输入全连接层；
步骤2144、对施工墙面图像每个点云的粗糙值进行分类判断，输出粗糙值；
其中，所述步骤2142包括：
步骤21421、利用转换矩阵T-Net对点云数据集合进行对齐；
步骤21422、通过多次MLP提取所述点云数据集合特征并再次利用所述转换矩阵T-Net进行对齐；
步骤21423、在特征的各个维度上进行maxpooling池化操作，获取最终全局特征；
步骤21424、将全局特征与各点云的局部特征进行串联并通过MLP获取每个数据点的分类结果。
4.如权1所述的粗糙度检测方法，其特征在于，所述步骤200还包括：
步骤220、利用图像处理算法获取2D图像粗糙值；
步骤230、利用图像处理算法获取深度数据粗糙值；
步骤240、将所述2D图像粗糙值及深度数据粗糙值进行合成，获取施工墙面粗糙值。
5.如权4所述的粗糙度检测方法，其特征在于，所述步骤220包括：
步骤221、利用式子(1)计算2D图像粗糙值：
R2d＝aR2d_1+bR2d_2+cR2d_3 (1)
其中，a，b，c为系数，R2d_1为角点个数，R2d_2为灰度方差，R2d_3为灰度极值；
步骤222、将所述2D图像进行灰度化，获取角点个数、灰度方差及灰度极值。
6.如权5所述的粗糙度检测方法，其特征在于，所述步骤230包括：
步骤231、获取深度信息的深度方差R3d_1；
步骤232、获取深度信息的相邻法向量夹角之和R3d_2；
步骤233、利用式子(2)计算深度信息粗糙值：
R3d＝αR3d_1+βR3d_2 (2)
其中，α，β为系数，R3d_1为深度方差，R3d_2为为相邻法向量夹角之和；
所述步骤232包括：
步骤2321、对点云中的每个点pi以半径A划定邻域范围或者直接选取最近邻的K个点得到邻域内点，使用最小二乘法为邻域内点拟合局部平面；
步骤2322、基于局部平面，计算出垂直于所述局部平面的法向量；
步骤2323、计算相邻法向量的夹角值。
7.如权6所述的粗糙度检测方法，其特征在于，所述步骤231包括：
步骤2311、对接收到的深度信息做数据清理，裁剪掉边缘处的n个像素；
步骤2312、将深度数据转化为点云数据；
步骤2313、使用所述点云数据，利用RANSAC算法拟合出墙面；
步骤2314、计算出各点到墙面的距离的方差R3d_1。
8.一种施工装置SLAM定位方法，用于通过利用权利要求1-7任一中的施工装置的第一感知单元、第二感知单元获取的2D图像及深度信息数据并利用所述计算单元进行图像融合，对所述施工装置进行定位，其特征在于，包括：
步骤300、当施工装置在平整墙面区域施工时，获取并存储当前位置信息及对应的粗糙值、2D图像及深度信息；
步骤400、当施工装置在非平整墙面区域施工时，利用2D图像及对应的深度信息进行SLAM定位。
9.如权8所述的施工装置SLAM定位方法，其特征在于，所述步骤400，包括：
步骤410、获取相邻两2D图像的平面融合图像；
步骤420、获取相邻两深度信息的点云融合图像；
步骤430、利用所述平面融合图像及点云融合图像进行SLAM定位；
其中，
所述步骤410包括：
步骤411、利用K-D TREE算法和BBF算法并根据最近邻和次近邻距离比值进行特征匹配初步筛选；
步骤412、利用RANSAC算法筛选匹配点并计算变换矩阵H1；
步骤413、利用所述变换矩阵H1获取平面融合图像；
所述步骤420包括：
步骤421、获取所述深度信息的包络盒子；
步骤422、利用所述包络盒子获取深度信息点云信息的对应关系；
步骤423、根据所述对应关系计算变换矩阵H2；
步骤424、利用所述变换矩阵H2获取所述点云融合图像；
所述步骤421包括：
步骤4211、利用RANSAC算法计算墙面的突出物点云；
步骤4212、根据所述突出物点云，利用主成分分析算法获取第一特征向量；
步骤4213、将所有深度信息点云投影到与所述第一特征向量垂直的平面上，获取所述深度信息点云的二维点图像；
步骤4214、在所述二维点图像上利用主成分分析算法获取第二特征向量；
步骤4215、利用所述第一特征向量、第二特征向量计算第三特征向量；
步骤4216、将所述突出物点云在所述第一特征向量、第二特征向量、第三特征向量上投影，获取包络盒子。
10.一种墙面施工方法，利用权利要求1-7任一所述的粗糙度检测方法对施工墙面进行检测，利用权利要求9所述的施工装置SLAM定位方法对施工装置的行进进行定位，包括:
步骤510、施工装置检测施工区域的粗糙值并获取水泥硬度参数；
步骤520、根据所述粗糙值及水泥硬度参数设置打磨参数，对施工区域进行打磨；
步骤530、对所述施工装置进行SLAM定位并获取当前施工位置粗糙度；
步骤540、根据所述施工区域粗糙度确定当前施工位置的墙面硬度T；
步骤550、根据所述墙面硬度T对施工区域进行抹腻子操作。
CN202111212171.7A 2021-10-18 2021-10-18 一种粗糙度检测方法、slam定位方法及施工方法 Pending CN113947623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111212171.7A CN113947623A (zh) 2021-10-18 2021-10-18 一种粗糙度检测方法、slam定位方法及施工方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111212171.7A CN113947623A (zh) 2021-10-18 2021-10-18 一种粗糙度检测方法、slam定位方法及施工方法

Publications (1)

Publication Number Publication Date
CN113947623A true CN113947623A (zh) 2022-01-18

Family

ID=79331441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111212171.7A Pending CN113947623A (zh) 2021-10-18 2021-10-18 一种粗糙度检测方法、slam定位方法及施工方法

Country Status (1)

Country Link
CN (1) CN113947623A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100211A (zh) * 2022-08-29 2022-09-23 南通电博士自动化设备有限公司 一种机器人金属板材表面打磨速度智能调控方法
CN116977331A (zh) * 2023-09-22 2023-10-31 武汉展巨华科技发展有限公司 基于机器视觉的3d模型表面检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100211A (zh) * 2022-08-29 2022-09-23 南通电博士自动化设备有限公司 一种机器人金属板材表面打磨速度智能调控方法
CN115100211B (zh) * 2022-08-29 2022-11-18 南通电博士自动化设备有限公司 一种机器人金属板材表面打磨速度智能调控方法
CN116977331A (zh) * 2023-09-22 2023-10-31 武汉展巨华科技发展有限公司 基于机器视觉的3d模型表面检测方法
CN116977331B (zh) * 2023-09-22 2023-12-12 武汉展巨华科技发展有限公司 基于机器视觉的3d模型表面检测方法

Similar Documents

Publication Publication Date Title
CN110853100B (zh) 一种基于改进点线特征的结构化场景视觉slam方法
CN107292234B (zh) 一种基于信息边缘和多模态特征的室内场景布局估计方法
Broggi et al. Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision
CN113947623A (zh) 一种粗糙度检测方法、slam定位方法及施工方法
CN111076733A (zh) 一种基于视觉与激光slam的机器人室内建图方法及系统
CN107917710B (zh) 一种基于单线激光的室内实时定位与三维地图构建方法
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN111784655B (zh) 一种水下机器人回收定位方法
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN113096094A (zh) 三维物体表面缺陷检测方法
CN113220818B (zh) 一种停车场自动建图与高精度定位方法
CN112396656A (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
CN112752028A (zh) 移动平台的位姿确定方法、装置、设备和存储介质
CN108550134B (zh) 建图效果指标的确定方法和建图效果指标的确定装置
CN112802196A (zh) 基于点线特征融合的双目惯性同时定位与地图构建方法
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
Kaushik et al. Accelerated patch-based planar clustering of noisy range images in indoor environments for robot mapping
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN112767481B (zh) 一种基于视觉边缘特征的高精度定位及建图方法
CN114863021A (zh) 一种基于三维重建场景的仿真数据集分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination