CN111080640B - 一种孔洞检测方法、装置、设备和介质 - Google Patents

一种孔洞检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN111080640B
CN111080640B CN201911397198.0A CN201911397198A CN111080640B CN 111080640 B CN111080640 B CN 111080640B CN 201911397198 A CN201911397198 A CN 201911397198A CN 111080640 B CN111080640 B CN 111080640B
Authority
CN
China
Prior art keywords
point cloud
data set
cloud data
hole
concave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911397198.0A
Other languages
English (en)
Other versions
CN111080640A (zh
Inventor
廖伟杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201911397198.0A priority Critical patent/CN111080640B/zh
Publication of CN111080640A publication Critical patent/CN111080640A/zh
Application granted granted Critical
Publication of CN111080640B publication Critical patent/CN111080640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实施例公开了一种孔洞检测方法、装置、设备和介质。该方法包括：获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞。解决了墙面孔洞检测容易受光照影响，发生误识别和漏识别的问题，实现了在孔洞检测时降低外界光照影响，提高孔洞检测的准确率的效果。

Description

一种孔洞检测方法、装置、设备和介质
技术领域
本发明实施例涉及检测技术，尤其涉及一种孔洞检测方法、装置、设备和介质。
背景技术
随着我国大力推广装配式建筑，发展新型建造方式的方式，铝合金模板作为一种新型的模板体系，凭借质量轻、强度高、经济效益好等优势在国内外建筑行业中快速发展，目前市场上有对拉螺杆式与拉片式两种不同加固体系的铝模，在拆完模板后会留下很多螺杆圆孔或者拉片孔，这些孔洞是墙面的缺陷，需要进行孔洞封堵后才能完成后续的施工。
目前主要采用人工封堵孔洞的方式对墙面缺陷进行处理，人工封堵的劳动力强度大，人工成本高，墙面高处的孔洞还需要借助脚手架作业。一些地产建筑公司开始采用孔洞封堵机器人代替工人作业，可以提高作业效率，节省人工成本，孔洞封堵机器人借助机器视觉技术检测和定位墙板的孔洞缺陷。工地现场环境复杂，不同墙面、同一面墙不同位置的光线不统一，拆除铝模板后孔洞外围会残留泥浆痕迹，导致孔洞边缘不明显。机器人末端带动相机在不同角度下采集图像，孔洞内部呈现在图像可能是透光的，也可能是不透光的或者少许透光的，导致孔洞内部没有统一的特征，提取和定位这些缺陷就变得很困难。通过单一的图像处理的方式进行孔洞检测的识别效果差，非常受限于铝模板墙面的质量，受光照影响大，容易发生误识别和漏识别的情况。
发明内容
本发明实施例提供一种孔洞检测方法、装置、设备和介质，以实现快速准确的对墙面孔洞进行检测与识别。
第一方面，本发明实施例提供了一种孔洞检测方法，该方法包括：
获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；
根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；
将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞。
第二方面，本发明实施例还提供了一种孔洞检测装置，该装置包括：
点云数据集生成模块，用于获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；
凹陷点云数据集确定模块，用于根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；
孔洞确定模块，将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞。
第三方面，本发明实施例还提供了一种设备，其中，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的孔洞检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明任意实施例所提供的孔洞检测方法。
本发明实施例通过获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞，解决了墙面孔洞检测容易受光照影响，发生误识别和漏识别的问题，实现了在孔洞检测时降低外界光照影响，提高孔洞检测的准确率的效果。
附图说明
图1是本发明实施例一中的一种孔洞检测方法的流程图；
图2是本发明实施例一中的凹陷点云数据集的二值图像示意图；
图3是本发明实施例二中的一种孔洞检测方法的流程图；
图4是本发明实施例二中的失效点云数据集的二值图像示意图；
图5是本发明实施例三中的一种孔洞检测方法的流程图；
图6是本发明实施例四中的一种孔洞检测装置的结构图；
图7是本发明实施例五中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种孔洞检测方法的流程图，本实施例可适用于墙面孔洞检测的情况，该方法可以由孔洞检测装置来执行，具体包括如下步骤：
S110、获取待检测墙面的彩色图像和深度图像，将彩色图像和所述深度图像进行配准，生成点云数据集，其中，待检测墙面包括至少一个孔洞。
示例性的，可以在墙面孔洞封堵机器人上安装RGB-D(RGB and Depth，彩色和深度)相机，用于对待检测墙面进行孔洞拍摄，RGB-D相机可同时获取环境中的彩色图像和深度图像。一般地，深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。可选的，RGB-D相机安装在砂浆喷嘴末端，相机拍摄方向与砂浆喷嘴朝向一致。可通过机器人的运动规划带动喷嘴正对墙面，同时保证孔洞出现在相机视野范围内，采集待检测墙面的彩色图像和深度图像。其中，待检测墙面上包括至少一个孔洞，一般需对待检测墙面上的所有孔洞进行检测。
在本实施例中，可通过将彩色图和深度图配准来生成点云数据集，点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以x,y,z三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。不仅如此，除(x,y,z)代表的几何位置信息之外，点云数据还可以表示一个点的RGB颜色，灰度值，深度，分割结果等。由公式(1)可获得点云数据集。
Figure BDA0002346617940000051
式(1)中，
Figure BDA0002346617940000052
是相机的内参转换矩阵，/>
Figure BDA0002346617940000053
是图像的像素坐标，/>
Figure BDA0002346617940000054
是对应点云的三维坐标，点云的深度信息z值从深度图像中产生。
S120、根据点云数据集确定失效点云数据集，根据点云数据集和失效点云数据集确定凹陷点云数据集，其中，失效点云数据集为深度值为0的点云数据集。
因待检测墙面上有的孔洞是透光的，导致透光的孔洞的点云数据的深度值为0。可通过传感器遍历点云数据集获取深度值为0的点云数据集，这些点云数据集被称为失效点云数据集。
可选的，根据点云数据集和失效点云数据集确定凹陷点云数据集，包括：剔除所述点云数据集中的所述失效点云数据集，得到剩余点云数据集，根据所述剩余点云数据集计算所述待检测墙面的空间平面方程；计算所述剩余点云数据集中各个点云元素与所述空间平面方程的欧氏距离；提取所述欧式距离小于预设距离阈值的点云元素得到凹陷点云数据集。
具体的，根据剩余点云数据集计算待检测墙面的空间平面方程，可包括：对剩余点云数据集进行降采样处理；对降采样后的剩余点云数据集使用滤波器消除离散点云；根据消除离散点云的剩余点云数据集计算待检测墙面的空间平面方程。示例性的，可采用StaticalOutlierRemoval滤波器对剩余点云数据集进行滤波，消除离散点云。
示例性的，计算所述剩余点云数据集中各个点云元素与所述空间平面方程的欧氏距离，将距离值小于-2mm的点云元素确认为凹陷点云，遍历所有剩余点云数据集提取所有凹陷点云得到凹陷点云数据集。
S130、将凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据述凹陷点云数据集的彩色图像确定孔洞。
示例性的，可以将凹陷点云数据集中的凹陷点云元素根据坐标一一对应到彩色图像中，得到凹陷点云数据集的彩色图像，之后通过彩色图像确定孔洞。具体的，凹陷点云元素映射到图像的公式为：
k/r＝i……j (2)
式(2)中，k为点云编号，r为图像每行的像素点数量，图像分辨率为640*480，这里取r＝640，i为凹陷点云映射到图像的行坐标，j为凹陷点云映射到图像的列坐标。
可选的，根据所述凹陷点云数据集的彩色图像确定所述孔洞，包括：对所述凹陷点云的彩色图像进行灰度化处理，得到凹陷点云数据集的灰度图像；根据所述凹陷点云数据集的灰度图像确定所述凹陷点云数据集的二值图像；对所述凹陷点云数据集的二值图像进行膨胀操作和轮廓检测，根据检测结果确定所述凹陷点云数据集对应的孔洞。具体的，可遍历凹陷点云数据集中的凹陷点云元素，将凹陷点云元素对应像素点的灰度值设置为255，图像其他位置的灰度值置为0，如图2所示，得到凹陷点云数据集的二值图像。具体的，对凹陷点云数据集的二值图像进行膨胀操作可以消除细小孔洞，排除细小孔洞的干扰，提高对待检测墙面中检测需封堵的孔洞的准确性。对消除细小孔洞的凹陷点云数据集的二值图像使用外轮廓检测算子进行孔洞的轮廓检测，可以得到孔洞在图像中的大概位置。
在上述实施例的基础上，孔洞的检测方法还包括：根据检测结果确定所述孔洞的最小外接矩形，并计算外接矩形的中心点的像素点坐标。
具体的，根据检测的孔洞的轮廓确定外接矩形的最小长度和最小高度，使标记物能够完全落入外接矩形的范围中。进而，计算外接矩形中心点的像素坐标，外接矩形的中心点的位于外接矩形长度与宽度的一半处。
在上述实施例的基础上，孔洞的检测方法还包括：根据中心点的像素点坐标确定孔洞在待检测墙面的位置。
外接矩形中心点的像素坐标即为孔洞在待检测墙面中的位置，通过计算外接矩形中心点的像素坐标即可实现孔洞在待检测墙面中的定位。确定孔洞在墙面中的位置后即可操作封堵器移动到检测到的孔洞位置，对孔洞进行封堵。
本实施例的技术方案，通过获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；根据点云数据集确定失效点云数据集，根据点云数据集和失效点云数据集确定凹陷点云数据集，其中，失效点云数据集为深度值为0的点云数据集；将凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据凹陷点云数据集的彩色图像确定所述孔洞，解决了墙面孔洞检测容易受光照影响，发生误识别和漏识别的问题，实现了在孔洞检测时降低外界光照影响，提高孔洞检测的准确率的效果。
实施例二
图3为本发明实施例二提供的一种孔洞检测方法的流程图，本实施例以上述实施例为基础进行进一步优化，可选的，孔洞检测方法还包括：根据检测结果确定所述孔洞的最小外接矩形，并计算外接矩形的中心点的像素点坐标；根据中心点的像素点坐标确定孔洞在待检测墙面图像的位置。通过计算孔洞外接矩形的中心点坐标确定孔洞在待检测墙面中的位置，实现了孔洞在墙面图像中的定位。
如图3所示，具体包括如下步骤：
S210、获取待检测墙面的彩色图像和深度图像，将彩色图像和深度图像进行配准，生成点云数据集，其中，待检测墙面包括至少一个孔洞。
S220、根据点云数据集确定失效点云数据集，根据点云数据集和失效点云数据集确定凹陷点云数据集，其中，失效点云数据集为深度值为0的点云数据集。
S230、将凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据凹陷点云数据集的彩色图像确定孔洞。
S240、将失效点云数据集映射到所述彩色图像中，得到失效点云数据集的彩色图像。
具体的，可根据失效点云元素的像素坐标，将失效点云元素一一对应到彩色图像中，得到失效点云数据集的彩色图像。将失效点云数据集映射到彩色图像中，使点云数据与彩色图像进行结合，进而对孔洞进行识别，解决了单一的图像识别方法无法正确检测墙面的孔洞缺陷，提高了孔洞检测的准确率。
S250、在失效点云数据集的彩色图像中搜索与失效点云数据集对应的失效像素点数据集。
示例性的，在失效点云数据集的彩色图像中，以上述步骤中计算的外接矩形中心点的像素坐标为圆心，以R为半径，在图像中搜索外接矩形中心点的邻域与失效点云元素对应的失效像素点，搜索公式为：
P＝{(i，j)|(i-a)2+(j-b)2＜R2} (3)
式(3)中，(i,j)为失效点云元素对应的图像像素坐标，(a,b)为外接矩形中心点的像素坐标，P为失效点云元素对应的图像像素坐标的集合。
S260、根据失效像素点数据集确定与失效像素点数据集对应的孔洞的最小外接矩形。
具体的，将失效像素点像素的灰度值设置为255，其他像素点的像素的灰度值设置为0，如图4所示，得到失效点云数据集的二值图像。进而对二值图像进行膨胀操作和外轮廓检测，膨胀操作可以消除细小孔洞，排除细小孔洞的干扰。外轮廓检测即检测失效点云数据集在图像中的边缘轮廓，根据检测结果使用最小外接矩形包围检测到的孔洞轮廓。
S270、根据失效像素点数据集对应的孔洞的外接矩形确定孔洞的位置与孔洞的像素面积。
计算最小外接矩形的中心点像素坐标实现对孔洞在待检测墙面图像中的定位。示例性的，可将最小矩形框的像素面积作为孔洞的大小。
S280、根据预先设置的孔洞像素面积阈值与外接矩形的长度和宽度的比例阈值确定需要封堵的孔洞。
考虑到在实际应用中，通过失效点云数据集确定的孔洞不一定是需要封堵的孔洞，如螺杆洞或者拉片洞为需要封堵的孔洞，而确定的孔洞中还包括如墙面的线槽盒、墙面的细小孔洞等不需要进行砂浆封堵的孔洞，所以需要来剔除非封堵孔洞。可选的，根据预先设定需要封堵的孔洞的面积阈值与包围孔洞的最小矩形长度与宽度的比例阈值，来剔除非封堵孔洞。具体可以是，若孔洞的面积大小在预先设置的面积阈值内，或确定的包围孔洞的最小矩形的长度与宽度的比例在预先设定的比例阈值中，则该孔洞为需要封堵的孔洞，否则，该孔洞为不需要封堵的孔洞。对孔洞进行筛选之后再进行封堵，提高了封堵的效率，同时也节省了资源。
本实施例的技术方案，通过将失效点云数据集映射到所述彩色图像中，得到失效点云数据集的彩色图像；使点云数据与彩色图像进行结合，进而对孔洞进行识别，解决了单一的图像识别方法无法正确检测墙面的孔洞缺陷，提高了孔洞检测的准确率。在失效点云数据集的彩色图像中搜索与失效点云数据集对应的失效像素点数据集；根据所述失效像素点数据集确定与失效像素点数据集对应的孔洞的最小外接矩形；根据失效像素点数据集对应的孔洞的外接矩形确定孔洞的位置与孔洞的像素面积；实现了孔洞在待检测墙面图像中的定位。根据预先设置的孔洞像素面积阈值与所述外接矩形的长度和宽度的比例阈值确定需要封堵的孔洞。对检测到的孔洞进行筛选，剔除不需要封堵的孔洞，提高孔洞封堵的效率并节省了资源。
实施例三
图5为本发明实施例三提供的一种孔洞检测方法的流程图，本实施例以上述实施例为基础进行进一步优化，孔洞检测方法还包括：根据最小外接矩形的像素面积计算砂浆喷出容量，对孔洞进行封堵；使封堵器对孔洞进行封堵时，每次喷出的砂浆容量都与当前孔洞的大小对应，避免了砂浆的浪费。检测对所述孔洞封堵的平整度，判断所述平整度是否符合要求，若符合要求进入对下一个孔洞的封堵。确保孔洞能够被完全封堵，提高了封堵质量。
如图5所示，具体包括如下步骤：
S310、获取待检测墙面的彩色图像和深度图像，将彩色图像和深度图像进行配准，生成点云数据集，其中，待检测墙面包括至少一个孔洞。
S320、根据点云数据集确定失效点云数据集，根据点云数据集和失效点云数据集确定凹陷点云数据集，其中，失效点云数据集为深度值为0的点云数据集。
S330、将凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据凹陷点云数据集的彩色图像确定所述孔洞。
S340、根据最小外接矩形的像素面积计算砂浆喷出容量，对孔洞进行封堵；
可选的，RGB-D相机安装在机器人封堵器末端，通过九点标定法得到相机坐标系和机器人坐标系之间转换矩阵，进而实现机器人对墙面孔洞的定位。墙面孔洞的大小规格并不是完全统一的，需要根据孔洞大小计算砂浆喷出容量，计算公式为：
Figure BDA0002346617940000111
Harea为当前孔洞的像素面积，Hmax为最大孔洞的像素面积，Vmax是最大孔洞对应的砂浆封堵容量。
根据外接矩形的面积计算孔洞对应的砂浆封堵容量，使封堵器对孔洞进行封堵时，每次喷出的砂浆容量都与当前孔洞的大小对应，避免了砂浆的浪费。
S350、检测对所述孔洞封堵的平整度。
可选的，机器人获得孔洞位置即可进行砂浆填充作业，封堵孔洞后需要对墙面封堵质量进一步检测，利用视觉检测封堵的平整度。示例性的，评定封堵质量的平整度公式为：
Figure BDA0002346617940000121
di为点云到墙板拟合平面的距离，
Figure BDA0002346617940000122
为点云到墙板拟合平面的平均距离，n为点云数量，σ为墙面的平整度。
S360、判断平整度是否符合要求，若符合要求执行步骤370，若不符合要求执行步骤380。
S370、进入对下一个孔洞的封堵。
S380、根据计算的平整度对孔洞进行二次封堵，返回执行S350。
在平整度不符合要求时，需对孔洞进行再次封堵，再次封堵之后再次计算平整度，直到平整度符合要求为止。确保孔洞能够被完全封堵，提高了孔洞封堵质量。
本实施例的技术方案，根据最小外接矩形的像素面积计算砂浆喷出容量，对孔洞进行封堵；使封堵器对孔洞进行封堵时，每次喷出的砂浆容量都与当前孔洞的大小对应，避免了砂浆的浪费。检测对所述孔洞封堵的平整度，判断所述平整度是否符合要求，若符合要求进入对下一个孔洞的封堵。确保孔洞能够被完全封堵，提高了封堵质量。
实施例四
图6为本发明实施例四提供的一种孔洞检测装置的结构图，该装置包括：点云数据集生成模块410、凹陷点云数据集确定模块420和孔洞确定模块430。
其中，点云数据集生成模块410，用于获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；凹陷点云数据集确定模块420，用于根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；孔洞确定模块430，用于将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞。
在上述实施例方案中，凹陷点云数据集确定模块420包括：
剩余点云数据集获取单元，用于剔除所述点云数据集中的所述失效点云数据集，得到剩余点云数据集；
空间平面方程计算单元，用于根据所述剩余点云数据集计算所述待检测墙面的空间平面方程；
欧氏距离计算单元，用于计算所述剩余点云数据集中各个点云元素与所述空间平面方程的欧氏距离；
凹陷点云数据集获取单元，用于提取所述欧式距离小于预设距离阈值的点云元素得到凹陷点云数据集。
在上述实施例方案中，空间平面方程计算单元包括：
降采样处理子单元，用于对所述剩余点云数据集进行降采样处理；
离散点云消除子单元，用于对降采样后的所述剩余点云数据集使用滤波器消除离散点云；
空间平面方程计算子单元，用于根据消除离散点云的剩余点云数据集计算待检测墙面的所述空间平面方程。
在上述实施例方案中，孔洞确定模块430包括：
灰度图像获取单元，用于对所述凹陷点云的彩色图像进行灰度化处理，得到凹陷点云数据集的灰度图像；
二值图像确定单元，用于根据所述凹陷点云数据集的灰度图像确定所述凹陷点云数据集的二值图像；
孔洞确定单元，用于对所述凹陷点云数据集的二值图像进行膨胀操作和轮廓检测，根据检测结果确定所述凹陷点云数据集对应的孔洞。
在上述实施例方案中，孔洞确定模块430还包括：
最小外接矩形确定单元，用于根据所述检测结果确定所述孔洞的最小外接矩形，并计算所述外接矩形的中心点的像素点坐标；
孔洞位置确定单元，用于根据所述中心点的像素点坐标确定所述孔洞在所述待检测墙面的位置。
在上述实施例方案中，孔洞检测装置还包括：
失效点云数据集映射模块，用于将所述失效点云数据集映射到所述彩色图像中，得到失效点云数据集的彩色图像；
失效像素点数据集搜索模块，用于在所述失效点云数据集的彩色图像中搜索与所述失效点云数据集对应的失效像素点数据集；
最小外接矩形确定模块，用于根据所述失效像素点数据集确定与所述失效像素点数据集对应的孔洞的最小外接矩形；
孔洞信息确定模块，用于根据失效像素点数据集对应的孔洞的外接矩形确定孔洞的位置与孔洞的像素面积；
需要封堵的孔洞确定模块，用于根据预先设置的孔洞像素面积阈值与所述外接矩形的长度和宽度的比例阈值确定需要封堵的孔洞。
在上述实施例方案中，孔洞检测装置还包括：
砂浆喷出容量计算模块，用于根据最小外接矩形的像素面积计算砂浆喷出容量，对孔洞进行封堵；
平整度检测模块，用于检测对所述孔洞封堵的平整度，判断所述平整度是否符合要求；若符合要求进入对下一个孔洞的封堵。
本实施例的技术方案，通过点云数据集生成模块，用于获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；凹陷点云数据集确定模块，用于根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；孔洞确定模块，用于将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞。解决了墙面孔洞检测容易受光照影响，发生误识别和漏识别的问题，实现了在孔洞检测时降低外界光照影响，提高孔洞检测的准确率的效果。
本发明实施例所提供的孔洞检测装置可执行本发明任意实施例所提供的孔洞检测方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的一种设备的结构示意图，如图7所示，该设备包括处理器510、存储器520、输入装置530和输出装置540；设备中处理器510的数量可以是一个或多个，图7中以一个处理器510为例；设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的孔洞检测方法对应的程序指令/模块(例如，孔洞检测装置中的点云数据集生成模块410、凹陷点云数据集确定模块420和孔洞确定模块430)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的孔洞检测方法。
存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种孔洞检测方法，该方法包括：
获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；
根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；
将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，根据所述凹陷点云数据集的彩色图像确定所述孔洞。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的孔洞检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述孔洞检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种孔洞检测方法，其特征在于，包括：
获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；
根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；
将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，对所述凹陷点云数据集的彩色图像进行灰度化处理，得到所述凹陷点云数据集的灰度图像；根据所述凹陷点云数据集的灰度图像确定所述凹陷点云数据集的二值图像；对所述凹陷点云数据集的二值图像先进行膨胀操作，再进行轮廓检测，根据检测结果确定所述凹陷点云数据集对应的孔洞；
其中，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，包括：
剔除所述点云数据集中的所述失效点云数据集，得到剩余点云数据集；
根据所述剩余点云数据集计算所述待检测墙面的空间平面方程；
计算所述剩余点云数据集中各个点云元素与所述空间平面方程的欧氏距离；
提取所述欧氏距离小于预设距离阈值的点云元素得到凹陷点云数据集。
2.根据权利要求1所述的孔洞检测方法，其特征在于，所述根据所述剩余点云数据集计算所述待检测墙面的空间平面方程，包括：
对所述剩余点云数据集进行降采样处理；
对降采样后的所述剩余点云数据集使用滤波器消除离散点云；
根据消除离散点云的剩余点云数据集计算待检测墙面的所述空间平面方程。
3.根据权利要求1所述的孔洞检测方法，其特征在于，还包括：
根据所述检测结果确定所述孔洞的最小外接矩形，并计算所述外接矩形的中心点的像素点坐标；
根据所述中心点的像素点坐标确定所述孔洞在所述待检测墙面的位置。
4.根据权利要求3所述的孔洞检测方法，其特征在于，还包括：
根据最小外接矩形的像素面积计算砂浆喷出容量，对孔洞进行封堵；
检测对所述孔洞封堵的平整度，判断所述平整度是否符合要求；
若符合要求进入对下一个孔洞的封堵。
5.一种孔洞检测装置，其特征在于，包括：
点云数据集生成模块，用于获取待检测墙面的彩色图像和深度图像，将所述彩色图像和所述深度图像进行配准，生成点云数据集，其中，所述待检测墙面包括至少一个孔洞；
凹陷点云数据集确定模块，用于根据所述点云数据集确定失效点云数据集，根据所述点云数据集和所述失效点云数据集确定凹陷点云数据集，其中，所述失效点云数据集为深度值为0的点云数据集；
孔洞确定模块，用于将所述凹陷点云数据集映射到彩色图像中得到凹陷点云数据集的彩色图像，对所述凹陷点云数据集的彩色图像进行灰度化处理，得到所述凹陷点云数据集的灰度图像；根据所述凹陷点云数据集的灰度图像确定所述凹陷点云数据集的二值图像；对所述凹陷点云数据集的二值图像先进行膨胀操作，再进行轮廓检测，根据检测结果确定所述凹陷点云数据集对应的孔洞；
其中，所述凹陷点云数据集确定模块包括：
剩余点云数据集获取单元，用于剔除所述点云数据集中的所述失效点云数据集，得到剩余点云数据集；
空间平面方程计算单元，用于根据所述剩余点云数据集计算所述待检测墙面的空间平面方程；
欧氏距离计算单元，用于计算所述剩余点云数据集中各个点云元素与所述空间平面方程的欧氏距离；
凹陷点云数据集获取单元，用于提取所述欧氏距离小于预设距离阈值的点云元素得到凹陷点云数据集。
6.一种孔洞检测设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的孔洞检测方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的孔洞检测方法。
CN201911397198.0A 2019-12-30 2019-12-30 一种孔洞检测方法、装置、设备和介质 Active CN111080640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911397198.0A CN111080640B (zh) 2019-12-30 2019-12-30 一种孔洞检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911397198.0A CN111080640B (zh) 2019-12-30 2019-12-30 一种孔洞检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111080640A CN111080640A (zh) 2020-04-28
CN111080640B true CN111080640B (zh) 2023-07-14

Family

ID=70319742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911397198.0A Active CN111080640B (zh) 2019-12-30 2019-12-30 一种孔洞检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111080640B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308838A (zh) * 2020-10-30 2021-02-02 广东博智林机器人有限公司 螺杆洞的封堵方法、封堵装置、螺杆洞封堵设备和处理器
CN113160162B (zh) * 2021-04-14 2022-02-18 深圳远荣智能制造股份有限公司 应用于工件的孔识别方法、孔识别装置和孔处理设备
CN113256611B (zh) * 2021-06-21 2021-12-24 浙江光珀智能科技有限公司 一种rgb-d配准精度测试方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299220A (zh) * 2014-07-10 2015-01-21 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN109636732A (zh) * 2018-10-24 2019-04-16 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110033447A (zh) * 2019-04-12 2019-07-19 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350969B2 (en) * 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299220A (zh) * 2014-07-10 2015-01-21 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN109636732A (zh) * 2018-10-24 2019-04-16 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110033447A (zh) * 2019-04-12 2019-07-19 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘继忠等.基于像素滤波和中值滤波的深度图像修复方法.《光电子·激光》.2018,(第05期), *
基于TSDF模型的点云孔洞修复方法;宋文龙等;《黑龙江大学自然科学学报》(第01期);全文 *

Also Published As

Publication number Publication date
CN111080640A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111965624B (zh) 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN111080640B (zh) 一种孔洞检测方法、装置、设备和介质
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
WO2018120027A1 (zh) 一种障碍物检测方法及装置
CN103727930A (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN112991459B (zh) 一种相机标定方法、装置、设备以及存储介质
CN108362205B (zh) 基于条纹投影的空间测距方法
CN111144349A (zh) 一种室内视觉重定位方法及系统
CN110533649B (zh) 一种无人机通用结构裂缝识别检测装置及方法
CN105069789A (zh) 基于编码网格模板的结构光动态场景深度获取方法
WO2023138163A1 (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
CN113203409A (zh) 一种复杂室内环境移动机器人导航地图构建方法
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN105115428A (zh) 面向辐对称电缆切面绝缘层厚度的并行图像测量方法
CN108694716B (zh) 一种工件检测方法、模型训练方法及设备
CN110705433A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN112767497A (zh) 基于圆形标定板的高鲁棒性标定装置及定位方法
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
CN111354038A (zh) 锚定物检测方法及装置、电子设备及存储介质
CN112734862A (zh) 深度图像的处理方法、装置、计算机可读介质以及设备
CN110160455B (zh) 间隙面差检测系统
CN108898080B (zh) 一种基于山脊线邻域评价模型的裂缝连接方法
CN114549780B (zh) 一种基于点云数据的大型复杂构件智能化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant