CN114119738A - 水池污渍检测方法及系统 - Google Patents
水池污渍检测方法及系统 Download PDFInfo
- Publication number
- CN114119738A CN114119738A CN202111064094.5A CN202111064094A CN114119738A CN 114119738 A CN114119738 A CN 114119738A CN 202111064094 A CN202111064094 A CN 202111064094A CN 114119738 A CN114119738 A CN 114119738A
- Authority
- CN
- China
- Prior art keywords
- image
- pool
- point cloud
- cloud data
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 32
- 230000009467 reduction Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000013499 data model Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 235000002566 Capsicum Nutrition 0.000 claims description 7
- 239000006002 Pepper Substances 0.000 claims description 7
- 241000722363 Piper Species 0.000 claims description 7
- 235000016761 Piper aduncum Nutrition 0.000 claims description 7
- 235000017804 Piper guineense Nutrition 0.000 claims description 7
- 235000008184 Piper nigrum Nutrition 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 150000003839 salts Chemical class 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 abstract description 14
- 230000003749 cleanliness Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- 239000007788 liquid Substances 0.000 abstract description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 229910052782 aluminium Inorganic materials 0.000 description 5
- 239000011888 foil Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种水池污渍检测方法及系统，包括：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；对感兴趣区域进行降噪处理；对降噪处理后的图像进行β样条曲线插值，得出建模背景图；基于建模产生的背景图，通过设置检测阈值参数，检测出水池中的污渍；输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。本发明可以高效检测出水池中难检测的透明液体污渍；在很大程度上提高了算法的鲁棒性，在不同污渍的场景中或者不同的照明场景中，均能有效的检测出来，算法具有很好的通用性；水池污渍的检测算法，在清洁机器人中的应用前景很大，提高清洁的机器人的复检准确性和效率,提高清洁机器人的洁净度评价。
Description
技术领域
本发明涉及视觉识别与定位领域，具体地，涉及一种水池污渍检测方法及系统，更为具体地，涉及一种酒店水池污渍检测方法及系统。
背景技术
数据显示，一台智能设备目前能够替换2～3个清洁人员的工时，以一个清洁人员一小时清扫300m2的面积计算，智能设备每小时能够完成700～1000m2的清洁任务。其中，大部分清洁设备在相应作业模式下，只需充电3～4个小时后，即可实现长达16个小时的续航，而这对物业企业而言则相当于清洁人员两班制工作。酒店客房的智能化打扫已经是未来的趋势，因为目前的客房清洁是一套标准化流程，很适合用机器人来取代很多重复性的工作。
酒店清洁机器人的工作流程较复杂，就水池而言，让机器人如何清理的干净或者清洁过后准确的复检工作一直是一个挑战。
专利文献CN103575747A(申请号:CN201210281893.2)公开了一种铝箔表面污渍检测设备，包括：检测装置，检测装置包括边框、白膜和透明板，白膜和透明板固定安装于边框的中空处，白膜设置于透明板的上方，检测装置上方设有直射光源，通过上述方式，本发明所述的一种铝箔表面污渍检测设备，利用光的反射和折射原理，用肉眼即可识别出铝箔表面附着的黑线、黑斑、油渍等污渍，其结构简单、操作简便、提高了铝箔外观检测的效率。但其污渍检测场景并不适用水池检测的场景中，而且其采用了铝箔的反光物理特性，在实际的水池污渍检测场景中，效果并不理想。
专利文献CN109712123A(申请号：CN201811533655.X)公开了一种污渍检测方法，包括如下步骤：获取待测盖的图像；对所述灰度图像进行圆形目标标定并计算圆形目标图像的中心点和半径；将圆形目标图像划分为圆环区域和中心圆区域，以所述中心点为原点将圆环区域图像进行极坐标变换；分别对极坐标变换后的图像和中心圆区域图像进行自适应二值化滤波，分别得到圆环区域和中心圆区域的污渍图像，将极坐标系下的污渍图像进行坐标反变换，得到直角坐标系下圆环区域的污渍图像；将两个区域的污渍图像合并即得到待测盖的污渍图像。但该发明在不同污渍的场景中或者不同的照明场景中，不能有效的检测出污渍，算法通用性不强。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种水池污渍检测方法及系统。
根据本发明提供的一种水池污渍检测方法，包括：
步骤S1：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；
步骤S2：对感兴趣区域进行降噪处理；
步骤S3：对降噪处理后的图像进行β样条曲线插值，得出建模背景图；
步骤S4：基于建模背景图，通过设置检测阈值参数，检测出水池中的污渍；
步骤S5：输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。
优选地，在所述步骤S1中：
将实时检测的3D点云数据与数据库中建好的3D点云数据模型进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣区域，包括如下步骤：
a、利用模板匹配，求出标定的水池的四角位置：
进行场景部署时，在固定位置获取水池点云数据并存储，并标定出水池的四角位置；
利用模板匹配，精准匹配出四个角落的平面坐标并转换至空间坐标中；
b、利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的感兴趣区域：
获取实际检测时水池的点云数据，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将空间坐标进行转换，得到四个角新的坐标点；
利用相机的内外参数，将求取的转换后的坐标投影至图像坐标系中，并生成所需要的感兴趣区域。
优选地，在所述步骤S2中：
对水池图像进行预处理操作：
将彩色图像即RGB三通道转化为灰度图像；
对计算出的感兴趣区域进行降噪处理，使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响。
优选地，在所述步骤S3中：
基于β样条插值背景图生成：
根据β样条曲线的分段连续、变差减小性、凸包性、保凸性的特性，根据实际应用场景待检测物的大小，对预处理后的图像中选取预设值间隙的控制点，生成背景图，得到控制点图像；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，得到水平方向线背景图，当分割间隙涉及到异常点，受主像素值的影响而降低异常点对背景图生成的影响，提高异常点的检出效率；
利用生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，得出建模的背景图。
优选地，在所述步骤S4中：
基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍：
将转换后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，提高检测灵敏度，并进行形态学开运算排除检测出的异常值点；
根据求出的二值掩模图，对区域的特征参数进行筛选，输出污渍的位置。
优选地，在所述步骤S5中：
输出检测出的污渍位置、质心、面积参数，并将位置信息转换成空间三维坐标：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点转换至空间坐标系中，实现污渍的检测和定位功能。
根据本发明提供的一种水池污渍检测系统，包括：
模块M1：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；
模块M2：对感兴趣区域进行降噪处理；
模块M3：对降噪处理后的图像进行β样条曲线插值，得出建模背景图；
模块M4：基于建模背景图，通过设置检测阈值参数，检测出水池中的污渍；
模块M5：输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。
优选地，在所述模块M1中：
将实时检测的3D点云数据与数据库中建好的3D点云数据模型进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣区域，包括如下步骤：
a、利用模板匹配，求出标定的水池的四角位置：
进行场景部署时，在固定位置获取水池点云数据并存储，并标定出水池的四角位置；
利用模板匹配，精准匹配出四个角落的平面坐标并转换至空间坐标中；
b、利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的感兴趣区域：
获取实际检测时水池的点云数据，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将空间坐标进行转换，得到四个角新的坐标点；
利用相机的内外参数，将求取的转换后的坐标投影至图像坐标系中，并生成所需要的感兴趣区域。
优选地，在所述模块M2中：
对水池图像进行预处理操作：
将彩色图像即RGB三通道转化为灰度图像；
对计算出的感兴趣区域进行降噪处理，使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响；
优选地，在所述模块M3中：
基于β样条插值背景图生成：
根据β样条曲线的分段连续、变差减小性、凸包性、保凸性的特性，根据实际应用场景待检测物的大小，对预处理后的图像中选取预设值间隙的控制点，生成背景图，得到控制点图像；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，得到水平方向线背景图，当分割间隙涉及到异常点，受主像素值的影响而降低异常点对背景图生成的影响，提高异常点的检出效率；
利用生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，得出建模的背景图。
优选地，在所述模块M4中：
基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍；
将转换后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，提高检测灵敏度，并进行形态学开运算排除检测出的异常值点；
根据求出的二值掩模图，对区域的特征参数进行筛选，输出污渍的位置；
优选地，在所述模块M5中：
输出检测出的污渍位置、质心、面积参数，并将位置信息转换成空间三维坐标：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点转换至空间坐标系中，实现污渍的检测和定位功能。
与现有技术相比，本发明具有如下的有益效果：
1、可以高效检测出水池中难检测的透明液体污渍；
2、基于图像本身的背景建模，在很大程度上提高了算法的鲁棒性，在不同污渍的场景中或者不同的照明场景中，均能有效的检测出来，算法具有很好的通用性；
3、水池污渍的检测算法，在清洁机器人中的应用前景很大，大大提高了清洁的机器人的复检准确性和效率,可以极大提高清洁机器人的洁净度评价。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为水池污渍检测流程图；
图2为标注的水池内部四角区域；
图3为实际测试点云图；
图4为抽样的控制点图；
图5为水平线背景图；
图6为β样条插值建模的背景图；
图7为直方图均衡化diff图；
图8为检测污渍的二值掩模图；
图9为污渍二值掩模图；
图10为污渍标记图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种水池污渍检测方法，如图1至图10，包括：
步骤S1：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；
步骤S2：对感兴趣区域进行降噪处理；
步骤S3：对降噪处理后的图像进行β样条曲线插值，得出建模背景图；
步骤S4：基于建模背景图，通过设置检测阈值参数，检测出水池中的污渍；
步骤S5：输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。
优选地，在所述步骤S1中：
将实时检测的3D点云数据与数据库中建好的3D点云数据模型进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣区域，包括如下步骤：
a、利用模板匹配，求出标定的水池的四角位置：
进行场景部署时，在固定位置获取水池点云数据并存储，并标定出水池的四角位置；
利用模板匹配，精准匹配出四个角落的平面坐标并转换至空间坐标中；
b、利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的感兴趣区域：
获取实际检测时水池的点云数据，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将空间坐标进行转换，得到四个角新的坐标点；
利用相机的内外参数，将求取的转换后的坐标投影至图像坐标系中，并生成所需要的感兴趣区域。
优选地，在所述步骤S2中：
对水池图像进行预处理操作：
将彩色图像即RGB三通道转化为灰度图像；
对计算出的感兴趣区域进行降噪处理，使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响。
优选地，在所述步骤S3中：
基于β样条插值背景图生成：
根据β样条曲线的分段连续、变差减小性、凸包性、保凸性的特性，根据实际应用场景待检测物的大小，对预处理后的图像中选取预设值间隙的控制点，生成背景图，得到控制点图像；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，得到水平方向线背景图，当分割间隙涉及到异常点，受主像素值的影响而降低异常点对背景图生成的影响，提高异常点的检出效率；
利用生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，得出建模的背景图。
优选地，在所述步骤S4中：
基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍：
将转换后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，提高检测灵敏度，并进行形态学开运算排除检测出的异常值点；
根据求出的二值掩模图，对区域的特征参数进行筛选，输出污渍的位置。
优选地，在所述步骤S5中：
输出检测出的污渍位置、质心、面积参数，并将位置信息转换成空间三维坐标：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点转换至空间坐标系中，实现污渍的检测和定位功能。
在立体视觉中，图像坐标系，相机坐标系，以及世界坐标系是可以相互转换的。具体转换关系如下公式所示：
注:左边u,v代表图像坐标系中的二维坐标，Xw,Yw,Zw为世界坐标系中的坐标,
相机的内参，
相机的外参，通过张正友标定法均可以获取。
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本领域技术人员可以将本发明提供的一种水池污渍检测方法，理解为水池污渍检测系统的具体实施方式，即所述水池污渍检测系统可以通过执行所述水池污渍检测方法的步骤流程予以实现。
根据本发明提供的一种水池污渍检测系统，包括：
模块M1：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；
模块M2：对感兴趣区域进行降噪处理；
模块M3：对降噪处理后的图像进行β样条曲线插值，得出建模背景图；
模块M4：基于建模背景图，通过设置检测阈值参数，检测出水池中的污渍；
模块M5：输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。
优选地，在所述模块M1中：
将实时检测的3D点云数据与数据库中建好的3D点云数据模型进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣区域，包括如下步骤：
a、利用模板匹配，求出标定的水池的四角位置：
进行场景部署时，在固定位置获取水池点云数据并存储，并标定出水池的四角位置；
利用模板匹配，精准匹配出四个角落的平面坐标并转换至空间坐标中；
b、利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的感兴趣区域：
获取实际检测时水池的点云数据，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将空间坐标进行转换，得到四个角新的坐标点；
利用相机的内外参数，将求取的转换后的坐标投影至图像坐标系中，并生成所需要的感兴趣区域。
优选地，在所述模块M2中：
对水池图像进行预处理操作：
将彩色图像即RGB三通道转化为灰度图像；
对计算出的感兴趣区域进行降噪处理，使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响；
优选地，在所述模块M3中：
基于β样条插值背景图生成：
根据β样条曲线的分段连续、变差减小性、凸包性、保凸性的特性，根据实际应用场景待检测物的大小，对预处理后的图像中选取预设值间隙的控制点，生成背景图，得到控制点图像；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，得到水平方向线背景图，当分割间隙涉及到异常点，受主像素值的影响而降低异常点对背景图生成的影响，提高异常点的检出效率；
利用生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，得出建模的背景图。
优选地，在所述模块M4中：
基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍；
将转换后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，提高检测灵敏度，并进行形态学开运算排除检测出的异常值点；
根据求出的二值掩模图，对区域的特征参数进行筛选，输出污渍的位置；
优选地，在所述模块M5中：
输出检测出的污渍位置、质心、面积参数，并将位置信息转换成空间三维坐标：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点转换至空间坐标系中，实现污渍的检测和定位功能。
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
步骤1：根据数据库中建好的3D点云数据模型，将实时检测的3D点云数据与之进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣ROI区域，ROI全称为Regionof Interest，中文译名为感兴趣区域；
步骤2：基于β样条插值的背景建模，对框选出的水池ROI区域进行污渍的检测和定位；
步骤3：输出检测出的污渍位置质心面积等参数，并将位置信息转换成空间三维坐标；
其中，步骤1包括如下步骤：
步骤1.1：利用模板匹配，求出标定的水池的4角位置：
进行场景部署时，在固定位置获取水池点云数据，并存储起来，并标定出水池的4角位置，如图2所示；
利用模板匹配，精匹配出4个角落的平面坐标(x,y)，并转换至空间坐标中(x,y,z)。
步骤1.2：利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的ROI区域。
获取实际检测时，水池的点云数据，如图3所示，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将步骤1中的(x,y,z)坐标进行转换，得到4个坐标点(x1,y1,z1)；
利用相机的内外参数，就可以将求取的(x1,y1,z1)投影至图像坐标系中，并生成所需要的ROI区域；
步骤2包括如下步骤：
步骤2.1：对水池图像进行预处理操作：
将彩色图像(RGB三通道)转化为灰度图像；
对步骤1中计算出的ROI区域进行降噪处理，主要使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响；
步骤2.2：基于β样条插值背景图生成：
根据β样条曲线的分段连续,变差减小性，凸包性，保凸性的特性,根据实际应用场景待检测物的大小，对预处理后的图像中选取一定间隙的控制点，便于生成背景图,比如选取间隙为36像素,得到的控制点图像如图4所示；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，可以得到水平方向线背景图，如果分割间隙涉及到异常点，也可以受主像素值的影响而降低异常点对背景图生成的影响，进而提高异常点的检出效率，如图5所示；
利用上述生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，就可以得出最终的建模的背景图了，如图6所示；
步骤2.3：基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍。
将原始图即转化后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差，如图7所示；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，可以提高检测灵敏度，并进行形态学开运算排除检测出的异常值点，如下图8所示；
根据求出的二值掩模图，对区域的特征参数进行筛选(面积，圆度特征等)[如排除面积>5000像素数的目标区域]，输出污渍的最终位置，如图9，10所示。
步骤3包括如下步骤：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点，转换至空间坐标系中，实现了污渍的检测和定位功能。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种水池污渍检测方法，其特征在于，包括：
步骤S1：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；
步骤S2：对感兴趣区域进行降噪处理；
步骤S3：对降噪处理后的图像进行β样条曲线插值，得出建模背景图；
步骤S4：基于建模背景图，通过设置检测阈值参数，检测出水池中的污渍；
步骤S5：输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。
2.根据权利要求1所述的水池污渍检测方法，其特征在于，在所述步骤S1中：
将实时检测的3D点云数据与数据库中建好的3D点云数据模型进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣区域，包括如下步骤：
a、利用模板匹配，求出标定的水池的四角位置：
进行场景部署时，在固定位置获取水池点云数据并存储，并标定出水池的四角位置；
利用模板匹配，精准匹配出四个角落的平面坐标并转换至空间坐标中；
b、利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的感兴趣区域：
获取实际检测时水池的点云数据，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将空间坐标进行转换，得到四个角新的坐标点；
利用相机的内外参数，将求取的转换后的坐标投影至图像坐标系中，并生成所需要的感兴趣区域。
3.根据权利要求1所述的水池污渍检测方法，其特征在于，在所述步骤S2中：
对水池图像进行预处理操作：
将彩色图像即RGB三通道转化为灰度图像；
对计算出的感兴趣区域进行降噪处理，使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响。
4.根据权利要求1所述的水池污渍检测方法，其特征在于，在所述步骤S3中：
基于β样条插值背景图生成：
根据β样条曲线的分段连续、变差减小性、凸包性、保凸性的特性，根据实际应用场景待检测物的大小，对预处理后的图像中选取预设值间隙的控制点，生成背景图，得到控制点图像；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，得到水平方向线背景图，当分割间隙涉及到异常点，受主像素值的影响而降低异常点对背景图生成的影响，提高异常点的检出效率；
利用生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，得出建模的背景图。
5.根据权利要求1所述的水池污渍检测方法，其特征在于，在所述步骤S4中：
基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍：
将转换后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，提高检测灵敏度，并进行形态学开运算排除检测出的异常值点；
根据求出的二值掩模图，对区域的特征参数进行筛选，输出污渍的位置。
6.根据权利要求1所述的水池污渍检测方法，其特征在于，在所述步骤S5中：
输出检测出的污渍位置、质心、面积参数，并将位置信息转换成空间三维坐标：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点转换至空间坐标系中，实现污渍的检测和定位功能。
7.一种水池污渍检测系统，其特征在于，包括：
模块M1：将实时检测的水池的点云数据和点云数据模型进行点云匹配，计算得出感兴趣区域；
模块M2：对感兴趣区域进行降噪处理；
模块M3：对降噪处理后的图像进行β样条曲线插值，得出建模背景图；
模块M4：基于建模背景图，通过设置检测阈值参数，检测出水池中的污渍；
模块M5：输出检测出的污渍参数，将污渍的位置信息转换成空间三维坐标。
8.根据权利要求7所述的水池污渍检测系统，其特征在于，在所述模块M1中：
将实时检测的3D点云数据与数据库中建好的3D点云数据模型进行3D点云匹配，将标记好的位姿点，转化为实际检测时的感兴趣区域，包括如下步骤：
a、利用模板匹配，求出标定的水池的四角位置：
进行场景部署时，在固定位置获取水池点云数据并存储，并标定出水池的四角位置；
利用模板匹配，精准匹配出四个角落的平面坐标并转换至空间坐标中；
b、利用实际检测的图像3D点云数据，进行点云数据匹配，通过位姿转换关系，计算检测图像对应的感兴趣区域：
获取实际检测时水池的点云数据，并与之前采集的点云做匹配，保存两组数据的位姿转换关系；
将空间坐标进行转换，得到四个角新的坐标点；
利用相机的内外参数，将求取的转换后的坐标投影至图像坐标系中，并生成所需要的感兴趣区域。
9.根据权利要求7所述的水池污渍检测系统，其特征在于，包括：
在所述模块M2中：
对水池图像进行预处理操作：
将彩色图像即RGB三通道转化为灰度图像；
对计算出的感兴趣区域进行降噪处理，使用中值滤波和高斯滤波方式，滤除椒盐噪声和高斯噪声对背景建模的影响；
在所述模块M3中：
基于β样条插值背景图生成：
根据β样条曲线的分段连续、变差减小性、凸包性、保凸性的特性，根据实际应用场景待检测物的大小，对预处理后的图像中选取预设值间隙的控制点，生成背景图，得到控制点图像；
利用控制点坐标位置所在的像素值进行水平方向的β样条曲线插值，得到水平方向线背景图，当分割间隙涉及到异常点，受主像素值的影响而降低异常点对背景图生成的影响，提高异常点的检出效率；
利用生成的水平线背景图，逐列进行竖直方向的β样条曲线插值，得出建模的背景图。
10.根据权利要求7所述的水池污渍检测系统，其特征在于，包括：
在所述模块M4中：
基于建模产生的背景图，生成diff图像，根据diff图像，通过设置检测阈值参数，检测出水池中的污渍；
将转换后的灰度图像与背景图相减生成差异图，并对原图进行直方图均衡化处理，增强图像的对比度，相减即两幅图像点对点做差；
对直方图均衡化之后的图进行阈值化分割，通过调低阈值，提高检测灵敏度，并进行形态学开运算排除检测出的异常值点；
根据求出的二值掩模图，对区域的特征参数进行筛选，输出污渍的位置；
在所述模块M5中：
输出检测出的污渍位置、质心、面积参数，并将位置信息转换成空间三维坐标：
根据深度图像和彩色图像相机的内参，将水池污渍中的定位点转换至空间坐标系中，实现污渍的检测和定位功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111064094.5A CN114119738A (zh) | 2021-09-10 | 2021-09-10 | 水池污渍检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111064094.5A CN114119738A (zh) | 2021-09-10 | 2021-09-10 | 水池污渍检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119738A true CN114119738A (zh) | 2022-03-01 |
Family
ID=80441348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111064094.5A Pending CN114119738A (zh) | 2021-09-10 | 2021-09-10 | 水池污渍检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119738A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788476A (zh) * | 2024-02-27 | 2024-03-29 | 南京邮电大学 | 一种基于数字孪生技术的工件缺陷检测方法、装置 |
-
2021
- 2021-09-10 CN CN202111064094.5A patent/CN114119738A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788476A (zh) * | 2024-02-27 | 2024-03-29 | 南京邮电大学 | 一种基于数字孪生技术的工件缺陷检测方法、装置 |
| CN117788476B (zh) * | 2024-02-27 | 2024-05-10 | 南京邮电大学 | 一种基于数字孪生技术的工件缺陷检测方法、装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| US20130070095A1 (en) | Fast obstacle detection | |
| CN110070557A (zh) | 一种基于边缘特征检测的目标识别与定位方法 | |
| Wang et al. | Edge extraction by merging 3D point cloud and 2D image data | |
| CN111028271B (zh) | 基于人体骨架检测的多摄像机人员三维定位跟踪系统 | |
| CN106780526A (zh) | 一种铁氧体圆片表面裂痕识别方法 | |
| Kim et al. | A vision-based system for monitoring block assembly in shipbuilding | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN115661110B (zh) | 一种透明工件识别与定位的方法 | |
| Bormann et al. | Autonomous dirt detection for cleaning in office environments | |
| Xu et al. | A method of hole-filling for the depth map generated by Kinect with moving objects detection | |
| CN115631210A (zh) | 一种边缘检测方法及装置 | |
| CN114119738A (zh) | 水池污渍检测方法及系统 | |
| Pei et al. | Welding component identification and solder joint inspection of automobile door panel based on machine vision | |
| Chen et al. | Image segmentation in thermal images | |
| CN111080712A (zh) | 一种基于人体骨架检测的多相机人员定位跟踪显示方法 | |
| CN115184362B (zh) | 一种基于结构光投影的快速缺陷检测方法 | |
| Damaryam et al. | A Pre-processing Scheme for Line Detection with the Hough Transform for Mobile Robot Self-Navigation | |
| Li et al. | Real time object tracking using reflectional symmetry and motion | |
| CN111524102B (zh) | 一种液晶显示器的屏幕脏污检测方法及装置 | |
| CN113888632A (zh) | 结合rgbd图像水池污渍定位方法及系统 | |
| Chidambaram | Edge Extraction of Color and Range Images | |
| Yin et al. | Motion detection and tracking using the 3D-camera | |
| CN114049399B (zh) | 一种结合rgbd图像的镜面定位方法 | |
| CN118365643B (zh) | 表面缺陷检测方法、装置、存储介质和电子终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |