CN108181319B - 一种基于立体视觉的积尘检测装置及方法 - Google Patents

一种基于立体视觉的积尘检测装置及方法 Download PDF

Info

Publication number
CN108181319B
CN108181319B CN201711321133.9A CN201711321133A CN108181319B CN 108181319 B CN108181319 B CN 108181319B CN 201711321133 A CN201711321133 A CN 201711321133A CN 108181319 B CN108181319 B CN 108181319B
Authority
CN
China
Prior art keywords
cameras
camera
points
projector
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711321133.9A
Other languages
English (en)
Other versions
CN108181319A (zh
Inventor
秦彬书
方婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Sanxing Clean Engineering Co ltd
Original Assignee
Xi'an Xingzhou Tianqi Intelligent Equipment Co ltd
Shaanxi Sanxing Clean Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xingzhou Tianqi Intelligent Equipment Co ltd, Shaanxi Sanxing Clean Engineering Co ltd filed Critical Xi'an Xingzhou Tianqi Intelligent Equipment Co ltd
Priority to CN201711321133.9A priority Critical patent/CN108181319B/zh
Publication of CN108181319A publication Critical patent/CN108181319A/zh
Application granted granted Critical
Publication of CN108181319B publication Critical patent/CN108181319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G06T5/70—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G01N2021/945—Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开一种基于立体视觉的积尘检测装置及方法，装置包括两台相机、投影仪和计算机，两台相机和投影仪进连接计算机；投影仪设置于中心，两台相机对称布置于投影仪两侧，两台相机组合形成可变基线双目摄像头；两台相机的视场在被检测面上能够相互重合；所述基于立体视觉的积尘检测装置对于积尘面进行检测时，包括以下步骤：步骤一、相机标定；步骤二、图像校正；步骤三、立体匹配；步骤四、积尘检测。由于采用了非接触式的测量方式，本发明对硬件要求低，一般的相机和简单投影仪即可满足要求；由于测量结果能够直接计算，不用将样本取出，本发明能够在待测量环境中进行大范围检测；由于采用的组件体积小，本发明能够适应多种类型的测量环境。

Description

一种基于立体视觉的积尘检测装置及方法
技术领域
本发明涉及中央空调系统风管内积尘检测领域，特别涉及一种基于立体视觉的积尘检测装置及方法。
背景技术
积尘检测是社会生产中常常会遇到并需要解决的问题，当今社会科技日新月异，人工智能快速发展，机器人技术使得人们生活越来越便利，人们对身体健康与空气质量也越来越重视。公共场所的中央空调通风系统风管内表面积尘对于空气质量有着严重的影响，根据国家《公共场所集中空调通风系统卫生规范》要求，中央空调通风系统风管内表面积尘不得超过20g/m2，超过时则必须对风管内表面进行清洗。
积尘检测一直是在实际生活中很有实际价值的一个项目，不管是传统的风管内表面积尘检测还是现在智能家居的提出，都会用到积尘检测技术。《公共场所集中空调通风系统卫生规范》中提出了对于风管内表面积尘检测的标准方法：称重法。该方法需要人工使用一个粘性的滚轮在一定面积的风管内表面上粘取积尘，然后称取重量变化，计算出单位面积的积尘量。另外，还有基于采样器的积尘检测方法，研究者设计了多种形式的采样器，但都是用累积方式来获得积尘信息。在较大的空间中也可以采用基于光通量的积尘检测方法。总的来说，称重法需要人工操作，很不方便；利用采样器存在采样点少不具代表性，需要清理采样器等缺点；根据通光量的方法也需要使用透明的采样板，具有很大的局限性。
发明内容
本发明的目的在于提供一种基于立体视觉的积尘检测装置及方法，以解决上述技术问题。本发明能适应不同的环境条件下中央空调风管内表面积尘程度测量的需要。
为了实现上述目的，本发明采用如下技术方案：
一种基于立体视觉的积尘检测装置，包括两台相机、一个投影仪和计算机，两台相机和投影仪进连接计算机；投影仪设置于中心，两台相机对称布置于投影仪两侧，两台相机组合形成可变基线双目摄像头；两台相机的视场在被检测面上能够相互重合；所述基于立体视觉的积尘检测装置对于积尘面进行检测时，包括以下步骤：
步骤一、相机标定；
步骤二、图像校正；
步骤三、立体匹配；
步骤四、积尘检测。
进一步的，步骤一中，使用OpenCV 2.4.13的相机标定库来标定可变基线双目摄像头。
进一步的，步骤二具体包括：
2.1)打开两台摄像机和、投影仪和计算机，计算机控制投影仪向被检测面投射白噪声图像，计算机获取两台摄像机所同时拍摄的左右视图；
2.2)计算机读取离线相机标定参数文件，分别获得左右相机内参矩阵和畸变系数矩阵以及两相机之间的旋转矩阵与平移向量；
2.3)使用stereoRctify函数计算出左右视图的旋转矩阵；
2.4)根据相机参数和旋转矩阵分别在左右视图上使用initUndistortRectifyMap函数计算出X方向和Y方向的映射矩阵；
2.5)分别在左右视图上根据得到的映射矩阵使用remap函数得到校正后的左右视图；
2.6)裁剪出校正后的左右视图的有效区域得到最终结果，校正完成。
进一步的，步骤三具体包括：
3.1)图像预处理：
使用彩色图像灰度化以及高斯滤波方法对输入的校正后的左右视图进行预处理；
3.2)匹配代价：
使用像素点灰度差的绝对值和以及梯度信息作为相似度衡量的标准；对于左右视图中的两点p,q具体的匹配代价公式如下：
C(p,q)＝(1-ω)*min(CAD,TAD)+ω*min(CGRAD,TGRAD) (1)
式中：
ω——权重系数；
TAD——灰度差阈值；
TGRAD——梯度差阈值；
CAD——灰度差绝对值；
CGRAD——梯度差绝对值。
CAD,CGRAD由下式计算得出：
CAD(p,q)＝|Ip-Iq| (2)
Figure BDA0001504802070000031
其中Ip,Iq分别为p,q两点处的灰度值，
Figure BDA0001504802070000032
表示x方向p点处的梯度值，
Figure BDA0001504802070000033
表示x方向q点处的梯度值，
Figure BDA0001504802070000034
表示y方向p点处的梯度值，
Figure BDA0001504802070000035
表示y方向q点处的梯度值；
3.3)代价聚合：
使用自适应权重窗口，窗口内各像素点的匹配代价的权重与该像素点和中心像素点之间的空间距离和色彩差异有关，自适应权重的匹配代价如下所示：
Figure BDA0001504802070000036
其中，WR,WT表示左右视图中pc,qc匹配窗口，pc,qc分别为WR,WT的中心；pi,qi为匹配窗口中的像素点，w(p,q)表示两像素点之间的距离权重和色彩差异权重，由下式计算得出：
Figure BDA0001504802070000041
其中，
Figure BDA0001504802070000042
分别表示p,q两点件色彩空间和距离空间上的欧氏距离，γc,γs两个参数的取值范围均为0～1。
进一步的，步骤三中左右视图上所有对应点计算获得的自适应权重的匹配代价进行最小化处理，获得所有点的视差值，所有点的视差值构成视差图；
步骤四具体包括：
得到视差图后，根据下式计算出每一个像素点处的深度值z
Figure BDA0001504802070000043
其中，T为两台相机光心的距离；fx为两台相机的焦距，d为视差值；然后计算出深度图得到积尘表面的平均深度，和阈值比较输出判断结果。
一种基于立体视觉的积尘检测方法，包括以下步骤：
步骤一、相机标定：对可变基线双目摄像头进行标定；
步骤二、图像校正：对可变基线双目摄像头所拍左右图像进行校正；
步骤三、立体匹配：
3.1)图像预处理：
使用彩色图像灰度化以及高斯滤波方法对输入的校正后的左右视图进行预处理；
3.2)匹配代价：
使用像素点灰度差的绝对值和以及梯度信息作为相似度衡量的标准；对于左右视图中的两点p,q具体的匹配代价公式如下：
C(p,q)＝(1-ω)*min(CAD,TAD)+ω*min(CGRAD,TGRAD) (1)
式中：
ω——权重系数；
TAD——灰度差阈值；
TGRAD——梯度差阈值；
CAD——灰度差绝对值；
CGRAD——梯度差绝对值。
CAD,CGRAD由下式计算得出：
CAD(p,q)＝|Ip-Iq| (2)
Figure BDA0001504802070000051
其中Ip,Iq分别为p,q两点处的灰度值，
Figure BDA0001504802070000052
表示x方向p点处的梯度值，
Figure BDA0001504802070000053
表示x方向q点处的梯度值，
Figure BDA0001504802070000054
表示y方向p点处的梯度值，
Figure BDA0001504802070000055
表示y方向q点处的梯度值；
3.3)代价聚合：
使用自适应权重窗口，窗口内各像素点的匹配代价的权重与该像素点和中心像素点之间的空间距离和色彩差异有关，自适应权重的匹配代价如下所示：
Figure BDA0001504802070000056
其中，WR,WT表示左右视图中pc,qc匹配窗口，pc,qc分别为WR,WT的中心；pi,qi为匹配窗口中的像素点，w(p,q)表示两像素点之间的距离权重和色彩差异权重，由下式计算得出：
Figure BDA0001504802070000057
其中，
Figure BDA0001504802070000058
分别表示p,q两点件色彩空间和距离空间上的欧氏距离，γc,γs两个参数的取值范围均为0～1。
步骤四、积尘检测。
进一步的，步骤一中，使用OpenCV 2.4.13的相机标定库来标定可变基线双目摄像头。
进一步的，步骤二具体包括：
2.1)打开两台摄像机和和投影仪，投影仪向被检测面投射白噪声图像，获取两台摄像机所同时拍摄的左右视图；
2.2)读取离线相机标定参数文件，分别获得左右相机内参矩阵和畸变系数矩阵以及两相机之间的旋转矩阵与平移向量；
2.3)使用stereoRctify函数计算出左右视图的旋转矩阵；
2.4)根据相机参数和旋转矩阵分别在左右视图上使用initUndistortRectifyMap函数计算出X方向和Y方向的映射矩阵；
2.5)分别在左右视图上根据得到的映射矩阵使用remap函数得到校正后的左右视图；
2.6)裁剪出校正后的左右视图的有效区域得到最终结果，校正完成。
进一步的，步骤三中左右视图上所有对应点计算获得的自适应权重的匹配代价进行最小化处理，获得所有点的视差值，所有点的视差值构成视差图；
步骤四具体包括：
得到视差图后，根据下式计算出每一个像素点处的深度值z
Figure BDA0001504802070000061
其中，T为两台相机光心的距离；fx为两台相机的焦距，d为视差值；然后计算出深度图得到积尘表面的平均深度，和阈值比较输出判断结果。
进一步的，将深度图归一化到RGB色彩空间，显示彩虹图。
根据《公共场所集中空调通风系统卫生规范》要求，中央空调通风系统风管内表面积尘不得超过20g/m2。因此，根据获得的积尘厚度对积尘情况进行分级：少量积尘、轻度积尘、严重积尘。少量积尘表示积尘量很少，可以不清理；轻度积尘表示积尘量较少，需要清理；严重积尘表示积尘量很多，必须尽快清理。根据实验确定积尘等级划分的阈值，计算得到积尘表面的平均深度后根据划分的阈值就可以得到积尘表面的分割阈值。为了更加直观的观察深度图像，把深度图按照深度值大小归一化到RGB色彩空间中，以彩色图形式展现实验结果。
相对于现有技术，本发具有以下有益效果：
1)由于采用了非接触式的测量方式，本发明对硬件要求低，一般的相机和简单投影仪(只需投影出白噪声图像)即可满足要求；
2)由于测量结果能够直接计算，不用将样本取出，本发明能够在待测量环境中进行大范围检测；
3)由于采用的组件体积小，本发明能够适应多种类型的测量环境；
4)由于采用的组件功耗低，本发明可以在移动载体(比如移动机器人)上实现对环境的遍历测量。
附图说明
图1是本发明一种基于立体视觉的积尘检测装置的组成图；
图2是积尘检测流程图；
图3是立体匹配算法流程图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
请参阅图1所示，本发明一种基于立体视觉的积尘检测装置，包括两台相机、一个投影仪和计算机，两台相机和投影仪进连接计算机；投影仪设置于中心，两台相机对称布置于投影仪两侧，两台相机组合形成可变基线双目摄像头；两台相机的视场在被检测面(中央空调通风系统风管内表面)上能够相互重合。
请参阅图2所示，本发明一种基于立体视觉的积尘检测方法，包含步骤如下：
步骤一、相机标定；
步骤二、图像校正；
步骤三、立体匹配；
步骤四、积尘检测。
所述步骤一的具体实现步骤为：
在进行积尘检测之前，使用OpenCV 2.4.13的相机标定库来标定可变基线双目摄像头，其使用了张正友相机标定法作为通用相机的标准标定方法，首先制作标准的标定板，为黑白相间的棋盘纸，为了便于计算角点的实际坐标，使得棋盘纸中每一个方格的长宽都相等，为2mm×2mm。理论上，在一定范围内，拍摄的标定图像越多，获得的相机参数越精确，当然标定程序消耗的时间也越长。具体方法步骤如下：
(1)读取一幅标定图像，转换为单通道灰度图。
(2)使用findChessboardConers函数检测标定图中的角点。
(3)使用find4QuadCornerSubpix函数细化角点坐标并存储到数组中。
(4)判断标定图像是否读取完？是前往步骤5)；否前往步骤1)。
(5)计算所有角点的实际坐标，存储到数组中。
(6)使用stereoCalibrate函数实现双目相机标定。
(7)将标定结果保存到yml文件中。
其中，使用yml文件来离线存储相机标定参数。yml是一种标记语言，OpenCV提供了yml文件的访问接口，能够方便快捷地实现相机参数矩阵的按名存储与读取。
步骤二的具体实现步骤：
在经过步骤一获取相机标定参数后，步骤二需要对左右视场重合的两台相机所同时拍摄的两幅图像(左右视图)进行校正，实现两幅图像的行对齐，具体步骤如下：
(1)打开两台摄像机和、投影仪和计算机，计算机控制投影仪向被检测面投射白噪声图像，计算机获取两台摄像机所同时拍摄的左右视图。
(2)计算机读取离线相机标定参数文件，分别获得左右相机内参矩阵和畸变系数矩阵以及两相机之间的旋转矩阵与平移向量。
(3)使用stereoRctify函数计算出左右视图的旋转矩阵。
(4)根据相机参数和旋转矩阵分别在左右视图上使用initUndistortRectifyMap函数计算出X方向和Y方向的映射矩阵。
(5)分别在左右视图上根据得到的映射矩阵使用remap函数得到校正后的左右视图。
(6)裁剪出校正后的左右视图的有效区域得到最终结果，校正完成。
步骤三的具体实现步骤：
该过程在步骤二校正后的图像对中找到两幅图像中的对应像素，流程如图3所求，具体步骤如下：
(1)图像预处理
图像预处理过程主要是为了削弱或者消除环境因素等对图像质量的影响以获得较为真实的物体图像，同时也是为了消除一些不相关因素对于匹配过程造成的不利影响，提高立体匹配算法的性能，获得较为准确的视差图。在图像校正过程中，已经消除了图像的畸变，并裁剪出了图像的有效区域，本发明使用彩色图像灰度化以及高斯滤波方法对输入的校正后的左右视图进行预处理。
彩色图像灰度化是将相机拍摄得到的RGB色彩空间的3通道彩色图像转换为单通道灰度图像，使用对RGB图像各通道加权平均的方式获得单通道灰度图像。彩色图像灰度化实际上是对图像数据的降维处理，减少了立体匹配算法在色彩空间上搜索范围，大大提高了立体匹配算法的时间性能。
高斯滤波是一种空域滤波方式，它用滤波掩模所确定的邻域内的加权平均灰度值代替图像中每个像素点的值，这样处理可以减小图像噪声对立体匹配带来的不利影响。
(2)匹配代价
根据本发明所涉及的实际运行场景，积尘表面本来就具有较复杂的纹理信息，为了计算简单提高算法性能，本发明选择使用像素点灰度差的绝对值和以及梯度信息作为相似度衡量的标准。对于左右视图中的两点p,q具体的匹配代价公式如下：
C(p,q)＝(1-ω)*min(CAD,TAD)+ω*min(CGRAD,TGRAD) (1)
式中：
ω——权重系数(取值范围0～1)；
TAD——灰度差阈值；
TGRAD——梯度差阈值；
CAD——灰度差绝对值；
CGRAD——梯度差绝对值。
CAD,CGRAD由下式计算得出：
CAD(p,q)＝|Ip-Iq| (2)
Figure BDA0001504802070000101
其中Ip,Iq分别为p,q两点处的灰度值，
Figure BDA0001504802070000102
表示x方向p点处的梯度值，
Figure BDA0001504802070000103
表示x方向q点处的梯度值，
Figure BDA0001504802070000104
表示y方向p点处的梯度值，
Figure BDA0001504802070000105
表示y方向q点处的梯度值。
(3)代价聚合
本发明选择使用自适应权重窗口，窗口内各像素点的匹配代价的权重与该像素点和中心像素点之间的空间距离和色彩差异有关，自适应权重的匹配代价如下所示：
Figure BDA0001504802070000106
其中，WR,WT表示左右视图中pc,qc匹配窗口，pc,qc分别为WR,WT的中心；pi,qi为匹配窗口中的像素点，w(p,q)表示两像素点之间的距离权重和色彩差异权重，由下式计算得出：
Figure BDA0001504802070000107
其中，
Figure BDA0001504802070000111
分别表示p,q两点件色彩空间和距离空间上的欧氏距离，γc,γs两个参数的取值范围均为0～1。
左右视图上所有对应点计算获得的自适应权重的匹配代价进行最小化处理，获得所有点的视差值，所有点的视差值构成视差图；
步骤四的具体实现：
得到视差图后，根据下式
Figure BDA0001504802070000112
计算出深度图得到积尘表面的平均深度；其中，T为两台相机光心的距离；fx为两台相机的焦距，d为视差值。具体实现步骤如下：
(1)读取视差图，生成深度矩阵；
(2)根据式(6)计算每一个像素点处的深度值z；
(3)求和计算平均深度，和阈值(根据行业规范确定)比较输出判断结果；
(4)将深度图归一化到RGB色彩空间，显示彩虹图。

Claims (5)

1.一种基于立体视觉的积尘检测装置，其特征在于，包括两台相机、一个投影仪和计算机，两台相机和投影仪进连接计算机；投影仪设置于中心，两台相机对称布置于投影仪两侧，两台相机组合形成可变基线双目摄像头；两台相机的视场在被检测面上能够相互重合；所述基于立体视觉的积尘检测装置对于积尘面进行检测时，包括以下步骤：
步骤一、相机标定；
步骤二、图像校正；
步骤三、立体匹配；
步骤四、积尘检测；
步骤二具体包括：
2.1)打开两台相机、投影仪和计算机，计算机控制投影仪向被检测面投射白噪声图像，计算机获取两台相机所同时拍摄的左右视图；
2.2)计算机读取离线相机标定参数文件，分别获得左右相机内参矩阵和畸变系数矩阵以及两相机之间的旋转矩阵与平移向量；
2.3)使用stereoRctify函数计算出左右视图的旋转矩阵；
2.4)根据相机参数和旋转矩阵分别在左右视图上使用initUndistortRectifyMap函数计算出X方向和Y方向的映射矩阵；
2.5)分别在左右视图上根据得到的映射矩阵使用remap函数得到校正后的左右视图；
2.6)裁剪出校正后的左右视图的有效区域得到最终结果，校正完成；
步骤三具体包括：
3.1)图像预处理：
使用彩色图像灰度化以及高斯滤波方法对输入的校正后的左右视图进行预处理；
3.2)匹配代价：
使用像素点灰度差的绝对值和以及梯度信息作为相似度衡量的标准；对于左右视图中的两点p，q具体的匹配代价公式如下：
C(p，q)＝(1-ω)*min(CAD，TAD)+ω*min(CGRAD，TGRAD) (1)
式中：
ω——权重系数；
TAD——灰度差阈值；
TGRAD——梯度差阈值；
CAD——灰度差绝对值；
CGRAD——梯度差绝对值；
CAD，CGRAD由下式计算得出：
CAD(p，q)＝|Ip-Iq| (2)
Figure FDA0002595169830000021
其中Ip，Iq分别为p，q两点处的灰度值，
Figure FDA0002595169830000022
表示x方向p点处的梯度值，
Figure FDA0002595169830000023
表示x方向q点处的梯度值，
Figure FDA0002595169830000024
表示y方向p点处的梯度值，
Figure FDA0002595169830000025
表示y方向q点处的梯度值；
3.3)代价聚合：
使用自适应权重窗口，窗口内各像素点的匹配代价的权重与该像素点和中心像素点之间的空间距离和色彩差异有关，自适应权重的匹配代价如下所示：
Figure FDA0002595169830000026
其中，WR，WT表示左右视图中pc，qc匹配窗口，pc，qc分别为WR，WT的中心；pi，qi为匹配窗口中的像素点，w(p，q)表示两像素点之间的距离权重和色彩差异权重，由下式计算得出：
Figure FDA0002595169830000027
其中，
Figure FDA0002595169830000028
分别表示p，q两点件色彩空间和距离空间上的欧氏距离，γc，γs两个参数的取值范围均为0～1；
步骤三中，对左右视图上所有对应点计算获得的自适应权重的匹配代价进行最小化处理，获得所有点的视差值，所有点的视差值构成视差图；
步骤四具体包括：
得到视差图后，根据下式计算出每一个像素点处的深度值z
Figure FDA0002595169830000031
其中，T为两台相机光心的距离；fx为两台相机的焦距，d为视差值；然后计算出深度图得到积尘表面的平均深度，和阈值比较输出判断结果。
2.根据权利要求1所述的一种基于立体视觉的积尘检测装置，其特征在于，步骤一中，使用OpenCV 2.4.13的相机标定库来标定可变基线双目摄像头。
3.一种基于立体视觉的积尘检测方法，其特征在于，包括以下步骤：
步骤一、相机标定：对可变基线双目摄像头进行标定；
步骤二、图像校正：对可变基线双目摄像头所拍左右图像进行校正；
步骤二具体包括：
2.1)打开两台相机和投影仪，投影仪向被检测面投射白噪声图像，获取两台相机所同时拍摄的左右视图；
2.2)读取离线相机标定参数文件，分别获得左右相机内参矩阵和畸变系数矩阵以及两相机之间的旋转矩阵与平移向量；
2.3)使用stereoRctify函数计算出左右视图的旋转矩阵；
2.4)根据相机参数和旋转矩阵分别在左右视图上使用initUndistortRectifyMap函数计算出X方向和Y方向的映射矩阵；
2.5)分别在左右视图上根据得到的映射矩阵使用remap函数得到校正后的左右视图；
2.6)裁剪出校正后的左右视图的有效区域得到最终结果，校正完成；
步骤三、立体匹配：
3.1)图像预处理：
使用彩色图像灰度化以及高斯滤波方法对输入的校正后的左右视图进行预处理；
3.2)匹配代价：
使用像素点灰度差的绝对值和以及梯度信息作为相似度衡量的标准；对于左右视图中的两点p，q具体的匹配代价公式如下：
C(p，q)＝(1-ω)*min(CAD，TAD)+ω*min(CGRAD，TGRAD) (1)
式中：
ω——权重系数；
TAD——灰度差阈值；
TGRAD——梯度差阈值；
CAD——灰度差绝对值；
CGRAD——梯度差绝对值；
CAD，CGRAD由下式计算得出：
CAD(p，q)＝|Ip-Iq| (2)
Figure FDA0002595169830000041
其中Ip，Iq分别为p，q两点处的灰度值，
Figure FDA0002595169830000042
表示x方向p点处的梯度值，
Figure FDA0002595169830000043
表示x方向q点处的梯度值，
Figure FDA0002595169830000044
表示y方向p点处的梯度值，
Figure FDA0002595169830000045
表示y方向q点处的梯度值；
3.3)代价聚合：
使用自适应权重窗口，窗口内各像素点的匹配代价的权重与该像素点和中心像素点之间的空间距离和色彩差异有关，自适应权重的匹配代价如下所示：
Figure FDA0002595169830000051
其中，WR，WT表示左右视图中pc，qc匹配窗口，pc，qc分别为WR，WT的中心；pi，qi为匹配窗口中的像素点，w(p，q)表示两像素点之间的距离权重和色彩差异权重，由下式计算得出：
Figure FDA0002595169830000052
其中，
Figure FDA0002595169830000054
分别表示p，q两点件色彩空间和距离空间上的欧氏距离，γc，γs两个参数的取值范围均为0～1；
步骤三中，对左右视图上所有对应点计算获得的自适应权重的匹配代价进行最小化处理，获得所有点的视差值，所有点的视差值构成视差图；
步骤四、积尘检测；
步骤四具体包括：
得到视差图后，根据下式计算出每一个像素点处的深度值z
Figure FDA0002595169830000053
其中，T为两台相机光心的距离；fx为两台相机的焦距，d为视差值；然后计算出深度图得到积尘表面的平均深度，和阈值比较输出判断结果。
4.根据权利要求3所述的一种基于立体视觉的积尘检测方法，其特征在于，步骤一中，使用OpenCV 2.4.13的相机标定库来标定可变基线双目摄像头。
5.根据权利要求3所述的一种基于立体视觉的积尘检测方法，其特征在于，将深度图归一化到RGB色彩空间，显示彩虹图。
CN201711321133.9A 2017-12-12 2017-12-12 一种基于立体视觉的积尘检测装置及方法 Active CN108181319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711321133.9A CN108181319B (zh) 2017-12-12 2017-12-12 一种基于立体视觉的积尘检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711321133.9A CN108181319B (zh) 2017-12-12 2017-12-12 一种基于立体视觉的积尘检测装置及方法

Publications (2)

Publication Number Publication Date
CN108181319A CN108181319A (zh) 2018-06-19
CN108181319B true CN108181319B (zh) 2020-09-11

Family

ID=62546096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711321133.9A Active CN108181319B (zh) 2017-12-12 2017-12-12 一种基于立体视觉的积尘检测装置及方法

Country Status (1)

Country Link
CN (1) CN108181319B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724992A (zh) * 2018-07-23 2019-05-07 永康市柴迪贸易有限公司 电视柜清洁度解析机构
CN109091962A (zh) * 2018-08-29 2018-12-28 莱克电气绿能科技(苏州)有限公司 气体净化装置及其控制方法
CN110260801A (zh) * 2019-05-13 2019-09-20 平安科技（深圳）有限公司 用于测量物料体积的方法和装置
CN110687024A (zh) * 2019-09-18 2020-01-14 北方爆破科技有限公司 一种基于图像的爆破粉尘量的测量方法
CN110830781B (zh) 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN111080638B (zh) * 2019-12-27 2023-04-07 成都泓睿科技有限责任公司 一种检测模制瓶瓶底脏污的方法
CN111292367B (zh) * 2020-02-18 2023-04-07 青岛联合创智科技有限公司 一种基线可变的双目相机深度图生成方法
CN111754638B (zh) * 2020-07-08 2021-02-19 湖南九九智能环保股份有限公司 一种堆场内的自动抑尘降尘系统及堆场内抑尘降尘方法
CN111930084B (zh) * 2020-08-04 2022-09-23 广东理文造纸有限公司 基于纸面尘埃检测的无尘纸生产控制系统及方法
CN114797309B (zh) * 2022-04-08 2024-01-09 中冶节能环保有限责任公司 袋式除尘器检修方法、装置、袋式除尘器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661740A (zh) * 2012-05-29 2012-09-12 李坚 一种智能型测量机器人
CN202471015U (zh) * 2012-03-01 2012-10-03 北京建龙重工集团有限公司 一种积尘检测装置
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN107392950A (zh) * 2017-07-28 2017-11-24 哈尔滨理工大学 一种基于弱纹理检测的跨尺度代价聚合立体匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202471015U (zh) * 2012-03-01 2012-10-03 北京建龙重工集团有限公司 一种积尘检测装置
CN102661740A (zh) * 2012-05-29 2012-09-12 李坚 一种智能型测量机器人
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN107392950A (zh) * 2017-07-28 2017-11-24 哈尔滨理工大学 一种基于弱纹理检测的跨尺度代价聚合立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进自适应加权的局部立体匹配算法;刘辰 等;《电视技术》;20151231;第39卷(第11期);第2页 *

Also Published As

Publication number Publication date
CN108181319A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108181319B (zh) 一种基于立体视觉的积尘检测装置及方法
EP3158532B1 (en) Local adaptive histogram equalization
US20170064287A1 (en) Fast algorithm for online calibration of rgb-d camera
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN109087325B (zh) 一种基于单目视觉的直接法点云三维重建及尺度确定方法
CN110033461B (zh) 一种基于目标位移量估计的手机防抖功能评估方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN111429533A (zh) 一种相机镜头畸变参数估计装置及方法
CN111027415A (zh) 一种基于偏振图像的车辆检测方法
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN112640413B (zh) 用于显示周围环境的模型的方法、控制设备和车辆
CN112070736B (zh) 一种结合目标检测和深度计算的物体体积视觉测量方法
CN110400333B (zh) 教练式双目立体视觉装置及高精度立体视觉图像获取方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
CN114018214A (zh) 一种基于硬件加速系统的标志物双目亚像素测距方法
KR20150096128A (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
CN113888420A (zh) 一种基于修正模型的水下图像复原方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qin Binshu

Inventor before: Qin Binshu

Inventor before: Fang Jing

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230815

Address after: Room 20506, Unit 2, Building 2, Leading Times Square (Block B), No. 86 Gaoxin Road, High tech Zone, Xi'an City, Shaanxi Province, 710065

Patentee after: SHAANXI SANXING CLEAN ENGINEERING Co.,Ltd.

Address before: Room 20506, Unit 2, Building 2, Leading Times Square (Block B), No. 86 Gaoxin Road, High tech Zone, Xi'an City, Shaanxi Province, 710065

Patentee before: SHAANXI SANXING CLEAN ENGINEERING Co.,Ltd.

Patentee before: XI'AN XINGZHOU TIANQI INTELLIGENT EQUIPMENT Co.,Ltd.