CN114332373A - 一种克服继电器金属表面反光的磁路落差检测方法及系统 - Google Patents

一种克服继电器金属表面反光的磁路落差检测方法及系统 Download PDF

Info

Publication number
CN114332373A
CN114332373A CN202111639658.3A CN202111639658A CN114332373A CN 114332373 A CN114332373 A CN 114332373A CN 202111639658 A CN202111639658 A CN 202111639658A CN 114332373 A CN114332373 A CN 114332373A
Authority
CN
China
Prior art keywords
image
camera
relay
speckle
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111639658.3A
Other languages
English (en)
Inventor
林少宁
林俊义
张炳威
江开勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202111639658.3A priority Critical patent/CN114332373A/zh
Publication of CN114332373A publication Critical patent/CN114332373A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种克服继电器金属表面反光的磁路落差检测方法及系统,针对金属表面存在的局部高反光区域影响检测问题,通过设计调整散斑图案,实现散斑投影精确三维重建。本发明首先设计散斑图像的参数(包括大小和密度),再利用双目立体视觉原理,采用改进的NCC算法实现立体匹配最终获得被测继电器的三维轮廓信息,然后利用随机采样一致性(RANSAC)结合欧式聚类算法分割点云,得到继电器磁路落差平面,并进行评测,克服了存在反光闪亮点情况下继电器的检测难题,结果准确可靠。

Description

一种克服继电器金属表面反光的磁路落差检测方法及系统
技术领域
本发明涉及三维重建领域,特别指一种克服继电器金属表面反光的磁路落差检测方法及系统。
背景技术
传统的投影三维精密测量系统对被测物体表面的光学特性一定的要求,由于强烈的镜面反射容易引起相机捕获的像素饱和,故要求被测物体表面具有足够的漫反射且不能存在大面积的镜面反射。然而,在实际的测量过程中,被测物体的材质不同,其表面存在着不同的反射特性,投影到物体的编码图案的效果因此受到了不同程度的影响。其中,由于物体表面的高反射率导致图像像素饱和最终导致物体三维重建结果的失败。因此研究高反射率物体的表面三维形貌测量,进一步提高现有结构光三维扫描技术具有重要的研究意义和应用价值。
此外,三维数字散斑测量方法目前已经发展成为一种对测量环境要求较低、灵敏度较高、数据处理自动化、适用范围广的非接触性、全场范围的有效测量方法,成为现代光测中的一个重要组成部分;基于散斑的结构光只需单张图像即可实现三维重建,也是重要的动态测量手段之一。
发明内容
针对上述提到的存在金属反光引起图像饱和导致数据丢失等问题,本发明提出一种克服继电器金属表面反光的磁路落差检测方法及系统。
本发明采用如下技术方案:
一方面,一种克服继电器金属表面反光的磁路落差检测方法,包括如下步骤:
S101,搭建包括左相机、右相机和投影仪的双目结构光视觉系统,通过相机标定得到左右相机的内参和外参;
S102,生成编码大小和密度可调节且随机分布的数字散斑图像;
S103,将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两图像,对左右两图像进行极线矫正,并对矫正后的左右两图像采用改进的NCC算法进行匹配,得到视差图像;
S104,利用标定得到的相机内外参数及视差图像获取深度信息,计算被测继电器的三维数据,进行三维点云重建;
S105,对继电器磁路落差进行评测,对所述三维点云进行去噪滤波,通过点云分割得到磁路两平面数据,利用求距离公式取得磁路落差结果。
优选的,S101中,通过相机标定得到左右相机的内参和外参的方法,包括:采用张正友标定法利用棋盘格标志物得到左右两个相机的内外参数。
优选的,S102中,生成数字散斑图像的方法,包括:
S1021,设置一张大小为h×w的图像,设置方形散斑大小为d×d;
S1022,由所述的散斑设计条件可以得到散斑点数量为u×v,
Figure BDA0003442339240000021
其中,floor表示取整函数;u表示图像中横向的散斑数量;v表示图像中纵向的散斑数量;
S1023,构造一个u×v大小的二维数组index,同时为每个3d×3d大小的九宫格窗口设置对应序号为0-8;遍历该二维数组,通过rand随机函数获得每个窗口的随机序号值,根据散斑的设计条件,将符合判断条件的窗口序号值存入二维数组index中;如下:
index[i][j]=rand(9)
Figure BDA0003442339240000022
S1024,将该二维数组中的序号值转换为散斑点坐标(x,y),转换公式如下:
Figure BDA0003442339240000023
其中,散斑的横坐标x为当前序号值除3取整,纵坐标y为将当前序号值除3取余;
S1025,根据设置的散斑大小和散斑点坐标,生成最终的散斑图像。
优选的,S103中,将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两图像,对左右两图像进行极线矫正,具体包括:
将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两初始图像,对初始图像进行极线矫正,经过矫正的左右图像对应极线是水平对齐的,与图像的行水平保持一致,此时图像匹配可以转化为二维仅沿着图像行方向展开,最终得到矫正后的水平对齐的左右图像。
优选的,S103中,对矫正后的左右两图像采用改进的NCC算法进行匹配,得到视差图像,具体包括:
对于左右经矫正后待匹配图像其强度表示为IL(x,y)和IR(x,y),获取一非负视差值d0使得下列式子成立:
IL(x,y)=IR(x,y-d0)
其中(x,y)表示为像素坐标,d0表示对应像素匹配的视差值;
为了在基于局部窗口的框架下解决图像匹配问题,设一大小为N1×N2的左图像窗口,其中心位于坐标(x,y)处,定义该窗口对应视差值为d时的右图像窗口的归一化互相关系数NCC的计算公式为:
Figure BDA0003442339240000031
其中:
d∈(0,...,D)
IR=IR(x+j,y+j)
Figure BDA0003442339240000032
Figure BDA0003442339240000033
IL=IL(x+j,y+j+d)
Figure BDA0003442339240000034
n∈(1,...,N1)
m∈(1,...,N2)
归一化互相关系数NCC的表达式为NCC(d),其中d表示视差值,其范围为d∈(0,...,D),D为最大视差范围;IR为右图像窗口中位置为(x+j,y+j)的像素值,其范围为
Figure BDA0003442339240000035
(x,y)为窗口中心像素坐标;
Figure BDA0003442339240000036
代表右图像窗口中所有像素的平均值;IL为左图像窗口中位置为(x+j,y+j+d)的像素值,其范围为
Figure BDA0003442339240000037
且d∈(0,...,D),
Figure BDA0003442339240000038
代表左窗口中所有像素的平均值;则d0为一整数视差,其对应的最大相关系数求解可表示为下列形式:
Figure BDA0003442339240000039
为了获得更高精度的亚像素视差,进而引入了一连续空间参数τ,则亚像素视差值可表示为:
d′(x,y)=d0(x,y)-τ(x,y)
其中,d′(x,y)表示坐标为(x,y)处的亚像素视差值;
连续空间参数τ的表达式为:
Figure BDA0003442339240000041
Figure BDA0003442339240000042
其中,参数
Figure BDA0003442339240000043
为视差d0处的相关系数,
Figure BDA0003442339240000044
表示当视差为d0-1处的相关系数;参数λ表示当视差分别为d0和d0-1处相邻窗口的范数比;r表示两窗口相关系数的比值;其中,
Figure BDA0003442339240000045
表示当视差为d0时的右图像窗口中各个像素的值,
Figure BDA0003442339240000046
表示当视差为d0-1时该窗口中各个像素的值,
Figure BDA0003442339240000047
Figure BDA0003442339240000048
分别代表两窗口中各个像素的平均值;λ和r两个参数用于表示两窗口之间的相关性;根据相似性关系,通过式子可以确定相邻像素之间的亚像素位置。
优选的,S104中,利用标定得到的相机内外参数及视差图像获取深度信息,计算被测继电器的三维数据,进行三维点云重建,重建公式如下:
Figure BDA0003442339240000049
其中,f表示极线矫正后的相机焦距;[uL,vL]表示左图像上的点的像素坐标,单位为像素;(u0,v0)代表图像上像素原点坐标,[x,y,z]为像素坐标[uL,vL]对应的点的三维坐标,单位为mm;
Figure BDA00034423392400000410
表示左相机的图像成像中心,单位为像素;B表示左右图像之间的基线长度,单位为mm;
Figure BDA00034423392400000411
表示右相机的图像成像中心,单位为像素。
优选的,所述S105,具体包括:
对三维重建得到的点云进行去噪滤波;
采用随机采样一致性算法进行点云分割得到所要测量的继电器金属表面衔铁和轭铁所在磁路平面;
由于两平面点云数据接近,拟合的平面近似,接着对磁路平面进行欧式聚类分割算法分别分离出衔铁和轭铁两平面点云数据,拟合得到其中衔铁平面方程,并代入轭铁平面的点云通过点面距离公式得到法向距离,求得其磁路落差。
另一方面,一种克服继电器金属表面反光的磁路落差检测系统,包括:
双目视觉系统搭建模块,用于搭建包括左相机、右相机和投影仪的双目结构光视觉系统,通过相机标定得到左右相机的内参和外参;
散斑投影模块,用于生成编码大小和密度可调节且随机分布的数字散斑图像;
数据获取模块,将所述散斑图像通过和投影仪投射到被测继电器表面,通过左右相机进行拍摄,得到左右图像,并进行极线矫正;
图像匹配模块,对得到的矫正后的图像采用改进的NCC算法进行匹配,得到视差图像;
三维重建模块,用于对相机标定得到的内参和外参以及视差恢复深度信息,根据三角原理进行三维点云的重建;
点云处理模块,用于对所述得到的三维点云进行去噪,然后利用随机采用一致性算法和欧式聚类分割算法进行点云分割分离得到衔铁和轭铁两平面的点云数据;
落差计算模块,用于对得到的衔铁和轭铁磁路落差点云数据通过点面距离计算公式,将轭铁点云代入衔铁拟合得到的平面方程中,求取得到落差结果。
本发明的有益效果如下:
本发明通过预设散斑分布条件生成可控制疏密大小具有高辨识度的散斑图像,且通过改变投影的散斑大小,能够抵消金属表面的高光闪亮点;采用改进的NCC算法提高图像匹配的精度,仅需要投影单张散斑图案,实现了精确地三维动态重建;此外,本发明的双目散斑结构光系统可以克服继电器金属表面的高光闪亮点,建立稠密点云并实现磁路平面的分割,完成落差的检测。
以下结合附图及实施例对本发明作进一步详细说明,但本发明的一种克服继电器金属表面反光的磁路落差检测方法及系统不局限于实施例。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程图;
图2为本发明实施例的双目结构光视觉系统的结构示意图;
图3为本发明实施例真实搭建的双目结构光视觉系统示意图;
图4为本发明实施例被测对象继电器的示意图;
图5为本发明实施例继电器金属表面的反光区域示意图;
图6为本发明实施例生成的散斑图案的示意图;
图7为本发明的实施例完成继电器的三维重建示意图;
图8为本发明的实施例的实现点云分割后磁路平面的数据示意图;其中,(a)表示衔铁表面示意图;(b)表示衔铁表轭铁表面示意图;
图9为本发明实施例的克服继电器金属表面反光的磁路落差检测系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步的详细描述。
参见图1所示,本发明一种克服继电器金属表面反光的磁路落差检测方法,包括如下步骤:
S101,搭建包括左相机、右相机和投影仪的双目结构光视觉系统,通过相机标定得到左右相机的内参和外参;
S102,生成编码大小和密度可调节且随机分布的数字散斑图像;
S103,将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两图像,对左右两图像进行极线矫正,并对矫正后的左右两图像采用改进的NCC算法进行匹配,得到视差图像;
S104,利用标定得到的相机内外参数及视差图像获取深度信息,计算被测继电器的三维数据,进行三维点云重建;
S105,对继电器磁路落差进行评测,对所述三维点云进行去噪滤波,通过点云分割得到磁路两平面数据,利用求距离公式取得磁路落差结果。
具体的,参见图2至4所示,为搭建的双目结构光视觉系统,所述双目结构光视觉系统包括了了左相机201、投影仪202和右相机203,还包括用于放置被测继电器204的载物台205。
S101中进一步的,通过相机标定得到左右相机的内参和外参的方法,包括:采用张正友标定法利用棋盘格标志物得到左右两个相机的内外参数。
S102步骤中,继电器金属表面的闪亮点与实际投影的斑点之间的大小关系是散斑投影克服闪亮点反光影响完成三维测量的关键。为了使生成的数字散斑图像具有唯一性,通过产生随机位置的散斑点来保证,同时为了克服金属表面闪亮点的影响,需要根据实际闪亮点大小调整生成的散斑点大小和散斑密度。当散斑大小调整合适时,该方法可以较好地克服闪亮点存在情况下的三维测量。为了使得散斑具备唯一性,大小密度可控性,对比度强的特点,数字散斑图像的设计具体满足以下条件:
(1)散斑图由分布在黑色背景上的白点共同组成,每个白点的像素可调整为n×n;
(2)在由每九个像素大小组成的窗口内有且仅有一个白点像素;
(3)任意两个白点不相邻,且任意一个白点的八邻域中不存在其它白点。
具体的,S102中,生成数字散斑图像的方法,包括:
S1021,设置一张大小为h×w的图像,设置方形散斑大小为d×d;
S1022,由所述的散斑设计条件可以得到散斑点数量为u×v,
Figure BDA0003442339240000071
其中,floor表示取整函数;u表示图像中横向的散斑数量;v表示图像中纵向的散斑数量;
S1023,构造一个u×v大小的二维数组index,同时为每个3d×3d大小的九宫格窗口设置对应序号为0-8;遍历该二维数组,通过rand随机函数获得每个窗口的随机序号值,根据散斑的设计条件,将符合判断条件的窗口序号值存入二维数组index中;如下:
index[i][j]=rand (9)
Figure BDA0003442339240000072
S1024,将该二维数组中的序号值转换为散斑点坐标(x,y),转换公式如下:
Figure BDA0003442339240000073
其中,散斑的横坐标x为当前序号值除3取整,纵坐标y为将当前序号值除3取余;
S1025,根据设置的散斑大小d和散斑点坐标(x,y),生成最终的散斑图像。根据金属表面的高光闪亮点的大小影响,相应调整生成随机散斑图像的疏密程度和散斑大小,同时适当调整左右相机的设置角度避免在成像过程中产生大面积反光。
参见5所示,为本发明实施例继电器金属表面的反光区域示意图;参见图6所示,为本发明本实施例生成的散斑图案的示意图。
S103中,将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两图像,对左右两图像进行极线矫正,具体包括:
将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两初始图像,对初始图像进行极线矫正,经过矫正的左右图像对应极线是水平对齐的,与图像的行水平保持一致,此时图像匹配可以转化为二维仅沿着图像行方向展开,最终得到矫正后的水平对齐的左右图像。
进一步的,S103中,对矫正后的左右两图像采用改进的NCC算法进行匹配,得到视差图像,具体包括:
对于左右经矫正后待匹配图像其强度表示为IL(x,y)和IR(x,y),获取一非负视差值d0使得下列式子成立:
IL(x,y)=IR(x,y-d0)
其中(x,y)表示为像素坐标,d0表示对应像素匹配的视差值。
为了在基于局部窗口的框架下解决图像匹配问题,设一大小为N1×N2的左图像窗口,其中心位于坐标(x,y)处,定义该窗口对应视差值为d时的右图像窗口的归一化互相关系数(Normalized Cross Coefficien,NCC)的计算公式为:
Figure BDA0003442339240000081
其中:
d∈(0,…,D)
IR=IR(x+j,y+j)
Figure BDA0003442339240000082
Figure BDA0003442339240000083
IL=IL(x+j,y+j+d)
Figure BDA0003442339240000084
n∈(1,...,N1)
m∈(1,...,N2)
归一化互相关系数(Normalized Cross Coefficien,NCC)的表达式为NCC(d),其中d表示视差值,其范围为d∈(0,…,D),D为最大视差范围;IR为右图像窗口中位置为(x+j,y+j)的像素值,其范围为
Figure BDA0003442339240000091
(x,y)为窗口中心像素坐标;
Figure BDA0003442339240000092
代表右图像窗口中所有像素的平均值;IL为左图像窗口中位置为(x+j,y+j+d)的像素值,其范围为
Figure BDA0003442339240000093
且d∈(0,…,D),
Figure BDA0003442339240000094
代表左窗口中所有像素的平均值;则d0为一整数视差,其对应的最大相关系数求解可表示为下列形式:
Figure BDA0003442339240000095
为了获得更高精度的亚像素视差,进而引入了一连续空间参数τ,则亚像素视差值可表示为:
d'(x,y)=d0(x,y)-τ(x,y)
其中,d′(x,y)表示坐标为(x,y)处的亚像素视差值;
连续空间参数τ的表达式为:
Figure BDA0003442339240000096
Figure BDA0003442339240000097
其中,参数
Figure BDA0003442339240000098
为视差d0处的相关系数,
Figure BDA0003442339240000099
表示当视差为d0-1处的相关系数;参数λ表示当视差分别为d0和d0-1处相邻窗口的范数比;r表示两窗口相关系数的比值;其中,
Figure BDA00034423392400000910
表示当视差为d0时的右图像窗口中各个像素的值,
Figure BDA00034423392400000911
表示当视差为d0-1时该窗口中各个像素的值,
Figure BDA00034423392400000912
Figure BDA00034423392400000913
分别代表两窗口中各个像素的平均值;λ和r两个参数用于表示两窗口之间的相关性;根据相似性关系,通过式子可以确定相邻像素之间的亚像素位置。
具体的,S104中,利用标定得到的相机内外参数及视差图像获取深度信息,计算被测继电器的三维数据,进行三维点云重建,重建公式如下:
Figure BDA0003442339240000101
其中,表示极线矫正后的相机焦距;[uL,vL]表示左图像上的点的像素坐标,单位为像素;(u0,v0)代表图像上像素原点坐标,[x,y,z]为像素坐标[uL,vL]对应的点的三维坐标,单位为mm;
Figure BDA0003442339240000102
表示左相机的图像成像中心,单位为像素;B表示左右图像之间的基线长度,单位为mm;
Figure BDA0003442339240000103
表示右相机的图像成像中心,单位为像素。
参见图7所示为实施例完成的继电器的三维重建示意图。
具体的,所述S105,包括:
对三维重建得到的点云进行去噪滤波;
采用随机采样一致性算法(ransac)进行点云分割得到所要测量的继电器金属表面衔铁和轭铁所在磁路平面;
由于两平面点云数据接近,拟合的平面近似,接着对磁路平面进行欧式聚类分割算法分别分离出衔铁和轭铁两平面点云数据,拟合得到其中衔铁平面方程,并代入轭铁平面的点云通过点面距离公式得到法向距离,求得其磁路落差。
参见图8所示,为本发明的实施例的实现点云分割后磁路平面的数据示意图。
参见图9所示,本发明一种克服继电器金属表面反光的磁路落差检测系统,包括:
双目视觉系统搭建模块901,用于搭建包括左相机、右相机和投影仪的双目结构光视觉系统,通过相机标定得到左右相机的内参和外参;
散斑投影模块902,用于生成编码大小和密度可调节且随机分布的数字散斑图像;
数据获取模块903,将所述散斑图像通过和投影仪投射到被测继电器表面,通过左右相机进行拍摄,得到左右图像,并进行极线矫正;
图像匹配模块904,对得到的矫正后的图像采用改进的NCC算法进行匹配,得到视差图像;
三维重建模块905,用于对相机标定得到的内参和外参以及视差恢复深度信息,根据三角原理进行三维点云的重建;
点云处理模块906,用于对所述得到的三维点云进行去噪,然后利用随机采用一致性算法和欧式聚类分割算法进行点云分割分离得到衔铁和轭铁两平面的点云数据;
落差计算模块907,用于对得到的衔铁和轭铁磁路落差点云数据通过点面距离计算公式,将轭铁点云代入衔铁拟合得到的平面方程中,求取得到落差结果。
一种克服继电器金属表面反光的磁路落差检测系统的具体实现同一种克服继电器金属表面反光的磁路落差检测方法,本实施例不再重复说明。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种克服继电器金属表面反光的磁路落差检测方法,其特征在于,包括如下步骤:
S101,搭建包括左相机、右相机和投影仪的双目结构光视觉系统,通过相机标定得到左右相机的内参和外参;
S102,生成编码大小和密度可调节且随机分布的数字散斑图像;
S103,将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两图像,对左右两图像进行极线矫正,并对矫正后的左右两图像采用改进的NCC算法进行匹配,得到视差图像;
S104,利用标定得到的相机内外参数及视差图像获取深度信息,计算被测继电器的三维数据,进行三维点云重建;
S105,对继电器磁路落差进行评测,对所述三维点云进行去噪滤波,通过点云分割得到磁路两平面数据,利用求距离公式取得磁路落差结果。
2.如权利要求1所述的克服继电器金属表面反光的磁路落差检测方法,其特征在于,S101中,通过相机标定得到左右相机的内参和外参的方法,包括:采用张正友标定法利用棋盘格标志物得到左右两个相机的内外参数。
3.如权利要求1所述的克服继电器金属表面反光的磁路落差检测方法,其特征在于,S102中,生成数字散斑图像的方法,包括:
S1021,设置一张大小为h×w的图像,设置方形散斑大小为d×d;
S1022,由所述的散斑设计条件可以得到散斑点数量为u×v,
Figure FDA0003442339230000011
其中,floor表示取整函数;u表示图像中横向的散斑数量;v表示图像中纵向的散斑数量;
S1023,构造一个u×v大小的二维数组index,同时为每个3d×3d大小的九宫格窗口设置对应序号为0-8;遍历该二维数组,通过rand随机函数获得每个窗口的随机序号值,根据散斑的设计条件,将符合判断条件的窗口序号值存入二维数组index中;如下:
index[i][j]=rand(9)
Figure FDA0003442339230000012
S1024,将该二维数组中的序号值转换为散斑点坐标(x,y),转换公式如下:
Figure FDA0003442339230000021
其中,散斑的横坐标x为当前序号值除3取整,纵坐标y为将当前序号值除3取余;
S1025,根据设置的散斑大小和散斑点坐标,生成最终的散斑图像。
4.如权利要求1所述的克服继电器金属表面反光的磁路落差检测方法,其特征在于,S103中,将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两图像,对左右两图像进行极线矫正,具体包括:
将所述散斑图像通过所述投影仪投影到被测继电器表面,通过所述左相机和右相机对投影后的物体进行拍摄,得到左右两初始图像,对初始图像进行极线矫正,经过矫正的左右图像对应极线是水平对齐的,与图像的行水平保持一致,此时图像匹配可以转化为二维仅沿着图像行方向展开,最终得到矫正后的水平对齐的左右图像。
5.如权利要求1所述的克服继电器金属表面反光的磁路落差检测方法,其特征在于,S103中,对矫正后的左右两图像采用改进的NCC算法进行匹配,得到视差图像,具体包括:
对于左右经矫正后待匹配图像其强度表示为IL(x,y)和IR(x,y),获取一非负视差值d0使得下列式子成立:
IL(x,y)=IR(x,y-d0)
其中(x,y)表示为像素坐标,d0表示对应像素匹配的视差值;
为了在基于局部窗口的框架下解决图像匹配问题,设一大小为N1×N2的左图像窗口,其中心位于坐标(x,y)处,定义该窗口对应视差值为d时的右图像窗口的归一化互相关系数NCC的计算公式为:
Figure FDA0003442339230000022
其中:
d∈(0,...,D)
IR=IR(x+j,y+j)
Figure FDA0003442339230000023
Figure FDA0003442339230000031
IL=IL(x+j,y+j+d)
Figure FDA0003442339230000032
n∈(1,...,N1)
m∈(1,...,N2)
归一化互相关系数NCC的表达式为NCC(d),其中d表示视差值,其范围为d∈(0,...,D),D为最大视差范围;IR为右图像窗口中位置为(x+j,y+j)的像素值,其范围为
Figure FDA0003442339230000033
(x,y)为窗口中心像素坐标;
Figure FDA0003442339230000034
代表右图像窗口中所有像素的平均值;IL为左图像窗口中位置为(x+j,y+j+d)的像素值,其范围为
Figure FDA0003442339230000035
Figure FDA0003442339230000036
且d∈(0,...,D),
Figure FDA0003442339230000037
代表左窗口中所有像素的平均值;则d0为一整数视差,其对应的最大相关系数求解可表示为下列形式:
Figure FDA0003442339230000038
为了获得更高精度的亚像素视差,进而引入了一连续空间参数τ,则亚像素视差值可表示为:d′(x,y)=d0(x,y)-τ(x,y)
其中,d′(x,y)表示坐标为(x,y)处的亚像素视差值;
连续空间参数τ的表达式为:
Figure FDA0003442339230000039
Figure FDA00034423392300000310
其中,参数
Figure FDA0003442339230000041
为视差d0处的相关系数,
Figure FDA0003442339230000042
表示当视差为d0-1处的相关系数;参数λ表示当视差分别为d0和d0-1处相邻窗口的范数比;r表示两窗口相关系数的比值;其中,
Figure FDA0003442339230000043
表示当视差为d0时的右图像窗口中各个像素的值,
Figure FDA0003442339230000044
表示当视差为d0-1时该窗口中各个像素的值,
Figure FDA0003442339230000045
Figure FDA0003442339230000046
分别代表两窗口中各个像素的平均值;λ和r两个参数用于表示两窗口之间的相关性;根据相似性关系,通过式子可以确定相邻像素之间的亚像素位置。
6.如权利要求1所述的克服继电器金属表面反光的磁路落差检测方法,其特征在于,S104中,利用标定得到的相机内外参数及视差图像获取深度信息,计算被测继电器的三维数据,进行三维点云重建,重建公式如下:
Figure FDA0003442339230000047
其中,f表示极线矫正后的相机焦距;[uL,vL]表示左图像上的点的像素坐标,单位为像素;(u0,v0)代表图像上像素原点坐标,[x,y,z]为像素坐标[uL,vL]对应的点的三维坐标,单位为mm;
Figure FDA0003442339230000048
表示左相机的图像成像中心,单位为像素;B表示左右图像之间的基线长度,单位为mm;
Figure FDA0003442339230000049
表示右相机的图像成像中心,单位为像素。
7.如权利要求1所述的克服继电器金属表面反光的磁路落差检测方法,其特征在于,所述S105,具体包括:
对三维重建得到的点云进行去噪滤波;
采用随机采样一致性算法进行点云分割得到所要测量的继电器金属表面衔铁和轭铁所在磁路平面;
由于两平面点云数据接近,拟合的平面近似,接着对磁路平面进行欧式聚类分割算法分别分离出衔铁和轭铁两平面点云数据,拟合得到其中衔铁平面方程,并代入轭铁平面的点云通过点面距离公式得到法向距离,求得其磁路落差。
8.一种克服继电器金属表面反光的磁路落差检测系统,其特征在于,包括:
双目视觉系统搭建模块,用于搭建包括左相机、右相机和投影仪的双目结构光视觉系统,通过相机标定得到左右相机的内参和外参;
散斑投影模块,用于生成编码大小和密度可调节且随机分布的数字散斑图像;
数据获取模块,将所述散斑图像通过和投影仪投射到被测继电器表面,通过左右相机进行拍摄,得到左右图像,并进行极线矫正;
图像匹配模块,对得到的矫正后的图像采用改进的NCC算法进行匹配,得到视差图像;
三维重建模块,用于对相机标定得到的内参和外参以及视差恢复深度信息,根据三角原理进行三维点云的重建;
点云处理模块,用于对所述得到的三维点云进行去噪,然后利用随机采用一致性算法和欧式聚类分割算法进行点云分割分离得到衔铁和轭铁两平面的点云数据;
落差计算模块,用于对得到的衔铁和轭铁磁路落差点云数据通过点面距离计算公式,将轭铁点云代入衔铁拟合得到的平面方程中,求取得到落差结果。
CN202111639658.3A 2021-12-29 2021-12-29 一种克服继电器金属表面反光的磁路落差检测方法及系统 Pending CN114332373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111639658.3A CN114332373A (zh) 2021-12-29 2021-12-29 一种克服继电器金属表面反光的磁路落差检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111639658.3A CN114332373A (zh) 2021-12-29 2021-12-29 一种克服继电器金属表面反光的磁路落差检测方法及系统

Publications (1)

Publication Number Publication Date
CN114332373A true CN114332373A (zh) 2022-04-12

Family

ID=81017449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111639658.3A Pending CN114332373A (zh) 2021-12-29 2021-12-29 一种克服继电器金属表面反光的磁路落差检测方法及系统

Country Status (1)

Country Link
CN (1) CN114332373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935181A (zh) * 2023-09-19 2023-10-24 中国空气动力研究与发展中心低速空气动力研究所 一种完全二值散斑嵌入脉宽调制模式三维测量方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544095A (zh) * 2017-07-28 2018-01-05 河南工程学院 一种地面三维激光点云与探地雷达图像融合的方法
CN110869820A (zh) * 2017-07-06 2020-03-06 奇跃公司 减弱散斑的虚拟和增强现实系统及方法
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
US10810750B1 (en) * 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN112488924A (zh) * 2020-12-21 2021-03-12 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN112595263A (zh) * 2020-12-17 2021-04-02 天津大学 正弦光栅与散斑混合图案投影的双目视觉三维点云重建测量方法
CN113808070A (zh) * 2021-07-26 2021-12-17 南京理工大学智能计算成像研究院有限公司 一种双目数字散斑图像相关的视差测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810750B1 (en) * 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN110869820A (zh) * 2017-07-06 2020-03-06 奇跃公司 减弱散斑的虚拟和增强现实系统及方法
CN107544095A (zh) * 2017-07-28 2018-01-05 河南工程学院 一种地面三维激光点云与探地雷达图像融合的方法
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
CN112595263A (zh) * 2020-12-17 2021-04-02 天津大学 正弦光栅与散斑混合图案投影的双目视觉三维点云重建测量方法
CN112488924A (zh) * 2020-12-21 2021-03-12 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN113808070A (zh) * 2021-07-26 2021-12-17 南京理工大学智能计算成像研究院有限公司 一种双目数字散斑图像相关的视差测量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935181A (zh) * 2023-09-19 2023-10-24 中国空气动力研究与发展中心低速空气动力研究所 一种完全二值散斑嵌入脉宽调制模式三维测量方法
CN116935181B (zh) * 2023-09-19 2023-11-28 中国空气动力研究与发展中心低速空气动力研究所 一种完全二值散斑嵌入脉宽调制模式三维测量方法

Similar Documents

Publication Publication Date Title
WO2019100933A1 (zh) 用于三维测量的方法、装置以及系统
CN111566437B (zh) 三维测量系统以及三维测量方法
CN111145342B (zh) 一种双目散斑结构光三维重建方法及系统
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US9972067B2 (en) System and method for upsampling of sparse point cloud for 3D registration
CN112634374B (zh) 双目相机的立体标定方法、装置、系统及双目相机
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
CN112053432B (zh) 一种基于结构光与偏振的双目视觉三维重建方法
US8334893B2 (en) Method and apparatus for combining range information with an optical image
WO2021071995A1 (en) Systems and methods for surface normals sensing with polarization
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
US9025862B2 (en) Range image pixel matching method
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN113256730A (zh) 用于阵列相机的动态校准的系统和方法
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
JP2012504771A (ja) 三次元及び距離の面間推定を与えるための方法及びシステム
CN110728671A (zh) 基于视觉的无纹理场景的稠密重建方法
CN107967697A (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
Aliaga et al. Photogeometric structured light: A self-calibrating and multi-viewpoint framework for accurate 3d modeling
CN114697623A (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
CN113505626A (zh) 一种快速三维指纹采集方法与系统
Garro et al. A novel interpolation scheme for range data with side information
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
US11803982B2 (en) Image processing device and three-dimensional measuring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination