CN111369455B - 一种基于偏振图像和机器学习的高光物件测量方法 - Google Patents

一种基于偏振图像和机器学习的高光物件测量方法 Download PDF

Info

Publication number
CN111369455B
CN111369455B CN202010124835.3A CN202010124835A CN111369455B CN 111369455 B CN111369455 B CN 111369455B CN 202010124835 A CN202010124835 A CN 202010124835A CN 111369455 B CN111369455 B CN 111369455B
Authority
CN
China
Prior art keywords
highlight
image
pixel
channel
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010124835.3A
Other languages
English (en)
Other versions
CN111369455A (zh
Inventor
孔令豹
孙翔
徐敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010124835.3A priority Critical patent/CN111369455B/zh
Publication of CN111369455A publication Critical patent/CN111369455A/zh
Application granted granted Critical
Publication of CN111369455B publication Critical patent/CN111369455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Abstract

本发明属于视觉测量技术领域,具体为一种基于偏振图像和机器学习的高光物件测量方法。本发明将线偏振片和神经网络算法引入到视觉测量系统中,通过改变偏振角度得到多幅高光强弱不同的图像,从中提取高光像素,将其V通道值作为神经网络算法的训练样本,以进一步抑制高光,最后将所得高光抑制图像导入至立体匹配算法中;本发明能够对具有高反射特性表面的待测物件进行较为准确的视觉测量,通过抑制由外界光源引发的高光现象,提高视觉测量过程中立体匹配的准确率,最终获得更精确的测量结果。实验证明,本发明有效抑制了物件图像的高光,提高了视觉测量中的立体匹配精度,获得了更可靠的深度信息和更精确测量结果。

Description

一种基于偏振图像和机器学习的高光物件测量方法
技术领域
本发明属于视觉测量技术领域,具体涉及一种基于偏振图像和神经网络学习对具有高反射表面的待测物体进行三维测量的方法。
背景技术
视觉测量技术在工业生产和日常生活中具有广泛应用,其通过对相机采集的图像进行处理来获取待测物见的三维信息。因此,图像质量对视觉测量系统具有重要的意义,而对于具有高反射特性表面的物件,其表面的镜面反射会产生图像的高光区域,覆盖被测物件的外部纹理和颜色特征,最终或降低图像质量;常用的高光抑制方法主要是基于双色反射模型,通过改进算法以处理少量图像甚至单个图像,从而分离高光区域中的漫反射成份和镜面反射成份,最终达到去除高光的效果。但由于硬件限制和较少的图像信息,可能会导致物件真实信息的一些误差,如颜色失真、纹理失真甚至结构失真;因此,通过硬件和优化算法抑制物件图像的高光区域,同时降低其颜色、纹理和结构信息的失真度,具有重要现实意义。
发明内容
本发明的目的在于克服传统高光抑制方法容易造成物件颜色信息失真、纹理信息失真和结构信息失真等问题,提供一种基于偏振图像和机器学习的高光物件测量方法,抑制物件图像的高光区域,同时降低其颜色、纹理和结构信息的失真度。
本发明提出的基于偏振图像和机器学习的高光物件测量方法,涉及构建视觉测量系统,并通过调节视觉测量系统中线偏振片和神经网络学习,实现高光物件测量。
所述的视觉测量系统,包括CMOS相机、线偏振片、偏振片电动旋转架及其控制器;CMOS 相机采用张正友标定法标定获得内外参数;其中,线偏振片置于所述CMOS相机与待测物件中间,其中心与CMOS相机的光轴重合,线偏振片固定在电动旋转架内,由计算机通过连接电动旋转架控制器控制线偏振片角度,并控制CMOS相机分别进行图像拍摄。
本发明方法的具体步骤为:
(1)搭建上述双目视觉测量系统,通过计算机控制电动旋转架,从而控制线偏振片的旋转角度;在不同旋转角度下,通过计算机控制左右CMOS相机分别进行图像拍摄,得到多幅不同偏振角度下的图像,形成偏振图像序列;
(2)对拍摄的偏振图像进行白平衡处理:将图像依次从RGB转换为HSV通道,采用均值漂移算法对其V通道图像进行平滑;再通过公式(1)寻找重心
Figure GDA0003291974840000021
Figure 1
其中xi表示图像中每个像素,
Figure GDA0003291974840000023
表示二维图像矩阵A中的像素坐标[A(x),A(y)],
Figure GDA0003291974840000024
表示图像的R、G、B 3个通道值[R,G,B],上述5种数据共同构成一个5维空间,在此空间内像素点xi通过公式(1)计算并移动至坐标重心
Figure GDA0003291974840000025
表示颜色重心,hA是图像矩阵A的核平滑尺度,hRGB为RGB通道核平滑尺度,g是高斯核函数;
(3)通过估计外部光源与平滑后图像V通道值之间的关系,得到图像的高光阈值,根据阈值提取每幅偏振图像中的高光像素:当图像V通道值超过阈值时,则判别为高光像素并提取;
(4)根据高光像素的数量及其V通道值,对提取的高光像素集从强到弱进行排序,强高光图像的高光像素数量和高光像素V通道值高于弱高光图像的高光像素数量和高光像素V通道值;最强高光图像的高光像素数量最多且高光像素值最大,最弱高光图像的高光像素数量最少且高光像素值最小;
(5)采用BP神经网络进行学习训练,首先初始化BP神经网络,即将神经网络的初始参数设置为高斯分布;对步骤(3)提取的高光像素进行采样,并将其V通道值进行归一化,构成矩阵M,基于矩阵M分别构造输入矩阵和对应输出矩阵,矩阵列数m等于最弱高光图像中的高光像素的个数,矩阵行数n等于除最弱高光图像以外的偏振图像数量,将除最弱高光图像以外的偏振图像的高光像素按照步骤(3)顺序构造输入矩阵,再将除最强高光图像以外的偏振图像高光像素按照步骤(3)的顺序构造BP神经网络的输出矩阵,BP神经网络的输出矩阵的维数与输入矩阵保持一致;若步骤(3)提取的高光像素值Hi,j(i=1,2,3,…,n;j=1,2,3,…,m)低于高光阈值,则采用其对应图像中对应像素V通道值进行填充;
(6)将步骤(5)构造的输入和输出矩阵导入至BP神经网络,进行训练;再将最弱高光图像的高光像素V通道值输入至训练完成的神经网络中,将输出值反归一化,得到高光抑制后的高光像素V通道值,再将所得的高光像素V通道值替换最弱高光图像中对应像素点V通道值,同时可调整S通道值以增强物件表面的颜色信息,最后将将图像从HSV转换为RGB通道,再对 RGB图像进行平滑;
(7)将步骤(6)所得的图像转换为灰度图进行双目视觉立体匹配,得到高光抑制之后的视差图,根据相机的内外标定参数,得到物件三维信息。
本发明能够对具有高反射特性表面的待测物件进行较为准确的视觉测量,通过抑制由外界光源引发的高光现象,提高视觉测量过程中立体匹配的准确率,最终获得更精确的测量结果。实验证明,本发明有效抑制了物件图像的高光,提高了视觉测量中的立体匹配精度,获得了更可靠的深度信息和更精确测量结果。
附图说明
图1是不同偏振角度下CMOS相机采集的物件图像。
图2是用于高光抑制的BP神经网络算法流程图。
图3是高光抑制前后的视差图对比。
具体实施方式
(1)首先搭建一套双目视觉的被动测量系统,待测物件表面具有高反射率,其图像存在高光现象。待测物件放置在CMOS相机前约350mm处,线偏振片置于电动偏振片旋转架内放置在CMOS相机与待测物件中间,采用张正友标定法对CMOS相机进行标定以求取相机的内外参数,用于矫正相机所拍摄的图像,相机的视场角为57.3°*43.8°(1/2'),基于标定参数矫正后的图像中,其空间分辨率约为0.21毫米/像素。如图2所示,基于上述实验装置,通过相机和线偏振片拍摄多幅不同偏振角度的图像,在高光区域中,不同偏振角度下(α,β,γ,θ),图像具有明显变化,其中θ角度下,图像高光最弱,但是仍存在一些高光区域,导致物件特征被覆盖,从而在之后的图像立体匹配中,左右图像中在该区域中具有较大差异,影响特征匹配的精度,最终产生不准确的视差图和深度图。
(2)基于自动阈值白平衡算法,对步骤(1)采集的图像进行白平衡处理,对其中高光像素进行定位和提取,以减少不相关像素的干扰,再将处理后图像的颜色空间从RGB转换到HSV 通道,提取其中直接反映光照信息V通道。为了减少图像中的噪声点,减少其对高光抑制和立体匹配的影响,引入均值漂移算法对其V通道图像进行平滑。设xi表示图像中每个像素,m表示图像中像素点的数量,则RGB图像中的每个像素点包含5种数据,分别为二维图像矩阵A中像素坐标xA=[A(x),A(y)],和RGB通道中3个通道值(xRGB=[R,G,B]。像素点xi在上述5种数据组成的空间中计算并移动至坐标重心
Figure GDA0003291974840000041
Figure GDA0003291974840000042
在图像矩阵A中坐标(A(x),A(y))为中心点方形区域内的像素点,可表示为:
Figure GDA0003291974840000043
其中,hA是图像矩阵A的核平滑尺度,定义g为Gaussian分布核函数,在公式(2)范围内,像素点xi根据公式(3)
Figure GDA0003291974840000044
计算并移动至坐标重心
Figure GDA0003291974840000045
坐标重心
Figure GDA0003291974840000046
求解公式如下:
Figure GDA0003291974840000047
其中,hRGB为RGB通道核平滑尺度,hRGB与hA都是Mean-Shift算法中的敏感参数。
(3)经过步骤(2)对图像进行平滑后,通过估计外部光源与V通道图像灰度值之间的关系,可以得到图像的高光阈值,当图像V通道值超过阈值时,则为高光像素。
(4)根据高光像素的数量及其V通道值对提取的高光像素集从强到弱进行排序,强高光图像的高光像素数量和高光像素V通道值高于弱高光图像的高光像素数量和高光像素V通道值。
(5)如图2所示,引入反向传播(BP)神经网络以改进图像预处理模块,在采集的最弱高光偏振图像上进一步抑制图像高光。将神经网络的初始权重设置为高斯分布,并将步骤(3) 提取的高光像素集作为神经网络的训练样本。将步骤(3)提取的高光像素采样后,其V通道值经归一化构成图3中的训练矩阵M,基于矩阵M分别构造输入矩阵和对应输出矩阵,将最弱高光图像中的高光像素的个数来确定输入矩阵的列数m,将除最弱高光图像以外的偏振图像数量作为输入矩阵的行数n,将除最弱高光图像以外的偏振图像的高光像素按照步骤(3)所述的顺序构造BP神经网络的输入矩阵,H1,1~Hn,m表示输入矩阵中的高光像素V通道值(归一化);再将除最强高光图像以外的偏振图像高光像素按照步骤(4)所述的顺序构造BP神经网络的输出矩阵,BP神经网络的输出矩阵的维数与输入矩阵保持一致,Hopt,1~Hopt,m表示输出矩阵中最后一行即最弱高光图像中高光像素V通道值(归一化);不同偏振角对应不同尺寸的高光区域;若基于步骤(3)提取的像素值Hi,j(i=1,2,3,…,n;j=1,2,3,…,m)低于高光阈值,会导致输入矩阵或输出矩阵存在空值,此时采用其对应图像中对应像素V通道值进行填充。
(6)将矩阵M最后一行作为神经网络的输入,得到对应的输出值,将输出值反归一化,得到V通道值HBP,将HBP替换最弱高光图像对应坐标的V通道值,同时调整S通道,以增强物件表面的颜色信息,再将图像从HSV转换为RGB通道,所得图像为最终高光抑制图像,随后再对RGB图像进行平滑,以进行立体匹配。
(7)将步骤6)所得图像转化为灰度图像,用于立体匹配,以总绝对差作为匹配准则,在立体图像对中搜索对应点,得到视差图,再根据步骤(1)中的相机标定参数计算得到深度图和物件三维信息。
图3为高光抑制前后的视差图对比,从实验结果看出,基于本发明所得高光抑制图像进行立体匹配,不仅填补了立体匹配算法中常见的匹配空洞(A/A'、C/C'),完善了待测物件的边缘信息(B/B'),并且增加了待测物件视差图的密度(D/D'),基于步骤(7)的深度图,分别测量图2中的a,b,c三个长度,与三坐标测量机测量结果对比,本发明的测量误差分别为 0.30%、-0.28%、1.62%,与未进行高光抑制的双目系统的2.53%、3.87%、-11.29%相比,针对存在高反射特性的待测物件,本发明可以获得更可靠的深度图和更精确的测量结果。
本发明是通过实施例来描述的,但并不对本发明构成限制,参照本发明的描述,所公开的实施例的其他变化,如对于本领域的专业人士是容易想到的,这样的变化应该属于本发明权利要求限定的范围之内。

Claims (1)

1.一种基于偏振图像和机器学习的高光物件测量方法,其特征在于,具体步骤如下:
(1)搭建双目视觉测量系统,该系统包括CMOS相机、线偏振片、偏振片电动旋转架及其控制器;CMOS相机采用张正友标定法标定获得内外参数;其中,线偏振片置于所述CMOS相机与待测物件中间,其中心与CMOS相机的光轴重合,线偏振片固定在电动旋转架内;由计算机通过连接电动旋转架控制器控制线偏振片角度,并控制左右CMOS相机分别进行图像拍摄;得到多幅不同偏振角度下的图像,形成偏振图像序列;
(2)对拍摄的偏振图像进行白平衡处理;将图像依次从RGB转换为HSV通道,采用均值漂移算法对其V通道图像进行平滑;再通过公式(1)寻找重心yi A k):
Figure DEST_PATH_IMAGE002
(1)
其中
Figure DEST_PATH_IMAGE004
表示图像中每个像素,xi A 表示二维图像矩阵A中的像素坐标[A(x),A(y)],xi RGB 表示图像的RGB3个通道值[R,G,B],上述5种数据共同构成一个5维空间,在此空间内像素点xi通过公式(1)计算并移动至坐标重心yi A k),yi RGB k)表示颜色重心,hRGB 为RGB通道核平滑尺度,
Figure DEST_PATH_IMAGE006
是高斯核函数;
(3)通过估计外部光源与平滑后图像V通道值之间的关系,得到图像的高光阈值,根据阈值提取每幅偏振图像中的高光像素:当图像V通道值超过阈值时,则判别为高光像素并提取;
(4)根据高光像素的数量及其V通道值,对提取的高光像素集从强到弱进行排序,强高光图像的高光像素数量和高光像素V通道值高于弱高光图像的高光像素数量和高光像素V通道值;最强高光图像的高光像素数量最多且高光像素值最大,最弱高光图像的高光像素数量最少且高光像素值最小;
(5)采用BP神经网络进行学习训练,首先初始化BP神经网络,即将神经网络的初始参数设置为高斯分布;对步骤(3)提取的高光像素进行采样,并将其V通道值进行归一化,构成矩阵M,基于矩阵M分别构造输入矩阵和对应输出矩阵,矩阵列数m等于最弱高光图像中的高光像素的个数,矩阵行数n等于除最弱高光图像以外的偏振图像数量,将除最弱高光图像以外的偏振图像的高光像素按照步骤(4)顺序构造输入矩阵,再将除最强高光图像以外的偏振图像高光像素按照步骤(4)的顺序构造BP神经网络的输出矩阵,BP神经网络的输出矩阵的维数与输入矩阵保持一致;若步骤(3)提取的高光像素值
Figure DEST_PATH_IMAGE008
低于高光阈值,则采用其对应图像中对应像素V通道值进行填充;
(6)将步骤(5)构造的输入和输出矩阵导入至BP神经网络,进行训练,其中最弱高光图像的高光像素V通道值即为训练矩阵的最后一行;再将最弱高光图像的高光像素V通道值输入至训练完成的神经网络中,将输出值反归一化,得到高光抑制后的高光像素V通道值,再将所得的高光像素V通道值替换最弱高光图像中对应像素点V通道值,同时调整S通道值以增强物件表面的颜色信息,最后将将图像从HSV转换为RGB通道,再对RGB图像进行平滑;
(7)将步骤(6)所得的图像转换为灰度图进行双目视觉立体匹配,得到高光抑制之后的视差图,根据相机的内外标定参数,得到物件三维信息。
CN202010124835.3A 2020-02-27 2020-02-27 一种基于偏振图像和机器学习的高光物件测量方法 Active CN111369455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010124835.3A CN111369455B (zh) 2020-02-27 2020-02-27 一种基于偏振图像和机器学习的高光物件测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010124835.3A CN111369455B (zh) 2020-02-27 2020-02-27 一种基于偏振图像和机器学习的高光物件测量方法

Publications (2)

Publication Number Publication Date
CN111369455A CN111369455A (zh) 2020-07-03
CN111369455B true CN111369455B (zh) 2022-03-18

Family

ID=71208162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010124835.3A Active CN111369455B (zh) 2020-02-27 2020-02-27 一种基于偏振图像和机器学习的高光物件测量方法

Country Status (1)

Country Link
CN (1) CN111369455B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101411B (zh) * 2020-08-05 2022-08-19 复旦大学 一种基于模板匹配与分布特征的焊点识别与定位方法
CN112419185B (zh) * 2020-11-20 2021-07-06 湖北工业大学 基于光场迭代的精确高反光去除方法
CN112785491B (zh) * 2021-01-20 2022-10-04 北京航空航天大学 一种基于偏振指导的图像高光反射分离计算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1958150A1 (en) * 2005-11-04 2008-08-20 Cryos Technology, Inc. Surface analysis method and system
CN101398929A (zh) * 2008-10-28 2009-04-01 深圳市迅雷网络技术有限公司 一种抑制夜景图像噪声的方法和装置
CN103985098A (zh) * 2014-05-27 2014-08-13 广州商景网络科技有限公司 一种证件图像的高光去除方法及系统
CN108830130A (zh) * 2018-03-30 2018-11-16 徐国明 一种偏振高光谱低空侦察图像典型目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1958150A1 (en) * 2005-11-04 2008-08-20 Cryos Technology, Inc. Surface analysis method and system
CN101398929A (zh) * 2008-10-28 2009-04-01 深圳市迅雷网络技术有限公司 一种抑制夜景图像噪声的方法和装置
CN103985098A (zh) * 2014-05-27 2014-08-13 广州商景网络科技有限公司 一种证件图像的高光去除方法及系统
CN108830130A (zh) * 2018-03-30 2018-11-16 徐国明 一种偏振高光谱低空侦察图像典型目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A deep learning approach for detecting and correcting highlights in endoscopic images;Antonio Rodrıguez-Sanchez et al.;《2017 Seventh International Conference on Image Processing Theory,Tools and Applications》;20171201;第1-6页 *
基于偏振信息的强反射工件高光去除及视觉测量方法;祝振敏等;《光学学报》;20181130;第1112005-1-1112005-11页 *

Also Published As

Publication number Publication date
CN111369455A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111369455B (zh) 一种基于偏振图像和机器学习的高光物件测量方法
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN112884682B (zh) 一种基于匹配与融合的立体图像颜色校正方法及系统
CN109034017B (zh) 头部姿态估计方法及机器可读存储介质
CN111640157A (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN107820001A (zh) 使用基于特征的重影去除的阵列照相机图像组合
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN115082450A (zh) 基于深度学习网络的路面裂缝检测方法和系统
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN110838146A (zh) 一种共面交比约束的同名点匹配方法、系统、装置及介质
CN113643427A (zh) 一种双目测距及三维重建方法
CN112070736A (zh) 一种结合目标检测和深度计算的物体体积视觉测量方法
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN110751690A (zh) 铣床刀头视觉定位方法
CN111127560A (zh) 一种用于三维重建的三目视觉系统的标定方法及系统
CN115797417A (zh) 一种用于海上钻井平台的可见-红外相机图像快速配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant