CN116433707A - 复杂背景下线结构光中心亚像素精确提取方法及系统 - Google Patents
复杂背景下线结构光中心亚像素精确提取方法及系统 Download PDFInfo
- Publication number
- CN116433707A CN116433707A CN202310702494.7A CN202310702494A CN116433707A CN 116433707 A CN116433707 A CN 116433707A CN 202310702494 A CN202310702494 A CN 202310702494A CN 116433707 A CN116433707 A CN 116433707A
- Authority
- CN
- China
- Prior art keywords
- stripe
- line structure
- gray
- point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 39
- 230000003287 optical effect Effects 0.000 title claims description 27
- 238000009826 distribution Methods 0.000 claims abstract description 67
- 239000013598 vector Substances 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 37
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000035772 mutation Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种复杂背景下线结构光中心亚像素精确提取方法，首先对图像进行预处理后，进行骨架细化分割出有效光条区域的单像素点，初步确定感兴趣点像素坐标，再利用主成分分析法获取线结构光条纹中心的法向量，并利用法向的方向性优化光条法向，最后在光条法向截面上根据光条灰度分布变化率，获取高斯拟合区间数据进行局部高斯拟合，精确提取出线结构光条纹中心亚像素坐标。本发明不易受到条纹宽度变化和背景环境的影响，有效提高了激光条纹中心的提取精度和鲁棒性。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种复杂背景下线结构光中心亚像素精确提取方法及系统。
背景技术
线结构光三维视觉测量因其非接触、精度高、实时性好、可控性高、测量范围广等特点，被广泛应用于工业测量、航空航天、医疗等领域中。其中线结构光中心提取的精确度是影响测量精度的决定性因素，而在实际采集过程中由于受到采集环境或被测物体表面折射率不一等影响，采集到的线结构光条纹图像中不可避免的含有大量噪声信息，且在复杂背景下，线结构光条纹灰度分布并不满足理想的正态分布，尤其是在环境光较强时或背景较浅时，严重影响了提取的精度，因此研究复杂背景下的线结构光中心亚像素精确提取方法，具有重要作用。
针对线结构光中心坐标提取，现有的方法大致可以分为：1基于灰度重心的方法，此方法适合简单线结构光的中心提取，由于没有考虑条纹的方向性，在光条突变区域会产生较多的误差点；2基于Steger的方法，此方法利用海森矩阵求取光条法向量，将其法向上极值作为中心点，但该算法包含大量的卷积，实时性较差，且在复杂背景下及光条端点处提取精度较差；3基于曲线拟合的方法，该方法利用光条法向灰度值拟合高斯曲线，具有较高的精度，但在复杂背景下及条纹宽度变化时提取精度大大降低，需进一步优化。针对这一问题，本发明提出了一种复杂背景下线结构光中心亚像素精确提取方法。
发明内容
本发明的目的在于针对复杂背景下的线结构光中心提取，提供一种精度高，鲁棒性好的复杂背景下线结构光中心亚像素精确提取方法及系统。
本发明所采用的技术方案是：
提供一种复杂背景下线结构光中心亚像素精确提取方法，包括以下步骤：
S1、在复杂背景下，采集带有线结构光条纹的图像；
S2、对图像进行滤波去噪和前景分割，并初步获取线结构光条纹的感兴趣区域单像素点；
S3、对感兴趣区域内的单像素点构建局部邻域的协方差矩阵，利用主成分分析法求解出协方差矩阵的特征值和特征向量，进而获取线结构光条纹的法向量；
S4、根据线结构光条纹中相邻点法向量间的夹角变化率趋势特性剔除偏移点和干扰点，得到高质量的线结构光条纹的种子点；
S5、将得到的种子点在法向方向结合原始采集的带有线结构光条纹的图像灰度值进行双线性插值处理，计算求得线结构光条纹处于灰度分布均匀与分布不均匀的背景下时的法向方向灰度分布曲线，并求取对应的条纹灰度变化率曲线，该条纹灰度分布变化率曲线的两个拐点之间条纹灰度区域参数作为待处理的感兴趣区域拟合参数；
S6、在待处理的感兴趣区域内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心亚像素坐标。
接上述技术方案，步骤S2中对于图像中任一点
，滤波窗口模板大小为k，图像滤波去噪模型为/>
，/>
表示点（i,j）的方差，滤除图像中线结构光条纹带来的高斯噪声，并使用自适应阈值分割提取图像前景数据；采用ZS骨架细化算法获取光条感兴趣区域的单像素点，为后续处理提供初步位置，并降低算法处理数据量。
接上述技术方案，步骤S3中具体对获取的感兴趣区域点构建W邻域协方差矩阵，利用主成分分析法求解特征值和特征矩阵，其最大特征值对应的特征向量为条纹点的法向量。
接上述技术方案，步骤S5通过对种子点在其法向方向上做双线性插值，求取对应灰度值，分析不同背景下的线结构光条纹灰度分布，对于法向方向上任意一点
，其相邻点
，对应灰度值为/>
，/>
)做泰勒级数展开有：/>
)= 
，/>
表示级数，并反解出一阶导，求取条纹灰度分布变化率，过滤背景灰度定位条纹灰度区域，获取条纹灰度区域曲线拟合参数。
接上述技术方案，步骤S6具体对待处理的感兴趣区域内感兴趣点的法向方向上利用高斯函数
拟合高斯曲线，其中/>
为线结构光条纹宽度，A为高斯曲线的幅值，表示条纹的峰值灰度，/>
为线结构光条纹中心亚像素坐标。
本发明还提供一种复杂背景下线结构光中心亚像素精确提取系统，包括：
图像采集模块，用于在复杂背景下采集带有线结构光条纹的图像；
图像滤波去噪及细化模块，用于对图像进行滤波去噪和前景分割，并初步获取感兴趣区域单像素点；
感兴趣点法向获取模块，用于对感兴趣区域内的单像素点构建局部邻域的协方差矩阵，利用主成分分析法求解出协方差矩阵的特征值和特征向量，进而获取线结构光条纹的法向量；
感兴趣点法向优化模块，用于根据线结构光条纹中相邻点法向量间的夹角变化率趋势特性剔除偏移点和干扰点，得到高质量的线结构光条纹的种子点；
线结构光条纹自定位模块，用于将得到的种子点在法向方向结合原始采集的带有线结构光条纹的图像灰度值进行双线性插值处理，计算求得线结构光条纹处于灰度分布均匀与分布不均匀的背景下时的法向方向灰度分布曲线，并求取对应的条纹灰度变化率曲线，该条纹灰度分布变化率曲线的两个拐点之间条纹灰度区域参数作为待处理的感兴趣区域拟合参数；
亚像素中心点提取模块，用于在待处理的感兴趣区域内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心亚像素坐标。
接上述技术方案，感兴趣点法向获取模块中，对获取的感兴趣区域点构建W邻域协方差矩阵，利用主成分分析法求解特征值和特征矩阵，其最大特征值对应的特征向量为条纹点的法向量，为条纹中心提取提供方向性，以避免因复杂背景导致线结构光发生突变对提取精度的干扰。
接上述技术方案，线结构光条纹自定位模块具体通过对种子点在其法向方向上做双线性插值，求取对应灰度值，分析不同背景下的线结构光条纹灰度分布，对于法向方向上任意一点
，其相邻点/>
，对应灰度值为/>
，/>
)做泰勒级数展开有：/>
)= 
，h表示级数，并反解出一阶导，求取条纹灰度分布变化率，过滤背景灰度定位条纹灰度区域，获取高精度曲线拟合参数。
接上述技术方案，亚像素中心点提取模块具体对待处理的感兴趣区域内感兴趣点的法向方向上利用高斯函数
拟合高斯曲线，其中/>
为线结构光条纹宽度，A为高斯曲线的幅值，表示条纹的峰值灰度，/>
为线结构光条纹中心亚像素坐标。
本发明还提供一种计算机存储介质，其可被处理器执行，其内存储有计算机程序，该计算机程序执行上述技术方案所述的复杂背景下线结构光中心亚像素精确提取方法。
本发明产生的有益效果是：本发明通过图像滤波去噪及细化算法滤除图像噪声并获取感兴趣区域单像素点，利用感兴趣点的法向分布剔除非线结构光干扰点，根据线结构光条纹在不同背景下的灰度分布及变化率特征，过滤背景灰度精确定位条纹灰度区域，为曲线拟合提供了稳定可靠的参数，提高了线结构光中心提取的精度和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例复杂背景下线结构光中心亚像素精确提取的流程图；
图2为本发明实施例整体算法示意图；
图3（a）为本发明实施例高斯滤波前图像灰度分布；
图3（b）为本发明实施例高斯滤波后图像灰度分布；
图4（a）为本发明实施例结构光条纹单像素点初步获取的图像分割图；
图4（b）是图4（a）的图像细化图；
图5（a）为本发明实施例线结构光条纹法向优化前光条法向分布；
图5（b）为本发明实施例线结构光条纹法向优化后光条法向分布；
图6为本发明实施例邻域灰度插值示意图；
图7（a）为本发明实施例线结构光条纹在不同背景下的光条法向灰度分布曲线示意图；
图7（b）为本发明实施例线结构光条纹在不同背景下的光条法向灰度分布变化率曲线示意图；
图8（a）为Steger算法提取效果图；
图8（b）为灰度重心法提取效果图；
图8（c）为曲线拟合法提取效果图；
图8（d）为本发明提取效果图；
图9（a）为本发明实施例仿真高噪声条纹及经典算法中心提取效果对比图；
图9（b）为本发明实施例仿真高噪声条纹及经典算法中心提取精度对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
在高噪声背景下，线结构光经过相机成像后，由于受到采集环境及被测物体表面折射率不一的影响，导致采集到的线结构光条纹图像中含有大量噪声信息和浅色背景导致的条纹区域不明显，这都会导致条纹中心提取出现偏移，丢失精确度，而若能避免被噪声和背景的影响将大大提高条纹中心的提取精度和鲁棒性。
如图1所示，本发明实施例的复杂背景下线结构光中心亚像素精确提取方法，包括以下步骤：
S1、在复杂背景下，采集带有线结构光条纹的图像，如通过相机采集图像；
S2、对图像进行滤波去噪和前景分割，并初步获取线结构光条纹的感兴趣区域单像素点；
S3、对感兴趣区域内的单像素点构建局部邻域的协方差矩阵，利用主成分分析法求解出协方差矩阵的特征值和特征向量，进而获取线结构光条纹的法向量；
S4、根据线结构光条纹中相邻点法向量间的夹角变化率趋势特性（如夹角变化率需在一定预设范围内，否则剔除）剔除偏移点和干扰点，得到高质量的线结构光条纹的种子点；即利用线结构光条纹的结构特性，可优化其法向量分布剔除偏移点和干扰点，为后续处理提供高质量种子点；
S5、将得到的种子点在法向方向结合原始采集的带有线结构光条纹的图像灰度值进行双线性插值处理，求得线结构光条纹处于灰度分布均匀与分布不均匀的背景下的法向方向灰度分布曲线，并在法向方向的条纹截面灰度上求取对应条纹灰度变化率曲线，该条纹灰度分布变化率曲线的两个拐点之间条纹灰度区域参数作为待处理的感兴趣区域拟合参数；该步骤主要是分析线结构光在不同背景下的灰度分布特征，精确定位线结构光条纹线宽区域；
S6、在待处理的感兴趣区域内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心亚像素坐标。
本发明实施例的复杂背景下线结构光中心亚像素精确提取方法，在windows10平台采用C++与QT进行系统搭建。可以理解的是，还可将本发明的算法移植至其他编程语言或硬件设备中。
实施例2
该实施例的发明构思与实施例1相同，不同之处在于各个步骤通过优选的算法或实例实现。
如图2所示，该实施例复杂背景下线结构光中心亚像素精确提取方法主要包括以下步骤：
步骤S1中采集复杂背景下带有线结构光条纹的图像。
步骤S2中滤波去噪模型为
，其中/>
为图像中任意一点，k为滤波窗口模板大小，图像中噪声信息含有大量线结构光带来的高斯噪声，为满足去除噪声的同时保留线结构光条纹结构的完整性，采用高斯滤波对图像进行处理，滤波前后图像灰度分布如图3（a）、图3（b）所示，滤波后图像更加平滑且灰度分布更加符合正态分布。
为进一步获取线结构光条纹，采用自适应阈值分割将背景与前景分离开来，提取感兴趣区域。设位于图像中任一点坐标为
,其灰度值为/>
，在其W邻域内n个点的灰度值均值/>
，则其标准差/>
为：
则有自适应阈值
，其中a和b为非负常数，计算得到的二值图像/>
为：
对图像中像素点采用此公式进行处理后，可分割出前景图像，初步获取线结构光条纹，但仍包含大量非线结构光信息，其主要原因时图片中背景较为复杂，如图4（a）所示。
由于在实际获取线结构光条纹中心点前只用单像素做初始定位即可，故采用ZS细化算法，对图像进行骨架细化处理，以降低算法处理数据量，提供初始处理定位点，如图4（b）所示。
ZS细化算法是一种迭代算法，N(P1)表示采样点P1的八邻域中前景像素个数，S(P1)表示采样点的前景像素到背景像素的交替次数整个迭代过程分为两步：
步骤1：循环所有的前景像素点，符合如下条件的P1像素点标记为删除；
条件1：2<=N(P1)<=6；
条件2：S(P1)=1；
条件3：P2* P4* P6=0；
条件4：P4* P6* P8=0；
步骤2：循环所有前景像素点，符合如下的条件P1像素点标记为删除。
条件1：2<=N(P1)<=6；
条件2：S(P1)=1；
条件3：P2* P4* P8=0；
条件4：P2* P6* P8=0；
一直对上述两个步骤进行循环，直到两个步骤中没有像素点被标记为删除，则结束骨架细化。
进一步地，步骤S3中线结构光条纹灰度近似的服从高斯分布，且理想情况下局部相邻点的法向方向变化较小，故可采用主成分分析法来获取感兴趣点的法向。主成分分析法主要是通过构建采样点局部邻域的协方差矩阵，对协方差矩阵进行特征分解，求解出协方差矩阵的特征值和特征向量，从而获取线结构光条纹的法线方向和切线方向。对于任意采样点，在其W邻域内建立的协方差矩阵C可表示为：
其中Cov()表示卷积运算，
为图像的梯度向量，/>
，
为图像灰度值。对于采样点/>
，其两侧灰度分布基本服从正态分布，故/>
的期望值/>
近似为0。则有：
可求得其特征值和特征向量为：
式中
、/>
为采样点/>
在W邻域内协方差矩阵的特征值，其对应的特征向量分别为
、/>
，根据梯度向量的协方差矩阵的特征可知，其最大特征值对应的特征向量即为条纹的法线方向，由式上式可知/>
>/>
，故/>
即为采样点/>
的法向量，则/>
为其切向量。
进一步地，步骤S4中已得到线结构光条纹区域的大致位置，以及条纹上各点的法向量，但是不可避免会出现一些错误点，主要原因是线结构光照射到浅色物体上，扩散的范围超过光条的范围，使其邻域灰度分布不均匀，从而导致光条中某点的法向量出现偏差，如图5（a）所示。若不及时的对偏移点进行筛选剔除，将会影响提取精度，并在线结构光的匹配重建中造成影响。
由法向量特性可知，线结构光条纹上某点的法向量垂直于该点，分析可知线结构光条纹上局部相邻点之间变化趋势具有连续性，故其法线的变化趋势也具有连续性，即相邻点法向量间的夹角变化率往往是稳定的，当局部相邻点的法向量间的夹角存在较大偏差时，则表明光条上的点出现跳变，这种情况多由浅背景引起，会造成较大误差。针对这种情况，使用约束邻域法向量夹角变化范围的方法在光条条纹的上进行局部筛选。设定一个局部邻域的法向量的夹角变化允许的最大值
，设查询点/>
的法向量为/>
，其相邻点/>
的法向量为/>
，/>
与/>
之间的夹角为/>
，则有：
由于两相邻向量间的夹角度数范围为[0，180]，cos函数在此区间内呈递减趋势，所以要设定相邻两向量夹角小于
，即/>
大于/>
即可。优化后法向分布如图5（b）所示，在优化后感兴趣点基本可以定位在线结构光条纹骨架上，为后续精确提取提供高质量种子点。
进一步地步骤S5为精确定位线结构光的条纹灰度区域，过滤背景灰度造成的影响，获取更精确的光条线宽参数，将S4中获取的种子点进行双线性插值，如图6所示。种子点p的法向方向截面灰度值
，其四个邻域点分别为/>
，首先在其x方向做两次单线性插值，分别计算出/>
和/>
：
再在y方向做一次单线性插值求得
:
将第一步结果带入第二步中可得双线性差值结果为：
由图6可知
，则有：
计算求得光条处于灰度分布均匀与分布不均匀的背景下时的法向方向灰度分布曲线如图7（a）所示，由于其灰度值分布并不连续，而是一些离散点，故要获取其灰度分布在不同背景下的变化率，可以通过泰勒级数展开的方式，对其求导，对任意一点
，其相邻点
，对应灰度值/>
，/>
)有：
反解出一阶导得：
同理可得，其二阶导为：
对于一阶导，为提高其精度，我们可以选择保留更多的项数，再增加一个二阶项：
经过化简后可得：
用该公式对光条感兴趣区域内的点在法向灰度上求取其变化率曲线如图7（b）所示。光条在背景灰度均匀的情况下基本符合高斯曲线分布特性，其边缘不为零的原因是由于被测物体表面折射率不一或环境等因素使得背景不纯净而导致的，即可以认为是背景灰度，当处于明亮环境或被测物体材质导致反光等因素致使光条背景灰度分布不均匀时，其灰度分布具有很强的不确定性。因线结构光条纹中心点只会存在于光条灰度区，背景灰度区则不会产生中心点，而条纹灰度分布变化率的两个拐点之间的区域，正好对应于灰度分布图中波峰附近的区域，也是最有可能产生光条精确中心点的区域，且对于灰度分布不均匀时的复杂背景情况也是如此，故获取条纹灰度区域参数作为接下来处理的感兴趣区域，以保证拟合精度和鲁棒性。
步骤S6的具体方法为：在获取到光条拟合参数后，避免了非线结构光的干扰，则可在区间内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心。高斯函数的数学表达式如下：
p为线结构光条纹宽度，
为高斯曲线的幅值，表示激光线的峰值灰度，x 0为高斯分布的条纹中心坐标。可结合实际情况对p和/>
进行筛选，能够移进一步去除其他非线结构光的干扰，对上式两边取自然对数得多项式：
将上式转化成二次曲线拟合得：
则以上两式间的转换参数可表示为：
其中
是待估计的参数，设有2N+1个采样点/>
，可求得对应的/>
，建立如下目标函数，并采用最小二乘法求解待估计参数：
令
则有：
在上述方程中，系数矩阵具有对称、正定的性质。若权系数已知，则可以采用Householder变换法求解此方程，可得激光光条中心位置：
最终输出得到的在复杂背景下本发明对线结构光中心亚像素精确坐标，如图8（d）所示，而经典Steger算法、灰度重心法、曲线拟合法在复杂背景下的提取结果如图8（a）、8（b）、8（c）所示。
为克服线结构光条纹中心点实际坐标未知而无法获取真差的问题，可制作一张包含线结构光且中心值已知的仿真图像，并通过添加噪声来制造复杂背景，其中光条的真实中心值为y= 69，如图9（a）所示。使用经典的Steger算法、灰度重心法、曲线拟合法和本发明算法分别对图中线结构光中心作提取，并对比精度，如图9（b）所示。
设每个提取点偏离真实中心点y的误差为R，则均方根误差RMSE可表示为：
下表为对仿真图像用Steger算法、灰度重心法、曲线拟合法、本发明算法提取条纹中心的均方根误差对比。
本实施例通过测试得出本发明算法在复杂背景下提取线结构光中心亚像素坐标误差相较于经典的Steger算法、灰度重心法、曲线拟合法分别降低了82.02%、90.14%、72.44%，具有亚像素级精度和高鲁棒性。
实施例3
本发明实施例复杂背景下线结构光中心亚像素精确提取系统主要用于实现上述方法实施例，具体包括：
图像采集模块，用于在复杂背景下采集带有线结构光条纹的图像；
图像滤波去噪及细化模块，用于对图像进行滤波去噪和前景分割，并初步获取感兴趣区域单像素点；
感兴趣点法向获取模块，用于对感兴趣区域内的单像素点构建局部邻域的协方差矩阵，利用主成分分析法求解出协方差矩阵的特征值和特征向量，进而获取线结构光条纹的法向量；
感兴趣点法向优化模块，用于根据线结构光条纹中相邻点法向量间的夹角变化率趋势特性剔除偏移点和干扰点，得到高质量的线结构光条纹的种子点；
线结构光条纹自定位模块，用于将得到的种子点在法向方向结合原始采集的带有线结构光条纹的图像灰度值进行双线性插值处理，计算求得线结构光条纹处于灰度分布均匀与分布不均匀的背景下时的法向方向灰度分布曲线，并求取对应的条纹灰度变化率曲线，该条纹灰度分布变化率曲线的两个拐点之间条纹灰度区域参数作为待处理的感兴趣区域拟合参数；
亚像素中心点提取模块，用于在待处理的感兴趣区域内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心亚像素坐标。
各个模块具体用于实现上述各个方法实施例中的具体方法，在此不赘述。
实施例4
本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于在被处理器执行时实现方法实施例的复杂背景下线结构光中心亚像素精确提取方法。
综上，本发明的复杂背景下线结构光中心亚像素精确提取方法，通过法向获取与优化，剔除非线结构光干扰点，提供高质量的种子点，再由光条法向灰度分布特征，过滤背景灰度精确定位到线结构光灰度区域，为曲线拟合提供高精度参数，避免了复杂背景的干扰，有着高精度的提取效果和强大的抗干扰能力。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种复杂背景下线结构光中心亚像素精确提取方法，其特征在于，包括以下步骤：
S1、在复杂背景下，采集带有线结构光条纹的图像；
S2、对图像进行滤波去噪和前景分割，并初步获取线结构光条纹的感兴趣区域单像素点；
S3、对感兴趣区域内的单像素点构建局部邻域的协方差矩阵，利用主成分分析法求解出协方差矩阵的特征值和特征向量，进而获取线结构光条纹的法向量；
S4、根据线结构光条纹中相邻点法向量间的夹角变化率趋势特性剔除偏移点和干扰点，得到高质量的线结构光条纹的种子点；
S5、将得到的种子点在法向方向结合原始采集的带有线结构光条纹的图像灰度值进行双线性插值处理，计算求得线结构光条纹处于灰度分布均匀与分布不均匀的背景下时的法向方向灰度分布曲线，并求取对应的条纹灰度变化率曲线，该条纹灰度分布变化率曲线的两个拐点之间条纹灰度区域参数作为待处理的感兴趣区域拟合参数；
S6、在待处理的感兴趣区域内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心亚像素坐标。
2.根据权利要求1所述的复杂背景下线结构光中心亚像素精确提取方法，其特征在于，步骤S2中对于图像中任一点
，滤波窗口模板大小为k，图像滤波去噪模型为
，/>
表示点（i,j）的方差，滤除图像中线结构光条纹带来的高斯噪声，并使用自适应阈值分割提取图像前景数据；采用ZS骨架细化算法获取光条感兴趣区域的单像素点，为后续处理提供初步位置，并降低算法处理数据量。
3.根据权利要求1所述的复杂背景下线结构光中心亚像素精确提取方法，其特征在于，步骤S3中具体对获取的感兴趣区域点构建W邻域协方差矩阵，利用主成分分析法求解特征值和特征矩阵，其最大特征值对应的特征向量为条纹点的法向量。
4.根据权利要求1所述的复杂背景下线结构光中心亚像素精确提取方法，其特征在于，步骤S5通过对种子点在其法向方向上做双线性插值，求取对应灰度值，分析不同背景下的线结构光条纹灰度分布，对于法向方向上任意一点
，其相邻点/>
，对应灰度值为/>
，/>
)做泰勒级数展开有：/>
)=/>
，/>
表示级数，并反解出一阶导，求取条纹灰度分布变化率，过滤背景灰度定位条纹灰度区域，获取条纹灰度区域曲线拟合参数。
5.根据权利要求1所述的复杂背景下线结构光中心亚像素精确提取方法，其特征在于，步骤S6具体对待处理的感兴趣区域内感兴趣点的法向方向上利用高斯函数
拟合高斯曲线，其中/>
为线结构光条纹宽度，A为高斯曲线的幅值，表示条纹的峰值灰度，/>
为线结构光条纹中心亚像素坐标。
6.一种复杂背景下线结构光中心亚像素精确提取系统，其特征在于，包括：
图像采集模块，用于在复杂背景下采集带有线结构光条纹的图像；
图像滤波去噪及细化模块，用于对图像进行滤波去噪和前景分割，并初步获取感兴趣区域单像素点；
感兴趣点法向获取模块，用于对感兴趣区域内的单像素点构建局部邻域的协方差矩阵，利用主成分分析法求解出协方差矩阵的特征值和特征向量，进而获取线结构光条纹的法向量；
感兴趣点法向优化模块，用于根据线结构光条纹中相邻点法向量间的夹角变化率趋势特性剔除偏移点和干扰点，得到高质量的线结构光条纹的种子点；
线结构光条纹自定位模块，用于将得到的种子点在法向方向结合原始采集的带有线结构光条纹的图像灰度值进行双线性插值处理，计算求得线结构光条纹处于灰度分布均匀与分布不均匀的背景下时的法向方向灰度分布曲线，并求取对应的条纹灰度变化率曲线，该条纹灰度分布变化率曲线的两个拐点之间条纹灰度区域参数作为待处理的感兴趣区域拟合参数；
亚像素中心点提取模块，用于在待处理的感兴趣区域内感兴趣点的法线方向拟合高斯曲线，求出极值点作为线结构光条纹中心亚像素坐标。
7.根据权利要求6所述的复杂背景下线结构光中心亚像素精确提取系统，其特征在于，感兴趣点法向获取模块中，对获取的感兴趣区域点构建W邻域协方差矩阵，利用主成分分析法求解特征值和特征矩阵，其最大特征值对应的特征向量为条纹点的法向量，为条纹中心提取提供方向性，以避免因复杂背景导致线结构光发生突变对提取精度的干扰。
8.根据权利要求6所述的复杂背景下线结构光中心亚像素精确提取系统，其特征在于，线结构光条纹自定位模块具体通过对种子点在其法向方向上做双线性插值，求取对应灰度值，分析不同背景下的线结构光条纹灰度分布，对于法向方向上任意一点
，其相邻点/>
，对应灰度值为/>
，/>
)做泰勒级数展开有：/>
)= 
，h表示级数，并反解出一阶导，求取条纹灰度分布变化率，过滤背景灰度定位条纹灰度区域，获取高精度曲线拟合参数。
9.根据权利要求6所述的复杂背景下线结构光中心亚像素精确提取系统，其特征在于，亚像素中心点提取模块具体对待处理的感兴趣区域内感兴趣点的法向方向上利用高斯函数
拟合高斯曲线，其中/>
为线结构光条纹宽度，A为高斯曲线的幅值，表示条纹的峰值灰度，/>
为线结构光条纹中心亚像素坐标。
10.一种计算机存储介质，其特征在于，其可被处理器执行，其内存储有计算机程序，该计算机程序执行权利要求1-5中任一项所述的复杂背景下线结构光中心亚像素精确提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310702494.7A CN116433707B (zh) | 2023-06-14 | 2023-06-14 | 复杂背景下线结构光中心亚像素精确提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310702494.7A CN116433707B (zh) | 2023-06-14 | 2023-06-14 | 复杂背景下线结构光中心亚像素精确提取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116433707A true CN116433707A (zh) | 2023-07-14 |
| CN116433707B CN116433707B (zh) | 2023-08-11 |
Family
ID=87092917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310702494.7A Active CN116433707B (zh) | 2023-06-14 | 2023-06-14 | 复杂背景下线结构光中心亚像素精确提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433707B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862919A (zh) * | 2023-09-05 | 2023-10-10 | 武汉工程大学 | 基于高斯超拉普拉斯分布的线结构光中心提取方法及装置 |
| CN116912334A (zh) * | 2023-09-12 | 2023-10-20 | 武汉工程大学 | 基于光栅条纹投影的相位映射高精度投影仪标定方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400399A (zh) * | 2013-08-07 | 2013-11-20 | 长春工业大学 | 一种基于空间矩的线结构光中心提取方法 |
| US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
| CN112184725A (zh) * | 2020-09-21 | 2021-01-05 | 东南大学 | 一种沥青路面图像的结构光光条中心提取方法 |
| CN112614139A (zh) * | 2020-12-17 | 2021-04-06 | 武汉工程大学 | 基于深度图的运输带矿石团块筛选方法 |
| CN112629409A (zh) * | 2020-11-30 | 2021-04-09 | 江苏科技大学 | 一种线结构光条纹中心提取方法 |
| CN112836707A (zh) * | 2021-01-11 | 2021-05-25 | 西安电子科技大学 | 一种isar图像空中目标长度特征提取方法 |
| CN113436207A (zh) * | 2021-06-28 | 2021-09-24 | 江苏特威机床制造有限公司 | 一种对于规则表面的线结构光条纹中心快速精确提取方法 |
| WO2022116218A1 (zh) * | 2020-12-05 | 2022-06-09 | 浙江大学 | 一种用于复杂表面的线结构光中心提取方法 |
| WO2022143796A1 (zh) * | 2020-12-29 | 2022-07-07 | 杭州海康机器人技术有限公司 | 一种线结构光测量系统的标定方法、标定装置、以及系统 |
-
2023
- 2023-06-14 CN CN202310702494.7A patent/CN116433707B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400399A (zh) * | 2013-08-07 | 2013-11-20 | 长春工业大学 | 一种基于空间矩的线结构光中心提取方法 |
| US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
| CN112184725A (zh) * | 2020-09-21 | 2021-01-05 | 东南大学 | 一种沥青路面图像的结构光光条中心提取方法 |
| CN112629409A (zh) * | 2020-11-30 | 2021-04-09 | 江苏科技大学 | 一种线结构光条纹中心提取方法 |
| WO2022116218A1 (zh) * | 2020-12-05 | 2022-06-09 | 浙江大学 | 一种用于复杂表面的线结构光中心提取方法 |
| CN112614139A (zh) * | 2020-12-17 | 2021-04-06 | 武汉工程大学 | 基于深度图的运输带矿石团块筛选方法 |
| WO2022143796A1 (zh) * | 2020-12-29 | 2022-07-07 | 杭州海康机器人技术有限公司 | 一种线结构光测量系统的标定方法、标定装置、以及系统 |
| CN112836707A (zh) * | 2021-01-11 | 2021-05-25 | 西安电子科技大学 | 一种isar图像空中目标长度特征提取方法 |
| CN113436207A (zh) * | 2021-06-28 | 2021-09-24 | 江苏特威机床制造有限公司 | 一种对于规则表面的线结构光条纹中心快速精确提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| YUANJIONG LIU 等: "Sub-pixel Center Extraction Method for Line structured Light Stripe", IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING, vol. 768, no. 7, pages 072045 * |
| 李春明;王萌萌;刘海洋;杨鹏飞;: "精确的线结构光中心提取算法研究", 机械与电子, no. 06, pages 31 - 33 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862919A (zh) * | 2023-09-05 | 2023-10-10 | 武汉工程大学 | 基于高斯超拉普拉斯分布的线结构光中心提取方法及装置 |
| CN116862919B (zh) * | 2023-09-05 | 2023-12-05 | 武汉工程大学 | 基于高斯超拉普拉斯分布的线结构光中心提取方法及装置 |
| CN116912334A (zh) * | 2023-09-12 | 2023-10-20 | 武汉工程大学 | 基于光栅条纹投影的相位映射高精度投影仪标定方法 |
| CN116912334B (zh) * | 2023-09-12 | 2023-11-28 | 武汉工程大学 | 基于光栅条纹投影的相位映射高精度投影仪标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116433707B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116433707B (zh) | 复杂背景下线结构光中心亚像素精确提取方法及系统 | |
| CN108549873B (zh) | 三维人脸识别方法和三维人脸识别系统 | |
| US9721182B2 (en) | Method and system for matching an image using normalized feature vectors | |
| CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
| D'Hondt et al. | Iterative bilateral filtering of polarimetric SAR data | |
| Li et al. | Nonnegative mixed-norm preconditioning for microscopy image segmentation | |
| CN110458192B (zh) | 基于视觉显著性的高光谱遥感图像分类方法及系统 | |
| CN109146948A (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN111967466B (zh) | 一种利用多方向稀疏低秩分解的红外弱小目标检测方法 | |
| CN114563378B (zh) | 湖库蓝藻水华空间分布定量描述方法、装置、介质和设备 | |
| CN113848550A (zh) | 地基雷达自适应阈值永久散射体识别方法、装置及存储介质 | |
| CN112629409A (zh) | 一种线结构光条纹中心提取方法 | |
| Qu et al. | Hyperspectral and panchromatic image fusion via adaptive tensor and multi-scale retinex algorithm | |
| CN114519681A (zh) | 自动标定方法及装置、计算机可读存储介质、终端 | |
| CN114463397A (zh) | 一种基于渐进式滤波的多模态图像配准方法 | |
| CN112288784B (zh) | 一种描述子邻域自适应的弱纹理遥感影像配准方法 | |
| CN110097530B (zh) | 基于超像素聚类与联合低秩表示的多聚焦图像融合方法 | |
| CN114299389B (zh) | 一种融合时空信息的Savitzky-Golay滤波降噪并行方法 | |
| CN115511928A (zh) | 多光谱图像的匹配方法 | |
| CN115761606A (zh) | 基于图像处理的箱体电能表识别方法及装置 | |
| Zhang et al. | A generative adversarial network with dual discriminators for infrared and visible image fusion based on saliency detection | |
| CN115546157A (zh) | 卫星影像辐射质量评价的方法、装置、存储介质 | |
| Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
| Ye et al. | Optical and SAR image fusion based on complementary feature decomposition and visual saliency features | |
| CN112686222A (zh) | 星载可见光探测器对船舶目标检测的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |