CN108332685A - 一种编码结构光三维测量方法 - Google Patents

Abstract

本发明一种编码结构光三维测量方法涉及图像处理技术领域；该方法包括以下步骤：分别输入格雷码编码测量图像与线移条纹编码测量图像；以欧拉距离为关键点距离约束条件，分别获取格雷码边缘线上与线移条纹中心线上的关键点；设计边缘奇异算子和中心奇异算子并分别构建边缘检测代价函数和中心检测代价函数；由最短路径搜索技术分别自动跟踪定位格雷码边缘和线移条纹中心；本发明能够有效减小格雷码条纹边缘定位不准确、线移条纹中心定位误差，更准确的获得被测物体表面三维信息，对格雷码边缘线与线移条纹中心线进行检测定位研究，提高三维测量中格雷码边缘定位与线移条纹中心定位的精度，最终提高三维测量精度。

Description

一种编码结构光三维测量方法

技术领域

本发明一种编码结构光三维测量方法涉及图像处理技术领域。

背景技术

工业发展迅猛的今天，机器视觉高速发展成为工业发展能够稳定向前的重要需求，对机器视觉的三维测量精度的高要求也成为机器视觉领域的重要研究方向。随着机器视觉图形图像技术的深入研究，三维测量的精准度也在不断提升，其中投射结构光三维测量作为机器视觉测量的一种方法，以其方法简单、非接触、无损高效的特点被广泛地应用在如机器人装配、视觉检测、医学治疗、游戏和文化遗产数字化等领域。结构光三维测量可分为点、线和编码结构光的方法，其中编码结构光具有较为广阔的视场，又以高效率、采样密度大、强时效性和主动受控等优点被大多数研究人员所接受，常见编码结构光的三维测量方法有结合线移条纹编码的格雷码编码结构光方法和相移码编码结构光方法。

利用编码结构光进行三维测量时，将设定的编码图像通过投影装置投射到被测物体表面，此时物体表面的编码图像会受到其表面纹理特征影响，而物体表面的三维坐标信息是由设定编码结构光的解码影响。当采用结合格雷码与线移条纹编码结构光时，格雷码的条纹边缘与线移条纹中心会受到物体表面的形状、纹理等因素调制影响而变形，在由摄像装置获取被测物体表面信息中用来三维测量定位采样的格雷码边缘点与线移条纹中心点产生扭曲，在解编码结构光测量物体表面时对格雷码边缘与线移条纹中心提取的精度，将直接影响三维测量重构结果的精度。

发明内容

针对上述技术需求，本发明公开了一种编码结构光三维测量方法，能够有效减小格雷码条纹边缘定位不准确、线移条纹中心定位误差，更准确的获得被测物体表面三维信息，对格雷码边缘线与线移条纹中心线进行检测定位研究，提高三维测量中格雷码边缘定位与线移条纹中心定位的精度，最终提高三维测量精度。

本发明的目的是这样实现的：

一种编码结构光三维测量方法，包括以下步骤：

步骤a、分别输入格雷码编码测量图像I_e与线移条纹编码测量图像I_c；

步骤b、以欧拉距离为关键点距离约束条件，分别获取格雷码边缘线上与线移条纹中心线上的关键点；

步骤c、设计边缘奇异算子和中心奇异算子并分别构建边缘检测代价函数和中心检测代价函数；

步骤d、由最短路径搜索技术分别自动跟踪定位格雷码边缘和线移条纹中心。

上述编码结构光三维测量方法，步骤b的具体步骤如下：

步骤b1：对于输入的格雷码编码测量图像I_e，图像域Ω∈R，R为自然域，代价函数为Γ_e∈Ω，且Γ_e＞0，令Γ_e＝I_e；用集合S_e表示格雷码编码测量图像I_e上所有检测到的关键点集合，在初始的关键点集合S_ei中存在初始点，即初始的集合S_ei＝{k_e0}；已知初始集合的波阵面是个圆，圆心为k_e0，得到I_e关键点的最小能量图所用迭代步长为t_e；

步骤b2：由公式E(l)＝∫_lP(l(s))ds计算I_e每条路径的能量积分E，其中，l为待求解的路径曲线，s为弧长参数，P为势函数；其中，最小能量积分E_emin即为I_e中需求最短路径，对应的边界点为I_e的候选关键点k_ep；

步骤b3：计算k_e0与k_ep之间路径的欧拉距离，当欧拉距离大于给定的阀值T_e时，则该点升级为关键点k_e1；

步骤b4：对于输入的线移条纹编码测量图像I_c，图像域Ω∈R，R为自然域，代价函数为Γ_c∈Ω，且Γ_c＞0，令Γ_c＝I_c；用集合S_c表示线移条纹编码测量图像I_c上所有检测到的关键点集合，在初始的关键点集合S_ci中存在初始点，即初始的集合S_ci＝{k_c0}；已知初始集合的波阵面是个圆，圆心为k_c0，得到I_c关键点的最小能量图所用迭代步长为t_c；

步骤b5：由公式E(l)＝∫_lP(l(s))ds计算I_c每条路径的能量积分E，其中，l为待求解的路径曲线，s为弧长参数，P为势函数；其中，最小能量积分E_cmin即为I_c中需求最短路径，对应的边界点为I_c的候选关键点k_cp；

步骤b6：计算k_c0与k_cp之间路径的欧拉距离，当欧拉距离大于给定的阀值T_c时，则该点升级为关键点k_c1。

上述编码结构光三维测量方法，步骤c的具体步骤如下：

步骤c1：格雷码边缘检测代价函数构建

根据编码图像格雷码边缘灰度分布特点，构建格雷码边缘奇异算子如式：

式中：e表示格雷码边缘，x_e，y_e分别为I_e图像中点的位置坐标，θ_e为图像点(x_e,y_e)与图像中零点坐标的方向参数，α_e为构建格雷码边缘奇异算子的尺度常数因子；σ_e为构建格雷码边缘奇异算子高斯核尺度；为在高斯核尺度下，沿着方向θ_e(x_e,y_e)的格雷码边缘图像的零阶导数；为在高斯核尺度σ_e下，沿着方向θ_e(x_e,y_e)的格雷码边缘图像的一阶导数；为在高斯核尺度σ_e下，沿着方向θ_e(x_e,y_e)格雷码边缘图像的二阶导数；

构建格雷码边缘检测奇异算子的最短路径代价函数，如式：

Γ_e＝η_e*I_e+(1-η_e)*d_e(ψ_e(x_e,y_e,σ_e))

式中：η_e为Γ_e中的常数比例因子，用于调节I_e图像增强后的信息和本身的占比，d_e为ψ_e的递减函数，d_e＝max(ψ_e(x_e,y_e,σ_e))-ψ_e(x_e,y_e,σ_e)；

步骤c2：线移条纹中心检测代价函数构建

根据编码图像线移条纹灰度值的分布特点，构建条纹中心检测多尺度奇异值算子如式：

式中：c表示线移条纹中心，x_c，y_c分别为I_c图像中点的位置坐标，θ_c为图像点(x_c,y_c)与图像中零点坐标的方向参数，α_c为构建线移条纹中心奇异算子的尺度常数因子，为在构建线移条纹中心奇异算子的高斯核尺度σ_c下，沿着方向θ_c(x_c,y_c)的线移条纹中心图像的零阶导数；为在高斯核尺度σ_c下，沿着方向θ_c(x_c,y_c)的线移条纹中心图像的一阶导数；为在高斯核尺度σ_c下，沿着方向θ_c(x_c,y_c)的线移条纹中心图像的二阶导数；

构建线移条纹中心检测奇异算子的最短路径代价函数，如式：

Γ_c＝η_c*I_c+(1-η_c)*d_c(ψ_c(x_c,y_c,σ_c))

式中：η_c为Γ_c的常数比例因子，其用于调节I_c图像增强后的信息和本身的占比，d_c为ψ_c的递减函数，d_c＝max(ψ_c(x_c,y_c,σ_c))-ψ_c(x_c,y_c,σ_c)。

上述编码结构光三维测量方法，步骤d的具体步骤如下：

步骤d1：格雷码图像路径跟踪检测

当获得I_e的路径上关键点k_e1后，关键点集合更新为S_e＝{k_e0,k_e1}，路径集合更新为P_e＝{k_e0→k_e1}；如下为迭代检测I_e路径曲线上关键点步骤：

步骤d1-1、将更新后的关键点集合S_e中的所有点作为更新源点，用快速行进算法求最小能量图，计算最小能量图的边界点与更新后的关键点源点之间最短路径积分能量E_e，确定边界点中下一个候选关键点k_ep；

步骤d1-2、再利用欧拉距离约束确定超过阀值T_e的候选关键点，升级为新关键点k_e2；

步骤d1-3、更新关键点集合与路径集合，有：S_e＝{k_e0,k_e1,k_e2}，P_e＝{k_e0→k_e1,k_e1→k_e2}；

步骤d1-4、判断关键点k_e2是否满足停止条件，L(k_ei,p_e)-L(k_ei,q_e)-L(p_e,q_e)≤ε_e，其中，L函数表示两点间欧拉距离，k_ei表示I_e上第i个关键点，p_e与q_e表示I_e图像上的两个已知相邻关键点，其中候选关键点k_ei邻近关键点q_e，ε_e表示给定容允许误差；

若关键点k_e2满足此条件，停止路径跟踪监测；

若不满足停止条件，循环步骤d1-1到步骤d1-4，迭代得到最终的I_e图像上关键点集合和路径集合；

步骤d2：线移条纹中心路径跟踪检测

当获得I_c的路径上关键点k_c1后，关键点集合更新为S_c＝{k_c0,k_c1}，路径集合更新为P_c＝{k_c0→k_c1}；如下为迭代检测I_c路径曲线上关键点步骤：

步骤d2-1、将更新后的关键点集合S_c中的所有点作为更新源点，用快速行进算法求最小能量图，计算最小能量图的边界点与更新后的关键点源点之间最短路径积分能量E_c，确定边界点中下一个候选关键点k_cp；

步骤d2-2、再利用欧拉距离约束确定超过阀值T_c的候选关键点，升级为新关键点k_c2；

步骤d2-3、更新关键点集合与路径集合，有：S_c＝{k_c0,k_c1,k_c2}，P_c＝{k_c0→k_c1,k_c1→k_c2}；

步骤d2-4、判断关键点k_c2是否满足停止条件，L(k_ci,p_c)-L(k_ci,q_c)-L(p_c,q_c)≤ε_c，其中，L函数表示两点间欧拉距离，k_ci表示I_c上第i个关键点，p_c与q_c表示I_c图像上的两个已知相邻关键点，其中候选关键点k_ci邻近关键点q_c，ε_c表示给定容允许误差；

若关键点k_c2满足此条件，停止路径跟踪监测；

若不满足停止条件，循环步骤d2-1到步骤d2-4，迭代得到最终的I_c图像上关键点集合和路径集合。

有益效果：

本发明采用了如下技术手段，基于奇异算子和最短路径搜索技术的格雷码条纹边缘检测与线移条纹中心检测的方法。本发明通过分别对格雷码边缘和线移条纹各自的信号特征进行分析研究，针对格雷码边缘设计边缘检测奇异算子并构建边缘代价函数，针对线移条纹中心设计中心检测奇异算子并构建中心代价函数。给出通过欧拉距离约束作为相邻关键点距离约束条件，以快速行进算法为基础计算最短路径搜索技术中最小能量图的方法，并给出由最短路径自动跟踪得到准确的格雷码边缘和线移条纹中心定位的方法。最终减小格雷码条纹边缘定位不准确、线移条纹中心定位误差，更准确的获得被测物体表面三维信息，对格雷码边缘线与线移条纹中心线进行检测定位研究，提高三维测量中格雷码边缘定位与线移条纹中心定位的精度，最终提高三维测量精度。

附图说明

图1是本发明一种编码结构光三维测量方法的流程图。

图2是格雷码编码测量图像。

图3是线移条纹编码测量图像。

图4是被测花瓶及其编码样图。

图5是被测球面及其编码样图。

图6是交点法边缘检测和灰度重心法中心检测的花瓶表面三维测量结果。

图7是本专利方法的花瓶表面三维测量结果。

图8是交点法边缘检测和灰度重心法中心检测的球面三维测量结果。

图9是本专利方法的球面三维测量结果。

具体实施例

下面结合附图对本发明具体实施例作进一步详细描述。

具体实施例一

本实施例的编码结构光三维测量方法，流程图如图1所示，该方法包括以下步骤：

步骤a、分别输入格雷码编码测量图像I_e与线移条纹编码测量图像I_c；

步骤b、以欧拉距离为关键点距离约束条件，分别获取格雷码边缘线上与线移条纹中心线上的关键点；

步骤c、设计边缘奇异算子和中心奇异算子并分别构建边缘检测代价函数和中心检测代价函数；

步骤d、由最短路径搜索技术分别自动跟踪定位格雷码边缘和线移条纹中心。

具体实施例二

本实施例的编码结构光三维测量方法，在具体实施例一的基础上，进一步限定步骤b的具体步骤如下：

步骤b1：对于输入的格雷码编码测量图像I_e，图像域Ω∈R，R为自然域，代价函数为Γ_e∈Ω，且Γ_e＞0，令Γ_e＝I_e；用集合S_e表示格雷码编码测量图像I_e上所有检测到的关键点集合，在初始的关键点集合S_ei中存在初始点，即初始的集合S_ei＝{k_e0}；已知初始集合的波阵面是个圆，圆心为k_e0，得到I_e关键点的最小能量图所用迭代步长为t_e；

步骤b2：由公式E(l)＝∫_lP(l(s))ds计算I_e每条路径的能量积分E，其中，l为待求解的路径曲线，s为弧长参数，P为势函数；其中，最小能量积分E_emin即为I_e中需求最短路径，对应的边界点为I_e的候选关键点k_ep；

步骤b3：计算k_e0与k_ep之间路径的欧拉距离，当欧拉距离大于给定的阀值T_e时，则该点升级为关键点k_e1；

步骤b4：对于输入的线移条纹编码测量图像I_c，图像域Ω∈R，R为自然域，代价函数为Γ_c∈Ω，且Γ_c＞0，令Γ_c＝I_c；用集合S_c表示线移条纹编码测量图像I_c上所有检测到的关键点集合，在初始的关键点集合S_ci中存在初始点，即初始的集合S_ci＝{k_c0}；已知初始集合的波阵面是个圆，圆心为k_c0，得到I_c关键点的最小能量图所用迭代步长为t_c；

步骤b5：由公式E(l)＝∫_lP(l(s))ds计算I_c每条路径的能量积分E，其中，l为待求解的路径曲线，s为弧长参数，P为势函数；其中，最小能量积分E_cmin即为I_c中需求最短路径，对应的边界点为I_c的候选关键点k_cp；

步骤b6：计算k_c0与k_cp之间路径的欧拉距离，当欧拉距离大于给定的阀值T_c时，则该点升级为关键点k_c1。

具体实施例三

本实施例的编码结构光三维测量方法，在具体实施例一的基础上，进一步限定步骤c的具体步骤如下：

步骤c1：格雷码边缘检测代价函数构建

根据编码图像格雷码边缘灰度分布特点，构建格雷码边缘奇异算子如式：

式中：e表示格雷码边缘，x_e，y_e分别为I_e图像中点的位置坐标，θ_e为图像点(x_e,y_e)与图像中零点坐标的方向参数，α_e为构建格雷码边缘奇异算子的尺度常数因子；σ_e为构建格雷码边缘奇异算子高斯核尺度；为在高斯核尺度下，沿着方向θ_e(x_e,y_e)的格雷码边缘图像的零阶导数；为在高斯核尺度σ_e下，沿着方向θ_e(x_e,y_e)的格雷码边缘图像的一阶导数；为在高斯核尺度σ_e下，沿着方向θ_e(x_e,y_e)格雷码边缘图像的二阶导数；

构建格雷码边缘检测奇异算子的最短路径代价函数，如式：

Γ_e＝η_e*I_e+(1-η_e)*d_e(ψ_e(x_e,y_e,σ_e))

式中：η_e为Γ_e中的常数比例因子，用于调节I_e图像增强后的信息和本身的占比，d_e为ψ_e的递减函数，d_e＝max(ψ_e(x_e,y_e,σ_e))-ψ_e(x_e,y_e,σ_e)；

步骤c2：线移条纹中心检测代价函数构建

根据编码图像线移条纹灰度值的分布特点，构建条纹中心检测多尺度奇异值算子如式：

式中：c表示线移条纹中心，x_c，y_c分别为I_c图像中点的位置坐标，θ_c为图像点(x_c,y_c)与图像中零点坐标的方向参数，α_c为构建线移条纹中心奇异算子的尺度常数因子，为在构建线移条纹中心奇异算子的高斯核尺度σ_c下，沿着方向θ_c(x_c,y_c)的线移条纹中心图像的零阶导数；为在高斯核尺度σ_c下，沿着方向θ_c(x_c,y_c)的线移条纹中心图像的一阶导数；为在高斯核尺度σ_c下，沿着方向θ_c(x_c,y_c)的线移条纹中心图像的二阶导数；

构建线移条纹中心检测奇异算子的最短路径代价函数，如式：

Γ_c＝η_c*I_c+(1-η_c)*d_c(ψ_c(x_c,y_c,σ_c))

式中：η_c为Γ_c的常数比例因子，其用于调节I_c图像增强后的信息和本身的占比，d_c为ψ_c的递减函数，d_c＝max(ψ_c(x_c,y_c,σ_c))-ψ_c(x_c,y_c,σ_c)。

具体实施例四

本实施例的编码结构光三维测量方法，在具体实施例一的基础上，进一步限定步骤d的具体步骤如下：

步骤d1：格雷码图像路径跟踪检测

当获得I_e的路径上关键点k_e1后，关键点集合更新为S_e＝{k_e0,k_e1}，路径集合更新为P_e＝{k_e0→k_e1}；如下为迭代检测I_e路径曲线上关键点步骤：

步骤d1-1、将更新后的关键点集合S_e中的所有点作为更新源点，用快速行进算法求最小能量图，计算最小能量图的边界点与更新后的关键点源点之间最短路径积分能量E_e，确定边界点中下一个候选关键点k_ep；

步骤d1-2、再利用欧拉距离约束确定超过阀值T_e的候选关键点，升级为新关键点k_e2；

步骤d1-3、更新关键点集合与路径集合，有：S_e＝{k_e0,k_e1,k_e2}，P_e＝{k_e0→k_e1,k_e1→k_e2}；

步骤d1-4、判断关键点k_e2是否满足停止条件，L(k_ei,p_e)-L(k_ei,q_e)-L(p_e,q_e)≤ε_e，其中，L函数表示两点间欧拉距离，k_ei表示I_e上第i个关键点，p_e与q_e表示I_e图像上的两个已知相邻关键点，其中候选关键点k_ei邻近关键点q_e，ε_e表示给定容允许误差；

若关键点k_e2满足此条件，停止路径跟踪监测；

若不满足停止条件，循环步骤d1-1到步骤d1-4，迭代得到最终的I_e图像上关键点集合和路径集合；

步骤d2：线移条纹中心路径跟踪检测

当获得I_c的路径上关键点k_c1后，关键点集合更新为S_c＝{k_c0,k_c1}，路径集合更新为P_c＝{k_c0→k_c1}；如下为迭代检测I_c路径曲线上关键点步骤：

步骤d2-1、将更新后的关键点集合S_c中的所有点作为更新源点，用快速行进算法求最小能量图，计算最小能量图的边界点与更新后的关键点源点之间最短路径积分能量E_c，确定边界点中下一个候选关键点k_cp；

步骤d2-2、再利用欧拉距离约束确定超过阀值T_c的候选关键点，升级为新关键点k_c2；

步骤d2-3、更新关键点集合与路径集合，有：S_c＝{k_c0,k_c1,k_c2}，P_c＝{k_c0→k_c1,k_c1→k_c2}；

步骤d2-4、判断关键点k_c2是否满足停止条件，L(k_ci,p_c)-L(k_ci,q_c)-L(p_c,q_c)≤ε_c，其中，L函数表示两点间欧拉距离，k_ci表示I_c上第i个关键点，p_c与q_c表示I_c图像上的两个已知相邻关键点，其中候选关键点k_ci邻近关键点q_c，ε_c表示给定容允许误差；

若关键点k_c2满足此条件，停止路径跟踪监测；

若不满足停止条件，循环步骤d2-1到步骤d2-4，迭代得到最终的I_c图像上关键点集合和路径集合。

需要说明的是，具体实施例二、具体实施例三和具体实施例四的技术不矛盾，能够相互排列组合，即存在以下组合方式：

具体实施例一、具体实施例二和具体实施例三的组合；

具体实施例一、具体实施例二和具体实施例四的组合；

具体实施例一、具体实施例三和具体实施例四的组合；

具体实施例一、具体实施例二、具体实施例三和具体实施例四的组合。

具体实施例五

本实施例的编码结构光三维测量方法，将具体实施例一应用到花瓶如与球面的测量当中，输入的格雷码编码测量图像如图2所示，输入的线移条纹编码测量图像如图3所示，被测花瓶及其编码样图如图4所示，被测球面及其编码样图如图5所示。图6为利用结合交点法边缘检测和灰度重心法中心检测的花瓶表面三维测量结果，图7为本专利方法的花瓶表面三维测量结果。图6和7均为将被测花瓶表面三维测量中的点云数据输入到geomagic中输出的图像，在图7中编码条纹方向的突出或凹陷明显少于图6，且对表面纹理刻画也较细致。图8所示为利用结合交点法边缘检测和灰度重心法中心检测的球面三维测量结果，图9所示为本专利方法的球面三维测量结果。图8中由于边缘或中心定位不准确，使得重构图像中部分位置信息点多，而起相邻位置产生少点现象，使得解码时点定位存在误差，使得图中存在条状的突出或凹陷，本专利方法定位更准确，条形的突出或凹陷明显减少，甚至消除。

Claims (2)

1.一种编码结构光三维测量方法，其特征在于，包括以下步骤：

步骤a、分别输入格雷码编码测量图像I_e与线移条纹编码测量图像I_c；

步骤b、以欧拉距离为关键点距离约束条件，分别获取格雷码边缘线上与线移条纹中心线上的关键点；

步骤c、设计边缘奇异算子和中心奇异算子并分别构建边缘检测代价函数和中心检测代价函数；

步骤d、由最短路径搜索技术分别自动跟踪定位格雷码边缘和线移条纹中心。

2.根据权利要求2所述的一种编码结构光三维测量方法，其特在于，步骤b的具体步骤如下：

步骤b1：对于输入的格雷码编码测量图像I_e，图像域Ω∈R，R为自然域，代价函数为Γ_e∈Ω，且Γ_e＞0，令Γ_e＝I_e；用集合S_e表示格雷码编码测量图像I_e上所有检测到的关键点集合，在初始的关键点集合S_ei中存在初始点，即初始的集合S_ei＝{k_e0}；已知初始集合的波阵面是个圆，圆心为k_e0，得到I_e关键点的最小能量图所用迭代步长为t_e；

步骤b2：由公式E(l)＝∫_lP(l(s))ds计算I_e每条路径的能量积分E，其中，l为待求解的路径曲线，s为弧长参数，P为势函数；其中，最小能量积分E_emin即为I_e中需求最短路径，对应的边界点为I_e的候选关键点k_ep；

步骤b3：计算k_e0与k_ep之间路径的欧拉距离，当欧拉距离大于给定的阀值T_e时，则该点升级为关键点k_e1；

步骤b4：对于输入的线移条纹编码测量图像I_c，图像域Ω∈R，R为自然域，代价函数为Γ_c∈Ω，且Γ_c＞0，令Γ_c＝I_c；用集合S_c表示线移条纹编码测量图像I_c上所有检测到的关键点集合，在初始的关键点集合S_ci中存在初始点，即初始的集合S_ci＝{k_c0}；已知初始集合的波阵面是个圆，圆心为k_c0，得到I_c关键点的最小能量图所用迭代步长为t_c；

步骤b5：由公式E(l)＝∫_lP(l(s))ds计算I_c每条路径的能量积分E，其中，l为待求解的路径曲线，s为弧长参数，P为势函数；其中，最小能量积分E_cmin即为I_c中需求最短路径，对应的边界点为I_c的候选关键点k_cp；

步骤b6：计算k_c0与k_cp之间路径的欧拉距离，当欧拉距离大于给定的阀值T_c时，则该点升级为关键点k_c1。