CN105957116A - 一种基于频率的动态编码点的设计与解码方法 - Google Patents

Abstract

本发明一种基于频率的动态编码点的设计与解码方法属于计算机视觉测量技术领域，涉及一种基于频率的动态编码点的设计与解码方法。动态编码点的设计采用圆形特征点为提取特征，分为静态定位区和动态编码区。对采集到的编码点图像进行滤波处理，获得高质量图像；提取特征轮廓，对图像进行分割，滤除背景，保留感兴趣区域；利用编码点静态定位区识别编码点位置，获取编码点中心坐标；然后对动态编码区采集到的相机序列图像进行解码处理。该方法利用投影仪投影动态编码点，解决了普通编码点布局繁琐的问题，提高了测量系统的现场适应性，方便，提取速度快，解码及匹配准确，精度高，可满足视觉动态测量中编码点的使用要求。

Description

一种基于频率的动态编码点的设计与解码方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于频率的动态编码点的设计与解码方法

背景技术

在双目立体视觉测量中，为实现被测特征从二维图像平面到三维空间的快速重建，需要利用编码点来匹配两台相机采集到的图像，建立同一特征在左右两幅图像中的对应关系。此外，针对一些尺寸较大的零件，由于视觉测量法单一视场测量范围有限，需要通过多视数据拼接的方法来实现大型零件的整体测量，在多视数据拼接的过程中，利用编码点的自动检测和匹配，可以方便快速地建立局部坐标系与全局坐标系的坐标转换关系。因此，编码点在视觉测量中应用广泛，在特征的自动化快速匹配与重建中起到了至关重要的作用。目前常用的编码点主要为二维平面编码点，平面编码点可直接粘贴于被测物体表面，在测量时，利用相机采集编码点上特征的形状和位置，对照编码表获取特征不同排列方式所代表的信息，从而得到编码点的编码值，实现对编码点的识别。但是由于普通编码点采用粘贴的布置方式，每次测量前都需要繁琐的布点过程，降低了测量效率；其次，由于平面编码点采用回光材料制作，需要均匀的补光才能得到较好的采集效果，动态测量过程中，相机采集帧频高，曝光时间较短，容易出现明暗不均的情况，解码效果不理想；另外在大视场测量过程中，很难实现全场均匀补光，左右相机采集到的编码点图像不一致，容易导致误匹配的出现。

经文献检索，孟祥丽等发明的专利：“一种容量大、鲁棒性强的编码标志点及其解码方法”(专利号：CN 105303224 A)提出了包括定位标志位、起始标志位和编码位的编码标志点，起始标志位和编码位均分布于以定位标志位为中心的圆周上，定位标志位设置有起始标志点，编码位上设置有编码点，各个编码位上编码点的有无构成了不同的编码标志点。该发明的编码容量大、识别准确，但是由于编码标志点由多个圆构成，占用面积较大，不容易张贴。黄明等发明的专利：“基于坐标的分布型编码标志识别方法及系统”,专利号：CN104376328 A,发明了一种基于坐标的分布型编码标志的识别方法，该发明设置了各种圆形标志，并建立平面坐标系，利用坐标反算的方法按照最小距离匹配原则一一匹配，从而确定出各坐标的编码值。该发明能够实时、快速准确的识别大量编码标志，但是其解码过程较为繁琐，运算较为复杂。

发明内容

本发明为克服现有技术存在的编码标志点布点繁琐、匹配不准确等的缺陷，发明了一种基于频率的动态编码点和解码方法，该编码点在普通圆形编码点的基础上，增加了时间维度的信息，编码点会以一定的频率闪烁，依据相机采集特性可以获得以不同频率闪烁的编码点的不同编码值，从而准确匹配左右相机的编码点。该方法采用投影仪布置编码点，方便快速，提高了效率，且解码准确，匹配精度高。

本发明采用的技术方案是一种基于频率编码的动态编码点的设计与解码方法，其特征是，动态编码点的设计采用圆形特征点为提取特征，分为静态定位区和动态编码区；首先对采集到的编码点图像进行滤波处理，获得高质量图像；提取特征轮廓，对图像进行分割，滤除背景，保留感兴趣区域；利用编码点静态定位区识别编码点位置，获取编码点中心坐标；然后对动态编码区采集到的相机序列图像进行解码处理，根据动态编码区基于其频率变化而产生的灰度变化得到循环数列；利用循环数列循环数的不同检测出不同的编码点，并以其最小循环数作为编码值，根据编码值实现左右相机编码点的准确匹配。方法的具体步骤如下：

第一步、编码点图像预处理

利用投影仪投影编码点，并用双目相机对编码点进行采集。对双目视觉测量系统采集到的原始图像，首先进行中值滤波处理，获得高质量的图像；然后选取合适的阈值对图像进行二值化处理，提取圆形特征点的特征轮廓，并对图像进行分割，滤除背景区域，保留感兴趣区域。

第二步、动态编码点的识别定位

对于图像中经过图像预处理无法去除的一些杂散点，要基于编码点特征圆的特征，对图像进行进一步处理，滤除非目标信息，从而保证编码点的精确识别及定位。

1)动态编码点的识别

根据特征圆的形状信息和灰度信息，分别采用面积准则、圆度准则和灰度均匀准则对静态定位区的编码点进行识别。

面积准则：由于投影在物体表面的编码点特征圆在被测物体表面所占的像素数可以通过提前标定，因此可以利用编码点的面积作为约束，对图像进行处理，将面积不符合要求的特征区域剔除，滤除杂散点。面积准则判据公式如下：

N_p＞N_t (1)

其中，N_p为特征区域所占像素数，N_t为面积阈值，可通过提前标定得出。

圆度准则：由于动态编码点采用的是圆形特征点，其形状信息应该满足圆度准则，圆度准则判据公式为：

$e=\frac{4\mathrm{\π}S}{l^2}>e_t---\left(2\right)$

其中，e为特征区域的圆度，e_t为圆度的阈值，S为连通区域的面积，l为连通区域的轮廓周长。圆度e的值在0到1的范围内，对于正圆，e＝1。若目标区域越接近正圆，则其圆度值越接近1，反之越接近0。采用该准则可以滤除边界不规则的近圆区域，提高编码点的提取精度，避免出现错误编码点。

灰度均匀性准则：由于编码点特征圆是由投影仪投影产生的，其所在区域的灰度值分布相对非编码点区域要更加均匀，因此采用灰度均匀性准则对图像中的所有连通区域进行判断。首先计算连通区域的灰度平均值，公式如下：

$\stackrel{\‾}{g}=\frac{1}{n}\underset{(i,j)\∈S}{\Σ}g(x_i,y_j)---\left(3\right)$

其中，为目标灰度值的平均值，S为连通区域，n为连通区域的像素数，g(x_i,y_j)为连通区域内像素坐标(x_i,y_j)处的灰度值。

则灰度判据可表示为：

$D_g=\frac{1}{n}\underset{(x_i,y_j)\&Element;S}{\&Sigma;}{\left(g\right(x_i,y_j)-\stackrel{\&OverBar;}{g})}^2<D_t---\left(4\right)$

其中，D_g为目标区域的灰度方差，D_t为灰度阈值。

利用以上三个判断准则对编码点进行识别，对于不满足以上三个判据的连通区域予以剔除，保留同时满足三个判据的连通区域，并可认为其为编码点。

2)动态编码点的定位

对于被识别为编码点的连通区域采用灰度重心法对编码点的中心进行准确定位，得到编码点的中心坐标值。灰度重心法公式如下：

$x_C=\frac{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}{x}_{i}g(x_i,y_j)}{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}g(x_i,y_j)}---\left(5\right)$

$y_C=\frac{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}{y}_{j}g(x_i,y_j)}{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}g(x_i,y_j)}---\left(6\right)$

其中，(x_C,y_C)为编码点中心坐标。

第三步、动态编码点的解码

得到编码点特征圆的中心(x_C,y_C)后，对编码点进行解码，得到其编码值，以匹配左右相机图像的编码点。动态编码区的编码点将以一定的频率闪烁，明暗交替出现，同时相机以一定的采样频率进行采样，拍摄一序列图像，以实现基于频率的动态编码点的解码。根据相机的触发过程和动态采集特性，基于采样定理，设定圆形动态编码点的闪烁频率应满足如下条件：

$f_F=\left\{f\right|\frac{1}{T_{DC}}<f<f_c,\frac{f_c}{f}\&Element;N\}---\left(7\right)$

其中，f_F为圆形动态编码点的闪烁频率，T_DC为分配给动态编码区的时间，f_C为相机采集帧频，N为自然数集。

进行解码时，首先要对动态编码起始位置进行准确判断，然后根据特征圆的灰度进行解码；首先判断编码点起始位置，编码点在从静态定位区过渡到动态编码区时，编码点特征圆的灰度会发生明显的变化，因此将图像序列前后两帧图像中特征圆的灰度差作为编码起始位置的判断依据。本发明直接采用特征圆圆心点(x_C,y_C)所在像素格的灰度值代替特征圆的灰度值，灰度差判据可以表示为：

g_n(x_C,y_C)-g_n-1(x_C,y_C)≥g_T (8)

其中，g_n(x_C,y_C)为图像序列第n张图片中特征圆圆心(x_C,y_C)所在像素格的灰度值，g_n-1(x_C,y_C)为图像序列第n-1张图片中特征圆圆心(x_C,y_C)所在像素格的灰度值，g_T为灰度阈值，此阈值根据环境周围亮度进行选取。对于满足式(8)的第n张图片作为编码的起始位置。

然后，解码动态编码点判断特征圆灰度时，以编码点中心的灰度值代表其整体灰度，并以编码点亮时的灰度为g₁，编码点暗时的灰度值为g₀。以上述得到的第n张图片作为编码的起始位置，对后续编码图像序列内每帧图像中编码点中心的灰度进行判断，将图像序列转化为一个二进制数的数列，得到数列{a_n}，数列中的每一项由以下公式确定：

$\left\{\begin{array}{c}{a}_i=0,g_i-g_0<\left|\mathrm{\&sigma;}\right|\\ a_i=1,g_i-g_1<\left|\mathrm{\&sigma;}\right|\end{array}\right.,(i\&Element;N)---\left(9\right)$

其中，σ为灰度差阈值。

由于编码点是按照固定的频率闪烁的，因此该二进制数序列为循环数列，即存在常数K，使得

a_n+K＝a_n,n∈N (10)

则使式(10)成立的最小自然数K为数列{a_n}的循环周期，而K即为动态编码点的编码值，改变动态编码点的闪烁频率f_F就可以相应得到不同的编码值K，此时即实现了动态编码点的解码，根据此编码点的编码值可方便快速匹配左右相机图像内的编码点，完成特征点的匹配。

本发明的有益效果是该方法利用投影仪投影动态编码点，解决了普通编码点布局繁琐的问题，提高了测量系统的现场适应性，方便快速；并以闪烁频率作为不同编码点的编码值，提取速度快，解码及匹配准确，精度高，可满足视觉动态测量中编码点的使用要求。

附图说明

图1为动态编码点的设计图。其中，1-静态定位区，2-动态编码区。图2为双目动态采集系统。其中，3-相机脚架，4-左相机，5-投影仪，6-被测物，7-动态编码点，8-右相机。

图3为动态编码点解码流程图。

具体实施方式

下面结合附图和技术方案详细说明本发明的具体实施方式。

实施例1，首先搭载如图2所示的双目动态采集系统，投影仪5安装在相机脚架3中部，左、右相机相机4、8分别安装在投影仪5的两侧，被测物6放置在双目动态采集系统对面合适的位置，投影仪5向被测物6投影动态编码点7，并利用左、有两台相机4、8对动态编码点7进行采集。

投影仪5型号为EPSON EB-C301MS，亮度3000lm，左、右相机型号VC-12MC-M，分辨率3072*4096，最高帧频60Hz。实验过程中，左、有相机的帧频f_c＝10Hz，单次采集周期T_C＝0.1s，曝光时间T_E＝20ms，投影仪5投影出五个编码点，这五个动态编码点的频闪周期分别为0.2s,0.3s,0.4s,0.6s,0.8s，对应的编码值K_n分别为2,3,4,6,8。

附图3为动态编码点的解码流程图。整个解码过程包括编码点图像预处理、动态编码点的识别定位和动态编码点的解码三个主要步骤。通过相机动态采集到的序列图片判断出各个动态编码点的不同编码值，实现解码，完成左右相机动态编码点的匹配。实施例的具体步骤如下：

第一步、编码点图像预处理

利用投影仪投影编码点，并用左、右相机对编码点进行采集。对于采集到的原始图像，由于存在一些电子干扰而产生图像噪声，影响图像的后续处理，因此需要对原始图像进行中值滤波处理，获得高质量的图像。然后选取合适的阈值对图像进行二值化处理，提取圆形特征点的特征轮廓，并对图像进行分割，滤除背景区域，保留感兴趣区域。

第二步、动态编码点的识别定位

首先对经过图像预处理的静态定位区1的编码点位置进行识别，由于在测量过程中背景中存在一些亮度较高的无关特征，仅仅通过图像预处理无法将这些杂散点滤除掉，因此为保证编码点的精确提取，根据编码点特征圆的形状和灰度信息，利用面积准则公式(1)、圆度准则公式(2)和灰度均匀性准则公式(4)对编码点进行判断，对于不满足这三个公式条件的连通区域予以剔除，保留同时满足三个公式条件的连通区域，并认为其为编码点。

然后对被认为是编码点的连通区域采用公式(5)计算编码点的中心坐标值(x_C,y_C)，确定其位置坐标。

第三步、动态编码点的解码

对于被确定的动态编码点利用其动态编码区2对其进行解码处理，首先判断动态编码点的起始位置。根据编码点在从静态定位区过渡到动态编码区时，编码点特征圆的灰度会发生明显的变化，因此将图像序列前后两帧图像中特征圆的灰度差作为编码起始位置的判断依据。为简化图像处理过程，提高图像处理速度，以特征圆圆心点(x_C,y_C)所在像素格的灰度值代替特征圆的灰度值，利用公式(8)判断动态编码区的起始位置，然后对起始位置以后的序列图像进行解码处理。首先对序列图像的灰度值进行判断，设定一个阈值，并利用公式(9)得到一个二进制的数列{a_n}，由于编码点是按照固定的频率闪烁的，因此该二进制数序列为循环数列，找到循环数列的最小循环数K即为该编码点的编码值，如表1和表2所示，从而实现动态编码点的解码，根据此编码点的编码值可以方便快速匹配左右相机图像内的编码点，完成特征点的匹配。

表1左相机采集到的动态编码点

表2右相机采集到的动态编码点

本发明设计了一种基于频率编码的动态编码点，及动态编码点的识别和解码方法。该动态编码点制作方法简单，采用投影的方式保证了编码点在连续采集过程中的亮度。通过实验验证，发明的动态编码点易于定位，提取过程快捷，检测结果准确，便于布置，满足了视觉动态测量中编码点的使用要求。

Claims (1)

1.一种基于频率的动态编码点的设计与解码方法，其特征是，动态编码点的设计采用圆形特征点为提取特征，分为静态定位区和动态编码区，首先对采集到的编码点图像进行滤波处理，获得高质量图像；提取特征轮廓，对图像进行分割，滤除背景，保留感兴趣区域；利用编码点静态定位区识别编码点位置，获取编码点中心坐标；然后对动态编码区采集到的相机序列图像进行解码处理，根据动态编码区基于其频率变化而产生的灰度变化得到循环数列；利用循环数列循环数的不同检测出不同的编码点，并以其最小循环数作为编码值，根据编码值实现左右相机编码点的准确匹配；方法的具体步骤如下：

第一步、编码点图像预处理

利用投影仪投影编码点，并用双目相机对编码点进行采集；对双目视觉测量系统采集到的原始图像，首先进行中值滤波处理，获得高质量的图像；然后选取合适的阈值对图像进行二值化处理，提取圆形特征点的特征轮廓，并对图像进行分割，滤除背景区域，保留感兴趣区域；

第二步、动态编码点的识别定位

对于图像中经过图像预处理无法去除的一些杂散点，要基于编码点特征圆的特征，对图像进行进一步处理，滤除非目标信息，从而保证编码点的精确识别及定位；

1)动态编码点的识别

根据特征圆的形状信息和灰度信息，分别采用面积准则、圆度准则和灰度均匀准则对静态定位区的编码点进行识别；

面积准则：由于投影在物体表面的编码点特征圆在被测物体表面所占的像素数可以通过提前标定，因此可以利用编码点的面积作为约束，对图像进行处理，将面积不符合要求的特征区域剔除，滤除杂散点；面积准则判据公式如下：

N_p＞N_t (1)

其中，N_p为特征区域所占像素数，N_t为面积阈值，可通过提前标定得出；

圆度准则：由于动态编码点采用的是圆形特征点，其形状信息应该满足圆度准则，圆度准则判据公式为：

$e=\frac{4\mathrm{\&pi;}S}{l^2}>e_t---\left(2\right)$

其中，e为特征区域的圆度，e_t为圆度的阈值，S为连通区域的面积，l为连通区域的轮廓周长；圆度e的值在0到1的范围内，对于正圆，e＝1；若目标区域越接近正圆，则其圆度值越接近1，反之越接近0；采用该准则可以滤除边界不规则的近圆区域，提高编码点的提取精度，避免出现错误编码点；

灰度均匀性准则：由于编码点特征圆是由投影仪投影产生的，其所在区域的灰度值分布相对非编码点区域要更加均匀，因此采用灰度均匀性准则对图像中的所有连通区域进行判断；首先计算连通区域的灰度平均值，公式如下：

$\stackrel{\&OverBar;}{g}=\frac{1}{n}\underset{(i,j)\&Element;S}{\&Sigma;}g(x_i,y_j)---\left(3\right)$

其中，为目标灰度值的平均值，S为连通区域，n为连通区域的像素数，g(x_i,y_j)为连通区域内像素坐标(x_i,y_j)处的灰度值；

则灰度判据可表示为：

$D_g=\frac{1}{n}\underset{(x_i,y_j)\&Element;S}{\&Sigma;}{\left(g\right(x_i,y_j)-\stackrel{\&OverBar;}{g})}^2<D_t---\left(4\right)$

其中，D_g为目标区域的灰度方差，D_t为灰度阈值；

利用以上三个判断准则对编码点进行识别，对于不满足以上三个判据的连通区域予以剔除，保留同时满足三个判据的连通区域，并可认为其为编码点；

2)动态编码点的定位

对于被识别为编码点的连通区域采用灰度重心法对编码点的中心进行准确定位，得到编码点的中心坐标值；灰度重心法公式如下：

$x_C=\frac{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}{x}_{i}g(x_i,y_j)}{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}g(x_i,y_j)}---\left(5\right)$

$y_C=\frac{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}{y}_{j}g(x_i,y_j)}{\underset{\left(\right(x_i,y_j)\&Element;S)}{\&Sigma;}g(x_i,y_j)}---\left(6\right)$

其中，(x_C,y_C)为编码点中心坐标；

第三步、动态编码点的解码

得到编码点特征圆的中心(x_C,y_C)后，对编码点进行解码，得到其编码值，以匹配左右相机图像的编码点；动态编码区的编码点将以一定的频率闪烁，明暗交替出现，同时相机以一定的采样频率进行采样，拍摄一序列图像，以实现基于频率的动态编码点的解码；根据相机的触发过程和动态采集特性，基于采样定理，设定圆形动态编码点的闪烁频率应满足如下条件：

$f_F=\left\{f\right|\frac{1}{T_{DC}}<f<f_c,\frac{f_c}{f}\&Element;N\}---\left(7\right)$

其中，f_F为圆形动态编码点的闪烁频率，T_DC为分配给动态编码区的时间，f_C为相机采集帧频，N为自然数集；

进行解码时，首先要对动态编码起始位置进行准确判断，然后根据特征圆的灰度进行解码；先判断编码点起始位置，编码点在从静态定位区过渡到动态编码区时，编码点特征圆的灰度会发生明显的变化，因此将图像序列前后两帧图像中特征圆的灰度差作为编码起始位置的判断依据；直接采用特征圆圆心点(x_C,y_C)所在像素格的灰度值代替特征圆的灰度值，灰度差判据可以表示为：

g_n(x_C,y_C)-g_n-1(x_C,y_C)≥g_T (8)

其中，g_n(x_C,y_C)为图像序列第n张图片中特征圆圆心(x_C,y_C)所在像素格的灰度值，g_n-1(x_C,y_C)为图像序列第n-1张图片中特征圆圆心(x_C,y_C)所在像素格的灰度值，g_T为灰度阈值，此阈值根据环境周围亮度进行选取；对于满足式(8)的第n张图片作为编码的起始位置；

解码动态编码点：判断特征圆灰度时，以编码点中心的灰度值代表其整体灰度，并以编码点亮时的灰度为g₁，编码点暗时的灰度值为g₀；以上述得到的第n张图片作为编码的起始位置，对后续编码图像序列内每帧图像中编码点中心的灰度进行判断，将图像序列转化为一个二进制数的数列，得到数列{a_n}，数列中的每一项由以下公式确定：

$\left\{\begin{array}{c}{a}_i=0,g_i-g_0<\left|\mathrm{\&sigma;}\right|\\ a_i=1,g_i-g_1<\left|\mathrm{\&sigma;}\right|\end{array}\right.,\left(i\&Element;N\right)---\left(9\right)$

其中，σ为灰度差阈值；

由于编码点是按照固定的频率闪烁的，该二进制数序列为循环数列，即存在常数K，使得公式

a_n+K＝a_n,n∈N (10)

则使式(10)成立的最小自然数K为数列{a_n}的循环周期，而K即为动态编码点的编码值，改变动态编码点的闪烁频率f_F就可以相应得到不同的编码值K，此时即实现了动态编码点的解码，根据此编码点的编码值匹配左、右相机图像内的编码点，完成特征点的匹配。