CN102102981A - 以二维单基色对比度为特征帧匹配测量位移的方法及装置 - Google Patents

Abstract

以二维单基色对比度为特征帧匹配测量位移的方法及装置，由一台计算机及其摄像头组成。其测量位移的方法是，选取一种基色，沿x轴和y轴方向，分别提取所取单基色的二维对比度作为图像帧的特征；选取一帧图像作为参考帧，对其中选取的比较窗区域内所取单基色的两帧边方向数据相对后续取样帧进行交叉关联匹配计算，取其最佳匹配者的平均值作为本次测量的结果；据此位移测量值，决定是否更新参考帧，并调整比较窗的位置以及交叉关联匹配算子阵列的规模，以保证下一次测量的精度以及减少计算量。本发明既可以比较有效地克服了环境光照中其它波长对测量的影响，又大大提高了测量速度。

Description

以二维单基色对比度为特征帧匹配测量位移的方法及装置

技术领域

本发明涉及数字图像测量技术领域，特别是采用计算机摄像头测量物体的二维微小位移的方法及其装置。

背景技术

为了发挥计算机摄像头的光电传感器阵列的功能，最近提交的发明专利“以二维三基色对比度为特征帧匹配测量位移的方法及装置”(申请号：200910191320.9)分解图像帧为三幅基色帧，分别提取它们各自的基色对比度作为其图像的特征，并应用关联匹配技术测量物体的微小的位移，取其平均值作为测量结果，充分地利用光电探测传感器的性能。另一份发明专利“以二维对比度为特征帧匹配测量位移的方法及装置”(申请号：200910190925.6)提取图像帧的明暗对比度作为图像的特征，应用关联匹配技术测量物体微小位移。所述两份专利的测量方法新颖，但是，前者的分析运算量较大，影响测量速度，后者会受到测量环境中有关波长光照及其变化的影响。

发明内容

鉴于上述情况，本发明提供一种以二维单基色对比度为特征帧匹配测量位移的方法及装置，它利用计算机摄像头，通过拍摄，测量物体在与摄像头的光轴相垂直的平面上的二维位移矢量和速度矢量。

本发明解决其技术问题所采用的技术方案是：一台计算机安装一个计算机摄像头，并配置有摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序；该程序体现了以二维单基色对比度为特征通过帧匹配测量位移的方法，包括：

步骤一、以位图(M×N，M，N∈正整数)的格式，拍摄一帧被测物体的图像，作为参考帧；以该帧像素阵列左上角的第一个像素的位置为原点，向右方向为x轴方向，垂直向下方向为y轴方向；在所述像素阵列的中央选取一个区域，大小为m₀×n₀，m₀，n₀∈正整数，称之为比较窗，它距离所述像素阵列的水平方向和垂直方向的边缘像素各有h和v个像素，即有：m₀+2h＝M，n₀+2v＝N，h，v∈正整数；选取三基色(红、绿和蓝色)之一为本测量的

k＝max(i)|(j-1)表示在所述参考帧顺序计数为j-1的情况下最后一次拍摄的顺序计数值，即在所述参考帧没有发生变化的条件下，其中的比较窗发生的相对位移之累积已经超出该比较窗的幅度的2/5，这时，用最新的取样帧取代所述参考帧，其比较窗重新定位在新的参考帧的中央部位；

如果|Δx₀(i，j)-Δx₀(k，j-1)|＜2m/5且|Δy₀(i，j)-Δy₀(k，j-1)|＜2n/5，不更新所述参考帧，而是把所述参考帧里的比较窗发生相对位移Δx＝-e，Δy＝-f；

步骤八、调整步骤四中所述交叉关联匹配算子阵列的大小：

如果|e|≤3且|f|≤3，改取7×7：a＝-3，-2，-1，0，+1，+2，+3，b＝-3，-2，-1，0，+1，+2，+3，

如果|e|≤2且|f|≤2，改取5×5：a＝-2，-1，0，+1，+2，b＝-2，-1，0，+1，+2，

否则，仍然取为9×9关联匹配算子阵列；

步骤九、上述拍摄以后，又经过一段时间Δt，拍摄第三帧位图，作为新取样帧；

逐像素行、逐像素列分别导出该取样帧沿X轴方向和Y轴方向的关于所取单基色的边方向数据，共有两帧，以3bit的二进制数值001，010和100分别表示其中的正边、负边以及第三类边；

步骤十、按照步骤八中确定的交叉关联匹配算子阵列，类似步骤四，把所述参考帧内比较窗里对应的所取单基色沿X轴方向或Y轴方向的边方向数据在所述新取样帧范围里对应的所取单基色的边方向数据进行交叉关联匹配计算；

步骤十一、跳转到步骤五，继续测量。

实际测量过程中，还可以进一步实施测量定标，籍此获得直接的测量结果。

上述步骤二、三和九中所述边方向数据的定义是：

像素阵列中，沿着X轴或者沿着Y轴方向，如果一个像素的亮度值或其三基色之一(红或绿或蓝色)的亮度值比其后面的第二个像素相应的亮度值还要小一个误差容限值error，即如果I(X，Y)＜I(X+2，Y)-error或I(X，Y)＜I(X，Y+2)-error

则定义这两个像素之间存在一个沿该轴方向的关于像素亮度或该基色的正边；如果一个像素的的亮度值或其三基色之一(红或绿或蓝色)的亮度值比其后面的第二个像素相应的亮度值还要大一个误差容限值error，即如果

I(X，Y)＞I(X+2，Y)+error或I(X，Y)＞I(X，Y+2)+error

则定义这两个像素之间存在一个沿该轴方向的关于像素亮度或该基色的负边；如此获得的边位于该像素之后的第一个像素的位置，也即位于参与比较的两个像素的中间位置的那个像素上；如果一个像素的的亮度值或其三基色之一(红或绿或蓝色)的亮度值与其后面的第二个像素相应的亮度值接近，其值相差不超过一个误差容限值error，即如果

I(X+2，Y)-error＜I(X，Y)＜I(X+2，Y)+error

或I(X，Y+2)-error＜I(X，Y)＜I(X，Y+2)+error；

则认为这两个像素之间沿该轴方向不存在对应的关于像素亮度或该基色的“边”，或称之为第三类边；

沿着某一个坐标轴方向，对应的像素行或像素列所有的关于像素亮度或某种基色的正边、负边以及第三类边组成该行或该列沿该坐标轴方向的关于像素亮度或该基色的边方向数据；上列式中的误差容限值可以根据具体的光照情况，预置为一个小的数值，例如：error＝10；像素阵列中的四个边与角上的像素位置不存在边方向数据。

上述步骤四和十中所述交叉关联匹配计算的方法是：

分别沿X轴方向或者沿Y轴方向，把所述参考帧内比较窗对应的该坐标轴方向的三基色帧边方向数据{reference(x，y)}在所述取样帧范围里对应的该坐标轴方向的相应基色的边方向数据{comparison(x+a，y+b)}进行下述匹配比较运算：

$\mathrm{cross}\_\mathrm{correlation}(a,b)=\underset{y=v+1}{\overset{v+1+n}{\mathrm{\Σ}}}\underset{x=h+1}{\overset{h+1+m}{\mathrm{\Σ}}}[\mathrm{reference}(x,y)\·\mathrm{comparison}(x+a,y+b)]$

式中，各边方向数据均以3bit二进制值表示，运算符号·表示二进制逻辑与运算，其运算结果或为逻辑0或为逻辑1，运算符号“[]”表示取其中的逻辑运算函数所对应的数值，或为数值0，或为数值1，参数变量a，b的组合决定了关联匹配算子阵列的规模及其所产生的交叉关联系数的个数，结果构成一个集合{cross_correlation(a，b)}。

本发明仅仅考察三基色帧之一的二维对比度特征，通过实施帧-帧匹配比较获取位移测量值，它的有益效果是，相对于前述两个发明专利，既减少了分析运算量，提高了测量速度，又可以比较有效地克服其它波长的光照及其变化对测量的影响。

附图说明

图1是本发明的测量装置方框图。

图2是光电传感器芯片进行光电转换后产生的像素阵列的示意图。

图1中，1.计算机摄像头，2.光学透镜，3.光电传感器芯片，4.USB接口，5.计算机系统，6.USB接口，7.CPU，8.内存，9.显示卡与显示器，10.硬盘，11.键盘和鼠标，12.操作系统，13.摄像头驱动程序，14.摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序，15.照明设备。

图2中，20.一帧像素阵列，21.参考帧内选取的比较窗，22.取样帧内关联匹配区域示意例，23.参考帧内比较窗可能发生的极限位置。

具体实施方式

图1表示本发明的测量装置方框图。

在计算机系统(5)上运行配售的摄像头驱动程序(13)，通过USB接口(4)和(6)连接摄像头(1)到计算机(5)。然后，让摄像头聚焦成像被测量物体。运行摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序(14)，实施实时测量位移。该程序(14)包含了以二维单基色对比度为特征帧匹配测量位移的方法，具体步骤见“发明内容”所描述。

测量过程中，照明情况的变化不应当明显地改变被测量物体所成像的明暗对比度。可以选用具有较细致的表面反射特征的材质做成靶标。

Claims (4)

1.以二维单基色对比度为特征帧匹配测量位移的方法及装置，由一台计算机及其摄像头组成，其特征在于，所述计算机还配置有摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序。

2.根据权利要求1所述的以二维单基色对比度为特征帧匹配测量位移的方法及装置，其特征在于，所述摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序提供了一种使用计算机摄像头以二维单基色对比度为特征实施帧匹配测量二维位移的方法，包括：

步骤一、以位图(M×N，M，N∈正整数)的格式，拍摄一帧被测物体的图像，作为参考帧；以该帧像素阵列左上角的第一个像素的位置为原点，向右方向为x轴方向，垂直向下方向为y轴方向，所取坐标轴的单位为一个像素的大小；在所述像素阵列的中央选取一个区域，大小为m₀×n₀，m₀，n₀∈正整数，称之为比较窗，它距离所述像素阵列的水平方向和垂直方向的边缘像素各有h和v个像素，即有：m₀+2h＝M，n₀+2v＝N，h，v∈正整数；选取三种基色(红、绿和蓝色)之一作为本测量的对象；

步骤二、对于上述参考帧，逐像素行、逐像素列地分别导出沿X轴方向和Y轴方向的关于所选取单基色的边方向数据，共有两帧，并以3bit的二进制数值001，010和100分别表示其中的正边、负边以及第三类边；

步骤三、上述拍摄以后，经过一段时间Δt，拍摄第二帧位图，作为取样帧；

逐行、逐列确定该取样帧中沿X轴方向和Y轴方向的关于所取单基色的边方向数据，共有两帧，以二进制数值001，010和100分别表示其中的正边、负边以及第三类边；

步骤四、沿X轴方向和Y轴方向，把所述参考帧内比较窗在所述取样帧范围里进行9×9交叉关联匹配(a＝-4，-3，-2，-1，0，+1，+2，+3，+4，b＝-4，-3，-2，-1，0，+1，+2，+3，+4)，对于所述参考帧和所述取样帧各自对应的所取单基色的两帧边方向数据，分别计算并得到2×1＝2组关于所取单基色帧的交叉关联匹配系数，共产生9×9×2＝162个交叉关联匹配系数cross_correlation(a，b)；

步骤五、对于上述各组交叉关联匹配系数，分别取其中值最大者，作为所述取样帧对应的所取单基色帧相对所述参考帧对应的所取单基色帧分别沿X轴方向和Y轴方向移动的方向以及移动的幅度，例如所取单基色如为红色，则有：

Δ_红xx＝a₁，Δ_红xy＝b₁，Δ_红yx＝c₁，Δ_红yy＝d₁；

式中，下标x、y分别表示各边方向数据所沿的坐标轴方向；

本次测量中，沿X轴方向和Y轴方向，所述取样帧相对所述参考帧移动的方向以及移动的幅度分别是： $\mathrm{\Δx}(i,j)=\frac{a_1+c_1}{2}=e,\mathrm{\Δy}(i,j)=\frac{b_1+d_1}{2}=f$

式中，i表示本次测量拍摄的顺序计数，j表示所取参考帧的顺序计数；测量过程中，物体总的相对位移矢量是：

Δx₀(i，j)＝Δx₀(i-1，j)+Δx(i，j)＝Δx₀(i-1，j)+e，

Δy₀(i，j)＝Δy₀(i-1，j)+Δy(i，j)＝Δy₀(i-1，j)+f

式中，(Δx₀(i-1，j)，Δy₀(i-1，j))表示本次测量之前累积的位移；

步骤六、物体的速度矢量是：

Δv_x(i，j)＝Δx(i，j)/Δt＝e/Δt，Δv_y(i，j)＝Δy(i，j)/Δt＝f/Δt；

步骤七、如果|Δx₀(i，j)-Δx₀(k，j-1)|≥2m/5，或|Δy₀(i，j)-Δy₀(k，j-1)|≥2n/5，其中，k＝max(i)|(j-1)表示在所述参考帧顺序计数为j-1的情况下最后-次拍摄的顺序计数值，即在所述参考帧没有发生变化的条件下，其中的比较窗发生的相对位移之累积已经超出该比较窗的幅度的2/5，这时，用最新的取样帧取代所述参考帧，其比较窗重新定位在新的参考帧的中央部位；

如果|Δx₀(i，j)-Δx₀(k，j-1)|＜2m/5且|Δy₀(i，j)-Δy₀(k，j-1)|＜2n/5，不更新所述参考帧，而是把所述参考帧里的比较窗发生相对位移Δx＝-e，Δy＝-f；

步骤八、调整步骤四中所述交叉关联匹配算子阵列的大小：

如果|e|≤3且|f|≤3，改取7×7：a＝-3，-2，-1，0，+1，+2，+3，b＝-3，-2，-1，0，+1，+2，+3，

如果|e|≤2且|f|≤2，改取5×5：a＝-2，-1，0，+1，+2，b＝-2，-1，0，+1，+2，

否则，仍然取为9×9关联匹配算子阵列；

步骤九、上述拍摄以后，又经过一段时间Δt，拍摄第三帧位图，作为新取样帧；

逐行、逐列分别导出该取样帧沿X轴方向和Y轴方向的关于所取单基色的边方向数据，共有两帧，以二进制数值001，010和100分别表示其中的正边、负边以及第三类边；

步骤十、按照步骤八中确定的交叉关联匹配算子阵列，对于所述参考帧内所取单基色沿X轴方向和Y轴方向的两帧边方向数据，把其比较窗里的边方向数据分别在所述新取样帧范围里进行对应的边方向数据交叉关联匹配计算，具体算法同步骤四；

步骤十一、跳转到步骤五，继续测量。

3.根据权利要求2所述的以二维单基色对比度为特征帧匹配测量位移的方法及装置，其特征在于，所述摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序之步骤二、三和九所述边方向数据的定义是：像素阵列中，沿着X轴或者沿着Y轴方向，如果一个像素的亮度值或其三基色之一(红或绿或蓝色)的亮度值比其后面的第二个像素相应的亮度值还要小一个误差容限值error，即如果

I(X，Y)＜I(X+2，Y)-error或I(X，Y)＜I(X，Y+2)-error

则定义这两个像素之间存在一个沿该轴方向的关于像素亮度或该基色的正边；如果一个像素的的亮度值或其三基色之一(红或绿或蓝色)的亮度值比其后面的第二个像素相应的亮度值还要大一个误差容限值error，即如果

I(X，Y)＞I(X+2，Y)+error或I(X，Y)＞I(X，Y+2)+error

则定义这两个像素之间存在一个沿该轴方向的关于像素亮度或该基色的负边；如此获得的边位于该像素之后的第一个像素的位置，也即位于参与比较的两个像素的中间位置的那个像素上；如果一个像素的的亮度值或其三基色之一(红或绿或蓝色)的亮度值与其后面的第二个像素相应的亮度值接近，其值相差不超过一个误差容限值error，即如果

I(X+2，Y)-error＜I(X，Y)＜I(X+2，Y)+error

或I(X，Y+2)-error＜I(X，Y)＜I(X，Y+2)+error；

则认为这两个像素之间沿该轴方向不存在对应的关于像素亮度或该基色的“边”，或称之为第三类边；

沿着某一个坐标轴方向，对应的像素行或像素列所有的关于像素亮度或某种基色的正边、负边以及第三类边组成该行或该列沿该坐标轴方向的关于像素亮度或该基色的边方向数据；上列式中的误差容限值可以根据具体的光照情况，预置为一个小的数值，例如：error＝10；像素阵列中的四个边与角上的像素位置不存在边方向数据。

4.根据权利要求2所述的以二维单基色对比度为特征帧匹配测量位移的方法及装置，其特征在于，所述摄像头拍摄及二维单基色边方向数据帧匹配测量位移程序之步骤四和步骤十中所述交叉关联匹配计算的方法是：

分别沿X轴方向或者沿Y轴方向，把所述参考帧内比较窗对应的该坐标轴方向的三基色帧边方向数据{reference(x，y)}在所述取样帧范围里对应的该坐标轴方向的相应基色的边方向数据{comparison(x+a，y+b)}进行下述匹配比较运算：

$\mathrm{cross}\_\mathrm{correlation}(a,b)=\underset{y=v+1}{\overset{v+1+n}{\mathrm{\Σ}}}\underset{x=h+1}{\overset{h+1+m}{\mathrm{\Σ}}}[\mathrm{reference}(x,y)\·\mathrm{comparison}(x+a,y+b)]$

式中，各边方向数据均以3bit二进制值表示，运算符号·表示二进制逻辑与运算，其运算结果或为逻辑0或为逻辑1，运算符号“[]”表示取其中的逻辑运算函数所对应的数值，或为数值0，或为数值1，参数变量a，b的组合决定了关联匹配算子阵列的规模，从而决定了所产生的交叉关联系数的个数，结果构成一个集合{cross_correlation(a，b)}。

Images