CN102052898B - 使用计算机摄像头三基色测量微小二维位移的方法 - Google Patents

Abstract

使用计算机摄像头三基色测量微小二维位移的方法及装置，提出了一种以计算机摄像头作为位移传感器进行无接触测量位移的方法及其装置，该装置以一个摄像头连接一台普通的计算机组成，配置有摄像头拍摄及三基色亮度帧匹配程序，通过对参考帧自关联计算选取最佳匹配比较窗；对光电传感器敏感光谱中的三种基色图像帧分别进行交叉关联匹配计算，获得相应的基色图像帧位移，取其平均值作为物体即时的相对位移矢量，进而得到总的位移矢量及其即时速度，并据此结果决定是否更新参考帧及其最佳匹配比较窗，还自动调整进行搜索匹配的交叉关联算子阵列的大小。本发明测量精度小于一个像素单位，具有一定的抗环境光干扰的能力，技术先进，成本很低。

Description

使用计算机摄像头三基色测量微小二维位移的方法

技术领域

本发明涉及一种数字图像测量的方法及其装置，特别是采用计算机摄像头测量物体的二维微小位移的方法及其装置。 

背景技术

计算机摄像头本身包含一个光电转换传感器阵列，它为不接触地测量目标物体的位移提供了技术基础。最近提交的发明专利申请“使用计算机摄像头测量微小二维位移的方法及装置”(申请号：2009101042778)分析了国内有关摄像测量的专利，考察了美国关于光电探测传感器阵列器件探测相对运动的六十多件专利，提出了一种利用光强图案进行帧-帧匹配、从而测量二维位移的方法及其装置。然而，该发明专利针对的是照明均匀、稳定的测量环境，其适用场合有限。 

发明内容

鉴于上述情况，本发明提供一种使用计算机摄像头三基色测量微小二维位移的方法及装置，它以计算机摄像头为光电转换传感器，在一定的程度上能够克服测量环境所发生的某些照明干扰，通过拍摄数字图像并进行处理，获得被测物体在与摄像头的光轴相垂直的平面上的微小的二维位移矢量和速度矢量。 

本发明解决其技术问题所采用的技术方案是：把计算机摄像头通过USB接口连接到一台普通的计算机，该计算机配置USB接口、内存、CPU、硬盘、显示卡与显示器、键盘和鼠标、操作系统、摄像头驱动程序以及专门编写的摄像头拍摄及三基色亮度帧匹配程序。 

使用计算机摄像头三基色测量物体微小二维位移的步骤包括： 

一、在计算机上运行摄像头驱动程序，连接摄像头到计算机。 

二、注意测量工作环境内光的照明均匀且基本不发生变化。 

三、摄像头对准被测量的物体，聚焦调节好摄像头，使得成像清晰。 

四、运行摄像头拍摄及三基色亮度帧匹配程序。 

上述摄像头拍摄及三基色亮度帧匹配程序利用了光电传感芯片阵列所敏感的彩色光谱中的三种基色，舍弃从而也就避免了其余各种波长对图像帧的影响，提高了测量方法抗干扰的 能力，其测量物体微小二维位移的方法包括下列步骤： 

1)根据具体摄像头的参数指标选择位图帧的大小(M×N，M，N∈正整数)，并尽可能选择拍摄速度较快的帧率；操作摄像头拍摄一帧被测物体的图像，以位图的格式保存，作为参考帧；为所拍摄的位图对应的像素阵列选择一个直角坐标系；在所述像素阵列的中央区域开辟一个比较窗，大小取为m×n，m，n∈整数，并为它们选取合适的初始值：m₀×n₀，所述比较窗与所述像素阵列的水平方向和垂直方向的边缘像素分别距离h和v个像素，即有：m+2h＝M，n+2v＝N，h，v，m，n，M，N∈正整数； 

2)计算所述参考帧里比较窗的像素阵列的自关联系数： 

$\mathrm{auto}\_\mathrm{correlation}(a,b)=\underset{y=v+1}{\overset{v+1+n0}{\mathrm{\Σ}}}\underset{x=h+1}{\overset{h+1+m0}{\mathrm{\Σ}}}|\mathrm{reference}(x,y)-\mathrm{reference}(x+a,y+b)|$

式中，x和y分别是比较窗内像素的坐标，reference(x，y)表示参考帧内比较窗的各个像素的值，a＝-1，0，1，b＝-1，0，1，共产生9个自关联系数auto_correlation(a，b)； 

如果这些自关联系数有半数以上的近似相等且趋于0，说明被拍摄物体的表面的结构特征不够精细，最邻近像素之间的值区分不开，不利于今后采用帧-帧匹配比较方法测量位移，需要扩大用于匹配比较的像素的区域，令m＝m₀+step，n＝n₀+step，步进系数step∈正整数，即扩大所述比较窗的范围各step行和step列，重新计算所述比较窗的自关联系数，如此重复进行，直到找到适合该物体表面质地特征的匹配用比较窗为止，这时，2h＝M-m，2v＝N-n；如果超出帧的一定的范围，还没有找到合适的比较窗，则认为该物体的这部分反射表面不适于本装置的测量工作，并给出提示警告； 

如果这些自关联系数近似相等且趋于0的不到一半的数目，说明被拍摄物体的表面的结构特征足够精细，最邻近像素之间的值可以区分，认为找到了在目前的物体表面状况下可以用于进行匹配比较的最佳像素阵列： 

m＝m₀-step，n＝n₀-step，2h＝M-m，2v＝N-n； 

3)经过一段时间Δt后拍摄第二帧位图，作为取样帧并保存； 

4)把所述参考帧内比较窗里的像素阵列的值在所述取样帧范围里按照9×9关联算子阵列进行交叉匹配比较，具体算法是： 

式中，reference(x，y)表示所述参考帧内比较窗的各个像素的三基色亮度值，comparison(x+a，y+b)表示所述取样帧内与所述参考帧比较窗可能发生的移动情况对应的位置的像素的三基色亮度值，各个三基色对应的函数已经分别用下标文字标明； 

对应9×9关联算子阵列：a＝-4，-3，-2，-1，0，+1，+2，+3，+4和b＝-4，-3，-2，-1，0，+1，+2，+3，+4，每一帧三基色参考帧内的比较窗共有81种可能发生的移动情况，三种三基色图像帧共产生9×9×3＝243个交叉关联系数cross_correlation(a，b)； 

5)值最小且趋于0的交叉关联系数cross_correlation(a，b)表示其帧-帧关联程度最高，因此，对应每种三基色图象帧，获得三个所述取样帧相对所述参考帧移动的方向以及移动的幅度： 

Δx_红＝a₁，Δy_红＝b₁，Δx_绿＝a₂，Δy_绿＝b₂，Δx_蓝＝a₃，Δy_蓝＝b₃； 

6)本次取样周期里物体发生的相对位移矢量是： 

7)测量过程中，物体总的相对位移矢量是： 

ΔX₀＝ΔX₀+ΔX，ΔY₀＝ΔY₀+ΔY， 

式中右边的(ΔX₀，ΔY₀)是物体以前累积的相对位移矢量； 

8)根据上述位移矢量以及拍摄上述连续两帧之间的间隔时间Δt，获得物体位移的速度矢量： 

Δv_x＝ΔX/Δt，Δv_y＝ΔY/Δt； 

9)如果|ΔX₀|≥m/2，或|ΔY₀|≥n/2，m，n∈整数，即所述参考帧内比较窗发生的相对位移已经超出该比较窗的一半的幅度，这时，用最新的取样帧取代所述参考帧，其比较窗重新定位在新的参考帧的中央部位； 

如果|ΔX₀|＜m/2&|ΔY₀|＜n/2，不更新所述参考帧，而是把所述参考帧里的比较窗发生相 对位移： $\mathrm{\Δx}=-\frac{a_1+a_2+a_3}{3},$ $\mathrm{\Δy}=-\frac{b_1+b_2+b_3}{3};$

10)如果更新了所述参考帧，仿步骤2)计算所述更新后的参考帧的自关联系数，重新察看物体反射表面结构特征，重新决定其比较窗的最佳大小m×n； 

11)所述参考帧内比较窗在所述取样帧范围里进行搜索匹配的上述交叉关联算子阵列根据本次测量值进行自动调整：如果 改取为5×5，如果 

改取为7×7，否则仍然取为9×9关联算子阵列，以减少 

计算工作量； 

12)拍摄新的一帧作为取样帧并保存，拍摄取样帧的帧-帧间隔时间快于或接近物体相对位移一个像素单位所花费的时间； 

13)跳转到步骤4)，继续计算交叉关联系数，获取相对位移矢量以及速度矢量。 

实际测量过程中，还可以进一步实施测量定标，籍此获得直接的测量结果。 

本发明专利的有益效果是，它是一种采用计算机摄像头作为位移传感器实现无接触测量二维微小位移的新方法与装置，充分发挥了计算机摄像头的光电传感器阵列的功效；它仅仅利用了可见光谱中的三种基色(红、绿和蓝色)，分别对该三种基色的图像帧作帧-帧匹配比较，并取它们的位移测量值的平均值作为测量结果，而不是利用光强图像帧进行帧--帧匹配比较，较之发明专利“使用计算机摄像头测量微小二维位移的方法及装置”(申请号：2009101042778)在一定的程度上提高了抗环境光辐射干扰的能力；本发明专利测量技术先进，操作便利，成本低廉。 

附图说明

图1是本发明的测量装置方框图。 

图2是相对于一个点的自关联情况的示意图。 

图3是计算机摄像头里的光电传感器芯片进行光电转换后产生的像素阵列的示意图。 

图1中，1.计算机摄像头，2.光学透镜，3.光电传感器芯片，4.USB接口，5.计算机系统，6.USB接口，7.CPU，8.内存，9.显示卡与显示器，10.硬盘，11.键盘和鼠标，12.操作系统，13.摄像头驱动程序，14.摄像头拍摄及三基色亮度帧匹配程序，15.照明设备。 

图3中，20.一帧像素阵列，21.参考帧内比较窗，22.与参考帧内比较窗作匹配比较的取样帧内区域(示意例)，23.参考帧内比较窗发生位移的极限位置。 

具体实施方式

图1是本发明的测量装置的方框图。其中计算机摄像头(1)对准被测量的物体，两者的距离处于摄像头(1)有效的光学透镜聚焦成像范围以内。所述摄像头(1)由光学透镜(2)、光电传感器芯片(3)和USB接口(4)组成，通过其配置的USB电缆连接到一台普通的计算机系统(5)的USB接口(6)，该计算机系统(5)还配置有CPU(7)、内存(8)、显示卡与显示器(9)、硬盘(10)、键盘和鼠标(11)、操作系统(12)、摄像头驱动程序(13)以及专门编写的摄像头拍摄及三基色亮度帧匹配程序(14)。 

使用计算机摄像头三基色测量物体微小二维位移的方法包括若干步骤，这些步骤已经“发明内容”中的技术方案阐述清楚，下面仅择其要点加以说明。 

1)根据摄像头的具体型号选择位图帧的大小M×N，M，N∈正整数，尽可能选择拍摄速度较快的帧率。数码摄像头常见的分辨率有QSIF(160*120)、QCIF(176*144)、SIF(320*240)、CIF(352*288)和VGA(640*480)，其实际拍摄速度分别对应：30fps(帧每秒)，30fps，20-26fps，20-26fps和10fps。应当选用性能较强的摄像头，还可以配合较好的光学透镜。 

图3表示光电传感器芯片(3)进行光电转换后产生的相应的像素阵列(20)。该像素阵列(20)的大小为M×N，M，N∈整数，对应着位图格式，其中每一个小方格子(即像素)都有表示红、绿和蓝三种基色的强弱的8bit的数值(0-255)，共24bit。我们为该像素阵列(20)选择一个直角坐标系，于是，每一个小方格子即像素都定位为一对坐标点(x，y)，0≤x≤M，0≤y≤N，x，y∈整数。在图3中的中央区域选取一个比较窗(21)，大小为m×n，m，n∈整数，比较窗(21)与像素矩阵(20)的水平方向和垂直方向的边缘像素分别距离h和v个像素，即有：m+2h＝M，n+2v＝N，h，v∈正整数。因此，图中比较窗的左上角那第一个像素方格的坐标是：x＝h+1，y＝v+1。 

选取m，n与物体反射面的结构特征的精细程度有关，关系到(匹配)测量精度，决定着计算工作量，影响着测量装置的响应速率。对于上述分辨率与帧率指标，例如可以选取初始值：m₀＝80，n₀＝80。 

2)图2所示为相对一个点P(a，b)的自关联情况：m＝1，n＝1，它有8个最近邻的像素，或者说，在其最近邻方向，它有8个可能的移动方向，加上点P(0，0)不发生移动的一种情况，共计9个可能的移动情况，分别对应着关联算子阵列(a＝-1，0，1和b＝-1，0，1)的组合结果。 

3)把相对于一个点的自关联系数计算扩展到一个小的像素矩阵或比较窗，可以检查一个区域与另一个区域的匹配情况，从而探测被测物体的表面结构特征，决定最佳比较窗的大小m×n。比较窗有8个最近邻的同样大小的区域，或者说，比较窗有向其最近邻发生移动的8种可能情况，加上不动的情况，一共有9个区域，都属于同一帧；比较窗分别与它们作匹配比较，所以称之为自关联系数。如果比较窗与9种可能的情况之一吻合，自关联计算的结果应当为0；如果该比较窗与9种可能的情况之一越接近，两者的重叠区域越多，自关联计算的结果值越小，表明关联程度越高。 

4)拍摄取样帧的速度最好快于物体相对位移一个像素单位的速度。 

5)每一种三基色对应着一帧图像，其参考帧里的比较窗在取样帧里可能发生有81种移动情况，其中包括一种实际的移动结果，比较窗与该实际发生的移动情况的帧-帧关联程度最高，其交叉关联系数的值最小且趋于0，因此获得取样帧相对参考帧移动的方向以及移动的幅度。 

也可以在取样帧里开辟比较窗，把它在参考帧里做搜索匹配比较，这时的交叉关联系数计算表示式应当写成： 

$\mathrm{cross}\_\mathrm{correlation}(a,b)=\underset{y=v+1}{\overset{v+1+n}{\mathrm{\Σ}}}\underset{x=h+1}{\overset{h+1+m}{\mathrm{\Σ}}}|\mathrm{comparision}(x,y)-\mathrm{reference}(x+a,y+b)|$

6)更新参考帧的基本原则是，其中的比较窗与后面拍摄的取样帧里的匹配搜索区域，或者说，取样帧与参考帧具有相当多的重叠区域，否则失去了计算交叉关联系数的意义。发明专利申请“使用计算机摄像头测量微小二维位移的方法及装置”(申请号：2009101042778)详细说明了更新参考帧的方法，该方法能够反映出小于一个像素单位的测量精度，强于每次关联计算以后都更新参考帧的方法。本发明方法步骤9)中更新参考帧的条件为“参考帧内比较窗发生的相对位移已经超出该比较窗的一半的幅度”，其实可以根据具体情况调整。 

参考帧比较窗发生移动的范围受到帧幅的限制，不应超出图3中示意的极限位置(23)。 

7)为了减少计算工作量，根据本次测量值自动调整参考帧内比较窗在取样帧范围里进行搜索匹配的交叉关联算子阵列：如果|a|＜5&|b|＜5，改取为7×7，如果|a|＜3&|b|＜3，改取为5×5，否则仍然取为9×9关联算子阵列。 

上述搜索匹配采用的交叉关联算子阵列不一定非得从9×9开始，其基本思想是根据物体位移的幅度大小，或者说位移的快慢，从大到小选择，但是要覆盖物体位移的范围，保证匹配的可能与正确，这也与摄像头的采样帧率相关，影响着测量的响应性能。 

Claims (1)

1.一种使用计算机摄像头三基色测量微小二维位移的方法，它借助于一台普通的计算机配合摄像头测量物体微小的二维位移，该摄像头通过摄像头的USB接口连接到计算机，其特征在于，该方法包括下述步骤：

1)操作计算机摄像头拍摄一帧被测物体的图像，以位图的格式保存，作为参考帧；根据具体摄像头的参数指标选择位图帧的大小M×N，M、N∈正整数，并尽可能选择拍摄速度较快的帧率；为所述位图对应的像素阵列选择一个直角坐标系；在所述像素阵列的中央区域开辟一个比较窗，大小取为m×n，m、n∈整数，并为它们选取合适的初始值：m₀×n₀，所述比较窗与所述像素阵列的水平方向和垂直方向的边缘像素分别距离h和v个像素，即有：m+2h＝M，n+2v＝N，h、v、m、n、M、N∈正整数；

2)计算所述参考帧里比较窗的像素阵列的自关联系数：

$\mathrm{auto}\_\mathrm{correlation}(a,b)=\underset{y=v+1}{\overset{v+1+n}{\mathrm{\Σ}}}\underset{x=h+1}{\overset{h+1+m}{\mathrm{\Σ}}}|\mathrm{reference}(x,y)-\mathrm{reference}(x+a,y+b)|$

式中，x和y分别是比较窗内像素的坐标，reference(x，y)表示参考帧内比较窗的各个像素的值，a＝-1，0，1，b＝-1，0，1，共产生9个自关联系数auto_correlation(a，b)；

如果这些自关联系数有半数以上的近似相等且趋于0，说明被拍摄物体的表面的结构特征不够精细，最邻近像素之间的值区分不开，不利于今后采用帧-帧匹配比较方法测量位移，需要扩大用于匹配比较的像素的区域，令m＝m₀+step，n＝n₀+step，步进系数step∈正整数，即扩大所述比较窗的范围各step行和step列，重新计算所述比较窗的自关联系数，如此重复进行，直到找到适合该物体表面质地特征的匹配用比较窗为止，这时，2h＝M-m，2v＝N-n；如果超出帧的一定的范围，还没有找到合适的比较窗，则认为该物体的这部分反射表面不适于本装置的测量工作，并给出提示警告；

如果这些自关联系数近似相等且趋于0的不到一半的数目，说明被拍摄物体的表面的结构特征足够精细，最邻近像素之间的值可以区分，认为找到了在目前的物体表面状况下可以用于进行匹配比较的最佳像素阵列；

3)经过一段时间Δt后拍摄第二帧位图，作为取样帧并保存；

4)把所述参考帧内比较窗里的像素阵列的值在所述取样帧范围里按照9×9关联算子阵列进行交叉匹配比较，具体算法是：

式中，reference(x，y)表示所述参考帧内比较窗的各个像素的三基色亮度值，comparison(x+a，y+b)表示所述取样帧内与所述参考帧比较窗可能发生的移动情况对应的位置的像素的三基色亮度值，已分别用下标文字标明；对应9×9关联算子阵列：a＝-4，-3，-2，-1，0，+1，+2，+3，+4和b＝-4，-3，-2，-1，0，+1，+2，+3，+4，所述参考帧共有81种可能发生的移动情况，共产生9×9×3＝243个交叉关联系数cross_correlation(a，b)；

5)值最小且趋于0的交叉关联系数cross_correlation(a，b)表示其帧-帧关联程度最高，因此，对应每种三基色图象帧，获得三个所述取样帧相对所述参考帧移动的方向以及移动的幅度：Δx_红＝a₁，Δy_红＝b₁，Δx_绿＝a₂，Δy_绿＝b₂，Δx_蓝＝a₃，Δy_蓝＝b₃；

6)本次取样周期里物体发生的相对位移矢量是：

7)测量过程中，物体总的相对位移矢量是：

ΔX₀＝ΔX′₀+ΔX，ΔY₀＝ΔY′₀+ΔY，

式中右边的ΔX′₀、ΔY′₀是物体以前累积的相对位移矢量；

8)根据上述位移矢量以及拍摄上述连续两帧之间的间隔时间Δt，获得物体位移的速度矢量：

Δv_x＝ΔX/Δt，Δv_y＝ΔY/Δt；

9)如果|ΔX₁₀|≥m/2，或|ΔY₁₀|≥n/2，m，n∈整数，ΔX₁₀、ΔY₁₀分别表示所述参考帧内比较窗发生的相对位移，这时，用最新的取样帧取代所述参考帧，其比较窗重新定位在新的参考帧的中央部位；

如果|ΔX₁₀|＜m/2&|ΔY₁₀|＜n/2，不更新所述参考帧，而是把所述参考帧里的比较窗发生相对位移： $\mathrm{\Δx}=-\frac{a_1+a_2+a_3}{3},$ $\mathrm{\Δy}=-\frac{b_1+b_2+b_3}{3};$

10)如果更新了所述参考帧，仿步骤2)计算所述更新后的参考帧的自关联系数，重新察看物体反射表面结构特征，重新决定其比较窗的最佳大小m×n；

11)所述参考帧内比较窗在所述取样帧范围里进行搜索匹配的上述交叉关联算子阵列根据本次测量值进行自动调整：如果

改取为5×5，如果改取为7×7，否则仍然取为9×9关联算子阵列，以减少计算工作量；

12)拍摄新的一帧作为取样帧并保存；拍摄取样帧的帧-帧间隔时间快于或接近物体相对位移一个像素单位所花费的时间；

13)跳转到步骤4)，继续计算交叉关联系数，获取相对位移矢量以及速度矢量。

Images