CN102102979B

CN102102979B - 测量亚像素位移的单基色峰谷运动探测方法及装置

Info

Publication number: CN102102979B
Application number: CN 200910250908
Authority: CN
Inventors: 曾艺; 曾湘; 曾帅懿
Original assignee: Chongqing Technology and Business University
Current assignee: Chongqing Technology and Business University
Priority date: 2009-12-21
Filing date: 2009-12-21
Publication date: 2013-06-19
Anticipated expiration: 2029-12-21
Also published as: CN102102979A

Abstract

测量亚像素位移的单基色峰谷运动探测方法及装置，由一台计算机及其摄像头组成。其测量亚像素位移的方法是，选取一种基色帧作为测量对象，先确定沿两个坐标轴方向的所选基色帧的边方向数据，据此选取观测行与观测列；然后，对比先后拍摄的两帧图像中的观测行和观测列：如果其中不能确定其相互位移关系的峰或谷的数目和超出其轴向峰、谷数目和的某个预定百分比，就认为“失去跟踪”，需要再补拍一帧，否则，通过分析其中相关的峰、谷移动的方向及其数目，分别计算各个坐标轴方向的峰和谷的亚像素位移，取其平均值作为该轴向的测量结果。本测量方法既避免了其它波长的照射及其变化对测量的影响，又大大地减少了运算分析量，提高了测量速度。

Description

测量亚像素位移的单基色峰谷运动探测方法及装置

技术领域

本发明属于数字图像测量技术领域，特别是涉及采用计算机摄像头无接触测量物体的二维微小位移的方法及其装置。

背景技术

最近提交的发明专利“测量亚像素位移的峰谷运动探测方法及装置”(申请号：200910190924.1)利用计算机摄像头作为光电转换传感器，以三种基色帧的“峰、谷”作为图像帧的特征，通过分析先后两帧中的“峰、谷”在所选观察行与观察列发生的移位情况，判断得到被测量物体微小的二维位移矢量，进而获得其速度矢量；所述测量方法先进。但是，它利用了摄像头光电像素阵列的全部信息，有关分析运算的工作量较大，影响测量速度。新近提交的发明专利“快速测量亚像素位移的峰谷运动探测方法及装置”(申请号：200910191319.6)，虽然提高了测量的速度，但是，它利用的是摄像头光电像素阵列的光强因素，容易受到测量环境中其它波长照射的影响。

发明内容

本发明提供一种测量亚像素位移的单基色峰谷运动探测方法及装置，它以计算机摄像头为光电转换传感器，在照明条件发生一定变化的情况下获得被测物体在与摄像头的光轴相垂直的平面上的微小的二维位移矢量和速度矢量。

本发明解决其技术问题所采用的技术方案是：一台计算机通过USB接口连接一个摄像头，该计算机配置有USB接口、内存、CPU、硬盘、显示卡与显示器、键盘和鼠标、操作系统、摄像头驱动程序以及摄像头拍摄及单基色峰/谷亚像素位移探测程序，该程序体现了测量亚像素位移的单基色峰谷运动探测方法，包括下述步骤：

步骤一、拍摄一帧(M行×N列)被测物体，不考虑该图像帧的边上的两行与两列，得到参考帧[(M-2)行×(N-2)列]，为该参考帧以及其后所有拍摄的图像帧确定相同的坐标轴，其中，所取X轴和Y轴的方向分别平行于所述图像帧的行与列，M，N∈正整数；

步骤二、对于上述参考帧之像素阵列，选取一种基色帧，例如红色帧；逐行、逐列分别

或

则认为测量“失去跟踪”并发出一个警告信号，式中，误差容限值error1表示比较帧中沿着所选观测行或观测列，所选基色帧的鬼影边反射状况发生的数目占该基色的全部边反射状况数目的百分比，可以根据物体表面的光学性质和测量环境来预置，例如为：error1＝5％；所述比较帧的边上的边反射状况不考虑“鬼影边反射状况”，它们有可能来自像素阵列的外部；

步骤七、如果测量“失去跟踪”，回到步骤一，重新开始测量工作；

步骤八、如果测量没有“失去跟踪”，则继续本次测量工作：沿着所选观测行与所选观测列，运用单基色峰/谷亚像素位移探测算法，分别计算所选基色的亚像素位移，例如：

此即本次测量中即时的亚像素位移：

ΔX_位移(j+1)＝ΔX_R位移(j+1)，ΔY_位移(j+1)＝ΔX_R位移(j+1)；

步骤九、本次测量中，物体的速度矢量计算式为：

附图说明

下面结合附图进一步说明本发明。

图1是本发明的测量装置方框图。

图2表示一个3×3像素阵列及其根据定义导出的边方向数据。图中，一个方框表示一个像素，方框内的点的数目越多表示该像素的亮度越暗，所确定的正边和负边以粗线段表示，其中该像素阵列的外围的四个边的正、负方向还分别以箭头表示。

图3表示光电探测器阵列沿着某个轴向获得的图像光电信号以及据此导出的一个序列的边方向数据(正边和负边)和边反射状况(峰和谷)。

图4是沿着某个轴跟踪边反射状况进行亚像素位移测量的示意图。

图5是单基色峰/谷亚像素位移探测算法的图解。其中，箭头向上表示正边，箭头向下表示负边，虚线以及细实线均表示坐标平面图上均匀的等分线，横坐标的等分区间表示分离的各个像素范围。

图1中，1.计算机摄像头，2.光学透镜，3.光电成像芯片，4.摄像头的USB接口，5.计算机系统，6.计算机的USB接口，7.CPU，8.内存，9.显示卡与显示器，10.硬盘，11.键盘和鼠标，12.操作系统，13.摄像头驱动程序，14.摄像头拍摄及单基色峰/谷运动探测亚像素位移程序，15.照明设备。

图3中，21.光电传感器阵列探测到的一行图像光-电信号；22.光电传感器阵列探测到的一行光-电信号(21)经过积分器峰值电路处理以后的数字化输出信号；23.与光电传感器阵列的一行输出信号(22)对应的边方向数据，箭头向上表示正边，箭头向下表示负边；24.与一行边方向数据(23)对应的边反射状况，包括二个峰和一个谷。

图4中，31.前一次拍摄的参考帧里一行边方向数据；32.与前一次拍摄的参考帧里一行边方向数据(31)对应的边反射状况，包括两个峰和一个谷；41.后一次拍摄的比较帧里一行边方向数据；42.与后一次拍摄的比较帧里一行边方向数据(41)对应的边反射状况，包括两个峰和一个谷；箭头向上表示正边，箭头向下表示负边。

上述图2、图3和图4均借鉴自参考资料(US 7,122,781B2，Oct.17，2006，Rotzoll et al.)。

图5中，51.光电传感器阵列探测到的一行图像光-电信号，包括一行图像光-电信号510、一行图像光-电信号511以及一行图像光-电信号512三种情况；52.一行图像光-电信号(510)经过积分器峰值电路处理以后的数字化输出信号及其相应的正边、负边和峰、谷的图示；53.～57.一行图像光-电信号(510)向右逐渐发生亚像素位移，经过积分器峰值电路处理以后的数字化输出信号及其相应的正边、负边和峰、谷的图示。

具体实施方式

先在计算机(5)上运行随摄像头(1)配售的摄像头驱动程序(13)，安装好摄像头(1)到计算机(5)。调节摄像头(1)的光学镜头(2)的焦距，使得被测物体成像清晰。

然后，选择测量环境，或调节相关照明设备(15)，尽量做到光照的变化不明显地改变被测物体表面的明暗对比度。

接着，运行摄像头拍摄及单基色峰/谷运动探测亚像素位移程序(14)，运用单基色峰/谷亚像素位移探测算法实施实时测量。其中，步骤四中所述“分别导出所选基色帧沿所选观测行与观测列的边反射状况”，步骤五中所述“分别导出所选基色沿步骤三中选定的观测行或观测列的边方向数据和边反射状况”，都只是针对所选观测行与观测列来进行。而步骤二中所述“逐行、逐列分别导出所选基色帧沿X轴和Y轴方向的边方向数据”，需要整帧地进行分析，共有2×1＝2帧边方向数据，籍此分析确定所需观察行与观察列。所得测量结果对应的位移测量误差为≤±0.25L_{像素-像素}～±0.5L_{像素-像素}。

Claims

1.一种测量亚像素位移的单基色峰谷运动探测方法，它通过一台计算机以及一个计算机摄像头测量目标物体的二维位移，所述摄像头通过USB接口连接到所述计算机，该计算机配置有内存、CPU、硬盘、显示卡与显示器、键盘和鼠标、操作系统、摄像头驱动程序以及摄像头拍摄及单基色峰/谷运动探测亚像素位移程序，其特征在于，该方法通过分析单基色峰/谷的运动探测亚像素位移，包括下述步骤：

步骤一、以格式M行×N列为被测物体拍摄一帧图像，不考虑该帧图像的边上的两行与两列，得到参考帧，规格为(M-2)×(N-2)，其中，M、N∈正整数；为该参考帧以及其后拍摄的各帧图像确定相同的坐标轴，所取X轴和Y轴的方向分别平行于所述图像帧之像素阵列的行与列；

步骤二、对于上述参考帧之像素阵列，选取种基色帧，分别逐行、逐列导出沿X轴和Y轴方向所选基色的2帧边方向数据；

步骤三、分别逐行、逐列计算所选基色的正边和负边的数目之和，取其中正边和负边的数目之和最多者所在的行与列分别作为观测行和观测列；

步骤四、根据所选观测行与观测列的所选基色的边方向数据，分别导出所选基色沿X轴和Y轴方向的2帧边反射状况，并分别使用累加器计数它们所对应的峰、谷的数目：N_RX轴峰(j)、N_RX轴谷(j)、N_RY轴峰(j)和N_RY轴谷(j)，其中，j表示拍摄获得的参考帧的顺序计数值，j∈正整数，N表示数目，R表示所选的基色；

步骤五、拍摄了所述参考帧之后，经过一定的间歇时间dt，拍摄第二帧被测物体的图像，图像帧的规格为M×N；去掉其边缘的两行和两列得到比较帧，比较帧的规格为(M-2)×(N-2)；沿着步骤三中选定的观测行或观测列，分别导出所选基色沿X轴和Y轴方向的边方向数据和边反射状况，并分别使用累加器计数沿着X轴和Y轴方向的峰、谷的数目：N_RX轴峰(j+1)、N_RX轴谷(j+1)、N_RY轴峰(j+1)和N_RY轴谷(j+1)；

步骤六、对比所述参考帧与所述比较帧中所选观测行与观测列的所选基色的2帧边反射状况的位置，检查其中的那些不知道来自何处的“鬼影边反射状况”---在所述比较帧的所选观测行或观测列发现的这些峰或谷，在所述参考帧的所选观测行或观测列的相应位置及其附近的一个像素间距范围内发生缺失，用二个累加器分别统计和跟踪它们的数目：N_RX鬼影边(j+1)、N_RY鬼影边(j+1)；

如果所选基色的“鬼影边反射状况”满足：

或

则认为测量“失去跟踪”，并发出一个警告信号，式中，误差容限值error1表示比较帧中沿着所选观测行或观测列，所选基色的鬼影边反射状况发生的数目占该基色的全部边反射状况数目的百分比，根据物体表面的光学性质和测量环境来预置；所述比较帧的边上的边反射状况不考虑“鬼影边反射状况”，它们有可能来自光电像素阵列的外部；

步骤八、如果测量没有“失去跟踪”，则继续本次测量工作：沿着所选观测行与所选观测列，运用单基色峰/谷亚像素位移探测算法，分别计算所选基色的亚像素位移，具体如下：

此即本次测量中总的亚像素位移：ΔX_位移(j+1)和ΔY_位移(j+1)；

步骤九、本次测量中，物体的速度矢量计算式为：

步骤十、以步骤五中的比较帧作为新的参考帧，距拍摄此帧一定的间歇时间dt，重新拍摄一帧作为新的比较帧，即跳到步骤五，继续测量。

2.根据权利要求1所述的测量亚像素位移的单基色峰谷运动探测方法，其特征在于，所述步骤二、五所述基色的边方向数据的定义是：

根据像素阵列中红色、绿色或蓝色这三种基色之一的分量数据，沿着X轴或者沿着Y轴方向，如果一个像素的某种三基色分量值比其后面的第二个像素相应的三基色分量值还要小一个误差容限值error，即如果

I(X，Y)_红＜I_红(X+2，Y)-error或I(X，Y)_红＜I(X，Y+2)_红-error

I(X，Y)_绿＜I_绿(X+2，Y)-error或I(X，Y)_绿＜I(X，Y+2)_绿-error

I(X，Y)_蓝＜I_蓝(X+2，Y)-error或I(X，Y)_蓝＜I(X，Y+2)_蓝-error

则定义这两个像素之间存在一个红色的、绿色的或蓝色的正边；如果一个像素的某种三基色分量值比其后面的第二个像素相应的三基色分量值还要大一个误差容限值error，即如果

I(X，Y)_红＞I_红(X+2，Y)+error或I(X，Y)_红＞I(X，Y+2)_红+error

I(X，Y)_绿＞I_绿(X+2，Y)+error或I(X，Y)_绿＞I(X，Y+2)_绿+error

I(X，Y)_蓝＞I_蓝(X+2，Y)+error或I(X，Y)_蓝＞I(X，Y+2)_蓝+error

则定义这两个像素之间存在一个红色的、绿色的或蓝色的负边；如此获得的边位于该像素之后的第一个像素的位置，也即位于参与比较的两个像素的中间位置的那个像素上；如果一个像素的某种三基色分量值与其后面的第二个像素相应的三基色分量值接近，其RGB分量值相差不超过一个误差容限值error，即如果

I(X+2，Y)_红-error＜I(X，Y)_红＜I(X+2，Y)_红+error

或I(X，Y+2)_红-error＜I(X，Y)_红＜I(X，Y+2)_红+error；

I(X+2，Y)_绿-error＜I(X，Y)_绿＜I(X+2，Y)_绿+error

或I(X，Y+2)_绿-error＜I(X，Y)_绿＜I(X，Y+2)_绿+error；

I(X+2，Y)_蓝-error＜I(X，Y)_蓝＜I(X+2，Y)_蓝+error

或I(X，Y+2)_蓝-error＜I(X，Y)_蓝＜I(X，Y+2)_蓝+error；

则认为这两个像素之间不存在该颜色波长对应的“边”，或称之为第三类该颜色的边；沿着某一个坐标轴方向，所有的红色的正边和红色的负边以及第三类红色的边组成该方向红色的边方向数据，所有的绿色的正边和绿色的负边以及第三类绿色的边组成该方向绿色的边方向数据，所有的蓝色的正边和蓝色的负边以及第三类蓝色的边组成该方向蓝色的边方向数据；上式中的误差容限值根据具体的光照情况，预置为一个小的数值；像素阵列中的四个边与角上的像素位置不存在边方向数据。

3.根据权利要求1所述的测量亚像素位移的单基色峰谷运动探测方法，其特征在于，所述步骤四和步骤五中所述基色沿X轴和Y轴方向的边反射状况，其定义为：

根据所选观测行与观测列的像素的红色、绿色或蓝色的边方向数据，沿着X轴或沿着Y轴方向，如果连续的两个或多于两个的某种基色的正边，或连续的两个或多于两个的该基色的第三类边之后跟着一个该基色的负边，称之为该基色的第一类边反射状况，即认为在此位置存在一个该基色的峰；如果连续的两个或多于两个的某种基色的负边，或连续的两个或多于两个的该基色的第三类边之后跟着一个该基色的正边，称之为该基色的第二类边反射状况，即认为在此位置存在一个该基色的谷。

4.根据权利要求1所述的测量亚像素位移的单基色峰谷运动探测方法，其特征在于，所述步骤八中所述单基色峰/谷亚像素位移探测算法包括：

对于某种基色，比较所述参考帧与所述比较帧里所选定的观测行与观测列之对应的峰、谷的位置，籍此判断所述观测行与观测列里对应的峰、谷的移动方向，并分别使用累加器计数跟踪所述峰、谷沿所述坐标轴的移动情况，具体地，

在所述观测行像素中，如果一个所选基色的峰在比较帧里的位置相对它在参考帧里的位置向右位移了一个像素间距单位，则跟踪该基色峰向右位移的个数的累加器N_峰向右移+1，如果一个所选基色的峰在比较帧里的位置相对它在参考帧里的位置向左位移了一个像素间距单位，则跟踪该基色峰向左位移的个数的累加器N_峰向左移+1；如果一个所选基色的谷在比较帧里的位置相对它在参考帧里的位置向右位移了一个像素间距单位，则跟踪该基色的谷向右位移的个数的累加器N_谷向右移+1，如果一个所选基色的谷在比较帧里的位置相对它在参考帧里的位置向左位移了一个像素间距单位，则跟踪该基色的谷向左位移的个数的累加器N_谷向左移+1；

在所述观测列像素中，如果一个所选基色的峰在比较帧里的位置相对它在参考帧里的位置向上位移了一个像素间距单位，则跟踪该基色的峰向上位移的个数的累加器N_峰向上移+1，如果一个所选基色的峰在比较帧里的位置相对它在参考帧里的位置向下位移了一个像素间距单位，则跟踪该基色的峰向下位移的个数的累加器N_峰向下移+1；如果一个所选基色的谷在比较帧里的位置相对它在参考帧里的位置向上位移了一个像素间距单位，则跟踪该基色的谷向上位移的个数的累加器N_谷向上移+1，如果一个所选基色的谷在比较帧里的位置相对它在参考帧里的位置向下位移了一个像素间距单位，则跟踪该基色的谷向下位移的个数的累加器N_谷向下移+1；

对于拍摄获得的顺序计数值为j的参考帧，j+1指向紧跟该参考帧的比较帧，单基色峰/谷亚像素位移探测算法如下：

如果N_峰向右移(j+1)＞N_峰向左移(j+1)，则计为ΔX_峰位移(j+1)＝+0.5，

如果N_峰向右移(j+1)＜N_峰向左移(j+1)，则计为ΔX_峰位移(j+1)＝-0.5，

如果N_峰向右移(j+1)＝N_峰向左移(j+1)，则计为ΔX_峰位移(j+1)＝0；

如果N_谷向右移(j+1)＞N_谷向左移(j+1)，则计为ΔX_谷位移(j+1)＝+0.5，

如果N_谷向右移(j+1)＜N_谷向左移(j+1)，则计为ΔX_谷位移(j+1)＝-0.5，

如果N_谷向右移(j+1)＝N_谷向左移(j+1)，则计为ΔX_谷位移(j+1)＝0；

如果N_峰向上移(j+1)＞N_峰向下移(j+1)，则计为ΔY_峰位移(j+1)＝+0.5，

如果N_峰向上移(j+1)＜N_峰向下移(j+1)，则计为ΔY_峰位移(j+1)＝-0.5，

如果N_峰向上移(j+1)＝N_峰向下移(j+1)，则计为ΔY_峰位移(j+1)＝0；

如果N_谷向上移(j+1)＞N_谷向下移(j+1)，则计为ΔY_谷位移(j+1)＝+0.5，

如果N_谷向上移(j+1)＜N_谷向下移(j+1)，则计为ΔY_谷位移(j+1)＝-0.5，

如果N_谷向上移(j+1)＝N_谷向下移(j+1)，则计为ΔY_谷位移(j+1)＝0；

上述式中，L_{像素-像素}表示像素间距，其单位是μm、mm或inch之一，N即数目，其它符号的含义如字符所标记。