CN103699238B

CN103699238B - 光学运动感知方法

Info

Publication number: CN103699238B
Application number: CN201210369556.9A
Authority: CN
Inventors: 刘建
Original assignee: YIHAIXIN ELECTRONIC TECHNOLOGY JIANGSU Co Ltd
Current assignee: Shanghai core song Intelligent Technology Co., Ltd.
Priority date: 2012-09-27
Filing date: 2012-09-27
Publication date: 2016-09-21
Anticipated expiration: 2032-09-27
Also published as: CN103699238A

Abstract

一种光学运动感知方法，应用于光学运动感知装置上，该光学运动感知装置设有N*N光学感应器阵列，其中N为大于2的整数，该光学感应器阵列用以感知外部物体的图像，该光学运动感知方法通过预先设定最小位移单位δλ_x与δλ_y，并利用上述的光学感应器阵列取得外部物体或图像的原始帧与参考帧，并取得原始帧每个像素与参考帧每个像素的像素值，之后根据上述预先设定的最小位移单位δλ_x、δλ_y及上述原始帧与参考帧的像素值，计算出多个比较参数，之后根据最小的比较参数与移动方向的对应关系表确定参考帧相对原始帧的位移，其中该最小位移单位δλ_x与δλ_y可为单位像素距离的小数倍，如此解决现有技术所能计算的位移值只能为一个像素距离的整数倍的技术问题。

Description

光学运动感知方法

【技术领域】

本发明有关一种运动感知方法，特别是指利用光学影像处理技术进行运动感知的方法。

【背景技术】

现有的光学影响感知装置，如光学鼠标或摄像跟踪装置，大多通过光学感应器阵列(如CCD或CMOS阵列)连续取得外部物体(如鼠标的工作表面或人的身体的特定部分)的多帧影像，之后采用图像处理算法(如运动估计算法)确定此光学感应装置与外部物体之间的相对位移，之后再结合应用软件或操作系统等实现相应的控制功能，例如控制屏幕光标的移动或实现特定的动作(如游戏中的动作控制)。传统的运动估计算法主要的思路是通过二帧图像(原始帧与参考帧)整体或局部做相关性运算，从而确定二帧图像之间的相对位移，但此位移是以单位像素的距离作为最小单位进行计算的，所能确定的位移均是一个像素的距离的整数倍。此种方式存在的不足在于：对于一些需要精确控制的应用场景，要求实现的最小位移是一个像素的小数倍(例如0.3倍的一个像素距离)，现有的技术是无法满足此要求。另一方面，对于一些应用场景，最适合的最小的位移可能并非一个像素值的整数倍(例如1.3倍的一个像素距离)，现有的技术也是无法解决此问题的。

【发明内容】

本发明的目的在于提供一种光学运动感知方法，用以解决现有技术所能计算的位移值只能为一个像素距离的整数倍的技术问题。

为实现上述目的，实施本发明的光学运动感知方法应用于光学运动感知装置上，该光学运动感知装置设有光学感应器阵列，该光学感应器阵列用以感知外部物体的图像，该光学运动感知装置设有N*N光学感应器阵列，其中N为大于2的整数，该光学运动感知方法包括如下步骤：

预先设定最小位移单位δλ_x与δλ_y，并利用上述的光学感应器阵列取得外部物体或图像的原始帧与参考帧，并取得原始帧每个像素A_i’与参考帧每个像素A_i的像素值；

根据上述预先设定的最小位移单位δλ_x、δλ_y及上述原始帧与参考帧的像素值，计算出λ0.......λ8，其中λ0.......λ8的计算公式如下：

λ₀＝Σ|A_i-A_i’|，

λ₁＝Σ|(1-δλ_x)A_i+δλ_xB_i-A_i’|，

λ₂＝Σ|(1-δλ_x)A_i+δλ_xC_i-A_i’|，

λ₃＝Σ|(1-δλ_y)A_i+δλ_yE_i-A_i’|，

λ₄＝Σ|(1-δλ_y)A_i+δλ_yK_i-A_i’|，

λ₅＝Σ|(1-δλ_x)(1-δλ_y)A_i+(1-δλ_x)δλ_yC_i+(1-δλ_y)δλ_xE_i+δλ_xδλ_yD_i-A_i’|，

λ₆＝Σ|1-δλ_x)(1-δλ_y)A_i+(1-δλ_x)δλ_yB_i+(1-δλ_y)δλ_xE_i+δλ_xδλ_yF_i-A_i’|，

λ₇＝Σ|(1-δλ_x)(1-δλ_y)A_i+(1-δλ_x)δλ_yC_i+(1-δλ_y)δλ_xK_i+δλ_xδλ_yJ_i-A_i’|，

λ₈＝Σ|(1-δλ_x)(1-δλ_y)A_i+(1-δλ_x)δλ_yB_i+(1-δλ_y)δλ_xK_i+δλ_xδλ_yL_i-A_i’|；

在上述计算公式中，B_i为参考帧A_i的一个像素的左侧像素的像素值，C_i为参考帧A_i的一个像素的右侧像素的像素值，E_i为参考帧A_i的一个像素的上侧像素的像素值，K_i为参考帧A_i的一个像素的下侧像素的像素值，D_i为参考帧A_i的一个像素的左上侧像素的像素值，F_i为参考帧A_i的一个像素的右上侧像素的像素值，J_i为参考帧A_i的一个像素的左下侧像素的像素值，L_i为参考帧A_i的一个像素的右下侧像素的像素值，如此，D_i、E_i、F_i、B_i、A_i、C_i、J_i、K_i、L_i共同组成以A_i为中心的3*3的矩阵；并且上述i为1至(N-2)*(N-2),即原始帧只选取除去上下左右边缘的其他像素组成的(N-2)*(N-2)的矩阵，而参考帧也相应的选择(N-2)*(N-2)的矩阵，然而参考帧上下左右边缘行或列的像素为(N-2)*(N-2)矩阵的边缘行或列像素的D_i、E_i、F_i、B_i、C_i、J_i、K_i、L_i；

取得λ0.......λ8中的最小值，依据λ0.......λ8与移动方向的对应关系表确定参考帧相对原始帧的位移，其中λ₀为零位移，λ₁为向左方移动δλx，λ₂为向右方移动δλx，λ₃为向上方移动δλy，λ₄为向下方移动δλy，λ₅为向左上方移动，即X轴的位移为-δλx,Y轴的位移为δλy，λ₆为向右上方移动，即X轴的位移为δλx,Y轴的位移为δλy，λ₇为向左下方移动，即X轴的位移为-δλx,Y轴的位移为-δλy，λ₈为向右下方移动，即X轴的位移为δλx,Y轴的位移为-δλy。

与现有技术相比较，实施本发明的光学运动感知方法中所设定的最小位移单位δλ_x与δλ_y可为单位像素距离的小数倍，如此解决现有技术所能计算的位移值只能为一个像素距离的整数倍的技术问题，从而满足特定应用场景的需求。

【附图说明】

图1为实施本发明的原始帧的示意图。

图2为实施本发明的原理的示意图。

【具体实施方式】

请参阅图1与图2所示，为实施本发明的原始帧的示意图及原理示意图。实施本发明的光学运动感知方法应用于光学运动感知装置(如光电鼠标或光学位置跟踪器)上，该光学运动感知装置设有光学感应器阵列，该光学感应器阵列用以感知外部物体的图像。在实施时，该光学感应器阵列通常为N*N的方形陈列，其中N为大于2的整数，如18*18或20*20的阵列。

实施本发明的光学运动感知方法包括如下步骤：

第一步：预先设定最小位移单位δλ_x与δλ_y(请参图2所示)，并利用上述的光学感应器阵列取得外部物体或图像的原始帧与参考帧，并取得原始帧每个像素A_i’与参考帧每个像素A_i的像素值；

第二步：根据上述预先设定的最小位移单位δλ_x、δλ_y及上述原始帧与参考帧的像素值，计算出λ0.......λ8，其中λ0.......λ8的计算公式如下：

λ₀＝Σ|A_i-A_i’|，

λ₁＝Σ|(1-δλ_x)A_i+δλ_xB_i-A_i’|，

λ₂＝Σ|(1-δλ_x)A_i+δλ_xC_i-A_i’|，

λ₃＝Σ|(1-δλ_y)A_i+δλ_yE_i-A_i’|，

λ₄＝Σ|(1-δλ_y)A_i+δλ_yK_i-A_i’|，

在上述计算公式中，B_i为参考帧A_i的一个像素的左侧像素的像素值，C_i为参考帧A_i的一个像素的右侧像素的像素值，E_i为参考帧A_i的一个像素的上侧像素的像素值，K_i为参考帧A_i的一个像素的下侧像素的像素值，D_i为参考帧A_i的一个像素的左上侧像素的像素值，F_i为参考帧A_i的一个像素的右上侧像素的像素值，J_i为参考帧A_i的一个像素的左下侧像素的像素值，L_i为参考帧A_i的一个像素的右下侧像素的像素值，如此，D_i、E_i、F_i、B_i、A_i、C_i、J_i、K_i、L_i共同组成以A_i为中心的3*3的矩阵；并且上述i为1至(N-2)*(N-2),即原始帧只选取除去上下左右边缘的其他像素组成的(N-2)*(N-2)的矩阵(如图1所示，在图2中为虚线所示)，而参考帧(图2中为实线所示)也相应的选择(N-2)*(N-2)的矩阵，然而参考帧上、下、左、右边缘的像素要参与运算，其为组成(N-2)*(N-2)矩阵的边缘行或列像素的D_i、E_i、F_i、B_i、C_i、J_i、K_i、L_i；

第三步：取得λ0.......λ8中的最小值，依据λ0.......λ8与移动方向的对应关系表确定参考帧相对原始帧的位移，其中λ₀为零位移，λ₁为向左方移动δλx，λ₂为向右方移动δλx，λ₃为向上方移动δλy，λ₄为向下方移动δλy，λ₅为向左上方移动，即X轴的位移为-δλx,Y轴的位移为δλy，λ₆为向右上方移动，即X轴的位移为δλx,Y轴的位移为δλy，λ₇为向左下方移动，即X轴的位移为-δλx,Y轴的位移为-δλy，λ₈为向右下方移动，即X轴的位移为δλx,Y轴的位移为-δλy。即假设以A_i为原点，则λ0.......λ8对应的位移分别为(0，0)、(-δλx,0)、(δλx,0)、(0,δλy)、(0,-δλy)、(-δλx,δλy)、(δλx,δλy)、(-δλx,-δλy)、(δλx,-δλy)；

以下以18*18的光学感应器阵列为例进行说明，首先设定最小位移单位δλ_x与δλ_y，其中此δλ_x与δλ_y可为一个像素的小数倍数，如0.3或1.3倍的单位像素距离，之后利用光学感应器阵列先后取得原始帧与参考帧图像，并取得原始帧每个像素A_i’与参考帧每个像素A_i的像素值；

之后依据上述的公式计算λ0.......λ8，其在在计算中即原始帧只选取除去上下左右边缘行或列的其他像素组成的16*16的矩阵，而参考帧也相应的选择16*16的矩阵，即原始帧共有256个像素值参与运算，而参考帧除去与原始帧对应的256个像素(即除去上、下、左、右边缘行或列的像素)的像素值参与运算外，参考帧上、下、左、右边缘行与列的像素要参与运算，即18*18矩阵的左、右边缘列及上、下边缘行的像素也参与运算，即用以形成16*16的矩阵的边缘行或列的像素的Di、Ei、Fi、Bi、Ci、Ji、Ki、Li，其中i为1到256，即针对每个像素依照计算λ0.......λ8的公式进行计算并累加取得最终值；

之后取得λ0.......λ8中的最小值，依据λ0.......λ8与移动方向的对应关系表确定参考帧相对原始帧的位移，其中λ₀为零位移，即参考帧相对原始帧没有位移；λ₁为向左方移动δλx；λ₂为向右方移动δλx；λ₃为向上方移动δλy；λ₄为向下方移动δλy；λ₅为向左上方移动，即X轴的位移为-δλx,Y轴的位移为δλy；λ₆为向右上方移动，即X轴的位移为δλx,Y轴的位移为δλy；λ₇为向左下方移动，即X轴的位移为-δλx,Y轴的位移为-δλy；λ₈为向右下方移动，即X轴的位移为δλx,Y轴的位移为-δλy。即假设以A_i为原点，则λ0.......λ8对应的位移分别为(0，0)、(-δλx,0)、(δλx,0)、(0,δλy)、(0,-δλy)、(-δλx,δλy)、(δλx,δλy)、(-δλx,-δλy)、(δλx,-δλy)；如此根据λ0.......λ8中的最小值确定参考帧相对原始帧的位移。

与现有技术相比较，实施本发明的光学运动感知方法中所设定的最小位移单位δλ_x与δλ_y可为单位像素距离的小数倍，如0.3或1.3倍的单位像素距离，如此解决现有技术所能计算的位移值只能为一个像素距离的整数倍的技术问题，从而满足特定应用场景的需求。

Claims

1.一种光学运动感知方法，应用于光学运动感知装置上，该光学运动感知装置设有N*N光学感应器阵列，其中N为大于2的整数，该光学感应器阵列用以感知外部物体的图像，该光学运动感知方法包括如下步骤：

根据上述预先设定的最小位移单位δλ_x、δλ_y及上述原始帧与参考帧的像素值，计算出λ0…….λ8，其中λ0…….λ8的计算公式如下：

λ₀＝Σ|A_i-A_i’|，

λ₁＝Σ|(1-δλ_x)A_i+δλ_xB_i-A_i’|，

λ₂＝Σ|(1-δλ_x)A_i+δλ_xC_i-A_i’|，

λ₃＝Σ|(1-δλ_y)A_i+δλ_yE_i-A_i’|，

λ₄＝Σ|(1-δλ_y)A_i+δλ_yK_i-A_i’|，

λ₈＝Σ|(1-δλ_x)(1-δλ_y)A_i+(1-δλ_x)δλ_yB_i+(1-δλ_y)δλ_xK_i+δλ_xδλ_yL_i-A_i’|，

在上述计算公式中，B_i为参考帧A_i的一个像素的左侧像素的像素值，C_i为参考帧A_i的一个像素的右侧像素的像素值，E_i为参考帧A_i的一个像素的上侧像素的像素值，K_i为参考帧A_i的一个像素的下侧像素的像素值，D_i为参考帧A_i的一个像素的左上侧像素的像素值，F_i为参考帧A_i的一个像素的右上侧像素的像素值，J_i为参考帧A_i的一个像素的左下侧像素的像素值，L_i为参考帧A_i的一个像素的右下侧像素的像素值，D_i、E_i、F_i、B_i、A_i、C_i、J_i、K_i、L_i共同组成以A_i为中心的3*3的矩阵；并且上述i为1至(N-2)*(N-2),即原始帧只选取除去上、下、左、右边缘行或列的其他像素组成的(N-2)*(N-2)的矩阵，而参考帧也相应的选择(N-2)*(N-2)的矩阵，然而参考帧上、下、左、右边缘行或列的像素为(N-2)*(N-2)矩阵的边缘行或列像素的D_i、E_i、F_i、B_i、C_i、J_i、K_i、L_i；

取得λ0…….λ8中的最小值，依据λ0…….λ8与移动方向的对应关系表确定参考帧相对原始帧的位移，其中λ₀为零位移，λ₁为向左方移动δλx，λ₂为向右方移动δλx，λ₃为向上方移动δλy，λ₄为向下方移动δλy，λ₅为向左上方移动，即X轴的位移为-δλx,Y轴的位移为δλy，λ₆为向右上方移动，即X轴的位移为δλx,Y轴的位移为δλy，λ₇为向左下方移动，即X轴的位移为-δλx,Y轴的位移为-δλy，λ₈为向右下方移动，即X轴的位移为δλx,Y轴的位移为-δλy。

2.如权利要求1所述的光学运动感知方法，其特征在于：该光学运动感知装置为光学鼠标或光学位置跟踪装置。