CN101169693B - 光学运动感知方法 - Google Patents

光学运动感知方法 Download PDF

Info

Publication number
CN101169693B
CN101169693B CN2007101967411A CN200710196741A CN101169693B CN 101169693 B CN101169693 B CN 101169693B CN 2007101967411 A CN2007101967411 A CN 2007101967411A CN 200710196741 A CN200710196741 A CN 200710196741A CN 101169693 B CN101169693 B CN 101169693B
Authority
CN
China
Prior art keywords
frame
block
motion
target frame
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101967411A
Other languages
English (en)
Other versions
CN101169693A (zh
Inventor
林豹
肖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
APEXONE MICROELECTRONICS Co Ltd
Original Assignee
APEXONE MICROELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by APEXONE MICROELECTRONICS Co Ltd filed Critical APEXONE MICROELECTRONICS Co Ltd
Priority to CN2007101967411A priority Critical patent/CN101169693B/zh
Publication of CN101169693A publication Critical patent/CN101169693A/zh
Application granted granted Critical
Publication of CN101169693B publication Critical patent/CN101169693B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种光学运动感知方法,用于视频系统指示装置上,该指示装置上设有光敏检测器阵列,用以光学感知外部物体的图像,从而感知物体的运动,它包括如下步骤:利用光敏检测器阵列获取外部物体的两帧图像,分别形成参考帧与目标帧;根据设置的预测位移量
Figure 200710196741.1_AB_0
,预测参考帧与目标帧中的信息重叠区;在参考帧预测的信息重叠区选择一参考块,而在目标帧预测的信息重叠区内预定一具有多个定位点的方向模板;将参考块与以该方向模板的各个定位点为基准点形成的各个搜索块进行相关计算,确定关联性最强的搜索块以及该搜索块的位置;利用该搜索块基准点相对于方向模板中心点位置的距离修正预测位移量
Figure 200710196741.1_AB_0
;输出修正后的实际位移矢量
Figure 200710196741.1_AB_2

Description

光学运动感知方法
技术领域
本发明涉及一种运动感知方法,特别涉及应用在计算机或视频系统指示装置上的光学运动感知方法。
背景技术
计算机指示装置,如鼠标,是最为常用的计算机接口设备之一。当用户在工作表面上移动鼠标时,鼠标内的运动感知装置便感知此运动,由此可以移动计算机屏幕上的指针。
现有技术中的光学感知装置一般包括:光发射装置(如发光二极管)和光敏检测器阵列。光敏检测器阵列可以检测鼠标垫或桌面的特征。光敏检测器通常排列成二维阵列,运动的感知和跟踪是通过计算新捕获的采样图像(或称“帧”)和以前捕获的参考图像之间的相关性来完成对运动方向及大小的确定的。
现有技术中的通常做法是,在第一帧图像中选择部分影像作为参考块,然后将该参考块与第二帧图像在不同的位置进行关联性计算,以找出匹配关联性最强的位置,从而得到位移量。
但是,现有技术的这种方法存在许多不足之处。例如,相关性的计算量过大,电路复杂,功耗大,等等。并且即使采用这种方法也未必能真正得到正确的结果。另外,如果参考块是选择在第一帧图像中的未与第二帧图像的重叠区时,那么在第二帧图像中就会因无法找到相匹配的位置而出错。
因此,人们希望找到一种可靠的光学运动感知方法,以改进现有技术。
发明内容
本发明的目的在于提供一种简洁且精确的光学运动感知方法。本发明的方法能够准确地跟踪运动方向和位移,且速度快,能够减少延迟并提高指示装置的性能。
为实现上述发明目的,本发明提供了一种在视频系统指示装置上感知物体运动的方法,该指示装置上设有光敏检测器阵列,用以光学感知外部物体的图像,以感知物体的运动。本领域中的普通技术人员能够理解,这里所说的视频系统可以是诸如计算机显示屏、电视机、游戏机等诸如此类的视频系统。
本发明的方法包括如下步骤:
用光敏检测器阵列,获取外部物体的两帧图像;
根据所获取的两帧图像,分别形成参考帧与目标帧;
根据设置的预测位移量
Figure G2007101967411D00021
预测所述参考帧与所述目标帧中的信息重叠区;
将参考帧的信息重叠区中的某一定位点设为基准点,而在目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板,并且参考块的基准点与该方向模板的中心对应,并在所述目标帧的信息重叠区中,以所述方向模板的各个定位点为起点,往上、下、左、右四个方向延伸,延伸至所述信息重叠区的边界处停止,从而得到多组上、下、左、右的距离分量,同理也可得到所述参考块的一组距离分量,如此依上述形成的多组上、下、左、右的距离分量,选择最小的上、下、左、右的距离分量,并以所述参考块的基准点为起点,确定所述参考块的形状和大小;
以方向模板的各定位点为基准点,形成多个形状和大小与所述参考块的形状和大小相同的搜索块;
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai,利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离,当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强,从而确定关联性最强的搜索块以及该搜索块的位置;
利用该搜索块基准点相对于方向模板的中心位置的距离
Figure G2007101967411D00022
修正预测位移量以及
输出修正后的实际位移矢量
Figure G2007101967411D00024
依据上述主要特征,其中预测的位移量
Figure G2007101967411D00025
是由上次运动的实际位移矢量确定。
依据上述主要特征,该方法还包括把修正后的实际位移矢量
Figure G2007101967411D00026
累积到运动的积累量
Figure G2007101967411D00027
上,为下一次运动预测做准备。
依据上述主要特征,当关联性最强的搜索块包括的像素点个数小于某一阈值时,则更换参考帧,同时运动的积累量
Figure G2007101967411D00028
置零,而该次运动的信息重叠区的预测量由上次运动的实际位移矢量
Figure G2007101967411D00029
确定。
与现有技术相比较,本发明采用的方法比现有技术更加简洁,从而减少的相关运算量,利于提高检测速度,并且还提高了运动搜索的精确度。
附图说明
读者在参照附图阅读了本发明的具体实施例以后,将会清楚地了解本发明的各个方面及其优点。
其中,
图1是本发明的参考帧与参考块的示意图。
图2是本发明中目标帧中所使用的一个方向模板的示意图。
图3是本发明中确定参考块形状与大小的示意图。
图4是本发明的流程图。
图5是换帧条件设定在匹配块小于80个像素点时,慢速画圆条件下本发明与现有常用算法的比较示意图。
图6是换帧条件设定在匹配块小于80个像素点时,中速画圆条件下本发明与现有常用算法的比较示意图。
图7是换帧条件设定在匹配块小80个像素点时,快速画圆条件下本发明与现有常用算法的比较示意图。
具体实施方式
下面结合附图,详细描述按照本发明的具体实施方式。
首先,采用光敏检测器阵列,从外部获取外部物体分别对应于当前运动帧和先前运动帧的图像,并根据获取的两帧图像,分别形成如图1所示的参考帧和如图2所示的目标帧。
下面参照图4描述本发明的方法。
本发明的方法用于各种视频系统指示装置上,该指示装置上设有光敏检测器阵列,用以采用光学手段感知外部物体的图像,从而感知物体的运动,利用此方法能够有重点的先确定关联性较强的区域,即信息重叠区,然后把所有分析和计算都放在该区域中进行。本发明的方法主要包括如下步骤:
设置的预测位移量
Figure G2007101967411D00031
并根据所设置的预测位移量
Figure G2007101967411D00032
来预测参考帧与目标帧中的信息重叠区,图1和图2中的阴影部分即为所涉及的信息重叠区;
在参考帧预测的信息重叠区中选择一个参考块,而在目标帧预测的信息重叠区内也预定一个具有多个定位点的方向模板,并且使参考块的基准点与该方向模板的中心对应;
将参考块与以该方向模板的各定位点为基准点,形成各个搜索块,并进行相关性计算,确定关联性最强的搜索块(也称为匹配块)以及该关联性最强的搜索块的位置;
利用该搜索块基准点相对于方向模板的中心位置的距离
Figure G2007101967411D00041
来修正预测位移量
Figure G2007101967411D00042
输出修正后的实际位移矢量
Figure G2007101967411D00043
上述步骤中:
1.预测位移量和信息重叠区的设置:
如上所述,本发明用上次运动的结果对本次运动进行预测,即
Figure G2007101967411D00046
如果把更换参考帧之前所有运动矢量
Figure G2007101967411D00047
累加到位移的积累量
Figure G2007101967411D00048
上,那么本次运动的重叠区的预测位置为:
Figure G2007101967411D00049
如此在参考帧预测的信息重叠区中确定一个参考块。
2.基准点、中心点和方向模板的确定:
将参考帧的重叠区域的某一定位点设为基准点,并把目标帧中与此基准点对应的定位点设为方向模板的中心点。
在本实施例中,该方向模板是由13个定位点组成的菱形模板。但在实际上,也可以采用形状为方形或圆形或其它形状的模板。
3.参考块形状与大小的确定:
先在参考块帧的信息重叠区中,以上述选择的基准点开始,往四个方向延伸一定的距离,以确定一个参考块的大小和形状。例如,触及到信息重叠区的边界停止,得到一组距离分量U0、D0、L0、R0,如图1所示。
同理,在目标帧中,以方向模板的每个定位点为基准都可以确定一组U、D、L、R,从而会得到13组U、D、L、R分量,如图3所示,加上U0、D0、L0、R0,则一共有14组分量。然后,比较此14组分量,得到最小的U、D、L、R值,之后在参考块中,以基准点为起点,向上、下、左、右四个方向分别延伸由上述四个最小的U、D、L、R确定的距离,就确定了一个参考块的大小和形状。
4.搜索块的确定及相关计算:
在确定了参考块的形状和大小后,以上述方向模板的各个定位点为基准点,可以选择形状、大小与参考块相同的矩阵,从而可以确定13个搜索块。
每个进行匹配的块,即参考块与搜索块都对应一个灰度矩阵。如果用C表示参考块矩阵,Si表示第i个搜索块矩阵,那么可以得到参考块矩阵和搜索块矩阵的差值矩阵Ai,其中Ai=Si-C,并且利用矩阵范数||Ai||表示两个矩阵的距离。||Ai||越小,表示参考块和搜索块的关联性越强。最小||Ai||对应的搜索块就是匹配块。
5.修正值计算:关联性最强的搜索块(即匹配块)的基准点相对于方向模板的中心点的距离就是所需的修正值
Figure G2007101967411D00051
6.运动矢量计算:运动矢量的预测值加上修正值就是本次运动的运动矢量
Figure G2007101967411D00052
Figure G2007101967411D00053
然后把该运动矢量
Figure G2007101967411D00054
累积到运动的积累量
Figure G2007101967411D00055
上,为下一次运动预测做准备。
当信息重叠区太小时,上述运算不便进行,或者是一次运动的矢量值较大,信息重叠区较小,这种情况导致匹配块较小,当匹配块包括的像素点个数小于某一阈值,如小于80个时,则更换参考帧,同时运动的积累量
Figure G2007101967411D00056
置零,该次运动的信息重叠区的预测量由上次运动的实际位移矢量
Figure G2007101967411D00057
确定。
与现有技术相比较,本发明通过预测选择重叠区域,之后利用方向模板确定参考块的大小与形状,并决定搜索块的大小与形状,从而进行相关计算找出匹配块,由于缩小了匹配的区域,从而相关性的计算量大副度减小,并且换帧的频率相对较低,这样形成的轨迹的平滑度就更好,匹配精度更高。
与现有技术相比,本发明至少具有两个方面的优越性:
从速度方向来看,如果换帧的条件设定在匹配块大小为80个像素点时,利用本发明,即使速度达到9个像素点以上时,还能准确地找到运动矢量,而现有技术的算法只能达到6个像素点。因此,本发明可以适用于高速应用场合。
另一方面,从轨迹质量来看,轨迹的平滑度是衡量轨迹质量的重要标准。下面通过平滑度来比较本发明相对于以前技术的优越性。图5把换帧条件设定在匹配块小于80个像素点时慢速画圆的情形,左边为现有技术中的常用方法,右边为本发明采用的方法。图6把换帧条件设定在匹配块小于80个像素点时中速画圆的情形,左边为现有技术中常用的方法,右边为本发明采用的方法。图7把换帧条件设定在匹配块小于80个像素点时快速画圆的情形,左边为现有技术中常用的方法,右边为本发明采用的方法。从上述四组图的比较中可以清楚地看到,本发明采用的方法的轨迹平滑度大大优于现有的方法。
上文中参考附图描述了本发明的具体实施例。本领域中的普通技术人员能够理解,这些实施例是非限定性的。可以对这些实施例作各种变更。这些变更都落在权利要求书所限定的保护范围内。

Claims (4)

1.一种用于视频系统指示装置上的光学运动感知方法,所述指示装置设有光敏检测器阵列,用以光学感知外部物体的图像,从而感知物体的运动,其特征在于,所述方法包括如下步骤:
用光敏检测器阵列,获取外部物体的两帧图像;
根据所获取的两帧图像,分别形成参考帧与目标帧;
根据设置的预测位移量预测所述参考帧与所述目标帧中的信息重叠区;
将所述参考帧的信息重叠区中的某一定位点设为基准点,并从所述基准点开始,向四周延伸一定的距离,当触及到所述参考帧的信息重叠区的边界停止,从而得到所述参考帧的一组距离分量;而在所述目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板,并且所述参考帧的基准点与所述方向模板的中心对应,并在所述目标帧的信息重叠区中,以所述方向模板的各个定位点为起点,往上、下、左、右四个方向延伸,延伸至所述目标帧的信息重叠区的边界处停止,从而得到所述目标帧的多组上、下、左、右的距离分量,在依上述方法形成的所述参考帧的一组距离分量和所述目标帧的多组上、下、左、右的距离分量中,选择最小的上、下、左、右的距离分量,并以所述参考帧的基准点为起点,确定参考块的形状和大小,所述参考块的基准点与所述方向模板的中心对应,并在所述目标帧的信息重叠区中;
以所述方向模板的各定位点为基准点,形成多个形状和大小与所述参考块的形状和大小相同的搜索块;
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai,利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离,当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强,从而确定关联性最强的搜索块以及所述关联性最强的搜索块的位置;
利用所述关联性最强的搜索块的基准点相对于方向模板的中心位置的距离
Figure F2007101967411C00012
修正预测位移量
Figure F2007101967411C00013
以及
输出修正后的实际位移矢量
Figure F2007101967411C00014
2.如权利要求1所述的光学运动感知方法,其特征在于,所述预测的位移量
Figure F2007101967411C00015
是由上次运动的实际位移矢量确定的。
3.如权利要求1所述的光学运动感知方法,其特征在于,还包括把修正后的实际位移矢量
Figure F2007101967411C00021
累积到运动的积累量
Figure F2007101967411C00022
上,为下一次运动预测做准备。
4.如权利要求1所述的光学运动感知方法,其特征在于,当关联性最强的搜索块包括的像素点个数小于某一阈值时,则更换参考帧,同时将运动的积累量
Figure F2007101967411C00023
置零,并采用上次运动的实际位移矢量
Figure F2007101967411C00024
来确定该次运动的信息重叠区的预测位移量。
CN2007101967411A 2007-11-30 2007-11-30 光学运动感知方法 Expired - Fee Related CN101169693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101967411A CN101169693B (zh) 2007-11-30 2007-11-30 光学运动感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101967411A CN101169693B (zh) 2007-11-30 2007-11-30 光学运动感知方法

Publications (2)

Publication Number Publication Date
CN101169693A CN101169693A (zh) 2008-04-30
CN101169693B true CN101169693B (zh) 2010-06-09

Family

ID=39390337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101967411A Expired - Fee Related CN101169693B (zh) 2007-11-30 2007-11-30 光学运动感知方法

Country Status (1)

Country Link
CN (1) CN101169693B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191496A (zh) * 2018-08-02 2019-01-11 阿依瓦(北京)技术有限公司 一种基于形状匹配的运动预测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117128B (zh) * 2009-12-31 2013-03-27 敦南科技股份有限公司 高解析度图像感测装置及其图像运动感测方法
CN102547425B (zh) * 2011-12-20 2014-10-01 深圳Tcl新技术有限公司 电视及其光标移动控制的方法、设备及系统
CN103513811B (zh) * 2012-06-29 2017-02-08 北京汇冠新技术股份有限公司 一种触摸轨迹跟踪方法
CN113542752A (zh) * 2019-02-19 2021-10-22 西安万像电子科技有限公司 视频数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191496A (zh) * 2018-08-02 2019-01-11 阿依瓦(北京)技术有限公司 一种基于形状匹配的运动预测方法
CN109191496B (zh) * 2018-08-02 2020-10-02 阿依瓦(北京)技术有限公司 一种基于形状匹配的运动预测方法

Also Published As

Publication number Publication date
CN101169693A (zh) 2008-04-30

Similar Documents

Publication Publication Date Title
CN1278277C (zh) 手指移动检测方法及装置
EP3186780B1 (en) System and method for image scanning
CN105654507B (zh) 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN101894375B (zh) 人物跟踪方法和人物跟踪装置
JP3576987B2 (ja) 画像のテンプレートマッチング方法及び画像処理装置
CN101894376B (zh) 人物跟踪方法和人物跟踪装置
US20150310617A1 (en) Display control device and display control method
US20210287380A1 (en) Method and system for detecting peripheral device displacement
CN100524181C (zh) 光学运动感知方法
CN101169693B (zh) 光学运动感知方法
US9904841B2 (en) Method and system for estimating finger movement
CN101063911A (zh) 用于光学导航装置的检测影像中动作的方法及装置
JP5262705B2 (ja) 運動推定装置及びプログラム
CN105957107A (zh) 行人检测与跟踪方法及装置
US20180204333A1 (en) Object detection device and object detection method
JP2006349607A (ja) 距離計測装置
TWI711963B (zh) 以導覽子區域的選定來對手指移動進行評估的方法和系統
CN111524086A (zh) 运动物体检测装置、运动物体检测方法、存储介质
US20050151724A1 (en) Pointing device and displacement estimation method
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
US10515455B2 (en) Optical flow measurement
TWI240214B (en) Optimized correlation matching method and system for determining track behavior
CN116051636A (zh) 位姿计算方法、装置和设备
JP2018032144A (ja) 画像処理装置、画像処理方法およびプログラム。
AU2022100161A4 (en) Velocity-based training

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609

Termination date: 20141130

EXPY Termination of patent right or utility model