CN101169693B - 光学运动感知方法 - Google Patents
光学运动感知方法 Download PDFInfo
- Publication number
- CN101169693B CN101169693B CN2007101967411A CN200710196741A CN101169693B CN 101169693 B CN101169693 B CN 101169693B CN 2007101967411 A CN2007101967411 A CN 2007101967411A CN 200710196741 A CN200710196741 A CN 200710196741A CN 101169693 B CN101169693 B CN 101169693B
- Authority
- CN
- China
- Prior art keywords
- frame
- block
- motion
- target frame
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003287 optical effect Effects 0.000 title claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910018540 Si C Inorganic materials 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910010271 silicon carbide Inorganic materials 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及一种运动感知方法,特别涉及应用在计算机或视频系统指示装置上的光学运动感知方法。
背景技术
计算机指示装置,如鼠标,是最为常用的计算机接口设备之一。当用户在工作表面上移动鼠标时,鼠标内的运动感知装置便感知此运动,由此可以移动计算机屏幕上的指针。
现有技术中的光学感知装置一般包括:光发射装置(如发光二极管)和光敏检测器阵列。光敏检测器阵列可以检测鼠标垫或桌面的特征。光敏检测器通常排列成二维阵列,运动的感知和跟踪是通过计算新捕获的采样图像(或称“帧”)和以前捕获的参考图像之间的相关性来完成对运动方向及大小的确定的。
现有技术中的通常做法是,在第一帧图像中选择部分影像作为参考块,然后将该参考块与第二帧图像在不同的位置进行关联性计算,以找出匹配关联性最强的位置,从而得到位移量。
但是,现有技术的这种方法存在许多不足之处。例如,相关性的计算量过大,电路复杂,功耗大,等等。并且即使采用这种方法也未必能真正得到正确的结果。另外,如果参考块是选择在第一帧图像中的未与第二帧图像的重叠区时,那么在第二帧图像中就会因无法找到相匹配的位置而出错。
因此,人们希望找到一种可靠的光学运动感知方法,以改进现有技术。
发明内容
本发明的目的在于提供一种简洁且精确的光学运动感知方法。本发明的方法能够准确地跟踪运动方向和位移,且速度快,能够减少延迟并提高指示装置的性能。
为实现上述发明目的,本发明提供了一种在视频系统指示装置上感知物体运动的方法,该指示装置上设有光敏检测器阵列,用以光学感知外部物体的图像,以感知物体的运动。本领域中的普通技术人员能够理解,这里所说的视频系统可以是诸如计算机显示屏、电视机、游戏机等诸如此类的视频系统。
本发明的方法包括如下步骤:
用光敏检测器阵列,获取外部物体的两帧图像;
根据所获取的两帧图像,分别形成参考帧与目标帧;
将参考帧的信息重叠区中的某一定位点设为基准点,而在目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板,并且参考块的基准点与该方向模板的中心对应,并在所述目标帧的信息重叠区中,以所述方向模板的各个定位点为起点,往上、下、左、右四个方向延伸,延伸至所述信息重叠区的边界处停止,从而得到多组上、下、左、右的距离分量,同理也可得到所述参考块的一组距离分量,如此依上述形成的多组上、下、左、右的距离分量,选择最小的上、下、左、右的距离分量,并以所述参考块的基准点为起点,确定所述参考块的形状和大小;
以方向模板的各定位点为基准点,形成多个形状和大小与所述参考块的形状和大小相同的搜索块;
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai,利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离,当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强,从而确定关联性最强的搜索块以及该搜索块的位置;
与现有技术相比较,本发明采用的方法比现有技术更加简洁,从而减少的相关运算量,利于提高检测速度,并且还提高了运动搜索的精确度。
附图说明
读者在参照附图阅读了本发明的具体实施例以后,将会清楚地了解本发明的各个方面及其优点。
其中,
图1是本发明的参考帧与参考块的示意图。
图2是本发明中目标帧中所使用的一个方向模板的示意图。
图3是本发明中确定参考块形状与大小的示意图。
图4是本发明的流程图。
图5是换帧条件设定在匹配块小于80个像素点时,慢速画圆条件下本发明与现有常用算法的比较示意图。
图6是换帧条件设定在匹配块小于80个像素点时,中速画圆条件下本发明与现有常用算法的比较示意图。
图7是换帧条件设定在匹配块小80个像素点时,快速画圆条件下本发明与现有常用算法的比较示意图。
具体实施方式
下面结合附图,详细描述按照本发明的具体实施方式。
首先,采用光敏检测器阵列,从外部获取外部物体分别对应于当前运动帧和先前运动帧的图像,并根据获取的两帧图像,分别形成如图1所示的参考帧和如图2所示的目标帧。
下面参照图4描述本发明的方法。
本发明的方法用于各种视频系统指示装置上,该指示装置上设有光敏检测器阵列,用以采用光学手段感知外部物体的图像,从而感知物体的运动,利用此方法能够有重点的先确定关联性较强的区域,即信息重叠区,然后把所有分析和计算都放在该区域中进行。本发明的方法主要包括如下步骤:
在参考帧预测的信息重叠区中选择一个参考块,而在目标帧预测的信息重叠区内也预定一个具有多个定位点的方向模板,并且使参考块的基准点与该方向模板的中心对应;
将参考块与以该方向模板的各定位点为基准点,形成各个搜索块,并进行相关性计算,确定关联性最强的搜索块(也称为匹配块)以及该关联性最强的搜索块的位置;
上述步骤中:
1.预测位移量和信息重叠区的设置:
2.基准点、中心点和方向模板的确定:
将参考帧的重叠区域的某一定位点设为基准点,并把目标帧中与此基准点对应的定位点设为方向模板的中心点。
在本实施例中,该方向模板是由13个定位点组成的菱形模板。但在实际上,也可以采用形状为方形或圆形或其它形状的模板。
3.参考块形状与大小的确定:
先在参考块帧的信息重叠区中,以上述选择的基准点开始,往四个方向延伸一定的距离,以确定一个参考块的大小和形状。例如,触及到信息重叠区的边界停止,得到一组距离分量U0、D0、L0、R0,如图1所示。
同理,在目标帧中,以方向模板的每个定位点为基准都可以确定一组U、D、L、R,从而会得到13组U、D、L、R分量,如图3所示,加上U0、D0、L0、R0,则一共有14组分量。然后,比较此14组分量,得到最小的U、D、L、R值,之后在参考块中,以基准点为起点,向上、下、左、右四个方向分别延伸由上述四个最小的U、D、L、R确定的距离,就确定了一个参考块的大小和形状。
4.搜索块的确定及相关计算:
在确定了参考块的形状和大小后,以上述方向模板的各个定位点为基准点,可以选择形状、大小与参考块相同的矩阵,从而可以确定13个搜索块。
每个进行匹配的块,即参考块与搜索块都对应一个灰度矩阵。如果用C表示参考块矩阵,Si表示第i个搜索块矩阵,那么可以得到参考块矩阵和搜索块矩阵的差值矩阵Ai,其中Ai=Si-C,并且利用矩阵范数||Ai||表示两个矩阵的距离。||Ai||越小,表示参考块和搜索块的关联性越强。最小||Ai||对应的搜索块就是匹配块。
当信息重叠区太小时,上述运算不便进行,或者是一次运动的矢量值较大,信息重叠区较小,这种情况导致匹配块较小,当匹配块包括的像素点个数小于某一阈值,如小于80个时,则更换参考帧,同时运动的积累量置零,该次运动的信息重叠区的预测量由上次运动的实际位移矢量确定。
与现有技术相比较,本发明通过预测选择重叠区域,之后利用方向模板确定参考块的大小与形状,并决定搜索块的大小与形状,从而进行相关计算找出匹配块,由于缩小了匹配的区域,从而相关性的计算量大副度减小,并且换帧的频率相对较低,这样形成的轨迹的平滑度就更好,匹配精度更高。
与现有技术相比,本发明至少具有两个方面的优越性:
从速度方向来看,如果换帧的条件设定在匹配块大小为80个像素点时,利用本发明,即使速度达到9个像素点以上时,还能准确地找到运动矢量,而现有技术的算法只能达到6个像素点。因此,本发明可以适用于高速应用场合。
另一方面,从轨迹质量来看,轨迹的平滑度是衡量轨迹质量的重要标准。下面通过平滑度来比较本发明相对于以前技术的优越性。图5把换帧条件设定在匹配块小于80个像素点时慢速画圆的情形,左边为现有技术中的常用方法,右边为本发明采用的方法。图6把换帧条件设定在匹配块小于80个像素点时中速画圆的情形,左边为现有技术中常用的方法,右边为本发明采用的方法。图7把换帧条件设定在匹配块小于80个像素点时快速画圆的情形,左边为现有技术中常用的方法,右边为本发明采用的方法。从上述四组图的比较中可以清楚地看到,本发明采用的方法的轨迹平滑度大大优于现有的方法。
上文中参考附图描述了本发明的具体实施例。本领域中的普通技术人员能够理解,这些实施例是非限定性的。可以对这些实施例作各种变更。这些变更都落在权利要求书所限定的保护范围内。
Claims (4)
1.一种用于视频系统指示装置上的光学运动感知方法,所述指示装置设有光敏检测器阵列,用以光学感知外部物体的图像,从而感知物体的运动,其特征在于,所述方法包括如下步骤:
用光敏检测器阵列,获取外部物体的两帧图像;
根据所获取的两帧图像,分别形成参考帧与目标帧;
根据设置的预测位移量预测所述参考帧与所述目标帧中的信息重叠区;
将所述参考帧的信息重叠区中的某一定位点设为基准点,并从所述基准点开始,向四周延伸一定的距离,当触及到所述参考帧的信息重叠区的边界停止,从而得到所述参考帧的一组距离分量;而在所述目标帧预测的信息重叠区内也预先确定一个具有多个定位点的方向模板,并且所述参考帧的基准点与所述方向模板的中心对应,并在所述目标帧的信息重叠区中,以所述方向模板的各个定位点为起点,往上、下、左、右四个方向延伸,延伸至所述目标帧的信息重叠区的边界处停止,从而得到所述目标帧的多组上、下、左、右的距离分量,在依上述方法形成的所述参考帧的一组距离分量和所述目标帧的多组上、下、左、右的距离分量中,选择最小的上、下、左、右的距离分量,并以所述参考帧的基准点为起点,确定参考块的形状和大小,所述参考块的基准点与所述方向模板的中心对应,并在所述目标帧的信息重叠区中;
以所述方向模板的各定位点为基准点,形成多个形状和大小与所述参考块的形状和大小相同的搜索块;
利用参考块矩阵C和搜索块矩阵Si的差值矩阵Ai,利用矩阵范数||Ai||计算所述参考块矩阵和所述搜索块矩阵之间的距离,当||Ai||越小时则表示所述参考块和所述搜索块之间的关联性越强,从而确定关联性最强的搜索块以及所述关联性最强的搜索块的位置;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101967411A CN101169693B (zh) | 2007-11-30 | 2007-11-30 | 光学运动感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101967411A CN101169693B (zh) | 2007-11-30 | 2007-11-30 | 光学运动感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101169693A CN101169693A (zh) | 2008-04-30 |
CN101169693B true CN101169693B (zh) | 2010-06-09 |
Family
ID=39390337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101967411A Expired - Fee Related CN101169693B (zh) | 2007-11-30 | 2007-11-30 | 光学运动感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101169693B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191496A (zh) * | 2018-08-02 | 2019-01-11 | 阿依瓦(北京)技术有限公司 | 一种基于形状匹配的运动预测方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117128B (zh) * | 2009-12-31 | 2013-03-27 | 敦南科技股份有限公司 | 高解析度图像感测装置及其图像运动感测方法 |
CN102547425B (zh) * | 2011-12-20 | 2014-10-01 | 深圳Tcl新技术有限公司 | 电视及其光标移动控制的方法、设备及系统 |
CN103513811B (zh) * | 2012-06-29 | 2017-02-08 | 北京汇冠新技术股份有限公司 | 一种触摸轨迹跟踪方法 |
CN110012293B (zh) * | 2019-02-19 | 2021-06-04 | 西安万像电子科技有限公司 | 视频数据处理方法及装置 |
-
2007
- 2007-11-30 CN CN2007101967411A patent/CN101169693B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191496A (zh) * | 2018-08-02 | 2019-01-11 | 阿依瓦(北京)技术有限公司 | 一种基于形状匹配的运动预测方法 |
CN109191496B (zh) * | 2018-08-02 | 2020-10-02 | 阿依瓦(北京)技术有限公司 | 一种基于形状匹配的运动预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101169693A (zh) | 2008-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1278277C (zh) | 手指移动检测方法及装置 | |
EP3186780B1 (en) | System and method for image scanning | |
CN105654507B (zh) | 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法 | |
CN101894375B (zh) | 人物跟踪方法和人物跟踪装置 | |
CN101894376B (zh) | 人物跟踪方法和人物跟踪装置 | |
US20150310617A1 (en) | Display control device and display control method | |
US11568549B2 (en) | Method and system for detecting peripheral device displacement | |
CN100524181C (zh) | 光学运动感知方法 | |
CN101169693B (zh) | 光学运动感知方法 | |
JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
US9904841B2 (en) | Method and system for estimating finger movement | |
CN101063911A (zh) | 用于光学导航装置的检测影像中动作的方法及装置 | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
CN105957107A (zh) | 行人检测与跟踪方法及装置 | |
US20180204333A1 (en) | Object detection device and object detection method | |
JP2006349607A (ja) | 距離計測装置 | |
TWI711963B (zh) | 以導覽子區域的選定來對手指移動進行評估的方法和系統 | |
JP2012181710A (ja) | オブジェクト追跡装置、方法、及びプログラム | |
US10515455B2 (en) | Optical flow measurement | |
KR20050032800A (ko) | 이동 좌표 측정용 광센서 장치 및 2차원의 연속적 이미지프로세스를 이용한 이미지 처리 방법 | |
TWI240214B (en) | Optimized correlation matching method and system for determining track behavior | |
CN116051636A (zh) | 位姿计算方法、装置和设备 | |
CN111860492B (zh) | 一种车牌倾斜矫正方法、装置、计算机设备和存储介质 | |
TW200937349A (en) | Image displacement detection method | |
JP2018032144A (ja) | 画像処理装置、画像処理方法およびプログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 Termination date: 20141130 |
|
EXPY | Termination of patent right or utility model |