CN100416476C - 手持式指向装置以及估计一位移量的方法 - Google Patents

Abstract

一种以区块匹配搜寻估计影像位移量的方法以及用于计算机系统的手持式指向装置。本发明提供的方法与装置，利用影像撷取装置以循序方式撷取数字影像，取出样本帧与当前帧，估计移动速度向量，并计算影像的位移量。并且依据该位移量限定搜寻范围，以提高区块匹配搜寻的效率与准确度，或是依据移动速度，定义不在中央的样版区块，而该样版区块与样本帧中央之间的距离向量，大约与移动速度等比例，如此延长样本帧的有效使用时间。

Description

手持式指向装置以及估计一位移量的方法

技术领域

本发明涉及一种估计位移量的方法，特别涉及一种运用一预测速度，用于一光学鼠标的位移量估计方法。

背景技术

鼠标已经是计算机系统中的标准配备其中之一。而光学鼠标，因为没有类似滚轮鼠标的机械结构，完全以光学以及电子方式来计算出鼠标的位移量。因此，相较于机械结构，具有较高的可靠度。所以，光学鼠标目前已经成为鼠标中的主流。

光学鼠标通常都具有一CMOS感光数组(为一影像撷取器)，以及一逻辑运算电路。CMOS感光数组循序的撷取位于光学鼠标下方的表面图案，而产生数字影像。随着光学鼠标的移动，数字影像中的图案也跟着改变。经由数字影像中内容的动态变化，或是说，比较多张数字影像之后，逻辑运算电路便可以计算出光学鼠标的位移量，然后通知计算机，藉以控制计算机屏幕上的光标。

一般是用区块匹配方法来估算光学鼠标的位移量。传统上用来估计移动量的区块匹配方法是对两张数字影像，以事先定义好大小的区块做全搜寻(fully search)。而这两张数字影像中有一张是样本帧(template frame)，另一张则被称为当前帧(current frame)。如图1所示的范例中，样本帧100与当前帧104为6*6像素(pixel)的数字影像。如果将这两张数字影像以2*2像素的区块作区块匹配的全搜寻，总共需要计算25*25次(625次)区块的相关值(correlation)。若是以两张16*16像素的数字影像以8*8像素的区块做全搜寻，总共需要计算81*81次(6561次)区块的相关值。

若只以样本帧中的一样版区块执行区块匹配的全搜寻，将可减少很多计算次数。如图1中的样本帧100中央有一个2*2像素大小的样版区块，6*6像素的数字影像则仅需计算5*5次，也就是25次区块的相关值，便可将当前帧104以2*2区块为单位完整的搜寻一遍。如图3所示，区块全搜寻需要将当前帧104的每一个2*2的区块比对后，才可判断哪一个区块与样本区块102最为相似，其中搜寻的顺序不被限定，例如可从区块106开始依次搜寻，直到最后一个区块108。如果要对两张16*16像素的数字影像，以8*8像素的区块做区块匹配全搜寻时，这样的搜寻总共需要计算9*9次，也就是81次区块的相关值。虽然利用样版区块做全搜寻已经减少了许多搜寻与计算的次数，可是由于仍然需要对整张数字影像做区块匹配的全搜寻，大幅影像将花费很长的时间计算每一个区块与样版区块的相关值，除此之外，还会需要许多内存与处理器容量。

发明内容

有鉴于此，本发明的目的就在于提供一种预测影像位移量的方法以及用于计算机系统的手持式指向装置，利用影像撷取装置以循序方式撷取数字影像，取出样本帧与当前帧，估计移动速度向量，并计算影像的位移量。

本发明的另一目的在于利用估计的位移量，将区块匹配搜寻在当前帧中所需要的搜寻范围缩小，以减少计算影像位移量、位移速度、位移方向的时间，并且因此减少所需的内存与处理器的容量。

本发明的另一目的在于利用估计的位移量，决定之后样本帧中样版区块的位置，藉此延长同一个样本帧的有效使用时间，使更换样本帧的频率降低。

为达成上述目的，本发明提供一种用于计算机系统的手持式指向装置，包括影像撷取装置以及位移检测电路。其中，影像撷取装置循序的撷取影像，以产生第一帧及第二帧，而位移检测电路预估手持式指向装置的移动速度，并依据该移动速度，比较第一帧及第二帧，以求出手持式指向装置的位移量。本发明的影像撷取装置包含有一感光数组，具有多个感光组件，而感光组件的面积大小是介于20微米*20微米到40微米*40微米之间。

本发明更包括一种估计一手持式指向装置的位移量的方法，该手持式指向装置具有一影像撷取装置，用以循序的撷取影像，并产生多相对应的帧。首先，预估手持式指向装置的移动速度，再依据该移动速度比较由影像撷取装置所产生的第一帧及第二帧，以求出手持式指向装置的位移量。其中预估移动速度的方法，是依据两个先前移动速度估计出来的；而比较两个帧的方法包括在第一帧中定义出一样版区块，并根据移动速度，在第二帧中定义比第二帧较小的一搜寻范围，以及于该搜寻范围中找出与样版区块最相似的匹配区块，并据以输出位移量。本发明的方法更包括推算手持式指向装置的加速度并依据该加速度以及至少一先前移动速度，预估手持式指向装置的移动速度。定义搜寻范围的方法为依据移动速度，计算出与样版区块一样大小的一期望区块的位置，为该手持式指向装置在该移动速度运动下，样板区块在第二帧中最可能的一坐落区域，最后再扩张此期望区块，成为搜寻范围。扩张期望区块的范围可以是不对称的。

本发明的方法也可依据移动速度，在第一帧中定义出不在中央的一样板区块，并在第二帧中，找出与该样版区块最为相似的匹配区块，其中样版区块与第一帧的中央之间的距离向量，大约与该移动速度等比例。

匹配区块的搜寻方法，通常是计算与样版区块之间的相关值。而一般计算相关值的算法如均方差(mean square error；mse)或绝对差值平均法(meanabsolute difference；mad)可利用公式计算出两块区块之间的差距(error/difference)，因此所谓的匹配区块会与样版区块计算得到最小的相关值。

为了让本发明的上述和其它目的、特征、和优点能更明显易懂，下文特举一较佳实施例，并配合所附图示，作详细说明。

附图简述

图1为公知以全搜寻方式找出匹配区块的示意图；

图2a显示一般光学鼠标以透镜取代滚轮机制；

图2b为图2a中整合电路芯片的示意图；

图3为本发明实施例中在特定搜寻范围找出匹配区块的示意图；

图4为根据本发明的方法变更搜寻范围的范例；

图5显示当前帧的影像中包括许多重复特征的范例；

图6为根据本发明的方法位移样版区块的位置的范例。

附图符号说明

100-样本帧；102-样版区块；104-当前帧；106、108-区块；

20-光学鼠标；21-透镜；22-整合电路芯片；221-影像撷取装置；

222-位移检测电路；300、306-当前帧；302、308-匹配区块；

304、310-搜寻范围；400、406-当前帧；402、408-匹配区块；

404、410-搜寻范围；500-当前帧；502-匹配区块；504-搜寻范围；

600-样本帧；602-先前样版区块；604-新样版区块；

606、608-角度。

具体实施方式

图2a为利用本发明实施的一光学鼠标，图2b为图2a中的整合电路芯片示意图。光学鼠标20中具有透镜21以及一整合电路芯片(IC chip)22。如图2b所示，整合电路芯片22中大致可以分成两个区域。一个作为影像撷取装置221，譬如说由CMOS感光传感器所构成的数组。透镜21就是将光学鼠标20下方的图案，成像在影像撷取装置221上。影像撷取装置221便循序的撷取影像，进而产生相对应的图形，或是“帧”(frame)。当然，随着光学鼠标20的移动，所撷取到的帧就跟着变化而不同。整合电路芯片22另一个区域作为位移检测电路222，主要是处理以及运算所撷取到的帧。利用比较数个帧之后，位移检测电路可以判断光学鼠标20到底移动了多少，并据以产生信号，告知相连的装置，譬如说计算机。

本发明的重点在于，在比较帧的过程里，运用了一个预期的移动速度。藉此，一方面可以减少匹配的搜寻范围，也就是减少位移检测电路的运算量。另一方面，本发明可以使得一样本帧的更新频率降低，同时增大光学鼠标的输出信号的分辨率。

影像撷取装置221以先前设定的速度撷取数字影像，以及选择一张数字影像作为新的样本帧。在样本帧中取一样版区块，在当前帧的搜寻范围中搜寻与样版区块相关值(correlation)最符合要求的匹配区块。两个影像区块的相关值越小，代表这两个影像区块越相似。藉由比较样版区块在样本帧中以及匹配区块在当前帧中的相对位置，计算影像的位移量。计算出来的位移量代表此光学鼠标或是影像撷取装置在其影像撷取周期时间内的位移量，如果以影像撷取周期时间为单位时间，此位移量就是影像移动的瞬间速度。由于影像位移量是一个向量，在二维坐标上会以二个成分(x，y)表示，而瞬间速度V也是一个向量，以(Vx，Vy)表示。这时，累加前M个瞬间速度，并计算这M个瞬间速度的平均速度Vm，也可拆成x与y两个成分(Vmx，Vmy)。同样地，累加前N个瞬间速度，并计算这N个瞬间速度的平均速度Vn，以(Vnx，Vny)表示。假设M大于N，则影像撷取装置预测的影像移动速度可以公式(1)算得。由于这两个平均速度皆为向量，真正计算时，如公式(2)以及公式(3)所示，是将成分x与成分y个别计算。

$\stackrel{\→}{V}p=\frac{(\stackrel{\→}{V}m+\stackrel{\→}{V}n)}{2}+(\stackrel{\→}{V}m-\stackrel{\→}{V}n)---\left(1\right)$

$\mathrm{Vpx}=\frac{(\mathrm{Vmx}+\mathrm{Vnx})}{2}+(\mathrm{Vmx}-\mathrm{Vnx})---\left(2\right)$

$\mathrm{Vpy}=\frac{(\mathrm{Vmy}+\mathrm{Vny})}{2}+(\mathrm{Vmy}-\mathrm{Vny})---\left(3\right)$

预测速度Vp亦即影像撷取装置在下一个影像撷取周期时间内预测的位移量，也就是估计匹配区块相对于样版区块的位置。

根据预测速度Vp，估计出下一张影像帧中匹配区块位置。如图3所显示的范例中，假定每一个影像帧长宽各为6像素(6*6)，并是使用长宽各为2像素(2*2)的区块作区块匹配的搜寻。本发明提供的区块匹配方法并不对当前帧所有可能的区块作搜寻，而是只搜寻一由预测速度估计出的搜寻范围。缩小搜寻范围可有效地节省搜寻的时间，以及减少处理器需要计算相关值的次数。搜寻范围将限定在由预测速度估计出的搜寻范围内，不必对整张当前帧全部区块作相关值的运算，就可以确定这张当前帧中匹配区块的位置。

如图3所示，初始状态时由于移动速率为零，其偏移量也为零，此时，可以预期匹配区块302(就是一期望区块)最可能坐落在现行框300中与样板区块102相同的位置，因此先估计样本帧100的中心为对应其匹配区块302的样板区块102。而这时估计的搜寻范围304是以匹配区块302为中心，向外扩张一个像素的范围。经过一段时间后由于影像往右位移，预期的匹配区块的位置也应该会跟着向右位移，也就是，该样板区块102应该会随着影像移动速度往右位移。这时在现行框306中，匹配区块应该会在308的位置，相对的搜寻范围则是在310的位置。

图3的范例中，如果要对整张当前帧以大小为2*2的样版区块102做全搜寻，需要计算5*5，也就是25次区块的相关值。找出相关值中的最小值，所相对应的区块，就是匹配区块。而如果使用本发明的方法，只对搜寻范围304内作搜寻，则仅需要计算3*3，也就是9次区块的相关值。应用在大张影像上，如果搜寻范围是以预期的匹配区块为中心向外扩张一个像素，不论影像帧或样版区块有多大，都只需要计算9次区块的相关值。如果搜寻范围是以预期的匹配区块为中心向外扩张两个像素，不论影像帧或样版区块有多大，都只需要计算25次区块的相关值。与公知的全搜寻区块匹配方法相比，计算相关值的次数可被大幅减少。举例来说，一张16*16像素的数字影像以8*8像素的样版区块做搜寻，传统的全搜寻需要81*81次(6561次)计算，如果只取一个样本帧做搜寻则可减少成9*9次(81次)计算，而本发明因为只在预期的匹配区块再向外扩张两个像素的范围内做搜寻，仅须执行5*5次(25次)区块相关值的计算即可。

搜寻范围可以是以预期的匹配区块四周围等距离的向外扩张N个像素，也可以不同的距离向四周围扩张。如图4所示，当前帧400的搜寻范围404以预期的匹配区块402的位置再加减两个像素单位距离。在初始计算时，由于移动速度为零，预期的匹配区块402在当前帧400的正中央。当影像开始移动，可计算出一预测速度后，藉此预测速度可估计出下一张影像帧中匹配区块的位置。如图所示，如果预期的匹配区块408在当前帧406中的位置，是由原本匹配区块402的位置再向右位移一个像素。这时由于影像继续向右移动的机率比较大，也就是在预期的匹配区块408的右边比左边较容易搜寻到与样版区块相关值最小的匹配区块。因此如图所示，可将预期的匹配区块408左边的搜寻范围由两个像素减少为一个像素，使搜寻范围410为不对称的。这样将更缩小搜寻范围，并更减少所需计算相关值的次数。

先前所叙述的搜寻范围大小，也可以由影像移动的最大加速度来决定。假设影像撷取装置每秒能撷取1000张数字影像，而搜寻范围是以预期的匹配区块的位置再加减一个像素，其中一个像素的距离为30微米(μm)，则可由公式(4)计算出最大加速度为30ms^-2(即3.06倍的重力加速度G)。在实际应用中，如果影像移动的最大加速度不可能超过30ms^-2，向外扩张一个像素的搜寻范围便为足够了。

$a=\frac{\mathrm{\Δv}}{T_{\mathrm{frame}}}=\frac{d_{\mathrm{pixel}}}{{T_{\mathrm{frame}}}^2}=\frac{30*{10}^{-6}}{{\left(\frac{1}{1000}s\right)}^2}={30\mathrm{ms}}^{-2}=3.06G---\left(4\right)$

这样的运用预测的移动速度来减少搜寻范围的方法，除了减少运算量之外，还有另一个好处：比较不会找到错误的匹配区块。

目前常用的影像撷取装置221的面积大小是60微米*60微米，而透镜21的放大倍率是1倍。例如影像撷取装置中由CMOS感光传感器构成的数组大小为16*16，样版区块为8*8，则影像撷取装置的可见范围是960微米*960微米，而样版区块的面积大小约为480微米*480微米。审视目前的印刷业，大多数的印刷分辨率是150-200 DPI(dot per inch)。以下以150 DPI为例子。如果，以一个dot代表一个特征(feature)的话，投射在影像撷取装置221上的特征就可能有(150/时*60微米*16)²＝5.67²即大约32个特征。而被8*8的样版区块所涵盖的特征数应该是8个。

公知的方法是单纯用样版区块来搜寻整个当前帧，找出匹配区块。但是，因为当前帧所包括的影像很有可能是重复的图案，所涵盖的特征数通常高达数个，非常有可能，在当前帧中就找到数个匹配区块，造成决定光学鼠标的位移量的困难。如同图5所示，样本帧中的样版区块，在当前帧500中，就可能找到十几个相同的匹配区块。如此，光学鼠标的位移量不是无法判别，不然就会是个错误。

但是，本发明运用预测的移动速度来减少搜寻范围，便减少了相同的匹配区块找到的机率。一样以图5来解释。假使搜寻范围502为前一个匹配区块504为中心的一个10*10的区块，如图所示，在此搜寻范围502中，就只有4个特征，而可能找到的匹配区块数目，更可大幅的减少。所以本发明所欲达到的缩小搜寻范围的目的更可以提高匹配区块的正确率。

这样的好处，随着影像撷取装置上的特征数量的减少，而变的更加明显。假定影像撷取装置的面积大小是30微米*30微米，而透镜的放大倍率还是1倍，印刷分辨率依然是150 DPI。如此，可以推导出投射在影像撷取装置上的特征就可能有(150/呎*30微米*16)²＝8.035。而被8*8的样版区块所涵盖的特征数应该大约为2个。搜寻范围所涵盖的特征数就应该是3个。可以发现，因为特征数减少了，所以更容易找到单一确切的匹配区块。

一种减少特征数的方法是减小影像撷取装置撷取影像的面积，本发明建议其面积可以采用20微米*20微米-40微米*40微米之间。另一种方法增大透镜的放大倍数，将光学鼠标下的图案，放大透射到影像撷取装置上。

除此之外，本发明更可根据光学鼠标或是影像撷取装置的预测速度移动样版区块的位置。如图6所示，当光学鼠标检测到影像移动的方向是向右时，样本帧600的样版区块可由原本中央的位置602，向左位移至604的位置。将样版区块往影像移动的反方向位移，可以让样本帧使用的时间延长，以减少样本帧更新的次数。这是因为随着影像往右边移动，中间的区块602会比左边的区块604更早不被包括在当前帧中，因此左边的区块604在当前帧中搜寻到的机率会比较高。并且，在预测样本帧与当前帧仍然有互相重迭，且可搜寻到匹配区块的前提下，以区块604当作样版区块可使可检测到的最小移动角度缩小为角度608(即tan^-1(1/4)＝14度)，而非原本以区块602当作样版区块所检测到的最小移动角度606(即tan^-1(1/2)＝26.5度)。将可检测到的最小移动角度缩小，可以让检测影像移动轨迹更为精准。同时，因为样本帧依然可以使用，就减少更新样本帧的频率/次数。

此外，本发明亦可以依据预测速度，来移动样板区块，并同时设定搜寻范围。可以在预测速度达到一个条件后先移动样板区块，当预测速度达到另一个条件后，才设定搜寻范围。也可以先设定搜寻范围，然后才移动样板区块。这两种动作都已经在先前发明说明中详细解释，在此不再多述。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (12)

1. 一种用于一计算机系统的手持式指向装置，包含有：

一影像撷取装置，用以循序的撷取影像，以产生一第一帧以及一第二帧；以及

一位移检测电路，用以预估该手持式指向装置的一移动速度，并依据该移动速度，比较该第一帧以及该第二帧，以求出该手持式指向装置的一位移量。

2. 如权利要求1所述的手持式指向装置，其中，该影像撷取装置包含有一感光数组，具有多个感光组件，该感光数组中该感光组件的面积大小是介于20微米*20微米到40微米*40微米之间。

3. 如权利要求1所述的手持式指向装置，其中，该位移检测电路在该第一帧中，定义出一样板区块；在该第二帧中，依据该移动速度，定义出一搜寻范围，该搜寻范围的大小是小于该第二帧；以及在该搜寻范围中，找出一匹配区块，并据以输出该位移量，其中，该匹配区块与该样板区块最相似。

4. 如权利要求1所述的手持式指向装置，其中，该位移检测电路是在该第一帧中，定义出一样板区块，且该样板区块不在该第一帧的中央；以及，在该第二帧中，找出一匹配区块，该匹配区块与该样板区块最相似。

5. 一种估计一手持式指向装置的一位移量的方法，该手持式指向装置具有一影像撷取装置，用以循序的撷取影像，并产生多相对应的帧，该方法包括下列步骤：

预估该手持式指向装置的一移动速度；以及

依据该移动速度，比较由该影像撷取装置所产生的一第一帧以及一第二帧，以求出该手持式指向装置的一位移量。

6. 如权利要求5所述的方法，其中，该预估出该移动速度的步骤，包括有下列步骤：

依据二先前移动速度，预估该移动速度。

7. 如权利要求5所述的方法，其中，该预估出该移动速度的步骤，包括有下列步骤：

推算该手持式指向装置的一加速度；以及

依据该加速度以及至少一先前移动速度，预估该移动速度。

8. 如权利要求5所述的方法，其中，比较该第一帧以及该第二帧的步骤，包括下列步骤：

在该第一帧中，定义出一样板区块；

在该第二帧中，依据该移动速度，定义出一搜寻范围，该搜寻范围的大小是小于该第二帧；以及

在该搜寻范围中，找出一匹配区块，并据以输出该位移量，其中，该匹配区块与该样板区块最相似。

9. 如权利要求8所述的方法，其中，定义出该搜寻范围的步骤，包含以下步骤：

依据该移动速度，计算出一期望区块，该期望区块与该样板区块一样大小，是为该手持式指向装置在该移动速度运动下，该样板区块在该第二帧中最可能的一坐落区域；以及

扩张该期望区块，而成为该搜寻范围。

10. 如权利要求9所述的方法，其中，每一帧是以X像素*Y像素所构成，而该扩张该期望区块的步骤，是将该期望区块往外扩张至少一像素，并且该扩张步骤可为对称或不对称。

11. 如权利要求5所述的方法，其中，比较该第一帧以及该第二帧的步骤，包括下列步骤：

依据该移动速度，在该第一帧中，定义出一样板区块，且该样板区块不在该第一帧的中央；以及

在该第二帧中，找出该匹配区块，该匹配区块与该样板区块最相似。

12. 如权利要求11所述的方法，其中，该样板区块与该第一帧的中央之间的一距离向量，是与该移动速度等比例。

Images