CN100472418C - 用于光学导航装置的检测影像中动作的方法及装置 - Google Patents

用于光学导航装置的检测影像中动作的方法及装置 Download PDF

Info

Publication number
CN100472418C
CN100472418C CNB2006101603707A CN200610160370A CN100472418C CN 100472418 C CN100472418 C CN 100472418C CN B2006101603707 A CNB2006101603707 A CN B2006101603707A CN 200610160370 A CN200610160370 A CN 200610160370A CN 100472418 C CN100472418 C CN 100472418C
Authority
CN
China
Prior art keywords
image
secondary area
main block
area piece
moving vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2006101603707A
Other languages
English (en)
Other versions
CN101063911A (zh
Inventor
林卓毅
郭明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Publication of CN101063911A publication Critical patent/CN101063911A/zh
Application granted granted Critical
Publication of CN100472418C publication Critical patent/CN100472418C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种使用来自一影像的一主区块及来自该影像与该主区块相关的至少一副区块决定一移动向量的系统及方法。然后自影像至影像追踪该主区块及副区块以提供一移动向量。一复合追踪单元的使用允许更精确的关联及识别一移动向量。

Description

用于光学导航装置的检测影像中动作的方法及装置
技术领域
本发明涉及光学成像及动作检测。本发明在诸如计算机鼠标的光学手持指针组件中使用的集成电路及固件中具有特定应用。
背景技术
现有技术包括一定数量不同技术,用于原理上藉由比较时间上连续的影像以检测动作来估计并检测影像动作。该技术包括:
美国专利第6,859,199号(其以引用的方式并入下文)主要经由特征提取以进行工作。所揭示的算法藉由以下步骤进行工作:
自一第一影像提取一第一特征组,自时间上在该第一影像之后的一第二影像提取一第二特征组;
比较该第一特征组与该第二特征组以决定该第二影像相对于该第一影像的位置位移;
输出基于该位置位移的一移动向量。
此技术的缺点包括以下事实:在该第一及第二特征组中必须存在相当大量的元素以精确确定该移动向量。
美国专利第5,729,008及5,786,804号(一起以引用的方式并入下文)揭示一种区块匹配形式,其如下操作:
撷取一第一帧及一第二帧;
将该第一帧的讯号关联至该第二帧的讯号;
产生动作的关联输出。
此方法的缺点在于:当仅使用一区块以执行区块匹配方法时,此区块中的元素必须足够确保匹配的精确性。此外,此区块越大,则计算及存储器越复杂。
发明内容
因此本发明的一目标为克服现有技术的上述限制。
另一目标为实施一影像追踪方法/系统,其具有改良准确性同时不需要大量计算时间及存储器等;
再一目标为提供一影像追踪系统/方法,其使用一逻辑追踪单元,该单元为两个或两个以上独立实体参考单元的所构成;
一相关目标为提供一影像追踪系统/方法,其使用一逻辑追踪单元,若有动态移动的方式需要,该单元可以变动;
另一目标为提供一影像追踪系统/方法,其藉由使用在动作追踪计算中提供冗余的补充追踪单元减少归因于地形变化(topographical variation)、光变化等导致的计算及追踪错误(可位于一感应器阵列下)。
本发明的一第一方面是关于使用影像传感器决定与一组移动影像关联的移动向量的一系统及方法。此包括:撷取对应于一第一区域的一第一影像;自该第一影像决定包括小于该第一区域的一主区块区域的一主区块;及自该第一影像决定与该主区块相关的至少一副区块,该副区块包括亦小于该第一区域的一副区块区域(在此情形下该主区块及该副区块形成该第一影像中的一追踪单元);使用该影像传感器撷取在时间上在该第一影像之后的一第二影像;使用该追踪单元将该第一影像与该第二影像关联以决定追踪单元影像之间的位置变化;及输出基于该位置变化的移动向量。在一些应用中,该追踪单元包括多个独立副区块,且其包括尺寸和/或形状不同的至少两个区块。通常主区块选自该第一影像的一中部区域;在一些情形下,其可具有不同于该副区块的形状。
在较佳实施例中,该关联过程包含:区块匹配第一影像的主区块在该第二影像中以决定该第二影像中主区块相对于第一影像的位置位移;及藉由该第二影像中第一影像的副区块进行双检验以确认该第二影像相对于该第一影像的位置位移。在检测到超出一可控制、可程序化的临限值的相关时终止该关联。在一些实施例中,组合主区块与副区块使得对于主区块与副区块两者同时执行该关联。
本发明的其它方面是关于一副区块,其较佳在面积上小于主区块,且由至少一像素宽的一中间区域而与主区块隔开定位。尽管两区块亦会重迭。另外为决定副区块,较佳藉由将副区块的候选组的像素值与主区块作比较以评估副区块的该候选组。在某些环境中可能期望藉由决定与主区块相比变化最多的副区块(意即,藉由像素强度值或类似参数)来选择一副区块。
本发明的另一方面是关于一副区块,其亦较佳在各个时间处在影像内被重定位。可基于此副区块在第二影像中的一位置分析或参考移动向量的分析来完成此重定位。
本发明的另一方面系关于一副区块,其亦较佳在各个时间处在影像内被重成形。可基于副区块区域的光学特征相对于主区块区域的光学特征的分析和/或移动向量的分析来完成此重成形。
某些实施例的另一方面为主区块和/或副区块在第二影像中被计算的预测位置。该关联可因此在该预测位置处或在该预测位置周围处的一有限区域中开始。
本发明的其它方面系关于一移动向量,其较佳是基于检测在主区块中的第一位置位移及在副区块中的第二位置位移,及基于该第一位置位移及该第二位置位移来计算一估计位置位移。该估计位移可为该第一位移与该第二位移的权重平均。
本发明的另一方面是关于一动作方法,用于决定包含一影像传感器的一光学追踪装置的相对运动,该方法包含以下步骤:撷取由分别代表由该影像传感器感知的光强度的像素值的一阵列组成的一第一影像;选择在该像素值的阵列中的一第一区块及至少一额外特征(其与该第一区块成一预定关系),以建构一第一追踪单元;撷取在时间上在该第一影像之后的一第二影像;检测在该第二影像中最匹配该第一影像中第一追踪单元的一第二追踪单元;根据该第一追踪单元与该第二追踪单元之间的位移决定自该第一影像至该第二影像的一相对运动;及基于由该影像传感器所撷取的影像的一个或多个累积相对运动报告该光学追踪装置的一动作。
本发明的一相关方面是关于一光学导航系统,包含:一影像传感器阵列,其适于撷取对应于一第一区域的一第一影像及时间上在其之后对应于一第二区域的一第二影像;及一处理电路,其适于:
a.自该第一影像决定包括小于该第一区域的一主区块区域的一主区块;
b.自该第一影像决定与该主区块相关的至少一副区块,该副区块包括亦小于该第一区域的一副区块区域;
c.形成一追踪单元,其包括该主区块及该副区块;
d.使用该追踪单元将该第一影像关联至该第二影像以确定该追踪单元在影像之间的一位置变化;
e.输出基于该位置变化的移动向量。
该光学导航系统较佳由一个或多个集成电路组成,容纳于一指针装置中,且耦接至基于该追踪单元而操作的一计算系统。在多数情形下,处理电路包括一DSP及一可执行程序指令集合。
本发明的又一方面是关于一光学导航器,其包含:一影像传感器,该感应器经组态以捕捉一第一影像及一第二影像;用于自该第一影像决定一主区块的构件;用于自该第一影像决定与该主区块相关的一个或多个副区块的构件;其中该主区块及该或所述副区块形成在该第一影像中的一追踪单元;用于使用该影像传感器撷取在时间上在该第一影像之后的一第二影像的构件;用于使用该第一影像的追踪单元将该第一影像关联至该第二影像的构件。该关联过程包含:
将第一影像的主区块区块匹配至该第二影像中的一位置以决定该第二影像相对于该第一影像的位置变化;及藉由识别该第二影像中该或所述副区块相对于该第一影像的位置而验证该位置变化。另外,提供用于输出基于该位置变化的移动向量的构件。
自实施方式中可了解本发明可在各种不同实施例中实施。此外,本领域的技术人员易了解所述不同实施例将可能仅包括本发明上述方面及目标的一个或多个。因此,在任何特定实施例中不包括所述特征的一个或多个不应理解为限制本发明的范畴。尽管在光学鼠标的情形中进行描述,本领域的技术人员易了解本教示可用在基于影像撷取以估计对象的动作的任何系统中。
附图说明
图1为根据本发明的教示建构的一光学导航系统的较佳实施例的基础方块图;
图2A说明在本发明中采用的感应器阵列的一较佳实施例;
图2B说明与该感应器阵列关联的追踪单元的一较佳实施例;
图3描述根据本发明的教示执行的一光学导航器追踪过程的较佳实施例的流程图;
图4A至图4B为根据本发明的一全部影像撷取过程的一较佳实施例的图形描述;
图5A至图5J为根据本发明实施的一主区块或主要区块匹配过程的一较佳实施例的图形描述;
图6A至图6F为根据本发明实施的次区块/补充区块或副区块匹配过程的一较佳实施例的图形描述;
图7A至图7J为根据本发明实施的一复合(主区块与次区块一起)区块匹配过程的一较佳实施例的图形描述;
图8A至图8F为根据本发明实施的副区块/主区块重定位过程的一较佳实施例的图形描述;
图9A至图9B为根据本发明实施的一副区块重成形过程的一较佳实施例的图形描述;以及
图10A至图10K为可根据本发明使用的一追踪单元的一定数量个变型的图形描述。
附图符号说明
100光学导航系统
105个人计算机
106通讯信道
110感应器阵列
120处理模块
130存储器
具体实施方式
图1中展示用于追踪对象动作的一光学导航系统100的一较佳实施例。一感应器阵列110耦接至一处理模块120及存储器130。通常在光学鼠标应用中,所述电路在一个或多个集成电路中实现,该或所述集成电路与诸如透镜、照明部件(LED、激光等)及其它熟知组件的其它支撑结构一起安装在一印刷电路板(未图标)或其它基板上,为清楚起见将其略去。
处理模块120又由一定数量的熟知硬件及软件组件组成,包括基于半导体的处理门及用于实施本文所描述的发明方法的可程序化固件。另外,在光学鼠标应用中,一移动向量通常由电缆连接或无线连接经由一通讯信道106传输至一个人计算机105,或某些其它电子处理装置。对于其它应用,处理模块120可被整合为一指针装置100(较佳为手持式)的部分,其协作以提供动作相关讯号给不同类型平台,诸如视讯游戏控制台、音频/视觉娱乐系统或某些其它交互式计算装置。本领域的技术人员将易了解其它实施例。
图2A描述一16×16阵列的CMOS影像传感器,其可用于本发明的光学导航器(例如光学鼠标)中以撷取一参考影像及一系列连续样本影像。尽管此较佳实施例中使用16×16阵列,但当然亦可使用其它阵列大小。
图2B展示本发明的一追踪单元,其包括一主区块(M)及至少一副区块(A)。两种区块最初在一参考影像中被决定(见下文的讨论)。较佳主区块大概位于靠近影像的中心部分处且副区块大小上小于主区块且由至少一像素与主区块隔开。举例而言,在图4B中,一主区块包含5×5区块,一副区块包含空间上偏移的独立3×3区块。另外,亦有可能使所述区块重迭,且期望精确大小及关系根据所要应用及效能要求而变化。
使用多个区块的优点为精确度得以提高,因为较小区块充当一动作验证形式或检验器,且可帮助减少与仅检查影像的一单一子区的解决方案相关的问题。在后者情形下,有可能影像在帧之间的变化(归因于光变化、主区块的缩减或扭曲等)可减小精确度。本发明因此提供一光学影像冗余检验形式。
图3描述根据本发明的教示执行的一光学导航器追踪过程200的第一实施例的流程图。如上所述,所述步骤较佳由使用一DSP的处理模块120或使用储存(且可被加载/改变)于系统100中的固件程序的其它可程序化处理器执行。
因此,一第一实施例如下操作:
步骤1:在操作210中撷取一第一影像作为一参考影像;
步骤2:在操作220中自该参考影像决定一主区块(M);另外,在一较佳实施例中,通常自影像帧的一中心部分选择一区块;但是如下文所解释,一主区块(M)可能不一定为矩形形式。
步骤3:由操作230决定至少一副区块(A)或与主区块(M)相关的特征。另外,如上所述,副区块或特征较佳在大小上小于主区块,且与主区块隔开一预定距离,使得在两者之间有一中间区域。此外,在一较佳方法中,藉由相对于主区块的像素强度值检查候选区块的相对像素强度值来选择副区块。为增加区别能力,期望(在许多情形下)选择大体上强度值与主区块不同的一副区块/特征。因此,可藉由根据与主区块的像素强度比较或本技术中已知的其它一些光学基准给候选区块排序来选择一副区块。下文中,主区块及副区块指在参考影像内的一追踪单元,其可考虑为一逻辑追踪单元,因为其能够被改变(若须要则包括帧间改变);
步骤4:在操作240中撷取时间上在该第一影像之后的一第二影像作为一样本影像;
步骤5:藉由操作250执行区块匹配以定位在第二样本影像中参考影像的主区块(M),以决定样本影像相对于第一影像的位置位移;
步骤6:藉由操作260使用样本影像中参考影像的副区块(A)执行双检验,以确认样本影像相对于参考影像的位置位移。在某些情形下,且在区别主区块与副区块计算值间的差异的事件中,可期望将主区块与副区块计算值进行平均,或基于产生最大关联的任何计算值,和/或基于主区块计算值可能比较小副区块计算值更精确(因为其包围更大的面积)的假设,来使用某种形式的权重。此外,从计算速度的观点看,可能在某些情形下期望基于区块M的计算距离自动选择区块(A)的预测位置,并接着计算在此预测位置处的关联,且在距离主区块的有限偏移内(意即,+/-1或2个像素)以避免相对于整个帧作区块比较。若在此有限区域内未发现区块(A)的关联,则在任何情形中此将可能需要新的副区块,所以可能期望在某些情形下使用此形式的推理计算。
步骤7:操作270然后输出基于该位置位移的一移动向量;注意尽管一较佳实施例输出自影像至影像的一移动向量,但并不一定非得如此,相反可基于非连续数据帧来执行一关联,和/或仅当事实上检测到位置的明显变化超出某一临限时输出一向量。
步骤A:操作275决定副区块的一个或多个是否应重成形。举例而言,若主区块(M)与副区块(A)的像素值大体上相同或均一,表明其并非明显不同以改良效能的追踪区域,则可执行此步骤。下文中对此作进一步解释;亦可采用重成形副区块的其它原因。
步骤8:操作280基于所检测到的动作及区块(A)的已知位置判断副区块(A)是否应重定位。举例而言,可为了防止由于副区块(A)太靠近边缘而在随后样本影像中丢失而执行此步骤。若“是”,则过程进行至步骤3;若“否”,则过程进行至步骤9。
步骤9:操作290又使用习知技术决定参考影像是否应被替换。若参考影像应被替换,则过程进行至步骤1;否则过程进行至步骤4。
因此,图1中至流程图逻辑上说明一光学导航器如何采用参考影像中一个5×5主区块与一个3×3副区块的追踪单元以决定移动影像的移动向量。本领域的技术人员易了解此处并没有将与影像关联的所有步骤包括在内以更好阐述本发明,且可使用额外操作以补充以上操作作为习知系统的部分。
此外,应了解上述步骤并不一定必须以所展示的精确顺序执行,亦可根据需要使用其它组合。举例而言,可以相反顺序执行主区块及副区块操作。对于涉及副区块的重定位及参考影像的重撷取的操作亦可以相反顺序执行。在某些情形下,可在步骤250之后输出一预备/预测移动向量,而非等待检验操作260的结束。若预备向量不正确,则可在步骤270处提供更新。此外应注意视副区块的数量及所要精确度而定操作260可执行多次。显而易见可符合本教示而得以执行的其它实例。
图4A至图4B为根据本发明的一全部影像撷取过程的较佳实施例的图形描述。在图4A中展示步骤1(撷取参考影像——操作210)、步骤2(识别一主区块(M)——操作220)及步骤3(识别一个或多个副区块——操作230)。另外,如上所述,较佳藉由检查子区块的一候选组并基于诸如与主区块相比的相对像素强度值、预测行进方向等的参数选择一组而选择副区块(A)。
图4B展示步骤4(操作240中撷取一新样本影像)、步骤5(操作250将区块(M)(在现有位置中以虚线展示)匹配至样本影像中的一新位置)及步骤6(操作260将区块(A)(在现有位置中以虚线展示)匹配至样本影像中一新位置)。步骤7然后使用图示的操作270输出一移动向量。
图5A至图5J为根据本发明实施的一主区块或主要区块匹配操作250(步骤5)的一较佳实施例的图形描述。如图所示,在图5A中,藉由在16×16帧(代表储存于存储器130中的感应器阵列110的逻辑像素值)的左上角的一上列中的初始位置处开始并随后逐渐以线性方式在一行集合上一次移过一个(或多个)像素(图5B、图5C)直至达到该列的末端(图5D)来检测到一新帧中的一主区块(M)。对于偏移一个或多个像素的一列重复该过程(图5E)。由于存在12个水平及12个垂直位置,故可看出执行最多144次独立关联;然而本领域的技术人员应理解此数量为主区块(M)大小及阵列大小的函数,且本发明并不受限于此。如图5I及图5J中所示然后执行匹配。在此点上,该过程可停下,或若需要可执行另一比较以确保与该帧的其它子区块的匹配的精确度。尽管上述过程开始于该帧的左上角,但本领域的技术人员应理解可使用其它开始点及行进方向。此外,可期望在最关联至主区块的一动作预测的一角落上开始,和/或仅检验基于根据现有移动向量的一预测位置的该帧的一有限区域。举例而言,若区块(M)被检测到以向量+2,+2(x、y坐标)移动,则可能期望从一右上角在下一帧中开始检验,和/或在上部中开始搜寻。
图6A至图6F为根据本发明实施的次区块/补充区块或副区块匹配操作的一较佳实施例的图形描述。可看出,在一新帧内检测到一主区块(M)之后,本发明过程定义且预测该帧的一窄子部分作为搜寻副区块(A)的面积。因此,在图6A中,操作260开始于16×16帧(代表储存于存储器130中感应器阵列110的逻辑像素值的子集)的一子区块的左上角上列中的初始位置。在该较佳方法中,该子区块包括由自主区块(M)的一角落延伸的水平及垂直线界定的一区域。与主区块(M)一样,一匹配操作逐渐在一行集合上以线性方式一次位移过一个(或多个)像素(图6B、图6C)直至到达该列的末端(图6D)。对于偏移一个或多个像素的一列重复该过程(图6E)。由于存在6个水平及6个垂直位置,故可看出执行最多36次独立关联;然而本领域的技术人员应理解此数量为副区块(A)大小、主区块(M)大小、主区块(M)的位置及阵列大小的函数,且本发明并不受限于此。如图6F中所示然后执行匹配。在此点上,该过程可停下,或若需要可执行另一比较以确保与该帧的其它子区块的匹配的精确度。另外,在某些实施例中,基于一现有移动向量提前预测区块(A)的位置且仅检验帧的一有限区域可能具有优势。
在一较佳实施例中,主区块(M)及副区块(A)的区块匹配使用一个或多个熟知公式用于基于与临限值(T)或最小值的比较的像素关联,诸如:
Σ i = 1 25 | X i - Y i | ≤ T
Figure C200610160370D00142
其中Xi为样本影像的主区块中的元素,Yi为参考影像的主区块中的元素,且T为预定临限。当然可使用其它算法,且本发明并不在此方面受限。
在某些实施例中,可使用如图7A至图7J所说明由主区块及副区块形成的组合追踪单元同时定位/匹配主区块(M)及副区块(A)。在此方法中,同时对两个不同区块执行关联。因此,在图7A中,在新样本帧中检验区块(M)及区块(A)。如图7B、7C、7D等所示,每一个皆被水平位移一个像素。在图7E中,所述区块亦被垂直位移一个像素且该过程如图7F、7G及7H所示被重复。在图7I中,所述区块开始占据新位置(呈现更接近的关联),且在图7J中,由对两区块的比较决定匹配。
在副区块开始接近帧边缘的情形下,较佳执行重定位操作280。图8A至图8F为根据本发明实施的该过程的一较佳实施例的图形描述。从图8A中可见,当在一角落位置(当然其它位置亦有可能)检测到一副区块(A)时,执行重定位以移动该副区块至一新副区块位置,如图8B所示。在此情形下,藉由绕垂直于所量测的移动向量的轴旋转而选择一新区块。另外,精确位置亦可根据新提议副区块位置的相对像素强度而变化,且可估计许多位置以选择一新副区块。图8B中的选择亦利用移动向量信息以有意选择最有可能处于下一样本影像帧的中心且事实上位于该处的一区块。在图8C及8D中描述类似情形。然而,在此情形下,由于副区块接近一水平边缘,故绕平行于该边缘的轴翻转该区块以重定位至主区块的左边,而非的前使用的右边。本领域的技术人员亦了解其它实例,且若必要可根据应用及在帧之间改变所采用的特定策略。
图8E及8F描述一主区块(M)开始占据感应器阵列的一边缘的情形。在所述情形下,在操作290中参考影像较佳由影像传感器撷取的一新影像替换。或者,或除此之外,亦选择一新主区块(M)及一新副区块(A)。
藉由使用上述追踪单元方法,可适当地调节副区块相对于主区块的位置及副区块的数量以满足各种影像条件且有效检测影像的动作。
如前文间接提到,可能期望亦在操作275(步骤A)中重成形或重选择副区块。图9A至图9B为根据本发明实施的一副区块重成形过程的一较佳实施例的图形描述。在图9A中可见,为一所提议的副区块识别的平均像素强度值相对接近为主区块(M)而识别的平均像素强度值。在此情形下,副区块的益处减少了,因为其并不提供任何明显新的信息给关联过程。为此原因,如图9B所示,较佳自一替换区域选择一新副区块,其中平均像素强度值比的前提议的副区块与主区块相比更加不同。
其它情形亦可要求重成形/重定位副区块。举例而言,在某些环境下可能决定导航器的快速移动引起该指针装置的行进方向的变形。换言之,影像可归因于考验采样率的快速移动而变形;期望保持后者较小以减少功率等。因此可能执行副区块的重成形以补偿动作的方向及幅度,使得一新区块具有在一比较过程中比较不容易扭曲或发生错误的几何形状。举例而言,当在水平方向上检测到快速动作时,可采用在垂直方向上具有相对较大尺寸的一新副区块,反的亦然。
除上述的实施例之外,图10A至图10K为可根据本发明实施使用的一追踪单元的一定数量个变型的图形描述。可看出该追踪单元可基于各种主区块形状及副区块/副特征形状。在某些应用中,可能期望使用连续区块(图10A、10B)、隔开区块(图10C)、不规则(例如,非矩形)匹配形状(图10D)、不规则形状与规则形状的组合(图10E、10F)、多个副区块形状(见图10I、10J、10K)、多个重迭副区块形状(图10G)且甚至重迭主区块与副区块形状(图10H)。因此,应理解本文所使用的“区块”或“特征”并不一定代表矩形/方形实体区块,且该主区块与副区块的一或两者可为不规则形状。基于本揭示内容本领域的技术人员将易了解其它实例。
应了解由处理模块120使用以实施上述本发明方法的固件程序可以熟知方式在制造对象(诸如普遍用于传输所述程序的传统计算机可读媒体)中得以实现。所述媒体可包括快闪驱动器、软盘机、磁带、硬盘、光学驱动器或等效非挥发性储存系统。以此格式,所述程序可容易地得以传输。或者在上述中,程序可实施为一单独集成电路的非挥发性储存部分的部分,或嵌入为在典型DSP、微处理器或RISC处理器的架构中非挥发性储存结构的部分。用于执行所述程序的指令可如同其它程序ROM一样且使用习知制造技术经编码或实施于硅或金属中。
此外本领域的技术人员应了解本文中阐述内容并非可使用的程序的全部集合,或所述程序执行的所有操作的无遗漏清单。事实上,期望光学导航器设计者根据客户偏好和/或系统效能要求添加其它特征。
另外,本领域的技术人员易了解实施本发明的一光学导航系统视目的使用者的需要、要求或愿望及其它技术限制而定可能不包括如上所示的所有程序。因此,本发明并不限于上述的较佳实施例。最后,本文中虽未清楚展示或描述,在所述模块中实现上述功能所需要的各种软件程序、可执行码等的细节对本发明而言并不重要,且可基于本描述以本领域的技术人员已知的任何数量的方式得以实施。
上述描述目的仅为所提出本发明的说明性实施例。应理解本发明所提供的保护亦包括并延伸至在本发明申请专利范围的范畴内且与上文不同的实施例。

Claims (30)

1.一种使用一影像传感器以决定一组移动影像相关的一移动向量的方法,该方法包含:
撷取对应于一第一区域的一第一影像;
自该第一影像决定一主区块,该主区块包含一小于该第一区域的一主区块区域;
自该第一影像决定至少一与该主区块相关的副区块,该副区块包含一小于该第一区域的一副区块区域;
其中该主区块及该副区块形成该第一影像中的一追踪单元;
使用该影像传感器撷取时间上在该第一影像之后的一第二影像;
使用该追踪单元将该第一影像关联至该第二影像,以决定该追踪单元在该第一及第二影像之间的一位置变化;以及
输出基于该位置变化的该移动向量。
2.如权利要求1所述的决定移动向量的方法,其中该关联过程包含:
使用该第一影像的该主区块在该第二影像中进行区块匹配,以决定该主区块在该第二影像中相对于该第一影像的一位置位移;
在该第二影像中使用该第一影像的所述副区块进行检验,以决定认该第二影像相对于该第一影像的该位置位移。
3.如权利要求1所述的决定移动向量的方法,其中该副区块的面积小于该主区块的面积。
4.如权利要求1所述的决定移动向量的方法,其中该副区块藉由一中间区域与该主区块隔开。
5.如权利要求4所述的决定移动向量的方法,其中该中间区域为至少一像素宽。
6.如权利要求4所述的决定移动向量的方法,其更包含一步骤:藉由比较一组候选副区块的像素值以及该主区块的像素值以评估该组候选副区块。
7.如权利要求1所述的决定移动向量的方法,其中该追踪单元包括多个分离的副区块。
8.如权利要求7所述的决定移动向量的方法,其中该多个分离的副区块包括至少两个在大小和/或形状上不同的区块。
9.如权利要求1所述的决定移动向量的方法,其进一步包含一步骤:自该第一影像的一中心部分选择该主区块。
10.如权利要求1所述的决定移动向量的方法,其中该主区块具有一与该副区块不同的形状。
11.如权利要求6所述的决定移动向量的方法,其进一步包括一步骤:自该组候选副区块中选择像素强度值与该主区块最为不同的一副区块。
12.如权利要求1所述的决定移动向量的方法,其进一步包含一步骤:基于该第二影像内的该副区块的一位置的一分析,重定位(re-positioning)该副区块。
13.如权利要求1所述的决定移动向量的方法,其进一步包含一步骤:基于该移动向量的一分析,重定位该副区块。
14.如权利要求1所述的决定移动向量的方法,其进一步包含一步骤:基于该副区块区域的光学特性相对于该主区块区域的光学特性的一分析,重成形该副区块。
15.如权利要求1所述的决定移动向量的方法,其进一步包含一步骤:基于该移动向量的一分析,重成形该副区块。
16.如权利要求1所述的决定移动向量的方法,其进一步包含一步骤:计算该主区块和/或该副区块在该第二影像内的一预测位置。
17.如权利要求16所述的决定移动向量的方法,其包含一步骤:在该预测位置处和/或在该预测位置周围处的一有限区域中开始执行该关联。
18.如权利要求1所述的决定移动向量的方法,其中在检测到超出一临限值的一关联值时终止该关联以决定该位置位移。
19.如权利要求1所述的决定移动向量的方法,其中该移动向量基于检测在该主区块中的一第一位置位移及在该副区块中的一第二位置位移,及基于该第一位置位移及该第二位置位移来计算一估计位移。
20.如权利要求19所述的决定移动向量的方法,其中该估计位移为该第一位置位移与该第二位置位移的一权重平均。
21.如权利要求1所述的决定移动向量的方法,其中组合该主区块与该副区块以使得对于该主区块与该副区块两者同时执行该关联。
22.如权利要求1所述的决定移动向量的方法,其中该主区块及该副区块中的至少一个具有一不为矩形的不规则形状。
23.如权利要求1所述的决定移动向量的方法,其中该第二影像及该第一影像为由该影像传感器撷取的非连续影像。
24.一种用于决定包含一影像传感器的一光学追踪装置的相对运动的动作追踪方法,该方法包含以下步骤:
撷取一第一影像,其由分别代表该成像传感器所感知的一光强度的一像素值的阵列所组成;
选择该像素值的阵列中的一第一区块及与该第一区块成一预定关系的至少一额外特征,以建构一第一追踪单元;
撷取时间上在该第一影像之后的一第二影像;
检测在该第二影像内最匹配该第一影像中的该第一追踪单元的一第二追踪单元;
根据在该第一追踪单元与该第二追踪单元之间的一位移决定自该第一影像至该第二影像的一相对运动;以及
基于该影像传感器所撷取的影像的一个或多个累积的相对运动报告该光学追踪装置的一动作。
25.一种光学导航系统,其包含:
一影像传感器阵列,其适于撷取对应于一第一区域的一第一影像及时间上在该第一影像之后对应于一第二区域的一第二影像;
一处理电路,其适于:
a.自该第一影像决定包括小于该第一区域的一主区块区域的一主区块;
b.自该第一影像决定与该主区块相关的至少一副区块,该副区块包括小于该第一区域的一副区块区域;
c.形成一追踪单元,其包括该主区块及该副区块;
d.使用该追踪单元将该第一影像关联至该第二影像,以决定该追踪单元在影像之间的一位置变化;
e.输出基于该位置变化的一移动向量。
26.如权利要求25所述的光学导航系统,其中该光学导航系统由一个或多个集成电路组成。
27.如权利要求25所述的光学导航系统,其中该光学导航系统容纳于一指针装置内。
28.如权利要求27所述的光学导航系统,其中该指针装置耦接至一计算系统,该计算系统基于该追踪单元进行操作。
29.如权利要求25所述的光学导航系统,其中该处理电路包括一DSP及一可执行程序指令的集合。
30.一种光学导航器,其包含:
一影像传感器,其经组态以撷取一第一影像及一第二影像;
一用于自该第一影像决定一主区块的装置;
一用于自该第一影像决定与该主区块相关的一个或多个副区块的装置;
其中该主区块及该或所述副区块形成该第一影像中的一追踪单元;
一用于使用该影像传感器撷取时间上在该第一影像之后的一第二影像的装置;
一用于使用该第一影像的该追踪单元将该第一影像关联至该第二影像的装置,
其中该关联过程包含:将该第一影像的该主区块匹配至在该第二影像中的一位置,以决定该第二影像相对于该第一影像的一位置变化;
藉由识别该第二影像中该或所述副区块相对于该第一影像的一位置,验证该位置变化;以及
一用于输出基于该位置变化的移动向量的装置。
CNB2006101603707A 2006-04-28 2006-11-15 用于光学导航装置的检测影像中动作的方法及装置 Active CN100472418C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/380,796 2006-04-28
US11/380,796 US8036428B2 (en) 2006-04-28 2006-04-28 Method and apparatus for detecting motion of image in optical navigator

Publications (2)

Publication Number Publication Date
CN101063911A CN101063911A (zh) 2007-10-31
CN100472418C true CN100472418C (zh) 2009-03-25

Family

ID=38647863

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101603707A Active CN100472418C (zh) 2006-04-28 2006-11-15 用于光学导航装置的检测影像中动作的方法及装置

Country Status (3)

Country Link
US (2) US8036428B2 (zh)
CN (1) CN100472418C (zh)
TW (2) TWI363286B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264462B2 (en) * 2007-05-31 2012-09-11 Stmicroelectronics S.A. Motion estimation with adaptation of the correlation block size
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
TWI471823B (zh) 2008-07-31 2015-02-01 Pixart Imaging Inc 以移動向量在微小點陣圖上決定座標的方法
CN101650618B (zh) * 2008-08-12 2011-06-29 原相科技股份有限公司 影像感测模组与影像感测系统
US8624836B1 (en) * 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input
TWI399676B (zh) * 2009-06-30 2013-06-21 Pixart Imaging Inc 觸控螢幕之物件偵測校正系統及其方法
US9665776B2 (en) * 2010-02-01 2017-05-30 Vito Nv System and method for 2D occupancy sensing
CN102339146A (zh) * 2010-07-27 2012-02-01 埃派克森微电子(上海)股份有限公司 具有外接式光学导航功能的电子设备及外接式光学导航装置
DE102010047269B4 (de) * 2010-10-01 2014-07-17 Diehl Aerospace Gmbh Schaltungsanordnung und Verfahren zur Überwachung eines DSPs im Rahmen einer sicherheitskritischen Anwendung
US8928626B2 (en) * 2011-04-27 2015-01-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical navigation system with object detection
US8965045B2 (en) * 2012-02-22 2015-02-24 Nokia Corporation Image capture
CN103914805A (zh) * 2013-01-04 2014-07-09 贝伦企业股份有限公司 指纹图像降阶处理装置及方法
TW201430632A (zh) * 2013-01-31 2014-08-01 Pixart Imaging Inc 光學導航裝置、方法及其電腦程式產品
FR3007832B1 (fr) * 2013-06-28 2015-07-17 Ixblue Systeme de navigation et de pointage et procede de calibration d'un systeme de navigation et de pointage
US9123131B2 (en) * 2013-09-24 2015-09-01 Pixart Imaging Inc. Parallel correlation method and correlation apparatus using the same
US9141204B2 (en) 2014-02-18 2015-09-22 Pixart Imaging Inc. Dynamic scale for mouse sensor runaway detection
US9927884B2 (en) * 2015-11-06 2018-03-27 Pixart Imaging (Penang) Sdn. Bhd. Non transitory computer readable recording medium for executing image processing method, and image sensing device applying the image processing method
CN107490370B (zh) * 2016-06-13 2020-01-10 原相科技股份有限公司 测量装置及其运作方法,轨迹感测系统及其轨迹感测方法
GB2564133B (en) * 2017-07-04 2021-03-17 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
TWI632504B (zh) * 2017-08-18 2018-08-11 威聯通科技股份有限公司 揮舞動作偵測方法及電子裝置
US10564174B2 (en) * 2017-09-06 2020-02-18 Pixart Imaging Inc. Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
CN110390365B (zh) * 2018-04-16 2022-11-22 台达电子工业股份有限公司 载具追踪系统及方法
CN111623810A (zh) 2019-02-27 2020-09-04 多方科技(广州)有限公司 移动侦测方法及其电路
US11199910B2 (en) * 2019-06-10 2021-12-14 Pixart Imaging Inc. Optical navigation device, optical navigation method and image processing system
US11079857B2 (en) * 2019-09-03 2021-08-03 Pixart Imaging Inc. Optical detecting device
CN113938611A (zh) * 2021-05-19 2022-01-14 神盾股份有限公司 远程监测装置及其远程监测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786804A (en) 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US5729008A (en) 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
US6212237B1 (en) * 1997-06-17 2001-04-03 Nippon Telegraph And Telephone Corporation Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
WO2001010135A1 (en) * 1999-07-29 2001-02-08 Mitsubishi Denki Kabushiki Kaisha Moving vector detecting method
US6859199B2 (en) * 2001-11-06 2005-02-22 Omnivision Technologies, Inc. Method and apparatus for determining relative movement in an optical mouse using feature extraction
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals

Also Published As

Publication number Publication date
US8036428B2 (en) 2011-10-11
CN101063911A (zh) 2007-10-31
TWI363285B (en) 2012-05-01
US20120020520A1 (en) 2012-01-26
TW201205363A (en) 2012-02-01
TW200741516A (en) 2007-11-01
TWI363286B (en) 2012-05-01
US20070252814A1 (en) 2007-11-01
US8320625B2 (en) 2012-11-27

Similar Documents

Publication Publication Date Title
CN100472418C (zh) 用于光学导航装置的检测影像中动作的方法及装置
CN1834878B (zh) 光学导航系统
US8588471B2 (en) Method and device of mapping and localization method using the same
US7729512B2 (en) Stereo image processing to detect moving objects
US9338434B2 (en) Parallax calculation method and parallax calculation device
EP3265896B1 (en) Method and system for estimating finger movement
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
CN109901156A (zh) 一种车辆毫米波雷达和摄像头的目标融合方法和装置
CN100365654C (zh) 图像处理装置
CN105955258A (zh) 基于Kinect传感器信息融合的机器人全局栅格地图构建方法
CN104240266A (zh) 基于颜色-结构特征的目标对象跟踪方法
EP2687813B1 (en) System and method for proximity sensing using changed light quantity of reflection light
CN102596517A (zh) 移动机器人定位和导航控制方法及使用该方法的移动机器人
KR101100827B1 (ko) 도로주행 로봇의 자기 위치 인식방법
CN102074018A (zh) 一种基于深度信息的轮廓跟踪方法
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
TW202244847A (zh) 目標跟蹤方法、裝置、電子設備及儲存媒體
US20050089196A1 (en) Method for detecting sub-pixel motion for optical navigation device
CN107209581B (zh) 利用选择导览子区域来估计手指移动的方法和系统
KR101016095B1 (ko) 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법
CN103810472B (zh) 基于运动相关性的瞳孔位置滤波方法
CN103688139A (zh) 用于便携式终端设备的进行行人脚步识别的方法和装置
CN102289820B (zh) 智能跟踪球机及其跟踪方法
Zhang et al. Reidentification-based automated matching for 3D localization of workers in construction sites
EP3905113A1 (en) Camera height calculation method and image processing apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant