CN101354434B - 次像素精度的位移量侦测方法及使用该方法的装置 - Google Patents

次像素精度的位移量侦测方法及使用该方法的装置 Download PDF

Info

Publication number
CN101354434B
CN101354434B CN2007101284744A CN200710128474A CN101354434B CN 101354434 B CN101354434 B CN 101354434B CN 2007101284744 A CN2007101284744 A CN 2007101284744A CN 200710128474 A CN200710128474 A CN 200710128474A CN 101354434 B CN101354434 B CN 101354434B
Authority
CN
China
Prior art keywords
frame
search
pixel
image
searching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101284744A
Other languages
English (en)
Other versions
CN101354434A (zh
Inventor
陈信嘉
赵子毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN2007101284744A priority Critical patent/CN101354434B/zh
Publication of CN101354434A publication Critical patent/CN101354434A/zh
Application granted granted Critical
Publication of CN101354434B publication Critical patent/CN101354434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种次像素精度的位移量侦测方法,所述方法包含下列步骤:撷取第一阵列图像以及第二阵列图像;针对所述第一阵列图像进行内插运算以形成参考图像;针对所述第二阵列图像进行内插运算以形成比对图像;以及比对所述参考图像和所述比对图像以求出位移量。本发明还提供一种次像素精度的位移量侦测装置。

Description

次像素精度的位移量侦测方法及使用该方法的装置
技术领域
本发明涉及一种图像位移侦测方法及装置,特别涉及一种次像素精度的位移量侦测方法及装置。
背景技术
现有的次像素位移量的侦测方法,如台湾专利公告第I225622号,名称为“应用于光学轨迹导航元件的次像素位移量侦测方法”,它是以泰勒展开式的一阶偏微分函数所建立的联立方程式来计算次像素位移量。所述侦测方法包含下列步骤:撷取第一张图像与第二张图像;选取多个图像点作为计算参考点;根据前述第一张图像与第二张图像计算出前述计算参考点的泰勒展示的一阶偏微分函数的偏微分量,以产生多个二元一次方程式;以及根据前述多个二元一次方程式计算次像素位移量。然而在实际使用时,此种利用泰勒展开式估测的方法由于省略了泰勒展开式的高次项而存在误差,因此其适用于位移量较小的状况,但是当位移量逐渐增大时,所估测出位移量的误差也相对增大。除此之外,泰勒展开式的偏微分处理对于噪声具有较高的敏感度,因此估测结果容易被噪声所影响。
另一种现有的计算相对位移量的方法,如美国专利第5,729,008号,名称为“由光学图像阵列的相关信号追踪相对移动的方法与装置(Method anddevice for tracking relative movement by correlating signals from an array ofphotoelements)”,如图1所示,使用图像装置撷取7×7像素的第一图像91,并选定中央的5×5像素为搜寻框93,并撷取第二图像92;使所述搜寻框93在所述第二图像92中朝不同方向移动,则可得到图像940~948,并根据所述搜寻框93在所述图像940~948中与所述第二图像92的相关性,以计算相对移动量。然而在实际使用时,此种方法最小可求得的移动量为图像撷取装置中两相邻像素的距离,当移动量小于两相邻像素的距离时,则无法判断所述微小位移量。
基于上述原因,确实仍有必要进一步改良上述现有的像素位移量侦测方法及装置,以解决现有技术中所存在的问题。
发明内容
本发明的一个目的在于提供一种次像素精度的位移量侦测方法及装置,所述方法以及装置通过内插运算以增加搜寻范围,并增加图像细致度。
本发明另一个目的在于提供一种次像素精度的位移量侦测方法及装置,所述装置可以通过两阶段搜寻,以增加搜寻速度。
为达到上述目的,本发明提供一种次像素精度的位移量侦测方法,所述方法包含下列步骤:撷取第一阵列图像以及第二阵列图像;针对所述第一阵列图像进行内插运算以形成参考图像;针对所述第二阵列图像进行内插运算以形成比对图像;以及比对所述参考图像以及所述比对图像,以求出位移量。
根据本发明的另一个特点,本发明还提供一种次像素精度的位移量侦测方法,所述方法包含下列步骤:撷取第一阵列图像以及第二阵列图像;在所述第二阵列图像中进行第一次搜寻比对;针对所述第一阵列图像进行内插运算以形成参考图像;针对所述第二阵列图像进行内插运算以形成比对图像;在所述比对图像中进行第二次搜寻比对;以及计算位移量。
根据本发明的另一个特点,本发明还提供一种次像素精度的位移量侦测方法,所述方法包含下列步骤:撷取第一阵列图像以及第二阵列图像;针对所述第一阵列图像进行内插运算形成参考图像;针对所述第二阵列图像进行内插运算以形成比对图像;在所述比对图像中进行第一次搜寻比对;在所述比对图像中进行第二次搜寻比对;以及计算位移量。
本发明还提供一种次像素精度的位移量侦测装置,所述装置包含图像撷取单元、内插单元、储存单元以及处理单元。所述图像撷取单元用以撷取来自一个表面的第一阵列图像以及第二阵列图像;所述内插单元针对所述第一阵列图像以及所述第二阵列图像进行内插运算,以分别形成参考图像以及比对图像;所述储存单元用以储存所述第一阵列图像、第二阵列图像、参考图像以及比对图像;所述处理单元用以比对所述第一阵列图像以及所述第二阵列图像,和/或比对所述参考图像以及所述比对图像,并求出位移量。
本发明的次像素精度的位移量侦测方法及装置利用内插运算的方式来增加搜寻范围,可用于侦测具有次像素精度等级的微小位移量,且侦测的结果可透过传输介面传送至图像显示装置,例如电视屏幕、电脑屏幕、游戏机屏幕或投影幕上,以进行游标控制或指向器瞄准点的控制。所述次像素精度的位移量侦测装置的一个实施例包含光学鼠标以及导航装置(navigationdevice)。
附图说明
图1为现有的用以计算相对移动量的方法的示意图;
图2为本发明的次像素精度的位移量侦测装置的一个实施例的立体示意图;
图3为本发明的次像素精度的位移量侦测装置的一个实施例的方块示意图;
图4为本发明实施例的次像素精度的位移量侦测方法的内插运算的示意图;
图5为本发明实施例的次像素精度的位移量侦测方法的流程图;
图6为本发明实施例中一个表面上的亮度分布示意图;
图7a为本发明实施例的图像撷取单元所撷取的第一阵列图像灰阶值分布的示意图;
图7b为本发明实施例的图像撷取单元所撷取的第二阵列图像灰阶值分布的示意图;
图8a为本发明实施例的图像撷取单元所撷取的第一阵列图像以及参考图像的其中一行灰阶值分布的示意图,其中上方行显示第一阵列图像的其中一行以及第一参考搜寻框,下方行显示参考图像的其中一行以及第二参考搜寻框;
图8b为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的示意图,其中上方行显示第二阵列图像的其中一行以及第一搜寻框,下方行显示比对图像的其中一行以及第二搜寻框;
图8c为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框向右方搜寻2列亮度间隔,所述第二搜寻框向右方搜寻1列亮度间隔;
图8d为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框再度向右方搜寻2列亮度间隔,所述第二搜寻框再度向右方搜寻1列亮度间隔;
图8e为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框再度向右方搜寻2列亮度间隔,所述第二搜寻框再度向右方搜寻1列亮度间隔。
图8f为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框再度向右方搜寻2列亮度间隔并完成第二阵列图像的搜寻,所述第二搜寻框再度向右方搜寻1列亮度间隔;
图8g为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框已完成第二阵列图像的搜寻,所述第二搜寻框再度向右方搜寻1列亮度间隔;
图8h为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框已完成第二阵列图像的搜寻,所述第二搜寻框再度向右方搜寻1列亮度间隔;
图8i为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框已完成第二阵列图像的搜寻,所述第二搜寻框再度向右方搜寻1列亮度间隔;
图8j为本发明实施例的图像撷取单元所撷取的第二阵列图像以及比对图像的其中一行灰阶值分布的另一示意图,其中所述第一搜寻框已完成第二阵列图像的搜寻,所述第二搜寻框再度向右方搜寻1列亮度间隔并完成比对图像的搜寻;
图9为本发明实施例的比对图像以及所述第二搜寻框的第四参考点搜寻位置的示意图,其中所述第二搜寻框需搜寻81次;
图10为本发明实施例的快速次像素精度的位移量侦测方法的流程图;
图10a为本发明实施例的快速次像素精度的位移量侦测方法的第一次搜寻位置的示意图,其中显示第一次需搜寻25次;
图10b为本发明实施例的快速次像素精度的位移量侦测方法的第二次搜寻位置的示意图,其中显示第二次需搜寻9次;
图11为本发明实施例的另一快速次像素精度的位移量侦测方法的流程图;
图11a为本发明实施例的另一快速次像素精度的位移量侦测方法的第一次搜寻位置的示意图,其中显示第一次需搜寻25次;
图11b为本发明实施例的另一快速次像素精度的位移量侦测方法的第二次搜寻位置的示意图,其中显示第二次需搜寻9次。
【主要元件符号说明】
1    位移量的侦测装置          101  光源
102  图像撷取单元              103  内插单元
104  储存单元                  105  处理单元
106  传输单元                  107  透镜
21   第一阵列图像              211  第一参考搜寻框
212  第一参考点                213  第一阵列图像其中一行
22   参考图像                  221  第二参考搜寻框
222  第二参考点                223  参考图像其中一行
23   第二阵列图像              231  第一搜寻框
232  第三参考点                233  第二阵列图像其中一行
234  第一最佳参考点            24   比对图像
241  第二搜寻框                242  第四参考点
243  比对图像其中一行          244  内插后第一最佳参考点
245  第二最佳参考点            246  第三最佳参考点
247  第四最佳参考点            91   第一图像
92   第二图像                  93   搜寻框
940~948  图像相关性           A1~A6  步骤
B1~B7  步骤                   C1~C6  步骤
S  表面
具体实施方式
为了让本发明的上述和其他目的、特征及优点能更明显,下文特举本发明实施例,并配合所附图示,作详细说明如下。此外,在本说明书的说明内容中,类似的元件是以相同的编号表示。
请参照图2以及3示,其分别显示根据本发明实施例的次像素精度的位移量侦测装置1的立体示意图以及方块示意图,其实施例包含,但不限于,光学鼠标以及导航装置(navigation device)等。在本发明的说明中,所述侦测装置1以光学鼠标作为例示性的说明(图2),所述侦测装置1具有壳体100,所述壳体100下方具有孔H并放置于表面S上使用,例如桌面或鼠标垫的表面等,所述壳体100内部包含光源101、图像撷取单元102、内插单元103、储存单元104、处理单元105、传输单元106以及至少一个透镜107。所述光源101的实施例包括发光二极管以及激光二极管,例如可为红外光发光二极管或红外光激光二极管,用以透过所述壳体100的孔H向所述表面S投射光,且自所述表面S的光反射再度经过所述壳体100的孔H进入所述壳体100。所述图像撷取单元102的实施例包括电荷耦合元件图像感测器(CCD imagesensor)、互补金属氧化物半导体图像感测器(CMOS image sensor)以及其他类型的图像感测器,用于接收来自所述壳体100的孔H,且自所述表面S的反射光连续光图像并转换成多个阵列图像。在一个实施例中,所述多个阵列图像可选择先储存在所述储存单元104后,接着由所述内插单元103将储存于所述储存单元104的所述多个阵列图像分别进行内插运算,例如利用双线性内插法(bilinear interpolation),形成至少一个参考图像以及多个比对图像后,再度回存至所述储存单元104。另一种实施例中,所述多个阵列图像可直接经由所述内插单元103进行内插运算后形成一个参考图像以及多个比对图像并储存至所述储存单元104。所述处理单元105在所述参考图像(储存于所述储存单元104内)中选择参考搜寻框,并在所述多个比对图像(储存在所述储存单元104内)中选择搜寻框,利用所述搜寻框搜寻整个比对图像并与所述参考搜寻框作比对,则可计算出所述壳体100相对于所述表面S的移动量,其详细内容以及内插运算的实施方式将在下列段落中说明。最后经由所述传输单元106将所求得的移动量传送至图像显示装置(未绘示),例如电脑屏幕、电视屏幕、游戏机屏幕或投影屏幕等,以进行相应的控制,例如可控制电脑屏幕上鼠标的动作或指向器指针的动作。此外,所述光源101的前方可选择设置透镜107,用以调整所述光源101的照射范围;所述图像撷取单元102的前方也可选择设置透镜107以提高所述图像撷取单元102的感光效率。
请参照图2、3以及4所示,接着说明本发明实施例的内插运算方式。所述图像撷取单元102在第一时间撷取来自所述表面S的光信号后形成第一阵列图像21,在本实施例中,所述第一阵列图像21为一个8×8像素(pixel)的阵列图像,在内插运算前所述第一阵列图像21的左上方像素灰阶值为x[m,n],其相邻下方像素灰阶值为x[m+1,n],其相邻右方像素灰阶值为x[m,n+1],且其相邻右下方像素灰阶值为x[m+1,n+1],每一个像素都有一个相应的像素值。选定所述第一阵列图像21的中央4×4像素范围为第一参考搜寻框211,同时选定所述第一参考搜寻框211的左上方像素为第一参考点212,且选定其起始坐标为[xstart_1,ystart_1]。接着所述内插单元103利用下列公式将所述第一阵列图像21进行内差运算:
x[2m+p,2n+q]=(1-t)×(1-u)×x[2m,2n]+t×(1-u)×x[2m+2,2n]+(1-t)×u×x[2m,2n+2]+t×u×x[2m+2,2n+2],其中(t,u)=(p/2,q/2),且0≤p≤2以及0≤q≤2;
内插运算的结果可得到参考图像22,其中所述参考图像22左上方像素灰阶值为x[2m,2n],其下方相隔一个像素的像素灰阶值为x[2m+p,2n],其右方相隔一个像素的像素灰阶值为x[2m,2n+q],且其右下方相隔一个像素的像素灰阶值为x[2m+p,2n+q]。在这个实施例中,所述参考图像22中包含多个未经过内插运算的像素,其灰阶值为所述第一阵列图像21中像素的灰阶值(如图中显示空白的像素,例如X[m,n]与X[2m,2n]的像素的灰阶值相同),并具有多个经过内插运算后所产生的像素,所述像素就是本文中所称的次像素(如图中显示斜线的像素)。所述第一参考搜寻框211经过内插运算后则形成一个7×7像素范围的第二参考搜寻框221,并选定所述第二参考搜寻框221的左上方像素为第二参考点222,且选定其起始坐标为[xstart_2,ystart_2]。必须了解的是,在两相邻像素间内插一个次像素仅为本发明的例示性实施方式,在其他实施例中也可以内插一个次像素以上,并不脱离本发明的精神。
所述图像撷取单元102在第二时间撷取来自所述表面S的光信号后形成一个第二阵列图像23,且所述第二阵列图像23同样经由所述内插单元103执行内插运算后,形成一个比对图像24,其内插运算方式与前述形成所述参考图像22的过程相同,这里不再赘述。通过这样,所述比对图像24中包含多个未经过内插运算的像素,其灰阶值为所述第二阵列图像23中的像素灰阶值(如图中显示空白的像素),并具有多个经过内插运算后所产生的像素,所述像素就是本文中所称的次像素(如图中显示斜线的像素)。因此,所述处理单元105在所述第二阵列图像23中选定第一搜寻框231,所述第一搜寻框与所述第一参考搜寻框211具有相同的像素范围,并对应于所述第一参考点212在所述第一参考搜寻框211中的位置,在所述第一搜寻框231中选定第三参考点232;并在所述比对图像24中选定第二搜寻框241,其与所述第二参考搜寻框221具有相同的像素范围,并对应于所述第二参考点222在所述第二参考搜寻框221的位置,在所述第二搜寻框241中选定第四参考点242。必须了解的是,所述第一参考点212在所述第一参考搜寻框211中的位置、所述第二参考点222在所述第二参考搜寻框221中的位置、所述第三参考点232在所述第一搜寻框231中的位置以及所述第四参考点242在所述第二搜寻框241中的位置并不限定于本实施例中所揭示的,可以位于各搜寻框内任何位置。
在本说明中,分别列出现有技术中未经过内插运算而运用本发明的方法直接进行位移量估测以及本发明中经过内插运算后进行位移量估测的实施方式以作为比较。在现有技术中不进行内插运算而直接进行位移量估测的实施方式中,利用所述第一搜寻框231在所述第二阵列图像23逐一搜寻所有像素并与所述第一参考搜寻框211进行比对,如图4所示,若以所述第一参考点212的起始坐标[xstart_1,ystart_1]为基准,则所述第一搜寻框231在所述第二阵列图像23的搜寻范围为[xstart_1-2,xstart_1+2;ystart_1-2,ystart_1+2],也就是所述第一搜寻框231在所述第二阵列图像23中搜寻并与所述第一参考搜寻框211进行比对的次数共为25次,且每次比对为计算所述第一参考搜寻框211每一个像素的灰阶值与所述第一搜寻框231中相应位置的像素灰阶值差值绝对值的总和,共可得到25个差值绝对值的总和,并以差值绝对值的总和最小时判定为最佳比对,藉此以计算其位移量,其详细计算方式将在下列段落中举例说明。
在本发明中经过内插运算后进行位移量估测的实施方式中,则利用所述第二搜寻框241在所述比对图像24逐一搜寻所有像素并与所述第二参考搜寻框221进行比对,如图4所示,此时若以所述第二参考点222的起始座标[xstart_2,ystart_2]为基准,则所述第二搜寻框241在所述比对图像24的搜寻范围为[xstart_2-4,xstart_2+4;ystart_2-4,ystart_2+4],也就是所述第二搜寻框241在所述比对图像24中搜寻并与所述第二参考搜寻框221进行比对的次数增加为81次,且每次比对为计算所述第二参考搜寻框221每一个像素的灰阶值与所述第二搜寻框241中相应位置的像素灰阶值差值绝对值的总和,共可得到81个差值绝对值的总和,并以差值绝对值的总和最小时判定为最佳比对,通过这样计算其位移量。由此可知,在进行内插运算后可增加搜寻范围,以增加图像细致度。
请参照图5所示,其显示本发明的一个实施例的次像素精度的位移量侦测方法的流程图,所述方法包含下列步骤:撷取多个阵列图像(步骤A1);储存阵列图像(步骤A2);进行内插运算(步骤A3);储存内插后图像(步骤A4);进行搜寻比对(步骤A5)以及求得位移量(步骤A6)。
请参照图5、6以及7a至7b所示,以下说明本实施例的次像素精度的位移量侦测方法。在此实施例中,所述表面S上经所述光源101照射后形成16列亮度的变化,如图6所示,其中每列中的亮度均相等且每列的间距为所述图像撷取单元102的感测阵列(未绘示)中相邻感测像素距离的一半,且所述感测阵列具有8×8像素,实际的像素数目则根据感测阵列的解析度而不同。在第一时间t1,所述图像撷取单元102撷取所述表面S中亮度的偶数列而形成第一阵列图像21,如图7a所示,其中每一个圆圈皆表示一个像素,且像素内的数字则表示所述像素的亮度(灰阶值)。在第二时间t2,所述位移量侦测装置1朝向图6的左方移动一列亮度距离(即所述图像撷取单元102的感测阵列中感测像素距离的一半),因此所述图像撷取单元102撷取所述表面S上亮度的奇数列而形成第二阵列图像23,如图7b所示(步骤A1)。接着可选择先将所述第一阵列图像21以及所述第二阵列图像23储存至所述储存单元104(步骤A2),也可选择不经储存而直接由所述内插单元103针对所述第一阵列图像21以及所述第二阵列图像23进行内插运算后(步骤A3),接着再存入所述储存单元104(步骤A4)。
请参照图7a、7b以及8a至8j所示,由于所述图像撷取单元102的感测阵列所感测的每一列亮度都相等,为简化说明,仅取所述第一阵列图像21以及第二阵列图像23之中的一行进行说明,例如第1行。在图8a中,上方行表示所述第一阵列图像21的第一行213,其中实线方框范围表示所选定的第一参考搜寻框211,其为一个1×4的像素范围,同时选定所述像素范围的左侧第1个像素为所述第一参考点212。下方行则表示经过内插运算后所形成的参考图像22(未绘示)的第一行223,其中虚线方框范围表示所选定的第二参考搜寻框221,其为一个1×7的像素范围,同时选定所述像素范围的左侧第1个像素为所述第二参考点222。在图8b至8j中,上方行表示为所述第二阵列图像23的第一行233,其中实线方框范围表示所选定的第一搜寻框231,其为一个1×4的像素范围,同时选定所述像素范围的左侧第1个像素为第三参考点232,所述第一搜寻框231逐一搜寻所述第二阵列图像23第一行233的所有像素(一次两列亮度距离)。下方行则表示经过内插运算后所形成的比对图像24(未绘示)的第一行243,其中虚线方框范围表示所选定的第二搜寻框241,其为一个1×7的像素范围,同时选定所述像素范围的左侧第1个像素为所述第四参考点242,所述第二搜寻框241逐一搜寻所述比对图像24第一行243的所有像素(一次一列亮度距离)。
在现有技术的未进行内插运算而直接进行位移量估测中,利用所述第一搜寻框231在所述第二阵列图像23中逐一搜寻并与所述第一参考搜寻框211比对。首先将图8b的第一搜寻框231的各像素[0,0,0,0]与所述第一参考搜寻框211的各像素[0,0,128,128]分别相减后的绝对值相加,因而可得到比对值为256。然后依序将图8c至8f中的所述第一搜寻框231的各像素与所述第一参考搜寻框211的各像素[0,0,128,128]分别相减后的绝对值相加,则可得到多个比对值分别为192、64、64以及192。本发明用以判定为最佳比对的方式设定为比对值最小的第一搜寻框231,也就是现有技术在未进行内插运算而直接进行位移量估测时可得到2个最佳比对值都为64(图8d以及图8e)。此时,位移量表示由所述第一参考点212位移至图8d的第三参考点232,也就是表示所述位移量的侦测装置1无位移;同时,位移量也表示由所述第一参考点212位移至图8e的第三参考点232(向右位移1列亮度),也就是表示所述侦测装置1相对向左位移1列亮度的距离。由此可知,由于现有技术中未进行内插运算,所述侦测装置1有可能无法正确判定位移方向以及位移量。
本发明在内插运算后才进行位移量估测,判定的方式为利用所述第二搜寻框241在所述比对图像24中逐一搜寻并与所述第二参考搜寻框221比对。首先将图8b的第二搜寻框241的各个像素[0,0,0,0,0,0,0]与所述第二参考搜寻框221的各个像素[0,0,0,64,128,128,128]分别相减后的绝对值相加,因而可得到比对值为448,然后依序将图8c至8j中的第二搜寻框241的各个像素与第二参考搜寻框221的各个像素[0,0,0,64,128,128,128]分别相减后的绝对值相加,则可得到多个比对值分别为416、352、256、128、64、128、256以及352,由于本发明用以判定为最佳比对的方式设定为比对值最小的所述第二搜寻框241,此实施例中,先进行内插运算后再判定移动量,可仅得到1个最佳比对值64(图8g)。此时,位移量表示由所述第二参考点222位移至图8g的第四参考点242(向右位移1列亮度),可算出所述位移量的侦测装置1相对向左位移1列亮度的距离。由此可知,本发明(进行内插运算)可正确估测所述侦测装置1的位移方向以及位移量至次像素精度等级。
请参照图4、9、10、10a以及10b所示,如前所述,本发明经过内插运算后,所述第二搜寻框241在搜寻一个15×15像素范围时需要搜寻比对81次,如图9中所示,其中每一个第四参考点242都有一个相应的第二搜寻框241,图中可清楚看出所述第四参考点242共需搜寻81个位置。为了减少搜寻比对的次数,本发明另提供一种快速次像素精度的位移量侦测方法,如图10、10a以及10b所示,所述方法包含下列步骤:撷取多个阵列图像(步骤B1);储存所述多个阵列图像(步骤B2);进行第一次搜寻比对(步骤B3);进行内插运算(步骤B4);储存内插后图像(步骤B5);进行第二次搜寻比对(步骤B6);最后可求得一个位移量(步骤B7)。图10与图5的差别在于,在撷取多个阵列图像后(步骤B1)且在进行内插运算之前,先利用所述第一搜寻框231逐一搜寻第二阵列图像23,先找出第一最佳搜寻框,所述第一最佳搜寻框具有相应的第三参考点232(步骤B3),例如图10a中所示的像素234,此步骤中需要搜寻比对25次。接着再进行所述第一阵列图像23的内插运算(步骤B4),且令所述像素234经内插运算后成为像素244,可以了解的是,在此实施例中所述像素244为不需经内插运算的像素,因此234以及244具有相同的灰阶或亮度值。接着再利用第四参考点242逐一搜寻所述比对图像24中所述像素244以及其周围8个像素范围,并比对所述第四参考点242对应的第二搜寻框241以及第二参考搜寻框221,以找出第二最佳搜寻框,所述第二最佳搜寻框具有对应的第四参考点242,例如像素245,则所述像素245为最后的最佳匹配参考点(步骤B6),此步骤需要搜寻比对9次,因此本实施例中的搜寻比对次数总共为25+9=34次。最后,位移量的计算方式为计算所述最佳匹配参考点(像素245)与所述第二参考点222的距离(步骤B7)。通过这样,可有效减少搜寻比对的次数以增加位移量的运算速度。此外,其他步骤的实施方式则与图5的次像素精度的位移量侦测方法相类似,于此不再赘述。
请参照图4、9、11、11a以及11b所示,其显示本发明的另一种快速次像素精度的位移量侦测方法,所述方法包含下列步骤:撷取多个阵列图像(步骤C1);进行内插运算(步骤C2);储存内插后图像(步骤C3);进行第一次搜寻比对(步骤C4);进行第二次搜寻比对(步骤C5);最后可求得位移量(步骤C6)。当所述图像撷取单元102撷取到第一阵列图像21以及第二阵列图像23后(步骤C1),直接由所述内插单元103进行内插运算并形成参考图像22以及比对图像24(步骤C2)后,储存于所述储存单元104(步骤C3),所述处理单元105在所述参考图像22选定第二参考搜寻框221以及第二参考点222(参照图4),并在所述比对图像24中选定第二搜寻框241以及第四参考点242,接着所述处理单元105利用所述第二搜寻框241逐一搜寻所述比对图像24并与所述第二参考搜寻框221比对。在此实施例中,所述处理单元105控制所述第四参考点242仅搜寻所述比对图像24中部份选定位置的像素,如图11a中多个圆圈的位置(第四参考点242),共需搜寻25个位置,且每一个第四参考点242都具有一个对应的第二搜寻框241。如此可找出第三最佳搜寻框,且所述第三最佳搜寻框具有对应的第四参考点242,例如像素246,此步骤需要搜寻比对25次(步骤C4)。此为与图5的次像素精度的位移量侦测方法的主要差异之处,也就是所述第四参考点242先搜寻部份选定位置的像素。接着,所述处理单元105控制所述第四参考点242仅搜寻像素246以及其周围未搜寻过的像素,例如8个像素,并比对所述第四参考点242对应的第二搜寻框241以及所述第二参考搜寻框221,以找出第四最佳搜寻框,所述第四最佳搜寻框具有对应的第四参考点242,例如像素247,则所述像素247为最后的最佳匹配参考点(步骤C5),且此步骤需要搜寻比对9次,因此本实施例中的搜寻比对次数总共为25+9=34次。最后,位移量的计算方式为计算所述最佳匹配参考点(像素247)与所述第二参考点222的距离(步骤C6)。通过这样,可同样达到减少搜寻比对的次数以增加位移量运算速度的目的。此外,其他步骤的实施方式则与图5的次像素精度的位移量侦测方法相类似,于此不再赘述。
综上所述,由于现有利用泰勒展开式计算位移量的方法在计算较大位移量时会具有较大的误差,具有无法精确估测的问题。利用本发明的次像素精度的位移量侦测方法及装置,可通过过内插运算的方式以增加搜寻范围,并具有增加图像细致度的功效。
虽然本发明已通过上述较佳实施例揭示,然而上述实施例并非用以限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,可以作各种更动与修改。因此本发明的保护范围应当以所附权力要求书所界定的范围为准。

Claims (40)

1.一种次像素精度的位移量侦测方法,该方法用以侦测光学导航装置相对于该光学导航装置所放置表面的位移量,所述方法包含下列步骤:
在所述表面上移动所述光学导航装置以分别撷取第一阵列图像以及第二阵列图像;
针对所述第一阵列图像进行内插运算以形成参考图像;
针对所述第二阵列图像进行内插运算以形成比对图像;以及
比对所述参考图像和所述比对图像,以求出所述光学导航装置相对于所述表面的所述位移量以进行游标或指向器瞄准点的控制。
2.根据权利要求1所述的次像素精度的位移量侦测方法,所述方法还包含下列步骤:将所述位移量传送至图像显示装置。
3.根据权利要求1所述的次像素精度的位移量侦测方法,其中所述内插运算利用下列公式进行:
x[2m+p,2n+q]=(1-t)×(1-u)×x[2m,2n]+t×(1-u)×x[2m+2,2n]+(1-t)×u×x[2m,2n+2]+t×u×x[2m+2,2n+2],
其中,(t,u)=(p/2,q/2),且0≤p≤2以及0≤q≤2;
[m,n]表示内插运算前所述第一阵列图像或所述第二阵列图像中每一个像素的座标;[2m+p,2n+q]表示内插运算后所述参考图像或所述比对图像中经过内插运算后所产生的像素座标;x[2m+p,2n+q]、x[2m,2n]、x[2m+2,2n]、x[2m,2n+2]以及x[2m+2,2n+2]表示像素座标的灰阶值或亮度值。
4.根据权利要求1所述的次像素精度的位移量侦测方法,其中比对所述参考图像和所述比对图像的步骤还包含下列步骤:
在所述参考图像内选定参考搜寻框并设定第二参考点,其中所述参考搜寻框具有预设像素范围且所述第二参考点为所述预设像素范围内的一个像素;
在所述比对图像内选定搜寻框并设定第四参考点,其中所述搜寻框具有与所述参考搜寻框相同的像素范围且所述第四参考点在所述搜寻框中的像素位置对应于所述第二参考点在所述参考搜寻框中的像素位置;
利用所述搜寻框逐一搜寻所述比对图像的所有像素,并在搜寻的同时比对所述搜寻框和所述参考搜寻框,以求得最佳匹配搜寻框;以及
计算所述最佳匹配搜寻框的第四参考点与所述第二参考点的距离以作为所述位移量。
5.根据权利要求4所述的次像素精度的位移量侦测方法,其中比对所述搜寻框和所述参考搜寻框的方式为将所述搜寻框的每一个像素灰阶值减去所述参考搜寻框中相对位置像素的灰阶值,并求出所有差值绝对值的总和。
6.根据权利要求5所述的次像素精度的位移量侦测方法,其中所述最佳匹配搜寻框为比对所述搜寻框和所述参考搜寻框时,所得差值绝对值的总和最小的搜寻框。
7.根据权利要求4所述的次像素精度的位移量侦测方法,其中所述第二参考点为所述参考搜寻框左上方第一个像素;所述第四参考点为所述搜寻框左上方第一个像素。
8.一种次像素精度的位移量侦测方法,所述方法包含下列步骤:
撷取第一阵列图像以及第二阵列图像;
在所述第二阵列图像中进行第一次搜寻比对,以求得第一最佳匹配搜寻框相应的第三参考点;
针对所述第一阵列图像进行内插运算以形成参考图像;
针对所述第二阵列图像进行内插运算以形成比对图像,在该比对图像中定义相应于所述第二阵列图像的第三参考点的像素,该像素为该第三参考点经内插后或未经内插的像素;
在所述比对图像中,针对相应于所述第二阵列图像的第三参考点的像素以及其周围的预设搜寻范围进行第二次搜寻比对;以及
计算位移量。
9.根据权利要求8所述的次像素精度的位移量侦测方法,所述方法还包含下列步骤:将所述位移量传送至图像显示装置。
10.根据权利要求8所述的次像素精度的位移量侦测方法,其中所述第一次搜寻比对的步骤还包含下列步骤:
在所述第一阵列图像内选定第一参考搜寻框并设定第一参考点,其中所述第一参考搜寻框具有预设像素范围且所述第一参考点为所述预设像素范围内的一个像素;
在所述第二阵列图像内选定第一搜寻框并设定第三参考点,其中所述第一搜寻框具有与所述第一参考搜寻框相同的像素范围且所述第三参考点在所述第一搜寻框中的像素位置对应于所述第一参考点在所述第一参考搜寻框中的像素位置;以及
利用所述第一搜寻框逐一搜寻所述第二阵列图像的所有像素,并在搜寻的同时比对所述第一搜寻框和所述第一参考搜寻框,以求得所述第一最佳匹配搜寻框。
11.根据权利要求10所述的次像素精度的位移量侦测方法,其中比对所述第一搜寻框和所述第一参考搜寻框的方式为将所述第一搜寻框的每一个像素灰阶值减去所述第一参考搜寻框中相对位置像素的灰阶值,求出所有差值绝对值的总和。
12.根据权利要求11所述的次像素精度的位移量侦测方法,其中所述第一最佳匹配搜寻框为比对所述第一搜寻框和所述第一参考搜寻框时,所得差值绝对值的总和最小的第一搜寻框。
13.根据权利要求10所述的次像素精度的位移量侦测方法,其中所述第一参考点为所述第一参考搜寻框左上方第一个像素;所述第三参考点为所述第一搜寻框左上方第一个像素。
14.根据权利要求10所述的次像素精度的位移量侦测方法,其中所述第二次搜寻比对的步骤还包含下列步骤:
在所述参考图像内选定第二参考搜寻框并设定第二参考点,其中所述第二参考搜寻框具有预设像素范围且所述第二参考点为所述预设像素范围内的一个像素;
在所述比对图像内选定第二搜寻框并设定第四参考点,其中所述第二搜寻框具有与所述第二参考搜寻框相同的像素范围且所述第四参考点在所述第二搜寻框中的像素位置对应于所述第二参考点在所述第二参考搜寻框中的像素位置;以及
利用所述第四参考点逐一搜寻所述第一最佳匹配搜寻框的第三参考点以及其周围的预设搜寻范围,并在搜寻的同时比对所述第四参考点相应的第二搜寻框和所述第二参考搜寻框,以求得第二最佳匹配搜寻框。
15.根据权利要求14所述的次像素精度的位移量侦测方法,其中比对所述第二搜寻框和所述第二参考搜寻框的方式为将所述第二搜寻框的每一个像素灰阶值减去所述第二参考搜寻框中相对位置像素的灰阶值,并求出所有差值绝对值的总和。
16.根据权利要求15所述的次像素精度的位移量侦测方法,其中所述第二最佳匹配搜寻框为比对所述第二搜寻框和所述第二参考搜寻框时,所得差值绝对值的总和最小的第二搜寻框。
17.根据权利要求14所述的次像素精度的位移量侦测方法,其中第二参考点为所述第二参考搜寻框左上方第一个像素;所述第四参考点为所述第二搜寻框左上方第一个像素。
18.根据权利要求14所述的次像素精度的位移量侦测方法,其中计算所述位移量的方式为计算所述第二最佳匹配搜寻框的第四参考点与所述第二参考点间的位移量。
19.根据权利要求14所述的次像素精度的位移量侦测方法,其中所述预设搜寻范围是指所述比对图像中相邻所述第一最佳匹配搜寻框的第三参考点的像素。
20.一种次像素精度的位移量侦测方法,所述方法包含下列步骤:
撷取第一阵列图像以及第二阵列图像;
针对所述第一阵列图像进行内插运算以形成参考图像;
针对所述第二阵列图像进行内插运算以形成比对图像;
在所述比对图像中进行第一次搜寻比对,以求得第一最佳匹配搜寻框相应的第四参考点;
在所述比对图像中,针对所述第一最佳匹配搜寻框相应的第四参考点以及其周围的预设搜寻范围进行第二次搜寻比对;以及
计算位移量。
21.根据权利要求20所述的次像素精度的位移量侦测方法,所述方法还包含下列步骤:将所述位移量传送至图像显示装置。
22.根据权利要求20所述的次像素精度的位移量侦测方法,其中所述第一次搜寻比对的步骤还包含下列步骤:
在所述参考图像内选定参考搜寻框并设定第二参考点,其中所述参考搜寻框具有预设像素范围且所述第二参考点为所述预设像素范围内的一个像素;
在所述比对图像内选定搜寻框并设定第四参考点,其中所述搜寻框具有与所述参考搜寻框相同的像素范围且所述第四参考点在所述搜寻框中的像素位置对应于所述第二参考点在所述参考搜寻框中的像素位置;以及
利用所述第四参考点逐一搜寻所述比对图像中部份选定位置的像素,并在搜寻的同时比对所述第四参考点对应的搜寻框和所述参考搜寻框,以求得所述第一最佳匹配搜寻框。
23.根据权利要求22所述的次像素精度的位移量侦测方法,其中比对所述搜寻框和所述参考搜寻框的方式为将所述搜寻框的每一个像素灰阶值减去所述参考搜寻框中相对位置像素的灰阶值,并求出所有差值绝对值的总和。
24.根据权利要求23所述的次像素精度的位移量侦测方法,其中所述第一最佳匹配搜寻框为比对所述搜寻框和所述参考搜寻框时所得差值绝对值的总和最小的搜寻框。
25.根据权利要求22所述的次像素精度的位移量侦测方法,其中所述第二参考点为所述参考搜寻框左上方第一个像素;所述第四参考点为所述搜寻框左上方第一个像素。
26.根据权利要求22所述的次像素精度的位移量侦测方法,其中所述第二次搜寻比对的步骤还包含下列步骤:
利用所述第四参考点逐一搜寻所述第一最佳匹配搜寻框的第四参考点以及其周围的预设搜寻范围,并在搜寻的同时比对所述第四参考点对应的搜寻框和所述参考搜寻框,以求得第二最佳匹配搜寻框。
27.根据权利要求26所述的次像素精度的位移量侦测方法,其中比对所述搜寻框和所述参考搜寻框的方式为将所述搜寻框的每一个像素灰阶值减去所述参考搜寻框中对应位置像素的灰阶值,并求出所有差值绝对值的总和。
28.根据权利要求27所述的次像素精度的位移量侦测方法,其中所述第二最佳匹配搜寻框为比对所述搜寻框和所述参考搜寻框时所得差值绝对值的总和最小的搜寻框。
29.根据权利要求26所述的次像素精度的位移量侦测方法,其中计算所述位移量的方式为计算所述第二最佳匹配搜寻框的第四参考点与所述第二参考点间的位移量。
30.根据权利要求26所述的次像素精度的位移量侦测方法,其中所述预设搜寻范围是指相邻所述第一最佳匹配搜寻框的第四参考点的未搜寻过的像素。
31.一种次像素精度的光学导航装置,所述光学导航装置包含:
图像撷取单元,用以当所述光学导航装置在该光学导航装置所放置表面上移动时,撷取所述表面的第一阵列图像以及第二阵列图像;
内插单元,用以针对所述第一阵列图像以及所述第二阵列图像进行内插运算,以分别形成参考图像以及比对图像;
储存单元,用以储存所述第一阵列图像、第二阵列图像、参考图像以及所述比对图像;以及
处理单元,用以比对所述第一阵列图像和所述第二阵列图像,和/或比对所述参考图像和所述比对图像,并求出所述光学导航装置相对于所述表面的所述位移量以进行游标或指向器瞄准点的控制。
32.根据权利要求31所述的次像素精度的光学导航装置,所述装置还包含传输单元,用于将所述位移量传输至图像显示装置。
33.根据权利要求32所述的次像素精度的光学导航装置,其中所述图像显示装置为选自电视屏幕、投影幕、电脑屏幕、游戏机屏幕其中之一。
34.根据权利要求31所述的次像素精度的光学导航装置,所述装置还包含光源,用于照明所述表面。
35.根据权利要求34所述的次像素精度的光学导航装置,其中所述光源为发光二极管或激光二极管。
36.根据权利要求34所述的次像素精度的光学导航装置,所述装置还包括透镜,置于所述光源前方,用于调整所述光源的照射范围。
37.根据权利要求31所述的次像素精度的光学导航装置,所述装置还包括透镜,置于所述图像撷取单元前方,用以提高所述图像撷取单元的感光效率。
38.根据权利要求31所述的次像素精度的光学导航装置,其中所述图像撷取单元为电荷藕合元件图像感测器或互补金属氧化物半导体图像感测器。
39.根据权利要求31所述的次像素精度的光学导航装置,所述装置为光学鼠标。
40.根据权利要求31所述的次像素精度的光学导航装置,其中比对所述第一阵列图像和所述第二阵列图像的方式为在所述第一阵列图像内选定第一参考搜寻框,并在所述第二阵列图像内选定第一搜寻框,以所述第一搜寻框逐一搜寻所述第二阵列图像的所有像素并同时比对所述第一参考搜寻框和所述第一搜寻框以求得各像素的灰阶值差值绝对值的总和最小者;比对所述参考图像和所述比对图像的方式为在所述参考图像内选定第二参考搜寻框,并在所述比对图像内选定第二搜寻框,以所述第二搜寻框逐一搜寻所述比对图像的所有像素并同时比对所述第二参考搜寻框和所述第二搜寻框以求得各像素的灰阶值差值绝对值的总和最小者。
CN2007101284744A 2007-07-24 2007-07-24 次像素精度的位移量侦测方法及使用该方法的装置 Expired - Fee Related CN101354434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101284744A CN101354434B (zh) 2007-07-24 2007-07-24 次像素精度的位移量侦测方法及使用该方法的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101284744A CN101354434B (zh) 2007-07-24 2007-07-24 次像素精度的位移量侦测方法及使用该方法的装置

Publications (2)

Publication Number Publication Date
CN101354434A CN101354434A (zh) 2009-01-28
CN101354434B true CN101354434B (zh) 2012-01-04

Family

ID=40307334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101284744A Expired - Fee Related CN101354434B (zh) 2007-07-24 2007-07-24 次像素精度的位移量侦测方法及使用该方法的装置

Country Status (1)

Country Link
CN (1) CN101354434B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853091B (zh) * 2009-03-31 2013-04-24 原相科技股份有限公司 光学位移侦测装置及其运作方法
KR101658226B1 (ko) * 2009-11-16 2016-09-21 삼성전자주식회사 세탁기 및 그 제어방법
CN104135604B (zh) * 2013-05-02 2018-01-30 原相科技股份有限公司 位移检测装置及其动态调整影像感测区域的方法
US9123131B2 (en) * 2013-09-24 2015-09-01 Pixart Imaging Inc. Parallel correlation method and correlation apparatus using the same
US10627518B2 (en) * 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘兵等.数字图像相关中的亚像素位移定位算法进展.《力学进展》.2005,第35卷(第3期),第345-342页. *

Also Published As

Publication number Publication date
CN101354434A (zh) 2009-01-28

Similar Documents

Publication Publication Date Title
EP3788403B1 (en) Field calibration of a structured light range-sensor
CN101354434B (zh) 次像素精度的位移量侦测方法及使用该方法的装置
EP1595224B1 (en) Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US8090221B2 (en) Method and apparatus for detecting displacement with sub-pixel accuracy
CN101236067B (zh) 用多波长来测量表面形状测量方法和使用此方法的装置
US8860930B2 (en) Three dimensional surface mapping system using optical flow
US7616817B2 (en) Three dimensional shape correlator
CN101135556B (zh) 图案的偏差测定方法以及图案测定装置
CN100573187C (zh) 距离图像传感器
US10733740B2 (en) Recognition of changes in a detection zone
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US8625934B2 (en) Method and apparatus for detecting displacement with sub-pixel accuracy
CN102124745A (zh) 用于将二维图像信号转换为三维图像信号的装置及方法
JP2006266848A (ja) 距離測定装置
JP3860589B2 (ja) 光学ナビゲーション装置に応用されるサブピクセル移動量検出方法
WO2013046927A1 (ja) 情報取得装置および物体検出装置
US7315013B2 (en) Optical navigation using one-dimensional correlation
EP1972887A1 (en) System and method for height measurement
EP4009274A1 (en) Image processing device, three-dimensional measurement system, and image processing method
CN112424641A (zh) 使用用于立体图像处理的飞行时间技术
JP2008275392A (ja) 3次元形状計測方法および装置
CN103477309B (zh) 在光学导航设备中或者与光学导航设备有关的改进
JP2010281685A (ja) 位置計測システム及び位置計測方法
CN102022981B (zh) 测量亚像素位移的峰谷运动探测方法及装置
CN102052900B (zh) 快速测量亚像素位移的峰谷运动探测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120104

CF01 Termination of patent right due to non-payment of annual fee