CN103477309B - 在光学导航设备中或者与光学导航设备有关的改进 - Google Patents

Abstract

提供一种用于检测指示器、比如手指在三个维度中的移动的光学导航设备。传感器获得已经被照明源照明的指示器的图像，并且图像缩放模块确定在图像传感器获取的图像之间的大小差值，以确定指示器在图像之间的高度差值。

Description

在光学导航设备中或者与光学导航设备有关的改进

技术领域

本发明涉及在光学导航设备、例如在3D中操作的光学鼠标中或者与该光学导航设备有关的改进。

背景技术

计算机设备正在变得越来越小，并且可以在电话和智能电话以及其它个人数字助理(PDA)上发现完全的计算功能。由于计算机设备变得更小，因此计算机设备的各种特征必须也变得更小。这包括需要更小输入设备用于用户向设备中录入输入。一个这样的输入设备是光学导航设备。许多大型和小型计算机设备配备有光学导航设备、比如鼠标。

手指鼠标正在变得在移动电话、膝上型计算机、数字静态相机(DSC)和许多其它设备上更普遍。此外，3D显示器正在变得更流行。当前输入或者导航设备(例如触屏、鼠标和包括光学手指导航(OFN)的手指鼠标、光学导航设备(ONM)、光学操纵杆(OJ))通常为2D。当前正在开发支持3D窗口的操作系统和需要3D控制输入的操作。即使用2D显示器，3D导航设备也对识别更广范围的手势有用。

多数手指鼠标是如下标准PC鼠标的修改，在这些标准PC鼠标中，用户沿X和Y方向在表面的上面移动他们的手指。传感器对手指进行成像并且使用图像以创建与用户的手指的移动对应的X和Y运动矢量。这些传感器不能检测在Z轴的移动。

一种用于获得深度信息的常用方法是如在利用双眼的人类视觉系统中实现的那样使用在空间上分离的两个传感器。

图1示出具有两个图像传感器的提出的手指鼠标系统的示例。如图1中可见，如果竖直(即沿着Z轴)移动手指，则传感器上的特征在图像平面中移动。相同特征在两个传感器上在相反方向上移动从而允许X和Y移动区别于Z移动。这一技术有许多缺点：

·需要两个传感器，这增添设备的成本和空间要求；

·在设备中需要至少两个孔，这一般视为无吸引力；

·必须相互比较来自传感器的图像，这需要附加处理；

·对于高时间分辨率，需要高帧速率、例如对于光学鼠标而言常见的在1kHz至10kHz之间，这又对于图像数据造成典型为40Mbps的高比特率；

·高数据速率需要受传感器的输出发送器和图像处理单元的接收器二者支持；

·准确地匹配两个图像尤其是与比如在指纹上发现的横向移位的周期性结构，有困难并且可能产生不正确三角测量或者Z高度信息。

另一种确定距离的传统方法是测量光从发射器、比如LED或者VCSEL{竖直腔表面发射激光器}行进到对象、然后回到传感器所需要的时间。“SPAD”(单光子雪崩检测器)适合于测量这一时间，因为它在检测器中具有高电场，该电场允许加速和快速检测光子生成的电子。此外，雪崩的增益意味着产生数字脉冲并且可以对数字脉冲进行计数。然而单个SPAD无空间分辨率，因此单个检测器不能确定对象(即手指)是否正在例如以常见手势的形式沿着以SPAD为中心的圆圈移动。

这可以通过运用多个SPAD设备来克服，但是对于设备壳中的更多孔的要求无吸引力。一种可能系统将运用2个SPAD和1个鼠标传感器以提取在X、Y和Z轴中的运动并且这将需要3个孔。

发明内容

本发明的一个目的是克服与现有技术关联的问题中的至少一些问题。

本发明的又一目的是提供一种在3D中操作的光学导航设备。

本发明提供一种如在所附权利要求中阐述的方法和系统。

根据本发明的一个方面，提供一种用于检测指示器、比如手指在三个维度中的移动的光学导航设备。

可选地，光学导航设备还包括：传感器，适配成获得已经被照明源照明的指示器的图像。

可选地，光学导航设备还包括：图像移位模块，被配置用于确定在第一与第二图像之间的差值以由此确定在第一与第二图像之间的运动矢量。

可选地，光学导航设备还包括：图像缩放模块，被配置用于确定在第一与第二图像之间的大小差值以由此确定指示器从第一到第二图像的高度差值。

可选地，通过绝对差值求和(SAD)过程确定该差值，在该SAD过程中变化图像性质以允许相互比较第一和第二图像。

可选地，光学导航设备还包括：相关模块，用于从SAD过程确定最小SAD值，该最小SAD值指示第一和第二图像为最佳匹配，并且随后推导与最小SAD值关联的图像性质。

可选地，与最小SAD值关联的图像性质中的至少一个图像性质代表在第一和第二图像之间的最可能运动矢量。

可选地，与最小SAD值关联的图像性质中的至少一个图像性质代表指示器在第一和第二图像之间的最可能高度差值。

可选地，光学导航设备还包括用于确定和补偿系统性能变化的增益模块。

可选地，系统性能变化包括亮度。

可选地，光学导航设备是鼠标。

可选地，鼠标是手指鼠标。

本发明赋予许多益处。本发明产生一种能够确定在3个维度中的运动、但是仅用单个孔的光学传感器。此外，本发明提供一种用于在3D中提供鼠标化功能的高效方法和设备，这些鼠标化功能可以容易测量在x、y和z方向上的移动以由此确定控制功能。也考虑其它因素、比如环境光条件和成像的对象距传感器的距离以及酌情施加的补偿。

附图说明

现在将仅通过示例参照附图，在附图中：

图1是根据现有技术的立体手指鼠标的框图；

图1b是根据本发明的一个实施例的手指鼠标的框图；

图2是根据本发明的一个实施例的手指鼠标导航引擎的框图；

图3是根据本发明的一个实施例的手指运动图像的示意图；

图4是根据本发明的一个实施例的滤波手指移动图像的示意图；

图5是根据本发明的一个实施例的包含有移位的滤波手指运动图像的示意图；

图6是根据本发明的一个实施例的用于3D手指鼠标的光路的示意图；

图7是根据本发明的一个实施例的3D手指鼠标导航引擎的框图；

图8是示出根据本发明的一个实施例的绝对差值求和的表；并且

图9是根据本发明的一个实施例的3D手指鼠标图像相关函数的框图。

具体实施方式

本发明涉及一种旨在借助任一标准成像来操作的光学导航设备、比如小比例鼠标，其中从手指反射光以便识别手指在成像表面上的移动。这一类型的鼠标这里称为手指鼠标。

图1b示出手指鼠标100的示例。手指鼠标包括基部102；在104大体示出成像元件；LED106和传感器108。成像元件104的顶表面110是照明可以穿过的窗。此外，成像元件包括在LED与成像元件之间的准直透镜112以及在成像元件与传感器之间的成像透镜114。成像元件还包括将照明从准直透镜引向目标、例如指示器、然后从目标回到成像透镜的两个全内反射镜元件116。成像元件的下表面118基本上平坦。这仅为光学鼠标的一个示例，并且可以实施许多变化而未脱离其基本操作原理。

在使用中，用户可以在也可以称为鼠标化表面的窗110之上移动指示器。指示器可以简单地是在表面之上通过的用户的手指。手指包括指纹脊，这些指纹脊可以被检测以标识正在进行的移动。

在窗110与第一LED或者传感器之间的距离在本实施例中在范围2.5mm中。这一距离是导航设备的厚度并且可以在1mm与3mm之间变化。理想地，厚度一般不大于5mm。导航设备可以由单件模制件形成。模制件包括图中所示单独光学元件中的每个光学元件。可以备选地用产生相同光学效果的不同光学元件以其它适当方式制成导航设备。导航设备也可以由多个不同元件而不是单个模制件制成。用于形成导航设备的技术可以包括除了模制之外的技术、比如复制、冲压、浮雕或者加工。

照明源例如是LED，这些LED可以是任何适当类型并且可以在“光学”或者非光学范围中生成源。因而，对光学器件和光学的引用旨在于覆盖未在人类视觉范围中的波长。从源向成像表面取得光照的光学器件可以是任何适当类型。

传感器可以是具有像素阵列的CMOS传感器，该像素阵列用于测量在不同位置的反射光以产生图像。阵列一般由多个像素形成，这些像素形成网格状阵列而像素在行和列中延伸。本发明同样可以利用不同类型的传感器。可以有各种类型的像素／读出方法；例如滚动刀片或者全局快门机制；无源像素或者有源(3晶体管、4晶体管)像素系统；具有相关双采样的读出；或者仅双采样。

现在将参照图2描述2D鼠标的操作。图2示出从传感器图像200的信号路径的概括。传感器包括优选地能够取得每帧两个图像的像素阵列(未示出)。LED或者照明源关断产生“黑色”图像来取得第一图像，并且照明源接通产生“曝光”图像来取得第二图像。然后从第二图像减去第一图像以去除任何固定图案噪声并且执行也称为“kTC”噪声的重置。有可能直接比较图像，然而为了保证跨图像平面的均匀照明，应用滤波器、比如“边缘滤波器”202。这可以去除低空间频率变化并且增强高空间频率变化。利用这样的滤波器，去除任何缓慢或者空间照明变化，因此系统更容许跨图像平面的不均匀照明。比较两个边缘滤波的图像204和206。一个图像204已经新近获取，而另一图像206先前已经获取。信号路径也包括图像移位208和相关引擎210，二者由控制逻辑212控制。以下将描述这些单元的功能。

有用于比较图像的许多不同方式。一种方式是使用先前确定的运动矢量(Xshift，Yshift)作为在两个图像之间的运动的第一估计。使用这一运动矢量通过图像移位对一个图像进行移位，并且比较移位的图像与另一非移位图像。该比较通常利用绝对差值求和(SAD)，其中对应像素之间的绝对差值被加在一起。这可以被表达如下：

存储所得SAD并且变化Xshift和Yshift二者并且计算另一SAD。在计算的SAD值在如相关引擎确定的最小值时，两个图像(Correlation_Image_1＆Correlation_Image_2)最相似，并且向Correlation_Image_2应用的移位然后是在两个图像之间的正确运动矢量。这然后变成“获胜矢量”214。图3示出两个图像：帧N300和帧N+1302。为了清楚，增强对比度以获得黑色(0％信号)或者峰白色(100％信号)。另外，示出图像移位为完整像素，但是在实践中，可以使用图像的插值按照像素的一部分对图像进行移位。可以如以上参照图2描述的那样对两个图像进行滤波以产生如图4中所示边缘滤波图像400和402。检查两个滤波图像400和402，两个图像相似，但是有移位。可以通过如图5中所示在各种方向上对“滤波图像——帧N+1”进行移位来确定这一移位。图5中的四个图像分别是具有左移位(500)；右移位(502)；上移位(504)和下移位(506)的滤波图像帧N+1。比较这些移位的图像中的每个图像与图4中的帧N的滤波图像(400)。图5中的最接近匹配是“滤波图像——帧N+1——左移位”(500)。因此，在图3中的帧N(300)与帧N+1(302)之间的移动矢量是向左一个像素。

如已经所见，2D光学鼠标的操作使图像在附近移位并且执行相关以确定移动矢量。图6示出用于3D移动的光路，其中手指600放在鼠标表面602(通常为壳的表面)上面并且手指600’也在鼠标表面上方。根据几何光学，当手指离传感器越远时，指纹上的脊和谷在图像平面上就变得越小。这一原理可以在本发明中用来监视手指在Z轴中的运动。

与对大小不变的图像操作的现有光学导航引擎对照，本发明包括用于在对图像进行相关之前缩放它们、比如放大或者缩小的过程。在图7中示出用于本发明的过程的光路。光路与图2的光路相似。传感器图像700经历边缘滤波过程702，在该过程中产生第一和第二边缘滤波图像704和706。第一滤波图像704是最新滤波图像而第二滤波图像706是先前滤波图像。滤波图像然后经历图像缩放过程708和图像移位过程710，来自这些过程的结果通过相关引擎712。控制逻辑714然后确定与X、Y移动有关的“获胜矢量”716和与在Z方向上的移动有关的“获胜缩放”718。

现在将进一步具体描述运用的技术。为了确定在3D中的运动，使用2D技术的扩展版本。对第一图像进行移位和缩放、然后与第二图像比较。如先前描述的那样，该比较可以使用绝对差值求和(SAD)，其中对在对应像素之间的绝对差值进行求和。这发生如下：

Function SAD(Correllation_Image_1，Correlation_Image_2，

XShift,YShift，ZScaleFactor)

Correlation_Image_2=ImageShift(ImageScaling

(Filtered_Image_2，ZScaleFactor)，XShift，YShift)

SAD＝0

For Y=0to YMAX

For X＝0to XMAX

SAD=SAD+ABS(Correlation_Image_1(X，Y)-

Correlation_Image_2(X，Y))

Next X

Next Y

存储所得SAD并且变化ZScalefactor、Xshift和Yshift并且计算另一SAD。一旦SAD值在最小值，两个图像(Correlation_Image_1＆Correlation_Image_2)最相似，并且向Correlation_Image_2施加的移位然后代表在两个图像之间的运动矢量和Z缩放因子。以下示出用于实施这一点的简单算法：

这一例程允许检查所有可能缩放以及X和Y移位并且确定所得SADscore和在数组SADscore中存储所得SADscore。通过函数SAD计算SADscore。然后检查分数以确定与最佳匹配等同的最低分数。可以执行检查分数如下：

Numlmages=index-1#

LowestSAD=SADscore(O)

BestSAD=0

For I=1to Numlmages

If SADscore(I)<LowestSAD THEN LowestSAD=SADscore(I)；

BestSAD=I

Next I

已经标识最佳匹配(BestSAD)，也标识如下缩放和移位操作，这些操作包含参考图像与获取的图像之间的最佳匹配。因此，XShiftArray(BestSAD)、YShiftArray(BestSAD)和ZScaleArray(BestSAD)分别包含X、Y、Z移动矢量。

在一个实施例中，XShiftMax和YShiftMax可以是2个像素，并且XShiftDelta和YShiftDelta可以是1／32个像素。因此，用于单个缩放因子的比较次数在这一示例中是：(2×2×32)²＝128²＝16,384。在一个实施例中，在Z方向中的值可以如下：Zoom_Min=0.5、Zoom_Max=2并且Zoom_Delta＝0.1从而给出15个缩放因子。对于呈现的示例，缩放、移位和相关搜索总数将是如下级别：15×16,384＝246K次操作。以上实施例是可能条件的一个示例，但是其它条件根据系统和应用同样是相关的。

以上描述的搜索算法“全覆盖”搜索选项(图像位置和比例)并且可能需要大量计算工作。由于手指鼠标需要在高帧速率(1KHz至10KHz)操作，所以仅有相对短的时间可用来执行必需处理。在这些帧速率的时间标度为100μs至1ms级。为了减少计算工作，本发明提出使用先前运动矢量(X、Y和Z)作为任何进一步搜索的起点。搜索然后通过在一个或者每个方向上离开起点前进而继续，从而步进增加准确度地进行搜索。这减少搜索所前进经过的区域并且用少得多的计算工作标识运动矢量。这可以如在以下步骤中描述的那样来执行。

1.X0,Y0,Z0＝先前运动矢量

2.设置搜索偏移为DX1，DY1，DZ1；其中通常DX1＝X0，DY1=Y0并且DZ0=Z0

3.用X0±DX1；0，Y0±DY1；0，Z0±DZ1；0产生SADscore。通过参照图8示出这一点的更多细节，该图示出27个可能SAD运行中的每个运行

4.对于27个测试中的每个测试检查SAD结果并且发现具有最佳相关或者最低SADscore的SAD结果。这给出最佳移位将用于下一迭代的指示。例如SAD运行16产生最低SAD，因此X1=×0-DX1，Y1=Y1+DY1，Z1=Z0是用于开始下一传送的最佳坐标集。

5.用减半的移位值、即DX2＝DX1/2，DY2=DY1/2并且DZ2＝DZ1/2重复步骤3和4。

由于搜索在重复循环中前行，所以每次标识最佳SADscore并且因此标识运动矢量，并且下一重复则产生更准确结果。实验表明需要步骤3和4的五次重复以准确地确定运动矢量。用于每次重复的搜索距离实质上减半。这样，随本发明出现的操作、比如缩放、相关和移位的次数，与先前系统比较时显著减少。在以上示例中用于寻找匹配的操作总数为5×27=135次操作。这与需要多于245K次操作的先前“全覆盖”算法比较有利。

利用现有手指鼠标，用户的手指总是在模块的表面上，因此传感器所见照明和亮度保持基本上恒定。然而利用本发明，在用户的手指与手指鼠标模块之间的距离变化。作为结果，来自模块中的光源的光量将变化。此外，在传感器接收的光量将在模块表面与手指之间的距离增加时减少。图像的这一强度改变可能弱化以上描述的匹配算法并且因此削弱跟踪。这样，本发明应用一种用于补偿任何强度改变的技术，如图9所示。

如图9中可见，示出光路并且该光路与图7中所示光路实质上相同。这样，相似单元具有相同标号并且它们的功能如以上描述的那样。图9还包括在参考图像706与图像缩放算法708之间的增益级900。由于增益900、图像缩放708和图像移位710这三个操作是线性的，所以有可能具有这些操作的不同序列而对总结果无任何影响。图像增益量结合图像缩放因子由控制逻辑预先确定。如果图像缩放为<1，则缩小图像，因此获取的传感器图像由于手指指示器更远离而小于参考。这样，获取的传感器图像将比参考更暗并且增益因子将>1。类似地，如果缩放为>1，则扩展图像，因此获取的传感器图像由于手指或者指示器更近而大于参考。作为结果，传感器图像比参考更亮并且增益因子将为<1。

可以基于基本物理通过简单1/r²函数计算增益量，其中r是在照明源与对象(例如手指或者指示器)之间的距离。备选地，增益量可以包括考虑完整系统性能的函数。例如完整系统性能可以基于光源与成像系统的对准而变化。在这一情况下，照明将比标准1／r²变化更多，因为对象移动离开照明中心并且随着它从感测模块移动离开而变得更暗。这将影响性能并且可以由适当函数代表以补偿影响。其它因素也可以对性能有贡献并且被包含在函数中以因此如以上描述的那样补偿。其它因素可以包括：照明的光束分布。这将有在照明光束的中心的峰(产生亮图像)、但是离开光束的中心将更低(并且产生更暗图像)。成像光学器件将具有有限景深，并且如果手指离开最优聚焦距离，则将降低锐度。可选地，可以有用于锐化图像(例如增加图像的高空间频率内容)以在对象(手指)从最优距离更远离时减少散焦的手段。

导航设备意在光学导航设备中使用；然而，将理解导航设备可以使用于任何适当设备、例如指纹阅读器或者片上实验室／生物光学传感器系统(这些系统检测用于医学和／或生物测试应用的化学荧光)中。

光学导航设备可以使用于任何适当设备、比如移动或者智能电话、其它个人或者通信设备、计算机、遥控器、用于门等的访问模块、相机或者任何其它适当设备中。

本领域技术人员将理解，本发明存在许多变化并且这些变化包括在本发明的范围内。

Claims (16)

1.一种用于检测指示器在三个维度中的移动的光学导航设备，所述光学导航设备包括：图像传感器，适配成获得已被照明源照明的所述指示器的图像；以及图像缩放模块，被配置用于确定所述图像传感器获取的第一图像与所述图像传感器获取的第二图像之间的大小差值，以由此确定所述指示器从所述第一图像到所述第二图像的高度差值；以及用于确定和补偿系统性能变化的增益模块，其中图像增益量由控制逻辑结合图像缩放因子预先确定。

2.根据权利要求1所述的光学导航设备，还包括：图像移位模块，用于确定所述第一图像与所述第二图像之间的运动矢量。

3.根据权利要求2所述的光学导航设备，其中通过绝对差值求和SAD过程来确定所述运动矢量，在所述绝对差值求和过程中变化图像性质以允许相互比较所述第一图像和第二图像。

4.根据权利要求3所述的光学导航设备，还包括：相关模块，用于从所述SAD过程确定最小SAD值，所述最小SAD值指示所述第一图像和第二图像为最佳匹配，并且随后推导与所述最小SAD值关联的所述图像性质。

5.根据权利要求4所述的光学导航设备，其中与所述最小SAD值关联的所述图像性质中的至少一个图像性质代表所述第一图像和第二图像之间的最可能运动矢量。

6.根据权利要求4所述的光学导航设备，其中与所述最小SAD值关联的所述图像性质中的至少一个图像性质代表所述指示器在所述第一图像和第二图像之间的最可能高度差值。

7.根据权利要求1所述的光学导航设备，其中所述系统性能变化包括亮度。

8.根据任一前述权利要求所述的光学导航设备，其中所述光学导航设备是鼠标。

9.根据权利要求1-7中任一项所述的光学导航设备，其中所述指示器是手指。

10.根据权利要求8所述的光学导航设备，其中所述鼠标是手指鼠标。

11.一种电子装置，包括根据权利要求1至10中的任一权利要求所述的设备。

12.根据权利要求11所述的电子装置，其中所述装置是计算机。

13.根据权利要求11所述的电子装置，其中所述装置是电话。

14.根据权利要求11所述的电子装置，其中所述装置是相机。

15.根据权利要求11所述的电子装置，其中所述装置是智能电话。

16.根据权利要求11所述的电子装置，其中所述装置是遥控器。