CN101248409A - 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备 - Google Patents

Abstract

一种具有集成图像传感器的便携式自主设备的位移检测方法。该方法包括几个步骤。在第一步骤中，从图像传感器接收当前数字图像，当前数字图像显示背景场景。然后，选择当前数字图像内的第一区域的位置。然后，从图像传感器接收显示背景场景的重叠部分的后来的数字图像。然后，识别后来的数字图像内匹配第一区域的第二区域的位置。在识别了匹配之后，第一区域与第二区域显示背景场景的近似相同的部分。然后，根据第一区域与第二区域之间的位移计算便携式自主设备的当前运动向量。

Description

具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备

技术领域

本发明涉及允许用户向便携式自主设备的应用输入方向性指令的方法与设备，并且更具体地、但是不限于涉及允许用户利用图像处理向具有有限计算能力的便携式自主设备的应用输入方向性指令的方法与设备。

背景技术

复杂电子电路的快速小型化以及高清晰度显示器的出现极大地增加基于处理器的便携式设备的数量与品种。此类设备包括手持式计算机、移动电话、传呼机、以及其他便携式通信与计算解决方案。另外，便携式自主设备的处理能力、数据存储能力、通信速度、以及电池寿命继续加速进展。

每个上述便携式自主设备通常集成人机界面(MMI)，其允许用户控制其发挥功能。但是，必须将MMI调整到便携式自主设备的小尺寸。传统的MMI为小型化的键盘或者小键盘，其允许用户输入具有文本表示的数据，例如电话号码、联系人名称、字处理内容等等。小型化的键盘或者小键盘也可以用作定点设备。

某些便携式自主设备除其文本输入设备之外，还集成指定的定点设备。例如，近来开发的移动电话通常包括小操纵杆或者滚轴，其使用户能够操作便携式自主设备。用户可以利用定点设备，通过在连接到设备的显示屏幕上进行选择，来控制便携式自主设备。例如，利用定点设备，用户可以通过选择显示屏幕上的垂直或者水平滚动条，滚动观看区域。

另一常用MMI为触摸屏。例如，个人数字助理(PDA)通常集成此类触摸屏与经常存放在PDA旁边或者之上的笔式定点设备。在使用时，将笔式定点设备施加于PDA上的显示区域，以使用户能够进行选择以及与PDA便携式自主设备进行交互。高清晰LCD触摸屏可以用于移动电话与便携式设备。使用触摸屏的缺点为其较高的价格以及有限的透明度，其会减少画面品质，尤其对于当代的高清晰LCD显示器。

近来，复杂电子器件的快速小型化与成本降低已经导致了将图像传感器集成到基于处理器的便携式自主设备。PDA、移动电话、以及笔记本电脑集成了用来捕获静止与视频图像的相机。这提高了移动电话的市场潜力。

集成图像传感器还允许用户与基于处理器的便携式设备交互。例如，已知图像传感器的输出可以用来计算对象的位移。但是，已知方法具有几项限制，因为其依赖于跟踪场景的特定标准，并且这些方法可能不是可靠的、可扩展的、以及鲁棒的。因此这些限制防止基于处理器的设备利用位移检测处理来执行某些功能。另外，上述方法不利于对于具有有限计算资源的便携式自主设备的高效利用。

因此，大家都认识到需要一种没有上述限制的、允许用户输入方向性指令的基于处理器的便携式设备，并且具有该基于处理器的便携式设备是非常有利的。

发明内容

根据本发明的一方面，提供了一种具有集成图像传感器的便携式自主设备的位移检测方法。该方法包括以下步骤：a)从图像传感器接收当前数字图像，当前数字图像显示背景场景；b)选择当前数字图像内的第一区域的位置；c)从图像传感器接收显示背景场景的重叠部分的后来的数字图像；d)识别该后来的数字图像内匹配第一区域的第二区域的位置，该匹配使得第一区域与第二区域显示背景场景的近似相同的部分；以及d)根据第一区域与第二区域之间的位移计算便携式自主设备的当前运动向量。

优选地，该位移检测方法还包括重复步骤c)、d)、以及e)的步骤f)。

优选地，第一区域为与第一当前数字图像同心的四边形区域。

优选地，第一区域的定位将第一当前数字图像划分为边沿区域与主要区域。

优选地，根据第一当前数字图像中多个可能的第一区域的对比水平，进行步骤b)的选择。

优选地，位移检测方法还包括步骤a)与步骤b)之间的以下步骤：根据像素位置，调节当前数字图像的像素的亮度水平。

优选地，位移检测方法还包括步骤a)之前的以下步骤：使便携式自主设备操作者能够输入敏感度因数，并且根据敏感度因数调节运动向量。

优选地，根据以下步骤执行步骤b)的识别：i)根据来自第一区域的表示性信息的差异，分别评估多个候选区域的每一个的失真测度；以及ii)选择候选区域中的一个作为匹配区域，所选候选匹配区域具有最低的失真测度。

更优选地，位移检测方法还包括步骤i)与步骤ii)之间的以下步骤：评估运动向量的品质水平，品质水平根据失真测度确定。

更优选地，位移检测方法还包括以下步骤：指示运动向量的当前品质水平。

更优选地，位移检测方法还包括存储运动向量作为先前运动向量的步骤，其中根据以下步骤执行步骤e)的计算：i)如果当前品质水平没有超过预定门限，则替换先前运动向量作为结果；以及ii)如果当前品质水平超过预定门限，则计算当前运动向量。

更优选地，如果当前失真测度高于先前计算的失真测度，则停止步骤i)中的评估。

更优选地，第一区域包括多个片区。

更优选地，在步骤ii)的选择期间，按特定顺序探查片区，特定顺序根据每个片区的像素的表示性信息的多样性确定。

更优选地，在步骤ii)期间，按预定顺序选择多个候选匹配区域，其中预定顺序根据候选匹配区域在后来的数字图像上的位置坐标安排。

优选地，根据以下步骤执行步骤b)的选择：

i)将当前数字图像内的部分划分为多个片区；

ii)分别识别多个片区中每一个片区内的片区重点；以及

iii)选择片区重点作为第一区域。

更优选地，该部分为小于当前数字图像的四边形区域，四边形区域的中心在当前数字图像的中心中。

更优选地，步骤i)的划分将四边形区域划分为相同尺寸与形状的片区。

更优选地，根据以下步骤执行步骤ii)的识别：a)对于多个片区中的每一个片区，分别评估多个可能的片区重点中的每一个片区重点的均匀性水平，均匀性水平反映相关像素的表示性信息的多样性；以及b)对于多个片区中的每一个片区，分别选择可能的片区重点中具有最低均匀性水平的一个片区重点。

更优选地，评估通过以下进行：将相关片区重点的像素以及环绕带像素的表示性信息乘以恒定乘法因数组的恒定乘法因数，并且加和乘积，由此可以根据所有乘积值的和与零的接近程度，确定均匀性水平。

优选地，位移检测方法还包括：在步骤d)与步骤e)之间，利用来自附加图像传感器的附加流的顺序数字图像，执行步骤a)到d)，以生成附加识别；并且其中根据以下步骤执行步骤e)：i)根据识别计算运动向量；ii)根据附加识别计算附加运动向量；以及iii)根据附加运动向量与运动向量，输出空间运动向量供便携式自主设备的至少一个应用使用。

更优选地，位移检测方法还包括在步骤e)与步骤f)之间的步骤e1)：存储后来的数字图像作为第一当前数字图像。

优选地，在倾斜便携式自主设备期间，捕获当前的数字图像与后来的数字图像。

优选地，位移检测方法还包括以下步骤：使用运动向量作为拍照的指示。

根据本发明的一方面，提供了一种具有集成图像传感器的便携式自主设备。每一个集成图像传感器使用户能够生成便携式自主设备相对于背景的位移的当前运动向量，便携式自主设备包括：图像输入设备，具有到至少一个集成图像传感器的连接。图像输入设备用来从至少一个图像传感器接收来自具有背景表示性信息的当前数字图像的参考帧与样本帧。该设备还包括：匹配区域模块，用来选择参考帧的边界内的参考区域以及样本帧的边界内的匹配区域的位置。该设备还包括：位移检测模块，用来根据参考区域以及匹配区域的相对位置，生成便携式自主设备的当前运动向量。该设备还包括：显示设备，用来根据当前运动向量生成显示。

优选地，匹配区域模块用来根据多个可能的第一区域的非均匀性水平，选择参考区域的位置，非均匀性水平从相应可能的第一区域的像素值的均匀性导出。

优选地，至少一个集成图像传感器包括以下组中的一个：互补金属氧化物半导体(CMOS)传感器或者电荷耦合便携式自主设备(CCD)传感器。

优选地，便携式自主设备为以下组中的一个：手机、手持设备、以及基于处理器的多功能便携式自主设备。

优选地，图像输入设备具有到两或多个集成图像传感器的连接，位移检测模块用来根据两或多个当前运动向量，生成表示便携式自主设备在三维空间中的移位的空间运动向量。

优选地，显示设备用来通过应用显示分级菜单，并且其中当前运动向量可由应用用来导航通过分级菜单。

优选地，显示设备用来显示光标，其中当前运动向量用来发送光标的导航指令。

优选地，显示设备用来显示电话拨号盘，其中当前运动向量用来发送对电话拨号盘的操作指令。

优选地，便携式自主设备还包括拍照模块，其中当前运动向量用来发送对于拍照模块的操作指令。

更优选地，拍照模块被配置用来：当运动向量检测信号指示对于预定时间量没有检测到运动时，进行拍照。

除非另外定义，否则此处使用的所有技术和科学术语都具有本领域技术人员所题解的含义。此处提供的材料、方法、以及例子都只是说明性的而非限定性的。

本发明的方法与设备的实现涉及手动地、自动地、或者以其组合方式执行或者完成特定的所选任务或者步骤。另外，根据本发明优选实施例的方法与设备的实现的实际实现与装备，可以由硬件或者软件在任何操作系统、任何固件、或者其组合上实现几个所选的步骤。例如，作为硬件，本发明的所选步骤可以被实现为芯片或者电路。作为软件，本发明的所选步骤可以被实现为多个软件指令，由使用任何适当操作系统的计算机执行。不论哪种情况，本发明的设备与方法的所选步骤都可以被为由数据处理器(例如执行多个指令的计算平台)执行。

附图说明

以下仅通过例子参照附图描述本发明。在详细参照附图时，需要强调的是：所显示的细节仅作为例子以及为了对于本发明的优选实施例的说明性讨论的目的，并且呈现这些细节以提供所认为的最有用和容易理解的对于本发明的原理与思路的描述的东西。在这一方面，没有尝试以对于本发明的基本理解不必要的细节水平显示本发明的结构性细节，附图与说明书一起使本领域技术人员理解本发明在实践中可以实现的几种形式。

在附图中：

图1为根据本发明优选实施例的对象位移检测的方法的简化流程图；

图2为根据本发明实施例的参考帧与四边形参考区域；

图3A为在特定周围区域中由便携式自主设备捕获的参考帧与样本帧；

图3B为在图3A的参考帧内捕获的周围区域部分；

图3C为在图3A的样本帧内捕获的周围区域部分；

图3D为图3A的四边形参考区域与所选候选匹配区域的位置之间的偏差的示意图；

图4为根据本发明优选实施例的示范性块匹配处理的简化流程图；

图5显示根据本发明优选实施例的、用来确定匹配候选匹配区域的顺序的螺旋搜索轨迹；

图6A为具有被划分为具有片区重点的片区的四边形参考区域的参考帧；

图6B为根据本发明优选实施例的具有四边形参考区域的参考帧、以及具有相对于四边形参考区域生成的示范性候选匹配区域的样本帧；

图7A为被配置来乘以片区重点的像素与环绕带像素的值的掩膜；

图7B为被配置来乘以片区重点的像素与环绕带像素的值的另一掩膜；

图8为根据本发明优选实施例的、具有使用户能够输入方向性指令的图像传感器的便携式自主设备的示意图；

图9A为用于输入控制信号以控制所显示的光标的移动电话的位移的示范性示意图；

图9B为用于导航通过所显示的菜单的移动电话的位移的示意图；

图9C为用于提高其音量水平的移动电话的位移的示意图；

图9D为用于控制游戏应用的移动电话的位移的示意图；

图9E为用于控制导航应用的移动电话的位移的示意图；

图10为根据本发明优选实施例的、用于输入控制信号以控制拍照模块的移动电话的位移的示范性示意图；以及

图11为根据本发明优选实施例的、用于输入控制信号以控制拨号模块的移动电话的位移的示范性示意图。

具体实施方式

当前实施例包括允许用户通过移动便携式自主设备向该设备的应用输入方向性指令的方法与设备，并且更具体地、但是不限于涉及使用收到的数字图像以向具有有限计算资源的设备输入方向性指令的方法与设备。更一般地，当前实施例涉及从数字图像生成表示设备的位移的运动向量，然后可以将该向量提供给设备上的操作系统或者应用。

可以参照附图以及相关描述更好地理解根据本发明的装置与方法的原理与操作。在详细解释本发明的至少一个实施例之前，应该理解本发明在其应用方面不限于在以下描述中列出的或者在附图中显示的结构与安排的细节。本发明可以具有其他实施例，或者可以各种方式实现。另外，应该理解此处使用的术语出于说明的目的，并且不应该被理解为限定性的。本发明的一种实施例为根据集成图像传感器的便携式自主设备的运动信息来生成方向性指令的方法。该方法包括几个步骤。在第一步骤中，实时地从图像传感器接收当前数字图像。数字图像包括像素，每个像素都包括表示性信息。在接收当前数字图像之后，在当前数字图像内选择参考区域的位置。优选地，该参考区域表示图像背景。在以后步骤中，接收另外的当前数字图像。然后识别该另外的当前数字图像内的相应匹配区域的位置。参考区域与匹配区域具有具备类似表示性信息的相应像素。在识别参考区域与匹配区域之后，如下所述，根据参考区域相对于匹配区域的位置的变化，计算用于便携式自主设备的一或多个应用的运动向量。如下所述，该过程为循环的，并且可以用来输出特定便携式自主设备任意给定时刻的当前运动向量。

在本发明的另一实施例中，提供了一种具有图像传感器的便携式自主设备，该图像传感器使用户能够输入方向性指令。该便携式自主设备包括：图像输入设备，具有到图像传感器的连接。图像输入设备从图像传感器接收当前帧与随后帧。当前帧与随后帧被用做为便携式自主设备其他模块进行的运动检测的基础与参考。该便携式自主设备还包括：匹配模块，其选择当前参考帧的边界内的参考区域的位置。然后，使用该匹配模块来定位随后的帧的边界内要与随后的帧的参考区域匹配的参考区域。然后，根据两帧之间的位移或者位移，生成运动向量。位移或者位移模块可以生成便携式自主设备的此类运动向量。应该注意：为了简洁，以后只使用术语“位移”，但是应该理解为也可替换为倾斜。根据参考区域与匹配区域的位置，生成运动向量。

便携式自主设备可以被理解为任意基于处理器的便携式设备，例如移动电话、个人数字助理(PDA)、或者集成相机等成像设备的任何其他手持设备。

现在参照图1，其为显示根据本发明优选实施例的允许用户向便携式自主设备根据该设备位移输入方向性指令的方法的流程图。图1显示循环的四步骤位移检测处理，其用来输出特定便携式自主设备的实时运动向量。

应该理解：运动向量可以为倾斜或者移动设备的结果。因为倾斜结合了设备的视角的非线性变化，所以由倾斜引起的变化的复杂度在理论上高于由线性位移引起的变化的复杂度。但是，当使用以下描述的某些实施例时，复杂度差异是可以忽略的。

所示的位移检测处理可以在集成一或多个图像传感器的各种便携式自主设备中实现。优选地，位移检测处理通过已经集成了其他用途的图像传感器的便携式自主设备的MMI集成。

在本发明的一个实施例中，用户可以推动指定按钮或者其他MMI控件，以启动位移检测处理5。该启动会激活集成图像传感器。便携式自主设备的计算单元实时地接收显示周围区域的所捕获部分的数字图像。应该注意：如下所述，要分别探查每个收到的数字数据。在步骤1期间，接收第一数字图像，并且将其存储为当前数字图像。在随后步骤中，如在7中所示，存储后续的数字图像作为随后的数字图像。在步骤2期间，当前数字图像与随后的数字图像用于计算便携式自主设备的运动向量。在使用时，为了启动位移检测处理，捕获周围区域的两个连续数字图像。这两个连续数字图像被用做计算运动向量的基础。在随后的步骤中，在3上，输出运动向量用于应用。在随后的步骤中，如4所示，随后的数字图像现在成为当前数字图像，以在随后循环步骤中(如6所示)计算便携式自主设备的运动向量。位移检测处理是循环的，并且可以用来输出特定便携式自主设备在任意给定时刻的实时运动向量。对于根据本发明优选实施例的位移检测方法的更详细的描述如下：在步骤1期间，计算单元接收显示部分周围区域的数字图像，并且将其存储作为当前数字图像。数字图像包括多个像素，每个像素都包含表示性信息。优选地，表示性信息描述数字图像内周围区域相关部分的局部亮度与颜色。可以使用多个不同种类的颜色坐标中的任何一个来代表该表示性信息。

可以改进上述数字图像的属性，以提高运动估计的品质。此类改进可以包括重定帧的尺寸，以及其他可能的修改，例如亮度与对比改进，如下所述。

一般用来捕获此类图像的图像传感器可以任何已知方式捕获图像，但是一般以红绿蓝(RGB)颜色坐标输出数字图像。但是，用来捕获此类图像的图像传感器也可以YCbCr颜色坐标、CIE L*a*b(CLELAB)颜色坐标、或者任意各种其他颜色坐标输出数字图像，或者简单地输出作为灰度。

优选地，为了减少运动向量检测的计算复杂度，使用灰度数字图像。一般地，灰度数字图像的每个像素具有单个值。表面部位(face segment)的每个像素的灰度可以使用一字节(0-255)表示，分析此部位的计算复杂度低于分析以RGB、HSV、CIELAB、YCbCr或者任意其他颜色坐标表示的部分的计算复杂度。

优选地，为了允许使用灰度数字图像的运动向量检测处理，该方法包括以下步骤：将数字图像的颜色坐标，优选为RGB，转换为灰度颜色坐标。所转换的颜色坐标也可以由HSV、CIELAB、YCbCr或者任意其他颜色坐标表示。优选地，通过使用表示彩色数字图像的信道之一作为参考，生成灰度数字图像。例如，在RGB颜色坐标中，R信道的值可以用来生成灰度数字图像。

优选地，如果原来的数字图像使用RGB颜色坐标表示，则利用以下公式转换原来数字图像的像素值，以生成灰度数字图像：

GS＝0.3R+0.59G+0.11B

其中GS表示相关像素的新灰度值，R表示红色，G表示绿色，B表示蓝色。

为了改进运动向量检测，可以进一步处理灰度数字图像。根据积累的知识，已知由某些传感器捕获的数字图像没有准确地反映所捕获周围区域部分的亮度水平。所捕获的数字图像的边沿一般会趋向于表示周围区域相关部分的不太精确的亮度。依赖于周围区域亮度的此类不准确表示的位移检测处理容易产生对于运动向量的误计算。为了避免误算运动向量，可以使用亮度变化补偿(BCC)掩膜。

BCC掩膜用来转换灰度数字图像像素的表示值。每个像素被乘以其值根据所乘像素的位置确定的恒定乘法因数。因为灰度数字图像中心处的像素的亮度水平优选地不被增强，中心处的像素被乘以近似等于一的恒定乘法因数。灰度数字图像角落处的像素趋向于最容易产生其亮度水平的不希望的增加。因此，灰度数字图像角落处的像素被乘以其值大于一的恒定乘法因数。来自灰度数字图像其他处的像素被乘以从其与灰度数字图像中心的距离导出的恒定乘法因数。优选地，利用以下一组等式，转换每个像素的值：

CenterP＝1

CornerP＝1+C

MarP＝1+C·[(X-W/2)²+(Y-H/2)²]/[(W/2)²+(H/2)²]

其中CenterP表示用来乘以灰度数字图像中心处的像素的恒定乘法因数的值，CornerP表示用来乘以灰度数字图像角落处的像素的恒定乘法因数的值，MarP表示用来乘以灰度数字图像其他区域处的像素的恒定乘法因数的值。C表示恒定因数；(X，Y)表示灰度数字图像上像素的坐标；W与H分别表示灰度数字图像的宽度与高度。优选地，C等于0.41。

优选地，为了减少在计算运动向量期间将数字图像的像素与BCC掩膜相乘的计算复杂度，预先计算每个像素的恒定乘法因数，并且将其存储在预定矩阵中。

如步骤2所示，估计便携式自主设备的运动向量。根据所获得的两个连续灰度数字图像，计算估计值。使用较早的数字图像作为参考帧，使用较晚的数字图像作为样本帧。

现在参照根据本发明实施例的图2，其显示参考帧100与四边形参考区域101。根据参考帧内参考区域与在样本帧内识别的匹配区域的位置之间的差异，计算便携式自主设备的运动向量。根据表示参考帧内参考区域与样本帧内候选匹配区域之间相似度水平的相关值，选择匹配区域。每个候选匹配区域的位置反映了便携式自主设备的位置的可能变化。如下所述，根据参考区域的位置与匹配区域的位置之间的差异，计算表示便携式自主设备的运动的运动向量。然后可以传送该运动向量用于便携式自主设备的应用。相应地，用户可以操纵便携式自主设备，以控制便携式自主设备的不同应用。

为了计算相关值，由参考区域表示的周围区域部分必须再次出现在样本帧中。但是，如果参考帧捕获的周围区域部分处于其边沿102、103，则便携式自主设备的运动可能导致在样本帧中缺少该周围区域部分。由此，边沿的宽度定义了可以检测的每两个连续帧之间的最大偏移。通过使用来自四边形参考区域101的像素，可以确保其在随后的图像中再次出现，只要帧之间的运动不大于该最大偏移即可。

在本发明的一个实施例中，将四边形参考区域101限定在参考帧100的中心。优选地，四边形参考区域101小于参考帧100，并且位于其中心。四边形参考区域101用作为与来自样本帧的候选匹配区域匹配的参考区域。在四边形参考区域101的边界内捕获的周围区域部分，相比于参考帧100边沿内捕获的周围区域部分，更可能再次出现在样本帧中。优选地，预先定义四边形参考区域101的长度。优选地，参考帧的长度104、105对边沿的长度102、103的比例在1∶0.125与1∶0.375之间。如上所述，在定义了四边形参考区域101之后，在样本帧的边界内确定具有相同尺寸的匹配区域。

现在参照图3A、3B、3C、以及3D，其显示由参考帧100与样本帧204部分捕获与显示的周围区域。参考帧100与四边形参考区域101类似于以上图2所示。但是，图3A-3D还显示了根据本发明优选实施例的样本帧204、候选匹配区域202、以及一组所捕获的对象。

如图1的步骤2所示，当前数字图像与随后的数字图像用来计算便携式自主设备的运动向量501。优选地，如上所述，所选择的在当前数字图像中捕获的候选匹配区域202显示了与由四边形参考区域101显示的、在先前数字图像中捕获的周围区域部分类似的周围区域部分。根据四边形参考区域101与样本帧的候选匹配区域的位置之间的偏差，计算便携式自主设备的运动向量。

图3A显示参考帧100与样本帧204，其由便携式自主设备捕获，便携式自主设备的运动方向在标号503处显示。图3B显示在参考帧100中捕获的周围区域部分。图3C显示在样本帧204中捕获的周围区域部分。

参考帧100与样本帧204都来自于同一序列的数字图像。帧具有相同的尺寸，并且可以使用相同的坐标系参照。优选地，使用原点在帧的左上角的坐标系。

如图3B与图3C所示，四边形参考区域101与所选的候选匹配区域202位于相对于所使用的坐标系的原点的不同的坐标上。图3D显示四边形参考区域101与所选的候选匹配区域202的位置之间的偏差504。偏差504反映了与便携式自主设备的运动方向相对的运动向量。优选地，该偏差表示为一组两个数字(即Mx与My)，其表示特定像素505(其表示参考帧100中特定周围区域部分)与对应像素506(其表示样本帧204中同一周围区域部分)的坐标之间的差异。

优选地，为便携式自主设备计算的运动向量为表示参考区域101与所选的候选匹配区域202的位置之间的偏差的向量的逆反。

如图1的步骤3所示，运动向量用于便携式自主设备的应用。通过使用此类运动向量，用户可以移动便携式自主设备以生成对于便携式自主设备的一或多个应用的方向性指令。位移检测处理使用所检测的便携式自主设备的运动，来确定被解释作为方向性指令的运动向量。该方向性指令可以与便携式自主设备相联的显示屏幕上的光标图像的位移相关。

优选地，所计算的便携式自主设备的运动向量反映便携式自主设备在与图像传感器平行的二维平面上的移动。

在本发明的一个实施例中，输出的运动向量为反映便携式自主设备在三维空间中的移动的空间运动向量。为了生成空间运动向量，使用至少两个图像传感器，其被以非平行的方式耦合于便携式自主设备。如上所述，使用每个图像传感器来生成反映便携式自主设备在二维平面中的移动的线性运动向量。因为线性运动向量位于不同的非平行的平面中，所以所生成的线性运动向量相互不同，并且分别反映了该设备在不同的非平行的平面中的运动。优选地，通过结合反映便携式自主设备在两个非平行平面中的两个线性运动向量(x′，y′)与(x′，z′)，确定设备的空间运动向量((x′，y′，z′))。应该注意：这两个线性运动向量中的每一个都包含关于便携式自主设备沿轴(X，Y或Z)的运动的信息。因此，可以容易地计算反映便携式自主设备在三维空间中的空间运动向量。优选地，将两个图像传感器以相互垂直的方式置于便携式自主设备的表面上。根据来反映其在两个不同平面中的运动的两个运动向量计算对象的空间运动向量是公知的，因此不在此处详细描述。

在本发明的一个实施例中，将运动向量乘以敏感度因数。敏感度因数用来强化或者减弱便携式自主设备的运动对应用的影响。

现在参照图4，其为根据本发明的优选实施例的示范性块匹配处理的流程图。如图1的步骤3所示，输出便携式自主设备的运动向量用于便携式自主设备的应用。为了计算运动向量，必须识别样本帧内的匹配区域。

在本发明的一个实施例中，使用块匹配处理来选择样本帧内的匹配区域。优选地，使用绝对差和(SAD)处理。SAD处理用来量化四边形参考区域101与样本帧内不同的候选匹配区域之间的相似度。量化的结果用来确定匹配区域。

在图4中，在第一步骤中，如上所述，并且如400与401所示，接收参考帧与样本帧。随后，如402所示，在参考帧的边界内限定至少一个参考区域。优选地，在上述的四边形参考区域的边界内限定该参考区域。然后，如403所示，SAD处理评估候选匹配区域的失真测度。失真测度反映了相关候选匹配区域与参考区域之间的相似度的水平。优选地，根据以下公式定义用来评估特定候选匹配区域与参考区域之间的失真测度的SAD处理的算法：

$\mathrm{SAD}(B_{\mathrm{cur}},B_{\mathrm{ref}})=\underset{j=1}{\overset{\mathrm{Pl}}{\mathrm{\Σ}}}\underset{i=1}{\overset{\mathrm{Pw}}{\mathrm{\Σ}}}\left|B_{\mathrm{cur}}(i,j)B_{\mathrm{ref}}(i,j)\right|$

其中，B_ref表示参考区域，B_cur表示候选匹配区域，(i，j)表示匹配像素的坐标，Pw与Pl分别表示沿匹配帧宽度与长度的像素的数目。在SAD处理的每次循环期间，通过计算参考区域像素值B_cur(i，j)与候选匹配区域相应像素B_cur(i，j)之间的差异，确定相关值。SAD处理的结果为所有像素的所计算的相关值的和。

所显示的算法用来计算所有候选匹配区域的失真测度值。如404所示，如下所述，只有对每个候选匹配区域利用SAD处理进行了评估或者将其识别为不适合作为匹配区域之后，才选择具有最低失真测度值的候选匹配区域。

如果L与W为边沿尺寸(图2中的102、103)，则必须评估总共(2L+1)·(2W+1)个不同候选匹配区域。对于参考区域的尺寸，此类全面的匹配处理可能具有较高的计算复杂度，其会要求大量的计算资源。在诸如移动电话与其他手持式设备等便携式自主设备中，不总是有此类资源。为了减少计算资源的必要量，必须优化匹配处理。存在几种方法，允许通过早期识别与去除不适合作为匹配区域的候选匹配区域，来进行优化。

在本发明的一个实施例中，将最低失真测度存储为当前最低失真测度。该信息可以在SAD处理期间使用以减少计算复杂度。如上所述，失真测度为参考帧(B_ref)像素与匹配区域(B_cur)像素之间减法余数的和。当前最低失真测度可以用作为最大门限。在SAD处理期间，将余数和与当前最低失真测度相比较。如果该和超过当前最低失真测度，则SAD处理停止，并且将相关的候选匹配区域识别为不适合。显然，如果当前和超过为先前候选匹配区域计算的当前最低失真测度，则因为具有较高的失真测度不能选择当前候选匹配区域。可以在SAD处理的任何阶段，将余数和与当前失真测度比较，以减少其计算复杂度。

现在参照图5，其显示根据本发明优选实施例的用来确定匹配候选匹配区域顺序的螺旋搜索轨迹600。如上所述，在找到匹配区域之前，总共(2L+1)·(2W+1)个不同的候选匹配区域必须利用SAD处理进行评估或者被识别为不适合。显然，在完全匹配候选匹配区域之前将其识别为不适合会减少SAD处理的计算复杂度。如上所述，早期识别基于关于当前最低失真测度的信息。由此，如果在匹配处理的早期阶段识别了最低失真测度，则可以在将其与参考区域完全匹配之前将更多的候选匹配区域识别为不适合。

为了以最低失真测度进行候选匹配区域的识别，使用螺旋搜索轨迹600。根据试验数据假定匹配区域一般位于参考区域附近。相应地，为了进行候选匹配区域的识别，优选地，在匹配非邻近候选匹配区域之前，匹配邻近候选匹配区域。优选地，使用螺旋搜索轨迹600来确定候选匹配区域与参考区域匹配的顺序。螺旋搜索轨迹600的每个节点，例如节点601包含参考区域的坐标与候选匹配区域的坐标之间的偏差。例如，如果参考区域的左上方像素的坐标为(x，y)，则第六个匹配的候选匹配区域的左上方像素的坐标为(x-1，y-1)，如601所示。此类搜索轨迹保证了在匹配较远的候选匹配区域之前匹配较近的候选匹配区域。

现在再次参照图4。如405所示，所选候选匹配区域用于计算便携式自主设备的运动向量，如上所述。运动向量检测处理为循环的，并且被配置来输出便携式自主设备在任意给定时刻的运动向量。

如上所述，在SAD处理的特定循环期间使用的给定的样本帧被用作为SAD处理的后继循环中的参考帧。

现在参照图6A与6B，其显示参考帧100以及样本帧204的示范性候选匹配区域202，参考帧100具有被分为片区200(其具有片区重点201)的四边形参考区域101，候选匹配区域202以类似方式划分。参考帧100以及四边形参考区域101与以上图2所示的类似。但是，图6A与6B还显示了根据本发明优选实施例的片区200与重点201。

在本发明的一个实施例中，使用片区重点匹配处理来减少SAD处理的计算复杂度。如图4的步骤402所示，选择参考帧内的至少一个参考区域来匹配样本帧中的相应区域。为了减少探查候选匹配区域所有像素的较高的计算复杂度，选择一组重点作为比较的基础。优选地，如图6A所示，将四边形参考区域101划分为多个片区。优选地，片区的数目从帧尺寸导出。优选地，每个片区具有相同的尺寸与形状。在每个片区200的边界内选择片区重点201。优选地，片区重点为16像素(4乘4)方块。通过仅使用片区重点匹配处理，在SAD处理期间，计算片区重点的像素的相关值，并且将其加和。应该注意：减少片区尺寸会增加处理结果的准确性，但是也会增加其计算复杂度。因此，可以相对于设备的CPU使用情况和能力确定片区的尺寸。

图6B显示参考帧100、四边形参考区域101、以及样本帧204，样本帧204具有已经相对于四边形参考区域101生成的候选匹配区域202。定义一组片区重点203仅覆盖候选匹配区域的有限区域。通过定义片区重点201与一组片区重点203，可以在相对较短的时间内计算相关像素的相关值。匹配像素数目的减少大大减少了匹配处理的计算复杂度。

现在参照图7A与7B，其显示相应掩模300与310，其被配置来乘以片区重点201与环绕像素带302的像素值。片区重点201类似于以上图6所示的。但是，图7A还显示了方块301，其表示根据本发明优选实施例的恒定因数。

如上所述，片区重点匹配处理大大减少了SAD处理的计算复杂度。但是，使用具有有限数目像素的片区重点可能不总是产生可靠的结果。

例如，当片区重点的像素表示显示均匀图案的数字图像部分时，其包括具有特定值的像素。如果表示均匀图案的部分覆盖了邻近片区重点的像素，则多于一个的候选匹配区域可能会包含表示同一均匀图案的像素。如上所述，SAD处理的结果依赖于匹配块的图案。由此，当匹配此类候选匹配区域时，SAD出会产生同一低失真测度。显然，在这种情况下，不能使用SAD处理来识别匹配区域，并且不能计算便携式自主设备的运动向量。

为了保证片区重点匹配处理的质量，进行片区重点选择处理。片区重点选择处理用来识别位于特定片区的相对不均匀区域中的片区重点201。通过尽可能地避免从具有均匀图案的周围区域部分中选择片区重点，片区重点选择处理增加了片区重点匹配处理的准确性。优选地，所使用的掩膜被分为36(6乘6)个相等的方块301。每个方块301表示不同的恒定乘法因数303。每个恒定乘法因数303用来乘以相关像素的值。优选地，掩膜中心处的恒定乘法因数303具有正值，而其他恒定乘法因数303具有负值。优选地，所有恒定乘法因数的和为零。

在重点选择处理期间，利用掩膜300评估每个片区重点201。邻近中心的片区重点201每个像素的值以及围绕片区重点的每个像素的值被乘以相应的恒定因数303。所有乘积的和以反比反映了周围区域的相关部分的图案的均匀性水平。和的绝对值越大，该均匀性水平就越低。

如果图案是均匀的、并且掩膜内的像素值具有相同或类似的值，则所有乘积的和为零或者近似为零。得到该结果是因为如上所述，负与正区域303中的所有相应恒定因数的和为零。掩膜中心与掩膜边沿具有相反的值。由此，如果掩膜内的像素值以非均匀的方式绘制，则所有乘积和的绝对值相对较大。掩膜为正的中心处的像素值与掩膜为负的边沿处的像素值之间的差异越大，所有乘积和的绝对值就越大。优选地，将所有乘积和的绝对值存储作为重点适当性排位，其反映了所探查的可能的片区重点的适当性。

在使用时，每个可能的片区重点的像素值的乘积被加和，并且选择具有所有结果中最高重点适当性排位的片区重点作为片区重点。此类实施例保证了所选择的片区重点相对于相关片区内的其他可能的片区重点位于具有低均匀性水平的区域上。在本发明的一个实施例中，将重点的均匀性水平存储作为重点适当性排位。优选地，反比于均匀性水平地存储适当性排位。优选地，不同的所选片区重点的重点适当性排位可以用来确定片区重点匹配处理的顺序。如图4的步骤403所示，在选择了片区重点作为参考帧中的参考区域之后，计算每个候选匹配区域的失真测度值。如上所述，可以在SAD处理期间计算和存储当前最低失真测度。为了减少计算复杂度，在计算处理期间，可以停止失真测度值计算。如果所计算的失真测度值超过了当前最低失真测度，则可以停止计算处理，并且可以计算下一候选匹配区域的失真值。如上所述，具有高适当性排位的片区重点具有相对不均匀的图案。这样，不匹配参考区域的候选匹配区域的片区重点可能具有较高的相关值。由此，此类片区重点比具有低适当性排位的重点更可能影响候选匹配区域的失真测度值。由此，通过在具有低适当性排位的重点之前加和具有高适当性排位的重点的值，可以假定会在相对较短的时间内识别出不适当的候选匹配区域。因此，在本发明的一个实施例中，根据片区重点适当性排位，确定片区重点的相加顺序。根据片区重点的适当性排位，以降序安排片区重点，并且将其像素的相关值加到和上。

如上所述，在片区重点选择处理期间，将将其加到和上之前，将每个可能的片区重点的每个像素的值乘以掩膜的相应值。

图7B显示根据本发明一个实施例的掩膜310，其用来减少片区重点选择处理的计算复杂度。通过使用此类掩膜，在将其乘以掩膜的值之前，将参考区域的像素值加到临时和上。将临时和的结果加到失真测度和上。如图7B所示，将掩膜301划分为像素组304，优选为4个像素。每个组中的像素乘以相同的恒定乘法因数303。优选地，每个组的像素被安排在象组304的方块中。将每个组中的所有像素加和，并且只将该数乘以相关恒定乘法因数303。然后将临时和加和，以反映掩膜的均匀性水平，如上所述。显然，通过减少像素乘法的数目，此类实施例减少了数学运算的数目。

现在再次参照图4。在步骤402上在匹配区域上选择并且定义了片区重点之后，可以计算每个候选匹配区域的失真测度值，如步骤403所示。因为匹配区域有限，所以失真测度值的计算复杂度相对较低。在步骤404，容易地选择具有最低测度值的候选匹配区域，并且在步骤405，计算运动向量。

输出的运动向量的可靠性不恒定。如上所述，当所捕获的周围区域具有均匀图案时，可能产生相对相对不可靠的输出。片区重点选择处理无法完全消除均匀图案对位移检测处理的品质的影响。例如，如果均匀图案完全覆盖了一或多个片区，则片区的任何片区重点的像素值加和为近似相同的不希望的结果。包括显示同一均匀表面的像素的候选匹配区域与参考区域之间的匹配无法提供用于生成可靠运动向量的所需信息。

在本发明的一个实施例中，对于每个输出的运动向量，计算品质水平。品质水平基于每个候选匹配区域表面的失真度。当参考与样本帧显示非均匀表面的相对较大部分时，大部分候选匹配区域的失真测度为高。如上所述，品质水平为在SAD处理期间计算的高相关值的结果。但是，当所捕获的图像显示相对较大的均匀表面时，大部分候选匹配区域的失真测度为低。优选地，特定运动向量的品质水平为相关候选匹配区域的所有失真测度的和。该和越高，则运动向量的品质水平越高。

对于某些应用，评估运动向量的品质水平可能非常有益。例如，可以预先定义一或多个门限，以在位移检测处理期间确定是使用还是忽略所生成的运动向量。在另一实施例中，品质水平可以用来确定是否通知便携式自主设备的操作者关于运动向量的可靠性。优选地，向操作者呈现指示运动向量的品质水平的语音或者视觉消息。视觉消息的例子可以为闪烁显示或者文本消息。

运动向量的品质水平的另一用途基于以下假定：便携式自主设备的每次移动一般都由一系列类似的连续运动向量表示。由此，假定便携式自主设备的当前运动向量与先前运动向量相同的概率为高。优选地，品质水平下降会指示便携式自主设备使用先前运动向量作为当前运动向量。优选地，存储一或多次循环的运动向量。如果品质水平减少到预定门限以下，则输出先前计算的运动向量作为当前运动向量。此类实施例可能是有益的，以克服仅是短期的误计算，优选的为几个十分之一秒长，该误计算是由分析显示均匀表面的数字图像序列引起的。

现在参照图8，其显示根据本发明优选实施例的具有位移检测模块的便携式自主设备。该便携式自主设备250用来通过指定的图像输入模块252实时从图像传感器接收数字图像251。所接收的数字图像251来自图像传感器，该图像传感器可以为互补金属氧化物半导体(CMOS)传感器或者电荷耦合便携式自主设备(CCD)传感器。

将数字图像传送给匹配区域模块254，匹配区域模块254用来选择参照帧(一般为当前数字图像)边界内参考区域的位置。匹配区域模块254限定与参考区域匹配的区域。该限定允许较快地分析参考区域，并且减少了位移检测处理的计算复杂度。然后，匹配区域模块254用来识别后来帧边界内的匹配区域，该后来帧为在以后时间点处接收的另外的数字图像。匹配区域与参考区域的位置被传送到位移检测模块255。位移检测模块255用来根据匹配区域与参考区域的位置，生成便携式自主设备的当前运动向量。根据运动向量，方向性指令256输出到该便携式自主设备250的一或多个应用257。显示器258用来根据不同的应用输出，通知用户关于所计算的运动向量。

现在参照图9A、9B、9C、9D，其显示对不同种类应用使用位移检测处理的移动电话的示意图。如图1步骤3所示，在位移检测处理的每次循环期间，根据设备的位移输出运动向量。图9A显示本发明的一个实施例，其包括存放在便携式自主设备上的光标控制模块，当收到运动向量时，可以操作该光标控制模块。用户可以简单地实际移动便携式自主设备900，由此造成光标位移被识别。在标号901处显示了移动电话的位移。可以在任意所选的二维平面上进行便携式自主设备900的移动。

图9B与9C显示本发明的实施例，其中将运动向量转换为控制信号，该控制信号允许用户控制便携式自主设备的常用视觉界面。例如，用户可以使用运动向量来导航通过工具条、对话帧、窗口、以及分级菜单(其中某些选项会打开进入子菜单)。用户由此可以使用位移检测处理作为界面，以管理联系信息、语音邮件、以及硬件设置，浏览网络，以及连接到专用信息服务。在移动电话中，例如，所输出的运动向量可以被进一步用于拨号与数据输入，以及导航通过访问大部分功能的分级菜单。

例如，如图9B所示，垂直移动移动电话902允许用户导航通过菜单。与垂直轴平行的运动向量的方向被转换为反映用户选择的导航指令。

在另一个例子中，如图9C所示，水平移动移动电话903允许用户调节移动电话扬声器的音量水平。移动电话903的水平移动确定了与水平轴平行的运动向量，该运动向量被转换为反映用户选择的导航指令。

图9D与9E显示本发明的实施例，其中将运动向量转换为控制信号，该控制信号允许用户控制便携式自主设备的不同的应用。图9D显示用户可以通过其运行游戏的移动电话904的水平移动。图9E显示用户可以通过其运行导航软件模块的移动电话905的水平移动。运动向量的进展被转换为方向性指令或其他操作指令，该方向性指令控制显示器上的图形对象。

现在参照图10，其显示了使用位移检测处理拍照的移动电话的示意图。如上所述，在位移检测处理的每次循环期间，根据设备的位移输出运动向量。众所周知，包含图像传感器的移动设备一般被配置来拍照。但是，因为用户的手可能在拍照过程期间抖动，所以所拍的照片可能会模糊，这是因为移动设备可能抖动了。

为了解决以上问题，图10显示了本发明的实施例，其包括在便携式自主设备上存放的拍照模块，其可以用来在收到运动向量时拍照。在使用时，用户可以简单地实际放置便携式自主设备901来捕获显示其希望拍摄的特定场景的数字图像。然后，与在其他公知集成图像传感器设备中一样，用户按压指定按钮来捕获场景的照片。现在，在本发明的一个实施例中，拍照模块被配置来检测移动设备的任何位移，如标号911所示。当所计算的运动向量反映特定位移或者倾斜时，进行检测。位移可以在任意所选二维平面上的任何方向上。在本发明的一个实施例中，如果对于预定周期(例如1秒)没有检测到位移，则自动拍照。这允许拍照者对选定目标进行摇拍型(panning-type)相机运动与暂停，这会有利于拍照。

现在参照图11，其显示使用位移检测处理控制拨号模块的移动电话的示意图。如上所述，在位移检测处理的每次循环期间，根据设备的位移输出运动向量。

图11显示本发明的一个实施例，其包括在便携式自主设备上存放的拨号模块，其在收到运动向量时可以操作该拨号模块。优选地，该拨号模块被配置来生成拨号盘922的与数字标记923的显示。用户可以简单地实际移动便携式自主设备920来造成数字标记923的移动，以在拨号盘上的不同数字之间移动。优选地，拨号模块被配置来通过将设备的倾斜运动转换为位移指令，控制数字标记923的移动。便携式自主设备920可以被倾斜到任意角度。用户可以添加特定的数字到要拨的号码，例如通过当数字标记923指向拨号盘显示922中特定数字的表示时按压指定的按钮。

预计在本专利有效期内，会开发许多相关的便携式自主设备与系统，并且此处术语的范围(尤其是术语数字图像、图像传感器、处理、计算单元、以及灰度图像)意在预先包括所有此类新术语。

应该理解：为了清楚而在分离的实施例中描述的本发明的特定特征也可以在单个实施例中组合提供。反之，为了简洁而在单个实施例的语境中描述的本发明的各个特征也可以分离地提供或者以任意适当的子组合提供。虽然联系本发明的具体实施例描述了本发明，但是本领域技术人员理解可以有许多替换、修改、以及变化。相应地，本发明意在包括落入权利要求的精神与范围内的所有此类替换、修改、以及变化。在本说明书中提到的所有出版物、专利、以及专利申请都通过引用全文融入本文，恰如各个出版物、专利、以及专利申请都被具体分别指定通过引用全文融入本文。另外，本说明书中对任何文献的引用或者标识都不应该被理解为承认此类文献对于本发明是现有技术。

Claims (47)

1、一种具有集成图像传感器的便携式自主设备的位移检测方法，该方法包括以下步骤：

a)从所述图像传感器接收当前数字图像，所述当前数字图像显示背景场景；

b)选择所述当前数字图像内的第一区域的位置；

c)从所述图像传感器接收显示所述背景场景的重叠部分的后来的数字图像；

d)识别所述后来的数字图像内匹配所述第一区域的第二区域的位置，该匹配使得所述第一区域与第二区域显示所述背景场景的近似相同的部分；以及

d)根据所述第一区域与所述第二区域之间的位移计算所述便携式自主设备的当前运动向量。

2、如权利要求1所述的位移检测方法，还包括重复步骤c)、d)、以及e)的步骤f)。

3、如权利要求1所述的位移检测方法，其中所述第一区域为与所述第一当前数字图像同心的四边形区域。

4、如权利要求1所述的位移检测方法，其中所述第一区域的定位将所述第一当前数字图像划分为边沿区域与主要区域。

5、如权利要求1所述的位移检测方法，其中根据所述第一当前数字图像中多个可能的第一区域的对比测度，进行步骤b)的所述选择。

6、如权利要求1所述的位移检测方法，还包括所述步骤a)与步骤b)之间的以下步骤：根据像素位置，调节所述当前数字图像的像素的亮度水平。

7、如权利要求1所述的位移检测方法，还包括所述步骤a)之前的以下步骤：使便携式自主设备操作者能够输入敏感度因数，并且根据所述敏感度因数调节所述运动向量。

8、如权利要求1所述的位移检测方法，其中根据以下步骤执行步骤b)的所述识别：

i)根据来自所述第一区域的表示性信息的差异，分别评估多个候选区域的每一个的失真测度；以及

ii)选择所述候选区域中的一个作为匹配区域，所述所选候选匹配区域具有最低的失真测度。

9、如权利要求8所述的位移检测方法，还包括步骤i)与步骤ii)之间的以下步骤：评估所述运动向量的品质水平，所述品质水平根据所述失真测度确定。

10、如权利要求9所述的位移检测方法，还包括以下步骤：指示所述运动向量的当前品质水平。

11、如权利要求9所述的位移检测方法，还包括存储所述运动向量作为先前运动向量的步骤，其中根据以下步骤执行步骤e)的所述计算：

i)如果所述当前品质水平没有超过预定门限，则替换所述先前运动向量作为结果；以及

ii)如果所述当前品质水平超过所述预定门限，则计算所述当前运动向量。

12、如权利要求8所述的位移检测方法，其中如果当前失真测度高于先前计算的失真测度，则停止步骤i)中的所述评估。

13、如权利要求8所述的位移检测方法，其中所述第一区域包括多个片区。

14、如权利要求13所述的位移检测方法，其中在步骤ii)的所述选择期间，按特定顺序探查所述片区，所述特定顺序根据每个所述片区的像素的所述表示性信息的多样性确定。

15、如权利要求8所述的位移检测方法，其中在步骤ii)期间，按预定顺序选择所述多个候选匹配区域，其中所述预定顺序根据所述候选匹配区域在所述后来的数字图像上的位置坐标安排。

16、如权利要求1所述的位移检测方法，其中根据以下步骤执行步骤b)的所述选择：

i)将所述当前数字图像内的部分划分为多个片区；

ii)分别识别所述多个片区中每一个片区内的片区重点；以及

iii)选择所述片区重点作为所述第一区域。

17、如权利要求16所述的位移检测方法，其中所述部分为小于所述当前数字图像的四边形区域，所述四边形区域的中心在所述当前数字图像的中心中。

18、如权利要求16所述的位移检测方法，其中步骤i)的所述划分将所述四边形区域划分为相同尺寸与形状的片区。

19、如权利要求16所述的位移检测方法，其中根据以下步骤执行步骤ii)的所述识别：

a)对于所述多个片区中的每一个片区，分别评估多个可能的片区重点中的每一个片区重点的均匀性水平，所述均匀性水平反映相关像素的表示性信息的多样性；以及

b)对于所述多个片区中的每一个片区，分别选择所述可能的片区重点中具有最低均匀性水平的一个片区重点。

20、如权利要求19所述的位移检测方法，其中所述评估通过以下进行：将所述相关片区重点的像素以及环绕带像素的所述表示性信息乘以恒定乘法因数组的恒定乘法因数，并且加和乘积，由此可以根据所有乘积值的和与零的接近程度，确定所述均匀性水平。

21、如权利要求1所述的位移检测方法，还包括：在所述步骤d)与步骤e)之间，利用来自附加图像传感器的附加流的顺序数字图像，执行步骤a)到d)，以生成附加识别；并且其中根据以下步骤执行步骤e)：

i)根据所述识别计算所述运动向量；

ii)根据所述附加识别计算附加运动向量；以及

iii)根据所述附加运动向量与所述运动向量，输出空间运动向量供所述便携式自主设备的至少一个应用使用。

22、如权利要求2所述的位移检测方法，还包括在步骤e)与步骤f)之间的步骤e1)：存储所述后来的数字图像作为第一当前数字图像。

23、如权利要求1所述的位移检测方法，其中在倾斜所述便携式自主设备期间，捕获所述当前的数字图像与后来的数字图像。

24、如权利要求1所述的位移检测方法，还包括以下步骤：使用所述运动向量作为拍照的指示。

25、一种具有至少一个集成图像传感器的便携式自主设备，所述至少一个集成图像传感器的每一个使用户能够生成所述便携式自主设备相对于背景的位移的当前运动向量，所述便携式自主设备包括：

图像输入设备，具有到所述至少一个集成图像传感器的连接，所述图像输入设备用来从所述至少一个图像传感器接收来自具有背景表示性信息的当前数字图像的参考帧与样本帧；

匹配区域模块，用来选择所述参考帧的边界内的参考区域以及所述样本帧的边界内的匹配区域的位置；

位移检测模块，用来根据所述参考区域以及所述匹配区域的相对位置，生成便携式自主设备的所述当前运动向量；以及

显示设备，用来根据所述当前运动向量生成显示。

26、如权利要求25所述的便携式自主设备，其中所述匹配区域模块用来根据多个可能的第一区域的非均匀性水平，选择参考区域的位置，所述非均匀性水平从相应可能的第一区域的像素值的均匀性导出。

27、如权利要求25所述的便携式自主设备，其中所述至少一个集成图像传感器包括以下组中的一个：互补金属氧化物半导体(CMOS)传感器或者电荷耦合便携式自主设备(CCD)传感器。

28、如权利要求25所述的便携式自主设备，其中所述便携式自主设备为以下组中的一个：手机、手持设备、以及基于处理器的多功能便携式自主设备。

29、如权利要求25所述的便携式自主设备，其中所述图像输入设备具有到两或多个集成图像传感器的连接，所述位移检测模块用来根据两或多个所述当前运动向量，生成表示所述便携式自主设备在三维空间中的移位的空间运动向量。

30、如权利要求25所述的便携式自主设备，其中所述显示设备用来通过应用显示分级菜单，并且其中所述当前运动向量可由所述应用用来导航通过所述分级菜单。

31、如权利要求25所述的便携式自主设备，其中所述显示设备用来显示光标，其中所述当前运动向量用来发送所述光标的导航指令。

32、如权利要求25所述的便携式自主设备，其中所述显示设备用来显示电话拨号盘，其中所述当前运动向量用来发送对所述电话拨号盘的操作指令。

33、如权利要求25所述的便携式自主设备，还包括拍照模块，其中所述当前运动向量用来发送对于所述拍照模块的操作指令。

34、如权利要求33所述的便携式自主设备，其中所述操作指令包括：当对于预定时间量没有检测到运动时，进行拍照。

35、如权利要求25所述的便携式自主设备，其中所述显示设备用来显示视觉界面，其中所述视觉界面被配置来由所述当前运动向量调节。

36、一种具有集成图像传感器的便携式自主设备中用于位移检测的自适应方法，所述自适应方法包括以下步骤：

a)从所述图像传感器接收当前数字图像与后来的数字图像，所述数字图像包括多个像素；

b)选择所述当前数字图像内的第一匹配区域的位置以包括具有相对不均匀值的像素；

c)识别所述后来的数字图像内第二匹配区域的位置，其中所述第一匹配区域与第二匹配区域具有具备类似值的相应像素；以及

d)根据所述识别，输出当前运动向量，所述当前运动向量由所述便携式自主设备的至少一个应用使用。

37、如权利要求36所述的方法，其中所述运动向量包括倾斜运动。

38、如权利要求36所述的位移检测方法，还包括重复步骤c)、d)、以及e)的步骤f)。

39、如权利要求37所述的位移检测方法，还包括：步骤a)之前的显示电话号码盘的步骤，以及步骤e)以及步骤f)之间的使用所述当前运动向量来操作所述电话号码盘的步骤。

40、一种具有被配置用来生成当前数字图像的至少一个集成图像传感器的移动电话，所述移动电话包括：

运动检测模块，被配置用来根据所述当前数字图像，检测所述移动电话的当前运动，由此生成运动信号；以及

拨号模块，与所述运动检测模块相关联，被配置用来根据所述运动信号拨号。

41、如权利要求40所述的移动电话，其中所述当前运动为倾斜运动。

42、如权利要求40所述的移动电话，还包括：显示模块，被配置用来显示电话拨号盘，其中所述运动信号用来控制所述电话拨号盘。

43、一种用于拍照的便携式自主设备，所述设备包括：

至少一个集成图像传感器，被配置用来生成当前数字图像；

运动检测模块，被配置用来根据所述当前数字图像，检测所述设备的运动，由此生成运动检测信号；以及

拍照模块，与所述运动检测模块相关联，被配置用来根据所述运动检测信号进行拍照。

44、如权利要求43所述的便携式自主设备，其中所述当前数字图像使所述运动检测模块能够生成所述便携式自主设备相对于背景的位移的当前运动向量，所述运动检测模块包括：

图像输入设备，具有到所述至少一个集成图像传感器的连接，所述图像输入设备用来从所述至少一个图像传感器接收来自具有背景表示性信息的当前数字图像的参考帧与样本帧；

匹配区域模块，用来选择所述参考帧的边界内的参考区域以及所述样本帧的边界内的匹配区域的位置；

位移检测模块，用来根据所述参考区域以及所述匹配区域的相对位置，生成便携式自主设备的所述当前运动向量；以及

显示设备，用来根据所述当前运动向量生成显示。

45、如权利要求44所述的便携式自主设备，其中所述当前运动向量用来发送对于所述拍照模块的操作指令。

46、如权利要求44所述的便携式自主设备，其中所述运动检测信号为当前运动向量。

47、如权利要求44所述的便携式自主设备，其中所述拍照模块被配置用来：当所述运动检测信号指示对于预定时间量所述运动检测模块没有检测到运动时，进行拍照。

Images