CN101268434B - 自主手持设备及控制自主手持设备的操作的方法 - Google Patents

Abstract

一种自主手持设备，包括具有电子编辑图片的绘图能力的绘图模块以及感应自身运动的运动感应特征。所述自主手持设备被配置为将所述运动感应特征与所述绘图能力相关联，从而使得所述运动感应特征感应到的运动能够修改所述电子编辑。

Description

自主手持设备及控制自主手持设备的操作的方法

技术领域

本发明涉及允许用户向便携自主设备的绘图工具应用程序输入方向指令的方法和设备，更具体地但不唯一地，涉及允许用户使用基于图像处理的运动和姿态检测来向具有有限计算能力的便携自主设备的这样的应用程序输入方向指令的方法和设备。

背景技术

复杂电子电路的快速小型化以及高分辨率显示器的出现广泛地增加了基于便携处理器的设备的数量和种类。这样的设备包括手持计算机、移动电话机、寻呼机以及其它便携通信和计算解决方案。此外，便携自主设备的处理功率、数据存储容量、通信速度、以及电池寿命正继续加速发展。

前述每个便携自主设备通常集成有允许用户控制其功能的人机界面(MMI)。但是，不得不将MMI调整成便携自主设备的小尺寸。传统MMI是最小化的键盘或键区，其允许用户输入具有文本表示的数据，如电话号码、联系人姓名、字处理器内容等等。最小化的键盘或键区也可以被用作指示设备。

一些便携自主设备除了集成有文本输入设备外，还集成有指定的指示设备。例如，近来开发的移动电话机通常包括使用户能够操作便携自主设备的小操纵杆或滚动杆(roller)。用户可以使用指示设备在连接到便携自主设备的显示屏幕上做出选择来控制该便携自主设备。例如，使用指示设备，用户能够通过选择显示屏幕上的竖直或级别滚动条来滚动观看区域。

另一个常用的MMI是触摸屏。例如，个人数字助理(PDA)通常集成有这样的触摸屏和笔形指示设备，其经常存储于PDA旁或在PDA上。使用时，将笔形指示设备施加于PDA上的显示区域，以使用户能够做出选择以及与PDA便携自主设备交互。高分辨率的LCD触摸屏可以被用于移动电话机和便携设备中。使用触摸屏的缺点是它们价格昂贵以及透明度有限，后者降低了图片质量，特别是现代高分辨率的LCD显示器。

近来，复杂电子元件的快速小型化和成本降低使得图像传感器集成于基于处理器的便携自主设备中。PDA、移动电话机和膝上型计算机集成有用于捕获静态和视频图像的照相机。这提高了移动电话机装置的市场潜力。

另外，图像传感器的集成允许用户与基于便携处理器的设备进行交互。例如，公知图像传感器的输出可以用于计算物体的位移。但是，由于这些公知方法依赖于特定的标准来追踪场景以及它们可能不是可靠的、可升级的以及鲁棒的，因此它们具有一些局限性。因而，引导操作和显示受到了限制。此外，获得的功能性也是有限制的，从而使得在手持设备上控制诸如图像创建和编辑的复杂操作很困难。因此，这些限制阻止了基于处理器的设备使用位移检测处理来执行特定功能和应用程序。

因而普遍公认需要一种允许用户输入方向指令的基于处理器的便携设备，其完全没有上述局限性，并且具有这样的设备也是非常有益的。

发明内容

根据本发明的一方面，提供了一种自主手持设备。该自主手持设备包括具有电子编辑图片的绘图能力的绘图模块以及感应自身运动的运动感应特征，其中所述自主手持设备被配置为将所述运动感应特征与所述绘图能力相关联，从而允许所述运动感应特征感应到的运动修改所述电子编辑，其中所述运动感应特征包括图像传感器，还包括运动矢量检测模块，所述运动矢量检测模块被适配为接收在所述自主手持设备的位移期间捕获的数字图像，所述运动矢量检测模块被配置为根据该数字图像来产生所述图像传感器的当前运动矢量，其中，所述自主手持设备被配置为根据所述当前运动矢量来修改所述电子编辑。

优选地，所述自主手持设备还包括到显示设备的连接，所述图片被配置为显示在所述显示设备上。

优选地，所述电子编辑的行为包括由下述组成的组的一些成员：在所述显示设备上绘制一条线，在所述显示设备上绘制图形物体，在所述显示设备上选择图形物体的颜色，在所述显示设备上选择图形物体的线条宽度，在所述显示设备上为图形物体着色，在所述显示设备上改变图形物体的纹理，以及在所述显示设备上确定图形物体的大小。

优选地，所述自主手持设备还包括合并模块，其被适配为接收当前运动矢量，所述合并被配置为将当前运动矢量与在位移期间的连续运动矢量序列合并，所述绘图模块被配置为根据该连续运动矢量序列来创建所述图片。

优选地，所述自主手持设备还包括：运动模式库，其被适配为存储多个模式样本记录，每一个模式样本记录代表一个预定运动模式；以及运动模式匹配模块，其被适配为将所述多个模式样本记录中的一个与所述连续运动矢量序列匹配。所述绘图模块被配置为根据该匹配来创建图片。

更优选地，该预定运动模式是非线性运动模式。

更优选地，该运动模式匹配模块被配置为根据所述匹配来确定所述数字图像是否大约按照各个预定运动模式而被拍摄的。

更优选地，所述合并模块被适配为用于向所述多个模式样本记录增加新记录；所述新记录根据所述数字图像而产生。

更优选地，所述多个模式样本记录中的每一个包括运动矢量阵列。

优选地，所述绘图模块被配置为根据所述匹配在显示设备上绘制字符。

根据本发明的一方面，提供了一种根据图像传感器输入来控制具有显示设备的自主手持设备的操作的方法，所述方法包括：a)接收由图像传感器在该自主手持设备的位移期间捕获的数字图像，b)根据该数字图像识别该自主手持设备的当前运动，以及c)根据所述当前运动在显示设备上编辑图片，其中，所述步骤b)包括下述步骤：i)从所述数字图像中接收当前数字图像，所述当前数字图像描述了背景场景；ii)在所述当前数字图像内选择第一区域的位置；iii)从所述描述背景场景的重叠部分的数字图像中接收较后的数字图像；iv)在所述较后的数字图像内识别与所述第一区域匹配的第二区域的位置，所述匹配如下：所述第一和第二区域描述所述背景场景的近似相同的部分；v)根据所述第一区域和第二区域之间的位移来计算所述自主手持设备的当前运动矢量；和vi)输出所述当前运动矢量作为所述当前运动。

优选地，步骤c)还包括下述步骤中的至少一个：在所述显示设备上绘制图形物体，在所述显示设备上选择图形物体的颜色，在所述显示设备上选择图形物体的线条宽度，在所述显示设备上为图形物体着色，在所述显示设备上改变图形物体的纹理，以及在所述显示设备上确定图形物体的大小。

优选地，所述方法还包括步骤d)，其重复步骤a)、b)和c)。这种重复可以是连续重复。

优选地，所述第一区域是与所述当前数字图像同心的四边形区域。

优选地，根据在所述当前数字图像中的多个潜在第一区域的对比度级别来完成所述步骤ii)。

优选地，所述方法还包括在步骤a)之前的使便携自主设备操作员具有输入灵敏度因子以及根据所述灵敏度因子调节所述运动矢量的能力的步骤。

除非另有定义，这里所用的所有技术和科学术语具有与本发明所属领域技术人员通常理解的相同的意思。这里提供的设备、方法和示例仅仅是说明性的，并不意欲是限制性的。

本发明的方法和设备的实现涉及手动、自动、或手动和自动结合执行或完成特定选择的任务或步骤。此外，根据本发明的方法和设备的优选实施例的实际仪器和装备，能够通过硬件或通过任何固件的任何操作系统上的软件或通过软件和硬件的结合来实现本发明的所选步骤。例如，对于硬件，本发明的所选步骤可以被实现为芯片或电路。对于软件，本发明的所选步骤可以被实现为由使用任何合适的操作系统的计算机执行的多个软件指令。在任一情况下，本发明的方法和设备的所选步骤可以被描述为由诸如用于运行多个指令的计算平台之类的数据处理器执行。

附图说明

这里将参照附图仅以示例方式来描述本发明。现在详细地参照附图，应当强调，示出的细节仅仅是示例，仅为了示出本发明的优选实施例的阐述，并且是为了提供相信是对本发明的原理和构思方面的最有用的和最容易理解的描述而示出的。因此，除了对本发明的基本理解是必要的之外，不会更详细地示出本发明的结构上的细节，结合附图的描述使得本领域技术人员清楚本发明的几种形式是如何被实施在实际中的。

在附图中：

图1是根据本发明的优选实施例的被配置为检测和修改自身运动以电子编辑图片的设备的示意图；

图2是根据本发明的优选实施例的用于物体位移检测的方法的简化流程图；

图3A是根据本发明的一个实施例的参考帧和四边形参考区域；

图3B是由便携自主设备在处于特定周围区域中捕获的参考帧和样本帧；

图3C是在图3B的参考帧内捕获的一部分周围区域；

图3D是在图3B的样本帧内捕获的一部分周围区域；

图3E是在图3B的四边形参考区域和所选匹配区域候选者的位置之间的偏移的示意图；

图4是根据本发明的优选实施例的示范性块匹配过程的简化流程图；

图5描述了根据本发明的优选实施例的用于确定匹配区域候选者被匹配的次序的螺旋搜索轨迹；

图6A是具有被分成具有区域主元(pivot)的区域的四边形参考区域的参考帧；

图6B是根据本发明的优选实施例的具有四边形参考区域的参考帧和具有相对于该四边形参考区域而产生的示范性匹配区域候选者的样本帧；

图7A是被配置为将区域主元的像素值与环绕带的像素值相乘的一个掩码；

图7B是被配置为将区域主元的像素值与环绕带的像素值相乘的另一个掩码；

图8是根据本发明的优选实施例的具有用于使用户能够输入方向指令的图像传感器的便携自主设备的示意图；

图9A是用于输入控制信号以控制显示光标的移动电话机的位移的示范性示意图；

图9B是用于游历显示菜单的移动电话机的位移的示意图；

图9C是用于位移移动设备的屏幕上的图形物体的移动电话机的位移的示意图；

图9D是用于延长显示在移动设备的屏幕上的线条的移动电话机的位移的示意图；

图10是根据本发明的优选实施例的用于将按照预定运动模式而拍摄的数字图像序列转换成可以被传送到应用程序的控制信号的设备的示意图；

图11是根据本发明的优选实施例的组合起来形成运动模式的一组连续运动矢量的示范性图形表示；

图12是根据本发明的优选实施例的用于将数字图像序列转换成控制信号的四步处理的简化流程图；

图13是根据本发明的优选实施例的产生运动矢量序列的流程图；

图14A是代表特定运动模式的运动矢量序列的示范性图形表示；

图14B是根据图14A的运动矢量序列产生的归一化运动矢量序列的示范性图形表示；

图14C是具有图14A的运动矢量序列和图14B的归一化运动矢量序列共有的模式的示范性字符的图形表示；

图15A是根据本发明的优选实施例的产生归一化运动矢量序列的过程的简化流程图；

图15B是根据本发明的优选实施例的产生归一化运动矢量序列的过程的另一个简化流程图；

图16A是根据按照数字“3”形状的运动模式而拍摄的数字图像序列产生的归一化运动矢量序列和一对被配置为分别与“3”和“6”形状的运动模式匹配的模式样本记录的图形表示；

图16B描述了两个表格，每个包括与图8A所示的运动模式有关的不同模式样本记录的相似性级别值；

图17描述了根据本发明的优选实施例的在将运动模式记录进模式样本库期间和在利用所记录的运动模式期间的移动电话机和它的一些显示屏；以及

图18A、18B和18C是根据本发明的实施例的便携自主设备的运动模式的示意图。

具体实施方式

本实施例包括用于控制安装在自主手持设备上的画图应用程序的设备和方法，更具体地但不唯一地，涉及用于使用(例如，根据数字图像序列)检测到的自主设备的运动来向在具有有限计算资源的自主手持设备上的这种应用程序输入方向指令和运动模式的设备和方法。

参照附图和相应描述可以更好地理解根据本发明的装置和方法的原理和操作。在详细说明本发明的至少一个实施例之前，应当理解，本发明的应用不限于下面描述的或图中示出的部件的构造和配置的细节。本发明能够应用于其它实施例或能够以各种方式被实践或实施。同样，应当理解，这里采用的措词和术语是为了描述而不应当被理解为是限制性的。

本发明的一个实施例是具有图像传感器的自主手持设备，如移动电话机。该设备被配置为允许用户通过该手持设备的位移来创建或编辑图片(drawing)。该自主手持设备包括运动矢量检测模块，其基于在该图像传感器位移期间的运动捕获来编辑数字图像。

在运动检测的一个实施例中，运动矢量检测模块根据所捕获的数字图像产生该图像传感器的当前运动矢量。该自主手持设备还包括显示设备(如小型屏幕)和绘图模块。与所述运动矢量检测模块相关联的绘图模块根据该当前运动矢量来创建或编辑图片。该图片可以在编辑期间和编辑后显示在所述显示设备上。

在本发明的一个实施例中，自主手持设备的运动矢量序列被捕获并解释成单个图形物体或字符。在这样的实施例中，该自主手持设备优选地还包括被适配为接收当前运动矢量的合并模块。该合并模块将当前运动矢量与该自主手持设备的位移期间的连续运动矢量序列合并。绘图模块根据该连续运动矢量序列创建图片。优选地，该自主手持设备还包括存储模式样本记录的运动模式库。每一个模式样本记录代表一个预定运动模式。这样的实施例使得自主手持设备在模式样本记录之一与连续运动矢量序列之间进行匹配。匹配可以被解释成激活绘图模块功能之一的控制信号。例如，该控制信号可以被解释成被添加到该图片的特定图形物体或特定字符。

本发明的另一个实施例是用于根据图像传感器的输入来控制具有显示设备的自主手持设备的操作的方法。该方法允许用户通过位移该自主手持设备来编辑图片。该方法包括几步。在第一步期间接收图像传感器在自主手持设备的位移期间捕获的数字图像。然后，根据该数字图像识别自主手持设备的当前运动模式。基于该当前运动模式，产生绘图动作并编辑或修改当前图片。

便携自主设备可以被理解为任何基于处理器的便携设备，特别是移动电话机、个人数字助理(PDA)、或任何其它集成有照相机或类似成像设备的手持设备。

控制信号可以被理解为进入诸如电信设备、处理器或计算机程序之类的功能单元的诸如信号或干扰的启动特定动作的刺激信号、输入、或标记。

运动模式可以被理解为物体沿着近似或精确顺着轮廓线的轨迹的任何运动。该轮廓线可以由特定形状组成，如字符形状、标记形状、线形状、空间形状、物体上的形状等。运动模式也可以被理解为物体沿着公知手势的轨迹的任何运动，或在执行公知活动期间的肢体的典型运动。

绘图工具和绘图模块可以被理解为允许用户绘制或编辑图片的任何硬件或软件模块。这些图片既可以是黑白的也可以是彩色的，并且可以以各种格式的可读文件被保存在主便携自主设备的存储器中，各种格式如Bitmap、JPEG、GIF、PNG、TIFF和PDF格式等。所产生的图片可以被打印、用作壁纸、或粘贴到另一个文件中。优选地，绘图工具可以用于查看并编辑图像。在本文中，该工具安装在便携自主设备中。

现在参照图1进行描述，图1描述了根据本发明的优选实施例的便携自主设备。便携自主设备1000包括绘图模块1001和运动传感特征1002。绘图模块1001具有电编辑图片的多种绘图能力，其范围可以从最基本的图像编辑例程到高级图形包。应当注意，虽然为了简洁之故，下文只用了术语‘编辑’，但是‘创建’和‘删除’也应当被理解为可作必要的修改而被包含于本发明之中。

运动传感特征1002被配置为用于感应便携自主设备1000的自身运动。下面描述这种特征的一个示例。自主手持设备1000被配置为以允许所感应到的运动修改图片的电子编辑的方式来将运动传感特征1002与绘图模块1001的绘图能力相关联。优选地，便携自主设备1000包括被配置为允许用户启动和终止运动传感特征1002的自身运动感应的用户界面。例如，在移动电话机中，可以通过由按下键区上的指定键或由按下移动电话机的外壳上的指定按钮而发出的一组简单的命令来启动所述捕获。可以通过按下和释放按钮启动自身移动感应的启动和终止。可替换地，用户可以按下按钮来启动捕获，而再次按下按钮来终止捕获。

优选地将检测到的自身运动转换成方向或其它指令，以操作其中的绘图模块或特征，如下所述。该转换使得用户控制绘图模块的不同功能性。该转换还使得便携自主设备的用户能够以相同的方式输入代表不同字符或标记的信号，这些字符或标记已被预先定义，如下所述。

现在参照图2来描述，图2是示出根据本发明的优选实施例的允许用户基于便携自主设备的位移向其输入方向指令的方法的流程图。图2描述了用于输出特定便携自主设备的实时运动矢量的迭代四步位移检测处理。

应当注意，运动矢量可以是使该设备倾斜或位移的结果。由于从设备的角度看，倾斜综合了非线性变化，所以由倾斜引起的变化的复杂性理论上高于由线性位移引起的改变的复杂性。但是，当使用下文描述的一些实施例时，复杂性差别可以忽略不计。

可以在集成有一个或多个图像传感器的各种便携自主设备中实施所描述的位移检测处理。优选地，通过已集成有图像传感器作为其它用途的便携自主设备的MMI来集成该位移检测处理。

在本发明的一个实施例中，用户可以按下指定按钮或其它MMI控制来启动位移检测处理5。该启动激活所述集成的图像传感器。便携自主设备的计算单元实时地接收描述所捕获的部分周围区域的数字图像。应当注意，所接收的每个数字图像是单独检测的，如下所述。在步骤1期间，接收第一数字图像并将其存储为当前数字图像。在下一步，即步骤7所示，将连续数字图像存储为下一数字图像。在步骤2期间，将当前数字图像和下一数字图像用于计算便携自主设备的运动矢量。在使用中，为了启动位移检测处理，捕获该周围区域的相继的两个数字图像。将这两个相继的数字图像用作计算运动矢量的基础。在下一步中，即在步骤3中，输出该运动矢量为应用程序所用。在下一步骤中，即如步骤4所示，下一数字图像现在变为用于在下一迭代步骤期间计算便携自主设备的运动矢量的当前数字图像，如步骤6所示。位移检测处理是循环的并且可以用于在任何给定时刻输出特定便携自主设备的实时运动矢量。

根据本发明的优选实施例的用于位移检测的方法的更详细的描述如下：在步骤1中，计算单元接收描述部分周围区域的数字图像并将其存储为当前数字图像。该数字图像包括多个像素，每个像素包括代表性的信息。优选地，该代表性的信息描述该数字图像内的相关部分周围区域的局部亮度和颜色。多个不同种类的色彩坐标的任意一种都可以用于表示该代表性的信息。

可以提高前述数字图像的属性以改善运动估计的质量。这样的提高可以包括调整帧的大小和诸如提高亮度和对比度之类的其它可能修改，如下所述。

通常用于捕获这种图像的图像传感器可以以任何已知方式捕获图像，但是通常输出红-绿-蓝(RGB)色彩坐标中的数字图像。然而，用于捕获这种图像的图像传感器也可以输出YCbCr色彩坐标、CIE L^*a^*b^*(CIELAB)色彩坐标、或任何其它色彩坐标、或仅仅简化为灰度级中的数字图像。

优选地，为了减少运动矢量检测的计算复杂性，使用灰度色标(grayscale)数字图像。通常，灰度色标数字图像的每个像素具有单值。表面片段的每个像素的灰度级可以用一个字节(0-255)来表示，分析这样的片段的计算复杂性低于分析以RGB、HSV、CIELAB、YCbCr或任何其它色彩坐标表示的片段的计算复杂性。

优选地，为了允许使用灰度色标数字图像的运动矢量检测处理，该方法包括将数字图像的色彩坐标(优选RGB)转换成灰度色标的色彩坐标的步骤。被转换的色彩坐标也可以由HSV、CIELAB、YCbCr或任何其它色彩坐标表示。优选地，通过使用表示该彩色数字图像的通道之一作为参考来产生灰度色标数字图像。例如，在RGB色彩坐标中，R通道的值可以用于产生灰度色标数字图像。

优选地，如果使用RGB色彩坐标来表示原始数字图像，则使用下述等式来转换原始数字图像的像素值以产生灰度色标数字图像：

GS＝0.3R+0.59G+0.11B

其中，GS表示相关像素的新的灰度色标值，R代表红色，G代表绿色，B代表蓝色。

为了改善运动矢量检测，可以进一步处理灰度色标数字图像。基于积累的知识，已知由一些图像传感器捕获的数字图像未精确反映所捕获的部分周围区域的亮度级别。所捕获的数字图像的边缘(margin)通常趋向于表示不如周围区域的相关部分精确的亮度级别。依赖于对周围区域的亮度的这样不精确的表示的位移检测处理倾向于错误计算运动矢量。为了避免运动矢量的错误计算，可以使用亮度改变补偿(BCC)掩码(mask)。

BCC掩码用于转换灰度色标数字图像像素的像素表示值。每个像素乘以一个常数乘法因子，该乘法因子的值是根据被乘像素的位置来确定的。由于优选地不增强在灰度色标数字图像的中心处的像素的亮度级别，因此在中心处的像素乘以一个近似等于1的常数乘法因子。在灰度色标数字图像的角落处的像素的亮度值趋向于遭受最不理想的衰减。因此，在灰度色标数字图像的角落处的像素乘以一个值大于1的常数乘法因子。在灰度色标数字图像的其它区域的像素乘以一个由它们与该灰度色标数字图像的中心的距离推导出的常数乘法因子。优选地，每一个像素的值使用下组等式进行转换：

CenterP＝1

CornerP＝1+C

MarP＝1+C·[(X-W/2)²+(Y-H/2)²]/[(W/2)²+(H/2)²]

其中，CenterP表示用于乘以灰度色标数字图像的中心处的像素的常数乘法因子的值，CornerP表示用于乘以灰度色标数字图像的角落处的像素的常数乘法因子的值，而MarP表示用于乘以灰度色标数字图像的其它区域处的像素的常数乘法因子的值。C表示常数因子；(X，Y)表示在灰度色标数字图像中的像素的坐标；W和H分别表示灰度色标数字图像的宽和高。优选地，C等于0.41。

优选地，为了减少在计算运动矢量期间将数字图像的像素与BCC掩码相乘的计算复杂性，预先计算每一像素的常数乘法因子并将其以预定的矩阵存储。

如在步骤2中所述，估计便携自主设备的运动矢量。基于获得的两个连续的灰度色标数字图像来计算该估计。较早的数字图像用作参考帧，较后的数字图像用作样本帧。

现在参照图3A来描述，图3A描述了根据本发明的实施例的参考帧100和四边形参考区域101。基于在参考帧内的参考区域与在样本帧内识别的匹配区域的位置之间的差来计算便携自主设备的运动矢量。根据代表在参考帧内的参考区域与在样本帧内的匹配区域候选者之间的相似性级别的相关值来选择匹配区域。每个匹配区域候选者的位置反映便携自主设备的位置的可能的变化。基于参考区域的位置和匹配区域的位置之间的差，计算代表便携自主设备的运动的运动矢量，如下所述。然后可以将该运动矢量传递以为便携自主设备的应用程序所用。因而，用户能够操纵该便携自主设备以控制便携自主设备的不同的应用程序。

为了计算所述相关值，由参考区域所代表的部分周围区域不得不再次出现在样本帧中。但是，如果由参考帧捕获的部分周围区域处于其边缘区域102、103，则便携自主设备的运动可以导致该部分周围区域不在样本帧内。这样，边缘的宽度定义了能够被检测到的每两个连续帧之间的最大偏移。只要在帧之间的运动不大于此最大偏移，通过使用来自四边形参考区域101的像素就能够确保它们再次出现在下一图像中。

在本发明的一个实施例中，在参考帧100的中心处定义四边形参考区域101。优选地，四边形参考区域101小于参考帧100并且定位于其中心处。四边形参考区域101用作与来自样本帧的匹配区域候选者匹配的参考区域。在四边形参考区域101的边界内捕获的部分周围区域再次出现在样本帧中的几率高于在参考帧100的边缘内捕获的部分周围区域出现在样本帧中的几率。优选地，预先定义四边形参考区域101的长度。优选地，参考帧104、105的长度与边缘102、103的长度的比例在1∶0.125到1∶0.375之间。如上所述，在定义了四边形参考区域101后，在样本帧的边界之内定义具有相同尺度的匹配区域。

现在参照图3B、3C、3D及3E来描述，3B、3C、3D及3E描述了由参考帧100和由样本帧204部分捕获并描述的周围区域。参考帧100和四边形参考区域101与上面图3A示出的相似。但是，图3B-3D进一步描述了根据本发明的优选实施例的样本帧204、匹配区域候选者202、以及一组捕获的物体。

如图2的步骤2中所示，当前数字图像和下一数字图像用于计算便携自主设备501的运动矢量。优选地，如上所述，在当前数字图像中捕获的被选匹配区域候选者202描述了与在由四边形参考区域101所描述的前一数字图像中捕获的部分周围区域相似的部分周围区域。基于四边形参考区域101和样本帧的匹配区域候选者的位置之间的偏移来计算便携自主设备的运动矢量。

图3B描述了由其运动方向如数字503所示的便携自主设备所捕获的参考帧100和样本帧204。图3C描述了在参考帧100内捕获的部分周围区域。图3D描述了在样本帧204内捕获的部分周围区域。

参考帧100和样本帧204都源于相同的数字图像序列。这些帧具有相同的尺寸并且能够使用相同的坐标系来参考。优选地，使用原点在帧的左上角的坐标系。

如图3C和图3D所示，四边形参考区域101和被选匹配区域候选者202位于相对于所用坐标系的原点来说不同的坐标处。图3E描述了在四边形参考区域101和所选匹配区域候选者202的位置之间的偏移504。偏移504反映了与便携自主设备的运动方向相反的运动矢量。优选地，将该偏移表示为两个数字(即，Mx和My)的一组数，这两个数字代表特定像素505和相应像素506的坐标之间的差，其中该特定像素505代表在参考帧100内的特定部分周围区域，相应像素506代表在样本帧204内的同一部分周围区域。

优选地，所计算的便携自主设备的运动矢量是代表参考区域101和所选匹配区域候选者202之间的偏移的矢量的逆。

如图2的步骤3中所示，该运动矢量用于便携自主设备的应用程序中。通过使用这样的运动矢量，用户可以位移该便携自主设备以产生方向指令给该便携自主设备的一个或多个应用程序。位移检测处理使用所检测到的便携自主设备的运动来确定被解释成方向指令的运动矢量。可以将该方向指令与跟该便携自主设备相关的显示屏幕上的光标图像的位移相关联。该显示屏幕可以用于显示虚拟黑板以使得用户在产生过程中感知其图片，如下进一步所述。

优选地，所计算的便携自主设备的运动矢量反映了该便携自主设备在与图像传感器平行的二维平面内的移动。

在本发明的一个实施例中，输出的运动矢量是反映便携自主设备在三维空间内的移动的空间运动矢量。为了产生空间运动矢量，至少使用两个以不平行方式耦接到便携自主设备的图像传感器。如上所述，使用这些图像传感器中的每一个来产生反映该便携自主设备在二维平面内的移动的线性运动矢量。由于这些线性运动矢量定位于不同的非平行平面中，因此所产生的线性运动矢量也彼此不同，并且分别反映设备在不同的非平行平面内的运动。优选地，通过组合代表便携自主设备在两个非平行平面内的运动的两个线性运动矢量((x′，y′)和(x′，z′))来确定该设备的空间运动矢量(x′，y′，z′)。应当注意，这两个线性运动矢量的每一个包括关于便携自主设备沿着轴(X，Y或Z)的运动的信息。因此，能够容易地计算反映便携自主设备在三维空间内的移动的空间运动矢量。优选地，这两个图像传感器以互相垂直的方式位于便携自主设备的表面上。基于反映物体在两个不同平面内的运动的两个运动矢量来计算物体的空间运动矢量已广泛为人所知，因此这里不再详细描述。

在本发明的一个实施例中，将该运动矢量乘以一个灵敏度因子。该灵敏度因子用于或者加强或者削弱便携自主设备的运动对于应用程序的影响。

现在参照图4来描述，图4是根据本发明的优选实施例的示范性块匹配处理的流程图。如图2的步骤3中所示，输出便携自主设备的运动矢量以用于该便携自主设备的应用程序中。为了计算该运动矢量，必须识别样本帧内的匹配区域。

在本发明的一个实施例中，使用块匹配处理来选择样本帧之内的匹配区域。优选地，使用绝对差总和(SAD)处理。该SAD处理用于量化四边形参考区域101和样本帧内的不同的匹配区域候选者之间的相似性。量化结果用于确定匹配区域。

在图4中，在第一步中，如上所述以及如400和401中所示，接收参考帧和样本帧。随后，如402中所示，在该参考帧的边界内定义至少一个参考区域。优选地，在前述四边形参考区域的边界内定义该区域。然后，如403中所示，SAD处理评估匹配区域候选者的失真度量(distortion measure)。该失真度量反映相关匹配区域候选者和参考区域之间的相似性级别。优选地，根据下述等式来定义用于评估特定匹配区域候选者和参考区域之间的失真度量的SAD处理的算法：

$\mathrm{SAD}(B_{\mathrm{cur}},B_{\mathrm{ref}})=\underset{j=1}{\overset{\mathrm{pl}}{\mathrm{\Σ}}}\underset{i=1}{\overset{\mathrm{pw}}{\mathrm{\Σ}}}|B_{\mathrm{cur}}(i,j)-B_{\mathrm{ref}}(i,j)|$

其中，B_ref表示参考区域，B_cur表示匹配区域候选者，(i，j)表示被匹配的像素的坐标，Pw和Pl分别表示沿着被匹配的帧的宽和长的像素数。在SAD处理的每次迭代期间，通过计算参考区域B_ref(i，j)中的像素值和在匹配区域候选者B_cur(i，j)中的各个像素值之间的差来确定相关值。SAD处理的结果是计算的所有像素的相关值的总和。

所描述的算法用于计算所有匹配区域候选者的失真度量的值。如404中所示，只有在每个匹配区域候选者或者已被使用SAD处理来评估或者被识别为不合适作为匹配区域之后，才选择具有最低失真度量的匹配区域候选者，如下所述。

如果L和W是边缘尺寸(图2中的102、103)，必须评估一共(2L+1)·(2W+1)个不同的匹配区域候选者。考虑到参考区域的尺寸，这样复杂的匹配处理可能具有很高的计算复杂度，需要相当大量的计算资源。在诸如移动电话机和其它手持设备之类的便携自主设备中，这样的资源不总是可用。为了减少必需的计算资源量，必须对匹配处理进行优化。存在一些方法通过早期识别并移除不适合作为匹配区域的匹配区域候选者来达到优化。

在本发明的一个实施例中，将最低的失真度量存储为当前最低失真度量。可以在SAD处理期间使用此信息以降低计算复杂度。如上所述，失真度量是参考帧(B_ref)的像素和匹配区域候选者(B_cur)的像素相减的余数的总和。当前最低失真度量可以用作最大阈值。在SAD处理期间，将余数总和与当前最低失真度量作比较。如果该和大于当前最低失真度量，则SAD处理停止，并且相关匹配区域候选者被识别为不合适。显然，如果当前总和大于为前一个匹配区域候选者而计算的当前最低失真度量，则当前匹配区域候选者由于具有较高的失真度量而不能被选择。可以在SAD处理的任一阶段中将余数的总和与当前失真度量相匹配以降低其计算复杂度。

现在参照图5来描述，图5描述了根据本发明的优选实施例的用于确定匹配区域候选者被匹配的次序的螺旋搜索轨迹600。如上所述，在找到匹配区域之前，一共有(2L+1)·(2W+1)个不同的匹配区域候选者必须或者被使用SAD处理来评估或者被识别为不合适。显然，在匹配区域候选者完全匹配之前将其识别为不合适降低了SAD处理的计算复杂度。如上所述，早期识别是基于与当前最低失真度量有关的信息的。因此，如果在匹配处理的早期阶段识别最低失真度量，则可以将更多的匹配区域候选者与在其参考区域完全匹配之前识别为不适合。

为了利用最低失真度量继续进行匹配区域候选者的识别，利用螺旋搜索轨迹600。基于实验数据假定匹配区域通常邻近参考区域。因而，为了继续进行匹配区域候选者的识别，优选地，在匹配非相邻匹配区域候选者之前，匹配相邻匹配区域候选者。优选地，螺旋搜索轨迹600用于确定匹配区域候选者将要与参考区域匹配的次序。螺旋搜索轨迹600的每个节点(如，节点601)包括参考区域的坐标和匹配区域候选者的坐标之间的偏移。例如，如果参考区域的左上方像素的坐标是(x，y)，则第六个匹配的匹配区域候选者的左上方像素的坐标是(x-1，y-1)，如601处所示。这样的搜索轨迹确保在匹配距离较远的匹配区域候选者之前先匹配较近的匹配区域候选者。

现在再参照图4。如405处所示，所选的匹配区域候选者用于计算便携自主设备的运动矢量，如上所述。运动矢量检测过程是循环的，并被配置为在任意给定时刻输出便携自主设备的运动矢量。

如上所述，在SAD处理的特定迭代期间所用的给定样本帧被用作随后SAD处理迭代中的参考帧。

现在参照图6A和6B，它们描述了具有四边形参考区域101的参考帧100和样本帧204的示范性匹配区域候选者202，该四边形参考区域101被分成了具有区域主元(pivot)201的多个区域200，而该匹配区域候选者202按照相似的方式被划分。参考帧100和四边形参考区域101与上图3A所示的相同。但是，图6A到B还描述了根据本发明的优选实施例的区域200和主元201。

在本发明的一个实施例中，区域主元匹配过程用于降低SAD处理的计算复杂度。如图4的步骤402所示，参考帧内的至少一个参考区域被选为与样本帧内的一个相应区域匹配。为了降低探测匹配区域候选者的所有像素的很高的计算复杂度，一组主元被选为比较的基础。优选地，如图6A中所示，四边形参考区域101被分成多个区域。区域数优选地由帧大小推导出。每个区域优选地具有相同的大小和形状。在每个区域200的边界之内选择区域主元201。优选地，区域主元为16像素(4乘4)的正方形。通过仅使用区域主元匹配过程，在SAD处理期间计算并总计区域主元的像素的相关值。应当注意，减小区域尺寸增加了处理结果的准确度但也增加了其计算复杂度。因此，可以根据设备的CPU利用情况和能力来确定区域的尺寸。

图6B描述了参考帧100、四边形参考区域101和样本帧204，其中样本帧204具有参照四边形参考区域101而产生的匹配区域候选者202。定义一组区域主元203，以仅覆盖匹配区域候选者的有限区域。通过定义区域主元201和该组区域主元203，可以在相对短时间内计算出相关像素的相关值。匹配像素数量的减少基本上降低了匹配处理的计算复杂度。

现在参照图7A和7B，它们分别描述了被配置为与区域主元201的像素值和像素302的环绕带的像素值相乘的掩码300和310。区域主元201与上面图6A所示的相似。但是，图7A还描述了根据本发明的优选实施例的代表常数因子的正方形301。

如上所述，区域主元匹配过程基本上降低了SAD处理的计算复杂度。但是，使用具有有限数量像素的区域主元可能不总是得出可信的输出。

例如，当区域主元的像素代表描述均匀图样(pattern)的数字图像的一部分时，其包括具有特定值的像素。如果代表均匀图样的一部分覆盖与区域主元相邻的像素时，多于一个匹配区域候选者可以包括代表相同均匀图样的像素。如上所述，SAD处理的结果取决于匹配块的图样。因此，当匹配了这样的匹配区域候选者时，SAD处理产生出相同的低失真度量。显然，在这种情况下，不能用SAD处理来识别匹配区域，也不能计算便携自主设备的运动矢量。

为了保证区域主元匹配处理的质量，执行区域主元选择处理。区域主元选择处理用来识别位于特定区域的相对不均匀区域的区域主元201。通过尽量避免选择来自具有均匀图样的周围区域的部分的区域主元，区域主元选择处理增加了区域主元匹配处理的准确度。优选地，所用掩码被分成36个(6×6)相等的正方形301。每个正方形301代表一个不同的常数乘法因子303。每个常数乘法因子303用于将相关像素的值相乘。优选地，掩码中心处的常数乘法因子303具有正值，而其它的常数乘法因子303具有负值。所有常数乘法因子的总和优选地为0。

在主元选择处理期间，使用掩码300评估每个区域主元201。邻近中心的区域主元201的每个像素值和环绕该区域主元的每个像素302的值都乘以各自的常数因子303。所有乘积的总和成反比地反映了周围区域的相关部分的图样的均匀级别。总和的绝对值越高，均匀级别将越低。

如果图样是均匀的并且在掩码内的像素值具有相等或相似的值，则所有乘积的和为0或接近0。这是因为如上所述，在负区域和正区域303中的所有常数因子的和为0，因此得出该结果。掩码的中心和掩码的边缘具有相反值。因此，如果在掩码内的像素值是以非均匀方式绘制的，则所有乘积的总和的绝对值相对较大。在掩码的正中心处的像素值和掩码的负边缘处的像素值之间的差越大，所有乘积总和的绝对值越高。优选地，将所有乘积总和的绝对值存储作为主元相配级别，其反映探测的可能的区域主元的适当性。

在使用中，将每个可能的区域主元的像素值的乘积相加，并且将具有所有乘积中最高主元相配级别的区域主元选择作为区域主元。这样的实施例确保了所选区域主元位于与相关区域内的其它可能的区域主元相比具有低的均匀级别的区域。在本发明的一个实施例中，主元的均匀级别被存储作为主元相配级别。优选地，相配级别与均匀级别成反比地进行存储。优选地，所选的不同区域主元的主元相配级别可以用于确定区域主元匹配过程的次序。如图4的步骤403所示，在区域主元已被选为参考帧内的参考区域之后，计算每个匹配区域候选者的失真度量值。如上所述，在SAD处理期间可以计算并存储当前最低的失真度量。为了降低计算复杂度，在计算过程期间可以暂停失真度量值计算。如果所计算的失真度量值超过当前最低失真度量，则计算过程可以暂停并可以计算下一匹配区域候选者的失真值。如上所述，具有高相配级别的区域主元具有相对非均匀的图样。同样地，与参考区域不匹配的匹配区域候选者的区域主元可以具有高相关值。因此，这样的区域主元比具有低相配级别的主元具有较高的影响匹配区域候选者的失真度量值的可能性。因此，通过在对具有低相配级别的主元值求和之前对具有高相配级别的主元值求和，在相对较短时间内大体上识别出不合适的匹配区域候选者。因而，在本发明的一个实施例中，根据区域主元相配级别确定区域主元的相加次序。按照区域主元的相配级别的递减的次序来排列区域主元，并且将区域主元的像素的相关值增加到该和中。

如上所述，在区域主元选择过程中，在将每个可能的区域主元的每个像素值增加到该和中之前先将它们乘以掩码的各个值。

图7B描述了根据本发明的一个实施例的为了降低区域主元选择过程的计算复杂度而使用的掩码310。通过使用这样的掩码，在在将参考区域的像素值乘以掩码值之前先将它们增加到临时和中。将临时和的输出添加到失真度量和中。如图7B所示，掩码310被分成像素组304，优选地为4组。每组中的像素乘以相同的常数乘法因子303。优选地，每组的像素以类似于组304的正方形排列。对每组中的所有像素求和，而仅将该求和得到的数字乘以相关的常数乘法因子303。然后对临时和求和以反映掩码的均匀级别，如上所述。显然，这个实施例通过减少像素相乘数来减少数学运算数。

现在再次参照图4。在步骤402中在匹配区域内选择并定义了区域主元组之后，可以计算每个匹配区域候选者的失真度量值，如步骤403所示。由于匹配区域有限，失真度量值计算的计算复杂度相对较低。在步骤404很容易选出具有最低失真度量值的匹配区域候选者，在步骤405计算运动矢量。

输出运动矢量的可靠性不恒定。如上所述，当所捕获的周围区域具有均匀图样时，可能产生相对不可靠的输出。区域主元选择过程在位移检测过程的质量不能完全达到均匀图样的效果。例如，如果均匀图样完全覆盖了一个或多个区域，则该区域的任何一个区域主元的像素值求和得到近似相同的不理想结果。在匹配区域候选者和包括描述相同均匀表面的像素的参考区域之间的匹配不能提供产生可靠的运动矢量所需的信息。

在本发明的一个实施例中，对于每个输出的运动矢量，计算其质量级别。质量级别基于匹配区域候选者的每个表面的失真度量。当参考和样本帧描述了相对较大一部分非均匀表面时，大部分匹配区域候选者的失真度量值很高。如上所述，质量级别是在SAD处理期间计算的高相关值的结果。但是，当捕获的图像描述了相对较大均匀表面时，大部分匹配区域候选者的失真测量值相对较低。优选地，特定运动矢量的质量级别是相关匹配区域候选者的所有失真度量的总和。和越高，运动矢量的质量级别越高。

评估运动矢量的质量级别可以基本上对一些应用程序有益。例如，可以预定义一个或多个阈值，以便在位移检测过程期间确定是否使用或忽略所产生的运动矢量。在另一个实施例中，质量级别可以用于确定是否将有关运动矢量的可靠性通知给便携自主设备的操作员。优选地，将指示运动矢量的质量级别的语音或可视消息展现给操作员。可视消息的一个示例可以是闪烁显示或文本消息。

运动矢量的质量级别的另一个应用是基于如下假定：通常便携自主设备的每个运动由一系列相似并连续的运动矢量所表示。因此，假定便携自主设备的当前运动矢量等于前一个运动矢量的概率很高。优选地，质量级别简化指令便携自主设备使用前一个运动矢量作为当前运动矢量。优选地，存储一次或多次迭代的运动矢量。如果质量级别减小到预定阈值以下，则输出先前计算的运动矢量作为当前运动矢量。这样的实施例可以有利于仅克服由分析描述均匀表面的数字图像的序列而引起的短时间(优选地为十分之几秒长)误算。

现在参照图8，其描述了根据本发明的一个优选实施例的具有位移检测模块的便携自主设备。便携自主设备250被适配为通过指定的图像输入模块252接收来自图像传感器的实时数字图像251。接收的数字图像251源于图像传感器，该图像传感器可以是互补金属氧化物半导体(CMOS)传感器或电荷耦合便携自主设备(CCD)传感器。

数字图像被传送到匹配区域模块254，该模块用于在参考帧(通常为当前数字图像)的边界内选择参考区域的位置。匹配区域模块254将与参考区域匹配的区域划界。此划界使得较快地分析参考区域并降低了位移检测过程的计算复杂度。然后，匹配区域模块254用于识别后一个帧的边界内的匹配区域，该后一个帧是在后来的时间点接收的另一个数字图像。匹配区域和参考区域的位置被传送给位移检测模块255。该位移检测模块255用于基于参考区域和匹配区域的位置产生便携自主设备的当前运动矢量。基于该运动矢量，将方向指令256输出到便携自主设备250的一个或多个应用程序257。显示器258用于根据不同的应用程序输出通知用户有关计算的运动矢量。

现在参照图9A、9B、9C和9D，它们描述了使用位移检测处理以控制绘图工具的不同功能的移动电话机的示意图。如图2的步骤3所示，在位移检测处理的每次循环期间，基于设备的位移输出运动矢量。图9A描述了本发明的一个实施例，其包括光标控制模块，存储在便携自主设备中，当接收到运动矢量时，可以操作该光标控制模块。用户可以简单地物理位移便携自主设备910，从而使得识别出光标位移。移动电话机的位移以数字911所示。便携自主设备910的位移可以在任何所选的二维平面内执行。可以将光标与移动电话机键之一相结合，用于选择特定的图形物体或在显示在移动电话机屏幕上的虚拟黑板上标出边界。也可以以相同的方式将光标用于给特定的图形物体(如场景或轮廓)上色。用户通过使用光标指向虚拟调色板中特定的颜色可以在该虚拟调色板的不同颜色中选择，并将其拖放到移动电话机屏幕上显示的目标位置之上。

运动矢量可以用于操作绘图工具的不同功能。例如，运动矢量可以用于在工具条、对话框、窗口和分级菜单(其中，一些选项通往子菜单)间进行游历。因此用户能够使用位移检测处理作为管理图形物体、绘图线条宽度和碎片(brash)设置的界面以及浏览不同绘图的界面。

在一个具体实施例中，如图9B所示，垂直移动移动电话机912使得用户在菜单间进行游历。与垂直轴平行的运动矢量的方向被转换为反映用户选择的导航指令。

在另一个实施例中，如图9C所示，水平移动移动电话机913使得用户将图形物体914在移动电话机的显示器上水平位移。移动电话机913的水平运动确定平行于水平轴的运动矢量，其被转换成反映用户想要将图形物体914位移的方向的导航指令。运动电话机913的位移也可以用于改变被位移的图形物体的大小、颜色、线条宽度(thickness)、线条长度或形状。

在另一个示例中，如图9D所示，移动移动电话机915使得用户创建一条线916并将其加长，其显示在移动电话机的显示器上。移动电话机913的运动确定运动矢量，其被转换成反映用户想要将所绘线条916加长的方向的导航指令。运动电话机915的位移也可以用于例如使用如上所述的拖放功能的光标来改变线条的颜色、宽度或形状。

现在参照图10，其描述了本发明的另一个实施例。便携自主设备250、数字图像251和图像输入模块252与上面图8所示的相同。但是，在本实施例中，增加了运动模式转换器350。

优选地，便携自主设备250包括用户接口，其被配置为允许用户开始和结束数字图像序列的捕获。例如，在移动电话机中，可以通过利用按下键区上的指定键或利用按下移动电话机的外壳上的指定按钮发布的一组简单的命令而开始捕获。可以通过按下和释放按钮来使得捕获开始和终止。可替换地，用户可以按下按钮来开始捕获并再次按下按钮来结束捕获。

数字图像251的序列由便携自主设备250接收并由运动模式转换器350将其转换为方向指令，如上所述。运动模式转换器350用于将一组方向指令转换为控制信号351，其与运动模式转换器350的一个或多个应用程序相关。运动模式转换器350被用于合并模块，其被适配为将当前运动矢量与转换设备的位移期间的连续运动矢量序列合并，如下所述。

该转换使得用户能够通过沿着预定运动模式移动便携自主设备250来控制便携自主设备250的不同功能。该转换还使得便携自主设备的用户能够以相同的方式来输入预先定义的代表不同字符或符号的信号。控制信号351被传送到相关应用程序257，如下所述。

现在参照图11，其是组合起来从而形成运动模式141的一组连续运动矢量140的图形表示。运动模式141的每个运动矢量140代表在一定时段内转换设备的运动。

如上所述，运动矢量发生器和运动模式转换器用于将连续数字图像转换成控制信号。优选地，转换设备被配置为将大量不同的预定运动模式转换为各自不同的控制信号。在这样的实施例中，用户大体上沿着按照预定运动模式的轮廓的轨迹142操纵该转换设备，以便于将信息发送给考虑控制信号的特定相关序列的运动模式转换器。优选地，为了识别该预定运动模式以及将其与特定控制信号相关，运动矢量发生器利用图像处理方法。

现在参照图12，其是示出了根据本发明的优选实施例的将顺序数字图像转换为控制信号的四步处理的流程图。在第一步261中，运动模式转换器接收连续的数字图像。在本发明的一个实施例中，数字图像的每一个都包括多个彩色像素，每个像素包括色彩信息。每个像素的色彩信息用于图像处理。

在步骤262中，由运动模式转换器产生运动矢量序列。如上所述，沿着预定运动模式捕获顺序数字图像。为了识别在捕获该顺序数字图像期间的预定运动模式，必须分别计算包括预定运动模式的运动矢量。优选地，基于由运动矢量发生器产生的两个连续的数字图像之间的差来计算运动矢量序列的每一个，如上面参照图3A、图3B和图4所描述的。

现在参照图13，其是示出了根据本发明的优选实施例的运动矢量序列的产生的流程图。在运动矢量序列产生的第一步中，如步骤351所示，设置质量阈值。该质量阈值反映估算的质量，在该质量阈值之上的特定运动矢量被定义为有效运动矢量。这种能力使得容易集成许多已知的用于估计优选地相对于前一个运动矢量的运动矢量值的有效性的算法。该质量阈值被用在该过程的后面的步骤，如355中所示。

在下一步中，如352中所示，初始化运动矢量阵列。运动矢量阵列被配置为存储未定义数量的运动矢量。优选地，以保证灵活性的方式动态定义阵列。接着，该过程进入等待阶段，在该阶段中，在接收到初始信号之前不记录运动矢量，如353中所示。优选地，用户必须按下预定按钮以便于产生这样的初始信号。在接收到初始信号后，如在360和361中所示，检索当前帧和捕获的下一帧，以计算运动矢量。优选地使用如参照图3A到3E描述的当前帧和捕获的下一帧来计算运动矢量。当过程迭代时，优选地对由运动矢量发生器所产生的每两个连续帧计算运动矢量，如上所述，如在354中所示。

在355中，现在使用在前一步已计算出的质量阈值。如果计算的运动矢量的质量级别低于该质量阈值，或计算的运动矢量表明转换设备没有位移时，则计算另一个运动矢量，如在356中所示。然而，如果计算的运动矢量的质量级别在该质量阈值之上，并且计算的运动矢量表明转换设备存在位移时，则将计算的运动矢量增加到运动矢量阵列中，如在357中所示。在下一步358中，探测结束信号的接收。在本发明的一个实施例中，用户通过按下指定按钮可以产生结束信号。如果没有接收到结束信号，则计算另一个运动矢量。

如上所述，优选地，根据两个当前帧中的后一个和被用作后一个帧的另外的帧之间的差来计算附加运动矢量。因此，如361中所示，如果未探测到结束信号的接收，则这两个当前帧中的后一个被传送，以用于与下一个捕获的帧一起计算下一运动矢量。再如图13所示，运动矢量序列的获得是以重复方式计算的循环过程。

如图13所示，在初始信号和结束信号的接收之间的时段内，以循环方式将运动矢量增加到运动矢量阵列中。由于用户优选地具有产生这些信号的能力，如上所述，因此用户能够给记录特定运动模式的特定时段定界。当产生了包括连续运动矢量序列的运动矢量阵列时，过程结束，如359中所示。所产生的序列代表在转换设备的位移期间所执行的特定的运动模式，如上所述。

现在再次参照图11，其描述了基于沿着预定轨迹142捕获的实时数字图像的运动矢量140的序列。在两个连续的点143之间的每条线144代表计算的运动矢量，其与该转换设备在特定时间段期间的运动有关。图11描述了本发明的优选实施例，其中运动模式141是沿着具有字母“S”形的预定轨迹而捕获的。

现在再次参照图12。如上所述，根据顺序数字图像产生运动矢量序列。下一步是将运动矢量序列与多个预定运动模式中的一个相匹配，如253中所示。根据沿着特定运动模式捕获的顺序数字图像产生运动矢量序列。用户可以使用转换设备来输入多个运动模式。每个运动模式用于产生不同的控制信号。在本发明的一个实施例中，运动模式转换器包括模式样本库，其包括模式样本记录；每个模式样本记录与相应的控制信号相关。优选地，模式样本记录数是可变的，并且可以由用户来调节。每个模式样本记录优选地包括预定数量(优选地为24)的运动矢量的阵列。优选地，如果得到了一个空间运动矢量序列，如上所述，则每个模式样本记录包括空间运动矢量序列。这些运动矢量优选地具有优选地可以作为一个单元处理的统一长度。因而，运动矢量仅反映沿着相关运动模式的方向改变。根据特定预定运动模式来顺序安排每个阵列的运动矢量。这样的运动模式的形状可以是通常字符、通常标记、通常符号、或者如签名之类的单独配置的记号，如下所述。

现在参照图14a、14b和14c，它们分别描述了确定特定运动模式141的运动矢量序列、具有统一长度的归一化运动矢量550的序列、以及示范性字符551。图14a的运动矢量序列的图形表示如上面图11所示。

如上所述，在本发明的一个实施例中，运动模式转换器包括模式样本库。这样的实施例使得运动模式转换器将所得到的运动矢量序列与多个模式样本记录中的一个相匹配，每个模式样本记录包括不同的预定运动模式。然而，与包括统一长度的预定运动矢量序列的模式样本记录不同，所得到的运动矢量序列包括未定数量的具有不同长度的运动矢量，如图11中所示。在本发明的一个实施例中，在将所获得序列的运动矢量与模式样本库的记录比较之前，先将它们集合起来并对它们进行操作，以形成优选地具有统一长度的归一化矢量。

现在参照图15A，其是示出了根据本发明的优选实施例的产生归一化的运动矢量序列的五步过程的流程图。如下面将要进一步描述的，运动矢量序列与存储代表特定运动模式的运动矢量序列的记录相匹配。这些记录具有预定数量的包括特定运动的运动矢量。为了将运动矢量序列与所存储的记录相匹配，必须根据存储在这些记录中的预定运动矢量数来将运动矢量序列分段。这样的分段允许匹配过程的发生，下面将更详细描述。

在第一步611中，接收描述如上所述的运动模式的运动矢量序列。优选地，所获得的序列是具有多个记录的阵列，每个记录包括具有特定长度的运动矢量。

在下一步612中，估算运动模式的长度。通过对组成所获得的序列的运动矢量的长度求和来完成估算。通过估算运动模式的长度，可以确定长度统一的运动矢量的长度，如613中所示。优选地将所获得的序列的总长度除以代表所需运动矢量的数量的预定数量。如上所述，每个模式样本记录包括具有预定数量(如，24)的运动矢量的阵列。在下一步中，如614中所示，在将所获得的运动矢量序列与每个模式样本匹配之前，先将其分成长度统一的此后被归一化的多段运动矢量。长度统一的运动矢量数等于存储在模式样本中的运动矢量数。在该过程中，所获得的序列被分成相似数量的长度统一的运动矢量。优选地，通过将运动模式的长度分成被表示为如上所述的运动矢量的预定数量的段来计算每个长度统一的运动矢量的长度。存储所计算的长度以便于使得运动矢量序列的分段以相等长度而分组，如下所述。

如上所述，在步骤614中，在根据序列总长度估算出所获得的运动矢量序列的总长度之后，可以将所获得的运动矢量序列分成连续的归一化运动矢量段。

现在参照图15B，其是更详细地示出了根据本发明的优选实施例的图15A中描述的归一化运动矢量产生过程的流程图。在图15B中，j代表当前归一化运动矢量的连续次序，i代表当前运动矢量的连续次序，E代表当前运动矢量数，L代表当前运动矢量的总长度，M代表归一化运动矢量数(如，24)，N代表归一化运动矢量，V代表当前运动矢量，A代表长度统一的运动矢量的统一长度，C代表形成当前长度统一的运动矢量的运动矢量段的当前长度，F代表统一长度(A)和当前处理的归一化运动矢量(N(j))的长度之间的差。

如651中所示，接收优选地以阵列(V(i))存储的描述运动模式的初始运动矢量序列。优选地，所获得的序列是具有多个记录的阵列，每个记录包括具有特定长度的运动矢量。在接收到运动矢量序列后，估算运动模式的长度。如步骤652到657中所述，通过对包括所获得的序列的运动矢量的长度求和来完成长度估算。如在步骤654到656中所示，求和是以迭代过程来完成的，在迭代过程中，将所有运动矢量的长度加在一起成为单个变量(L)。如在657中所示，在估算了运动模式的长度之后，将所获得的序列的总长度(L)除以代表所需运动矢量的数量(M)的预定数量。该推导的结果(A)是根据运动矢量序列被分割以形成归一化运动矢量的统一长度，如步骤662到669所述。现在，如步骤658到659中所示，重置用于归一化运动矢量产生过程中的不同变量。接着，如在步骤661到671中所示，是根据步骤657中确定的统一长度(A)产生归一化运动矢量的子过程。该子过程是迭代的，并且允许连续的归一化运动矢量的产生，如下所述。在该子过程的每次迭代中，初始化代表当前处理的运动矢量的变量。优选地，初始化当前处理的归一化矢量N(j)和表示其当前长度的变量C，分别如661和660中所示。接着，如步骤662到665中所示，将多个连续运动矢量相加以形成当前处理的归一化运动矢量N(j)。只要该连续运动矢量的和不超过统一长度A，就将它们连续相加，如662中所示。因而，通过再连接下一个连续运动矢量，当前处理的段被延长，超过了估算的统一长度(A)。为了不超出估算的统一长度(A)，通过部分连续运动矢量F·V(i)来补足组成该段的已连接连续运动矢量的长度与归一化长度之间的差(gap)，如在步骤666到667中所示。如在668中所示，将该连续运动矢量的剩余部分添加为组成下一个归一化矢量N(j+1)的第一矢量，该下一个归一化矢量N(j+1)在过程(j+1)的下一迭代中处理。优选地，如在669中所示，在添加最后一个运动矢量或者其一部分的长度之后，将新片段(N(j))归一化为统一单位大小(N(j)＝N(j)/Length(N(j)))，下面进一步将要描述。如在671中所示，步骤660到671所示的迭代子过程一直继续，直到最后一个运动矢量被分配到最后片段中。因而，如672中所示，在归一化运动矢量产生过程中，产生了归一化矢量序列(优选地为阵列)。与所获得的运动矢量序列的运动矢量不同，归一化运动矢量序列的归一化的运动矢量具有统一的长度。在统一运动矢量产生过程结束后，可以直接将归一化运动矢量序列与多个可能的模式样本记录比较。图14B描述了这样的统一运动矢量序列的图形表示。

在归一化运动矢量产生过程中，通过将每个运动矢量除以运动矢量长度(N(j)＝N(j)/Length(N(j)))而将其归一化。具体地，优选地根据下述公式来定义这部分归一化：

$x^{\′}=x/\sqrt{(x^2+y^2)};$

$y^{\′}=y/\sqrt{(x^2+y^2)};$

其中(x′，y′)表示归一化运动矢量，(x，y)代表在该运动矢量被归一化之前的统一长度(A)的运动矢量。如上所述，在将运动矢量归一化之后，它们和模式样本记录的运动矢量之间的差优选地仅反映角度偏移。在如上所述和图13的这个示例中，矢量被归一化为单位长度(1)。

现在参照图16A和16B，它们分别描述了根据本发明的优选实施例的三个归一化运动矢量序列的图形和数字表示。如上所述，运动矢量序列已被归一化；归一化的运动矢量序列可以直接与多个可能的模式样本记录相比较。

如上所述，每个模式样本记录包括预定数量的归一化运动矢量。

优选地，为了估计某一模式样本记录是否与归一化运动矢量序列相匹配，计算一组相关值。这组相关值的每个相关值代表相似级别值，其反映归一化运动矢量(x′，y′)和相应的评估的模式样本记录(Px，Py)的运动矢量之间的相似度。由于优选地两个运动矢量都以相同的方式被归一化，运动矢量之间的差仅反映它们之间的角度偏移。优选地，计算相似级别值(SLV)作为相关值。优选地根据下述公式来定义SLV：

SLV＝(x′·Px)+(y′·Py)

由于运动矢量(x′，y′)和模式样本记录(Px，Py)都被归一化，因此相似级别值在-X和X之间，其中X代表最高相似级别，-X代表最低相似级别。X优选地等于1。图7是一组示范性归一化运动矢量810和相应的运动矢量811的图形表示。如图中所述，相似级别值812与每个归一化运动矢量810和其各自对应的运动矢量811之间的角度偏移对应。

如上所述，运动矢量序列定义了特定模式的运动。运动矢量按照连续的次序被排列，该次序反映在转换设备沿着特定轨迹位移期间所捕获的顺序数字图像。任何运动模式轨迹都顺着一条或多条线，如图11的数字142所示。因此，为了产生按照特定运动模式的顺序数字图像流，转换设备可以沿着该运动模式的轨迹位移。

优选地，对定义某一模式样本记录的所有运动矢量的相似级别值求和，以得到反映与归一化运动矢量序列相关的模式样本记录的相似级别值的匹配分数。

图16A描述了根据沿着形状为“3”的运动模式712捕获的顺序数字图像而产生的归一化运动矢量序列。该图还描述了被配置为与归一化运动矢量序列匹配的两个示范性模式样本记录。一个示范性模式样本记录711被配置为形状为“3”的运动模式，另一示范性模式样本记录710被配置为形状为“6”的运动模式。

图16B描述了两个表713和714，每个包括与归一化运动矢量运动模式712相关的不同模式样本记录的相似级别值。左边的表714包括被配置为形状为“6”的运动模式710的模式样本记录的相似级别值，右边的表713包括被配置为形状为“3”的运动模式711的模式样本记录的相似级别值。显然，由于归一化运动矢量序列代表形状为“3”的运动模式，因此其矢量与被配置为运动模式711的模式样本记录的矢量相似。被配置为运动模式713的模式样本记录的匹配分数远高于被配置为运动模式714的另一个模式样本记录的匹配分数。

在本发明的一个实施例中，计算所有的模式样本记录的所有匹配分数。基于匹配分数的计算，具有最高匹配分数的模式样本记录被选择作为对归一化运动矢量序列的匹配。在另一个实施例中，预定义一个匹配阈值。如果模式样本记录具有高于该匹配阈值的匹配分数，则选择该模式样本记录并且不计算其它模式样本记录的匹配分数。

匹配阈值也可以被用作避免错误匹配的手段。如上所述，具有最高匹配分数的模式样本记录被选择作为对归一化运动矢量序列的匹配。通过实施这样的实施例，未定义的或在任意模式样本下近似定义的随机运动模式可能被选择作为对归一化运动矢量序列的匹配，仅仅因为其具有最高的匹配分数。因此，为了避免这样的错误匹配，可以使用确定最小匹配分数的匹配阈值。优选地，运动模式转换器输出一条错误消息，表明已发生错误，以及优选地，还包括匹配分数或错误类型。

如上所述，运动模式转换器包括模式样本库。如上所述，每条模式样本记录被配置为与相应的运动模式匹配。每条模式样本记录与一个控制信号相关。在本发明的一个实施例中，模式样本库包括被配置为与普通键盘上存在的所有字符的运动模式匹配的模式样本记录。在这样的实施例中，模式样本的控制信号可以被用作转换设备的键区或键盘的控制信号。该转换设备沿着运动模式轨迹的位移产生一条对该事件的通知，其被发送到该转换设备的存储器上当前激活的程序中。

当计算出空间运动矢量序列时，如上所述，可以将空间运动模式匹配以产生控制信号。在这样的实施例中，如上所述，每个模式样本记录被配置为与空间运动模式匹配。

在本发明的一个实施例中，该转换设备还包括通信接口模块，其使得向指定目的地的发送控制信号更加容易。例如，蜂窝式发射器可以被用于发送控制信号到位于远处的设备。其它发射器(如射频(RF)发射器)可以被用于发送控制信号。例如，基于IEEE 802.11规范的无线局域网(WLAN)的Wi-Fi或其它标准的发射器可以被用于发送控制信号。

(蓝牙，一种近距离数字传输标准)可以被用作RF通信的通信协议。该转换设备也可以通过有线连接到另一台位于远处的设备上。该有线连接优选地提供有线串行通信。该串行通信可以包括RS-232连接、以太网连接、通用串行总线(USB)连接、蜂窝收发器连接、火线1394连接、USB2连接、

连接或IR连接。优选地，USB或USB2连接可以被用作电源，向转换设备提供电流。

然而，由于根据归一化运动矢量序列与预定模式样本之间的匹配来选择控制信号，因此转换设备不能识别不能由模式样本记录之一来表示的运动模式。

现在参照图17，其描述了涉及将运动模式记录进模式样本库的过程学习(learning)的模式期间和所记录的运动模式的运用期间的移动电话机和其一些显示屏的示意性示例。在本发明的一个实施例中，运动模式转换器包括运动模式学习单元。该运动模式学习单元被配置为允许用户在学习模式期间配置模式样本库的记录。该学习模式在许多方面与姿态识别过程相似。模式样本记录被配置为与沿着单独配置的运动模式而捕获的顺序数字图像匹配。以与产生归一化运动矢量序列相同的方式完成在学习模式期间的模式样本记录的配置。已参照图13、图15A和图15B描述了该产生过程。

优选地，用户通过捕获沿着新运动模式将转换设备位移而拍摄的顺序数字图像或通过重新将模式样本记录与绘图工具的不同功能相关联来配置一条模式样本记录。

在学习模式期间，通过将所捕获的顺序数字图像转换成相应的以模式样本记录方式存储的运动矢量序列来完成该配置。如上所述，以与产生归一化运动模式序列相同的方式来产生相应的运动模式序列。用户还将相关控制信号与该模式样本记录相关联。

图17描述了一个示范性学习过程，在该过程中，转换设备是处于学习模式的具有集成摄像头的移动电话机900，控制信号是“C”形运动。在图17中，用户使用运动模式学习单元为‘C’形运动模式901配置，致使移动电话机启动绘图应用程序并显示空白绘图空间的控制信号。如902所示，为了指定‘C’形运动模式，用户沿着‘C’形运动轨迹操作移动电话机。接着，如903所示，移动电话机屏幕904显示菜单，该菜单允许用户指定具有特定功能或图形对象的运动模式。在此步骤中，指定了一条新的模式样本记录并将其与C形运动模式相关。在下一步中，如905所示，移动电话机屏幕904显示表明接收该新的模式样本记录的确认消息。如上所述，通过重复‘C’形姿态并和存储的样本姿态相比较，该新的模式样本记录允许用户使用‘C’形运动模式901作为进入移动电话机的绘图程序的快捷方式，如905和906所示。代表该运动模式的记录的运动矢量序列优选地被转换成具有统一长度的归一化运动矢量序列。该转换过程优选地等于前述的转换过程。应当注意，绘图工具的任何其它功能可以与任一模式样本记录相关联。例如，指示移动电话机存储该图片的副本或将其作为SMS发送到某一号码或电子邮件地址的控制信号可以与模式样本记录之一相关联。

如上所述，可以通过识别该姿态的命令来完成运动矢量序列的接收。这启动了匹配过程以便于匹配模式样本记录。该模式样本记录可以与绘图工具的任何功能相关联。例如，任何模式可以与绘制诸如圆圈或正方形之类的特定形状或者甚至与选择特定颜色相关联。因而，可以执行绘图工具的任何功能，作为对进行该姿态的反应以及与进行该姿态联系起来。在前述学习模式期间，这样的运动矢量序列或姿态可以与电话机的任何功能相关联。

优选地，运动模式学习单元用于重新关联特定模式样本记录的预定运动模式。例如，用户可以将用于表明输入字符‘S’的‘S’形预定运动模式重新关联为指示设备关闭绘图工具的关闭指令。

优选地，该转换设备耦接到显示设备和观看模块上。该观看模块被配置为输出图形用户界面(GUI)到显示用户输入界面的显示设备上。优选地，用户输入界面允许用户将特定控制信号与新的模式样本记录相关联。通过使用用户输入界面输入或选择该转换设备的功能、或者输入或选择该转换设备上的多个应用程序中的一个的功能来选择相关的控制信号。优选地，用户输入界面允许用户使用与该转换设备集成的MMI来输入运动模式，从而与运动模式转换器接口连接。用户可以使用MMI绘制新的运动模式并将其存储为模式样本记录。正如通常公知的，均连接到转换设备的、诸如滚动杆的普通定点设备和诸如键区的普通文本输入设备可以允许用户输入信息并做出选择。基于图形用户界面显示界面的方式已为人们所公知，因此，这里不再详细描述。

优选地，可以从外部源中更新或添加模式样本记录。在一个优选示例中，指定的应用程序允许用户使用主机计算单元(如个人计算机)来产生或编辑模式样本记录。该指定的应用程序优选地包括绘图编辑器，其被配置为允许用户绘制运动模式并将其存储为模式样本记录。优选地使用常规鼠标来完成该绘图。优选地将所存储的模式样本记录发送到移动电话机，以便于更新本地存储于其自身库中的模式样本记录，如上所述。

现在参照图18A、18B、18C，它们是便携自主设备的运动模式的示意性示例。图18A描述了可以由单个运动矢量所表示的线性运动模式。图9A到D描述了沿着这样的运动模式的移动电话机的运动。图18B描述了便携自主设备的曲线运动模式。该运动可以由运动矢量序列所表示。图18C描述了可以由空间运动矢量序列所表示的运动模式。

在本发明的一个实施例中，用户使用便携自主设备来控制绘图工具。如上所述，该便携自主设备包括图像传感器以及优选地还包括显示设备。在一些便携自主设备中，这个组合使得用户能够在预定显示屏上或者在已被捕获的特定图像或存储在该便携自主设备存储器中的任何其它图像上绘制图片。在一个实施例中，该便携自主设备作为应用程序的主机，该应用程序被配置为在该便携自主设备的屏幕上显示虚拟的二维空间。该应用程序可以仿真用于绘图目的的黑板。可以通过将该便携自主设备位移来控制绘图工具的功能，如上所述。绘图工具可以被配置为使得用户能够通过位移该便携自主设备来绘制新图片。优选地，该便携自主设备的位移被转换成一条线，其作为新图片的一部分而被绘制。更优选地，便携自主设备的位移被转换成控制信号，其被译解以操作该虚拟黑板上的图形物体。在本发明的一个实施例中，绘图工具被配置为能够执行不同的绘图软件中通用的功能，这些软件(如Microsoft Paint^TM或Adobe Photoshop^TM)被指定为在个人计算机上创建图片。优选地，该便携自主设备的位移可以被转换成指令绘图工具执行这些功能的控制信号。

由于该便携自主设备被调节为记录运动矢量序列，因此绘图工具可以被配置为通过绘制所捕获的运动矢量序列或者一个一个地绘制该运动矢量或者所有一起地绘制。可以将该便携自主设备位移以便于控制绘图工具的其它功能，诸如选择颜色、选择线条宽度、给物体上色、改变纹理、缩放形状等。

在本发明的一个实施例中，用户使用该便携自主设备来控制显示在显示设备上的图形物体。如上所述，该便携自主设备被调整以将数字图像序列转变成代表其运动的当前运动矢量。如上所述，该当前运动矢量可以用于产生控制信号。因而，这样的实施例可以用于操作显示在显示设备上的虚拟二维空间中的图形物体。在一个实施例中，该便携自主设备充当一个应用程序的主机，该应用程序被配置为在便携自主设备的屏幕上显示虚拟二维空间。优选地，通过将便携自主设备位移，用户可以选择图形物体。例如，可以在代表虚拟黑板的二维空间中操作代表特定几何形状的图形物体。

在本发明的一个实施例中，绘图工具可以用于将字或其它符号添加到图片中。在这样的实施例中，可以将模式样本的控制信号与代表诸如字母、数字或符号的各个字符的控制信号相关联。如上所述，当计算出运动矢量序列时，可以匹配运动模式以产生各个控制信号。

在本发明的一个实施例中，该设备还包括SMS编辑器或文本编辑器。在这样的实施例中，可以将模式样本的控制信号与代表诸如字母、数字或符号的各个字符的控制信号相关联。和SMS以及文本编辑器一样，匹配的字符可以显示在显示器的指定文本行上。

可以预料在本专利的有效期内，将发展出许多相关的设备和系统，这里的术语，具体地，术语控制信号、无线以及图像传感器、数字图像、处理、计算单元以及灰度色标图像等的范围意欲包括所有这样推知的新技术。

应当理解，为了清楚，在单独分开的实施例的环境下描述了本发明的特定特征，但是也可以将它们组合在单个实施例中。相反地，为了简明，在单个实施例的环境下描述了本发明的各个特征，但是也可以将它们分开提供或以任何合适的组合提供。

尽管参照本发明的特定实施例对本发明进行了描述，但是不用说，许多替换、修改和改变对本领域技术人员而言是明显的。因而，本发明意欲包含落入所附权利要求书的精神和范围之内的所有这样的替换、修改和改变。本说明书中提到的所有公开出版物、专利和专利申请通过参照的方式而被完全合并于本说明书中，其程度就如同每个单独的公开出版物、专利和专利申请被详细且单独指出的通过参考的方式被合并于此的程度。此外，在本申请中的任何参考文件的引用或认同不应当被理解为承认该参考文件可以作为本发明的现有技术。

Claims (24)

1.一种自主手持设备，包括：

具有电子编辑图片的绘图能力的绘图模块；以及感应自身运动的运动感应特征；

其中，所述自主手持设备被配置为将所述运动感应特征与所述绘图能力相关联，从而允许所述运动感应特征感应到的运动修改所述电子编辑，

其中，所述运动感应特征包括图像传感器，还包括运动矢量检测模块，所述运动矢量检测模块被适配为接收在所述自主手持设备的位移期间捕获的数字图像，所述运动矢量检测模块被配置为根据该数字图像来产生所述图像传感器的当前运动矢量，其中，所述自主手持设备被配置为根据所述当前运动矢量来修改所述电子编辑。

2.如权利要求1所述的自主手持设备，还包括到显示设备的连接，所述图片被配置为显示在所述显示设备上。

3.如权利要求2所述的自主手持设备，其中，所述电子编辑包括由下述组成的组的至少一个成员：在所述显示设备上绘制一条线，在所述显示设备上绘制图形物体，在所述显示设备上选择图形物体的颜色，在所述显示设备上选择图形物体的线条宽度，在所述显示设备上给图形物体着色，在所述显示设备上改变图形物体的纹理，以及在所述显示设备上确定图形物体的大小。

4.如权利要求2所述的自主手持设备，其中，所述电子编辑包括根据所述当前运动矢量来操作显示在所述显示设备上的图形物体。

5.如权利要求1所述的自主手持设备，其中，所述电子编辑包括下述组的一个成员：创建、改变以及重新定位。

6.如权利要求2所述的自主手持设备，其中，所述数字图像包括参考帧和具有背景代表信息的样本帧，所述运动矢量检测模块包括匹配区域模块和位移检测模块，该匹配区域模块被适配为在所述参考帧的边界内选择参考区域的位置以及在所述样本帧的边界内选择匹配区域的位置，该位移检测模块被适配为基于所述参考区域和所述匹配区域的相对位置产生所述自主手持设备的所述当前运动矢量，所述显示设备被适配为根据所述当前运动矢量产生显示。

7.如权利要求6所述的自主手持设备，其中，所述匹配区域模块被适配为根据多个可能的第一区域的不均匀级别来选择参考区域的位置，所述不均匀级别是各个可能的第一区域的像素值的均匀性的导数。

8.如权利要求1所述的自主手持设备，其中，所述图像传感器包括下述组中的一个：互补金属氧化物半导体CMOS传感器和电荷耦合便携自主设备CCD传感器。

9.如权利要求1所述的自主手持设备，其中，所述自主手持设备是下述组中的一个：移动手持机、手持设备以及基于处理器的多功能便携自主设备。

10.如权利要求1所述的自主手持设备，还包括合并模块，其被适配为接收所述当前运动矢量，所述合并模块被配置为将所述当前运动矢量与在所述位移期间的连续运动矢量序列合并，所述绘图模块被配置为根据该连续运动矢量序列来编辑所述图片。

11.如权利要求10所述的自主手持设备，还包括：

运动模式库，其被适配为存储多个模式样本记录，每一个模式样本记录代表一个预定运动模式；以及

运动模式匹配模块，其被适配为将所述多个模式样本记录中的一个与所述连续运动矢量序列匹配；

其中所述绘图模块被配置为根据该匹配来编辑所述图片。

12.如权利要求11所述的自主手持设备，其中，所述预定运动模式是非线性运动模式。

13.如权利要求11所述的自主手持设备，其中，所述运动模式匹配模块被配置为根据所述匹配来确定所述数字图像是否是近似按照各个预定运动模式而拍摄的。

14.如权利要求11所述的自主手持设备，其中，所述合并模块被适配为用于向所述多个模式样本记录增加新记录，所述新记录根据所述数字图像而产生。

15.如权利要求1所述的自主手持设备，还包括用户界面，所述用户界面被配置为允许用户启动和结束所述数字图像的捕获。

16.如权利要求11所述的自主手持设备，其中，所述多个模式样本记录中的每一个包括运动矢量阵列。

17.如权利要求11所述的自主手持设备，其中，所述绘图模块被配置为根据所述匹配执行包括下述任务的组中的至少一个任务：在显示设备上绘制图形物体，在显示设备上选择图形物体的颜色，在显示设备上选择图形物体的线条宽度，在显示设备上给图形物体着色，在显示设备上改变图形物体的纹理，以及在显示设备上确定图形物体的大小。

18.如权利要求11所述的自主手持设备，其中，所述绘图模块被配置为根据所述匹配在显示设备上绘制字符。

19.一种根据图像传感器输入来控制具有显示设备的自主手持设备的操作的方法，包括：

a)接收由图像传感器在所述自主手持设备的位移期间捕获的数字图像；

b)根据该数字图像识别该自主手持设备的当前运动；以及

c)根据所述当前运动在显示设备上编辑图片，

其中，所述步骤b)包括下述步骤：

i)从所述数字图像中接收当前数字图像，所述当前数字图像描述了背景场景；

ii)在所述当前数字图像内选择第一区域的位置；

iii)从所述描述背景场景的重叠部分的数字图像中接收较后的数字图像；

iv)在所述较后的数字图像内识别与所述第一区域匹配的第二区域的位置，所述匹配如下：所述第一和第二区域描述所述背景场景的近似相同的部分；

v)根据所述第一区域和第二区域之间的位移来计算所述自主手持设备的当前运动矢量；和

vi)输出所述当前运动矢量作为所述当前运动。

20.如权利要求19所述的方法，其中，所述步骤c)还包括下述步骤中的至少一个：在所述显示设备上绘制图形物体，在所述显示设备上选择图形物体的颜色，在所述显示设备上选择图形物体的线条宽度，在所述显示设备上给图形物体着色，在所述显示设备上改变图形物体的纹理，以及在所述显示设备上确定图形物体的大小。

21.如权利要求19所述的方法，其中，还包括步骤d)，其重复步骤a)、b)和c)。

22.如权利要求19所述的方法，其中，所述第一区域是与所述当前数字图像同心的四边形区域。

23.如权利要求19所述的方法，其中，根据在所述当前数字图像中的多个可能的第一区域的对比度级别来完成所述步骤ii)。

24.如权利要求19所述的方法，还包括在所述步骤a)之前的使便携自主设备操作员具有输入灵敏度因子以及根据所述灵敏度因子调节所述运动矢量的能力的步骤。

Images