CN102089738A - 用于用户界面控制的相机姿态 - Google Patents

用于用户界面控制的相机姿态 Download PDF

Info

Publication number
CN102089738A
CN102089738A CN2009801275013A CN200980127501A CN102089738A CN 102089738 A CN102089738 A CN 102089738A CN 2009801275013 A CN2009801275013 A CN 2009801275013A CN 200980127501 A CN200980127501 A CN 200980127501A CN 102089738 A CN102089738 A CN 102089738A
Authority
CN
China
Prior art keywords
camera
unique point
skew
sorter
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801275013A
Other languages
English (en)
Other versions
CN102089738B (zh
Inventor
汪孔桥
张亮
史元春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102089738A publication Critical patent/CN102089738A/zh
Application granted granted Critical
Publication of CN102089738B publication Critical patent/CN102089738B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及用于使用从数码相机中捕获的图像来控制三维用户界面中的导航的系统和方法。可以通过检查图像队列来标识由相机捕获到的图像的连续帧中将被追踪的特征点。可以使用多个分类器，基于相机进行位置的偏移或旋转时图像特征点的预期运动状态，从旋转姿态中辨别偏移。不同分类器可以为偏移和旋转移动生成投票值，并且该系统可以使用历史的姿态信息以辅助进行当前姿态的分类。

Description

用于用户界面控制的相机姿态
技术领域
本发明主要涉及用于用户界面控制的相机姿态(gesture)。
背景技术
人类极为依赖视觉提示。个人计算机的图形用户界面使个人计算机得到了广泛的认可，同样，对数据进行图形表示的超文本标识语言(HTML)也对因特网起到了相同的作用。
这些种类的可视界面的一个关键部件是用于用户输入的机构。诸如手持计算机鼠标、追踪球和触摸板之类的设备被用于通过可视界面实现屏幕光标的直观移动。但是，这些都是二维的输入设备，用于向计算机显示器上的二维用户界面提供输入。
随着计算机处理能力的提高，越来越多的用户界面都结合了三维特性。但遗憾的是，现今所使用的鼠标、追踪球和触摸板在三维环境的导航中并不是最理想的。因此，需要有一种在三维界面中进行导航的改进方法。
发明内容
在此所描述的一些技术特征提供了一种在三维环境中进行导航的新颖方法。在各个实施例中，所述方法使用相机作为导航设备。在一些实施例中，目前所使用的相机(例如整合在许多蜂窝电话中的数码相机)可以用做三维导航工具，用以例如在计算机上的三维可视空间中移动光标。
在一些实施例中，系统可以从来自相机的当前视频图像中识别多个特征点；比较所述特征点的位置与来自相机的在前视频图像中的所述特征点的相应位置；根据所述特征点的所述位置的变化来确定所述相机的三维移动；以及将相机的三维移动的标识作为姿态输出进行输出。
在一些实施例中，所述确定通过将多个分类器应用于当前图像和在前图像之间的特征点的位置差别来区别所述相机的偏移姿态和旋转姿态。
所述分类器可以包含基于是否多个特征点共享一个共同移动距离的第一分类器；基于是否不同的所述特征点移动了不同距离的第二分类器；基于特征点的平均移动速度的第三分类器；基于需求新特征点的频率的第四分类器。
在一些实施例中，为了操作，可以要求一个预定的特征点范围。在某些情况下，一些实施例可以记录所记录姿态的历史记录文件，并且一些姿态可以在历史记录中被记录为偏移但作为旋转(反之亦然)而输出到界面应用。
在一些实施例中，蜂窝电话相机可以用来在个人计算机上的三维用户界面中进行导航。
其他特征和方面将在以下论述中叙述。
附图说明
可以通过参考以下描述及附图来获得对这里所描述的特征及其优点的更完整理解，在附图中，同样的参考标号标示同样的特征，其中：
图1示出了在其上可以实现在此所描述的特征的计算系统的基本组件；
图2示出了观看示例场景的手持相机的示例实施例；
图3示出了图2中的相机的示例移动类型；
图4示出了使用相机作为三维导航工具的示例方法；
图5示出了来自图2的示例场景但是具有识别出的示例特征点；
图6示出了在像素坐标系中单独进行显示的来自图5的示例特征点；
图7A-图7B示出了用于将一姿态分类为变焦的移动距离比较；
图8A-图8B示出了可供分类器用来区分偏移移动和旋转移动的移动距离比较；
图9A-图9B示出了可供第二分类器用来区分偏移移动和旋转移动的移动距离比较。
具体实施方式
在以下描述中，对形成本发明一部分的附图进行参考，并在附图中以图示的方式示出了可以使用的各种特征。需要理解的是，可以使用其他实施例并且可以进行结构、功能上的更改而不会背离本申请的范围及精神。
图1在这里描述的一个方面中示出了在其上可以实现所描述特征的计算系统的基本组件。系统100可以采用诸如个人计算机之类的通用计算机的形式。备选地，系统100可以实现为任何其他固定或移动电子设备，比如移动蜂窝电话、移动通信设备、个人数字助理(PDA)、寻呼机、电视设备、音乐播放器、AM/FM/数字收音机、视频播放器、相机等。
系统100可具有一个或多个诸如可编程逻辑器件或多功能微处理器的处理器101，处理器101可以执行指令用以提供本文所描述的特征。所述指令可以作为计算机可读指令而被存储在一个或多个如存储器设备102的计算机可读的或电子存储介质中，存储器设备102可以是动态和/或静态随机访问存储器(RAM)、只读存储器(ROM)，磁盘或光盘，或任何其他期望的计算机可读存储设备。系统100也可包括同样可存储任何在此所述的数据(如计算机可读指令和下述的数据等)的一个或多个可移动介质103。可移动介质103可以是如可移动闪存、磁碟机以及光盘或磁盘等任何期望的类型。
系统100可以包括一个或多个输出设备以向用户提供信息和反馈。所述输出设备可以包括能够向用户显示菜单选项、交互显示、视频、或任何其他可视信息的如显示器104的视频输出设备。所述输出设备也可以包括一个或多个能够用来为用户播放音轨或歌曲的扬声器105。
系统100也可以包括一个或多个用户输入设备106。举例来说，用户输入设备106可以是键盘(例如台式计算机键盘和移动电话小键盘等)上的字母数字按键、膝上型计算机上的触摸板和/或电容敏感板、计算机鼠标、追踪球，以及敏感输入区或屏幕上的触针等。
系统100被图示为一个完整系统，但它也可以按要求被分为多个不同的部件。例如，相机107可以是一个如装在蜂窝电话上的单独的手持相机，通过有线和/或无线接口可通信地连接到系统的其余部分。例如，相机107可以是与本地台式计算机通信(例如通过BluetoothTM连接)的蜂窝电话的一部分。处理器101可以是此类计算机系统的处理器，或者它可以与相机107位于同一设备中。作为另一实施例，相机107可以是如计算机鼠标的手持输入设备，通过导线连接与系统100的其余部分进行连接。
如图2所示，相机107可以观看场景201，并可以向处理器101返回与所述场景相应的数据。所述数据可以是如*.jpg、*.pdf和*.bmp等任何期望的视频图像格式。场景201本身可以具有不同的组分，如示例中所示出的树202，房子203和云204，被观看的组分中的特征的表示将依照下述进行使用。
随着时间的推移，相机107可以按照各种方式进行移动。图3示出了移动的三种主要方式。如图所示，相机被示出为具有与Z轴一致的视线。移动的一种方式是变焦移动，需要沿着Z轴以朝向或远离被观看场景的方式移动。移动的第二种方式是偏移移动，其需要在X-Y平面上移动(100％的偏移移动应当不包含Z轴分量，或不包含变焦分量)。移动的第三种方式是旋转移动。正如所示出的，旋转可以是围绕Y轴的一个扭转。虽然本文的描述将会关注于围绕X轴或Y轴的旋转，但旋转同样可以是围绕X轴或Z轴。围绕Z轴的旋转也可被认为是偏移的一种类型。如下所述，在这里描述的系统可以基于所看到图片的变化来识别相机的移动，并使用所述移动来与例如三维用户界面的界面进行交互。例如，三维用户界面可以包含对象的三维图形模拟，并且在这个空间中进行导航不仅可以包括如传统计算机界面中那样的上/下/左/右移动，还可以包括向所述界面内和外的移动。
图4示出了一种示例方法，通过所述方法，相机107可以作为姿态输入设备来使用，以向运行在处理器101上的三维用户界面应用提供变焦、偏移和旋转输入。首先，在步骤401中，从相机107捕获视频图像。可以被以任何期望的速率(例如30帧每秒)对所述视频图像进行采样。所述速率可以与由相机107实际提供图像的速率相同，或者，备选地，所述系统可以仅采样401由相机107所提供的图像中的一部分。(例如，每第5帧等。)
在步骤402中，所述图像被处理以标识已知特征点。特征点是可以在多重图像中被追踪的所述图像中的点。任何期望的图案识别过程都可以被用来标识特征点。图5示出了来自图2的示例场景201，以及一些示例特征点501。所述点可以被依照颜色对比、深度、形状，或任何可以被所需要的图形识别方法所识别的特征或图形来标识。示例图案识别过程在Jianbo Shi等人在1994年的Proc.IEEEComput.Soc.Conf.Comput.Vision and Pattern Recogn.中第593-600页的《Good Features to Track》中，或Bouguet，J.V.在1999年的Intel Corp.Microprocessor Research Labs中的《Pyramidal Implementation of theLucas Kanade Feature Tracker Description of the Algorithm》中进行了描述。
图6示出了被认为是孤立的来自图5中的一组特征点501的示例。在标识这些特征点时，系统可以向视野中的点的位置分配二维X-Y坐标值。举例来说，如果相机图像支持320×240像素，那么系统可以使用320×240像素坐标系来描述视野中的特征点的位置。在图6的示例中，点501a可以位于视野上的位置(50像素，10像素)处。
所述系统可以被配置成要求从在前图像中追踪预定数目的已知特征点。举例来说，所述系统可能在当前图像中要求最小数量为5且最大数量是30、并同样存在于较早图像中的特征点。这些已知点或追踪点的移动用来解释相机107的移动。第一次通过步骤402，当没有在前追踪点存在时，系统可以使用所述图案识别过程来标识最高期望数目的特征点(例如30)，且可以将数据存储在反映被标识特征点的存储器中。在后续通过步骤402时，当移动相机107且特征点进入并移出所述视野时，系统可以专门地仅仅寻找追踪点。在后续通过的步骤402中，系统可以比较标识当前检测到的特征点的数据与预先存储的特征点的标识，以标识用来追踪的已知特征点。
在步骤403中，系统可以确定在当前图像中是否已经检测到足够数目的追踪点。此足够度可以是任何期望的范围。举例来说，系统可以设定供使用的追踪点的最小数目(如5个)以及追踪点的最大数目(如30个)。如果被标识到的追踪点的数目落在这个范围之外(例如，少于5个追踪点被检测到)，系统可以继续到步骤404以获取新的特征点并更新所使用的追踪点。在步骤404中，可以执行图案识别过程，以从当前图像中标识附加的特征点来替换存储在存储器中的追踪点集合，或仅仅标识附加的追踪点来补充现存的追踪点并将总数带回到所期望的水平(如原本的最大值30个)。随着新的追踪点集合准备就绪，系统可以返回到步骤401以捕获下一图像。
如果在步骤403中，在当前图像中检测到了足够的追踪点，则该过程可以继续到步骤405以确定是否已经检测到移动。这可以通过检查以查看是否追踪点中的一个(或多个)已经移动超过预定距离来执行。例如，系统可以检查以发现针对多个追踪点移动的平均距离，如果这个平均距离不超过2像素，则系统可以假设没有发生实际的移动或姿态。这个预定距离可以是虑及用户不稳定的手部而留出的任何期望的距离。如果没有检测到移动，该过程可以返回到步骤401以捕获下一图像。
如果在步骤405中，确定已经出现了移动姿态，该过程可以继续到步骤406，并确定对于相机107是否做出了变焦姿态。如图3所示，变焦姿态包括沿着Z轴以朝向或远离场景的方式移动相机。用这种姿态，特征点将以朝向或远离图像外边缘的方向移动。图7A-图7B示出了这种移动。在图7A中，在较早图像中的位置A到F处显示了6个追踪点，并且在当前图像中，它们位于位置A1到F1处。新的位置A1到F1靠近图像的外边缘701，这是相机朝向(靠近)所述场景移动的结果。这些点也更远离了场景中的中心点。图7B示出了一种不同的变焦-其中相机进行移动以远离场景，且各个特征点进行移动以远离图像的外边缘701(或移向中心点)。
在步骤406中，系统可以使用视野中的追踪点的位置变化来确定是否执行了变焦姿态。这可以通过很多方式来完成。举一个示例来说，系统可以通过连接特征点中的选定子集(如图7A-图7B示例中的点A、B、D、E和F)来定义一个多边形，并确定视野中的所述多边形的总面积是增加还是减小。如果它增加了，那么相机107以朝向所述场景的方向进行了变焦，而如果总面积减小了则相反。作为另一示例，系统可以检查以查看特征点是靠近还是远离图像中的视野的外边缘701。如果追踪到的特征点包括靠近边缘701的每个边缘的点(例如至少一个点靠近左边缘，至少一个点靠近上边缘，至少一个点靠近右边缘，以及至少一个点靠近底边缘)，那么相机107已经变焦靠近场景。备选地，如果追踪到的特征点远离外边缘，或靠近中心点，那么相机107变焦远离了场景。
如果在步骤406中，确定相机107执行了变焦姿态，那么在步骤407中输出变焦指示。这个输出可以仅仅是来自处理器101的关于相机进行了变焦的信号。变焦输出信号可以提供给软件过程(例如在处理器101上执行的另一过程)，其于是可以在其自身的处理中使用变焦姿态。举例来说，可以把三维用户界面应用存储在存储器102或可移动介质103中，并可以在处理器101上执行以使用变焦姿态，从而在三维用户界面中执行相应的变焦。用这种方式，相机的移动可以引起光标在三维用户界面应用中的相应移动，从而在三维元件中进行导航。
在步骤408中，做出了变焦姿态这一事实可以被添加到历史记录文件(如存储器102中)中，历史记录文件记录已经被系统检测到的不同姿态。历史记录文件可以记录与相机107所做出的姿态相对应的数据，并可以记录在过去的一段预定时间段的数据。举例来说，历史记录可以存储所处理的最后5帧的数据。也可以使用如任何地方的5到10帧之类的其他时间段。所述数据可以仅仅指示发生了变焦，或者它可以包括更具体的信息，如姿态的时间、所检测到的变焦的量、追踪点与中心点和/或外边缘之间的距离、用来对变焦进行分类的追踪点的数量和标识、所定义的多边形(如果存在)以及用来定义它的特征点、计算出的多边形面积等。历史记录文件可以记录在时间段中做出的任何姿态，并也可以为没有检测到移动的被捕获到的图像存储信息(例如在步骤405中，如果没有检测到移动，历史记录可以存储“静止姿态”以指示没有移动姿态)。在更新历史记录文件后，系统可以返回步骤401以捕获下一图像。
如果在步骤406中，系统确定没有做出变焦姿态，则系统可以继续到步骤409并处理分类器以确定是否做出了偏移或旋转姿态。可以使用各种分类器来进行这种鉴别。每个分类器可以是一个进程或程序，所述进程或程序通过分析所看到的图像中的预定方面来为是否相机接收到了偏移或旋转姿态进行投票。各种分类器以及它们所考虑的不同方面将在下面讨论。总的来说可以是投票进程。举例来说，一个分类器可以指示所出现的姿态是偏移，但另一个分类器可以指示所出现的姿态是旋转。系统可以在存储器的流动记录中为每一种姿态合计选票，并提供最终结果(例如推断所述姿态是偏移)作为输出。
在一些实施例中，每个分类器例程可以为偏移或旋转中的任何一个投出单独的选票。在其他实施例中，各种分类器例程可以基于它们的可信度投出加权选票。那么，举例来说，如果一个分类器例程强烈地认为所述姿态是偏移，但另一个分类器仅仅轻微地反对，作为结果的记录可以仍然反映所述姿态极有可能是偏移。加权可能性的示例将同分类器一起在下面进行讨论。
第一全点移动分类器可以基于确定是否所有特征点、或它们中的至少预定数量的特征点从在前图像中它们的位置经历了等量的移动距离。如图8A中所示，如果视野中所有的点都移动了相同的量，那么姿态更有可能是偏移。相比之下，如图8B中所示，如果所述姿态是旋转，那么位于离相机较远处的特征点(例如图8B中的特征点B)将会比较近的点(例如图8B中的特征点A)在视野中移动更大的距离，因此可以认为不同的特征点依赖于它们对相机107的接近度而移动不同的距离。
为了实现这个分类器，系统可以首先确定被追踪的特征点在视野中移动的距离(例如200像素)以及移动的方向(以30度的角)。系统于是可以考虑是否对预定数量的被追踪的特征点所检测到的移动是相同的(暗示做出了偏移姿态)，或是否存在足够的差别使得可能是旋转姿态。举例来说，系统可以确定是否所有被追踪的特征具有相同的移动。在这种情况下，分类器可以为偏移投票。如果少于预定数量的点具有共同的移动(例如少于被追踪的点的90％)，或如果超过阈限量的被追踪的点的移动不同(例如10％都有距离和/或角度的不同)，则分类器可以决定反对为偏移投票，并可以为旋转投票。
全点移动分类器也可以被加权。举例来说，如果只有90％的点移动了相同的距离，则所述分类器可以为偏移投出稍弱的选票(例如0.8票)。同样，如果移动的距离和/或角度轻微变化(例如以5％)，则所述分类器可以为偏移投出较弱的选票。类似地，如果所述距离的不同超过了另一预定量，或如果很多点都具有不同的移动，则所述分类器可以为旋转投出强票，但如果一些距离是共同的(例如10％)，或如果一些点具有共同的移动(例如10％的点)，则所述分类器可以为旋转投出较弱的票。
第二分类器，或者相对位置变化分类器，检查临近特征点之间的相对定位。这个分类器基于与第一分类器相同的前提-也就是如图8A和图8B中所示的，对远的和近的特征的移动量的预期差异。然而，第二分类器考虑成对的特征点之间的距离变化，而不是各个地检查特征点的移动。图9A和图9B示出了这个概念。如图9A中所示，如果相机偏移了位置，那么在较早图像中位于位置A和B处的特征点将会在处于位置A1和B1时被认为是相对于彼此保持了它们相对的位置。具有这些特征点的物理对象(例如图9A中的正方形)保持了相同的比例。换句话说，A与B之间的距离应当与A1与B1之间的距离相同。备选地，如果相机旋转了，可以认为所述物理对象出现了不同，并且特征点之间的定位发生了变化。因此如图9B中所示，A和B之间的距离与A1和B1之间的距离不同，并且它们角度的关系同样不同(A与B之间的是水平的线，但A1与B1之间的是有角度的线)。
这个分类器可以通过许多的方式来实现。举例来说，特征点的坐标之间的差异可以在每条轴的基础上进行计算。因此，举例来说，如果点A、B、A1和B1分别具有坐标(XA，YA)、(XB，YB)、(XA1，YA1)和(XB1，YB1)，则分类器例程可以计算X-维和Y-维中位置之间的差异。因此在原始图像中，X-坐标中的距离将是ΔX＝XB-XA；而Y-坐标中的距离将是ΔY＝YB-YA。在新的图像中，差异将是ΔX1＝XB1-XA1和ΔY1＝YB1-YA1。如果所述差异相同，或彼此接近，那么所述点保持了它们的相对定位，且所述分类器将为偏移而不是旋转投票。因此，举例来说，如果在X-轴中距离的改变少于预定值ε(其中ε是一小值，如10像素)|ΔX-ΔX1|＜ε，且在Y-轴中也是这样的，那么相对的距离就被认为是相同的。
相反地，如果两个特征点之间的在X-轴或Y-轴距离上的差异超过了预定量ζ(例如100像素)，那么，由于如图9B中所示的，旋转改变了相对位置，所以所述分类器可以为旋转姿态记录选票。
这个相对位置变化分类器进程可以仅针对两个点而被执行，但作为选择，它可以针对每一可能的被追踪的特征点对而被执行。每种可能的对可以取决于是否这个特定的对正好保持了它的相对定位而记录它自身的选票(偏移或旋转)，而且来自这个第二分类器的全部选票可以基于为每一对的单独的选票。举例来说，如果这里有10个被追踪的特征点(P1-P10)，那么这个相对位置的计算可以为任何可能的点对而执行，从而产生如下述表格的结果：
  P1   P2   P3   P4   P5   P6   P7   P8   P9   P10
  P1
  P2   偏移
  P3   偏移   偏移
  P4   偏移   偏移   偏移
  P5   旋转   偏移   偏移   偏移
  P6   偏移   旋转   旋转   偏移   偏移
  P7   偏移   偏移   偏移   偏移   旋转   偏移
  P8   偏移   偏移   旋转   偏移   偏移   偏移   偏移
  P9   偏移   旋转   旋转   偏移   旋转   偏移   偏移   偏移
  P1   偏移   偏移   偏移   偏移   偏移   旋转   偏移   偏移   偏移
被追踪特征点中每一对的单独选票
在上面的示例中，36对可能的对保持了它们的相对定位(因而支持了发生了偏移姿态的结论)，而9对可能的对改变了它们的相对定位(因而支持了发生了旋转姿态的结论)。在这个示例中，80％(36/45)的配对暗示发生了偏移，而20％(9/45)的配对暗示发生了旋转。这个第二分类器的最终投票可以仅仅是为票数较高的结果所投的全票(在这个示例中为偏移)，或者可以对选票进行加权以反映存在分歧(例如，0.8选票给偏移)。
第三分类器，即更新速度分类器，可以基于在步骤404中系统需要生成更新的频率。如上所述，在当前图像中能够发现被追踪特征点数量不足时需要更新，并需要新的/附加的特征点。由于旋转通常更可能需要新的特征点(在旋转期间，特征点将会以比在偏移过程中更快速地在视野中移动)，如果系统非常频繁地执行更新，那么这暗示了相机107正处于旋转过程中。在一个实施例中，这个频率可以依据被捕获的图像来进行测量。举例来说，如果针对最后5个被处理的帧执行了超过1次的更新，则这个处理器可以在当前帧中为旋转姿态生成选票。
作为基于预定数量的被处理图像而进行确定的一种备选，系统可以仅仅记录每当执行更新时的时间，且此第三分类器可以针对每次更新后的一段预定时间量(例如500微秒)生成旋转选票。
还可以使用第四分类器，或平均移动速度分类器。此第四分类器可以包括为全部被追踪特征点计算平均移动速度，并记住以下事实：特征点在视野中旋转期间往往会比偏移期间移动得更快。如果平均速度超过第一预定值(例如在320x240像素帧中，以30fps，18像素每帧)，那么所述分类器确定发生了旋转。如果平均速度低于第二预定值(例如在320x240像素帧中，以30fps，13像素每帧)，则该第四分类器可以推断出发生了偏移。如果平均速度介于这些值之间(例如在所述示例环境中介于13像素和18像素之间)，那么所述分类器仅仅拒绝投票。
当所有不同的分类器都处理过图像后，所述存储器中将会包含多个分类器为偏移和旋转投出的选票的总数。进程接着将使用这个总数生成说明当前姿态的输出，并更新所记录姿态的历史记录。
在步骤410中，检查此历史记录以确定其是否为空。如果历史记录为空(例如在历史记录的持续时间中还没有记录过姿态)，那么进程可以转入步骤411并使用条目更新历史记录文件，所述条目标识具有来自所使用分类器的最高选票计数的姿态(偏移或旋转)。历史记录中记录的姿态也可以作为检测到的姿态进行输出，以供三维界面应用使用。所述输出(以及历史记录文件条目)可以在除了仅仅标识是检测到了偏移还是旋转外，还包括标识以下各项的信息：偏移的距离(例如以像素为单位)，偏移的方向(例如以角度为单位)，旋转的角度方向(例如顺时针方向)，或者旋转的角度量(例如相对于旋转轴以度数为单位)。如果输出是偏移，则系统可以基于在前述中的相对位置变化分类器中生成的测量和计算来确定偏移的距离和方向。如果输出是旋转，则旋转的方向同样可以根据相对位置变化分类器中生成的数据来进行确定(例如，如果点向右侧移动，那么相机向左侧旋转)。
如果在步骤410中历史记录不为空，那么进程可以移到步骤412，并确定是为偏移还是旋转收到了更多的选票。如果有更多为偏移投出的选票，那么进程移到步骤413并在历史记录中添加偏移姿态的注释。
而后，在步骤414中，所述系统可以确定是否之前的输出姿态同样是偏移。如同之前指出的，历史记录文件可以存储系统所检测到的姿态的指示。如将在随后解释的，这里可能会存在输出一种姿态而将不同的姿态记录在历史记录中的例子。因此，除了已记录在历史记录中的之前条目外，历史记录文件还可以存储(或另一文件可以存储)实际输出的最后姿态的指示。如果之前输出的姿态是偏移，那么进程可以移到步骤415，在步骤415中将偏移作为检测到的姿态进行输出。进程继而可以返回到步骤401以处理下一图像。
然而，如果步骤414中的之前输出姿态不是偏移，进程可以移到步骤416以确定偏移或旋转中的哪种姿态在所述历史记录中出现得更为频繁。如果记录到了更多的偏移，那么进程移到步骤415并输出偏移。然而，如果记录到了更多的旋转，或者如果记录到了数量相等的旋转和偏移，那么进程移到步骤417，在步骤417中输出旋转。这种有趣的事件转换，即在历史记录中记录偏移而输出旋转姿态，可望用于阻止边缘情况中偏移和旋转解释之间的快速切换。随着输出，进程可以返回到步骤401以处理下一图像。
回到步骤412中，如果在当前记录中存在更多为旋转投出的选票，那么进程可以移到步骤418并在历史记录中记录旋转。如果在步骤419中之前的输出姿态同样是旋转，那么进程移到步骤417并输出旋转姿态。如果在步骤419中之前的输出姿态不是旋转，那么进程转入步骤420以确定偏移或旋转中的哪种姿态在历史记录中出现得更为频繁。如果出现了更多的旋转，或如果出现了相等数量的旋转和偏移，进程移到步骤417并输出旋转。如果出现了更出的偏移，进程移到步骤415并输出偏移。再次，这种在历史记录中记录旋转但输出偏移的情况有助于阻止边缘情况中两者之间的快速切换。
上述特征通过使用数码相机作为输入或导航设备而为三维用户界面提供了自然且直观的界面。在一些实施例中，普通的手持计算机鼠标可以装配有相机，且在其连接的个人计算机中的附加软件可以允许用户将所述设备作为普通鼠标使用以用于典型的二维界面应用，并允许用户在使用三维界面应用时拿起鼠标并将相机作为输入设备使用。备选地，处理器101可以是通用个人计算机处理器，所述相机可以是移动电话的一部分。在这种配置中，用户可以使用他的/她的移动电话来连接(例如通过无线连接)到个人计算机，并使用移动电话相机来在三维用户界面中导航。举例来说，所述移动电话可以使用BLUETOOTHTM无线连接以连接到个人计算机。
上述的各个实施例和特征仅为说明性的示例，在需要时可以进行改变。举例来说，图1中所示出的物理配置仅仅为一种布置。不同的组件可以进行不同的布置、细分或结合，或除此之外进行修改而仍处于本说明的范围中。
此外，图4中描绘的进程仅为说明性的示例，在需要时可以进行改变。在本说明书的范围中，可以对其中的步骤进行互换、省略、或增加以实现所需要的效果。
上述说明性的特征仅为示例。本发明的范围并不会被限定为要求全部描述的特征，而是仅仅由随后的权利要求书来限定。

Claims (36)

1.一种方法，包括：
从来自相机的当前视频图像中标识多个特征点；
比较所述特征点的位置与来自所述相机的在前视频图像中的所述特征点的相应位置；
根据所述特征点的所述位置的变化来确定所述相机的三维运动；以及
将所述相机的所述三维运动的标识作为姿态输出进行输出。
2.根据权利要求1的方法，其中所述确定通过将多个分类器应用于所述当前和在前图像之间的所述特征点的位置区别，来区别所述相机的偏移和旋转姿态。
3.根据权利要求2的方法，其中所述多个分类器包括基于是否多个特征点共享共同移动距离的第一分类器。
4.根据权利要求2或3的方法，其中所述多个分类器包括基于是否不同的所述特征点移动了不同距离的第二分类器。
5.根据权利要求2-4中任一项的方法，其中所述多个分类器包括基于所述特征点的平均移动速度的第三分类器。
6.根据权利要求1-5中任一项的方法，还包括：
对在所述当前视频图像中的、同样被发现于所述在前视频图像中的被标识特征点的数量进行计数；
比较所述被标识特征点的数量与预定的特征点最小数量；以及
如果所述被标识特征点的数量少于所述预定的最小数量，则通过在所述当前视频图像中标识一个或多个新的特征点来更新所述特征点。
7.根据权利要求6的方法，其中所述确定基于执行所述更新的频度来区别所述相机的偏移和旋转姿态。
8.根据权利要求1-6中任一项的方法，还包括：
确定所述相机的移动是偏移还是旋转移动；以及
在所述相机的移动历史记录中记录相应的偏移或旋转移动，但输出与在所述移动历史记录中所记录的移动不同的姿态。
9.根据权利要求8的方法，其中
如果所述移动被确定为偏移移动，则在所述输出中将所述移动标识为旋转移动；以及
如果所述移动被确定为旋转移动，则在所述输出中将所述移动标识为偏移移动。
10.根据权利要求2的方法，其中所述多个分类器包括：
基于是否多个特征点具有共同移动距离的第一分类器；
基于两个所述特征点的移动距离差异的第二分类器；
基于需要新特征点的频度的第三分类器；以及
基于所述特征点的平均移动速度的第四分类器。
11.根据权利要求1-10中任一项的方法，还包括：
使用蜂窝电话相机来通过计算机上的三维用户界面进行导航。
12.根据权利要求1-11中任一项的方法，其中所述确定将所述三维移动确定为变焦移动。
13.一种装置，包括：
视频输入，被配置成从相机接收视频图像；以及
处理器，被配置成执行以下操作：
从来所述自相机的当前视频图像中标识多个特征点；
比较所述特征点的位置与来自所述相机的在前视频图像中的所述特征点的相应位置；
根据所述特征点的所述位置的变化来确定所述相机的三维运动；以及
将所述相机的所述三维运动的标识作为姿态输出进行输出。
14.根据权利要求13的装置，其中所述确定通过将多个分类器应用于所述当前和在前图像之间的所述特征点的位置区别，来区别所述相机的偏移和旋转姿态。
15.根据权利要求14的装置，其中所述多个分类器包括基于是否多个特征点共享共同移动距离的第一分类器。
16.根据权利要求14-15中任一项的装置，其中所述多个分类器包括基于是否不同的所述特征点移动了不同距离的第二分类器。
17.根据权利要求14-16中任一项的装置，其中所述多个分类器包括基于所述特征点的平均移动速度的第三分类器。
18.根据权利要求13-17中任一项的装置，所述处理器还配置成执行以下操作：
对在所述当前视频图像中的、同样被发现于所述在前视频图像中的被标识特征点的数量进行计数；
比较所述被标识特征点的数量与预定的特征点最小数量；以及
如果所述被标识特征点的数量少于所述预定的最小数量，则通过在所述当前视频图像中标识一个或多个新的特征点来更新所述特征点。
19.根据权利要求18的装置，其中所述确定基于执行所述更新的频度来区别所述相机的偏移和旋转姿态。
20.根据权利要求13-19中任一项的装置，所述处理器还被配置成执行以下操作：
确定所述相机的移动是偏移还是旋转移动；以及在所述相机的移动历史记录中记录相应的偏移或旋转移动，但输出与在所述移动历史记录中所记录的移动不同的姿态。
21.根据权利要求20的装置，其中
如果所述移动被确定为偏移移动，则在所述输出中将所述移动标识为旋转移动；以及
如果所述移动被确定为旋转移动，则在所述输出中将所述移动标识为偏移移动。
22.根据权利要求14的装置，其中所述多个分类器包括：
基于是否多个特征点具有共同移动距离的第一分类器；
基于两个所述特征点的移动距离差异的第二分类器；
基于需要新特征点的频度的第三分类器；以及
基于所述特征点的平均移动速度的第四分类器。
23.根据权利要求13-22中任一项的装置，其中所述装置是可通信地连接到所述相机的计算机，并且所述相机是计算机鼠标输入设备的一部分。
24.根据权利要求13-23中任一项的装置，其中所述确定将所述三维移动确定为变焦移动。
25.一种计算机可读介质，存储用于执行以下操作的计算机可执行指令：
从来自相机的当前视频图像中标识多个特征点；
比较所述特征点的位置与来自所述相机的在前视频图像中的所述特征点的相应位置；
根据所述特征点的所述位置的变化来确定所述相机的三维运动；以及
将所述相机的所述三维运动的标识作为姿态输出进行输出。
26.根据权利要求25的计算机可读介质，其中所述确定通过将多个分类器应用于所述当前和在前图像之间的所述特征点的位置区别，来区别所述相机的偏移和旋转姿态。
27.根据权利要求26的计算机可读介质，其中所述多个分类器包括基于是否多个特征点共享共同移动距离的第一分类器。
28.根据权利要求26-27中任一项的计算机可读介质，其中所述多个分类器包括基于各对所述特征点之间相对定位的变化的第二分类器。
29.根据权利要求26-28中任一项的计算机可读介质，其中所述多个分类器包括基于所述特征点的平均移动速度的第三分类器。
30.根据权利要求25-29中任一项的计算机可读介质，还存储用于执行以下操作的计算机可执行指令：
对在所述当前视频图像中的、同样被发现于所述在前视频图像中的被标识特征点的数量进行计数；
比较所述被标识特征点的数量与预定的特征点最小数量；以及
如果所述被标识特征点的数量少于所述预定的最小数量，则通过在所述当前视频图像中标识一个或多个新的特征点来更新所述特征点。
31.根据权利要求30的计算机可读介质，其中所述确定基于执行所述更新的频度来区别所述相机的偏移和旋转姿态。
32.根据权利要求25-31中任一项的计算机可读介质，还存储用于执行以下操作的计算机可执行指令：
确定所述相机的移动是偏移移动；以及
在所述相机的移动历史记录中记录相应的偏移移动；但
在所述输出中将所述移动标识为旋转移动。
33.根据权利要求26的计算机可读介质，其中所述多个分类器包括：
基于是否多个特征点具有共同移动距离的第一分类器；
基于各对所述特征点之间相对定位的区别的第二分类器；
基于需要新特征点的频度的第三分类器；以及
基于所述特征点的平均移动速度的第四分类器。
34.根据权利要求25-33中任一项的计算机可读介质，还存储用于执行以下操作的计算机可执行指令：
确定所述相机的所述移动为变焦移动。
35.根据权利要求25-34中任一项的计算机可读介质，还存储用于执行以下操作的计算机可执行指令：
确定所述相机的移动是偏移还是旋转移动；以及
在所述相机的移动历史记录中记录相应的偏移或旋转移动，但
输出与在所述移动历史记录中所记录运动不同的姿态。
36.根据权利要求35的计算机可读介质，其中所述计算机可执行指令在执行时进一步导致以下结果发生：
如果所述移动被确定为偏移移动，则在所述输出中将所述移动标识为旋转移动；以及
如果所述移动被确定为旋转移动，则在所述输出中将所述移动标识为偏移移动。
CN2009801275013A 2008-06-11 2009-06-11 用于用户界面控制的相机姿态 Expired - Fee Related CN102089738B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/137,202 US8269842B2 (en) 2008-06-11 2008-06-11 Camera gestures for user interface control
US12/137,202 2008-06-11
PCT/IB2009/005913 WO2009150522A1 (en) 2008-06-11 2009-06-11 Camera gestures for user interface control

Publications (2)

Publication Number Publication Date
CN102089738A true CN102089738A (zh) 2011-06-08
CN102089738B CN102089738B (zh) 2013-05-08

Family

ID=41414251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801275013A Expired - Fee Related CN102089738B (zh) 2008-06-11 2009-06-11 用于用户界面控制的相机姿态

Country Status (8)

Country Link
US (1) US8269842B2 (zh)
EP (1) EP2304534A4 (zh)
JP (1) JP5312578B2 (zh)
KR (1) KR101247991B1 (zh)
CN (1) CN102089738B (zh)
BR (1) BRPI0915357A2 (zh)
CA (1) CA2727213C (zh)
WO (1) WO2009150522A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218799A (zh) * 2012-01-18 2013-07-24 三星电子株式会社 用于相机跟踪的方法和设备
CN108027654A (zh) * 2015-09-28 2018-05-11 日本电气株式会社 输入设备、输入方法和程序
CN113785298A (zh) * 2019-05-03 2021-12-10 丰田汽车欧洲股份有限公司 用于追踪对象的图像获取设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL172995A (en) * 2006-01-05 2011-07-31 Gadi Royz Method and device for making a virtual film for use in browsing the site
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8294766B2 (en) 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US8760432B2 (en) 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
KR101799270B1 (ko) * 2010-12-29 2017-11-21 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
WO2012117570A1 (ja) * 2011-03-03 2012-09-07 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
US9423876B2 (en) 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
EP2824425B1 (en) * 2012-03-06 2017-05-17 Nissan Motor Co., Ltd Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object
SE537366C2 (sv) * 2012-09-25 2015-04-14 Jonas Patrik Graphenius Säkerhetsanordning och förfarande för detektering av förflyttning av en dörr samt övervakning av rörelse i ett område
US8933882B2 (en) 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
US9105550B2 (en) 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
US9164653B2 (en) 2013-03-15 2015-10-20 Inspace Technologies Limited Three-dimensional space for navigating objects connected in hierarchy
US10031586B2 (en) * 2013-06-12 2018-07-24 Amazon Technologies, Inc. Motion-based gestures for a computing device
JP5946965B2 (ja) * 2013-06-28 2016-07-06 楽天株式会社 表示システム、表示方法、及びプログラム
CN109948511A (zh) * 2019-03-14 2019-06-28 广东美的白色家电技术创新中心有限公司 手势识别方法及装置
EP3963476A1 (en) * 2019-05-03 2022-03-09 Verily Life Sciences LLC Predictive classification of insects
CN218251559U (zh) 2019-05-03 2023-01-10 威里利生命科学有限责任公司 昆虫分拣系统
CN112818868B (zh) * 2021-02-03 2024-05-28 招联消费金融股份有限公司 基于行为序列特征数据的违规用户识别方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140666A1 (en) * 2001-03-29 2002-10-03 Bradski Gary R. Intuitive mobile device interface to virtual spaces
CN1701351A (zh) * 2000-09-07 2005-11-23 卡尼斯塔公司 检测和定位用户－对象与虚拟传送设备的交互作用的准三维方法和装置
WO2006036069A1 (en) * 2004-09-27 2006-04-06 Hans Gude Gudensen Information processing system and method
US20060181510A1 (en) * 2005-02-17 2006-08-17 University Of Northumbria At Newcastle User control of a hand-held device
CN1941847A (zh) * 2005-09-29 2007-04-04 Lg电子株式会社 用于手持终端的图形信号显示装置和方法
WO2007068791A1 (en) * 2005-12-13 2007-06-21 Elcoteq Se Method and arrangement to manage graphical user interface and portable device provided with graphical user interface
CN101006414A (zh) * 2004-08-17 2007-07-25 诺基亚公司 电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品
CN101137996A (zh) * 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP2008084287A (ja) * 2006-08-28 2008-04-10 Sony Corp 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944315B1 (en) * 2000-10-31 2005-09-13 Intel Corporation Method and apparatus for performing scale-invariant gesture recognition
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US20070222746A1 (en) * 2006-03-23 2007-09-27 Accenture Global Services Gmbh Gestural input for navigation and manipulation in virtual space
US9317124B2 (en) 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701351A (zh) * 2000-09-07 2005-11-23 卡尼斯塔公司 检测和定位用户－对象与虚拟传送设备的交互作用的准三维方法和装置
US20020140666A1 (en) * 2001-03-29 2002-10-03 Bradski Gary R. Intuitive mobile device interface to virtual spaces
CN101006414A (zh) * 2004-08-17 2007-07-25 诺基亚公司 电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品
WO2006036069A1 (en) * 2004-09-27 2006-04-06 Hans Gude Gudensen Information processing system and method
CN101137996A (zh) * 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
US20060181510A1 (en) * 2005-02-17 2006-08-17 University Of Northumbria At Newcastle User control of a hand-held device
CN1941847A (zh) * 2005-09-29 2007-04-04 Lg电子株式会社 用于手持终端的图形信号显示装置和方法
WO2007068791A1 (en) * 2005-12-13 2007-06-21 Elcoteq Se Method and arrangement to manage graphical user interface and portable device provided with graphical user interface
JP2008084287A (ja) * 2006-08-28 2008-04-10 Sony Corp 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218799A (zh) * 2012-01-18 2013-07-24 三星电子株式会社 用于相机跟踪的方法和设备
CN103218799B (zh) * 2012-01-18 2017-09-29 三星电子株式会社 用于相机跟踪的方法和设备
CN108027654A (zh) * 2015-09-28 2018-05-11 日本电气株式会社 输入设备、输入方法和程序
CN108027654B (zh) * 2015-09-28 2021-01-12 日本电气株式会社 输入设备、输入方法和程序
CN113785298A (zh) * 2019-05-03 2021-12-10 丰田汽车欧洲股份有限公司 用于追踪对象的图像获取设备

Also Published As

Publication number Publication date
JP5312578B2 (ja) 2013-10-09
KR20110016994A (ko) 2011-02-18
JP2011528819A (ja) 2011-11-24
US20090309765A1 (en) 2009-12-17
US8269842B2 (en) 2012-09-18
EP2304534A1 (en) 2011-04-06
KR101247991B1 (ko) 2013-03-27
CN102089738B (zh) 2013-05-08
CA2727213A1 (en) 2009-12-17
EP2304534A4 (en) 2014-06-04
WO2009150522A1 (en) 2009-12-17
BRPI0915357A2 (pt) 2015-11-03
CA2727213C (en) 2017-12-05

Similar Documents

Publication Publication Date Title
CN102089738B (zh) 用于用户界面控制的相机姿态
CN102782633B (zh) 灵活的平行和正交移动的视觉信息呈现的方法
US20200097091A1 (en) Method and Apparatus of Interactive Display Based on Gesture Recognition
US10013143B2 (en) Interfacing with a computing application using a multi-digit sensor
Hardy et al. Touch & interact: touch-based interaction of mobile phones with displays
CN103649900B (zh) 边缘手势
US8345014B2 (en) Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8169414B2 (en) Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
CN104126161B (zh) 使用状态确定的交互绘图识别
CN102549527B (zh) 用于便携式有形交互的系统
KR101535320B1 (ko) 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법
CN102782632A (zh) 具有灵活的平行移动的多层用户界面
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
US8743065B2 (en) Method of identifying a multi-touch rotation gesture and device using the same
Margetis et al. Augmented interaction with physical books in an Ambient Intelligence learning environment
CN102541304A (zh) 姿势识别
CN102906671A (zh) 手势输入装置及手势输入方法
KR20170056695A (ko) 멀티핑거 터치패드 제스쳐
CN105556438A (zh) 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法
CN102077153A (zh) 用于姿势控制的用户界面
KR20160132994A (ko) 디스플레이 센서 및 베젤 센서에 대한 도전성 트레이스 라우팅
US9182908B2 (en) Method and electronic device for processing handwritten object
US8947378B2 (en) Portable electronic apparatus and touch sensing method
US20130293481A1 (en) Method, electronic device, and computer readable medium for accessing data files
US20130249807A1 (en) Method and apparatus for three-dimensional image rotation on a touch screen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160215

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20180611

CF01 Termination of patent right due to non-payment of annual fee