CN105719299A - 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示 - Google Patents

Abstract

本发明分离的计算机视觉位置及方向与惯性传感器位置及方向的显示，提供一种运动器件，其使用由摄影机采集的影像判定视觉位置及方向，且使用来自诸如加速计及回转仪的惯性传感器的数据判定传感器位置及方向。该视觉位置及方向及该传感器位置及方向是分离地用在可视化应用程序中，该可视化应用程序针对该不同位置及方向显示分别的图形。该可视化应用程序可用以校准惯性传感器，其中该可视化应用程序基于该视觉位置及方向显示图形且基于该传感器位置及方向显示图形，且提示使用者随着该所显示图形在特定方向上移动该运动器件以加速对该惯性传感器的校准的收敛。或者，该可视化应用程序可为使用该视觉位置及方向及该传感器位置及方向显示分别的图形的基于运动的游戏或摄影应用程序。

Description

分离的计算机视觉位置及方向与惯性传感器位置及方向的显示

技术领域

本文中所描述的主题的实施例大体而言是关于将计算机视觉位置及方向及惯性传感器位置及方向分离地用在可视化应用程序中，且更特定言的，是关于显示针对计算机视觉位置及方向及惯性传感器位置及方向的分别的图形以提示用户运动器件的移动。

背景技术

智能型手机、平板型计算机、摄影机等等的愈来愈多，运动器件除了摄影机以外也包括各种类型的惯性传感器。如加速计及回转仪的惯性传感器，因其在高采样率下量测加速度及角速度的能力而被用在追踪运动器件的移动。如扩增实境、室内导航等等的许多应用程序使用惯性传感器与计算机视觉的组合以用在判定运动器件的位置及方向(位置及定向)及追踪运动器件。

为了将惯性传感器用在准确位置判定，特别在将惯性传感器与计算机视觉技术组合时，需要对惯性传感器的准确校准。惯性传感器的校准包括将惯性传感器相对在摄影机对准，以及校准惯性传感器的尺度及非正交性参数。然而，惯性传感器的校准当前为耗时的工厂制造，每一个别运动器件皆需要惯性传感器的校准。在惯性传感器的工厂校准期间，执行运动器件的是列精确移动且使该精确移动与惯性传感器的响应相关。虽然用于使用者运动校准传感器的一些途径，但此等途径的效能严重地取决在供应与工厂运动质量相似的用户运动。指示使用者提供复杂且又高度准确的运动是困难的。然而，在无此等充足运动的情况下，工厂校准(其带来成本增加)为用以可靠地获得准确校准参数的唯一方式。

发明内容

运动器件使用由摄影机采集的影像判定视觉位置及方向，且使用来自诸如加速计及回转仪的惯性传感器的数据判定感测器式位置及方向。该视觉位置及方向及该传感器位置及方向是分离地用在可视化应用程序中，该可视化应用程序显示针对该不同位置及方向的分别的图形。举例而言，该可视化应用程序可用以校准该惯性传感器，其中该可视化应用程序基于该视觉位置及方向显示图形且基于该传感器位置及方向显示图形，且提示用户随该所显示图形在特定方向上移动该运动器件以加速对该惯性传感器的校准的收敛。或者，该可视化应用程序可为使用该视觉位置及方向及该传感器位置及方向显示分别的图形的基于运动的游戏或摄影应用程序。

在实施中，一种方法包括：使用经采集影像判定运动器件的视觉位置及方向；使用惯性传感器判定该运动器件的传感器位置及方向；及将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中。

在实施中，一种运动器件包括：摄影机，其采集环境的影像；惯性传感器，其响应在该运动器件的移动而产生数据；显示器；及处理器，其连接到该显示器、连接到该摄影机以接收该环境的经采集影像且连接到该惯性传感器以接收响应在该运动器件的该移动的该数据，该处理器经组态以使用该经采集影像判定该运动器件的视觉位置及方向；使用来自该惯性传感器的该数据判定该运动器件的传感器位置及方向；且使该显示器基于该视觉位置及方向展示第一图形且基于该传感器位置及方向展示第二图形。

在实施中，一种运动器件包括：用在使用经采集影像判定该运动器件的视觉位置及方向的构件；用在使用惯性传感器判定该运动器件的传感器位置及方向的构件；及用在将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的构件。

在实施中，一种储存媒体(包括储存在其上的程序代码)包括：用以使用经采集影像判定运动器件的视觉位置及方向的程序代码；用以使用惯性传感器判定该运动器件的传感器位置及方向的程序码；及用以将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的程序代码。

附图说明

图1说明能够自经采集影像判定视觉位置及方向及自惯性感测器判定传感器位置及方向且将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的运动器件。

图2说明可由运动器件用在可视化应用程序中的图形的一个可能实施。

图3说明可由运动器件用在可视化应用程序中的图形的另可能实施。

图4说明可由运动器件用在可视化应用程序中的图形的另可能实施。

图5为说明将视觉图形及传感器图形分离地用在可视化应用程序中的处理程序的流程图。

图6为说明将视觉图形、传感器图形及混合图形用在可视化应用程序中的处理程序的流程图。

图7为说明用在校准惯性传感器的可视化应用程序的特定实施例的流程图。

图8为能够判定视觉位置及方向及传感器位置及方向且将视觉图形及传感器图形分离地用在可视化应用程序中的运动器件的方块图。

具体实施方式

图1说明能够自经采集影像判定视觉位置及方向及自惯性感测器判定传感器位置及方向，且将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的运动器件100。可视化应用程序针对视觉位置及方向及传感器位置及方向显示分别的图形，该图形有时在本文中分别被称作视觉图形及传感器图形。由实例，可视化应用程序可用以校准惯性传感器、游戏、摄影等等。举例而言，可基于用户响应在所显示图形对运动器件的操控而校准惯性传感器。运动器件100被说明为包括显示器102，该显示器102可为(但未必为)触控屏幕显示器。运动器件100包括用以使诸如目标101的环境成像的前向摄影机108，该目标101被说明为展示在显示器102上。运动器件100也包括惯性传感器110，诸如，加速计、回转仪或其类似者。运动器件100也可包括与本发明不相关的其他特征，诸如扬声器104及麦克风106(例如，在运动器件100为蜂巢式电话的情况下)。

如本文中所使用，运动器件是指能够根据经采集影像或视讯串流进行视觉位置侦测及追踪且包括惯性传感器的任何携带型电子器件，且可包括(例如)蜂巢式或其他无线通信器件、个人通信系统(PCS)器件、个人导航器件(PND)、个人信息管理器(PIM)、个人数字助理(PDA)，或包括摄影机、无线通信器件、计算机、膝上型计算机、平板型计算机，等等的其他合适运动器件。运动器件可(但未必需要)能够接收无线通信及/或导航信号(诸如，导航定位信号)。术语运动器件也意欲包括(诸如)由短程无线、红外线、有线连接或其他连接而与个人导航器件(PND)通信的器件而不管在器件处或在PND处是否会发生卫星信号接收、辅助数据接收及/或位置相关的处理。

运动器件100包括视觉位置及方向模块112，视觉位置及方向模块112使用由摄影机108采集的影像(例如，由摄影机108产生的是列视讯图框)以产生视觉位置及方向。视觉位置及方向为使用计算机视觉技术而判定的运动器件的位置及定向。应理解，摄影机108可采集视讯影像及/或图框，且术语影像及图框在本文中可互换地使用。运动器件100进一步包括惯性感测系统(INS)114，该惯性感测系统114使用惯性传感器110的输出以产生传感器位置及方向。应理解，视觉位置及方向及传感器位置及方向中的者或两者可基于另者而予以初始化，但在其他情况下(如本文中所使用)，视觉位置及方向独立在传感器位置及方向，且传感器位置及方向独立在视觉位置及方向。因此，在当前时刻，当呈现当前扩增集合时视觉位置及方向及传感器位置及方向是独立的；但其可能在过去时刻融合在起。

运动器件100使用可视化应用程序，该可视化应用程序基于自经采集影像产生的视觉位置及方向及自惯性传感器数据产生的传感器位置及方向而在显示器102上显示分别的图形。举例而言，如图1中所说明，运动器件100可基于由视觉位置及方向模块112产生的视觉位置及方向而呈现第一图形120，且基于由INS114产生的传感器位置及方向而呈现第二图形122。视需要，视觉图形120及传感器图形122可为同所呈现对象的不同色彩信道，或其可为不同物件。图1将图形120及122说明为球状，但应理解，可使用任何类型的图形。此外，视需要，可将多个图形用在视觉位置及方向，且可将多个图形用在传感器位置及方向。举例而言，如下文所论述，可基于视觉位置及方向呈现或多个水平条及或多个垂直条，且相似地，可基于传感器位置及方向呈现若干水平条及垂直条。视需要，所呈现图形可更复杂或更生动，例如，可基于视觉位置及方向呈现猫且可基于传感器位置及方向呈现鼠，其中基于使用者运动，猫受控制以采集鼠。

可视化应用程序分离地显示视觉图形及传感器图形以提示用户移动运动器件。举例而言，可视化应用程序可为娱乐，例如，游戏。另应用程序可与摄影有关。举例而言，为了使用单摄影机产生三维影像，将运动器件移动到不同视角，同时维持经成像对象在显示器中居中。因此，视觉图形可被显示为相对在对象静止，而感测器式图形的移动提示用户将运动器件移动到不同视角以便维持视觉图形及传感器图形的对准。在另实例中，为了产生全景，需要在横摇摄影机的同时维持摄影机的位置。因此，传感器图形可被显示为在显示器中静止，而视觉图形的移动提示用户旋转运动器件同时将位置保持静止，以便维持视觉图形及传感器图形的对准。

可视化应用程序的另实例是用在惯性传感器110的校准。对惯性传感器110及摄影机108的对准以及尺度及非正交性的校准可将视觉位置及方向用作外部量测。此外，基于视觉图形及传感器图形的显示，用户被提示随校准的所要轨迹来移动运动器件100。因此，激励使用者沿着所要轨迹移动运动器件以收集可馈送到校准演算法中的质量良好的数据。

运动器件100自惯性传感器110收集响应在运动器件100的移动而产生的数据，同时采集用以产生视觉位置及方向的影像。视觉位置及方向及传感器资料可用在惯性传感器的校准。可呈现视觉图形120及传感器图形122以提示用户移动运动器件，以及可对使用者进行关于惯性传感器的校准状态(诸如，校准准确度及对校准参数的可信度)的回馈。因此，运动器件100可使用可视化应用程序以允许使用者将惯性传感器校准准确度可视化且基于对校准参数估计的可信度而适应性地改变使用者与运动器件的互动。

图2由实例说明在校准惯性传感器时可由运动器件用在可视化应用程序中的图形的一个可能实施。如与图1所示的运动器件100的位置及方向相比可看出，图2中的运动器件100被说明为相对在目标101而旋转。归因在运动器件100的旋转，传感器图形122已移动成与视觉图形120较紧密对准。手动地移动运动器件100以对准图形的过程可提供回馈以相对在摄影机108校准惯性传感器110。此外，分别的图形120及122的视觉显示可将关于惯性传感器110到摄影机108的校准状态的回馈提供给使用者。另外，如由图2中的文字124所说明，可向使用者提供计分以指示对准的状态。也可将其他或另外回馈提供给使用者，诸如，可分别指示沿着水平轴线及垂直轴线的对准状态的水平条126H及垂直条126V。此外，因为存在六个维度(三个供旋转且三个供平移)，所以可显示六个分别的图形(例如，条或其他者)或其子集(例如，两个或两个以上图形)。图形120及122可经呈现为促使使用者在特定方向上移动运动器件以加速对惯性传感器的校准的收敛的游戏的部分。换言的，可将校准程序作为为获得娱乐所玩的游戏呈现给使用者(而非繁重的管理处理程序)。举例而言，在校准游戏中，可周期性地移动视觉图形120的所显示位置，从而要求用户操控运动器件100的位置及定向以将传感器图形122与视觉图形120重新对准。因此，可提示使用者沿着或多个轴线旋转及/或移动运动器件100，且运动器件100的所得运动可用在校准。在具有愈来愈佳校准的情况下，由惯性传感器估计的运动将与基于计算机视觉求解出的运动愈来愈紧密地匹配。当由惯性传感器估计的运动与基于计算机视觉求解出的运动的间的差在可基于系统的噪声位准的临限范围内匹配时，可将校准判定为可接受的。

预期对准及非正交性在电话的寿命内极慢地改变。因此，可不频繁地执行对准及非正交性的校准。然而，尺度取决在温度。虽然可以进行中的方式与偏置起估计尺度，但联合地估计对准、非正交性、尺度及偏置将很可能导致总体校准参数的准确度减低。因此，可周期性地执行运动器件100的使用者校准或在运动器件100受到机械应力的情况下进行运动器件100的使用者校准。

图3说明在校准惯性传感器时可由运动器件用在可视化应用程序中的图形的另可能实施。所显示图形132可基于计算机视觉位置及方向，且分别的图形134可基于传感器位置及方向。如图3中所说明，视觉图形132可为迷宫，而传感器图形134可为待由使用者所产生的运动器件100的运动而移动通过迷宫的对象。因此，如图3中可看出，使用者将被提示水平地及垂直地旋转或移动运动器件100以将感测器式图形134移动通过视觉图形132。运动器件100的运动可用以校准惯性传感器110。

图4说明在校准惯性传感器时可由运动器件用在可视化应用程序中的图形的另可能实施。所显示图形142可基于计算机视觉位置及方向，且分别的图形144可基于传感器位置及方向。可使用视觉图形142及传感器图形144(例如)以提示使用者(例如)沿着垂直在显示器102而延伸的Z轴来旋转运动器件100。另外，使用者可被提示前后移动运动器件100(例如，沿着垂直在显示器102而延伸的轴线沿着Z轴而平移运动器件)，以变更图形142、144中的或多者的大小直到该图形的大小相似为止。相似地，使用者可被提示沿着X轴及Y轴移动(平移)运动器件100以将图形142、144对准，且可被提示基于图形142、144的外观围绕X轴及Y轴旋转运动器件100。因此，可看出，使用者可被提示以6个自由度移动运动器件。

图5为说明将视觉图形及传感器图形分离地用在可视化应用程序中的处理程序的流程图。使用经采集影像判定运动器件的视觉位置及方向P02)。可使用习知计算机视觉技术而产生运动器件的视觉位置及方向。举例而言，对在每影像新影像，可使用FAST(来自加速片段测试的特征)隅角侦测器、尺度不变特征变换(SIFT)、加速稳固特征(SURF)或任何其他所要方法来提取特征。可将当前影像的经提取特征与来自参考影像的特征比较，参考影像可为已知或所获悉目标的前影像或模型。将当前影像中的经提取特征的位置映像到参考影像的单应性(homography)可提供运动器件的相对在具有6个自由度的环境的位置及方向。

也使用惯性传感器判定运动器件的传感器位置及方向(204)。众所周知，可由整合随着时间推移(例如)来自加速计或回转仪的惯性传感器数据以判定随着整合时间推移运动器件的位置及方向的改变来判定传感器位置及方向。因此，由在与用摄影机采集环境的参考影像的同时起始惯性传感器的整合，可与判定视觉位置及方向并行地判定运动器件的传感器位置及方向。应理解，来自惯性传感器的数据提供位置及方向的相对改变。位置及方向的改变可用作传感器位置及方向。或者，可(例如)使用计算机视觉技术或其他初始化技术来提供初始位置及方向，其中传感器位置及方向可在自初始位置及方向改变时被阻止。举例而言，可按规则时间间隔(例如，每隔5个图框)用视觉位置及方向来初始化传感器位置及方向。在彼等初始化图框的间，将来自传感器的位置及方向的改变用作传感器位置及方向。

将视觉位置及方向及传感器位置及方向分离地用在可视化应用程序中(206)。换言的，视觉位置及方向及传感器位置及方向可由同可视化应用程序同时使用，但不将视觉位置及方向及感测器式位置及方向组合以便分离地使用其。举例而言，在可视化应用程序中，可显示基于视觉位置及方向的第一图形及基于传感器位置及方向的第二图形。视需要，可由呈现具有不同色彩通道的单扩增字符而在可视化应用程序中使用视觉位置及方向及传感器位置及方向。因此，第一图形可为用在单扩增字符的第色彩信道，且第二图形可为用在单扩增字符的第二色彩信道。

如上文所论述，可视化应用程序可使用经采集影像执行对惯性传感器的校准，其中第一图形及第二图形经呈现为基于对惯性传感器的校准而彼此互动。举例而言，由基于惯性传感器的校准状态而移动第一图形及第二图形中的至少者，使用者可被提示在特定方向上移动运动器件，其中在特定方向上运动器件的移动加速了对惯性感测器的校准的收敛。举例而言，在完成一个校准参数(例如，X轴)的校准的后，可移动第一图形及/或第二图形以提示用户沿着Y轴移动运动器件。可以相似方式校准Z轴，以及围绕各种轴线的旋转。额外或替代性地，惯性传感器的校准状态可为(例如)校准准确度、对校准参数的可信度、误差协方差或误差协方差的变化。误差协方差或可信度的实例为来自可用在校准程序的扩展卡尔曼泸波器(ExtendedKalmanFilter)的结果。另实例可来自估计估计値的可靠性的另演算法。提示使用者在特定方向上移动运动器件会将惯性传感器的校准质量用作对可视化应用程序的回馈以加速对惯性传感器的校准的收敛。

然而，可视化应用程序可用在除校准以外的其他处理程序。举例而言，可视化应用程序可为基于视觉位置及方向显示第一图形且基于传感器位置及方向显示第二图形的运动器件的基于运动的游戏或摄影应用程序。

视需要，可由可视化应用程序在运动器件100中显示额外信息。举例而言，图6为流程图，其与图5所示的流程图相似，但包括由视觉化应用程序使用的额外信息。因此，如可看出，判定视觉位置及方向及传感器位置及方向(202，204)。另外，起使用经采集影像及惯性传感器来判定运动器件的混合式位置及方向(212)。举例而言，视需要，可组合视觉位置及方向及传感器位置及方向，或可组合来自惯性传感器的数据及来自摄影机的数据以形成混合式位置及方向。可视化应用程序(例如)由显示表示每位置及方向的分别的图形而分离地使用视觉位置及方向、传感器位置及方向及混合式位置及方向(214)。应理解，无需在校准期间总是显示基于视觉位置及方向或传感器位置及方向而显示的图形中的者或两者，例如，在对视觉位置及方向的追踪丢失时，可移除针对视觉位置及方向而显示的图形，同时仍显示针对传感器位置及方向而显示的图形。

图7为说明用在惯性传感器的呈校准应用程序的形式的可视化应用程序的特定实施例的流程图。如可看到，起始校准处理程序(302)。校准应用程序可代替工厂校准或除工厂校准以外也存在校准应用程序，且校准应用程序可预安装在运动器件100上。在准许使用惯性传感器的前，可需要自动起始校准应用程序，或替代地，使用者可在需要时起始该应用程序。可向用户提供指令，诸如，关于于何处可找到适在产生准确计算机视觉位置及方向估计的富含特征目标的资讯。运动器件100可被置放在特定位置中(例如，在水平表面上面向上)以用在初始化运动器件的位置及方向(304)。运动器件100可(例如)由发射音调而在初始化完成时向使用者进行指示。运动器件100判定传感器位置及方向及分别的视觉位置及方向(306)。举例而言，运动器件100采集参考目标的影像或视讯图框以使用计算机视觉判定位置及方向且获取追踪，同时也基于也用在追踪的惯性传感器判定位置及方向。由显示与传感器位置及方向及视觉位置及方向有关的分别的图形，将移动运动器件的指令提供给用户(308)。在使用者移动运动器件时个别地追踪传感器位置及方向及视觉位置及方向以改良校准(310)。

可基于对每位置及方向估计的可信度而产生用在移动运动器件的指令，可自来自扩展卡尔曼滤波器的误差协方差或自其他算法导出可信度。举例而言，若针对由量测围绕Z轴的旋转的回转仪产生的位置及方向的可信度低，则使用者可被指示围绕Z轴旋转运动器件，同时继续采集参考目标的影像直到达到可信度的临限値为止。可按照所显示图形的计分或改变来表达可信度临限以促使使用者进行特定运动以增加估计的可信度。将计分及/或挑战提供给使用者利用了游戏玩家的为了增加其游戏计分或完成挑战而玩游戏的普遍特性。每当对校准参数中的者的校准完成(也即，可信度位准增加超过临限)时，就奖励用户分数。使用者完成所花费的时间也可包括在计分中。因此，可激励使用者操控运动器件以提供用在校准处理程序的输入数据。因此，使用者与运动器件的互动可用在校准，此避免了对惯性传感器进行昂贵的工厂校准的需要。

图8为能够判定视觉位置及方向及传感器位置及方向且将视觉图形及传感器图形分离地用在可视化应用程序中的运动器件100的方块图。运动器件100包括摄影机108以及诸如加速计、回转仪或其类似者的惯性传感器110。运动器件100进一步包括用户接口150，用户接口150包括显示器102以及小键盘152或用户可以将信息输入到运动器件100中的其他输入器件。视需要，由将虚拟小键盘整合到具有触控传感器(或示意动作控制)的显示器102中，可取消小键盘152。用户接口150也可包括麦克风106及扬声器104(例如，在运动器件100为蜂巢式电话或其类似者时)。当然，运动器件100可包括与本发明不相关的其他组件。

运动器件100也包括控制单元105，控制单元105连接到摄影机108、惯性传感器110以及用户接口150(包括显示器102)且与摄影机108、惯性传感器110以及用户接口150(包括显示器102)通信。控制单元105可由总线105b、处理器105p及相关联的内存105m、硬件105h、韧体105f及软件105s提供。控制单元105接收及处理如上文所论述的由摄影机采集的影像以及自惯性传感器110获得的数据。控制单元105进一步被说明为包括视觉位置及方向模块112，视觉位置及方向模块U2使用计算机视觉技术来使用由摄影机108采集的影像产生视觉位置及方向。运动器件100进一步包括INS114，INS114使用惯性传感器110的输出以产生传感器位置及方向。呈现模块116产生待提供给用户的视觉图形及传感器图形及任何其他图形数据，其被展示在显示器102上。另外，可视化应用程序模块118使用视觉位置及方向及传感器位置及方向，且使得将显示来自呈现模块116的图形。举例而言，可视化应用程序模块118可为基于视觉位置及方向及传感器位置及方向校准惯性传感器110的校准模块(如上文所论述)，或可替代地为基于运动的游戏或其他适当类型的应用程序(诸如，摄影应用程序)。可包括混合位置及方向模块119以基于经组合的视觉位置及方向及传感器位置及方向而判定运动器件的位置及方向，或以其他方式基于经采集影像及惯性传感器数据来判定运动器件的位置及方向。

为清楚起见，将视觉位置及方向模块112、INS114、呈现模块116，可视化应用程序模块118及混合位置及方向模块119与处理器105p分开加以说明，但其可为处理器105p的部件或基于执行在处理器105p中的软件105s中的指令而在处理器中予以实施。应理解，如本文中所使用，处理器105p可(但未必需要)包括或多个微处理器、嵌入式处理器、控制器、特殊应用集成电路(ASIC)、数字信号处理器(DSP)，及其类似者。术语处理器意欲描述由系统而非特定硬件实施的功能。此外，如本文中所使用，术语内存是指任何类型的电脑储存媒体，包括与运动器件相关联的长期、短期或其他内存，且将不限在任何特定类型的内存或数目的内存，或供储存内存的媒体类型。

取决在应用，可由各种构件来实施本文中所描述的方法。举例而言，可以硬件105h、韧体105f、软件105s或其任何组合来实施此等方法。对在硬件实施，处理单元可经实施在或多个特殊应用积体电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可程序化逻辑器件(PLD)、场可程序化门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、经设计以执行本文中所描述的功能的其他电子单元或其组合内。

对软件实施，可由执行本文中所描述的功能的模组(例如，程序、函式，等等)来实施该方法。有形地体现指令的任何机器可读媒体可用在实施本文中所描述的方法。举例而言，软件程式码可储存在内存105m中且由处理器105p执行。内存105m可经实施在处理器105p内或处理器105p外部。若以韧体及/或软件予以实施，则功能可作为或多个指令或程序代码而储存在计算机可读的储存媒体上，其中储存媒体不包括暂时性传播信号。实例包括用数据结构编码的储存媒体及用计算机程序编码的储存器。储存媒体包括实体计算机储存媒体。，储存媒体可为可由计算机存取的任何可用媒体。由实例而非限制，此等储存媒体可包含RAM、ROM、EEPROM、CD-ROM或其他光盘储存器、磁盘储存器或其他磁性储存器件，或可用以储存呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其他媒体；如本文中所使用的磁盘及光盘包括紧密光盘(CD)、雷射光盘、光盘、数字激光视盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘由雷射以光学方式再生数据。以上各者的组合也应包括在储存媒体的范畴内。

因此，运动器件100包括用在使用经采集影像判定运动器件的视觉位置及方向的构件，该构件可包括(例如)摄影机108以及视觉位置及方向模块112。用在使用惯性传感器判定运动器件的传感器位置及方向的构件可包括(例如)惯性传感器110及INS114。用在将视觉位置及方向及传感器位置及方向分离地用在可视化应用程序中的构件可包括(例如)可视化应用程序模块118，可视化应用程序模块118可为(例如)校准模块、基于运动的游戏，或摄影应用程序。用在使用经采集影像及惯性传感器判定运动器件的混合式位置及方向的构件可为混合位置及方向模块119，混合位置及方向模块119可组合视觉位置及方向及传感器位置及方向，或以其他方式基于经采集影像及惯性传感器数据判定位置及方向。

Claims (6)

1.一种方法，其包含：

使用经采集影像判定运动器件的视觉位置及方向；

使用惯性传感器判定该运动器件的传感器位置及方向；

将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中。

2.如请求项1的方法，其进一步包含使用该经采集影像及该惯性传感器判定该运动器件的混合式位置及方向，且将该混合式位置及方向用在该可视化应用程序中；其中将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中包含基于该视觉位置及方向显示第一图形且基于该传感器位置及方向显示第二图形；其中将该视觉位置及方向及该传感器位置及方向用在该可视化应用程序中包含呈现单扩增字符，其中该第一图形为用在该单扩增字符的第色彩信道，且该第二图形为用在该单扩增字符的第二色彩通道；其中将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中包含使用该经采集影像执行对该惯性传感器的校准，其中基于对该惯性感测器的该校准而呈现该第一图形及该第二图形；其中基于对该惯性传感器的该校准的品质而呈现该第一图形及该第二图形，其中对该惯性传感器的该校准的该质量是选自由校准准确度、对校准参数的可信度、误差协方差及该误差协方差的变化组成的群组；其中将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中包含：提示用户随该第一图形及该第二图形在特定方向上移动该运动器件，其中在该特定方向上该运动器件的移动会加速对该惯性传感器的该校准的收敛；其中该可视化应用程序为基于该视觉位置及方向及该传感器位置及方向而在该运动器件上显示图形的该运动器件的基于运动的游戏及摄影应用程序中的者。

3.一种运动器件，其包含：摄影机，其采集环境的影像；惯性传感器，其响应在该运动器件的移动而产生数据；显示器；及处理器，其连接到该显示器、连接到该摄影机以接收该环境的经采集影像且连接到该惯性传感器以接收响应在该运动器件的该移动的该数据，该处理器经组态以使用该经采集影像判定该运动器件的视觉位置及方向；使用来自该惯性传感器的该数据判定该运动器件的传感器位置及方向；且使该显示器基于该视觉位置及方向展示第一图形且基于该传感器位置及方向展示第二图形。

4.如请求项3的运动器件，其中该处理器经进一步组态以使用该经采集影像及该惯性传感器判定该运动器件的混合式位置及方向，且使该显示器基于该混合式位置及方向展示第三图形；其中该处理器经组态以由经组态以使该显示器展示单扩增字符而使该显示器基于该视觉位置及方向展示该第一图形且基于该传感器位置及方向展示该第二图形，其中该第一图形为该单扩增字符的第色彩信道且该第二图形为该单扩增字符的第二色彩通道；其中该处理器经进一步组态以使用该视觉位置及方向及该传感器位置及方向校准该惯性感测器，其中该处理器经组态以使该显示器基于对该惯性传感器的该校准而展示该第一图形及该第二图形；其中该处理器经组态以基于对该惯性传感器的该校准的质量而呈现该第一图形及该第二图形，其中对该惯性传感器的该校准的该质量是选自由校准准确度、对校准参数的可信度、误差协方差及该误差协方差的变化组成的群组；其中该处理器经进一步组态以提示用户随该第一图形及该第二图形在特定方向上移动该运动器件，其中在该特定方向上该运动器件的该移动会加速对该惯性传感器的该校准的收敛；其中该处理器经组态以使该显示器响应在该运动器件的基于运动的游戏及摄影应用程序中的者而展示该第一图形及该第二图形。

5.一种运动器件，其包含：用在使用经采集影像判定该运动器件的视觉位置及方向的构件；用在使用惯性传感器判定该运动器件的传感器位置及方向的构件；及用在将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的构件；其进一步包含用在使用该经采集影像及该惯性传感器判定该运动器件的混.合式位置及方向的构件，且其中用在将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中的该构件进一步使用该混合式位置及方向；其中用在将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中的该构件基于该视觉位置及方向显示第一图形且基于该传感器位置及方向显示第二图形；其中用在将该视觉位置及方向及该传感器位置及方向用在该可视化应用程序中的该构件呈现单扩增字符，其中该第一图形为用在该单扩增字符的第色彩信道且该第二图形为用在该单扩增字符的第二色彩通道；其中用在将该视觉位置及方向及该传感器位置及方向用在该可视化应用程序中的该构件使用该经采集影像执行对该惯性传感器的校准，其中基于对该惯性传感器的该校准而呈现该第一图形及该第二图形；其中用在将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中的该构件提示用户随该第一图形及该第二图形在特定方向上移动该运动器件，其中在该特定方向上该运动器件的移动会加速对该惯性传感器的该校准的收敛；其中该可视化应用程序为基于运动的游戏及摄影应用程序中的者。

6.一种储存媒体，其包括储存在其上的程序代码，其包含：用以使用经采集影像判定运动器件的视觉位置及方向的程序代码；用以使用惯性传感器判定该运动器件的传感器位置及方向的程序代码；用以将该视觉位置及方向及该传感器位置及方向分离地用在可视化应用程序中的程序代码；其中用以将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中的该程序码包含用以基于该视觉位置及方向显示第一图形且基于该传感器位置及方向显示第二图形的程序代码；其中用以将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中的该程序码包含用以使用该经采集影像执行对该惯性传感器的校准的程序代码，其中基于对该惯性传感器的该校准而呈现该第一图形及该第二图形；其中用以将该视觉位置及方向及该传感器位置及方向分离地用在该可视化应用程序中的该程序码包含：用以提示用户随该第一图形及该第二图形在特定方向上移动该运动器件的程序代码，其中在该特定方向上该运动器件的移动会加速对该惯性传感器的该校准的收敛；其中该可视化应用程序为基于该视觉位置及方向及该传感器位置及方向而在该运动器件上显示图形的该运动器件的基于运动的游戏及摄影应用程序中的者。