CN110119190A - 定位方法、装置、识别跟踪系统及计算机可读介质 - Google Patents

Abstract

本发明公开了一种定位方法、装置、识别跟踪系统及计算机可读介质，属于图像处理技术领域。该方法包括：处理器获取图像采集装置采集的视觉交互装置的目标图像，目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点；获取每个目标特征点在目标图像对应的图像坐标系内的像素坐标；根据所有目标特征点的像素坐标和预先获取的所有目标特征点的物理坐标，获取图像采集装置与视觉交互装置之间的位置及旋转信息，其中，物理坐标为预先获取的目标特征点在视觉交互装置对应的物理坐标系内的坐标。通过该位置及旋转信息，就能够确定图像采集装置与视觉交互装置之间的位置关系，精确度更高。

Description

定位方法、装置、识别跟踪系统及计算机可读介质

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种定位方法、装置、识别跟踪系统及计算机可读介质。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)和虚拟现实(VR，Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。

在虚拟现实系统及识别跟踪系统等交互系统中，需要对目标物体进行识别跟踪。现有的识别跟踪方法，通常是采用磁传感器、光传感器、超声波、惯性传感器、目标物体图像处理等方式实现，但是这些识别跟踪的方法，通常，识别跟踪效果并不理想，如磁传感器、光传感器、超声波等通常受到环境较大的影响，惯性传感器对精度要求极高，市场上急需一种全新的识别方法，以实现低成本、高精度的交互，而对目标物体的图像的处理作为识别跟踪的重要技术也需要一套完美有效的解决方法。

发明内容

本发明提出了一种定位方法、装置、识别跟踪系统及计算机可读介质，以改善上述缺陷。

第一方面，本发明实施例提供了一种定位方法，应用于识别跟踪系统，所述系统包括图像采集装置和具有至少分布在两个面上的多个特征点的视觉交互装置。所述方法包括：获取所述图像采集装置采集的所述视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点；获取目标图像内的目标特征点在该目标图像对应的图像坐标系内的像素坐标；根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

第二方面，本发明实施例还提供了一种定位装置，应用于识别跟踪系统的处理器，所述系统包括图像采集装置和具有至少分布在两个面上的多个特征点的视觉交互装置。所述装置包括：第一获取单元、第二获取单元和处理单元。第一获取单元，用于获取所述图像采集装置采集的所述视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点；第二获取单元，用于获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标；处理单元，用于根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

第三方面，本发明实施例还提供了一种识别跟踪系统，包括图像采集装置和具有至少分布在两个面上的多个特征点的视觉交互装置，所述图像采集装置与一处理器连接。所述图像采集装置用于采集所述视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点。所述处理器用于：获取所述图像采集装置采集的所述视觉交互装置的目标图像；获取目标图像内的目标特征点在该目标图像对应的图像坐标系内的像素坐标；根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

第四方面，本发明实施例还提供了一种具有处理器可执行的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述方法。

本发明实施例提供的定位方法、装置、识别跟踪系统及计算机可读介质，通过在获取到图像采集装置采集的所述视觉交互装置的目标图像之后，确定目标图像内的多个目标特征点，获取每个目标特征点在目标图像对应的图像坐标系内的像素坐标，根据所有所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，由此，通过该位置及旋转信息就能够确定图像采集装置与视觉交互装置之间的位置关系，精确度更高。

本发明实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例而了解。本发明实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提供的识别跟踪系统的结构示意图；

图2示出了本发明实施例提供的特征点的示意图；

图3示出了本发明一实施例提供的定位方法的方法流程图；

图4示出了本发明一实施例提供的目标图像对应的相机坐标系的示意图；

图5示出了本发明实施例提供的二维物理坐标系的示意图；

图6示出了本发明另一实施例提供的定位方法的方法流程图；

图7示出了本发明另一实施例提供的目标图像的示意图；

图8示出了本发明一实施例提供的定位装置的模块框图；

图9示出了本发明另一实施例提供的定位装置的模块框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，示出了本发明实施例提供的识别跟踪系统。识别跟踪系统10包括头戴显示装置100和视觉交互装置。

该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。所述标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物，每个子标记物具有一个或多个特征点。其中，第一背景和第二背景有一定的区分度，例如，可以是第一背景为黑色，第二背景为白色。本实施方式中，每个标记物内的子标记物的分布规则不同，因此，每个标记物所对应的图像互不相同。

子标记物为具有一定形状的图案，且该子标记物的颜色与标记物内的第二背景有一定的区分度，例如，第二背景为白色，而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成，且特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。

作为一种实施方式，如图2所示，标记物210内包括多个子标记物220，而每个子标记物220由一个或多个特征点221构成，图2中的每个白色圆形图案为一个特征点221。标记物210的轮廓为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，图2中，矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。

作为另一种实施方式，如图3所示，标记物310内包括多个子标记物340，而每个子标记物340由一个或多个特征点341构成；其中，多个黑色圆点构成一个子标记物340。具体地，图3中，每个白色圆形图案和每个黑色圆点图案均为特征点341。

具体地，视觉交互装置包括平面标记物体和多面标记结构体。该平面标记物体包括第一标记板200和第二标记板500，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，当然还可以是其他面数的标记结构体，在此不一一列举。

第一标记板200上设置有多个标记物，多个标记物的内容互不相同，且第一标记板200上的多个标记物设置在同一个平面上，即第一标记板200设有一个标记面，且所有的标记物均设置在第一标记板200的标记面上，第一标记板200上的特征点均在标记面上；第二标记板500上设置有一个标记物，第二标记板500上的特征点也全部是在标记面上的，第二标记板500的数量可以是多个，且每个第二标记板500的标记物的内容互不相同，多个第二标记板500可以组合使用，如在该识别跟踪系统10对应的增强现实，或虚拟现实等应用领域组合使用。

多面标记结构体包括多个标记面，且其中至少两个不共面的标记面上设置有标记物，如图1中所示，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，其中，六面标记结构体400包括6个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。

而二十六面标记结构体300包括二十六个面，其中，包括17个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。当然，上述的多面标记结构体的总面数以及标记面的描述和标记物的设置，可以根据实际使用而设置，在此不做限定。

需要说明的是，视觉交互装置并不限定于上述平面标记物体和多面标记结构体，视觉交互装置可以是任何具有标记物的载体，载体可以根据实际场景设置，如玩具枪、游戏枪等模型枪，在模型枪等视觉交互装置上设置相应的标记物，通过识别追踪模型枪上的标记物，能够获取模型枪的位置和旋转信息，用户通过握持该模型枪在虚拟场景中进行游戏操作，实现增强现实的效果。

头戴显示装置100包括壳体(未标识)、图像采集装置110、处理器140、显示装置120、光学组件130和照明装置150。

其中，显示装置120和图像采集装置110均与处理器电连接；在一些实施方式中，照明装置150和图像采集装置110均通过滤光板(未标识)装设并覆盖在壳体内，该滤光板可过滤环境光等干扰光线，如照明装置150发射红外光，则该滤光板可为过滤除红外光线外的光线的元件。

图像采集装置110用于采集待拍摄物体的图像并发送至处理器。具体地，采集包含有上述标记板或多面标记结构体中至少一个的图像，并发送至处理器。作为一种实施方式，该图像采集装置110为单目的近红外成像相机。当前实施方式中，图像采集装置110为采用红外接收方式且为单目的相机，不仅成本低，无需双目相机之间的外参，而且功耗低，同等带宽下帧率更高。

处理器140用于根据图像输出对应的显示内容至显示装置120，还用于对视觉交互装置进行识别跟踪的运算。

处理器140可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器140可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器140还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，当处理器140应用于头戴显示装置时，处理器根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置并通过光学组件进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像，通过光学组件进行显示；还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容，发送至显示装置并通过光学组件进行显示。可以理解的是，处理器140并不限定于装设在头戴显示装置内。

在一些实施方式中，头戴显示装置100还包括设置在壳体上的视觉里程相机160，其中，视觉里程相机160与处理器电连接，该视觉里程相机160用于采集外界真实场景的场景图像，将场景图像发送至处理器。在用户穿戴头戴显示装置100时，处理器根据该视觉里程相机160采集的场景图像，根据视觉里程技术获取用户的头部与真实场景的位置及旋转关系，具体地，系统通过该相机获取的图像序列，经过特征提取、特征匹配与跟踪和运动估计的处理，得出具体的位置和方向的变化，完成导航定位，进而获得头戴显示装置与真实场景的相对位置及旋转关系；再根据视觉交互装置相对于头戴显示装置的位置及旋转信息，可以推算出视觉交互装置与真实场景之间的相对位置及旋转关系，从而可以实现更复杂的交互形式与体验。

显示装置120用于将显示内容显示。在一些实施例中，显示装置可以是智能终端的一部分，即智能终端的显示屏，例如手机和平板电脑的显示屏。在另一些实施例中，显示装置还可以是独立的显示器(例如，LED，OLED或LCD)等，则此时显示装置固定安装在壳体上。

需要说明的是，当显示装置120为智能终端的显示屏时，壳体上设置有用于安装该智能终端的安装结构。在使用时，将智能终端通过安装结构安装在壳体上。则处理器140可以是智能终端内的处理器，也可以是独立设置在壳体内的处理器，并与智能终端通过数据线或通信接口电连接。另外，当显示装置120为与智能终端等终端设备分离的显示装置时，固定安装在壳体上。

光学组件130用于将显示装置120的出光面发出的入射光射向预设位置处。其中，预设位置处为用户双眼的观察位置。

照明装置150用于为图像采集装置110采集待拍摄物体的图像时提供光线。具体地，照明装置150的照明角度以及照明装置150的数量，可以根据实际使用而设定，以使所发射的照明光线能够覆盖待拍摄物体。其中，照明装置150采用红外光照明装置，能够发出红外光线，此时图像采集装置为近红外相机，可以接收红外光线。通过主动照明的方式，提高图像采集装置110采集的目标图像的图像质量，具体地，照明装置150的数量不限，可以是一个，也可以是多个。在一些实施方式中，照明装置150设置在图像采集装置110的附近，其中，可以是多个照明装置150周向设置在图像采集装置110的摄像头的附近。

用户在佩戴头戴显示装置100，进入预设的虚拟场景时，当该视觉交互装置在图像采集装置110的视野范围内时，图像采集装置110采集到包含有该视觉交互装置的目标图像；处理器140获取到该目标图像及相关信息，运算识别出该视觉交互装置并获取到该目标图像内的标记物与图像采集装置之间的位置与旋转关系，进而得到视觉交互装置相对于头戴显示装置的位置及旋转关系，使得用户观看到的虚拟场景在相应的位置及旋转角度上；用户还可以通过多个视觉交互装置的结合以在虚拟场景内进一步产生的新的虚拟图像，给用户带来更好的体验效果；用户还可以通过视觉交互装置实现与虚拟场景的交互；此外，该识别追踪系统还可以通过视觉里程相机获取头戴显示装置与真实场景的位置与旋转关系，进而可以获取视觉交互装置与真实场景的位置和旋转关系，当虚拟场景和真实场景有一定的对应关系时，可以构建出一个与真实场景类似的虚拟场景，可以提高更真实的增强现实体验。

针对上述可应用于虚拟现实系统及识别跟踪系统中的识别跟踪系统，本发明实施例提供了一种当图像采集设备采集到视觉交互装置的特征点在多个平面的图像时，对视觉交互装置进行跟踪定位的定位方法，具体地，请参阅图4，示出了一种定位方法。该方法应用于图1所示的识别跟踪系统10，以处理器作为执行主体，该方法包括：S401至S404。

S401：获取所述图像采集装置采集的具有视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点。

其中，目标图像内的特征点分布在至少两个平面上，即所述图像采集装置采集的是标记物在至少两个平面上的视觉交互装置。具体地，目标图像可以是图像采集装置采集的包含有多面标记结构体的至少两个面的特征点的图像。

进一步地，可以从目标图像内的所有特征点中任意选取特定数量的特征点的图像作为目标特征点，用于确定图像采集装置(相当于头戴显示装置)与具有目标特征点的多面标记结构体，或图像采集装置(相当于头戴显示装置)与具有目标特征点的多面标记结构体之间的真实的位置及旋转信息。

S402：获取目标图像内的目标特征点在该目标图像对应的图像坐标系内的像素坐标。

其中，目标图像内的目标特征点的在目标图像的像素坐标是指该特征点在目标图像中的位置，每个目标特征点在目标图像中的像素坐标可以直接在图像采集设备对应拍摄的标记图片中获得。例如，如图5所示，I2为目标图像，图像坐标系为uov，其中，u的方向可以是目标图像中的像素矩阵的行方向，v的方向可以是目标图像中的像素矩阵的列方向，而图像坐标系中的原点o的位置可以选择目标图像的一个角点，例如，最左上角或最左下角的点，由此，每个特征点在图像坐标系内的像素坐标就能够确定。例如，图5中的特征点341a的像素坐标为(u_a，v_a)。

S403：根据所述目标图像内的目标特征点的像素坐标和预先获取的所述目标特征点对应的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息。

其中，所述物理坐标为预先获取的目标特征点在所述视觉交互装置对应的物理坐标系内的坐标，目标特征点的物理坐标即为特征点在对应视觉交互装置上的真实位置。各个特征点的物理坐标可以预先获取，具体地，多个特征点和多个标记物设置在视觉交互装置的不同的标记面上，选择其中一个标记面上的某一个点作为原点，建立物理坐标系。

作为一种实施方式，如图6所示，以二十六面标记结构体为例，以视觉交互装置的一个矩形子表面的一个角点作为原点O，建立物理坐标系XYZ，则每个特征点到X轴、Y轴和Z轴的距离都可以测得，由此，就能够确定每个特征点在XOY坐标系内的物理坐标，例如，图6中的特征点341a的物理坐标为(X_a，Y_a，Z_a)。其中，

在获取到目标图像中所有所述目标特征点的像素坐标和物理坐标之后，根据每个标记物内的所有所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与该视觉交互装置之间的位置及旋转信息，具体地，根据每个所述目标特征点的像素坐标、物理坐标和预先获取的所述图像采集装置的内参数，获取所述图像坐标系与所述物理坐标系之间的映射参数。

具体地，图像坐标系与物理坐标系之间的关系为：

其中，(u，v)为特征点在目标图像的图像坐标系中的像素坐标，(X,Y,Z)为特征点在物理坐标系的物理坐标。

是一个相机矩阵，或一个内在参数的矩阵，(cx，cy)为图像的中心点，(fx，fy)是以像素单位表示的焦距，该矩阵通过图像采集设备的标记操作能够获取，是一个已知量。

其中，为外部参数的矩阵，前三列为旋转参数，第四列为平移参数。定义为单应性矩阵H，则上式(1)变为：

因此，将所获取的多个目标特征点的像素坐标和物理坐标，以及图像采集装置的内参数，带入上式(2)，就能够获取H，即所述图像坐标系与所述物理坐标系之间的映射参数。

再根据所述映射参数获取所述图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数和平移参数，具体地，可以根据SVD算法：

将上述单应性矩阵H做奇异值分解，得到下式：

H＝UΛV^T (3)

则可以得到两个正交矩阵U和V，以及一个对角矩阵Λ。其中，对角矩阵Λ包含单应性矩阵H的奇异值。因此，也可以将这个对角矩阵当作单应性矩阵H，则可以将上式(3)写成：

当矩阵H被分解成对角矩阵时，就能够计算出旋转矩阵R和平移矩阵T。具体地，t_Λ可以在由上述公式(4)分离出来的三个向量方程中被消除，由于R_Λ是一个正交矩阵，则可以通过一个新的方程组线性求解法向量n内各参数，其中，该方程组将该法向量n内各参数与单应性矩阵H的奇异值相关联。

通过上述分解算法，可以得到上述三个未知量的8个不同的解式，其中，该三个未知量为：{R_Λ，t_Λ，n_Λ}。然后，假设矩阵Λ的分解完成，则为了获取最终的分解元素，我们只需要使用下面的表达式：

R＝UR_ΛV^T

t＝Ut_Λ (6)

n＝Vn_Λ

由此，就可以求解处R和T，其中，R为图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数，T为图像采集装置的相机坐标系与所述物理坐标系之间的平移参数。

然后，将旋转参数和平移参数作为图像采集装置与所述视觉交互装置之间的位置及旋转信息。其中，旋转参数表示相机坐标系与物理坐标系之间的旋转状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的转动自由度。其中，平移参数表示相机坐标系与物理坐标系之间的移动状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的移动自由度。则旋转参数和平移参数即为图像采集设备在物理坐标系内的六自由信息，能够表示图像采集设备在物理坐标系内的转动和移动状态，也即能够得到图像采集设备的视野与物理坐标系内的各坐标轴之间的角度和距离等。

请参阅图7，示出了一种定位方法。该方法应用于图1所示的识别跟踪系统10，以处理器作为执行主体，该方法包括：S701至S705。

S701：获取所述图像采集装置采集的具有所述视觉交互装置的目标图像。

S702：判断所述目标图像内是否存在包括有目标特征点的标记物。

由于每个特征点是分布在标记物内的，通过检测目标图像内是否存在标记物，从而能够判断所采集的目标图像内是否存在特征点。

判断目标图像内是否存在标记物的方式可以是，将目标图像内的标记物的图像与预先存储的视觉交互装置上的所有的标记物的图像匹配，如果能够匹配到相似或相同的标记物，则判定目标图像内存在标记物，则进入下一步流程。若不能够匹配到相似或相同的标记物，则判定目标图像内不存在标记物，则返回继续执行S701，即重新采集目标图像，直至判定目标图像存在标记物。

其中，目标图像内的标记物的确定，可以通过查找目标图像内轮廓与标记物的轮廓一致的区域，以标记物为矩形为例，查找目标图像内所有轮廓为矩形的区域，作为待确认标记物，再将每个待确认标记物与预先存储的视觉交互装置上的所有的标记物的图像匹配，如果能够匹配到相似或相同的标记物，则判定目标图像内存在标记物，否则，判定目标图像内不存在标记物。

S703：判断所述目标特征点的数量是否大于或等于预设值。

所述目标特征点可以是目标图像内的任意的特征点，由于，后续步骤中要根据目标特征点的像素坐标和物理坐标获取图像采集设备在物理坐标系内的六自由度信息，而在求解的过程中，需要一定数量的目标特征点来组建多个方程组，因此，需要目标图像内的目标特征点的数量大于或等于预设值，其中，预设值为用户设定的数值，于本发明实施例中，该预设值为6。其中，大于或等于预设值的目标特征点可以是分布在一个标记物内(例如，一个标记物位于多面体的两个不同的面上)，也可以分布在多个标记物内(多个标记物分布在多面体的不同面上)，只要目标图像内的特征点的数量大于或等于预设值即可。

S704：获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标。

具体的实施方式可参考前述实施例，在此不再赘述。另外，如果图像采集装置不能够满足使用标准，即所拍摄的图像存在畸变，则需要对该目标图像做去畸变处理。

具体地，对所述目标图像做去畸变处理，以去除所述目标图像中的畸变点；将经畸变处理之后的目标图像作为本次获取的目标图像，获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标。

图像畸变是指成像过程中所产生的图像像元的几何位置相对于参照系统(地面实际位置或地形图)发生的挤压、伸展、偏移和扭曲等变形，使图像的几何位置、尺寸、形状、方位等发生改变。常见的畸变包括径向畸变、偏心畸变和薄棱镜畸变。根据图像采集装置的畸变参数和畸变模型对目标图像去畸变处理。

S705：获取每个所述目标特征点在视觉交互装置对应的物理坐标系内的物理坐标。

在本发明实施例中，为了将目标图像内的目标特征点与物理坐标系内的特征点相对应，需要借助预设标记物模型，具体地，根据所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息之前，该方法还包括：确定每个所述目标特征点在预设标记物模型中所对应的模型特征点；查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；将每个所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。

预设标记物模型可以是根据视觉交互装置上的各个特征点的分布而建立的虚拟的视觉交互装置，在该预设标记物模型中包括多个模型特征点，且每个模型特征点都对应一个在所述视觉交互装置对应的物理坐标系内的物理坐标，例如，可以是具有至少两个面的立体结构，且模型特征点分布在至少两个不同的面上。另外，每个模型特征点的位置都对应视觉交互装置上的一个特征点的位置。

在获取预设标记物模型之后，确定每个所述目标特征点在预设标记物模型中所对应的模型特征点。具体地，将每个所述目标特征点映射到所述预设标记物模型对应的坐标系内，以获取每个所述目标特征点在所述预设标记物模型对应的坐标系内的坐标。

目标特征点在目标图像内的像素坐标与预设标记物模型对应的坐标系的坐标存在映射关系，根据该映射关系，能够获取该目标特征点在预设标记物模型对应的坐标系内的坐标值。

S706：根据所有所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息。

需要说明的是，上述步骤中为详细描述的部分，可参考前述实施例，在此不再赘述。

请参阅图8，示出了本发明实施例提供的一种定位装置800，该装置应用于图1所示的识别跟踪系统10的处理器，具体地，定位装置800包括：第一获取单元801、第二获取单元802和处理单元803。

第一获取单元801，用于获取所述图像采集装置采集的所述视觉交互装置的目标图像，所述目标图像内包括多个不共面的目标特征点。

第二获取单元802，用于获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标。

处理单元803，用于根据所有所述目标特征点的像素坐标和预先获取的所有所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

请参阅图9，示出了本发明实施例提供的一种定位装置900，该装置应用于图1所示的识别跟踪系统10的处理器，具体地，定位装置900包括：第一获取单元901、判断单元902、第二获取单元903、物理坐标获取单元904、处理单元905。

第一获取单元901，用于获取所述图像采集装置采集的所述视觉交互装置的目标图像，所述目标图像内包括多个不共面的目标特征点。

判断单元902，用于判断所述目标图像内是否存在标记物。

第二获取单元903，用于获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标。

第二获取单元903还用于判断多个所述目标特征点的数量是否大于预设值；若大于，获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标。

物理坐标获取单元904，用于确定每个所述目标特征点在预设模型标记物中所对应的模型特征点；查找所述预设模型标记物中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；将每个所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。

处理单元905，用于根据所有所述目标特征点的像素坐标和预先获取的所有所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本发明实施例提供的定位方法、装置、识别跟踪系统及计算机可读介质，通过在获取到图像采集装置采集的所述视觉交互装置的目标图像之后，确定目标图像内的多个目标特征点，获取每个目标特征点在目标图像对应的图像坐标系内的像素坐标，根据所有所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，由此，通过该位置及旋转信息就能够确定图像采集装置与视觉交互装置之间的位置关系，精确度更高。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(移动终端)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

Claims (10)

1.一种定位方法，应用于一识别跟踪系统，所述系统包括图像采集装置和具有至少分布在两个面上的多个特征点的视觉交互装置；其特征在于，所述方法包括：

获取所述图像采集装置采集的所述视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点；

获取目标图像内的目标特征点在该目标图像对应的图像坐标系内的像素坐标；

根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息之前，所述方法还包括：

确定所述目标特征点在预设模型标记物中所对应的模型特征点；

查找所述预设模型标记物中的模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；

将所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。

3.根据权利要求2所述的方法，其特征在于，所述确定每个所述目标特征点在预先获取的预设模型标记物中所对应的模型特征点，包括：

将所述目标特征点映射到所述预设模型标记物对应的坐标系内，以获取所述目标特征点在所述预设模型标记物对应的坐标系内的坐标；

将在所述预设模型标记物对应的坐标系中，与所述目标特征点的坐标距离最近的模型特征点作为该目标特征点对应的模型特征点。

4.根据权利要求1-3任一所述的方法，其特征在于，根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，包括：

根据所述目标特征点的像素坐标、物理坐标和预先获取的所述图像采集装置的内参数，获取所述图像坐标系与所述物理坐标系之间的映射参数；

根据所述映射参数获取所述图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数和平移参数；

根据所述旋转参数和平移参数获取所述视觉交互装置与所述图像采集装置之间的位置及旋转信息。

5.根据权利要求1-3任一所述的方法，其特征在于，所述获取所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标，包括：

判断多个所述目标特征点的数量是否大于预设值；

若大于，获取所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标。

6.根据权利要求1-3任一所述的方法，其特征在于，所述获取所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标之前，所述方法还包括：

对所述目标图像做去畸变处理，以去除所述目标图像中的畸变点；

将经畸变处理之后的目标图像作为获取的目标图像。

7.一种定位装置，应用于一识别跟踪系统的处理器，所述系统包括图像采集装置和具有至少分布在两个面上的多个特征点的视觉交互装置；其特征在于，所述装置包括：

第一获取单元，用于获取所述图像采集装置采集的所述视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的目标特征点；

第二获取单元，用于获取每个所述目标特征点在所述目标图像对应的图像坐标系内的像素坐标；

处理单元，用于根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

8.根据权利要求7所述的装置，其特征在于，还包括物理坐标获取单元，用于：

确定所述目标特征点在预设模型标记物中所对应的模型特征点；

查找所述预设模型标记物中的模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；

将所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。

9.一种识别跟踪系统，其特征在于，包括：图像采集装置和具有至少分布在两个面上的多个特征点的视觉交互装置，所述图像采集装置与一处理器连接；

所述图像采集装置用于采集所述视觉交互装置的目标图像，所述目标图像内包括对应视觉交互装置内至少分布在两个面上的多个不共面的目标特征点；

所述处理器用于：

获取所述图像采集装置采集的所述视觉交互装置的目标图像；

获取目标图像内的目标特征点在该目标图像对应的图像坐标系内的像素坐标；

根据所述目标特征点的像素坐标和预先获取的所述目标特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的位置及旋转信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

10.一种具有处理器可执行的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-6任一项所述方法。