CN110120100B - 图像处理方法、装置及识别跟踪系统 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置及识别跟踪系统，所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上。所述方法包括：获取具有标记物的目标图像；确认所述目标图像中标记物的身份信息；根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息。

Description

图像处理方法、装置及识别跟踪系统

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及识别跟踪系统。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)和虚拟现实(VR，Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。

在虚拟现实系统及增强现实系统等交互系统中，需要对视觉交互装置进行识别跟踪。现有的识别跟踪方法，通常是采用磁传感器、光传感器、超声波、惯性传感器、视觉交互装置图像处理等方式实现，但是这些识别跟踪的方法，通常，识别跟踪效果并不理想，如磁传感器、光传感器、超声波等通常受到环境较大的影响，惯性传感器对精度要求极高，市场上急需一种全新的识别方法，以实现低成本、高精度的交互，而对视觉交互装置的图像的处理作为识别跟踪的重要技术也需要一套完美有效的解决方法。

发明内容

有鉴于此，本申请实施例提供了一种图像处理方法及装置，在目标物跟踪识别过程中，进行特征点的匹配。

为了实现上述目的，本申请采用的技术方案如下：

一种图像处理方法，应用于一识别跟踪系统，所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上。所述方法包括：获取具有标记物的目标图像；确认所述目标图像中标记物的身份信息；根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息。

一种图像处理装置，应用于一识别跟踪系统，所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上；所述装置包括：图像获取模块，用于获取具有标记物的目标图像；身份确定模块，用于确认所述目标图像中标记物的身份信息；跟踪方法确定模块，用于根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；姿态信息获取模块，用于根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息。

一种识别跟踪系统，包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上；所述图像采集装置连接一处理器，其中，所述图像采集装置用于采集具有标记物的目标图像；所述处理器用于：获取所述图像采集装置采集的目标图像；确认所述目标图像中标记物的身份信息；根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息。

本发明实施例提供的图像处理方法、装置及识别跟踪系统，通过在获取到目标图像之后，识别出目标图像中标记物以获取标记物的身份信息，根据标记物的身份信息确定采用平面定位跟踪方法还是立体定位跟踪方法获取视觉交互装置与图像采集装置之间的姿态信息。由此，通过该姿态信息就能够确定图像采集装置与视觉交互装置之间的姿态关系，精确度更高。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了本申请实施例提供的识别跟踪系统的结构示意图；

图2示出了本申请实施例提供的标记物的一种示意图；

图3示出了本申请实施例提供的标记物的另一种示意图；

图4示出了本申请实施例提供的图像处理方法流程图；

图5示出了本申请实施例提供的标记物的又一种示意图；

图6示出了本发明实施例提供的物理坐标系的一种示意图；

图7示出了本发明实施例提供的物理坐标系的另一种示意图；

图8示出了本申请实施例提供的图像处理装置的功能模块图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，示出了本发明实施例提供的识别跟踪系统。识别跟踪系统包括头戴显示装置100和视觉交互装置。

该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。所述标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物，每个子标记物具有一个或多个特征点。其中，第一背景和第二背景有一定的区分度，例如，可以是第一背景为黑色，第二背景为白色。本实施方式中，每个标记物内的子标记物的分布规则不同，因此，每个标记物所对应的图像互不相同。

子标记物为具有一定形状的图案，且该子标记物的颜色与标记物内的第二背景有一定的区分度，例如，第二背景为白色，而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成，且特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。

作为一种实施方式，如图2所示，标记物210内包括多个子标记物220，而每个子标记物220由一个或多个特征点221构成，图2中的每个白色圆形图案为一个特征点221。标记物210的轮廓为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，图2中，矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。

作为另一种实施方式，如图3所示，标记物310内包括多个子标记物340，而每个子标记物340由一个或多个特征点341构成；其中，多个黑色圆点341构成一个子标记物340。具体地，图3中，每个白色圆形图案和每个黑色圆点图案均为特征点341。

具体地，视觉交互装置包括平面标记物体和多面标记结构体。该平面标记物体包括第一标记板200和第二标记板500，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，当然还可以是其他面数的标记结构体，在此不一一列举。

第一标记板200上设置有多个标记物，多个标记物的内容互不相同，且第一标记板200上的多个标记物设置在同一个平面上，即第一标记板200设有一个标记面，且所有的标记物均设置在第一标记板200的标记面上，第一标记板200上的特征点均在标记面上；第二标记板500上设置有一个标记物，第二标记板500上的特征点也全部是在标记面上的，第二标记板500的数量可以是多个，且每个第二标记板500的标记物的内容互不相同，多个第二标记板500可以组合使用，如在该识别跟踪系统对应的增强现实，或虚拟现实等应用领域组合使用。

多面标记结构体包括多个标记面，且其中至少两个不共面的标记面上设置有标记物，如图1中所示，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，其中，六面标记结构体400包括6个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。

而二十六面标记结构体300包括二十六个面，其中，包括17个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。当然，上述的多面标记结构体的总面数以及标记面的描述和标记物的设置，可以根据实际使用而设置，在此不做限定。

需要说明的是，视觉交互装置并不限定于上述平面标记物体和多面标记结构体，视觉交互装置可以是任何具有标记物的载体，载体可以根据实际场景设置，如玩具枪、游戏枪等模型枪，在模型枪等视觉交互装置上设置相应的标记物，通过识别追踪模型枪上的标记物，能够获取模型枪的位置和旋转信息，用户通过握持该模型枪在虚拟场景中进行游戏操作，实现增强现实的效果。

头戴显示装置100包括壳体(未标识)、图像采集装置110、处理器140、显示装置120、光学组件130和照明装置150。

其中，视觉里程相机160、显示装置120和图像采集装置110均与处理器电连接；在一些实施方式中，照明装置150和图像采集装置110均通过滤光板(未标识)装设并覆盖在壳体内，该滤光板可过滤环境光等干扰光线，如照明装置150发射红外光，则该滤光板可为过滤除红外光线外的光线的元件。

图像采集装置110用于采集待拍摄物体的图像并发送至处理器。具体地，采集包含有上述标记板或多面标记结构体中至少一个的图像，并发送至处理器。作为一种实施方式，该图像采集装置110为单目的近红外成像相机。当前实施方式中，图像采集装置110为采用红外接收方式且为单目的相机，不仅成本低，无需双目相机之间的外参，而且功耗低，同等带宽下帧率更高。

处理器140用于根据图像输出对应的显示内容至显示装置120，还用于对视觉交互装置进行识别跟踪的运算。

处理器140可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器140可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器140还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，当处理器140应用于头戴显示装置时，处理器根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置并通过光学组件进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像，通过光学组件进行显示；还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容，发送至显示装置并通过光学组件进行显示。可以理解的是，处理器140并不限定于装设在头戴显示装置内。

在一些实施方式中，头戴显示装置100还包括设置在壳体上的视觉里程相机160，其中，视觉里程相机160与处理器电连接，该视觉里程相机160用于采集外界真实场景的场景图像，将场景图像发送至处理器。在用户穿戴头戴显示装置100时，处理器根据该视觉里程相机160采集的场景图像，根据视觉里程技术获取用户的头部与真实场景的位置及旋转关系，具体地，系统通过该相机获取的图像序列，经过特征提取、特征匹配与跟踪和运动估计的处理，得出具体的位置和方向的变化，完成导航定位，进而获得头戴显示装置与真实场景的相对位置及旋转关系；再根据视觉交互装置相对于头戴显示装置的姿态信息，可以推算出视觉交互装置与真实场景之间的相对位置及旋转关系，从而可以实现更复杂的交互形式与体验。

显示装置120用于将显示内容显示。在一些实施例中，显示装置可以是智能终端的一部分，即智能终端的显示屏，例如手机和平板电脑的显示屏。在另一些实施例中，显示装置还可以是独立的显示器(例如，LED，OLED或LCD)等，则此时显示装置固定安装在壳体上。

需要说明的是，当显示装置120为智能终端的显示屏时，壳体上设置有用于安装该智能终端的安装结构。在使用时，将智能终端通过安装结构安装在壳体上。则处理器140可以是智能终端内的处理器，也可以是独立设置在壳体内的处理器，并与智能终端通过数据线或通信接口电连接。另外，当显示装置120为与智能终端等终端设备分离的显示装置时，固定安装在壳体上。

光学组件130用于将显示装置120的出光面发出的入射光射向预设位置处。其中，预设位置处为用户双眼的观察位置。

照明装置150用于为图像采集装置110采集待拍摄物体的图像时提供光线。具体地，照明装置150的照明角度以及照明装置150的数量，可以根据实际使用而设定，以使所发射的照明光线能够覆盖待拍摄物体。其中，照明装置150采用红外光照明装置，能够发出红外光线，此时图像采集装置为近红外相机，可以接收红外光线。通过主动照明的方式，提高图像采集装置110采集的目标图像的图像质量，具体地，照明装置150的数量不限，可以是一个，也可以是多个。在一些实施方式中，照明装置150设置在图像采集装置110的附近，其中，可以是多个照明装置150周向设置在图像采集装置110的摄像头的附近。

用户在佩戴头戴显示装置100，进入预设的虚拟场景时，当该视觉交互装置在图像采集装置110的视野范围内时，图像采集装置110采集到包含有该视觉交互装置的目标图像；处理器140获取到该目标图像及相关信息，运算识别出该视觉交互装置并获取到该目标图像内的标记物与图像采集装置之间的位置与旋转关系，进而得到视觉交互装置相对于头戴显示装置的位置及旋转关系，使得用户观看到的虚拟场景在相应的位置及旋转角度上；用户还可以通过多个视觉交互装置的结合以在虚拟场景内进一步产生的新的虚拟图像，给用户带来更好的体验效果；用户还可以通过视觉交互装置实现与虚拟场景的交互；此外，该识别追踪系统还可以通过视觉里程相机获取头戴显示装置与真实场景的位置与旋转关系，进而可以获取视觉交互装置与真实场景的位置和旋转关系，当视觉交互装置对应的虚拟场景和真实场景有一定的对应关系时，可以构建出一个与真实场景类似的虚拟场景，可以提高更真实的增强现实体验。

针对上述可应用于虚拟现实系统及增强现实系统中的识别跟踪系统，本发明实施例提供了一种当图像采集设备采集到视觉交互装置的特征点时，对视觉交互装置进行跟踪定位的图像处理方法，具体地，请参阅图4，示出了一种图像处理方法。该方法应用于图1所示的识别跟踪系统，以处理器作为执行主体。所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上，该面可以是水平的面、曲面、凹凸不平的面。如图4所示，该方法包括：

步骤S110：获取具有标记物的目标图像。

具体地，当视觉交互装置的部分或整体在图像采集装置的视野范围内时，图像采集装置会采集到包含该视觉交互装置上的标记物信息的图像，该图像即为目标图像；处理器从图像采集装置获取该目标图像。在一些实施方式中，所述目标图像中应至少包括一具有多个子标记物的标记物。进一步的，目标图像中包括的子标记物的数量可以大于等于4。通常的，该目标图像中，还包括标记物之间的部分，即部分第一背景。

步骤S120：确认所述目标图像中标记物的身份信息。

根据目标图像中标记物的特征获取标记物的身份信息。具体的，可以先对目标图像进行预处理，以获得能体现目标图像中各种特征信息的处理后的目标图像。

对目标图像进行处理，以能够从目标图像中分辨出第一背景、第二背景以及子标记物、特征点各自对应的连通域。作为一种具体的实施方式，可以是将所述目标图像处理为二值化图像，其中，二值化阈值可以根据标记物的明暗特性灵活设置,或者采用自适应的阈值二值化方法。

作为一种实施方式，二值化过程可以是，获取连续多帧目标图像中除首帧目标图像外的当前帧目标图像对应的第一阈值图像，所述第一阈值图像为对历史帧目标图像进行处理后得到且与当前帧目标图像分辨率相同的灰度图像；对当前帧目标图像的每一个像素点，以所述第一阈值图像中对应位置的像素点作为二值化阈值，将当前帧图像二值化。

其中，获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像，可以是：获取对历史帧图像进行处理后的具有第一预设分辨率的第二阈值图像，所述第一预设分辨率低于当前帧图像的分辨率；对所述第二阈值图像进行升采样，获得与当前帧图像分辨率相同的第一阈值图像。，该第二阈值图像的第一预设分辨率，可以是硬件等其他外在的要求范围内的分辨率，可由最终硬件端存储器支持的存储第二阈值图像的内存空间而定，一般来说，内存空间越小，第一分辨率越小。

进一步的，获取对历史帧图像进行处理后的具有第一预设分辨率的第二阈值图像可以包括：对所述历史帧图像进行降采样，获得具有第二预设分辨率的降采样图像；根据所述降采样图像计算获取具有第二预设分辨率的第三阈值图像，若所述第二预设分辨率小于或等于所述第一预设分辨率，获得所述第二阈值图像，其中，根据所述降采样图像中每个像素点在预设窗口范围内的各个像素点的像素值，确定所述第三阈值图像中每个像素点的像素值。

或者是，获取对历史帧图像进行处理后的具有第一预设分辨率的第二阈值图像包括：对所述历史帧图像进行降采样，获得具有第二预设分辨率的降采样图像；获取所述降采样图像的积分图。根据所述积分图计算获取具有第二预设分辨率的第三阈值图像，若所述第二预设分辨率小于等于所述第一预设分辨率，获得所述第二阈值图像。其中，根据所述积分图中每个像素点在预设窗口范围内的各个像素点的像素值，确定所述第三阈值图像中每个像素点的像素值。

其中，若所述第二预设分辨率大于所述第一预设分辨率，所述根据所述降采样图像计算获得具有第二预设分辨率的第三阈值图像之后，还可以对所述第三阈值图像继续进行降采样，直到获得分辨率小于或等于所述第一预设分辨率的所述第二阈值图像。

作为一种具体的实施方式，目标图像进行二值化后，将目标图像中标记物之间的部分以及子标记物处理为第一颜色，所述标记物中除子标记物以外的部分为第二颜色。

也就是说，将标记物中依次呈包围关系的各个部分，处理成具有颜色层次，使各部分之间形成依次包围的连通域。以图5所示为例，将目标图像中第一背景对应的部分处理为第一颜色，将标记物602中的第二背景604处理为第二颜色，将子标记物603处理为第一颜色，将子标记物围成的空心部分604(该空心部分作为特征点)处理为第二颜色。若子标记物的空心部分中还包括实心图形，将该实心图形处理为第二颜色。其中，第一颜色与第二颜色可以是像素值差别较大的颜色，如第一颜色为黑色，第二颜色为白色。当然，二值化后的图像，第一背景、第二背景以及子标记物、特征点之间的区分也可以通过对比度等其他方式，本发明实施例主要以颜色层次为例进行说明。

具体的，确认所述目标图像中标记物的身份信息包括：获取所述目标图像中多个连通域之间的包围关系；根据所述目标图像中多个连通域之间的包围关系，以及预先存储的标记物的特征，确定所述目标图像中标记物的身份信息为对应的预存储标记物的身份信息。

具体的，获取连通域信息，基于该连通域信息获取所有连通域的包围关系。其中，如图2所示的目标图像中，第一背景为一个连通域，标记物中第二背景为一个连通域，每一不包含黑点的子标记物是一个连通域信息，子标记物中的白点是一个连通域信息，包括黑点的子标记物中，每一个黑点是一个连通域信息。其中，不包含黑点的子标记物为空心图形的子标记物，其中的白点为特征点，包括黑点的子标记物，黑点为特征点。再基于目标图像中的连通域获取各个连通域之间的包围关系。

具体的，如图2所示，在目标图像中，第一背景、第二背景以及子标记物之间形成了包围关系，若子标记物为空心图形，子标记物与空心部分对应还具有包围关系，如图2中包括白点的子标记物，与白点之间形成包围关系。

其中，第一背景包围第二背景，第二背景包围子标记物，子标记物还包围其中的白点，即空心部分。也就是说，第一背景、第二背景以及子标记物分别对应的连通域具有包围关系，子标记物对应的连通域与其空心部分对应的连通域之间也有包围关系。其中，连通域是指图像中具有相同像素值且位置相邻的像素点组成的图像区域。

具体的，可以将第一背景定义为第四连通域，也就是说，确定第四连通域，在目标图像中，第一背景包围了所有标记物，因此，可以将目标图像中包围其他所有连通域的连通域作为第四连通域。若以二值化后的目标图像包括第一颜色和第二颜色为例，其中确定的第四连通域满足如下条件：颜色为第一颜色、包围有第二颜色的连通域并且，未被第二颜色的连通域包围。

另外，第一背景包围标记物，则第四连通域包围标记物中第二背景对应的连通域，定义该第二背景对应的连通域为第一连通域。也就是说，可以将第四连通域包围、且与第四连通域相邻的连通域作为第一连通域，第四连通域包围的每个第一连通域对应一个标记物，标记物中包围其他连通域的连通域为第一连通域。

若以二值化后的目标图像包括第一颜色和第二颜色为例，确定被第四连通域包围且颜色为第二颜色的连通域为第一连通域。

另外，由于标记物中包括各个子标记物，每个子标记物具有特征点，则可以确定第一连通域包围的连通域为第二连通域，即定义子标记物对应的连通域为第二连通域。确定第二连通域包围的连通域为第三连通域，即若子标记物为如图5中所示的包围白点的空心图形，空心部分(即包围的白色部分，也就是白色特征点)对应的连通域定义为第三连通域，每个第三连通域是一个特征点。若第二连通域不包围第三连通域，则确定每个不包围第三连通域的第二连通域为一个特征点。

根据目标图像中连通域的包围关系可以区分出各个标记物，其中，每个第一连通域对应一个标记物，或者说，每个第一连通域及其包围的第二连通域、第三连通域构成目标图像中的一个标记物。

系统中预先存储有标记物的特征和身份信息，再根据预存储的标记物的特征，可以确定所述目标图像中标记物的身份信息为对应的预存储标记物的身份信息。其中，预存储标记物的身份信息与标记物的特征可以对应存储。

其中，预存储的标记物的特征包括标记物中对应的连通域，该连通域分别包括第一连通域、第二连通域以及第三连通域，其中，预存储特征信息还包括连通域之间的包围关系：第一连通域包围的第二连通域以及包围的各第二连通域的数量，每个第二连通域包围的第三连通域以及包围的第三连通域的数量。

在第一种具体的实施方式中，若多个预存储标记物对应的各个子标记物中特征点形成的数量组合不同，则在目标图像中的标记物，与数理组合相同的预存储标记物对应。具体的，在对标记物进行身份识别可以是：对于目标图像中每个第一连通域，在预先存储标记物的特征信息中确定对应的第一连通域，其中，相互对应的第一连通域包围有相同数量的第二连通域、且包围的各个第二连通域所包围的第三连通域的数量一一对应。例如，以图5中标记物为例，在目标图像中的该标记物的第二背景对应的第一连通域，包括8个第二连通域，其中5个第二连通域不包括有第三连通域，该5个第二连通域对应5个特征点，构成一个子标记物；其中3个第二连通域包括有第三连通域，该3个第二连通域各对应一个子标记物，分别包围1个第三连通域、3个第三连通域、两个第三连通域，即是分别具有1个特征点，3个特征点，2个特征点，且各个特征点为白点。则在预存储的预存储标记物的包围关系中，查找标记物，其包括4个子标记物，该4个子标记物的特征点分别为1个白点、3个白点、2个白点、5个黑点。

在本发明实施例中，标记物之间的不同，也可以是该多个标记物包括的子标记物的数量不同，例如，多个预设预存储标记物中，只有一个预存储标记物对应有第二数量的子标记物。则本发明实施例提供了第三种实施方式，在目标图像中，若某个标记物中包括第二数量的子标记物，该标记物与有第二数量的子标记物的预存储标记物对应。在识别过程中，若预存储标记物中，只有一个第一连通域包围有第二数量的第二连通域，且在目标图像中，若某个第一连通域包围第二数量的第二连通域，则该第一连通域对应的标记物与预存储标记物中包围有第二数量的第二连通域的标记物对应。

作为一种具体的实施方式，由于如图5所示，可以将每个不包括白色特征点的黑色点作为一个特征点，所有不包括白色特征点的黑色点作为一个子标记物。也就是说，每个不包围第三连通域的第二连通域作为一个特征点，所有不包围第三连通域的第二连通域作为一个子标记物，则在该识别过程中，将包围有第三连通域的每个第二连通域统计数量为1，不包围第三连通域的所有第二连通域统计数量为1。

进一步的，在本发明实施例中，目标图像中的标记物并不一定为完整的标记物，若只获取到标记物的一部分，且该标记物与其他标记物差异化较大，具有其他标记物所没有的特征，可以根据该标记物中的特征判定该标记物的身份。

具体的，在本发明实施例提供的第四种具体的实施方式中，若多个预存储标记物中，某预存储标记物的至少一个子标记物的特征点的数量与其他标记物中子标记物的特征点数量不同，也就是说，所述多个预存储标记物中只有一个第一连通域包围有一个特定的第二连通域，该特定的第二连通域包围有第一数量的第三连通域。则所述目标图像中，若存在某个第一连通域包围的第二连通域包围有第一数量的第三连通域，该第一连通域对应的标记物与该特定的第二连通域所对应的预存储标记物对应。

或者是，多个预存储标记物中只有一个第一连通域包围有预设数量个不包围第三连通域的第二连通域。则所述目标图像中，若存在某个第一连通域，包围有预设数量个不包围第三连通域的第二连通域，该第一连通域对应的标记物与该预设数量的第二连通域所对应的预存储标记物对应。

另外，本发明实施例还提供了第五种实施方式，若多个预存储标记物的特征中，某个预存储标记物的至少一个子标记物中空心图形的嵌套层数与其他子标记物的嵌套层数不同，则在目标图像中，若某个子标记物的图形嵌套层数与该预存储标记物中该子标记物的嵌套层数相同，该子标记物对应的标记物与该预存储标记物对应。也就是说，预存储的多个预存储标记物中，若只有一个预存储标记物包括依次包围的第三数量的连通域，则若所述目标图像中包括依次包围的第三数量的连通域，确定该第三数量的连通域对应的标记物与该预存储标记物对应。

预存储标记物为预存储有身份信息的标记物，其身份信息对应预存储标记物的各种信息，如预存储标记物中各个特征点的物理坐标、预存储标记物所设置的目标物本体等。对于目标图像中的第一连通域，以预存储标记物的包围关系中对应的第一连通域的身份信息作为其身份信息，获得该第一连通域对应的标记物的身份信息，从而可以获得目标图像中各个标记物中特征点的物理坐标、对应的视觉交互装置等所需要的信息。

步骤S130：根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法。

其中，根据所述标记物的身份信息，判断所述目标图像中的标记物是共面还是不共面；若所述标记物共面，采用相应的平面定位跟踪方法；若所述标记物不共面，采用相应的立体定位跟踪方法。

在标记物的身份信息中，包括各种对视觉交互装置进行识别跟踪的需要信息。如标记物的物理坐标；设置标记物的视觉交互装置为哪一个视觉交互装置，标记物之间是否共面，同一个标记物的各个特征点之间是否共面等。另外标记物是否共面，可以是基于同一个视觉交互装置进行判断。若目标图像中的标记物共面，则可以采用平面定位跟踪方法，若目标图像中的标记物不共面，则可以采用立体跟踪方法。其中，各个标记物之间是否共面可以通过其物理坐标进行计算，或者根据预存储的标记物之间的共面信息判断。

步骤S140：根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息。

具体的，通过平面定位跟踪方法获取视觉交互装置与所述图像采集装置之间的姿态信息，可以包括：

步骤S141：获取每个所述特征点在所述目标图像对应的图像坐标系内的像素坐标。

其中，在目标图像中，对于用于通过平面定位跟踪法进行计算的标记物，可以从图像中任意选取特定数量的特征点作为目标特征点，用于确定图像采集装置(相当于头戴显示装置)与具有目标特征点的平面标记物体，或图像采集装置(相当于头戴显示装置)与具有目标特征点的多面标记结构体之间的真实的姿态信息。其中，处理器可以获取所有目标特征点的像素坐标。

步骤S142：根据所有所述特征点的像素坐标和预先获取的所有所述特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的姿态信息，其中，所述物理坐标为预先获取的所述特征点在所述视觉交互装置对应的物理坐标系内的坐标，所有所述特征点的物理坐标在预设坐标轴对应的坐标值均为预设值。

其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标，目标特征点的物理坐标为该目标特征点在视觉交互装置上的真实位置。各个特征点的物理坐标可以预先获取，具体地，多个特征点和多个标记物设置在视觉交互装置的标记面上，选择标记面上的某一个点作为原点，建立物理坐标系。其中，特征点的物理坐标在预设坐标轴对应的坐标值均为预设值。例如，物理坐标系的Z轴为零，即将标记面作为物理坐标系的XOY平面，XOY坐标系的原点位于标记面内。

作为一种实施方式，如图6所示，以标记板为矩形板为例，以标记板的标记面的一个角点作为原点O，以标记面的长度方向为X轴，以标记面的宽度方向为Y轴，建立物理坐标系XOY，则每个特征点到X轴和Y轴的距离都可以测得，由此，就能够确定每个特征点在XOY坐标系内的物理坐标，例如，图6中的特征点221a的物理坐标为(X_a，Y_a，Z_a)。其中，Z_a等于0。

在获取到目标图像中所有目标特征点的像素坐标和物理坐标之后，根据每个标记物内的所有目标特征点的像素坐标和物理坐标，获取所述图像采集装置与该标记物之间的位置信息，具体地，根据每个目标特征点的像素坐标、物理坐标和预先获取的所述图像采集装置的内参数，获取所述图像坐标系与所述物理坐标系之间的映射参数。

具体地，图像坐标系与物理坐标系之间的关系为：

其中，(u，v)为特征点在目标图像的图像坐标系中的像素坐标，(X,Y,Z)为特征点在物理坐标系的物理坐标，则将Z设为0，物理坐标系下的物理坐标为(X,Y,0)。

是一个相机矩阵，或一个内在参数的矩阵，(cx，cy)为图像的中心点，(fx，fy)是以像素单位表示的焦距，该矩阵通过图像采集设备的标定操作能够获取，是一个已知量。

其中，

为外部参数的矩阵，前三列为旋转参数，第四列为平移参数。定义/>

为单应性矩阵H，则上式(1)变为：

因此，将所获取的多个目标特征点的像素坐标和物理坐标，以及图像采集装置的内参数，带入上式(2)，就能够获取H，即所述图像坐标系与所述物理坐标系之间的映射参数。

再根据所述映射参数获取所述图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数和平移参数，具体地，可以根据SVD算法：

将上述单应性矩阵H做奇异值分解，得到下式：

H＝UΛV^T (3)

则可以得到两个正交矩阵U和V，以及一个对角矩阵Λ。其中，对角矩阵Λ包含单应性矩阵H的奇异值。因此，也可以将这个对角矩阵当作单应性矩阵H，则可以将上式(3)写成：

当矩阵H被分解成对角矩阵时，就能够计算出旋转矩阵R和平移矩阵T。具体地，t_Λ可以在由上述公式(4)分离出来的三个向量方程中被消除，由于R_Λ是一个正交矩阵，则可以通过一个新的方程组线性求解法向量n内各参数，其中，该方程组将该法向量n内各参数与单应性矩阵H的奇异值相关联。

通过上述分解算法，可以得到上述三个未知量的8个不同的解式，其中，该三个未知量为：{R_Λ，t_Λ，n_Λ}。然后，假设矩阵Λ的分解完成，则为了获取最终的分解元素，我们只需要使用下面的表达式：

R＝UR_ΛV^T

t＝Ut_Λ (6)

n＝Vn_Λ

由此，就可以求解处R和T，其中，R为图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数，T为图像采集装置的相机坐标系与所述物理坐标系之间的平移参数。

然后，将旋转参数和平移参数作为图像采集装置与所述标记板之间的位置信息。其中，旋转参数表示相机坐标系与物理坐标系之间的旋转状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的转动自由度。其中，平移参数表示相机坐标系与物理坐标系之间的移动状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的移动自由度。则旋转参数和平移参数即为图像采集设备在物理坐标系内的六自由信息，能够表示图像采集设备在物理坐标系内的转动和移动状态，也即能够得到图像采集设备的视野与物理坐标系内的各坐标轴之间的角度和距离等。

进一步的，在本申请实施例中，在步骤S142之前，还可以包括获取目标特征点的物理坐标。具体的，可以包括：

步骤S1421：确定每个所述特征点在预设标记物模型中所对应的模型特征点。

确定目标特征点与预设标记物模型中的模型特征点的对应关系，具体的，可以是：

根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心。若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新的质心。根据所述目标图像中各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像对应的图像坐标系与预设标记物模型之间的映射参数。根据所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系。

其中，所述根据所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系，可以包括：根据所述映射参数将目标图像中每个特征点映射到所述预设标记物模型的坐标系内，以获取目标图像中每个特征点在所述预设标记物模型的坐标系内的坐标；将在所述预设标记物模型的坐标系中，与目标图像中每个特征点的坐标距离最近的特征点，作为目标图像中该特征点在预设标记物模型中对应的特征点。

其中，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新质心，可以包括：以目标图像中子标记物的质心作为坐标原点建立坐标系；将该质心对应的子标记物中满足第三预设条件的特征点位移到以坐标原点为对称中心的位置，根据位移后该质心对应的各个目标特征点获取新质心。其中，第三预设条件包括在建立的坐标系中横坐标小于零、横坐标大于零、纵坐标小于零以及纵坐标大于零中的任意一个，每个第三预设条件对应一个新质心。

另外，获取所述目标图像对应的图像坐标系与预设标记物模型之间的映射参数之前，还包括：在所述预设标记物模型中以所述目标图像中扩展质心的对应方式扩展新质心，预设标记物模型中扩展的新的质心与目标图像中扩展的新的质心一一对应，其中，预先获取有所述预设标记物模型中的子标记物与所述目标图像中的子标记物的一一对应关系；根据预设标记物模型中各个特征点的物理坐标计算预设标记物模型中的每个质心的物理坐标；将目标图像中每个质心在预设标记物模型中对应的质心的物理坐标，作为目标图像中该质心的物理坐标。

进一步的，基于所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系之前，还包括：基于所述映射参数将目标图像中每个所述目标特征点映射到所述预设标记物模型的坐标系内，以获取目标图像中每个所述特征点在所述预设标记物模型的坐标系内的坐标；判断在所述预设标记物模型的坐标系中，目标图像的特征点与预设标记物模型中的特征点是否满足第二预设条件；若是，执行所述根据所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系，若否，则再次执行在所述目标图像内扩展预设个数的新的质心的步骤。其中，判断所述映射参数是否满足第二预设条件包括：判断在所述预设标记物模型的坐标系中，目标图像的特征点与预设标记物模型中的特征点之间的匹配误差是否小于预设误差阈值。或者是，判断所述映射参数是否满足第二预设条件包括：判断在所述目标图像内扩展新的质心的次数是否达到预设次数；或者是判断扩展的质心个数是否达到预设的个数。

步骤S1422：查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。

步骤S1423：将每个所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。

对于每一个目标特征点，将与其对应的模型特征点的物理坐标作为其物理坐标，从而获得目标特征点的物理坐标。

根据立体定位跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息，包括：

步骤S151：获取每个所述特征点在所述目标图像对应的图像坐标系内的像素坐标。

步骤S152：根据所有所述特征点的像素坐标和预先获取的所有所述特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的姿态信息，其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标，所有所述特征点的物理坐标在预设坐标轴对应的坐标值不全为预设值。

其中，所述物理坐标为预先获取的所述目标特征点在所述视觉交互装置对应的物理坐标系内的坐标，目标特征点的物理坐标为特征点在视觉交互装置上的真实位置。各个特征点的物理坐标可以预先获取，具体地，多个特征点和多个标记物设置在视觉交互装置的不同的标记面上，选择其中一个标记面上的某一个点作为原点，建立物理坐标系。如图7所示，以视觉交互装置的一个矩形子表面的一个角点作为原点O，建立物理坐标系XYZ，则每个特征点到X轴、Y轴和Z轴的距离都可以测得，由此，就能够确定每个特征点在XOY坐标系内的物理坐标，例如，图7中的特征点341a的物理坐标为(X_a，Y_a，Z_a)。其中，所有所述特征点的物理坐标在预设坐标轴对应的坐标值不全为预设值，例如，所有所述目标特征点的物理坐标的z坐标不全为0。

在获取到目标图像中所有所述目标特征点的像素坐标和物理坐标之后，根据每个标记物内的所有所述目标特征点的像素坐标和物理坐标，获取所述图像采集装置与该视觉交互装置之间的姿态信息，具体地，根据每个所述目标特征点的像素坐标、物理坐标和预先获取的所述图像采集装置的内参数，获取所述图像坐标系与所述物理坐标系之间的映射参数。

具体地，图像坐标系与物理坐标系之间的关系为：

其中，(u，v)为特征点在目标图像的图像坐标系中的像素坐标，(X,Y,Z)为特征点在物理坐标系的物理坐标。

是一个相机矩阵，或一个内在参数的矩阵，(cx，cy)为图像的中心点，(fx，fy)是以像素单位表示的焦距，该矩阵通过图像采集设备的标记操作能够获取，是一个已知量。

其中，

为外部参数的矩阵，前三列为旋转参数，第四列为平移参数。定义/>

为单应性矩阵H，则上式(1)变为：

因此，将所获取的多个目标特征点的像素坐标和物理坐标，以及图像采集装置的内参数，带入上式(2)，就能够获取H，即所述图像坐标系与所述物理坐标系之间的映射参数。

再根据所述映射参数获取所述图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数和平移参数，具体地，可以根据SVD算法：

将上述单应性矩阵H做奇异值分解，得到下式：

H＝UΛV^T (3)

则可以得到两个正交矩阵U和V，以及一个对角矩阵Λ。其中，对角矩阵Λ包含单应性矩阵H的奇异值。因此，也可以将这个对角矩阵当作单应性矩阵H，则可以将上式(3)写成：

当矩阵H被分解成对角矩阵时，就能够计算出旋转矩阵R和平移矩阵T。具体地，t_Λ可以在由上述公式(4)分离出来的三个向量方程中被消除，由于R_Λ是一个正交矩阵，则可以通过一个新的方程组线性求解法向量n内各参数，其中，该方程组将该法向量n内各参数与单应性矩阵H的奇异值相关联。

通过上述分解算法，可以得到上述三个未知量的8个不同的解式，其中，该三个未知量为：{R_Λ，t_Λ，n_Λ}。然后，假设矩阵Λ的分解完成，则为了获取最终的分解元素，我们只需要使用下面的表达式：

R＝UR_ΛV^T

t＝Ut_Λ (6)

n＝Vn_Λ

由此，就可以求解处R和T，其中，R为图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数，T为图像采集装置的相机坐标系与所述物理坐标系之间的平移参数。

然后，将旋转参数和平移参数作为图像采集装置与所述视觉交互装置之间的姿态信息。其中，旋转参数表示相机坐标系与物理坐标系之间的旋转状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的转动自由度。其中，平移参数表示相机坐标系与物理坐标系之间的移动状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的移动自由度。则旋转参数和平移参数即为图像采集设备在物理坐标系内的六自由信息，能够表示图像采集设备在物理坐标系内的转动和移动状态，也即能够得到图像采集设备的视野与物理坐标系内的各坐标轴之间的角度和距离等。

进一步的，在本申请实施例中，在步骤S162之前，还可以包括获取目标特征点的物理坐标。具体的，可以是确定每个所述目标特征点在预设标记物模型中所对应的模型特征点；查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；将每个所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。其中，获取物理坐标可以参见前述步骤，在此不再赘述。

本申请实施例还提供了一种图像处理装置600，如图8所示，应用于一识别跟踪系统，所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上；所述装置600包括：图像获取模块610，用于获取具有标记物的目标图像；身份确定模块620，用于确认所述目标图像中标记物的身份信息；跟踪方法确定模块630，用于根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；姿态信息获取模块640，用于根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息。

综上所述，本申请实施例提供的图像处理方法、装置及识别跟踪系统，通过在获取到目标图像之后，识别出目标图像中标记物以获取标记物的身份信息，根据标记物的身份信息确定采用平面定位跟踪方法还是立体定位跟踪方法获取视觉交互装置与图像采集装置之间的姿态信息，该姿态信息包括位置及旋转信息。通过该姿态信息也能够确定图像采集装置与视觉交互装置之间的位置关系，精确度更高。

本发明实施例提供的图像处理方法及装置，应用于识别跟踪系统，该识别跟踪系统包括头戴显示装置和视觉交互装置，当用户佩戴该头戴显示装置进入预设的虚拟场景，且该视觉交互装置在图像采集装置的视野范围内时，图像采集装置采集到包含该视觉交互装置的目标图像，然后处理器获取到该目标图像及相关信息。对于平面标记物体和立体标记结构体，采用不同的方法，获取运与图像采集装置之间的位置与旋转关系，进而得到视觉交互装置相对于头戴显示装置的位置关系，使得用户观看到的虚拟场景在相应的位置处，并结合该位置处的虚拟场景产生虚拟图像，给用户带来更好的体验。

需要说明的是，本说明书中的各个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种图像处理方法，应用于一识别跟踪系统，所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上，每个标记物包括特征点；其特征在于：所述方法包括：

获取具有标记物的目标图像；

确认所述目标图像中标记物的身份信息；

根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；

根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息；

所述根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息，包括：

根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心；

若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新的质心；

根据所述目标图像中各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像对应的图像坐标系与预设标记物模型之间的映射参数；

根据所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系；

查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；

将每个所述特征点所对应的模型特征点的物理坐标作为该特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；

根据所有所述特征点的像素坐标和预先获取的所有所述特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的姿态信息，其中，所述物理坐标为预先获取的目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

2.根据权利要求1所述的方法，其特征在于，所述确认所述目标图像中标记物的身份信息之前，还包括：

获取连续多帧目标图像中除首帧目标图像外的当前帧目标图像对应的第一阈值图像，所述第一阈值图像为对历史帧目标图像进行处理后得到且与当前帧目标图像分辨率相同的灰度图像；

对当前帧目标图像的每一个像素点，以所述第一阈值图像中对应位置的像素点作为二值化阈值，将当前帧图像二值化。

3.根据权利要求1所述的方法，其特征在于，所述确认所述目标图像中标记物的身份信息包括：

获取所述目标图像中多个连通域之间的包围关系；

根据所述目标图像中多个连通域之间的包围关系，以及预先存储的标记物的特征，确定所述目标图像中标记物的身份信息为对应的预存储标记物的身份信息。

4.根据权利要求1所述的方法，其特征在于，

预先存储的标记物特征信息包括：第一连通域包围的第二连通域的数量，每个第二连通域包围的第三连通域的数量；

所述获取所述目标图像中多个连通域之间的包围关系，包括：

确定标记物中包围其他连通域的连通域为第一连通域，确定第一连通域包围的连通域为第二连通域，确定第二连通域包围的连通域为第三连通域；

获取每个第一连通域中包围的第二连通域的数量以及每个第二连通域包围的第三连通域的数量；

所述确定所述目标图像中标记物的身份信息为对应的预存储标记物的身份信息包括：

对于目标图像中每个第一连通域，在预先存储的标记物的特征信息中确定对应的第一连通域，其中，相互对应的第一连通域包围有相同数量的第二连通域、且包围的各个第二连通域所包围的第三连通域的数量一一对应。

5.根据权利要求1所述的方法，其特征在于，所述根据所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法，包括：

根据所述标记物的身份信息，判断所述目标图像中的标记物是共面还是不共面；

若所述标记物共面，采用相应的平面定位跟踪方法；

若所述标记物不共面，采用相应的立体定位跟踪方法。

6.根据权利要求1所述的方法，其特征在于，根据每个标记物内的所述特征点的像素坐标和物理坐标，获取所述图像采集装置与所述视觉交互装置之间的姿态信息，包括：

根据每个所述特征点的像素坐标、物理坐标和预先获取的所述图像采集装置的内参数，获取所述图像坐标系与三维世界坐标系之间的映射参数；

根据所述映射参数获取所述图像采集装置的相机坐标系与所述物理坐标系之间的旋转参数和平移参数；

根据所述旋转参数和平移参数获取所述图像采集装置与目标立体物体之间的位置信息。

7.一种图像处理装置，应用于一识别跟踪系统，所述系统包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上，每个标记物包括特征点；其特征在于，所述装置包括：

图像获取模块，用于获取具有标记物的目标图像；

身份确定模块，用于确认所述目标图像中标记物的身份信息；

跟踪方法确定模块，用于根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；

姿态信息获取模块，用于根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息；

所述姿态信息获取模块还用于根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心；若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新的质心；根据所述目标图像中各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像对应的图像坐标系与预设标记物模型之间的映射参数；根据所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系；查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；将每个所述特征点所对应的模型特征点的物理坐标作为该特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；根据所有所述特征点的像素坐标和预先获取的所有所述特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的姿态信息，其中，所述物理坐标为预先获取的目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

8.一种识别跟踪系统，其特征在于，包括图像采集装置和具有标记物的视觉交互装置；所述视觉交互装置的标记物分布在一个面上或分布在多个面上；所述图像采集装置连接一处理器，其中，

所述图像采集装置用于采集具有标记物的目标图像；

所述处理器用于：

获取所述图像采集装置采集的目标图像；

确认所述目标图像中标记物的身份信息；

根据目标图像的标记物信息及所述标记物的身份信息，确定对所述标记物对应的视觉交互装置采用的跟踪方法；

根据相应的跟踪方法，获取所述视觉交互装置与所述图像采集装置之间的姿态信息；

所述处理器还用于：

根据目标图像内各个特征点的像素坐标，获取所述目标图像内每个子标记物的质心；

若目标图像中获得的子标记物的质心满足第一预设条件，根据所述目标图像内子标记物的特征点，在该子标记物内扩展预设个数的新的质心；

根据所述目标图像中各个质心的像素坐标、物理坐标以及预先获取的所述图像采集装置的内参数，获取所述目标图像对应的图像坐标系与预设标记物模型之间的映射参数；

根据所述映射参数获取所述目标图像中各个特征点与所述预设标记物模型中各个特征点的对应关系；

查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；

将每个所述特征点所对应的模型特征点的物理坐标作为该特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；

根据所有所述特征点的像素坐标和预先获取的所有所述特征点的物理坐标，获取所述图像采集装置与所述视觉交互装置之间的姿态信息，其中，所述物理坐标为预先获取的目标特征点在所述视觉交互装置对应的物理坐标系内的坐标。

Images