CN112214100A - 标记物、交互装置及识别跟踪方法 - Google Patents

Abstract

本申请实施例公开了一种标记物、交互装置及识别跟踪方法，图像处理单反应用于识别跟踪系统，该系统包括终端设备和交互装置，交互装置包括多个子标记物，该方法包括：采集目标图像；对目标图像包含的子标记物进行识别，确定子标记物属于第一标记物还是第二标记物，并得到子标记物的身份信息；根据子标记物的身份信息获取子标记物的物理坐标，物理坐标用于表示子标记物在交互装置上的实际物理位置；根据子标记物在目标图像上的像素坐标和物理坐标，获取终端设备与交互装置之间的相对位置信息。由此，通过本申请实施例提供的识别跟踪方法对设于交互装置的标记物进行识别，获取终端设备与交互装置之间的相对位置信息，精确度较高。

Description

标记物、交互装置及识别跟踪方法

技术领域

本申请涉及追踪交互技术领域，更具体地，涉及一种标记物、交互装置及识别跟踪方法。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)和虚拟现实(VR，Virtual Reality)等技术已逐渐成为国内外研究的热点。用户可通过交互装置与AR/VR中的虚拟内容进行交互。

为了实现与虚拟内容的交互，需要对交互装置进行识别跟踪。现有的识别跟踪方案，通常是采用磁传感器、光传感器、超声波、惯性传感器、视觉交互装置图像处理等方式实现，但是上述识别跟踪的方案的效果优缺点明显，均不是最佳的追踪方案，例如光传感器方案通常受到环境光的影响较大，容易影响识别跟踪结果。

发明内容

本申请实施例提出了一种标记物、交互装置及识别跟踪方法。

第一方面，本申请实施例提供了一种标记物，标记物包括多个子标记物，多个子标记物间隔设置；每个子标记物均包括识别簇，识别簇均包括至少一个特征点。每个子标记物中识别簇的特征点的排布与其他子标记物中的识别簇中的特征点的排布均不相同。

第二方面，本申请实施例提供了一种交互装置，交互装置包括控制部分和主体部分。控制部分用于被用户操控，主体部分包括壳体、第一标记物和第二标记物。壳体与控制部分连接，壳体具有相互背离的第一壁和第二壁。第一标记物设于第一壁，第一标记物包括多个第一子标记物，多个第一子标记物间隔设置。第二标记物设于第二壁，第二标记物包括多个第二子标记物，多个第二子标记物间隔设置。

第三方面，本申请实施例提供了一种识别跟踪方法，应用于识别跟踪系统，系统包括终端设备和上述的交互装置，交互装置包括多个子标记物，方法包括：采集交互装置的目标图像；对目标图像包含的子标记物进行识别，确定子标记物属于第一标记物还是第二标记物，并得到子标记物的身份信息；根据子标记物的身份信息获取子标记物的物理坐标，物理坐标用于表示子标记物在交互装置上的实际物理位置；根据子标记物在目标图像上的像素坐标和物理坐标，获取终端设备与交互装置之间的相对位置信息。

本申请实施例提供的标记物、交互装置及识别跟踪方法，通过对交互装置设置的多个子标记物进行图像采集，并根据子标记物中包含不同特征点的识别簇对子标记物进行识别，进而可以获取终端设备与交互装置之间的相对位置信息。由此，通过本申请实施例提供的识别跟踪方法对设于交互装置的标记物进行识别，实现对交互装置的定位追踪，且精确度较高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的识别跟踪系统的示意图。

图2为本申请实施例提供的交互装置的立体示意图。

图3为图2所示的第一标记物和第二标记物的部分示意图。

图4为图2所示的交互装置的部分剖面示意图。

图5为本申请另一实施例提供的交互装置的主体部分的部分示意图。

图6为本申请又一实施例提供的交互装置的主体部分的部分示意图。

图7为本申请实施例提供的一种识别跟踪方法的流程示意图。

图8为本申请实施例提供的另一种识别跟踪方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参阅图1，示出了本申请实施例提供的一种识别跟踪系统10，包括终端设备100和交互装置200。终端设备100与交互装置200之间可以通过蓝牙、Wi-Fi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，也可以采用数据线等有线方式进行通信连接，终端设备100与交互装置200也可以不进行连接。当然，终端设备100与交互装置200的连接方式在本申请实施例中可以不作为限定。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是外接式头戴显示装置，并与作为头戴显示装置的处理和存储设备的手机等智能终端连接，即终端设备100可以通过插入或者接入智能终端以在外接式头戴显示装置显示虚拟内容。在一些实施方式中，终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

在一些实施方式中，终端设备100包括外壳110、图像采集装置130、处理器150和显示装置170，图像采集装置130、处理器150和显示装置170电连接，并收容于外壳110内。外壳110能够对图像采集装置130、处理器150和显示装置170提供防护作用，避免图像采集装置130、处理器150和显示装置170受外力撞击而导致内部元件错位或损坏，延长了终端设备100的使用寿命。

图像采集装置130用于采集交互装置200的图像并发送至处理器150，图像采集装置130可以是双目摄像头、RGB(red green blue，红绿蓝)摄像头。可选地，图像采集装置130也可以采用为单目的红外成像相机，不仅成本低，无需双目相机之间的外参，而且功耗低，同等带宽下帧率更高。

处理器150用于根据图像输出对应的显示内容至显示装置170，还用于对交互装置200进行识别跟踪计算。处理器150可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器150可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器150还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，当处理器150应用于头戴显示装置时，处理器150根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置170进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像，通过显示装置170进行显示；还可以根据图像采集装置130采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容，发送至显示装置170进行显示。可以理解的是，处理器150并不限定于装设在头戴显示装置内。

显示装置170用于将处理器150输出的显示内容显示。在一些实施例中，显示装置170可以是智能终端的一部分，即智能终端的显示屏，例如手机和平板电脑的显示屏。在另一些实施例中，显示装置170还可以是独立的显示器(例如，LED，OLED或LCD)等，则此时显示装置170固定安装在外壳110上，例如头戴显示装置的显示屏。需要说明的是，当显示装置120为智能终端的显示屏时，外壳110上设置有用于安装该智能终端的安装结构。在使用时，将智能终端通过安装结构安装在外壳110上。则处理器150可以是智能终端内的处理器，也可以是独立设置在外壳110内的处理器150，并与智能终端通过数据线或通信接口电连接。另外，当显示装置170为与智能终端等电子设备分离的显示装置时，固定安装在外壳110上。

当用户在佩戴头戴显示装置，进入预设的虚拟场景时，当交互装置200在图像采集装置130的视野范围内，图像采集装置130采集包含交互装置200的目标图像；处理器150获取到该目标图像及相关信息，运算识别出交互装置200与终端设备100之间的相对位置信息。在一些实施例中，可以根据用户对交互装置200进行的移动、旋转等操作，进而实现用户与虚拟场景之间的交互，以提高更真实的视觉体验。

请参阅图2，交互装置200包括主体部分210和控制部分230。其中，主体部分210包括壳体211、第一标记物400和第二标记物500。壳体211与控制部分230连接，壳体211设有相互背离的第一壁2111和第二壁2113。第一标记物400设于第一壁2111，第二标记物500设于第二壁2113。

请参阅图3，第一标记物400包括多个第一子标记物410，多个第一子标记物410间隔设置。第二标记物500包括多个第二子标记物510，多个第二子标记物510间隔设置。

在上述交互装置200中，由于第一标记物400和第二标记物500分别设于第一壁2111和第二壁2113上，可以通过终端设备100对交互装置200进行采集图像，并对采集的图像中包含的第一标记物400和/或第二标记物500的图像信息进行识别，获取交互装置200和终端设备100之间的相对位置及姿态信息，实现对交互装置200的追踪，精确度高，且可追踪面积增大，更易被追踪到。

在本申请实施例中，多个第一子标记物410的排列方式可以包括第一子标记物410在第一壁2111上的排布数量或相邻两个第一子标记物410之间的间隔距离等，但不限于此。例如，在第一壁2111排布八个第一子标记物410，相邻的第一子标记物410之间的间隔距离相同。

如图3所示，每个第一子标记物410均包括第一识别簇411，第一识别簇411包括至少一个特征点，也即，第一识别簇411中的特征点的数量为大于或等于2。多个第一识别簇411的特征点遵循预设规则排布，每个第一子标记物410中第一识别簇411的特征点排布与其他第一子标记物410中第一识别簇411的特征点排布均不相同。

在一些实施方式中，第一识别簇411中的特征点排布与其他的第一识别簇411中的特征点排布不相同，可包括每个第一识别簇411包含的特征点的数量不同、特征点形状不同、特征点的颜色不同及特征点的位置分布不同等方式中的一种或多种。可选地，特征点遵循的预设规则为：沿着子标记物的排列方向，多个第一识别簇411包含的特征点数量依次增多或减小。

作为一种实施方式，第一识别簇411可以为黑色，该第一识别簇411中包含的特征点可以为白色圆形图案，第一识别簇411可包含一个或多个特征点，每个第一识别簇411包含的特征点数量按照一定的排列方向(如图3中的从上到下)依次增多为例。

例如，以在第一壁2111上排布有八个第一子标记物410为例，八个第一子标记物410沿排列方向依次给命名为A1、A2……A8。需要说明的是，上述A1、A2……A8，仅为举例中用于指代多个第一子标记物410的示意，并不形成限定。若沿着预设的排列方式的排列方向(例如图中的从上到下)，每个第一识别簇411包含的特征点数量依次增多，那么，A1的第一识别簇411包含的特征点的数量最少，A8的第一识别簇411包含的特征点的数量最多。

在一些实施方式中，每个第一识别簇411中特征点的数量与其他的第一识别簇411中特征点的数量相同，但第一识别簇411中特征点的形状不同，或者是特征点的颜色不同。例如，特征点为灰色圆形图案、白色矩形图案等等。需要说明的是，通过在每个第一识别簇411设置不相同的特征点，可以对每个第一识别簇411进行识别，进而处理器150可以判断图像采集装置130采集到的图像中包含的第一子标记物410为A1、A2……A8中的哪几个。例如，每个第一识别簇411的特征点的数量相同，但每个第一识别簇411的特征点分别为灰色圆形图案、白色矩形图案不同的图案排布。

第一子标记物410还包括第一背景413以及第一基准簇415，第一基准簇415可与第一识别簇411相区别，第一基准簇415与第一识别簇411相间隔地分布于第一背景413中。

进一步地，第一标记物400还包括第二背景430，多个第一子标记物410之间通过第二背景430间隔设置，也即，多个子标记物410间隔地分布于第二背景430，相邻的两个子标记物410之间的位置露出第二背景430。第二背景430与第一背景413相区分，以体现多个第一子标记物410之间的间隔。需要说明的是，图3中虚线部分仅为示意第一识别簇411和第一基准簇415的位置，并不具实际意义。

相应地，第二标记物500的图案与第一标记物400的图案相类似。其中，第二标记物500包括第二子标记物510、第二识别簇511、第三背景513、第四背景530和第二基准簇515。其中，第二子标记物510与第一子标记物410相类似；第二识别簇511与第一识别簇411相类似；第三背景513与第一背景413相类似，第四背景530与第二背景430相类似，在此不作赘述。需要说明的是，第二基准簇515与第一基准簇415相区别，处理器150可以通过识别第一基准簇415和第二基准簇515来确定所采集的图像中包含的第一子标记物410和第二子标记物510。

可选地，第二基准簇515与第一基准簇415相区别，可指的是第二基准簇515与第一基准簇415包含的特征点的排布不同，例如，可以是第二基准簇515与第一基准簇415包含的特征点数量不同，或是第一基准簇415包含的特征点的形状与第二基准簇515包含的特征点的形状相区别，或是第一基准簇415包含的特征点的颜色与第二基准簇515包含的特征点的颜色相区别等。

作为一种具体实施方式，如图3所示，第一基准簇415包含一个白色圆形图案的特征点，以形成黑色空心圆环图案，第二基准簇515不包含白色圆形图案的特征点，以形成黑色实心圆形图案。也即，第一基准簇415中的特征点数量为1，第二基准簇515中的特征点的数量为0。其中，设置第一基准簇415和第二基准簇515之后，第一识别簇411的特征点排布方式和第二识别簇511的特征点排布方式可以相同，例如，第一识别簇411包含2个白色圆形图案的特征点，第二识别簇511也包含2个白色圆形图案的特征点。也即，处理器150先利用图像中子标记物包含的基准簇将图像上包含的第一子标记物410和第二子标记物510进行区分，再分别识别第一识别簇411和第二识别簇511。

在一些实施方式中，可以省略第一基准簇415和第二基准簇515，通过设置第一识别簇411的特征点与第二识别簇511的特征点相区别，在处理器150接收到图像采集装置130采集的图像后通过相区别的特征点识别第一子标记物410和第二子标记物510。例如，第一识别簇411的特征点为白色圆形图案，第二识别簇511的特征点为白色三角形图案等，但不限于此。

请参阅图4，壳体211为环形壳体，壳体211并不限定于圆环形，其还可以是椭圆环型、多边环形、不规则环形等形状。第一壁2111和第二壁2113连接形成收容腔2115。壳体211被沿轴向的平面纵剖时，第二壁2113的轮廓线与第一壁2111的轮廓线之间呈预定的夹角，其中，以第二壁2113的轮廓线所在的第一直线为参照，第一壁2111的轮廓线所在的第二直线相对第二壁2113轮廓线所在的第一直线倾斜，且第一壁2111背离控制部分230的一端朝向第二壁2113靠近。从另一个角度而言，第一壁2111具有靠近控制部分230的第一端以及远离控制部分230的第二端，第二壁2113具有靠近控制部分230的第一端以及远离控制部分230的第二端，第一壁2111的第一端与第二壁2113的第一端之间的距离大于第一壁2111的第二端与第二壁2113的第二端之间的距离。具体在图示的实施例中，第一壁2111从第一端向第二端的径向尺寸逐渐增大，使第一壁2111呈现为自控制部分230向外扩的类喇叭状。因此，在本申请实施例中，第一壁2111为壳体211的内壁面，第二壁2113为壳体211的外壁面，壳体211的内壁面与外壁面之间呈预定的角度相对倾斜，且内壁面背离控制部分230的一端朝向外壁面靠近，进而内壁面相对外壁面呈外扩趋势，以便于被图像采集装置130采集，例如，图像采集装置130能够尽可能采集到第一壁2111中更多的第一标记物400，以及第二壁2113中更多的第二标记物500，便于计算交互装置的位置和姿态信息。

在一些实施方式中，壳体211为可透光的透明壳体，例如，壳体211可以为由聚甲基丙烯酸甲酯(PMMA)、聚苯乙烯(PS)、聚碳酸酯(PC)和聚双烯丙基二甘醇碳酸酯(CR-39)等可穿透光的高分子的材料制成的壳体。

在一些实施例中，第一标记物400设于第一壁2111朝向收容腔2115的一侧，第二标记物500设于第二壁2113朝向收容腔2115的一侧，也即是，第一标记物400和第二标记物500均位于收容腔2115内，并分别设置于第一壁2111朝向收容腔2115的一侧和第二壁2113朝向收容腔2115的一侧。其中，第一标记物400和第二标记物500可以通过粘贴的方式设于对应的第一壁2111和第二壁2113上，也可以通过镭雕或喷涂等方式直接形成于对应的第一壁2111和第二壁2113上；第一标记物400的第二标记物500的形成，可以是只将图案的黑色部分形成在第一壁2111和第二壁2113上。第一标记物400和第二标记物500均设于收容腔2115内，可以防止第一标记物400和第二标记物500因暴露于外界而被磨损，进而处理器150无法识别所采集的第一标记物400和第二标记物500。

需要说明的是，第一标记物400和第二标记物500并不限定于设置在第一壁2111朝向收容腔2115的一侧和第二壁2113朝向收容腔2115的一侧，例如，第一标记物400和第二标记物500还可以分别设置在第一壁2111背离收容腔2115的一侧和第二壁2113背离收容腔2115的一侧。或者，第一标记物400设置在第一壁2111朝向收容腔2115的一侧，第二标记物500设置在第二壁2113背离收容腔2115的一侧；或者，第一标记物400设置在第一壁2111背离收容腔2115的一侧，第二标记物500设置在第二壁2113靠近收容腔2115的一侧。

在一些实施方式中，请参阅图4，交互装置200包括发光件270，发光件270设置于壳体211。壳体211为可透光壳体，发光件270所发出的光朝向收容腔2115使得交互装置200的主体部分210在被图像采集装置130采集时，能够获取到包含有第一标记物400和/或第二标记物500的图像信息。其中，发光件270可以为led灯管，通电后可以发光。其中，第一标记物400和第二标记物500均可以通过发光件270所发过的光透过壳体211呈现出对应的图案，以被图像采集装置130采集。例如，通过圆形阻光材料作为特征点，可以阻止发光体270所发出的光透过，进而在壳体211上形成黑色圆形图案；通过圆环形阻光材料作为特征点，可以使发光件270所发出的光部分透过，进而在壳体211上形成黑色圆环形图案。

进一步地，交互装置200还包括与发光件270连接的导光件250，导光件250可以为环形导光管，导光件250设置于收容腔中，以贴合壳体211的内表面设置，以将发光件270发出的光导向第一壁2111和第二壁2113。需要说明的是，由于设置有导光件250，发光件270可以设置于交互装置200的任意位置，通过设置导光件250可以将发光件270发出的光导向第一壁2111和第二壁2113，以将第一标记物400和第二标记物500在第一壁2111和第二壁2113上形成的图案，能够随着交互装置200与终端设备100的相应位置而对应的呈现，进而被图像采集装置130采集和处理器150的识别。

请参阅图5，示出了本申请另一实施例提供的交互装置200a的主体部分210a的部分示意图。壳体211a为环形壳体，第一壁2111a和第二壁2113a连接形成收容腔2115a。发光件270a连接于壳体210a远离控制部分230a的一侧的表面，也即发光件270a设于收容腔2115a远离控制部分230a的一侧的壳体210a。进一步地，发光件270a为多个，多个发光件270a沿壳体210a的周向环绕设置于壳体210a远离控制部分230a的一侧，第一壁2111a的第一标记物400的图案和第二壁2113a的第二标记物500的图案通过多个发光件270a的发光，使得图像采集装置130能够清晰地采集到包含有第一标记物的400和/或第二标记物500的图像信息。

在一些实施方式中，上述多个发光件270a还可以设置在壳体210a靠近控制部分230a的一侧，也即发光件270a设于收容腔2115a靠近控制部分230a的一侧的壳体210a。

请参阅图6，图6示出了本申请另一实施例提供的交互装置200b的主体部分210b的部分示意图。壳体211b为环形壳体，第一壁2111b和第二壁2113b连接形成收容腔2115b，发光件270b设置于收容腔2115b内。在一些实施方式中，发光件270b为发光带，其填充于整个收容腔2115b内；在一些实施方式中，发光件270b为多个，多个发光件270b为发光块，多个发光件270b间隔设置在收容腔2115b内。

请再参阅图2，控制部分230包括握持部231和连接部233，连接部233用于连接握持部231和壳体211。

在一些实施方式中，握持部231和壳体211可以通过连接部233实现相对转动，进而使壳体211与握持部231之间可以呈任意角度，以满足用户的交互习惯需求。

在一些实施例中，握持部231大致为设有内腔的管状，以便于用户进行握持。握持部231还设有电源、开关、指示灯和电子元件，电子元件容置于握持部231的内腔，并与电源、开关和指示灯连接。电子元件包括交互装置、惯性传感器、感光元件等，在此不作赘述。可选地，发光件270容置于握持部231的内腔，电源与发光件270电连接以对发光件270供电，发光件270与开关电连接，以通过开关控制发光件270的发光；同时，指示灯用于指示当前发光件270的工作状态。可选地，也可以通过开关来对壳体211与握持部231之间的角度进行调节，例如，开关为滑片开关，可以通过滑动滑片对壳体211与握持部231之间的角度进行调节。

当用户在佩戴头戴显示装置，进入预设的虚拟场景时，当交互装置200在图像采集装置130的视觉范围内，图像采集装置130采集包含交互装置200的目标图像；处理器150获取到该目标图像中包含的第一子标记物410和第二子标记物510，以及第一子标记物410和第二子标记物510的相关信息，运算识别出交互装置200与终端设备100之间的相对位置信息。在一些实施例中，可以根据用户对交互装置200进行的移动、旋转等操作，进而实现用户与虚拟场景之间的交互，以提高用户的沉浸感及真实感。

基于上述识别跟踪系统，本申请实施例提供了一种识别跟踪方法，应用于上述识别跟踪系统中的终端设备和交互装置。下面对具体的识别跟踪方法进行介绍。

请参阅图7，图示出了本申请实施例提供的一种识别跟踪方法，可应用于图1所示的识别跟踪系统，识别跟踪系统包括终端设备和交互装置，交互装置设有标记物，标记物包括多个子标记物，每个子标记物均包含基准簇和识别簇。需要说明的是，上述的标记物包括第一标记物和第二标记物，第一标记物包括多个第一子标记物，每个第一子标记物均包括第一基准簇和第一识别簇；第二标记物包括多个第二子标记物，每个第二子标记物均包括第二基准簇和第二识别簇。该识别跟踪方法可以包括步骤S101～S107。

步骤S101：采集交互装置的目标图像。

目标图像是指包含交互装置上的标记物信息的图像。当交互装置的部分或整体在终端设备的图像采集装置的视觉范围内时，可以通过图像采集装置采集包含交互装置中至少部分标记物的图像。可选地，标记物可以集成于交互装置中，也可以粘贴附着于交互装置。在一些实施方式中，目标图像中应至少包括一个或多个在交互装置上的子标记物。

步骤S103：对目标图像包含的子标记物进行识别，确定子标记物属于第一标记物还是第二标记物，并得到子标记物的身份信息。

终端设备的图像采集装置将采集到的目标图像发送给终端设备的处理器，以通过处理器对目标图像中包含的子标记物进行识别，并获取相应子标记物的身份信息。其中，处理器可对目标图像中包含的各个子标记物进行识别，确定每个子标记物属于第一子标记物还是第二子标记物，进而获取到每个子标记物的身份信息。

在一些实施例中，第一标记物包含多个第一子标记物，第二标记物包含多个第二子标记物，目标图像中包括至少一个第一子标记物和/或第二子标记物。通过处理器内对第一子标记物的预设排布规则，可以在处理器识别出第一子标记物还是第二子标记物后，对第一子标记物的身份信息进行确定，该身份信息可包括子标记物所属的标记物信息，以及子标记物在该所属标记物中的信息。例如，确定该子标记物在所属标记物的中的编号等信息。

在一些实施方式中，当识别出来的第二子标记物的数量比第一子标记物的数量多时，可说明交互装置的第一壁较第二壁显露于图像采集装置的区域更多。

步骤S105：根据子标记物的身份信息获取子标记物的物理坐标。

物理坐标为子标记物在交互装置对应的物理坐标系内的坐标，子标记物的物理坐标为该子标记物在交互装置上的实际物理位置。作为一种具体实施方式，可选择交互装置的第一壁所形成的环形的中心点作为原点，建立物理坐标系。子标记物的物理坐标在该物理坐标系对应的坐标值均为预设值。例如，建立以交互装置的第一壁所形成的环形的中心点为原点的XYZ坐标系，第一壁上及第二壁上的每个子标记物(以及该子标记物包括的特征点)到原点的距离及旋转信息都可以测得，由此，可以确定每个子标记物在XYZ坐标系中的物理坐标(X₀，Y₀，Z₀)。建立物理坐标系后，可将交互装置上每个标记物中的每个子标记物的物理坐标进行存储。在其他实施方式中，也可采用交互装置上的其他点作为原点建立物理坐标系，并不仅限于上述的交互装置的第一壁所形成的环形的中心点。

终端设备获取子标记物的身份信息，该身份信息可以是子标记物的编号等用于唯一标记子标记物身份的信息，例如，子标记物的编码为A1，其中，A表示该子标记物属于第一子标记物，1表示该子标记物的识别簇中包含1个特征点，即该子标记物为第一标记物中第一识别簇包含1个特征点的第一子标记物。可根据子标记物的身份信息获取子标记物的物理坐标，可预先存储有子标记物的身份信息与物理坐标的对应关系，根据该对应关系，可获取与该身份信息对应的物理坐标。

步骤S107：根据子标记物在目标图像上的像素坐标和物理坐标，获取终端设备与交互装置之间的相对位置信息。

像素坐标是每个子标记物在目标图像对应的图像坐标系内的坐标，例如，可以从目标图像中任意选取特定数量的特征点作为目标特征点，用于确定图像采集装置(相当于头戴显示装置)与具有目标特征点的交互装置之间的真实的姿态信息。处理器可以获取所有目标特征点的像素坐标，也即，处理器可以获取所有子标记物的像素坐标。

在步骤S105时，已经获取子标记物的物理坐标，由于子标记物在目标图像上的像素坐标为二维坐标系的坐标点，子标记物的物理坐标为三维坐标系的坐标点，可以根据预设的算法构建像素坐标和物理坐标的映射关系，进而获取终端设备与交互装置之间的相对位置信息及姿态信息。

本申请实施例公开了一种识别跟踪方法，识别跟踪方法应用于识别跟踪系统，该系统包括终端设备和交互装置，交互装置包括多个子标记物，该方法包括：采集目标图像；对目标图像包含的子标记物进行识别，确定子标记物属于第一标记物还是第二标记物，并得到子标记物的身份信息；根据子标记物的身份信息获取子标记物的物理坐标，物理坐标用于表示子标记物在交互装置上的实际物理位置；根据子标记物在目标图像上的像素坐标和物理坐标，获取终端设备与交互装置之间的相对位置信息。由此，通过本申请实施例提供的识别跟踪方法对设于交互装置的标记物进行识别，获取终端设备与交互装置之间的相对位置信息，精确度较高。

请参阅图8，本申请另一实施例提供了一种识别跟踪方法，可应用于图1所示的跟踪系统，该识别跟踪方法可以包括步骤S201～S209。

步骤S201：采集交互装置的目标图像。

其中，步骤S201可参照上述步骤S101，在此不作赘述。在执行步骤S201之后，需要对目标图像包含的子标记物进行识别，以确定子标记物的身份信息。本实施例中，对目标图像包含的子标记物进行识别，可以包括步骤S203～步骤S205。

步骤S203：获取目标图像多个连通域之间的关系。

在一些实施例中，可以对目标图像进行预处理，以获得能够体现目标对象中各种特征信息的处理后的目标图像，例如，能够从目标图像中分辨出子标记物部分和非子标记物部分。可选地，通过将目标对象处理为二值化图像，二值化阈值可以根据标记物的明暗特性灵活设置，或者采用自适应的二值化阈值。

可选地，目标图像进行二值化后，将目标图像中子标记物部分处理为第一颜色，目标对象中非子标记物部分处理为第二颜色。也即，将子标记物中呈包围关系的各部分，处理成具有颜色层次，使各部分之间形成依次包围的连通域。

以第一标记物为例，将目标图像中第一背景对应的部分处理为第二颜色，将标记物的子标记物处理为第一颜色，将子标记物围成的空心部分(该空心部分作为特征点)处理为第二颜色。其中，第一颜色与第二颜色可以是像素值差别较大的颜色，如第一颜色为黑色，第二颜色为白色。当然，二值化后的图像，第一背景、子标记物、特征点之间的区分也可以通过对比度等其他方式进行区分，本发明实施例主要以颜色层次的区分为例进行说明。

在另一些实施例中，对目标图像包含的子标记物进行识别包括：获取目标图像中多个连通域之间的包围关系；根据所述目标图像中多个连通域之间的包围关系，识别所述目标图像包含的子标记物。

获取目标图像中多个连通域之间的包围关系，可以是先获取目标图像的连通域信息，再基于连通域信息获取多个连通域之间的包围关系。其中，连通域是指图像中具有相同像素值且位置相邻的像素点组成的图像区域。

如图3所示，标记物包括将多个子标记物进行间隔的间隔背景。其中，以间隔背景为一个连通域，子标记物中的背景为一个连通域，子标记物中的识别簇为一个连通域，识别簇中的特征点为一个连通域。间隔背景将多个子标记物间隔开，识别簇中的特征点，是指识别簇的空心部分。背景和子标记物之间形成包围关系，子标记物与识别簇形成包围关系，若识别簇为空心图形，识别簇与空心部分对应还具有包围关系，如图3中包括白点(即特征点)的识别簇，是识别簇与白点之间形成包围关系。需要说明的是，白点指代空心部分(也即，特征点为白点)，背景对应的连通域与识别簇对应的连通域之间具有包围关系，识别簇对应的连通域与特征点对应的连通域之间也有包围关系。

进一步地，将间隔背景定义为第四连通域，在目标图像中，间隔背景分隔了所有的子标记物，因此，可以将目标图像中分隔其他连通域，且不包围其他连通域的连通域作为第四连通域。若以二值化后的目标图像包括第一颜色和第二颜色为例，可以确定的第四连通域满足如下条件：颜色为第一颜色、分隔有第二颜色的连通域并且，未包围其他连通域。

间隔背景分隔多个子标记物，也即，间隔背景也分隔多个背景。将背景对应的连通域定义为第三连通域，也即，第三连通域被第四连通域分隔，且第三连通域与第四连通域相邻。作为区分，第三连通域为第二颜色，以与相邻的第四连通域进行区分。

进一步地，背景包围识别簇，将识别簇定义为第二连通域，第二连通域被第三连通域包围，且与第四连通域相间隔。也即，第三连通域包围的每个第二连通域对应一个识别簇。相应地，确定被第三连通域包围且颜色为第一颜色的连通域为第二连通域。

另外，每个识别簇具有特征点，则可以确定第二连通域包围的连通域为第一连通域，即定义特征点的连通域为第一连通域。确定第二连通域包围的连通域为第一连通域，即若识别簇为如图5中所示的包围白点的空心图形，空心部分(即包围的白色部分，也就是白色特征点)对应的连通域定义为第一连通域，每个第一连通域是一个特征点。若第二连通域不包围第一连通域，则确定每个不包围第一连通域的第二连通域为一个特征点，也即，此时的特征点为实心图形。

步骤S205：根据目标图像中多个连通域之间的包围关系，识别目标图像包含的子标记物。

在本申请实施例中，可根据目标图像中各个连通域的包围关系可以区分出各个子标记物，以及各个子标记物中包含的识别簇、基准簇，以及识别簇中包含的特征点。

在一些实施方式中，可设定子标记物中的识别簇中至少包含两个特征点，基准簇为实心图案或圆环图案(可看作至多包含一个特征点)。若第二连域中包含多个第一连通域，则可确定该第二连通域为识别簇；若第二连通域中仅包含一个第一连通域或不包含第一连通域，则可确定该第二连通域为基准簇。被同一第二连通域包围的识别簇和基准簇，以及该第二连通域可组成一个子标记物。在其他实施方式中，基准簇与识别簇也可采用其他方式进行区分，例如，可设定子标记物中的识别簇中包含特征点，基准簇不包含特征点，不同标记物的基准簇的形状不同，则可确定不包含第一连通域的第二连通域为基准簇，通过进一步识别连通域的形状区分所属的标记物，但不限于此。

可选地，系统中预先存储有子标记物的特征和身份信息，也即，预存储子标记物的身份信息与子标记物的特征可以对应存储。需要说明的是，预存储的子标记物的特征包括子标记物中对应的连通域，该连通域分别包括第一连通域、第二连通域以及第三连通域。预存储的特征信息还包括连通域之间的包围关系，例如可包含每个第三连通域包围的第二连通域，每个第二连通域包围的第一连通域以及对应包围的第一连通域的数量等。

在一些实施例中，根据目标图像中多个连通域之间的包围关系，识别目标图像包含的子标记物，还可以包括步骤A及步骤B：

步骤A，根据基准簇对应连通域的包围关系确定基准簇对应的第一标识信息，第一标识信息用于标识子标记物属于第一标记物还是第二标记物。第一标识信息是指用于区分第一标记物和第二标记物的信息。

在一些实施例中，多个第一子标记物均包括第一识别簇和第一基准簇，第一基准簇与第一识别簇间隔设置；多个第二子标记物均包括第二识别簇和第二基准簇，第二基准簇与第二识别簇间隔设置，其中，第一基准簇和第二基准簇相区别。进一步地，可以通过连通域的包围关系进行确定第一基准簇和第二基准簇。例如，第一基准簇为黑色空心圆环，第二基准簇为黑色实心圆形，可先确定仅包含一个第一连通域或不包含第一连通域的第二连通域为子标记物中的基准簇，再根据基准簇中包含的第一连通域数量判断该基准簇为第一基准簇还是第二基准簇，当该第二连通域包含一个第一连通域时，可确定该第二连通域为第一基准簇，该子标记物为第一子标记物，属于第一标记物；当该第二连通域不包含第一连通域时，可确定该第二连通域为第二基准簇，该子标记物为第二子标记物，属于第二标记物。

作为一种具体实施方式，第一标识信息可用编码表示，该编码可以由字母、数字及符号等中的一种或多种组成，例如，若子标记物属于第一标记物，则对应的第一标识信息为“A”,若子标记物属于第二标记物，则对应的第一标识信息为“B”，或是属于第一标记物的第一标识信息用“001”表示，属于第二标记物的第一标识信息用“002”表示等，但不限于此。

步骤B，根据识别簇对应连通域的包围关系确定识别簇对应的第二标识信息，第二标识信息用于标识子标记物在所属标记物中的身份。

在一些实施例中，第一子标记物包含第一识别簇，第二子标记物包含第二识别簇，每个第一子标记物包含的第一识别簇与其他第一子标记物包含的第一识别簇不同，每个第二子标记物包含的第二识别簇与其他第二子标记物包含的第二识别簇不同。终端设备确定目标图像中的第二连通域为识别簇后，可根据该第二连通域的包围关系确定该识别簇对应的第二标识信息。作为一种具体实施方式，同一标记物下不同子标记物中识别簇包含的特征点数量不同，则可根据识别簇对应的第二连通域包含的第一连通域的数量确定第二标识信息。其中，第二标识信息可用编码表示，该编码可以由字母、数字及符号等中的一种或多种组成，例如，识别簇中包含2个特征点，则对应的第二标识信息为2，识别簇中包含3个特征点，则对应的第二标识信息为3等，但不限于此。

在其他实施方式中，以第一标记物为例，第一识别簇对应的第二标识信息，可以是指该第一子标记物在第一标记物中的排列序号。例如，第一标记物包括A1、A2……A8共八个第一子标记物，可以根据第一识别簇识别出该第一子标记物是A1、A2……A8中哪一个。也即，标识该第一子标记物在第一标记物中的身份。相应地，第二标记物包括B1、B2……B8，可以根据第二识别簇识别出第二子标记物是B1、B2……B8中的哪一个。

基于第一标识信息和第二标识信息得到子标记物的身份信息，该身份信息可包含第一标识信息及第二标识信息。例如，当识别到子标记物的第一标识信息为A；识别到子标记物的第二识别信息为1，即可确定该子标记物的身份信息为第一子标记物A1。需要说明的是，上述的第一识别信息为A和第二识别信息为1，仅为描述方便所做的列举，实际情况并不局限于上述举例。

在一些实施例中，目标图像中的子标记物并不一定为完整的子标记物，若只获取到子标记物的一部分，且该子标记物与其他子标记物差异化较大，具有其他子标记物所没有的特征，可以根据该子标记物中的特征判定该子标记物的身份。在另一些实施方式中，也可以通过子标记物预设的排布顺序对不完整的子标记物进行合理的推测，进而判定该不完整的子标记物的身份。例如，依次识别出子标记物A3和A4，那么，位于A3另一侧的不完整的子标记物即为A2；位于A4另一侧的不完整的子标记物即为A5。

可选地，在根据目标图像中多个连通域之间的包围关系，识别目标图像包含的子标记物之前，可以先对多个连通域进行预处理，以滤除不符合第一子标记物或第二子标记物特征的连通域。在一些实施方式中，可根据连通域的形状滤除不符合的连通域，当连通域的形状与预先存储的子标记物的形状差别较大时，可确定为不符合的连通域并进行滤除。在其他实施方式中，也可基于上一帧图像得到的交互装置的位置及姿态信息滤除不符合的连通域，通常来说，相邻两帧图像上同一连通域的位置及姿态变化不会出现太大的偏离，若出现太大的偏离，则可确定该连通域为不符合的连通域并进行滤除，可以理解地，也可采用其他方式进行滤除，在此不作限定。

因为获取到的目标图像为二维图像，而交互装置为立体结构，设于交互装置的第一子标记物和第二子标记物分别位于交互装置的第一壁和第二壁，所以在对目标图像进行二极化的过程中，第一壁和第二壁会存在部分重叠，进而会导致出现不合适的连通域，需要对这部分连通域进行滤除，以减少处理器对连通域进行识别时的工作量。

步骤S207：根据子标记物的身份信息获取子标记物的物理坐标。

其中，步骤S207可参照上述步骤S105，在此不作赘述。

步骤S209：根据子标记物在目标图像上的像素坐标和物理坐标，获取终端设备与交互装置之间的相对位置信息。

在获取到目标图像中所有目标特征点的像素坐标和物理坐标之后，根据每个子标记物内的所有目标特征点的像素坐标和物理坐标，获取图像采集装置与交互装置之间的位置信息，具体地，根据每个目标特征点的像素坐标、物理坐标和预先获取的图像采集装置的内参数，获取图像坐标系与物理坐标系之间的映射参数。

例如，通过将获取的目标特征点的像素坐标和物理坐标，以及预先获取的图像采集装置的内参数通过预设算法(如SVD算法)进行运算，可以获取图像采集装置的相机坐标系与物理坐标系之间的旋转参数，以及，图像采集装置的相机坐标系与物理坐标系之间的平移参数。

需要说明的是，将旋转参数和平移参数作为图像采集装置与交互装置之间的姿态信息。其中，旋转参数表示相机坐标系与物理坐标系之间的旋转状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的转动自由度。其中，平移参数表示相机坐标系与物理坐标系之间的移动状态，也即图像采集装置在物理坐标系内，与物理坐标系的各坐标轴的移动自由度。则旋转参数和平移参数即为图像采集设备在物理坐标系内的六自由度信息，能够表示图像采集设备在物理坐标系内的转动和移动状态，也即能够得到图像采集设备的视野与物理坐标系内的各坐标轴之间的角度和距离等。进一步的，在本申请实施例中，还可以包括获取目标特征点的物理坐标。具体的，可以是确定每个所述目标特征点在预设标记物模型中所对应的模型特征点；查找所述预设标记物模型中的每个模型特征点在所述视觉交互装置对应的物理坐标系内的物理坐标；将每个所述目标特征点所对应的模型特征点的物理坐标作为该目标特征点在所述视觉交互装置对应的物理坐标系内的物理坐标。其中，获取物理坐标可以参见前述步骤，在此不再赘述。

本申请实施例公开了一种识别跟踪方法，识别跟踪方法应用于识别跟踪系统，该系统包括终端设备和交互装置，交互装置包括多个子标记物，该方法包括：采集目标图像；对目标图像包含的子标记物进行识别，确定子标记物属于第一标记物还是第二标记物，并得到子标记物的身份信息；根据子标记物的身份信息获取子标记物的物理坐标，物理坐标用于表示子标记物在交互装置上的实际物理位置；根据子标记物在目标图像上的像素坐标和物理坐标，获取终端设备与交互装置之间的相对位置信息。由此，通过本申请实施例提供的识别跟踪方法对设于交互装置的标记物进行识别，获取终端设备与交互装置之间的相对位置信息，精确度较高。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种标记物，其特征在于，所述标记物包括多个子标记物，所述多个子标记物之间相间隔设置；每个所述子标记物均包括识别簇，所述识别簇均包括至少一个特征点，每个所述子标记物中识别簇的特征点的排布与其他所述子标记物中识别簇的特征点的排布均不相同。

2.如权利要求1所述的标记物，其特征在于，所述多个子标记物的识别簇的特征点遵循预设规则排布，所述特征点遵循的预设规则为：沿着所述子标记物的排列方向，所述多个子标记物的识别簇包含的特征点数量依次增多或减小。

3.如权利要求1所述的标记物，其特征在于，所述子标记物还包括第一背景以及基准簇，所述基准簇与所述识别簇相区别，所述基准簇与所述识别簇间隔地分布于所述第一背景中；所述标记物还包括第二背景，所述多个子标记物之间通过所述第二背景间隔设置，所述第二背景区分于所述第一背景；所述标记物中的所有子标记物的基准簇均相同。

4.如权利要求3所述的标记物，其特征在于，所述基准簇中的特征点的数量为0或1，所述识别簇中的特征点的数量为大于或等于2。

5.一种交互装置，其特征在于，所述交互装置包括：

控制部分，所述控制部分用于被用户操控；

主体部分，所述主体部分包括：

壳体，所述壳体与所述控制部分连接，所述壳体具有相互背离的第一壁和第二壁；

第一标记物，所述第一标记物设于所述第一壁，所述第一标记物包括多个第一子标记物，所述多个第一子标记物间隔设置；以及

第二标记物，所述第二标记物设于所述第二壁，所述第二标记物包括多个第二子标记物，所述多个第二子标记物间隔设置，所述第二标记物区别于所述第一标记物。

6.如权利要求5所述的交互装置，其特征在于，所述壳体为环形壳体，所述第一壁和所述第二壁连接形成收容腔；所述第一壁具有靠近所述控制部分的第一端以及远离所述控制部分的第二端，所述第二壁具有靠近所述控制部分的第一端以及远离所述控制部分的第二端，所述第一壁的第一端与所述第二壁的第一端之间的距离大于所述第一壁的第二端与所述第二壁的第二端之间的距离。

7.如权利要求6所述的交互装置，其特征在于，所述壳体为可透光壳体，所述交互装置包括发光件，所述发光件连接于所述壳体，以允许所述发光件所发出的光能够进入所述收容腔并穿透所述壳体。

8.如权利要求7所述的交互装置，其特征在于，所述发光件为多个，多个所述发光件沿所述壳体的周向设置于所述壳体靠近或/及远离所述控制部分的一侧。

9.如权利要求7所述的交互装置，其特征在于，所述交互装置还包括导光件，所述导光件设于所述收容腔内，所述发光件与所述导光件连接；所述发光件所发出的光经由所述导光件导出并穿透所述壳体。

10.如权利要求5所述的交互装置，其特征在于，每个所述第一子标记物均设有第一基准簇，及与所述第一基准簇间隔设置的第一识别簇；每个所述第二子标记物均设有第二基准簇，及与所述第二基准簇间隔设置的第二识别簇；所述第一基准簇与所述第二基准簇相区别；每个所述第一子标记物的所述第一识别簇与其他所述第一子标记物的所述第一识别簇不同，每个所述第二子标记物的所述第二识别簇与其他所述第二子标记物的所述第二识别簇不同。

11.一种识别跟踪方法，其特征在于，应用于识别跟踪系统，所述系统包括终端设备和上述权利要求5～10中任一项所述的交互装置，所述方法包括：

采集所述交互装置的目标图像；

对所述目标图像包含的子标记物进行识别，确定所述子标记物属于第一标记物还是第二标记物，并得到所述子标记物的身份信息；

根据所述子标记物的身份信息获取所述子标记物的物理坐标，所述物理坐标用于表示所述子标记物在交互装置上的实际物理位置；以及

根据所述子标记物在所述目标图像上的像素坐标和所述物理坐标，获取所述终端设备与交互装置之间的相对位置信息。

12.如权利要求11所述的方法，其特征在于，所述对所述目标图像包含的子标记物进行识别，包括：

获取所述目标图像中多个连通域之间的包围关系；以及

根据所述目标图像中多个连通域之间的包围关系，识别所述目标图像包含的子标记物。

13.如权利要求12所述的方法，其特征在于，所述子标记物包括识别簇和基准簇，所述根据所述目标图像中多个连通域之间的包围关系，识别所述目标图像包含的子标记物，包括：

根据所述多个连通域之间的包围关系，确定所述目标图像中的子标记物包含的识别簇和基准簇；

所述确定所述子标记物属于第一标记物还是第二标记物，并得到所述子标记物的身份信息，包括：

根据基准簇对应连通域的包围关系确定所述基准簇对应的第一标识信息，所述第一标识信息用于标识所述子标记物属于所述第一标记物还是第二标记物；

根据所述识别簇对应连通域的包围关系确定所述识别簇对应的第二标识信息，所述第二标识信息用于标识所述子标记物在所属的标记物中的身份；以及

基于所述第一标识信息和所述第二标识信息得到所述子标记物的身份信息。

Images