CN110119192B - 视觉交互装置 - Google Patents

Abstract

本发明涉及一种视觉交互装置，应用于识别跟踪系统，所述视觉交互装置包括装置主体，所述装置主体表面设有标记物，所述标记物包括第一标记物以及区别于所述第一标记物的第二标记物；所述装置主体包括第一表面及与第一表面不共面的第二表面，所述第一表面设有所述第一标记物，所述第二表面设有所述第二标记物，所述第一标记物及所述第二标记物用于供外部的图像采集装置识别。上述的视觉交互装置，通过所述第一标记物以及所述第二标记物，能够较为方便地被外部的图像采集装置识别。

Description

视觉交互装置

技术领域

本发明涉及交互领域，尤其涉及一种用于图像采集跟踪的视觉交互装置。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)和虚拟现实(VR，Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知；而交互技术作为增强现实系统中的重要部分，满足了人们在虚拟和现实世界进行交互的愿望，如何提高人们与虚拟世界进行交互的效果，已成为研发方向的重点，控制器是实现人机交互的重要工具之一。

通常情况下，现有的控制器通常包括光点特征信息，通过对所述控制器上的光点的采集，来实现控制器的识别以及追踪。用户在使用控制器进行交互时，开启控制器使得光点发光，通过图像传感器对该发光点进行采集和识别。上述的控制器仍有诸多不足，如识别追踪的效率受到控制器本身发光点的发光状况以及环境光线影响较大，当环境光线很强时，发光点相对于图像采集装置若处于背光位置，则很容易与其背景光线融合，导致控制器难以被有效地识别；身份特征信息依靠光点的颜色确定，不易扩展更多的特征信息，且需要主动发光，成本较高。

发明内容

本发明实施例的目的在于提供一种能够易于识别及追踪的视觉交互装置，用于解决上述技术问题。

本发明实施例提供一种视觉交互装置，应用于识别跟踪系统，所述视觉交互装置包括装置主体，所述装置主体表面设有标记物，所述标记物包括第一标记物以及区别于所述第一标记物的第二标记物；所述装置主体包括第一表面及与第一表面不共面的第二表面，所述第一表面设有所述第一标记物，所述第二表面设有所述第二标记物，所述第一标记物及所述第二标记物用于供外部的图像采集装置识别。

在其中一些实施方式中，所述装置主体外设置有标识层，所述标识层覆盖所述第一表面及所述第二表面，所述标识层形成所述标记物。

在其中一些实施方式中，所述标记物包括一个或多个子标记物，所述子标记物包括一个或多个特征点，所述特征点由反光层、图案层中的一个或两个形成。

在其中一些实施方式中，所述标识层包括反光层以及图案层，所述图案层设置在所述反光层背离所述装置主体的一侧，所述图案层和所述反光层共同形成所述标记物。

在其中一些实施方式中，所述图案层为设于所述反光层上的油墨制成的标识图案，所述图案层与所述反光层具有区别，使所述图案层与所述反光层共同形成供所述图像采集装置识别的所述标记物。

在其中一些实施方式中，所述装置主体与所述反光层之间设有基础层，所述基础层为由布料制成的基布。

在其中一些实施方式中，所述标识层还包括滤光层，所述滤光层设置在所述反光层及所述图案层背离所述装置主体的一侧；

或者，所述标识层还包括滤光层，所述滤光层设置在所述反光层及所述图案层之间。

在其中一些实施方式中，所述装置主体为多面体结构，所述标记物设置于所述装置主体的外表面；

或者，所述装置主体为多面体结构，所述标记物设置于所述装置主体的外表面的显示屏显示而形成。

在其中一些实施方式中，所述装置主体为二十六面体，所述装置主体包括十八个正方形面以及八个三角形面，所述第一表面及所述第二表面为十八个正方形面以及八个三角形面中的任意两个。

在其中一些实施方式中，所述装置主体为以下结构中的任意一种或多种的组合：棱锥、棱柱、棱台、多面体、球体。

相对于现有技术，本发明实施例所提供的视觉交互装置中，其装置主体包括携带所述第一标记物的所述第一表面，以及携带所述第二标记物的第二表面其中，第二标记物区别于第一标记物。当用户使用时，通过使装置主体上的不同的标记物在图像采集装置的视野范围内发生旋转或/及位移，使得图像采集装置实时识别跟踪视觉交互装置上的标记物信息，进而获取视觉交互装置的位置姿态信息，以便图像采集装置能够根据标记物识别或/及追踪视觉交互装置。同时，通过标记物使视觉交互装置更易于被图像采集装置识别，能够避免环境光线对识别/追踪带来的不良影响，从而提高视觉交互装置被识别的准确度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例提供的视觉交互装置所应用的识别跟踪系统的示意图；

图2是图1所示识别跟踪系统的一种标记物的示意图；

图3是图1所示识别跟踪系统的另一种标记物的示意图；

图4是本发明第一实施例提供的视觉交互装置的立体示意图；

图5是图4所示的视觉交互装置的另一视角的立体示意图；

图6是图4所示的视觉交互装置及其一种标识层的示意图；

图7是图6所示视觉交互装置的一种标记物的示意图；

图8是图6所示视觉交互装置的标识层的剖面示意图；

图9是图6所示视觉交互装置的另一实施例的标识层的剖面示意图；

图10是图6所示视觉交互装置的又一实施例的标识层的剖面示意图；

图11(a)～图11(i)是本发明其他实施例提供的视觉交互装置的主体的立体示意图；

图12是本发明第二实施例提供的视觉交互装置的立体示意图；

图13是本发明第三实施例提供的视觉交互装置的立体分解示意图；

图14是本发明实施例提供的视觉交互装置的其中一个应用场景的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，示出了本发明实施例提供的识别跟踪系统。识别跟踪系统包括头戴显示装置1000和视觉交互装置。

该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。所述标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物，每个子标记物具有一个或多个特征点。其中，第一背景和第二背景有一定的区分度，例如，可以是第一背景为黑色，第二背景为白色。本实施方式中，每个标记物内的子标记物的分布规则不同，因此，每个标记物所对应的图像互不相同。

子标记物为具有一定形状的图案，且该子标记物的颜色与标记物内的第二背景有一定的区分度，例如，第二背景为白色，而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成，且特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。

作为一种实施方式，如图2所示，标记物222包括多个子标记物220，而每个子标记物220由一个或多个特征点221构成，图2中的每个白色圆形图案为一个特征点221。标记物222的轮廓为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，图2中，矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。

作为另一种实施方式，如图3所示，标记物310内包括多个子标记物341，而每个子标记物342由一个或多个特征点340构成；其中，多个黑色圆点340构成一个子标记物341。具体地，图3中，每个白色圆形图案和每个黑色圆点图案均为特征点340。

具体地，视觉交互装置包括平面标记物体和多面标记结构体。该平面标记物体包括第一标记板201和第二标记板500，该多面标记结构体包括六面标记结构体410和二十六面标记结构体100，当然还可以是其他面数的标记结构体，在此不一一列举。

第一标记板201上设置有多个标记物，多个标记物的内容互不相同，且第一标记板201上的多个标记物设置在同一个平面上，即第一标记板201设有一个标记面，且所有的标记物均设置在第一标记板201的标记面上，第一标记板201上的特征点均在标记面上；第二标记板500上设置有一个标记物，第二标记板500上的特征点也全部是在标记面上的，第二标记板500的数量可以是多个，且每个第二标记板500的标记物的内容互不相同，多个第二标记板500可以组合使用，如在该识别跟踪系统对应的增强现实，或虚拟现实等应用领域组合使用。

多面标记结构体包括多个标记面，且其中至少两个不共面的标记面上设置有标记物，如图1中所示，该多面标记结构体包括六面标记结构体410和二十六面标记结构体100，其中，六面标记结构体410包括6个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。

而二十六面标记结构体100包括二十六个面，其中，包括17个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。当然，上述的多面标记结构体的总面数以及标记面的描述和标记物的设置，可以根据实际使用而设置，在此不做限定。

需要说明的是，视觉交互装置并不限定于上述平面标记物体和多面标记结构体，视觉交互装置可以是任何具有标记物的载体，载体可以根据实际场景设置，如玩具枪、游戏枪等模型枪，在模型枪等视觉交互装置上设置相应的标记物，通过识别追踪模型枪上的标记物，能够获取模型枪的位置和旋转信息，用户通过握持该模型枪在虚拟场景中进行游戏操作，实现增强现实的效果。

头戴显示装置1000包括壳体(未标识)、图像采集装置110、处理器140、显示装置120、光学组件130和照明装置150。

其中，显示装置120和图像采集装置110均与处理器电连接；在一些实施方式中，照明装置150和图像采集装置110均通过滤光板(未标识)装设并覆盖在壳体内，该滤光板可过滤环境光等干扰光线，如照明装置150发射红外光，则该滤光板可为过滤除红外光线外的光线的元件。

图像采集装置110用于采集待拍摄物体的图像并发送至处理器。具体地，采集包含有上述标记板或多面标记结构体中至少一个的图像，并发送至处理器。作为一种实施方式，该图像采集装置110为单目的近红外成像相机。当前实施方式中，图像采集装置110为采用红外接收方式且为单目的相机，不仅成本低，无需双目相机之间的外参，而且功耗低，同等带宽下帧率更高。

处理器140用于根据图像输出对应的显示内容至显示装置120，还用于对视觉交互装置进行识别跟踪的运算。

处理器140可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器140可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器140还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，当处理器140应用于头戴显示装置时，处理器根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置并通过光学组件进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像，通过光学组件进行显示；还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容，发送至显示装置并通过光学组件进行显示。可以理解的是，处理器140并不限定于装设在头戴显示装置内。

在一些实施方式中，头戴显示装置1000还包括设置在壳体上的视觉里程相机160，其中，视觉里程相机160与处理器电连接，该视觉里程相机160用于采集外界真实场景的场景图像，将场景图像发送至处理器。在用户穿戴头戴显示装置1000时，处理器根据该视觉里程相机160采集的场景图像，根据视觉里程技术获取用户的头部与真实场景的位置及旋转关系，具体地，系统通过该相机获取的图像序列，经过特征提取、特征匹配与跟踪和运动估计的处理，得出具体的位置和方向的变化，完成导航定位，进而获得头戴显示装置与真实场景的相对位置及旋转关系；再根据视觉交互装置相对于头戴显示装置的位置及旋转信息，可以推算出视觉交互装置与真实场景之间的相对位置及旋转关系，从而可以实现更复杂的交互形式与体验。

显示装置120用于将显示内容显示。在一些实施例中，显示装置可以是智能终端的一部分，即智能终端的显示屏，例如手机和平板电脑的显示屏。在另一些实施例中，显示装置还可以是独立的显示器(例如，LED，OLED或LCD)等，则此时显示装置固定安装在壳体上。

需要说明的是，当显示装置120为智能终端的显示屏时，壳体上设置有用于安装该智能终端的安装结构。在使用时，将智能终端通过安装结构安装在壳体上。则处理器140可以是智能终端内的处理器，也可以是独立设置在壳体内的处理器，并与智能终端通过数据线或通信接口电连接。另外，当显示装置120为与智能终端等装置设备分离的显示装置时，固定安装在壳体上。

光学组件130用于将显示装置120的出光面发出的入射光射向预设位置处。其中，预设位置处为用户双眼的观察位置。

照明装置150用于为图像采集装置110采集待拍摄物体的图像时提供光线。具体地，照明装置150的照明角度以及照明装置150的数量，可以根据实际使用而设定，以使所发射的照明光线能够覆盖待拍摄物体。其中，照明装置150采用红外光照明装置，能够发出红外光线，此时图像采集装置为近红外相机，可以接收红外光线。通过主动照明的方式，提高图像采集装置110采集的目标图像的图像质量，具体地，照明装置150的数量不限，可以是一个，也可以是多个。在一些实施方式中，照明装置150设置在图像采集装置110的附近，其中，可以是多个照明装置150周向设置在图像采集装置110的摄像头的附近。

用户在佩戴头戴显示装置1000，进入预设的虚拟场景时，当该视觉交互装置在图像采集装置110的视野范围内时，图像采集装置110采集到包含有该视觉交互装置的目标图像；处理器140获取到该目标图像及相关信息，运算识别出该视觉交互装置并获取到该目标图像内的标记物与图像采集装置之间的位置与旋转关系，进而得到视觉交互装置相对于头戴显示装置的位置及旋转关系，使得用户观看到的虚拟场景在相应的位置及旋转角度上；用户还可以通过多个视觉交互装置的结合以在虚拟场景内进一步产生的新的虚拟图像，给用户带来更好的体验效果；用户还可以通过视觉交互装置实现与虚拟场景的交互；此外，该识别追踪系统还可以通过视觉里程相机获取头戴显示装置与真实场景的位置与旋转关系，进而可以获取视觉交互装置与真实场景的位置和旋转关系，当虚拟场景和真实场景有一定的对应关系时，可以构建出一个与真实场景类似的虚拟场景，可以提高更真实的增强现实体验。

请参阅图4，针对上述可应用于虚拟现实及增强现实中的识别跟踪系统，本发明实施例提供了一种视觉交互装置100，视觉交互装置100应用于识别跟踪系统时，其作为上述的多面标记结构体使用，视觉交互装置100具有标记物101以允许图像采集装置110识别。

具体而言，视觉交互装置100进入识别跟踪系统的图像采集装置110的视场范围内时，图像采集装置100采集视觉交互装置100上的标记物101的图像并将该图像传输至处理器140，处理器140根据采集到的图像计算该视觉交互装置100的当前姿态以及运动状态后，运算得知视觉交互装置100的位置姿态信息并控制图像采集装置100持续追踪视觉交互装置100，或/及，根据视觉交互装置100的当前姿态以及当前运动状态生成对应的控制指令，控制显示装置120显示对应的内容。

请同时参阅图4及图5，视觉交互装置100具有标记物101以允许外部的图像采集装置识别并追踪，图像采集装置可以为上述的图像采集装置110。

在本实施方式中，视觉交互装置100包括装置主体10以及连接于装置主体10的手柄30。在一些实施方式中，手柄30设有连接部(图中未标出)，装置主体10连接于连接部。

装置主体10上设有标记物101，外部的图像采集装置通过采集具有标记物101的图像，获取视觉交互装置100所搭载的信息，进而获取视觉交互装置100的身份信息及位置姿态信息，实现视觉交互装置100的识别或/及追踪。在一些实施方式中，外部的图像采集装置通过识别标记物101的图像获取视觉交互装置100的身份及位置姿态信息，并将该信息传输至外部的控制设备，使控制设备生成对应姿态的控制命令，并执行控制命令。控制设备可以为但不限于为执行终端，例如穿戴式电子装置、便携式电子装置等等，或者例如上文提供的处理器140。上述的图像采集装置可以为机器图像采集装置，包括但不限于利用摄像头采集图像的图像采集装置等，或者例如上文提供的图像采集装置110。

装置主体10的具体形态结构不受限制。具体在图4至图5所示的实施方式中，装置主体10为二十六面体，其包括十八个正方形面以及八个三角形面。

进一步地，装置主体10包括第一表面12以及第二表面14，第二表面14与第一表面12不共面。具体而言，第一表面12的法线方向与第二表面12的法线方向不相同。第一表面12上设置有第一标记物121，第二表面14上设置有区别于第一标记物121的第二标记物141。通过设置第一标记物121及第二标记物141，使图像采集装置识别第一标记物121及第二标记物141中的任一个或两个，进而确认对应于第一标记物121及第二标记物141的目标物体为视觉交互装置100，并获取视觉交互装置100的位置姿态信息，以对视觉交互装置100进行识别跟踪。

可以理解的是，第一表面12及第二表面14之间的位置关系不受限制，例如，第一表面12与第二表面14可以相邻设置，或者，第一表面12与第二表面14可以相间隔设置，或者，第一表面12及第二表面14可以为十八个正方形面以及八个三角形面中的任意两个，并不局限于本说明书所描述。

可以理解的是，在其他的一些实施方式中，装置主体10还可以包括第三表面、第四表面、第五表面……第二十六表面(图中均未标出)中的任一个或多个，相应地，这些表面上设置有对应的标记物101，多个表面上的标记物101可以各不相同。当用户使用时，通过使装置主体10上的不同的标记物101在图像采集装置的视野范围内发生旋转或/及位移，使得图像采集装置实时识别跟踪视觉交互装置100上的标记物101信息，进而获取视觉交互装置100的位置姿态信息，以便图像采集装置能够根据标记物识别或/及追踪视觉交互装置100，进而完成用户向图像采集装置输出信息的工作，使得虚拟世界中生成与视觉交互装置100对应的虚拟角色并完成相应的动作指令。

进一步地，请同时参阅图6至图8，在一些实施方式中，装置主体10之外设有标识层50，标记物101由标识层50形成。具体而言，标识层50覆盖于装置主体100的外表面，并于对应于第一表面12、第二表面14、第三表面、第四表面、第五表面……第二十六表面(图中均未标出)中的任一个或多个的位置处形成对应的标记物101。

标识层50包括基础层52、反光层54以及图案层56。基础层52覆盖于装置主体10的表面，基础层52用于承载反光层54，反光层54及图案层56共同形成标记物101。

在本实施方式中，基础层52为由布料制成的基布，可以理解，在其他的实施方式中，基础层52可以由布制成、也可以由塑料制成等，当基础层52由硬质材料制成时，其可以由金属材料制成，也可以由合金等材料制成。甚至，在一些实施方式中，基础层52可以省略，而反光层54直接设置于装置主体10上，并与图案层56共同形成标记物101。

在本实施方式中，反光层54设于基础层52背离装置主体10的一侧，反光层54用于反射光线，以使标记物101能够准确地被图像采集装置识别。图案层56设在反光层54背离基础层52的一侧，图案层56区别于反光层54，并用于与反光层54共同形成标记物101。在本实施方式中，图案层56为采用油墨绘制成的标识图案。图像采集装置采集标记物101时，通过照明装置向标记物101发出光线，投射到反光层54上的光线会被反光层54反射至图像采集装置，而投射到图案层56上的光线则不会被反射或仅被少量反射，由于被反射的光线的差异，图像采集装置能够顺利地采集到具有标记物101的图像。

可以理解的是，图案层56呈现出的具体图案不受限制，其可以为任意供图像采集装置获取的图案。例如，图案层56的具体图案可以为以下任意图案中的一种或多种的组合：圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等，并不局限于本说明书所描述。同样可以理解的是，图案层56可以为由油墨以外的其他材质制成的标识图案，例如，图案层56可以为由塑料、树脂、橡胶等材料制成的标识图案。

同样可以理解的是，标记物101的形成，并不局限于上文描述的反光层54与图案层56相结合的形式，而可以采用其他形式。例如，在一些实施方式中，反光层54与图案层56可以为两种不同颜色的物体，二者组合形成供图像采集装置获取的图案。或者，在一些实施方式中，标记物101可以由图案层56单独形成，此时反光层54可以省略，图案层56可以直接设置于装置主体10上并形成标记物101。又如，标记物101可以为由电子显示的方式形成而不需要设置反光层54以及图案层56，此时，装置主体10的表面为显示屏，通过控制装置主体10的表面显示供图像采集装置获取的图案以形成标记物101。

请同时参阅图6及图7，在一些实施方式中，图案层56与反光层54具有一定的区分度，以与反光层54共同形成供图像采集装置获取的标记物101。标记物101包括按照预设规则分布的一个或多个子标记物1011，每个子标记物1011包括一个或多个特征点1013。本实施方式中，每个标记物101内的子标记物1011的分布规则不同，因此，每个标记物101所对应的图像互不相同。子标记物1011可以是由一个或多个特征点1013构成，且特征点1013的形状不做限定，可以是圆点、圆环，也可以是三角形或其他形状。作为一种实施方式，如图7所示，每个黑色图案内白色圆点或单独的黑色圆点均为特征点1013。特征点1013可以为图案层56、反光层54中的一个或两个形成，例如，所述特征点1013可以为图案层56形成的黑点图案。

可以理解的是，在其他的一些实施方式中，标记物101可以为其他类型的图案，而使标记物101能够较为有效地以被图像采集装置识别。例如，图案层56的具体图案可以为在反光层54能够分辨的几何图形(如圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等)、预定图案(如动物头像、常用示意符号例如交通标志等)或者其他的图案以形成标记物，并不局限于本说明书所描述。同样可以理解的是，在其他的一些实施方式中，标记物101可以为条形码、二维码等识别码。

可以理解的是，在一些实施方式中，基础层52可以省略，而反光层54直接设置于装置主体10的表面。

进一步地，请参阅图9，在一些实施方式中，标识层50还包括滤光层58，滤光层58设置于图案层56上，并覆盖反光层54以及图案层56。滤光层58可以过滤除照明装置射向反光层54的光线之外的光线，避免反光层54在反射光线时受到环境光线的影响，从而使得标记物101更容易被识别。可以理解的是，滤光层58可以设置在反光层54与图案层56之间(如图10所示)。

进一步地，滤光层58的滤光性能可以根据实际需要设置。例如，当视觉交互装置100进入图像采集装置的视场中以被识别/追踪时，为了提高识别效率，图像采集装置通常借助辅助光源进行辅助采集图像，例如，采用红外光源进行辅助时，滤光层58则用于过滤除红外光以外的光(如可见光、紫外光等)，使除红外光以外的光无法穿过滤光层58而红外光可穿过并抵达反光层54。当辅助光源将红外光投射至标识层50，滤光层58会过滤除红外光以外的环境光，使仅有红外光到达反光层54并被反光层54反射至近红外的图像采集装置中，从而能够降低环境光线对识别/追踪过程的影响。

此时，使滤光层58进一步地设置于图案层56上，并覆盖反光层54以及图案层56，由于滤光层58已将过滤除红外光以外的环境光(如可见光、紫外光等)，可见光无法穿过滤光层58，则可见光不能到达图案层56，使图案层56在肉眼状态下不可见，则标识层50在肉眼观察下呈现为未包含图案的外观，能够提高视觉交互装置100的外观效果以及科技感。可以理解的是，上述的“红外光”仅为举例说明，其不应成为限制，在实际应用时，可以根据实际需要选择，如紫外光或其他射线，本说明书不作一一赘述。

可以理解的是，装置主体10的形状可以为其他形状，而使装置主体10可以至少包括第一表面12以及第二表面14，第一表面12及第二表面14上均设有对应的标记物101，以便于视觉交互装置100能够借由标记物101以便被图像采集装置识别并获取/追踪姿态。

例如，请参阅图11(a)，装置主体10可以设计为正四面体，其包括四个正三角形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。

又如，请参阅图11(b)，装置主体10可以设计为正六面体，其包括六个正方形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。

再如，请参阅图11(c)，装置主体10可以设计为八面体，其包括八个正三角形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。

又如，请参阅图11(d)，装置主体10可以设计为十二面体，其包括十二个正五边形面，其中，第一表面12与第二表面14相邻接。当然，在其他的实施方式中，第一表面12与第二表面14可以相间隔设置。

装置主体10还可以设计为其他的多面体结构，例如图11(e)至图11(i)所示的多面体结构，本说明书不再一一赘述。应当了解的是，装置主体10为多面体结构，其包括多个面、多条边和多个顶点，当然，球体可以理解为由无数个面形成的多面体。可以理解的是，视觉交互装置100的多面体结构还可以为平面与曲面相结合的多面体、曲面与曲面相结合的多面体。

可以理解的是，装置主体10的多面体结构可以看作多个多面体结构相结合而成，例如，图11(c)中的装置主体10可以看作是两个四棱锥相结合而成的多面体结构，又如，图11(e)中的装置主体10可以看作是四个五棱锥相结合而成的多面体结构，再如，图11(g)中的装置主体10可以看作是多个四棱锥相结合而成的多面体结构，又如，图11(h)中的装置主体10可以看作是一个多棱锥与一个多棱台相结合而成的多面体结构，本说明书中不再穷举。总而言之，装置主体的多面体结构，可以为以下结构中的任一种或多种的组合：棱锥、棱柱、棱台、多面体、球体等等。

可以理解的是，视觉交互装置100并不限定本实施方式中的结构，可以是任何具有至少两个不共面的标记物101的载体。

在本发明提供的上述视觉交互装置100包括呈多面体形状的装置主体10，装置主体10至少包括携带第一标记物121的第一表面12，以及携带第二标记物141的第二表面14，其中，第二标记物141区别于第一标记物121。当用户使用时，通过使装置主体10上的不同的标记物101在图像采集装置的视野范围内发生旋转或/及位移，使得图像采集装置实时识别跟踪视觉交互装置100上的标记物101信息，进而获取视觉交互装置100的位置姿态信息，以便图像采集装置能够根据标记物识别或/及追踪视觉交互装置100。同时，通过标记物101使视觉交互装置100更易于被图像采集装置识别，能够避免环境光线对识别/追踪带来的不良影响，从而提高视觉交互装置100被识别的准确度。

请参阅图12，在本发明第二实施例中，提供另一种视觉交互装置200，视觉交互装置200与上述实施例中提供的视觉交互装置100大致相同，视觉交互装置200同样包括装置主体210、手柄230，装置主体210上同样地设有第一表面212、第一标记物2121、第二表面214以及第二标记物2141。相对于上述实施例的视觉交互装置100，本实施例中的视觉交互装置200的不同在于：

装置主体210还包括第三表面216，第三表面216设有动态区2161，动态区2161用于根据用户需求动态地显示内容，以使图像采集装置能够从动态区2161获取不同的内容。具体地，用户通过操作手柄230，使动态区2161呈现出不同的内容。

具体在本实施例中，动态区2161为镂空结构，手柄230的一端可转动地收容于装置主体210中，手柄230上的指令区能够通过动态区2161的镂空结构显露于外界，以被图像采集装置采集。具体而言，动态区2161的镂空结构为通孔。进一步地，手柄230收容于装置主体210中的部分设有指令区(图中未示出)以及非指令区(图中未示出)，通过外力驱使手柄230相对装置主体210转动，能够使指令区或非指令区现于镂空结构中，使图像采集装置能够从动态区2161获取到视觉交互装置200的指令状态变化，进而获取用户的动作指令，使得虚拟世界中的角色执行对应的动作指令。

在本实施例中，指令区为反光块，用户通过驱使手柄230相对装置主体210转动，使得动态区2161的镂空结构出现或不出现反光块(即，使指令区或非指令区呈现于镂空结构中)，由于反光块在照明装置的辅助下能被图像采集装置采集到，因此可以获取到视觉交互装置200的两种状态，用户通过切换视觉交互装置200的状态即能实现虚拟角色在虚拟世界中对应的操作。

具体在图12所示的实施方式中，第一表面212及第二表面214为十八个正方形面中的任意两个，第三表面216为八个三角形面中的任意一个。可以理解的是，在另一些实施方式中，第三表面216的数量可以为一个或多个，当第三表面216为多个时，多个第三表面216均为三角形面，而第一表面212及第二表面214为十八个正方形面中的任意两个。

在另一些实施方式中，手柄230设置有操作部232，操作部232用于控制指令区的切换。用户通过操作操作部232，能够改变动态区2161的显示内容，使至少两个指令区呈现于镂空结构中，以允许图像采集装置能够从动态区2161获取包含指令区的图像，从而使得虚拟世界中的角色完成相应的动作指令。可以理解的是，在一些实施方式中，操作部232可以为实体按键、虚拟按键、旋钮、拨钮或其他的触发件等，用户对操作部232的操作可以为：按压、触摸、转动、拨动或其他的触发动作等，并不局限于本说明书所描述。

总而言之，动态区2161用于根据手柄230的状态显示指令区或非指令区，以允许图像采集装置能够从动态区2161获取指令区视觉交互装置200的状态信息。例如，手柄230处于第一状态时，动态区2161显示指令区，手柄230处于第二状态时，动态区2161显示非指令区。

相对于现有技术，本发明实施例所提供的视觉交互装置200中，其装置主体210设有动态区2161，动态区2161用于根据手柄230的状态显示指令区或非指令区。当用户使用时，通过使装置主体10的指令区或非指令区在图像采集装置的视野范围内切换，使得图像采集装置实时识别跟踪视觉交互装置100上的指令区或非指令区，进而获取视觉交互装置100的控制状态信息。同时，通过指令区的设置使视觉交互装置100更易于被图像采集装置识别，能够避免环境光线对识别/追踪带来的不良影响，从而提高视觉交互装置100被识别的准确度。

请参阅图13，在本发明第三实施例中，提供另一种视觉交互装置600，视觉交互装置600与上述实施例中提供的视觉交互装置200大致相同，视觉交互装置600同样包括装置主体610、手柄630，装置主体610上同样地设有第一表面612、第一标记物6121、第二表面614以及第二标记物6141，装置主体610上同样地设有动态区6161。相对于上述实施例的视觉交互装置200，本实施例中的视觉交互装置600的不同在于：

装置主体610包括第一壳体611及第二壳体613，第一壳体611与第二壳体613的结构大致相同，第一壳体611与第二壳体613相互扣合形成装置主体610的多面体结构。进一步地，第一壳体611以及第二壳体613均设置有动态区6161。

手柄630包括握持件631以及控制件633。握持件631连接于第一壳体611，控制件633连接于握持件631并收容于装置主体610内。通过操作握持件631，能够控制控制件633在装置主体610内转动，使动态区6161内呈现指令区或非指令区。在本实施例中，指令区及非指令区的设置与第二实施方式中的指令区、非指令区的设置基本相同。

控制件633包括连接件6331、第一控制部6333及第二控制部6335。连接件6331连接于握持件631，并在装置主体610内沿握持件631的轴线方向延伸设置。第一控制部6333设置于连接件6331远离握持件631的一端，并对应地收容在第一壳体611形成的收容空间中。第二控制部6335连接于第一控制部6333背离连接件6331的一侧，并对应地收容中第二壳体613形成的收容空间中。第一控制部6333以及第二控制部6335中的至少一个设置有指令区以及邻近指令区的非指令区，通过驱使控制件633相对装置主体610转动，能够使第一控制部6333以及第二控制部6335中的至少一个上的指令区呈现于对应的动态区6161中。

进一步地，第一控制部6333设有第一指令区6332以及第一非指令区6335，通过外力驱使第一控制部6333相对装置主体610转动，能够使第一指令区6332以及第一非指令区6335中的任一个呈现于动态区6161中，使图像采集装置能够从动态区6161获取到视觉交互装置600的指令状态变化，进而获取用户的动作指令，使得虚拟世界中的角色执行对应的动作指令。类似地，第二控制部6335设有第二指令区6336以及第二非指令区6334。

进一步地，手柄630设置有操作部632，操作部632连接于第一控制部6333以及第二控制部6335。用户通过操作操作部232，能够控制第一控制部6333以及第二控制部6335相对装置主体610转动，从而改变动态区6161的显示内容。可以理解的是，在一些实施方式中，第一控制部6333的转动运动与第二控制部6335的转动运动二者之间互不影响，或者，第一控制部6333以及第二控制部6335为联动转动。

在本说明书提供的实施例中，在不冲突的情况下，上述的实施例之间可以相互结合，各实施例的特征之间也可以相互结合，并不以实施例为限定，例如，上述第一实施例的视觉交互装置100可以包括第二实施例的视觉交互装置200的第三表面216、动态区2161的结构，也可以同时包括第三实施例的视觉交互装置600的装置主体610以及手柄630的结构；又如，第二实施例的视觉交互装置200可以同时包括第三实施例的视觉交互装置600的装置主体610以及手柄630的结构，等等，本说明书不作穷举。

请参阅图14，图14示出了本发明上述实施例提供的视觉交互装置100、200、600的其中一个应用场景的示意图。在图14所示的应用场景中，视觉交互装置100、200、600被应用于头戴显示系统，并作为头戴显示系统的视觉交互装置使用。头戴显示系统包括图像采集装置300、头戴显示装置400以及视觉交互装置100、200、600。

头戴显示装置400包括控制中心401以及显示器403，显示器403为透反镜片，控制中心401用于向显示器403投放图像内容，使用户能够在显示器403中观察到图像内容。用户在显示器403中看到图像内容的同时，能够透过显示器403观察到前方的环境，因而，用户眼睛所获得的图像为图像内容与前方环境叠加后的虚拟现实叠加场景。

图像采集装置300电连接于头戴显示装置400，图像采集装置300用于获取其视场范围内的环境信息。视觉交互装置100、200、600用于供用户手持，并允许用户通过视觉交互装置100、200、600向控制中心401发出控制所需的信息。

上述的头戴显示系统在使用时，用户通过变换视觉交互装置100、200、600的姿态，使图像采集装置300获取视觉交互装置100、200、600上的标记物的图像，并将该标记物的图像传送至控制中心401，控制中心401根据该标记物的图像，获取视觉交互装置100、200、600的姿态(包括静止姿态、运动姿态等)并向显示器403投放相应的内容或执行相应的动作(如图像采集装置300持续识别并追踪视觉交互装置100、200、600)。例如，用户通过调整视觉交互装置100、200、600的姿态，在虚拟现实场景中与虚拟物品进行互动(如抓取、选择等动作)；又如，用户将视觉交互装置100握持为特定姿态，如持剑姿态，图像采集装置300获取到该特定姿态后，控制中心401在显示器403中投射剑的影像，并使剑的影像叠加在视觉交互装置100、200、600的影像上，从而使用户在显示器403中看到的场景为用户的手持剑的场景。

在本实施方式中，图像采集装置300设有发射器301以及图像获取单元303，发射器301用于向视觉交互装置100发射光线，发射器301射出的光线投射到视觉交互装置100、200、600上后会被反射至图像获取单元303，使图像获取单元303能够获取视觉交互装置100、200、600上的标记物的图像。

上述的应用场景，仅给出了本发明提供的视觉交互装置的所有应用场景的其中之一，可以理解的是，视觉交互装置还可以应用于其他的场景中，例如，视觉交互装置可以作为机器人的遥控器，应用于机器人的作业场景中；又如，视觉交互装置可以作为人机交互装置，应用于用户与电器、电子设备等的交互场景中，等等，本说明书不作一一赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视觉交互装置，应用于一识别跟踪系统，其特征在于，所述视觉交互装置包括装置主体，所述装置主体表面设有标记物，所述标记物包括第一标记物以及区别于所述第一标记物的第二标记物；所述装置主体包括第一表面及与第一表面不共面的第二表面，所述第一表面设有所述第一标记物，所述第二表面设有所述第二标记物，所述第一标记物及所述第二标记物用于供外部的图像采集装置识别；

所述装置主体还包括第三表面，所述第三表面设有动态区，所述动态区用于根据用户需求动态地显示内容，以使所述图像采集装置能够从动态区获取不同的内容；

所述视觉交互装置还包括手柄，所述手柄包括握持件以及控制件，所述控制件连接于所述握持件并收容于所述装置主体内，所述控制件上设置有指令区和非指令区，所述握持件能够控制所述控制件在所述装置主体内转动，以使所述指令区或所述非指令区呈现于所述动态区内，进而使所述图像采集装置从所述动态区获取到所述视觉交互装置的指令状态变化，以控制虚拟角色执行对应的动作指令。

2.如权利要求1所述的视觉交互装置，其特征在于，所述装置主体外设置有标识层，所述标识层覆盖所述第一表面及所述第二表面，所述标记物由所述标识层形成。

3.如权利要求2所述的视觉交互装置，其特征在于，所述标记物包括一个或多个子标记物，所述子标记物包括一个或多个特征点，所述特征点由反光层、图案层中的一个或两个形成。

4.如权利要求2所述的视觉交互装置，其特征在于，所述标识层包括反光层以及图案层，所述图案层设置在所述反光层背离所述装置主体的一侧，所述图案层和所述反光层共同形成所述标记物。

5.如权利要求4所述的视觉交互装置，其特征在于，所述图案层为设于所述反光层上的油墨制成的标识图案，所述图案层与所述反光层具有区别，使所述图案层与所述反光层共同形成供所述图像采集装置识别的所述标记物。

6.如权利要求4所述的视觉交互装置，其特征在于，所述装置主体的表面与所述反光层之间设有基础层，所述基础层为由布料制成的基布。

7.如权利要求4所述的视觉交互装置，其特征在于，所述标识层还包括滤光层，所述滤光层设置在所述反光层及所述图案层背离所述装置主体的一侧；

或者，所述标识层还包括滤光层，所述滤光层设置在所述反光层及所述图案层之间。

8.如权利要求1所述的视觉交互装置，其特征在于，所述装置主体为多面体结构，所述标记物设置于所述装置主体的外表面；

或者，所述装置主体为多面体结构，所述标记物设置于所述装置主体的外表面的显示屏显示而形成。

9.如权利要求8所述的视觉交互装置，其特征在于，所述装置主体为二十六面体，所述装置主体包括十八个正方形面以及八个三角形面，所述第一表面及所述第二表面为十八个正方形面以及八个三角形面中的任意两个。

10.如权利要求8所述的视觉交互装置，其特征在于，所述装置主体为以下结构中的任意一种或多种的组合：棱锥、棱柱、棱台、多面体、球体。