CN110119195A - 视觉交互装置及标记物 - Google Patents

视觉交互装置及标记物 Download PDF

Info

Publication number
CN110119195A
CN110119195A CN201810119871.3A CN201810119871A CN110119195A CN 110119195 A CN110119195 A CN 110119195A CN 201810119871 A CN201810119871 A CN 201810119871A CN 110119195 A CN110119195 A CN 110119195A
Authority
CN
China
Prior art keywords
marker
sub
interactive device
visual interactive
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810119871.3A
Other languages
English (en)
Inventor
胡永涛
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201810119871.3A priority Critical patent/CN110119195A/zh
Priority to PCT/CN2018/125598 priority patent/WO2019153971A1/zh
Publication of CN110119195A publication Critical patent/CN110119195A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明提供了一种视觉交互装置及标记物,用于具有图像采集装置的识别跟踪系统,所述视觉交互装置包括:本体,以及设置于所述本体表面的至少一个标记物,每个标记物包括多个相互分离的子标记物,每个子标记物内具有一个或多个特征点,每一标记物的子标记物及相应的特征点的数量构成该标记物的数量组合,每一标记物对应的数量组合互不相同,所述视觉交互装置的标记物用于在该识别跟踪系统中,根据图像采集装置采集的目标图像中的标记物,确定所述视觉交互装置的姿态信息。

Description

视觉交互装置及标记物
技术领域
本发明涉及人机交互技术领域,具体而言,涉及一种视觉交互装置及标记物。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)和虚拟现实(VR,Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例,增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
在虚拟现实系统及增强现实系统等交互系统中,需要对目标物体进行识别跟踪。现有的识别跟踪方法,通常是采用磁传感器、光传感器、超声波、惯性传感器、目标物体图像处理等方式实现,但是这些识别跟踪的方法,通常,识别跟踪效果并不理想,如磁传感器、光传感器、超声波等通常受到环境较大的影响,惯性传感器对精度要求极高,市场上急需一种全新的识别方法,以实现低成本、高精度的交互,其中,也急需一种易于识别跟踪的目标物体,以提高识别跟踪精度,降低识别跟踪难度。
发明内容
有鉴于此,本发明实施例提供了一种视觉交互装置,通过在视觉交互装置的本体设置标记物,以使可以通过获取目标物的图像,根据目标物图像中的标记物对视觉交互装置进行识别并确定视觉交互装置的姿态信息,获得更加准确的识别跟踪数据,以改善上述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种视觉交互装置,用于具有图像采集装置的识别跟踪系统,所述视觉交互装置包括:本体以及设置于所述本体表面的至少一个标记物,每个标记物包括多个相互分离的子标记物,每个子标记物内具有一个或多个特征点,每一标记物的子标记物及相应的特征点的数量构成该标记物的数量组合,每一标记物对应的数量组合互不相同,所述视觉交互装置的标记物被所述图像采集装置采集,以确定所述视觉交互装置的姿态信息。
一种标记物,用于具有图像采集装置的识别跟踪系统,所述系统还包括视觉交互装置,所述标记物包括多个相互分离的子标记物,每个子标记物内具有一个或多个特征点,所述视觉交互装置的标记物被所述图像采集装置采集,以确定所述视觉交互装置的姿态信息。
本发明实施例提供的识别跟踪系统中的视觉交互装置,在本体设置至少一个标记物,每个标记物包括一个或多个子标记物,每个子标记物内具有特征点,且每个标记物中各个子标记物的特征点的数量构成的数量组合与其他标记物互不相同,也就是各个标记物各有不同,因此,识别跟踪系统中图像采集装置在获得包括视觉交互装置的目标图像后,可以识别出目标图像中的标记物,并根据预先存储的已知空间位置信息的标记物确定视觉交互装置的姿态信息。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明较佳实施例提供的识别跟踪系统的结构框图;
图2示出了本发明较佳实施例提供的标记物的一种示意图;
图3示出了本发明实施例提供的标记物的另一种示意图;
图4示出了本发明实施例提供的视觉交互装置的第一种示意图;
图5示出了本发明实施例提供的视觉交互装置的第二种示意图;
图6示出了本发明实施例提供的视觉交互装置的第三种示意图;
图7示出了本发明实施例提供的视觉交互装置的第四种示意图;
图8示出了本发明实施例提供的视觉交互装置的第五种示意图;
图9示出了本发明实施例提供的视觉交互装置的第六种示意图;
图10示出了本发明实施例提供的标记物的又一种示意图;
图11示出了本发明实施例提供的标记物的还一种示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参阅图1,示出了本发明实施例提供的识别跟踪系统。识别跟踪系统包括头戴显示装置100和视觉交互装置。
该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。所述标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物,每个子标记物具有一个或多个特征点。其中,第一背景和第二背景有一定的区分度,例如,可以是第一背景为黑色,第二背景为白色。本实施方式中,每个标记物内的子标记物的分布规则不同,因此,每个标记物所对应的图像互不相同。
子标记物为具有一定形状的图案,且该子标记物的颜色与标记物内的第二背景有一定的区分度,例如,第二背景为白色,而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成,且特征点的形状不做限定,可以是圆点、圆环,也可以是三角形、其他形状。
作为一种实施方式,如图2所示,标记物210内包括多个子标记物220,而每个子标记物220由一个或多个特征点221构成,图2中的每个白色圆形图案为一个特征点221。标记物210的轮廓为矩形,当然,标记物的形状也可以是其他形状,在此不做限定,图2中,矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。
作为另一种实施方式,如图3所示,标记物310内包括多个子标记物340,而每个子标记物340由一个或多个特征点341构成;其中,多个黑色圆点341构成一个子标记物340。具体地,图3中,每个白色圆形图案和每个黑色圆点图案均为特征点341。
具体地,视觉交互装置包括平面标记物体和多面标记结构体。该平面标记物体包括第一标记板200和第二标记板500,该多面标记结构体包括六面标记结构体400和二十六面标记结构体300,当然还可以是其他面数的标记结构体,在此不一一列举。
第一标记板200上设置有多个标记物,多个标记物的内容互不相同,且第一标记板200上的多个标记物设置在同一个平面上,即第一标记板200设有一个标记面,且所有的标记物均设置在第一标记板200的标记面上,第一标记板200上的特征点均在标记面上;第二标记板500上设置有一个标记物,第二标记板500上的特征点也全部是在标记面上的,第二标记板500的数量可以是多个,且每个第二标记板500的标记物的内容互不相同,多个第二标记板500可以组合使用,如在该识别跟踪系统10对应的增强现实,或虚拟现实等应用领域组合使用。
多面标记结构体包括多个标记面,且其中至少两个不共面的标记面上设置有标记物,如图1中所示,该多面标记结构体包括六面标记结构体400和二十六面标记结构体300,其中,六面标记结构体400包括6个标记面,且每个标记面上均设置有标记物,且每个面上的标记物的图案互不相同。
而二十六面标记结构体300包括二十六个面,其中,包括17个标记面,且每个标记面上均设置有标记物,且每个面上的标记物的图案互不相同。当然,上述的多面标记结构体的总面数以及标记面的描述和标记物的设置,可以根据实际使用而设置,在此不做限定。
需要说明的是,视觉交互装置并不限定于上述平面标记物体和多面标记结构体,视觉交互装置可以是任何具有标记物的载体,载体可以根据实际场景设置,如玩具枪、游戏枪等模型枪,在模型枪等视觉交互装置上设置相应的标记物,通过识别追踪模型枪上的标记物,能够获取模型枪的位置和旋转信息,用户通过握持该模型枪在虚拟场景中进行游戏操作,实现增强现实的效果。
头戴显示装置100包括壳体(未标识)、图像采集装置110、处理器140、显示装置120、光学组件130和照明装置150。
其中,视觉里程相机160、显示装置120和图像采集装置110均与处理器电连接;在一些实施方式中,照明装置150和图像采集装置110均通过滤光板(未标识)装设并覆盖在壳体内,该滤光板可过滤环境光等干扰光线,如照明装置150发射红外光,则该滤光板可为过滤除红外光线外的光线的元件。
图像采集装置110用于采集待拍摄物体的图像并发送至处理器。具体地,采集包含有上述标记板或多面标记结构体中至少一个的图像,并发送至处理器。作为一种实施方式,该图像采集装置110为单目的近红外成像相机。当前实施方式中,图像采集装置110为采用红外接收方式且为单目的相机,不仅成本低,无需双目相机之间的外参,而且功耗低,同等带宽下帧率更高。
处理器140用于根据图像输出对应的显示内容至显示装置120,还用于对视觉交互装置进行识别跟踪的运算。
处理器140可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器140可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器140还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如,当处理器140应用于头戴显示装置时,处理器根据预先存储的图像数据生成虚拟世界的图像数据,将其发送至显示装置并通过光学组件进行显示;也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据,根据所接收的图像数据生成虚拟世界的图像,通过光学组件进行显示;还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容,发送至显示装置并通过光学组件进行显示。可以理解的是,处理器140并不限定于装设在头戴显示装置内。
在一些实施方式中,头戴显示装置100还包括设置在壳体上的视觉里程相机160,其中,视觉里程相机160与处理器电连接,该视觉里程相机160用于采集外界真实场景的场景图像,将场景图像发送至处理器。在用户穿戴头戴显示装置100时,处理器根据该视觉里程相机160采集的场景图像,根据视觉里程技术获取用户的头部与真实场景的位置及旋转关系,具体地,系统通过该相机获取的图像序列,经过特征提取、特征匹配与跟踪和运动估计的处理,得出具体的位置和方向的变化,完成导航定位,进而获得头戴显示装置与真实场景的相对位置及旋转关系;再根据视觉交互装置相对于头戴显示装置的位置及旋转信息,可以推算出视觉交互装置与真实场景之间的相对位置及旋转关系,从而可以实现更复杂的交互形式与体验。
显示装置120用于将显示内容显示。在一些实施例中,显示装置可以是智能终端的一部分,即智能终端的显示屏,例如手机和平板电脑的显示屏。在另一些实施例中,显示装置还可以是独立的显示器(例如,LED,OLED或LCD)等,则此时显示装置固定安装在壳体上。
需要说明的是,当显示装置120为智能终端的显示屏时,壳体上设置有用于安装该智能终端的安装结构。在使用时,将智能终端通过安装结构安装在壳体上。则处理器140可以是智能终端内的处理器,也可以是独立设置在壳体内的处理器,并与智能终端通过数据线或通信接口电连接。另外,当显示装置120为与智能终端等终端设备分离的显示装置时,固定安装在壳体上。
光学组件130用于将显示装置120的出光面发出的入射光射向预设位置处。其中,预设位置处为用户双眼的观察位置。
照明装置150用于为图像采集装置110采集待拍摄物体的图像时提供光线。具体地,照明装置150的照明角度以及照明装置150的数量,可以根据实际使用而设定,以使所发射的照明光线能够覆盖待拍摄物体。其中,照明装置150采用红外光照明装置,能够发出红外光线,此时图像采集装置为近红外相机,可以接收红外光线。通过主动照明的方式,提高图像采集装置110采集的目标图像的图像质量,具体地,照明装置150的数量不限,可以是一个,也可以是多个。在一些实施方式中,照明装置150设置在图像采集装置110的附近,其中,可以是多个照明装置150周向设置在图像采集装置110的摄像头的附近。
用户在佩戴头戴显示装置100,进入预设的虚拟场景时,当该视觉交互装置在图像采集装置110的视野范围内时,图像采集装置110采集到包含有该视觉交互装置的目标图像;处理器140获取到该目标图像及相关信息,运算识别出该视觉交互装置并获取到该目标图像内的标记物与图像采集装置之间的位置与旋转关系,进而得到视觉交互装置相对于头戴显示装置的位置及旋转关系,使得用户观看到的虚拟场景在相应的位置及旋转角度上;用户还可以通过多个视觉交互装置的结合以在虚拟场景内进一步产生的新的虚拟图像,给用户带来更好的体验效果;用户还可以通过视觉交互装置实现与虚拟场景的交互;此外,该识别追踪系统还可以通过视觉里程相机获取头戴显示装置与真实场景的位置与旋转关系,进而可以获取视觉交互装置与真实场景的位置和旋转关系,当视觉交互装置对应的虚拟场景和真实场景有一定的对应关系时,可以构建出一个与真实场景类似的虚拟场景,可以提高更真实的增强现实体验。
在上述识别跟踪系统中,视觉交互装置为用于实现用户与虚拟世界交互的物体,通过对图像采集装置采集的图像进行处理,获得其中视觉交互装置中标记物的身份信息及视觉交互装置的位置及旋转信息,可根据标记物的身份信息确定对应标记物的显示内容,根据视觉交互装置的位置及旋转信息确定显示内容呈现给用户的显示位置。当该识别跟踪系统应用于增强现实技术领域或者虚拟现实技术领域,可实现通过视觉交互装置定位虚拟场景的显示,并且可以实现与虚拟场景的交互。下面通过具体实施例对视觉交互装置进行详细说明。
所述视觉交互装置可以是任何具有标记物的载体,如本实施方式中介绍的标记物在一个平面上的平面标记物体,也可以是标记物在多个平面上的多面标记结构体。
如图4所示,视觉交互装置为标记物在一个平面上的平面标记物体。视觉交互装置200包括本体201,以及设置于所述本体201表面的一个或多个标记物210。如图5及图6所示,视觉交互装置为标记物在多个平面上的多面标记结构体,视觉交互装置300包括本体301,以及设置于所述本体301表面的一个或多个标记物310。分别是二十六面体和六面体。当然,多面标记结构体的具体面数以及各面之间的位置关系在本申请实施例中并不限定。本体的具体形态并不限定,其表面还可以包括曲面、弧面或者凹凸不平的表面等,可以根据具体需要设定。
另外,若视觉交互装置包括的标记物310为一个,则标记物310可以设置于本体301的任意一个表面,如图6所示;或者是设置于不同平面的两个相邻表面的交界处,如图7所示。
若视觉交互装置包括的标记物为多个,其设置方式可以包括多种。可以是,该多个标记物310设置于本体301的同一表面,该同一表面可以是在同一个平面的同一表面,如图4所示;或者是在不同平面的同一表面,如设置于球形表面、弧形表面等,如图8所示。也可以是,该多个标记物310分别设置于本体301在不同平面的不同表面,如图5所示,且在设置有标记物310的不同平面的每个表面,可以设置一个或多个标记物;又或者是,多个标记物310中至少一个标记物设置于所述本体301在不同平面的两个相邻表面的交界处,如图9所示。另外,对于多面标记结构体,在不同表面均可以设置一个或多个标记物310。其中,本体用于设置标记物的表面为对应的标记面。
该视觉交互装置中的一个或多个标记物,可以突出于本体的表面设置,即为设置在本体表面的一个层结构。另外,也可以是在本体用于设置标记物的表面设置有对应所述标记物的凹槽,设置于本体的一个或多个标记物分别设置于对应表面的凹槽,也就是说,本体设置的标记物,设置于该本体表面的凹槽内,凹槽的深度可以等于标记物的厚度,使标记物的外表面与凹槽顶部齐平,当然,凹槽的深度在本申请实施例中并不限定。
在本申请实施例中,每个标记物602包括多个相互分离的子标记物603,如图10所示,每个标记物602包括的子标记物603的具体个数并不限定,可以根据标记物602的大小范围设定,也可以根据具体识别需求确定。
另外,子标记物603与标记物602的背景604有一定区分度,进一步的,子标记物的颜色与标记物602中背景604的颜色可以色差较大,如图10所示,子标记物603为黑色,背景604为白色。本体601的表面与标记物602的背景604也可以有不同,如图4及图10所示,标记物602的背景604为白色,本体601表面为黑色。其中,本体601的表面为上述的第一背景,标记物602的背景为上述的第二背景。
其中,每个子标记物603包括一个或多个特征点605,如图10所示,每个子标记物603中的各个特征点相互分离。其中,每个子标记物603所包括的特征点的数量并不限定,可以根据实际识别需求及标记物602所占区域大小确定。每个特征点605的形状在本申请实施例中并不限定,可以是三角形、四边形等多边形,也可以是圆形。
在本申请实施例中,子标记物603可以是空心图形,包括一个或多个空心部分,其中,每个空心部分作为一个特征点,如图10中的包括白色圆点的黑色子标记物所示。作为一种具体的实施方式,子标记物可以是多个相互连通的圆环构成,每个圆环中的空心部分作为该子标记物中的特征点。
进一步的,在子标记物的任意一个空心部分,还可以设置实心图形,以该实心图形作为该子标记物中该空心部分对应的特征点,如图11中子标记物a所示。
进一步的,在子标记物的空心部分,设置的还可以是空心图形,如圆环,以空心部分的空心图形的空心部分,作为子标记物中对应的一个特征点。在本申请实施例中,可以以此类推,在子标记物中设置层层嵌套的空心图形,如层层嵌套的圆环,以最后被嵌套的空心部分作为特征点。其中,子标记物中空心图形的嵌套层数可以根据实际识别需求设定,或根据图像采集装置的分辨率确定,在本申请实施例中并不限定。
在本申请实施例中,在标记物的子标记物中,可以是,至少一个子标记物由相互分离的实心图形构成,每个实心图形为一个特征点。如图10中相互分离的各个黑色实心圆,可以构成一个子标记物,各个实心圆为该子标记物中的特征点。
进一步的,在本申请实施例中,为便于对各个标记物602进行区分识别,识别跟踪系统中各个标记物602彼此不同。其中,各个标记物602的彼此不同,可以是,该多个标记物602包括的子标记物603的数量不同,例如,识别跟踪系统中包括3个标记物602,各个标记物602的子标记物603的数量分别为x、y、z,x、y、z彼此不相等。
或者是,标记物602中至少一个子标记物603的特征点605的数量与其他标记物602中子标记物603的特征点605数量不同,例如,某标记物602中有一个子标记物603的特征点605为3个,而其他任意一个标记物602中,都不包括标特征点605为3个的子标记物603。
或者是,标记物602中至少一个子标记物603的特征点605的形状与其他标记物602中子标记物603的特征点605的形状不同,如某标记物602中有一个子标记物603包括的特征点为实心圆,其他任意一个标记物602中都不包括特征点形状为实心圆的子标记物603。
或者是,作为一种实施方式,至少一个子标记物中空心图形的嵌套层数与其他子标记物的嵌套层数不同,因此,当识别到具有该嵌套层数的空心图形对应的特征点,可以确定该子标记物对应的标记物的身份。例如,只有一个子标记物的空心部分设置了一个实心圆点作为特征点,则当识别到在空心部分设置有一个实心圆点子标记物时,可以确定该子标记物对应的标记物为预设标记物模型中设置有一个实心圆点子标记物对应的标记物。
另外,标记物602的不同,也可以是多个标记物602对应的数量组合不同。其中,每个标记物602中各个子标记物603的特征点604的数量构成该标记物602中的数量组合。以图10为例,该标记物602中包括四个子标记物603,一个子标记物的特征点数量为3,一个子标记物603的特征点数量为2,一个子标记物的特征点数量为5,一个子标记物的特征点数量为1,该四个子标记物的特征点的数量形成了该标记物602中的数量组合。
当然,在本申请实施例中,对标记物602进行区分的方式并不限定,也可以是上述各种方式的任意组合。例如,识别跟踪系统中,一个标记物包括的子标记物的数量与其他标记物包括的子标记物数量不同,当识别到具有该数量子标记物的标记物时,可以确定该标记物的身份;另一个标记物中子标记物603的特征点605的数量与其他标记物602中子标记物603的特征点605数量不同,当识别到具有该数量的特征点的子标记物时,可以确定该子标记物对应的标记物的身份。
在本申请实施例中,识别跟踪系统可以预存储有已知空间位置信息及相对于视觉交互装置的姿态信息的标记物,该系统可以根据标记物602中的子标记物603及构成子标记物603的特征点605对各个标记物602进行识别,并且,设置于本体601的标记物602可以使处理器根据目标图像中的标记物602以及预先存储的标记物确定所述视觉交互装置的姿态信息。
本申请实施例提供的识别跟踪系统中的视觉交互装置,包括本体及设置于本体的标记物。各个标记物彼此不同,并且,各个标记物设置于本体的不同位置,因此,可以识别出各个标记物,根据各个标记物在本体中的设置位置以及标记物当前的位置及姿态确定出视觉交互装置的姿态信息,确定的结果更加准确,并且可以不在视觉交互装置设置传感器即可获得视觉交互装置的姿态信息,可以不需要消耗电量。
综上所述,本发明实施例提供的视觉交互装置,应用于识别跟踪系统,该识别跟踪系统包括头戴显示装置和视觉交互装置,当用户佩戴该头戴显示装置进入预设的虚拟场景,且该视觉交互装置在图像采集装置的视野范围内时,图像采集装置采集到包含该视觉交互装置的目标图像,然后处理器获取到该目标图像及相关信息,运算识别出该视觉交互装置并获取到该目标图像内的标记物所对应的视觉交互装置的姿态信息,如该视觉交互装置与图像采集装置之间的位置与旋转关系,进而得到视觉交互装置相对于头戴显示装置的位置关系,使得用户观看到的虚拟场景在相应的位置处,并结合该位置处的虚拟场景产生虚拟图像,给用户带来更好的体验。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (14)

1.一种视觉交互装置,用于具有图像采集装置的识别跟踪系统,其特征在于,所述视觉交互装置包括本体以及设置于所述本体表面的至少一个标记物,每个标记物包括多个相互分离的子标记物,每个子标记物内具有一个或多个特征点,每一标记物的子标记物及相应的特征点的数量构成该标记物的数量组合,每一标记物对应的数量组合互不相同,所述视觉交互装置的标记物被所述图像采集装置采集,以确定所述视觉交互装置的姿态信息。
2.根据权利要求1所述的视觉交互装置,其特征在于,至少一个标记物包括的子标记物的数量与其他标记物包括的子标记物数量不同。
3.根据权利要求1所述的视觉交互装置,其特征在于,标记物中至少一个子标记物的特征点数量与其他标记物中子标记物的特征点数量不同,或者标记物中至少一个子标记物的特征点的形状与其他标记物中子标记物的特征点的形状不同。
4.根据权利要求1所述的视觉交互装置,其特征在于,每个标记物中,至少一个子标记物为包括一个或多个空心部分的空心图形,所述空心部分为该子标记物的特征点。
5.根据权利要求1或4所述的视觉交互装置,其特征在于,每个标记物中,至少一个子标记物为包括一个或多个空心部分的空心图形,该子标记物中至少一个空心部分中包括实心图形,不包括实心图形的空心部分为对应的特征点,包括有实心图形的空心部分,其中的实心图形为特征点。
6.根据权利要求4所述的视觉交互装置,其特征在于,至少一个子标记物由相互连通的圆环构成。
7.根据权利要求1所述的视觉交互装置,其特征在于,至少一个子标记物由相互分离的实心图形构成,每个实心图形为一个特征点。
8.根据权利要求7所述的视觉交互装置,其特征在于,相互分离的实心图形为实心圆点。
9.根据权利要求1所述的视觉交互装置,其特征在于,所述多个标记物设置于所述本体在不同平面的表面,在不同平面的每个表面均设置一个或多个标记物;或者所述多个标记物设置于所述本体在同一平面的表面;或者至少一个标记物设置于所述本体在不同平面的两个相邻表面的交界处。
10.根据权利要求1所述的视觉交互装置,其特征在于,所述一个或多个标记物突出于所述本体表面;或者所述本体用于设置标记物的表面设置有对应所述标记物的凹槽,所述一个或多个标记物设置于对应表面的凹槽。
11.一种标记物,用于具有图像采集装置的识别跟踪系统,所述系统还包括视觉交互装置,其特征在于,所述标记物包括多个相互分离的子标记物,每个子标记物内具有一个或多个特征点,所述视觉交互装置的标记物被所述图像采集装置采集,以确定所述视觉交互装置的姿态信息。
12.根据权利要求11所述的标记物,其特征在于,所述标记物中,至少一个子标记物为包括一个或多个空心部分的空心图形,所述空心部分为该子标记物的特征点。
13.根据权利要求11或12所述的标记物,其特征在于,所述标记物中,至少一个子标记物为包括一个或多个空心部分的空心图形,该子标记物中至少一个空心部分中包括实心图形,不包括实心图形的空心部分为对应的特征点,包括有实心图形的空心部分,其中的实心图形为特征点。
14.根据权利要求11所述的标记物,其特征在于,所述标记物中,至少一个子标记物由相互分离的实心图形构成,每个实心图形为一个特征点。
CN201810119871.3A 2018-02-06 2018-02-06 视觉交互装置及标记物 Pending CN110119195A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810119871.3A CN110119195A (zh) 2018-02-06 2018-02-06 视觉交互装置及标记物
PCT/CN2018/125598 WO2019153971A1 (zh) 2018-02-06 2018-12-29 视觉交互装置及标记物

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810119871.3A CN110119195A (zh) 2018-02-06 2018-02-06 视觉交互装置及标记物

Publications (1)

Publication Number Publication Date
CN110119195A true CN110119195A (zh) 2019-08-13

Family

ID=67520039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810119871.3A Pending CN110119195A (zh) 2018-02-06 2018-02-06 视觉交互装置及标记物

Country Status (1)

Country Link
CN (1) CN110119195A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育系统及其实现方法
CN102411854A (zh) * 2011-09-01 2012-04-11 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN107341829A (zh) * 2017-06-27 2017-11-10 歌尔科技有限公司 虚拟现实交互部件的定位方法和装置
US10015473B2 (en) * 2010-06-11 2018-07-03 Nintendo Co., Ltd. Computer-readable storage medium, image display apparatus, image display system, and image display method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育系统及其实现方法
US10015473B2 (en) * 2010-06-11 2018-07-03 Nintendo Co., Ltd. Computer-readable storage medium, image display apparatus, image display system, and image display method
CN102411854A (zh) * 2011-09-01 2012-04-11 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN107341829A (zh) * 2017-06-27 2017-11-10 歌尔科技有限公司 虚拟现实交互部件的定位方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘经伟: "增强现实中三维标志物的跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
吴洪飞: "增强现实中标记设计与识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN110120099A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
CN110017841A (zh) 视觉定位方法及其导航方法
CN110119190A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
CN207780718U (zh) 视觉交互装置
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
CN106570904B (zh) 一种基于Xtion摄像头的多目标相对位姿识别方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN110119194A (zh) 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
JP2013218459A (ja) 情報処理装置、情報処理方法及び情報処理システム
CN109725645B (zh) 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法
US20050058336A1 (en) Measuring the location of objects arranged on a surface, using multi-camera photogrammetry
CN103837147B (zh) 主动红外点阵式人工路标及智能体定位系统及方法
US11734898B2 (en) Program, information processing method, and information processing terminal
CN208126341U (zh) 视觉交互装置
CN108564662A (zh) 一种远距离场景下进行增强现实数字文化内容显示的方法及装置
CN101702233A (zh) 视频帧中基于三点共线标记点的三维定位方法
CN107329593A (zh) 一种vr手柄定位方法及装置
CN110956642A (zh) 多目标跟踪识别方法、终端及可读存储介质
CN110009692A (zh) 用于相机标定的大型控制场人工标志点及其编码方法
CN110120100A (zh) 图像处理方法、装置及识别跟踪系统
CN107918790A (zh) 光学定位标记、设备及方法
CN106020456A (zh) 获取用户头部姿态的方法、装置和系统
CN207909071U (zh) 视觉交互装置
CN106526580A (zh) 用于确定机器人位置的路标、设备及机器人位置确定方法
CN207780381U (zh) 头戴显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813

RJ01 Rejection of invention patent application after publication