CN110097638B - 基于混合跟踪器的虚拟物绘制方法及装置 - Google Patents

基于混合跟踪器的虚拟物绘制方法及装置 Download PDF

Info

Publication number
CN110097638B
CN110097638B CN201810097383.7A CN201810097383A CN110097638B CN 110097638 B CN110097638 B CN 110097638B CN 201810097383 A CN201810097383 A CN 201810097383A CN 110097638 B CN110097638 B CN 110097638B
Authority
CN
China
Prior art keywords
position information
marker
preset
virtual object
hybrid tracker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810097383.7A
Other languages
English (en)
Other versions
CN110097638A (zh
Inventor
李炜
孙其民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inlife Handnet Co Ltd
Original Assignee
Inlife Handnet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inlife Handnet Co Ltd filed Critical Inlife Handnet Co Ltd
Priority to CN201810097383.7A priority Critical patent/CN110097638B/zh
Publication of CN110097638A publication Critical patent/CN110097638A/zh
Application granted granted Critical
Publication of CN110097638B publication Critical patent/CN110097638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于混合跟踪器的虚拟物绘制方法及装置,混合跟踪器包括视觉传感器,该方法包括:通过视觉传感器获取预设范围内的标志物;根据标志物的位置信息及混合跟踪器的偏移信息,实时计算混合跟踪器的位置信息;通过视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据视觉信息矫正混合跟踪器的位置信息,得到矫正后的位置信息;根据矫正后的位置信息及预设坐标模型,绘制虚拟物。该方案通过提高获取混合跟踪器位置信息的准确性,提高了虚拟物绘制的准确性。

Description

基于混合跟踪器的虚拟物绘制方法及装置
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种基于混合跟踪器的虚拟物绘制方法及装置。
背景技术
随着虚拟现实(Virtual Reality,VR)技术的发展,增强现实(AugmentedReality,AR)技术作为虚拟现实技术的一个重要分支,也成为近年来的一个研究热点。其中,增强现实技术主要借助显示技术、交互技术、多种传感器技术和计算机图像与多媒体技术将计算机生成的虚拟环境与用户周围的显示环境融为一体,使用户从感官上确信虚拟环境是其周围真实环境的组成部分。
具体的,为了使用户确信虚拟环境是真实环境的组成部分,对虚拟环境和真实环境匹配的准确度要求比较高。然而,现有技术存在虚拟环境在真实环境中的位置、朝向等信息匹配不准确的问题。
发明内容
本发明实施例提供一种基于混合跟踪器的虚拟物绘制方法及装置,可以提高虚拟物绘制的准确性。
本发明实施例提供了一种基于混合跟踪器的虚拟物绘制方法,包括:
通过所述视觉传感器获取预设范围内的标志物;
根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息;
通过所述视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据所述视觉信息矫正所述混合跟踪器的位置信息,得到矫正后的位置信息;
根据所述矫正后的位置信息及预设坐标模型,绘制虚拟物。
本发明实施例还提供了一种基于混合跟踪器的虚拟物绘制装置,包括:
第一获取模块,用于通过所述视觉传感器获取预设范围内的标志物;
计算模块,用于根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息;
第二获取模块,用于通过所述视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据所述视觉信息矫正所述混合跟踪器的位置信息,得到矫正后的位置信息;
绘制模块,用于根据所述矫正后的位置信息及预设坐标模型,绘制虚拟物。
本发明实施例提供的基于混合跟踪器的虚拟物绘制方法及装置,通过获取标志物的位置信息和混合跟踪器的偏移信息,实时计算该混合跟踪器的位置信息,然后进一步获取视觉信息,来对该混合跟踪器的位置信息进行矫正,最后根据矫正后的位置信息和预设坐标模型,绘制虚拟物。该方案通过提高获取混合跟踪器位置信息的准确性,提高了虚拟物绘制的准确性。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的基于混合跟踪器的虚拟物绘制方法的流程示意图。
图2为本发明实施例提供的基于混合跟踪器的虚拟物绘制方法的另一流程示意图。
图3为本发明实施例提供的基于混合跟踪器的虚拟物绘制方法的场景示意图。
图4为本发明实施例提供的基于混合跟踪器的虚拟物绘制装置的结构示意图。
图5为本发明实施例提供的基于混合跟踪器的虚拟物绘制装置的另一结构示意图。
图6为本发明实施例提供的基于混合跟踪器的虚拟物绘制装置的又一结构示意图。
图7为本发明实施例提供的终端的结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本发明保护范围之内。
本发明实施例提供一种基于混合跟踪器的虚拟物绘制方法以及基于混合跟踪器的虚拟物绘制装置,其中该混合跟踪器包括视觉传感器和惯性传感器。以下进行具体分析说明。
请参阅图1,图1是本发明实施例提供的一种基于混合跟踪器的虚拟物绘制方法的流程示意图。下面对基于混合跟踪器的虚拟物绘制方法的各个步骤进行详细说明。
步骤S101,通过视觉传感器获取预设范围内的标志物。
视觉传感器主要由CCD/CMOS相机、光学系统、照明系统和图像采集卡组成,用于获取包含标志物的视频图像。
在本实施例中,标志物既可以是人工标志物,也可以是自然标志物即自然特征。其中标志物可以为正方形、圆环、五边形、条形码等平面标志物。在一些实施例中,由于从任何角度看物体时,物体都是三维的,因此可以采用三维物体来作为标志物,比如一个六面的立方体。
实际操作过程中,首先通过视觉传感器获取预设范围内的视频图像,然后对该视频图像进行处理,提取出标志物。
步骤S102,根据标志物的位置信息及混合跟踪器的偏移信息,实时计算混合跟踪器的位置信息。
其中标志物的位置信息为标志物的基准点在第一坐标系中的坐标。可以预先获取该标志物以及该标志物基准点在第一坐标系中坐标,建立关联关系存储到预设位置信息集合中。当通过视觉传感器获取到预设范围内的视频图像,并识别出标志物后,可以直接从预设位置信息集合中查找与该标志物匹配的标志物,进而获取该匹配标志物对应的坐标。
具体的,可以使用惯性传感器获取混合跟踪器的偏移信息,具体包括混合跟踪器的偏移方向信息和位置信息。
步骤S103,通过视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据视觉信息矫正混合跟踪器的位置信息,得到矫正后的位置信息。
具体的,根据视觉传感器获取混合跟踪器的准确位置,来改善惯性偏移。进一步的,继续识别标志物,得到混合跟踪器的具体位置和朝向,作为惯性跟踪下一步预测的初始值,改善惯性偏移。
在本发明实施例中,通过视觉传感器来调整混合跟踪器的位置信息,以防止漂移的累积。然而,如果调整的频率过高,需要处理的数据量过大,会造成处理效率降低,进而影响虚拟物绘制的效率。因此,在本发明实施例中设置了一预设标志物,通过确定该预设标志物的位置信息来决定是否对混合跟踪器的位置信息进行矫正。具体的,当预设标志物位于混合跟踪器屏幕中心位置时,对混合跟踪器的位置信息进行矫正。需要说明的是,该预设标志物可以为步骤S101所述标志物中的一个,也可以是不同于该标志物的存在,在此不做具体限定。
步骤S104,根据矫正后的位置信息及预设坐标模型,绘制虚拟物。
获取到矫正后的位置信息后,根据预设坐标模型,可以计算出虚拟物绘制的位置,从而绘制该虚拟物。
本发明实施例提供的基于混合跟踪器的虚拟物绘制方法,先通过获取标志物的位置信息和混合跟踪器的偏移信息,实时计算该混合跟踪器的位置信息,然后进一步获取视觉信息,来对该混合跟踪器的位置信息进行矫正,最后根据矫正后的位置信息和预设坐标模型,绘制虚拟物。该方案通过提高获取混合跟踪器位置信息的准确性,提高了虚拟物绘制的准确性。
在一优选实施例中,将对基于混合跟踪器的虚拟物绘制方法作进一步介绍。
请参照图2,图2是本发明实施例提供的一种基于混合跟踪器的虚拟物绘制方法的流程示意图。下面对基于混合跟踪器的虚拟物绘制方法的各个步骤进行详细说明。
步骤S201,通过视觉传感器获取预设范围内的视频图像;对视频图像进行二值化处理,得到二值化图像;对二值化图像进行连通域提取和轮廓跟踪,得到标志物。
视觉传感器主要由CCD/CMOS相机、光学系统、照明系统和图像采集卡组成,用于获取包含标志物的视频图像。
实际操作过程中,首先通过视觉传感器获取预设范围内的视频图像,然后将采集到的彩色视频图像进行二值化处理,得到二值化图像。最后对二值化图像进行连通域提取和轮廓跟踪,得到标志物。
在一些实施例中,对二值化图像进行连通域提取时,可以先计算连通域的面积。当连通域的面积小于或等于预设面积时,可以将该连通域舍弃,当连通面积大于预设面积时,可以根据预设轮廓形状对该连通域进行处理,得到处理后的连通域。最后再从该处理后的连通域中提取标志物,以提高标志物获取的准确性。
如图3所示,假设预设轮廓形状为四边形,对图片A进行二值化处理后,再从中提取连通域,当连通域面积大于预设面积时,根据四边形对该连通域进行处理,得到如图片B中所示的连通域b。最后,可以从连通域b中提取标志物。
在本实施例中,标志物既可以是人工标志物,也可以是自然标志物即自然特征。其中标志物可以为正方形、圆环、五边形、条形码等平面标志物。在一些实施例中,由于从任何角度看物体时,物体都是三维的,因此可以采用三维物体来作为标志物,比如一个六面的立方体。
步骤S202,从预设位置信息集合中,获取标志物的位置信息。
其中标志物的位置信息为标志物的基准点在第一坐标系中的坐标。其中可以预先获取该标志物以及该标志物基准点在第一坐标系中坐标,建立关联关系存储到预设位置信息集合中。当通过视觉传感器获取到预设范围内的视频图像,并识别出标志物后,可以直接从预设位置信息集合中查找与该标志物匹配的标志物,进而获取该匹配标志物对应的坐标。
步骤S203,根据标志物的位置信息,计算混合跟踪器的初始位置信息。
在一些实施例中,当步骤S201中提取到标志物后,可以进一步从提取到的标志物中选取满足预设条件的目标标志物进行识别。然后在预设位置信息集合中查找与该目标标志物匹配的标志物,获取该匹配标志物在第一坐标系的坐标。再通过位置恢复算法计算混合跟踪器在第二坐标系中的初始位置信息。
步骤S204,根据标志物的位置信息及混合跟踪器的偏移信息,实时计算混合跟踪器的位置信息。
具体的,通过惯性传感器获取混合跟踪器的偏移信息。其中,惯性传感器包括陀螺仪和加速计。惯性陀螺仪用于测量三轴旋转角速度或角加速度,并利用增量积分法获取混合跟踪器的偏移方向信息。加速计用于测量位置加速度,再利用增量积分获得混合跟踪器的位置信息,该偏移方向信息和位置信息共同构成该混合跟踪器的偏移信息。
分别获取到的混合跟踪器的初始位置信息和偏移信息后,即可以实时的计算出混合跟踪器的位置信息。
步骤S205,通过视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据视觉信息矫正混合跟踪器的位置信息,得到矫正后的位置信息。
具体的,根据视觉传感器获取混合跟踪器的准确位置,来改善惯性偏移。进一步的,继续识别标志物,得到混合跟踪器的具体位置和朝向,作为惯性跟踪下一步预测的初始值,改善惯性偏移。
在本发明实施例中,通过视觉传感器来调整混合跟踪器的位置信息,以防止漂移的累积。然而,如果调整的频率过高,需要处理的数据量过大,会造成处理效率降低,进而影响虚拟物绘制的效率。因此,在本发明实施例中设置了一预设标志物,通过确定该预设标志物的位置信息来决定是否对混合跟踪器的位置信息进行矫正。具体的,当预设标志物位于混合跟踪器屏幕中心位置时,对混合跟踪器的位置信息进行矫正。需要说明的是,该预设标志物可以为步骤S101所述标志物中的一个,也可以是不同于该标志物的存在,在此不做具体限定。
步骤S206,获取视觉传感器的外部参数。
具体的,根据视觉传感器的内部参数,以及获取到的标志物基准点在第一坐标中的坐标,可以根据计算机视觉中的定标算法,得到视觉传感器的外部参数,从而达到跟踪配准的目的。
步骤S207,根据外部参数、矫正后的位置及预设坐标模型,绘制虚拟物。
获取到外部参数、矫正后的位置信息后,根据预设坐标模型,可以计算出虚拟物绘制的位置,从而绘制该虚拟物。
为了更好的实施上述方法,在一优选实施例中还提供了一种基于混合跟踪器的虚拟物绘制装置。
请参照图4,图4为本发明实施例提供的基于混合跟踪器的虚拟物绘制装置的结构示意图,其中所述混合跟踪器包括视觉传感器和惯性传感器。基于混合跟踪器的虚拟物绘制装置300包括第一获取模块301,计算模块302,第二获取模块303以及绘制模块304,具体描述如下:
第一获取模块301用于通过所述视觉传感器获取预设范围内的标志物;计算模块302,用于根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息;第二获取模块303,用于通过所述视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据所述视觉信息矫正所述混合跟踪器的位置信息,得到矫正后的位置信息;绘制模块304,用于根据所述矫正后的位置信息及预设坐标模型,绘制虚拟物。
其中,视觉传感器主要由CCD/CMOS相机、光学系统、照明系统和图像采集卡组成,用于获取包含标志物的视频图像。
在本实施例中,标志物既可以是人工标志物,也可以是自然标志物即自然特征。其中标志物可以为正方形、圆环、五边形、条形码等平面标志物。在一些实施例中,由于从任何角度看物体时,物体都是三维的,因此可以采用三维物体来作为标志物,比如一个六面的立方体。
实际操作过程中,首先第一获取模块301通过视觉传感器获取预设范围内的视频图像,然后对该视频图像进行处理,提取出标志物。
其中标志物的位置信息为标志物的基准点在第一坐标系中的坐标。计算模块302可以预先获取该标志物以及该标志物基准点在第一坐标系中坐标,建立关联关系存储到预设位置信息集合中。当通过视觉传感器获取到预设范围内的视频图像,并识别出标志物后,计算模块302可以直接从预设位置信息集合中查找与该标志物匹配的标志物,进而获取该匹配标志物对应的坐标。
具体的,计算模块302可以使用惯性传感器获取混合跟踪器的偏移信息,具体包括混合跟踪器的偏移方向信息和位置信息。
具体的,第二获取模块303根据视觉传感器获取混合跟踪器的准确位置,来改善惯性偏移。进一步的,继续识别标志物,得到混合跟踪器的具体位置和朝向,作为惯性跟踪下一步预测的初始值,改善惯性偏移。
在本发明实施例中,通过视觉传感器来调整混合跟踪器的位置信息,以防止漂移的累积。然而,如果调整的频率过高,第二获取模块303需要处理的数据量过大,会造成处理效率降低,进而影响虚拟物绘制的效率。因此,在本发明实施例中设置了一预设标志物,第二获取模块303通过确定该预设标志物的位置信息来决定是否对混合跟踪器的位置信息进行矫正。具体的,当预设标志物位于混合跟踪器屏幕中心位置时,第二获取模块303对混合跟踪器的位置信息进行矫正。需要说明的是,该预设标志物可以为第一获取模块301获取到的标志物中的一个,也可以是不同于该标志物的存在,在此不做具体限定。
绘制模块304获取到矫正后的位置信息后,根据预设坐标模型,可以计算出虚拟物绘制的位置,从而绘制该虚拟物。
在一些实施例中,如图5所示,所述计算模块302包括:获取子模块3021,第一计算子模块3022以及第二计算子模块3023,具体描述如下:
获取子模块3021,用于从预设位置信息集合中,获取所述标志物的位置信息;第一计算子模块3022,用于根据所述标志物的位置信息,计算所述混合跟踪器的初始位置信息;第二计算子模块3023,用于根据所述初始位置信息及所述偏移信息,实时计算所述混合跟踪器的位置信息。
在一些实施例中,虚拟物绘制装置300还包括:获取模块305,具体描述如下:
获取模块305,用于获取所述视觉传感器的外部参数;所述绘制模块304,用于根据所述外部参数、所述矫正后的位置及预设坐标模型,绘制所述虚拟物。
在一些实施例中,如图6所示,所述第一获取模块301包括:图像获取子模块3011,处理子模块3012以及提取子模块3013,具体描述如下:
图像获取子模块3011,用于通过所述视觉传感器获取所述预设范围内的视频图像;处理子模块3012,用于对所述视频图像进行二值化处理,得到二值化图像;提取子模块3013,用于对所述二值化图像进行连通域提取和轮廓跟踪,得到所述标志物。
在一些实施例中,所述提取子模块3013用于:从所述二值化图像中,提取连通域;当所述连通域的连通面积大于预设面积时,根据预设轮廓形状对所述连通域进行处理,得到处理后的连通域;从所述处理后的连通域中,提取所述标志物。
本发明实施例提供的基于混合跟踪器的虚拟物绘制装置,通过获取标志物的位置信息和混合跟踪器的偏移信息,实时计算该混合跟踪器的位置信息,然后进一步获取视觉信息,来对该混合跟踪器的位置信息进行矫正,最后根据矫正后的位置信息和预设坐标模型,绘制虚拟物。该方案通过提高获取混合跟踪器位置信息的准确性,提高了虚拟物绘制的准确性。
本发明实施例还提供一种终端,如图7所示,该终端400可以包括有一个或一个以上计算机可读存储介质的存储器401、传感器402、输入单元403、显示单元404、电源405、包括有一个或者一个以上处理核心的处理器406以及可穿戴式智能设备感应单元407等部件。本领域技术人员可以理解,图7中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器401可用于存储应用程序和数据。存储器401存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器406通过运行存储在存储器401的应用程序,从而执行各种功能应用以及数据处理。此外,存储器401可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器401还可以包括存储器控制器,以提供处理器406和输入单元403对存储器401的访问。
终端还可包括至少一种传感器402,比如光传感器、视觉传感器、惯性传感器以及其他传感器。具体地,惯性传感器包括陀螺仪和加速计。视觉传感器包括CCD/CMOS相机、光学系统、照明系统和图像采集卡等。
输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元403可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器406,并能接收处理器406发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元403还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、指纹识别模组、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器406以确定触摸事件的类型,随后处理器406根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还包括给各个部件供电的电源405(比如电池)。优选的,电源可以通过电源管理系统与处理器406逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源405还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
处理器406是终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器401内的应用程序,以及调用存储在存储器401内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。可选的,处理器406可包括一个或多个处理核心;优选的,处理器406可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等。
可穿戴式智能设备感应单元407可用于接收可穿戴式智能设备单元的数据,以及感应可穿戴式智能设备的具体三维空间坐标,再将接收的数据以及感应的三维空间坐标发送给处理器406进行处理。
尽管图7中未示出,终端还可以包括摄像头、蓝牙模块、网络模块等,在此不再赘述。
具体在本实施例中,终端中的处理器406会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器401中,并由处理器406来运行存储在存储器401中的应用程序,从而实现各种功能:
处理器406先通过所述视觉传感器获取预设范围内的标志物;然后根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息;再通过所述视觉传感器获取视觉信息,并在预设标志物处于预设位置时,根据所述视觉信息矫正所述混合跟踪器的位置信息,得到矫正后的位置信息;最后根据所述矫正后的位置信息及预设坐标模型,绘制虚拟物。
本发明实施例提供的终端,通过获取标志物的位置信息和混合跟踪器的偏移信息,实时计算该混合跟踪器的位置信息,然后进一步获取视觉信息,来对该混合跟踪器的位置信息进行矫正,最后根据矫正后的位置信息和预设坐标模型,绘制虚拟物。该方案通过提高获取混合跟踪器位置信息的准确性,提高了虚拟物绘制的准确性。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对基于混合跟踪器的虚拟物绘制方法的详细描述,此处不再赘述。
需要说明的是,对本发明该基于混合跟踪器的虚拟物绘制方法而言,本领域普通测试人员可以理解实现本发明实施例基于虚拟物绘制方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在终端的存储器中,并被该终端内的至少一个处理器执行,在执行过程中可包括如该基于混合跟踪器的虚拟物绘制方法的实施例的流程。其中,该存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本发明实施例的该基于混合跟踪器的虚拟物绘制装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。
以上对本发明实施例所提供的一种基于混合跟踪器的虚拟物绘制方法及基于混合跟踪器的虚拟物绘制装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上该,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于混合跟踪器的虚拟物绘制方法,所述混合跟踪器包括视觉传感器,其特征在于,包括:
通过所述视觉传感器获取预设范围内的标志物;
根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息;
设置一预设标志物,通过所述视觉传感器获取视觉信息,当所述预设标志物位于所述混合跟踪器的屏幕中心位置时,根据所述视觉信息矫正所述混合跟踪器的位置信息,得到矫正后的位置信息;
根据所述矫正后的位置信息及预设坐标模型,绘制虚拟物。
2.根据权利要求1所述的虚拟物绘制方法,其特征在于,所述根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息步骤,包括:
从预设位置信息集合中,获取所述标志物的位置信息;
根据所述标志物的位置信息,计算所述混合跟踪器的初始位置信息;
根据所述初始位置信息及所述偏移信息,实时计算所述混合跟踪器的位置信息。
3.根据权利要求1所述的虚拟物绘制方法,其特征在于,所述根据所述矫正后的位置及预设坐标模型,绘制虚拟物步骤之前,还包括:
获取所述视觉传感器的外部参数;
根据所述外部参数、所述矫正后的位置及预设坐标模型,绘制所述虚拟物。
4.根据权利要求1所述的虚拟物绘制方法,其特征在于,所述通过所述视觉传感器获取预设范围内的标志物步骤,包括:
通过所述视觉传感器获取所述预设范围内的视频图像;
对所述视频图像进行二值化处理,得到二值化图像;
对所述二值化图像进行连通域提取和轮廓跟踪,得到所述标志物。
5.根据权利要求4所述的虚拟物绘制方法,其特征在于,所述对所述二值化图像进行连通域提取和轮廓跟踪,得到所述标志物步骤,包括:
从所述二值化图像中,提取连通域;
当所述连通域的连通面积大于预设面积时,根据预设轮廓形状对所述连通域进行处理,得到处理后的连通域;
从所述处理后的连通域中,提取所述标志物。
6.一种基于混合跟踪器的虚拟物绘制装置,所述混合跟踪器包括视觉传感器,其特征在于,包括:
第一获取模块,用于通过所述视觉传感器获取预设范围内的标志物;
计算模块,用于根据所述标志物的位置信息及所述混合跟踪器的偏移信息,实时计算所述混合跟踪器的位置信息;
第二获取模块,用于设置一预设标志物,通过所述视觉传感器获取视觉信息,当所述预设标志物位于所述混合跟踪器的屏幕中心位置时,根据所述视觉信息矫正所述混合跟踪器的位置信息,得到矫正后的位置信息;
绘制模块,用于根据所述矫正后的位置信息及预设坐标模型,绘制虚拟物。
7.根据权利要求6所述的虚拟物绘制装置,其特征在于,所述计算模块包括:
获取子模块,用于从预设位置信息集合中,获取所述标志物的位置信息;
第一计算子模块,用于根据所述标志物的位置信息,计算所述混合跟踪器的初始位置信息;
第二计算子模块,用于根据所述初始位置信息及所述偏移信息,实时计算所述混合跟踪器的位置信息。
8.根据权利要求6所述的虚拟物绘制装置,其特征在于,还包括:
获取模块,用于获取所述视觉传感器的外部参数;
所述绘制模块,用于根据所述外部参数、所述矫正后的位置及预设坐标模型,绘制所述虚拟物。
9.根据权利要求6所述的虚拟物绘制装置,其特征在于,所述第一获取模块包括:
图像获取子模块,用于通过所述视觉传感器获取所述预设范围内的视频图像;
处理子模块,用于对所述视频图像进行二值化处理,得到二值化图像;
提取子模块,用于对所述二值化图像进行连通域提取和轮廓跟踪,得到所述标志物。
10.根据权利要求9所述的虚拟物绘制装置,其特征在于,所述提取子模块用于:
从所述二值化图像中,提取连通域;
当所述连通域的连通面积大于预设面积时,根据预设轮廓形状对所述连通域进行处理,得到处理后的连通域;
从所述处理后的连通域中,提取所述标志物。
CN201810097383.7A 2018-01-31 2018-01-31 基于混合跟踪器的虚拟物绘制方法及装置 Active CN110097638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810097383.7A CN110097638B (zh) 2018-01-31 2018-01-31 基于混合跟踪器的虚拟物绘制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810097383.7A CN110097638B (zh) 2018-01-31 2018-01-31 基于混合跟踪器的虚拟物绘制方法及装置

Publications (2)

Publication Number Publication Date
CN110097638A CN110097638A (zh) 2019-08-06
CN110097638B true CN110097638B (zh) 2023-04-28

Family

ID=67442929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810097383.7A Active CN110097638B (zh) 2018-01-31 2018-01-31 基于混合跟踪器的虚拟物绘制方法及装置

Country Status (1)

Country Link
CN (1) CN110097638B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
CN103968829A (zh) * 2014-05-13 2014-08-06 清华大学 基于虚拟标志物的三维空间定位追踪方法及系统
CN106249881A (zh) * 2016-07-21 2016-12-21 江苏奥格视特信息科技有限公司 增强现实视场空间和虚拟三维目标动态配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
CN103968829A (zh) * 2014-05-13 2014-08-06 清华大学 基于虚拟标志物的三维空间定位追踪方法及系统
CN106249881A (zh) * 2016-07-21 2016-12-21 江苏奥格视特信息科技有限公司 增强现实视场空间和虚拟三维目标动态配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
增强现实中的目标远距离识别方法研究;吕淘沙等;《软件工程师》;20150405(第04期);第7-8页 *
混合跟踪技术在增强现实系统中的应用;苏宏等;《计算机工程》;20090220(第04期);第268-270页 *
苏宏等.混合跟踪技术在增强现实系统中的应用.《计算机工程》.2009,(第04期), *

Also Published As

Publication number Publication date
CN110097638A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN109947886B (zh) 图像处理方法、装置、电子设备及存储介质
EP2770783B1 (en) A wearable information system having at least one camera
US8705868B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
US20170013195A1 (en) Wearable information system having at least one camera
KR102285915B1 (ko) 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
CN107395871B (zh) 一种开启应用的方法、装置、存储介质及终端
CN103270537A (zh) 图像处理设备、图像处理方法和程序
US10755422B2 (en) Tracking system and method thereof
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
CN112348886B (zh) 视觉定位方法、终端和服务器
US11842514B1 (en) Determining a pose of an object from rgb-d images
CN110926478B (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
US9195872B2 (en) Object tracking method and apparatus
CN111736709A (zh) Ar眼镜控制方法、设备、存储介质及装置
CN109460044A (zh) 一种基于二维码的机器人归位方法、装置及机器人
CN110942474B (zh) 机器人目标跟踪方法、设备及存储介质
US9772679B1 (en) Object tracking for device input
CN110222651A (zh) 一种人脸姿态检测方法、装置、终端设备及可读存储介质
CN110097638B (zh) 基于混合跟踪器的虚拟物绘制方法及装置
CN105205786A (zh) 一种图像深度恢复方法及电子设备
CN115082520A (zh) 定位追踪方法、装置、终端设备及计算机可读存储介质
CN111797656B (zh) 人脸关键点检测方法、装置、存储介质及电子设备
CN109840457B (zh) 增强现实注册方法及增强现实注册装置
CN114078258A (zh) 一种应用于指纹识别的图像匹配方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant