CN106569591A - 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统 - Google Patents

基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统 Download PDF

Info

Publication number
CN106569591A
CN106569591A CN201610156542.7A CN201610156542A CN106569591A CN 106569591 A CN106569591 A CN 106569591A CN 201610156542 A CN201610156542 A CN 201610156542A CN 106569591 A CN106569591 A CN 106569591A
Authority
CN
China
Prior art keywords
tracking
computer vision
sensor
module
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610156542.7A
Other languages
English (en)
Inventor
周志颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Original Assignee
SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD filed Critical SUZHOU DREAM MAN SOFTWARE TECHNOLOGY CO LTD
Publication of CN106569591A publication Critical patent/CN106569591A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统，所述跟踪方法包括以下步骤：S1、对真实场景进行拍摄；S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；S3、通过传感器跟踪算法获取设备的旋转参数；S4、由位置参数和旋转参数得出完整的三维姿态参数；S5、根据用户交互更新三维姿态参数。本发明通过计算机视觉跟踪和传感器跟踪相结合的方式，在提升稳定性的同时减少跟踪算法对标识图片和拍摄环境的依赖，从而产生更好的用户体验。

Description

基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统
技术领域
本发明涉及增强现实技术领域，特别涉及一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统。
背景技术
计算机视觉跟踪技术通过分析视频图像获取匹配的特征信息，在增强现实领域拥有广泛的应用。然而，计算机视觉跟踪技术受限于标识图片且易受光照、材质等因素影响，无法给予用户很好的体验。
随着智能手机和平板电脑的广泛使用，三轴陀螺仪和加速度传感器被迅速普及，三轴陀螺仪和加速度传感器能够脱离图像实现跟踪，鲁棒性较好。然而，由于误差积累问题的存在，三轴陀螺仪和加速度传感器只能对旋转姿态实现稳定跟踪，不能对平移姿态实现稳定跟踪。
因此，鉴于上述技术问题，有必要提供一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统。
发明内容
针对现有技术的不足，本发明的主要目的在于提供一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统。本发明通过计算机视觉跟踪和传感器跟踪相结合的方式，在提升稳定性的同时减少跟踪算法对标识图片和拍摄环境的依赖，从而产生更好的用户体验。
为实现前述发明目的，本发明采用的技术方案包括：
一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，所述跟踪方法包括以下步骤：
S1、对真实场景进行拍摄；
S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；
S3、通过传感器跟踪算法获取设备的旋转参数；
S4、由位置参数和旋转参数得出完整的三维姿态参数；
S5、根据用户交互更新三维姿态参数。
作为本发明的进一步改进，所述三维姿态参数用于描述真实和/虚拟物体的三维姿态。
作为本发明的进一步改进，所述位置参数为真实和/或虚拟物体在三维空间中的位置信息，所述旋转参数为真实和/或虚拟物体在当前位置的旋转信息。
作为本发明的进一步改进，所述旋转参数为四元数、欧拉角、旋转矩阵中任意一种或多种的组合。
作为本发明的进一步改进，所述步骤S2包括：
计算机视觉跟踪算法获取真实场景的图像，并分析真实场景图像是否包含标识图片；
如果真实场景的图像包含标识图片，则计算机视觉跟踪算法跟踪成功，计算机视觉跟踪算法计算并返回标识图片的三维姿态位置参数；否则计算机视觉跟踪算法跟踪失败，返回一个标志位表示真实场景的图像不包含标识图片。
作为本发明的进一步改进，所述步骤S5还包括：
用户通过交互操作控制虚拟物体，调整虚拟物体的大小和/或三维姿态。
作为本发明的进一步改进，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户可以通过交互操作对虚拟物体进行缩放，但不可以通过交互操作对虚拟物体进行平移和/或旋转。
作为本发明的进一步改进，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户既可以通过交互操作对虚拟物体进行缩放，也可以通过交互操作对虚拟物体进行平移和/或旋转。
作为本发明的进一步改进，所述步骤S2中，如果计算机视觉跟踪算法能够从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设为标识图片的位置参数。
作为本发明的进一步改进，所述步骤S2中，如果计算机视觉跟踪算法不能从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设置为跟踪失败前一帧标识图片的位置参数、或其他便于用户浏览和/或交互的任意位置参数。
作为本发明的进一步改进，所述旋转参数从三轴陀螺仪的输出结果直接获取和/或从加速度传感器输出的重力加速度间接获取。
作为本发明的进一步改进，所述设备包括手持设备和/或可穿戴设备。
作为本发明的进一步改进，所述手持设备包括智能手机和/或平板电脑；所述可穿戴设备包括智能眼镜和/或智能手表。
相应地，一种基于计算机视觉跟踪和传感器跟踪的跟踪系统，所述跟踪系统包括：
图像采集模块，用于采集真实场景的图像；
计算机视觉跟踪模块，用于通过计算机视觉跟踪算法跟踪标识图片；
传感器跟踪模块，用于通过传感器跟踪算法跟踪设备的旋转姿态；
姿态整合模块，用于计算机视觉跟踪结果和传感器跟踪结果的整合；
交互模块，用于实现用户对虚拟场景的交互；
混合场景渲染模块，用于虚实混合场景的渲染。
作为本发明的进一步改进，所述图像采集模块用于实时采集和/或缓存真实场景的图像序列。
作为本发明的进一步改进，所述计算机视觉跟踪模块用于从真实场景的图像中识别增强现实标识图片，并从真实场景的图像序列中跟踪增强现实标识图片的位置参数；计算机视觉跟踪模块以图像采集模块输出的真实场景图像序列为输入，对图像序列中的每一帧图像输出识别和/或跟踪结果。
作为本发明的进一步改进，所述传感器跟踪模块用于获取设备的三维旋转姿态，传感器跟踪模块输出图像采集模块图像序列中每一帧图像对应的设备三维旋转姿态。
作为本发明的进一步改进，所述姿态整合模块用于生成虚拟场景的三维姿态参数，姿态整合模块的输入由三部分构成：一是计算机视觉跟踪模块输出的位置参数；二是传感器跟踪模块输出的旋转参数；三是计算机视觉跟踪模块跟踪失败时的位置参数，姿态整合模块将以上三部分输入整合，输出虚拟场景的三维姿态参数。
作为本发明的进一步改进，所述交互模块用于用户通过交互操作修改虚拟场景的三维姿态参数，交互模块输入姿态整合模块输出的三维姿态参数和用户的交互操作参数，输出虚拟场景交互后的最终三维姿态参数。
作为本发明的进一步改进，所述混合场景渲染模块用于虚实混合场景的最终渲染和展示，混合场景渲染模块的输入是交互模块的输出，输出是更新三维姿态参数后的重绘结果。
作为本发明的进一步改进，所述图像序列至少包含连续两帧和/或邻近两帧的真实场景图像。
作为本发明的进一步改进，所述交互模块的交互类型包括缩放、平移和旋转中任意一种或多种的组合。
本发明具有以下有益效果：
1、基于已经普及的硬件设备实现，不依赖于专有硬件，硬件成本和普及门槛低；
2、能够基于标识图片，实现对真实物理世界的快速检索；
3、基于标识图片完成快速检索后，检索出内容的浏览和交互不再依赖标识图片，人机界面更加友善。
附图说明
图1是本发明基于计算机视觉跟踪和传感器跟踪的跟踪方法的流程图；
图2是本发明基于计算机视觉跟踪和传感器跟踪的跟踪系统的模块示意图；
图3是本发明一具体实施例中基于计算机视觉跟踪和传感器跟踪的跟踪方法的流程图。
具体实施方式
以下将结合附图所示的具体实施方式对本申请进行详细描述。但这些实施方式并不限制本申请，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。
参图1所示，本发明公开了一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，该跟踪方法包括以下步骤：
S1、对真实场景进行拍摄；
S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数，该位置参数为真实和/或虚拟物体在三维空间中的位置信息；
S3、通过传感器跟踪算法获取设备的旋转参数，该旋转参数为真实和/或虚拟物体在当前位置的旋转信息，优选地，旋转参数为四元数、欧拉角、旋转矩阵中任意一种或多种的组合；
S4、由位置参数和旋转参数得出完整的三维姿态参数，该三维姿态参数用于描述真实和/虚拟物体的三维姿态；
S5、根据用户交互更新三维姿态参数。
具体地，步骤S2包括：
计算机视觉跟踪算法获取真实场景的图像，并分析真实场景图像是否包含标识图片；
如果真实场景的图像包含标识图片，则计算机视觉跟踪算法跟踪成功，计算机视觉跟踪算法计算并返回标识图片的三维姿态位置参数；否则计算机视觉跟踪算法跟踪失败，返回一个标志位表示真实场景的图像不包含标识图片。
本发明中用户通过交互操作控制虚拟物体，调整虚拟物体的大小和/或三维姿态。包括两种情况：
如果计算机视觉跟踪算法能够从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设为标识图片的位置参数。当步骤S2中计算机视觉跟踪算法跟踪成功时，用户可以通过交互操作对虚拟物体进行缩放，但不可以通过交互操作对虚拟物体进行平移和/或旋转；
如果计算机视觉跟踪算法不能从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设置为跟踪失败前一帧标识图片的位置参数、或其他便于用户浏览和/或交互的任意位置参数。当步骤S2中计算机视觉跟踪算法跟踪成功时，用户既可以通过交互操作对虚拟物体进行缩放，也可以通过交互操作对虚拟物体进行平移和/或旋转。
本发明中的旋转参数从三轴陀螺仪的输出结果直接获取和/或从加速度传感器输出的重力加速度间接获取。其中，设备包括手持设备和/或可穿戴设备，优选地，手持设备包括智能手机和/或平板电脑等；可穿戴设备包括智能眼镜和/或智能手表等。
如在本发明的一优选实施方式中，步骤S4具体包括：
如果计算机视觉跟踪算法能够从真实场景中检测到标识图片，则虚拟物体当前的三维姿态通过位置参数和旋转参数描述；
在计算机视觉跟踪算法不能从真实场景中检测到标识图片的情况下，人为设置虚拟物体三维姿态的位置参数，虚拟物体当前的三维姿态通过设置的位置参数和获取的旋转参数描述；
上述的位置参数表示真实和/或虚拟物体在三维空间中的位置坐标，记为：
旋转参数表示真实和/或虚拟物体在当前位置的旋转角度。旋转角度可以通过角度和/或弧度进行度量。旋转参数可以通过四元数、欧拉角、旋转矩阵中任意一种或任意多种的组合进行描述。以旋转矩阵为例，旋转参数记为：
位置和旋转参数构成完整的三维姿态参数，实现世界坐标系三维坐标Pw到摄像机坐标系三维坐标Pc的转换，转换公式：
其中，xw、yw、zw为Pw在三个坐标轴的分量，xc、yc、zc为Pc在三个坐标轴的分量。
相应地，参图2所示，本发明还公开了一种基于计算机视觉跟踪和传感器跟踪的跟踪系统，该跟踪系统包括：
图像采集模块M1，用于采集真实场景的图像；
计算机视觉跟踪模块M2，用于通过计算机视觉跟踪算法跟踪标识图片；
传感器跟踪模块M3，用于通过传感器跟踪算法跟踪设备的旋转姿态；
姿态整合模块M4，用于计算机视觉跟踪结果和传感器跟踪结果的整合；
交互模块M5，用于实现用户对虚拟场景的交互；
混合场景渲染模块M6，用于虚实混合场景的渲染。
以下对跟踪系统中的各模块进行具体说明。
图像采集模块M1用于实时采集和/或缓存真实场景的图像序列，图像序列至少包含连续两帧和/或邻近两帧的真实场景图像。
计算机视觉跟踪模块M2用于从真实场景的图像中识别标识图片，并从真实场景的图像序列中跟踪标识图片的三维位置坐标。计算机视觉跟踪模块M2以图像采集模块M1输出的真实场景图像序列为输入，对图像序列中的每一帧图像输出识别和/或跟踪结果。
传感器跟踪模块M3用于获取手持设备和/或可穿戴设备的三维旋转姿态。传感器跟踪模块M3输出图像采集模块M1图像序列中每一帧图像对应的设备三维旋转姿态。
姿态整合模块M4用于生成虚拟场景的三维姿态参数。姿态整合模块M4的输入由三部分构成：一是计算机视觉跟踪模块M2输出的三维姿态参数；二是传感器跟踪模块M3输出的三维姿态参数；三是计算机视觉跟踪模块跟踪失败时人为指定的三维姿态参数。姿态整合模块M4将以上三部分输入整合，输出虚拟场景的三维姿态参数。
交互模块M5用于用户通过交互操作修改虚拟场景的三维姿态参数。典型的交互类型包括缩放、平移和旋转交互，其中任意一种或任意多种的组合均属于交互模块M5的保护范围。交互模块M5输入姿态整合模块M4输出的三维姿态参数和用户的交互操作参数，输出虚拟场景交互后的最终三维姿态参数。
混合场景渲染模块M6用于虚实混合场景的最终渲染和展示。混合场景渲染模块M6以交互模块M5的输出为输入，输出更新三维姿态参数后的混合场景重绘结果。
在本发明的一具体实施例中，参图3所示，基于计算机视觉跟踪和传感器跟踪的跟踪方法具体包括以下步骤：
开启摄像头扫描真实场景101，当真实场景中检测到标识图时102，采用计算机视觉的自然特征跟踪算法提取位置参数103，自然特征跟踪算法的实现细节参考DanielWagner等人的论文“Pose Tracking from Natural Features on Mobile Phones”；
当真实场景没有检测到标识图，即计算机视觉跟踪失效时，判定是否人为设定位置信息104。作为较为优选的实施方案之一，在没有人为设定时自动选取跟踪失败前一帧的标识图片位置作为位置信息105；
位置信息通过转化获得在Unity程序中的坐标106，坐标以三维向量的形式描述，包含X，Y，Z三个分量，分别表示虚拟物体在三个坐标轴的坐标值；
根据计算的位置信息调整模型在程序中的位置107。作为较为优选的实施方案之一，即调整Unity模型的transform.position属性值；
另外一方面，利用传感器跟踪108，采集由三轴陀螺仪得到的旋转信息109；
旋转信息经过转换得到易于Unity使用的四元数110；
根据四元数调整模型的旋转111。作为较为优选的实施方案之一，即调整Unity模型的transform.rotation属性值；
用户可以与虚拟物体交互112，包含两个方面：计算机视觉跟踪算法对当前帧的真实场景图像跟踪成功时，用户可以通过触控手势对虚拟物体进行缩放操作，但不可以通过触控手势对虚拟物体进行平移或旋转操作；计算机视觉跟踪算法对当前帧的真实场景图像跟踪失败时，用户既可以通过触控手势对虚拟物体进行缩放操作，也可以通过触控手势对虚拟物体进行平移或旋转操作；
最终，程序将更新三维姿态参数后的混合场景重绘113。
结合图2所示，本实施例中基于计算机视觉跟踪和传感器跟踪的跟踪系统的各模块及各自原理如下：
图像采集模块M1用于实时采集和缓存真实场景的图像序列。图像序列包含连续多帧的真实场景图像。
计算机视觉跟踪模块M2用于从真实场景的图像中识别标识图片，并从真实场景的图像序列中跟踪标识图片的三维位置坐标。计算机视觉跟踪模块M2以图像采集模块M1输出的真实场景图像序列为输入，对图像序列中的每一帧图像输出识别和跟踪结果。
传感器跟踪模块M3用于获取手持设备的三维旋转姿态。传感器跟踪模块M3输出图像采集模块M1图像序列中每一帧图像对应的设备三维旋转姿态。
姿态整合模块M4用于生成虚拟场景的三维姿态参数。姿态整合模块M4的输入由三部分构成：一是计算机视觉跟踪模块M2输出的三维姿态参数；二是传感器跟踪模块M3输出的三维姿态参数；三是计算机视觉跟踪模块跟踪失败时人为指定的三维姿态参数。姿态整合模块M4将以上三部分输入整合，输出虚拟场景的三维姿态参数。
交互模块M5用于用户通过交互操作修改虚拟场景的三维姿态参数。典型的交互类型包括缩放、平移和旋转交互，其中任意一种或任意多种的组合均属于交互模块M5的保护范围。交互模块M5输入姿态整合模块M4输出的三维姿态参数和用户的交互操作参数，输出虚拟场景交互后的最终三维姿态参数。
混合场景渲染模块M6用于虚实混合场景的最终渲染和展示。混合场景渲染模块M6以交互模块M5的输出为输入，输出更新三维姿态参数后的混合场景重绘结果。
应当理解的是，本发明中的计算机视觉跟踪和传感器跟踪为两种并列的跟踪方法，两者可以分别进行或同时进行，在跟踪方法中，步骤S2和S3没有必然的先后顺序，其可以先后分别进行或同时进行。
由上述技术方案可以看出，本发明具有以下有益效果：
1、基于已经普及的硬件设备实现，不依赖于专有硬件，硬件成本和普及门槛低；
2、能够基于标识图片，实现对真实物理世界的快速检索；
3、基于标识图片完成快速检索后，检索出内容的浏览和交互不再依赖标识图片，人机界面更加友善。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本申请的可行性实施方式的具体说明，它们并非用以限制本申请的保护范围，凡未脱离本申请技艺精神所作的等效实施方式或变更均应包含在本申请的保护范围之内。

Claims (22)

1.一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述跟踪方法包括以下步骤：
S1、对真实场景进行拍摄；
S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；
S3、通过传感器跟踪算法获取设备的旋转参数；
S4、由位置参数和旋转参数得出完整的三维姿态参数；
S5、根据用户交互更新三维姿态参数。
2.根据权利要求1所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述三维姿态参数用于描述真实和/虚拟物体的三维姿态。
3.根据权利要求2所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述位置参数为真实和/或虚拟物体在三维空间中的位置信息，所述旋转参数为真实和/或虚拟物体在当前位置的旋转信息。
4.根据权利要求3所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述旋转参数为四元数、欧拉角、旋转矩阵中任意一种或多种的组合。
5.根据权利要求2所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2包括：
计算机视觉跟踪算法获取真实场景的图像，并分析真实场景图像是否包含标识图片；
如果真实场景的图像包含标识图片，则计算机视觉跟踪算法跟踪成功，计算机视觉跟踪算法计算并返回标识图片的三维姿态位置参数；否则计算机视觉跟踪算法跟踪失败，返回一个标志位表示真实场景的图像不包含标识图片。
6.根据权利要求5所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S5还包括：
用户通过交互操作控制虚拟物体，调整虚拟物体的大小和/或三维姿态。
7.根据权利要求6所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户可以通过交互操作对虚拟物体进行缩放，但不可以通过交互操作对虚拟物体进行平移和/或旋转。
8.根据权利要求6所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户既可以通过交互操作对虚拟物体进行缩放，也可以通过交互操作对虚拟物体进行平移和/或旋转。
9.根据权利要求5所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中，如果计算机视觉跟踪算法能够从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设为标识图片的位置参数。
10.根据权利要求5所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中，如果计算机视觉跟踪算法不能从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设置为跟踪失败前一帧标识图片的位置参数、或其他便于用户浏览和/或交互的任意位置参数。
11.根据权利要求1所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述旋转参数从三轴陀螺仪的输出结果直接获取和/或从加速度传感器输出的重力加速度间接获取。
12.根据权利要求1所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述设备包括手持设备和/或可穿戴设备。
13.根据权利要求12所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述手持设备包括智能手机和/或平板电脑；所述可穿戴设备包括智能眼镜和/或智能手表。
14.一种基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述跟踪系统包括：
图像采集模块，用于采集真实场景的图像；
计算机视觉跟踪模块，用于通过计算机视觉跟踪算法跟踪标识图片；
传感器跟踪模块，用于通过传感器跟踪算法跟踪设备的旋转姿态；
姿态整合模块，用于计算机视觉跟踪结果和传感器跟踪结果的整合；
交互模块，用于实现用户对虚拟场景的交互；
混合场景渲染模块，用于虚实混合场景的渲染。
15.根据权利要求14所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述图像采集模块用于实时采集和/或缓存真实场景的图像序列。
16.根据权利要求15所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述计算机视觉跟踪模块用于从真实场景的图像中识别增强现实标识图片，并从真实场景的图像序列中跟踪增强现实标识图片的位置参数；计算机视觉跟踪模块以图像采集模块输出的真实场景图像序列为输入，对图像序列中的每一帧图像输出识别和/或跟踪结果。
17.根据权利要求15所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述传感器跟踪模块用于获取设备的三维旋转姿态，传感器跟踪模块输出图像采集模块图像序列中每一帧图像对应的设备三维旋转姿态。
18.根据权利要求14所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述姿态整合模块用于生成虚拟场景的三维姿态参数，姿态整合模块的输入由三部分构成：一是计算机视觉跟踪模块输出的位置参数；二是传感器跟踪模块输出的旋转参数；三是计算机视觉跟踪模块跟踪失败时的位置参数，姿态整合模块将以上三部分输入整合，输出虚拟场景的三维姿态参数。
19.根据权利要求14所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述交互模块用于用户通过交互操作修改虚拟场景的三维姿态参数，交互模块输入姿态整合模块输出的三维姿态参数和用户的交互操作参数，输出虚拟场景交互后的最终三维姿态参数。
20.根据权利要求19所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述混合场景渲染模块用于虚实混合场景的最终渲染和展示，混合场景渲染模块的输入是交互模块的输出，输出是更新三维姿态参数后的重绘结果。
21.根据权利要求15所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述图像序列至少包含连续两帧和/或邻近两帧的真实场景图像。
22.根据权利要求14所述的基于计算机视觉跟踪和传感器跟踪的跟踪系统，其特征在于，所述交互模块的交互类型包括缩放、平移和旋转中任意一种或多种的组合。
CN201610156542.7A 2015-10-26 2016-03-18 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统 Pending CN106569591A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2015107022519 2015-10-26
CN201510702251 2015-10-26

Publications (1)

Publication Number Publication Date
CN106569591A true CN106569591A (zh) 2017-04-19

Family

ID=58531595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610156542.7A Pending CN106569591A (zh) 2015-10-26 2016-03-18 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统

Country Status (1)

Country Link
CN (1) CN106569591A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107199566A (zh) * 2017-06-02 2017-09-26 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN108171802A (zh) * 2018-02-07 2018-06-15 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108168523A (zh) * 2017-12-30 2018-06-15 宁波高新区晓圆科技有限公司 基于机器视觉的天线自跟踪系统和方法
CN108536298A (zh) * 2018-03-30 2018-09-14 广东工业大学 一种人体映射姿体与虚拟旋转体的捆绑交互约束方法
CN109099888A (zh) * 2017-06-21 2018-12-28 中兴通讯股份有限公司 一种位姿测量方法、设备及存储介质
CN109325970A (zh) * 2018-12-03 2019-02-12 舒彬 一种基于目标位姿跟踪的增强现实系统
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
CN110506296A (zh) * 2017-02-07 2019-11-26 迈恩德玛泽控股股份有限公司 用于跟踪身体或其部分的系统、方法、和装置
CN113888581A (zh) * 2021-10-13 2022-01-04 根尖体育科技（北京）有限公司 基于多模态的移动目标实时跟踪定位系统和方法
US11989340B2 (en) 2017-01-19 2024-05-21 Mindmaze Group Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
US11991344B2 (en) 2017-02-07 2024-05-21 Mindmaze Group Sa Systems, methods and apparatuses for stereo vision and tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214000A (zh) * 2011-06-15 2011-10-12 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
CN104951753A (zh) * 2015-06-05 2015-09-30 张巍 一种有标识物6自由度视觉跟踪系统及其实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214000A (zh) * 2011-06-15 2011-10-12 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
CN104951753A (zh) * 2015-06-05 2015-09-30 张巍 一种有标识物6自由度视觉跟踪系统及其实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张静: "基于iPhone的增强现实技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
罗斌等: "增强现实混合跟踪技术综述", 《自动化学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989340B2 (en) 2017-01-19 2024-05-21 Mindmaze Group Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
US11991344B2 (en) 2017-02-07 2024-05-21 Mindmaze Group Sa Systems, methods and apparatuses for stereo vision and tracking
CN110506296A (zh) * 2017-02-07 2019-11-26 迈恩德玛泽控股股份有限公司 用于跟踪身体或其部分的系统、方法、和装置
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
WO2018210305A1 (zh) * 2017-05-18 2018-11-22 腾讯科技（深圳）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107199566A (zh) * 2017-06-02 2017-09-26 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107199566B (zh) * 2017-06-02 2019-09-10 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN109099888A (zh) * 2017-06-21 2018-12-28 中兴通讯股份有限公司 一种位姿测量方法、设备及存储介质
CN108168523A (zh) * 2017-12-30 2018-06-15 宁波高新区晓圆科技有限公司 基于机器视觉的天线自跟踪系统和方法
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
CN108171802B (zh) * 2018-02-07 2022-01-11 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108171802A (zh) * 2018-02-07 2018-06-15 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108536298A (zh) * 2018-03-30 2018-09-14 广东工业大学 一种人体映射姿体与虚拟旋转体的捆绑交互约束方法
CN109325970A (zh) * 2018-12-03 2019-02-12 舒彬 一种基于目标位姿跟踪的增强现实系统
CN113888581A (zh) * 2021-10-13 2022-01-04 根尖体育科技（北京）有限公司 基于多模态的移动目标实时跟踪定位系统和方法

Similar Documents

Publication Publication Date Title
CN106569591A (zh) 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11481982B2 (en) In situ creation of planar natural feature targets
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
CN103345064B (zh) 一种集成3d识别的帽子及帽子的3d识别方法
WO2022146678A1 (en) Micro hand gestures for controlling virtual and graphical elements
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
CN111460875A (zh) 图像处理方法及装置、图像设备及存储介质
CN107622524A (zh) 用于移动终端的显示方法和显示装置
CN107004279A (zh) 自然用户界面相机校准
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN108234891A (zh) 一种拍照方法及移动终端
CN104484033A (zh) 基于bim的虚拟现实展示方法和系统
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及系统
WO2021034211A1 (ru) Способ и система передачи движения субъекта из видео на анимированного персонажа
US11889291B2 (en) Head-related transfer function
CN108153502A (zh) 基于透明屏幕的手持式增强现实显示方法及装置
CN115735150A (zh) 增强现实眼戴器与3d服装
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置
EP3309713B1 (en) Method and device for interacting with virtual objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170419

RJ01 Rejection of invention patent application after publication