CN107665508B - 实现增强现实的方法及系统 - Google Patents

实现增强现实的方法及系统 Download PDF

Info

Publication number
CN107665508B
CN107665508B CN201610619157.1A CN201610619157A CN107665508B CN 107665508 B CN107665508 B CN 107665508B CN 201610619157 A CN201610619157 A CN 201610619157A CN 107665508 B CN107665508 B CN 107665508B
Authority
CN
China
Prior art keywords
virtual object
video image
rendering
plane
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610619157.1A
Other languages
English (en)
Other versions
CN107665508A (zh
Inventor
郑黎力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201610619157.1A priority Critical patent/CN107665508B/zh
Publication of CN107665508A publication Critical patent/CN107665508A/zh
Application granted granted Critical
Publication of CN107665508B publication Critical patent/CN107665508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种实现增强现实的方法，包括以下步骤：预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。本发明同时提供一种实现增强现实的系统。本发明实现增强现实的方法及系统，通过预先获取环境场景的离线视频图像，检测符合虚拟对象渲染条件的平面，使渲染的虚拟对象的姿态与其渲染位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境的无缝融合。

Description

实现增强现实的方法及系统
技术领域
本发明涉及计算机视觉与人工智能技术领域，尤其涉及一种实现增强现实的方法及系统。
背景技术
SLAM(Simultaneous Localization and Mapping，同时定位与地图创建)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。
现有技术中基于SLAM技术的增强现实技术方案，完成环境场景识别与摄像机位姿计算之后，未进行平面检测便直接进行虚拟信息叠加显示，导致虚拟信息与环境场景的贴合度较低，容易使用户产生视觉错位，影响增强现实技术的呈现效果。因此，如何在不同的真实环境场景中准确检测虚拟信息叠加的平面，使虚拟信息与其叠加位置的平面保持一致，是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的是提供一种实现增强现实的方法及系统，服务器预先获取环境场景的离线视频图像，建立环境场景的离线三维地图，确定虚拟对象在离线环境场景视频图像中的渲染参数；终端实时采集环境场景的视频图像，与环境场景离线视频图像进行匹配实现图像跟踪。根据虚拟对象在环境场景离线视频图像中的渲染参数，在环境场景视频图像的当前帧中渲染显示虚拟对象，实现增强现实的效果。
有鉴于此，本发明一方面提供一种实现增强现实的方法，包括以下步骤：预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
优选地，所述预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数的步骤，具体为：预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
优选地，所述根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面的步骤，具体为：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面。
优选地，所述根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数的步骤，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
优选地，所述实现增强现实的方法，还包括：若未与所述环境场景的离线视频图像匹配成功，则确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
本发明另一方面提供一种实现增强现实的系统，包括服务器和终端，其中，所述服务器，包括：离线视频获取模块：用于预先获取环境场景的离线视频图像；离线地图构建模块：用于根据所述环境场景的离线视频图像，构建所述环境场景的离线三维地图；渲染参数确定模块：用于确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；所述终端，包括：视频采集模块：用于通过摄像机实时采集环境场景的视频图像；图像匹配模块：用于将所述视频采集模块采集的环境场景的视频图像与所述环境场景的离线视频图像进行匹配；位姿计算模块：用于根据匹配的所述环境场景的离线视频中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述离线三维地图中的位姿；对象渲染模块：用于根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
优选地，所述服务器，还包括：离线位姿计算模块：用于根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。
优选地，所述渲染参数确定模块，还包括：平面检测单元：用于根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；平面判断单元：用于根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；对象调整单元：用于根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
优选地，所述平面检测单元，还用于：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面。
优选地，所述对象调整单元，还用于，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
优选地，所述终端，还包括：平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；以及，所述对象渲染模块，还用于：根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
本发明实现增强现实的方法及系统，预先获取环境场景的离线视频图像，建立环境场景的离线三维地图，确定虚拟对象在离线环境场景视频图像中的渲染参数；通过摄像机实时采集环境场景的视频图像，与环境场景离线视频图像进行匹配实现摄像机位姿跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实现增强现实的方法及系统，通过预先获取环境场景的离线视频图像，检测环境场景视频图像中符合虚拟对象渲染条件的平面，使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图；
图2示出了本发明第二实施例的实现增强现实的方法的流程示意图；
图3示出了本发明第三实施例的实现增强现实的方法的流程示意图；
图4示出了本发明第四实施例的实现增强现实的系统的结构示意图；
图5示出了本发明第四实施例的实现增强现实的系统的服务器的结构示意图；
图6示出了本发明第四实施例的实现增强现实的系统的渲染参数确定模块的结构示意图；
图7示出了本发明第四实施例的实现增强现实的系统的终端的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图。
根据本发明实施例的实现增强现实的方法，如图1所示，包括：步骤S101，预先获取环境场景的离线视频图像，确定虚拟对象在环境场景的离线视频图像中的渲染参数；步骤S102，通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；步骤S103，若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行匹配，确定摄像机在环境场景离线三维地图中的位姿，根据虚拟对象在环境场景离线视频图像中的渲染参数，完成虚拟对象在环境场景视频图像当前帧中的叠加渲染。
实施例二
图2示出了本发明第二实施例的实现增强现实的方法的流程示意图。
根据本发明实施例的实现增强现实的方法，如图2所示，包括：步骤S201，预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；S202，根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；S203，根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；S204，若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数；步骤S205，通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；步骤S206，若匹配成功，则根据匹配的所述环境场景的离线视频图像中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述环境场景的离线三维地图中的位姿；S207，根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
在上述技术方案中，优选地，所述步骤S201，还包括：根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。
在该技术方案中，预先获取环境场景的离线视频图像，通过逐帧提取环境场景离线视频图像中的图像特征点，对环境场景离线视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算环境场景离线视频图像中每一帧对应的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景离线视频图像在三维空间中构建描述环境场景的离线三维地图，所述离线三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，所述步骤S202，具体为：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面。
在该技术方案中，具体地，将环境场景的离线三维地图中的地图点按距离聚类为n个地图点集合{MP1,MP2,…MPn}，在地图点集合MPi中，根据所述地图点集合MPi中地图点的平均坐标值，将所述地图点集合MPi中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP′i；将所述地图点集合MP′i转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面Pi；递归计算所述地图点集合MP′i中所有地图点到所述平面Pi的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP′i对应的符合虚拟对象渲染条件的平面。否则，则确定地图点集合MP′i中不存在符合虚拟对象渲染条件的平面。依次类推，确定所述n个地图点集合{MP1,MP2,…MPn}中的每个地图点集合对应的符合虚拟对象渲染条件的平面。
同样地，所述步骤202，还可以通过以下步骤确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面，具体地：根据用户操控指令，确定环境场景离线视频图像中的感兴趣区域；提取所述环境场景的离线视频图像中的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；根据所述地图点集合，检测所述感兴趣区域中的平面。
在上述技术方案中，优选地，所述步骤S204，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。具体地，根据所述平面Pi的法线，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面Pi的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。以此类推，根据n个地图点集合{MP1,MP2,…MPn}分别对应的多个平面，确定每个平面的法线，进而得到所述虚拟对象对应于每个平面的渲染参数。
本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定环境场景离线视频图像中符合虚拟对象渲染条件的平面，确定虚拟对象的渲染参数。通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行图像匹配跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，在环境场景视频图像的当前帧中叠加渲染虚拟对象。本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，基于稀疏点云检测环境场景中符合虚拟对象渲染条件中的平面，通过图像匹配跟踪在环境场景视频图像中实时渲染虚拟对象。本发明实施例的实现增强现实的方法运算效率高，适用于移动设备的增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合。
实施例三
图3示出了本发明第三实施例的实现增强现实的方法的流程示意图。
根据本发明实施例的实现增强现实的方法，如图3所示，包括以下步骤：
S301，预先获取环境场景的离线视频图像，确定虚拟对象在环境场景的离线视频图像中的渲染参数；
S302，通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；
S303，若未匹配成功，则确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
S304，根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
在该技术方案中，优选地，所述步骤S301，具体为：预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
在上述技术方案中，优选地，所述预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图的步骤，还包括：根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。
在该技术方案中，预先获取环境场景的离线视频图像，通过逐帧提取环境场景离线视频图像中的图像特征点，对环境场景离线视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算环境场景离线视频图像中每一帧对应的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景离线视频图像在三维空间中构建描述环境场景的离线三维地图，所述离线三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，所述根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面的步骤，具体为：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面。
在该技术方案中，具体地，将环境场景的离线三维地图中的地图点按距离聚类为n个地图点集合{MP1,MP2,…MPn}，在地图点集合MPi中，根据所述地图点集合MPi中地图点的平均坐标值，将所述地图点集合MPi中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP′i；将所述地图点集合MP′i转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面Pi；递归计算所述地图点集合MP′i中所有地图点到所述平面Pi的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP′i对应的符合虚拟对象渲染条件的平面。否则，则确定地图点集合MP′i中不存在符合虚拟对象渲染条件的平面。依次类推，确定所述n个地图点集合{MP1,MP2,…MPn}中的每个地图点集合对应的符合虚拟对象渲染条件的平面。
同样地，在上述技术方案中，还可以通过以下步骤确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面，具体地：根据用户操控指令，确定环境场景离线视频图像中的感兴趣区域；提取所述环境场景的离线视频图像中的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；根据所述地图点集合，检测所述感兴趣区域中的平面。
在上述技术方案中，优选地，所述根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数的步骤，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。具体地，根据所述平面Pi的法线，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面Pi的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。以此类推，根据n个地图点集合{MP1,MP2,…MPn}分别对应的多个平面，确定每个平面的法线，进而得到所述虚拟对象对应于每个平面的渲染参数。
在上述技术方案中，优选地，所述步骤S302，具体为：通过摄像机实时采集环境场景的视频图像，提取环境场景视频图像当前帧中的图像特征点，与环境场景的离线视频图像进行图像特征匹配。
在上述技术方案中，优选地，所述步骤S303，具体为：若未匹配成功，则根据用户操控指令，确定环境场景视频图像中的感兴趣区域；提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；根据所述地图点集合，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面。
在该技术方案中，优选地，根据用户操控指令，确定环境场景视频图像中的感兴趣区域的步骤，具体为：若环境场景视频图像的当前帧未在环境场景的离线视频图像中匹配到对应的图像帧，则根据实时采集的环境场景的视频图像，通过逐帧提取环境场景视频图像中的图像特征点，对视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算当前帧的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景视频图像在三维空间中构建描述环境场景的三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。在所述环境场景的视频图像中，根据用户操控指令确定所述环境场景视频图像的当前帧中的感兴趣区域，例如，环境场景视频图像实时采集过程中，在屏幕中显示视频图像，根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，根据用户操控指令，摄像机对焦于环境场景中用户希望渲染虚拟对象的场景区域，所述场景区域包括平面或近似平面，例如桌面、墙面或地面等，确定所述场景区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在该技术方案中，优选地，提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合的步骤，具体为：提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合FP′。
在该技术方案中，优选地，根据所述地图点集合，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面的步骤，具体为：根据所述地图点集合FP′中地图点的平均坐标值，将所述地图点集合FP′中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP′；将所述地图点集合MP′转换为数据矩阵进行奇异值分解，确定以最小奇异值向量为法线的平面P′；递归计算所述地图点集合MP′中所有地图点到所述平面P′的距离，判断距离小于预设阈值ε′的地图点数量是否大于预设阈值l′，若是，则确定所述平面P′为所述感兴趣区域中的平面。
在上述技术方案中，所述步骤S304，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P′的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P′的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵，渲染所述虚拟对象。
本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定环境场景离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行图像匹配跟踪，若未匹配成功，则根据摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实施例基于稀疏点云检测环境场景中用户感兴趣区域中的平面，计算量小，运算效率高，适用于移动设备的增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
实施例四
图4示出了本发明第四实施例的实现增强现实的系统的结构示意图。
根据本发明实施例的实现增强现实的系统100，如图4所示，包括服务器200和终端300，所述服务器200，包括：
离线视频获取模块201，用于预先获取环境场景的离线视频图像；
离线地图构建模块202，用于根据所述环境场景的离线视频图像，构建所述环境场景的离线三维地图；
渲染参数确定模块203，用于确定虚拟对象在所述环境场景的离线视频图像中的渲染参数。
所述终端300，包括：
视频采集模块301，用于通过摄像机实时采集环境场景的视频图像；
图像匹配模块302，用于将所述视频采集模块301采集的环境场景的视频图像与所述环境场景的离线视频图像进行匹配；
位姿计算模块303，用于根据匹配的所述环境场景的离线视频中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述离线三维地图中的位姿；
对象渲染模块304，用于根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
本发明实施例的实现增强现实的系统100，包括服务器200和终端300，服务器200通过离线视频获取模块201预先获取环境场景的离线视频图像，离线地图构建模块202根据离线视频获取模块201获取的环境场景的离线视频图像，构建环境场景的离线三维地图，渲染参数确定模块203通过平面检测确定离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。终端300通过视频采集模块301实时采集环境场景的视频图像，图像匹配模块302将视频采集模块301采集的环境场景视频图像与服务器200中离线视频获取模块201预先获取的环境场景离线视频图像进行图像匹配，位姿计算模块303根据图像匹配模块302的匹配结果计算环境场景视频图像当前帧对应的摄像机在离线三维地图中的位姿，对象渲染模块304根据虚拟对象在环境场景离线视频图像中的渲染参数，完成虚拟对象在环境场景视频图像当前帧中的叠加渲染。
在上述技术方案中，优选地，如图5所示，所述服务器200，还包括：离线位姿计算模块204，用于根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。具体地，离线视频获取模块201预先获取环境场景的离线视频图像，离线位姿计算模块204通过逐帧提取环境场景离线视频图像中的图像特征点，对环境场景离线视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算环境场景离线视频图像中每一帧对应的摄像机位于环境场景中的位置和方向信息，以及，离线地图构建模块202根据环境场景离线视频图像在三维空间中构建描述环境场景的离线三维地图，所述离线三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，如图6所示，所述渲染参数确定模块203，还包括：平面检测单元2031：用于根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；平面判断单元2032：用于根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；对象调整单元2033：用于根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
在该技术方案中，优选地，平面检测单元2031，还用于：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面。
在该技术方案中，具体地，平面检测单元2031将环境场景的离线三维地图中的地图点按距离聚类为n个地图点集合{MP1,MP2,…MPn}，在地图点集合MPi中，根据所述地图点集合MPi中地图点的平均坐标值，将所述地图点集合MPi中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP′i；将所述地图点集合MP′i转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面Pi；递归计算所述地图点集合MP′i中所有地图点到所述平面Pi的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP′i对应的符合虚拟对象渲染条件的平面。否则，则确定地图点集合MP′i中不存在符合虚拟对象渲染条件的平面。依次类推，确定所述n个地图点集合{MP1,MP2,…MPn}中的每个地图点集合对应的符合虚拟对象渲染条件的平面。
在该技术方案中，优选地，对象调整单元2033，还用于：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。具体地，对象调整单元2033，根据所述平面Pi的法线，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面Pi的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。以此类推，根据n个地图点集合{MP1,MP2,…MPn}分别对应的多个平面，确定每个平面的法线，进而得到所述虚拟对象对应于每个平面的渲染参数。
在上述技术方案中，优选地，如图7所示，所述终端300，还包括：平面检测模块305：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；以及，所述对象渲染模块304，还用于：根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
在该技术方案中，具体地，平面检测模块305，用于根据用户操控指令，确定环境场景视频图像中的感兴趣区域；提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；根据所述地图点集合，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面。
在上述技术方案中，优选地，若环境场景视频图像的当前帧未在环境场景的离线视频图像中匹配到对应的图像帧，则终端300根据实时采集的环境场景的视频图像，通过逐帧提取环境场景视频图像中的图像特征点，对视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算当前帧的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景视频图像在三维空间中构建描述环境场景的三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。平面检测模块305在所述环境场景的视频图像中，根据用户操控指令确定所述环境场景视频图像的当前帧中的感兴趣区域，例如，环境场景视频图像实时采集过程中，在屏幕中显示视频图像，根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，根据用户操控指令，摄像机对焦于环境场景中用户希望渲染虚拟对象的场景区域，所述场景区域包括平面或近似平面，例如桌面、墙面或地面等，确定所述场景区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在该技术方案中，优选地，平面检测模块305提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合。具体地，提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合FP′。
在该技术方案中，优选地，平面检测模块305根据所述地图点集合，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面。具体地：根据所述地图点集合FP′中地图点的平均坐标值，将所述地图点集合FP′中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP′；将所述地图点集合MP′转换为数据矩阵进行奇异值分解，确定以最小奇异值向量为法线的平面P′；递归计算所述地图点集合MP′中所有地图点到所述平面P′的距离，判断距离小于预设阈值ε′的地图点数量是否大于预设阈值l′，若是，则确定所述平面P为所述感兴趣区域中的平面。
在上述技术方案中，对象渲染模块304，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P′的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P′的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵，渲染所述虚拟对象。
本发明实施例的实现增强现实的系统，包括服务器和终端，服务器预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定环境场景离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。终端通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行图像匹配跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，在环境场景视频图像的当前帧中叠加渲染虚拟对象。本发明实施例的实现增强现实的系统，预先获取环境场景的离线视频图像，基于稀疏点云检测环境场景中符合虚拟对象渲染条件中的平面，通过图像匹配跟踪在环境场景视频图像中实时渲染虚拟对象。本发明实施例的实现增强现实的系统运算效率高，适用于移动设备的增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种实现增强现实的方法，其特征在于，包括以下步骤：
预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；
将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；
分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；
将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；
递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面；
根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；
若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数；
通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；
若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数的步骤，具体为：
调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
3.根据权利要求1所述的实现增强现实的方法，其特征在于，还包括：
若未匹配成功，则确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
4.一种实现增强现实的系统，包括服务器和终端，其特征在于，所述服务器，包括：
离线视频获取模块：用于预先获取环境场景的离线视频图像；
离线地图构建模块：用于根据所述环境场景的离线视频图像，构建所述环境场景的离线三维地图；
渲染参数确定模块：用于确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；
所述渲染参数确定模块，还包括：
平面检测单元：用于将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述地图点集合MP对应的符合虚拟对象渲染条件的平面；
平面判断单元：用于根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；
对象调整单元：用于根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数；
所述终端，包括：
视频采集模块：用于通过摄像机实时采集环境场景的视频图像；
图像匹配模块：用于将所述视频采集模块采集的环境场景的视频图像与所述环境场景的离线视频图像进行匹配；
位姿计算模块：用于根据匹配的所述环境场景的离线视频中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述离线三维地图中的位姿；
对象渲染模块：用于根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
5.根据权利要求4所述的实现增强现实的系统，其特征在于，所述对象调整单元，还用于：
调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
6.根据权利要求4所述的实现增强现实的系统，其特征在于，所述终端，还包括：
平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；以及，
所述对象渲染模块，还用于：根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
CN201610619157.1A 2016-07-29 2016-07-29 实现增强现实的方法及系统 Active CN107665508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610619157.1A CN107665508B (zh) 2016-07-29 2016-07-29 实现增强现实的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610619157.1A CN107665508B (zh) 2016-07-29 2016-07-29 实现增强现实的方法及系统

Publications (2)

Publication Number Publication Date
CN107665508A CN107665508A (zh) 2018-02-06
CN107665508B true CN107665508B (zh) 2021-06-01

Family

ID=61122317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610619157.1A Active CN107665508B (zh) 2016-07-29 2016-07-29 实现增强现实的方法及系统

Country Status (1)

Country Link
CN (1) CN107665508B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599432B (zh) * 2018-06-12 2023-02-24 光宝电子(广州)有限公司 影像处理系统及影像处理方法
US10482674B1 (en) * 2018-06-27 2019-11-19 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for mobile augmented reality
CN110827376A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN109166170A (zh) * 2018-08-21 2019-01-08 百度在线网络技术（北京）有限公司 用于渲染增强现实场景的方法和装置
WO2021065607A1 (ja) * 2019-10-03 2021-04-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN114529690B (zh) * 2020-10-30 2024-02-27 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN115810100B (zh) * 2023-02-06 2023-05-05 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254345A (zh) * 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN104781849A (zh) * 2012-11-02 2015-07-15 高通股份有限公司 单眼视觉同时定位与建图(slam)的快速初始化

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254345A (zh) * 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN104781849A (zh) * 2012-11-02 2015-07-15 高通股份有限公司 单眼视觉同时定位与建图(slam)的快速初始化
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Matching with PROSAC-progressive sample consensus";Chum O et al.;《IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20051231;第220-226页 *
"Simultaneous Localization and Mapping for Augmented Reality";Reitmayr G et al.;《International Symposium on Ubiquitous Virtual Reality. IEEE Computer Society》;20101231;第1-4页 *
"增强现实中的视频对象跟踪算法";陈明 等;《计算机工程》;20100630;第36卷(第12期);第229-231页 *
"面向增强现实浏览器的全景图精确标注";梁杏;《中国优秀硕士学位论文全文数据库信息科技辑》;20150715(第7期);第1-52页 *

Also Published As

Publication number Publication date
CN107665508A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107665506B (zh) 实现增强现实的方法及系统
CN107665508B (zh) 实现增强现实的方法及系统
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
CN112567201B (zh) 距离测量方法以及设备
CN107025662B (zh) 一种实现增强现实的方法、服务器、终端及系统
US11501527B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
US11948369B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous mapping
CN109506658B (zh) 机器人自主定位方法和系统
CN109544615B (zh) 基于图像的重定位方法、装置、终端及存储介质
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CN107025661B (zh) 一种实现增强现实的方法、服务器、终端及系统
US10169880B2 (en) Information processing apparatus, information processing method, and program
CN105678748A (zh) 三维监控系统中基于三维重构的交互式标定方法和装置
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN112365549B (zh) 车载相机的姿态校正方法、装置和存储介质及电子装置
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
Schauwecker et al. On-board dual-stereo-vision for autonomous quadrotor navigation
CN110751123A (zh) 一种单目视觉惯性里程计系统及方法
Liu et al. Conditional simultaneous localization and mapping: A robust visual SLAM system
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN114463832A (zh) 一种基于点云的交通场景视线追踪方法及系统
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant