CN107665506A - 实现增强现实的方法及系统 - Google Patents

实现增强现实的方法及系统 Download PDF

Info

Publication number
CN107665506A
CN107665506A CN201610617445.3A CN201610617445A CN107665506A CN 107665506 A CN107665506 A CN 107665506A CN 201610617445 A CN201610617445 A CN 201610617445A CN 107665506 A CN107665506 A CN 107665506A
Authority
CN
China
Prior art keywords
environment scene
video image
virtual objects
offline
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610617445.3A
Other languages
English (en)
Other versions
CN107665506B (zh
Inventor
柳寅秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201610617445.3A priority Critical patent/CN107665506B/zh
Publication of CN107665506A publication Critical patent/CN107665506A/zh
Application granted granted Critical
Publication of CN107665506B publication Critical patent/CN107665506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种实现增强现实的方法，包括以下步骤：预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。本发明同时提供一种实现增强现实的系统。本发明实现增强现实的方法及系统，通过预先获取环境场景的离线视频图像，检测符合虚拟对象渲染条件的平面，使渲染的虚拟对象的姿态与其渲染位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境的无缝融合。

Description

实现增强现实的方法及系统
技术领域
本发明涉及计算机视觉与人工智能技术领域，尤其涉及一种实现增强现实的方法及系统。
背景技术
SLAM(Simultaneous Localization and Mapping，同时定位与地图创建)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。
现有技术中基于SLAM技术的增强现实技术方案，完成环境场景识别与摄像机位姿计算之后，未进行平面检测便直接进行虚拟信息叠加显示，导致虚拟信息与环境场景的贴合度较低，容易使用户产生视觉错位，影响增强现实技术的呈现效果。因此，如何在不同的真实环境场景中准确检测虚拟信息叠加的平面，使虚拟信息与其叠加位置的平面保持一致，是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的是提供一种实现增强现实的方法及系统，服务器预先获取环境场景的离线视频图像，建立环境场景的离线三维地图，确定虚拟对象在离线环境场景视频图像中的渲染参数；终端实时采集环境场景的视频图像，与环境场景离线视频图像进行匹配实现图像跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，在环境场景视频图像的当前帧中渲染显示虚拟对象，实现增强现实的效果。
有鉴于此，本发明一方面提供一种实现增强现实的方法，包括以下步骤：预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
优选地，所述预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数的步骤，具体为：预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
优选地，所述根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面的步骤，具体为：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合对应的符合虚拟对象渲染条件的平面。
优选地，所述根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数的步骤，具体为：根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
优选地，所述实现增强现实的方法，还包括：若未与所述环境场景的离线视频图像匹配成功，则确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
本发明另一方面提供一种实现增强现实的系统，包括服务器和终端，其中，所述服务器，包括：离线视频获取模块：用于预先获取环境场景的离线视频图像；离线地图构建模块：用于根据所述环境场景的离线视频图像，构建所述环境场景的离线三维地图；渲染参数确定模块：用于确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；所述终端，包括：视频采集模块：用于通过摄像机实时采集环境场景的视频图像；图像匹配模块：用于将所述视频采集模块采集的环境场景的视频图像与所述环境场景的离线视频图像进行匹配；位姿计算模块：用于根据匹配的所述环境场景的离线视频中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述离线三维地图中的位姿；对象渲染模块：用于根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
优选地，所述服务器，还包括：离线位姿计算模块：用于根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。
优选地，所述渲染参数确定模块，还包括：平面检测单元：用于根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；平面判断单元：用于根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；对象调整单元：用于根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
优选地，所述平面检测单元，还用于：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合对应的符合虚拟对象渲染条件的平面。
优选地，所述对象调整单元，还用于，根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
优选地，所述终端，还包括：平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；以及，所述对象渲染模块，还用于：根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
本发明实现增强现实的方法及系统，预先获取环境场景的离线视频图像，建立环境场景的离线三维地图，确定虚拟对象在离线环境场景视频图像中的渲染参数；通过摄像机实时采集环境场景的视频图像，与环境场景离线视频图像进行匹配实现摄像机位姿跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实现增强现实的方法及系统，通过预先获取环境场景的离线视频图像，检测环境场景视频图像中符合虚拟对象渲染条件的平面，使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图；
图2示出了本发明第二实施例的实现增强现实的方法的流程示意图；
图3示出了本发明第三实施例的实现增强现实的方法的流程示意图；
图4示出了本发明第四实施例的实现增强现实的系统的结构示意图；
图5示出了本发明第四实施例的实现增强现实的系统的服务器的结构示意图；
图6示出了本发明第四实施例的实现增强现实的系统的渲染参数确定模块的结构示意图；
图7示出了本发明第四实施例的实现增强现实的系统的终端的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图。
根据本发明实施例的实现增强现实的方法，如图1所示，包括：步骤S101，预先获取环境场景的离线视频图像，确定虚拟对象在环境场景的离线视频图像中的渲染参数；步骤S102，通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；步骤S103，若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行匹配，确定摄像机在环境场景离线三维地图中的位姿，根据虚拟对象在环境场景离线视频图像中的渲染参数，完成虚拟对象在环境场景视频图像当前帧中的叠加渲染。
实施例二
图2示出了本发明第二实施例的实现增强现实的方法的流程示意图。
根据本发明实施例的实现增强现实的方法，如图2所示，包括：步骤S201，预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；S202，根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；S203，根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；S204，若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数；步骤S205，通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；步骤S206，若匹配成功，则根据匹配的所述环境场景的离线视频图像中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述环境场景的离线三维地图中的位姿；S207，根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
在上述技术方案中，优选地，所述步骤S201，还包括：根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。
在该技术方案中，预先获取环境场景的离线视频图像，通过逐帧提取环境场景离线视频图像中的图像特征点进行视频图像跟踪，对环境场景离线视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算环境场景离线视频图像中每一帧对应的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景离线视频图像在三维空间中构建描述环境场景的离线三维地图，所述离线三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，所述步骤S202，具体为：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合对应的符合虚拟对象渲染条件的平面。
在该技术方案中，具体地，将环境场景的离线三维地图中的地图点按距离聚类为n个地图点集合{MP1,MP2,…MPn}，在地图点集合MPi中通过随机抽样一致性算法选取预设数量的地图点，其中，地图点的选取数量可以是4个或4个以上，确定选取的地图点在环境场景离线视频图像的两个相邻关键帧X0和Y0中的对应图像特征点，迭代计算单应性矩阵，确定位移矩阵Ti和旋转矩阵Ri。根据所述环境场景离线视频图像跟踪过程中确定的所述两个相邻关键帧X0和Y0之间的位移矩阵和旋转矩阵判断所述位移矩阵Ti和旋转矩阵Ri与所述位移矩阵和旋转矩阵之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合MPi对应的符合虚拟对象渲染条件的平面。否则，则确定地图点集合MPi中不存在符合虚拟对象渲染条件的平面。依次类推，确定所述n个地图点集合中的每个地图点集合对应的符合虚拟对象渲染条件的平面。
同样地，所述步骤202，还可以通过以下步骤确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面，具体地：根据用户操控指令或环境场景离线视频图像对应的摄像机位姿，确定环境场景离线视频图像中的感兴趣区域；提取所述环境场景的离线视频图像中的感兴趣区域中的图像特征点，得到所述图像特征点集合；在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面，得到所述环境场景离线视频图像中符合虚拟对象渲染的平面。
在上述技术方案中，优选地，所述步骤S204，具体为：根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。具体地，根据地图点集合MPi中到所述地图点集合MPi对应的符合虚拟对象渲染的平面的距离小于预设阈值l的地图点，确定所述平面的法线。根据所述平面的法线，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。以此类推，根据n个地图点集合{MP1,MP2,…MPn}分别对应的多个平面，确定每个平面的法线，进而得到所述虚拟对象对应于每个平面的渲染参数。
本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定环境场景离线视频图像中符合虚拟对象渲染条件的平面，确定虚拟对象的渲染参数。通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行图像匹配跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，在环境场景视频图像的当前帧中叠加渲染虚拟对象。本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，基于稀疏点云检测环境场景中符合虚拟对象渲染条件中的平面，通过图像匹配跟踪在环境场景视频图像中实时渲染虚拟对象。本发明实施例的实现增强现实的方法运算效率高，适用于移动设备的增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合。
实施例三
图3示出了本发明第三实施例的实现增强现实的方法的流程示意图。
根据本发明实施例的实现增强现实的方法，如图3所示，包括以下步骤：
S301，预先获取环境场景的离线视频图像，确定虚拟对象在环境场景的离线视频图像中的渲染参数；
S302，通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；
S303，若未匹配成功，则确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
S304，根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
在该技术方案中，优选地，所述步骤S301，具体为：预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
在上述技术方案中，优选地，所述预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图的步骤，还包括：根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。
在该技术方案中，预先获取环境场景的离线视频图像，通过逐帧提取环境场景离线视频图像中的图像特征点进行视频图像跟踪，对环境场景离线视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算环境场景离线视频图像中每一帧对应的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景离线视频图像在三维空间中构建描述环境场景的离线三维地图，所述离线三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，所述根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面的步骤，具体为：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合对应的符合虚拟对象渲染条件的平面。
在该技术方案中，具体地，将环境场景的离线三维地图中的地图点按距离聚类为n个地图点集合{MP1,MP2,…MPn}，在地图点集合MPi中通过随机抽样一致性算法选取预设数量的地图点，其中，地图点的选取数量可以是4个或4个以上，确定选取的地图点在环境场景离线视频图像的两个相邻关键帧X0和Y0中的对应图像特征点，迭代计算单应性矩阵，确定位移矩阵Ti和旋转矩阵Ri。根据所述环境场景离线视频图像跟踪过程中确定的所述两个相邻关键帧X0和Y0之间的位移矩阵和旋转矩阵判断所述位移矩阵Ti和旋转矩阵Ri与所述位移矩阵和旋转矩阵之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合MPi对应的符合虚拟对象渲染条件的平面。否则，则确定地图点集合MPi中不存在符合虚拟对象渲染条件的平面。依次类推，确定所述n个地图点集合中的每个地图点集合对应的符合虚拟对象渲染条件的平面。
同样地，在上述技术方案中，还可以通过以下步骤确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面，具体地：根据用户操控指令或环境场景离线视频图像对应的摄像机位姿，确定环境场景离线视频图像中的感兴趣区域；提取所述环境场景的离线视频图像中的感兴趣区域中的图像特征点，得到所述图像特征点集合；在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面，得到所述环境场景离线视频图像中符合虚拟对象渲染的平面。
在上述技术方案中，优选地，所述根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数的步骤，具体为：根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。具体地，根据地图点集合MPi中到所述地图点集合MPi对应的符合虚拟对象渲染的平面的距离小于预设阈值l的地图点，确定所述平面的法线。根据所述平面的法线，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。以此类推，根据n个地图点集合{MP1,MP2,…MPn}分别对应的多个平面，确定每个平面的法线，进而得到所述虚拟对象对应于每个平面的渲染参数。
在上述技术方案中，优选地，所述步骤S302，具体为：通过摄像机实时采集环境场景的视频图像，提取环境场景视频图像当前帧中的图像特征点，与环境场景的离线视频图像进行图像特征匹配。
在上述技术方案中，优选地，所述步骤S303，具体为：若未匹配成功，则根据用户操控指令或摄像机位姿，确定环境场景视频图像中的感兴趣区域；提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，得到所述图像特征点集合；在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面。
在该技术方案中，优选地，根据用户操控指令或摄像机位姿，确定环境场景视频图像中的感兴趣区域的步骤，具体为：若环境场景视频图像的当前帧未在环境场景的离线视频图像中匹配到对应的图像帧，则根据实时采集的环境场景的视频图像，通过逐帧提取环境场景视频图像中的图像特征点进行视频图像跟踪，对视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算当前帧的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景视频图像在三维空间中构建描述环境场景的三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。在所述环境场景的视频图像中，根据用户操控指令确定所述环境场景视频图像的当前帧中的感兴趣区域，例如，环境场景视频图像实时采集过程中，在屏幕中显示视频图像，根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，根据环境场景视频图像当前帧对应的摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域，例如，实时采集环境场景视频图像过程中，判断预设时间范围内摄像机位姿的改变幅度是否小于预设阈值，若是，则确定所述预设时间范围内摄像机采集的视频图像的中心预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在该技术方案中，优选地，提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，得到所述图像特征点集合的步骤，具体为：提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合FP。
在该技术方案中，优选地，在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面的步骤，具体为：在所述图像特征点集合FP中，通过随机抽样一致性算法选取预设数量的图像特征点，其中，图像特征点的选取数量可以是4个或4个以上；根据环境场景的三维地图，确定所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，具体地，根据所选取的图像特征点在环境场景的三维地图中对应的地图点，确定相同地图点在环境场景视频图像参考帧中的映射点，即为所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，其中，参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；根据图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0′和位移矩阵T0′；根据环境场景视频图像跟踪过程中确定的所述当前帧与参考帧之间的旋转矩阵R′和位移矩阵T′，判断所述旋转矩阵R0′和位移矩阵T0′与所述旋转矩阵R′和位移矩阵T′之间的差值是否小于预设阈值ε′，若是，则确定所述选取的图像特征点所在的平面P0′，所述平面P0′为所述感兴趣区域中的平面。否则，则确定所述当前帧图像中不存在符合虚拟对象叠加渲染条件的平面。
在上述技术方案中，所述步骤S304，具体为：根据所述图像特征点集合FP中到感兴趣区域中的平面P0′距离小于预设阈值的图像特征点，确定感兴趣区域中的平面P0′法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵，渲染所述虚拟对象。
本发明实施例的实现增强现实的方法，预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定环境场景离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行图像匹配跟踪，若未匹配成功，则根据摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实施例基于稀疏点云检测环境场景中用户感兴趣区域中的平面，计算量小，运算效率高，适用于移动设备的增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
实施例四
图4示出了本发明第四实施例的实现增强现实的系统的结构示意图。
根据本发明实施例的实现增强现实的系统100，如图4所示，包括服务器200和终端300，所述服务器200，包括：
离线视频获取模块201，用于预先获取环境场景的离线视频图像；
离线地图构建模块202，用于根据所述环境场景的离线视频图像，构建所述环境场景的离线三维地图；
渲染参数确定模块203，用于确定虚拟对象在所述环境场景的离线视频图像中的渲染参数。
所述终端300，包括：
视频采集模块301，用于通过摄像机实时采集环境场景的视频图像；
图像匹配模块302，用于将所述视频采集模块301采集的环境场景的视频图像与所述环境场景的离线视频图像进行匹配；
位姿计算模块303，用于根据匹配的所述环境场景的离线视频中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述离线三维地图中的位姿；
对象渲染模块304，用于根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
本发明实施例的实现增强现实的系统100，包括服务器200和终端300，服务器200通过离线视频获取模块201预先获取环境场景的离线视频图像，离线地图构建模块202根据离线视频获取模块201获取的环境场景的离线视频图像，构建环境场景的离线三维地图，渲染参数确定模块203通过平面检测确定离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。终端300通过视频采集模块301实时采集环境场景的视频图像，图像匹配模块302将视频采集模块301采集的环境场景视频图像与服务器200中离线视频获取模块201预先获取的环境场景离线视频图像进行图像匹配，位姿计算模块303根据图像匹配模块302的匹配结果计算环境场景视频图像当前帧对应的摄像机在离线三维地图中的位姿，对象渲染模块304根据虚拟对象在环境场景离线视频图像中的渲染参数，完成虚拟对象在环境场景视频图像当前帧中的叠加渲染。
在上述技术方案中，优选地，如图5所示，所述服务器200，还包括：离线位姿计算模块204，用于根据所述环境场景的离线视频图像，确定所述环境场景离线视频图像的任一图像帧对应的摄像机位姿。具体地，离线视频获取模块201预先获取环境场景的离线视频图像，离线位姿计算模块204通过逐帧提取环境场景离线视频图像中的图像特征点进行视频图像跟踪，对环境场景离线视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算环境场景离线视频图像中每一帧对应的摄像机位于环境场景中的位置和方向信息，以及，离线地图构建模块202根据环境场景离线视频图像在三维空间中构建描述环境场景的离线三维地图，所述离线三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，如图6所示，所述渲染参数确定模块203，还包括：平面检测单元2031：用于根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；平面判断单元2032：用于根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；对象调整单元2033：用于根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
在该技术方案中，优选地，平面检测单元2031，还用于：将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R的之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合中符合虚拟对象渲染条件的平面。
在该技术方案中，具体地，平面检测单元2031将环境场景的离线三维地图中的地图点按距离聚类为n个地图点集合{MP1,MP2,…MPn}，在地图点集合MPi中通过随机抽样一致性算法选取预设数量的地图点，其中，地图点的选取数量可以是4个或4个以上，确定选取的地图点在环境场景离线视频图像的两个相邻关键帧X0和Y0中的对应图像特征点，迭代计算单应性矩阵，确定位移矩阵Ti和旋转矩阵Ri。根据所述环境场景离线视频图像跟踪过程中确定的所述两个相邻关键帧X0和Y0之间的位移矩阵和旋转矩阵判断所述位移矩阵Ti和旋转矩阵Ri与所述位移矩阵和旋转矩阵之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合MPi对应的符合虚拟对象渲染条件的平面。否则，则确定地图点集合MPi中不存在符合虚拟对象渲染条件的平面。依次类推，确定所述n个地图点集合中的每个地图点集合对应的符合虚拟对象渲染条件的平面。
在该技术方案中，优选地，对象调整单元2033，还用于：根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。具体地，对象调整单元2033，根据地图点集合MPi中到所述地图点集合MPi对应的符合虚拟对象渲染的平面的距离小于预设阈值l的地图点，确定所述平面的法线。根据所述平面的法线，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面MPi的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。以此类推，根据n个地图点集合{MP1,MP2,…MPn}分别对应的多个平面，确定每个平面的法线，进而得到所述虚拟对象对应于每个平面的渲染参数。
在上述技术方案中，优选地，如图7所示，所述终端300，还包括：平面检测模块305：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；以及，所述对象渲染模块304，还用于：根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
在该技术方案中，具体地，平面检测模块305，用于根据用户操控指令或摄像机位姿，确定环境场景视频图像中的感兴趣区域；提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，得到所述图像特征点集合；在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面。
在上述技术方案中，优选地，若环境场景视频图像的当前帧未在环境场景的离线视频图像中匹配到对应的图像帧，则终端300根据实时采集的环境场景的视频图像，通过逐帧提取环境场景视频图像中的图像特征点进行视频图像跟踪，对视频图像相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算当前帧的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景视频图像在三维空间中构建描述环境场景的三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。平面检测模块305在所述环境场景的视频图像中，根据用户操控指令确定所述环境场景视频图像的当前帧中的感兴趣区域，例如，环境场景视频图像实时采集过程中，在屏幕中显示视频图像，根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，根据环境场景视频图像当前帧对应的摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域，例如，实时采集环境场景视频图像过程中，判断预设时间范围内摄像机位姿的改变幅度是否小于预设阈值，若是，则确定所述预设时间范围内摄像机采集的视频图像的中心预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在该技术方案中，优选地，平面检测模块305提取所述环境场景的视频图像中的感兴趣区域中的图像特征点，得到所述图像特征点集合。具体地，提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合FP。
在该技术方案中，优选地，平面检测模块305在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面，得到所述环境场景视频图像中符合虚拟对象渲染的平面。具体地：在所述图像特征点集合FP中，通过随机抽样一致性算法选取预设数量的图像特征点，其中，图像特征点的选取数量可以是4个或4个以上；根据环境场景的三维地图，确定所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，具体地，根据所选取的图像特征点在环境场景的三维地图中对应的地图点，确定相同地图点在环境场景视频图像参考帧中的映射点，即为所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，其中，参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；根据图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0′和位移矩阵T0′；根据环境场景视频图像跟踪过程中确定的所述当前帧与参考帧之间的旋转矩阵R′和位移矩阵T′，判断所述旋转矩阵R0′和位移矩阵T0′与所述旋转矩阵R′和位移矩阵T′之间的差值是否小于预设阈值ε′，若是，则确定所述选取的图像特征点所在的平面P0′，所述平面P0′为所述感兴趣区域中的平面。否则，则确定所述当前帧图像中不存在符合虚拟对象叠加渲染条件的平面。
在上述技术方案中，对象渲染模块304，根据所述图像特征点集合FP中到感兴趣区域中的平面P0′的距离小于预设阈值的图像特征点，确定感兴趣区域中的平面P0′的法线；调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵，渲染所述虚拟对象。
本发明实施例的实现增强现实的系统，包括服务器和终端，服务器预先获取环境场景的离线视频图像，构建环境场景的离线三维地图，通过平面检测确定环境场景离线视频图像中符合虚拟对象渲染的平面，确定虚拟对象的渲染参数。终端通过摄像机实时采集环境场景的视频图像，与环境场景的离线视频图像进行图像匹配跟踪，根据虚拟对象在环境场景离线视频图像中的渲染参数，在环境场景视频图像的当前帧中叠加渲染虚拟对象。本发明实施例的实现增强现实的系统，预先获取环境场景的离线视频图像，基于稀疏点云检测环境场景中符合虚拟对象渲染条件中的平面，通过图像匹配跟踪在环境场景视频图像中实时渲染虚拟对象。本发明实施例的实现增强现实的系统运算效率高，适用于移动设备的增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种实现增强现实的方法，其特征在于，包括以下步骤：
预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；
通过摄像机实时采集环境场景的视频图像，与所述环境场景的离线视频图像进行匹配；
若匹配成功，则根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述预先获取环境场景的离线视频图像，确定虚拟对象在所述环境场景的离线视频图像中的渲染参数的步骤，具体为：
预先获取环境场景的离线视频图像，构建所述环境场景的离线三维地图；
根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；
根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是否存在符合所述虚拟对象渲染条件的平面；
若是，则根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
3.根据权利要求2所述的实现增强现实的方法，其特征在于，所述根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面的步骤，具体为：
将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；
分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；
确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；
根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；
根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合对应的符合虚拟对象渲染条件的平面。
4.根据权利要求3所述的实现增强现实的方法，其特征在于，所述根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数的步骤，具体为：
根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；
调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
5.根据权利要求1所述的实现增强现实的方法，其特征在于，还包括：
若未匹配成功，则确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
6.一种实现增强现实的系统，包括服务器和终端，其特征在于，所述服务器，包括：
离线视频获取模块：用于预先获取环境场景的离线视频图像；
离线地图构建模块：用于根据所述环境场景的离线视频图像，构建所述环境场景的离线三维地图；
渲染参数确定模块：用于确定虚拟对象在所述环境场景的离线视频图像中的渲染参数；
所述终端，包括：
视频采集模块：用于通过摄像机实时采集环境场景的视频图像；
图像匹配模块：用于将所述视频采集模块采集的环境场景的视频图像与所述环境场景的离线视频图像进行匹配；
位姿计算模块：用于根据匹配的所述环境场景的离线视频中的图像帧，计算所述环境场景视频图像的当前帧对应的摄像机在所述离线三维地图中的位姿；
对象渲染模块：用于根据虚拟对象在所述环境场景的离线视频图像中的渲染参数，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
7.根据权利要求6所述的实现增强现实的系统，其特征在于，所述渲染参数确定模块，还包括：
平面检测单元：用于根据所述环境场景的离线三维地图，确定所述环境场景的离线视频图像中符合虚拟对象渲染条件的平面；
平面判断单元：用于根据所述虚拟对象的预设渲染位置，判断所述预设渲染位置的预设距离范围内是存在符合所述虚拟对象渲染条件的平面；
对象调整单元：用于根据所述符合所述虚拟对象渲染条件的平面，调整所述虚拟对象的位置和/或角度，得到所述虚拟对象的渲染参数。
8.根据权利要求7所述的实现增强现实的系统，其特征在于，所述平面检测单元，还用于：
将所述环境场景的离线三维地图中的地图点按距离聚类为多个地图点集合；
分别在所述每个地图点集合中，通过随机抽样一致性算法选取预设数量的地图点；
确定在所述每个地图点集合中选取的地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点；
根据所述地图点在所述环境场景离线视频图像的两个相邻关键帧中的对应图像点，迭代计算单应性矩阵，确定位移矩阵T0和旋转矩阵R0；
根据所述环境场景离线视频图像中两个相邻关键帧的位移矩阵T和旋转矩阵R，判断所述位移矩阵T0和旋转矩阵R0与所述位移矩阵T和旋转矩阵R之间的差值是否小于预设阈值ε，若是，则确定所述选取的地图点所在的平面为所述地图点集合对应的符合虚拟对象渲染条件的平面。
9.根据权利要求8所述的实现增强现实的系统，其特征在于，所述对象调整单元，还用于：
根据所述地图点集合中到所述平面的距离小于预设阈值的地图点，确定所述符合虚拟对象渲染条件的平面的法线；
调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，得到所述虚拟对象的渲染参数，所述渲染参数包括旋转矩阵和位移矩阵。
10.根据权利要求6所述的实现增强现实的系统，其特征在于，所述终端，还包括：
平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；以及，
所述对象渲染模块，还用于：根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染所述虚拟对象。
CN201610617445.3A 2016-07-29 2016-07-29 实现增强现实的方法及系统 Active CN107665506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610617445.3A CN107665506B (zh) 2016-07-29 2016-07-29 实现增强现实的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610617445.3A CN107665506B (zh) 2016-07-29 2016-07-29 实现增强现实的方法及系统

Publications (2)

Publication Number Publication Date
CN107665506A true CN107665506A (zh) 2018-02-06
CN107665506B CN107665506B (zh) 2021-06-01

Family

ID=61122124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610617445.3A Active CN107665506B (zh) 2016-07-29 2016-07-29 实现增强现实的方法及系统

Country Status (1)

Country Link
CN (1) CN107665506B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109116990A (zh) * 2018-08-20 2019-01-01 广州市三川田文化科技股份有限公司 一种移动控制的方法、装置、设备及计算机可读存储介质
CN109785444A (zh) * 2019-01-07 2019-05-21 深圳增强现实技术有限公司 图像中现实平面的识别方法、装置及移动终端
CN110514198A (zh) * 2019-08-28 2019-11-29 电子科技大学 一种基于计算机视觉技术的前后端架构地图定位方法
CN110827376A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN110827412A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
CN110827411A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
CN110920604A (zh) * 2018-09-18 2020-03-27 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
CN111882633A (zh) * 2020-07-24 2020-11-03 上海米哈游天命科技有限公司 一种画面渲染方法、装置、设备和介质
CN111882637A (zh) * 2020-07-24 2020-11-03 上海米哈游天命科技有限公司 一种画面渲染方法、装置、设备和介质
WO2021056283A1 (en) * 2019-09-25 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for adjusting a vehicle pose
CN113626902A (zh) * 2021-08-18 2021-11-09 杭州群核信息技术有限公司 基于pbr材质的材质建模系统
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
EP3923248A4 (en) * 2019-09-10 2022-06-08 Tencent Technology (Shenzhen) Company Limited IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIA
CN115810100A (zh) * 2023-02-06 2023-03-17 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质及程序产品
WO2023131090A1 (zh) * 2022-01-06 2023-07-13 华为技术有限公司 一种增强现实系统、多设备构建三维地图的方法及设备
CN116665004A (zh) * 2023-07-31 2023-08-29 深圳海岸线数据技术有限公司 一种扩展现实图像处理方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254345A (zh) * 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
CN103530881A (zh) * 2013-10-16 2014-01-22 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254345A (zh) * 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN103530881A (zh) * 2013-10-16 2014-01-22 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHUM O ET AL.: ""Matching with PROSAC-progressive sample consensus"", 《IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
REITMAYR G ET AL.: ""Simultaneous Localization and Mapping for Augmented Reality"", 《INTERNATIONAL SYMPOSIUM ON UBIQUITOUS VIRTUAL REALITY. IEEE COMPUTER SOCIETY》 *
梁杏: ""面向增强现实浏览器的全景图精确标注"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈明 等: ""增强现实中的视频对象跟踪算法"", 《计算机工程》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827376A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN110827412A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
CN110827411A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
CN109116990A (zh) * 2018-08-20 2019-01-01 广州市三川田文化科技股份有限公司 一种移动控制的方法、装置、设备及计算机可读存储介质
CN110920604A (zh) * 2018-09-18 2020-03-27 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
CN109785444A (zh) * 2019-01-07 2019-05-21 深圳增强现实技术有限公司 图像中现实平面的识别方法、装置及移动终端
CN110514198A (zh) * 2019-08-28 2019-11-29 电子科技大学 一种基于计算机视觉技术的前后端架构地图定位方法
US11538229B2 (en) 2019-09-10 2022-12-27 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, electronic device, and computer-readable storage medium
EP3923248A4 (en) * 2019-09-10 2022-06-08 Tencent Technology (Shenzhen) Company Limited IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIA
WO2021056283A1 (en) * 2019-09-25 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for adjusting a vehicle pose
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
CN111882637B (zh) * 2020-07-24 2023-03-31 上海米哈游天命科技有限公司 一种画面渲染方法、装置、设备和介质
CN111882637A (zh) * 2020-07-24 2020-11-03 上海米哈游天命科技有限公司 一种画面渲染方法、装置、设备和介质
CN111882633A (zh) * 2020-07-24 2020-11-03 上海米哈游天命科技有限公司 一种画面渲染方法、装置、设备和介质
CN113626902A (zh) * 2021-08-18 2021-11-09 杭州群核信息技术有限公司 基于pbr材质的材质建模系统
CN113626902B (zh) * 2021-08-18 2024-02-20 杭州群核信息技术有限公司 基于pbr材质的材质建模系统
WO2023131090A1 (zh) * 2022-01-06 2023-07-13 华为技术有限公司 一种增强现实系统、多设备构建三维地图的方法及设备
CN115810100A (zh) * 2023-02-06 2023-03-17 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质及程序产品
CN115810100B (zh) * 2023-02-06 2023-05-05 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质
CN116665004A (zh) * 2023-07-31 2023-08-29 深圳海岸线数据技术有限公司 一种扩展现实图像处理方法、系统、设备及存储介质
CN116665004B (zh) * 2023-07-31 2023-11-10 深圳海岸线数据技术有限公司 一种扩展现实图像处理方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN107665506B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN107665506A (zh) 实现增强现实的方法及系统
CN107665508A (zh) 实现增强现实的方法及系统
EP3579192B1 (en) Method, apparatus and device for determining camera posture information, and storage medium
CN103226830B (zh) 三维虚实融合环境中视频纹理投影的自动匹配校正方法
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CN107665505A (zh) 基于平面检测实现增强现实的方法及装置
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN104392045B (zh) 一种基于智能移动终端的实时增强虚拟现实系统及方法
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
CN106462943A (zh) 将全景成像与航拍成像对齐
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN107169924A (zh) 三维全景图像的建立方法和系统
CN107341442A (zh) 运动控制方法、装置、计算机设备和服务机器人
CN106548516A (zh) 三维漫游方法和装置
CN109035334A (zh) 位姿的确定方法和装置、存储介质及电子装置
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN111696216A (zh) 三维增强现实全景融合方法及系统
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN110245199B (zh) 一种大倾角视频与2d地图的融合方法
CN108520559A (zh) 一种基于双目视觉的无人机定位导航的方法
CN107025661A (zh) 一种实现增强现实的方法、服务器、终端及系统
CN106997579A (zh) 图像拼接的方法和装置
CN107330980A (zh) 一种基于无标志物的虚拟家具布置系统
CN113223070A (zh) 一种深度图像增强处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant