CN107665507A - 基于平面检测实现增强现实的方法及装置 - Google Patents

基于平面检测实现增强现实的方法及装置 Download PDF

Info

Publication number
CN107665507A
CN107665507A CN201610617570.4A CN201610617570A CN107665507A CN 107665507 A CN107665507 A CN 107665507A CN 201610617570 A CN201610617570 A CN 201610617570A CN 107665507 A CN107665507 A CN 107665507A
Authority
CN
China
Prior art keywords
plane
environment scene
image
interest
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610617570.4A
Other languages
English (en)
Other versions
CN107665507B (zh
Inventor
柳寅秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201610617570.4A priority Critical patent/CN107665507B/zh
Priority to PCT/CN2017/094736 priority patent/WO2018019272A1/zh
Publication of CN107665507A publication Critical patent/CN107665507A/zh
Application granted granted Critical
Publication of CN107665507B publication Critical patent/CN107665507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于平面检测实现增强现实的方法，包括以下步骤：通过摄像机实时获取环境场景的视频图像；确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。本发明同时提供一种基于平面检测实现增强现实的装置。本发明基于平面检测实现增强现实的方法及装置，通过检测环境场景视频图像的用户感兴趣区域中的平面，使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境的无缝融合。

Description

基于平面检测实现增强现实的方法及装置
技术领域
本发明涉及计算机视觉与人工智能技术领域，尤其涉及一种基于平面检测实现增强现实的方法及装置。
背景技术
SLAM(Simultaneous Localization and Mapping，同时定位与地图创建)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。
现有技术中基于SLAM技术的增强现实技术方案，完成环境识别与摄像机位姿计算之后，未进行平面检测便直接进行虚拟信息叠加显示，导致虚拟信息与环境场景的贴合度较低，容易使用户产生视觉错位，影响增强现实技术的呈现效果。因此，如何在不同的真实环境场景中准确检测虚拟信息叠加的平面，使虚拟信息与其叠加位置的平面保持一致，是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的是提供一种基于平面检测实现增强现实的方法及装置，通过实时采集环境场景的视频图像，检测环境场景视频图像中感兴趣区域中的平面，无需场景的初始信息或者特定的标记点，快速准确地实现在环境场景视频图像的感兴趣区域中对虚拟对象进行叠加显示。
有鉴于此，本发明一方面提供一种基于平面检测实现增强现实的方法，包括以下步骤：通过摄像机实时获取环境场景的视频图像；确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
优选地，所述通过摄像机实时获取环境场景的视频图像的步骤，还包括：根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；以及，根据所述环境场景的视频图像，构建所述环境场景的三维地图。
优选地，所述确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面的步骤，具体为：根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；或者，根据所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合；在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面。
优选地，所述在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面的步骤，具体为：在所述图像特征点集合中，通过随机抽样一致性算法选取预设数量的图像特征点；根据所述环境场景的三维地图，确定所述图像特征点在所述环境场景视频图像的参考帧中的对应图像点，所述参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；根据所述图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0和位移矩阵T0；根据所述当前帧图像与所述参考帧图像的旋转矩阵R和位移矩阵T，判断所述旋转矩阵R0和位移矩阵T0与所述旋转矩阵R和位移矩阵T之间的差值是否小于预设阈值ε，若是，则确定所述选取的图像特征点所在的平面为所述感兴趣区域中的平面。
优选地，所述确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面的步骤，还包括：根据所述图像特征点集合中到所述平面的距离小于预设阈值的图像特征点，确定所述感兴趣区域中的平面的法线。
优选地，所述根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象的步骤，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
本发明另一方面提供一种基于平面检测实现增强现实的装置，其特征在于，包括：图像采集模块：用于通过摄像机实时获取环境场景的视频图像；平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；对象渲染模块：用于根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
优选地，所述图像采集模块，还包括：图像跟踪单元：用于根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；地图构建单元：用于根据所述环境场景的视频图像，构建所述环境场景的三维地图。
优选地，所述平面检测模块，还包括：区域确定单元：用于根据用户操控指令或所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；特征点提取单元：用于提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合；平面检测单元：用于在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面。
优选地，所述平面检测单元，还用于：在所述图像特征点集合中，通过随机抽样一致性算法选取预设数量的图像特征点；根据所述环境场景的三维地图，确定所述图像特征点在所述环境场景视频图像的参考帧中的对应图像点，所述参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；根据所述图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0和位移矩阵T0；根据所述当前帧图像与所述参考帧图像的旋转矩阵R和位移矩阵T，判断所述旋转矩阵R0和位移矩阵T0与所述旋转矩阵R和位移矩阵T之间的差值是否小于预设阈值ε，若是，则确定所述选取的图像特征点所在的平面为所述感兴趣区域中的平面。
优选地，所述平面检测模块，还包括：法线确定单元：用于根据所述图像特征点集合中到所述平面的距离小于预设阈值的图像特征点，确定所述感兴趣区域中的平面的法线。
优选地，所述对象渲染模块，还包括：对象调整单元：用于调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；对象渲染单元：用于在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
本发明基于平面检测实现增强现实的方法及装置，通过摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明基于平面检测实现增强现实的方法及装置，通过检测环境场景中用户感兴趣区域中的平面，使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明第一实施例的基于平面检测实现增强现实的方法的流程示意图；
图2示出了本发明第二实施例的基于平面检测实现增强现实的方法的流程示意图；
图3示出了本发明第三实施例的基于平面检测实现增强现实的装置的结构示意图；
图4示出了本发明第三实施例的基于平面检测实现增强现实的装置的图像采集模块的结构示意图；
图5示出了本发明第三实施例的基于平面检测实现增强现实的装置的平面检测模块的结构示意图；
图6示出了本发明第三实施例的基于平面检测实现增强现实的装置的对象渲染模块的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明第一实施例的基于平面检测实现增强现实的方法的流程示意图。
根据本发明实施例的基于平面检测实现增强现实的方法，如图1所示，包括：步骤S101，通过摄像机实时获取环境场景的视频图像；步骤S102，确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；步骤S103，根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
本发明实施例基于平面检测实现增强现实的方法，通过摄像机实时获取环境场景的视频图像，基于同时定位与地图创建技术，确定环境场景视频图像对应的摄像机位姿并构建环境场景的三维地图。以及，通过确定环境场景视频图像中的用户感兴趣区域并检测感兴趣区域中的平面，实现虚拟对象在环境场景视频图像当前帧中的叠加渲染。
实施例二
图2示出了本发明第二实施例的基于平面检测实现增强现实的方法的流程示意图。
根据本发明实施例的基于平面检测实现增强现实的方法，如图2所示，包括以下步骤：步骤S201，通过摄像机实时获取环境场景的视频图像；步骤S202，根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；或者，根据所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；步骤S203，提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合；步骤S204，在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面；步骤S205，根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
在上述技术方案中，所述步骤S201，还包括：根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；以及，根据所述环境场景的视频图像，构建所述环境场景的三维地图。具体地，实时采集环境场景的视频图像，通过逐帧提取环境场景视频图像中的图像特征点进行视频图像跟踪，对环境场景视频图像的相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算当前帧对应的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景视频图像在三维空间中构建描述环境场景的空间三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案，所述步骤S202，具体为：环境场景视频图像实时采集过程中，在屏幕中显示视频图像，根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，判断预设时间范围内摄像机位姿的变化幅度是否小于预设阈值，若是，则确定所述预设时间范围内摄像机采集的环境场景视频图像的中心预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在上述技术方案中，所述步骤S203，具体为：提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合FP。
在上述技术方案中，所述步骤S204，具体为：在所述图像特征点集合FP中，通过随机抽样一致性算法选取预设数量的图像特征点，其中，图像特征点的选取数量可以是4个或4个以上；根据环境场景的三维地图，确定所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，具体地，根据所选取的图像特征点在环境场景的三维地图中对应的地图点，确定相同地图点在环境场景视频图像参考帧中的映射点，即为所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，其中，参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；根据图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0和位移矩阵T0；根据环境场景视频图像跟踪过程中确定的所述当前帧与参考帧之间的旋转矩阵R和位移矩阵T，判断所述旋转矩阵R0和位移矩阵T0与所述旋转矩阵R和位移矩阵T之间的差值是否小于预设阈值ε，若是，则确定所述选取的图像特征点所在的平面P0，所述平面P0为所述感兴趣区域中的平面。否则，则确定所述当前帧图像中不存在符合虚拟对象叠加渲染条件的平面。
在上述技术方案中，所述步骤S204，还包括：根据所述图像特征点集合FP中到感兴趣区域中的平面P0的距离小于预设阈值的图像特征点，确定感兴趣区域中的平面P0的法线。
在上述技术方案中，所述步骤S205，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵，渲染所述虚拟对象。
本发明实施例的基于平面检测实现增强现实的方法，通过摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实施例基于稀疏点云检测环境场景中用户感兴趣区域中的平面，运算效率高，适用于移动增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
实施例三
图3示出了本发明第三实施例的基于平面检测实现增强现实的装置的结构示意图。
根据本发明实施例的基于平面检测实现增强现实的装置300，如图3所示，主要包括：图像采集模块301：用于通过摄像机实时获取环境场景的视频图像；平面检测模块302：用于确定所述图像采集模块301获取的环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；对象渲染模块303：用于根据所述平面检测模块302检测到的所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
在该技术方案中，图像采集模块301通过摄像机实时获取环境场景的视频图像，基于同时定位与地图创建技术，确定环境场景视频图像对应的摄像机位姿并构建环境场景的三维地图。平面检测模块302确定环境场景视频图像中的用户感兴趣区域并检测感兴趣区域中的平面，对象渲染模块303根据感兴趣区域中的平面实现虚拟对象在环境场景视频图像当前帧中的叠加渲染。
在上述技术方案中，优选地，所述图像采集模块301，如图4所示，还包括：图像跟踪单元3011：用于根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；地图构建单元3012：用于根据所述环境场景的视频图像，构建所述环境场景的三维地图。
在该技术方案中，图像跟踪单元3011通过逐帧提取环境场景视频图像中的图像特征点进行视频图像跟踪，对环境场景视频图像的相邻帧进行图像特征匹配，通过最小化重投影误差的方法计算当前帧对应的摄像机位于环境场景中的位置和方向信息；地图构建单元3012根据环境场景视频图像在三维空间中构建描述环境场景的空间三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，平面检测模块302，如图5所示，还包括：区域确定单元3021：用于根据用户操控指令或所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；特征点提取单元3022：用于提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合；平面检测单元3023：用于在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面。
在该技术方案中，具体地，图像采集模块301进行环境场景视频图像实时采集过程中，在屏幕中显示视频图像，所述区域确定单元3021根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，所述区域确定单元3021判断预设时间范围内摄像机位姿的变化幅度是否小于预设阈值，若是，则确定所述预设时间范围内摄像机采集的环境场景视频图像的中心预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在上述技术方案中，具体地，特征点提取单元3022，提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合FP。
在上述技术方案中，具体地，平面检测单元3023，在所述图像特征点集合FP中，通过随机抽样一致性算法选取预设数量的图像特征点，其中，图像特征点的选取数量可以是4个或4个以上；根据环境场景的三维地图，确定所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，具体地，根据所选取的图像特征点在环境场景的三维地图中对应的地图点，确定相同地图点在环境场景视频图像参考帧中的映射点，即为所选取的图像特征点在环境场景视频图像的参考帧中的对应图像点，其中，参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；根据图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0和位移矩阵T0；根据环境场景视频图像跟踪过程中确定的所述当前帧与参考帧之间的旋转矩阵R和位移矩阵T，判断所述旋转矩阵R0和位移矩阵T0与所述旋转矩阵R和位移矩阵T之间的差值是否小于预设阈值ε，若是，则确定所述选取的图像特征点所在的平面P0，所述平面P0为所述感兴趣区域中的平面。否则，则确定所述当前帧图像中不存在符合虚拟对象叠加渲染条件的平面。
在上述技术方案中，平面检测模块302，还包括：法线确定单元3024，用于根据所述图像特征点集合FP中到感兴趣区域中的平面P0的距离小于预设阈值的图像特征点，确定感兴趣区域中的平面P0的法线。
在上述技术方案中，优选地，所述对象渲染模块303，如图6所示，还包括：对象调整单元3031：用于调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；对象渲染单元3032：用于在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，对象调整单元3031以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；对象渲染单元3032，根据所述虚拟对象的旋转矩阵和位移矩阵，在环境场景视频图像的当前帧中的感兴趣区域渲染所述虚拟对象。
本发明实施例的基于平面检测实现增强现实的装置，通过摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实施例基于稀疏点云检测环境场景中用户感兴趣区域中的平面，计算量小，运算效率高，适用于移动增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (12)

1.一种基于平面检测实现增强现实的方法，其特征在于，包括以下步骤：
通过摄像机实时获取环境场景的视频图像；
确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
2.根据权利要求1所述的基于平面检测实现增强现实的方法，其特征在于，所述通过摄像机实时获取环境场景的视频图像的步骤，还包括：
根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；以及，
根据所述环境场景的视频图像，构建所述环境场景的三维地图。
3.根据权利要求2所述的基于平面检测实现增强现实的方法，其特征在于，所述确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面的步骤，具体为：
根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；或者，根据所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；
提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合；
在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面。
4.根据权利要求3所述的基于平面检测实现增强现实的方法，其特征在于，所述在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面的步骤，具体为：
在所述图像特征点集合中，通过随机抽样一致性算法选取预设数量的图像特征点；
根据所述环境场景的三维地图，确定所述图像特征点在所述环境场景视频图像的参考帧中的对应图像点，所述参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；
根据所述图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0和位移矩阵T0；
根据所述当前帧图像与所述参考帧图像的旋转矩阵R和位移矩阵T，判断所述旋转矩阵R0和位移矩阵T0与所述旋转矩阵R和位移矩阵T之间的差值是否小于预设阈值ε，若是，则确定所述选取的图像特征点所在的平面为所述感兴趣区域中的平面。
5.根据权利要求3或4所述的基于平面检测实现增强现实的方法，其特征在于，所述确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面的步骤，还包括：
根据所述图像特征点集合中到所述平面的距离小于预设阈值的图像特征点，确定所述感兴趣区域中的平面的法线。
6.根据权利要求5所述的基于平面检测实现增强现实的方法，其特征在于，所述根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象的步骤，具体为：
调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；
在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
7.一种基于平面检测实现增强现实的装置，其特征在于，包括：
图像采集模块：用于通过摄像机实时获取环境场景的视频图像；
平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
对象渲染模块：用于根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
8.根据权利要求7所述的基于平面检测实现增强现实的装置，其特征在于，所述图像采集模块，还包括：
图像跟踪单元：用于根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；
地图构建单元：用于根据所述环境场景的视频图像，构建所述环境场景的三维地图。
9.根据权利要求8所述的基于平面检测实现增强现实的装置，其特征在于，所述平面检测模块，还包括：
区域确定单元：用于根据用户操控指令或所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；
特征点提取单元：用于提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，得到所述图像特征点集合；
平面检测单元：用于在所述图像特征点集合中，选取预设数量的图像特征点，检测所述感兴趣区域中的平面。
10.根据权利要求9所述的基于平面检测实现增强现实的装置，其特征在于，所述平面检测单元，还用于：
在所述图像特征点集合中，通过随机抽样一致性算法选取预设数量的图像特征点；
根据所述环境场景的三维地图，确定所述图像特征点在所述环境场景视频图像的参考帧中的对应图像点，所述参考帧为所述环境场景视频图像中当前帧的前一关键帧或者前一相邻帧；
根据所述图像特征点以及所述图像特征点在所述参考帧中的对应图像点，迭代计算单应性矩阵，确定旋转矩阵R0和位移矩阵T0；
根据所述当前帧图像与所述参考帧图像的旋转矩阵R和位移矩阵T，判断所述旋转矩阵R0和位移矩阵T0与所述旋转矩阵R和位移矩阵T之间的差值是否小于预设阈值ε，若是，则确定所述选取的图像特征点所在的平面为所述感兴趣区域中的平面。
11.根据权利要求9或10所述的基于平面检测实现增强现实的装置，其特征在于，所述平面检测模块，还包括：
法线确定单元：用于根据所述图像特征点集合中到所述平面的距离小于预设阈值的图像特征点，确定所述感兴趣区域中的平面的法线。
12.根据权利要求11所述的基于平面检测实现增强现实的装置，其特征在于，所述对象渲染模块，还包括：
对象调整单元：用于调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；
对象渲染单元：用于在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
CN201610617570.4A 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置 Active CN107665507B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610617570.4A CN107665507B (zh) 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置
PCT/CN2017/094736 WO2018019272A1 (zh) 2016-07-29 2017-07-27 基于平面检测实现增强现实的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610617570.4A CN107665507B (zh) 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置

Publications (2)

Publication Number Publication Date
CN107665507A true CN107665507A (zh) 2018-02-06
CN107665507B CN107665507B (zh) 2021-04-30

Family

ID=61121955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610617570.4A Active CN107665507B (zh) 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置

Country Status (1)

Country Link
CN (1) CN107665507B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171802A (zh) * 2018-02-07 2018-06-15 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108876900A (zh) * 2018-05-11 2018-11-23 重庆爱奇艺智能科技有限公司 一种与现实场景融合的虚拟目标投射方法和系统
CN109974733A (zh) * 2019-04-02 2019-07-05 百度在线网络技术（北京）有限公司 用于ar导航的poi显示方法、装置、终端和介质
TWI678679B (zh) * 2018-07-09 2019-12-01 財團法人資訊工業策進會 空間座標轉換伺服器以及方法
CN113129249A (zh) * 2019-12-26 2021-07-16 舜宇光学（浙江）研究院有限公司 基于深度视频的空间平面检测方法及其系统和电子设备
CN114283068A (zh) * 2021-12-31 2022-04-05 北京德火科技有限责任公司 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统
CN114549766A (zh) * 2022-04-24 2022-05-27 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置
CN104966318A (zh) * 2015-06-18 2015-10-07 清华大学 具有图像叠加和图像特效功能的增强现实方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置
CN104966318A (zh) * 2015-06-18 2015-10-07 清华大学 具有图像叠加和图像特效功能的增强现实方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUM O ET AL.: ""Matching with PROSAC-progressive sample consensus"", 《IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
REITMAYR G ET AL.: ""Simultaneous Localization and Mapping for Augmented Reality"", 《INTERNATIONAL SYMPOSIUM ON UBIQUITOUS VIRTUAL REALITY. IEEE COMPUTER SOCIETY》 *
梁杏: ""面向增强现实浏览器的全景图精确标注"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171802A (zh) * 2018-02-07 2018-06-15 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108171802B (zh) * 2018-02-07 2022-01-11 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108876900A (zh) * 2018-05-11 2018-11-23 重庆爱奇艺智能科技有限公司 一种与现实场景融合的虚拟目标投射方法和系统
TWI678679B (zh) * 2018-07-09 2019-12-01 財團法人資訊工業策進會 空間座標轉換伺服器以及方法
CN109974733A (zh) * 2019-04-02 2019-07-05 百度在线网络技术（北京）有限公司 用于ar导航的poi显示方法、装置、终端和介质
CN113129249A (zh) * 2019-12-26 2021-07-16 舜宇光学（浙江）研究院有限公司 基于深度视频的空间平面检测方法及其系统和电子设备
CN113129249B (zh) * 2019-12-26 2023-01-31 舜宇光学（浙江）研究院有限公司 基于深度视频的空间平面检测方法及其系统和电子设备
CN114283068A (zh) * 2021-12-31 2022-04-05 北京德火科技有限责任公司 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统
CN114549766A (zh) * 2022-04-24 2022-05-27 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107665507B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN107665507A (zh) 基于平面检测实现增强现实的方法及装置
CN107665505A (zh) 基于平面检测实现增强现实的方法及装置
CN107665506B (zh) 实现增强现实的方法及系统
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP5799521B2 (ja) 情報処理装置、オーサリング方法及びプログラム
JP5682060B2 (ja) 画像合成装置、画像合成プログラム、及び画像合成システム
JP5821526B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2915140B1 (en) Fast initialization for monocular visual slam
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CN107665508A (zh) 实现增强现实的方法及系统
Veas et al. Extended overview techniques for outdoor augmented reality
CN106251404B (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
KR101212636B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
CN110926334B (zh) 测量方法、装置、电子设备及存储介质
CN108955718A (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
CN107111880A (zh) 针对计算机视觉的遮挡处置
CN105094335A (zh) 场景提取方法、物体定位方法及其系统
Cavallo et al. Riverwalk: Incorporating historical photographs in public outdoor augmented reality experiences
CN108629799B (zh) 一种实现增强现实的方法及设备
CN107025661A (zh) 一种实现增强现实的方法、服务器、终端及系统
KR20210095913A (ko) 맵 작성 방법, 장치, 및 시스템, 및 저장 매체
CN107084740A (zh) 一种导航方法和装置
Fukuda et al. Improvement of registration accuracy of a handheld augmented reality system for urban landscape simulation
JP2018014579A (ja) カメラトラッキング装置および方法
JP2020030748A (ja) 複合現実システム、プログラム、携帯端末装置、及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant