CN107665505A - 基于平面检测实现增强现实的方法及装置 - Google Patents

基于平面检测实现增强现实的方法及装置 Download PDF

Info

Publication number
CN107665505A
CN107665505A CN201610616770.8A CN201610616770A CN107665505A CN 107665505 A CN107665505 A CN 107665505A CN 201610616770 A CN201610616770 A CN 201610616770A CN 107665505 A CN107665505 A CN 107665505A
Authority
CN
China
Prior art keywords
plane
environment scene
interest
video image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610616770.8A
Other languages
English (en)
Other versions
CN107665505B (zh
Inventor
郑黎力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201610616770.8A priority Critical patent/CN107665505B/zh
Priority to PCT/CN2017/094736 priority patent/WO2018019272A1/zh
Publication of CN107665505A publication Critical patent/CN107665505A/zh
Application granted granted Critical
Publication of CN107665505B publication Critical patent/CN107665505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于平面检测实现增强现实的方法，包括以下步骤：通过摄像机实时获取环境场景的视频图像；确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。本发明同时提供一种基于平面检测实现增强现实的装置。本发明基于平面检测实现增强现实的方法及装置，通过检测环境场景视频图像的用户感兴趣区域中的平面，使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境的无缝融合。

Description

基于平面检测实现增强现实的方法及装置
技术领域
本发明涉及计算机视觉与人工智能技术领域，尤其涉及一种基于平面检测实现增强现实的方法及装置。
背景技术
SLAM(Simultaneous Localization and Mapping，同时定位与地图创建)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。
现有技术中基于SLAM技术的增强现实技术方案，完成环境识别与摄像机位姿计算之后，未进行平面检测便直接进行虚拟信息叠加显示，导致虚拟信息与环境场景的贴合度较低，容易使用户产生视觉错位，影响增强现实技术的呈现效果。因此，如何在不同的真实环境场景中准确检测虚拟信息叠加的平面，使虚拟信息与其叠加位置的平面保持一致，是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的是提供一种基于平面检测实现增强现实的方法及装置，通过实时采集环境场景的视频图像，检测环境场景视频图像中感兴趣区域中的平面，无需场景的初始信息或者特定的标记点，快速准确地实现在环境场景视频图像的感兴趣区域中对虚拟对象进行叠加显示。
有鉴于此，本发明一方面提供一种基于平面检测实现增强现实的方法，包括以下步骤：通过摄像机实时获取环境场景的视频图像；确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
优选地，所述通过摄像机实时获取环境场景的视频图像的步骤，还包括：根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；以及，根据所述环境场景的视频图像，构建所述环境场景的三维地图。
优选地，所述确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面的步骤，具体为：根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；根据所述地图点集合，检测所述感兴趣区域中的平面。
优选地，所述根据所述地图点集合，检测所述感兴趣区域中的平面的步骤，具体为：根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述感兴趣区域中的平面。
优选地，所述根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象的步骤，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
本发明另一方面提供一种基于平面检测实现增强现实的装置，其特征在于，包括：图像采集模块：用于通过摄像机实时获取环境场景的视频图像；平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；对象渲染模块：用于根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
优选地，所述图像采集模块，还包括：图像跟踪单元：用于根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；地图构建单元：用于根据所述环境场景的视频图像，构建所述环境场景的三维地图。
优选地，所述平面检测模块，还包括：区域确定单元：用于根据用户操控指令或所述摄像机位姿，确定所述环境场景视频图像的当前帧中的感兴趣区域；特征点提取单元：用于提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；平面检测单元：用于根据所述地图点集合，检测所述感兴趣区域中的平面。
优选地，所述平面检测单元，还用于：根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述感兴趣区域中的平面。
优选地，所述对象渲染模块，还包括：对象调整单元：用于调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；对象渲染单元：用于在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
本发明基于平面检测实现增强现实的方法及装置，通过摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明基于平面检测实现增强现实的方法及装置，通过检测环境场景中用户感兴趣区域中的平面，使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明第一实施例的基于平面检测实现增强现实的方法的流程示意图；
图2示出了本发明第二实施例的基于平面检测实现增强现实的方法的流程示意图；
图3示出了本发明第三实施例的基于平面检测实现增强现实的装置的结构示意图；
图4示出了本发明第三实施例的基于平面检测实现增强现实的装置的图像采集模块的结构示意图；
图5示出了本发明第三实施例的基于平面检测实现增强现实的装置的平面检测模块的结构示意图；
图6示出了本发明第三实施例的基于平面检测实现增强现实的装置的对象渲染模块的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明第一实施例的基于平面检测实现增强现实的方法的流程示意图。
根据本发明实施例的基于平面检测实现增强现实的方法，如图1所示，包括：步骤S101，通过摄像机实时获取环境场景的视频图像；步骤S102，确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；步骤S103，根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
本发明实施例基于平面检测实现增强现实的方法，通过摄像机实时获取环境场景的视频图像，基于同时定位与地图创建技术，确定环境场景视频图像对应的摄像机位姿并构建环境场景的三维地图。以及，通过确定环境场景视频图像中的用户感兴趣区域并检测感兴趣区域中的平面，实现虚拟对象在环境场景视频图像当前帧中的叠加渲染。
实施例二
图2示出了本发明第二实施例的基于平面检测实现增强现实的方法的流程示意图。
根据本发明实施例的基于平面检测实现增强现实的方法，如图2所示，包括以下步骤：步骤S201，通过摄像机实时获取环境场景的视频图像；步骤S202，根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；步骤S203，提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；步骤S204，根据所述地图点集合，检测所述感兴趣区域中的平面；步骤S205，根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
在上述技术方案中，所述步骤S201，还包括：根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；以及，根据所述环境场景的视频图像，构建所述环境场景的三维地图。具体地，实时采集环境场景的视频图像，通过逐帧提取环境场景视频图像中的图像特征点，对环境场景视频图像的相邻帧进行图像特征匹配，根据最小化重投影误差的方法计算当前帧对应的摄像机位于环境场景中的位置和方向信息，以及，根据环境场景视频图像在三维空间中构建描述环境场景的空间三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案，所述步骤S202，具体为：环境场景视频图像实时采集过程中，在屏幕中显示视频图像，根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，根据用户操控指令，摄像机对焦于环境场景中用户希望渲染虚拟对象的场景区域，所述场景区域包括平面或近似平面，例如桌面、墙面或地面等，确定所述场景区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在上述技术方案中，所述步骤S203，具体为：提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合FP。
在上述技术方案中，所述步骤S204，具体为：根据所述地图点集合FP中地图点的平均坐标值，将所述地图点集合FP中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述感兴趣区域中的平面。
在上述技术方案中，所述步骤S205，具体为：调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵，渲染所述虚拟对象。
本发明实施例的基于平面检测实现增强现实的方法，通过摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实施例基于稀疏点云检测环境场景中用户感兴趣区域中的平面，运算效率高，适用于移动增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
实施例三
图3示出了本发明第三实施例的基于平面检测实现增强现实的装置的结构示意图。
根据本发明实施例的基于平面检测实现增强现实的装置300，如图3所示，主要包括：图像采集模块301：用于通过摄像机实时获取环境场景的视频图像；平面检测模块302：用于确定所述图像采集模块301获取的环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；对象渲染模块303：用于根据所述平面检测模块302检测到的所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
在该技术方案中，图像采集模块301通过摄像机实时获取环境场景的视频图像，基于同时定位与地图创建技术，确定环境场景视频图像对应的摄像机位姿并构建环境场景的三维地图。平面检测模块302确定环境场景视频图像中的用户感兴趣区域并检测感兴趣区域中的平面，对象渲染模块303根据感兴趣区域中的平面实现虚拟对象在环境场景视频图像当前帧中的叠加渲染。
在上述技术方案中，优选地，所述图像采集模块301，如图4所示，还包括：图像跟踪单元3011：用于根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；地图构建单元3012：用于根据所述环境场景的视频图像，构建所述环境场景的三维地图。
在该技术方案中，图像跟踪单元3011通过逐帧提取环境场景视频图像中的图像特征点，对环境场景视频图像的相邻帧进行图像特征匹配，通过最小化重投影误差的方法计算当前帧对应的摄像机位于环境场景中的位置和方向信息；地图构建单元3012根据环境场景视频图像在三维空间中构建描述环境场景的空间三维地图，所述三维地图中包括地图点的位置和摄像机的位姿。
在上述技术方案中，优选地，平面检测模块302，如图5所示，还包括：区域确定单元3021：用于根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；特征点提取单元3022：用于提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；平面检测单元3023：用于根据所述地图点集合，检测所述感兴趣区域中的平面。
在该技术方案中，具体地，图像采集模块301进行环境场景视频图像实时采集过程中，在屏幕中显示视频图像，所述区域确定单元3021根据用户在屏幕上进行触控操作的位置，确定以所述触控操作位置为中心的预设范围区域为所述环境场景视频图像的当前帧中的感兴趣区域，其中，触控操作可以是点击、划动、圈选等，此处不作限定；或者，根据用户操控指令，区域确定单元3021将摄像机对焦于环境场景中用户希望渲染虚拟对象的场景区域，所述场景区域包括平面或近似平面，例如桌面、墙面或地面等，确定所述场景区域为所述环境场景视频图像的当前帧中的感兴趣区域。
在上述技术方案中，具体地，特征点提取单元3022，提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合FP。
在上述技术方案中，具体地，平面检测单元3023，根据所述地图点集合FP中地图点的平均坐标值，将所述地图点集合中每一个地图点的坐标值减去所述平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值向量为法线的平面P；递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述感兴趣区域中的平面。
在上述技术方案中，优选地，所述对象渲染模块303，如图6所示，还包括：对象调整单元3031：用于调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；对象渲染单元3032：用于在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。具体地，对象调整单元3031以所述环境场景视频图像中的感兴趣区域的中心为虚拟对象的渲染位置，调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；对象渲染单元3032，根据所述虚拟对象的旋转矩阵和位移矩阵，在环境场景视频图像的当前帧中的感兴趣区域渲染所述虚拟对象。
本发明实施例的基于平面检测实现增强现实的装置，通过摄像机实时采集环境场景的视频图像，进行摄像机位姿跟踪并建立环境场景的三维地图，确定环境场景视频图像中的用户感兴趣区域，通过检测用户感兴趣区域中的平面，进行虚拟对象的姿态调整，完成虚拟对象在环境场景视频图像中的叠加渲染。本发明实施例基于稀疏点云检测环境场景中用户感兴趣区域中的平面，计算量小，运算效率高，适用于移动增强现实实现，同时能够使叠加渲染的虚拟对象的姿态与其叠加位置的平面保持一致，显著提升了虚拟对象与真实环境场景的贴合度，实现虚拟对象与真实环境无缝融合的效果。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于平面检测实现增强现实的方法，其特征在于，包括以下步骤：
通过摄像机实时获取环境场景的视频图像；
确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
2.根据权利要求1所述的基于平面检测实现增强现实的方法，其特征在于，所述通过摄像机实时获取环境场景的视频图像的步骤，还包括：
根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；以及，
根据所述环境场景的视频图像，构建所述环境场景的三维地图。
3.根据权利要求2所述的基于平面检测实现增强现实的方法，其特征在于，所述确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面的步骤，具体为：
根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；
提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；
根据所述地图点集合，检测所述感兴趣区域中的平面。
4.根据权利要求3所述的基于平面检测实现增强现实的方法，其特征在于，所述根据所述地图点集合，检测所述感兴趣区域中的平面的步骤，具体为：
根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；
将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；
递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述感兴趣区域中的平面。
5.根据权利要求4所述的基于平面检测实现增强现实的方法，其特征在于，所述根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象的步骤，具体为：
调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；
在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
6.一种基于平面检测实现增强现实的装置，其特征在于，包括：
图像采集模块：用于通过摄像机实时获取环境场景的视频图像；
平面检测模块：用于确定所述环境场景视频图像的当前帧中的感兴趣区域，检测所述感兴趣区域中的平面；
对象渲染模块：用于根据所述感兴趣区域中的平面，在所述环境场景视频图像的当前帧中渲染虚拟对象。
7.根据权利要求6所述的基于平面检测实现增强现实的装置，其特征在于，所述图像采集模块，还包括：
图像跟踪单元：用于根据所述环境场景的视频图像，确定所述环境场景视频图像的当前帧对应的摄像机位姿；
地图构建单元：用于根据所述环境场景的视频图像，构建所述环境场景的三维地图。
8.根据权利要求7所述的基于平面检测实现增强现实的装置，其特征在于，所述平面检测模块，还包括：
区域确定单元：用于根据用户操控指令，确定所述环境场景视频图像的当前帧中的感兴趣区域；
特征点提取单元：用于提取所述环境场景视频图像当前帧的感兴趣区域中的图像特征点，根据所述环境场景的三维地图，确定所述图像特征点对应的地图点，得到所述地图点集合；
平面检测单元：用于根据所述地图点集合，检测所述感兴趣区域中的平面。
9.根据权利要求8所述的基于平面检测实现增强现实的装置，其特征在于，所述平面检测单元，还用于：
根据所述地图点集合中地图点的平均坐标值，获取以所述环境场景的三维地图的坐标原点为中心的地图点集合MP；
将所述地图点集合MP转换为数据矩阵进行奇异值分解，确定以最小奇异值对应的奇异向量为法线的平面P；
递归计算所述地图点集合MP中所有地图点到所述平面P的距离，判断距离小于预设阈值ε的地图点数量是否大于预设阈值l，若是，则确定所述平面P为所述感兴趣区域中的平面。
10.根据权利要求9所述的基于平面检测实现增强现实的装置，其特征在于，所述对象渲染模块，还包括：
对象调整单元：用于调整所述虚拟对象的位置和/或角度，使所述虚拟对象的法线方向与所述平面P的法线方向一致，确定所述虚拟对象的旋转矩阵和位移矩阵；
对象渲染单元：用于在所述环境场景视频图像的当前帧中的感兴趣区域，根据所述旋转矩阵和位移矩阵渲染所述虚拟对象。
CN201610616770.8A 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置 Active CN107665505B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610616770.8A CN107665505B (zh) 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置
PCT/CN2017/094736 WO2018019272A1 (zh) 2016-07-29 2017-07-27 基于平面检测实现增强现实的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610616770.8A CN107665505B (zh) 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置

Publications (2)

Publication Number Publication Date
CN107665505A true CN107665505A (zh) 2018-02-06
CN107665505B CN107665505B (zh) 2021-04-06

Family

ID=61115802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610616770.8A Active CN107665505B (zh) 2016-07-29 2016-07-29 基于平面检测实现增强现实的方法及装置

Country Status (1)

Country Link
CN (1) CN107665505B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536286A (zh) * 2018-03-22 2018-09-14 上海皮格猫信息科技有限公司 一种融合真实物体的vr工作辅助系统、方法及vr设备
CN108564648A (zh) * 2018-03-29 2018-09-21 北京微播视界科技有限公司 基于人体姿态的成像方法和装置
CN108805917A (zh) * 2018-05-25 2018-11-13 网易（杭州）网络有限公司 空间定位的方法、介质、装置和计算设备
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
CN110827412A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
CN110988947A (zh) * 2019-02-20 2020-04-10 以见科技(上海)有限公司 一种基于实时动态载波相位差分技术的增强现实定位方法
CN111311665A (zh) * 2020-03-12 2020-06-19 北京字节跳动网络技术有限公司 视频处理方法、装置及电子设备
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN114549766A (zh) * 2022-04-24 2022-05-27 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质
CN114900722A (zh) * 2022-05-06 2022-08-12 浙江工商大学 基于ar技术的个性化广告植入方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103181157A (zh) * 2011-07-28 2013-06-26 三星电子株式会社 基于平面特性的无标记增强现实系统及其操作方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103181157A (zh) * 2011-07-28 2013-06-26 三星电子株式会社 基于平面特性的无标记增强现实系统及其操作方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DENIS CHEKHLOV 等: "Ninja on a Plane: Automatic Discovery of Physical Planes for Augmented Reality Using Visual SLAM", 《2007 6TH IEEE AND ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *
ERANDA LAKSHANTHA 等: "Towards A Human Robot Interaction Framework with Marker-less Augmented Reality and Visual SLAM", 《JOURNAL OF AUTOMATION AND CONTROL ENGINEERING》 *
JARKKOPOLVI 等: "SlidAR: A 3D positioning method for SLAM-based handheld augmented reality", 《COMPUTERS & GRAPHICS》 *
丁帅华 等: "基于局部子图匹配的SLAM方法", 《机器人 ROBOT》 *
薛永胜 等: "EKF-SLAM算法的改进及其在Turtlebot的实现", 《西南科技大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536286A (zh) * 2018-03-22 2018-09-14 上海皮格猫信息科技有限公司 一种融合真实物体的vr工作辅助系统、方法及vr设备
CN108564648A (zh) * 2018-03-29 2018-09-21 北京微播视界科技有限公司 基于人体姿态的成像方法和装置
CN108805917A (zh) * 2018-05-25 2018-11-13 网易（杭州）网络有限公司 空间定位的方法、介质、装置和计算设备
CN108805917B (zh) * 2018-05-25 2021-02-23 杭州易现先进科技有限公司 空间定位的方法、介质、装置和计算设备
CN110827412A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
CN110988947A (zh) * 2019-02-20 2020-04-10 以见科技(上海)有限公司 一种基于实时动态载波相位差分技术的增强现实定位方法
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
CN111311665A (zh) * 2020-03-12 2020-06-19 北京字节跳动网络技术有限公司 视频处理方法、装置及电子设备
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN114549766A (zh) * 2022-04-24 2022-05-27 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质
CN114549766B (zh) * 2022-04-24 2022-09-09 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质
CN114900722A (zh) * 2022-05-06 2022-08-12 浙江工商大学 基于ar技术的个性化广告植入方法及系统

Also Published As

Publication number Publication date
CN107665505B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN107665505A (zh) 基于平面检测实现增强现实的方法及装置
CN107665506B (zh) 实现增强现实的方法及系统
CN107665507A (zh) 基于平面检测实现增强现实的方法及装置
US11481982B2 (en) In situ creation of planar natural feature targets
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
EP2915140B1 (en) Fast initialization for monocular visual slam
CN107665508A (zh) 实现增强现实的方法及系统
US9996982B2 (en) Information processing device, authoring method, and program
US8649632B2 (en) System and method for correlating oblique images to 3D building models
US9330504B2 (en) 3D building model construction tools
CN106251404B (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN110926334B (zh) 测量方法、装置、电子设备及存储介质
CN107111880A (zh) 针对计算机视觉的遮挡处置
KR101212636B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
US20180253821A1 (en) Point cloud data processing device, point cloud data processing method, and point cloud data processing program
CN105824417B (zh) 一种采用虚拟现实技术的人与物的结合方法
CN107025661A (zh) 一种实现增强现实的方法、服务器、终端及系统
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN104159036A (zh) 一种图像方向信息的显示方法及拍摄设备
CN103761011A (zh) 一种虚拟触摸屏的方法、系统及计算设备
AU2020103993A4 (en) Mobile augmented reality service apparatus and method using deep learning based positioning technology
CN107247424A (zh) 一种基于激光距离传感器的ar虚拟开关及其方法
CN115908627B (zh) 房源数据的处理方法、装置、电子设备及存储介质
CN115761046B (zh) 房屋信息的编辑方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant