CN107025661A - 一种实现增强现实的方法、服务器、终端及系统 - Google Patents

一种实现增强现实的方法、服务器、终端及系统 Download PDF

Info

Publication number
CN107025661A
CN107025661A CN201610066006.8A CN201610066006A CN107025661A CN 107025661 A CN107025661 A CN 107025661A CN 201610066006 A CN201610066006 A CN 201610066006A CN 107025661 A CN107025661 A CN 107025661A
Authority
CN
China
Prior art keywords
image
environment scene
pose
frame
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610066006.8A
Other languages
English (en)
Other versions
CN107025661B (zh
Inventor
柳寅秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201610066006.8A priority Critical patent/CN107025661B/zh
Publication of CN107025661A publication Critical patent/CN107025661A/zh
Application granted granted Critical
Publication of CN107025661B publication Critical patent/CN107025661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。本发明同时提供一种实现增强现实的服务器、终端及系统。本发明实现增强现实的方法、服务器、终端及系统，能够实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。

Description

一种实现增强现实的方法、服务器、终端及系统
技术领域
本发明涉及人工智能及计算机视觉技术领域，尤其涉及一种实现增强现实的方法、服务器、终端及系统。
背景技术
同时定位与地图创建(Simultaneous Localization and Mapping，SLAM)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。
现有技术中，目前较为常见的是基于平面模板的增强现实技术方案，通过对纹理特征丰富的平面模板进行训练，确定虚拟对象的显示位置。但是，受平面模板的限制，该技术方案对非平面物体及纹理特征偏少的物体的适用性较差。因此，如何在不同类型的真实场景中准确地确定虚拟对象的位置，实现虚拟对象在真实场景中的叠加融合，是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的在于提供一种实现增强现实的方法、服务器、终端及系统，将增强现实技术和同时定位与地图创建技术相结合，通过离线场景地图构建与在线初始化，实现虚拟对象在真实场景中的融合显示。
有鉴于此，本发明一方面提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
优选地，所述实时采集环境场景的图像的步骤之前，还包括：获取所述环境场景的视频图像；根据所述环境场景视频图像，对所述环境场景进行三维场景重建；根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。
优选地，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：对所述环境场景视频图像中的图像帧进行图像特征提取；根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。
优选地，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
优选地，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
优选地，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
本发明另一方面提供一种实现增强现实的服务器，包括：视频获取模块：用于获取环境场景的视频图像；场景重建模块：用于根据视频获取模块获取的环境场景视频图像，对环境场景进行三维场景重建；数据库构建模块：用于根据视频获取模块获取的环境场景视频图像，构建环境场景的图像检索数据库。
优选地，所述场景重建模块包括：特征提取单元：用于对环境场景视频图像中的每一帧图像进行图像特征提取；位姿计算单元：用于根据特征提取单元提取到的图像特征对环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；坐标建立单元，用于在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；关键帧选取单元：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；位姿图构建单元：用于根据环境场景视频图像中的离线初始帧与当前帧之间所有关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。
优选地，所述数据库构建模块，还用于根据环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
优选地，还包括：位姿设定模块：用于设定待显示的虚拟对象在环境场景中的位姿。
优选地，还包括：检索模块：用于接收终端发送的图像帧检索请求，以及在环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧，并将所述离线关键帧的位姿及3D点坐标发送至终端。
本发明同时提供一种实现增强现实的终端，包括：图像采集模块：用于实时采集环境场景的图像；图像跟踪模块：用于对图像采集模块采集的环境场景图像中的图像帧进行跟踪；数据获取模块：用于获取待显示的虚拟对象的位姿；显示模块：用于根据数据获取模块获取的待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。
优选地，所述图像跟踪模块包括：检测单元：用于根据环境场景图像的上一帧图像，检测环境场景图像的当前帧图像中与上一帧图像匹配的图像特征；判断单元：用于判断所述匹配的图像特征数是否大于预设阈值；位姿计算单元：用于当判断单元判断所述匹配的图像特征数大于预设阈值时，根据环境场景图像的上一帧图像的位姿及3D点坐标，计算所述环境场景视频图像的当前帧图像的位姿及3D点坐标。
优选地，所述数据获取模块，还用于当判断单元判断所述匹配的图像特征数小于预设阈值时，将环境场景图像的当前帧图像发送至服务器，并接收服务器发送的位姿及3D点坐标；以及，所述位姿计算单元，还用于根据数据获取模块接收的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。
优选地，所述位姿计算单元，还用于计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿；以及，所述显示模块，还用于根据位姿计算单元计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。
本发明还提供一种实现增强现实的系统，包括上述的实现增强现实的服务器，以及上述的实现增强现实的终端。
本发明实现增强现实的方法、服务器、终端及系统，通过实时采集环境场景图像，根据环境场景图像中的图像特征进行图像跟踪，确定待显示的虚拟对象与环境场景的相对位姿，在环境场景图像中显示虚拟对象。实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图：
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图；
图2示出了本发明第二实施例的实现增强现实的服务器的结构示意图；
图3示出了本发明第二实施例的实现增强现实的服务器的场景重建模块的结构示意图；
图4示出了本发明第三实施例的实现增强现实的终端的结构示意图；
图5示出了本发明第三实施例的实现增强现实的终端的图像跟踪模块的结构示意图；
图6示出了本发明第四实施例的实现增强现实的系统的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例的实现增强现实的方法，如图1所示，主要包括以下步骤：步骤S101，实时采集环境场景的图像；步骤S102，对环境场景图像中的图像帧进行跟踪；步骤S103，根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。
在该技术方案中，通过对环境场景进行实时图像采集，根据图像特征对环境场景图像中的图像帧进行跟踪，确定图像帧的位姿及图像帧中3D图像点的位置数据，根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。
在上述技术方案中，优选地，所述步骤S101之前，还包括：获取环境场景的视频图像；根据环境场景视频图像，对环境场景进行三维场景重建；根据环境场景视频图像，构建环境场景的图像检索数据库；预设待显示的虚拟对象在环境场景中的位姿。
在该技术方案中，通过预先拍摄所述环境场景的视频图像，记录环境场景中的图像细节，根据所述环境场景的视频图像，对所述环境场景进行三维重建。具体地，对环境场景视频图像中的每一帧图像进行图像特征提取，根据提取到的图像特征进行环境场景视频图像的帧间图像配准，确定图像帧之间的相对位姿。其中，帧间图像配准根据两图像帧中的图像特征，采用基于特征匹配或直接方法，得到一组2D点对，根据该组2D点对通过五点法计算得到该两图像帧之间的相对位姿。
在上述技术方案中，进一步地，在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标。同时，根据环境场景视频图像中的离线初始帧确定环境场景视频图像中的离线关键帧，根据环境场景视频图像中的离线初始帧与当前帧之间所有的离线关键帧的位姿及3D点坐标构建位姿图，并对所述位姿图进行优化，更新所述位姿及3D点坐标。具体地，根据环境场景视频图像中的离线初始帧，解析环境场景视频图像中所述离线初始帧之后的图像帧，若所述离线初始帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的一个离线关键帧。继续解析环境场景视频图像中所述离线关键帧之后的图像帧，若所述离线关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的下一个离线关键帧。以此类推，完成对所述环境场景视频图像中所有图像帧的解析，得到所述环境场景视频图像中的全部离线关键帧。进一步地，将所述环境场景视频图像解析为连续的图像帧序列，通过对环境场景的视频图像中的图像帧进行顺序配准，得到一组图像帧的位姿序列以及与每一图像帧中的2D点对应的3D点的坐标，完成对位姿图的构建。通过环形闭合检测，修正累计误差。同时，通过位姿及约束条件对位姿图进行优化，修正环境场景视频图像中每一图像帧的位姿数据。
在上述技术方案中，进一步地，根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
在上述技术方案中，步骤S102具体为：根据环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的关键帧图像，根据所述关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中，步骤S103具体为：根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。具体地，获取预设的待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧的位姿，计算所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，根据所述相对位姿，在所述环境场景图像的当前帧图像中显示所述待显示的虚拟对象。
实施例二
本发明实施例的实现增强现实的服务器200，如图2所示，包括：视频获取模块201：用于获取环境场景的视频图像；场景重建模块202：用于根据视频获取模块201获取的环境场景视频图像，对所述环境场景进行三维场景重建；数据库构建模块203：用于根据视频获取模块201获取的环境场景视频图像，构建所述环境场景的图像检索数据库。
在该技术方案中，视频获取模块201拍摄或者获取预先拍摄的环境场景的视频图像，记录环境场景中的图像细节。场景重建模块202根据视频获取模块201获取的环境场景的视频图像，对环境场景进行三维重建。数据库构建模块203根据视频获取模块201获取的环境场景视频图像，构建环境场景的图像检索数据库，用于进行环境场景图像检索。
在上述技术方案中，优选地，场景重建模块202，如图3所示，包括：特征提取单元2021：用于对所述环境场景视频图像中的图像帧进行图像特征提取；位姿计算单元2022：用于根据特征提取单元2021提取到的图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；坐标建立单元2023，用于在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；关键帧选取单元2024：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；位姿图构建单元2025：用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。具体地，特征提取单元2021对环境场景视频图像中的每一图像帧进行图像特征提取，位姿计算单元2022根据特征提取单元2021提取到的图像特征进行环境场景视频图像帧间图像配准，确定图像帧之间的相对位姿。其中，帧间图像配准根据两图像帧中的图像特征，采用基于特征匹配或直接方法，得到一组2D点对，根据该组2D点对通过五点法计算得到该两图像帧之间的相对位姿。坐标建立单元2023在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标。关键帧选取单元2024根据环境场景视频图像的离线初始帧，解析所述环境场景视频图像的离线初始帧之后的图像帧，若所述离线初始帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的一个离线关键帧。继续解析所述环境场景视频图像的离线关键帧之后的图像帧，若所述离线关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的下一个离线关键帧。以此类推，完成对所述环境场景视频图像的所有图像帧的解析，得到所述环境场景视频图像中的全部离线关键帧。位姿图构建单元2025根据位姿计算单元2022通过对环境场景的视频图像进行图像帧顺序配准，得到的一组图像帧的位姿序列以及与每一图像帧的2D点对应的3D点的坐标，完成对位姿图的构建。通过环形闭合检测，修正累计误差。同时，通过位姿及约束条件对位姿图进行优化，修正环境场景视频图像中每一图像帧的位姿数据。
在上述技术方案中，优选地，数据库构建模块203，根据环境场景视频图像中的初始帧及关键帧中的图像特征，建立搜索树或者词袋。
在上述技术方案中，优选地，实现增强现实的服务器200，还包括：位姿设定模块204：用于设定待显示的虚拟对象在环境场景中的位姿。
在上述技术方案中，优选地，实现增强现实的服务器200，还包括：检索模块205：用于接收终端发送的图像帧检索请求，以及在所述环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧，并将所述离线关键帧的位姿及3D点坐标发送至所述终端。
实施例三
本发明实施例的实现增强现实的终端300，如图4所示，包括：图像采集模块301：用于实时采集环境场景的图像；图像跟踪模块302：用于对图像采集模块301采集的环境场景图像中的图像帧进行跟踪；数据获取模块303：用于获取待显示的虚拟对象的位姿；显示模块304：用于根据数据获取模块303获取的待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。
在该技术方案中，图像采集模块301对环境场景进行实时图像采集，图像跟踪模块302根据图像特征对环境场景图像中的图像帧进行跟踪，确定图像帧的位姿及3D点位置数据，显示模块304根据数据获取模块303获取的待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。
在上述技术方案中，优选地，图像跟踪模块302，如图5所示，包括：检测单元3021：用于根据环境场景图像的上一帧图像，检测环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断单元3022：用于判断匹配的图像特征数是否大于预设阈值；位姿计算单元3023：用于当判断单元3022判断匹配的图像特征数大于预设阈值时，根据环境场景图像的上一帧图像的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中，优选地，数据获取模块303，还用于，当判断单元3022判断匹配的图像特征数小于预设阈值时，将环境场景图像的当前帧图像发送至服务器，并接收所述服务器发送的位姿及3D点坐标；以及，位姿计算单元3023，根据数据获取模块303接收的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中，优选地，位姿计算单元3023，还用于，计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿；以及，显示模块304，还用于，根据位姿计算单元3023计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿，在环境场景图像的当前帧图像中显示虚拟对象。
实施例四
本发明实施例的实现增强现实的系统400，如图6所示，包括：至少一个实现增强现实的服务器200，以及至少一个实现增强现实的终端300。
根据本发明实施例的实现增强现实的方法、服务器、终端及系统，通过实时采集环境场景图像，根据环境场景图像中的图像特征进行图像跟踪，确定待显示的虚拟对象与环境场景的相对位姿，在环境场景图像中显示虚拟对象。实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (16)

1.一种实现增强现实的方法，其特征在于，包括以下步骤：
实时采集环境场景的图像；
对所述环境场景图像中的图像帧进行跟踪；
根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述实时采集环境场景的图像的步骤之前，还包括：
获取所述环境场景的视频图像；
根据所述环境场景视频图像，对所述环境场景进行三维场景重建；
根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；
根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。
3.根据权利要求2所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：
对所述环境场景视频图像中的图像帧进行图像特征提取；
根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；
在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；
根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；
根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。
4.根据权利要求3所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：
根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
5.根据权利要求1至4中任一项所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：
根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；
判断所述匹配的图像特征数是否大于预设阈值；
若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；
若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
6.根据权利要求5所述的实现增强现实的方法，其特征在于，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：
获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
7.一种实现增强现实的服务器，其特征在于，包括：
视频获取模块：用于获取环境场景的视频图像；
场景重建模块：用于根据所述视频获取模块获取的环境场景视频图像，对所述环境场景进行三维场景重建；
数据库构建模块：用于根据所述视频获取模块获取的环境场景视频图像，构建所述环境场景的图像检索数据库。
8.根据权利要求7所述的实现增强现实的服务器，其特征在于，所述场景重建模块包括：
特征提取单元：用于对所述环境场景视频图像中的图像帧进行图像特征提取；
位姿计算单元：用于根据所述特征提取单元提取到的图像特征对所述环境场景视频图像进行帧间图像配准，计算所述帧之间的相对位姿；
坐标建立单元，用于在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；
关键帧选取单元：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；
位姿图构建单元：用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。
9.根据权利要求8所述的实现增强现实的服务器，其特征在于，所述数据库构建模块，还用于根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
10.根据权利要求9所述的实现增强现实的服务器，其特征在于，还包括：
位姿设定模块：用于设定待显示的虚拟对象在所述环境场景中的位姿。
11.根据权利要求9或10所述的实现增强现实的服务器，其特征在于，还包括：
检索模块：用于接收终端发送的图像帧检索请求，以及在所述环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧，并将所述离线关键帧的位姿及3D点坐标发送至所述终端。
12.一种实现增强现实的终端，其特征在于，包括：
图像采集模块：用于实时采集环境场景的图像；
图像跟踪模块：用于对所述图像采集模块采集的环境场景图像中的图像帧进行跟踪；
数据获取模块：用于获取待显示的虚拟对象的位姿；
显示模块：用于根据所述数据获取模块获取的所述待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
13.根据权利要求12所述的实现增强现实的终端，其特征在于，所述图像跟踪模块包括：
检测单元：用于根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；
判断单元：用于判断所述匹配的图像特征数是否大于预设阈值；
位姿计算单元：用于当所述判断单元判断所述匹配的图像特征数大于预设阈值时，根据所述环境场景图像的上一帧图像的位姿及3D点坐标，计算所述环境场景图像的当前帧图像的位姿及3D点坐标。
14.根据权利要求13所述的实现增强现实的终端，其特征在于，所述数据获取模块，还用于当所述判断单元判断所述匹配的图像特征数小于预设阈值时，将所述环境场景图像的当前帧图像发送至服务器，并接收所述服务器发送的位姿及3D点坐标；以及，
所述位姿计算单元，还用于根据所述数据获取模块接收的位姿及3D点坐标，计算所述环境场景图像的当前帧图像的位姿及3D点坐标。
15.根据权利要求13或14所述的实现增强现实的终端，其特征在于，所述位姿计算单元，还用于计算所述环境场景图像的当前帧图像与所述待显示的虚拟对象之间的相对位姿；以及，
所述显示模块，还用于根据所述位姿计算单元计算得到的所述环境场景图像的当前帧图像与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
16.一种实现增强现实的系统，其特征在于，包括权利要求7至11中任一项所述的实现增强现实的服务器，以及权利12至15中任一项所述的实现增强现实的终端。
CN201610066006.8A 2016-01-29 2016-01-29 一种实现增强现实的方法、服务器、终端及系统 Active CN107025661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610066006.8A CN107025661B (zh) 2016-01-29 2016-01-29 一种实现增强现实的方法、服务器、终端及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610066006.8A CN107025661B (zh) 2016-01-29 2016-01-29 一种实现增强现实的方法、服务器、终端及系统

Publications (2)

Publication Number Publication Date
CN107025661A true CN107025661A (zh) 2017-08-08
CN107025661B CN107025661B (zh) 2020-08-04

Family

ID=59524866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610066006.8A Active CN107025661B (zh) 2016-01-29 2016-01-29 一种实现增强现实的方法、服务器、终端及系统

Country Status (1)

Country Link
CN (1) CN107025661B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108355351A (zh) * 2017-11-28 2018-08-03 岳阳市数博环球实业有限公司 一种基于实时背景的电子游戏的生成方法
CN108520543A (zh) * 2018-04-09 2018-09-11 网易（杭州）网络有限公司 一种对相对精度地图进行优化的方法、设备及存储介质
CN109126121A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
CN110855601A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 Ar/vr场景地图获取方法
CN111273772A (zh) * 2020-01-17 2020-06-12 江苏艾佳家居用品有限公司 基于slam测绘方法的增强现实交互方法、装置
CN111459269A (zh) * 2020-03-24 2020-07-28 视辰信息科技(上海)有限公司 一种增强现实显示方法、系统及计算机可读存储介质
CN112752119A (zh) * 2019-10-31 2021-05-04 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
CN115866354A (zh) * 2022-11-25 2023-03-28 广州美术学院 基于交互虚拟现实的非物质遗产具象化演绎方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026189A (en) * 1997-11-13 2000-02-15 National Research Council Of Canada Method of recognizing objects within two-dimensional and three-dimensional images
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103177269A (zh) * 2011-12-23 2013-06-26 北京三星通信技术研究有限公司 用于估计对象姿态的设备和方法
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
CN104036476A (zh) * 2013-03-08 2014-09-10 三星电子株式会社 用于提供增强现实的方法以及便携式终端
WO2015048906A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US20150098645A1 (en) * 2013-10-04 2015-04-09 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
CN104781849A (zh) * 2012-11-02 2015-07-15 高通股份有限公司 单眼视觉同时定位与建图(slam)的快速初始化
CN105023266A (zh) * 2014-04-29 2015-11-04 高德软件有限公司 增强现实实现方法、装置和终端设备
CN105025272A (zh) * 2015-07-28 2015-11-04 深圳乐行天下科技有限公司 一种机器人及其混合视频流生成方法
CN105143821A (zh) * 2013-04-30 2015-12-09 高通股份有限公司 依据slam地图的广域定位

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026189A (en) * 1997-11-13 2000-02-15 National Research Council Of Canada Method of recognizing objects within two-dimensional and three-dimensional images
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
CN103177269A (zh) * 2011-12-23 2013-06-26 北京三星通信技术研究有限公司 用于估计对象姿态的设备和方法
CN104781849A (zh) * 2012-11-02 2015-07-15 高通股份有限公司 单眼视觉同时定位与建图(slam)的快速初始化
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN104036476A (zh) * 2013-03-08 2014-09-10 三星电子株式会社 用于提供增强现实的方法以及便携式终端
CN105143821A (zh) * 2013-04-30 2015-12-09 高通股份有限公司 依据slam地图的广域定位
WO2015048906A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US20150098645A1 (en) * 2013-10-04 2015-04-09 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
CN105023266A (zh) * 2014-04-29 2015-11-04 高德软件有限公司 增强现实实现方法、装置和终端设备
CN105025272A (zh) * 2015-07-28 2015-11-04 深圳乐行天下科技有限公司 一种机器人及其混合视频流生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱克: "增强现实技术在博物馆的运用", 《博物馆的数字化之路》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108355351A (zh) * 2017-11-28 2018-08-03 岳阳市数博环球实业有限公司 一种基于实时背景的电子游戏的生成方法
CN108520543A (zh) * 2018-04-09 2018-09-11 网易（杭州）网络有限公司 一种对相对精度地图进行优化的方法、设备及存储介质
CN108520543B (zh) * 2018-04-09 2022-08-09 杭州易现先进科技有限公司 一种对相对精度地图进行优化的方法、设备及存储介质
CN109126121B (zh) * 2018-06-01 2022-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
CN109126121A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
CN110855601A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 Ar/vr场景地图获取方法
CN110855601B (zh) * 2018-08-21 2021-11-19 华为技术有限公司 Ar/vr场景地图获取方法
CN112752119A (zh) * 2019-10-31 2021-05-04 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
CN112752119B (zh) * 2019-10-31 2023-12-01 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
CN111273772A (zh) * 2020-01-17 2020-06-12 江苏艾佳家居用品有限公司 基于slam测绘方法的增强现实交互方法、装置
CN111459269B (zh) * 2020-03-24 2020-12-01 视辰信息科技(上海)有限公司 一种增强现实显示方法、系统及计算机可读存储介质
CN111459269A (zh) * 2020-03-24 2020-07-28 视辰信息科技(上海)有限公司 一种增强现实显示方法、系统及计算机可读存储介质
CN115866354A (zh) * 2022-11-25 2023-03-28 广州美术学院 基于交互虚拟现实的非物质遗产具象化演绎方法及装置

Also Published As

Publication number Publication date
CN107025661B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN107025662A (zh) 一种实现增强现实的方法、服务器、终端及系统
US11727593B1 (en) Automated data capture
CN107025661A (zh) 一种实现增强现实的方法、服务器、终端及系统
US11769296B2 (en) Forest surveying
US11481982B2 (en) In situ creation of planar natural feature targets
EP2915140B1 (en) Fast initialization for monocular visual slam
CN107665506B (zh) 实现增强现实的方法及系统
WO2021017212A1 (zh) 一种多场景高精度车辆定位方法、装置及车载终端
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
US11238653B2 (en) Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program
CN107990899A (zh) 一种基于slam的定位方法和系统
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
US20200258309A1 (en) Live in-camera overlays
CN110335351B (zh) 多模态ar处理方法、装置、系统、设备及可读存储介质
CN107665508A (zh) 实现增强现实的方法及系统
US11290705B2 (en) Rendering augmented reality with occlusion
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
CN110827353B (zh) 一种基于单目摄像头辅助的机器人定位方法
CN112418288A (zh) 一种基于gms和运动检测的动态视觉slam方法
CN111784775B (zh) 一种标识辅助的视觉惯性增强现实注册方法
CN114937177A (zh) 自动打标、检测模型训练及目标识别方法、和电子设备
CN111192299A (zh) 一种基于综合管廊视频监控系统的人员轨迹定位方法
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant