CN107025662A - 一种实现增强现实的方法、服务器、终端及系统 - Google Patents
一种实现增强现实的方法、服务器、终端及系统 Download PDFInfo
- Publication number
- CN107025662A CN107025662A CN201610070926.7A CN201610070926A CN107025662A CN 107025662 A CN107025662 A CN 107025662A CN 201610070926 A CN201610070926 A CN 201610070926A CN 107025662 A CN107025662 A CN 107025662A
- Authority
- CN
- China
- Prior art keywords
- image
- environment scene
- frame
- pose
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；提取环境场景图像中的图像特征；根据图像特征，对环境场景进行初始化定位，建立环境场景的局部地图；对环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。本发明同时提供一种实现增强现实的服务器、终端及系统。本发明实现增强现实的方法、服务器、终端及系统，能够实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
Description
技术领域
本发明涉及人工智能及计算机视觉技术领域，尤其涉及一种实现增强现实的方法、服务器、终端及系统。
背景技术
同时定位与地图创建(Simultaneous Localization and Mapping，SLAM)，是一项应用于在未知环境中自主地图创建与自身定位相结合的技术，是当前自主导航领域的研究热点，目标是解决在进入未知环境后，如何感知周围环境并构建增量式地图，同时进行自身定位的问题，目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中，也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。
现有技术中，目前较为常见的是基于平面模板的增强现实技术方案，通过对纹理特征丰富的平面模板进行训练，确定虚拟对象的显示位置。但是，受平面模板的限制，该技术方案对非平面物体及纹理特征偏少的物体的适用性较差。因此，如何在不同类型的真实场景中准确地确定虚拟对象的位置，实现虚拟对象在真实场景中的叠加融合，是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的在于提供一种实现增强现实的方法、服务器、终端及系统，将增强现实技术和同时定位与地图创建技术相结合，通过离线场景地图构建与在线初始化，实现虚拟对象在真实场景中的融合显示。
有鉴于此，本发明一方面提供一种实现增强现实的方法，包括以下步骤：实时采集环境场景的图像；提取所述环境场景图像中的图像特征；根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图；对所述环境场景图像中的图像帧进行跟踪；根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
优选地，所述实时采集环境场景的图像的步骤之前，还包括：获取所述环境场景的视频图像；根据所述环境场景视频图像，对所述环境场景进行三维场景重建；根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。
优选地，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：对所述环境场景视频图像中的图像帧进行图像特征提取；根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。
优选地，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
优选地，所述实现增强现实的方法，还包括：根据所述环境场景的位置信息，获取所述环境场景的图像检索数据库。
优选地，所述根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图的步骤，具体为：对当前帧图像中的图像特征进行解析，在所述图像检索数据库中检索符合预设条件的离线关键帧；根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；根据所述当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。
优选地，所述根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图的步骤，还包括：将所述当前帧、所述符合预设条件的离线关键帧及所述当前帧中的3D点加入所述环境场景的局部地图。
优选地，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
优选地，所述对所述环境场景图像中的图像帧进行跟踪的步骤，还包括：判断所述当前帧的位姿是否满足预设条件，若是，则将所述当前帧加入所述环境场景的局部地图及所述环境场景的图像检索数据库；根据所述环境场景的局部地图中的所有图像帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述图像帧的位姿及3D点坐标。
优选地，所述对所述环境场景图像中的图像帧进行跟踪的步骤，还包括：对加入所述环境场景的图像检索数据库的图像帧进行回环检测，若检测到回环，则更新所述环境场景的图像检索数据库。
优选地，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
本发明另一方面提供一种实现增强现实的服务器，包括：视频获取模块：用于获取环境场景的视频图像；场景重建模块：用于根据视频获取模块获取的环境场景视频图像，对环境场景进行三维场景重建；数据库构建模块：用于根据视频获取模块获取的环境场景视频图像，构建环境场景的图像检索数据库。
优选地，所述场景重建模块包括：特征提取单元：用于对环境场景视频图像中的每一帧图像进行图像特征提取；位姿计算单元：用于根据特征提取单元提取到的图像特征对环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；坐标建立单元，用于在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；关键帧选取单元：用于根据环境场景视频图像中的离线初始帧确定环境场景视频图像中的离线关键帧；位姿图构建单元：用于根据环境场景视频图像中的初始帧与当前帧之间所有关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。
优选地，所述数据库构建模块还用于根据环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
优选地，还包括：位姿设定模块：用于设定待显示的虚拟对象在环境场景中的位姿。
优选地，还包括：检索模块：用于接收终端发送的获取环境场景的图像检索数据库的请求，以及将所述请求中对应的环境场景的图像检索数据库发送至终端。
本发明同时提供一种实现增强现实的终端，包括：图像采集模块：用于实时采集环境场景的图像；特征提取模块：用于提取图像采集模块采集的环境场景图像中的图像特征；地图创建模块：用于根据特征提取模块提取的图像特征，对所述环境场景图像进行初始化定位，建立所述环境场景的局部地图；图像跟踪模块：用于对图像采集模块采集的环境场景图像中的图像帧进行跟踪；数据获取模块：用于获取待显示的虚拟对象的位姿；显示模块：用于根据数据获取模块获取的待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
优选地，所述实现增强现实的终端，还包括：定位模块：用于确定所述环境场景的位置信息，以及数据获取模块还用于根据环境场景的位置信息，获取环境场景的图像检索数据库。
优选地，所述地图创建模块包括：图像解析单元：用于对当前帧图像中的图像特征进行解析，在所述图像检索数据库中检索符合预设条件的离线关键帧；初始定位单元：用于根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；地图建立单元：根据所述当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。
优选地，所述图像跟踪模块包括：检测单元：用于根据环境场景图像的上一帧图像，检测环境场景图像的当前帧图像中与上一帧图像匹配的图像特征；判断单元：用于判断所述匹配的图像特征数是否大于预设阈值；位姿计算单元：用于当判断单元判断所述匹配的图像特征数大于预设阈值时，根据环境场景图像的上一帧图像的位姿及3D点坐标，计算所述环境场景视频图像的当前帧图像的位姿及3D点坐标。
优选地，所述数据获取模块，还用于当判断单元判断所述匹配的图像特征数小于预设阈值时，在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像；以及，所述位姿计算单元，还用于根据数据获取模块检索到的离线关键帧的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。
优选地，所述位姿计算单元，还用于计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿；以及，所述显示模块，还用于根据位姿计算单元计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。
本发明还提供一种实现增强现实的系统，包括上述的实现增强现实的服务器，以及上述的实现增强现实的终端。
本发明实现增强现实的方法、服务器、终端及系统，通过实时采集环境场景图像，根据环境场景图像中的图像特征进行图像跟踪，确定待显示的虚拟对象与环境场景的相对位姿，在环境场景图像中显示虚拟对象。实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图：
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图；
图2示出了本发明第二实施例的实现增强现实的服务器的结构示意图；
图3示出了本发明第二实施例的实现增强现实的服务器的场景重建模块的结构示意图；
图4示出了本发明第三实施例的实现增强现实的终端的结构示意图；
图5示出了本发明第三实施例的实现增强现实的终端的地图创建模块的结构示意图；
图6示出了本发明第三实施例的实现增强现实的终端的图像跟踪模块的结构示意图；
图7示出了本发明第四实施例的实现增强现实的系统的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例的实现增强现实的方法，如图1所示，主要包括以下步骤：步骤S101，实时采集环境场景的图像；步骤S102，提取环境场景图像中的图像特征；步骤S103，根据图像特征，对环境场景进行初始化定位，建立环境场景的局部地图；步骤S104，对环境场景图像中的图像帧进行跟踪；步骤S105，根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。
在该技术方案中，通过对环境场景进行实时图像采集，提取环境场景实时图像中的图像特征，例如ORB(Oriented BRIEF)特征，根据提取到的图像特征，进行环境场景的初始化定位，建立环境场景的局部地图，同时对实时采集的环境场景图像的图像帧进行图像跟踪，确定图像帧的位姿及图像帧中3D点的位置坐标，根据待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。
在上述技术方案中，优选地，所述步骤S101之前，还包括：获取环境场景的视频图像；根据环境场景视频图像，对环境场景进行三维场景重建；根据环境场景视频图像，构建环境场景的图像检索数据库；根据环境场景的视频图像，预设待显示的虚拟对象在环境场景中的位姿。
在该技术方案中，通过预先拍摄所述环境场景的视频图像，记录环境场景中的图像细节，根据所述环境场景的视频图像，对所述环境场景进行三维重建。具体地，对环境场景视频图像中的每一帧图像进行图像特征提取，根据提取到的图像特征进行环境场景视频图像的帧间图像配准，确定图像帧之间的相对位姿。其中，帧间图像配准根据两图像帧中的图像特征，采用基于特征匹配或直接方法，得到一组2D点对，根据该组2D点对通过五点法计算得到该两图像帧之间的相对位姿。
在上述技术方案中，进一步地，在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标。同时，根据环境场景视频图像中的离线初始帧确定环境场景视频图像中的离线关键帧，根据环境场景视频图像中的离线初始帧与当前帧之间所有的离线关键帧的位姿及3D点坐标构建位姿图，并对所述位姿图进行优化，更新所述位姿及3D点坐标。具体地，根据环境场景视频图像中的离线初始帧，解析环境场景视频图像中所述离线初始帧之后的图像帧，若所述离线初始帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的一个离线关键帧。继续解析环境场景视频图像中所述离线关键帧之后的图像帧，若所述离线关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的下一个离线关键帧。以此类推，完成对所述环境场景视频图像中所有图像帧的解析，得到所述环境场景视频图像中的全部离线关键帧。进一步地，将所述环境场景视频图像解析为连续的图像帧序列，通过对环境场景的视频图像中的图像帧进行顺序配准，得到一组图像帧的位姿序列以及与每一图像帧中的2D点对应的3D点的坐标，完成对位姿图的构建。通过环形闭合检测，修正累计误差。同时，通过位姿及约束条件对位姿图进行优化，修正环境场景视频图像中每一图像帧的位姿数据。
在上述技术方案中，进一步地，根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
在上述技术方案中，优选地，根据环境场景的位置信息，获取环境场景对应的图像检索数据库。具体地，当进入某一环境场景时，可以根据该环境场景的地点名称、GPS信息等位置信息标签，获取该环境场景对应的图像检索数据库。
在上述技术方案中，步骤S103具体为：对当前帧图像中的图像特征进行解析，在所述图像检索数据库中检索符合预设条件的离线关键帧；根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；根据所述当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。
在该技术方案中，实时采集当前环境场景的图像，解析当前帧图像中的图像特征，例如ORB特征。根据该图像特征，在预先获取的图像检索数据库中检索符合预设条件的离线关键帧。具体地，对实时采集的环境场景图像中的当前帧进行图像特征提取，提取当前帧图像的ORB特征，对当前帧图像的ORB特征进行降维得到用于图像检索的检索标签，通过该检索标签在预先获取的与所述环境场景对应的图像检索数据库中进行初步检索，得到一组候选的离线关键帧。环境场景图像的当前帧通过与候选的离线关键帧进行图像特征配准，确定候选的离线关键帧中与环境场景图像的当前帧图像匹配度最高的离线关键帧，计算环境场景图像的当前帧与所述匹配度最高的离线关键帧的相对位姿，建立所述环境场景的坐标系，完成环境场景的初始化定位，并将所述环境场景图像的当前帧标记为初始关键帧。根据环境场景图像的当前帧图像中可见的3D点，建立环境场景的局部地图。同样地，也可以直接获取预先建立的所述环境场景的离线地图，将环境场景图像的当前帧在所述环境场景的离线地图中进行匹配计算相对位姿，建立所述环境场景的坐标系，完成环境场景的初始化定位，建立环境场景的局部地图，此处不再赘述。
在上述技术方案中，进一步地，将与所述环境场景图像的当前帧匹配度最高的离线关键帧、所述环境场景图像的初始关键帧及所述初始关键帧中的3D点加入所述环境场景的局部地图。
在上述技术方案中，步骤S104具体为：根据环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断所述匹配的图像特征数是否大于预设阈值；若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
在该技术方案中，进一步地，判断所述环境场景图像的当前帧图像的位姿是否满足预设条件，若是，则将所述当前帧图像加入所述环境场景的局部地图及所述环境场景对应的图像检索数据库。具体地，根据环境场景图像的初始关键帧，解析所述环境场景图像初始关键帧之后的图像帧，若判断所述初始关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景图像的一个关键帧，将所述当前帧图像加入所述环境场景的局部地图及所述环境场景对应的图像检索数据库中。继续解析所述环境场景图像的关键帧之后的图像帧，若判断所述关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景图像的另一个关键帧，将所述当前帧图像加入所述环境场景的局部地图及所述环境场景对应的图像检索数据库中。根据所述环境场景的局部地图中的所有关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述环境场景的局部地图中的关键帧的位姿及3D点坐标。
在上述技术方案中，进一步地，对加入所述环境场景的图像检索数据库的图像帧进行回环检测，若检测到回环，则更新所述环境场景的图像检索数据库中的关键帧位姿及3D点坐标，从而修正累积误差。
在上述技术方案中，步骤S105具体为：根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。具体地，获取预设的待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧的位姿，计算所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，根据所述相对位姿，在所述环境场景图像的当前帧图像中显示所述待显示的虚拟对象。
实施例二
本发明实施例的实现增强现实的服务器200，如图2所示，包括：视频获取模块201：用于获取环境场景的视频图像；场景重建模块202：用于根据视频获取模块201获取的环境场景视频图像，对所述环境场景进行三维场景重建；数据库构建模块203：用于根据视频获取模块201获取的环境场景视频图像，构建所述环境场景的图像检索数据库。
在该技术方案中，视频获取模块201拍摄或者获取预先拍摄的环境场景的视频图像，记录环境场景中的图像细节。场景重建模块202根据视频获取模块201获取的环境场景的视频图像，对环境场景进行三维重建。数据库构建模块203根据视频获取模块201获取的环境场景视频图像，构建环境场景的图像检索数据库，用于进行环境场景图像检索。
在上述技术方案中，优选地，场景重建模块202，如图3所示，包括：特征提取单元2021：用于对所述环境场景视频图像中的图像帧进行图像特征提取；位姿计算单元2022：用于根据特征提取单元2021提取到的图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；坐标建立单元2023，用于在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；关键帧选取单元2024：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；位姿图构建单元2025：用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。具体地，特征提取单元2021对环境场景视频图像中的每一图像帧进行图像特征提取，位姿计算单元2022根据特征提取单元2021提取到的图像特征进行环境场景视频图像帧间图像配准，确定图像帧之间的相对位姿。其中，帧间图像配准根据两图像帧中的图像特征，采用基于特征匹配或直接方法，得到一组2D点对，根据该组2D点对通过五点法计算得到该两图像帧之间的相对位姿。坐标建立单元2023在环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标。关键帧选取单元2024根据环境场景视频图像的离线初始帧，解析所述环境场景视频图像的离线初始帧之后的图像帧，若所述离线初始帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的一个离线关键帧。继续解析所述环境场景视频图像的离线关键帧之后的图像帧，若所述离线关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值，则确定所述当前帧为所述环境场景视频图像的下一个离线关键帧。以此类推，完成对所述环境场景视频图像的所有图像帧的解析，得到所述环境场景视频图像中的全部离线关键帧。位姿图构建单元2025根据位姿计算单元2022通过对环境场景的视频图像进行图像帧顺序配准，得到的一组图像帧的位姿序列以及与每一图像帧的2D点对应的3D点的坐标，完成对位姿图的构建。通过环形闭合检测，修正累计误差。同时，通过位姿及约束条件对位姿图进行优化，修正环境场景视频图像中每一图像帧的位姿数据。
在上述技术方案中，优选地，数据库构建模块203，根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
在上述技术方案中，优选地，实现增强现实的服务器200，还包括：位姿设定模块204：用于设定待显示的虚拟对象在环境场景中的位姿。
在上述技术方案中，优选地，实现增强现实的服务器200，还包括：检索模块205：用于接收终端发送的获取环境场景的图像检索数据库的请求，以及将所述请求中对应的环境场景的图像检索数据库发送至所述终端。具体地，所述服务器存储一个或多个环境场景的图像检索数据库，服务器接收终端发送的获取环境场景的图像检索数据库的请求，所述请求中包括终端所在环境场景的位置标签，例如所述环境场景的地点名称、GPS信息等，检索模块205根据所述环境场景的位置标签检索对应的环境场景的图像检索数据库，将所述环境场景的图像检索数据库发送至所述终端。
实施例三
本发明实施例的实现增强现实的终端300，如图4所示，包括：图像采集模块301：用于实时采集环境场景的图像；特征提取模块302：用于提取图像采集模块301采集的环境场景图像中的图像特征；地图创建模块303：用于根据特征提取模块302提取的图像特征，对环境场景进行初始化定位，建立环境场景的局部地图；图像跟踪模块304：用于对图像采集模块301采集的环境场景图像中的图像帧进行跟踪；数据获取模块305：用于获取待显示的虚拟对象的位姿；显示模块306：用于根据数据获取模块305获取的待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示所述虚拟对象。
在该技术方案中，图像采集模块301对环境场景进行实时图像采集，特征提取模块302提取图像采集模块301采集的环境场景的实时图像中的图像特征提取，例如ORB特征，地图创建模块303根据特征提取模块302提取的图像特征，对环境场景图像进行初始化定位，建立环境场景的局部地图，图像跟踪模块304根据特征提取模块302提取的图像特征对环境场景图像中的图像帧进行图像跟踪，确定图像帧的位姿及图像帧中3D点的位置坐标，数据获取模块305获取待显示的虚拟对象的位姿，显示模块306根据数据获取模块305获取的待显示的虚拟对象的位姿，在环境场景图像的当前帧图像中显示虚拟对象。
在上述技术方案中，优选地，实现增强现实的终端300还包括定位模块307，定位模块307根据实现增强现实的终端300所在的环境场景的地点名称、GPS信息等位置标签，获取实现增强现实的服务器200中所述环境场景对应的图像检索数据库。
在上述技术方案中，优选地，地图创建模块303，如图5所示，包括：图像解析单元3031：用于对当前帧图像中的图像特征进行解析，在图像检索数据库中检索符合预设条件的离线关键帧；初始定位单元3032：用于根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；地图建立单元3033：根据当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。
在该技术方案中，图像解析单元3031根据图像采集模块301实时采集的当前环境场景的图像，解析当前帧图像中的图像特征，例如ORB特征。根据该图像特征，在预先获取的环境场景的图像检索数据库中检索符合预设条件的离线关键帧。具体地，对实时采集的环境场景图像中的当前帧图像进行图像特征提取，提取当前帧图像的ORB特征，对当前帧图像的ORB特征进行降维得到用于图像检索的检索标签，通过该检索标签在预先获取的与所述环境场景对应的图像检索数据库中进行初步检索，得到一组候选的离线关键帧。环境场景图像的当前帧图像通过与候选的离线关键帧进行图像特征配准，确定候选的离线关键帧中与环境场景图像的当前帧图像匹配度最高的离线关键帧。初始定位单元3032计算环境场景图像的当前帧与所述匹配度最高的离线关键帧的相对位姿，建立所述环境场景的坐标系，完成环境场景的初始化定位，并将所述环境场景图像的当前帧标记为初始关键帧。地图建立单元3033根据环境场景图像的当前帧图像中可见的3D点，建立初始的局部地图。以及，将所述环境场景图像的当前帧匹配度最高的离线关键帧、所述环境场景图像的初始关键帧及所述初始关键帧中的3D点加入所述环境场景的局部地图。
在上述技术方案中，优选地，图像跟踪模块304，如图6所示，包括：检测单元3041：用于根据环境场景图像的上一帧图像，检测环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；判断单元3042：用于判断匹配的图像特征数是否大于预设阈值；位姿计算单元3043：用于当判断单元3042判断匹配的图像特征数大于预设阈值时，根据环境场景图像的上一帧图像的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中，优选地，数据获取模块305，还用于，当判断单元3042判断匹配的图像特征数小于预设阈值时，在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像；以及，位姿计算单元3043，根据数据获取模块305检索到的所述离线关键帧的位姿及3D点坐标，计算环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中，优选地，位姿计算单元3043，还用于，计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿；以及，显示模块306，还用于，根据位姿计算单元3043计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿，在环境场景图像的当前帧图像中显示虚拟对象。
实施例四
本发明实施例的实现增强现实的系统400，如图7所示，包括：至少一个实现增强现实的服务器200，以及至少一个实现增强现实的终端300。
根据本发明实施例的实现增强现实的方法、服务器、终端及系统，通过实时采集环境场景图像，根据环境场景图像中的图像特征进行图像跟踪，确定待显示的虚拟对象与环境场景的相对位姿，在环境场景图像中显示虚拟对象。实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示，有效地降低了现有的增强现实技术对平面模板的依赖，提高了虚拟对象与真实环境场景的实时配准的准确性，显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (23)
1.一种实现增强现实的方法，其特征在于，包括以下步骤：
实时采集环境场景的图像；
提取所述环境场景图像中的图像特征；
根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图；
对所述环境场景图像中的图像帧进行跟踪；
根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
2.根据权利要求1所述的实现增强现实的方法，其特征在于，所述实时采集环境场景的图像的步骤之前，还包括：
获取所述环境场景的视频图像；
根据所述环境场景视频图像，对所述环境场景进行三维场景重建；
根据所述环境场景视频图像，构建所述环境场景的图像检索数据库；
根据所述环境场景视频图像，预设所述待显示的虚拟对象在所述环境场景中的位姿。
3.根据权利要求2所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，对所述环境场景进行三维场景重建的步骤，具体为：
对所述环境场景视频图像中的图像帧进行图像特征提取；
根据所述图像特征对所述环境场景视频图像进行帧间图像配准，计算所述图像帧之间的相对位姿；
在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；
根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；
根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述位姿及3D点坐标。
4.根据权利要求3所述的实现增强现实的方法，其特征在于，所述根据所述环境场景视频图像，构建所述环境场景的图像检索数据库的步骤，具体为：
根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
5.根据权利要求1至4中任一项所述的实现增强现实的方法，其特征在于，还包括：根据所述环境场景的位置信息，获取所述环境场景的图像检索数据库。
6.根据权利要求5所述的实现增强现实的方法，其特征在于，所述根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图的步骤，具体为：
对当前帧图像中的图像特征进行解析，在所述图像检索数据库中检索符合预设条件的离线关键帧；
根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；
根据所述当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。
7.根据权利要求6所述的实现增强现实的方法，其特征在于，所述根据所述图像特征，对所述环境场景进行初始化定位，建立所述环境场景的局部地图的步骤，还包括：
将所述当前帧、所述符合预设条件的离线关键帧及所述当前帧中的3D点加入所述环境场景的局部地图。
8.根据权利要求7所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，具体为：
根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；
判断所述匹配的图像特征数是否大于预设阈值；
若所述匹配的图像特征数大于预设阈值，则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标；
若所述匹配的图像特征数小于预设阈值，则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像，根据所述离线关键帧图像的位姿及3D点坐标，确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
9.根据权利要求8所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，还包括：
判断所述当前帧的位姿是否满足预设条件，若是，则将所述当前帧加入所述环境场景的局部地图及所述环境场景的图像检索数据库；
根据所述环境场景的局部地图中的所有图像帧的位姿及3D点坐标构建位姿图，对所述位姿图进行优化，更新所述图像帧的位姿及3D点坐标。
10.根据权利要求9所述的实现增强现实的方法，其特征在于，所述对所述环境场景图像中的图像帧进行跟踪的步骤，还包括：
对加入所述环境场景的图像检索数据库的图像帧进行回环检测，若检测到回环，则更新所述环境场景的图像检索数据库。
11.根据权利要求10所述的实现增强现实的方法，其特征在于，所述根据待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤，具体为：
获取待显示的虚拟对象的位姿，根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
12.一种实现增强现实的服务器，其特征在于，包括：
视频获取模块：用于获取环境场景的视频图像；
场景重建模块：用于根据所述视频获取模块获取的环境场景视频图像，对所述环境场景进行三维场景重建；
数据库构建模块：用于根据所述视频获取模块获取的环境场景视频图像，构建所述环境场景的图像检索数据库。
13.根据权利要求12所述的实现增强现实的服务器，其特征在于，所述场景重建模块包括：
特征提取单元：用于对所述环境场景视频图像中的图像帧进行图像特征提取；
位姿计算单元：用于根据所述特征提取单元提取到的图像特征对所述环境场景视频图像进行帧间图像配准，计算所述帧之间的相对位姿；
坐标建立单元，用于在所述环境场景视频图像中选定离线初始帧，根据所述离线初始帧建立所述环境场景的世界坐标系，确定所述环境场景中的3D点的坐标；
关键帧选取单元：用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧；
位姿图构建单元：用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图，以及对所述位姿图进行优化，更新所述位姿及3D点坐标。
14.根据权利要求13所述的实现增强现实的服务器，其特征在于，所述数据库构建模块，还用于根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征，建立搜索树或者词袋。
15.根据权利要求14所述的实现增强现实的服务器，其特征在于，还包括：
位姿设定模块：用于设定待显示的虚拟对象在所述环境场景中的位姿。
16.根据权利要求14或15所述的实现增强现实的服务器，其特征在于，还包括：
检索模块：用于接收终端发送的获取环境场景的图像检索数据库的请求，以及将所述请求中对应的环境场景的图像检索数据库发送至所述终端。
17.一种实现增强现实的终端，其特征在于，包括：
图像采集模块：用于实时采集环境场景的图像；
特征提取模块：用于提取所述图像采集模块采集的环境场景图像中的图像特征；
地图创建模块：用于根据所述特征提取模块提取的图像特征，对所述环境场景图像进行初始化定位，建立所述环境场景的局部地图；
图像跟踪模块：用于对所述图像采集模块采集的环境场景图像中的图像帧进行跟踪；
数据获取模块：用于获取待显示的虚拟对象的位姿；
显示模块：用于根据所述数据获取模块获取的所述待显示的虚拟对象的位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
18.根据权利要求17所述的实现增强现实的终端，其特征在于，还包括定位模块，用于确定所述环境场景的位置信息；以及，
所述数据获取模块还用于根据所述环境场景的位置信息，获取所述环境场景对应的图像检索数据库。
19.根据权利要求18所述的实现增强现实的终端，其特征在于，所述地图创建模块包括：
图像解析单元：用于对当前帧图像中的图像特征进行解析，在所述图像检索数据库中检索符合预设条件的离线关键帧；
初始定位单元：用于根据所述当前帧图像与所述离线关键帧图像的相对位姿，进行所述环境场景的初始化定位；
地图建立单元：根据所述当前帧图像中符合预设条件的3D点，建立所述环境场景的局部地图。
20.根据权利要求19所述的实现增强现实的终端，其特征在于，所述图像跟踪模块包括：
检测单元：用于根据所述环境场景图像的上一帧图像，检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征；
判断单元：用于判断所述匹配的图像特征数是否大于预设阈值；
位姿计算单元：用于当所述判断单元判断所述匹配的图像特征数大于预设阈值时，根据所述环境场景图像的上一帧图像的位姿及3D点坐标，计算所述环境场景图像的当前帧图像的位姿及3D点坐标。
21.根据权利要求20所述的实现增强现实的终端，其特征在于，所述数据获取模块，还用于当所述判断单元判断所述匹配的图像特征数小于预设阈值时，在所述环境场景的图像数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像；以及，
所述位姿计算单元，还用于根据所述数据获取模块检索到的离线关键帧的位姿及3D点坐标，计算所述环境场景图像的当前帧图像的位姿及3D点坐标。
22.根据权利要求20或21所述的实现增强现实的终端，其特征在于，所述位姿计算单元，还用于计算所述环境场景图像的当前帧图像与所述待显示的虚拟对象之间的相对位姿；以及，
所述显示模块，还用于根据所述位姿计算单元计算得到的所述环境场景图像的当前帧图像与所述待显示的虚拟对象之间的相对位姿，在所述环境场景图像的当前帧图像中显示所述虚拟对象。
23.一种实现增强现实的系统，其特征在于，包括权利要求12至16中任一项所述的实现增强现实的服务器，以及权利17至22中任一项所述的实现增强现实的终端。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610070926.7A CN107025662B (zh) | 2016-01-29 | 2016-01-29 | 一种实现增强现实的方法、服务器、终端及系统 |
| PCT/CN2017/070138 WO2017128934A1 (zh) | 2016-01-29 | 2017-01-04 | 一种实现增强现实的方法、服务器、终端及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610070926.7A CN107025662B (zh) | 2016-01-29 | 2016-01-29 | 一种实现增强现实的方法、服务器、终端及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107025662A true CN107025662A (zh) | 2017-08-08 |
| CN107025662B CN107025662B (zh) | 2020-06-09 |
Family
ID=59397401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610070926.7A Active CN107025662B (zh) | 2016-01-29 | 2016-01-29 | 一种实现增强现实的方法、服务器、终端及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107025662B (zh) |
| WO (1) | WO2017128934A1 (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN107993290A (zh) * | 2017-12-18 | 2018-05-04 | 快创科技（大连）有限公司 | 一种基于ar和云存储技术的机械部件装配演示系统 |
| CN108090968A (zh) * | 2017-12-29 | 2018-05-29 | 光锐恒宇（北京）科技有限公司 | 增强现实ar的实现方法、装置和计算机可读存储介质 |
| CN108389264A (zh) * | 2018-02-07 | 2018-08-10 | 网易（杭州）网络有限公司 | 坐标系统确定方法、装置、存储介质及电子设备 |
| CN108564045A (zh) * | 2018-04-17 | 2018-09-21 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN108765921A (zh) * | 2018-04-04 | 2018-11-06 | 昆山市工研院智能制造技术有限公司 | 基于视觉语意分析应用于巡逻机器人的智能巡逻方法 |
| CN108961197A (zh) * | 2018-06-27 | 2018-12-07 | 联想(北京)有限公司 | 一种对象合成方法及装置 |
| CN109126121A (zh) * | 2018-06-01 | 2019-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、系统、装置及计算机可读存储介质 |
| CN109636916A (zh) * | 2018-07-17 | 2019-04-16 | 北京理工大学 | 一种动态标定的大范围虚拟现实漫游系统及方法 |
| CN110275968A (zh) * | 2019-06-26 | 2019-09-24 | 北京百度网讯科技有限公司 | 图像数据处理方法和装置 |
| CN110457414A (zh) * | 2019-07-30 | 2019-11-15 | Oppo广东移动通信有限公司 | 离线地图处理、虚拟对象显示方法、装置、介质和设备 |
| CN110858414A (zh) * | 2018-08-13 | 2020-03-03 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、可读存储介质与增强现实系统 |
| CN110866977A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN110913279A (zh) * | 2018-09-18 | 2020-03-24 | 北京悉见科技有限公司 | 一种用于增强现实的处理方法及增强现实终端 |
| CN111028358A (zh) * | 2018-10-09 | 2020-04-17 | 香港理工大学深圳研究院 | 室内环境的增强现实显示方法、装置及终端设备 |
| CN111179435A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111815755A (zh) * | 2019-04-12 | 2020-10-23 | Oppo广东移动通信有限公司 | 虚拟物体被遮挡的区域确定方法、装置及终端设备 |
| WO2020252974A1 (zh) * | 2019-06-17 | 2020-12-24 | 北京影谱科技股份有限公司 | 一种针对运动状态下的多目标对象追踪方法和装置 |
| CN112148189A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种ar场景下的交互方法、装置、电子设备及存储介质 |
| CN112348964A (zh) * | 2020-10-11 | 2021-02-09 | 中国运载火箭技术研究院 | 增强现实眼镜 |
| CN113256802A (zh) * | 2021-06-17 | 2021-08-13 | 中山大学 | 一种建筑物的虚拟三维重建及场景创建方法 |
| TWI744610B (zh) * | 2018-03-01 | 2021-11-01 | 宏達國際電子股份有限公司 | 場景重建系統、方法以及非暫態電腦可讀取媒體 |
| CN113641325A (zh) * | 2021-10-19 | 2021-11-12 | 深圳市联志光电科技有限公司 | 一种用于ar显示的图像采集方法及系统 |
| CN113822931A (zh) * | 2020-07-07 | 2021-12-21 | 湖北亿立能科技股份有限公司 | 基于在线学习和离线学习相结合的前端水位检测系统 |
| CN114279456A (zh) * | 2021-12-06 | 2022-04-05 | 纵目科技（上海）股份有限公司 | 图片构建/车辆定位方法、系统、终端及计算机存储介质 |
| CN114900545A (zh) * | 2022-05-10 | 2022-08-12 | 中国电信股份有限公司 | 增强现实实现方法和系统、云服务器 |
| CN115665400A (zh) * | 2022-09-06 | 2023-01-31 | 东软集团股份有限公司 | 增强现实抬头显示成像方法、装置、设备以及存储介质 |
| CN116017010A (zh) * | 2022-12-01 | 2023-04-25 | 凡游在线科技(成都)有限公司 | 基于视频的ar融合处理方法、电子设备和计算机可读介质 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967457B (zh) * | 2017-11-27 | 2024-03-19 | 全球能源互联网研究院有限公司 | 一种适应视觉特征变化的地点识别与相对定位方法及系统 |
| KR102521834B1 (ko) * | 2018-08-21 | 2023-04-17 | 삼성전자주식회사 | 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치 |
| CN111274847B (zh) * | 2018-12-04 | 2023-04-07 | 上海汽车集团股份有限公司 | 一种定位方法 |
| CN112149471B (zh) * | 2019-06-28 | 2024-04-16 | 北京初速度科技有限公司 | 一种基于语义点云的回环检测方法及装置 |
| WO2021046699A1 (en) | 2019-09-10 | 2021-03-18 | Beijing Voyager Technology Co., Ltd. | Systems and methods for positioning |
| CN110619661A (zh) * | 2019-09-18 | 2019-12-27 | 王伟乾 | 一种基于增强现实的测量室外料场原料体积的方法 |
| CN110765620B (zh) * | 2019-10-28 | 2024-03-08 | 上海科梁信息科技股份有限公司 | 飞行器视景仿真方法、系统、服务器及存储介质 |
| CN111177167B (zh) * | 2019-12-25 | 2024-01-19 | Oppo广东移动通信有限公司 | 增强现实的地图更新方法、装置、系统、存储与设备 |
| CN113643356B (zh) * | 2020-04-27 | 2024-05-28 | 北京达佳互联信息技术有限公司 | 相机位姿确定、虚拟物体显示方法、装置及电子设备 |
| CN112270748B (zh) * | 2020-11-18 | 2024-03-19 | Oppo广东移动通信有限公司 | 基于图像的三维重建方法及装置 |
| CN112862876B (zh) * | 2021-01-29 | 2024-07-23 | 中国科学院深海科学与工程研究所 | 一种用于水下机器人的实时深海视频图像增强方法 |
| CN113160102A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 三维场景重建的方法、装置、设备和存储介质 |
| CN113452962B (zh) * | 2021-06-22 | 2022-08-05 | 北京邮电大学 | 一种具有空间协同感知的数据中心增强巡检系统及方法 |
| CN116249074A (zh) * | 2022-12-30 | 2023-06-09 | 深圳影目科技有限公司 | 智能穿戴设备的信息展示方法、智能穿戴设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103733229A (zh) * | 2011-08-24 | 2014-04-16 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
| WO2015048906A1 (en) * | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
| WO2015090420A1 (en) * | 2013-12-19 | 2015-06-25 | Metaio Gmbh | Slam on a mobile device |
| CN105025272A (zh) * | 2015-07-28 | 2015-11-04 | 深圳乐行天下科技有限公司 | 一种机器人及其混合视频流生成方法 |
| CN105143821A (zh) * | 2013-04-30 | 2015-12-09 | 高通股份有限公司 | 依据slam地图的广域定位 |
-
2016
- 2016-01-29 CN CN201610070926.7A patent/CN107025662B/zh active Active
-
2017
- 2017-01-04 WO PCT/CN2017/070138 patent/WO2017128934A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103733229A (zh) * | 2011-08-24 | 2014-04-16 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
| CN105143821A (zh) * | 2013-04-30 | 2015-12-09 | 高通股份有限公司 | 依据slam地图的广域定位 |
| WO2015048906A1 (en) * | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
| WO2015090420A1 (en) * | 2013-12-19 | 2015-06-25 | Metaio Gmbh | Slam on a mobile device |
| CN105025272A (zh) * | 2015-07-28 | 2015-11-04 | 深圳乐行天下科技有限公司 | 一种机器人及其混合视频流生成方法 |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN107888828B (zh) * | 2017-11-22 | 2020-02-21 | 杭州易现先进科技有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN107993290A (zh) * | 2017-12-18 | 2018-05-04 | 快创科技（大连）有限公司 | 一种基于ar和云存储技术的机械部件装配演示系统 |
| CN108090968A (zh) * | 2017-12-29 | 2018-05-29 | 光锐恒宇（北京）科技有限公司 | 增强现实ar的实现方法、装置和计算机可读存储介质 |
| CN108090968B (zh) * | 2017-12-29 | 2022-01-25 | 光锐恒宇（北京）科技有限公司 | 增强现实ar的实现方法、装置和计算机可读存储介质 |
| CN108389264A (zh) * | 2018-02-07 | 2018-08-10 | 网易（杭州）网络有限公司 | 坐标系统确定方法、装置、存储介质及电子设备 |
| TWI744610B (zh) * | 2018-03-01 | 2021-11-01 | 宏達國際電子股份有限公司 | 場景重建系統、方法以及非暫態電腦可讀取媒體 |
| CN108765921A (zh) * | 2018-04-04 | 2018-11-06 | 昆山市工研院智能制造技术有限公司 | 基于视觉语意分析应用于巡逻机器人的智能巡逻方法 |
| CN108564045B (zh) * | 2018-04-17 | 2020-12-04 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN108564045A (zh) * | 2018-04-17 | 2018-09-21 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN109126121A (zh) * | 2018-06-01 | 2019-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、系统、装置及计算机可读存储介质 |
| CN109126121B (zh) * | 2018-06-01 | 2022-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、系统、装置及计算机可读存储介质 |
| CN108961197A (zh) * | 2018-06-27 | 2018-12-07 | 联想(北京)有限公司 | 一种对象合成方法及装置 |
| CN109636916B (zh) * | 2018-07-17 | 2022-12-02 | 北京理工大学 | 一种动态标定的大范围虚拟现实漫游系统及方法 |
| CN109636916A (zh) * | 2018-07-17 | 2019-04-16 | 北京理工大学 | 一种动态标定的大范围虚拟现实漫游系统及方法 |
| CN110858414A (zh) * | 2018-08-13 | 2020-03-03 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、可读存储介质与增强现实系统 |
| CN110913279A (zh) * | 2018-09-18 | 2020-03-24 | 北京悉见科技有限公司 | 一种用于增强现实的处理方法及增强现实终端 |
| CN111028358A (zh) * | 2018-10-09 | 2020-04-17 | 香港理工大学深圳研究院 | 室内环境的增强现实显示方法、装置及终端设备 |
| CN111028358B (zh) * | 2018-10-09 | 2024-02-27 | 香港理工大学深圳研究院 | 室内环境的增强现实显示方法、装置及终端设备 |
| US11842438B2 (en) | 2019-04-12 | 2023-12-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and terminal device for determining occluded area of virtual object |
| CN111815755A (zh) * | 2019-04-12 | 2020-10-23 | Oppo广东移动通信有限公司 | 虚拟物体被遮挡的区域确定方法、装置及终端设备 |
| CN111815755B (zh) * | 2019-04-12 | 2023-06-30 | Oppo广东移动通信有限公司 | 虚拟物体被遮挡的区域确定方法、装置及终端设备 |
| US20220036648A1 (en) * | 2019-04-12 | 2022-02-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and terminal device for determining occluded area of virtual object |
| WO2020252974A1 (zh) * | 2019-06-17 | 2020-12-24 | 北京影谱科技股份有限公司 | 一种针对运动状态下的多目标对象追踪方法和装置 |
| CN110275968A (zh) * | 2019-06-26 | 2019-09-24 | 北京百度网讯科技有限公司 | 图像数据处理方法和装置 |
| CN110457414A (zh) * | 2019-07-30 | 2019-11-15 | Oppo广东移动通信有限公司 | 离线地图处理、虚拟对象显示方法、装置、介质和设备 |
| CN110866977A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN111179435A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| US12020385B2 (en) | 2019-12-24 | 2024-06-25 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Augmented reality processing method, storage medium, and electronic device |
| CN111179435B (zh) * | 2019-12-24 | 2024-02-06 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
| CN113822931A (zh) * | 2020-07-07 | 2021-12-21 | 湖北亿立能科技股份有限公司 | 基于在线学习和离线学习相结合的前端水位检测系统 |
| CN113822931B (zh) * | 2020-07-07 | 2024-04-19 | 湖北亿立能科技股份有限公司 | 基于在线学习和离线学习相结合的前端水位检测系统 |
| CN112148189A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种ar场景下的交互方法、装置、电子设备及存储介质 |
| CN112348964B (zh) * | 2020-10-11 | 2024-06-04 | 中国运载火箭技术研究院 | 增强现实眼镜 |
| CN112348964A (zh) * | 2020-10-11 | 2021-02-09 | 中国运载火箭技术研究院 | 增强现实眼镜 |
| CN113256802A (zh) * | 2021-06-17 | 2021-08-13 | 中山大学 | 一种建筑物的虚拟三维重建及场景创建方法 |
| CN113641325A (zh) * | 2021-10-19 | 2021-11-12 | 深圳市联志光电科技有限公司 | 一种用于ar显示的图像采集方法及系统 |
| CN114279456B (zh) * | 2021-12-06 | 2024-04-30 | 纵目科技（上海）股份有限公司 | 图片构建/车辆定位方法、系统、终端及计算机存储介质 |
| CN114279456A (zh) * | 2021-12-06 | 2022-04-05 | 纵目科技（上海）股份有限公司 | 图片构建/车辆定位方法、系统、终端及计算机存储介质 |
| CN114900545A (zh) * | 2022-05-10 | 2022-08-12 | 中国电信股份有限公司 | 增强现实实现方法和系统、云服务器 |
| CN115665400A (zh) * | 2022-09-06 | 2023-01-31 | 东软集团股份有限公司 | 增强现实抬头显示成像方法、装置、设备以及存储介质 |
| CN115665400B (zh) * | 2022-09-06 | 2024-05-28 | 东软集团股份有限公司 | 增强现实抬头显示成像方法、装置、设备以及存储介质 |
| CN116017010A (zh) * | 2022-12-01 | 2023-04-25 | 凡游在线科技(成都)有限公司 | 基于视频的ar融合处理方法、电子设备和计算机可读介质 |
| CN116017010B (zh) * | 2022-12-01 | 2024-05-17 | 凡游在线科技(成都)有限公司 | 基于视频的ar融合处理方法、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107025662B (zh) | 2020-06-09 |
| WO2017128934A1 (zh) | 2017-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107025662A (zh) | 一种实现增强现实的方法、服务器、终端及系统 | |
| US11727593B1 (en) | Automated data capture | |
| CN107025661A (zh) | 一种实现增强现实的方法、服务器、终端及系统 | |
| CN108596974B (zh) | 动态场景机器人定位建图系统及方法 | |
| TWI574223B (zh) | 運用擴增實境技術之導航系統 | |
| CN107990899A (zh) | 一种基于slam的定位方法和系统 | |
| CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
| JP5582548B2 (ja) | 実環境視像における仮想情報の表示方法 | |
| CN111784775B (zh) | 一种标识辅助的视觉惯性增强现实注册方法 | |
| CN111627114A (zh) | 室内视觉导航方法、装置、系统及电子设备 | |
| US8872851B2 (en) | Augmenting image data based on related 3D point cloud data | |
| EP2915140B1 (en) | Fast initialization for monocular visual slam | |
| CN103703758B (zh) | 移动增强现实系统 | |
| CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别系统及方法 | |
| US20070070069A1 (en) | System and method for enhanced situation awareness and visualization of environments | |
| US20190206135A1 (en) | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program | |
| CN110335351B (zh) | 多模态ar处理方法、装置、系统、设备及可读存储介质 | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN103162682A (zh) | 基于混合现实的室内路径导航方法 | |
| WO2018019272A1 (zh) | 基于平面检测实现增强现实的方法及装置 | |
| CN112418288B (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
| US11290705B2 (en) | Rendering augmented reality with occlusion | |
| CN107665508A (zh) | 实现增强现实的方法及系统 | |
| CN111754388B (zh) | 一种建图方法及车载终端 | |
| CN114663473A (zh) | 基于多视角信息融合的人员目标定位与追踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |