CN108629843B - 一种实现增强现实的方法及设备 - Google Patents

一种实现增强现实的方法及设备 Download PDF

Info

Publication number
CN108629843B
CN108629843B CN201710181951.7A CN201710181951A CN108629843B CN 108629843 B CN108629843 B CN 108629843B CN 201710181951 A CN201710181951 A CN 201710181951A CN 108629843 B CN108629843 B CN 108629843B
Authority
CN
China
Prior art keywords
image
current frame
target image
coordinate system
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710181951.7A
Other languages
English (en)
Other versions
CN108629843A (zh
Inventor
陈卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201710181951.7A priority Critical patent/CN108629843B/zh
Publication of CN108629843A publication Critical patent/CN108629843A/zh
Application granted granted Critical
Publication of CN108629843B publication Critical patent/CN108629843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实现增强现实的方法及设备，包括：实时采集包含目标图像的环境场景图像；通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象；利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像的第一姿态；利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图的第二姿态；根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。

Description

一种实现增强现实的方法及设备
技术领域
本发明涉及增强现实技术领域，尤其涉及一种实现增强现实的方法及设备。
背景技术
增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确地融合到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者真实的感观体验。
现有的AR-Glass设备通过SLAM算法根据输入端(灰度摄像头、彩色摄像头、深度摄像头、传感器设备等器件中的一种或多种)数据得到场景3D信息(三维重建)和设备在场景中的姿态(位置和旋转数据)，并通过video see-through或者optical see-through的方式呈现真实场景。同时根据SLAM算法得到的场景3D信息和设备在场景中的姿态在真实场景中融合显示虚拟信息(文字、图片、视频、三维模型、独立的三维场景等)。但是，在显示虚拟信息时通常是通过预设其在真实场景中的姿态或者让用户手动控制虚拟信息移动到想要显示的姿态，这种方式操作复杂而且虚实融合会存在较大偏差的问题。
发明内容
本发明提供一种实现增强现实的方法及设备，能够自动控制虚拟信息移动到想要显示的姿态，简化操作且能够有效降低虚实融合存在的偏差。
本申请实施例第一方面提供了一种实现增强现实的方法，包括：
实时采集包含目标图像的环境场景图像；
通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
可选的，所述利用所述检索到的样本图像和当前帧目标图像的特征数据集进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态，具体包括：
对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
可选的，所述根据所述转换关系，获取当前帧目标图像中的目标图像在世界坐标系中的目标区域，具体包括：
根据所述转换关系，获取当前帧目标图像在世界坐标系中的4个顶点的三维坐标，其中，所述4个顶点的三维坐标位于同一平面上；
利用所述4个顶点的三维坐标确定出所述目标区域。
可选的，在利用所述4个顶点的三维坐标确定出所述目标区域之后，所述方法还包括：
利用所述4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
可选的，所述通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，具体包括：
通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
可选的，在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，所述方法还包括：
继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像；
在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；以及
利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
可选的，在记录所述第三姿态之后，所述方法包括：
获取包含所述第三姿态的邻域姿态；
检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
本申请实施例第二方面提供了一种实现增强现实的方法，包括：
实时采集包含目标图像的环境场景图像，其中，所述目标图像为三维图像；
通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；
利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
可选的，所述利用所述检索到的样本图像和当前帧目标图像的特征数据集进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态，具体包括：
对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；
从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
可选的，所述根据所述转换关系，获取当前帧目标图像中的目标图像在世界坐标系中的目标区域，具体包括：
根据所述转换关系，获取当前帧目标图像在世界坐标系中的至少4个顶点的三维坐标，其中，所述至少4个顶点的三维坐标位于至少2个平面上；
利用所述至少4个顶点的三维坐标确定出所述目标区域。
可选的，在利用所述至少4个顶点的三维坐标确定出所述目标区域之后，所述方法还包括：
利用所述至少4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
可选的，所述通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，具体包括：
通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
可选的，在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，所述方法还包括：
继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像；
在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；以及
利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
可选的，在记录所述第三姿态之后，所述方法包括：
获取包含所述第三姿态的邻域姿态；
检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
本申请实施例第三方面还提供了一种实现增强现实设备，包括：
采集单元，用于实时采集包含目标图像的环境场景图像；
检索单元，用于通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
第一图像配准单元，用于利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
第二图像配准单元，用于利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
转换单元，用于根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
目标区域获取单元，用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域；
叠加显示单元，用于将所述虚拟对象叠加在所述目标区域中进行显示。
可选的，所述第一图像配准单元，具体用于对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
可选的，所述转换单元具体用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的4个顶点的三维坐标，其中，所述4个顶点的三维坐标位于同一平面上；利用所述4个顶点的三维坐标确定出所述目标区域。
可选的，还包括：
姿态校正单元，用于在利用所述4个顶点的三维坐标确定出所述目标区域之后，利用所述4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
可选的，所述检索单元，具体用于通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
可选的，还包括：
所述检索单元，还用于在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像；
停止检索单元，用于在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；
姿态记录单元，用于利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
可选的，还包括：
领域姿态获取单元，用于在记录所述第三姿态之后，获取包含所述第三姿态的邻域姿态；
姿态检测单元，用于检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
本申请实施例第三方面还提供了一种实现增强现实的设备，包括：
采集单元，用于实时采集包含目标图像的环境场景图像，其中，所述目标图像为三维图像；
检索单元，用于通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；
第一图像配准单元，用于利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
第二图像配准单元，用于利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
转换单元，用于根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
目标区域获取单元，用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域；
叠加显示单元，用于将所述虚拟对象叠加在所述目标区域中进行显示。
可选的，所述第一图像配准单元，具体用于对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
可选的，所述转换单元具体用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的至少4个顶点的三维坐标，其中，所述至少4个顶点的三维坐标位于至少两个平面上；利用所述至少4个顶点的三维坐标确定出所述目标区域。
可选的，还包括：
姿态校正单元，用于在利用所述至少4个顶点的三维坐标确定出所述目标区域之后，利用所述至少4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
可选的，所述检索单元，具体用于通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
可选的，还包括：
所述检索单元，还用于在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像；
停止检索单元，用于在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；
姿态记录单元，用于利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
可选的，还包括：
领域姿态获取单元，用于在记录所述第三姿态之后，获取包含所述第三姿态的邻域姿态；
姿态检测单元，用于检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
本发明的有益效果如下：
基于上述技术方案，本发明实施例是在检索到所述检索到的样本图像之后，再通过两种方式进行图像配准，并利用图像配准得到的所述第一姿态和所述第二姿态，获取到所述转换关系，再利用所述转换关系，确定所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，由此可知，本申请实施例是通过设备自动计算出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，而无需用户手动操作所述虚拟对象将其移动到所述目标区域进行显示，进而实现了自动控制所述虚拟对象移动到想要显示的姿态进行显示，而且通过设备计算出的所述目标区域的准确度相比人工移动的动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
附图说明
图1为本发明实施例中实现增强现实的方法流程图；
图2为本发明实施例中包含目标图像的环境场景图像的示意图；
图3为本发明实施例中对目标图像进行图像检索失败时记录目标图像的姿态的方法流程图；
图4为本发明实施例三中实现增强现实设备的模块图；
图5为本发明实施例四中实现增强现实设备的模块图。
具体实施方式
本发明提供一种实现增强现实的方法及设备，能够自动控制虚拟信息移动到想要显示的姿态，简化操作且能够有效降低虚实融合存在的偏差。
下面结合附图对本发明优选的实施方式进行详细说明。
实施例一：
如图1所示，本发明实施例一公开了一种实现增强现实的方法，具体包括以下步骤：
S101、实时采集包含目标图像的环境场景图像；
S102、通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
S103、利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
S104、利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
S105、根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
S106、根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
本申请实施例中的目标图像可以为二维(2D)图像；在目标图像为2D图像时，本申请所有实施例中所有特征点的位置信息可以是用二维或三维坐标表示，其它实施方法相同。
其中，在步骤S101中，可以通过如摄像头、摄像机、鱼眼镜头等摄像设备实时采集环境场景图像，并从所述环境场景图像提取所述目标图像，所述目标图像为所述环境场景图像中与显示目标对应的图像。
具体来讲，在通过摄像设备获取包含显示目标的环境场景图像时，拍摄获得的环境场景图像中除所述显示目标之外，通常还包含有其它图像，例如智能手机拍摄一副图片的环境场景图像中，除该图片之外还包含有放置该图片的桌面部分图像，这时，会自动识别出拍摄的环境场景图像中该图片所占据的四边形部分为目标图像。
接下来执行步骤S102，在执行步骤S102之前，需要预先建立所述图像检索数据库，所述图像检索数据库可以是通过对样本图像进行尺度变换、特征点聚类分析等处理之后得到的，使得所述图像检索数据库中存储有处理过程中得到的每个样本图像对应的特征数据集，其中，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息。
本申请实施例中，所述图像检索数据库通常在执行步骤S101之前就已建立，当然，也可以在执行步骤S101的同时开始建立所述图像检索数据库。
在具体实施过程中，所述图像检索数据库的建立过程具体方式可以为：对样本图像进行第一次尺度变换，将经过所述第一次尺度变换后的样本图像进行多分辨率分析处理，再将所述多分辨率分析处理后的样本图像进行特征提取，提取出来的第一特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；对所述第一特征数据集中的各个特征点进行聚类分析，获取N个簇和所述N个簇中的每个簇的聚类中心特征点的特征描述信息，其中,N为正整数；对所述N个簇中的每个簇的聚类中心特征点进行聚类分析，获取M个簇和所述M个簇中的每个簇的聚类中心特征点的特征描述信息，其中，M为正整数，且M不大于N；将所述第一特征数据集和节点数据存储在图像检索数据库中且与所述样本图像对应，其中，所述节点数据包括所述N个簇和所述M个簇中所有聚类中心及每个聚类中心特征点的特征描述信息。
具体来讲，在建立所述图像检索数据库的过程中，可以通过统一尺寸处理或仿射变换等方法对所述样本图像进行所述第一次尺度变换，例如以尺度为1600×1200的a样本图像为例，将a样本图像通过统一尺寸处理之后得到a样本图像的尺度为1000×800。
本申请实施例中的样本图像可以为2D图像；在样本图像为2D图像时，本申请所有实施例中所有特征点的位置信息可以是用二维或三维坐标表示，其它实施方法相同；即在目标图像为2D图像时，对应的样本图像为2D图像；以及在目标图像为3D图像时，对应的样本图像为3D图像。
具体的，所述第一特征数据集中每个特征点的特征描述信息包括该特征点的P维描述向量，特征点的位置信息可以用二维坐标表示，尺度是对样本图像进行所述第一次尺度变换对应的尺度，方向通常可以为0～1023的方向信息。
当然，所述第一特征数据集中每个特征点的特征描述信息还可以包括该特征点的P维描述向量和P维描述向量的模的倒数，其中，P为不小于2的整数，例如所述第一特征数据集中的一个特征点的特征描述信息可以包括一组36个字符(char)数据组成的36维描述子和一个4字节浮点(float)数据表示的36维向量的模的倒数，其中，P＝36，当然P还可以为24、32、64、128等值，本申请不作具体限制。
其中，所述样本图像通常为多个，例如可以是百万、千万、亿、十亿的数量级，每一个样本图像对应一个第一特征数据集，例如以a样本图像为例，a对应名称为a1的第一特征数据集，其中，a1中包含通过特征提取方法提取到a样本图像所对应的所有特征点的位置信息、尺度、方向和特征描述信息。
本申请实施例中，所述图像检索数据库的建立过程具体可以参考申请号为201610278977.9中记载的图像检索数据库的生成过程，在此就不再赘述。
本申请实施例中，所述图像检索数据库中还可以存储有与样本图像对应的虚拟对象，其中，所述虚拟对象为与所述样本图像中的目标图像相关的显示信息；例如所述样本图像中的目标图像为汽车时，所述虚拟对象可以是包含该汽车轴距、排量、变速箱类别和油耗等性能参数，还可以包括该汽车的品牌等属性参数等；如此，使得在获取所述检索到的样本图像之后，可以获取到与所述检索到的样本图像对应的虚拟对象，而所述检索到的样本图像与当前帧目标图像匹配，使得所述虚拟对象能够与当前帧目标图像更匹配。
本申请实施例中，与样本图像对应的虚拟对象还可以存储在外网或内网的服务器中，通过搜索从外网或内网的服务器中查找到与样本图像对应的虚拟对象，本申请不作具体限制。
本申请实施例中，所述图像检索是基于特征提取的图像检索，对当前帧目标图像进行特征提取时，提取出来的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息，然后利用提取的场景特征数据集在所述图像检索库中进行检索，检索到与当前帧目标图像满足匹配算法的一个或多个样本图像为图像检索结果；其中，在对当前帧目标图像进行特征提取时，可以采用基于尺度不变的特征提取方法，如ORB，SIFT，SURF等。
本申请实施例中，若所述图像检索结果包括多个样本图像，则从所述图像检索结果中获取特定样本图像作为当前帧目标图像对应的样本图像，其中，所述特定样本图像与当前帧目标图像的匹配分值大于预设分值，也可以从所述图像检索结果中的多个样本图像中选取与当前帧目标图像最匹配的一个样本图像为所述特定样本图像；若所述图像检索结果只包括一个样本图像，则将该样本图像作为当前帧目标图像对应的检索图像；在获取当前帧目标图像对应的检索图像之后，并获取与所述检索到的样本图像对应的虚拟对象，其中，所述虚拟对象为与所述检索到的样本图像相关的显示信息；例如所述检索到的样本图像中的显示目标为汽车时，所述虚拟对象可以是包含该汽车轴距、排量、变速箱类别和油耗等性能参数，还可以包括该汽车的品牌等属性参数等。
接下来执行步骤S103，可以对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
在具体实施过程中，可以利用步骤S102中的提取的所述场景特征数据集和从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集进行图像配准，从而计算出所述第一姿态。
具体来讲，在对当前帧目标图像进行特征提取之前，还可以通过统一尺寸处理或仿射变换等方法对当前帧目标图像进行所述第一次尺度变换，并将经过所述第一次尺度变换后的当前帧目标图像进行多分辨率处理，再将所述多分辨率分析处理后的当前帧目标图像进行特征提取。
具体的，所述场景特征数据集中每个特征点的特征描述信息包括该特征点的P维描述向量，特征点的位置信息可以用二维坐标表示，尺度是对样本图像进行所述第一次尺度变换对应的尺度，方向通常可以为0～1023的方向信息。
具体的，由于所述图像检索库中存储有每个样本图像的样本特征数据集，而所述检索到的样本图像为所述图像检索数据库中的一个样本图像，从而可以从所述图像检索数据库中查找到所述样本特征数据集，然后在提取出所述场景特征数据集之后，使用所述样本特征数据集和所述场景特征数据集中的特征点进行图像配准，计算得到所述第一姿态。
具体的，可以归一化互相关(Normalized Cross Correlation method,简称NCC)匹配算法、序贯相似性检测(sequential similarity detection algorithm,简称SSDA)算法等基于特征点的图像配准算法对所述检索到的样本图像和当前帧场景图像进行图像配准，计算得到所述第一姿态。
具体的，当前帧目标图像对应的物体坐标系(X,Y,Z)用WAR表示，以及对应的相机坐标系(XC，YC，ZC)用CAR表示，所述第一姿态用[Rt]1表示，R表示旋转矩阵(3x3)，t表示位移向量(tx，ty，tz),则可知：
WAR×[Rt]1＝CAR 公式(1)
接下来执行步骤S104，从采集的环境场景图像中挑选出与当前帧目标图像相邻的至少一帧目标图像，然后使用同时定位与建图(Simultaneous Localization andMapping，简称slam)算法对当前帧目标图像和挑选出的所述至少一帧目标图像进行图像配准，进而计算出所述第二姿态。
具体来讲，在计算出所述第二姿态之后，利用所述第二姿态可以确定当前帧目标图像在世界坐标系下和相机坐标系下的坐标转换关系，具体如下：
具体的，当前帧目标图像对应的世界坐标系(XS，YS，ZS)用WSlam表示，以及对应的相机坐标系(XC，YC，ZC)用CSlam表示，所述第二姿态用[Rt]2表示，R表示旋转矩阵(3x3)，t表示位移向量(tx，ty，tz),则可知：
WSlam×[Rt]2＝CSlam 公式(2)
接下来执行步骤S105，在计算出所述第一姿态和所述第二姿态之后，利用所述第一姿态和所述第二姿态计算出所述转换关系。
具体来讲，由于公式(1)中的CAR和公式(2)中CSlam相同，则可知：
WAR×[Rt]1＝WSlam×[Rt]2 公式(3)
若[Rt]1用P1表示，[Rt]2用P2表示，则可知：
Figure BDA0001253799200000121
其中，
Figure BDA0001253799200000122
为所述转换关系用P0表示，则通过公式(4)即可计算出P0，即计算出了所述转换关系。
接下来执行步骤S106，在通过步骤S105计算出所述转换关系之后，可以根据所述转换关系，获取当前帧目标图像在世界坐标系中的4个顶点的三维坐标，其中，所述4个顶点的三维坐标位于同一平面上；利用所述4个顶点的三维坐标确定出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示。
在具体实施过程中，可以利用当前帧目标图像或所述检索到的样本图像的像素点坐标和所述转换关系，计算出当前帧目标图像在世界坐标系中的4个顶点的三维坐标；再利用所述4个顶点的三维坐标确定出所述目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。当然，也可以利用当前帧目标图像或所述检索到的样本图像的宽和高和所述转换关系，计算出当前帧目标图像在世界坐标系中的4个顶点的三维坐标，然后利用所述4个顶点的三维坐标确定出所述目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
具体来讲，可以首先利用2D-3D投影计算算法，将当前帧目标图像或所述检索到的样本图像的某个像素点坐标转换为相机坐标系中的三维坐标具体用C0表示，根据C0和P0即可计算出当前帧目标图像的所有像素点在世界坐标系中的三维坐标，根据计算出的三维坐标，可以确定出当前帧目标图像在世界坐标系中的4个顶点的三维坐标，再利用所述4个顶点的三维坐标确定出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示。
当然，也可以直接利用当前帧目标图像或所述检索到的样本图像的四个顶点像素点的像素坐标经过所述转换关系进行计算，获取到4个顶点的三维坐标，本申请不作具体限制。
具体的，若当前帧目标图像中的某个像素点在世界坐标系中的三维坐标用G1表示，则可以确定出：P0×C0＝C1 公式(5)。
在实际应用过程中，如图2所示，实时采集的环境场景图像20中包含有目标图像21，且目标图像21为当前帧目标图像，这时可以2D-3D投影计算算法，将目标图像21的a1、a2、a3和a4的四个顶点的二维坐标转换为相机坐标系中的三维坐标，然后根据公式(1)-公式(5)，可以计算出上述4个顶点在世界坐标系中的三维坐标，再根据计算出的上述4个顶点在世界坐标系中的三维坐标，确定所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示。
本申请实施例中，可以通过在线方式从所述图像检索数据库中检索到所述检索到的样本图像；优选的，可以通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像，其检索离线进行，使得检索速度不受设备的硬件的约束，从而能够有效提高检索速度，使得后续计算出所述目标区域的时间也随之缩短，使得所述虚拟对象叠加在所述目标区域中进行显示的实时性也随之提高。
而且，在通过离线方式检索所述检索到的样本图像的同时，还可以同时执行步骤S104，使得步骤S102和S104并行执行，如此，使得获取所述目标区域的时间能够进一步缩短，进一步提高所述虚拟对象叠加在所述目标区域中进行显示的实时性。
进一步的，由于本申请实施例中是通过离线方式进行图像检索，在检索到所述检索到的样本图像之后，再通过两种方式进行图像配准，并利用图像配准得到的所述第一姿态和所述第二姿态，获取到所述转换关系，再利用所述转换关系，确定所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，其检索离线进行，检索速度得以提高，使所述虚拟对象叠加在所述目标区域中进行显示的实时性也随之提高；进一步的，基于上述记载可知，本申请实施例提供的方法可以通过设备自动计算出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，而无需用户手动操作所述虚拟对象将其移动到所述目标区域进行显示，进而实现了自动控制所述虚拟对象移动到想要显示的姿态进行显示，而且通过设备计算出的所述目标区域的准确度相比人工移动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
在本申请的另一实施例中，在利用所述4个顶点的三维坐标确定出所述目标区域之后，所述方法还包括：利用所述4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
在具体实施过程中，利用所述4个顶点的三维坐标且所述4个顶点位于同一平面上，即所述目标区域为一个平面，如此，可以将所述目标区域在水平和垂直方向进行划分，根据所述4个顶点的三维坐标，可以获取到划分后的所述目标区域中的每个点的三维坐标即获取到所述目标区域的点云数据，然后利用所述点云数据基于约束的算法来校正所述第二姿态，获取到校正后的所述第二姿态。
其中，在获取到划分后的所述目标区域中的每个点的三维坐标时，可以根据每个点距离所述显示区域的两个相邻边的距离来确定每个点的三维坐标。
具体来讲，在获取到校正后的所述第二姿态之后，可以使用校正后的所述第二姿态来执行步骤S105，再接着执行步骤S106。由于校正后的所述第二姿态的精确度提高，使得使用校正后的所述第二姿态计算得到的所述转换关系的精确度也随之提高；以及在所述转换关系的精确度提高的基础上，通过所述转换关系计算得到的所述目标区域的精确度也随之提高；在所述目标区域的精确度提高的基础上，将所述虚拟对象叠加在所述目标区域中进行显示的偏差也随之降低，如此，能够进一步降低虚实融合存在的偏差的问题。
在本申请的另一实施例中，在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，如图3所示，所述方法还包括步骤S301-S303,其中：
S301、继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像。
其中，步骤S301的具体实施步骤具体可以参考步骤S102的叙述，为了说明书的简洁，在此就不再赘述了。
S302、在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索。
在具体实施过程中，在步骤S301继续执行图像检索过程中，实时监测未检索到所述检索到的样本图像的图像检索次数，并将监测到的所述图像检索次数与所述预设次数进行对比；在对比出所述图像检索次数达到所述预设次数时，停止队该帧目标图像进行图像检索。
具体来讲，由于本申请实施例是对当前帧目标图像进行图像检索的，而当前帧目标图像随着时间是不停的变换的，如此，会导致在同一时刻会对多帧目标图像进行图像检索。
具体的，所述预设次数可以根据实际情况来设定，例如可以所述图像检索数据库的容量来确定，在所述图像检索数据库的容量较大时，所述预设次数可以设定的较小；在所述图像检索数据库的容量较小时，所述预设次数可以设定的较大，使针对每一帧目标图像的图像检索时间被约束，防止其检索时间过长，导致并行图像检索的目标图像的数量过大使其检索效率降低。所述预设次数通常可以设置为不小于3的整数，当然所述预设次数也可以设置为2次。
例如，在某一时刻，且当前帧目标图像为第4帧目标图像时，对第4帧目标图像进行图像检索；而下一时刻，当前帧目标图像已变为第5帧目标图像，则对第5帧目标图像进行图像检索；若此时未检索到第4帧目标图像对应的检索图像，则会继续对第4帧目标图像进行图像检索；而随着时间进一步前行，在下二时刻，当前帧目标图像已变为第6帧目标图像，则对第6帧目标图像进行图像检索；若此时未检索到第4、5帧目标图像对应的检索图像，则会继续对第4、5帧目标图像进行图像检索，使得在下二时刻会对第4、5和6帧目标图像均进行图像检索。
S303、利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
其中，步骤S303的具体实施方式具体可以参考步骤S104的叙述，为了说明书的简洁，在此就不再赘述了。
具体的，在计算出所述第三姿态之后，记录所述第三姿态，以在后续检测到某一帧目标图像的姿态与所述第三姿态相同时，不对该帧目标图像进行图像检索，以提高检索效果。
在本申请另一实施例中，在记录所述第三姿态之后，所述方法包括：获取包含所述第三姿态的邻域姿态；检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
在具体实施过程中，在获取所述领域姿态时，以所述第三姿态为基准，计算出与所述第三姿态的相似度大于预设相似度的相关姿态，将所述相关姿态和所述第三姿态组成所述邻域姿态。
具体来讲，为了兼顾图像检索的效率和准确性，所述预设相似度通常设置为不小于80％的值，例如可以为80％、85％、90％、95％，98％；所述预设相似度优选为95％和98％。
同理，为了提高图像检索的效率，检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态的检索操作需要间隔若干帧或预设时间进行一次，以防止出现对每一当前帧目标图像均进行检索操作导致出现降低图像检索效率的问题。其中，所述预设时间例如可以为不小于2秒的值，所述若干帧例如可以为不小于3帧。
实施例二：
本发明实施例二公开了一种实现增强现实的方法，具体包括以下步骤：
S401、实时采集包含目标图像的环境场景图像，其中，所述目标图像为三维图像；
S402、通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；
S403、利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
S404、利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
S405、根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
S406、根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
其中，在步骤S401中，可以通过如摄像头、摄像机、鱼眼镜头等摄像设备实时采集环境场景图像，并从所述环境场景图像提取所述目标图像，所述目标图像为所述环境场景图像中与3D显示目标对应的表面纹理图像。
接下来执行步骤S402，在执行步骤S402之前，需要预先建立所述图像检索数据库，所述图像检索数据库可以是通过对样本图像进行尺度变换、特征点聚类分析等处理之后得到的，使得所述图像检索数据库中存储有处理过程中得到的每个样本图像对应的特征数据集，其中，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息。
本申请实施例中，所述图像检索数据库通常在执行步骤S401之前就已建立，当然，也可以在执行步骤S401的同时开始建立所述图像检索数据库。
在具体实施过程中，所述图像检索数据库的建立过程具体方式可以为：对样本图像进行第一次尺度变换，将经过所述第一次尺度变换后的样本图像进行多分辨率分析处理，再将所述多分辨率分析处理后的样本图像进行特征提取，提取出来的第一特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；对所述第一特征数据集中的各个特征点进行聚类分析，获取N个簇和所述N个簇中的每个簇的聚类中心特征点的特征描述信息，其中,N为正整数；对所述N个簇中的每个簇的聚类中心特征点进行聚类分析，获取M个簇和所述M个簇中的每个簇的聚类中心特征点的特征描述信息，其中，M为正整数，且M不大于N；将所述第一特征数据集和节点数据存储在图像检索数据库中且与所述样本图像对应，其中，所述节点数据包括所述N个簇和所述M个簇中所有聚类中心及每个聚类中心特征点的特征描述信息。
本申请实施例中的样本图像为3D样本物体的表面纹理图像，即一张包含3D样本物体完整表面信息的三维纹理图像。以3D样本物体为长方体为例，所述3D样本表面纹理图像为长方体的表面纹理图像，具体可以由该长方体的六个长方形的表面图像组合而成；同理，以3D样本物体为人脸模型为例，所述3D样本表面纹理图像为人脸模型的表面纹理图像，具体可以由数百万个表面图像组合而成。
本申请实施例中，所述第一特征数据集中每个特征点的法线向量信息包括每个特征点在三维坐标系中的法线向量，以使得根据每个特征点的坐标信息和法线向量，能够更精确的获取到每个特征点在三维坐标系中的位置。
具体来讲，在获取每个特征点在三维坐标系中的法线向量时，针对每一个特征点，可以获取特征点对应的平面，若所述特征点只对应一个平面，则获取该平面的法线向量作为所述特征点的法线向量；若所述特征点对应多个平面，则可以获取多个平面对应的多个法线向量，取所述多个法线向量的平均值作为所述特征点的法线向量，当然还可以根据对所述多个法线向量的权重，根据每个法线向量的权重来获取所述特征点的法线向量。
例如，以样本图像a为例，a对应名称为a1的第一特征数据集中包含的特征点z1和z2，若a对应的3D样本物体为长方体，且z1和z2对应3D样本的上表面，则确定z1和z2的法线向量的值相同，其法线向量均垂直于所述上表面。
本申请实施例中，所述图像检索数据库的建立过程具体可以参考申请号为201610279271.4中记载的图像检索数据库的生成过程，在此就不再赘述。
本申请实施例中，与样本图像对应的虚拟对象还可以存储在外网或内网的服务器中，通过搜索从外网或内网的服务器中查找到与样本图像对应的虚拟对象，本申请不作具体限制。
本申请实施例中，所述图像检索是基于特征提取的图像检索，对当前帧目标图像进行特征提取时，提取出来的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息，然后利用提取的场景特征数据集在所述图像检索库中进行检索，检索到与当前帧目标图像满足匹配算法的一个或多个样本图像为图像检索结果；其中，在对当前帧目标图像进行特征提取时，可以采用基于尺度不变的特征提取方法，如ORB，SIFT，SURF等。
本申请实施例中，若所述图像检索结果包括多个样本图像，则从所述图像检索结果中获取特定样本图像作为当前帧目标图像对应的样本图像，其中，所述特定样本图像与当前帧目标图像的匹配分值大于预设分值，也可以从所述图像检索结果中的多个样本图像中选取与当前帧目标图像最匹配的一个样本图像为所述特定样本图像；若所述图像检索结果只包括一个样本图像，则将该样本图像作为当前帧目标图像对应的检索图像；在获取当前帧目标图像对应的检索图像之后，并获取与所述检索到的样本图像对应的虚拟对象，其中，所述虚拟对象为与所述检索到的样本图像相关的显示信息；例如所述检索到的样本图像中的显示目标为汽车时，所述虚拟对象可以是包含该汽车轴距、排量、变速箱类别和油耗等性能参数，还可以包括该汽车的品牌等属性参数等。
接下来执行步骤S403,可以对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
在具体实施过程中，可以利用步骤S102中的提取的所述场景特征数据集和从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集进行图像配准，从而计算出所述第一姿态。
具体来讲，在对当前帧目标图像进行特征提取之前，还可以通过统一尺寸处理或仿射变换等方法对当前帧目标图像进行所述第一次尺度变换，并将经过所述第一次尺度变换后的当前帧目标图像进行多分辨率处理，再将所述多分辨率分析处理后的当前帧目标图像进行特征提取。
具体的，由于所述图像检索库中存储有每个样本图像的样本特征数据集，而所述检索到的样本图像为所述图像检索数据库中的一个样本图像，从而可以从所述图像检索数据库中查找到所述样本特征数据集，然后在提取出所述场景特征数据集之后，使用所述样本特征数据集和所述场景特征数据集中的特征点进行图像配准，计算得到所述第一姿态。
具体的，可以NCC匹配算法、SSDA算法等基于特征点的图像配准算法对所述检索到的样本图像和当前帧场景图像进行图像配准，计算得到所述第一姿态；具体的，可以通过公式(1)计算出所述第一姿态。
接下来执行步骤S404，从采集的环境场景图像中挑选出与当前帧目标图像相邻的至少一帧目标图像，然后使用slam算法对当前帧目标图像和挑选出的所述至少一帧目标图像进行图像配准，进而计算出所述第二姿态。
具体来讲，在计算出所述第二姿态之后，利用所述第二姿态可以确定当前帧目标图像在世界坐标系下和相机坐标系下的坐标转换关系，即可以通过公式(2)计算出所述第二姿态。
接下来执行步骤S405，在计算出所述第一姿态和所述第二姿态之后，利用所述第一姿态和所述第二姿态计算出所述转换关系。
具体来讲，由于公式(1)中的CAR和公式(2)中CSlam相同，则可知：
WAR×[Rt]1＝WSlam×[Rt]2 公式(3)
若[Rt]1用P1表示，[Rt]2用P2表示，则可知：
Figure BDA0001253799200000191
其中，
Figure BDA0001253799200000192
为所述转换关系用P0表示，则通过公式(4)即可计算出P0，即计算出了所述转换关系。
接下来执行步骤S406，在通过步骤S405计算出所述转换关系之后，由于当前帧目标图像为3D图像，使得获取的所述目标区域是多个凸多面体组成，如此，可以根据所述转换关系，计算出组成所述目标区域的多个凸多面体所对应的至少4个顶点的三维坐标，通过所述至少4个顶点的三维坐标可以准确的确定出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示。
例如在所述目标区域为长方体时，所述目标区域对应的一组顶点的三维坐标为组成长方体的8个顶点的三维坐标。
在具体实施过程中，可以利用当前帧目标图像或所述检索到的样本图像的像素点坐标和所述转换关系，计算出当前帧目标图像在世界坐标系中的至少4个顶点的三维坐标，其中，所述至少4个顶点的三维坐标位于至少2个平面上；再利用所述至少4个顶点的三维坐标确定出所述目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
例如，在所述目标区域为三角体时，所述目标区域对应4个顶点，且4个顶点中3个顶点位于一个平面上，剩余顶点位于另一个平面上；在所述目标区域为长方体时，所述目标区域对应8个顶点，其中的4个顶点位于一个平面上，剩余的4个顶点位于另一个平面上。
具体来讲，可以首先利用2D-3D投影计算算法，将当前帧目标图像或所述检索到的样本图像的某个像素点坐标转换为相机坐标系中的三维坐标具体用C0表示，根据C0和P0即可计算出当前帧目标图像的所有像素点在世界坐标系中的三维坐标，根据计算出的三维坐标，可以确定出当前帧目标图像在世界坐标系中的一组顶点的三维坐标，再利用所述一组顶点的三维坐标确定出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示。
当然，也可以直接利用当前帧目标图像或所述检索到的样本图像的一组顶点像素点的像素坐标经过所述转换关系进行计算，获取到该组顶点的三维坐标，本申请不作具体限制。
具体的，可以通过公式(5)计算出当前帧目标图像在世界坐标系中的一组顶点的三维坐标。
本申请实施例中，可以通过在线方式从所述图像检索数据库中检索到所述检索到的样本图像；优选的，可以通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像，其检索离线进行，使得检索速度不受设备的硬件的约束，从而能够有效提高检索速度，使得后续计算出所述目标区域的时间也随之缩短，使得所述虚拟对象叠加在所述目标区域中进行显示的实时性也随之提高。
而且，在通过离线方式检索所述检索到的样本图像的同时，还可以同时执行步骤S404，使得步骤S402和S404并行执行，如此，使得获取所述目标区域的时间能够进一步缩短，进一步提高所述虚拟对象叠加在所述目标区域中进行显示的实时性。
进一步的，由于本申请实施例中是通过离线方式进行图像检索，在检索到所述检索到的样本图像之后，再通过两种方式进行图像配准，并利用图像配准得到的所述第一姿态和所述第二姿态，获取到所述转换关系，再利用所述转换关系，确定所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，其检索离线进行，检索速度得以提高，使所述虚拟对象叠加在所述目标区域中进行显示的实时性也随之提高；进一步的，基于上述记载可知，本申请实施例提供的方法可以通过设备自动计算出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，而无需用户手动操作所述虚拟对象将其移动到所述目标区域进行显示，进而实现了自动控制所述虚拟对象移动到想要显示的姿态进行显示，而且通过设备计算出的所述目标区域的准确度相比人工移动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
在本申请的另一实施例中，在利用所述至少4个顶点的三维坐标确定出所述目标区域之后，所述方法还包括：利用所述至少4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
在具体实施过程中，利用所述至少4个顶点的三维坐标确定所述至少4个顶点组成的至少4个平面；将所述至少4个平面中的每个平面在水平和垂直方向进行划分，从而可以获取到划分后的所述目标区域中的每个点的三维坐标即获取到所述目标区域的点云数据，然后利用所述点云数据基于约束的算法来校正所述第二姿态，获取到校正后的所述第二姿态。
其中，在所述至少4个平面中的每一个平面中，可以根据每个点距离该平面的两个相邻边的距离来确定每个点的三维坐标。
具体来讲，在获取到校正后的所述第二姿态之后，可以使用校正后的所述第二姿态来执行步骤S405，再接着执行步骤S406。由于校正后的所述第二姿态的精确度提高，使得使用校正后的所述第二姿态计算得到的所述转换关系的精确度也随之提高；以及在所述转换关系的精确度提高的基础上，通过所述转换关系计算得到的所述目标区域的精确度也随之提高；在所述目标区域的精确度提高的基础上，将所述虚拟对象叠加在所述目标区域中进行显示的偏差也随之降低，如此，能够进一步降低虚实融合存在的偏差的问题。
在本申请的另一实施例中，在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，所述方法还包括步骤S501-S503,其中：
S501、继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像。
其中，步骤S501的具体实施步骤具体可以参考步骤S402的叙述，为了说明书的简洁，在此就不再赘述了。
S502、在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索。
其中，步骤S502的具体实施步骤具体可以参考步骤S302的叙述，为了说明书的简洁，在此就不再赘述了。
S503、利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
其中，步骤S503的具体实施方式具体可以参考步骤S404的叙述，为了说明书的简洁，在此就不再赘述了。
具体的，在计算出所述第三姿态之后，记录所述第三姿态，以在后续检测到某一帧目标图像的姿态与所述第三姿态相同时，不对该帧目标图像进行图像检索，以提高检索效果。
在本申请另一实施例中，在记录所述第三姿态之后，所述方法包括：获取包含所述第三姿态的邻域姿态；检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
在具体实施过程中，在获取所述领域姿态时，以所述第三姿态为基准，计算出与所述第三姿态的相似度大于预设相似度的相关姿态，将所述相关姿态和所述第三姿态组成所述邻域姿态。
具体来讲，为了兼顾图像检索的效率和准确性，所述预设相似度通常设置为不小于80％的值，例如可以为80％、85％、90％、95％，98％；所述预设相似度优选为95％和98％。
同理，为了提高图像检索的效率，检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态的检索操作需要间隔若干帧或预设时间进行一次，以防止出现对每一当前帧目标图像均进行检索操作导致出现降低图像检索效率的问题。其中，所述预设时间例如可以为不小于2秒的值，所述若干帧例如可以为不小于3帧。
实施三：
基于与本申请实施一提供的方法相同的技术构思，本发明还提供了一种实现增强现实的设备，如图4所示，包括：
采集单元401，用于实时采集包含目标图像的环境场景图像；
检索单元402，用于通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
第一图像配准单元403，用于利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
第二图像配准单元404，用于利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
转换单元405，用于根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
目标区域获取单元406，用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域；
叠加显示单元407，用于将所述虚拟对象叠加在所述目标区域中进行显示。
较佳的，第一图像配准单元403，具体用于对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
较佳的，转换单元405，具体用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的4个顶点的三维坐标，其中，所述4个顶点的三维坐标位于同一平面上；利用所述4个顶点的三维坐标确定出所述目标区域。
较佳的，所述设备还包括：姿态校正单元，用于在利用所述4个顶点的三维坐标确定出所述目标区域之后，利用所述4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
较佳的，检索单元402，具体用于通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
较佳的，所述设备还包括：
检索单元402，还用于在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像；
停止检索单元，用于在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；
姿态记录单元，用于利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
较佳的，所述设备还包括：
领域姿态获取单元，用于在记录所述第三姿态之后，获取包含所述第三姿态的邻域姿态；
姿态检测单元，用于检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
实施例四：
基于与本申请实施二提供的方法相同的技术构思，本发明还提供了一种实现增强现实的设备，如图5所示，包括：
采集单元501，用于实时采集包含目标图像的环境场景图像，其中，所述目标图像为三维图像；
检索单元502，用于通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；
第一图像配准单元503，用于利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
第二图像配准单元504，用于利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
转换单元505，用于根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
目标区域获取单元506，用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域；
叠加显示单元507，用于将所述虚拟对象叠加在所述目标区域中进行显示。
较佳的，第一图像配准单元503，具体用于对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
较佳的，转换单元505，具体用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的至少4个顶点的三维坐标，其中，所述至少4个顶点的三维坐标位于至少2个平面上；利用所述至少4个顶点的三维坐标确定出所述目标区域。
较佳的，所述设备还包括：姿态校正单元，用于在利用所述至少4个顶点的三维坐标确定出所述目标区域之后，利用所述至少4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
较佳的，检索单元502，具体用于通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
较佳的，所述设备还包括：
检索单元502，还用于在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，继续通过离线方式从所述图像检索库中检索与该帧目标图像对应的检索图像；
停止检索单元，用于在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；
姿态记录单元，用于利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
较佳的，所述设备还包括：
领域姿态获取单元，用于在记录所述第三姿态之后，获取包含所述第三姿态的邻域姿态；
姿态检测单元，用于检测当前帧目标图像的姿态是否为所述领域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
本发明的有益效果如下：
由于本申请实施例是在检索到所述检索到的样本图像之后，再通过两种方式进行图像配准，并利用图像配准得到的所述第一姿态和所述第二姿态，获取到所述转换关系，再利用所述转换关系，确定所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，由此可知，本申请实施例是通过设备自动计算出所述目标区域，然后将所述虚拟对象叠加在所述目标区域中进行显示，而无需用户手动操作所述虚拟对象将其移动到所述目标区域进行显示，进而实现了自动控制所述虚拟对象移动到想要显示的姿态进行显示，而且通过设备计算出的所述目标区域的准确度相比人工移动的动的准确度具有明显的提高，而且无需用户手动操作，如此，实现了简化操作且能够有效降低虚实融合存在的偏差的效果。
本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application SpecificIntegratedCircuit，专用集成电路)来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (12)

1.一种实现增强现实的方法，其特征在于，包括：
实时采集包含目标图像的环境场景图像；
通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，并将所述虚拟对象叠加在所述目标区域中进行显示。
2.如权利要求1所述的方法，其特征在于，所述利用所述检索到的样本图像和当前帧目标图像的特征数据集进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态，具体包括：
对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
3.如权利要求1所述的方法，其特征在于，所述根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，具体包括：
根据所述转换关系，获取当前帧目标图像在世界坐标系中的4个顶点的三维坐标，其中，所述4个顶点的三维坐标位于同一平面上；
利用所述4个顶点的三维坐标确定出所述目标区域。
4.如权利要求3所述的方法，其特征在于，在利用所述4个顶点的三维坐标确定出所述目标区域之后，所述方法还包括：
利用所述4个顶点的三维坐标，获取到所述目标区域的点云数据，并利用所述点云数据校正所述第二姿态。
5.如权利要求1所述的方法，其特征在于，所述通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，具体包括：
通过离线方式从所述图像检索数据库中检索到所述检索到的样本图像。
6.如权利要求5所述的方法，其特征在于，在通过离线方式从所述图像检索数据库中未检索到与某一帧目标图像对应的检索图像时，所述方法还包括：
继续通过离线方式从所述图像检索数据库中检索与该帧目标图像对应的检索图像；
在监测到连续进行图像检索次数达到预设次数仍未检索到所述检索到的样本图像时，停止对该帧目标图像进行图像检索；以及
利用Slam算法对该帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出该帧目标图像对应的世界坐标系相对于相机坐标系的第三姿态，并记录所述第三姿态。
7.如权利要求6所述的方法，其特征在于，在记录所述第三姿态之后，所述方法包括：
获取包含所述第三姿态的邻域姿态；
检测当前帧目标图像的姿态是否为所述邻域姿态中的一个姿态，若是，则停止对当前帧目标图像进行图像检索。
8.如权利要求1所述的方法，其特征在于，在所述样本图像为三维图像时，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息。
9.如权利要求8所述的方法，其特征在于，所述根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域，具体包括：
根据所述转换关系，获取当前帧目标图像在世界坐标系中的至少4个顶点的三维坐标，其中，所述至少4个顶点的三维坐标位于至少2个平面上；
利用所述4个顶点的三维坐标确定出所述目标区域。
10.一种实现增强现实的设备，其特征在于，包括：
采集单元，用于实时采集包含目标图像的环境场景图像；
检索单元，用于通过图像检索从预先建立的图像检索数据库中检索到与当前帧目标图像对应的样本图像，并获取与当前帧目标图像对应的虚拟对象，其中，所述图像检索数据库中存储有每个样本图像对应的特征数据集，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；
第一图像配准单元，用于利用所述检索到的样本图像和当前帧目标图像的特征数据进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态；
第二图像配准单元，用于利用Slam算法对当前帧目标图像和与其相邻的至少一帧目标图像进行图像配准，计算出当前帧目标图像对应的世界坐标系相对于相机坐标系的第二姿态；
转换单元，用于根据所述第一姿态和所述第二姿态，计算出当前帧目标图像对应的物体坐标系和世界坐标系之间的转换关系；
目标区域获取单元，用于根据所述转换关系，获取当前帧目标图像在世界坐标系中的目标区域；
叠加显示单元，用于将所述虚拟对象叠加在所述目标区域中进行显示。
11.如权利要求10所述的设备，其特征在于，所述第一图像配准单元，具体用于对当前帧目标图像进行特征提取，提取出的场景特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；从图像检索数据库中查找到所述检索到的样本图像对应的样本特征数据集，并利用所述场景特征数据集和所述样本特征数据集的特征点进行图像配准，计算出当前帧目标图像对应的物体坐标系相对于相机坐标系的第一姿态。
12.如权利要求10所述的设备，其特征在于，在所述样本图像为三维图像时，每个样本图像对应的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向、法线向量信息和特征描述信息。
CN201710181951.7A 2017-03-24 2017-03-24 一种实现增强现实的方法及设备 Active CN108629843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710181951.7A CN108629843B (zh) 2017-03-24 2017-03-24 一种实现增强现实的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710181951.7A CN108629843B (zh) 2017-03-24 2017-03-24 一种实现增强现实的方法及设备

Publications (2)

Publication Number Publication Date
CN108629843A CN108629843A (zh) 2018-10-09
CN108629843B true CN108629843B (zh) 2021-07-13

Family

ID=63707566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710181951.7A Active CN108629843B (zh) 2017-03-24 2017-03-24 一种实现增强现实的方法及设备

Country Status (1)

Country Link
CN (1) CN108629843B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143489B (zh) * 2018-11-06 2024-01-09 北京嘀嘀无限科技发展有限公司 基于图像的定位方法及装置、计算机设备和可读存储介质
CN110097584B (zh) * 2019-03-18 2021-11-09 国网浙江省电力有限公司信息通信分公司 结合目标检测和语义分割的图像配准方法
CN110058685B (zh) * 2019-03-20 2021-07-09 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110010249B (zh) * 2019-03-29 2021-04-27 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110533719B (zh) * 2019-04-23 2020-06-09 以见科技(上海)有限公司 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN110310333B (zh) * 2019-06-27 2021-08-31 Oppo广东移动通信有限公司 定位方法及电子设备、可读存储介质
CN112150548B (zh) * 2019-06-28 2024-03-29 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110503725B (zh) * 2019-08-27 2023-07-14 百度在线网络技术（北京）有限公司 图像处理的方法、装置、电子设备及计算机可读存储介质
CN110599605B (zh) * 2019-09-10 2021-07-13 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112702643B (zh) * 2019-10-22 2023-07-21 上海哔哩哔哩科技有限公司 弹幕信息显示方法、装置、移动终端
CN112785715A (zh) 2019-11-08 2021-05-11 华为技术有限公司 虚拟物体显示方法以及电子设备
WO2021160098A1 (en) * 2020-02-13 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Error state kalman filter for visual slam by dynamically tuning measurement noise covariance
CN113465600A (zh) * 2020-03-30 2021-10-01 浙江宇视科技有限公司 一种导航方法、装置及电子设备和存储介质
CN113393505B (zh) * 2021-06-25 2023-11-03 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN104885098A (zh) * 2013-01-04 2015-09-02 高通股份有限公司 基于移动装置的文本检测及跟踪
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150075532A (ko) * 2013-12-26 2015-07-06 한국전자통신연구원 증강 현실 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885098A (zh) * 2013-01-04 2015-09-02 高通股份有限公司 基于移动装置的文本检测及跟踪
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"3D registration based perception in augmented reality environment";Heen Chen et al;《Cogent Engineering》;20161130;第3卷(第1期);第1-10页 *
"增强现实系统中注册方法的研究与实现";范利君;《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》;20140515(第05期);第1-53页 *
"户外增强现实GIS的应用研究";王俊;《中国优秀硕士学位论文全文数据库 基础科学辑(月刊)》;20141015(第10期);第1-58页 *

Also Published As

Publication number Publication date
CN108629843A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108629843B (zh) 一种实现增强现实的方法及设备
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
Guerry et al. Snapnet-r: Consistent 3d multi-view semantic labeling for robotics
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US11748907B2 (en) Object pose estimation in visual data
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP6976350B2 (ja) 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
EP3503030A1 (en) Method and apparatus for generating a three-dimensional model
JPH0877356A (ja) 三次元多眼画像の処理方法及び処理装置
CN110375765B (zh) 基于直接法的视觉里程计方法、系统及存储介质
Ramirez et al. Open challenges in deep stereo: the booster dataset
CN115393519A (zh) 一种基于红外可见光融合图像的三维重构方法
US20230100238A1 (en) Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
CN107341151B (zh) 图像检索数据库生成方法、增强现实的方法及装置
Nakano Stereo vision based single-shot 6d object pose estimation for bin-picking by a robot manipulator
US11417063B2 (en) Determining a three-dimensional representation of a scene
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
JP2002094849A (ja) 広視野画像撮像装置
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant