CN110120098A - 场景尺度估计及增强现实控制方法、装置和电子设备 - Google Patents

场景尺度估计及增强现实控制方法、装置和电子设备 Download PDF

Info

Publication number
CN110120098A
CN110120098A CN201810113142.7A CN201810113142A CN110120098A CN 110120098 A CN110120098 A CN 110120098A CN 201810113142 A CN201810113142 A CN 201810113142A CN 110120098 A CN110120098 A CN 110120098A
Authority
CN
China
Prior art keywords
feature point
fisrt feature
initial
dimensional coordinate
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810113142.7A
Other languages
English (en)
Other versions
CN110120098B (zh
Inventor
鲍虎军
章国锋
王楠
陈丹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sensetime Technology Development Co Ltd filed Critical Zhejiang Sensetime Technology Development Co Ltd
Priority to CN201810113142.7A priority Critical patent/CN110120098B/zh
Publication of CN110120098A publication Critical patent/CN110120098A/zh
Application granted granted Critical
Publication of CN110120098B publication Critical patent/CN110120098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Abstract

本发明实施例公开了一种场景尺度估计及增强现实控制方法、装置和电子设备，其中一种场景尺度估计方法包括：确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；根据各第一特征点的重投影误差和平面约束分别对各第一特征点的初始三维坐标进行调整，其中，平面约束为各第二特征点与目标水平面的距离之和；根据各第一特征点调整后的三维坐标，确定目标场景的尺度，进而实现对目标场景尺度的准确估计。

Description

场景尺度估计及增强现实控制方法、装置和电子设备
技术领域
本发明实施例涉及计算机图像处理技术领域，尤其涉及一种场景尺度估计技术方案以及一种增强现实控制技术方案。
背景技术
在增强现实、虚拟现实、机器人和自动驾驶等领域，需要对场景尺度(即场景的真实三维坐标)进行估计。例如，用户想知道客厅中放置多大的桌子，此时，则需要绘制与实际客厅大小相同的虚拟客厅，在该虚拟客厅中放置不同尺寸的虚拟桌子，以便用户进行选择。例如，在SLAM(Simultaneous Localization And Mapping，实时定位与地图构建)初始化时，需要获得场景的三维坐标，以便地图的绘制。
发明内容
本发明实施例提供一种场景尺度估计技术方案以及一种增强现实控制技术方案。
第一方面，本发明实施例提供一种场景尺度估计方法，包括：
确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和；
根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
在第一方面的一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，包括：
对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。
在第一方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，还包括：
在所述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始平面方程系数不变；
或者，
在所述调整过程中对所述双目相机的初始内参与所述目标水平面的初始平面方程系数中的至少一个进行调节。
在第一方面的另一种可能的实现方式中，所述对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小，包括：
对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述重力约束为所述目标平面的法线向量与重力向量之间的差值。
在第一方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整之后，还包括：
根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在第一方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整之前，还包括：
以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第一方面的另一种可能的实现方式中，所述以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面，具体包括：
以重力方向为法线方向，采用随机抽样一致性算法，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第一方面的另一种可能的实现方式中，确定所述第一特征点的初始三维坐标，具体包括：
基于三角化原理以及所述第一特征点在所述第一图像和在所述第二图像上的投影，确定所述第一特征点的初始深度值；
根据所述第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
第二方面，本发明实施例提供一种场景尺度估计方法，包括：
确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述重力约束为目标水平面的法线向量与重力向量之间的差值；
根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
在第二方面的一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，包括：
对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述重力约束相加最小。
在第二方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，还包括：
在所述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始法线向量不变；
或者，
在所述调整过程中对所述双目相机的初始内参与所述目标水平面的初始法线向量中的至少一个进行调节。
在第二方面的另一种可能的实现方式中，所述对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述重力约束相加最小，包括：
将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和。
在第二方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整之后，还包括：
根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在第二方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整之前，还包括：
以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第二方面的另一种可能的实现方式中，所述以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面，具体包括：
以重力方向为法线方向，采用随机抽样一致性算法，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第二方面的另一种可能的实现方式中，确定所述第一特征点的初始三维坐标，具体包括：
基于三角化原理以及所述第一特征点在所述第一图像和所述第二图像上的投影，确定所述第一特征点的初始深度值；
根据所述第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
第三方面，本发明实施例提供一种增强现实AR控制方法，包括：
AR引擎获取SLAM系统的输出结果，所述输出结果包括采用第一方面和第二方面任一所述的方法获得的场景的尺度；
所述AR引擎根据所述场景的尺度在所述场景中绘制虚拟物体。
第四方面，本发明实施例提供一种场景尺度估计装置，包括：
第一确定模块，用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
第二确定模块，用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
调整模块，用于根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和；
第三确定模块，用于根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
在第四方面的一种可能的实现方式中，所述调整模块，具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。
在第四方面的另一种可能的实现方式中，在所述调整模块进行上述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始平面方程系数不变；
或者，
在所述调整模块进行上述调整过程中对所述双目相机的初始内参与所述目标水平面的初始平面方程系数中的至少一个进行调节。
在第四方面的另一种可能的实现方式中，所述调整模块，还具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述重力约束为所述目标平面的法线向量与重力向量之间的差值。
在第四方面的另一种可能的实现方式中，所述场景尺度估计装置还包括：第四确定模块，用于根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在第四方面的另一种可能的实现方式中，所述第二确定模块，还用于以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第四方面的另一种可能的实现方式中，所述第二确定模块，具有用于以重力方向为法线方向，采用随机抽样一致性算法，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第四方面的另一种可能的实现方式中，所述第一确定模块，具体用于基于三角化原理以及所述第一特征点在所述第一图像和在所述第二图像上的投影，确定所述第一特征点的初始深度值；根据所述第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
第五方面，本发明实施例提供一种场景尺度估计装置，包括：
第一确定模块，用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
调整模块，用于根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述重力约束为目标水平面的法线向量与重力向量之间的差值；
第二确定模块，用于根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
在第五方面的一种可能的实现方式中，所述调整模块，具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述重力约束相加最小。
在第五方面的另一种可能的实现方式中，在所述调整模块进行上述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始法线向量不变；
或者，
在所述调整模块进行上述调整过程中对所述双目相机的初始内参与所述目标水平面的初始法线向量中的至少一个进行调节。
在第五方面的另一种可能的实现方式中，所述场景尺度估计装置还包括第三确定模块，
所述第三确定模块，用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
所述调整模块，还具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和。
在第五方面的另一种可能的实现方式中，所述场景尺度估计装置还包括：
第四确定模块，用于根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在第五方面的另一种可能的实现方式中，所述第三确定模块，还用于以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第五方面的另一种可能的实现方式中，所述第三确定模块，还具体用于以重力方向为法线方向，采用随机抽样一致性算法，将所述第一特征点分布最多的水平面作为所述目标水平面。
在第五方面的另一种可能的实现方式中，所述第一确定模块，具体用于基于三角化原理以及所述第一特征点在所述第一图像和所述第二图像上的投影，确定所述第一特征点的初始深度值，并根据所述第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
第六方面，本发明实施例提供一种增强现实AR引擎，包括：
获取模块，用于获取SLAM系统的输出结果，所述输出结果包括采用第一方面和第二方面任一项所述的方法获得的场景尺度；
绘制模块，用于根据所述场景尺度在所述场景中绘制虚拟物体。
第七方面，本发明实施例提供一种电子设备，包括：
双目相机，用于对目标场景进行拍摄，获得所述目标场景的第一图像和第二图像；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现第一方面所述的场景尺度估计方法。
第八方面，本发明实施例提供一种增强现实AR控制系统，包括：
通信连接的电子设备、AR引擎和SLAM系统，所述电子设备设有双目相机，所述AR引擎为如第六方面所述的AR引擎，所述SLAM系统包括如第四方面和第五方面任一所述的场景尺度估计装置。
第九方面，本发明实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现第一方面、第二方面所述的场景尺度估计方法，和/或实现第三方面所述的AR控制方法。
本发明实施例提供的技术方案的效果为：
通过确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；根据各第一特征点的重投影误差和平面约束分别对各第一特征点的初始三维坐标进行调整，其中，平面约束为各第二特征点与目标水平面的距离之和；根据各第一特征点调整后的三维坐标，确定目标场景的尺度。即本实施例对各第一特征点的初始三维坐标进行调整的过程中引入了平面约束，使得大部分特征点仍然分布在目标平面附近，这样调整后的第一特征点的三维坐标更加逼近真实值，进而实现对目标场景尺度的准确估计，解决了由于相机基线太短，相机标定不准确等造成的场景尺度估计不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的场景尺度估计方法的流程图；
图2为执行本发明实施例步骤的电子设备的示意图；
图3为本发明实施例一提及的双目三角化的一种测量原理示意图；
图4为本发明实施例二提供的场景尺度估计方法的流程图；
图5为本发明实施例二中对各第一特征点的初始三维坐标进行调整的一种示例的流程图；
图6为本发明实施例提供的AR控制方法的流程图；
图7为本发明实施例一提供的场景尺度估计装置的结构示意图；
图8为本发明实施例二提供的场景尺度估计装置的结构示意图；
图9为本发明实施例一提供的场景尺度估计装置的结构示意图；
图10为本发明实施例二提供的场景尺度估计装置的结构示意图；
图11为本发明实施例三提供的场景尺度估计装置的结构示意图；
图12为本发明实施例提供的AR引擎的结构示意图；
图13为本发明实施例提供的电子设备的结构示意图；
图14为本发明实施例提供的AR控制系统的示意图；
图15为本发明实施例提供的AR控制系统的另一示意图；
图16为本发明实施例提供的AR控制系统的又一示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的方法适用于计算机视觉、增强现实、虚拟现实、机器人、自动驾驶、游戏、影视、教育、电子商务、旅游、智慧医疗、室内装修设计、智慧家居、智能制造、维修装配等任一需要估计或获得场景或实物尽可能真实尺度的领域。
例如，可以使用本实施例的方法获得室内的真实尺度，以便在该真实三维室内环境中放置虚拟家具。或者，使用本实施例的方法获得用户的真实三维形态，在该真实三维形态上试穿不同样式的虚拟服装，便于用户选择。在SLAM技术中，使用本实施例的方法可以获得环境的三维坐标，用于SLAM的初始化过程。
本发明实施例提供的技术方案，首先获取目标场景中各第一特征点的初始三维坐标，接着根据各第一特征点的重投影误差之和与平面约束来逐渐调整各第一特征点的初始三维坐标，最后，使用各第一特征点调整后的三维坐标，准确确定出目标场景的真实尺度。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例一提供的场景尺度估计方法的流程图。该如图1所示，本实施例的方法可以包括：
S101、确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差。
本实施例的执行主体为如图2所示的电子设备，该电子设备具有双目相机(即包括第一摄像头和第二摄像头)，该电子设备可以但不限于是具有双摄像头的手机、计算机、AR(Augmented Reality Technique，增强现实技术)眼镜、车载系统等。
为了便于阐述，将双目相机中的一个摄像头称为第一摄像头，另一个摄像头称为第二摄像头，其中，第一摄像头和第二摄像头的参数(即内参和外参)可以相同也可以不同。
在实际应用中，当用户需要获取三维目标场景时，用户将电子设备上的双目相机对准目标场景，控制双目相机对目标场景进行拍照。例如用户按压双目相机的拍照键，获得目标场景的两张二维图像，分别为第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像。
在第一图像中提取目标场景的特征点(例如角点)，接着，在第二图像中跟踪第一图像中的各特征点，例如使用稀疏光流法等方法在第二图像中跟踪第一图像中的各特征点，进而将第一图像上的特征点与第二图像上的特征点一一匹配对应起来，本实施例将这些匹配的特征点记为第一特征点。
可选的，为了提高匹配的准确性，本实施例还可以使用极线几何约束，利用本质矩阵来去除掉一部分错误的匹配信息。具体是同一个第一特征点，其在第一图像上的二维坐标与其在第二图像上的二维坐标之间应该满足本质矩阵约束，即满足Pa TEabPb＝0，其中Pa为第一特征点P在第一图像上的二维坐标，Pb为第一特征点P在第二图像上的二维坐标，Eab为本质矩阵，这样根据本质矩阵约束，将不满足Pa TEabPb＝0的第一特征点过滤掉。
接着，确定各第一特征点的初始三维坐标。
具体是，确定各第一特征点的初始深度值，根据各第一特征点的初始深度值，确定各第一特征点的初始三维坐标。
例如，在重力方向上设置一个水平面，将各第一特征点投射到该水平面上，确定出各第一特征点的初始三维坐标。
在一种具体的实现方式中，确定各第一特征点的初始三维坐标可以包括下述的步骤S101a和S101b：
S101a、基于三角化原理以及第一特征点在第一图像和在第二图像上的投影，确定第一特征点的初始深度值。
S101b、根据第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
举例说明，如图3所示，以一个第一特征点P为例说明，其中，P1为第一特征点在第一图像上的投影，其二维坐标为(x1，y1)，P2为第一特征点在第二图像上的投影，其二维坐标(x2，y2)，O1为第一摄像头的光心，O2为第二摄像头的光心，O1与O2之间的距离为基线距离(即两个摄像头之间距离)，记为b，x2-x1为第一特征点P在第一图像和第二图像上的视差，记为d。
这样根据第一特征点P在第一图像中的二维坐标(x1，y1)以及在第二图像中的二维坐标(x2，y2)，获取第一特征点P的初始三维坐标(xc，yc，zc)。
例如，可以根据三角化原理，可以获得图3所示的第一特征点P的初始三维坐标(xc，yc，zc)为：
由图3可知，第一图像和第二图像在同一个平面上，因此y1＝y2，f为双相机的焦距。
需要说明的是，上述第一特征点P的初始三维坐标的计算公式，是针对图3所示第一图像和第二图像示出的，可以理解，上述仅为一个示例而不是对本申请保护范围的限制(本发明实施例中的示例均由此共性，不再赘述)。对于第一图像和第二图像不共面时，可以使用已有的其他方法确定出，不再赘述。
然后，确定各第一特征点的重投影误差。
其中，重投影误差为第一特征点在第一图像中的二维坐标与第一特征点的初始三维坐标在第一图像中对应的二维坐标的误差，和第一特征点在第二图像中的二维坐标与第一特征点的初始三维坐标在第二图像中对应的二维坐标的误差之和。
例如，将第一特征点P的初始三维坐标(xc，yc，zc)分别投影到第一图像和第二图像上，在第一图像上形成的投影点的二维坐标为(x3，y3)，在第二图像上形成的投影点的二维坐标为(x4，y4)。而双目相机拍摄的第一图像和第二图像中，第一特征点在第一图像上的原始二维坐标为(x1，y1)，第一特征点在第二图像上的原始二维坐标为(x2，y3)，此时获得的第一特征点的重投影误差为[(x1，y1)-(x3，y3)]+[(x2，y2)-(x4，y4)]。参照该方法，可以获得各第一特征点的重投影误差。
S102、将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点。
在增强现实、虚拟现实、机器人等技术中，需要获得目标场景的主平面，例如地面或桌面，在地面或桌面上放置虚拟物，这样可以防止虚拟物在目标场景中漂浮的问题。目标场景的主平面通常为水平面，因此，本实施例首先确定一目标水平面，将该目标水平面作为约束参照。
本实施例的目标水平面可以为目标场景中的任意水平面，例如目标场景中的地面、桌面等。
在实际场景中，主平面上放置的物体最多，例如在桌面或地面上放置的东西最多，这样使得主平面上特定点的数量也最多，因此，本实施例可以将第一特征点分布最多的水平面作为目标水平面。
例如，以重力方向为法线方向，将第一特征点分布最多的水平面作为目标水平面。
假设目标水平面的平面方式为A*x+B*y+C*z+D＝0，其中(A，B，C)为目标平面的法线向量，这样可以对参数D进行估计，进而确定出目标水平面。
其中，本实施例的重力方向为电子设备中IMU(Inertial Measurement Unit，惯性测量单元)的重力方向，而IMU的重力方向可以直接实时获得。
在本实施例一种可能的实现方式中，以重力方向为法线方向，采用RANSAC(RANdomSAmple Consensus，随机抽样一致性)算法，将第一特征点分布最多的水平面作为所述目标水平面。
在一种示例中，其具体过程可以是：
A、随机挑选三个第一特征点，以重力方向作为法线方向，拟合一水平面，例如A*x+B*y+C*z+D＝0。
B、根据这三个第一特征点的初始三维坐标，估计完整的平面方程，具体是，当平面的法线方向确定为重力方向之后，参数A、B、C均已确定，只剩参数D需要计算。此时，可以将这三个第一特征点的初始三维坐标的平均值，带入平面方程A*x+B*y+C*z+D＝0中，即可求解出参数D。
C、判断当前确定的该水平面是否满足要求，具体是，判断该水平面上的第一特征点是否最多。
若是，这将当前的该水平面确定为目标水平面，若否，则返回执行A至C，直到当前确定的水平面满足要求为止。
可选的，上述要求还可以包括当前水平面附近的第一特征点与该水平面的平均距离是否最短。此时，上述步骤C为判断该水平面上的第一特征点是否最多，以及当前水平面附近的第一特征点与该水平面的平均距离是否最短。
本实施例根据上述步骤，可以确定出一个目标水平面，该目标水平面即为目标场景的主平面。
接着，从各第一特征点中，将距离该目标水平面预设范围内的第一特征点确定为第二特征点。其中，预设范围根据实际需要确定，例如可以为[-a，+b]，即将距离目标水平面在[-a，+b]内的第一特征点确定为第二特征点。
S103、根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和。
目前，由于两个摄像头之间的基线太短，相机标定不准确等，生成的特征点噪音较大，无法准确估计目标场景的实际尺度。例如，本实施例使用具有双目相机的手机执行上述步骤，获得目标场景中各第一特征点的初始三维坐标时，由于目前手机端的双目相机的基线太短、标定信息缺失或者不准确、相机同步不好等问题，使得第一特征点的噪音很大，进而使得基于这些第一特征点无法准确估计出目标场景的真实尺度。
为了解决该技术问题，本步骤通过对上述步骤获得的各第一特征点的初始三维坐标进行调整，使得基于各第一特征点调整后的三维坐标可以准确估计出目标场景的实际尺度。
本实施例通过各第一特征点的重投影误差和平面约束分别对各第一特征点的初始三维坐标进行调整。
例如，判断各第一特征点的重投影误差和平面约束是否满足预设条件，若是，则对各第一特征点的初始三维坐标不进行调整，若否，则对各第一特征点的初始三维坐标进行调整。
其具体调整过程可以是，对各第一特征点的初始三维坐标进行优化调整，使用迭代优化(例如，LM列文伯格算法)，每次迭代都计算调整后的各第一特征点的重投影误差，以及调整后的各第二特征点与目标平面之间的距离之和(即平面约束)，判断此时的各重投影误差之和与平面约束是否达到预设条件。若达到预设条件，则停止迭代，将此时各第一特征点的三维坐标作为各第一特征点的最终三维坐标。若否，则需要继续调整各第一特征点的初始三维坐标，直到各重投影误差之和与平面约束满足预设条件为止。
该预设条件可以是各重投影误差之和与平面约束相加小于或等于某一值，或者，各重投影误差之和与平面约束相加最小等。本实施例对预设条件不做限制，具体根据实际需要设定。
可选的，上述迭代过程的收敛条件可以是，当迭代次数超过一定阈值或者两次调整对应的各重投影误差之和与平面约束变化不大，则认为当前优化已经达到最优解。
S104、根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
具体的，根据上述步骤，对各第一特征点的初始三维坐标进行调整，使得调整后的各第一特征点的三维坐标更加逼近各第一特征点在目标场景中的真实三维坐标。
接着，根据各第一特征点调整后的三维坐标，可以准确确定出目标场景的三维空间，及目标场景的真实尺度。
这样将本实施例的方法应用到AR技术中，可以准确确定出目标场景的真实三维空间，在该真实的三维空间中可以放置与目标场景度量单位相同的虚拟物体，进而提高了用户的真实感知，提高了用户体验。
在SLAM技术中，使用本实施例的方法，可以准确获得目标场景的真实三维空间，进而可以解决SLAM初始化过程中，估算目标场景的三维坐标时，工作繁琐，以及估计不准确的问题，从而提高了SLAM系统的初始化速度和准确性，为SLAM技术的推广提供了基础。
本发明实施例提供的场景尺度估计方法，通过确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；根据各第一特征点的重投影误差和平面约束分别对各第一特征点的初始三维坐标进行调整，其中，平面约束为各第二特征点与目标水平面的距离之和；根据各第一特征点调整后的三维坐标，确定目标场景的尺度。即本实施例的方法，对各第一特征点的初始三维坐标进行调整的过程中引入了平面约束，使得大部分特征点仍然分布在目标平面附近，这样调整后的第一特征点的三维坐标更加逼近真实值，进而实现对目标场景尺度的准确估计，解决了由于相机基线太短，相机标定不准确等造成的场景尺度估计不准确的问题。
在本实施例的一种可能的实现方式中，上述S103根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，可以使用S103a替换：
S103a、对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。
具体的，对各第一特征点的初始三维坐标进行调整，每次迭代都计算调整后的各第一特征点的重投影误差，以及调整后的各第二特征点与目标平面之间的距离之和(即平面约束)，判断此时的各重投影误差之和与平面约束相加是否最小。若是，则停止迭代，并将此时各第一特征点的三维坐标位置作为各第一特征点最终三维坐标。若否，则继续调整各第一特征点的初始三维坐标，直到各第一特征点的重投影误差之和与平面约束相加最小为止。
在一种示例中，上述S103a可以通过公式(1)来实现：
其中，表示各第一特征点的重投影误差之和，表示平面约束；Xj＝(xj,yj,zj),j∈[1,n]，表示第j个第一特征点的初始三维点坐标；Xk＝(xk,yk,zk),k∈[1,m],m∈n，表示第k个第二特征点的三维点坐标；Ci＝Ri|ti为第i个摄像头的位姿矩阵，在相机标定时预先设定的；Ki为第i个相机的内参，在相机标定时预先设定的；表示第i个摄像头拍摄的图像上第j个第一特征点的二维坐标；A、B、C和D为目标平面的初始平面方程系数，其中N＝(A，B，C)为目标平面的法线向量，此时，目标平面的初始平面方程系数可以用P＝(N，D)表示；α为平面约束的约束权重。
即本实施例可以根据上述公式(1)逐渐调整第一特征点的初始三维点坐标Xj，直到与之和最小，进而确定出各第一特征点准确的三维坐标。
可选的，上述迭代过程的收敛条件可以是，当迭代次数超过一定阈值或者两次调整对应的各重投影误差之和与平面约束相加变化不大，就认为当前调整已经达到最优解。
在本实施例一种可能的实现方式中，在S103a调整过程中，可以保持所述双目相机的初始内参与所述目标水平面的初始平面方程系数不变；
此时，上述S103a可以根据公式(2)进行调整：
由公式(2)可知，在整个调整过程中，双目相机的初始内参Ki和目标平面的初始平面方程系数P＝(N，D)保持不变，只对第一特征点的三维坐标Xj进行调整，该调整过程简单，收敛速度快。
在本实施例另一可能的实现方式中，在S103a的调整过程中，可以对双目相机的初始内参与目标水平面的初始平面方程系数中的至少一个进行调节。
在一种示例中，其初始值在相机标定时预先设定，但是在后续的过程中，可以对其进行在线更新。
此时，可以使用根据公式(3)对双目相机的初始内参Ki和第一特征点的初始三维点坐标Xj同时进行调整：
这样根据上述公式(3)，不仅实现对第一特征点的三维坐标的调整，还可以对双目相机的内参进行调整，进而提高了相机标定的准确性。
在另一种示例中，在调整过程中，可以使用根据公式(4)对目标平面的初始平面方程系数P和第一特征点的初始三维点坐标Xj同时进行调整：
这样根据上述公式(4)，不仅实现对第一特征点的三维坐标的调整，还可以对目标水平面进行调整，使得目标水平面更加接近真实的主平面。
在又一种示例中，在调整过程中，可以使用公式(5)对目标平面的初始平面方程系数P、双目相机的初始内参Ki和第一特征点的初始三维点坐标Xj同时进行调整：
这样根据上述公式(5)，对Ki、P、Xj分别进行调整，直到上述公式(5)达到最小值为止，进而实现对由双目相机和目标场景组成的整个系统的调整，减小整个系统的误差，进一步提高了目标场景尺度的估计准确性。
在本实施例的一种可能的实现方式中，在调整过程中，对目标平面的初始平面方程系数进行调整，而为了保持目标水平面的水平，则需要对目标水平面的法线方向进行约束，使得目标水平面的法线方向与重力方向保持一致。此时，上述S103可以使用S103b替换：
S103b、对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述重力约束为所述目标平面的法线向量与重力向量之间的差值。
例如，可以使用根据公式(6)对各第一特征点的初始三维点坐标Xj进行调整：
其中，||N-G||2为重力约束，β为重力约束的约束权重，N为目标平面的法线向量，G为重力向量。
这样根据上述公式(6)，对第一特征点的三维坐标进行调整的过程中，可以只对第一特征点的三维坐标进行调整，保持双目相机的初始内参Ki、目标平面的初始平面方程系数P不变，也可以对双目相机的初始内参Ki和目标平面的初始平面方程系数P中的至少一个进行调节。
例如，可以根据公式(7)对双目相机的初始内参Ki、目标平面的初始平面方程系数P、和第一特征点的初始三维点坐标Xj同时进行调整：
即该步骤对Ki、P、Xj分别进行调整，直到上述公式(7)达到最小值为止，可以减小整个系统的误差，进一步提高目标场景尺度的估计准确性。例如，在SLAM系统中，根据上述公式(7)可以实现对SLAM系统的整体尺度的调整，进而提高了SLAM系统的初始化准确性。
在本实施例的一种可能的实现方式中，在上述S103之后，还可以执行S S1031。
S1031、根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在本实施例中，根据上述步骤对各第一特征点的三维坐标进行调整，由于第二特征点为距离目标平面较近的第一特征点，因此，在上述调整过程中，第二特征点的三维坐标也会进行调整。
在SLAM系统或其他的AR系统中，因为目标场景尺度估计，在初始化过程中执行一次，后续新增加的关键帧是不带双摄数据，也不包含尺度信息。所以为了保证整个系统的尺度一致性，避免后续新增加的参数矫正掉初始的尺度，因此需要对目标水平面进行固定，即将各第二特征点固定在目标水平面上。
具体的，将各第二特征点调整后的三维坐标带入目标水平面的平面坐标方程中，获得各第二特征点的固定三维坐标。例如，保持各第二特征点的x、y坐标不变，根据目标水平面的平面坐标方程，可以获得各第二特征点新的z坐标。
举例说明，第二特征点调整后的三维坐标为E＝(2，3，4)，目标水平面的平面坐标方程为：A*x+B*y+C*z+D＝0，将x＝2、y＝3带入A*x+B*y+C*z+D＝0，可以获得z＝-(D+2A+3B)/C，此时，第二特征点的固定三维坐标为(2，3，-(D+2A+3B)/C)。
本发明实施例提供的场景尺度估计方法，通过对各第一特征点的初始三维坐标进行调整，直到各第一特征点的重投影误差之和与平面约束相加最小，进而实现对第一特征点的初始三维坐标的准确调整，提高了目标场景尺度的估计准确性。同时，在上述调整过程中，还对双目相机的初始内参和/或目标水平面的初始平面方程系数进行调节，可以降低双目相机与目标场景组成的整个系统的误差。
图4为本发明实施例二提供的场景尺度估计方法的流程图。如图4所示，本实施例的方法可以包括：
S201、确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差。
本实施例的执行主体为如图2所示的电子设备，该电子设备具有双目相机(即包括第一摄像头和第二摄像头)，该电子设备可以是具有双摄像头的手机、计算机、AR眼镜等。
本实施例，首先确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点。接着，确定各第一特征点的三维坐标，以及各第一特征点的重投影误差。其具体过程可以参照上述步骤S101的描述，在此不再赘述。
S202、根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述重力约束为目标水平面的法线向量与重力向量之间的差值。
在增强现实、虚拟现实、机器人等技术中，需要获得目标场景的主平面，例如地面或桌面，在地面或桌面上放置虚拟物，这样可以防止虚拟物在目标场景中漂浮的问题。目标场景的主平面通常为水平面，因此，本实施例首先确定一目标水平面，将该目标水平面作为约束参照。
本实施例的目标水平面可以为目标场景中的任意水平面，例如目标场景中的地面、桌面等。
在实际场景中，主平面上放置的物体最多，例如在桌面或地面上放置的东西最多，这样使得主平面上特定点的数量也最多，因此，本实施例可以将第一特征点分布最多的水平面作为目标水平面。
例如，以重力方向为法线方向，将第一特征点分布最多的水平面作为目标水平面。
在本实施例一种可能的实现方式中，以重力方向为法线方向，采用RANSAC算法，将第一特征点分布最多的水平面作为所述目标水平面。
该步骤的具体实现过程可以参照上述步骤S103中相关的描述，在此不再赘述。
接着，确定目标水平面的法线向量与重力向量之间的差值，将该差值作为重力约束，并根据第一特征点的重投影误差和重力约束分别对各第一特征点的初始三维坐标进行调整。
例如，判断各第一特征点的重投影误差和重力约束是否满足某一预设条件，若是，则对各第一特征点的初始三维坐标不进行调整，若否，则对各第一特征点的初始三维坐标进行调整。
其具体调整过程可以是，对各第一特征点的初始三维坐标以及重力约束整体进行优化调整，使用迭代优化(例如LM列文伯格算法)，每次迭代都计算调整后的各第一特征点的重投影误差，以及目标平面的法线向量与重力向量之间的差值(即重力约束)，判断此时的各重投影误差之和与重力约束是否达到预设条件。若达到预设条件，则停止迭代，将此时各第一特征点的三维坐标作为各第一特征点的最终三维坐标。若否，则需要继续调整各第一特征点的初始三维坐标，直到各重投影误差之和与重力约束满足预设条件为止。
该预设条件可以是各重投影误差之和与重力约束相加小于或等于某一值，或者，各重投影误差之和与重力约束相加最小等。本实施例对预设条件不做限制，具体根据实际需要设定。
可选的，上述迭代过程的收敛条件可以是，当迭代次数超过一定阈值或者两次调整对应的各重投影误差之和与重力约束变化不大，则认为当前优化已经达到最优解。
S203、根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
具体的，根据上述步骤，对各第一特征点的初始三维坐标进行调整，使得调整后的第一特征点的三维坐标更加逼近各第一特征点在目标场景中的真实三维坐标。
接着，根据各第一特征点调整后的三维坐标，可以准确确定出目标场景的三维空间，及目标场景的真实尺度。
本发明实施例提供的场景尺度估计方法，通过确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；根据各第一特征点的重投影误差和重力约束分别对各第一特征点的初始三维坐标进行调整，其中，重力约束为目标水平面的法线向量与重力向量之间的差值；根据各第一特征点调整后的三维坐标，确定目标场景的尺度。在第一特征点的初始三维坐标的调整过程中，期望目标平水面始终保持水平，因此本实施例在对各第一特征点的初始三维坐标进行调整的过程中引入了重力约束，以使第一特征点的三维坐标更加逼近真实值，进而实现对目标场景尺度的准确估计，解决了由于相机基线太短，相机标定不准确等造成的场景尺度估计不准确的问题。
在本实施例的一种可能的实现方式中，上述S202根据各所述第一特征点的重投影误差和重力约束分别对各第一特征点的初始三维坐标进行调整，可以使用S202a替换：
S202a、对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述重力约束相加最小。
具体的，对各第一特征点的初始三维坐标进行优化调整，每次迭代都计算调整后的各第一特征点的重投影误差，以及目标平面的法线向量与重力向量之间的差值(即重力约束)，判断此时的各重投影误差之和与重力约束相加是否最小。若是，则停止迭代，并将此时各第一特征点的三维坐标位置作为各第一特征点最终三维坐标。若否，则继续调整各第一特征点的初始三维坐标，直到各第一特征点的重投影误差之和与重力约束相加最小为止。
在一种示例中，上述S202a可以通过公式(8)来实现：
其中，表示各第一特征点的重投影误差之和，||N-G||2表示重力约束；Xj＝(xj,yj,zj),j∈[1,n]，表示第j个第一特征点的初始三维点坐标；Ci＝Ri|ti为第i个摄像头的位姿矩阵，在相机标定时预先设定的；Ki为第i个相机的内参，在相机标定时预先设定的；xij表示第i个摄像头拍摄的图像上第j个第一特征点的二维坐标；A、B、C和D为目标平面的初始平面方程系数，其中N＝(A，B，C)为目标平面的法线向量；G为重力向量；β为重力约束的约束权重。
即本实施例可以根据上述公式(8)逐渐调整第一特征点的初始三维点坐标Xj，直到与β*||N-G||2之和最小，进而确定出各第一特征点准确的三维坐标。
可选的，上述迭代过程的收敛条件可以是，当迭代次数超过一定阈值或者两次调整对应的各重投影误差之和与重力约束相加变化不大，就认为当前调整已经达到最优解。
在本实施例一种可能的实现方式中，在S202a的调整过程中，可以保持所述双目相机的初始内参与目标水平面的初始法线向量不变；
此时，上述S202a可以根据公式(9)进行调整：
由公式(9)可知，在整个调整过程中，双目相机的初始内参Ki和目标平面的初始法线向量N保持不变，只对第一特征点的三维坐标Xj进行调整，该调整过程简单，收敛速度快。
在本实施例另一可能的实现方式中，在S202a的调整过程中，可以对双目相机的初始内参与所述目标水平面的初始法线向量中的至少一个进行调节。
在一种示例中，其初始值在相机标定时预先设定，但是在后续的过程中，可以对其进行在线更新。
此时，可以使用根据公式(10)对双目相机的初始内参Ki和第一特征点的初始三维点坐标Xj同时进行调整：
这样根据上述公式(10)，不仅实现对第一特征点的三维坐标的调整，还可以对双目相机的内参进行调整，提高了相机标定的准确性。
在另一种示例中，在调整过程中，可以使用公式(11)对目标平面的初始法线向量N和第一特征点的初始三维点坐标Xj同时进行调整：
这样根据上述公式(11)，不仅实现对第一特征点的三维坐标的调整，还可以对目标水平面的法线向量进行调整，使得目标水平面始终保持水平，更加接近真实的主平面。
在又一种示例中，在调整过程中，可以使用公式(12)对目标平面的初始法线向量N、双目相机的内参Ki以及第一特征点的初始三维点坐标Xj同时进行调整：
这样根据上述公式(12)，对Ki、P、Xj分别进行调整，直到上述公式(12)达到最小值为止，进而实现对由双目相机和目标场景组成的整个系统的调整，减小整个系统的误差，进一步提高了目标场景尺度的估计准确性。
在本实施例的一种可能的实现方式中，如图5所示，上述S202a具体可以包括：
S301、将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点。
具体的，从各第一特征点中，将距离该目标水平面预设范围内的第一特征点确定为第二特征点。其中，预设范围根据实际需要确定，例如可以为[-a，+b]，即将距离目标水平面在[-a，+b]内的第一特征点确定为第二特征点。
S302、对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和。
例如，可以使用根据公式(13)对各第一特征点的初始三维点坐标Xj进行调整：
其中，||N-G||2为重力约束，β为重力约束的约束权重，N为目标平面的法线向量，G为重力向量。
这样根据上述公式(13)，对第一特征点的三维坐标进行调整的过程中，可以只对第一特征点的三维坐标进行调整，保持双目相机的初始内参Ki、目标平面的初始法线向量N不变，也可以对双目相机的初始内参Ki和目标平面的初始法线向量N中的至少一个进行调节。
例如，可以根据公式(14)对双目相机的初始内参Ki、目标平面的初始法线向量N、和第一特征点的初始三维点坐标Xj同时进行调整：
即该步骤对Ki、N、Xj分别进行调整，直到上述公式(14)达到最小值为止，进而实现对由双目相机和目标场景组成的整个系统的调整，减小整个系统的误差，进一步提高了目标场景尺度的估计准确性。例如，在SLAM系统中，根据上述公式(14)可以实现对SLAM系统的整体尺度的调整，进而提高了SLAM系统的初始化准确性。
在本实施例的一种可能的实现方式中，在上述S202之后，还可以执行S2021。
S2021、根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在本实施例中，根据上述步骤对各第一特征点的三维坐标进行调整，由于第二特征点为距离目标平面较近的第一特征点，因此，在上述调整过程中，第二特征点的三维坐标也会进行调整。
在SLAM系统或其他的AR系统中，因为目标场景尺度估计，在初始化过程中执行一次，后续新增加的关键帧是不带双摄数据，也不包含尺度信息。所以为了保证整个系统的尺度一致性，避免后续新增加的参数矫正掉初始的尺度，因此需要对目标水平面进行固定，即将各第二特征点固定在目标水平面上。
具体的，将各第二特征点调整后的三维坐标带入目标水平面的平面坐标方程中，获得各第二特征点的固定三维坐标。例如，保持各第二特征点的x、y坐标不变，根据目标水平面的平面坐标方程，可以获得各第二特征点新的z坐标。
本发明实施例提供的场景尺度估计方法，通过对各第一特征点的初始三维坐标进行调整，直到各第一特征点的重投影误差之和与重力束相加最小，进而实现对第一特征点的初始三维坐标的准确调整，提高了目标场景尺度的估计准确性。同时，在上述调整过程中，还对双目相机的初始内参和/或目标水平面的初始重力向量进行调节，可以降低双目相机与目标场景组成的整个系统的误差。
图6为本发明实施例提供的AR控制方法的流程图，如图6所示，本实施例的方法可以包括：
S401、AR引擎获取SLAM系统的输出结果，所述输出结果包括采用场景尺度估计方法获得的场景的尺度。
S402、AR引擎根据所述场景的尺度在所述场景中绘制虚拟物体。
本实施例的执行主体为AR引擎，该AR引擎和SLAM系统均可以设置在同一个电子设备中，也可以单独设置在不同的电子设备中，AR引擎与SLAM系统之间可以通信。本实施例的SLAM系统可以执行上述实施例所述的场景尺度估计方法。
在本实施例中，SLAM系统执行上述基于双目相机的场景尺度估计步骤之后，输出场景的尺度。AR引擎获取SLAM系统输出的场景的尺度，并根据场景的尺度在场景中绘制虚拟物体，进而使得获得虚拟物体的尺度与场景的尺度一致。
例如，根据上述方法，SLAM系统获得客厅的尺度，AR引擎获取客厅的尺度，并根据获取到的客厅的尺度绘制虚拟客厅，此时绘制出的客厅尺度与实际客厅的尺度一致。接着，在该虚拟客厅中绘制桌子，此时桌子的尺度与客厅的尺度一致(例如，均是以mm为单位)，更加便于用户直观参照桌子与客厅的大小关系，以选择合适尺寸的桌子。
可选的，本实施例的SLAM系统还可以输出电子设备状态跟踪结果、基于场景生成的地图信息等。
本实施例提供的AR控制方法，AR引擎通过获取SLAM系统的输出的场景的尺度，并根据场景的尺度在该场景中绘制虚拟物体，进而提高了虚拟物体与场景的匹配性。
图7为本发明实施例一提供的场景尺度估计装置的结构示意图。如图7所示，本实施例的场景尺度估计装置10可以包括：
第一确定模块11，用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
第二确定模块12，用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
调整模块13，用于根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和；
第三确定模块14，用于根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
本发明实施例的场景尺度估计装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本实施例的一种可能的实现方式中，所述调整模块13，具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。
在本实施例的另一种可能的实现方式中，在所述调整模块13进行上述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始平面方程系数不变；
或者，
在所述调整模块13进行上述调整过程中对所述双目相机的初始内参与所述目标水平面的初始平面方程系数中的至少一个进行调节。
在本实施例的另一种可能的实现方式中，所述调整模块13，还具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述重力约束为所述目标平面的法线向量与重力向量之间的差值。
图8为本发明实施例二提供的场景尺度估计装置的结构示意图，在上述实施例的基础上，如图8所示，本实施例的场景尺度估计装置10还包括：
第四确定模块15，用于根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在本实施例的一种可能的实现方式中，上述第二确定模块12，还用于以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面。
在本实施例的另一种可能的实现方式中，上述第二确定模块12，具有用于以重力方向为法线方向，采用随机抽样一致性算法，将所述第一特征点分布最多的水平面作为所述目标水平面。
在本实施例的另一种可能的实现方式中，第一确定模块11，具体用于基于三角化原理以及所述第一特征点在所述第一图像和在所述第二图像上的投影，确定所述第一特征点的初始深度值；根据所述第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
本发明实施例的场景尺度估计装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本发明实施例一提供的场景尺度估计装置的结构示意图。如图9所示，本实施例的场景尺度估计装置20可以包括：
第一确定模块21，用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
调整模块22，用于根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述重力约束为目标水平面的法线向量与重力向量之间的差值；
第二确定模块23，用于根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
本发明实施例的场景尺度估计装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本实施例的一种可能的实现方式中，上述调整模块22，具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述重力约束相加最小。
在本实施例的另一种可能的实现方式中，在所述调整模块22进行上述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始法线向量不变；
或者，
在所述调整模块22进行上述调整过程中对所述双目相机的初始内参与所述目标水平面的初始法线向量中的至少一个进行调节。
本发明实施例的场景尺度估计装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明实施例二提供的场景尺度估计装置的结构示意图。如图10所示，本实施例的场景尺度估计装置20可以包括第三确定模块24，
所述第三确定模块24，用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
所述调整模块22，还具体用于对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和。
本发明实施例的场景尺度估计装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本发明实施例三提供的场景尺度估计装置的结构示意图，在上述实施例的基础上，如图11所示，本实施例的场景尺度估计装置还包括：
第四确定模块25，用于根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。
在本实施例的一种可能的实现方式中，所述第三确定模块24，还用于以重力方向为法线方向，将所述第一特征点分布最多的水平面作为所述目标水平面。
在本实施例的另一种可能的实现方式中，所述第三确定模块24，还具体用于以重力方向为法线方向，采用随机抽样一致性算法，将所述第一特征点分布最多的水平面作为所述目标水平面。
在本实施例的另一种可能的实现方式中，第一确定模块21，具体用于基于三角化原理以及所述第一特征点在所述第一图像和所述第二图像上的投影，确定所述第一特征点的初始深度值，并根据所述第一特征点的初始深度值，确定所述第一特征点的初始三维坐标。
本发明实施例的场景尺度估计装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图12为本发明实施例提供的AR引擎的结构示意图，如图12所示，本实施例的AR引擎30包括：
获取模块31，用于获取SLAM系统的输出结果，所述输出结果包括采用上述场景尺度估计方法获得的场景尺度；
绘制模块32，用于根据所述场景尺度在所述场景中绘制虚拟物体。
本发明实施例的AR引擎，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图13为本发明实施例提供的电子设备的结构示意图，如图13所示，本实施例的电子设备200包括：
双目相机210，用于对目标场景进行拍摄，获得所述目标场景的第一图像和第二图像；
存储器220，用于存储计算机程序；
处理器230，用于执行所述计算机程序，以实现上述场景尺度估计方法，其实现原理和技术效果类似，此处不再赘述。
图14为本发明实施例提供的AR控制系统的示意图，如图14所示，本实施例的AR控制系统40包括：通信连接的电子设备41、AR引擎30和SLAM系统42，所述电子设备41设有双目相机，所述AR引擎42为图12所示的AR引擎，所述SLAM系统42包括如图7至图11任一所述的场景尺度估计装置。
具体的，如图14所示，AR控制系统40中的电子设备41、SLAM系统42和AR引擎30之间通信连接，可以进行数据的传输。在实际使用时，电子设备41上的双目相机对目标场景进行拍照，获得第一图像和第二图像，接着将第一图像和第二图像发送给SLAM系统42。SLAM系统42中的场景尺度估计装置对第一图像和第二图像进行处理，估计出目标场景的尺度，其具体尺度估计过程参照上述实施例的描述，在此不再赘述。SLAM系统42将估计出的目标场景的尺度传输给AR引擎30，AR引擎30根据目标场景的尺度可以绘制目标场景，并且在绘制的目标场景中绘制虚拟物体，进而使得虚拟场景以及虚拟物体均与实际尺度一致。
可选的，本实施例的SLAM系统42还可以包括其他的模块，例如路径规划模块、地图生成模块等。其中地图生成模块可以根据基于场景尺度生成地图信息，路径规划模块可以在场景中生成机器人等的路径信息。
可选的，如图15所示，本实施例的SLAM系统42可以设置在电子设备41中，或者，如图16所示，本实施例的SLAM系统42和AR引擎30均设置在电子设备41中。
进一步的，当本发明实施例中场景尺度估计方法的至少一部分功能通过软件实现时，本发明实施例还提供一种计算机存储介质，计算机存储介质用于储存为上述对基于双目相机的场景尺度估计的计算机软件指令，当其在计算机上运行时，使得计算机可以执行上述方法实施例中各种可能的场景尺度估计方法。在计算机上加载和执行所述计算机执行指令时，可全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机指令可以存储在计算机存储介质中，或者从一个计算机存储介质向另一个计算机存储介质传输，所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种场景尺度估计方法，其特征在于，包括：
确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和；
根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，包括：
对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。
3.一种场景尺度估计方法，其特征在于，包括：
确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述重力约束为目标水平面的法线向量与重力向量之间的差值；
根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
4.一种增强现实AR控制方法，其特征在于，包括：
AR引擎获取实时定位与地图构建SLAM系统的输出结果，所述输出结果包括采用权利要求1-16任一所述的方法获得的场景的尺度；
所述AR引擎根据所述场景的尺度在所述场景中绘制虚拟物体。
5.一种场景尺度估计装置，其特征在于，包括：
第一确定模块，用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
第二确定模块，用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；
调整模块，用于根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和；
第三确定模块，用于根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
6.一种场景尺度估计装置，其特征在于，包括：
第一确定模块，用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；
调整模块，用于根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述重力约束为目标水平面的法线向量与重力向量之间的差值；
第二确定模块，用于根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。
7.一种增强现实AR引擎，其特征在于，包括：
获取模块，用于获取实时定位与地图构建SLAM系统的输出结果，所述输出结果包括采用权利要求1-3任一所述的方法获得的场景尺度；
绘制模块，用于根据所述场景尺度在所述场景中绘制虚拟物体。
8.一种电子设备，其特征在于，包括：
双目相机，用于对目标场景进行拍摄，获得所述目标场景的第一图像和第二图像；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1-16中任一项所述的场景尺度估计方法。
9.一种增强现实AR控制系统，其特征在于，包括：通信连接的电子设备、AR引擎和实时定位与地图构建SLAM系统，所述电子设备设有双目相机，所述AR引擎为如权利要求7所述的AR引擎，所述SLAM系统包括如权利要求5或6所述的场景尺度估计装置。
10.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-3中任一项所述的场景尺度估计方法，和/或实现如权利要求4所述的增强现实AR控制方法。
CN201810113142.7A 2018-02-05 2018-02-05 场景尺度估计及增强现实控制方法、装置和电子设备 Active CN110120098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810113142.7A CN110120098B (zh) 2018-02-05 2018-02-05 场景尺度估计及增强现实控制方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810113142.7A CN110120098B (zh) 2018-02-05 2018-02-05 场景尺度估计及增强现实控制方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN110120098A true CN110120098A (zh) 2019-08-13
CN110120098B CN110120098B (zh) 2023-10-13

Family

ID=67519809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810113142.7A Active CN110120098B (zh) 2018-02-05 2018-02-05 场景尺度估计及增强现实控制方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN110120098B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242908A (zh) * 2020-01-07 2020-06-05 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
CN111798485A (zh) * 2020-06-30 2020-10-20 武汉大学 一种利用imu增强的事件相机光流估计方法及系统
CN111951330A (zh) * 2020-08-27 2020-11-17 北京小马慧行科技有限公司 标注的更新方法、装置、存储介质、处理器以及运载工具
WO2021035703A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 跟踪方法和可移动平台
CN113240806A (zh) * 2021-05-13 2021-08-10 深圳市慧鲤科技有限公司 信息处理方法、装置、电子设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5036463A (en) * 1988-11-23 1991-07-30 University Of Florida Angioscopic system and method for dimensional measurement including measurement of the distance from angioscopic ends to designated planes
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US20150062120A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Method and apparatus for representing a physical scene
US20150213648A1 (en) * 2014-01-29 2015-07-30 Ricoh Co., Ltd Depth-Disparity Calibration of a Binocular Optical Augmented Reality System
US20150242700A1 (en) * 2013-12-26 2015-08-27 Huazhong University Of Science And Technology Method for estimating rotation axis and mass center of spatial target based on binocular optical flows
CN104915965A (zh) * 2014-03-14 2015-09-16 华为技术有限公司 一种摄像机跟踪方法及装置
US20160163107A1 (en) * 2014-12-09 2016-06-09 Industrial Technology Research Institute Augmented Reality Method and System, and User Mobile Device Applicable Thereto
CN106157367A (zh) * 2015-03-23 2016-11-23 联想(北京)有限公司 三维场景重建方法和设备
CN106296825A (zh) * 2016-07-27 2017-01-04 中国科学院半导体研究所 一种仿生三维信息生成系统及方法
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法
CN106846467A (zh) * 2017-01-23 2017-06-13 阿依瓦（北京）技术有限公司 基于每个相机位置优化的实体场景建模方法和系统
CN106920279A (zh) * 2017-03-07 2017-07-04 百度在线网络技术（北京）有限公司 三维地图构建方法和装置
CN107144241A (zh) * 2017-06-09 2017-09-08 大连理工大学 一种基于景深补偿的双目视觉高精度测量方法
US20170337700A1 (en) * 2016-05-23 2017-11-23 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5036463A (en) * 1988-11-23 1991-07-30 University Of Florida Angioscopic system and method for dimensional measurement including measurement of the distance from angioscopic ends to designated planes
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
CN101908231A (zh) * 2010-07-27 2010-12-08 清华大学 处理含有主平面场景的三维点云重建方法和系统
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US20150062120A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Method and apparatus for representing a physical scene
US20150242700A1 (en) * 2013-12-26 2015-08-27 Huazhong University Of Science And Technology Method for estimating rotation axis and mass center of spatial target based on binocular optical flows
US20150213648A1 (en) * 2014-01-29 2015-07-30 Ricoh Co., Ltd Depth-Disparity Calibration of a Binocular Optical Augmented Reality System
CN104915965A (zh) * 2014-03-14 2015-09-16 华为技术有限公司 一种摄像机跟踪方法及装置
US20160163107A1 (en) * 2014-12-09 2016-06-09 Industrial Technology Research Institute Augmented Reality Method and System, and User Mobile Device Applicable Thereto
CN106157367A (zh) * 2015-03-23 2016-11-23 联想(北京)有限公司 三维场景重建方法和设备
US20170337700A1 (en) * 2016-05-23 2017-11-23 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
CN106296825A (zh) * 2016-07-27 2017-01-04 中国科学院半导体研究所 一种仿生三维信息生成系统及方法
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法
CN106846467A (zh) * 2017-01-23 2017-06-13 阿依瓦（北京）技术有限公司 基于每个相机位置优化的实体场景建模方法和系统
CN106920279A (zh) * 2017-03-07 2017-07-04 百度在线网络技术（北京）有限公司 三维地图构建方法和装置
CN107144241A (zh) * 2017-06-09 2017-09-08 大连理工大学 一种基于景深补偿的双目视觉高精度测量方法
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035703A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 跟踪方法和可移动平台
CN111242908A (zh) * 2020-01-07 2020-06-05 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
WO2021139549A1 (zh) * 2020-01-07 2021-07-15 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
CN111242908B (zh) * 2020-01-07 2023-09-15 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
CN111798485A (zh) * 2020-06-30 2020-10-20 武汉大学 一种利用imu增强的事件相机光流估计方法及系统
CN111951330A (zh) * 2020-08-27 2020-11-17 北京小马慧行科技有限公司 标注的更新方法、装置、存储介质、处理器以及运载工具
CN113240806A (zh) * 2021-05-13 2021-08-10 深圳市慧鲤科技有限公司 信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110120098B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110120098A (zh) 场景尺度估计及增强现实控制方法、装置和电子设备
CN107747941B (zh) 一种双目视觉定位方法、装置及系统
Tanskanen et al. Live metric 3D reconstruction on mobile phones
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN108447097A (zh) 深度相机标定方法、装置、电子设备及存储介质
US8896660B2 (en) Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
Unal et al. Distant augmented reality: Bringing a new dimension to user experience using drones
US11380078B2 (en) 3-D reconstruction using augmented reality frameworks
CN110176032A (zh) 一种三维重建方法及装置
CN106846467A (zh) 基于每个相机位置优化的实体场景建模方法和系统
CN109461208A (zh) 三维地图处理方法、装置、介质和计算设备
CN106716497A (zh) 在表面重构中使用自由形式变形
US20220264251A1 (en) System for combining sensor data to determine a relative position
US9679413B2 (en) Systems and methods to transition between viewpoints in a three-dimensional environment
CN108537214A (zh) 一种室内语义地图的自动化构建方法
US20220036577A1 (en) Estimating camera pose
US8509522B2 (en) Camera translation using rotation from device
CN115349140A (zh) 基于多种特征类型的有效定位
Sartipi et al. Decentralized visual-inertial localization and mapping on mobile devices for augmented reality
CN112233149A (zh) 场景流的确定方法及装置、存储介质、电子装置
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN114758011B (zh) 融合离线标定结果的变焦相机在线标定方法
CN114913245B (zh) 一种基于无向有权图的多标定块多摄像头标定方法及系统
US9852542B1 (en) Methods and apparatus related to georeferenced pose of 3D models
CA3102860C (en) Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant