CN115601496A - Ar辅助三维地图尺度恢复的方法和系统 - Google Patents

Abstract

本申请涉及一种AR辅助三维模型尺度恢复的方法，其中，该方法包括：获取目标场景数据。对三维模型进行预处理之后，将其与图像在虚拟相机中叠加显示；根据用户通过AR编辑器输入的交互指令将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据第一转换矩阵确定图像在模型坐标系下的位置坐标；基于优化后的位置坐标和图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，第二转换矩阵中包含尺度缩放信息；基于尺度缩放信息将三维模型恢复至真实尺寸。通过本申请，解决了三维模型尺度恢复便捷性较差的问题，无需标定装置也不限制于应用场景，利用AR辅助用户即可通过交互操作实现三维模型的真实尺度恢复。

Description

AR辅助三维地图尺度恢复的方法和系统

技术领域

本申请涉及三维地图重建领域，特别是涉及一种利用AR辅助三维地图尺度恢复的方法和系统。

背景技术

三维重建是指对三维物体(或场景)建立适合计算机表示和处理的三维数学模型，是在计算机中建立表达客观世界的虚拟现实的关键技术。

三维模型重建过程中，恢复场景和物体的真实尺度是其中重要的一个步骤，在相关技术中，通过如下方式进行三维模型的尺度恢复：

1:通过在空间中放置特定尺寸的标定装置，在拍摄包含标定装置的图像之后，利用标定装置的已知尺寸恢复整个场景的尺度；

2:利用双目相机或多目相机同时拍摄，获取深度信息，进而利用该深度信息进行三维地图的尺度恢复；

3:利用尺子等测量工具，实际测量目标场景的真实尺寸，进而进行三维模型的尺度恢复；

4.利用能够发射接收GPS信号的多个传感器获取实际尺寸信息，进而进行三维地图的恢复；

5:通过设置在移动装置(如无人车)上的相机获取现场图像，由于相机在移动装置上的安装包高度已知，可以利用该高度信息进行三维地图的尺寸恢复。

但是，上述方式中仍然存在着各种问题：

方法1需要制作与目标场景匹配的标定装置，另外，在实际应用时，该标定装置也仅适合与其尺寸相匹配的场景，限制较多；

方法2则必须使用多个相机同时拍摄，且多个相机间的相对位姿需要被标定；

方法3仅适用于便于测量尺寸的场景(例如，高大的建筑)；

方法4和方法5则分别存在应用场景受限的问题。

目前，针对相关技术中三维模型真实尺度恢复方法便捷性较差的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种AR辅助三维模型尺度恢复的方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中三维模型尺度恢复方法应用便捷性较差的问题。

第一方面，本申请实施例提供了一种AR辅助三维模型尺度恢复的方法，所述方法包括：

获取目标场景数据，其中，所述目标场景数据包括：三维模型、图像和拍摄所述图像时的相机参数和位姿信息；

对所述三维模型进行预处理之后，将其与所述图像在虚拟相机中叠加显示，其中，所述虚拟相机基于所述相机参数构建；

根据用户通过AR编辑器输入的交互指令，将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据所述第一转换矩阵确定所述图像在模型坐标系下的位置坐标；

对所述位置坐标进行优化，基于优化后的位置坐标和所述图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，其中，所述第二转换矩阵中包含尺度缩放信息；

基于所述尺度缩放信息，将所述三维模型恢复至真实尺寸。

在其中一些实施例中，对所述三维模型进行预处理包括：

确定所述三维模型的重力轴方向，并旋转所述三维模型使其重力轴与三维坐标系的任意一个坐标轴重合；

构建所述三维模型的包围盒，并将所述三维模型的形状缩放至接近真实的尺寸。

在其中一些实施例中，将三维模型与图像对齐包括：

初始化设流程，包括：将所述三维模型的包围盒的上下边缘与所述虚拟相机的视野上下边缘对齐，以及，旋转所述三维模型，使其Z轴与图像坐标系的重力轴平行；

位置对齐流程，包括：通过所述虚拟相机，在前后深度方向及上下方向，移动所述三维模型，将其与所述图像进行位置对齐；

旋转对齐流程，包括：通过所述虚拟相机，将所述三维模型围绕所述重力轴旋转，使其与所述图像中的场景角度完全重合。

在其中一些实施例中，基于至少一组图像，在所述虚拟相机中将其与三维模型对齐，得到至少一组对齐结果。

在其中一些实施例中，对所述位置坐标进行优化，包括：

根据所述第一转换矩阵，计算所述三维模型中各个顶点在所述图像中的2D 投影坐标，以及确定所述2D投影坐标与各个顶点的关联信息；

基于所述关联信息对所述位置坐标进行优化，并判断所述优化之后的位置坐标的可靠性。

在其中一些实施例中，基于所述关联信息对所述位置坐标进行优化包括：

获取多组关联信息，以及从不同角度拍摄的所述目标场景的多组图像；

提取所述多组图像的特征点，并根据所述特征点进行图像间的匹配，得到多组图像之间的2D关联关系；

基于所述2D关联关系和所述位置坐标进行三角化处理，得到所述特征点的 3D位置；

基于所述3D位置和所述虚拟相机的参数，通过SFM算法优化所述图像的位姿和图像中的3D点，得到优化后的图像位置坐标。

在其中一些实施例中，判断所述优化之后的位置坐标的可靠性包括：

根据优化后的位置坐标，重新计算所述三维模型中各个顶点在当前图像中的2D投影坐标；

判断所述重新计算的2D投影坐标，与优化之前2D投影坐标的偏差是否大于预设偏差阈值，若是，输出优化结果不可靠响应；

若否，基于所述图像中对象的真实物理位置和所述位置坐标，确定世界坐标系和模型坐标系间的第二转换矩阵。

第二方面，本申请实施例提供了一种AR辅助三维模型尺度恢复的系统，所述系统包括：获取模块、预处理模块、对齐模块和重建恢复模块，其中，

所述获取模块用于，获取目标场景数据，其中，所述目标场景数据包括：三维模型、图像和拍摄所述图像时的相机参数和位姿信息；

所述预处理模块用于，对所述三维模型进行预处理之后，将其与所述图像在虚拟相机中叠加显示，其中，所述虚拟相机基于所述相机参数构建；

所述对齐模块用于，根据用户通过AR编辑器输入的交互指令，将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据所述第一转换矩阵确定所述图像在模型坐标系下的位置坐标；

所述重建恢复模块用于，对所述位置坐标进行优化，基于优化后的位置坐标和所述图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，其中，所述第二转换矩阵中包含尺度缩放信息，以及，基于所述尺度缩放信息，将所述三维模型恢复至真实尺寸。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

相比于相关技术，本申请实施例提供的AR辅助三维模型尺度恢复的方法，首先获取目标场景数据，其次，对经过预处理的三维模型，将其与图像在虚拟相机中叠加显示，通过虚拟相机进行对齐处理，将三维模型与图像中的场景角度完全重合，并记录模型坐标系与相机坐标系之间的第一转换矩阵，以及，根据第一转换矩阵确定图像在模型坐标系下的位置坐标；进一步的，基于该位置坐标和图像中各对象的真实物理位置，确定世界坐标系对模型坐标系的第二转换矩阵，进而基于第二转换矩阵中的尺度缩放信息，将三维模型恢复至真实尺寸。通过本申请，解决了三维模型真实尺度恢复便捷性较差的问题，无需标定装置也不限制于应用场景，用户通过一台终端设备，利用AR作为辅助，即可通过交互操作实现三维模型的真实尺度恢复。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本发明实施例的一种终端移动过程中的位姿示意图；

图2是根据本申请实施例的一种AR辅助三维模型尺度恢复的方法的应用环境示意图；

图3是根据本申请实施例的一种AR辅助三维模型尺度恢复的方法的流程图；

图4是根据本申请实施例的一种将三维模型的重力轴与Z轴重合的示意图；

图5是根据本申请实施例的一种将三维模型与真实图像叠加显示的示意图；

图6是根据本申请实施例的一种将模型在图像重力轴上旋转的示意图；

图7是根据本申请实施例的一种AR辅助三维模型尺度恢复的系统的结构框图；

图8根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

在本文中，需要理解的是，所涉及的术语可以是用于实现本发明一部分的技术手段或者其它总结性技术术语。例如，术语可以包括：

目标场景：指的是待尺度恢复的场景，可以但不限于是物体、房间、建筑物、室内空间、街区等各种类型的三维场景。

三维模型：物体(场景)的多边形表示，通常用计算机或者其它视频设备进行显示。本实施例中，三维模型可以是物体、线下建筑和线下场景的虚拟模型，通常表示为点云、矢量等。

真实尺度：指的是场景(或物体)在真实世界中的实际尺寸，本申请技术方案的目标在于：对已知无真实尺度的三维模型，根据一系列操作，得到具备真实尺寸的三维模型。

位置(position)：给定三维坐标系(笛卡尔坐标系)，目标在该坐标系中的位置，一般用(x，y，z)表示。

位姿(pose)：位置和姿态(朝向)，例如：在二维中一般是(x，y，yaw)，三维中一般是(x，y，z，yaw，pitch，roll)，后三个元素描述物体的姿态。图1是根据本发明实施例的一种终端移动过程中的位姿示意图。如图1所示，其中yaw 是航向角，绕Z轴旋转，pitch是俯仰角，绕Y轴旋转，roll是翻滚角，绕X轴旋转。

增强现实(Augmented Reality或AR)：透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。

AR编辑器：指本实施例中在AR相关模块中，为了完成相应操作而开发的一个软件，AR编辑器可独立开发或基于某些引擎进行开发，表现形式包括但不限于软件、网页、移动端应用等。

虚拟相机：指在AR编辑器中观察虚拟世界的窗口。例如，在unity中至少需要一个相机，也可使用多个相机来对世界不同视角的观察，对其添加脚本之后，可以对相机进行一些操作，比如旋转，平移等等。

本申请实施例提供的一种AR辅助三维模型尺度恢复的方法，可以应用在如图2所示的应用环境中，图2是根据本申请实施例的一种AR辅助三维模型尺度恢复的方法的应用环境示意图，如图2所示，用户通过终端拍摄目标场景(物体)的图像数据。进一步的，终端将上述真实图像叠加在虚拟三维模型上，用户通过操作AR编辑器，将图像与三维模型进行对齐。经对齐后，终端运行预设处理流程，得到图像中对象的世界坐标系与模型坐标系的转换矩阵，该转换矩阵可以反映尺度缩放信息，进而可以利用尺度缩放信息将三维模型恢复至真实尺度。

需要说明的是，本申请中，上述终端可以是智能手机、平板电脑和PC电脑等计算机设备，三维模型可以是物体、室内空间、建筑物和街区等三维模型，而拍摄图像的设备包括但不限于是是手机、相机和无人机等。

图3是根据本申请实施例的一种AR辅助三维模型尺度恢复的方法的流程图，如图3所示，该流程包括如下步骤：

S301，获取目标场景数据，其中，目标场景数据包括：三维模型、图像和拍摄图像时的相机参数和位姿信息；

可以但不限于通过智能手机、相机等终端设备获取上述数据。其中，相机参数可以由任意一个可以摄像的终端设备提供；图像和位姿信息，可以对于不同目标通过不同手段获取，例如：

物体类：

用户持手机围绕目标物体拍摄图像，拍摄过程中手机运行跟踪算法(VIO)，得到的每张图像将具备真实真实物理尺度下的位姿信息(6dof pose)；

大型建筑类：

1.手机在建筑物的不同角度拍摄图像，记录下手机的传感器信息，包括GPS，及朝向传感器，组合这些传感器信息，可得到手机的(6dof pose)；

2.无人机等附带GPS的设备拍摄时，拍摄的图像自带POS数据。还包括 GPS数据和IMU数据，即倾斜摄影测量中的外方位元素：(纬度、经度、高程、航向角(Phi)、俯仰角(Omega)及翻滚角(Kappa)；

进一步的，在获取目标场景数据时，同时可直接获得图像的真实物理位置信息，该真实物理位置也是本申请中的尺度信息源；但需说明的是，此处得到的真实物理位置信息通常是一个粗糙值。

可选的，在某些情况下，通过sfm(struct-from-motion)等手段获得场景的三维模型，再将该三维模型和这些粗糙的物理位置信息进行对应，从而为后续处理提供一个相对更好的初始值。

S302，对三维模型进行预处理之后，将其与图像在虚拟相机中叠加显示，其中，虚拟相机基于上述相机参数构建；

其中，预处理的目的在于将三维模型进行与真实环境的初步对齐，包括形状轮廓、长宽高比例上的对齐，以得到相对接近真实尺度的三维模型。

进一步的，上述AR编辑器是为了完成相应的AR编辑操作而开发的一个软件，通过该AR编辑器，可以读取并显示上述图像；以及，根据拍摄图像时的相机参数构建虚拟相机，在虚拟相机中摆放三维模型，并将真实的图形叠加显示在虚拟的三维模型上。用户可以通过AR编辑器，操作三维模型进行旋转和位置对齐。

需要说明的是，关于“虚拟相机”，在上述术语解释部分已经给出了其定义和作用，针对于不同引擎环境，虚拟相机的类型也可能不同，但是，其作用都是相同的。本实施例中对于如何根据相机参数构建虚拟相机则不再展开说明。

S303，根据用户通过AR编辑器输入的交互指令，将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据第一转换矩阵确定图像在模型坐标系下的位置坐标；

上述对齐处理的过程可以由用户在终端可视化界面上操作实现，用户可以通过触控等手段，自行将三维模型进行旋转，以及在深度和上下两个方向上进行自由移动，使图像与三维模型完全重合。

进一步的，上述相机坐标系即为虚拟相机的坐标系，其在对齐过程中保持不变，可从应用中直接获取；而模型坐标系，则可以根据对齐过程中累积的移动和旋转路径确定。

再进一步的，得到两个坐标系之间的第一转换矩阵之后，由于该第一转换矩阵反映相机坐标系下图像与三维模型之间坐标点的转换关系，因此，可以根据该转换矩阵，得到图像对应在模型坐标系上的位置坐标。

可选的，可以将三维模型在图像位置处的轮廓投影标记在图像上，从而方便后续处理。

S304，对位置坐标进行优化，基于优化后的位置坐标和图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，其中，第二转换矩阵中包含尺度缩放信息；

对位置坐标优化可以基于SFM算法实现。进一步的，目前已知图像在模型坐标系下的位置，另外，步骤S201中已得到目标场景的真实物理尺度。

可以根据这两个参数进行三维相似变换(3D Similarity Transformation，similarity3,sim3)，进而通过求解ransac，得到真实世界坐标系相对于模型坐标系的第二转换矩阵，由于图像中的真实物理位置已知，且经对齐后图形对应在模型上的位置坐标也已知，因此，基于三维相似变换得到的第二转换矩阵可以反映真实世界与模型的尺度缩放信息。

需要说明的是，求解ransac就是使用多对匹配点来进行相似变换(similaritytransformation)的求解，进而解出两个坐标系之间的旋转矩阵、平移向量和尺度。对于通过ransac算法求解转换矩阵的具体实现步骤，以及所涉及的数学运算均为本领域的常规技术手段，故在本实施例中不再赘述。

S305，基于尺度缩放信息，将三维模型恢复至真实尺寸。

通过上述步骤S301至S305，相比较与现有三维模型的真实尺度恢复方法，本申请实施例中，创造性的利用AR辅助真实尺度的恢复，在虚拟三维模型上叠加显示真实场景图片，将两者对齐之后，运行预设的运算处理流程，得到模型坐标系与世界坐标系之间的转换矩阵，进而根据该转换矩阵恢复场景的真实物理尺寸。

通过本申请，用户可以通过手机等终端，在现场实时采集图像，并便捷自主地利用AR辅助进行对齐操作，从而实现模型的尺度恢复。本申请技术方案无需任何标定设备、也不受限于特殊的应用场景，极大的提升了三维模型真实尺度恢复的便捷性。另外，相比于基于标定装置或使用图像特征计算的方式，本申请方案也更少受限于图像中特征点分布的干扰，可用的对齐区域也更加均匀稳定，计算结果精度也更高。

在其中一些实施例中，将三维模型与图像对齐之前，为了减少用户对齐操作步骤、提升效率，可对三维模型进行预处理，具体的，包括如下步骤：

步骤1.确定目标场景的三维模型的重力轴方向，可选的方法包括：人工确定，通过算法自动确定；

步骤2.对模型进行旋转，使其重力轴与三维坐标系的任意一个坐标轴重合。可选的，本实施例中将重力轴旋转至与Z轴重合(当然，也可以是X或Y轴)，图4是根据本申请实施例的一种将三维模型的重力轴与Z轴重合的示意图；

步骤3.构建三维模型的包围盒，并将三维模型的形状缩放至接近真实的尺寸，其中，

构建模型包围盒可以通过手动框选或自动运算的方式实现。进一步的，不同类型的三维模型，形状对齐采用不同方式，具体的：

针对超大建筑物，可选的，在卫星地图上，将经过步骤2处理得到的建筑物模型的俯视图与卫星地图中的轮廓对齐，作为下一步输入的初值；

针对物体或房间级模型，可选的，根据直观估计，将模型缩放至与物体轮廓接近的真实尺寸，作为下一步输入的初值。

在其中一些实施例中，以步骤S301中获取的相机参数构建虚拟相机，并且在虚拟相机中将真实图像和虚拟模型叠加显示之后，用户将三维模型与图像对齐，具体包括：

初始化设流程，包括：

将三维模型包围盒的上下边缘与虚拟相机的视野上下边缘对齐，以及，旋转三维模型使其Z轴与图像坐标系的重力轴平行；

图5是根据本申请实施例的一种将三维模型与真实图像叠加显示的示意图，如图5所示，抽象化的示出图像与模型的叠加显示效果，进一步的，图像的重力轴与三维模型的Z轴以设置为平行，其中，点划线为三维模型的坐标轴，实线箭头表示图像的重力轴方向；

本实施例中，三维模型在初始状态下放置在虚拟相机的光心连线上，通过在光心连线上移动三维模型，使其上下边缘与虚拟相机的视野上下边缘对齐。

需要说明的是，采用上述方式相比较于直接对模型进行缩放的方式，当模型在光心连线上恰好移动至上下对齐之后，利用相机视野内近大远小的性质，可以直接根据虚拟相机的张角(FOV参数)，计算虚拟相机到模型的距离。

位置对齐流程，包括：

通过虚拟相机，在前后深度方向及上下方向移动三维模型，将其与图像进行位置对齐；

旋转对齐流程，包括：

通过虚拟相机，将三维模型围绕重力轴旋转，使其与图像中的场景角度完全重合，图6示出的是根据本申请实施例的一种将三维模型在图像重力轴上旋转的示意图。

需要说明的是，本实施例中，位置对齐和旋转对齐的前后顺序是严格限定的，通过上述设计，相比较于自由移动相机进行对齐，本实施例中实现逻辑更容易，且由于限制了操作灵活度，也更容易保证对齐质量。

最后，在对齐之后，记录模型坐标系与相机坐标系之间的第一转换矩阵，以及，根据第一转换矩阵确定图像在模型坐标系下的位置坐标。

需要说明的是，对于给定的目标场景，为提升对齐质量，应选择至少3-5 个均匀分布在空间中的图像，进行上述对齐操作，进而得到对应的对齐结果。理论上对齐的图片数量越多，后续尺度恢复效果也越好。

在其中一些实施例中，为了得到精确度更高的“位置坐标”，在根据转换矩阵确定图像在模型坐标系下的位置坐标之后，需对其进行优化；

可选的，基于SFM算法进行位置坐标优化，具体的：

首先，根据第一转换矩阵，计算三维模型中各个顶点(包括点云图中的每个点、或者模型中的面、片顶点以及矢量顶点)在图像中的2D投影坐标，以及确定2D投影坐标与各个顶点的多组关联信息。即一个2D投影坐标对应一个顶点，2D投影点和模型顶点之间的这种对应关系称为关联信息。

其次，基于多组关联信息对位置坐标进行优化，并判断优化之后的位置坐标的准确性。

其中，基于多组关联信息对位置坐标进行优化包括：

获取多组关联信息，以及不同角度拍摄的目标场景的多组图像，提取多组图像的特征点，并根据特征点进行图像间的匹配，得到多组图像之间的2D关联关系；

基于2D关联关系和上述位置坐标进行三角化处理，得到特征点在三维模型上的3D位置；

基于3D位置和虚拟相机的参数，通过SFM算法优化图像的位姿和图像中的3D点，得到优化后的图像位置坐标。

进一步的，判断优化之后的位置坐标的准确性包括：

根据优化后的位置坐标，重新计算三维模型中各个顶点在当前图像中的2D 投影坐标；

判断重新计算的2D投影坐标与优化之前的2D投影坐标的偏差，是否大于预设偏差阈值，若是，输出优化结果不可靠响应；

若否，认为该优化结果可靠，继续后续流程：基于图像中各个对象的真实物理位置和位置坐标，确定世界坐标系对模型坐标系的第二转换矩阵，以及根据第二转换矩阵进行真实尺度恢复；以及，将图像在模型坐标系下的位置，转换到新的模型坐标系下。

本实施例还提供了一种AR辅助三维模型尺度恢复的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。

图7是根据本申请实施例的一种AR辅助三维模型尺度恢复的系统的结构框图，该系统包括：获取模块70、预处理模块71、对齐模块72和重建恢复模块 73，其中，

获取模块70用于，获取目标场景数据，其中，目标场景数据包括：三维模型、图像和拍摄图像时的相机参数和位姿信息；

预处理模块71用于，对对三维模型进行预处理之后，将其与图像在虚拟相机中叠加显示，其中，虚拟相机基于相机参数构建；

对齐模块72用于，根据用户通过AR编辑器输入的交互指令，将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据第一转换矩阵确定图像在模型坐标系下的位置坐标；

重建恢复模块73用于，对位置坐标进行优化，基于优化后的位置坐标和图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，其中，第二转换矩阵中包含尺度缩放信息，以及，基于尺度缩放信息，将三维模型恢复至真实尺寸。

在一个实施例中，图8根据本申请实施例的电子设备的内部结构示意图，如图8示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种AR辅助三维模型尺度恢复的方法，数据库用于存储数据。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种AR辅助三维模型尺度恢复的方法，其特征在于，所述方法包括：

获取目标场景数据，其中，所述目标场景数据包括：三维模型、图像和拍摄所述图像时的相机参数和位姿信息；

对所述三维模型进行预处理之后，将其与所述图像在虚拟相机中叠加显示，其中，所述虚拟相机基于所述相机参数构建；

根据用户通过AR编辑器输入的交互指令，将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据所述第一转换矩阵确定所述图像在模型坐标系下的位置坐标；

对所述位置坐标进行优化，基于优化后的位置坐标和所述图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，其中，所述第二转换矩阵中包含尺度缩放信息；

基于所述尺度缩放信息，将所述三维模型恢复至真实尺寸。

2.根据权利要求1所述的方法，其特征在于，对所述三维模型进行预处理包括：

确定所述三维模型的重力轴方向，并旋转所述三维模型使其重力轴与三维坐标系的任意一个坐标轴重合；

构建所述三维模型的包围盒，并将所述三维模型的形状缩放至接近真实的尺寸。

3.根据权利要求1所述的方法，其特征在于，将三维模型与图像对齐包括：

初始化设流程，包括：将所述三维模型的包围盒的上下边缘与所述虚拟相机的视野上下边缘对齐，以及，旋转所述三维模型，使其Z轴与图像坐标系的重力轴平行；

位置对齐流程，包括：通过所述虚拟相机，在前后深度方向及上下方向，移动所述三维模型，将其与所述图像进行位置对齐；

旋转对齐流程，包括：通过所述虚拟相机，将所述三维模型围绕所述重力轴旋转，使其与所述图像中的场景角度完全重合。

4.根据权利要求3所述的方法，其特征在于：基于至少一组图像，在所述虚拟相机中将其与三维模型对齐，得到至少一组对齐结果。

5.根据权利要求1所述的方法，其特征在于，对所述位置坐标进行优化，包括：

根据所述第一转换矩阵，计算所述三维模型中各个顶点在所述图像中的2D投影坐标，以及确定所述2D投影坐标与各个顶点的关联信息；

基于所述关联信息对所述位置坐标进行优化，并判断所述优化之后的位置坐标的可靠性。

6.根据权利要求5所述的方法，其特征在于，基于所述关联信息对所述位置坐标进行优化包括：

获取多组关联信息，以及从不同角度拍摄的所述目标场景的多组图像；

提取所述多组图像的特征点，并根据所述特征点进行图像间的匹配，得到多组图像之间的2D关联关系；

基于所述2D关联关系和所述位置坐标进行三角化处理，得到所述特征点的3D位置；

基于所述3D位置和所述虚拟相机的参数，通过SFM算法优化所述图像的位姿和图像中的3D点，得到优化后的图像位置坐标。

7.根据权利要求6所述的方法，其特征在于，判断所述优化之后的位置坐标的可靠性包括：

根据优化后的位置坐标，重新计算所述三维模型中各个顶点在当前图像中的2D投影坐标；

判断所述重新计算的2D投影坐标，与优化之前2D投影坐标的偏差是否大于预设偏差阈值，若是，输出优化结果不可靠响应；

若否，基于所述图像中对象的真实物理位置和所述位置坐标，确定世界坐标系和模型坐标系间的第二转换矩阵。

8.一种AR辅助三维模型尺度恢复的系统，其特征在于，所述系统包括：获取模块、预处理模块、对齐模块和重建恢复模块，其中，

所述获取模块用于，获取目标场景数据，其中，所述目标场景数据包括：三维模型、图像和拍摄所述图像时的相机参数和位姿信息；

所述预处理模块用于，对所述三维模型进行预处理之后，将其与所述图像在虚拟相机中叠加显示，其中，所述虚拟相机基于所述相机参数构建；

所述对齐模块用于，根据用户通过AR编辑器输入的交互指令，将三维模型与图像对齐，并记录模型坐标系与相机坐标系间的第一转换矩阵，以及，根据所述第一转换矩阵确定所述图像在模型坐标系下的位置坐标；

所述重建恢复模块用于，对所述位置坐标进行优化，基于优化后的位置坐标和所述图像中对象的真实物理位置，确定世界坐标系和模型坐标系间的第二转换矩阵，其中，所述第二转换矩阵中包含尺度缩放信息，以及，

基于所述尺度缩放信息，将所述三维模型恢复至真实尺寸。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

Images