CN112270736B - 增强现实处理方法及装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备，涉及增强现实技术领域。该增强现实处理方法包括：获取目标对象视频流中的目标对象图像；根据所述目标对象图像，构建所述目标对象对应的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型；对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示；从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令对所述待编辑对象进行控制操作。本公开能够准确建模并进行对象编辑。

Description

增强现实处理方法及装置、存储介质和电子设备

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备。

背景技术

增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界融合的技术。近年来，增强现实技术的应用已延伸至各个领域，例如房屋领域等。

相关技术中，在进行建模时，需要使用识别算法来进行统计分析或者是通过人工输入数据来建模，因此建模步骤复杂，建模的效率较低且可能由于误操作导致生成的模型的准确性较低。

发明内容

本公开提供一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的增强现实处理过程建模不准确以及难以编辑部分对象的问题。

根据本公开的一个方面，提供了一种增强现实处理方法，包括：获取目标对象视频流中的目标对象图像；根据所述目标对象图像，构建所述目标对象对应的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型；对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示；从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令对所述待编辑对象进行控制操作。

根据本公开的一个方面，提供一种增强现实处理装置，包括：图像获取模块，用于获取目标对象视频流中的目标对象图像；模型构建模块，用于用于根据所述目标对象图像，构建所述目标对象对应的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型；模型渲染模块，用于对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示；对象编辑模块，用于从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令对所述待编辑对象进行控制操作。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任意一项所述的增强现实处理方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如上述任意一项所述的增强现实处理方法。

在本公开的一些实施例所提供的技术方案中，一方面，可以根据真实环境下的目标对象图像来构建目标对象的三维模型，由于直接根据拍摄的目标对象图像即可构建目标对象的整体三维模型，还可以构建其中包含的多个局部对象的局部三维模型，避免了可能造成的误操作或者是误识别等问题，能够提高生成的模型的准确性和模型生成效率。另一方面，在构建的目标对象的三维模型的基础上，可以直接基于该三维模型对选择的待编辑对象执行操作指令对应的控制操作，在该过程中，不需要每次编辑过程均重新建模，能够及时对待编辑对象进行控制操作，减少了操作步骤，提高了对待编辑对象进行控制操作的效率，增加了便捷性，更容易实现。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的增强现实处理方法或增强现实处理装置的示例性系统架构的示意图。

图2示意性示出了根据本公开的示例性实施方式的增强现实处理方法的流程图。

图3示意性示出了根据本公开的示例性实施方式的构建三维模型的流程示意图。

图4示出了根据本公开的示例性实施方式的构建稀疏点云模型的示意图。

图5示出了根据本公开的稀疏点云的示意图。

图6示意性示出了根据本公开的构建待处理物体的三维物体模型的方法流程图。

图7示意性示出了根据本公开的构建真实对象的三维模型的流程图。

图8示意性示出了根据本公开的展示渲染视频流的示意图。

图9示意性示出了根据本公开增强现实处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”、“第四”等仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的增强现实处理方法或增强现实处理装置的示例性系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102中的一个或多个，网络103和云端104。网络103用以在终端设备101、102和云端104之间提供通信链路的介质。终端设备101、102可以是具有显示屏的各种电子设备，可以包括手机、平板电脑、智能手表、AR眼镜、AR头盔等，本公开对设备的类型不做限制。设备是虚拟对象的显示端，用于呈现视觉上虚拟对象与真实场景的融合，用户可以通过设备的显示屏看到融合至真实场景的虚拟对象。云端104可以是各种类型的服务器，通常通过无线通信的方式与设备建立通信连接。除此之外，云端也可以为能够用于建模以及图像处理等操作的设备，在这种情况下，一个设备进行图像采集以及同步显示，另一个设备可以实现云端的功能，根据采集的图像进行建模和对模型进行编辑。本公开实施例中以云端为服务器为例进行说明。

在实现过程中，用户可以控制终端设备101、102进行全屋图像采集，以供云端104根据采集的图像进行后续处理。在执行本公开一个示例性实施方式的增强现实处理过程中，首先，云端104可以获取设备采集的目标对象图像。接下来，云端104可以利用目标对象图像对目标对象整体和局部对象分别进行三维建模，得到对应的模型。随后，云端104可以对模型进行渲染得到渲染视频流，并将渲染视频流展示在目标图像视频流，以发送至设备进行显示。进一步地，用户可以点击设备上的某一个区域，选择一个待编辑对象并将确定的该待编辑对象发送至云端。云端可以获取该待编辑对象的三维模型，基于该待编辑对象的三维模型对其执行操作指令对应的控制操作，以实现实时编辑功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

图2示意性示出了本公开一种示例性实施方式的增强现实处理方法的流程图，该增强显示处理方法的各个步骤可以由云端实现。参考图2，该增强现实处理方法可以包括以下步骤：

在步骤S210中，获取目标对象视频流中的目标对象图像。

本公开实施例中，目标对象中可以包括多个局部对象，因此目标对象可以用来表示整体对象以及局部对象。整体对象和局部对象可以作为一个整体存在，也可以分别存在，此处不做具体限定。目标对象可以为真实环境下任何可以编辑的物体或者是对象，真实环境指的是现实场景。例如建筑物或者是其他类型的物体等等，此处以目标对象为房屋为例进行说明。目标对象图像指的是用户通过图像采集设备获取的目标对象的图像。具体而言，可以通过图像采集设备获取目标对象视频流，进而将目标对象视频流中的每一帧图像作为目标对象图像。此处的目标对象图像为整体的房屋图像，具体包括房屋以及房屋中的所有局部对象所共同组成的实景房屋图像。图像采集设备可以为Kinect相机、全景相机或者手机终端等等，此处以全景相机为例进行说明。

图像采集过程可以包括：用户手持相机设备进入房屋，开启相机设备的视频流采集接口，在房屋内部按照预设轨迹采集房屋下的所有图像，同时保证房屋内部所有角落和家具均得到正确采集。其中，预设轨迹指的是规定好的采集轨迹，例如可以为围绕墙壁进行采集等等。在采集到目标对象的目标对象图像之后，可以对目标对象图像进行保存，并将其上传至建图流程以便于构建三维模型。通过按照预设轨迹进行图像采集，能够提高图像的完整性，避免遗漏部分结构。

在图像采集过程中，还可以获取设备移动轨迹，并且可以获取采集图像时相机设备的位置信息和旋转信息，以便于根据相机设备的位置信息和旋转信息确定目标对象图像的位姿信息。

在步骤S220中，根据所述目标对象图像，构建所述目标对象对应的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型。

本公开实施例中，可以根据SFM(Structure From Motion，运动结构恢复)算法来构建稀疏点云模型，进而根据稀疏点云模型来构建目标对象的三维模型。此处的稀疏点云模型是根据整体目标对象图像而构建的。SFM是从一系列包含视觉运动信息的多幅二维图像序列中估计三维结构的技术。具体可以基于相机图像的移动来确定目标的空间和几何关系，从而构建出图像的三维模型。

由于目标对象中包含两个及以上局部对象，因此可以分别为每个局部对象构建各自对应的三维模型。具体而言，由于目标对象代表整体对象和局部对象，因此可以按照图3中所示的步骤进行模型建立。参考图3中所示，主要包括两个部分：

在步骤S310中，构建目标对象对应的三维模型。其中，可以根据目标房屋以及目标房屋中包含的多个局部对象来构建整体的三维模型。

在步骤S320中，构建局部对象对应的三维模型。其中，可以根据目标房屋中包含的每个局部对象来构建各自对应的三维模型。例如，根据桌子构建桌子模型，根据椅子构建椅子模型等等。

图4中示意性示出了构建目标对象的稀疏点云模型的流程图，参考图4中所示，主要包括以下步骤：

在步骤S410中，获取每张目标对象图像的特征点及其描述符。

本步骤中，特征点可以为SIFT(Scale-invariant feature transform，尺度不变特征转换)特征点。SIFT特征点及其描述符具有尺度和旋转不变性，鲁棒性较强，适合用来提取尺度变换和旋转角度的各类图像的特征点信息。特征点包括每个点在目标对象图像中的2D坐标。描述符是从特征点周围的像素得到的特征向量，用来描述特征点。提取描述符的具体步骤可以包括：构建尺度空间，检测极值点；极值点的过滤；生成特征描述子等步骤。

在步骤S420中，根据所述每张目标对象图像的所述描述符对所有目标对象图像进行两两匹配，确定所有目标对象图像之间的相似度，并根据所述相似度确定匹配对关系。

本步骤中，每张目标对象图像均可以包括多个描述符。在得到每个目标对象图像的SIFT特征点及其描述符之后，可以基于该描述符来对所有目标对象图像中的每两个目标对象图像进行匹配。具体地，进行匹配的每两个目标对象图像形成一个图像对。对每一个图像对，均可以根据每一张目标对象图像的每一个特征描述符找到与该目标对象图像对最近邻的特征向量。具体而言，对每个目标对象图像提取特征，所提取的特征是一个像素点以及描述符表示，特征之间的相似度是根据描述符确定的。若描述符之间的距离较小，则表示这两个特征是相似的，具体可以参考公式(1)所示：

f_nn＝argmin||f_d-f'_d||₂,f'∈F(I) 公式(1)

其中，f_nn表示特征向量之间的距离，F(I)表示目标对象图像I上的SIFT特征点。

特征向量之间的距离与相似度负相关。例如，距离越小，说明特征之间的相似度越高，则图像对包括的两个目标对象图像之间的相似度越高。通过上述公式(1)，能够准确地确定每两个目标对象图像之间的相似度。在确定目标对象图像之间的相似度后，可以将相似的特征作为匹配对关系，并且可以使用一个列表来记录相似图像上相似特征点之间的集合，进而把多个目标对象图像中都出现的共同特征匹配点连接起来。此处的列表可以为轨迹列表，即Track列表。通过列表可以记录所有特征出现在任意一个目标对象图像中的位置。

举例而言，对于图像1和图像2、图像3，取每一个图像的每一个特征，按照公式(1)确定每个图像的每个特征与其他图像的每个特征之间的相似度。例如确定出图像1上的特征A和图像2上的特征B有相似性。进而，可以将相似性通过一个列表记录，得到图像1的特征A对应的点在图像2上的位置，建立一个轨迹联系在一起。

在步骤S430中，基于一致性信息对匹配对关系进行约束，以得到更新后的匹配对关系。

本步骤中，一致性信息指的是匹配对之间的一致性，用于表示匹配对中两个目标对象图像保持一致的程度。具体而言，可以使用RANSAC(RANdom SAmple Consensus，随机抽样一致)方法对获得的匹配对进行约束，具体删除一致性较差的匹配对，保留一致性较好的匹配对，以得到更新后的匹配对关系，并更新匹配对的Track列表。随机抽样一致方法可以从一组包含局外点的观测数据集中，通过迭代方式估计数学模型的参数。它有一定的概率得出一个合理的结果，为了提高概率必须提高迭代次数。一致性信息可以用一致性阈值来评价，例如当一致性信息大于等于一致性阈值时，可以认为一致性较好，并将其保留；当一致性信息小于一致性阈值时，可以认为一致性较差，并将其删除。

在步骤S440中，根据所述目标对象图像的位姿信息以及所述更新后的匹配对关系，计算每张目标对象图像在世界坐标系下的三维点坐标。

本步骤中，可以利用目标对象图像的位姿信息和一致性较好的更新后的匹配对关系，计算出每个目标对象图像在世界坐标系下的三维点坐标。世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。具体而言，可以通过三角化算法进行计算。例如，利用同一个特征点在不同两帧下的投影坐标，以将目标对象图像上的像素坐标转换为空间上的三维坐标。在此基础上，可以迭代计算，以得到所有目标对象图像在世界坐标下的三维点坐标。

在步骤S450中，根据所述三维点坐标的投影点的重建误差，构建所述目标对象的所述稀疏点云模型。

本步骤中，可以使用非线性优化过程，使得计算出来的三位点坐标的重建误差最小，从而基于最小的重建误差来构建目标对象的稀疏点云模型。非线性优化过程可以为BA(Bundle Adjustment，光束平差法)。其中，光束平差法指的是通过投影方程，将每一个恢复出来的三维点坐标重新投影到设备平面，此处的设备平面指的是相机的2D相机平面上。进一步地，可以通过不断调整设备的位姿信息，直至三维点坐标在设备平面的投影点的重建误差最小为止，从而构建目标对象的稀疏点云模型。设备的位姿信息指的是调整相机的位置和角度等等。重建误差具体可以用重投影误差来表示。重投影误差指的是像素坐标(观测到的投影点的投影位置)与3D点(三维点坐标)按照当前估计的相机位姿进行投影得到的位置相比较得到的误差。重投影误差具体可以通过公式(2)进行计算：

其中，q_ij为目标对象图像上原2D点坐标，P(C_i,X_i)为该三维点坐标投影至相机平面下的2D坐标，ω_ij表示的是权重。权重与特征的置信度正相关，特征跟踪的图像越多，则置信度越高，权重越大。

在上述方式中，将光束平差法过程迭代进行，直到重投影误差达到最小值为止，即可完成基于运动结构恢复的3D点云模型构建过程，即目标对象的稀疏点云模型的构建过程。通过图4中的技术方案，构建出的稀疏点云模型可以参考图5中所示。

在得到目标对象的稀疏点云模型之后，可以在稀疏点云模型的基础上构建目标对象的三维模型。三维模型指的是为目标对象构建的最终的模型。

图6中示意性示出了构建目标对象的三维模型的流程示意图，参考图6中所示，主要包括以下步骤：

在步骤S610中，对所述稀疏点云模型中的稀疏点云进行临近区域插值和生长，获得所述目标对象的稠密点云模型；

在步骤S620中，将所述目标对象的稠密点云模型中的稠密点云转换为三维物体网格模型，并将所述目标对象的稠密点云的属性信息输入所述三维物体网格模型，以构建所述目标对象的三维模型。

本公开实施例中，临近区域插值指的是用于在稀疏点云中增加新的点的过程。由于稀疏点云数量较少，不够全面，且存在很多空白区域。因此通过区域生长方式，在点与点之间的空间间隙里面随机增加点，进而通过PMVS(the patch-based MVS algorithm，基于面片的三维多视角立体视觉算法)确定增加的点放在该位置是否可行。如果不可行，则删除增加的点并重新确定位置。通过对稀疏点云进行临近区域插值和生长，可以得到目标对象的稠密点云模型，从而增加点云的数量，提高可靠性。

进一步地，可以通过meshlab软件将稠密点云模型中的稠密点云转换为三维物体网格模型，三维物体网格模型指的是Mesh模型。属性信息可以包括目标对象的稠密点云的颜色信息和贴图信息等等，贴图信息例如可以为纹理贴图或者是其它贴图。基于此，可以将稠密点云的颜色信息和贴图信息赋值给生成的三维物体网格模型，以确定三维物体网格模型的具体参数，从而根据赋值后的三维物体网格模型构建目标对象的三维模型。

图6中的技术方案，能够通过将稀疏点云建立稠密点云模型，进而对稠密点云进行转换得到与目标对象对应的三维物体网格模型，能够提高三维物体网格模型的准确性。

局部对象可以为目标对象内的属性元素，具体可以为目标对象内设置的其他类型的物体。例如，当目标对象为待处理房屋时，局部对象可以为待处理房屋内的家具等等。在一个目标对象内，其包含的局部对象的数量可以为多个，且多个局部对象可以为相同类型或者是不同类型的对象。由于目标对象内包含多个局部对象，因此可以根据稀疏点云模型构建目标对象中包含的所有局部对象的三维模型。需要说明的是，一个类型的局部对象可以对应一个三维模型，且不同类型的局部对象对应的三维模型均不同。

图7中示意性示出了构建局部对象的三维模型的流程图，参考图7中所示，主要包括以下步骤：

在步骤S710中，在根据目标对象图像生成的所述稀疏点云模型下，确定所述目标对象中每个局部对象的三维框，以对每个局部对象的三维点云范围进行标记；

在步骤S720中，对已标记的局部对象的稀疏点云进行临近区域插值和生长，获得每个已标记的局部对象的稠密点云模型；

在步骤S730中，将所述每个已标记的局部对象的稠密点云模型中的稠密点云转换为三维对象网格模型，并将稠密点云的属性信息输入至所述三维对象网格模型，以构建每个已标记的局部对象的三维模型。

本公开实施例中，在确定稀疏点云模型后，可以在整体的稀疏点云模型下，对每个局部对象的三维点云范围进行标记。三维点云范围用于描述每个局部对象在目标对象内的位置和范围，从而确定各局部对象在目标对象图像上的位置和大小。具体地，三维点云范围可以三维框来表示。三维框可以表示为M∈{(x,y,z),(H,W,C)}。其中，(x,y,z)表示局部对象的三维点云的中心坐标，(H,W,C)分别表示包围局部对象的三维点云的三维框的边界长度。在确定出每个局部对象的三维框之后，可以将这些包络局部对象的三维点云的三维框M保存至模型文件中，以便于后续使用。

已确定三维框的局部对象即为已标记的局部对象。基于此，可以对已标记的局部对象的稀疏点云进行临近区域插值和生长，获得每个已标记的局部对象的稠密点云模型。进一步地，将每个已标记的局部对象的稠密点云转换为对应的三维对象网格模型，并将已标记的局部对象的稠密点云的属性信息赋值给三维对象网格模型得到三维对象网格模型的权重参数，以根据权重参数来构建每个已标记的局部对象的三维模型。已标记的局部对象的稠密点云的属性信息可以为局部对象的颜色信息以及贴图信息等等。通过确定局部对象的三维模型，为家具编辑步骤提供素材和编辑手段。

图7中的技术方案，能够通过对局部对象的三维点云范围进行标记，进而对已标记的局部对象的稠密点云进行转换得到与已标记的局部对象对应的三维对象网格模型，能够提高三维对象网格模型的准确性，从而提高局部对象的三维模型的准确性。

本公开实施例中，可以根据真实环境下目标对象对应的目标对象图像来构建目标对象的三维模型以及局部对象的三维模型，由于直接根据拍摄的目标对象图像即可构建目标对象的整体三维模型，还可以构建其中包含的局部对象的局部三维模型，并且可以为目标对象包含的每一个对象建立一个三维模型，避免了可能造成的误操作或者是误识别等问题，能够提高生成的模型的准确性和模型生成效率。

在步骤S230中，对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示。

本公开实施例中，可以根据光照参数和纹理参数分别对目标对象的三维模型进行渲染，得到渲染视频流。光照参数指的是光照角度，纹理参数指的是材料纹理等。具体地，可以将目标对象的三维模型，以及设备移动轨迹载入至Unity3D中进行颜色、纹理渲染得到渲染视频流。渲染视频流可以为三维模型和三维模型共同组成的模型所形成的渲染图像，也可以为整体对象的三维模型对应的渲染图像以及局部对象的三维模型对应的渲染图像，此处以共同组成的模型的渲染图像为例进行说明。

进一步地，还可以将渲染视频流映射到设备移动轨迹上形成2D图像视频流，该渲染视频流例如可以为用户所在的当前位置的图像视频流。具体可以将当前位置能看到的区域的渲染模型投影至设备平面并映射到设备移动轨迹，从而得到渲染视频流。在此基础上，还可以将各个局部对象的三维框映射至渲染视频流，以便于根据三维框对各个局部对象进行定位跟踪。

具体而言，首先可以获取设备的当前位置，例如获取用户所持设备的方位为(x,y)，角度为(θ_x,θ_y)，并将该当前位置上传至Unity3D中设置为设备位置。进一步地，Unity3D可以根据设置的设备位置，将当前位置对应的三维模型进行渲染并投影至设备平面上，获得渲染视频流在当前位置所能看到的区域的平面渲染图，并将平面渲染图下载至用户所使用的设备上，以便于用户进行查看。由于用户的位置是时刻发生变化的，因此当前时刻的位置所对应的平面渲染图即为渲染视频流。

同时，将各个局部对象三维框也映射至当前位置的每帧图像视频流上，即映射在渲染视频流上。由于用户移动位置改变，用户能看到的图像是变化的。通过将局部对象的三维框映射至渲染视频流，相比于跟踪真实的局部对象而言，更容易跟踪。

在用户修改自身位置时，可以迭代上述渲染和映射步骤，以更新渲染视频流。在确定渲染视频流之后，云端可以将渲染视频流发送至设备，以进行展示和其他操作。参考图8中所示，用户当前位置及朝向为A，下一时刻用户可以移动至下一位置B，其位置和朝向都发生了变化，因此展示在设备上的房间内的建模效果所形成的渲染视频流也随着用户位置的改变而不同。从而实现通过手机、AR眼镜等来实时查看实景房屋的建模效果的过程。

在步骤S240中，从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令对所述待编辑对象进行控制操作。

本公开实施例中，在设备上显示渲染视频流时，可以通过用户操作来选择一个待编辑对象。具体而言，首先可以从渲染视频流中选择一个渲染图像作为目标图像，接下来可以根据作用在目标图像上的用户操作来确定目标对象中的一个对象来作为待编辑对象。用户操作可以为用于选择一个局部对象的操作，用户操作可以为用于选择整体对象的操作。用户操作例如可以为用户在渲染视频流上的点击操作、语音指令或者是其他类型的操作等等。

首先，可以确定用户操作的位置，并根据用户操作的位置来确定选择的渲染图像中待编辑对象的位置。例如，在某一渲染图像中，用户操作位置为C，对应的待编辑对象为沙发，并且可以确定沙发的位置。

进一步地，获取该待编辑对象的三维框，并索引待编辑对象对应的三维模型。具体地，可以将待编辑对象的二维位置映射到所述待编辑对象对应的三维模型中查询其对应的三维框，及其对应的三维模型。

在查询出待编辑对象的三维模型后，可以判断是否接收到操作指令。若接收到操作指令，并在操作指令针对于局部对象时，判断操作指令是否存在空缺位置。此处的存在空缺位置指的是因为操作指令而引起的背景空缺。进而可以根据操作指令是否存在空缺位置执行对应的操作。如果操作指令针对于整体对象，则直接执行操作指令对应的控制操作即可。

存在空缺位置的操作指令可以包括但不限于删除、移动、旋转、缩放操作。不存在空缺位置的操作指令可以包括但不限于添加、整体对象修改、局部对象修改。

若判断所述操作指令不存在空缺位置，则对所述待编辑对象的三维模型进行所述操作指令对应的控制操作。例如，若操作指令为添加操作。用户选择需添加的家具和目标位置，在三维模型中将该家具模型添加至对应位置，并设置一定的地面法向约束(防止家具不在地面上)。保存修改则直接更新在用户相机平面上。若用户需对家具纹理或装饰进行修改，则需要将样式载入到三维模型中重新进行渲染。完成渲染步骤后，将家具模型重新投影至用户的相机平面上。若用户需对实景房屋的模型进行修改，则需重新执行三维模型的渲染操作。完成渲染步骤后，将三维模型重新投影至用户的图像平面上。

若判断所述操作指令存在空缺位置，则对所述待编辑对象的三维模型进行所述操作指令对应的控制操作，并对所述空缺位置对应的背景模型进行补充。具体地，可以删除所有局部对象点云，仅使用背景点云进行建模，获得背景模型。该背景模型为编辑家具过程中提供背景，防止移动、删除家具出现空洞问题。构建背景模型的过程可以包括：在所述目标对象的稀疏点云中删除所有局部对象的稀疏点云，得到背景点云；对每个背景点云进行临近区域插值和生长，获得背景稠密点云模型；将所述背景稠密点云模型中的背景稠密点云转换为三维背景网格模型，并将背景稠密点云的属性信息输入三维背景网格模型，以构建三维背景模型。

基于此，若操作指令为删除操作，则在目标对象的三维模型中直接删除该待编辑对象对应的三维模型，并将该空缺位置对应的背景模型进行补充。更新目标对象模型，渲染至用户的相机平面上。若操作指令为移动、旋转、缩放操作，则在三维模型中按照相同尺度大小对待编辑对象的三维模型模块进行移动、旋转或缩放。保存修改则直接更新在用户相机平面上进行观察。

本公开实施例中，在构建的局部对象的三维模型的基础上，可以直接基于该三维模型对待编辑对象执行操作指令对应的控制操作，在该过程中，不需要每次编辑过程均重新建模，能够及时对待编辑对象进行控制操作，减少了操作步骤，提高了对待编辑对象进行控制操作的效率，增加了便捷性，更容易实现。整套流程仅需要使用一次SFM建模过程，无需反复执行建模操作。同时，3D模型中的家具位置和模型均进行了标记和分区处理，方便操作人员进行快速定位编辑，可实时为用户呈现渲染视频流，能够为用户带来实时互动和动态编辑对象的功能体验，真实感更强。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种应用于云端的增强现实处理装置。参考图9中所示，增强现实处理装置900主要包括以下模块：

图像获取模块901，用于获取目标对象视频流中的目标对象图像；

模型构建模块902，用于根据所述目标对象图像，构建所述目标对象对应的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型；

模型渲染模块903，用于对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示；

对象编辑模块904，用于从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令对所述待编辑对象进行控制操作。

在本公开的一种示例性实施例中，模型构建模块包括：三维模型构建模块，用于根据所述目标对象图像构建所述目标对象的稀疏点云模型，并根据所述稀疏点云模型构建所述目标对象的所述三维模型。

在本公开的一种示例性实施例中，三维模型构建模块包括：特征获取模块，用于获取每张目标对象图像的特征点及其描述符；匹配模块，用于根据所述每张目标对象图像的所述描述符对所有目标对象图像进行两两匹配，确定所有目标对象图像之间的相似度，并根据所述相似度确定匹配对关系；约束模块，用于基于一致性信息对所述匹配对关系进行约束，以得到更新后的匹配对关系；三维点坐标计算模块，用于根据所述目标对象图像之间的位姿信息以及所述更新后的匹配对关系，计算每张目标对象图像在世界坐标系下的三维点坐标；稀疏点云模型构建模块，用于根据所述三维点坐标的投影点的重建误差，构建所述目标对象的所述稀疏点云模型。

在本公开的一种示例性实施例中，稀疏点云模型构建模块包括：投影模块，用于将所述三维点坐标重新投影到设备平面上；投影误差调整模块，用于调整所述设备的位姿信息，直至所述三维点坐标在设备平面的投影点的重投影误差最小，以构建所述目标对象的稀疏点云模型。

在本公开的一种示例性实施例中，三维模型构建模块包括：物体稠密点云模型构建模块，用于对所述稀疏点云模型中的稀疏点云进行临近区域插值和生长，获得所述目标对象的稠密点云模型；第一构建控制模块，用于将所述目标对象的稠密点云模型中的稠密点云转换为三维物体网格模型，并将所述目标对象的稠密点云的属性信息输入所述三维物体网格模型，以构建所述目标对象的所述三维模型。

在本公开的一种示例性实施例中，模型构建模块包括：范围标记模块，用于在根据所述目标对象图像生成的所述稀疏点云模型下，确定所述目标对象中包含的每个局部对象的三维框，以对每个局部对象的三维点云范围进行标记；对象稠密点云构建模块，用于对已标记的局部对象的稀疏点云进行临近区域插值和生长，获得每个已标记的局部对象的稠密点云模型；第二构建控制模块，用于将所述每个已标记的局部对象的稠密点云模型中的稠密点云转换为三维对象网格模型，并将已标记的局部对象的稠密点云的属性信息输入至所述三维对象网格模型，以构建每个已标记的局部对象的三维模型。

在本公开的一种示例性实施例中，模型渲染模块被配置为：通过纹理参数和光照参数，对所述目标对象的所述三维模型进行渲染，确定所述渲染视频流。

在本公开的一种示例性实施例中，所述装置还包括：设备位置确定模块，用于获取所述设备的当前位置，并根据所述当前位置确定设备位置；模型投影模块，用于根据所述设备位置，将所述当前位置对应的渲染视频流投影至设备平面并映射到设备移动轨迹；三维框映射模块，用于将每个局部对象的三维框映射至所述渲染视频流。

在本公开的一种示例性实施例中，对象编辑模块包括：位置确定模块，用于根据用户操作的位置，从所述渲染视频流中确定所述待编辑对象的位置；模型查询模块，用于将所述待编辑对象的位置进行映射，查询所述待编辑对象对应的三维框以及所述待编辑对象的三维模型。

在本公开的一种示例性实施例中，对象编辑模块包括：第一操作模块，用于若判断所述操作指令不存在空缺位置，则对所述待编辑对象的三维模型进行所述操作指令对应的控制操作；第二操作模块，用于若判断所述操作指令存在空缺位置，则对所述待编辑对象的三维模型进行所述操作指令对应的控制操作，并对所述空缺位置对应的背景模型进行补充。

在本公开的一种示例性实施例中，所述装置还包括：背景点云获取模块，用于从所述目标对象的稀疏点云中删除所有局部对象的稀疏点云，得到背景点云；背景稠密点云模型构建模块，用于对每个背景点云进行临近区域插值和生长，获得背景稠密点云模型；背景模型构建模块，用于将所述背景稠密点云模型中的背景稠密点云转换为三维背景网格模型，并将背景稠密点云的属性信息输入三维背景网格模型，以构建所述三维背景模型。

由于本公开实施方式的增强现实处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种增强现实处理方法，其特征在于，包括：

获取目标对象视频流中的目标对象图像；

根据所述目标对象图像，构建目标对象对应的三维模型，并构建所述目标对象中包含的局部对象的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型；

对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示；

从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令，基于三维模型对所述待编辑对象进行控制操作；

其中，构建所述目标对象中包含的局部对象的三维模型，包括：

在根据目标对象图像生成的稀疏点云模型下，对每个局部对象的三维点云范围进行标记；

对已标记的局部对象的稀疏点云进行临近区域插值和生长，获得每个已标记的局部对象的稠密点云模型；

将所述每个已标记的局部对象的稠密点云模型中的稠密点云转换为三维对象网格模型，并将已标记的局部对象的稠密点云的属性信息输入至所述三维对象网格模型，以构建每个已标记的局部对象的三维模型。

2.根据权利要求1所述的增强现实处理方法，其特征在于，所述根据所述目标对象图像，构建目标对象对应的三维模型，包括：

根据所述目标对象图像构建所述目标对象的稀疏点云模型，并根据所述稀疏点云模型构建所述目标对象的所述三维模型。

3.根据权利要求2所述的增强现实处理方法，其特征在于，所述根据所述目标对象图像构建所述目标对象的稀疏点云模型，包括：

获取每张目标对象图像的特征点及其描述符；

根据所述每张目标对象图像的所述描述符对所有目标对象图像进行两两匹配，确定所有目标对象图像之间的相似度，并根据所述相似度确定匹配对关系；

基于一致性信息对所述匹配对关系进行约束，以得到更新后的匹配对关系；

根据所述目标对象图像的位姿信息以及所述更新后的匹配对关系，计算每张目标对象图像在世界坐标系下的三维点坐标；

根据所述三维点坐标的投影点的重建误差，构建所述目标对象的所述稀疏点云模型。

4.根据权利要求3所述的增强现实处理方法，其特征在于，所述根据所述三维点坐标的投影点的重建误差，构建所述目标对象的所述稀疏点云模型，包括：

将所述三维点坐标重新投影到设备平面上；

调整所述设备的位姿信息，直至所述三维点坐标在设备平面的投影点的重投影误差最小，以构建所述目标对象的稀疏点云模型。

5.根据权利要求2所述的增强现实处理方法，其特征在于，所述根据所述稀疏点云模型构建所述目标对象的所述三维模型，包括：

对所述稀疏点云模型中的稀疏点云进行临近区域插值和生长，获得所述目标对象的稠密点云模型；

将所述目标对象的稠密点云模型中的稠密点云转换为三维物体网格模型，并将所述目标对象的稠密点云的属性信息输入所述三维物体网格模型，以构建所述目标对象的所述三维模型。

6.根据权利要求1所述的增强现实处理方法，其特征在于，所述在根据目标对象图像生成的稀疏点云模型下，对每个局部对象的三维点云范围进行标记，包括：

在根据所述目标对象图像生成的稀疏点云模型下，确定目标对象中包含的每个局部对象的三维框，以对每个局部对象的三维点云范围进行标记。

7.根据权利要求1所述的增强现实处理方法，其特征在于，所述对所述三维模型进行渲染得到渲染视频流，包括：

通过纹理参数和光照参数，对所述目标对象的所述三维模型进行渲染，确定所述渲染视频流。

8.根据权利要求1所述的增强现实处理方法，其特征在于，所述方法还包括：

获取所述设备的当前位置，并根据所述当前位置确定设备位置；

根据所述设备位置，将所述当前位置对应的渲染视频流投影至设备平面并映射到设备移动轨迹；

将每个局部对象的三维框映射至所述渲染视频流。

9.根据权利要求1所述的增强现实处理方法，其特征在于，所述从所述渲染视频流中确定待编辑对象，包括：

根据用户操作的位置，从所述渲染视频流中确定所述待编辑对象的位置；

将所述待编辑对象的位置进行映射，查询所述待编辑对象对应的三维框以及所述待编辑对象的三维模型。

10.根据权利要求1所述的增强现实处理方法，其特征在于，所述响应作用于所述待编辑对象的操作指令对所述待编辑对象进行控制操作，包括：

若判断所述操作指令不存在空缺位置，则对所述待编辑对象的三维模型进行所述操作指令对应的控制操作；

若判断所述操作指令存在空缺位置，则对所述待编辑对象的三维模型进行所述操作指令对应的控制操作，并对所述空缺位置对应的背景模型进行补充。

11.根据权利要求10所述的增强现实处理方法，其特征在于，所述方法还包括：

从所述目标对象的稀疏点云中删除所有局部对象的稀疏点云，得到背景点云；

对每个背景点云进行临近区域插值和生长，获得背景稠密点云模型；

将所述背景稠密点云模型中的背景稠密点云转换为三维背景网格模型，并将背景稠密点云的属性信息输入三维背景网格模型，以构建所述三维背景网格模型。

12.一种增强现实处理装置，其特征在于，包括：

图像获取模块，用于获取目标对象视频流中的目标对象图像；

模型构建模块，用于根据所述目标对象图像，构建目标对象对应的三维模型，并构建所述目标对象中包含的局部对象的三维模型；所述目标对象包括两个及以上局部对象，且每个局部对象均对应一个三维模型；

模型渲染模块，用于对所述三维模型进行渲染得到渲染视频流，并将所述渲染视频流发送至设备进行展示；

对象编辑模块，用于从所述渲染视频流中确定待编辑对象，并响应作用于所述待编辑对象的操作指令，基于三维模型对所述待编辑对象进行控制操作；

其中，构建所述目标对象中包含的局部对象的三维模型，包括：

在根据目标对象图像生成的稀疏点云模型下，对每个局部对象的三维点云范围进行标记；

对已标记的局部对象的稀疏点云进行临近区域插值和生长，获得每个已标记的局部对象的稠密点云模型；

将所述每个已标记的局部对象的稠密点云模型中的稠密点云转换为三维对象网格模型，并将已标记的局部对象的稠密点云的属性信息输入至所述三维对象网格模型，以构建每个已标记的局部对象的三维模型。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至11中任一项所述的增强现实处理方法。

14.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至11中任一项所述的增强现实处理方法。