CN111340960B - 图像的建模方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及一种图像的建模方法、装置、存储介质和电子设备，该方法包括：按照预设规则提取目标图像中的图形元素和物体的属性信息，根据图形元素建立目标图像对应的初始三维空间，根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，每个立方体包括至少一个物体，将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格，将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。本公开根据图像中物体的属性信息，建立由多个立方体拼接而成的目标三维空间，以得到图像对应的目标三维模型，能够避免出现模型畸变，提高了图像建模的准确度。

Description

图像的建模方法、装置、存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种图像的建模方法、装置、存储介质和电子设备。

背景技术

目前，随着电子信息技术的不断发展，越来越多的公共场所开始使用监控设备，以保证广大群众的人身以及财产安全。通常情况下，在使用监控设备进行监控时，监控设备的摄像头只能从固定角度进行拍摄，所能获取的监控图像只能包括固定角度的画面，画面中只能表示固定角度的景物，能够反映的空间信息并不完善，若直接根据监控图像对所监控的公共场所进行三维空间建模，得到的三维空间模型容易出现畸变，降低了图像建模的准确度。

发明内容

本公开的目的是提供一种图像的建模方法、装置、存储介质和电子设备，用于解决现有技术中存在的图像的建模结果不可靠的问题。

为了实现上述目的，根据本公开实施例的第一方面，提供一种图像的建模方法，所述方法包括：

按照预设规则提取目标图像中的图形元素，和所述目标图像中的物体的属性信息；

根据所述图形元素建立所述目标图像对应的初始三维空间；

根据所述属性信息，将所述初始三维空间分解为多个立方体，并将多个所述立方体拼接为目标三维空间，每个所述立方体包括至少一个所述物体；

将所述目标三维空间的坐标点作为图像处理引擎的输入，以得到所述图像处理引擎输出的所述目标三维空间的三维网格；

将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型。

可选地，所述图形元素包括：所述目标图像中的轮廓直线、灭点和平面，所述属性信息包括：所述物体的语义信息和位置信息；所述按照预设规则提取目标图像中的图形元素，和所述目标图像中的物体的属性信息，包括：

根据直线检测算法提取所述目标图像中的轮廓直线，所述轮廓直线用于指示所述目标图像包含的场景的轮廓；

根据所述轮廓直线确定所述目标图像中的灭点和平面；

根据图像识别算法识别所述目标图像中所述物体的语义信息和位置信息。

可选地，所述根据所述轮廓直线确定所述目标图像中的灭点和平面，包括：

根据多条所述轮廓直线中，任意两条所述轮廓直线的夹角，确定目标轮廓直线；

将所述目标轮廓直线的延长线的交点作为所述目标图像中的灭点；

根据多条所述轮廓直线确定所述平面。

可选地，所述根据所述属性信息，将所述初始三维空间分解为多个立方体，并将多个所述立方体拼接为目标三维空间，包括：

根据每个所述物体的语义信息和位置信息，确定该物体的边缘坐标；

根据该物体的边缘坐标，生成该物体对应的所述立方体；

将全部所述物体中每个所述物体对应的所述立方体拼接为所述目标三维空间。

可选地，所述将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型，包括：

获取所述目标图像的二维纹理与所述目标三维空间的三维网格的UV映射；

根据所述UV映射将所述目标图像的二维纹理投影到所述目标三维空间的三维网格中，以得到所述目标三维模型。

可选地，在所述将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型之后，所述方法还包括：

根据所述目标三维模型与所述图像处理引擎预先建立的三维场景，确定变换矩阵；

根据所述变换矩阵，将所述目标三维模型注册到所述三维场景中。

根据本公开实施例的第二方面，提供一种图像的建模装置，所述装置包括：

提取模块，用于按照预设规则提取目标图像中的图形元素，和所述目标图像中的物体的属性信息；

建立模块，用于根据所述图形元素建立所述目标图像对应的初始三维空间；

分解模块，用于根据所述属性信息，将所述初始三维空间分解为多个立方体，并将多个所述立方体拼接为目标三维空间，每个所述立方体包括至少一个所述物体；

输入模块，用于将所述目标三维空间的坐标点作为图像处理引擎的输入，以得到所述图像处理引擎输出的所述目标三维空间的三维网格；

映射模块，用于将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型。

可选地，所述图形元素包括：所述目标图像中的轮廓直线、灭点和平面，所述属性信息包括：所述物体的语义信息和位置信息；所述提取模块包括：

提取子模块，用于根据直线检测算法提取所述目标图像中的轮廓直线，所述轮廓直线用于指示所述目标图像包含的场景的轮廓；

第一确定子模块，用于根据所述轮廓直线确定所述目标图像中的灭点和平面；

识别子模块，用于根据图像识别算法识别所述目标图像中所述物体的语义信息和位置信息。

可选地，所述第一确定子模块用于：

根据多条所述轮廓直线中，任意两条所述轮廓直线的夹角，确定目标轮廓直线；

将所述目标轮廓直线的延长线的交点作为所述目标图像中的灭点；

根据多条所述轮廓直线确定所述平面。

可选地，所述分解模块包括：

第二确定子模块，用于根据每个所述物体的语义信息和位置信息，确定该物体的边缘坐标；

生成子模块，用于根据该物体的边缘坐标，生成该物体对应的所述立方体；

拼接子模块，用于将全部所述物体中每个所述物体对应的所述立方体拼接为所述目标三维空间。

可选地，所述映射模块包括：

获取子模块，用于获取所述目标图像的二维纹理与所述目标三维空间的三维网格的UV映射；

投影子模块，用于根据所述UV映射将所述目标图像的二维纹理投影到所述目标三维空间的三维网格中，以得到所述目标三维模型。

可选地，所述装置还包括：

确定模块，用于在所述将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型之后，根据所述目标三维模型与所述图像处理引擎预先建立的三维场景，确定变换矩阵；

注册模块，用于根据所述变换矩阵，将所述目标三维模型注册到所述三维场景中。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例的第一方面中任一项所述方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开实施例的第一方面中任一项所述方法的步骤。

通过上述技术方案，本公开中首先按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息，然后根据图形元素建立目标图像对应的初始三维空间，之后根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，其中每个立方体包括至少一个物体，然后将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格，最后将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。本公开根据图像中物体的属性信息，建立由多个立方体拼接而成的目标三维空间，以得到图像对应的目标三维模型，能够避免出现模型畸变，提高了图像建模的准确度。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种图像的建模方法的流程图；

图2是根据一示例性实施例示出的另一种图像的建模方法的流程图；

图3是根据一示例性实施例示出的一种根据多条轮廓直线确定的平面的示意图；

图4是根据一示例性实施例示出的另一种图像的建模方法的流程图；

图5是根据一示例性实施例示出的另一种图像的建模方法的流程图；

图6是根据一示例性实施例示出的另一种图像的建模方法的流程图；

图7是根据一示例性实施例示出的一种图像的建模装置的框图；

图8是根据一示例性实施例示出的另一种图像的建模装置的框图；

图9是根据一示例性实施例示出的另一种图像的建模装置的框图；

图10是根据一示例性实施例示出的另一种图像的建模装置的框图；

图11是根据一示例性实施例示出的另一种图像的建模装置的框图；

图12是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本公开提供的图像的建模方法、装置、存储介质和电子设备之前，首先对本公开各个实施例所涉及的应用场景进行介绍。该应用场景可以为通过终端上布置的图像处理引擎来构建目标图像对应的目标三维模型，目标图像可以是一幅图像，也可以是一个视频流中的任一帧图像。其中，图像处理引擎可以是适用于各种系统(Windows系统、Linux系统、Android系统、iOS系统、Mac OS系统等)的虚拟引擎，例如可以是Unreal引擎、Unity3d引擎、Frostbite引擎、Source引擎等。终端例如可以是智能手机、平板电脑、智能电视、智能手表、PDA(英文：Personal Digital Assistant，中文：个人数字助理)、便携计算机等移动终端，也可以是台式计算机等固定终端。在本公开所提供的实施例中，图像处理引擎以Unreal引擎为例来进行具体说明。

图1是根据一示例性实施例示出的一种图像的建模方法的流程图，如图1所示，该方法包括以下步骤：

步骤101，按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息。

举例来说，在使用监控设备进行监控时，可以通过SDK(英文：SoftwareDevelopment Kit，中文：软件开发工具包)以实时或者离线的方式来获取监控设备中的视频流，解码视频流后得到的按时间顺序排列的每一帧图像，都可以作为目标图像，目标图像的数量可以是一个也可以是多个。获取目标图像之后，可以按照预设规则提取目标图像中的图形元素和目标图像中的物体的属性信息。其中，图形元素可以包括目标图像中的点、直线、平面，提取图形元素的预设规则例如可以是Harris角点检测算子、LSD算法(英文：aLine Segment Detector，中文：直线段检测算法)、平面扫描算法等预设的图形元素提取算法。目标图像中的物体的属性信息可以包括物体的语义信息和位置信息，语义信息能够反映物体的类别，位置信息能够反映物体的位置关系，例如可以是物体在目标图像中的坐标。提取物体的语义信息的预设规则例如可以是Sobel边缘检测算子、Canny边缘检测算子、Laplacian边缘检测算子等边缘检测算法，获取到物体的语义信息后，就能够根据语义信息识别出目标图像中的不同物体。识别出目标图像中的不同物体后，就可以获得每个物体在目标图像中的坐标。

步骤102，根据图形元素建立目标图像对应的初始三维空间。

步骤103，根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，每个立方体包括至少一个物体。

示例的，可以利用Unreal引擎中预先存储的程序来对目标图像中的灭点和任意4个点进行处理，以获取目标图像的静态网格，然后再根据静态网格建立目标图像对应的初始三维空间。目标图像中的灭点为目标图像中目标轮廓直线的延长线的交点，其中轮廓直线为能够显示出建筑物轮廓的直线，例如若目标图像为室内图像，那么轮廓直线为墙角线，若目标图像为室外图像，那么轮廓直线为建筑物的轮廓线和/或地平线，若两条轮廓直线之间的夹角为锐角，那么这两条轮廓直线即为目标轮廓直线。根据目标轮廓直线确定了目标图像中的灭点之后，能够根据灭点的坐标和方向对目标图像中选择的任意4点进行标定，以获得目标图像的静态网格，从而确定目标图像对应的初始三维空间。初始三维空间可以理解为能够包含目标图像中全部物体的一个立体图像，例如可以是一个立方体、球体、棱柱等，目标图像中的每个物体都位于初始三维空间的内部。

确定了目标图像对应的初始三维空间之后，可以根据物体的语义信息和位置信息将初始三维空间分解为多个立方体，每个立方体中可以包括一个或多个物体。例如目标图像中包括衣柜、书桌以及书桌上摆放的台灯、水杯、笔筒，其中台灯、水杯和笔筒与书桌的位置比较接近，那么可以先将初始三维空间分解为A、B两个立方体，其中立方体A中包括衣柜，立方体B中包括书桌以及书桌上摆放的台灯、水杯、笔筒。还可以进一步的根据每个物体的位置信息，将立方体B进一步分解为立方体C、立方体D、立方体E和立方体F，其中立方体C中包括书桌，立方体D中包括台灯，立方体E中包括水杯，立方体F中包括笔筒。在将初始三维空间分解为多个立方体之后，可以对多个立方体进行拼接，得到由多个立方体的表面所围成的空间，即为目标图像的目标三维空间。目标三维空间与初始三维空间相比，能够更加准确的反映出目标图像中的空间信息。进一步的，技术操作人员还可以对得到的多个立方体的大小进行调整，以使建立的目标三维空间更加准确地反映目标图像。

步骤104，将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格。

步骤105，将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。

举例来说，确定了目标三维空间之后，可以先统计目标三维空间中每个立方体的顶点的坐标，然后再将每个顶点的坐标输入到图像处理引擎(例如Unreal引擎)中进行处理，经图像处理引擎中预设的插件(例如runtimeMESH插件)的处理，得到目标三维空间对应的三维网格(即mesh网格)。之后，再按照预先确定的映射关系，将目标图像映射到三维网格中，就能得到目标图像对应的目标三维模型。在获取预先确定的映射关系时，可以先在目标图像中选择一根有向线段A，获取该有向线段A的长度和方向，例如若目标图像为室内图像，那么该有向线段A可以是一根墙角线，然后在三维网格中再选择一根有向线段B，获取该有向线段B的长度和方向，将有向线段A和有向线段B之间的变换矩阵作为目标图像与三维网格的映射关系，映射关系例如可以是一个4×4矩阵。

综上所述，本公开中首先按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息，然后根据图形元素建立目标图像对应的初始三维空间，之后根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，其中每个立方体包括至少一个物体，然后将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格，最后将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。本公开根据图像中物体的属性信息，建立由多个立方体拼接而成的目标三维空间，以得到图像对应的目标三维模型，能够避免出现模型畸变，提高了图像建模的准确度。

图2是根据一示例性实施例示出的另一种图像的建模方法的流程图，如图2所示，图形元素包括：目标图像中的轮廓直线、灭点和平面，属性信息包括：物体的语义信息和位置信息。步骤101包括：

步骤1011，根据直线检测算法提取目标图像中的轮廓直线，轮廓直线用于指示目标图像包含的场景的轮廓。

步骤1012，根据轮廓直线确定目标图像中的灭点和平面。

步骤1013，根据图像识别算法识别目标图像中物体的语义信息和位置信息。

示例的，轮廓直线为用以指示目标图像中场景轮廓的直线，例如若目标图像为室内图像，那么轮廓直线为墙角线，若目标图像为室外图像，那么轮廓直线为建筑物的轮廓线和/或地平线。目标图像中的轮廓直线可以通过LSD算法、霍夫直线检测算法、LDA(英文：Linear Discriminant Analysis，中文：线性判别式分析)算法等直线检测算法提取。示例性的，以通过LSD算法提取轮廓直线为例来进行说明。首先，通过高斯核采样，将目标图像的灰度图像缩放至预设的大小(例如目标图像的80％)，然后计算该灰度图像的梯度的模，之后按照预设的规则对梯度的模进行分级，将级别相同的梯度存储至相同的二进制文件中，最后将小于预设梯度阈值的梯度去除，根据大于或等于预设梯度阈值的梯度计算该灰度图像的线段支持域，从而提取出目标图像的轮廓直线。提取出轮廓直线后，就可以根据轮廓直线确定目标图像中的灭点和平面，从而获取建立初始三维空间所需的图形元素。

属性信息中包括的物体的语义信息和位置信息，可以通过预设的图像识别算法(例如Sobel边缘检测算子)获取。具体的，可以先识别出目标图像中物体的边缘，通过分析物体的边缘信息，明确物体的语义信息，再根据语义信息对目标图像中的物体的种类进行判断，然后再继续分析物体的边缘信息，确定物体在目标图像中的位置，从而获取物体的位置信息，该位置信息可以采用坐标的形式进行表示。

可选地，步骤1012用于：

首先，根据多条轮廓直线中，任意两条轮廓直线的夹角，确定目标轮廓直线。

然后，将目标轮廓直线的延长线的交点作为目标图像中的灭点。

最后，根据多条轮廓直线确定平面。

举例来说，轮廓直线的数量和通过监控设备获取的目标图像有关，例如监控设备的摄像头位于墙面与天花板相交处的中间位置，若摄像头被调整为能够尽可能多的拍摄到室内画面的焦距，那么在目标图像中可以确定5条轮廓直线(即墙角线)。全部轮廓直线中，夹角为锐角的任意两条轮廓直线即为目标轮廓直线。确定目标轮廓直线后，将目标轮廓直线延长，两条延长线的交点就是目标图像中的灭点，可以通过Harris角点检测算子获取灭点的坐标和方向，根据灭点的坐标和方向能够对目标图像中的任意点进行标定。根据多条轮廓直线还可以将目标图像划分为多个平面，例如目标图像中的轮廓直线如图3所示，其中a、b、c、d、e、f、g、h即为8条轮廓直线，根据这8条轮廓直线可以将目标图像划分为5个平面，这5个平面分别是平面A、平面B、平面C、平面D、平面E，平面A由b、d、e、f组成，平面B由c、d、h组成，以此类推可分别获得平面C、平面D、平面E。

图4是根据一示例性实施例示出的另一种图像的建模方法的流程图，如图4所示，步骤103包括：

步骤1031，根据每个物体的语义信息和位置信息，确定该物体的边缘坐标。

步骤1032，根据该物体的边缘坐标，生成该物体对应的立方体。

步骤1033，将全部物体中每个物体对应的立方体拼接为目标三维空间。

示例的，可以根据每个物体的语义信息，对目标图像中物体的边缘进行识别，然后再根据位置信息反映出的位置关系，对识别出的边缘线条进行划分，例如目标图像中包括衣柜、书桌以及书桌上摆放的台灯、水杯、笔筒，根据语义信息对目标图像中的物体进行识别时，若将书桌和台灯的边缘识别为一个物体，那么还可以根据台灯和书桌之间的上下关系，将该物体拆分为两个物体。根据每个物体的语义信息和位置信息，确定了目标图像中每个物体的边缘坐标后，就可以根据边缘坐标来生成每个物体对应的立方体，以避免生成的立方体过大，影响目标三维空间的准确度。之后，将全部物体中每个物体对应的立方体进行拼接，多个立方体的表面所围成的空间即为目标三维空间。需要说明的是，每个立方体中可以包括一个或多个物体，例如目标图像中的两个物体大小相似，位置相近，那么可以根据这两个物体的边缘坐标，生成一个对应的立方体。

图5是根据一示例性实施例示出的另一种图像的建模方法的流程图，如图5所示，步骤105包括：

步骤1051，获取目标图像的二维纹理与目标三维空间的三维网格的UV映射。

步骤1052，根据UV映射将目标图像的二维纹理投影到目标三维空间的三维网格中，以得到目标三维模型。

举例来说，在获取目标三维模型时，可以先获取目标图像的二维纹理，二维纹理即目标图像中覆盖在矩形表面的画面，然后再通过图像处理引擎(例如Unreal引擎)处理目标三维空间中每个立方体的坐标点(例如每个立方体的顶点)的坐标，从而获取图像处理引擎输出的三维网格。之后，在目标图像的二维纹理中选择一根有向线段A，获取该有向线段A的长度和方向，例如若目标图像为室内图像，那么该有向线段A可以是一根墙角线，然后在三维网格中再选择一根有向线段B，获取该有向线段B的长度和方向，将有向线段A和有向线段B之间的变换矩阵作为目标图像的二维纹理与目标三维空间的三维网格的UV映射。这样，就能够根据UV映射将目标图像的二维纹理投影到目标三维空间的三维网格中，从而得到目标三维模型。

图6是根据一示例性实施例示出的另一种图像的建模方法的流程图，如图6所示，在步骤105之后，该方法还包括：

步骤106，根据目标三维模型与图像处理引擎预先建立的三维场景，确定变换矩阵。

步骤107，根据变换矩阵，将目标三维模型注册到三维场景中。

进一步的，在生成了目标三位模型之后，还可以将目标三维模型在预先建立的三维场景中进行注册。其中，三维场景可以理解为一个大范围的场景空间，其中可以包括一个或多个三维模型。若三维模型是一个房间内的模型，那么三维场景可以是包括了该房间的一栋大楼，若三维模型是一栋楼房，那么三维场景可以是包括了这栋楼房的社区。在获得了目标三维模型之后，可以进一步的将目标三维模型注册到整个三维场景中。具体的，可以在目标三维模型中选择一根有向线段C，获取该有向线段C的长度和方向，然后在图像处理引擎预先建立的三维场景中，再选择一根有向线段D，获取该有向线段D的长度和方向，将有向线段C和有向线段D之间的变换矩阵作为目标三维模型和三维场景的映射关系，映射关系可以是一个4×4矩阵。这样，就能够根据确定的变换矩阵，将目标三维模型注册到三维场景中，使得目标三维模型能够显示在三维场景中。

综上所述，本公开中首先按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息，然后根据图形元素建立目标图像对应的初始三维空间，之后根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，其中每个立方体包括至少一个物体，然后将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格，最后将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。本公开根据图像中物体的属性信息，建立由多个立方体拼接而成的目标三维空间，以得到图像对应的目标三维模型，能够避免出现模型畸变，提高了图像建模的准确度。

图7是根据一示例性实施例示出的一种图像的建模装置的框图，如图7所示，该装置200包括：

提取模块201，用于按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息。

建立模块202，用于根据图形元素建立目标图像对应的初始三维空间。

分解模块203，用于根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，每个立方体包括至少一个物体。

输入模块204，用于将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格。

映射模块205，用于将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。

图8是根据一示例性实施例示出的另一种图像的建模装置的框图，如图8所示，图形元素包括：目标图像中的轮廓直线、灭点和平面，属性信息包括：物体的语义信息和位置信息；提取模块201包括：

提取子模块2011，用于根据直线检测算法提取目标图像中的轮廓直线，轮廓直线用于指示目标图像包含的场景的轮廓。

第一确定子模块2012，用于根据轮廓直线确定目标图像中的灭点和平面。

识别子模块2013，用于根据图像识别算法识别目标图像中物体的语义信息和位置信息。

可选地，第一确定子模块2012用于：

首先，根据多条轮廓直线中，任意两条轮廓直线的夹角，确定目标轮廓直线。

然后，将目标轮廓直线的延长线的交点作为目标图像中的灭点。

最后，根据多条轮廓直线确定平面。

图9是根据一示例性实施例示出的另一种图像的建模装置的框图，如图9所示，分解模块203包括：

第二确定子模块2031，用于根据每个物体的语义信息和位置信息，确定该物体的边缘坐标。

生成子模块2032，用于根据该物体的边缘坐标，生成该物体对应的立方体。

拼接子模块2033，用于将全部物体中每个物体对应的立方体拼接为目标三维空间。

图10是根据一示例性实施例示出的另一种图像的建模装置的框图，如图10所示，映射模块205包括：

获取子模块2051，用于获取目标图像的二维纹理与目标三维空间的三维网格的UV映射。

投影子模块2052，用于根据UV映射将目标图像的二维纹理投影到目标三维空间的三维网格中，以得到目标三维模型。

图11是根据一示例性实施例示出的另一种图像的建模装置的框图，如图11所示，该装置200还包括：

确定模块206，用于在将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型之后，根据目标三维模型与图像处理引擎预先建立的三维场景，确定变换矩阵。

注册模块207，用于根据变换矩阵，将目标三维模型注册到三维场景中。

关于上述实施例中的装置，其中各个部分执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

综上所述，本公开中首先按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息，然后根据图形元素建立目标图像对应的初始三维空间，之后根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，其中每个立方体包括至少一个物体，然后将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格，最后将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。本公开根据图像中物体的属性信息，建立由多个立方体拼接而成的目标三维空间，以得到图像对应的目标三维模型，能够避免出现模型畸变，提高了图像建模的准确度。

图12是根据一示例性实施例示出的一种电子设备700的框图。如图12所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像的建模方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像的建模方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像的建模方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像的建模方法。

综上所述，本公开中首先按照预设规则提取目标图像中的图形元素，和目标图像中的物体的属性信息，然后根据图形元素建立目标图像对应的初始三维空间，之后根据属性信息，将初始三维空间分解为多个立方体，并将多个立方体拼接为目标三维空间，其中每个立方体包括至少一个物体，然后将目标三维空间的坐标点作为图像处理引擎的输入，以得到图像处理引擎输出的目标三维空间的三维网格，最后将目标图像映射到目标三维空间的三维网格中，以得到目标图像对应的目标三维模型。本公开根据图像中物体的属性信息，建立由多个立方体拼接而成的目标三维空间，以得到图像对应的目标三维模型，能够避免出现模型畸变，提高了图像建模的准确度。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，本领域技术人员在考虑说明书及实践本公开后，容易想到本公开的其他实施方案，均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (7)

1.一种图像的建模方法，其特征在于，所述方法包括：

按照预设规则提取目标图像中的图形元素，和所述目标图像中的物体的属性信息，其中，所述物体的属性信息包括所述物体的语义信息和位置信息，所述语义信息用于反映所述物体的类别，所述位置信息用于反映所述物体的位置关系；

根据所述图形元素建立所述目标图像对应的初始三维空间；

根据每个所述物体的语义信息和位置信息，确定该物体的边缘坐标，根据该物体的边缘坐标，生成该物体对应的立方体，将全部所述物体中每个所述物体对应的所述立方体拼接为目标三维空间，每个所述立方体包括至少一个所述物体；

获取所述目标图像的二维纹理与所述目标三维空间的三维网格的UV映射；

根据所述UV映射将所述目标图像的二维纹理投影到所述目标三维空间的三维网格中，以得到所述目标三维模型；

根据所述目标三维模型与图像处理引擎预先建立的三维场景，确定变换矩阵；

根据所述变换矩阵，将所述目标三维模型注册到所述三维场景中；

将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型。

2.根据权利要求1所述的方法，其特征在于，所述图形元素包括：所述目标图像中的轮廓直线、灭点和平面；所述按照预设规则提取目标图像中的图形元素，和所述目标图像中的物体的属性信息，包括：

根据直线检测算法提取所述目标图像中的轮廓直线，所述轮廓直线用于指示所述目标图像包含的场景的轮廓；

根据所述轮廓直线确定所述目标图像中的灭点和平面；

根据图像识别算法识别所述目标图像中所述物体的语义信息和位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述轮廓直线确定所述目标图像中的灭点和平面，包括：

根据多条所述轮廓直线中，任意两条所述轮廓直线的夹角，确定目标轮廓直线；

将所述目标轮廓直线的延长线的交点作为所述目标图像中的灭点；

根据多条所述轮廓直线确定所述平面。

4.一种图像的建模装置，其特征在于，所述装置包括：

提取模块，用于按照预设规则提取目标图像中的图形元素，和所述目标图像中的物体的属性信息，其中，所述物体的属性信息包括所述物体的语义信息和位置信息，所述语义信息用于反映所述物体的类别，所述位置信息用于反映所述物体的位置关系；

建立模块，用于根据所述图形元素建立所述目标图像对应的初始三维空间；

分解模块，用于根据所述图形元素建立所述目标图像对应的初始三维空间；根据每个所述物体的语义信息和位置信息，确定该物体的边缘坐标，根据该物体的边缘坐标，生成该物体对应的立方体，将全部所述物体中每个所述物体对应的所述立方体拼接为目标三维空间，每个所述立方体包括至少一个所述物体；

输入模块，用于

获取所述目标图像的二维纹理与所述目标三维空间的三维网格的UV映射；根据所述UV映射将所述目标图像的二维纹理投影到所述目标三维空间的三维网格中，以得到所述目标三维模型；根据所述目标三维模型与图像处理引擎预先建立的三维场景，确定变换矩阵；根据所述变换矩阵，将所述目标三维模型注册到所述三维场景中；

映射模块，用于将所述目标图像映射到所述目标三维空间的三维网格中，以得到所述目标图像对应的目标三维模型。

5.根据权利要求4所述的装置，其特征在于，所述图形元素包括：所述目标图像中的轮廓直线、灭点和平面；所述提取模块包括：

提取子模块，用于根据直线检测算法提取所述目标图像中的轮廓直线，所述轮廓直线用于指示所述目标图像包含的场景的轮廓；

第一确定子模块，用于根据所述轮廓直线确定所述目标图像中的灭点和平面；

识别子模块，用于根据图像识别算法识别所述目标图像中所述物体的语义信息和位置信息。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3中任一项所述方法的步骤。

7.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-3中任一项所述方法的步骤。

Images