CN108122277B - 一种建模方法及装置 - Google Patents

Abstract

本发明实施例公开了一种建模方法及装置，涉及计算机视觉和图形学领域，降低了交互式的三维几何建模这种方法中的用户交互量。具体方案为：获取由至少一帧图像构成的图像序列，图像序列中包括待建模对象；获取待建模对象的轮廓信息，并确定图像序列中每一帧图像的相机外参；获取用户输入的标注信息，标注信息中包括至少一个区域信息、与每个区域信息对应的几何图元类型；根据与每个区域信息对应的几何图元类型确定初始化参数；利用至少一个区域信息、每一帧图像的相机外参和待建模对象的轮廓信息对初始化参数进行优化得到目标参数；采用目标参数对待建模对象进行建模，得到待建模对象的三维模型。本发明实施例用于三维建模的过程中。

Description

一种建模方法及装置

技术领域

本发明实施例涉及计算机视觉和图形学领域，尤其涉及一种建模方法及装置。

背景技术

对于图像序列中的场景或物体的三维建模一直是计算机视觉和图形学领域研究的重点课题。随着计算机技术和多媒体技术的不断发展，对图像序列中场景或物体的三维建模越来越受到人们的重视，且其在影视娱乐、虚拟实现和增强实现、三维(3D)打印等领域有着广泛的应用前景。目前，常用的基于图像序列的三维建模方法主要有自动化的三维几何建模和交互式的三维几何建模两种。

自动化的三维几何建模是指从图像序列中自动地恢复出稠密的深度图，甚至完整的三维模型。例如，自动化的三维几何建模的典型代表，即从运动形状/结构(Shape/structure from motion，SFM)，其实现三维建模的基本过程是：先估计图像序列中每一帧图像的相机外参，然后对每一帧图像计算特征点，并将相关帧的特征点进行匹配，再利用匹配结果优化每一帧图像的相机外参(优化后的相机外参能够使得匹配的特征点在图像序列的相机外参的变化下，在三维空间中最接近)，最后利用优化后的相机外参进行3D建模。但是，由于图像噪声、遮挡、高光、透明等问题很难解决，因此会导致很难实现稠密的深度图的恢复。另外，由于这种三维建模方法很少利用待建模物体的三维几何先验信息，因此最终得到的三维模型的几何精度较低。

为了解决上述问题，业界提出了交互式的三维几何建模。交互式的三维几何建模是指利用图像信息和用户交互结合的方式进行三维建模。但是，现有技术中采用交互式的三维几何建模的系统实现三维建模时，需要的用户交互量很大。例如，需用户在图像序列的一帧或多帧中，或者图像中勾画出待建模物体的结构。假设需要采用这种方法重建一个立方体，则需要用户指定立方体的8个顶点，以及这8个顶点的连接关系。

如何降低交互式的三维几何建模这种方法中的用户交互量，已成为本领域亟待解决的问题。

发明内容

本发明实施例提供一种建模方法及装置，降低了交互式的三维几何建模这种方法中的用户交互量。

为达到上述目的，本发明实施例采用如下技术方案：

本发明实施例的第一方面，提供一种建模方法，包括：

获取由至少一帧图像构成的图像序列，该图像序列中包括待建模对象，获取待建模对象的轮廓信息，并确定图像序列中每一帧图像的相机外参，获取用户输入的标注信息，该标注信息中包括至少一个区域信息、与每个区域信息对应的几何图元类型，并根据与每个区域信息对应的几何图元类型确定初始化参数，然后，利用至少一个区域信息、每一帧图像的相机外参和待建模对象的轮廓信息，对确定出的初始化参数进行优化得到目标参数，最后采用目标参数对待建模对象进行建模，得到待建模对象的三维模型。

本发明实施例提供的建模方法，建模装置根据获取到的标注信息中包括的与每个区域信息对应的几何图元类型确定初始化参数，并利用至少一个区域信息、确定出的每一帧图像的相机外参，以及待建模对象的轮廓信息，对确定出的初始化参数进行优化得到目标参数，然后采用确定出的目标参数对待建模对象进行建模，以得到待建模对象的三维模型。建模装置通过根据标注信息中包括的与区域信息对应的几何图元类型确定初始化参数，并通过利用对初始化参数进行优化得到目标参数进行三维建模，实现了利用几何图元对待建模对象的三维建模。这样，用户只需在图像序列中对于待建模对象进行简单的区域轮廓勾勒，并指定相应的几何图元类型，相较于利用线、面的表面重建，简化了用户的交互工作，降低了用户交互量。

结合第一方面，在一种可能的实现方式中，利用至少一个区域信息、每一帧图像的相机外参和待建模对象的轮廓信息，对确定出的初始化参数进行优化得到目标参数，具体的可以为：根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对初始化参数进行优化得到目标参数；其中，I＝{I_i|1≤i≤n}，T＝{T_j|1≤j≤m}，I_i表示图像序列中的第i帧图像A，K_i表示第i帧图像的相机外参，K_i(T)表示几何图元在对应的相机外参变换下，投影到图像空间形成的图像B，c(I_i)表示图像A的前景像素的数量，c(K_i(T))表示图像B的前景像素的数量，c(I_i,K_i(T))表示图像A和图像B重叠的前景像素的数量，T⁰表示初始化参数，T'表示由T⁰变换到的参数，T_j表示用户标注的每一个类型的几何图元，O(T⁰)表示每个几何图元在参数空间允许的最大变化范围，n表示图像序列包括的图像帧数，m表示组成待建模对象的几何图元个数。

结合第一方面和上述可能的现方式，在另一种可能的实现方式中，当标注信息中包括的区域信息的数量为多个时，标注信息中还可以包括：多个区域信息中部分或全部区域信息之间的连通性关系。此时，相应的，利用至少一个区域信息、每一帧图像的相机外参和待建模对象的轮廓信息，对初始化参数进行优化得到目标参数，具体的可以包括：利用至少一个区域信息、每一帧图像的相机外参、待建模对象的轮廓信息和多个区域信息中部分或全部区域信息之间的连通性关系，对初始化参数进行优化得到目标参数。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，利用至少一个区域信息、每一帧图像的相机外参、待建模对象的轮廓信息和多个区域信息中部分或全部区域信息之间的连通性关系，对初始化参数进行优化得到目标参数，具体的可以包括：

根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对初始化参数进行优化得到目标参数；

其中，I＝{I_i|1≤i≤n}，T＝{T_j|1≤j≤m}，

Connectivity表示用户标注的所有具有连接性的几何图元的集合，d(T_a,T_b)表示具有连接性的两个几何图元T_a和T_b的最近点对的距离，diag(T)表示所有几何图元构成的对象的边界框对角线长度。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对初始化参数进行优化得到目标参数，具体的可以包括：

设置T'＝0，确定T⁰的最优值；

利用T⁰的最优值、

s.t.T＝T⁰+T'和T'≤O(T⁰)确定目标参数。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，为了得到更为准确的相机外参，确定图像序列中每一帧图像的相机外参，具体的可以包括：根据预存的拍摄设备的相机内参矩阵消除图像序列中的每一帧图像的镜头畸变，并针对消除镜头畸变后的每一帧图像，确述图像序列中每一帧图像的相机外参。

结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，待建模对象包括待建模物体或待建模场景。

本发明实施例的第二方面，提供一种建模装置，包括：

获取单元，用于获取图像序列，图像序列由至少一帧图像构成，且图像序列中包括待建模对象；获取图像序列中待建模对象的轮廓信息；

确定单元，用于确定图像序列中每一帧图像的相机外参；

获取单元，还用于获取用户输入的标注信息，标注信息中包括至少一个区域信息、与每个区域信息对应的几何图元类型；

确定单元，还用于根据获取单元获取到的与每个区域信息对应的几何图元类型确定初始化参数；

优化单元，用于利用获取单元获取到的至少一个区域信息、确定单元确定出的每一帧图像的相机外参和获取单元获取到的待建模对象的轮廓信息，对确定单元确定出的初始化参数进行优化得到目标参数；

建模单元，用于采用优化单元得到的目标参数对待建模对象进行建模，得到待建模对象的三维模型。

结合第二方面，在一种可能的实现方式中，当标注信息中包括的区域信息的数量为多个时，标注信息中还包括：多个区域信息中部分或全部区域信息之间的连通性关系；

优化单元，具体用于利用至少一个区域信息、每一帧图像的相机外参、待建模对象的轮廓信息和多个区域信息中部分或全部区域信息之间的连通性关系，对初始化参数进行优化得到目标参数。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，优化单元，具体用于：

根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对初始化参数进行优化得到目标参数；

其中，I＝{I_i|1≤i≤n}，T＝{T_j|1≤j≤m}，

I_i表示图像序列中的第i帧图像A，K_i表示第i帧图像的相机外参，K_i(T)表示几何图元在对应的相机外参变换下，投影到图像空间形成的图像B，c(I_i)表示图像A的前景像素的数量，c(K_i(T))表示图像B的前景像素的数量，c(I_i,K_i(T))表示图像A和图像B重叠的前景像素的数量，T⁰表示初始化参数，T'表示由T⁰变换到的参数，T_j表示用户标注的每一个类型的几何图元，O(T⁰)表示每个几何图元在参数空间允许的最大变化范围，n表示图像序列包括的图像帧数，m表示组成待建模对象的几何图元个数，Connectivity表示用户标注的所有具有连接性的几何图元的集合，d(T_a,T_b)表示具有连接性的两个几何图元T_a和T_b的最近点对的距离，diag(T)表示所有几何图元构成的对象的边界框对角线长度。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，优化单元，具体用于：

设置T'＝0，确定T⁰的最优值；

利用T⁰的最优值、

s.t.T＝T⁰+T'和T'≤O(T⁰)确定目标参数。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，

确定单元，具体用于根据预存的拍摄设备的相机内参矩阵消除图像序列中的每一帧图像的镜头畸变，并针对消除镜头畸变后的每一帧图像，确定图像序列中每一帧图像的相机外参。

结合第二方面和上述可能的实现方式，在另一种可能的实现方式中，待建模对象包括待建模物体或待建模场景。

本发明实施例的第三方面，提供一种建模装置，包括：至少一个处理器、存储器、系统总线、通信接口；

至少一个处理器与存储器、通信接口通过通信总线连接，存储器用于存储计算机执行指令，当建模装置运行时，处理器执行存储器存储的计算机执行指令，以使建模装置执行如第一方面或第一方面的可能的实现方式中任一所述的建模方法。

本发明实施例的第四方面，提供一种计算机存储介质，用于存储上述建模装置所用的计算机软件指令，该计算机软件指令包含用于执行上述建模方法所设计的程序。

附图说明

图1为本发明实施例提供的一种应用本发明实施例的系统架构的简化示意图；

图2为本发明实施例提供的一种建模装置的组成示意图；

图3为本发明实施例提供的一种建模方法的流程图；

图4为本发明实施例提供的另一种建模方法的流程图；

图5为本发明实施例提供的几种典型的几何图元的示意图；

图6为本发明实施例提供的一种待建模对象的示意图；

图7为本发明实施例提供的几种常见的几何图元的示意图；

图8为本发明实施例提供的另一种建模装置的组成示意图；

图9为本发明实施例提供的另一种建模装置的组成示意图。

具体实施方式

为了降低交互式的三维几何建模这种方法中的用户交互量，本发明实施例提供一种建模方法，其基本原理是：建模装置获取由至少一帧图像构成的图像序列和图像序列中包括的待建模对象的轮廓信息，并确定图像序列中每一帧图像的相机外参。建模装置获取用户输入的标注信息，该标注信息中包括至少一个区域信息、与每个区域信息对应的几何图元类型，并根据与每个区域信息对应的几何图元类型确定初始化参数。然后，建模装置利用至少一个区域信息、每一帧图像的相机外参和待建模对象的轮廓信息，对确定出的初始化参数进行优化得到目标参数。最后，建模装置采用目标参数对待建模对象进行建模，得到待建模对象的三维模型。建模装置通过根据标注信息中包括的与区域信息对应的几何图元类型确定初始化参数，并通过利用对初始化参数进行优化得到目标参数进行三维建模，实现了利用几何图元对待建模对象的三维建模。这样，用户只需在图像序列中对于待建模对象进行简单的区域轮廓勾勒，并指定相应的几何图元类型，相较于利用线、面的表面重建，简化了用户的交互工作，降低了用户交互量。

下面将结合附图对本发明实施例的实施方式进行详细描述。

如图1所示，图1示出的是可以应用本发明实施例的系统架构的简化示意图。该系统架构可以包括拍摄设备11、建模装置12。

其中，拍摄设备11，用于获取包括待建对象体的图像序列。示例性的，该拍摄设备11可以是摄像机或具有摄像功能的手机等等。

建模装置12，用于由拍摄设备11处获取图像序列，并对图像序列中包括的待建模对象进行三维建模。其中，建模装置12可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，简称UMPC)、上网本、个人数字助理(PersonalDigital Assistant，简称PDA)等等。如图1以建模装置12为笔记本电脑为例示出。

图2为本发明实施例提供的一种建模装置的组成示意图，如图2所示，该建模装置可以包括：至少一个处理器21、存储器22、系统总线23和通信接口24。

处理器21可以是一个处理器，也可以是多个处理元件的统称。例如，处理器21可以是一个通用中央处理器(central processing unit，CPU)，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路，例如：一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)。其中，处理器21可以通过运行或执行存储在存储器22内的软件程序，以及调用存储在存储器22内的数据，执行终端的各种功能。

在具体实现中，作为一种实施例，处理器21可以包括一个或多个CPU，例如图2中的CPU0和CPU1。

在具体实现中，作为一种实施例，建模装置可以包括多个处理器，例如图2中的处理器21和处理器25。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器22可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，

EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器22用于存储执行本发明方案的应用程序代码，并由处理器21来控制执行。处理器21用于执行存储器22中存储的应用程序代码。

系统总线23可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component，

PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口24，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，

RAN)，无线局域网(wireless local area networks，WLAN)等。通信接口24可以包括接收单元实现接收功能，以及发送单元实现发送功能。

需要说明的是，本发明实施例中的涉及的待建模对象可以是待建模物体，也可以是待建模场景等，本发明实施例在此不做具体限制。

图3为本发明实施例提供的一种建模方法的流程图，如图3所示，该方法可以包括：

301、建模装置获取图像序列，图像序列由至少一帧图像构成，且图像序列中包括待建模对象。

示例性的，建模装置可以由拍摄设备处获取由至少一帧图像构成的图像序列。

302、建模装置获取图像序列中待建模对象的轮廓信息，并确定图像序列中每一帧图像的相机外参。

303、建模装置获取用户输入的标注信息，标注信息中包括至少一个区域信息、与每个区域信息对应的几何图元类型。

示例性的，用户可以针对待建模对象进行简单的标注，例如，标注出待建模对象的至少一个区域信息，并且，针对每一个区域信息，用户需标注出该区域信息对应的几何图元类型，以便于建模装置可以根据用户的标注信息，利用几何图元进行建模，具体的可以执行以下步骤304-步骤306：

304、建模装置根据与每个区域信息对应的几何图元类型确定初始化参数。

其中，建模装置在获取到与每个区域信息对应的几何图元类型之后，可以利用预先设定的与几何图元类型对应的参数，确定每一个几何图元类型对应的参数，所有几何图元类型对应的参数即组成了初始化参数。

305、建模装置利用至少一个区域信息、每一帧图像的相机外参和待建模对象的轮廓信息，对初始化参数进行优化得到目标参数。

其中，建模装置利用步骤302中获得的每一帧图像的相机外参和待建模对象的轮廓信息，通过步骤304中确定出的初始化参数进行优化，得到目标参数。

306、建模装置采用目标参数对待建模对象进行建模，得到待建模对象的三维模型。

本发明实施例提供的建模方法，建模装置根据获取到的标注信息中包括的与每个区域信息对应的几何图元类型确定初始化参数，并利用至少一个区域信息、确定出的每一帧图像的相机外参，以及待建模对象的轮廓信息，对确定出的初始化参数进行优化得到目标参数，然后采用确定出的目标参数对待建模对象进行建模，以得到待建模对象的三维模型。建模装置通过根据标注信息中包括的与区域信息对应的几何图元类型确定初始化参数，并通过利用对初始化参数进行优化得到目标参数进行三维建模，实现了利用几何图元对待建模对象的三维建模。这样，用户只需在图像序列中对于待建模对象进行简单的区域轮廓勾勒，并指定相应的几何图元类型，相较于利用线、面的表面重建，简化了用户的交互工作，降低了用户交互量。

图4为本发明实施例提供的另一种建模方法的流程图，如图4所示，该方法可以包括：

几何图元(geometric primitive)是构造整个三维世界的基石，几何图元有简单有复杂。所有的复杂模型，都可以通过对一些简单的基础的几何图元，比如球体，圆柱，正方体，锥体等等，进行各种各样的拉伸、压缩、切割、连接等操作变换而来。其中，如图5所示，示出了几种典型的几何图元。图5a为三角形图元。图5b为正方形图元。图5c为圆锥体图元，圆锥体图元的侧面可视为由若干个等腰三角形组成，这些等腰三角形的个数取决于底面的多边形的个数。图5d为立方体图元，立方体图元由六个正方形表面组成，每个正方形可以分割成若干个小正方形，每个小正方形又由两个三角形组成。

另外，对于拓扑结构复杂的，如桌子，椅子，书架等这类人造物体，它们的特点是：由一组基本的部件组合拼装而成，其虽然整体集合结构复杂，但是每一个部件均可以或近似表示成一些简单的几何图元。

综上，为了降低用户交互量，本发明实施例提供的建模方法利用几何图元对待建模对象进行三维建模。

需要说明的是，在本发明实施例中的待建模对象指的是拓扑结构复杂，且由一组基本的部件组合拼装而成，每一个部件均可以或近似表示成一些简单的几何图元的物体或场景。在本发明实施例中以待建模对象为待建模物体，具体的为桌子为例，对本发明实施例提供的建模方法进行具体介绍。

401、建模装置获取图像序列，该图像序列由至少一帧图像构成，且该图像序列中包括待建模对象。

首先，可以将待建模对象放在颜色对比度比较大的地面上，然后用摄像机或手机等拍摄设备环绕待建模对象进行拍摄得到图像序列，拍摄过程中不要引入其他对象，且尽量保持待建模对象处于图像序列的中心位置。然后，建模装置可以由拍摄设备处获取包括待建模对象的图像序列。

例如，可以将桌子放在地面上，然后用摄像机环绕桌子进行拍摄得到图像序列，然后，建模装置可以由摄像机处获取包括桌子的图像序列。

402、建模装置获取图像序列中待建模对象的轮廓信息，并根据预存的拍摄设备的相机内参矩阵消除图像序列包括的每一帧图像的镜头畸变，并针对消除镜头畸变后的每一帧图像，采用SFM算法确定图像序列中每一帧图像的相机外参。

403、建模装置将待建模对象从背景中分割出来。

其中，建模装置可以采用图像处理方法，如边缘提取方法，将待建模对象从背景中分割出来。

404、建模装置获取用户输入的标注信息，该标注信息中包括：至少一个区域信息，与每个区域信息对应的几何图元类型。

其中，用户可以在图像序列中任意选取几帧图像对待建模对象进行标注，此时建模装置便可以获取用户输入的标注信息。

例如，假设用户采用线条代表区域信息。如图6所示的待建模对象，即桌子，用户分别在桌子的四条桌腿(T₁、T₂、T₃、T₄)和桌面(T₀)位置进行简单的线条勾勒，即如图6所示的线条1、线条2、线条3、线条4、线条5，并标注出每个线条对应的几何图元类型。其中，用户标注的线条1、线条2、线条3、线条4、线条5的几何图元类型均为截面是矩形的拉伸体。此时建模装置可以获取用户输入的包括线条1、线条2、线条3、线条4、线条5，以及线条1、线条2、线条3、线条4、线条5的几何图元类型为截面是矩形的拉伸体的标注信息。

可选的，当标注信息中的区域信息包括多个时，标注信息中还包括多个区域信息中部分或全部区域信息之间的连通性关系，如部分区域信息之间的连接性、部分区域信息之间的对称性、全部区域信息之间的连接性，全部区域信息之间的对称性等。例如，如图6所示，用户还可以标注出四条桌腿(T₁、T₂、T₃、T₄)和桌面(T₀)都是连接的，用户标注出线条1与线条5连接，线条2与线条5连接，线条3与线条5连接，线条4与线条5连接。

405、建模装置根据标注信息中的与每个区域信息对应的几何图元类型，确定初始化参数。

其中，在建模装置获取到标注信息之后，可以根据标注信息中包括的至少一个区域信息和与每个区域信息对应的几何图元的类型，获取所有与所有几何图元类型对应的参数，并将获取到的参数组成初始化参数。

示例性的，可以利用参数对几何图元进行描述。对常见的如图7所示的几种类型的几何图元的参数化描述可以为：

1、(r_x，r_y，r_z)用于表示椭球体图元。其中，r_x，r_y，r_z这三个分量分别表示椭球体的三个轴的长度。

2、(r_x，r_y，ratio)用于表示截面为椭圆的拉伸体，且该拉伸体在进行拉伸的过程中截面产生单调线性变化。

其中，r_x，r_y这两个分量分别表示拉伸体的两个轴的长度，ratio表示拉伸体拉伸结束位置截面的缩放比。ratio＝1，表示该拉伸体为等截面拉伸体。ratio≠1，表示该拉伸体为不等截面拉伸体(或者，变截面拉伸体)，具体的，当ratio＝0时，表示该拉伸体是圆锥，当ratio属于(0，1)时，表示该拉伸体是圆台，当ratio属于(1，正无穷)时，表示该拉伸体是倒圆台。

3、(d_x，d_y，ratio)用于表示截面为矩形的拉伸体，且该拉伸体在进行拉伸的过程中截面产生单调线性变化。

其中，d_x，d_y这两个分量分别表示拉伸体的两个轴的长度，ratio表示拉伸体拉伸结束位置截面的缩放比。ratio＝1，表示该拉伸体为等截面拉伸体。ratio≠1，表示该拉伸体为不等截面拉伸体(或者，变截面拉伸体)，具体的，当ratio＝0时，表示该拉伸体是棱锥，当ratio属于(0，1)时，表示该拉伸体是棱台，当ratio属于(1，正无穷)时，表示该拉伸体是倒棱台。

4、样条曲线结构：可以对上述2和3中的拉伸体沿着最高三次贝塞尔(Bezier)曲线方式拉伸得到。其中，控制参数为四个控制点(t0、t1、t2、t3)。例如，当是对上述2中的拉伸体沿着最高三次Bezier曲线方式拉伸得到样条曲线结构时，控制参数具体的可以为(r_x1，r_x2，r_x3，r_x4，r_y1，r_y2，r_y3，r_y4)。

需要说明的是，本发明实施例中涉及到的几何图元包括但不限于上述四种类型的几何图元。并且，对于未列举的几何图元的参数描述可以参考上述四种类型的几何图元的参数描述，本发明实施例在此不再一一赘述。

例如，如图6所示，假设5个几何图元类型分别对应的参数是：(d_x1，d_y1，ratio1)、(d_x2，d_y2，ratio2)、(d_x3，d_y3，ratio3)、(d_x4，d_y4，ratio4)、(d_x5，d_y5，ratio5)，这样，得到的初始化参数为{(d_x1，d_y1，ratio1)、(d_x2，d_y2，ratio2)、(d_x3，d_y3，ratio3)、(d_x4，d_y4，ratio4)、(d_x5，d_y5，ratio5)}。

406、建模装置利用至少一个区域信息、每一帧图像的相机外参、待建模对象的轮廓信息、多个区域信息中部分或全部区域信息之间的连通性关系和从背景中分割出来的待建模对象，对初始化参数进行优化处理，得到目标参数。

其中，在建模装置得到初始化参数之后，可以通过不断的优化迭代求解，使得由优化后的参数，即目标参数对应的几何图元所组成的三维模型，在图像序列的第i帧图像中的投影和第i帧图像中原始的待建模对象的重叠度最高。

示例性的，在本发明实施例中，可以采用以下公式对初始化参数进行优化处理，以得到目标参数：

s.t.T＝T⁰+T'

T'≤O(T⁰)

其中，

I＝{I_i|1≤i≤n}

T＝{T_j|1≤j≤m}

公式(1)中的

用于衡量几何图元组成的三维模型投影到图像序列后，与图像序列中原始的待建模对象的重叠度，比较重叠度时采用的即是步骤403中分割出来的待建模对象。两者的重叠度越高，

的值越大。公式(1)中的e^-Con(T)用于衡量几何图元的连接性。越符合用户要求的连接规则，e^-Con(T)越大。例如，在用户未定义了几何图元的连接性时，获得目标参数的过程中，需考虑每组有连接性关系的几何图元的最近距离，若每组有连接性关系的几何图元的最近距离0，那么参考连接性的定义，可以得到Con(T)＝0。公式(1)中的λ_c表示e^-Con(T)的权重。

T由两部分组成T⁰和T'，T⁰表示初始化参数。T'表示由T⁰变换到的参数。T_j表示用户标注的每一个类型的几何图元，几何图元类型决定了其允许的参数变化。约束中的O(T⁰)表示每个几何图元在参数空间允许的最大变化范围。设置这个约束的好处是：1.最终得到的目标参数不会距离用户设定的初始化参数太远，避免求解陷入明显无效的局部最优解。2、用户交互时可以直接指定某些几何图元的某些自由度的值，从而减少搜索范围。

其中，I_i表示图像序列中的第i帧图像A。K_i(T)表示几何图元在对应的相机外参变换下，投影到图像空间形成的图像B。c(I_i)表示图像A的前景像素的数量。c(K_i(T))表示图像B的前景像素的数量。c(I_i,K_i(T))表示图像A和图像B重叠的前景像素的数量。

n表示图像序列包括的图像帧数，m表示组成待建模对象的几何图元个数，K_i表示采用SFM算法得到的第i帧图像的相机外参。Connectivity表示用户标注的所有具有连接性的几何图元的集合。d(T_a,T_b)表示具有连接性的两个几何图元(T_a和T_b)的最近点对的距离。diag(T)表示所有几何图元构成的对象的边界框(boundingbox)对角线长度，其作用是归一化。

另外，在具体确定目标参数时，为了避免同时优化T⁰和T'导致得到的目标函数极度非凸的情况出现，可以分为以下两个步骤求解目标参数。

步骤1：将T'设置为0，即在公式(1)的

中仅考虑用户标注的几帧，求T⁰的最优值。

另外，若用户指定了区域信息的对称性，则将指定的区域信息的对称性作为硬约束进行处理，具体做法为：如果用户指定了两个区域信息对应的几何图元T_a和T_b关于待建模对象的某一个轴对称，那么在步骤2之前将T_a的参数设置为与T_b对称，并且约束T_a和T_b的相对自由度，使得在步骤2中的求解过程中始终不破坏T_a和T_b的对称关系。

步骤2：将T⁰设置为步骤1求得到的最优值，然后再利用公式(1)求解，以得到最优的T'，并将最优的T'作为目标参数。

例如，对初始化参数{(d_x1，d_y1，ratio1)、(d_x2，d_y2，ratio2)、(d_x3，d_y3，ratio3)、(d_x4，d_y4，ratio4)、(d_x5，d_y5，ratio5)}进行迭代优化便可以得到目标参数，即得出(d_x1，d_y1，ratio1)、(d_x2，d_y2，ratio2)、(d_x3，d_y3，ratio3)、(d_x4，d_y4，ratio4)、(d_x5，d_y5，ratio5)中每个参数具体的最优值。

407、建模装置采用目标参数进行建模，得到待建模对象的三维模型。

其中，采用目标参数建模得到的三维模型在图像序列的第i帧图像中的投影和第i帧图像中原始的待建模对象的重叠度最高。

本发明实施例提供的建模方法，建模装置根据获取到的标注信息中包括的与每个区域信息对应的几何图元类型确定初始化参数，并利用至少一个区域信息、确定出的每一帧图像的相机外参，以及待建模对象的轮廓信息，对确定出的初始化参数进行优化得到目标参数，然后采用确定出的目标参数对待建模对象进行建模，以得到待建模对象的三维模型。建模装置通过根据标注信息中包括的与区域信息对应的几何图元类型确定初始化参数，并通过利用对初始化参数进行优化得到目标参数进行三维建模，实现了利用几何图元对待建模对象的三维建模。这样，用户只需在图像序列中对于待建模对象进行简单的区域轮廓勾勒，并指定相应的几何图元类型，相较于利用线、面的表面重建，简化了用户的交互工作，降低了用户交互量。

并且，通过根据预存的拍摄设备的相机内参矩阵消除图像序列包括的每一帧图像的镜头畸变，使得确定出的每一帧图像的相机外参更加准确。且，相较于现有技术中基于点和线的低层次的语义标注，通过采用中层次的语义标注(中层次的语义标注指的是几何图元的标注，以及几何图元的连通性关系的标注)，使得在相机外参存在误差的情况下，构建的三维模型的噪声得到了有效的降低，并避免了构建的模型表面不平滑，结构不对称等问题出现。

上述主要从各个网元之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，各个网元，例如建模装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对建模装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图8示出了上述和实施例中涉及的建模装置的一种可能的组成示意图，如图8所示，该建模装置可以包括：获取单元51、确定单元52、优化单元53、建模单元54。

其中，获取单元51，用于支持建模装置执行图3所示的建模方法中的步骤301、步骤302中所述的获取图像序列中待建模对象的轮廓信息、步骤303，图4所示的建模方法中的步骤401、步骤402中所述的获取图像序列中待建模对象的轮廓信息、步骤404。

确定单元52，用于支持建模装置执行图3所示的建模方法中的步骤302中所述的确定图像序列中每一帧图像的相机外参、步骤304，图4所示的建模方法中的步骤402中所述的确定图像序列中每一帧图像的相机外参、步骤405。

优化单元53，用于支持建模装置执行图3所示的建模方法中的步骤305，图4所示的建模方法中的步骤406。

建模单元54，用于支持建模装置执行图3所示的建模方法中的步骤306，图4所示的建模方法中的步骤407。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本发明实施例提供的建模装置，用于执行上述建模方法，因此可以达到与上述建模方法相同的效果。

在采用集成的单元的情况下，图9示出了上述实施例中所涉及的建模装置的另一种可能的组成示意图。如图9所示，该建模装置包括：处理模块61和通信模块62。

处理模块61用于对建模装置的动作进行控制管理，例如，处理模块61用于支持建模装置执行图3中的步骤301、步骤302、步骤303、步骤304、步骤305、步骤306，图4中的步骤401、步骤402、步骤403、步骤404、步骤405、步骤406、步骤407、和/或用于本文所描述的技术的其它过程。通信模块62用于支持建模装置与其他网络实体的通信，例如与图1中示出的功能模块或网络实体之间的通信。建模装置还可以包括存储模块63，用于存储建模装置的程序代码和数据。

其中，处理模块61可以是处理器或控制器。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块62可以是收发器、收发电路或通信接口等。存储模块63可以是存储器。

当处理模块61为处理器，通信模块62为通信接口，存储模块63为存储器时，本发明实施例所涉及的建模装置可以为图2所示的建模装置。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本发明实施例提供的建模装置，用于执行上述建模方法，因此可以达到与上述建模方法相同的效果。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种建模方法，其特征在于，包括：

获取图像序列，所述图像序列由至少一帧图像构成，且所述图像序列中包括待建模对象；

获取所述图像序列中所述待建模对象的轮廓信息，并确定所述图像序列中每一帧图像的相机外参；

获取用户输入的标注信息，所述标注信息中包括多个区域信息、与每个区域信息对应的几何图元类型和多个区域信息中部分或全部区域信息之间的连通性关系；

根据所述与每个区域信息对应的几何图元类型确定初始化参数；

利用所述多个区域信息、所述每一帧图像的相机外参、所述待建模对象的轮廓信息和所述多个区域信息中部分或全部区域信息之间的连通性关系，对所述初始化参数进行优化得到目标参数；

采用所述目标参数对所述待建模对象进行建模，得到所述待建模对象的三维模型；

所述利用所述多个区域信息、所述每一帧图像的相机外参、所述待建模对象的轮廓信息和所述多个区域信息中部分或全部区域信息之间的连通性关系，对所述初始化参数进行优化得到所述目标参数，包括：

根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对所述初始化参数进行优化得到所述目标参数；

其中，I＝{I_i|1≤i≤n}，T＝{T_j|1≤j≤m}，

I_i表示所述图像序列中的第i帧图像A，K_i表示第i帧图像的相机外参，K_i(T)表示几何图元在对应的相机外参变换下，投影到图像空间形成的图像B，c(I_i)表示所述图像A的前景像素的数量，c(K_i(T))表示所述图像B的前景像素的数量，c(I_i,K_i(T))表示所述图像A和所述图像B重叠的前景像素的数量，λ_c表示e^-Con(T)的权重，T⁰表示初始化参数，T'表示由T⁰变换到的参数，T_j表示用户标注的每一个类型的几何图元，O(T⁰)表示每个几何图元在参数空间允许的最大变化范围，n表示所述图像序列包括的图像帧数，m表示组成所述待建模对象的几何图元个数，Connectivity表示用户标注的所有具有连接性的几何图元的集合，d(T_a,T_b)表示具有连接性的两个几何图元T_a和T_b的最近点对的距离，diag(T)表示所有几何图元构成的对象的边界框对角线长度。

2.根据权利要求1所述的方法，其特征在于，所述根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对所述初始化参数进行优化得到所述目标参数，包括：

设置T'＝0，确定T⁰的最优值；

利用所述T⁰的最优值、

s.t.T＝T⁰+T'和T'≤O(T⁰)确定所述目标参数。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述图像序列中每一帧图像的相机外参，包括：

根据预存的拍摄设备的相机内参矩阵消除所述图像序列中的每一帧图像的镜头畸变，并针对消除镜头畸变后的每一帧图像，确定所述图像序列中每一帧图像的相机外参。

4.根据权利要求1或2所述的方法，其特征在于，所述待建模对象包括待建模物体或待建模场景。

5.根据权利要求3所述的方法，其特征在于，所述待建模对象包括待建模物体或待建模场景。

6.一种建模装置，其特征在于，包括：

获取单元，用于获取图像序列，所述图像序列由至少一帧图像构成，且所述图像序列中包括待建模对象；获取所述图像序列中所述待建模对象的轮廓信息；

确定单元，用于确定所述图像序列中每一帧图像的相机外参；

所述获取单元，还用于获取用户输入的标注信息，所述标注信息中包括多个区域信息、与每个区域信息对应的几何图元类型和多个区域信息中部分或全部区域信息之间的连通性关系；

所述确定单元，还用于根据所述获取单元获取到的所述与每个区域信息对应的几何图元类型确定初始化参数；

优化单元，用于利用所述获取单元获取到的所述多个区域信息、所述多个区域信息中部分或全部区域信息之间的连通性关系、所述确定单元确定出的所述每一帧图像的相机外参和所述获取单元获取到的所述待建模对象的轮廓信息，对所述确定单元确定出的所述初始化参数进行优化得到目标参数；

建模单元，用于采用所述优化单元得到的所述目标参数对所述待建模对象进行建模，得到所述待建模对象的三维模型；

所述优化单元，具体用于：

根据

s.t.T＝T⁰+T'和T'≤O(T⁰)对所述初始化参数进行优化得到所述目标参数；

其中，I＝{I_i|1≤i≤n}，T＝{T_j|1≤j≤m}，

I_i表示所述图像序列中的第i帧图像A，K_i表示第i帧图像的相机外参，K_i(T)表示几何图元在对应的相机外参变换下，投影到图像空间形成的图像B，c(I_i)表示所述图像A的前景像素的数量，c(K_i(T))表示所述图像B的前景像素的数量，c(I_i,K_i(T))表示所述图像A和所述图像B重叠的前景像素的数量，λ_c表示e^-Con(T)的权重，T⁰表示初始化参数，T'表示由T⁰变换到的参数，T_j表示用户标注的每一个类型的几何图元，O(T⁰)表示每个几何图元在参数空间允许的最大变化范围，n表示所述图像序列包括的图像帧数，m表示组成所述待建模对象的几何图元个数，Connectivity表示用户标注的所有具有连接性的几何图元的集合，d(T_a,T_b)表示具有连接性的两个几何图元T_a和T_b的最近点对的距离，diag(T)表示所有几何图元构成的对象的边界框对角线长度。

7.根据权利要求6所述的装置，其特征在于，优化单元，具体用于：

设置T'＝0，确定T⁰的最优值；

利用所述T⁰的最优值、

s.t.T＝T⁰+T'和T'≤O(T⁰)确定所述目标参数。

8.根据权利要求6或7所述的装置，其特征在于，

所述确定单元，具体用于根据预存的拍摄设备的相机内参矩阵消除所述图像序列中的每一帧图像的镜头畸变，并针对消除镜头畸变后的每一帧图像，确定所述图像序列中每一帧图像的相机外参。

9.根据权利要求6或7所述的装置，其特征在于，所述待建模对象包括待建模物体或待建模场景。

10.根据权利要求8所述的装置，其特征在于，所述待建模对象包括待建模物体或待建模场景。

Images