CN109816765B

CN109816765B - 面向动态场景的纹理实时确定方法、装置、设备和介质

Info

Publication number: CN109816765B
Application number: CN201910110044.2A
Authority: CN
Inventors: 方璐; 苏卓; 许岚
Original assignee: Tsinghua-Berkeley Shenzhen Institute
Current assignee: Tsinghua-Berkeley Shenzhen Institute
Priority date: 2019-02-11
Filing date: 2019-02-11
Publication date: 2023-06-27
Anticipated expiration: 2039-02-11
Also published as: CN109816765A

Abstract

本发明实施例公开了一种面向动态场景的纹理实时确定方法、装置、设备和介质，涉及计算机图形学技术领域。该方法包括：根据对当前帧对象表面模型不同视角的观测，生成至少一个描述重建对象表面纹理的当前帧纹理子图；根据当前帧彩色图确定各当前帧纹理子图的纹理；基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间；根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合；根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理。本发明实施例提供的一种面向动态场景的纹理实时确定方法、装置、设备和介质，实现了对三维模型表面纹理的实时，且准确的确定。

Description

面向动态场景的纹理实时确定方法、装置、设备和介质

技术领域

本发明实施例涉及计算机视觉及计算机图形学技术领域，尤其涉及一种面向动态场景的纹理实时确定方法、装置、设备和介质。

背景技术

三维重建是计算机视觉领域的重点问题。高质量的三维模型在AR、VR、游戏、影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。尤其实时的重建工作对于交互式(如远程立体视频会议，体感游戏、远程教学等)应用具有重要价值。为使得重建出的三维模型更加逼真，人们往往希望重建出的三维模型具有重建对象原有的纹理。

当前实时确定三维模型纹理的方法主要是：将位于同一融合空间的参考帧对象表面模型和当前帧对象表面模型进行整体空间的纹理融合。根据融合后的纹理，确定当前帧三维模型的纹理。

发明人在实现本发明的过程中发现如下问题：在动态场景实时纹理贴图的工作中，由于重建对象在运动的过程中接收光照强度的不同，导致重建对象上同一表面的纹理(典型的可以是颜色)在采集的各帧图像中呈现的也不同。而基于各帧对象表面模型在整体空间融合的纹理，往往会存在纹理模糊，不能反映重建对象真实纹理的问题。

发明内容

本发明实施例提供一种面向动态场景的纹理实时确定方法、装置、设备和介质，以实现对三维模型表面纹理的实时，且准确的确定。

第一方面，本发明实施例提供了一种面向动态场景的纹理实时确定方法，该方法包括：

根据对当前帧对象表面模型不同视角的观测，生成至少一个描述重建对象表面纹理的当前帧纹理子图；

根据当前帧彩色图确定各当前帧纹理子图的纹理；

基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间；

根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合；

根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理。

第二方面，本发明实施例还提供了一种面向动态场景的纹理实时确定装置，该装置包括：

子图生成模块，用于根据对当前帧对象表面模型不同视角的观测，生成至少一个描述重建对象表面纹理的当前帧纹理子图；

纹理填充模块，用于根据当前帧彩色图确定各当前帧纹理子图的纹理；

空间变形模块，用于基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间；

纹理融合模块，用于根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合；

纹理确定模块，用于根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理。

第三方面，本发明实施例还提供了一种终端，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的面向动态场景的纹理实时确定方法。

第四方面，本发明实施例还提供了一种一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的面向动态场景的纹理实时确定方法。

本发明实施例通过根据对当前帧对象表面模型不同视角的观测，生成至少一个描述重建对象表面纹理的当前帧纹理子图；然后根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合。从而实现实时且准确地纹理融合。

附图说明

图1为本发明实施例一提供的一种面向动态场景的纹理实时确定方法的流程图；

图2是本发明实施例二提供的一种面向动态场景的纹理实时确定装置的结构示意图；

图3为本发明实施例三提供的一种终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种面向动态场景的纹理实时确定方法的流程图。本实施例可适用于对动态重建的三维模型进行表面纹理实时确定的情况。可选的，本实施例可适用于基于单相机三维重建的情况，也可以适用于基于多相机三维重建的情况。该方法可以由一种面向动态场景的纹理实时确定装置来执行。该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的面向动态场景的纹理实时确定方法包括：

S110、根据对当前帧对象表面模型不同视角的观测，生成至少一个描述重建对象表面纹理的当前帧纹理子图。

其中，当前帧对象表面模型是基于当前帧深度图确定的，用于描述重建对象的几何表面。

当前帧深度图和当前帧彩色图通过深度相机采集得到。

当前帧纹理子图是基于当前帧确定的描述重建对象表面纹理的二维图像，各当前帧纹理子图构成了当前帧二维图集。

可选地，当前帧纹理子图可以是胳膊的纹理子图、腿的纹理子图、躯干的纹理子图和头的纹理子图。

典型地，当前帧纹理子图包括头的正视纹理子图、头的左视纹理子图、头的右视纹理子图、身体的正视纹理子图、身体的左视纹理子图和身体的右视纹理子图。

当前帧纹理子图可以通过对当前帧对象表面模型进行不同视角的观察确定。

表面纹理包括表面颜色。

S120、根据当前帧彩色图确定各当前帧纹理子图的纹理。

S130、基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间。

其中，参考帧纹理子图是基于参考帧对象表面模型，根据不同视角确定的。参考帧对象表面模型根据参考帧深度图确定。通常将采集的第一帧作为参考帧。

运动场用于描述参考帧至当前帧重建对象表面发生的变形。

融合空间是指参考帧纹理子图与当前帧纹理子图完全对应的空间。

当运动场绝对准确的情况下，融合空间可以是统一姿态空间。该统一姿态空间可以是参考帧姿态空间，也可以是当前帧姿态空间。其中，空间也可以理解为坐标系。

具体地，基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间之前，还包括：

对各帧纹理子图进行网格化；

相应的，基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间，包括：

根据运动场和各帧纹理子图的网格点坐标，对各帧纹理子图进行变形至同一融合空间。

为解决运动场误差导致的融合空间不统一的情况，根据运动场和各帧纹理子图的网格点坐标，对各帧纹理子图进行变形至同一融合空间，包括：

根据运动场对当前帧纹理子图进行变形，生成当前帧纹理子图的初始网格点坐标；

根据变形后当前帧纹理子图与参考帧纹理子图的特征匹配度和预设正则项，对初始网格点坐标进行优化。

具体地，根据变形后当前帧纹理子图与参考帧纹理子图的特征匹配度和预设正则项，对初始网格点坐标进行优化包括：

基于最小化能量方程，根据变形后当前帧纹理子图与参考帧纹理子图的特征匹配度和预设正则项，对初始网格点坐标进行优化，求解出优化后的各帧纹理子图变形后网格点坐标。其中所述能量方程定义如下：

其中，

是各帧纹理子图变形后网格点坐标，/>

是数据项，表征变形后当前帧纹理子图与参考帧纹理子图的特征距离，/>

是正则项，表征对每个纹理元素尽可能的平面化，α是权重系数。

pA是指更新后的参考帧纹理子图A中的点p，

为包含pA点网格的变形后的特征结果，pa是指当前帧纹理子图a中的点p，ω_pA为对应的双线性插值的权重。

{p_A,p_a}表示A_i和a_i之间基于ORB描述子和GMS匹配方法得到的特征对。通过将A_i网格化为多个单元格，并且可以进一步将每个单元格划分成两个三角形，以对纹理子图中的纹理元素进一步细化，从而提高对纹理子图的纹理描述准确度。

从A_i变形到a_i即可由网格的顶点的变形表述，变形记为

通过上述公式可以优化从A_i到a_i的2维变形。而正则项为:

v,v₀，v₁为按顺时针顺序排列的变形前网格化的三角形顶点，也即当前帧姿态空间下的定点坐标。

为按顺时针顺序排列的变形后网格化的三角形顶点，也即变形至参考帧姿态空间下的定点坐标。s＝||v-v₁||/||v₀-v₁||是初始网格的标度。/>

在当/>

在A的有效区域时取1，否则为0，A是更新后的参考帧纹理子图。通过这一项可以使每个纹理元素尽可能的二维化。

S140、根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合。

具体地，纹理融合系数可以根据需要设定。

可选地，纹理融合系数也可以根据当前帧对象表面模型中各点的法向与图像采集设备光轴之间的角度确定。

其中,所述角度与所述纹理融合系数负相关。

具体地，根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合，包括：

按照如下公式对各参考帧纹理子图进行纹理融合：

W_i(p)←min(W_i(p)+w_i(p)，w_max).

其中，i表示同一帧的不同纹理子图，p表示纹理子图中的不同点，A_i(p)是更新后的参考帧纹理子图，a_i(p)是当前帧纹理子图，Wi(p)是参与融合的不同帧纹理子图中相同点的纹理融合系数的累计值，ω_i(p)是当前帧纹理子图中待更新点的纹理融合系数，ω_i(p)＝cosα，α为待更新点当前帧对象表面模型的法向同相机光轴间的夹角，ω_max是设定最大融合系数。

具体地，根据各纹理子图描述区域的动态变化，确定各纹理子图的ω_max。

典型地，对于动态变化大的区域，如人脸(包含表情变化)的ω_max设置的就小一些，以提高置信当前帧纹理的程度，从而达成动态纹理贴图的效果。身体因为冬天变化相对较小，所以身体的ω_max设置的较大。例如，头部的ω_max设置为4，而身体的ω_max设置为8。

S150、根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理。

具体地，基于参考帧纹理子图与当前帧三维重建模型的空间对应关系，将参考帧纹理子图中的纹理对应拷贝至前帧三维重建模型中。为实现对当前帧中重建对象遮挡部分的纹理的确定，所述根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理之后，还包括：

将带有颜色的当前帧对象表面模型，作为在三维空间中维护的一个颜色体；

根据位于同一融合空间的参考帧对象表面模型，对所述颜色体进行整体空间的颜色融合；

若当前帧三维重建模型存在缺少颜色的表面，则从所述颜色体中获取缺少颜色的表面的颜色值。典型地，上述缺少颜色的表面是当前帧中重建对象遮挡部分的纹理。

本发明实施例的技术方案，通过利用时域上的融合每一个当前帧的纹理信息到参考帧中，以对参考帧纹理子图中的点进行纹理更新，从而实现在二维纹理坐标系下维护一个对应参考帧表面模型的二维图集(该二维图集包括各参考帧纹理子图)。同时在三维空间维护一个颜色体以作为表面模型在二维纹理图集中没有对应纹理信息处的纹理来源。

需要说明的是，基于上述实施例的技术教导，本领域技术人员有动机将上述实施方式进行组合，以实现对表面纹理的准确和实时确定。

实施例二

图2是本发明实施例二提供的一种面向动态场景的纹理实时确定装置的结构示意图。参见图2，本实施例提供的面向动态场景的纹理实时确定装置，包括：子图生成模块10、纹理填充模块20、空间变形模块30、纹理融合模块40和纹理确定模块50。

其中，子图生成模块10，用于根据对当前帧对象表面模型不同视角的观测，生成至少一个描述重建对象表面纹理的当前帧纹理子图；

纹理填充模块20，用于根据当前帧彩色图确定各当前帧纹理子图的纹理；

空间变形模块30，用于基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间；

纹理融合模块40，用于根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合；

纹理确定模块50，用于根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理。

进一步地，所述装置，还包括：系数确定模块。

其中，系数确定模块，用于根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合之前，根据当前帧对象表面模型中各点的法向与图像采集设备光轴之间的角度，确定所述各点的纹理融合系数。

进一步地，所述的装置，还包括：颜色体确定模块、三维纹理融合模块和表面纹理确定模块。

其中，颜色体确定模块，用于所述根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理之后，将带有颜色的当前帧对象表面模型，作为在三维空间中维护的一个颜色体；三维纹理融合模块，用于根据位于同一融合空间的参考帧对象表面模型，对所述颜色体进行整体空间的颜色融合；

表面纹理确定模块，用于用于若当前帧三维重建模型存在颜色的表面，则从所述颜色体中获取缺少颜色的表面的颜色值。

进一步地，所述装置还包括：网格化模块。

网格化模块，用于基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间之前，对各帧纹理子图进行网格化；

相应的，空间变形模块，包括：空间变形单元。

其中，空间变形单元，用于根据运动场和各帧纹理子图的网格点坐标，对各帧纹理子图进行变形至同一融合空间。

进一步地，空间变形单元具体用于：

进一步地，纹理融合模块，包括：纹理融合单元。

其中，纹理融合单元，用于按照如下公式对各参考帧纹理子图进行纹理融合：

W_i(p)←min(W_i(p)+w_i(p)，w_max).

进一步地，根据各纹理子图描述区域的动态变化，确定各纹理子图的ω_max。

本发明实施例所提供的面向动态场景的纹理实时确定装置可执行本发明任意实施例所提供的面向动态场景的纹理实时确定方法，具备执行方法相应的功能模块和有益效果。

实施例三

图3为本发明实施例三提供的一种终端的结构示意图。如图3所示，该终端包括处理器70、存储器71、输入装置72和输出装置73；终端中处理器70的数量可以是一个或多个，图3中以一个处理器70为例；终端中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图3中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的面向动态场景的纹理实时确定方法对应的程序指令/模块(例如，面向动态场景的纹理实时确定装置中的子图生成模块10、纹理填充模块20、空间变形模块30、纹理融合模块40和纹理确定模块50)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行终端的各种功能应用以及数据处理，即实现上述的面向动态场景的纹理实时确定方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种面向动态场景的纹理实时确定方法。该方法包括：

根据当前帧彩色图确定各当前帧纹理子图的纹理；

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的面向动态场景的纹理实时确定方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述面向动态场景的纹理实时确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种面向动态场景的纹理实时确定方法，其特征在于，包括：

根据当前帧彩色图确定各当前帧纹理子图的纹理；

根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理；

所述根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合，包括：

按照如下公式对各参考帧纹理子图进行纹理融合：

W_i(p)←min(W_i(P)+w_i(p)，w_max)，

其中，i表示同一帧的不同纹理子图，p表示纹理子图中的不同点，A_i(p)是更新后的参考帧纹理子图，a_i(p)是当前帧纹理子图，W_i(p)是参与融合的不同帧纹理子图中相同点的纹理融合系数的累计值，ω_i(p)是当前帧纹理子图中待更新点的纹理融合系数，ω_i(p)＝cosα，α为待更新点当前帧对象表面模型的法向同相机光轴间的夹角，ω_max是设定最大融合系数。

2.根据权利要求1所述的方法，其特征在于，根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合之前，还包括：

根据当前帧对象表面模型中各点的法向与图像采集设备光轴之间的角度，确定所述各点的纹理融合系数。

3.根据权利要求1所述的方法，其特征在于，根据各纹理子图描述区域的动态变化，确定各纹理子图的ω_max。

4.根据权利要求1所述的方法，其特征在于，所述根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理之后，还包括：

若当前帧三维重建模型存在缺少颜色的表面，则从所述颜色体中获取缺少颜色的表面的颜色值。

5.根据权利要求1所述的方法，其特征在于，基于运动场当前帧纹理子图和已确定的参考帧纹理子图变形至同一融合空间之前，还包括：

对各帧纹理子图进行网格化；

6.根据权利要求5所述的方法，其特征在于，根据运动场和各帧纹理子图的网格点坐标，对各帧纹理子图进行变形至同一融合空间，包括：

7.一种面向动态场景的纹理实时确定装置，其特征在于，包括：

纹理确定模块，用于根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理；

所述纹理融合模块，包括：纹理融合单元；

W_i(p)←min(W_i(p)+w_i(p)，w_max)，

8.根据权利要求7所述的装置，其特征在于，还包括：

系数确定模块，用于根据纹理融合系数，基于同一融合空间下的当前帧纹理子图，对参考帧纹理子图进行纹理融合之前，根据当前帧对象表面模型中各点的法向与图像采集设备光轴之间的角度，确定所述各点的纹理融合系数。

9.根据权利要求8所述的装置，其特征在于，还包括：

颜色体确定模块，用于所述根据融合后的参考帧纹理子图，确定当前帧三维重建模型的表面纹理之后，将带有颜色的当前帧对象表面模型，作为在三维空间中维护的一个颜色体；

三维纹理融合模块，用于根据位于同一融合空间的参考帧对象表面模型，对所述颜色体进行整体空间的颜色融合；

表面纹理确定模块，用于若当前帧三维重建模型存在颜色的表面，则从所述颜色体中获取缺少颜色的表面的颜色值。

10.根据权利要求7所述的装置，其特征在于，还包括：

相应的，空间变形模块，包括：

空间变形单元，用于根据运动场和各帧纹理子图的网格点坐标，对各帧纹理子图进行变形至同一融合空间。

11.根据权利要求10所述的装置，其特征在于，空间变形单元具体用于：

12.一种终端，其特征在于，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的面向动态场景的纹理实时确定方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的面向动态场景的纹理实时确定方法。