CN114170379A - 一种三维模型重建方法、装置及设备 - Google Patents
一种三维模型重建方法、装置及设备 Download PDFInfo
- Publication number
- CN114170379A CN114170379A CN202111441077.9A CN202111441077A CN114170379A CN 114170379 A CN114170379 A CN 114170379A CN 202111441077 A CN202111441077 A CN 202111441077A CN 114170379 A CN114170379 A CN 114170379A
- Authority
- CN
- China
- Prior art keywords
- parameters
- image
- dimensional
- reconstruction
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000000605 extraction Methods 0.000 claims abstract description 107
- 238000009877 rendering Methods 0.000 claims abstract description 44
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 abstract description 3
- 210000003128 head Anatomy 0.000 description 34
- 238000004891 communication Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000004215 skin function Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种三维模型重建方法、装置及设备，涉及VR/AR技术领域，该方法包括：获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块；利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；将所述图像特征参数传输到云端。本申请能够大大降低数据量，有效解决了采集端大量计算问题、传输端数据压力大的问题，保证了较好的渲染质量。
Description
技术领域
本发明涉及AR/VR技术领域，具体涉及一种三维模型重建方法、装置及设备。
背景技术
远程三维通讯交互系统一般可分为三端：采集端、云端、显示端。采集端负责远程采集数据，云端负责对三维模型数据进行重建，显示端从云端获得数据进行渲染。
目前对高精度模型的需要越来越广泛，高精度的人体模型三维重建主要包括以下几种：
通过光学扫描仪采集数据进行三维重建，要求采集对象在整个扫描过程中保持静止不动数秒甚至数分钟的时间，通过将多个角度的高精度三维扫描信息进行拼接最终重建出高精度的人体静态三维模型。
基于统计模型的三维人脸重建算法，通过对大量样本进行采样与统计分析，建立一个人脸数据库。主要思想是假设任意三维人脸都可以在一个平均的三维人脸模型上进行线性变换后表示，将平均模型与输入图像进行迭代匹配比对，形变平均模型以匹配输入图像，从而实现三维重建。
而上述高精度的人体模型三维重建方式，是由云端完成三维重建后将重建后的高精度的人体模型的三维数据传输到显示端，实时三维重建的精细化会引起三维几何数据量的递增，这样会导致云端传输压力，造成渲染应用端的视觉延迟。因此，需要提供有效保证重建模型精度，并可以降低传输带宽占用，保证低延迟的解决方案。
发明内容
本申请实施例提供了一种三维模型重建方法、装置及设备，通过对采集的二维图像进行特征提取，得到二维图像的图像特征参数，将所述图像特征参数传输至云端，实现了少量数据传输。
第一方面，本申请实施例提供了一种三维模型重建方法，应用于采集端，所述方法包括：
获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块；
利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
将所述图像特征参数传输到云端。
在一种可能的实施方式中，利用所述特征提取模块提取所述二维图像的图像特征参数，包括：
利用所述特征提取模块提取所述二维图像的形状参数、表情参数和姿态参数：
将所述图像特征参数传输到云端，包括：
确定所述二维图像为关键帧图像时，将形状参数、表情参数和姿态参数传输到云端；
确定所述二维图像为非关键帧图像时，将所述表情参数和姿态参数传输到云端。
在一种可能的实施方式中，所述将所述图像特征参数传输到云端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数传输到云端。
在一种可能的实施方式中，通过如下方式调整所述特征提取层和重建层的参数：
将样本图像输入特征提取层对样本图像进行特征提取，得到图像特征参数对应的图像特征向量；
将图像特征向量输入到重建层，利用重建层的基函数基于所述图像特征向量确定基准三维模型中不同顶点对应的权重参数，并根据权重参数计算得到预测三维模型中各顶点的坐标，基于计算的各顶点坐标及三角面片索引的顶点确定并输出预测三维模型；
根据预测三维模型与样本三维模型的差值确定损失函数值，根据损失函数值调整所述特征提取层和重建层的参数。
第二方面，本申请实施例提供了一种三维模型重建方法，应用于云端，所述方法包括：
接收采集端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
将所述图像特征参数进行编解码处理后传输至渲染端。
在一种可能的实施方式中，所述将所述图像特征参数进行编解码处理后传输至渲染端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数编解码处理后传输至渲染端。
第三方面，本申请实施例提供了一种三维模型重建方法，应用于渲染端，所述方法包括：
接收云端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
将所述图像特征参数输入到三维重建模块，利用三维重建模块得到重构的三维模型，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述重建层作为三维重建模块。
第四方面，本申请实施例提供了一种三维模型重建装置，应用于采集端，所述装置包括：
图像采集模块，用于获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块；
特征提取模块，用于利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
参数传输模块，用于将所述图像特征参数传输到云端。
第五方面，本申请实施例提供了一种三维模型重建装置，应用于云端，所述装置包括：
接收参数模块，用于接收采集端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
参数传输模块，用于将所述图像特征参数进行编解码处理后传输至渲染端。
第六方面，本申请实施例提供了一种三维模型重建装置，应用于渲染端，所述装置包括：
接收参数模块，用于接收云端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
三维重建模块，用于将所述图像特征参数输入到三维重建模块，利用三维重建模块得到重构的三维模型，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述重建层作为三维重建模块。
第七方面，本申请实施例提供了一种三维模型重建设备，所述设备包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行一种三维模型重建方法中的任一方法。
第八方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序产品用于使计算机执行一种三维模型重建方法中的任一方法。
本申请实施例提供了一种三维模型重建方法、装置及设备，通过对采集的二维图像进行特征提取，得到二维图像的图像特征参数，将所述图像特征参数传输至云端，有效解决了采集端大量计算问题、传输端数据压力大问题、渲染端延迟和真实感问题。
附图说明
图1为根据本发明示例性实施例示例的一种远程通讯系统示意图；
图2为根据本发明示例性实施例示例的一种三维模型重建方法应用场景示意图；
图3为根据本发明示例性实施例示例的一种传统的渲染方式；
图4为根据本发明示例性实施例示例的一种三维模型重建方法的流程示意图；
图5为根据本发明示例性实施例示例的一种三维模型重建方法的流程示意图；
图6为根据本发明示例性实施例示例的一种三维模型重建方法的流程示意图；
图7为根据本发明示例性实施例示例的一种参数传递与优化过程示意图；
图8为根据本发明示例性实施例示例的一种三维模型重建装置意图；
图9为根据本发明示例性实施例示例的一种三维模型重建装置意图；
图10为根据本发明示例性实施例示例的一种三维模型重建装置意图；
图11为根据本发明示例性实施例示例的一种三维模型重建装置意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供的三维模型重建方法应用于远程通讯场景，如图1所示为远程通讯系统示意图，所述系统包括采集端101、云端102、渲染端103，采集端包括RGBD相机101_1、主机/工作站101_2。其中RGBD相机101_1用于采集二维图像；主机/工作站101_2用于对采集的二维图像进行相应的处理；云端102用于数据的传输；渲染端103包括手机、电视、VR/AR头盔，用于三维模型的重建。
需要说明的是，图1示出的系统架构可根据不同的使用场景进行部署，比如在直播场景中，主播端设置本系统的采集端设备，用户可以通过VR/AR眼镜、手机、电视等进行重建模型的浏览；再比如在会议场景中，远程会议的两个会议室需要同时布置采集端设备与渲染显示端设备，进行两个会议室内的实时三维通讯。
基于图1示出的系统架构，图2示例性示出了本申请实施例提供的应用场景示意图。如图2所示，用户端1至用户端4进行实时远程三维通讯，用户端1至用户端4分别布置了采集端设备(包括RGBD相机和主站/工作站)和渲染端设备(包括电视、手机、VR/AR头显的全部或部分)，远程三维通讯过程中用户端1的三维重建模型可上传到云端服务器，用户端2至用户端4从云端服务器下载用户端1的三维重建模型并同步显示，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维重建模型，依此类推。
需要说明的是，图2仅是多人远程三维通讯的一种示例，本申请实施例对远程三维通讯的用户端数不做限制性要求。
如图3所示为传统的渲染方式，使用采集端进行RGB/RGBD数据的采集，在采集端进行三维模型的重建，将重建后的高精度的人体模型的三维数据传输到云端，经云端服务器编解码后传输到渲染端。
为了解决上述传输方式造成的云端传输压力大、渲染端的视觉延迟的问题，采用如图4所示的方法：
S401：获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块。
在一种可能的实施方式中，本申请实施例用于头部三维模型的重建。使用RGB/RGBD相机，包括但不限于Azure Kinect DK或者Realsense相机。采集头部RGB二维图像以及深度二维图像，所述深度二维图像描述的是头部各个部位距离相机的距离。当没有采集到深度二维图像时，仅通过RGB二维图像也可以完成本实施例提供的三维模型重建方法。
将采集的二维图像输入到特征提取模块进行图像参数的提取，提取的图像参数包括姿态参数和表情参数(以多维数组的形式表示)。姿态参数包括头部左转、右转、低头、抬头等；表情参数包括：微笑、皱眉、张嘴等。
将特征提取模块部署在采集端，将三维重建模块部署在渲染端，训练时，可以在同一设备中利用一批样本实现特征提取模块和三维重建模块的训练，及将样本输入包括特征提取层和重建层的网络模型，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模。
在采集二维图像的过程中，会采集头部多方位的二维图像，例如在点头动作时，采集头部的正面二维图像和侧面二维图像。
S402：利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数。
在一种可能的实施方式中，利用所述特征提取模块提取所述二维图像的图像特征参数，包括：
利用所述特征提取模块提取所述二维图像的形状参数、表情参数和姿态参数。
在图像特征参数提取的过程中，提取二维图像中的形状参数、表情参数和姿态参数。形状参数用于描述的是头部的几何特征，当人的头部进行动作或者做面部表情时，其几何特征不会产生大的变化，因此虽然对每一帧的二维图像都进行形状参数的提取，但是在后续进行图像特征参数传输或三维模型重建的过程中，并不是每一帧的二维图像的形状参数都会用到。
S403：将所述图像特征参数传输到云端。
在一种可能的实施方式中，将所述图像特征参数传输到云端，包括：
确定所述二维图像为关键帧图像时，将形状参数、表情参数和姿态参数传输到云端；
确定所述二维图像为非关键帧图像时，将所述表情参数和姿态参数传输到云端。
从每一帧二维图像提取形状参数会存在差异，但是人头部的形状不会因为姿态或表情的改变而发生变化，因此形状参数只进行一次传输，即将头部的几何形状固定下来。在之后的图像特征参数传输中只传输姿态参数和表情参数。可以将传输的第一帧二维图像作为关键帧图像，也可以根据用户的需求进行关键帧图像的选择，一般将头部正面的二维图像作为关键帧。
本申请实施例提供了一种三维模型重建方法，通过对采集的二维图像进行特征提取，得到二维图像的图像特征参数，将所述图像特征参数代替重建后的高精度的人体模型的三维数据传输至云端，能够大大降低数据量，有效解决了采集端大量计算问题、传输端数据压力大的问题。
本申请提供的实施例中，通过如下方式调整所述特征提取层和重建层的参数：
将样本图像输入特征提取层对样本图像进行特征提取，得到图像特征参数对应的图像特征向量；
将图像特征向量输入到重建层，利用重建层的基函数基于所述图像特征向量确定基准三维模型中不同顶点对应的权重参数，并根据权重参数计算得到预测三维模型中各顶点的坐标，基于计算的各顶点坐标及三角面片索引的顶点确定并输出预测三维模型；
根据预测三维模型与样本三维模型的差值确定损失函数值，根据损失函数值调整所述特征提取层和重建层的参数。
首先将样本图像输入如公式1的特征提取层中进行特征提取：
其中，
表示头部形状参数，
表示头部姿态参数，
表示面部表情参数，
可以唯一标识头部三维几何模型的一个顶点坐标，Bs()表示头部形状参数对头部模型网格T的影响函数，Bp()表示头部姿态参数对头部模型网格T的影响函数，Be()表示面部表情参数对头部模型网格T的影响函数，S表示头部形状的权重，P表示头部姿态的权重，E表示面部表情的权重。Tp()表示在头部形状参数、头部姿态参数和面部表情参数的共同作用下对头部模型网格T进行形变的函数。
然后将提取到的各图像特征参数对应的特征向量输入到如公式2的重建层中进行三维模型的重建：
可以将公式2看作一个基函数，该基函数包括2个部分标准的线性混合蒙皮(Linear blend skinning,LBS)和混合形状(Blend Shape)，其采用的标准网格模型网格顶点数为N＝5023，关节数为K＝4(位于颈部、下颚和两个眼球)。W表示标准的线性蒙皮函数，它将头部模型网格T沿关节J进行变换，W为蒙皮权重，即确定基准三维模型中不同顶点对应的权重参数。
基准的三维模型由三角面片及与各三角面片对应索引的顶点构成，每个顶点对应唯一的坐标，各三角面片对应索引的顶点为固定的，当头部动作或面部产生表情时，其顶点坐标会发生变化。
基准三维模型中的每个顶点都对应一个权重参数，例如微笑动作一般描述为嘴角部位上扬，因此当使用微笑的样本图片训练模型时，嘴部各顶点变化会比较明显，所占权重较大，而鼻子部位的变化不明显，所占权重较小，然后根据各顶点的权重参数计算得到预测三维模型中各顶点的坐标，并基于计算的各顶点坐标及三角面片索引的顶点确定并输出预测三维模型。
在训练的过程中，将样本图片输入到公式1中，经过上述特征提取和重建两个步骤输出重建的样本三维模型，根据预测三维模型与样本三维模型的差值确定损失函数值，根据损失函数值调整所述特征提取层和重建层的参数。一旦训练成功，只要提供
等参数即可得到拓扑一致的头部模型。上述方法能够在通过少量的参数表达一个具有实时非刚性变形特点的头部模型，可以作为单张图片生成三维头部模型的基础，并且不受不可见区域几何缺失的影响。
基于相同的发明构思，本申请实施例提供了一种三维模型重建方法，如图5所示，应用于云端，所述方法包括：
S501：接收采集端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数。
与传统方式的接收重建后的高精度的人体模型的三维数据不同，接收采集端传输的二维图像的图像特征参数数据量可比传统方式降低几十倍，在此种情况下依然可以支撑实时三维通讯。
图像特征参数的提取过程如前述。
S502：将所述图像特征参数进行编解码处理后传输至渲染端。
经二维图像提取的图像特征参数无法直接用于渲染端三维模型的重建，需要在云端进行编解码的处理。
基于本申请实施例提供了一种三维模型重建方法，如图6所示，应用于渲染端，所述方法包括：
S601：接收云端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数。
在考虑到传输图像特征参数的过程中出现参数不稳定的情况下，可以在云端对图像特征参数进行优化，将优化后的图像特征参数传输至渲染端。
渲染端设备可以包括但不限于：VR/AR头盔、电视、手机。
所述二维图像的图像特征参数的提取过程如前述。
S602：将所述图像特征参数输入到三维重建模块，利用三维重建模块得到重构的三维模型，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述重建层作为三维重建模块。
将三维重建模块部署在渲染端，训练时，可以在同一设备中利用一批样本实现特征提取模块和三维重建模块的训练，及将样本输入包括特征提取层和重建层的网络模型，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述重建层作为三维重建模块。
其具体训练过程如前述。
本申请实施例一种三维模型重建方法的参数传递与优化过程如图7所示，包括采集端、云端、渲染端。
在采集端：通过RGBD相机进行二维图像的采集，然后使用特征提取模块对所述二维图像进行特征提取，得到图像特征参数，所述图像特征参数包括形状参数、姿态参数和表情参数，在第一次图像特征参数传输的过程中，将形状参数、姿态参数和表情参数传输至云端，之后只传输姿态参数和表情参数。
在云端：由于在实时参数传递过程中，主要进行姿态参数及表情参数的传递，这个在传递过程中带来的问题是，由于这些参数都是每帧估计，会有可能带来参数的不稳定，特别是当采集帧率不够时，非常有可能会出现渲染端的模型的跳动，尤其时嘴部及眼部这些几何三角面较多的部分，由此需要进行传递参数的滤波优化，来减弱及削减跳动带来的渲染端模型效果，同时还需要考虑参数优化方法的实时性，不能够对时延产生影响。将图像特征参数传输至云端后，对所述图像特征参数进行优化。
在一种可能的实施方式中，所述将所述图像特征参数进行编解码处理后传输至渲染端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数编解码处理后传输至渲染端。
在一种可能的实施方式中，参数优化的过程也可以在将图像特征参数传输至云端之前，所述将所述图像特征参数传输到云端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数传输到云端。
参数传递优化的过程即为滤波的过程，在将图像特征参数传输至渲染端之间进行即可。在云端进行图像特征参数优化后，将优化后的图像特征参数进行编解码后传输至渲染端。滤波处理可滤掉光谱数据中的高频噪声，较好地保留原信号的真实性。消除抖动，使得在渲染端能够稳定的重建与渲染，提高渲染端效果。
在渲染端，接收图像特征参数后，利用所述图像特征参数进行头部模型的构建，最后对所述模型进行渲染。
基于相同的发明构思，本申请实施例提供了一种三维模型重建装置800，应用于采集端，如图8所示，所述装置包括：
图像采集模块801，用于获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块；
特征提取模块802，用于利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
参数传输模块803，用于将所述图像特征参数传输到云端。
在一种可能的实施方式中，利用所述特征提取模块提取所述二维图像的图像特征参数，包括：
利用所述特征提取模块提取所述二维图像的形状参数、表情参数和姿态参数：
参数传输模块将所述图像特征参数传输到云端，包括：
确定所述二维图像为关键帧图像时，将形状参数、表情参数和姿态参数传输到云端；
确定所述二维图像为非关键帧图像时，将所述表情参数和姿态参数传输到云端。
在一种可能的实施方式中，特征提取模块将所述图像特征参数传输到云端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数传输到云端。
在一种可能的实施方式中，通过如下方式调整所述特征提取层和重建层的参数：
将样本图像输入特征提取层对样本图像进行特征提取，得到图像特征参数对应的图像特征向量；
将图像特征向量输入到重建层，利用重建层的基函数基于所述图像特征向量确定基准三维模型中不同顶点对应的权重参数，并根据权重参数计算得到预测三维模型中各顶点的坐标，基于计算的各顶点坐标及三角面片索引的顶点确定并输出预测三维模型；
根据预测三维模型与样本三维模型的差值确定损失函数值，根据损失函数值调整所述特征提取层和重建层的参数。
基于本申请实施例提供了一种三维模型重建装置900，应用于采集端，如图9所示，所述装置包括：
接收参数模块901，用于接收采集端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
参数传输模块902，用于将所述图像特征参数进行编解码处理后传输至渲染端。
在一种可能的实施方式中，参数传输模块将所述图像特征参数进行编解码处理后传输至渲染端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数编解码处理后传输至渲染端。
基于本申请实施例提供了一种三维模型重建装置1000，应用于渲染端，如图10所示，所述装置包括：
接收参数模块1001，用于接收云端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
三维重建模块1002，用于将所述图像特征参数输入到三维重建模块，利用三维重建模块得到重构的三维模型，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述重建层作为三维重建模块。
基于相同的发明构思，本申请实施了提供了一种三维模型重建设备，如图11所示，所述设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中的任一三维模型重建的方法。
下面参照图11来描述根据本申请的这种实施方式的电子设备130。图11显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
所述处理器131用于读取所述存储器132中的指令并执行，以使所述至少一个处理器能够执行上述实施例提供的三维模型重建的方法。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的一种三维模型重建方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种三维模型重建方法的步骤。
另外，本申请还提供一种计算机程序产品，所述计算机程序产品用于使计算机执行上述实施例中任何一项所述的方法。
这些计算机程序指令可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种三维模型重建方法，其特征在于，应用于采集端，所述方法包括：
获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块；
利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
将所述图像特征参数传输到云端。
2.根据权利要求1所述的方法，其特征在于，利用所述特征提取模块提取所述二维图像的图像特征参数，包括：
利用所述特征提取模块提取所述二维图像的形状参数、表情参数和姿态参数：
将所述图像特征参数传输到云端，包括：
确定所述二维图像为关键帧图像时，将形状参数、表情参数和姿态参数传输到云端；
确定所述二维图像为非关键帧图像时，将所述表情参数和姿态参数传输到云端。
3.根据权利要求1所述的方法，其特征在于，所述将所述图像特征参数传输到云端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数传输到云端。
4.根据权利要求1所述的方法，其特征在于，通过如下方式调整所述特征提取层和重建层的参数：
将样本图像输入特征提取层对样本图像进行特征提取，得到图像特征参数对应的图像特征向量；
将图像特征向量输入到重建层，利用重建层的基函数基于所述图像特征向量确定基准三维模型中不同顶点对应的权重参数，并根据权重参数计算得到预测三维模型中各顶点的坐标，基于计算的各顶点坐标及三角面片索引的顶点确定并输出预测三维模型；
根据预测三维模型与样本三维模型的差值确定损失函数值，根据损失函数值调整所述特征提取层和重建层的参数。
5.一种三维模型重建方法，其特征在于，应用于云端，所述方法包括：
接收采集端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
将所述图像特征参数进行编解码处理后传输至渲染端。
6.根据权利要求5所述的方法，其特征在于，所述将所述图像特征参数进行编解码处理后传输至渲染端，包括：
利用高频噪声滤波算法对至少一个二维图像的同一图像特征参数滤波处理，所述高频噪声滤波算法包括滑动平均化、指数滑动平均法和SG滤波法；
将滤波处理后的图像特征参数编解码处理后传输至渲染端。
7.一种三维模型重建方法，其特征在于，应用于渲染端，所述方法包括：
接收云端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
将所述图像特征参数输入到三维重建模块，利用三维重建模块得到重构的三维模型，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述重建层作为三维重建模块。
8.一种三维模型重建装置，其特征在于，应用于采集端，所述装置包括：
图像采集模块，用于获取采集的二维图像，将所述二维图像输入到特征提取模块，其中，通过将样本图像输入特征提取层对样本图像进行特征提取，利用重建层根据提取的图像特征参数进行三维模型重建并输出，以输出样本三维模型为目标调整所述特征提取层和重建层的参数，调整结束时将所述特征提取层作为特征提取模块；
特征提取模块，用于利用所述特征提取模块提取所述二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
参数传输模块，用于将所述图像特征参数传输到云端。
9.一种三维模型重建装置，其特征在于，应用于云端，所述装置包括：
接收参数模块，用于接收采集端传输的二维图像的图像特征参数，所述图像特征参数包括形状参数、表情参数和姿态参数；
参数传输模块，用于将所述图像特征参数进行编解码处理后传输至渲染端。
10.一种三维模型重建设备，其特征在于，所述设备包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4中任何一项所述的方法，或执行如权利要求5-6中任何一项所述的方法，或执行如权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111441077.9A CN114170379A (zh) | 2021-11-30 | 2021-11-30 | 一种三维模型重建方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111441077.9A CN114170379A (zh) | 2021-11-30 | 2021-11-30 | 一种三维模型重建方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114170379A true CN114170379A (zh) | 2022-03-11 |
Family
ID=80481835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111441077.9A Pending CN114170379A (zh) | 2021-11-30 | 2021-11-30 | 一种三维模型重建方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170379A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246014A (zh) * | 2022-12-28 | 2023-06-09 | 支付宝(杭州)信息技术有限公司 | 一种形象生成方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458924A (zh) * | 2019-07-23 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种三维脸部模型建立方法、装置和电子设备 |
| CN110717977A (zh) * | 2019-10-23 | 2020-01-21 | 网易（杭州）网络有限公司 | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 |
| CN111598998A (zh) * | 2020-05-13 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 三维虚拟模型重建方法、装置、计算机设备和存储介质 |
| CN111768477A (zh) * | 2020-07-06 | 2020-10-13 | 网易（杭州）网络有限公司 | 三维人脸表情基建立方法及装置、存储介质及电子设备 |
| CN112862949A (zh) * | 2021-01-18 | 2021-05-28 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
| CN113096249A (zh) * | 2021-03-30 | 2021-07-09 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
-
2021
- 2021-11-30 CN CN202111441077.9A patent/CN114170379A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458924A (zh) * | 2019-07-23 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种三维脸部模型建立方法、装置和电子设备 |
| CN110717977A (zh) * | 2019-10-23 | 2020-01-21 | 网易（杭州）网络有限公司 | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 |
| CN111598998A (zh) * | 2020-05-13 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 三维虚拟模型重建方法、装置、计算机设备和存储介质 |
| CN111768477A (zh) * | 2020-07-06 | 2020-10-13 | 网易（杭州）网络有限公司 | 三维人脸表情基建立方法及装置、存储介质及电子设备 |
| CN112862949A (zh) * | 2021-01-18 | 2021-05-28 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
| CN113096249A (zh) * | 2021-03-30 | 2021-07-09 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246014A (zh) * | 2022-12-28 | 2023-06-09 | 支付宝(杭州)信息技术有限公司 | 一种形象生成方法、装置、存储介质及电子设备 |
| CN116246014B (zh) * | 2022-12-28 | 2024-05-14 | 支付宝(杭州)信息技术有限公司 | 一种形象生成方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11348283B2 (en) | Point cloud compression via color smoothing of point cloud prior to texture video generation | |
| US20110292054A1 (en) | System and Method for Low Bandwidth Image Transmission | |
| CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
| WO2019238114A1 (zh) | 动态模型三维重建方法、装置、设备和存储介质 | |
| CN113313818B (zh) | 一种三维重建方法、装置及系统 | |
| CN112837406B (zh) | 一种三维重建方法、装置及系统 | |
| CN111402399B (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
| CN115082639A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN110769323B (zh) | 一种视频通信方法、系统、装置和终端设备 | |
| CN109191366B (zh) | 基于人体姿态的多视角人体图像合成方法及装置 | |
| CN116051740A (zh) | 一种基于神经辐射场的室外无界场景三维重建方法及系统 | |
| CN113781613A (zh) | 表情驱动方法、系统及计算机设备 | |
| CN115272570A (zh) | 虚拟表情生成方法、装置、电子设备和存储介质 | |
| WO2024078243A1 (zh) | 视频生成模型的训练方法、装置、存储介质及计算机设备 | |
| CN114821675A (zh) | 对象的处理方法、系统和处理器 | |
| CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
| CN114170379A (zh) | 一种三维模型重建方法、装置及设备 | |
| EP4162691A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
| CN105554040A (zh) | 远程视频监控方法和系统 | |
| CN115239857B (zh) | 图像生成方法以及电子设备 | |
| CN116012509A (zh) | 一种虚拟形象的驱动方法、系统、设备及存储介质 | |
| CN115908712A (zh) | 基于图像的三维重建及模型训练方法、设备及存储介质 | |
| CN112257653A (zh) | 空间装饰效果图确定方法、装置、存储介质与电子设备 | |
| CN111556304A (zh) | 一种全景影像处理方法、装置及系统 | |
| US20240212252A1 (en) | Method and apparatus for training video generation model, storage medium, and computer device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |