CN108769644A - 一种基于深度学习的双目动画风格化渲染方法 - Google Patents
一种基于深度学习的双目动画风格化渲染方法 Download PDFInfo
- Publication number
- CN108769644A CN108769644A CN201810576526.2A CN201810576526A CN108769644A CN 108769644 A CN108769644 A CN 108769644A CN 201810576526 A CN201810576526 A CN 201810576526A CN 108769644 A CN108769644 A CN 108769644A
- Authority
- CN
- China
- Prior art keywords
- image
- binocular
- pixel
- eye
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于深度学习的双目动画风格化渲染方法,解决了双目动画内容风格化的问题。该方法将渲染过程分成两层,第一层渲染原始图像,视差图,运动场,遮挡图等场景信息,第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到,保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法,该方法可以大大减少视觉闪烁和瑕疵,并增强了双目显示时的立体感。
Description
技术领域
本发明涉及双目渲染,图像视频处理领域,尤其涉及一种针对VR头盔等双目设备的内容风格化渲染方法。
背景技术
在艺术领域,尤其是绘画方面,人类始终具有独特的能力来创造出各种各样复杂的内容和风格。尽管科学家们对这一创造过程的神经基础原理仍未研究清楚,使用计算机来生成各种内容和风格的图像已经成为计算机界内一项热门研究。随着深度学习在近些年的快速发展,基于深度学习的图像视频风格化成为主流方法。然而已经存在的各类风格化算法都是为单目的图像视频进行设计,无法在VR及3D显示设备上得到应用。本发明解决了双目内容的艺术风格化问题。
2015年Gatys等人(Gatys L A,Ecker A S,Bethge M.A Neural Algorithm ofArtistic Style[J].Computer Science,2015.)基于卷积神经网络(convolutionalneural network,简称CNN)的艺术家风格化工作,在图像生成效果上取得了显著进步,并掀起了新一波风格化的研究浪潮。Anderson等人(Anderson A G,Berg C P,Mossing D P,etal.DeepMovie:Using Optical Flow and Deep Neural Networks to Stylize Movies[J].2016.)首次利用光流(optical flow)来引导风格化视频的生成,消除了生成视频中的闪烁瑕疵。他们采用梯度下降的算法框架,将每帧风格化后的结果利用光流进行传播(image warping),做为下一帧求解梯度下降的初始值。Ruder等人(Ruder M,DosovitskiyA,Brox T.Artistic Style Transfer for Videos[J].2016:26-36.)利用类似的算法做了后续工作,并进一步加入了长时序一致(long-term consistency)和多通道算法(multi-pass)进行了效果优化。
发明内容
本发明针对独立帧渲染方法造成闪烁,视差不一致的局限性,提供了一种基于深度学习优化的双目动画渲染方法。该方法首先根据三维场景渲染出视差图,运动场,遮挡图等场景信息,再利用基于CNN的最优化算法将结果风格化,从而满足了时序一致性和视差一致性,渲染出了视觉良好的双目动画。
本发明的目的是通过以下技术方案来实现的:一种基于深度学习的双目动画风格化渲染方法,包括如下步骤:
(1)渲染层数据渲染,该步骤包括以下子步骤:
(1.1)我们对图像中每个像素发射一条射线,根据它与场景的求交则可以得到当前像素的深度;根据公式d=f*b/z(其中f为相机焦距,b为相机距离,z为像素深度)可以计算出视差,我们可以计算出视差,并转换出该像素在右眼相机平面中的对应位置;
(1.2)渲染运动场;对图像中每个像素发射一条射线,得到与之相交的三角形面片;根据三角形在下一帧的位置,投影计算出该像素的移动距离;
(1.3)渲染时序遮挡图;对图像中每个像素发射一条射线,得到相交的三角形面片;根据三角形在下一帧的位置,投影计算出深度,与下一帧实际深度图进行对比;如果深度更小则为未遮挡,反之遮挡;
(1.4)渲染视差遮挡图;对于左眼视图中的每个像素,根据深度得到3d位置后,在右眼平面上重投影;与右眼深度图比较,深度更小为未遮挡,反之遮挡;
(2)基于CNN的最优化后处理:
假设我们要渲染的动画一共具有N+1帧,左、右眼原始图像为和并记为{I};将左右眼的时序遮挡图记为和记为{TO};左右眼的运动场记为和记为{MF};记N+1视差遮挡图为SO0,SO1,...,SON,集合为{SO};N+1视差图为D0,D1,...,DN,集合为{D};
该步骤包括以下子步骤:
(2.1)对上一帧已渲染的左眼图像根据运动场传播,做为初始左眼图像;利用运动场对图像扭曲得到初始左眼图像
(2.2)利用初始左眼图像构建带时序约束的子优化问题;该优化问题损失函数包含内容损失,风格损失和时序损失和全变分损失;
对于神经网络的第l层,若它有Nl个不同的滤波器,则它具有Nl个尺寸为Ml的特征图,其中Ml是特征图宽和高的乘积。其中Pl和Fl分别代表两张图像在网络l层的的神经响应,表示输入图像在第l层第i个滤波器在位置j处的神经响应,表示内容图像在第l层第i个滤波器在位置j处的神经响应。其中表示输入图像在l层第i个和第j个特征图矢量化后的点积,表示艺术图象在l层第i个和第j个特征图矢量化后的点积。其中表示第k帧左眼图像在位置处的颜色,ck+1(x,y)为第k+1帧图像坐标为x,y处像素的颜色。其中λc,λs,λt,λtv为设定的权重,分别为1.0,40.0,0.02,0.08。
选取做为初始值,使用梯度下降法最小化得到风格化后的
(2.3)对求解出的左眼图像根据视差场进行传播,做为初始右眼图像;利用视差场Dk对图像扭曲得到初始右眼图像
(2.4)利用初始右眼图像,求解带视差约束的子优化问题;
其中λc,λs,λt,λtv为设定的各损失函数的权重,分别为1.0,40.0,0.02,0.08。
选取做为初始值,使用梯度下降法最小化得到风格化后的至此,我们已经得到了风格化渲染后的第k+1帧。
本发明的有益效果是,本发明考虑了动态的时序连续性和双目内容的立体效果;相比于独立帧直接风格化法,该方法大量地减少了渲染动画的闪烁瑕疵,并增加了双目观赏时的立体感,从而增加了双目动画观看时的舒适感和沉浸感。
附图说明
图1中是本发明方法流程图,渲染层里包括了利用场景渲染出的五种图像:原始图像,时序遮挡图,运动场,视差遮挡图,视差图。后处理层结合任何一张风格图像和基于CNN的优化生成风格化后的图像对。
图2是后处理层的流程图,在求解k+1帧的左眼图像时,根据第k帧已经渲染的左眼图像建立时序子优化问题。求解k+1帧的右眼图像时,根据第k+1帧已经渲染出的左眼图像建立视差子优化问题。
图3是本发明渲染结果与独立直接法的对比图,其中,(a)为独立直接法渲染出的左右眼图像对,(b)为本发明方法渲染出的图像对。
图4是本发明使用糖果风格对开源动画Sintel的渲染片段。左上角为艺术风格图像,右列从上到下为连续5帧的渲染结果。
图5是本发明使用黑白条风格对开源动画Sintel的渲染片段。左上角为艺术风格图像,右列从上到下为连续5帧的渲染结果。
具体实施方式
本发明的具体实施方式分为两大步骤:渲染层的双目渲染和后处理层的基于CNN的最优化。
一、渲染层数据渲染
1、我们对图像中每个像素发射一条射线,根据它与场景的求交则可以得到当前像素的深度。根据公式d=f*b/z,我们可以计算出视差,并转换出该像素在右眼相机平面中的对应位置。
2、渲染运动场。对图像中每个像素发射一条射线,得到与之相交的三角形面片。根据三角形在下一帧的位置,投影计算出该像素的移动距离。
3、渲染时序遮挡图。对图像中每个像素发射一条射线,得到相交的三角形面片。根据三角形在下一帧的位置,投影计算出深度,与下一帧实际深度图进行对比。如果深度更小则为未遮挡,反之遮挡。
4、渲染视差遮挡图。对于左眼视图中的每个像素,根据深度得到3d位置后,在右眼平面上重投影。与右眼深度图比较,深度更小为未遮挡,反之遮挡。
二、基于CNN的最优化后处理
假设我们要渲染的动画一共具有N+1帧,左,右眼原始图像为和并记为{I}。将左右眼的时序遮挡图记为和记为{TO}。左右眼的运动场记为和记为{MF}。记N+1视差遮挡图为SO0,SO1,...,SON,集合为{SO}。N+1视差图为D0,D1,...,DN,集合为{D}。
该步骤包括以下子步骤:
1、对上一帧已渲染的左眼图像根据运动场传播,做为初始左眼图像。利用运动场对图像扭曲得到初始左眼图像
2、利用初始左眼图像构建带时序约束的子优化问题。该优化问题损失函数包含内容损失,风格损失和时序损失和全变分损失。
对于神经网络的第l层,若它有Nl个不同的滤波器,则它具有Nl个尺寸为Ml的特征图,其中Ml是特征图宽和高的乘积。其中Pl和Fl分别代表两张图像在网络l层的的神经响应,表示输入图像在第l层第i个滤波器在位置j处的神经响应,表示内容图像在第l层第i个滤波器在位置j处的神经响应。其中表示输入图像在l层第i个和第j个特征图矢量化后的点积,表示艺术图象在l层第i个和第j个特征图矢量化后的点积。其中表示第k帧左眼图像在位置处的颜色,ck+1(x,y)为第k+1帧图像坐标为x,y处像素的颜色。其中λc,λs,λt,λtv为设定的权重,分别为1.0,40.0,0.02,0.08。
选取做为初始值,使用梯度下降法最小化得到风格化后的
3、对求解出的左眼图像根据视差场进行传播,做为初始右眼图像。利用视差场Dk对图像扭曲得到初始右眼图像
4、利用初始右眼图像,求解带视差约束的子优化问题。
其中λc,λs,λt,λtv为设定的各损失函数的权重,分别为1.0,40.0,0.02,0.08。
选取做为初始值,使用梯度下降法最小化得到风格化后的至此,我们已经得到了风格化渲染后的第k+1帧。
通过上述步骤,发明人在一台配备了一个3.60GHz的Intel i7-7700CPU,16G内存,GTX 1060显卡的计算机上实现了本发明的若干实施实例。
实施例一、发明人测试了双目动画风格化渲染算法的有效性。如图3所示,发明人对同一段动画,采用了梵高星空的风格,并分别使用本发明算法和独立帧直接法进行渲染对比。从图中不难看出,独立法对左右眼视图中的对应区域没法保持一致的风格化,而本发明的渲染结果可以满足。
实施例二、如图4-图5所示,发明人使用了本发明方法渲染了Sintel开源动画中的片段,其中图4采用的是糖果艺术风格,图5采用的是黑白条艺术风格。从两图中可以观察得到,本发明渲染出的动画满足时序一致性和视差一致性,提供了良好的双目观看效果。
Claims (5)
1.一种基于深度学习的双目动画风格化渲染方法,其特征在于,包括如下步骤:
(1)渲染层数据渲染,该步骤包括以下子步骤:
(1.1)对图像中每个像素发射一条射线,根据它与场景的求交则可以得到当前像素的深度。然后计算出视差,并转换出该像素在右眼相机平面中的对应位置。
(1.2)渲染运动场:对图像中每个像素发射一条射线,得到与之相交的三角形面片。根据三角形在下一帧的位置,投影计算出该像素的移动距离。
(1.3)渲染时序遮挡图:对图像中每个像素发射一条射线,得到相交的三角形面片。根据三角形在下一帧的位置,投影计算出深度,与下一帧实际深度图进行对比。如果深度更小则为未遮挡,反之遮挡。
(1.4)渲染视差遮挡图:对于左眼视图中的每个像素,根据深度得到3d位置后,在右眼平面上重投影。与右眼深度图比较,深度更小为未遮挡,反之遮挡。
(2)基于CNN的最优化后处理:
假设要渲染的动画一共具有N+1帧,左、右眼原始图像为和并记为{I}。将左右眼的时序遮挡图记为和记为{TO}。左右眼的运动场记为和记为{MF}。记N+1视差遮挡图为SO0,SO1,...,SON,集合为{SO}。N+1视差图为D0,D1,...,DN,集合为{D}。
该步骤包括以下子步骤:
(2.1)对上一帧已渲染的左眼图像根据运动场传播,做为初始左眼图像。利用运动场对图像扭曲得到初始左眼图像
(2.2)利用初始左眼图像构建带时序约束的子优化问题。该优化问题损失函数包含内容损失,风格损失和时序损失和全变分损失。将内容图像,风格图像和所求的新图像分别记为
对于神经网络的第l层,若它有Nl个不同的滤波器,则它具有Nl个尺寸为Ml的特征图,其中Ml是特征图宽和高的乘积。其中Pl和Fl分别代表两张图像在网络l层的的神经响应,表示输入图像在第l层第i个滤波器在位置j处的神经响应,表示内容图像在第l层第i个滤波器在位置j处的神经响应。其中表示输入图像在l层第i个和第j个特征图矢量化后的点积,表示艺术图象在l层第i个和第j个特征图矢量化后的点积。其中表示第k帧左眼图像在位置处的颜色,ck+1(x,y)为第k+1帧图像坐标为x,y处像素的颜色。其中λc,λs,λt,λtv为设定的各损失函数的权重。
选取做为初始值,使用梯度下降法最小化得到风格化后的
(2.3)对求解出的左眼图像根据视差场进行传播,做为初始右眼图像。利用视差场Dk对图像扭曲得到初始右眼图像
(2.4)利用初始右眼图像,求解带视差约束的子优化问题。
其中λc,λs,λt,λtv为设定的各损失函数的权重。
选取做为初始值,使用梯度下降法最小化得到风格化后的至此,得到了风格化渲染后的第k+1帧。
2.根据权利要求1所述基于深度学习的双目动画风格化渲染方法,其特征在于,所述步骤1中,可根据公式d=f*b/z计算出视差,f为相机焦距,b为相机距离,z为像素深度。
3.根据权利要求1所述基于深度学习的双目动画风格化渲染方法,其特征在于,所述步骤2.2中,所述λc、λs、λt、λtv依次为1.0、40.0、0.02、0.08。
4.根据权利要求1所述基于深度学习的双目动画风格化渲染方法,其特征在于,所述步骤2.4中,所述λc、λs、λt、λtv依次为1.0、40.0、0.02、0.08。
5.根据权利要求1所述基于深度学习的双目动画风格化渲染方法,其特征在于,该方法减少了视觉闪烁和瑕疵,并增强了双目显示时的立体感。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810576526.2A CN108769644B (zh) | 2018-06-06 | 2018-06-06 | 一种基于深度学习的双目动画风格化渲染方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810576526.2A CN108769644B (zh) | 2018-06-06 | 2018-06-06 | 一种基于深度学习的双目动画风格化渲染方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108769644A true CN108769644A (zh) | 2018-11-06 |
CN108769644B CN108769644B (zh) | 2020-09-29 |
Family
ID=63999356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810576526.2A Active CN108769644B (zh) | 2018-06-06 | 2018-06-06 | 一种基于深度学习的双目动画风格化渲染方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108769644B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111640173A (zh) * | 2020-05-09 | 2020-09-08 | 杭州群核信息技术有限公司 | 一种基于特定路径的家装漫游动画的云端渲染方法及系统 |
CN113763524A (zh) * | 2021-09-18 | 2021-12-07 | 华中科技大学 | 基于物理光学模型和神经网络的双流散景渲染方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
WO2018089108A1 (en) * | 2016-11-08 | 2018-05-17 | Nec Laboratories America, Inc. | Landmark localization on objects in images using convolutional neural networks |
CN108053449A (zh) * | 2017-12-25 | 2018-05-18 | 北京工业大学 | 双目视觉系统的三维重建方法、装置及双目视觉系统 |
-
2018
- 2018-06-06 CN CN201810576526.2A patent/CN108769644B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018089108A1 (en) * | 2016-11-08 | 2018-05-17 | Nec Laboratories America, Inc. | Landmark localization on objects in images using convolutional neural networks |
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN108053449A (zh) * | 2017-12-25 | 2018-05-18 | 北京工业大学 | 双目视觉系统的三维重建方法、装置及双目视觉系统 |
Non-Patent Citations (2)
Title |
---|
ALEXANDER G. ANDERSON等: "DeepMovie: Using Optical Flow and Deep Neural Networks to Stylize Movies", 《ARXIV:1605.08153》 * |
RONG-JIE CHANG等: "An Improved Style Transfer Approach for Videos", 《2018 INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY (IWAIT)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111640173A (zh) * | 2020-05-09 | 2020-09-08 | 杭州群核信息技术有限公司 | 一种基于特定路径的家装漫游动画的云端渲染方法及系统 |
CN111640173B (zh) * | 2020-05-09 | 2023-04-21 | 杭州群核信息技术有限公司 | 一种基于特定路径的家装漫游动画的云端渲染方法及系统 |
CN113763524A (zh) * | 2021-09-18 | 2021-12-07 | 华中科技大学 | 基于物理光学模型和神经网络的双流散景渲染方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108769644B (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Attal et al. | MatryODShka: Real-time 6DoF video view synthesis using multi-sphere images | |
Niklaus et al. | Video frame interpolation via adaptive separable convolution | |
Lee et al. | Motion sickness prediction in stereoscopic videos using 3d convolutional neural networks | |
CN112543317B (zh) | 高分辨率单目2d视频到双目3d视频的转制方法 | |
CN109410298B (zh) | 一种虚拟模型的制作方法及表情变化方法 | |
CN103945208A (zh) | 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 | |
CN104112275B (zh) | 一种生成视点的方法及装置 | |
CN104469179A (zh) | 一种将动态图片结合到手机视频中的方法 | |
CN106412556B (zh) | 一种图像生成方法及装置 | |
CN110223370A (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
CN109684973B (zh) | 基于对称一致性的卷积神经网络的人脸图像填充系统 | |
CN112019828B (zh) | 一种视频的2d到3d的转换方法 | |
CN106408513A (zh) | 深度图超分辨率重建方法 | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
KR20230146649A (ko) | 암시적 방사 함수를 사용하여 컬러 및 적외선 3차원 재구성 | |
CN112927348B (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
CN108924528A (zh) | 一种基于深度学习的双目风格化实时渲染方法 | |
CN109191366A (zh) | 基于人体姿态的多视角人体图像合成方法及装置 | |
CN104581119A (zh) | 一种3d图像的显示方法和一种头戴设备 | |
WO2022011915A1 (zh) | 一种基于多层透明液晶屏的裸眼3d显示方法及装置 | |
CN111951368A (zh) | 一种点云、体素和多视图融合的深度学习方法 | |
CN108769644A (zh) | 一种基于深度学习的双目动画风格化渲染方法 | |
Pigny et al. | Using cnns for users segmentation in video see-through augmented virtuality | |
US20210327121A1 (en) | Display based mixed-reality device | |
CN106909904A (zh) | 一种基于可学习形变场的人脸正面化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |