CN109903393B - 基于深度学习的新视角场景合成方法和装置 - Google Patents
基于深度学习的新视角场景合成方法和装置 Download PDFInfo
- Publication number
- CN109903393B CN109903393B CN201910133353.1A CN201910133353A CN109903393B CN 109903393 B CN109903393 B CN 109903393B CN 201910133353 A CN201910133353 A CN 201910133353A CN 109903393 B CN109903393 B CN 109903393B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- scene
- camera
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000001308 synthesis method Methods 0.000 title abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 285
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 81
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 230000009466 transformation Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提出基于深度学习的新视角场景合成方法和装置，其中，方法包括：通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种基于深度学习的新视角场景合成方法和装置。
背景技术
随着虚拟现实技术的发展，其市场应用也越来越广泛，并且虚拟场景的漫游也成为一个热门的应用领域，由此发展出的新视角场景合成问题也引起了学术界的关注。
但是，现有技术中的新视角场景合成技术，合成的场景和真实场景之间的差距较大，从而导致合成的场景真实性较低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种基于深度学习的新视角场景合成模型训练方法和装置，以解决现有技术中对场景合成时出现合成场景与真是场景差距较大的技术问题。
本申请一方面实施例提出了一种基于深度学习的新视角场景合成模型训练方法，包括：
控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；
获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；
获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；
根据所述第一张训练图像和第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；
计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；
计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；
将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。
本申请实施例的基于深度学习的新视角场景合成方法，通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。
本申请又一方面实施例提出了一种基于深度学习的新视角场景合成模型训练装置，包括：
拍摄模块，用于控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；
第一获取模块，用于获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；
第二获取模块，用于获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；
投影变换模块，用于根据所述第一张训练图像和第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；
第一计算模块，用于计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；
第二计算模块，用于计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；
输入模块，用于将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；
调整模块，用于根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。
本申请实施例的基于深度学习的新视角场景合成装置，通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练方法的流程示意图；
图2为本申请实施例提供的一种基于深度学习的新视角场景合成模型结构示意图；
图3为本申请实施例提供的一种基于深度学习的新视角场景合成方法的流程示意图；
图4为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于深度学习的新视角场景合成模型训练方法和装置。
图1为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练方法的流程示意图。
如图1所示，该基于深度学习的新视角场景合成模型训练方法包括以下步骤：
步骤101，控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对训练场景拍摄一张图像得到训练图像集。
具体地，在对场景合成模型进行训练时，首先要获取训练图像，在获取训练图像时，可以利用图像采集系统的高精度摄像头，通过调整摄像头的角度、光线、滤镜、倍镜、聚焦等参数，进而拍摄得到训练场景的训练图像。
作为一种可能的实现方式，可以将相机安装在能够自由旋转的机械臂上，通过控制机械臂在训练场景下按照预设圆轨道旋转，机械臂每旋转预设角度时可以带动相机在不同位置上对训练场景拍摄得到一张图像，在机械臂旋转在预设圆轨道旋转一周的过程中，可以控制相机拍摄得到多张训练图像，将拍摄得到的多张训练图像称为训练图像集。
作为一种示例，可以控制相机在训练场景下按照预设圆轨道旋转，每旋转30度对训练场景拍摄一张图像，在旋转一周后，即可拍摄得到12张训练图像。
作为另一种可能的实现方式，可以通过软件模拟相机在训练场景下按照预设圆轨道每旋转预设角度拍摄得到一张训练图像的过程。例如，可以使用Unity软件模拟上述过程得到训练图像集。
其中，Unity软件可以创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。
需要说明的是，训练图像集可以是对不同场景在不同时刻多次拍摄得到的图像组成的集合。
步骤102，获取训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数。
具体地，在得到训练图像集后，从训练图像集中选取连续拍摄的N张训练图像对场景合成模型进行训练。例如，可以选取连续拍摄的8张训练图像。
需要说明的是，由于训练图像集是对不同场景在不同时刻多次拍摄得到的图像组成的集合，包含有较多的训练图像，如果对所有的训练图像进行训练，将是一项比较大的工程，因此，本申请实施例中，从训练图像集中选取连续拍摄的多张训练图像对场景合成模型进行训练。
步骤103，获取N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息。
其中，相机位置参数信息，包括为相机拍摄训练图像时对应的相机的位置坐标和旋转矩阵。
本申请实施例中，在获取到训练图像集中N张连续拍摄的训练图像后，获取N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息以及相机的拍摄范围和拍摄该训练图像时的分辨率。
步骤104，根据第一张训练图像和第N张训练图像的相机位置参数信息，将第一张训练图像向第N张训练图像进行投影变换得到第一投影图像，并将第N张训练图像向第一张训练图像进行投影变换得到第二投影图像。
其中，投影变换是将一种地图投影点的坐标变换为另一种地图投影点的坐标的过程。
本申请实施例中，训练图像中对应的相机位置参数信息中包含有相机拍摄该图像时的位置坐标，因此，根据第一张训练图像和第N张训练图像的相机位置参数信息，将第一张训练图像向第N张训练图像进行投影变换得到第一投影图像，并将第N张训练图像向第一张训练图像进行投影变换得到第二投影图像。
步骤105，计算第一投影图像和第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与第一像素平均值对应的第一特征图像和与第一像素标准差对应的第二特征图像。
本申请实施例中，根据第一张训练图像和第N张训练图像的相机位置参数信息，将第一张训练图像向第N张训练图像进行投影变换得到第一投影图像后，计算第一投影图像和第N张训练图像相同位置对应的像素信息之间的平均值和标准差，分别得到第一特征图像和第二特征图像。
步骤106，计算第二投影图像和第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与第二像素平均值对应的第三特征图像和与第二像素标准差对应的第四特征图像。
本申请实施例中，根据第N张训练图像和第一张训练图像的相机位置参数信息，将第N张训练图像向第一张训练图像进行投影变换得到第二投影图像后，计算第二投影图像和第一张训练图像相同位置对应的像素信息之间的平均值和标准差，分别得到第三特征图像和第四特征图像。
步骤107，将第一特征图像和第二特征图像输入至第一深度神经网络得到第一深度图像，将第三特征图像和第四特征图像输入至第二深度神经网络得到第二深度图像，根据第二深度图像和对应的第一张训练图像以及第一深度图像和对应的第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算N-2张估算图像、第一张训练图像和第N张训练图像的拼接图像特征，将拼接图像特征输入至第三深度神经网络得到合成场景图像。
其中，深度神经网络(Deep Neural Networks，简称DNN)，是深度学习的基础，是通过模仿人脑思考方式，从而使该软件的语音识别速度更快，识别准确率也更高。
本申请实施例中，将第一特征图像和第二特征图像输入至第一深度神经网络后，可以输出第一深度图像，同样将第三特征图像和第四特征图像输入至第二深度神经网络，可以输出第二深度图像。
进一步的，将第二深度图像和对应的第一张训练图像向第2至第N-1张图像中任意一张图像的位置进行投影变换，得到两张变换后的图像，分别计算变换后的两张图像与选中的任一张图像进行相同位置的对应像素信息的平均值和标准值，此时，可以得到四张特征图像。
同样的道理，将第一深度图像和对应的第N张训练图像向第2至第N-1张图像中任意一张图像的位置进行投影变换，得到两张变换后的图像，分别计算变换后的两张图像与选中的任一张图像进行相同位置的对应像素信息的平均值和标准值，此时，同样可以得到四张特征图像。
将通过上述计算得到的八张特张图像进行拼接，得到拼接特征图像，将拼接图像特征输入至第三深度神经网络，即可得到合成场景图像。
步骤108，根据合成场景图像和真实训练场景图像对应的损失函数值对第一深度神经网络、第二深度神经网络和第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。
本申请实施例中，合成场景图像和真实场景图像可能会存在差异，通过计算合成场景图像和真实训练场景图像对应的损失函数值，通过梯度反向传播算法对第一深度神经网络、第二深度神经网络和第三深度神经网络进行训练，以对网络的参数进行调整，以完成对场景合成模型的训练。
其中，反向传播算法是训练神经网络的核心算法，它可以根据定义好的损失函数优化神经网络的参数值，是神经网络模型的损失函数达到一个较小的值。
作为一种示例，参见图2，图2为本申请实施例提供的一种基于深度学习的新视角场景合成模型结构示意图。图2中N1、N2、N3分别表示场景合成模型中的第一深度神经网络、第二深度神经网络和第三深度神经网络。
将拍摄的两张图像输入图2所示的场景合成模型后，将左图向右图的位置进行投影变换得到变换后的右图，将变换后的右图和左图一起输入特征提取器，即可得到通过计算变换后的右图和左图对应像素的平均值和标准差的第一特征图像和第二特征图像，将得到的第一特征图像和第二特征图像输入第一深度神经网络得到左图对应的深度图像。同样的，可以通过第二深度神经网络得到右图对应的深度图像。
进一步的，将左图对应的深度图像和左图分别向两张图片之间的任意位置进行投影变换，得到两张投影变换后的图像，并计算两张投影变换后的图像与任意位置图像相同位置像素之间的平均值和标准差，得到四个特征图像。同样地，将右图对应的深度图像和右图分别向两张图片之间的任意位置进行投影变换，得到两张投影变换后的图像，并计算两张投影变换后的图像与任意位置图像相同位置像素之间的平均值和标准差，得到另外四个特征图像。将得到的八个特征图像拼接成一个八通道的拼接图像特征，将拼接图像特征输入至第三深度神经网络，即可得到任意位置处的合成图像。
本申请实施例的基于深度学习的新视角场景合成方法，通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。
作为一种示例，本申请实施例中，通过获取两张拍摄图像，输入经过上述实施例中训练的场景合成模型，即可输出两张图片之间的任意位置对应的目标场景。下面结合图3进行详细说明，图3为本申请实施例提供的一种基于深度学习的新视角场景合成方法的流程示意图。
如图3中所示，该场景合成方法包括以下步骤：
步骤201，获取待合成场景的两张拍摄图像。
本申请实施例中，在获取待合成场景的拍摄图像时，相机的位置应该与采集训练场景图像时的相机位置相同，即在同一圆轨道控制相机旋转拍摄，得到待合成场景的拍摄图像，从而使得合成场景的真实度较高。
步骤202，将两张拍摄图像与拍摄图像对应的相机参数输入经过训练的场景合成模型，以根据场景合成模型的输出完成对场景的合成。
本申请实施例中，经过训练的场景合成模型，已经学习得到各个场景下的图像特征，因此，将两张拍摄图像与拍摄图像对应的相机参数输入经过训练的场景合成模型，可以完成对场景的合成。
同样地，在获取到场景中的两张拍摄图像后，将拍摄图像和对应的相机参数输入经过训练的场景合成模型，即可以合成两张拍摄图像之间的任意位置对应的目标场景，即可实现用于新视角场景的合成。
作为一种示例，本申请实施例中的新视角场景合成方法，可以为沉浸式虚拟现实场景漫游提高一种场景渲染方法，使得用户在使用虚拟现实设备(Virtual Reality，简称VR)能够通过转动头部观察到变化的场景，同时场景带有一定的视差效果，提高真实感体验。
本申请实施例的基于深度学习的新视角场景合成方法，通过获取待合成场景的两张拍摄图像，将两张拍摄图像与拍摄图像对应的相机参数输入经过训练的场景合成模型，以根据场景合成模型的输出完成对场景的合成。由于，经过训练的场景合成模型中已经学习得到了场景中不同位置图像对应的图像特征，因此，根据训练后的场景合成模型能够实现新视角场景的合成，有助于提高场景合成的真实性。
为了实现上述实施例，本申请实施例还提出基于深度学习的新视角场景合成模型训练装置。
图4为本申请实施例提供的一种基于深度学习的新视角场景合成模型训练装置的结构示意图。
如图4所示，该基于深度学习的新视角场景合成模型训练装置，包括：拍摄模块110、第一获取模块120、第二获取模块130、投影变换模块140、第一计算模块150、第二计算模块160、输入模块170以及调整模块180。
拍摄模块110，用于控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集。
第一获取模块120，用于获取训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数。
第二获取模块130，用于获取N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息。
投影变换模块140，用于根据第一张训练图像和第N张训练图像的相机位置参数信息，将第一张训练图像向第N张训练图像进行投影变换得到第一投影图像，并将第N张训练图像向第一张训练图像进行投影变换得到第二投影图像。
第一计算模块150，用于计算第一投影图像和第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与第一像素平均值对应的第一特征图像和与第一像素标准差对应的第二特征图像。
第二计算模块160，用于计算第二投影图像和第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与第二像素平均值对应的第三特征图像和与第二像素标准差对应的第四特征图像。
输入模块170，用于将第一特征图像和第二特征图像输入至第一深度神经网络得到第一深度图像，将第三特征图像和第四特征图像输入至第二深度神经网络得到第二深度图像，根据第二深度图像和对应的第一张训练图像以及第一深度图像和对应的第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算N-2张估算图像、第一张训练图像和第N张训练图像的拼接图像特征，将拼接图像特征输入至第三深度神经网络得到合成场景图像。
调整模块180，用于根据合成场景图像和真实训练场景图像对应的损失函数值对第一深度神经网络、第二深度神经网络和第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。
作为一种可能的实现方式，基于深度学习的新视角场景合成模型训练装置，还包括：
第三获取模块，用于获取待合成场景的两张拍摄图像。
处理模块，用于将两张拍摄图像与拍摄图像对应的相机参数输入经过训练的场景合成模型，以根据场景合成模型的输出，确定目标场景。
作为另一种可能的实现方式，相机位置参数信息为所述相机拍摄训练图像时对应的所述相机的位置坐标和旋转矩阵。
作为另一种可能的实现方式，拍摄图像是通过控制相机在同一训练场景下按照预设圆轨道旋转拍摄得到的。
作为另一种可能的实现方式，训练图像集为在虚拟场景中模拟拍摄得到的。
需要说明的是，前述对基于深度学习的新视角场景合成模型训练方法实施例的解释说明也适用于该实施例的基于深度学习的新视角场景合成模型训练装置，此处不再赘述。
本申请实施例的基于深度学习的新视角场景合成装置，通过控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集，获取训练图像集中N张连续训练图像中第一张训练图像和第N张训练图像及其对应的相机位置参数信息；通过计算得到第一张训练图像和第N张训练图像的图像特征以对场景合成模型进行训练，根据合成场景图像和真实训练场景图像对应的损失函数值对场景合成模型的网络参数进行调整，以完成对场景合成模型的训练。由此，通过训练场景中的训练图像的不同图像特征对场景合成模型进行训练，提高了场景合成的准确度。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于深度学习的新视角场景合成模型训练方法，其特征在于，所述方法包括以下步骤：
控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；
获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；
获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；其中，所述相机位置参数信息，包括为所述相机拍摄训练图像时对应的所述相机的位置坐标和旋转矩阵；
根据所述第一张训练图像和所述第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；
计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；
计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；
将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。
2.如权利要求1所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述方法还包括：
获取待合成场景的两张拍摄图像；
将所述两张拍摄图像与所述拍摄图像对应的相机参数输入经过训练的场景合成模型，以根据所述场景合成模型的输出完成对场景的合成。
3.如权利要求2所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述拍摄图像是通过控制所述相机在同一训练场景下按照所述预设圆轨道旋转拍摄得到的。
4.如权利要求1所述的基于深度学习的新视角场景合成模型训练方法，其特征在于，所述训练图像集为在虚拟场景中模拟拍摄得到的。
5.一种基于深度学习的新视角场景合成模型训练装置，其特征在于，所述装置包括：
拍摄模块，用于控制相机在训练场景下按照预设圆轨道旋转，每旋转预设角度对所述训练场景拍摄一张图像得到训练图像集；
第一获取模块，用于获取所述训练图像集中N张连续拍摄的训练图像，其中，N为大于等于3的正整数；
第二获取模块，用于获取所述N张连续训练图像中第一张训练图像和第N张训练图像的相机位置参数信息；其中，所述相机位置参数信息，包括为所述相机拍摄训练图像时对应的所述相机的位置坐标和旋转矩阵；
投影变换模块，用于根据所述第一张训练图像和第N张训练图像的相机位置参数信息，将所述第一张训练图像向所述第N张训练图像进行投影变换得到第一投影图像，并将所述第N张训练图像向所述第一张训练图像进行投影变换得到第二投影图像；
第一计算模块，用于计算所述第一投影图像和所述第N张训练图像相同位置像素之间的第一像素平均值和第一像素标准差，得到与所述第一像素平均值对应的第一特征图像和与所述第一像素标准差对应的第二特征图像；
第二计算模块，用于计算所述第二投影图像和所述第一张训练图像相同位置像素之间的第二像素平均值和第二像素标准差，得到与所述第二像素平均值对应的第三特征图像和与所述第二像素标准差对应的第四特征图像；
输入模块，用于将所述第一特征图像和所述第二特征图像输入至第一深度神经网络得到第一深度图像，将所述第三特征图像和所述第四特征图像输入至第二深度神经网络得到第二深度图像，根据所述第二深度图像和对应的所述第一张训练图像以及所述第一深度图像和对应的所述第N张训练图像估算生成第2至第N-1张图像的N-2张估算图像，并计算所述N-2张估算图像、所述第一张训练图像和所述第N张训练图像的拼接图像特征，将所述拼接图像特征输入至第三深度神经网络得到合成场景图像；
调整模块，用于根据所述合成场景图像和真实训练场景图像对应的损失函数值对所述第一深度神经网络、所述第二深度神经网络和所述第三深度神经网络的网络参数进行调整，以完成对场景合成模型的训练。
6.如权利要求5所述的基于深度学习的新视角场景合成模型训练装置，其特征在于，所述装置还包括：
第三获取模块，用于获取待合成场景的两张拍摄图像；
处理模块，用于将所述两张拍摄图像与所述拍摄图像对应的相机参数输入经过训练的场景合成模型，以根据所述场景合成模型的输出，确定目标场景。
7.如权利要求6所述的基于深度学习的新视角场景合成模型训练装置，其特征在于，所述拍摄图像是通过控制所述相机在同一训练场景下按照所述预设圆轨道旋转拍摄得到的。
8.如权利要求5所述的基于深度学习的新视角场景合成模型训练装置，其特征在于，所述训练图像集为在虚拟场景中模拟拍摄得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910133353.1A CN109903393B (zh) | 2019-02-22 | 2019-02-22 | 基于深度学习的新视角场景合成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910133353.1A CN109903393B (zh) | 2019-02-22 | 2019-02-22 | 基于深度学习的新视角场景合成方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109903393A CN109903393A (zh) | 2019-06-18 |
| CN109903393B true CN109903393B (zh) | 2021-03-16 |
Family
ID=66945191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910133353.1A Active CN109903393B (zh) | 2019-02-22 | 2019-02-22 | 基于深度学习的新视角场景合成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109903393B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200004B (zh) * | 2020-09-15 | 2024-01-16 | 深圳市优必选科技股份有限公司 | 图像检测模型的训练方法、装置及终端设备 |
| CN112233165B (zh) * | 2020-10-15 | 2024-06-21 | 大连理工大学 | 一种基于多平面图像学习视角合成的基线扩展实现方法 |
| WO2022133944A1 (zh) * | 2020-12-24 | 2022-06-30 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| CN112862901B (zh) * | 2021-02-20 | 2024-03-26 | 清华大学 | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 |
| CN115049909A (zh) * | 2021-02-25 | 2022-09-13 | 华为技术有限公司 | 场景识别方法及装置 |
| CN114677572B (zh) * | 2022-04-08 | 2023-04-18 | 北京百度网讯科技有限公司 | 对象描述参数的生成方法、深度学习模型的训练方法 |
| CN115223028B (zh) * | 2022-06-02 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | 场景重建及模型训练方法、装置、设备、介质及程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106363637A (zh) * | 2016-10-12 | 2017-02-01 | 华南理工大学 | 一种机器人快速示教方法及装置 |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN107240147A (zh) * | 2017-05-26 | 2017-10-10 | 清华大学 | 图像渲染方法及系统 |
| CN107945109A (zh) * | 2017-11-06 | 2018-04-20 | 清华大学 | 基于卷积网络的图像拼接方法及装置 |
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750702B (zh) * | 2012-06-21 | 2014-10-15 | 东华大学 | 基于优化bp神经网络模型的单目红外图像深度估计方法 |
| CN107358648B (zh) * | 2017-07-17 | 2019-08-27 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
-
2019
- 2019-02-22 CN CN201910133353.1A patent/CN109903393B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106363637A (zh) * | 2016-10-12 | 2017-02-01 | 华南理工大学 | 一种机器人快速示教方法及装置 |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN107240147A (zh) * | 2017-05-26 | 2017-10-10 | 清华大学 | 图像渲染方法及系统 |
| CN107945109A (zh) * | 2017-11-06 | 2018-04-20 | 清华大学 | 基于卷积网络的图像拼接方法及装置 |
| CN108876735A (zh) * | 2018-06-01 | 2018-11-23 | 武汉大学 | 一种基于深度残差网络的真实图像盲去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| Distributed Deep Learning-based Offloading for Mobile Edge Computing Networks;Liang Huang等;《Mobile Networks and Applications》;20181129;第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109903393A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903393B (zh) | 基于深度学习的新视角场景合成方法和装置 | |
| CN109658365B (zh) | 图像处理方法、装置、系统和存储介质 | |
| US9299184B2 (en) | Simulating performance of virtual camera | |
| JP4904264B2 (ja) | ３ｄ空間次元に基づく画像処理のためのシステムおよび方法 | |
| US10275898B1 (en) | Wedge-based light-field video capture | |
| JP7489960B2 (ja) | 画像の合成のための方法及びデータ処理システム | |
| CA2772607A1 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
| CN105069827A (zh) | 一种采用三维模型处理视频转场的方法 | |
| CN112669429A (zh) | 图像扭曲渲染方法及装置 | |
| WO2021242121A1 (en) | Method for generating splines based on surface intersection constraints in a computer image generation system | |
| JP7406654B2 (ja) | 実際の場所の仮想環境復元を作成するための方法 | |
| KR102331828B1 (ko) | 물리적 3d 렌더러 | |
| CN106331675A (zh) | 影像处理、投射方法、装置及成像系统 | |
| JP2020191036A (ja) | オブジェクト軌跡生成装置及びそのプログラム | |
| US11501493B2 (en) | System for procedural generation of braid representations in a computer image generation system | |
| WO2023100703A1 (ja) | 画像制作システム、画像制作方法、プログラム | |
| WO2023100704A1 (ja) | 画像制作システム、画像制作方法、プログラム | |
| CN117527993A (zh) | 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 | |
| WO2023285874A1 (en) | Computing illumination of an elongated shape having a noncircular cross section | |
| Funk | Animac. Analog 3D Animation | |
| CN117424997A (zh) | 视频处理方法、装置、设备及可读存储介质 | |
| Axelsson et al. | Integrating Autodesk Mayas muscle simulation with Kinect motion capture | |
| Koziel | Motion capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |