CN110197458A - 视角合成网络的训练方法、装置、电子设备和存储介质 - Google Patents

视角合成网络的训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110197458A
CN110197458A CN201910399937.3A CN201910399937A CN110197458A CN 110197458 A CN110197458 A CN 110197458A CN 201910399937 A CN201910399937 A CN 201910399937A CN 110197458 A CN110197458 A CN 110197458A
Authority
CN
China
Prior art keywords
visual angle
simulation
network
angle
true
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910399937.3A
Other languages
English (en)
Other versions
CN110197458B (zh
Inventor
贾玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201910399937.3A priority Critical patent/CN110197458B/zh
Publication of CN110197458A publication Critical patent/CN110197458A/zh
Application granted granted Critical
Publication of CN110197458B publication Critical patent/CN110197458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本申请涉及一种视角合成网络的训练方法、装置、电子设备和存储介质。所述方法包括：接收真实已知视角图；通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；分解所述模拟未知视角图，得到模拟已知视角图；将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；利用所述视图差异信息，对所述视角合成网络进行训练。采用上述技术方案可以有效解决现有技术中的视角合成网络所合成的未知视角图失真的问题。

Description

视角合成网络的训练方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种视角合成网络的训练方法、装置、电子设备和存储介质。
背景技术
视角合成是图像处理领域中较为重要的处理技术。具体而言，视角合成是将一组已知视角的图像合成为未知视角的图像的技术。例如，将左侧人脸的图像和右侧人脸的图像合成为正面人脸的图像。
目前的视角合成，通常是通过视角合成网络(View Synthesis Network，VSN)实现。视角合成网络也称为视角合成模型，其基于几何方法提取已知视角图像中的图像特征，并根据提取的图像特征，预测未知视角图像的图像特征，最后根据预测的图像特征拟合成未知视角的图像。
然而，如果已知视角与未知视角之间的视角差异较大，可能导致未知视角图像中，存在较大面积的区域需要进行图像特征的预测，使得最终合成的未知视角图像严重失真。
因此，目前的视角合成网络存在着所合成的未知视角图像失真的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种视角合成网络的训练方法、装置、计算机设备和存储介质。
第一方面，提供了一种视角合成网络的训练方法，所述方法包括：
接收真实已知视角图；
通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解所述模拟未知视角图，得到模拟已知视角图；
将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
利用所述视图差异信息，对所述视角合成网络进行训练。
在一个实施例中，还包括：
将所述模拟未知视角图及其对应的真实未知视角图输入至视图判别器；所述视图判别器用于判断所述模拟未知视角图和所述真实未知视角图是否一致；
当所述视图判别器判定为不一致，则继续对所述视角合成网络进行训练；
当所述视图判别器误判为一致，则结束训练。
在一个实施例中，所述真实已知视角图为真实侧面视角图，所述通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图，包括：
将所述真实侧面视角图，输入至所述视角合成网络；所述视角合成网络用于对所述真实侧面视角图降维，并将降维后的真实侧面视角图，合成为模拟正面视角图；
接收所述视角合成网络输出的模拟正面视角图，作为所述模拟未知视角图。
在一个实施例中，所述分解所述模拟未知视角图，得到模拟已知视角图，包括：
将所述模拟正面视角图，输入至视角分解网络；所述视角分解网络用于将所述模拟正面视角图分解为模拟侧面视角图；
接收所述视角分解网络输出的模拟侧面视角图，作为所述模拟已知视角图。
在一个实施例中，所述利用所述视图差异信息，对所述视角合成网络进行训练，包括：
将所述视图差异信息输入至网络优化器；所述网络优化器用于将所述视图差异信息反向传播至所述视角合成网络，以调整所述视角合成网络的图像合成参数。
在一个实施例中，所述视图判别器具体用于根据所述模拟未知视角图与所述真实未知视角图之间的像素分布差异，判断所述模拟未知视角图和所述真实未知视角图是否一致。
第二方面，提供了一种视角合成网络的训练装置，所述装置包括：
接收模块，用于接收真实已知视角图；
合成模块，用于通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解模块，用于分解所述模拟未知视角图，得到模拟已知视角图；
比较模块，用于将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
训练模块，用于利用所述视图差异信息，对所述视角合成网络进行训练。
第三方面，提供了一种电子设备，其特征在于，包括：存储器一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如下操作：
接收真实已知视角图；
通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解所述模拟未知视角图，得到模拟已知视角图；
将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
利用所述视图差异信息，对所述视角合成网络进行训练。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收真实已知视角图；
通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解所述模拟未知视角图，得到模拟已知视角图；
将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
利用所述视图差异信息，对所述视角合成网络进行训练。
上述视角合成网络的训练方法、装置、计算机设备和存储介质，通过视角合成网络，将真实已知视角图合成为模拟未知视角图，然后，通过分解模拟未知视角图得到模拟已知视角图，利用模拟已知视角图与真实已知视角图之间的视图差异信息，对视角合成网络进行训练，通过自洽机制对视角合成网络进行训练，使得训练得到的视角合成网络，所合成的未知视角图更符合真实的未知视角，有效解决了现有技术中的视角合成网络所合成的未知视角图失真的问题。
附图说明
图1是本申请实施例一提供的一种视角合成网络的训练方法的流程图；
图2A是一个实施例的一种视角合成的场景示意图；
图2B是一个实施例的一种视角分解的场景示意图；
图3是本申请实施例二提供的一种视角合成网络的训练方法的流程图；
图4是一个实施例的一种视角合成网络训练架构的模型框架图；
图5是本申请实施例三提供的一种视角合成网络的训练装置的结构示意图；
图6是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例一
图1是本申请实施例一提供的一种视角合成网络的训练方法的流程图。参考图1，本申请实施例一的视角合成网络的训练方法，具体包括：
步骤S110，接收真实已知视角图。
其中，真实已知视角图可以为在已知视角下拍摄某个对象所得到的图像。
具体实现中，可以将人物、动物、物件等的对象，在某个视角下的图像。例如，分别对人脸的左侧视角和右侧视角拍照，得到一组左侧视角图像和右侧视角图像，左侧视角和右侧视角为已知视角，因此，将该组图像作为真实已知视角图。
步骤S120，通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图。
其中，视角合成网络可以为用于将某个视角的图像合成为另一个视角的图像的算法模型。视角合成网络可以根据当前图像的图像特征预测未知视角的图像特征，拟合预测出的图像特征，形成未知视角的图像。
其中，模拟未知视角图可以为视角合成网络输出的、某个对象在未知视角下的图像。
具体实现中，可以将一组真实已知视角图输入至视角合成网络，由视角合成网络根据该组真实已知视角图，合成出一个或多个的图像，作为模拟未知视角图。
例如，将人脸真实的左侧视角图像和右侧视角图像，作为真实已知视角图，输入至视角合成网络，视角合成网络将左侧视角图像和右侧视角图像，合成为正面视角图像，输出作为模拟未知视角图。
图2A是一个实施例的一种视角合成的场景示意图。如图所示，对人脸在左侧视角和右侧视角进行拍摄，得到人脸真实的左侧视角图像201和右侧视角图像202，将左侧视角图像201和右侧视角图像202输入至视角合成网络，视角合成网络输出正面视角图像204，得到模拟未知视角图。
步骤S130，分解所述模拟未知视角图，得到模拟已知视角图。
其中，模拟已知视角图可以为分解未知视角图所得到的、某个对象在已知视角下的图像。
具体实现中，可以构建一个视角分解网络(View Decomposition Network，VDN)，通过视角分解网络将模拟未知视角图分解为一组已知视角图，作为模拟已知视角图。
例如，将视角合成网络输出的正面视角图像，输入至视角分解网络，由视角分解网络将正面视角图像分解为左侧视角图像和右侧视角图像，作为模拟已知视角图。
图2B是一个实施例的一种视角分解的场景示意图。如图所示，将视角合成网络输出的正面视角图像204，输入至视角分解网络，视角分解网络输出左侧视角图像205和右侧视角图像206，得到模拟已知视角图。
当然，在实际应用中，还可以通过其他方式将模拟未知视角图分解为模拟已知视角图。本申请实施例对分解的具体方式不作限制。
步骤S140，将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息。
其中，视图差异信息可以为视角图之间关于图像特征的差异的信息。
具体实现中，可以将模拟已知视角图与真实已知视角图进行比较，查找两者之间的图像特征上的差异，得到视图差异信息。
例如，参考图2A和图2B，可以将左侧视角图像205与左侧视角图像201进行比较，得到左侧视图差异信息，将右侧视角图像206与右侧视角图像202进行比较，得到右侧视图差异信息。
步骤S150，利用所述视图差异信息，对所述视角合成网络进行训练。
具体实现中，在得到视图差异信息之后，可以通过网络优化器进行视角合成网络的训练。具体地，可以由网络优化器将视图差异信息反向传播至视角合成网络，驱使视角合成网络向减少视图差异信息的方向进行训练，经过多次的反复迭代，不断调整视角合成网络中的图像合成参数，从而形成优化的视角合成网络。
需要说明的是，为了便于本领域技术人员理解本申请，上述实施例以人脸图像作为例子说明视角合成、分解、训练的过程。实际应用中，还可以将本申请的训练方法应用于各种动物、物件等的图像。此外，上述实施例以左侧、右侧视角作为已知视角，正面视角作为未知视角，实际应用中，也可以以正面视角作为已知视角，而以左侧、右侧视角作为未知视角。本领域技术人员可以根据实际需要确定具体的未知、已知视角。
上述步骤提供了一种基于自洽机制的训练方法，视角合成网络按照该自洽机制进行训练，通过学习从模拟的已知视角回退到真实的已知视角之间的映射，使得视角合成网络可以向减少视图差异的方向进行训练，为视角合成网络的训练提供训练依据。当从模拟未知视角图分解出的模拟已知视角图，与真实已知视角图之间不存在差异，或者差异较小时，表明了视角合成网络合成得到的模拟未知视角图，与真实的未知视角图之间不存在差异或者差异较小，避免了视角合成网络合成得到的模拟未知视角图失真的问题。
本申请实施例提供的技术方案，通过视角合成网络，将真实已知视角图合成为模拟未知视角图，然后，通过分解模拟未知视角图得到模拟已知视角图，利用模拟已知视角图与真实已知视角图之间的视图差异信息，对视角合成网络进行训练，通过自洽机制对视角合成网络进行训练，使得训练得到的视角合成网络，所合成的未知视角图更符合真实的未知视角，有效解决了现有技术中的视角合成网络所合成的未知视角图失真的问题。
实施例二
图3是本申请实施例二提供的一种视角合成网络的训练方法的流程图。参考图3，本申请实施例二的视角合成网络的训练方法，具体包括：
步骤S210，接收真实已知视角图。
步骤S220，通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图。
可选地，所述真实已知视角图为真实侧面视角图，所述步骤S220，包括：
将所述真实侧面视角图，输入至所述视角合成网络；所述视角合成网络用于对所述真实侧面视角图降维，并将降维后的真实侧面视角图，合成为模拟正面视角图；接收所述视角合成网络输出的模拟正面视角图，作为所述模拟未知视角图。
其中，真实侧面视角图可以为对象在侧面视角拍摄的图像。例如，在左侧和右侧对人脸进行拍摄，得到人脸的左侧视角图像、右侧视角图像。
具体实现中，视角合成网络可以由多个共享权重的编码器构成。多个编码器可以分别对输入的多个侧面视角图进行降维，然后将降维后的多个侧面视角图进行合成模拟正面视角图并输出，得到模拟未知视角图。
例如，将人脸的真实左侧视角图和真实右侧视角图，输入至视角合成网络，视角合成网络的编码器可以分别对真实左侧视角图和真实右侧视角图进行降维，然后，将降维后的真实左侧视角图和真实右侧视角图合成为模拟正面视角图并输出。
需要说明的说，图像降维处理通过下采样的方式可以从图像中剔除噪声、无用信息，使得降维后的图像保留有用的特征信息，减少了计算量的同时，使得所合成的模拟正面视角图更符合真实的正面视角。
根据本申请实施例的技术方案，通过对侧面视角图进行降维后再合成为模拟正面视角图，在减少合成为模拟正面视角图时所需的计算量的同时，还可以使得所合成的模拟正面视角图更符合真实的正面视角，提升了对视角合成网络的训练效率。
步骤S230，分解所述模拟未知视角图，得到模拟已知视角图。
可选地，所述步骤S230，包括：
将所述模拟正面视角图，输入至视角分解网络；所述视角分解网络用于将所述模拟正面视角图分解为模拟侧面视角图；接收所述视角分解网络输出的模拟侧面视角图，作为所述模拟已知视角图。
其中，视角分解网络为用于将某个视角的图像分解为另一个视角的图像的算法模型。视角分解网络可以由多个解码器组成，例如，左侧视角解码器和右侧视角解码器。
具体实现中，可以将视角合成网络输出的模拟正面视角图，输入至视角分解网络。视角分解网络的解码器可以对模拟正面视角图进行解码，得到模拟侧面视角图并输出，作为模拟已知视角图。
例如，将人脸的模拟正面视角图输入至视角分解网络，视角分解网络的左侧视角解码器和右侧视角解码器，分别对模拟正面视角图进行解码，得到了模拟左侧视角图和模拟右侧视角图，作为模拟已知视角图。
步骤S240，将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息。
步骤S250，利用所述视图差异信息，对所述视角合成网络进行训练。
可选地，所述步骤S250，包括：
将所述视图差异信息输入至网络优化器；所述网络优化器用于将所述视图差异信息反向传播至所述视角合成网络，以调整所述视角合成网络的图像合成参数。
其中，网络优化器可以为用于优化视角合成网络的算法模型。
其中，图像合成参数可以为视角合成网络的图像合成相关的参数。例如，图像合成参数可以为视角合成网络中每个编码器所具有的权重w、偏置b等参数。
具体实现中，可以由网络优化器通过反向传播的方式，将视图差异信息传递至视角合成网络，视角合成网络可以根据视图差异信息不断调整自身的权重w、偏置b等的图像合成参数。
需要说明的是，在视角合成网络中，实现编码器的基础算法为z(x)＝xw+b，x为输入的图像特征，w为权值，b为偏置，针对输出的结果与权重w、偏置b密切相关。视角合成网络在确定实际输出与训练集的输出不一致时，调整权重w、偏置b，直至实际输出与训练集的输出较为接近甚至一致为止。调整权重w、偏置b的过程，即为视角合成网络的训练过程。
步骤S260，将所述模拟未知视角图及其对应的真实未知视角图输入至视图判别器；所述视图判别器用于判断所述模拟未知视角图和所述真实未知视角图是否一致。
可选地，所述视图判别器具体用于根据所述模拟未知视角图与所述真实未知视角图之间的像素分布差异，判断所述模拟未知视角图和所述真实未知视角图是否一致。
步骤S270，当所述视图判别器判定为不一致，则继续对所述视角合成网络进行训练；当所述视图判别器误判为一致，则结束训练。
具体实现中，可以通过视图判别器判断模拟未知视角图和真实未知视角图是否一致。视图判别器可以统计模拟未知视角图和真实未知视角图各自的像素分布，即各个像素的像素特征值的分布情况，然后计算两者像素分布情况的差异，作为像素分布差异，如果该像素分布差异大于预设的差异阈值时，则可以判定模拟未知视角图和真实未知视角图不一致，输入的未知视角图，为视角合成网络所合成的；反之，则可以判定模拟未知视角图和真实未知视角图一致，输入的未知视角图，为真实的未知视角图。也即是说，此时视角合成网络所合成的模拟未知视角图，已经达到了以假乱真的程度，视图判别器已经无法准确判断出输入的未知视角图为合成的还是真实的。
当视图判别器错误地判定模拟未知视角图和真实未知视角图一致时，即视图判别器认为所输入的未知视角图为真实的未知视角，表明视角合成网络所合成的模拟未知视角图已经与真实未知视角图之间非常相似，可以结束对视角合成网络的训练。当视图判别器准确地判定模拟未知视角图和真实未知视角图不一致时，表明视角合成网络所合成的模拟未知视角图已经与真实未知视角图之间还存在较大差异，因此需要继续进行训练优化。
需要说明的是，通过视图判别器的判别结果作为视角合成网络的训练质量评价依据，使得整个视角合成网络的训练实现了端到端训练，无须额外构建和训练用于评价视角合成网络的合成质量的神经网络，节省了额外设计神经网络的人力成本。
根据本申请实施例的技术方案，通过视图判别器的判别结果作为视角合成网络的合成质量的评价依据，无须额外构建和训练神经网络，节省了额外设计神经网络的人力成本，提升了视角合成网络的训练效率。
为了便于本领域技术人员理解本申请，以下将结合图4的具体示例进行说明。图4是一个实施例的一种视角合成网络训练架构的模型框架图。如图所示，在一种具体的视角合成网络训练架构中，可以包括视角合成网络、视角分解网络和视图判别器。假设目前人脸的左侧和右侧为已知视角，人脸的正面为未知视角。拍摄人脸左侧和右侧得到的图像，得到真实左侧视角图像和真实右侧视角图像，将其输入至视角合成网络，视角合成网络合成得到模拟正面视角图像，将模拟正面视角图像和真实正面视角图像输入至视图判别器，当视图判别器判定两者一致，则结束训练；当判定为不一致，则继续训练，将模拟正面视角图像输入至视角分解网络，得到模拟左侧视角图像和模拟右侧视角图像，将其分别与真实左侧视角图像和真实右侧视角图像进行比较，得到视图差异信息，然后利用视图差异信息训练视角合成网络。
应该理解的是，虽然图1和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例三
图5是本申请实施例三提供的一种视角合成网络的训练装置的结构示意图。参考图5，本实施例提供的视角合成网络的训练装置具体包括：接收模块310、合成模块320、分解模块330、比较模块340和训练模块350；其中：
接收模块310，用于接收真实已知视角图；
合成模块320，用于通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解模块330，用于分解所述模拟未知视角图，得到模拟已知视角图；
比较模块340，用于将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
训练模块350，用于利用所述视图差异信息，对所述视角合成网络进行训练。
根据本申请实施例的技术方案，通过对侧面视角图进行降维后再合成为模拟正面视角图，在减少合成为模拟正面视角图时所需的计算量的同时，还可以使得所合成的模拟正面视角图更符合真实的正面视角，提升了对视角合成网络的训练效率。
在另一个实施例中，所述装置还包括：
判别模块，用于将所述模拟未知视角图及其对应的真实未知视角图输入至视图判别器；所述视图判别器用于判断所述模拟未知视角图和所述真实未知视角图是否一致；
所述训练模块，还用于当所述视图判别器误判为一致，则结束训练。
在另一个实施例中，所述真实已知视角图为真实侧面视角图，所述合成模块320，包括：
合成输入子模块，用于将所述真实侧面视角图，输入至所述视角合成网络；所述视角合成网络用于对所述真实侧面视角图降维，并将降维后的真实侧面视角图，合成为模拟正面视角图；
合成接收子模块，用于接收所述视角合成网络输出的模拟正面视角图，作为所述模拟未知视角图。
在另一个实施例中，所述分解模块330，包括：
分解输入子模块，用于将所述模拟正面视角图，输入至视角分解网络；所述视角分解网络用于将所述模拟正面视角图分解为模拟侧面视角图；
分解接收子模块，用于接收所述视角分解网络输出的模拟侧面视角图，作为所述模拟已知视角图。
在另一个实施例中，所述训练模块350，包括：
训练输入子模块，用于将所述视图差异信息输入至网络优化器；所述网络优化器用于将所述视图差异信息反向传播至所述视角合成网络，以调整所述视角合成网络的图像合成参数。
在另一个实施例中，所述视图判别器具体用于根据所述模拟未知视角图与所述真实未知视角图之间的像素分布差异，判断所述模拟未知视角图和所述真实未知视角图是否一致。
上述提供的视角合成网络的训练装置可用于执行上述任意实施例提供的视角合成网络的训练方法，具备相应的功能和有益效果。
关于视角合成网络的训练装置的具体限定可以参见上文中对于视角合成网络的训练方法的限定，在此不再赘述。上述视角合成网络的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例四
图6是本申请实施例四提供的一种电子设备的结构示意图。如图中所示，该电子设备包括：处理器40、存储器41、具有触摸功能的显示屏42、输入装置43、输出装置44以及通信装置45。该电子设备中处理器40的数量可以是一个或者多个，图中以一个处理器40为例。该电子设备中存储器41的数量可以是一个或者多个，图中以一个存储器41为例。该电子设备的处理器40、存储器41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图中以通过总线连接为例。实施例中，电子设备可以是电脑，手机，平板或交互智能平板等。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的视角合成网络的训练方法对应的程序指令/模块。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他设备。
通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视角合成网络的训练方法。
具体的，实施例中，处理器40执行存储器41中存储的一个或多个程序时，具体实现如下操作：
接收真实已知视角图；
通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解所述模拟未知视角图，得到模拟已知视角图；
将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
利用所述视图差异信息，对所述视角合成网络进行训练。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
将所述模拟未知视角图及其对应的真实未知视角图输入至视图判别器；所述视图判别器用于判断所述模拟未知视角图和所述真实未知视角图是否一致；
当所述视图判别器判定为不一致，则继续对所述视角合成网络进行训练；
当所述视图判别器误判为一致，则结束训练。
在上述实施例的基础上，所述真实已知视角图为真实侧面视角图，一个或多个处理器40还实现如下操作：
将所述真实侧面视角图，输入至所述视角合成网络；所述视角合成网络用于对所述真实侧面视角图降维，并将降维后的真实侧面视角图，合成为模拟正面视角图；
接收所述视角合成网络输出的模拟正面视角图，作为所述模拟未知视角图。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
将所述模拟正面视角图，输入至视角分解网络；所述视角分解网络用于将所述模拟正面视角图分解为模拟侧面视角图；
接收所述视角分解网络输出的模拟侧面视角图，作为所述模拟已知视角图。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
将所述视图差异信息输入至网络优化器；所述网络优化器用于将所述视图差异信息反向传播至所述视角合成网络，以调整所述视角合成网络的图像合成参数。
在上述实施例的基础上，所述视图判别器具体用于根据所述模拟未知视角图与所述真实未知视角图之间的像素分布差异，判断所述模拟未知视角图和所述真实未知视角图是否一致。
实施例五
本申请实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种视角合成网络的训练方法，包括：
接收真实已知视角图；
通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解所述模拟未知视角图，得到模拟已知视角图；
将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
利用所述视图差异信息，对所述视角合成网络进行训练。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的视角合成网络的训练方法操作，还可以执行本申请任意实施例所提供的视角合成网络的训练方法中的相关操作，且具备相应的功能和有益效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视角合成网络的训练方法，其特征在于，包括：
接收真实已知视角图；
通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解所述模拟未知视角图，得到模拟已知视角图；
将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
利用所述视图差异信息，对所述视角合成网络进行训练。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述模拟未知视角图及其对应的真实未知视角图输入至视图判别器；所述视图判别器用于判断所述模拟未知视角图和所述真实未知视角图是否一致；
当所述视图判别器判定为不一致，则继续对所述视角合成网络进行训练；
当所述视图判别器误判为一致，则结束训练。
3.根据权利要求1所述的方法，其特征在于，所述真实已知视角图为真实侧面视角图，所述通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图，包括：
将所述真实侧面视角图，输入至所述视角合成网络；所述视角合成网络用于对所述真实侧面视角图降维，并将降维后的真实侧面视角图，合成为模拟正面视角图；
接收所述视角合成网络输出的模拟正面视角图，作为所述模拟未知视角图。
4.根据权利要求3所述的方法，其特征在于，所述分解所述模拟未知视角图，得到模拟已知视角图，包括：
将所述模拟正面视角图，输入至视角分解网络；所述视角分解网络用于将所述模拟正面视角图分解为模拟侧面视角图；
接收所述视角分解网络输出的模拟侧面视角图，作为所述模拟已知视角图。
5.根据权利要求1所述的方法，其特征在于，所述利用所述视图差异信息，对所述视角合成网络进行训练，包括：
将所述视图差异信息输入至网络优化器；所述网络优化器用于将所述视图差异信息反向传播至所述视角合成网络，以调整所述视角合成网络的图像合成参数。
6.根据权利要求2所述的方法，其特征在于，所述视图判别器具体用于根据所述模拟未知视角图与所述真实未知视角图之间的像素分布差异，判断所述模拟未知视角图和所述真实未知视角图是否一致。
7.一种视角合成网络的训练装置，其特征在于，包括：
接收模块，用于接收真实已知视角图；
合成模块，用于通过视角合成网络，将所述真实已知视角图，合成为模拟未知视角图；
分解模块，用于分解所述模拟未知视角图，得到模拟已知视角图；
比较模块，用于将所述模拟已知视角图与所述真实已知视角图进行比较，得到视图差异信息；
训练模块，用于利用所述视图差异信息，对所述视角合成网络进行训练。
8.根据权利要求7所述的装置，其特征在于，还包括：
判别模块，用于将所述模拟未知视角图及其对应的真实未知视角图输入至视图判别器；所述视图判别器用于判断所述模拟未知视角图和所述真实未知视角图是否一致；
所述训练模块，还用于当所述视图判别器误判为一致，则结束训练。
9.一种电子设备，其特征在于，包括：存储器、具有一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行如权利要求1-6中任一所述的视角合成网络的训练方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的视角合成网络的训练方法。
CN201910399937.3A 2019-05-14 2019-05-14 视角合成网络的训练方法、装置、电子设备和存储介质 Active CN110197458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399937.3A CN110197458B (zh) 2019-05-14 2019-05-14 视角合成网络的训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399937.3A CN110197458B (zh) 2019-05-14 2019-05-14 视角合成网络的训练方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110197458A true CN110197458A (zh) 2019-09-03
CN110197458B CN110197458B (zh) 2023-08-01

Family

ID=67752800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399937.3A Active CN110197458B (zh) 2019-05-14 2019-05-14 视角合成网络的训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110197458B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040070588A1 (en) * 2002-10-09 2004-04-15 Xerox Corporation Systems for spectral multiplexing of source images including a stereogram source image to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
CN102163330A (zh) * 2011-04-02 2011-08-24 西安电子科技大学 基于张量分解与Delaunay三角划分的多视角人脸合成方法
US20140026102A1 (en) * 2011-03-31 2014-01-23 Landeskriminalamt Rheinland-Pfalz Phantom image data bank (3d)
US20140078136A1 (en) * 2012-09-18 2014-03-20 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for synthesizing intermediate view image, recording medium thereof
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20180137611A1 (en) * 2016-11-14 2018-05-17 Ricoh Co., Ltd. Novel View Synthesis Using Deep Convolutional Neural Networks
CN108364310A (zh) * 2017-01-26 2018-08-03 三星电子株式会社 立体匹配方法和设备、图像处理设备及其训练方法
US20180260668A1 (en) * 2017-03-10 2018-09-13 Adobe Systems Incorporated Harmonizing composite images using deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040070588A1 (en) * 2002-10-09 2004-04-15 Xerox Corporation Systems for spectral multiplexing of source images including a stereogram source image to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
US20140026102A1 (en) * 2011-03-31 2014-01-23 Landeskriminalamt Rheinland-Pfalz Phantom image data bank (3d)
CN102163330A (zh) * 2011-04-02 2011-08-24 西安电子科技大学 基于张量分解与Delaunay三角划分的多视角人脸合成方法
US20140078136A1 (en) * 2012-09-18 2014-03-20 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for synthesizing intermediate view image, recording medium thereof
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20180137611A1 (en) * 2016-11-14 2018-05-17 Ricoh Co., Ltd. Novel View Synthesis Using Deep Convolutional Neural Networks
CN108364310A (zh) * 2017-01-26 2018-08-03 三星电子株式会社 立体匹配方法和设备、图像处理设备及其训练方法
US20180260668A1 (en) * 2017-03-10 2018-09-13 Adobe Systems Incorporated Harmonizing composite images using deep learning

Also Published As

Publication number Publication date
CN110197458B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
US20210272299A1 (en) Method and apparatus for obtaining sample image set
CN113269149B (zh) 活体人脸图像的检测方法、装置、计算机设备及存储介质
US20200410266A1 (en) Method and apparatus for generating negative sample of face recognition, and computer device
CN109784153A (zh) 情绪识别方法、装置、计算机设备及存储介质
CN110121034A (zh) 一种在视频中植入信息的方法、装置及存储介质
US20200374526A1 (en) Method, device, apparatus for predicting video coding complexity and storage medium
CN106254868A (zh) 视频编码码率控制方法、装置及系统
CN107221341A (zh) 一种语音测试方法及装置
CN110853110A (zh) 一种基于生成对抗网络的图片自动调色方法
CN111709891A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
EP3968648A1 (en) Bitrate decision model training method and electronic device
CN111724310A (zh) 图像修复模型的训练方法、图像修复方法及装置
CN113096021A (zh) 一种图像处理方法、装置、设备及存储介质
CN115063874B (zh) 智能家居设备的控制方法、装置、设备及存储介质
CN110197458A (zh) 视角合成网络的训练方法、装置、电子设备和存储介质
Xing et al. DVL2021: An ultra high definition video dataset for perceptual quality study
CN113780252B (zh) 视频处理模型的训练方法、视频处理方法和装置
CN109756730B (zh) 基于视频的评测处理方法、装置、智能设备及存储介质
CN115829865A (zh) 基于模型先验的图像补全方法、系统、设备及存储介质
CN112668504A (zh) 动作识别方法、装置及电子设备
Liu et al. Prediction of spatiotemporal sequence based on IM-LSTM
CN111008604A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN117041625B (zh) 一种超高清视频图像质量检测网络构建方法及系统
US20220189171A1 (en) Apparatus and method for prediction of video frame based on deep learning
Vijayaratnam et al. A latency compensation framework for video transmission based on frame extrapolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant