CN112004078B - 基于生成对抗网络的虚拟现实视频质量评价方法及系统 - Google Patents

基于生成对抗网络的虚拟现实视频质量评价方法及系统 Download PDF

Info

Publication number
CN112004078B
CN112004078B CN202010844450.4A CN202010844450A CN112004078B CN 112004078 B CN112004078 B CN 112004078B CN 202010844450 A CN202010844450 A CN 202010844450A CN 112004078 B CN112004078 B CN 112004078B
Authority
CN
China
Prior art keywords
video
distorted
virtual reality
generator
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010844450.4A
Other languages
English (en)
Other versions
CN112004078A (zh
Inventor
郭杰锋
罗尧
尤荣煊
黄联芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010844450.4A priority Critical patent/CN112004078B/zh
Publication of CN112004078A publication Critical patent/CN112004078A/zh
Application granted granted Critical
Publication of CN112004078B publication Critical patent/CN112004078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于生成对抗网络的虚拟现实视频质量评价方法、介质及系统，其中方法包括：获取原始失真VR视频，并对原始失真VR视频进行处理，以生成相应的多个失真视频块；将失真视频块输入到预先构建的生成器模型中，并根据失真视频块进行训练得到生成器，以便通过生成器根据失真视频块生成相应的参考视频块；将失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据失真视频块和相应的参考视频块进行训练得到预测器；根据生成器和预测器生成虚拟现实视频质量评价模型，以便根据虚拟现实视频质量评价模型对VR视频质量进行评分；能够对虚拟现实视频的质量进行有效评价。

Description

基于生成对抗网络的虚拟现实视频质量评价方法及系统
技术领域
本发明涉及质量评价技术领域，特别涉及一种基于生成对抗网络的虚拟现实视频质量评价方法、一种计算机可读存储介质和一种基于生成对抗网络的虚拟现实视频质量评价系统。
背景技术
虚拟现实视频又称为全景视频，采用全景相机或者相机组进行全方位360度的拍摄，是一种新的视频形式。用户可以通过佩戴相应的设备进行全景视频的观看。
相关技术中，由于全景视频制作过程与传统视频制作过程的差异性，使得传统视频质量评价方法难以对全景视频进行有效评价。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于生成对抗网络的虚拟现实视频质量评价方法，能够对虚拟现实视频的质量进行有效评价。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种基于生成对抗网络的虚拟现实视频质量评价系统。
为达到上述目的，本发明第一方面实施例提出了一种基于生成对抗网络的虚拟现实视频质量评价方法，包括以下步骤：获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器；根据所述生成器和所述预测器生成虚拟现实视频质量评价模型，以便根据所述虚拟现实视频质量评价模型对VR视频质量进行评分。
根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价方法，首先，获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；接着，将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；然后，将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器；接着，根据所述生成器和所述预测器生成虚拟现实视频质量评价模型，以便根据所述虚拟现实视频质量评价模型对VR视频质量进行评分；从而实现对虚拟现实视频的质量进行有效评价。
另外，根据本发明上述实施例提出的基于生成对抗网络的虚拟现实视频质量评价方法还可以具有如下附加的技术特征：
可选地，所述生成器模型包括生成网络和critic网络，其中，所述生成网络包括4个卷积层、2个转置卷积层和9个残差模块，所述critic网络包括5个critic模块和1个卷积层。
可选地，根据所述失真视频块进行训练得到生成器，包括：根据第一损失函数进行训练，以得到初始生成器，其中，所述第一损失函数包括感知损失函数和对抗损失函数；根据第二损失函数和所述初始生成器进行训练，以得到最终生成器，其中，所述第二损失函数包括感知损失函数、对抗损失函数和等级损失函数。
可选地，根据以下公式进行初始生成器的训练：
LG1＝Ladv+λ1Lper
其中，LG1表示第一损失函数，Ladv表示对抗损失函数，Lper表示感知损失函数；
Figure GDA0003095335860000021
其中，D表示critic网络，G表示生成网络，N表示batch数值；
Figure GDA0003095335860000022
其中，
Figure GDA0003095335860000023
表示在预训练的VGG19网络中第j个卷积层之前的第i个最大池化层提取的特征图；Wi，j和Hi，j表示特征图的尺寸，Fref和Fimp分别表示VR视频的原始帧图像和受损帧图像
可选地，根据以下公式进行最终生成器的训练：
LG2＝Ladv+λ3Lper+λ4Llevel
其中，LG2表示第二损失函数，Llevel表示等级损失函数；
Figure GDA0003095335860000024
其中，MSE代表均方误差，m和n表示同一原始视频经过压缩编码处理后的不同失真等级，k为失真等级。
可选地，所述预测器模型包括3D CNN、基础分数回归模块、权重回归模块和观看方向频率支模块路，其中，所述3D CNN包括8个3D卷积层、5个3D最大池化层和1个特征融合层。
可选地，所述预测器根据以下公式进行VR视频质量的评分：
Figure GDA0003095335860000031
其中，N为单个VR视频取出VR视频块的数量，yk表示第k个VR视频块预测出的基本分数,，Wk表示第k个VR视频块的权重，pk表示第k个VR视频块的观看频率。
可选地，所述预测器的损失函数为：
Figure GDA0003095335860000032
其中，q'表示真实的质量分数，q表示预测的分数，m表示VR视频的数量。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于生成对抗网络的虚拟现实视频质量评价程序，该基于生成对抗网络的虚拟现实视频质量评价程序被处理器执行时实现如权利要求1-8中任一项所述的基于生成对抗网络的虚拟现实视频质量评价方法。
根据本发明实施例的计算机可读存储介质，通过存储基于生成对抗网络的虚拟现实视频质量评价程序，以使得处理器在执行该基于生成对抗网络的虚拟现实视频质量评价程序时，实现如上述的基于生成对抗网络的虚拟现实视频质量评价方法，从而实现对虚拟现实视频的质量进行有效评价。
为达到上述目的，本发明第三方面实施例提出了一种基于生成对抗网络的虚拟现实视频质量评价系统，包括：获取模块，所述获取模块用于获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；第一训练模块，所述第一训练模块用于将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；第二训练模块，所述第二训练模块用于将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器，以及根据所述生成器和所述预测器生成虚拟现实视频质量评价模型；评价模块，所述评价模块用于根据所述虚拟现实视频质量评价模型对VR视频质量进行评分。
根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价系统，通过设置获取模块用于获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；第一训练模块用于将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；第二训练模块用于将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器，以及根据所述生成器和所述预测器生成虚拟现实视频质量评价模型；评价模块用于根据所述虚拟现实视频质量评价模型对VR视频质量进行评分；从而实现对虚拟现实视频的质量进行有效评价。
附图说明
图1为根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价方法的流程示意图；
图2为根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价系统的方框示意图；
图3为根据本发明实施例的生成器的网络模型；
图4为根据本发明实施例的预测器的网络模型。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，由于全景视频与传统视频制作过程的差异性，传统视频质量评价方法难以对全景视频的质量进行有效评价，根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价方法，首先，获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；接着，将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；然后，将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器；接着，根据所述生成器和所述预测器生成虚拟现实视频质量评价模型，以便根据所述虚拟现实视频质量评价模型对VR视频质量进行评分；从而实现对虚拟现实视频的质量进行有效评价。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价方法的流程示意图，如图1所示，该基于生成对抗网络的虚拟现实视频质量评价方法包括以下步骤：
S101，获取原始失真VR视频，并对原始失真VR视频进行处理，以生成相应的多个失真视频块。
也就是说，获取原始失真VR视频，由于原始失真VR视频的分辨率较大，因此，在数据预处理阶段将原始失真VR视频进行切分，以生成每个原始失真VR视频所对应的多个失真视频块，可知，来自同一个失真VR视频的失真视频块其失真类型和失真等级是相同的。
S102，将失真视频块输入到预先构建的生成器模型中，并根据失真视频块进行训练得到生成器，以便通过生成器根据失真视频块生成相应的参考视频块。
也就是说，首先，构建生成器模型，并将切分好的失真视频块输入到该生成器模型中，以根据失真视频块对生成器模型进行训练，最终得到生成器，该生成器可以根据失真视频块生成该失真视频块对应的参考视频块。
需要说明的是，可以将VR视频块中的每一帧按序输入到生成器模型中，以完成将失真视频块输入到预先构建的生成器模型中的步骤。
在一些实施例中，生成器模型包括生成网络和critic网络，其中，所述生成网络包括4个卷积层、2个转置卷积层和9个残差模块，所述critic网络包括5个critic模块和1个卷积层。
在一些实施例中，根据失真视频块进行训练得到生成器，包括：
根据第一损失函数进行训练，以得到初始生成器，其中，第一损失函数包括感知损失函数和对抗损失函数；
根据第二损失函数和初始生成器进行训练，以得到最终生成器，其中，第二损失函数包括感知损失函数、对抗损失函数和等级损失函数。
作为一种示例，根据以下公式进行初始生成器的训练：
LG1＝Ladv+λ1Lper
其中，LG1表示第一损失函数，Ladv表示对抗损失函数，Lper表示感知损失函数；
Figure GDA0003095335860000051
其中，D表示critic网络，G表示生成网络，N表示batch数值；
Figure GDA0003095335860000061
其中，
Figure GDA0003095335860000062
表示预训练的VGG19网络中第j个卷积层之前的第i个最大池化层提取的特征图；Wi,j和Hi，j表示特征图的尺寸，Fref和Fimp分别表示VR视频的原始帧图像和受损帧图像。
作为一种示例，critic网络的损失函数如下所示：
Figure GDA0003095335860000063
其中，Pg表示生成网络生成数据的数据分布，Pr表示原始视频帧的数据分布，Pp是原始视频和生成视频之间采样点的数据分布。
可以理解，通过上述步骤对生成器模型进行训练以得到初始生成器之后，该初始生成器即可根据原始VR视频所对应的视频块进行恢复，以生成其对应的参考视频块。
作为另一种示例，根据以下公式进行最终生成器的训练：
LG2＝Ladv+λ3Lper+λ4Llevel
其中，LG2表示第二损失函数，Llevel表示等级损失函数；
Figure GDA0003095335860000064
其中，MSE代表均方误差，m和n表示同一原始视频经过压缩编码处理后的不同失真等级，R为失真等级。
可以理解，在根据上述步骤进行生成器模型的训练之后得到的最终生成器，其可以针对不同失真等级的VR视频生成出质量相似的参考视频。
S103，将视频块和相应的参考视频块输入到预先构建的预测器中，并根据视频块和相应的参考视频块进行训练得到预测器。
在一些实施例中，预测器模型包括3D CNN、基础分数回归模块、权重回归模块和观看方向频率支路模块，其中，所述3D CNN包括8个3D卷积层、5个3D最大池化层和1个特征融合层。其中，基础分数回归支路模块表示用于回归质量评价分数的神经网络支路，权重回归支路模块表示用于回归每一个失真视频块质量分数在整个VR视频质量分数所占权重的神经网络支路，观看方向频率支路模块表示将每一个失真视频块在整个VR视频中所在位置的观看频率引入神经网络的支路。
其中，特征融合层的组成为：预测器的3D CNN通过权重共享，分别提取出原始VR视频的特征fref和损失数据的特征fimp，而提取出来的特征需要进行特征融合。因此，首先通过以下公式计算两个特征之间的差值fdif：
fdif＝fref-fimp
然后，将fref、fimp和fdif在通道维度进行连接，以得到最终的特征融合结果。
基础分数回归由两层全连接层组成，其将最终的特征融合结果输入到全连接层以得到计算结果，并用yk表示第k个视频块对应的基础分数。
权重回归由两层全连接层组成，其将最终的特征融合结果作为输入，以得到第k个视频块所对应的权重αk,为了保证每个αk不为0，计算出的结果后面再加上一个正数ε,以得到αk *。然后，对批次中出自同一个原始VR视频的N个αk *进行标准化操作，以得到最终每个视频块的权重值，根据以下公式计算：
Figure GDA0003095335860000071
观看方向频率支路用来近似判断每个VR视频块的观看频率，这里用标准正态分布来近似表示，因为VR视频赤道部分被观看到的可能性最大，所以距离赤道越远，被观看到的可能性就越小，则将视频块在纬度方向上距离整个原始VR视频赤道位置的距离进行归一化，并映射到[-2,2]的区间上：
Figure GDA0003095335860000072
其中，Ri,j表示视频块的行数，i和j表示切割原始视频时，视频块在原始视频中行和列的坐标值。Rtotal表示VR视频的总行数，Rtotal/2表示赤道的位置，x表示映射到[-2,2]的区间后的坐标值，随机取出k个视频块，根据以下公式将x代入到标准正态分布，用Pk近似表示每个视频块的观看频率：
Figure GDA0003095335860000073
接着，预测器根据以下公式进行VR视频质量的评分：
Figure GDA0003095335860000074
其中，N为单个VR视频取出VR视频块的数量，yk表示第k个VR视频块预测出的基本分数，Wk表示第k个VR视频块的权重，Pk表示第k个VR视频块的观看频率。
在一些实施例中，预测器的损失函数为：
Figure GDA0003095335860000075
其中，q'表示真实的质量分数，q表示预测的分数，m表示VR视频的数量。
S104，根据生成器和预测器生成虚拟现实视频质量评价模型，以便根据虚拟现实视频质量评价模型对VR视频质量进行评分。
即言，根据生成器和预测器生成虚拟现实视频质量评价模型；然后，获取待评价VR视频，并将该待评价VR视频输入到虚拟现实视频质量评价模型中，以便该虚拟现实视频质量评价模型对待评价VR视频进行评分。
综上所述，根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价方法，首先，获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；接着，将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；然后，将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器；接着，根据所述生成器和所述预测器生成虚拟现实视频质量评价模型，以便根据所述虚拟现实视频质量评价模型对VR视频质量进行评分；从而实现对虚拟现实视频的质量进行有效评价。
为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有基于生成对抗网络的虚拟现实视频质量评价程序，该基于生成对抗网络的虚拟现实视频质量评价程序被处理器执行时实现如权利要求1-8中任一项所述的基于生成对抗网络的虚拟现实视频质量评价方法。
根据本发明实施例的计算机可读存储介质，通过存储基于生成对抗网络的虚拟现实视频质量评价程序，以使得处理器在执行该基于生成对抗网络的虚拟现实视频质量评价程序时，实现如上述的基于生成对抗网络的虚拟现实视频质量评价方法，从而实现对虚拟现实视频的质量进行有效评价。
为了实现上述实施例，本发明实施例提出了一种基于生成对抗网络的虚拟现实视频质量评价系统，如图2所示，该基于生成对抗网络的虚拟现实视频质量评价系统包括：获取模块10、第一训练模块20、第二训练模块30和评价模块40。
其中，获取模块10用于获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；
第一训练模块20用于将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；
第二训练模块30用于将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器，以及根据所述生成器和所述预测器生成虚拟现实视频质量评价模型；
评价模块40用于根据所述虚拟现实视频质量评价模型对VR视频质量进行评分。
需要说明的是，上述关于图1中基于生成对抗网络的虚拟现实视频质量评价方法的描述同样适用于该基于生成对抗网络的虚拟现实视频质量评价系统，在此不做赘述。
综上所述，根据本发明实施例的基于生成对抗网络的虚拟现实视频质量评价系统，通过设置获取模块用于获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；第一训练模块用于将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；第二训练模块用于将所述失真视频块和相应的参考视频块输入到预先构建的预测器中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器，以及根据所述生成器和所述预测器生成虚拟现实视频质量评价模型；评价模块用于根据所述虚拟现实视频质量评价模型对VR视频质量进行评分；从而实现对虚拟现实视频的质量进行有效评价。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于生成对抗网络的虚拟现实视频质量评价方法，其特征在于，包括以下步骤：
获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；
将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；
将所述失真视频块和相应的参考视频块输入到预先构建的预测器模型中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器；
根据所述生成器和所述预测器生成虚拟现实视频质量评价模型，以便根据所述虚拟现实视频质量评价模型对VR视频质量进行评分；
所述预测器模型包括3D CNN、基础分数回归模块、权重回归模块和观看方向频率支路模块，其中，所述3D CNN包括8个3D卷积层、5个3D最大池化层和1个特征融合层；
所述预测器根据以下公式进行VR视频质量的评分：
Figure FDA0003109704280000011
其中，N为单个VR视频取出VR视频块的数量，yk表示第k个VR视频块预测出的基本分数，Wk表示第k个VR视频块的归一化权重，Pk表示第k个VR视频块的观看频率，
Figure FDA0003109704280000012
表示第k个VR视频块的权重；
所述预测器的损失函数为：
Figure FDA0003109704280000013
其中，q'表示真实的质量分数，q表示预测的分数，m表示VR视频的数量。
2.如权利要求1所述的基于生成对抗网络的虚拟现实视频质量评价方法，其特征在于，所述生成器模型包括生成网络和critic网络，其中，所述生成网络包括4个卷积层、2个转置卷积层和9个残差模块，所述critic网络包括5个critic模块和1个卷积层。
3.如权利要求1所述的基于生成对抗网络的虚拟现实视频质量评价方法，其特征在于，根据所述失真视频块进行训练得到生成器，包括：
根据第一损失函数进行训练，以得到初始生成器，其中，所述第一损失函数包括感知损失函数和对抗损失函数；
根据第二损失函数和所述初始生成器进行训练，以得到最终生成器，其中，所述第二损失函数包括感知损失函数、对抗损失函数和等级损失函数。
4.如权利要求3所述的基于生成对抗网络的虚拟现实视频质量评价方法，其特征在于，根据以下公式进行初始生成器的训练：
LG1＝Ladv+λ1Lper
其中，LG1表示第一损失函数，Ladv表示对抗损失函数，Lper表示感知损失函数，λ1表示感知损失函数的权重值；
Figure FDA0003109704280000021
其中，D表示critic网络，G表示生成网络，N表示batch数值；
Figure FDA0003109704280000022
其中，
Figure FDA0003109704280000023
表示预训练的VGG19网络中第j个卷积层之前的第i个最大池化层提取的特征图；Wi,j和Hi,j表示特征图的尺寸，Fref和Fimp分别表示VR视频的原始帧图像和受损帧图像，x表示计算感知损失函数时像素点的横坐标，y表示计算感知损失函数时像素点的纵坐标。
5.如权利要求4所述的基于生成对抗网络的虚拟现实视频质量评价方法，其特征在于，根据以下公式进行最终生成器的训练：
LG2＝Ladv+λ3Lper+λ4Llevel
其中，LG2表示第二损失函数，Llevel表示等级损失函数；
Figure FDA0003109704280000024
其中，MSE代表均方误差，m和n表示同一原始视频经过压缩编码处理后的不同失真等级，R为失真等级，λ3表示感知损失函数所占的权重值，λ4表示等级损失函数所占的权重值，
Figure FDA0003109704280000025
和
Figure FDA0003109704280000026
表示具有不同失真等级的损失视频。
6.一种计算机可读存储介质，其特征在于，其上存储有基于生成对抗网络的虚拟现实视频质量评价程序，该基于生成对抗网络的虚拟现实视频质量评价程序被处理器执行时实现如权利要求1-5中任一项所述的基于生成对抗网络的虚拟现实视频质量评价方法。
7.一种基于生成对抗网络的虚拟现实视频质量评价系统，其特征在于，包括：
获取模块，所述获取模块用于获取原始失真VR视频，并对所述原始失真VR视频进行处理，以生成相应的多个失真视频块；
第一训练模块，所述第一训练模块用于将所述失真视频块输入到预先构建的生成器模型中，并根据所述失真视频块进行训练得到生成器，以便通过所述生成器根据失真视频块生成相应的参考视频块；
第二训练模块，所述第二训练模块用于将所述失真视频块和相应的参考视频块输入到预先构建的预测器模型中，并根据所述失真视频块和相应的参考视频块进行训练得到预测器，以及根据所述生成器和所述预测器生成虚拟现实视频质量评价模型；其中，所述预测器模型包括3D CNN、基础分数回归模块、权重回归模块和观看方向频率支路模块，其中，所述3D CNN包括8个3D卷积层、5个3D最大池化层和1个特征融合层；
所述预测器根据以下公式进行VR视频质量的评分：
Figure FDA0003109704280000031
其中，N为单个VR视频取出VR视频块的数量，yk表示第k个VR视频块预测出的基本分数，Wk表示第k个VR视频块的归一化权重，Pk表示第k个VR视频块的观看频率，
Figure FDA0003109704280000032
表示第k个VR视频块的权重；
所述预测器的损失函数为：
Figure FDA0003109704280000033
其中，q'表示真实的质量分数，q表示预测的分数，m表示VR视频的数量；
评价模块，所述评价模块用于根据所述虚拟现实视频质量评价模型对VR视频质量进行评分。
CN202010844450.4A 2020-08-20 2020-08-20 基于生成对抗网络的虚拟现实视频质量评价方法及系统 Active CN112004078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010844450.4A CN112004078B (zh) 2020-08-20 2020-08-20 基于生成对抗网络的虚拟现实视频质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010844450.4A CN112004078B (zh) 2020-08-20 2020-08-20 基于生成对抗网络的虚拟现实视频质量评价方法及系统

Publications (2)

Publication Number Publication Date
CN112004078A CN112004078A (zh) 2020-11-27
CN112004078B true CN112004078B (zh) 2021-09-03

Family

ID=73472287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010844450.4A Active CN112004078B (zh) 2020-08-20 2020-08-20 基于生成对抗网络的虚拟现实视频质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN112004078B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311703A (zh) * 2021-05-07 2021-08-27 华能青岛热电有限公司 智慧能源多能互动评价可视化系统及评价方法
CN113255789B (zh) * 2021-05-31 2023-01-24 西安电子科技大学 基于对抗网络和多被试脑电信号的视频质量评价方法
CN113452987B (zh) * 2021-06-02 2022-05-31 鹏城实验室 一种视频质量评估方法、装置、终端及存储介质
CN116563210B (zh) * 2023-03-21 2023-12-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451303A (zh) * 2018-12-24 2019-03-08 合肥工业大学 一种针对VR视频中用户体验质量QoE的建模方法
CN110674925A (zh) * 2019-08-29 2020-01-10 厦门大学 基于3d卷积神经网络的无参考vr视频质量评价方法
CN111369548A (zh) * 2020-03-10 2020-07-03 江南大学 一种基于生成对抗网络的无参考视频质量评价方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451303A (zh) * 2018-12-24 2019-03-08 合肥工业大学 一种针对VR视频中用户体验质量QoE的建模方法
CN110674925A (zh) * 2019-08-29 2020-01-10 厦门大学 基于3d卷积神经网络的无参考vr视频质量评价方法
CN111369548A (zh) * 2020-03-10 2020-07-03 江南大学 一种基于生成对抗网络的无参考视频质量评价方法及装置

Also Published As

Publication number Publication date
CN112004078A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112004078B (zh) 基于生成对抗网络的虚拟现实视频质量评价方法及系统
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN111163338B (zh) 视频清晰度评估模型训练方法、视频推荐方法及相关装置
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN110516716B (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN110674925B (zh) 基于3d卷积神经网络的无参考vr视频质量评价方法
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN109191460B (zh) 一种对于色调映射图像的质量评价方法
CN109345525B (zh) 一种去鬼影高动态范围图像质量评价方法
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN113793333A (zh) 应用于工业质检的缺陷图片生成方法及装置
CN110910365A (zh) 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法
CN109558801B (zh) 道路网络提取方法、介质、计算机设备及系统
Kim et al. Visual comfort aware-reinforcement learning for depth adjustment of stereoscopic 3d images
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN114359180A (zh) 一种面向虚拟现实的图像质量评价方法
Poreddy et al. BVRIQE: A completely blind no reference virtual reality image quality evaluator
Ma et al. Reduced-reference stereoscopic image quality assessment based on entropy of gradient primitives
CN110276744B (zh) 图像拼接质量的测评方法及装置
CN107270875A (zh) 运动模糊效应下的视觉特征三维重建方法
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN113793472A (zh) 基于特征深度聚合网络的图像型火灾探测器位姿估计方法
GB2594249A (en) Method for creating a virtual environment reconstruction of an actual location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant