CN117176983B - 一种基于全景图像合成的视频生成评价系统 - Google Patents
一种基于全景图像合成的视频生成评价系统 Download PDFInfo
- Publication number
- CN117176983B CN117176983B CN202311005848.9A CN202311005848A CN117176983B CN 117176983 B CN117176983 B CN 117176983B CN 202311005848 A CN202311005848 A CN 202311005848A CN 117176983 B CN117176983 B CN 117176983B
- Authority
- CN
- China
- Prior art keywords
- video frame
- frame image
- video
- image
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 36
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 11
- 238000013441 quality evaluation Methods 0.000 claims abstract description 40
- 230000008447 perception Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 62
- 238000004458 analytical method Methods 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于合成视频生成评价领域，具体公开提供的一种基于全景图像合成的视频生成评价系统，该系统包括：已生成视频划分模块、已生成视频帧图像质量分析模块、已生成视频画面质量分析模块、已生成视频连贯性分析模块、已生成视频感知一致性分析模块、已生成视频质量分析模块和图像库，本发明将已生成视频划分为各视频帧图像，通过对比各视频帧图像与其相邻的视频帧图像和对应参考图像来分析已生成视频的画面质量评价指数、连贯性指数和感知一致性指数，进而分析得到已生成视频的总体质量评价指数，提升了全景图像合成视频评价结果的精准性、细致性、全面性和灵活性，提高了全景图像合成视频质量评价标准的准确性和可比性。
Description
技术领域
本发明属于合成视频生成评价领域，涉及到一种基于全景图像合成的视频生成评价系统。
背景技术
现如今，合成视频被广泛应用于电影、广告、游戏等各大娱乐行业，为用户提供了更加逼真、生动、全面的视频画面效果，而虚拟现实的兴起也为用户提供了不同于以往的视觉新体验，全景图像合成的视频作为虚拟现实技术的重要组成部分已成为图像处理领域的研究热点，但随着虚拟现实技术的不断发展与普及，用户对获得高质量的沉浸式视觉体验的需求也日益增长，然而在全景图像合成视频的拼接、投影、传输等诸多操作的过程中不可避免地会出现一些问题，并给视频的质量带来损伤，使视频画面失真或不流畅，因此对全景图像合成的视频进行生成评价的研究工作至关重要。
现有的对合成视频进行生成评价的方法还存在一些不足，主要表现在以下几个方面：（1）现阶段评价全景图像合成视频的方法主要还停留在人工评价的层面，由于不同的评价者有不同的标准和偏好，导致对全景图像合成视频的质量评价存在一定的主观性，使得全景图像合成视频的评价结果缺乏客观性和一致性，同时还缺乏统一的标准化指标来评估全景图像合成视频的质量，因此全景图像合成视频评价结果的可比性也受到了限制。
（2）目前在评价全景图像合成视频时，缺少对细节的把控，并未对视频画面的质量进行逐帧分析评价，无法注意到全景图像在被用来合成视频后可能出现的画面失真问题和亮度、对比度、结构出现偏差的问题，导致全景图像合成视频的评价结果忽略了细节，同时影响了评价结果的精准性。
（3）目前在评价全景图像合成视频时，仅仅考虑到了视频的画面质量问题，却并未考虑到视频各帧图像之间的衔接连贯问题和感知一致性问题，忽略视频可能出现的跳帧、抖动、扭曲等质量问题，导致全景图像合成视频的评价结果缺乏全面性和灵活性，同时影响了用户的观看体验。
发明内容
为了克服背景技术中的缺点，本发明实施例提供了一种基于全景图像合成的视频生成评价系统，能够有效解决上述背景技术中涉及的问题。
本发明的目的可以通过以下技术方案实现：本发明提供一种基于全景图像合成的视频生成评价系统，包括：已生成视频划分模块用于将已生成的视频按照等时间间隔原则划分为各视频帧图像。
已生成视频帧图像质量分析模块用于分析各视频帧图像的峰值信噪比和结构相似性指标，进而分析各视频帧图像的质量系数。
已生成视频画面质量分析模块用于根据各视频帧图像的质量系数分析已生成视频的画面质量波动系数，进而分析已生成视频的画面质量评价指数。
已生成视频连贯性分析模块用于将各视频帧图像与其相邻视频帧图像进行对比，分析各视频帧图像与其相邻视频帧图像之间对应参照物的位置变化系数和角度变化系数，进而分析已生成视频的连贯性指数。
已生成视频感知一致性分析模块用于分析各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度，进而分析已生成视频的感知一致性指数。
已生成视频质量分析模块用于根据已生成视频的画面质量评价指数、连贯性指数和感知一致性指数分析已生成视频的总体质量评价指数，进而用于评价生成视频的质量水平。
数据库用于存储已生成视频合成所用的各全景图像，并存储参照物各轮廓面积等级对应的适宜的位置变化距离。
进一步地，所述各视频帧图像的峰值信噪比，其具体分析过程为：使用图像处理函数加载获取的各视频帧图像，并解析为内存中的图像数据结构，访问图像数据结构中像素的二维数组，并获取其不同行不同列对应的像素值/>，其中/>表示第/>个视频帧图像像素的二维数组，/>表示已生成视频视频帧图像的编号，/>，/>表示像素二维数组的行编号，/>，/>表示像素二维数组的列编号，/>。
再从数据库中提取各全景图像，从各全景图像中筛选出各视频帧图像对应的参照图像，同理获取各视频帧图像对应参照图像像素的二维数组，并获取其不同行不同列对应的像素值/>，其中/>表示第/>个视频帧图像对应参照图像像素的二维数组。
从而对比计算各视频帧图像像素的均方误差，其计算公式为：，再获取各视频帧图像对应参照图像像素的最大取值/>，进而计算各视频帧图像的峰值信噪比/>，其计算公式为：。
进一步地，所述各视频帧图像的结构相似性指标，其具体分析过程为：根据各视频帧图像像素的二维数组中不同行不同列对应的像素值，用均值计算得到各视频帧图像的像素值均值/>，再计算各视频帧图像的像素值标准差/>，同理根据各视频帧图像对应参照图像像素的二维数组中不同行不同列对应的像素值/>计算得到各视频帧图像对应参照图像的像素值均值/>以及各视频帧图像对应参照图像的像素值标准差/>，进而计算各视频帧图像与其对应参照图像的像素值协方差/>。
从而分析各视频帧图像与其对应参照图像的亮度相似度，其计算公式为：，其中/>为常数。
分析各视频帧图像与其对应参照图像的对比度相似度，其计算公式为：，其中/>为常数。
分析各视频帧图像与其对应参照图像的结构相似度，其计算公式为：，其中/>为常数。
进而分析各视频帧图像的结构相似性指标，其计算公式为：，其中/>、/>、/>分别表示设定的亮度相似度、对比度相似度以及结构相似度对视频帧图像的结构相似性的影响占比因子。
进一步地，所述各视频帧图像的质量系数，其具体分析过程为：根据各视频帧图像的峰值信噪比和结构相似性指标，分析各视频帧图像的质量系数，其计算公式为，其中/>、/>分别表示设定的峰值信噪比和结构相似性指标对视频帧图像质量的影响占比因子。
进一步地，所述已生成视频的画面质量评价指数，其具体分析过程为：获取各视频帧图像的质量系数中的最大值、最小值/>以及平均值/>，分析已生成视频不同视频帧图像质量的波动系数/>，其计算公式为：/>，其中/>表示设定的已生成视频不同视频帧图像质量波动的修正因子。
进而分析已生成视频的画面质量评价指数，其计算公式为：，其中/>表示设定的已生成视频不同视频帧图像质量的合理波动系数。
进一步地，所述已生成视频的连贯性指数，其具体分析过程为：以各视频帧图像的左下角点为原点，构建二维直角坐标系，从各视频帧图像与其相邻视频帧图像中选取同一参照物，获取对应参照物的中心点分别在各视频帧图像与其相邻视频帧图像中的位置坐标，分别记为和/>，其中/>表示各视频帧的相邻视频帧图像的编号，，并使用图像处理技术获取对应参照物的轮廓面积，从数据库中获取参照物各轮廓面积等级对应的适宜的位置变化距离/>，进而分析各视频帧图像与其相邻视频帧图像之间对应参照物的位置变化系数/>，其计算公式为：。
再分析各目标视频帧图像与其相邻视频帧图像之间对应参照物的角度变化系数，其计算公式为/>。
进而分析已生成视频的连贯性指数，其计算公式为：，其中/>表示设定的目标视频帧图像与其相邻视频帧图像之间对应参照物的合理位置变化系数，/>表示设定的目标视频帧图像与其相邻视频帧图像之间对应参照物的合理角度变化系数，/>、/>分别表示设定的对应参照物的位置变化系数和角度变化系数对视频连贯性的影响占比因子。
进一步地，所述各视频帧图像与其相邻视频帧图像的颜色相似度，其具体分析过程为：通过图像处理技术将各视频帧图像转换为设定的颜色空间，按照等间隔原则将颜色空间划分为若干个离散的颜色区间，统计各颜色区间内的像素数量，将各颜色区间内的像素数量与总像素数量的比值作为各颜色区间的频率，以颜色区间总数目作为特征向量的总维度，以按照从小到大的顺序排列的各颜色区间的频率作为特征向量的各维度特征值，构建特征向量，将其作为各视频帧图像的颜色直方图向量，同理得到各视频帧的相邻视频帧图像的颜色直方图向量/>,进而计算各视频帧图像与其相邻视频帧图像的颜色相似度，其计算公式为：/>。
进一步地，所述各视频帧图像与其相邻视频帧图像的内容元素相似度，其具体分析过程为：对各视频帧图像中的各内容元素进行识别分类，分析各视频帧图像与其相邻视频帧图像中各内容元素的类别符合度，其中/>表示各视频帧图像中内容元素的编号，。
采用边缘检测算法并结合各视频帧图像的二维直角坐标系，分析各视频帧图像中各内容元素的位置坐标，再将各视频帧对应相邻视频帧图像中各内容元素的位置坐标记为/>，得到各视频帧图像与其相邻视频帧图像的形状符合度/>，其计算公式为：/>。
进而计算各视频帧图像与其相邻视频帧图像的内容元素相似度，其计算公式为：/>，其中/>、/>分别表示设定的类别符合度和形状符合度对内容元素相似度的影响占比因子。
进一步地，所述已生成视频的感知一致性指数，其具体分析过程为：根据各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度，可以分析得到已生成视频的感知一致性指数，其计算公式为：/>，其中/>、/>分别表示设定的颜色相似度和内容元素相似度对视频感知一致性的影响占比因子。
进一步地，所述已生成视频的总体质量评价指数，其具体分析过程为：根据已生成视频的画面质量评价指数、连贯性指数和感知一致性指数，可以分析得到已生成视频的总体质量评价指数，其计算公式为：/>，其中/>、/>、分别表示设定的画面质量评价指数、连贯性指数和感知一致性指数对视频的总体质量评价的影响占比因子，并且/>。
相较于现有技术，本发明的有益效果如下：（1）本发明通过计算已生成视频各视频帧图像的峰值信噪比和结构相似性指标来评估各视频帧图像的画面质量，并且还考虑到各视频帧图像质量的波动对整体视频画面质量的影响，精准地把控了全景图像合成视频的画面失真情况和亮度、对比度、结构的偏差情况，提升了全景图像合成视频评价结果的精准性和细致性。
（2）本发明通过分析各视频帧图像与其相邻视频帧图像之间参照物的位置变化系数和角度变化系数以分析已生成视频的连贯性指数，可以及时发现视频中跳帧、抖动和扭曲等问题，并可以更方便地溯源到出现问题的视频帧，为全景图像合成视频的评价提供了一个可参考的标准，有效保证了全景图像合成视频评价结果的全面性和灵活性。
（3）本发明通过分析各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度以分析已生成视频的感知一致性指数，可以通过分析各视频帧图像之间的颜色和内容变化来评估视频画面的稳定性和质量水平，为全景图像合成视频的评价提供了又一个有效的参考标准，并且考虑到了用户观看体验的问题。
（4）本发明不再局限于人工视觉评价全景图像合成视频的质量，而是通过分析已生成视频的画面质量评价指数、连贯性指数和感知一致性指数来综合分析已生成视频的总体质量评价指数，进而使得全景图像合成视频的评价结果更加客观，并且使用一致的标准去评价视频的质量，提高了全景图像合成视频质量评价标准的准确性和可比性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统的模块连接示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提供了一种基于全景图像合成的视频生成评价系统，该系统包括：已生成视频划分模块、已生成视频帧图像质量分析模块、已生成视频画面质量分析模块、已生成视频连贯性分析模块、已生成视频感知一致性分析模块、已生成视频质量分析模块和数据库。
所述已生成视频划分模块与已生成视频帧图像质量分析模块连接，已生成视频帧图像质量分析模块与已生成视频画面质量分析模块连接，已生成视频画面质量分析模块与已生成视频连贯性分析模块连接，已生成视频连贯性分析模块与已生成视频感知一致性分析模块连接，已生成视频感知一致性分析模块与已生成视频质量分析模块连接，图像库与已生成视频帧图像质量分析模块连接。
所述已生成视频划分模块用于将已生成的视频按照等时间间隔原则划分为各视频帧图像。
所述已生成视频帧图像质量分析模块用于分析各视频帧图像的峰值信噪比和结构相似性指标，进而分析各视频帧图像的质量系数。
在本发明的具体实施例中，所述各视频帧图像的峰值信噪比，其具体分析过程为：使用图像处理函数加载获取的各视频帧图像，并解析为内存中的图像数据结构，访问图像数据结构中像素的二维数组，并获取其不同行不同列对应的像素值/>，其中表示第/>个视频帧图像像素的二维数组，/>表示已生成视频视频帧图像的编号，，/>表示像素二维数组的行编号，/>，/>表示像素二维数组的列编号，/>。
再从数据库中提取各全景图像，从各全景图像中筛选出各视频帧图像对应的参照图像，同理获取各视频帧图像对应参照图像像素的二维数组，并获取其不同行不同列对应的像素值/>，其中/>表示第/>个视频帧图像对应参照图像像素的二维数组。
从而对比计算各视频帧图像像素的均方误差，其计算公式为：，再获取各视频帧图像对应参照图像像素的最大取值/>，进而计算各视频帧图像的峰值信噪比/>，其计算公式为：。
需要说明的是，从各全景图像中筛选出的各视频帧图像对应的参照图像的具体方式为：获取各视频帧图像，使用深度学习技术将各视频帧图像输入到预训练的神经网络中，再使用特征提取算法提取各视频帧图像中各关键特征点的特征值，同理提取各全景图像中对应各关键特征点的特征值，再将各视频帧图像各关键特征点的特征值与各全景图像对应各关键特征点的特征值作比较，进而分析各视频帧图像与各全景图像的相似度，其计算公式为：/>，其中/>表示全景图像的编号，/>，/>表示第/>个视频帧图像的第/>个关键特征点的特征值，/>表示第/>个全景图像的第/>个关键特征点的特征值，/>。
从各视频帧图像与各全景图像的相似度中筛选出与各视频帧图像相似度最大的全景图像，并将其作为各视频帧图像对应的参照图像。
还需要说明的是，各视频帧图像对应参照图像像素的最大取值的计算公式为：。
在本发明的具体实施例中，所述各视频帧图像的结构相似性指标，其具体分析过程为：根据各视频帧图像像素的二维数组中不同行不同列对应的像素值，用均值计算得到各视频帧图像的像素值均值/>，再计算各视频帧图像的像素值标准差/>，同理根据各视频帧图像对应参照图像像素的二维数组中不同行不同列对应的像素值/>计算得到各视频帧图像对应参照图像的像素值均值/>以及各视频帧图像对应参照图像的像素值标准差/>，进而计算各视频帧图像与其对应参照图像的像素值协方差/>。
从而分析各视频帧图像与其对应参照图像的亮度相似度，其计算公式为：，其中/>为常数。
分析各视频帧图像与其对应参照图像的对比度相似度，其计算公式为：，其中/>为常数。
分析各视频帧图像与其对应参照图像的结构相似度，其计算公式为：，其中/>为常数。
进而分析各视频帧图像的结构相似性指标，其计算公式为：，其中/>、/>、/>分别表示设定的亮度相似度、对比度相似度以及结构相似度对视频帧图像的结构相似性的影响占比因子。
需要说明的是，各视频帧图像的像素值均值的计算公式为：，各视频帧图像的像素值标准差/>的计算公式为：。
各视频帧图像对应参照图像的像素值均值的计算公式为：，各视频帧图像对应参照图像的像素值标准差/>的计算公式为：。
各视频帧图像与其对应参照图像的像素值协方差的计算公式为：。
在本发明的具体实施例中，所述各视频帧图像的质量系数，其具体分析过程为：根据各视频帧图像的峰值信噪比和结构相似性指标，分析各视频帧图像的质量系数，其计算公式为/>，其中/>、/>分别表示设定的峰值信噪比和结构相似性指标对视频帧图像质量的影响占比因子。
所述已生成视频画面质量分析模块用于根据各视频帧图像的质量系数分析已生成视频的画面质量波动系数，进而分析已生成视频的画面质量评价指数。
在本发明的具体实施例中，所述已生成视频的画面质量评价指数，其具体分析过程为：获取各视频帧图像的质量系数中的最大值、最小值/>以及平均值/>，分析已生成视频不同视频帧图像质量的波动系数/>，其计算公式为：，其中/>表示设定的已生成视频不同视频帧图像质量波动的修正因子。
进而分析已生成视频的画面质量评价指数，其计算公式为：，其中/>表示设定的已生成视频不同视频帧图像质量的合理波动系数。
本发明通过计算已生成视频各视频帧图像的峰值信噪比和结构相似性指标来评估各视频帧图像的画面质量，并且还考虑到各视频帧图像质量的波动对整体视频画面质量的影响，精准地把控了全景图像合成视频的画面失真情况和亮度、对比度、结构等参数的偏差情况，提升了全景图像合成视频评价结果的精准性和细致性。
所述已生成视频连贯性分析模块用于将各视频帧图像与其相邻视频帧图像进行对比，分析各视频帧图像与其相邻视频帧图像之间对应参照物的位置变化系数和角度变化系数，进而分析已生成视频的连贯性指数。
在本发明的具体实施例中，所述已生成视频的连贯性指数，其具体分析过程为：以各视频帧图像的左下角点为原点，构建二维直角坐标系，从各视频帧图像与其相邻视频帧图像中选取同一参照物，获取对应参照物的中心点分别在各视频帧图像与其相邻视频帧图像中的位置坐标，分别记为和/>，其中/>表示各视频帧的相邻视频帧图像的编号，/>，并使用图像处理技术获取对应参照物的轮廓面积，从数据库中获取参照物各轮廓面积等级对应的适宜的位置变化距离/>，进而分析各视频帧图像与其相邻视频帧图像之间对应参照物的位置变化系数/>，其计算公式为：。
再分析各目标视频帧图像与其相邻视频帧图像之间对应参照物的角度变化系数，其计算公式为/>。
进而分析已生成视频的连贯性指数，其计算公式为：，其中/>表示设定的目标视频帧图像与其相邻视频帧图像之间对应参照物的合理位置变化系数，/>表示设定的目标视频帧图像与其相邻视频帧图像之间对应参照物的合理角度变化系数，/>、/>分别表示设定的对应参照物的位置变化系数和角度变化系数对视频连贯性的影响占比因子。
需要说明的是，由于已生成视频的最后一个视频帧无下一个视频帧，因此将其上一个视频帧作为最后一个视频帧的相邻视频帧。
本发明通过分析各视频帧图像与其相邻视频帧图像之间参照物的位置变化系数和角度变化系数以分析已生成视频的连贯性指数，可以及时发现视频中跳帧、抖动和扭曲等问题，并可以更方便地溯源到出现问题的视频帧，为全景图像合成视频的评价提供了一个可参考的标准，有效保证了全景图像合成视频评价结果的全面性和灵活性。
所述已生成视频感知一致性分析模块用于分析各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度，进而分析已生成视频的感知一致性指数。
在本发明的具体实施例中，所述各视频帧图像与其相邻视频帧图像的颜色相似度，其具体分析过程为：通过图像处理技术将各视频帧图像转换为设定的颜色空间，按照等间隔原则将颜色空间划分为若干个离散的颜色区间，统计各颜色区间内的像素数量，将各颜色区间内的像素数量与总像素数量的比值作为各颜色区间的频率，以颜色区间总数目作为特征向量的总维度，以按照从小到大的顺序排列的各颜色区间的频率作为特征向量的各维度特征值，构建特征向量，将其作为各视频帧图像的颜色直方图向量，同理得到各视频帧的相邻视频帧图像的颜色直方图向量/>,进而计算各视频帧图像与其相邻视频帧图像的颜色相似度/>，其计算公式为：/>。
在本发明的具体实施例中，所述各视频帧图像与其相邻视频帧图像的内容元素相似度，其具体分析过程为：对各视频帧图像中的各内容元素进行识别分类，分析各视频帧图像与其相邻视频帧图像中各内容元素的类别符合度，其中/>表示各视频帧图像中内容元素的编号，/>。
采用边缘检测算法并结合各视频帧图像的二维直角坐标系，分析各视频帧图像中各内容元素的位置坐标，再将各视频帧对应相邻视频帧图像中各内容元素的位置坐标记为/>，得到各视频帧图像与其相邻视频帧图像的形状符合度/>，其计算公式为：/>。
进而计算各视频帧图像与其相邻视频帧图像的内容元素相似度，其计算公式为：/>，其中/>、/>分别表示设定的类别符合度和形状符合度对内容元素相似度的影响占比因子。
需要说明的是，各视频帧图像与其相邻视频帧图像中各内容元素的类别符合度的具体分析方式为：对各视频帧图像进行灰度化处理和降噪操作，识别各视频帧图像中各内容元素并通过物体分类模型将其归类到预定义的类别中，得到各视频帧图像中各内容元素的类别，并将各视频帧图像与其相邻视频帧图像中各内容元素的类别进行对比，若类别相同，设定类别符合度为1，反之设定类别符合度为0，进而得到各视频帧图像与其相邻视频帧图像中各内容元素的类别符合度，/>。
还需要说明的是，各视频帧图像与其相邻视频帧图像中各内容元素的位置坐标的具体获取方式为：采用边缘检测算法获取各视频帧图像中各内容元素的形状轮廓，得到各视频帧图像中各内容元素的形状轮廓对应外接矩形各视频帧图像中各内容元素的外接矩形，根据各视频帧图像的二维直角坐标系获取各视频帧图像中各内容元素外接矩形的各角点坐标，对各角点坐标进行均值计算，得到各视频帧图像中各内容元素的外接矩形的中心坐标，将其作为各视频帧图像中各内容元素的位置坐标，再将各视频帧对应相邻视频帧图像中各内容元素的位置坐标记为/>。
在本发明的具体实施例中，所述已生成视频的感知一致性指数，其具体分析过程为：根据各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度，可以分析得到已生成视频的感知一致性指数，其计算公式为：/>，其中、/>分别表示设定的颜色相似度和内容元素相似度对视频感知一致性的影响占比因子。
本发明通过分析各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度以分析已生成视频的感知一致性指数，可以通过分析各视频帧图像之间的颜色和内容变化来评估视频画面的稳定性和质量水平，为全景图像合成视频的评价提供了又一个有效的参考标准，并且考虑到了用户观看体验的问题。
所述已生成视频质量分析模块用于根据已生成视频的画面质量评价指数、连贯性指数和感知一致性指数分析已生成视频的总体质量评价指数，进而用于评价生成视频的质量水平。
在本发明的具体实施例中，所述已生成视频的总体质量评价指数，其具体分析过程为：根据已生成视频的画面质量评价指数、连贯性指数和感知一致性指数，可以分析得到已生成视频的总体质量评价指数，其计算公式为：，其中/>、/>、/>分别表示设定的画面质量评价指数、连贯性指数和感知一致性指数对视频的总体质量评价的影响占比因子，并且。
本发明不再局限于人工视觉评价全景图像合成视频的质量，而是通过分析已生成视频的画面质量评价指数、连贯性指数和感知一致性指数来综合分析已生成视频的总体质量评价指数，进而使得全景图像合成视频的评价结果更加客观，并且使用一致的标准去评价视频的质量，提高了全景图像合成视频质量评价标准的准确性和可比性。
所述数据库用于存储已生成视频合成所用的各全景图像，并存储参照物各轮廓面积等级对应的适宜的位置变化距离。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本发明所定义的范围，均应属于本发明的保护范围。
Claims (9)
1.一种基于全景图像合成的视频生成评价系统，其特征在于，该系统包括：
已生成视频划分模块用于将已生成的视频按照等时间间隔原则划分为各视频帧图像；
已生成视频帧图像质量分析模块用于分析各视频帧图像的峰值信噪比和结构相似性指标，进而分析各视频帧图像的质量系数；
已生成视频画面质量分析模块用于根据各视频帧图像的质量系数分析已生成视频的画面质量波动系数，进而分析已生成视频的画面质量评价指数；
所述已生成视频的画面质量评价指数，其具体分析过程为：
获取各视频帧图像的质量系数中的最大值、最小值/>以及平均值/>，分析已生成视频不同视频帧图像质量的波动系数/>，其计算公式为：/>，其中/>表示设定的已生成视频不同视频帧图像质量波动的修正因子；
进而分析已生成视频的画面质量评价指数，其计算公式为：，其中/>表示设定的已生成视频不同视频帧图像质量的合理波动系数；
已生成视频连贯性分析模块用于将各视频帧图像与其相邻视频帧图像进行对比，分析各视频帧图像与其相邻视频帧图像之间对应参照物的位置变化系数和角度变化系数，进而分析已生成视频的连贯性指数；
已生成视频感知一致性分析模块用于分析各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度，进而分析已生成视频的感知一致性指数；
已生成视频质量分析模块用于根据已生成视频的画面质量评价指数、连贯性指数和感知一致性指数分析已生成视频的总体质量评价指数，进而用于评价生成视频的质量水平；
数据库用于存储已生成视频合成所用的各全景图像，并存储参照物各轮廓面积等级对应的适宜的位置变化距离。
2.根据权利要求1所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述各视频帧图像的峰值信噪比，其具体分析过程为：
使用图像处理函数加载获取的各视频帧图像，并解析为内存中的图像数据结构，访问图像数据结构中像素的二维数组，并获取其不同行不同列对应的像素值/>，其中/>表示第/>个视频帧图像像素的二维数组，/>表示已生成视频视频帧图像的编号，，/>表示像素二维数组的行编号，/>，/>表示像素二维数组的列编号，/>；
再从数据库中提取各全景图像，从各全景图像中筛选出各视频帧图像对应的参照图像，同理获取各视频帧图像对应参照图像像素的二维数组，并获取其不同行不同列对应的像素值/>，其中/>表示第/>个视频帧图像对应参照图像像素的二维数组；
从而对比计算各视频帧图像像素的均方误差，其计算公式为：，再获取各视频帧图像对应参照图像像素的最大取值/>，进而计算各视频帧图像的峰值信噪比/>，其计算公式为：。
3.根据权利要求2所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述各视频帧图像的结构相似性指标，其具体分析过程为：
根据各视频帧图像像素的二维数组中不同行不同列对应的像素值，用均值计算得到各视频帧图像的像素值均值/>，再计算各视频帧图像的像素值标准差/>，同理根据各视频帧图像对应参照图像像素的二维数组中不同行不同列对应的像素值/>计算得到各视频帧图像对应参照图像的像素值均值/>以及各视频帧图像对应参照图像的像素值标准差/>，进而计算各视频帧图像与其对应参照图像的像素值协方差/>；
从而分析各视频帧图像与其对应参照图像的亮度相似度，其计算公式为：，其中/>为常数；
分析各视频帧图像与其对应参照图像的对比度相似度，其计算公式为：，其中/>为常数；
分析各视频帧图像与其对应参照图像的结构相似度，其计算公式为：，其中/>为常数；
进而分析各视频帧图像的结构相似性指标，其计算公式为：，其中/>、/>、/>分别表示设定的亮度相似度、对比度相似度以及结构相似度对视频帧图像的结构相似性的影响占比因子。
4.根据权利要求3所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述各视频帧图像的质量系数，其具体分析过程为：
根据各视频帧图像的峰值信噪比和结构相似性指标，分析各视频帧图像的质量系数，其计算公式为/>，其中/>、/>分别表示设定的峰值信噪比和结构相似性指标对视频帧图像质量的影响占比因子。
5.根据权利要求2所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述已生成视频的连贯性指数，其具体分析过程为：
以各视频帧图像的左下角点为原点，构建二维直角坐标系，从各视频帧图像与其相邻视频帧图像中选取同一参照物，获取对应参照物的中心点分别在各视频帧图像与其相邻视频帧图像中的位置坐标，分别记为和/>，其中/>表示各视频帧的相邻视频帧图像的编号，/>，并使用图像处理技术获取对应参照物的轮廓面积，从数据库中获取参照物各轮廓面积等级对应的适宜的位置变化距离/>，进而分析各视频帧图像与其相邻视频帧图像之间对应参照物的位置变化系数/>，其计算公式为：；
再分析各目标视频帧图像与其相邻视频帧图像之间对应参照物的角度变化系数，其计算公式为/>；
进而分析已生成视频的连贯性指数，其计算公式为：，其中/>表示设定的目标视频帧图像与其相邻视频帧图像之间对应参照物的合理位置变化系数，/>表示设定的目标视频帧图像与其相邻视频帧图像之间对应参照物的合理角度变化系数，/>、/>分别表示设定的对应参照物的位置变化系数和角度变化系数对视频连贯性的影响占比因子。
6.根据权利要求2所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述各视频帧图像与其相邻视频帧图像的颜色相似度，其具体分析过程为：
通过图像处理技术将各视频帧图像转换为设定的颜色空间，按照等间隔原则将颜色空间划分为若干个离散的颜色区间，统计各颜色区间内的像素数量，将各颜色区间内的像素数量与总像素数量的比值作为各颜色区间的频率，以颜色区间总数目作为特征向量的总维度，以按照从小到大的顺序排列的各颜色区间的频率作为特征向量的各维度特征值，构建特征向量，将其作为各视频帧图像的颜色直方图向量，同理得到各视频帧的相邻视频帧图像的颜色直方图向量/>,进而计算各视频帧图像与其相邻视频帧图像的颜色相似度，其计算公式为：/>。
7.根据权利要求5所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述各视频帧图像与其相邻视频帧图像的内容元素相似度，其具体分析过程为：
对各视频帧图像中的各内容元素进行识别分类，分析各视频帧图像与其相邻视频帧图像中各内容元素的类别符合度，其中/>表示各视频帧图像中内容元素的编号，；
采用边缘检测算法并结合各视频帧图像的二维直角坐标系，分析各视频帧图像中各内容元素的位置坐标，再将各视频帧对应相邻视频帧图像中各内容元素的位置坐标记为/>，得到各视频帧图像与其相邻视频帧图像的形状符合度/>，其计算公式为：/>；
进而计算各视频帧图像与其相邻视频帧图像的内容元素相似度，其计算公式为：，其中/>、/>分别表示设定的类别符合度和形状符合度对内容元素相似度的影响占比因子。
8.根据权利要求7所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述已生成视频的感知一致性指数，其具体分析过程为：
根据各视频帧图像与其相邻视频帧图像的颜色相似度和内容元素相似度，可以分析得到已生成视频的感知一致性指数，其计算公式为：/>，其中、/>分别表示设定的颜色相似度和内容元素相似度对视频感知一致性的影响占比因子。
9.根据权利要求8所述的一种基于全景图像合成的视频生成评价系统，其特征在于：所述已生成视频的总体质量评价指数，其具体分析过程为：
根据已生成视频的画面质量评价指数、连贯性指数和感知一致性指数，可以分析得到已生成视频的总体质量评价指数，其计算公式为：，其中/>、/>、/>分别表示设定的画面质量评价指数、连贯性指数和感知一致性指数对视频的总体质量评价的影响占比因子，并且。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005848.9A CN117176983B (zh) | 2023-08-10 | 2023-08-10 | 一种基于全景图像合成的视频生成评价系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005848.9A CN117176983B (zh) | 2023-08-10 | 2023-08-10 | 一种基于全景图像合成的视频生成评价系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117176983A CN117176983A (zh) | 2023-12-05 |
| CN117176983B true CN117176983B (zh) | 2024-01-26 |
Family
ID=88936654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311005848.9A Active CN117176983B (zh) | 2023-08-10 | 2023-08-10 | 一种基于全景图像合成的视频生成评价系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117176983B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049838A (zh) * | 2015-07-10 | 2015-11-11 | 天津大学 | 一种用于压缩立体视频质量的客观评价方法 |
| CN110691236A (zh) * | 2019-09-18 | 2020-01-14 | 宁波大学 | 一种全景视频质量评价方法 |
| CN112954313A (zh) * | 2021-02-09 | 2021-06-11 | 方玉明 | 一种对全景图像感知质量的计算方法 |
| WO2022126674A1 (zh) * | 2020-12-19 | 2022-06-23 | 中国科学院深圳先进技术研究院 | 立体全景图像的质量评价方法、系统 |
-
2023
- 2023-08-10 CN CN202311005848.9A patent/CN117176983B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049838A (zh) * | 2015-07-10 | 2015-11-11 | 天津大学 | 一种用于压缩立体视频质量的客观评价方法 |
| CN110691236A (zh) * | 2019-09-18 | 2020-01-14 | 宁波大学 | 一种全景视频质量评价方法 |
| WO2022126674A1 (zh) * | 2020-12-19 | 2022-06-23 | 中国科学院深圳先进技术研究院 | 立体全景图像的质量评价方法、系统 |
| CN112954313A (zh) * | 2021-02-09 | 2021-06-11 | 方玉明 | 一种对全景图像感知质量的计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117176983A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lebreton et al. | GBVS360, BMS360, ProSal: Extending existing saliency prediction models from 2D to omnidirectional images | |
| US6631206B1 (en) | Image filtering in HSI color space | |
| CN101601287B (zh) | 产生照片级真实感图像缩略图的设备和方法 | |
| CN104063883B (zh) | 一种基于对象和关键帧相结合的监控视频摘要生成方法 | |
| US20110292051A1 (en) | Automatic Avatar Creation | |
| US20180357819A1 (en) | Method for generating a set of annotated images | |
| US20110007975A1 (en) | Image Display Apparatus and Image Display Method | |
| KR20100038168A (ko) | 구도 해석 방법, 구도 해석 기능을 구비한 화상 장치, 구도 해석 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
| CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
| Shi et al. | Visual quality evaluation of image object segmentation: Subjective assessment and objective measure | |
| CN108876756A (zh) | 图像相似性的度量方法和装置 | |
| CN109064525A (zh) | 一种图片格式转换方法、装置、设备和存储介质 | |
| CN111784658B (zh) | 一种用于人脸图像的质量分析方法和系统 | |
| CN113298779B (zh) | 基于逆向重建网格的视频重定向质量客观评价方法 | |
| Zhang et al. | Advancing zero-shot digital human quality assessment through text-prompted evaluation | |
| WO2020087434A1 (zh) | 一种人脸图像清晰度评价方法及装置 | |
| Gelasca et al. | On evaluating video object segmentation quality: A perceptually driven objective metric | |
| CN117176983B (zh) | 一种基于全景图像合成的视频生成评价系统 | |
| Unemi | SBArt4 for an automatic evolutionary art | |
| Narwaria et al. | An objective method for High Dynamic Range source content selection | |
| CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
| CN114449362B (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
| Ullah et al. | Perceptual quality assessment of panoramic stitched contents for immersive applications: a prospective survey | |
| CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
| CN111083468B (zh) | 一种基于图像梯度的短视频质量评价方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |