CN117041625B - 一种超高清视频图像质量检测网络构建方法及系统 - Google Patents
一种超高清视频图像质量检测网络构建方法及系统 Download PDFInfo
- Publication number
- CN117041625B CN117041625B CN202311170584.2A CN202311170584A CN117041625B CN 117041625 B CN117041625 B CN 117041625B CN 202311170584 A CN202311170584 A CN 202311170584A CN 117041625 B CN117041625 B CN 117041625B
- Authority
- CN
- China
- Prior art keywords
- video
- definition
- image
- sub
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title claims description 29
- 238000012360 testing method Methods 0.000 claims abstract description 199
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006854 communication Effects 0.000 abstract description 37
- 238000004891 communication Methods 0.000 abstract description 36
- 238000005457 optimization Methods 0.000 abstract description 23
- 238000012545 processing Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Electrically Operated Instructional Devices (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于深度学习的超高清视频清晰度测试方法及系统，其中，基于深度学习的超高清视频清晰度测试系统，包括：多个用户端和清晰度测试中心；其中，用户端：用于发送测试请求，并接收测试结果；发送优化请求，并接收超高清视频；清晰度测试中心：用于执行如下步骤：接收测试请求，对测试请求中的原始视频进行分类，获得待测试视频，视频类别为通信视频或拍摄视频；通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并发送；接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并发送。本申请能提高对视频清晰度的测试精度，并能对视频进行清晰度优化。
Description
技术领域
本申请涉及数字视频处理技术领域，尤其涉及一种超高清视频图像质量检测网络构建方法及系统。
背景技术
经过采集、压缩、存储、传输和显示等处理环节后，超高清视频会引入不同类型和不同程度的失真，从而导致视频清晰度下降。
而目前已有的超高清视频清晰度测试方法较为单一，对超高清视频进行清晰度测试的测试精度有限，且无法在完成视频清晰度测试后，根据用户端需求对视频进行清晰度优化。
发明内容
本申请的目的在于提供一种基于深度学习的超高清视频清晰度测试方法及系统，能提高对视频清晰度的测试精度，并能对视频进行清晰度优化。
为达到上述目的，本申请提供一种基于深度学习的超高清视频清晰度测试系统，包括：多个用户端和清晰度测试中心；其中，用户端：用于发送测试请求，并接收测试结果；发送优化请求，并接收超高清视频；清晰度测试中心：用于执行如下步骤：接收测试请求，对测试请求中的原始视频进行分类，获得待测试视频，其中，待测试视频包括：原始视频和视频类别，视频类别为通信视频或拍摄视频；通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并发送，其中，测试结果为清晰或不清晰；接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并发送。
如上的，其中，清晰度测试中心至少包括：通信单元、分类单元、测试单元、优化单元和存储单元；其中，通信单元：用于接收测试请求，并将测试请求发送至分类单元，接收并发送测试结果；接收优化请求，并将优化请求发送至优化单元，接收并发送超高清视频；分类单元：用于执行测试请求，对测试请求中的原始视频进行分类，获得待测试视频，并将待测试视频发送至测试单元；测试单元：用于通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并将测试结果发送至通信单元；优化单元：用于执行优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并将超高清视频发送至通信单元；存储单元至少包括：测试数据库和测试模型库；测试数据库用于存储历史测试数据，其中，历史测试数据至少包括：原始视频和测试结果；测试模型库用于存储所有版本的清晰度测试模型。
如上的，其中，清晰度测试中心还包括：更新单元，用于在满足预设条件时，对测试单元的清晰度测试模型进行优化，获得优化后的清晰度测试模型，并将新版的清晰度测试模型发送至存储单元的测试模型库中存储。
本申请还提供一种基于深度学习的超高清视频清晰度测试方法，包括如下步骤：接收测试请求，对测试请求中的原始视频进行分类，获得待测试视频，其中，待测试视频包括：原始视频和视频类别，视频类别为通信视频或拍摄视频；通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并发送，其中，测试结果为清晰或不清晰；接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并发送。
如上的，其中，通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果的子步骤如下：通过清晰度测试模型中的段测试模型对待测试视频中的原始视频进行清晰度测试，获得段清晰值；通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值；对段清晰值和帧清晰值进行计算，获得综合清晰值；通过预设的超高清阈值对综合清晰值进行分析，并生成测试结果；若综合清晰值大于或等于超高清阈值，则生成的测试结果为清晰，若综合清晰值小于超高清阈值，则生成的测试结果为不清晰。
如上的，其中，通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值的子步骤如下：由帧测试模型中的图像帧提取模型按照视频播放顺序对原始视频进行图像帧提取，获得多个子图像，每个子图像均具有一个图像序列，且图像序列的值按照视频播放顺序依次递增；由帧测试模型中的图像清晰度识别模型对每一个子图像进行清晰度识别，获得子图像清晰值，并对所有的子图像清晰值进行分析，获得图像清晰值；对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值；根据图像清晰值和图像质量值生成帧清晰值。
如上的，其中，帧清晰值的表达式如下：Qz＝λ1•Tq+λ2•TZ；其中，Qz为原始视频的帧清晰值；λ1为原始视频的图像清晰值Tq的权重；λ2为原始视频的图像质量值Tz的权重。
如上的，其中，对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值的子步骤如下：对每一个子图像进行下采样，得到下采样图像；按照图像序列的顺序依次对下采样图像进行失真特征提取，获得失真特征；按照图像序列的顺序依次将失真特征输入至基于深度学习预先训练好的图像质量检测网络，由图像质量检测网络对失真特征进行质量回归分析，生成图像质量值。
如上的，其中，当满足预设条件时，对清晰度测试模型进行优化，获得优化后的清晰度测试模型，其中，预设条件为达到预设时间节点或达到预设测试数量。
如上的，其中，接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频的子步骤如下：S31：接收优化请求，当视频类别为通信视频，执行S32；当视频类别为拍摄视频，执行S33；S32：获取原始视频的多个通信参数，并对通信参数进行分析，获得参数结果，当每个通信参数小于该通信参数所对应的参数阈值时，生成的参数结果为质量正常，执行S33；当所有通信参数中的一个或多个大于或等于该通信参数所对应的参数阈值时，生成的参数结果为质量异常，结束流程，并发送参数结果；S33：采用图像增强的方式对原始视频中的每一个子图像进行处理，提高每一个子图像的清晰度，从而获得每一个子图像的超高清子图像，并按照图像序列的顺序依次将所有的超高清子图像重组为超高清视频。
本申请能提高对视频清晰度的测试精度，并能对视频进行清晰度优化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为基于深度学习的超高清视频清晰度测试系统一种实施例的结构示意图；
图2为基于深度学习的超高清视频清晰度测试方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本申请提供一种基于深度学习的超高清视频清晰度测试系统，包括：多个用户端110和清晰度测试中心120。
其中，用户端110：用于发送测试请求，并接收测试结果；发送优化请求，并接收超高清视频。
清晰度测试中心120：用于执行如下步骤：
接收测试请求，对测试请求中的原始视频进行分类，获得待测试视频，其中，待测试视频包括：原始视频和视频类别，视频类别为通信视频或拍摄视频；
通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并发送，其中，测试结果为清晰或不清晰；
接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并发送。
进一步的，清晰度测试中心120至少包括：通信单元、分类单元、测试单元、优化单元和存储单元。
其中，通信单元：用于接收测试请求，并将测试请求发送至分类单元，接收并发送测试结果；接收优化请求，并将优化请求发送至优化单元，接收并发送超高清视频。
分类单元：用于执行测试请求，对测试请求中的原始视频进行分类，获得待测试视频，并将待测试视频发送至测试单元。
测试单元：用于通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并将测试结果发送至通信单元。
优化单元：用于执行优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并将超高清视频发送至通信单元。
存储单元至少包括：测试数据库和测试模型库；测试数据库用于存储历史测试数据，其中，历史测试数据至少包括：原始视频和测试结果；测试模型库用于存储所有版本的清晰度测试模型。
进一步的，清晰度测试中心120还包括：更新单元，用于在满足预设条件时，对测试单元的清晰度测试模型进行优化，获得优化后的清晰度测试模型，并将新版的清晰度测试模型发送至存储单元的测试模型库中存储。
如图2所示，本申请提供一种基于深度学习的超高清视频清晰度测试方法，包括如下步骤：
S1：接收测试请求，对测试请求中的原始视频进行分类，获得待测试视频，其中，待测试视频包括：原始视频和视频类别，视频类别为通信视频或拍摄视频。
具体的，清晰度测试中心接收用户端发送的测试请求，其中，测试请求至少包括：用户端ID和原始视频。清晰度测试中心根据原始视频的拍摄方式对原始视频进行分类，其中，视频类别至少包括：通信视频或拍摄视频。
通信视频为：在互联网技术和/或多媒体通信技术的基础上，通过通信设备在通信过程中实时采集的视频。
拍摄视频为：通过拍摄设备和/或通信设备在非通信过程中拍摄的视频。
S2：通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果，并发送，其中，测试结果为清晰或不清晰。
进一步的，通过清晰度测试模型对待测试视频中的原始视频进行清晰度测试，获得测试结果的子步骤如下：
S21：通过清晰度测试模型中的段测试模型对待测试视频中的原始视频进行清晰度测试，获得段清晰值。
进一步的，通过清晰度测试模型中的段测试模型对待测试视频中的原始视频进行清晰度测试，获得段清晰值的子步骤如下：
S211：由段测试模型中的视频段划分模型按照视频播放顺序对原始视频进行区间划分，获得多个子视频段，每个子视频段均具有一个视频序列。
具体的，视频段划分模型根据预先设定的区间时长，并按照视频播放顺序对原始视频进行区间划分，获得多个子视频段，一个子视频段的时长小于或等于区间时长。区间时长的具体值根据实际情况而定，且设定后，可根据实际需求对区间时长进行调整。进一步的，区域时长大于或等于12s。
视频序列的值按照视频播放顺序依次递增，例如：按照视频播放顺序的第一个子视频段的视频序列的值为1，第二个子视频段的视频序列的值为2。视频序列的顺序即：将视频序列的值从小到大进行排序。
S212：按照视频序列的顺序对每个子视频段进行特征分析，获得融合特征。
具体的，通过预先训练好的融合特征提取模型按照视频序列的顺序对每个子视频段进行特征提取，获得时间域特征和空间域特征，并对时间域特征和空间域特征进行融合，获得融合特征。
S213：按照视频序列的顺序将融合特征输入至基于深度学习预先训练好的视频质量检测网络内，由视频质量检测网络对融合特征进行清晰度分析，获得段清晰值。
进一步的，段清晰值的子步骤如下：
其中，Qd为原始视频的段清晰值；Sm为第m个子视频段的子视频段清晰值，m为子视频段对应的视频序列，m∈[1,M]，M为原始视频中划分的子视频段的总段数；Smax为所有子视频段清晰值中的最大值，Smin为所有子视频段清晰值中的最小值。
S22：通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值。
进一步的，通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值的子步骤如下：
S221：由帧测试模型中的图像帧提取模型按照视频播放顺序对原始视频进行图像帧提取，获得多个子图像，每个子图像均具有一个图像序列。
具体的，根据预设的提取率对原始视频中的画面进行提取，获得多个子图像，一个子图像对应一个图像序列。图像序列的值按照视频播放顺序依次递增，例如：按照视频播放顺序的第一个子图像的图像序列的值为1，第二个子图像的图像序列的值为2。图像序列的顺序即：将图像序列的值从小到大进行排序。
提取率是指对原始视频画面的提取频率，提取率的单位以每秒钟提取N张的形式表示。提取率的具体值根据实际情况而定。
S222：由帧测试模型中的图像清晰度识别模型对每一个子图像进行清晰度识别，获得子图像清晰值，并对所有的子图像清晰值进行分析，获得图像清晰值。
进一步的，图像清晰度识别模型为基于深度学习预先训练好的神经网络模型，用于对每一个子图像的清晰度进行识别，获得子图像清晰值。
进一步的，图像清晰值的表达式如下：
其中，Tq为原始视频的图像清晰值；Zi为第i个子图像的子图像清晰值，i为子图像对应的图像序列，i∈[1,I]，I为原始视频中提取的子图像的总帧数；Zmax为所有子图像清晰值中的最大值，Zmin为所有子图像清晰值中的最小值。
S223：对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值。
进一步的，作为一个实施例，对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值的子步骤如下：
S2231：对每一个子图像进行下采样，得到下采样图像。
具体的，作为一个实施例，通过对每一个子图像进行插值的方式获取每个子图像的下采样图像，获得的下采样图像为分辨率低于子图像的低分辨率图像，但不仅限于插值的方式。
S2232：按照图像序列的顺序依次对下采样图像进行失真特征提取，获得失真特征。
进一步的，按照图像序列的顺序将下采样图像依次输入到基于深度学习预先训练好的失真特征提取网络，获得每一个下采样图像的失真特征。
具体的，失真特征为原始视频因为拍摄/采集时的抖动而导致的时域失真所体现的空域特征。
S2233：按照图像序列的顺序依次将失真特征输入至基于深度学习预先训练好的图像质量检测网络，由图像质量检测网络对失真特征进行质量回归分析，生成图像质量值。
进一步的，图像质量值的表达式如下：
其中，Tz为原始视频的图像质量值；Li为第i个子图像的子图像质量值，Δli-1为调整参数，i为子图像对应的图像序列，i∈[1,I]，I为原始视频中提取的子图像的总帧数；Lmax为所有子图像质量值中的最大值，Lmin为所有子图像质量值中的最小值。
调整参数为当前帧的子图像的失真情况对原始视频的质量分数造成的变化幅度。调整参数通过图像质量检测网络即可获得，输出第i个子图像的子图像质量值Li的同时输出调整参数Δli-1，Li+1＝Li+Δli-1。
S224：根据图像清晰值和图像质量值生成帧清晰值。
进一步的，帧清晰值的表达式如下：
Qz＝λ1•Tq+λ2·TZ；
其中，Qz为原始视频的帧清晰值；λ1为原始视频的图像清晰值Tq的权重；λ2为原始视频的图像质量值Tz的权重。
同时对原始视频的图像清晰值Tq和图像质量值Tz进行分析，能进一步提高帧清晰值的准确性。权重λ1和λ2的具体值根据实际情况设置。
S23：对段清晰值和帧清晰值进行计算，获得综合清晰值。
进一步的，综合清晰值的表达式如下：
Rq＝η1·Qd+η2·QZ；
其中，Rq为原始视频的综合清晰值；η1为原始视频的段清晰值Qd的权重；η2为原始视频的帧清晰值Qz的权重。
S24：通过预设的超高清阈值对综合清晰值进行分析，并生成测试结果；若综合清晰值大于或等于超高清阈值，则生成的测试结果为清晰，若综合清晰值小于超高清阈值，则生成的测试结果为不清晰。
同时对原始视频的段清晰值Qd和帧清晰值Qz进行分析，能进一步提高对整个原始视频的清晰度进行分析的准确性。权重η1和η2的具体值根据实际情况设置。
进一步的，当满足预设条件时，对清晰度测试模型进行优化，获得优化后的清晰度测试模型，其中，预设条件为达到预设时间节点或达到预设测试数量。
具体的，预设时间节点是指：从创建好清晰度测试模型或上一次优化完清晰度测试模型后，到达下一次需要对清晰度测试模型进行优化的时间节点。例如：创建好清晰度测试模型或上一次优化完清晰度测试模型后的时间节点为t1，从t1开始计算，经过预设时间长度后到达下一次需要对清晰度测试模型进行优化的时间节点t2，则t2即为预设时间节点，其中，预设时间长度根据实际情况而定。
预设测试数量是指：从创建好清晰度测试模型或上一次优化完清晰度测试模型后，使用清晰度测试模型对待测试视频进行清晰度测试的次数达到预设的数量，其中，预设的数量根据实际情况而定。每次优化完清晰度测试模型后均重新计算对待测试视频的测试数量。
进一步的，对清晰度测试模型的优化至少包括：优化输出精度。
进一步的，优化输出精度的表达式如下：
其中，Jdk为清晰度测试模型中的第k种模型的优化输出精度；By′h为第h个样本数据的历史综合清晰值；Bs′h为第h个样本数据的当前综合清晰值，h∈[1,H]，H为样本数据的总个数；为H个样本数据的历史综合清晰值的平均值；/>为H个的样本数据的当前综合清晰值的平均值。
具体的，将创建好清晰度测试模型或上一次优化完清晰度测试模型后到满足预设条件期间，清晰度测试模型测试的所有的待测试视频的原始视频作为样本数据，即：第g版清晰度测试模型所测试的原始视频的总量。
当前版本的清晰度测试模型为第g版清晰度测试模型，通过第g-1版清晰度测试模型对样本数据进行清晰度测试后获得的综合清晰值即为历史综合清晰值；通过第g版清晰度测试模型对样本数据进行清晰度测试后获得的综合清晰值即为当前综合清晰值。本次对清晰度测试模型进行优化后获得的清晰度测试模型为第g+1版清晰度测试模型。
其中，清晰度测试模型中的多种模型至少包括：视频质量检测网络、图像清晰度识别模型和图像质量检测网络。
S3：接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频，并发送。
进一步的，接收优化请求，根据待测试视频中的视频类别对待测试视频中的原始视频进行优化处理，获得超高清视频的子步骤如下：
S31：接收优化请求，当视频类别为通信视频，执行S32；当视频类别为拍摄视频，执行S33。
S32：获取原始视频的多个通信参数，并对通信参数进行分析，获得参数结果，当每个通信参数小于该通信参数所对应的参数阈值时，生成的参数结果为质量正常，执行S33；当所有通信参数中的一个或多个大于或等于该通信参数所对应的参数阈值时，生成的参数结果为质量异常，结束流程，并发送参数结果。
进一步的，通过预先训练好的参数提取模型对原始视频进行参数提取，获得的原始参数的参数种类至少包括：丢包率、延迟、抖动缓存时间和帧率的平均数。
进一步的，获得原始参数后，需要对原始参数进行标准化处理，获得标准化参数，从而实现参数的单位量度的统一。
进一步的，标准化参数的表达式如下：
其中，Bcn为第n种参数的标准化参数；Cn为第n种参数的原始参数的值；ycn为预设的第n种参数的参数均值；dcn为第n种参数的标准差。
其中，每种参数的预设的参数均值是根据用于训练参数提取模型的海量样本的实际参数获得的，即：海量样本的均值。
具体的，一种参数对应一种通信问题，每种参数分别对应一个预设的参数阈值，若原始参数的标准化参数小于参数阈值，则表示该参数所对应的通信问题为无问题，或该问题的程度不影响视频优化，故生成的参数结果为质量正常，执行S33。若原始参数的标准化参数大于或等于参数阈值，则表示该参数所对应的通信问题为有问题，或该问题的程度会影响视频优化，故生成的参数结果为质量异常，结束流程，并向用户端发送参数结果。
S33：采用图像增强的方式对原始视频中的每一个子图像进行处理，提高每一个子图像的清晰度，从而获得每一个子图像的超高清子图像，并按照图像序列的顺序依次将所有的超高清子图像重组为超高清视频。
本申请能提高对视频清晰度的测试精度，并能对视频进行清晰度优化。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种超高清视频图像质量检测网络构建方法，其特征在于，包括：
通过清晰度测试模型中的段测试模型对待测试视频中的原始视频进行清晰度测试，获得段清晰值；段清晰度的计算公式为，其中，/>为原始视频的段清晰值；/>为第/>个子视频段的子视频段清晰值，/>为子视频段对应的视频序列，/>，/>为原始视频中划分的子视频段的总段数；/>为所有子视频段清晰值中的最大值，/>为所有子视频段清晰值中的最小值；
通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值；
其中，通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值的子步骤如下：由帧测试模型中的图像帧提取模型按照视频播放顺序对原始视频进行图像帧提取，获得多个子图像，每个子图像均具有一个图像序列；由帧测试模型中的图像清晰度识别模型对每一个子图像进行清晰度识别，获得子图像清晰值，并对所有的子图像清晰值进行分析，获得图像清晰值；对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值；根据图像清晰值和图像质量值生成帧清晰值；帧清晰值的表达式如下：，其中，/>为原始视频的帧清晰值；/>为原始视频的图像清晰值/>的权重；/>为原始视频的图像质量值/>的权重；
对段清晰值和帧清晰值进行计算，获得综合清晰值，综合清晰值的表达式如下：，其中，/>为原始视频的综合清晰值；/>为原始视频的段清晰值/>的权重；/>为原始视频的帧清晰值/>的权重；
对清晰度测试模型的优化包括：优化输出精度；优化输出精度的表达式如下：
；
其中，为清晰度测试模型中的第/>种模型的优化输出精度；/>为第/>个样本数据的历史综合清晰值；/>为第/>个样本数据的当前综合清晰值，/>，/>为样本数据的总个数；/>为/>个样本数据的历史综合清晰值的平均值；/>为/>个的样本数据的当前综合清晰值的平均值；
基于深度学习预先训练好的图像质量检测网络，通过预设的超高清阈值对综合清晰值进行分析，并生成测试结果；若综合清晰值大于或等于超高清阈值，则生成的测试结果为清晰，若综合清晰值小于超高清阈值，则生成的测试结果为不清晰。
2.如权利要求1所述的一种超高清视频图像质量检测网络构建方法，其特征在于，通过清晰度测试模型中的段测试模型对待测试视频中的原始视频进行清晰度测试，获得段清晰值，具体包括如下子步骤：
由段测试模型中的视频段划分模型按照视频播放顺序对原始视频进行区间划分，获得多个子视频段，每个子视频段均具有一个视频序列；
按照视频序列的顺序对每个子视频段进行特征分析，获得融合特征；
按照视频序列的顺序将融合特征输入至基于深度学习预先训练好的视频质量检测网络内，由视频质量检测网络对融合特征进行清晰度分析，获得段清晰值。
3.如权利要求2所述的一种超高清视频图像质量检测网络构建方法，其特征在于，视频段划分模型根据预先设定的区间时长，并按照视频播放顺序对原始视频进行区间划分，获得多个子视频段，一个子视频段的时长小于或等于区间时长。
4.如权利要求2所述的一种超高清视频图像质量检测网络构建方法，其特征在于，通过预先训练好的融合特征提取模型按照视频序列的顺序对每个子视频段进行特征提取，获得时间域特征和空间域特征，并对时间域特征和空间域特征进行融合，获得融合特征。
5.如权利要求1所述的一种超高清视频图像质量检测网络构建方法，其特征在于，通过清晰度测试模型中的帧测试模型对待测试视频中的原始视频进行清晰度测试，获得帧清晰值，具体包括如下子步骤：
由帧测试模型中的图像帧提取模型按照视频播放顺序对原始视频进行图像帧提取，获得多个子图像，每个子图像均具有一个图像序列；
由帧测试模型中的图像清晰度识别模型对每一个子图像进行清晰度识别，获得子图像清晰值，并对所有的子图像清晰值进行分析，获得图像清晰值；
对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值；
根据图像清晰值和图像质量值生成帧清晰值。
6.如权利要求5所述的一种超高清视频图像质量检测网络构建方法，其特征在于，根据预设的提取率对原始视频中的画面进行提取，获得多个子图像，一个子图像对应一个图像序列。
7.如权利要求5所述的一种超高清视频图像质量检测网络构建方法，其特征在于，对每一个子图像进行预处理，获得预处理图像，并对预处理图像进行质量检测，获得图像质量值，具体包括如下子步骤：
对每一个子图像进行下采样，得到下采样图像；
按照图像序列的顺序依次对下采样图像进行失真特征提取，获得失真特征；
按照图像序列的顺序依次将失真特征输入至基于深度学习预先训练好的图像质量检测网络，由图像质量检测网络对失真特征进行质量回归分析，生成图像质量值。
8.如权利要求1所述的一种超高清视频图像质量检测网络构建方法，其特征在于，当满足预设条件时，对清晰度测试模型进行优化，优化输出精度，其中，预设条件为达到预设时间节点或达到预设测试数量。
9.一种超高清视频图像质量检测网络构建系统，其特征在于，包括多个用户端和清晰度测试中心；所述清晰度测试中心接收用户端超高清视频，执行如权利要求1-8任一项所述的一种超高清视频图像质量检测网络构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311170584.2A CN117041625B (zh) | 2023-08-02 | 2023-08-02 | 一种超高清视频图像质量检测网络构建方法及系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310960726.9A CN116668737B (zh) | 2023-08-02 | 2023-08-02 | 一种基于深度学习的超高清视频清晰度测试方法及系统 |
| CN202311170584.2A CN117041625B (zh) | 2023-08-02 | 2023-08-02 | 一种超高清视频图像质量检测网络构建方法及系统 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310960726.9A Division CN116668737B (zh) | 2023-08-02 | 2023-08-02 | 一种基于深度学习的超高清视频清晰度测试方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117041625A CN117041625A (zh) | 2023-11-10 |
| CN117041625B true CN117041625B (zh) | 2024-04-19 |
Family
ID=87721080
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311170584.2A Active CN117041625B (zh) | 2023-08-02 | 2023-08-02 | 一种超高清视频图像质量检测网络构建方法及系统 |
| CN202310960726.9A Active CN116668737B (zh) | 2023-08-02 | 2023-08-02 | 一种基于深度学习的超高清视频清晰度测试方法及系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310960726.9A Active CN116668737B (zh) | 2023-08-02 | 2023-08-02 | 一种基于深度学习的超高清视频清晰度测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN117041625B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833214A (zh) * | 2017-11-03 | 2018-03-23 | 北京奇虎科技有限公司 | 视频清晰度检测方法、装置、计算设备及计算机存储介质 |
| CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
| CN109831680A (zh) * | 2019-03-18 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种视频清晰度的评价方法及装置 |
| CN110533097A (zh) * | 2019-08-27 | 2019-12-03 | 腾讯科技（深圳）有限公司 | 一种图像清晰度识别方法、装置、电子设备及存储介质 |
| CN111062439A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 一种视频清晰度分类方法、装置、设备和存储介质 |
| CN111163338A (zh) * | 2019-12-27 | 2020-05-15 | 广州市百果园网络科技有限公司 | 视频清晰度评估模型训练方法、视频推荐方法及相关装置 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
| CN112233075A (zh) * | 2020-09-30 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 视频清晰度评估方法、装置、存储介质及电子设备 |
| CN112435244A (zh) * | 2020-11-27 | 2021-03-02 | 广州华多网络科技有限公司 | 直播视频的质量评价方法、装置、计算机设备和存储介质 |
| CN112862005A (zh) * | 2021-03-19 | 2021-05-28 | 北京百度网讯科技有限公司 | 视频的分类方法、装置、电子设备和存储介质 |
| WO2022057789A1 (zh) * | 2020-09-17 | 2022-03-24 | 上海连尚网络科技有限公司 | 视频清晰度识别方法、电子设备及存储介质 |
| CN114449343A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN114915777A (zh) * | 2022-03-12 | 2022-08-16 | 中国传媒大学 | 一种基于深度强化学习的无参考超高清视频质量客观评价方法 |
| WO2023056896A1 (zh) * | 2021-10-08 | 2023-04-13 | 钉钉(中国)信息技术有限公司 | 清晰度的确定方法、装置及设备 |
| WO2023077821A1 (zh) * | 2021-11-07 | 2023-05-11 | 西北工业大学 | 基于多清晰度集成自训练的小样本低质量图像目标检测方法 |
| CN116389711A (zh) * | 2023-03-23 | 2023-07-04 | 鹏城实验室 | 视频质量检测方法、装置、设备及存储介质 |
| WO2023138590A1 (zh) * | 2022-01-20 | 2023-07-27 | 百果园技术(新加坡)有限公司 | 无参考的视频质量确定方法、装置、设备和存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9313463B2 (en) * | 2009-06-09 | 2016-04-12 | Wayne State University | Automated video surveillance systems |
| US20160205251A1 (en) * | 2015-01-14 | 2016-07-14 | Avaya Inc. | System and Method for Quality Monitoring and Agent Suitability in Video Communication Processed in Contact Center |
| US20170134461A1 (en) * | 2015-11-09 | 2017-05-11 | Le Shi Zhi Xin Electronic Technology (Tian Jin) Limited | Method and device for adjusting definition of a video adaptively |
| CN107145146A (zh) * | 2017-04-21 | 2017-09-08 | 成都梵辰科技有限公司 | 用于灾区搜救的无人机及其搜救方法 |
| CN107958455B (zh) * | 2017-12-06 | 2019-09-20 | 百度在线网络技术（北京）有限公司 | 图像清晰度评估方法、装置、计算机设备及存储介质 |
| WO2021181681A1 (ja) * | 2020-03-13 | 2021-09-16 | 日本電信電話株式会社 | 数理モデル導出装置、数理モデル導出方法及びプログラム |
| CN112672090B (zh) * | 2020-12-17 | 2023-04-18 | 深圳随锐视听科技有限公司 | 一种云视频会议中优化音视频效果的方法 |
| CN115052126B (zh) * | 2022-08-12 | 2022-10-28 | 深圳市稻兴实业有限公司 | 一种基于人工智能的超高清视频会议分析管理系统 |
| CN115914544A (zh) * | 2022-11-15 | 2023-04-04 | 易讯科技股份有限公司 | 一种视频会议通讯质量的智能检测方法及系统 |
-
2023
- 2023-08-02 CN CN202311170584.2A patent/CN117041625B/zh active Active
- 2023-08-02 CN CN202310960726.9A patent/CN116668737B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833214A (zh) * | 2017-11-03 | 2018-03-23 | 北京奇虎科技有限公司 | 视频清晰度检测方法、装置、计算设备及计算机存储介质 |
| CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
| CN109831680A (zh) * | 2019-03-18 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种视频清晰度的评价方法及装置 |
| CN110533097A (zh) * | 2019-08-27 | 2019-12-03 | 腾讯科技（深圳）有限公司 | 一种图像清晰度识别方法、装置、电子设备及存储介质 |
| CN111062439A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 一种视频清晰度分类方法、装置、设备和存储介质 |
| CN111163338A (zh) * | 2019-12-27 | 2020-05-15 | 广州市百果园网络科技有限公司 | 视频清晰度评估模型训练方法、视频推荐方法及相关装置 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
| WO2022057789A1 (zh) * | 2020-09-17 | 2022-03-24 | 上海连尚网络科技有限公司 | 视频清晰度识别方法、电子设备及存储介质 |
| CN112233075A (zh) * | 2020-09-30 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 视频清晰度评估方法、装置、存储介质及电子设备 |
| CN112435244A (zh) * | 2020-11-27 | 2021-03-02 | 广州华多网络科技有限公司 | 直播视频的质量评价方法、装置、计算机设备和存储介质 |
| CN112862005A (zh) * | 2021-03-19 | 2021-05-28 | 北京百度网讯科技有限公司 | 视频的分类方法、装置、电子设备和存储介质 |
| WO2023056896A1 (zh) * | 2021-10-08 | 2023-04-13 | 钉钉(中国)信息技术有限公司 | 清晰度的确定方法、装置及设备 |
| WO2023077821A1 (zh) * | 2021-11-07 | 2023-05-11 | 西北工业大学 | 基于多清晰度集成自训练的小样本低质量图像目标检测方法 |
| WO2023138590A1 (zh) * | 2022-01-20 | 2023-07-27 | 百果园技术(新加坡)有限公司 | 无参考的视频质量确定方法、装置、设备和存储介质 |
| CN114449343A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN114915777A (zh) * | 2022-03-12 | 2022-08-16 | 中国传媒大学 | 一种基于深度强化学习的无参考超高清视频质量客观评价方法 |
| CN116389711A (zh) * | 2023-03-23 | 2023-07-04 | 鹏城实验室 | 视频质量检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116668737B (zh) | 2023-10-20 |
| CN116668737A (zh) | 2023-08-29 |
| CN117041625A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085102B (zh) | 基于三维时空特征分解的无参考视频质量评价方法 | |
| CN110677639B (zh) | 一种基于特征融合和循环神经网络的无参考视频质量评价方法 | |
| CN110751030A (zh) | 一种视频分类方法、设备及系统 | |
| Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
| CN113538233A (zh) | 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法 | |
| CN117041625B (zh) | 一种超高清视频图像质量检测网络构建方法及系统 | |
| CN112837640A (zh) | 屏幕动态画面测试方法、系统、电子设备及存储介质 | |
| CN112183224A (zh) | 用于图像识别的模型训练方法、图像识别方法和装置 | |
| CN116778316A (zh) | 一种ai作物物候期识别系统 | |
| AU2021106346A4 (en) | Unsupervised coal flow anomaly detection method based on a generative adversarial learning | |
| CN113313683B (zh) | 基于元迁移学习的无参考视频质量评价方法 | |
| CN114915777A (zh) | 一种基于深度强化学习的无参考超高清视频质量客观评价方法 | |
| CN115019367A (zh) | 遗传病面部识别装置及方法 | |
| CN114119479A (zh) | 一种基于图像识别的工业流水线质量监控方法 | |
| CN109800719B (zh) | 基于分部件和压缩字典稀疏表示的低分辨率人脸识别方法 | |
| CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
| CN112686268A (zh) | 一种基于SVD-ResNet50神经网络的农作物叶片病症识别方法 | |
| CN117491357B (zh) | 一种涂料的质量监测方法及系统 | |
| CN112527860A (zh) | 一种提高台风轨迹预测的方法 | |
| CN111524060A (zh) | 一种实时人像背景虚化的系统、方法、存储介质和设备 | |
| CN116311538B (zh) | 一种分布式音视频处理系统 | |
| CN113572901B (zh) | 一种实时检测视频彩铃播放效果的方法 | |
| CN117217084A (zh) | 一种基于深度学习的结构滞回模型预测方法 | |
| CN114882558A (zh) | 基于人脸识别技术的学习场景实时身份认证方法 | |
| Ying | Perceptual quality prediction of social pictures, social videos, and telepresence videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |