CN117061824B - 流媒体视频补帧方法、装置及计算机设备 - Google Patents
流媒体视频补帧方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN117061824B CN117061824B CN202311316530.2A CN202311316530A CN117061824B CN 117061824 B CN117061824 B CN 117061824B CN 202311316530 A CN202311316530 A CN 202311316530A CN 117061824 B CN117061824 B CN 117061824B
- Authority
- CN
- China
- Prior art keywords
- frame
- damaged
- super
- resolution
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001502 supplementing effect Effects 0.000 title claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 67
- 230000004927 fusion Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 14
- 239000007787 solid Substances 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000013145 classification model Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract description 12
- 230000000903 blocking effect Effects 0.000 abstract description 6
- 230000002411 adverse Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 12
- 230000009467 reduction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Television Systems (AREA)
Abstract
本发明公开了一种流媒体视频补帧方法、装置及计算机设备，包括以下步骤：获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧；根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧；将第一损坏帧的补偿帧替换至超分辨率流媒体视频中。本发明通过构建补偿模型，实现对流媒体视频中的损坏帧进行补偿，保证渲染过程中流媒体视频整体连贯性，避免出现卡顿、黑屏等不良现象。
Description
技术领域
本发明涉及视频帧处理技术领域，具体涉及一种流媒体视频补帧方法、装置及计算机设备。
背景技术
流媒体已经遍布人们工作生活的方方面面，例如电视、手机、笔记本等各种终端中都要使用流媒体进行视频及云视频播放。相应的，人们对视频播放质量的要求，包括清晰度、流畅性、实时性等方面要求也越来越高。很多流媒体场景比如云游戏的云渲染(Rendering)，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码。这样，端侧可以获取到高质量的渲染内容实现视频播放。
现有技术中在保持视频帧渲染效果的视频帧超分辨预处理时，重点放在视频帧的分辨率提升上，而造成对流媒体视频整体连贯性的忽视，使得最终渲染得到的流媒体视频出现卡顿、黑屏等不良现象，影响最终渲染效果。
发明内容
本发明的目的在于提供一种流媒体视频补帧方法、装置及计算机设备，以解决现有技术中造成对流媒体视频整体连贯性的忽视，使得最终渲染得到的流媒体视频出现卡顿、黑屏等不良现象，影响最终渲染效果的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一个方面，一种流媒体视频补帧方法，包括以下步骤：
获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；
对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，所述第一损坏帧对应于第一超分辨率视频帧中的损坏帧；
根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，所述补偿模型为神经网络，或所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；
将第一损坏帧的补偿帧替换至超分辨率流媒体视频中。
作为本发明的一种优选方案，所述对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，包括：
依次将各个第一超分辨率视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一超分辨率视频帧的分类标签，所述分类标签包括损坏帧和非损坏帧；
将具有损坏帧标签的第一超分辨率视频帧作为所述第一损坏帧；
将具有非损坏帧标签的第一超分辨率视频帧作为所述第一非损坏帧；
所述视频帧分类模型由神经网络对第一超分辨率视频帧进行大数据训练得到。
作为本发明的一种优选方案，所述第二超分辨率视频帧的筛选，包括：
提取出所述序列顺序中位于第一损坏帧前侧的所有第一非损坏帧；
将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第一筛选定位帧；
提取出所述序列顺序中位于第一损坏帧后侧的所有第一非损坏帧；
将所述后侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第二筛选定位帧；
将第一筛选定位帧和第二筛选定位帧进行图像相似度比较，其中，
当第一筛选定位帧与第二筛选定位帧的图像相似度大于或等于预设阈值，则将第一筛选定位帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将第二筛选定位帧标记为位于第一损坏帧后侧的第二超分辨率视频帧；
当第一筛选定位帧与第二筛选定位帧的图像相似度小于预设阈值，则将所述前侧的所有第一非损坏帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将后侧的所有第一非损坏帧标记为位于第一损坏帧后侧的第二超分辨率视频帧。
作为本发明的一种优选方案，利用所述关联映射关系构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
位于第一损坏帧后侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的一种。
作为本发明的一种优选方案，利用神经网络构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧依所述序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；
将位于第一损坏帧后侧的第二超分辨率视频帧依所述序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；
将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的一种；
所述位于第一损坏帧前侧的补偿帧预测网络的网络表达式为：
Gk=LSTM(G1,G2,…,Gk-1)；式中，Gk为第一损坏帧，G1,G2,…,Gk-1分别为位于第一损坏帧前侧的第1到第k-1个第二超分辨率视频帧；所述位于第一损坏帧后侧的补偿帧预测网络的网络表达式为：
Gk=LSTM(Gn,Gn-1,…,Gk+1)；式中，Gk为第一损坏帧，Gk+1,…,Gn-1,Gn分别为位于第一损坏帧后侧的第k+1到第n个第二超分辨率视频帧。作为本发明的一种优选方案，所述根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，包括：
当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为第一筛选定位帧，第二筛选定位帧，则
将第一筛选定位帧，第二筛选定位帧，利用对应关联映射关系的补偿模型，得到第一损坏帧的补偿帧；
当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为所述前侧的所有第一非损坏帧，所述后侧的所有第一非损坏帧，则
将所述前侧的所有第一非损坏帧，所述后侧的所有第一非损坏帧，利用对应神经网络的补偿模型，得到第一损坏帧的补偿帧。
作为本发明的一种优选方案，所述图像相似度的量化方法包括互信息、SSIM结构相似性、哈希算法和直方图中至少一种。
作为本发明的一种优选方案，提取第一损坏帧的补偿帧的分辨率；
将第一损坏帧的补偿帧的分辨率与第一超分辨率视频帧的分辨率进行比较，其中，
当第一损坏帧的补偿帧的分辨率高于或等于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
当第一损坏帧的补偿帧的分辨率小于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧进行超分辨率处理，得到提升分辨率后的第一损坏帧的补偿帧，将提升分辨率后的第一损坏帧的补偿帧替换至超分辨率流媒体视频中。
在本发明的第二个方面，本发明提提供了一种流媒体视频补帧装置，包括：
数据获取模块，用于获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；
数据处理模块，用于根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧；
以及将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
数据存储模块，用于存储补偿模型。
在本发明的第三个方面，本发明提提供了一种计算机设备，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行流媒体视频补帧方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现流媒体视频补帧方法。
本发明与现有技术相比较具有如下有益效果：
本发明通过构建补偿模型，实现对流媒体视频中的损坏帧进行补偿，保证渲染过程中流媒体视频整体连贯性，避免出现卡顿、黑屏等不良现象，补偿模型中运用位于第一损坏帧两侧的第一超分辨视频帧进行损坏帧补偿，从序列顺序的两个方向解析视频帧间的动量趋势，最大程度的还原损坏帧的原始内容，达到最佳的补偿效果。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的流媒体视频补帧方法流程图；
图2为本发明实施例提供的流媒体视频补帧装置框图；
图3为本发明实施例提供的计算机装置的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的第一个方面，一种流媒体视频补帧方法，包括以下步骤：
获取超分辨率流媒体视频，超分辨率流媒体视频中包含有多个第一超分辨率视频帧；
对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，第一损坏帧对应于第一超分辨率视频帧中的损坏帧；
根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，补偿模型为神经网络，或补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；
将第一损坏帧的补偿帧替换至超分辨率流媒体视频中。
本发明为了保持渲染后流媒体视频的播放效果，对流媒体视频中的损坏帧进行补偿，保证了流媒体视频中整体连贯性，避免出现卡顿、黑屏等不良现象。
本发明为了提高流媒体视频中的坏帧补偿的效果，使得补偿后的视频帧具有最佳还原度，在流媒体视频中根据位于损坏帧序列前侧的视频帧，顺向推测出损坏帧在未损坏时的图像特征，以及根据位于损坏帧序列后侧的视频帧，逆向推测出损坏帧在未损坏时的图像特征。
本发明在两个方向对损坏帧在未损坏时的图像特征融合，得到最终的补偿帧，较于单个方向的图像特征推测解析出损坏帧在未损坏时的图像特征，单个方向推测获取的图像特征信息有限，两个方向获得的损坏帧在未损坏时的图像特征更加充分丰富，且推测方向相向，具有统一终点，能够使得两个方位获取的图像特征相互补充，且相互约束，使得融合得到的补偿帧也更加可靠，对损坏帧在未损坏时的还原度更高。
本发明为了保证在两个方向均获得使得补偿帧还原度更高的图像特征，在流媒体视频中，将位于损坏帧序列前侧的视频帧的内容变化趋势或称动量趋势，以及位于损坏帧序列后侧的视频帧的内容变化趋势或称动量趋势，集成在补偿模型中，实现在序列两个方向上对损坏帧在未损坏时的图像特征的精准解析。
本发明为了保持渲染后流媒体视频的播放效果，对流媒体视频中的损坏帧进行补偿前提是，确定出损坏帧位置，具体如下：
对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，包括：
依次将各个第一超分辨率视频帧输入至视频帧分类模型，由视频帧分类模型输出对第一超分辨率视频帧的分类标签，分类标签包括损坏帧和非损坏帧；
将具有损坏帧标签的第一超分辨率视频帧作为第一损坏帧；
将具有非损坏帧标签的第一超分辨率视频帧作为第一非损坏帧；
视频帧分类模型由神经网络对第一超分辨率视频帧进行大数据训练得到。
本发明为了进一步提高流媒体视频中的坏帧补偿的效果，即降低为了提高流媒体视频中的坏帧补偿还原度所造成的计算复杂度的提升，对用于提高流媒体视频中的坏帧补偿还原度的运算数据量进行差异化应用限定，使得运算数据量在不同应用场景下灵活调整，达到降低运算数据量的效果，进而实现计算复杂度的降低。
第二超分辨率视频帧的筛选，包括：
提取出序列顺序中位于第一损坏帧前侧的所有第一非损坏帧；
将前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第一筛选定位帧；
提取出序列顺序中位于第一损坏帧后侧的所有第一非损坏帧；
将后侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第二筛选定位帧；
将第一筛选定位帧和第二筛选定位帧进行图像相似度比较，其中，
当第一筛选定位帧与第二筛选定位帧的图像相似度大于或等于预设阈值，则将第一筛选定位帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将第二筛选定位帧标记为位于第一损坏帧后侧的第二超分辨率视频帧；
当第一筛选定位帧与第二筛选定位帧的图像相似度小于预设阈值，则将前侧的所有第一非损坏帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将后侧的所有第一非损坏帧标记为位于第一损坏帧后侧的第二超分辨率视频帧。
本发明中包含了两种应用场景，第一种，第一筛选定位帧与第二筛选定位帧相似度高，第一损坏帧位于第一筛选定位帧与第二筛选定位帧中间，根据视频帧在序列上的连贯性，表明了第一筛选定位帧、损坏帧与第二筛选定位帧中的图像内容处于一种暂态静止状态，因此第一种应用场景是，损坏帧中内容是对流媒体视频的拍摄目标物静态情况下中间态的捕捉，或者说损坏帧对应着流媒体视频的拍摄目标物静态情况下中间态。
流媒体视频的拍摄目标物静态情况下所产生的视频帧之间呈高度相似性，因此第一筛选定位帧、损坏帧与第二筛选定位帧之间存在高度相似性，进而可以直接从第一筛选定位帧和第二筛选定位帧中解析出的图像特征融合出补偿帧，第一筛选定位帧和第二筛选定位帧分别位于第一损坏帧前侧和位于第一损坏帧后侧，仍构成从两个方向对损坏帧在未损坏时的图像特征进行融合，使得两个方位获取的图像特征相互补充，且相互约束，对损坏帧在未损坏时的还原度更高。
第一种应用场景下，只用到了两个视频帧进行损坏帧补偿。
第二种，第一筛选定位帧与第二筛选定位帧相似度低，第一损坏帧位于第一筛选定位帧与第二筛选定位帧中间，根据视频帧在序列上的连贯性，表明了第一筛选定位帧、损坏帧与第二筛选定位帧中的图像内容处于一种实时运动状态，因此第二种应用场景是，损坏帧中内容是对流媒体视频的拍摄目标物动态情况下中间态的捕捉，或者说损坏帧对应着流媒体视频的拍摄目标物动态情况下中间态。
流媒体视频的拍摄目标物动态情况下所产生的视频帧之间呈动态趋势，因此为了捕捉视频帧之间的动态趋势，需要位于第一损坏帧前侧的多个视频帧，以及位于第一损坏帧后侧的多个视频帧，从而掌握位于损坏帧序列前侧的视频帧的内容变化趋势或称动量趋势，以及位于损坏帧序列后侧的视频帧的内容变化趋势或称动量趋势，构成从两个方向对损坏帧在未损坏时的图像特征进行融合，使得两个方位获取的图像特征相互补充，且相互约束，对损坏帧在未损坏时的还原度更高。
第二种应用场景下，只用到了两个方向的多个视频帧进行损坏帧补偿。
第一种应用场景相较于第二种应用场景而言，所需要的视频帧数量少，使得运算数据量少，分两种应用场景获取补偿的运算数据量，相较于单一使用视频帧的内容变化趋势或称动量趋势进行补偿需要的运算数据量，得到了数据量的降低，从而实现了计算复杂度的降低。
本发明为了保证在两个方向均获得使得补偿帧还原度更高的图像特征，在流媒体视频中，将位于损坏帧序列前侧的视频帧的内容变化趋势或称动量趋势，以及位于损坏帧序列后侧的视频帧的内容变化趋势或称动量趋势，集成在补偿模型中，实现在序列两个方向上对损坏帧在未损坏时的图像特征的精准解析，具体如下：
利用关联映射关系构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
位于第一损坏帧后侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的至少一种。
利用神经网络构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧依序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；
将位于第一损坏帧后侧的第二超分辨率视频帧依序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；
将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的至少一种；
位于第一损坏帧前侧的补偿帧预测网络的网络表达式为：Gk=LSTM(G1,G2,…,Gk-1)；式中，Gk为第一损坏帧，G1,G2,…,Gk-1分别为位于第一损坏帧前侧的第1到第k-1个第二超分辨率视频帧；位于第一损坏帧后侧的补偿帧预测网络的网络表达式为：Gk=LSTM(Gn,Gn-1,…,Gk+1)；式中，Gk为第一损坏帧，Gk+1,…,Gn-1,Gn分别为位于第一损坏帧后侧的第k+1到第n个第二超分辨率视频帧。本发明将补偿模型与两种应用场景进行匹配，针对性的根据不同场景的补偿数据量进行补偿运算，实现计算复杂度的降低，具体如下：
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，包括：
当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为第一筛选定位帧，第二筛选定位帧，则
将第一筛选定位帧，第二筛选定位帧，利用对应关联映射关系的补偿模型，得到第一损坏帧的补偿帧；
当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为前侧的所有第一非损坏帧，后侧的所有第一非损坏帧，则
将前侧的所有第一非损坏帧，后侧的所有第一非损坏帧，利用对应神经网络的补偿模型，得到第一损坏帧的补偿帧。
图像相似度的量化方法包括互信息、SSIM结构相似性、哈希算法和直方图中至少一种。
提取第一损坏帧的补偿帧的分辨率；
将第一损坏帧的补偿帧的分辨率与第一超分辨率视频帧的分辨率进行比较，其中，
当第一损坏帧的补偿帧的分辨率高于或等于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
当第一损坏帧的补偿帧的分辨率小于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧进行超分辨率处理，得到提升分辨率后的第一损坏帧的补偿帧，将提升分辨率后的第一损坏帧的补偿帧替换至超分辨率流媒体视频中。
如图2所示，在本发明的第二个方面，本发明提提供了一种流媒体视频补帧装置，包括：
数据获取模块，用于获取超分辨率流媒体视频，超分辨率流媒体视频中包含有多个第一超分辨率视频帧；
数据处理模块，用于根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧；
以及将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
数据存储模块，用于存储补偿模型。
如图3所示，在本发明的第三个方面，本发明提提供了一种计算机设备，至少一个处理器；以及
与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使计算机设备执行流媒体视频补帧方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现流媒体视频补帧方法。
本发明通过构建补偿模型，实现对流媒体视频中的损坏帧进行补偿，保证渲染过程中流媒体视频整体连贯性，避免出现卡顿、黑屏等不良现象，补偿模型中运用位于第一损坏帧两侧的第一超分辨视频帧进行损坏帧补偿，从序列顺序的两个方向解析视频帧间的动量趋势，最大程度的还原损坏帧的原始内容，达到最佳的补偿效果。
在本发明中损坏帧补偿建立在视频帧都为超分辨率视频帧的基础上，流媒体视频帧超分辨率处理方法，具体如下：
本发明为了提高视频帧超分辨处理的效果，突出视频帧中重要区域的特征，抑制噪音，分辨率提升效果最佳，利用多因子融合思想，将多种注意力模型应用于超分辨率处理，包括通道注意力模型、空间注意力模型和多头自注意力模型，融合三者的优势进行互补，达到分辨率提升效果的目的。
本发明在融合通道注意力模型、空间注意力模型和多头自注意力模型的优势时，利用神经网络进行融合权重的确定，客观化、自动化确定了最优的融合权重，能够使得三者模型的优势在融合中发挥到最大，达到分辨率提升效果最佳的目的。
更进一步的，本发明为了保持渲染后视频的连贯性，需要保持视频帧的完整性，由于未对坏帧进行超分辨处理，破坏了视频帧超分辨率处理的完整性，导致坏帧依旧存在于视频中，并未得到解决，本发明利用了超分辨处理后的高视频帧质量的视频帧进行融合，得到融合后超分辨率视频帧，用于替换坏帧，实现了坏帧得到超分辨率处理，保持视频连贯性，且使得整个视频中全部的视频帧都是超分辨的视频帧，达到了对视频帧超分辨处理的完整性。
本发明为了提高视频帧超分辨处理的效果，突出视频帧中重要区域的特征，抑制噪音，分辨率提升效果最佳，利用多因子融合思想，将多种注意力模型应用于超分辨率处理，包括通道注意力模型、空间注意力模型和多头自注意力模型，融合三者的优势进行互补，达到分辨率提升效果的目的，具体如下：
超分辨率流媒体视频对应于未进行超分辨处理的第一视频帧构成的低分辨率流媒体视频，第一视频帧对应于未进行超分辨处理的低分辨率视频帧，超分辨率流媒体视频经过超分辨率处理后得到超分辨率流媒体视频，第一视频帧经过超分辨率处理后得到第一超分辨率视频帧。
利用分辨率增强模型对超分辨率流媒体视频的第一视频帧的分辨率进行分辨率增强，包括：
将超分辨率流媒体视频的第一视频帧，通过通道注意力模型，获取第一视频帧的通道注意力特征图；
将超分辨率流媒体视频的第一视频帧，通过空间注意力模型，获取第一视频帧的空间注意力特征图；
将超分辨率流媒体视频的第一视频帧，通过多头自注意力模型，获取第一视频帧的多尺寸注意力特征图；
本发明中采用通道注意力模型、空间注意力模型和多头自注意力模型，融合三者的优势进行互补，达到分辨率提升效果的目的，其中，多头自注意力模型是基于ResNet-101进行的改进，Res-2, Res-3, Res-4, Res-5所生成的特征图，将他们通过线性插值的方式上采样到相同的尺寸，进行连接操作，而后进行卷积操作，生成多尺寸注意力特征图（全局特征），空间注意力模型用于对全局特征的空间上下文进行建模，增强每个特征图的空间表达，通道注意力模型用于更好地构建通道之间的依赖关系，扩大感受野，从而帮助空间注意力模型捕获全局特征的空间表达，融合过程具体为：通过多尺寸的策略（多头自注意力模型）来获取视频帧的全局特征, 然后将所学习到的视频帧全局特征引入到注意力模块中，注意力模块由通道注意力模型、空间注意力模型两部分组成，一方面可以帮助局部特征与全局特征的融合，另一方面也可以过滤到不相关的噪音信息。
本发明在融合通道注意力模型、空间注意力模型和多头自注意力模型的优势时，利用神经网络进行融合权重的确定，客观化、自动化确定了最优的融合权重，能够使得三者模型的优势在融合中发挥到最大，达到分辨率提升效果最佳的目的，具体如下：
将超分辨率流媒体视频的第一视频帧的通道注意力特征图、第一视频帧的空间注意力特征图和第一视频帧的多尺寸注意力特征图进行加权融合，得到超分辨率的高视频帧质量的第一视频帧。
超分辨率流媒体视频的第一视频帧的通道注意力特征图、超分辨率流媒体视频的第一视频帧的空间注意力特征图和超分辨率流媒体视频的第一视频帧的多尺寸注意力特征图的融合权重确定，包括：
将通道注意力特征图、空间注意力特征图和多尺寸注意力特征图输入至预建立的权重测算模型中，由权重测算模型得到通道注意力特征图的融合权重、空间注意力特征图的融合权重和多尺寸注意力特征图的融合权重；
其中，权重测算模型的预构建，包括：
选取多个样本视频帧，并获取样本视频帧的通道注意力特征图、空间注意力特征图和多尺寸注意力特征图；
在每个样本视频帧中随机设定多组通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重；
在每个样本视频帧中依次利用每组融合权重对通道注意力特征图、空间注意力特征图和多尺寸注意力特征图进行加权融合，得到每个样本视频帧的多组超分辨处理结果；
利用神经网络对每个样本视频帧的通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重与融合权重对应获得的超分辨率处理结果进行卷积学习，得到每个样本视频帧的超分辨率测算模型；
利用每个样本视频帧的超分辨率测算模型测算出每个样本视频帧的通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重所有可选值对应的超分辨率处理结果，并在融合权重所有可选值对应的超分辨率处理结果中选出最高分辨率对应的融合权重，作为每个样本视频帧的通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重最优选；
在多个视频帧中利用神经网络对通道注意力特征图、空间注意力特征图和多尺寸注意力特征图和通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重最优选进行卷积学习，得到权重测算模型；
权重测算模型的模型表达式为：[W1,W2,W3]=BP(G1,G2,G3)；其中，W1，W2，W3分别为通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重，G1，G2，G3分别为通道注意力特征图、空间注意力特征图和多尺寸注意力特征图，BP为神经网络。
本发明利用神经网络构建出权重测算模型，直接可根据通道注意力特征图、空间注意力特征图和多尺寸注意力特征图，测算出对应的融合权重，效率高。
本发明在构建权重测算模型时，基于的样本数据来自于每个样本视频帧通道注意力特征图、空间注意力特征图和多尺寸注意力特征图的融合权重的最优选，因此保持权重测算模型效率高的同时，能够保证测算准确度高。
本发明为了确定样本视频帧的融合权重的最优选，通过超分辨率测算模型进行自动化测算分析，分析效率高，客观性强。
本发明为了保持渲染后视频的连贯性，需要保持视频帧的完整性，由于未对坏帧进行超分辨处理，破坏了视频帧超分辨率处理的完整性，导致坏帧依旧存在于视频中，并未得到解决，本发明利用了超分辨处理后的视频帧进行融合，得到融合后补偿帧，用于替换损坏帧，实现了损帧得到补偿处理，保持视频连贯性，具体如下：
获取流媒体视频，流媒体视频中包含有多个视频帧；
对视频帧，通过分辨率增强模型，得到第一超分辨率视频帧；
第一超分辨率视频帧依视频帧在超分辨率流媒体视频中的序列顺序排列，得到超分辨率流媒体视频；
对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，第一损坏帧对应于第一超分辨率视频帧中的损坏帧；
根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，补偿模型为神经网络，或补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；
将第一损坏帧的补偿帧替换至超分辨率流媒体视频中。
对第一损坏帧的补偿帧替换后的超分辨率流媒体视频采用多帧渲染方式进行渲染处理。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (8)
1.一种流媒体视频补帧方法，其特征在于，包括以下步骤：
获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；
对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，所述第一损坏帧对应于第一超分辨率视频帧中的损坏帧；
根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，所述补偿模型为神经网络，或所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；
将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系，具体的，利用所述关联映射关系构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
位于第一损坏帧后侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的一种；
所述补偿模型为神经网络，具体的，利用神经网络构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧依所述序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；
将位于第一损坏帧后侧的第二超分辨率视频帧依所述序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；
将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的一种；
所述位于第一损坏帧前侧的补偿帧预测网络的网络表达式为：
Gk=LSTM(G1,G2,…,Gk-1)；式中，Gk为第一损坏帧，G1,G2,…,Gk-1分别为位于第一损坏帧前侧的第1到第k-1个第二超分辨率视频帧；所述位于第一损坏帧后侧的补偿帧预测网络的网络表达式为：Gk=LSTM(Gn,Gn-1,…,Gk+1)；式中，Gk为第一损坏帧，Gk+1,…,Gn-1,Gn分别为位于第一损坏帧后侧的第k+1到第n个第二超分辨率视频帧。
2.根据权利要求1所述的一种流媒体视频补帧方法，其特征在于：所述对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，包括：
依次将各个第一超分辨率视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一超分辨率视频帧的分类标签，所述分类标签包括损坏帧和非损坏帧；
将具有损坏帧标签的第一超分辨率视频帧作为所述第一损坏帧；
将具有非损坏帧标签的第一超分辨率视频帧作为第一非损坏帧；
所述视频帧分类模型由神经网络对第一超分辨率视频帧进行大数据训练得到。
3.根据权利要求2所述的一种流媒体视频补帧方法，其特征在于：根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧，包括：
提取出所述序列顺序中位于第一损坏帧前侧的所有第一非损坏帧；
将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第一筛选定位帧；
提取出所述序列顺序中位于第一损坏帧后侧的所有第一非损坏帧；
将所述后侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第二筛选定位帧；
将第一筛选定位帧和第二筛选定位帧进行图像相似度比较，其中，
当第一筛选定位帧与第二筛选定位帧的图像相似度大于或等于预设阈值，则将第一筛选定位帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将第二筛选定位帧标记为位于第一损坏帧后侧的第二超分辨率视频帧；
当第一筛选定位帧与第二筛选定位帧的图像相似度小于预设阈值，则将所述前侧的所有第一非损坏帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将后侧的所有第一非损坏帧标记为位于第一损坏帧后侧的第二超分辨率视频帧。
4.根据权利要求3所述的一种流媒体视频补帧方法，其特征在于：所述根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，包括：
当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为第一筛选定位帧，第二筛选定位帧，则
将第一筛选定位帧，第二筛选定位帧，利用对应关联映射关系的补偿模型，得到第一损坏帧的补偿帧；
当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为所述前侧的所有第一非损坏帧，所述后侧的所有第一非损坏帧，则
将所述前侧的所有第一非损坏帧，所述后侧的所有第一非损坏帧，利用对应神经网络的补偿模型，得到第一损坏帧的补偿帧。
5.根据权利要求4所述的一种流媒体视频补帧方法，其特征在于：所述图像相似度的量化方法包括互信息、SSIM结构相似性、哈希算法和直方图中至少一种。
6.根据权利要求5所述的一种流媒体视频补帧方法，其特征在于：
提取第一损坏帧的补偿帧的分辨率；
将第一损坏帧的补偿帧的分辨率与第一超分辨率视频帧的分辨率进行比较，其中，
当第一损坏帧的补偿帧的分辨率高于或等于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
当第一损坏帧的补偿帧的分辨率小于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧进行超分辨率处理，得到提升分辨率后的第一损坏帧的补偿帧，将提升分辨率后的第一损坏帧的补偿帧替换至超分辨率流媒体视频中。
7.一种流媒体视频补帧装置，其特征在于，包括：
数据获取模块，用于获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；
数据处理模块，用于根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；
根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，所述补偿模型为神经网络，或所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；
以及将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；
数据存储模块，用于存储补偿模型；
所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系，具体的，利用所述关联映射关系构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
位于第一损坏帧后侧的第二超分辨率视频帧利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的一种；
所述补偿模型为神经网络，具体的，利用神经网络构建补偿模型，包括：
将位于第一损坏帧前侧的第二超分辨率视频帧依所述序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；
将位于第一损坏帧后侧的第二超分辨率视频帧依所述序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；
将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用SSD检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；
其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的一种；
所述位于第一损坏帧前侧的补偿帧预测网络的网络表达式为：Gk=LSTM(G1,G2,…,Gk-1)；式中，Gk为第一损坏帧，G1,G2,…,Gk-1分别为位于第一损坏帧前侧的第1到第k-1个第二超分辨率视频帧；所述位于第一损坏帧后侧的补偿帧预测网络的网络表达式为：Gk=LSTM(Gn,Gn-1,…,Gk+1)；式中，Gk为第一损坏帧，Gk+1,…,Gn-1,Gn分别为位于第一损坏帧后侧的第k+1到第n个第二超分辨率视频帧。
8.一种计算机设备，其特征在于，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行权利要求 1-6 任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311316530.2A CN117061824B (zh) | 2023-10-12 | 2023-10-12 | 流媒体视频补帧方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311316530.2A CN117061824B (zh) | 2023-10-12 | 2023-10-12 | 流媒体视频补帧方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117061824A CN117061824A (zh) | 2023-11-14 |
| CN117061824B true CN117061824B (zh) | 2024-01-26 |
Family
ID=88653955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311316530.2A Active CN117061824B (zh) | 2023-10-12 | 2023-10-12 | 流媒体视频补帧方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117061824B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN108495128A (zh) * | 2018-03-09 | 2018-09-04 | 罗雷 | 基于超分辨率重建技术的视频传输系统及传输方法 |
| CN112135146A (zh) * | 2019-11-14 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| CN113947528A (zh) * | 2021-10-13 | 2022-01-18 | 芯动微电子科技(珠海)有限公司 | 一种基于多帧融合的实时超分辨率重建方法及系统 |
| CN114155152A (zh) * | 2021-12-12 | 2022-03-08 | 芯动微电子科技(珠海)有限公司 | 一种基于历史特征融合的实时超分辨率重建方法及系统 |
| CN114339219A (zh) * | 2021-12-31 | 2022-04-12 | 浙江大华技术股份有限公司 | 帧间预测方法、装置、编解码方法、编解码器及电子设备 |
| CN115866245A (zh) * | 2022-11-15 | 2023-03-28 | 深圳云天畅想信息科技有限公司 | 视频编码方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4869302B2 (ja) * | 2008-08-22 | 2012-02-08 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
-
2023
- 2023-10-12 CN CN202311316530.2A patent/CN117061824B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN108495128A (zh) * | 2018-03-09 | 2018-09-04 | 罗雷 | 基于超分辨率重建技术的视频传输系统及传输方法 |
| CN112135146A (zh) * | 2019-11-14 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| CN113947528A (zh) * | 2021-10-13 | 2022-01-18 | 芯动微电子科技(珠海)有限公司 | 一种基于多帧融合的实时超分辨率重建方法及系统 |
| CN114155152A (zh) * | 2021-12-12 | 2022-03-08 | 芯动微电子科技(珠海)有限公司 | 一种基于历史特征融合的实时超分辨率重建方法及系统 |
| CN114339219A (zh) * | 2021-12-31 | 2022-04-12 | 浙江大华技术股份有限公司 | 帧间预测方法、装置、编解码方法、编解码器及电子设备 |
| CN115866245A (zh) * | 2022-11-15 | 2023-03-28 | 深圳云天畅想信息科技有限公司 | 视频编码方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 付利华等.基于运动特征融合的快速视频超分辨率重构方法.模式识别与人工智能.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117061824A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Enhancement of underwater images with statistical model of background light and optimization of transmission map | |
| CN109064507B (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
| CN114463218B (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
| CN112235569B (zh) | 基于h264压缩域的快速视频分类方法、系统及装置 | |
| CN111369548A (zh) | 一种基于生成对抗网络的无参考视频质量评价方法及装置 | |
| CN113901928A (zh) | 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 | |
| CN113965814B (zh) | 基于视频会议场景的多会场关键帧提取方法及系统 | |
| Lin et al. | Saliency-aware spatio-temporal artifact detection for compressed video quality assessment | |
| Wu et al. | Towards robust text-prompted semantic criterion for in-the-wild video quality assessment | |
| CN117061824B (zh) | 流媒体视频补帧方法、装置及计算机设备 | |
| CN117061760A (zh) | 一种基于注意力机制的视频压缩方法和系统 | |
| CN113298779A (zh) | 基于逆向重建网格的视频重定向质量客观评价方法 | |
| CN116095291B (zh) | 一种用于媒体流图像传输的图像预处理方法 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 | |
| CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
| CN111754412A (zh) | 构建数据对的方法、装置及终端设备 | |
| CN114638748A (zh) | 图像处理方法、图像修复方法、计算机设备、存储介质 | |
| CN117061790B (zh) | 流媒体视频帧渲染方法、装置及存储介质 | |
| Chen et al. | AV1 video coding using texture analysis with convolutional neural networks | |
| CN117061825B (zh) | 流媒体视频坏帧检测方法、装置及计算机设备 | |
| CN110738638A (zh) | 视觉显著性检测算法适用性预测与性能盲评价方法 | |
| Liu et al. | A scalable deep neural network to detect low quality images without a reference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |