CN117058001B - 超分辨率视频融合重建方法、装置及计算机设备 - Google Patents

超分辨率视频融合重建方法、装置及计算机设备 Download PDF

Info

Publication number
CN117058001B
CN117058001B CN202311316600.4A CN202311316600A CN117058001B CN 117058001 B CN117058001 B CN 117058001B CN 202311316600 A CN202311316600 A CN 202311316600A CN 117058001 B CN117058001 B CN 117058001B
Authority
CN
China
Prior art keywords
video frame
video
super
resolution
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311316600.4A
Other languages
English (en)
Other versions
CN117058001A (zh
Inventor
刘琦
王曜
许亦
贺国超
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuntian Changxiang Information Technology Co ltd
Original Assignee
Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuntian Changxiang Information Technology Co ltd filed Critical Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority to CN202311316600.4A priority Critical patent/CN117058001B/zh
Publication of CN117058001A publication Critical patent/CN117058001A/zh
Application granted granted Critical
Publication of CN117058001B publication Critical patent/CN117058001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种超分辨率视频融合重建方法、装置及计算机设备，包括以下步骤：获取流媒体视频；对第一视频帧，进行视频帧完整性评价，得到第二视频帧和第三视频帧；对第二视频帧，通过预测视觉模型，得到第四视频帧；根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频。本发明通过视频帧的模型预测值提供了不同于原始视频帧的图形聚焦区域，利用视频帧的模型预测值和视频帧的真实值进行超分辨率重建，增加了高清晰信息量，提升超分辨率重建效果。

Description

超分辨率视频融合重建方法、装置及计算机设备
技术领域
本发明涉及视频处理技术领域，具体涉及一种超分辨率视频融合重建方法、装置及计算机设备。
背景技术
图像超分辨率重构(super resolution,SR)是指利用计算机将一幅低分辨率图像(low resolution,LR)或图像序列进行处理，恢复出高分辨率图像(high resolution，HR)的一种图像处理技术。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。
现有技术在视频超分辨重建时，利用对原始视频帧的图像特征提取，获取空间信息和时间信息，再对空间信息和时间信息进行重建得到超分辨率视频，原始视频帧具有固定的某一聚焦区域，只能确保聚焦区域中的图像信息清晰度高，而非聚焦区域的图像信息清晰度低，由此可知超分辨率重建仅依赖于原始视频帧，原始视频帧能够用于重建的高清晰信息量少，难以确保超分辨率重建效果达到最佳。
发明内容
本发明的目的在于提供一种超分辨率视频融合重建方法、装置及计算机设备，以解决现有技术中超分辨率重建仅依赖于原始视频帧，原始视频帧能够用于重建的高清晰信息量少，难以确保超分辨率重建效果达到最佳的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一个方面，一种超分辨率视频融合重建方法，包括以下步骤：
获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；
对第一视频帧，进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；
对第二视频帧，通过预测视觉模型，得到第四视频帧，所述预测视觉模型为神经网络，所述第四视频帧对应于神经网络对第二视频帧的预测结果；
根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；
对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；
根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；
将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频。
作为本发明的一种优选方案，所述视频帧完整性评价，包括：
依次将各个第一视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一视频帧的分类标签，所述分类标签包括高完整性和低完整性；
将具有高完整性标签的第一视频帧标记为第二视频帧；
将具有低完整性标签的第一视频帧标记为第三视频帧；
所述视频帧分类模型由神经网络对第一视频帧进行大数据训练得到。
作为本发明的一种优选方案，所述预测视觉模型的构建，包括：
在流媒体视频的第一视频帧的序列顺序中，提取处于相邻第三视频帧之间的所有第二视频帧作为第二视频帧序列；
将第二视频帧序列，通过基于LSTM网络学习训练，得到预测视觉模型；
所述预测视觉模型的模型表达式为：K2p i =LSTM(K21,k22,…,k2 i-1)；式中，K2p i 为第二视频帧序列中第i个第二视频帧的预测值，K21,k22,…,k2 i-1分别为第二视频帧序列中第1个，第2个，…，第i-1个真实值，LSTM为LSTM神经网络，i为计数变量，i>1。作为本发明的一种优选方案，所述第四视频帧的得到，包括：
将第二视频帧序列中任一第二视频帧的序列前端的所有第二视频帧真实值，输入至预测视觉模型中，由预测视觉模型输出所述任一第二视频帧的预测值；
将任一第二视频帧的预测值标记为第四视频帧。
作为本发明的一种优选方案，所述根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，包括：
在第二视频帧序列中将同一序列位置处的第四视频帧和第二视频帧，分别通过CNN神经网络进行图像特征提取，得到同一序列位置处的第四视频帧的图像特征和第二视频帧的图像特征图；
将同一序列位置处的第四视频帧的图像特征图和第二视频帧的图像特征图，进行sofmax网络分类，得到新图像特征图；
将所述新图像特征图作为所述第五视频帧，所述第五视频帧具有第二视频帧的序列位置。
作为本发明的一种优选方案，所述根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧，包括：
在流媒体视频的第一视频帧的序列顺序中，获取第三视频帧相邻两端的超分辨率第五视频帧；
将第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，得到超分辨率第三视频帧。
作为本发明的一种优选方案，所述第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，包括：
在第三视频帧相邻两端的超分辨率第五视频帧，分别通过CNN神经网络进行图像特征提取，得到第三视频帧相邻两端的超分辨率第五视频帧的图像特征图；
将第三视频帧相邻两端的超分辨率第五视频帧的图像特征图，进行sofmax网络分类，得到第二新图像特征图；
将所述第二新图像特征图作为超分辨第三视频帧，所述超分辨率第三视频帧具有第三视频帧的序列位置。
作为本发明的一种优选方案，所述将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频，包括：
将超分辨率第五视频帧和超分辨率第三视频帧，分别依据第二视频帧的序列位置和第三视频帧的序列位置，对相应序列位置处的第二视频帧和第三视频帧进行替换，得到所述流媒体超分辨率视频。
在本发明的第二个方面，一种超分辨率视频融合重建装置，包括：
数据获取模块，用于获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；
数据处理模块，用于进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；
用于对第二视频帧，通过预测视觉模型，得到第四视频帧，所述预测视觉模型为神经网络，所述第四视频帧对应于神经网络对第二视频帧的预测结果；
用于根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；
用于对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；
用于根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；以及
用于将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频；
数据存储模块，用于存储视频帧分类模型、预测视觉模型、CNN神经网络和sofmax网络，以及流媒体视频帧的序列顺序。
在本发明的第三个方面，本发明提提供了一种计算机设备，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行超分辨率视频融合重建方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现超分辨率视频融合重建方法。
本发明与现有技术相比较具有如下有益效果：
本发明通过预测视觉模型，对视频帧在序列上变化趋势进行学习，实现对视频帧进行模型预测值，视频帧的模型预测值提供了不同于原始视频帧的图形聚焦区域，利用视频帧的模型预测值和视频帧的真实值进行超分辨率重建，增加了高清晰信息量，提升超分辨率重建效果。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的超分辨率视频融合重建方法流程图；
图2为本发明实施例提供的超分辨率视频融合重建装置框图；
图3为本发明实施例提供的计算机装置的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的第一个方面，一种超分辨率视频融合重建方法，包括以下步骤：
获取流媒体视频，流媒体视频中包含有多个第一视频帧；
对第一视频帧，进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；
对第二视频帧，通过预测视觉模型，得到第四视频帧，预测视觉模型为神经网络，第四视频帧对应于神经网络对第二视频帧的预测结果；
根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；
对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；
根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；
将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频。
本发明为了提升视频的视觉效果，对利用超分辨率重建的方法，实现视频的分辨率的提高。
本发明为了提升视频超分辨率重建效果，使超分辨率重建效果达到最佳，利用具有时序预测功能的神经网络构建出预测视觉模型，学习掌握到视频帧在序列上展现出的动态变化趋势，即根据前置序列位置上的视频帧，预测出后置序列位置上的视频帧。
本发明利用预测视觉模型可根据掌握的视频帧在序列上展现出的动态变化趋势，输出每个序列位置上的至少一个视频帧预测值，即根据每个序列位置的前置序列位置的视频帧真实值（位于第一流媒体中的第一视频帧，摄像装置真实拍摄到的视频帧），输出每个序列位置的视频帧预测值，每个序列位置上的视频帧预测值，是一个虚拟值，由模型预测得到，因此，视频帧预测值形成了一个不同于同一序列位置上的视频帧真实值的聚焦视频帧，使得同一序列位置上至少存在两个具有不同聚焦的视频帧。
本发明对同一序列位置上存在的至少两个具有不同聚焦的视频帧进行特征提取，即对同一序列位置上的视频帧真实值和视频帧预测值进行特征提取，由于同一序列位置上的视频帧真实值和视频帧预测值具有不同聚焦，会产生不同聚焦区域，所以视频帧真实值和视频帧预测值的特征提取会获得多个高清晰目标，融合视频帧真实值和视频帧预测值的图像特征，可使得融合得到的视频帧为全聚焦视频帧，即融合得到的视频帧中所有目标均呈高清晰状态。
本发明利用融合得到的所有目标均呈高清晰状态的视频帧，进行超分辨率处理，增加了高清晰信息量，提升视频超分辨率重建效果，使超分辨率重建效果达到最佳。
进一步的，本发明在进行视频帧的超分辨率处理之前，对视频帧进行检测，将视频帧中低完整度的第一视频帧（俗称坏帧）选出，即将视频帧中俗称坏帧的视频帧选出，不对其进行特征融合、超分辨率处理，由于坏帧没有超分辨率处理的意义，因此视频帧检测，能够避免掉无效或无意义的超分辨率处理。
更进一步的，本发明为了保持视频的连贯性，需要保持视频帧的完整性，由于未对坏帧进行超分辨处理，破坏了视频帧超分辨率处理的完整性，导致坏帧依旧存在于视频中，并未得到解决，本发明利用了超分辨处理后的高完整性的视频帧进行融合，得到融合后超分辨率视频帧，用于替换坏帧，实现了坏帧得到超分辨率处理，保持视频连贯性，且使得整个视频中全部的视频帧都是超分辨的视频帧，达到了对视频帧超分辨处理的完整性。
本发明对视频帧进行检测，将视频帧中低完整度的第一视频帧（俗称坏帧）选出，具体如下：
视频帧完整性评价，包括：
依次将各个第一视频帧输入至视频帧分类模型，由视频帧分类模型输出对第一视频帧的分类标签，分类标签包括高完整性和低完整性；
将具有高完整性标签的第一视频帧标记为第二视频帧；
将具有低完整性标签的第一视频帧标记为第三视频帧；
视频帧分类模型由神经网络对第一视频帧进行大数据训练得到。
本发明为了提升视频超分辨率重建效果，使超分辨率重建效果达到最佳，利用具有时序预测功能的神经网络构建出预测视觉模型，具体如下：
预测视觉模型的构建，包括：
在流媒体视频的第一视频帧的序列顺序中，提取处于相邻第三视频帧之间的所有第二视频帧作为第二视频帧序列；
将第二视频帧序列，通过基于LSTM网络学习训练，得到预测视觉模型；
预测视觉模型的模型表达式为：K2p i =LSTM(K21,k22,…,k2 i-1)；式中，K2p i 为第二视频帧序列中第i个第二视频帧的预测值，K21,k22,…,k2 i-1分别为第二视频帧序列中第1个，第2个，…，第i-1个真实值，LSTM为LSTM神经网络，i为计数变量，i>1。第四视频帧的得到，包括：
将第二视频帧序列中任一第二视频帧的序列前端的所有第二视频帧真实值，输入至预测视觉模型中，由预测视觉模型输出任一第二视频帧的预测值；
将任一第二视频帧的预测值标记为第四视频帧。
根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，包括：
在第二视频帧序列中将同一序列位置处的第四视频帧和第二视频帧，分别通过CNN神经网络进行图像特征提取，得到同一序列位置处的第四视频帧的图像特征和第二视频帧的图像特征图；
将同一序列位置处的第四视频帧的图像特征图和第二视频帧的图像特征图，进行sofmax网络分类，得到新图像特征图；
将新图像特征图作为第五视频帧，第五视频帧具有第二视频帧的序列位置。
本发明利用预测视觉模型可根据掌握的视频帧在序列上展现出的动态变化趋势，输出每个序列位置上的至少一个视频帧预测值，即根据每个序列位置的前置序列位置的视频帧真实值（位于第一流媒体中的第一视频帧，摄像装置真实拍摄到的视频帧），输出每个序列位置的视频帧预测值（即第四视频帧），每个序列位置上的视频帧预测值（即第四视频帧），是一个虚拟值，由模型预测得到，因此，视频帧预测值形成了一个不同于同一序列位置上的视频帧真实值的聚焦视频帧，使得同一序列位置上至少存在两个具有不同聚焦的视频帧。
本发明对同一序列位置上存在的至少两个具有不同聚焦的视频帧进行特征提取，即对同一序列位置上的视频帧真实值（即第二视频帧）和视频帧预测值（即第四视频帧）进行特征提取，由于同一序列位置上的视频帧真实值和视频帧预测值具有不同聚焦，会产生不同聚焦区域，所以视频帧真实值和视频帧预测值的特征提取会获得多个高清晰目标，融合视频帧真实值（即第二视频帧）和视频帧预测值（即第四视频帧）的图像特征，可使得融合得到的视频帧为全聚焦视频帧，即融合得到的视频帧中所有目标均呈高清晰状态。
本发明利用融合得到的所有目标均呈高清晰状态的视频帧，进行超分辨率处理，增加了高清晰信息量，提升视频超分辨率重建效果，使超分辨率重建效果达到最佳。
本发明中视频帧预测值虽然是一个模型预测出的虚拟值，但是是神经网络根据视频帧在序列上展现出的动态变化趋势进行预测得到，是具有实际意义，即是视频帧的一种可能性，因而可以作为视频帧在不同聚焦下的结果，形成虚拟视觉和真实视觉的融合，因此可以为视频帧真实值和视频帧预测值提供融合基础，保证方案的可解释性和可实施性。
本发明为了保持视频的连贯性，需要保持视频帧的完整性，利用超分辨率处理后的高完整度的视频帧对低分辨率的视频帧进行补偿，具体如下：
根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧，包括：
在流媒体视频的第一视频帧的序列顺序中，获取第三视频帧相邻两端的超分辨率第五视频帧；
将第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，得到超分辨率第三视频帧。
第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，包括：
在第三视频帧相邻两端的超分辨率第五视频帧，分别通过CNN神经网络进行图像特征提取，得到第三视频帧相邻两端的超分辨率第五视频帧的图像特征图；
将第三视频帧相邻两端的超分辨率第五视频帧的图像特征图，进行sofmax网络分类，得到第二新图像特征图；
将第二新图像特征图作为超分辨第三视频帧，超分辨率第三视频帧具有第三视频帧的序列位置。
将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频，包括：
将超分辨率第五视频帧和超分辨率第三视频帧，分别依据第二视频帧的序列位置和第三视频帧的序列位置，对相应序列位置处的第二视频帧和第三视频帧进行替换，得到流媒体超分辨率视频。
本发明为了保持视频的连贯性，需要保持视频帧的完整性，由于未对坏帧（第三视频帧）进行超分辨处理，破坏了视频帧超分辨率处理的完整性，导致坏帧（第三视频帧）依旧存在于视频中，并未得到解决，本发明利用了超分辨处理后的高完整性的视频帧（超分辨率第五视频帧）进行融合，得到融合后超分辨率视频帧，用于替换坏帧（第三视频帧），实现了坏帧（第三视频帧）得到超分辨率处理，保持视频连贯性，且使得整个视频中全部的视频帧都是超分辨的视频帧，达到了对视频帧超分辨处理的完整性。
本发明中采用通道注意力模型、空间注意力模型和多头自注意力模型，融合三者的优势进行互补，达到分辨率提升效果的目的，其中，多头自注意力模型是基于ResNet-101进行的改进，Res-2, Res-3, Res-4, Res-5所生成的特征图，将他们通过线性插值的方式上采样到相同的尺寸，进行连接操作，而后进行卷积操作，生成多尺寸注意力特征图（全局特征），空间注意力模型用于对全局特征的空间上下文进行建模，增强每个特征图的空间表达，通道注意力模型用于更好地构建通道之间的依赖关系，扩大感受野，从而帮助空间注意力模型捕获全局特征的空间表达，融合过程具体为：通过多尺寸的策略（多头自注意力模型）来获取视频帧的全局特征, 然后将所学习到的视频帧全局特征引入到注意力模块中，注意力模块由通道注意力模型、空间注意力模型两部分组成，一方面可以帮助局部特征与全局特征的融合，另一方面也可以过滤到不相关的噪音信息。
如图2所示，在本发明的第二个方面，一种超分辨率视频融合重建装置，包括：
数据获取模块，用于获取流媒体视频，流媒体视频中包含有多个第一视频帧；
数据处理模块，用于进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；
用于对第二视频帧，通过预测视觉模型，得到第四视频帧，预测视觉模型为神经网络，第四视频帧对应于神经网络对第二视频帧的预测结果；
用于根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；
用于对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；
用于根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；以及
用于将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频；
数据存储模块，用于存储视频帧分类模型、预测视觉模型、CNN神经网络和sofmax网络，以及流媒体视频帧的序列顺序。
如图3所示，在本发明的第三个方面，本发明提提供了一种计算机设备，至少一个处理器；以及
与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使计算机设备执行超分辨率视频融合重建方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现超分辨率视频融合重建方法。
本发明通过预测视觉模型，对视频帧在序列上变化趋势进行学习，实现对视频帧进行模型预测值，视频帧的模型预测值提供了不同于原始视频帧的图形聚焦区域，利用视频帧的模型预测值和视频帧的真实值进行超分辨率重建，增加了高清晰信息量，提升超分辨率重建效果。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种超分辨率视频融合重建方法，其特征在于：包括以下步骤：
获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；
对第一视频帧，进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；
对第二视频帧，通过预测视觉模型，得到第四视频帧，所述预测视觉模型为神经网络，所述第四视频帧对应于神经网络对第二视频帧的预测结果；
根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；
对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；
根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；
将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频。
2.根据权利要求1所述的一种超分辨率视频融合重建方法，其特征在于：所述视频帧完整性评价，包括：
依次将各个第一视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一视频帧的分类标签，所述分类标签包括高完整性和低完整性；
将具有高完整性标签的第一视频帧标记为第二视频帧；
将具有低完整性标签的第一视频帧标记为第三视频帧；
所述视频帧分类模型由神经网络对第一视频帧进行大数据训练得到。
3.根据权利要求2所述的一种超分辨率视频融合重建方法，其特征在于：所述预测视觉模型的构建，包括：
在流媒体视频的第一视频帧的序列顺序中，提取处于相邻第三视频帧之间的所有第二视频帧作为第二视频帧序列；
将第二视频帧序列，通过基于LSTM网络学习训练，得到预测视觉模型；
所述预测视觉模型的模型表达式为：K2p i =LSTM(K21,k22,…,k2 i-1)；式中，K2p i 为第二视频帧序列中第i个第二视频帧的预测值，K21,k22,…,k2 i-1分别为第二视频帧序列中第1个，第2个，…，第i-1个真实值，LSTM为LSTM神经网络，i为计数变量，i>1。
4.根据权利要求3所述的一种超分辨率视频融合重建方法，其特征在于：所述第四视频帧的得到，包括：
将第二视频帧序列中任一第二视频帧的序列前端的所有第二视频帧真实值，输入至预测视觉模型中，由预测视觉模型输出所述任一第二视频帧的预测值；
将任一第二视频帧的预测值标记为第四视频帧。
5.根据权利要求4所述的一种超分辨率视频融合重建方法，其特征在于：所述根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，包括：
在第二视频帧序列中将同一序列位置处的第四视频帧和第二视频帧，分别通过CNN神经网络进行图像特征提取，得到同一序列位置处的第四视频帧的图像特征和第二视频帧的图像特征图；
将同一序列位置处的第四视频帧的图像特征图和第二视频帧的图像特征图，进行sofmax网络分类，得到新图像特征图；
将所述新图像特征图作为所述第五视频帧，所述第五视频帧具有第二视频帧的序列位置。
6.根据权利要求5所述的一种超分辨率视频融合重建方法，其特征在于：所述根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧，包括：
在流媒体视频的第一视频帧的序列顺序中，获取第三视频帧相邻两端的超分辨率第五视频帧；
将第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，得到超分辨率第三视频帧。
7.根据权利要求6所述的一种超分辨率视频融合重建方法，其特征在于：所述第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，包括：
在第三视频帧相邻两端的超分辨率第五视频帧，分别通过CNN神经网络进行图像特征提取，得到第三视频帧相邻两端的超分辨率第五视频帧的图像特征图；
将第三视频帧相邻两端的超分辨率第五视频帧的图像特征图，进行sofmax网络分类，得到第二新图像特征图；
将所述第二新图像特征图作为超分辨第三视频帧，所述超分辨率第三视频帧具有第三视频帧的序列位置。
8.根据权利要求7所述的一种超分辨率视频融合重建方法，其特征在于：所述将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频，包括：
将超分辨率第五视频帧和超分辨率第三视频帧，分别依据第二视频帧的序列位置和第三视频帧的序列位置，对相应序列位置处的第二视频帧和第三视频帧进行替换，得到所述流媒体超分辨率视频。
9.一种超分辨率视频融合重建装置，其特征在于，包括：
数据获取模块，用于获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；
数据处理模块，用于进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；
用于对第二视频帧，通过预测视觉模型，得到第四视频帧，所述预测视觉模型为神经网络，所述第四视频帧对应于神经网络对第二视频帧的预测结果；
用于根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；
用于对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；
用于根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；以及
用于将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频；
数据存储模块，用于存储视频帧分类模型、预测视觉模型、CNN神经网络和sofmax网络，以及流媒体视频帧的序列顺序。
10.一种计算机设备，其特征在于，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行权利要求 1-8 任一项所述的方法。
CN202311316600.4A 2023-10-12 2023-10-12 超分辨率视频融合重建方法、装置及计算机设备 Active CN117058001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311316600.4A CN117058001B (zh) 2023-10-12 2023-10-12 超分辨率视频融合重建方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311316600.4A CN117058001B (zh) 2023-10-12 2023-10-12 超分辨率视频融合重建方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN117058001A CN117058001A (zh) 2023-11-14
CN117058001B true CN117058001B (zh) 2023-12-12

Family

ID=88667786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311316600.4A Active CN117058001B (zh) 2023-10-12 2023-10-12 超分辨率视频融合重建方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN117058001B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN108259994A (zh) * 2018-01-15 2018-07-06 复旦大学 一种提高视频空间分辨率的方法
CN114202463A (zh) * 2021-12-15 2022-03-18 陕西师范大学 面向云端融合的视频超分辨率方法及系统
CN114549317A (zh) * 2022-02-23 2022-05-27 同济大学 一种基于时空超分辨率的视频描述方法及电子设备
CN116862773A (zh) * 2023-07-19 2023-10-10 西安电子科技大学 一种应用于复杂场景下的视频超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783611B2 (en) * 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN108259994A (zh) * 2018-01-15 2018-07-06 复旦大学 一种提高视频空间分辨率的方法
CN114202463A (zh) * 2021-12-15 2022-03-18 陕西师范大学 面向云端融合的视频超分辨率方法及系统
CN114549317A (zh) * 2022-02-23 2022-05-27 同济大学 一种基于时空超分辨率的视频描述方法及电子设备
CN116862773A (zh) * 2023-07-19 2023-10-10 西安电子科技大学 一种应用于复杂场景下的视频超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Video Superresolution via Motion Compensation and Deep Residual Learning;Dingyi Li等;IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING;第3卷(第4期);第749-762页 *
基于注意力残差卷积网络的视频超分辨率重构;董猛;吴戈;曹洪玉;景文博;于洪洋;;长春理工大学学报(自然科学版)(01);第86-92页 *

Also Published As

Publication number Publication date
CN117058001A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
Wang et al. Eventsr: From asynchronous events to image reconstruction, restoration, and super-resolution via end-to-end adversarial learning
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
Zhao et al. Learning to forecast and refine residual motion for image-to-video generation
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
Hui et al. Progressive perception-oriented network for single image super-resolution
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN110418139B (zh) 一种视频超分辨修复方法、装置、设备及存储介质
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN108989731B (zh) 一种提高视频空间分辨率的方法
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN112235569B (zh) 基于h264压缩域的快速视频分类方法、系统及装置
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
Tan et al. Deep SR-HDR: Joint learning of super-resolution and high dynamic range imaging for dynamic scenes
Krishnan et al. SwiftSRGAN-Rethinking super-resolution for efficient and real-time inference
Tang et al. Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN113610912A (zh) 三维场景重建中低分辨率图像单目深度估计系统及方法
CN117058001B (zh) 超分辨率视频融合重建方法、装置及计算机设备
Cui et al. Multi-stream attentive generative adversarial network for dynamic scene deblurring
Peng et al. MND-GAN: A research on image deblurring algorithm based on generative adversarial network
CN114529451A (zh) 一种在线课堂场景下基于黑板特征的超分辨率重建方法
CN113902647A (zh) 一种基于双闭环网络的图像去模糊方法
Xu et al. Joint learning of super-resolution and perceptual image enhancement for single image
CN117058002B (zh) 视频帧超分辨率重构方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant