CN111246250B - 视频处理方法、装置、设备及存储介质 - Google Patents

视频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111246250B
CN111246250B CN202010175136.1A CN202010175136A CN111246250B CN 111246250 B CN111246250 B CN 111246250B CN 202010175136 A CN202010175136 A CN 202010175136A CN 111246250 B CN111246250 B CN 111246250B
Authority
CN
China
Prior art keywords
current
video frame
processing
frame
current video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010175136.1A
Other languages
English (en)
Other versions
CN111246250A (zh
Inventor
孟祥飞
朱飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010175136.1A priority Critical patent/CN111246250B/zh
Publication of CN111246250A publication Critical patent/CN111246250A/zh
Priority to PCT/CN2021/078642 priority patent/WO2021179954A1/zh
Application granted granted Critical
Publication of CN111246250B publication Critical patent/CN111246250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例公开了视频处理方法、装置、设备及存储介质。该方法包括根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定当前视频帧归属的有限处理序列；在当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；根据处理后的当前第一处理结果和当前第二处理结果，确定当前视频帧的目标输出信息，并按照目标输出信息进行当前视频帧的超分辨率显示。该方法以有限处理序列为周期来变更超分辨率处理所需的前序信息并引入存在于连续两个有限处理序列中的重叠视频帧，简单有效的实现了超分辨率处理后视频画面的高保真显示。

Description

视频处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及视频处理方法、装置、设备及存储介质。
背景技术
在计算机视觉领域，可通过对视频的各帧进行超分辨率处理来放大分辨率以及在放大的同时填充更多细节，以增强所处理视频的整体观感。
现有对视频进行超分辨率处理的实现方案中，往往使用机器学习算法中的深度神经网络模型对视频帧进行处理，以此将低分辨率的视频帧恢复为高分辨率的图像帧。且研究发现相比如常规超分辨率处理的深度神经网络模型，采用循环神经网络模型能够更好的利用前一视频帧的超分结果来指导当前视频帧的超分过程，以此来保证所生成的高分辨率视频更为逼真。然而，采用现有循环神经网络模型对长视频(即所包含视频帧大于100帧)进行超分辨率处理时，使用循环网络结构往往会在对长视频内静止显示区域的处理中产生一些时序累计的误差，使得处理后所显示的视频帧表现出不自然的图形畸变。
现有为解决该问题所提出的改进方案需要在循环神经网络模型的训练过程中加入一种特殊的损失函数，该改进方案相当于需要修改模型的训练过程，涉及到训练数据排列方式的修改和超参数的选取，整个修改过程较为复杂，且该改进方案无法对已训练好的循环神经网络模型进行修复，此外，该改进方案也只能对长视频内处于静止显示区域的时序累积误差起到缓解作用，并无法彻底消除。
发明内容
有鉴于此，本发明实施例提供了视频处理方法、装置、设备及存储介质，以向视频的消费用户提供高质量视频。
第一方面，本发明实施例提供了一种视频处理方法，包括：
根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；
当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；
根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；
其中，所述第一前序信息和第二前序信息均基于所述当前视频帧的前一视频帧归属的有限处理序列确定。
第二方面，本发明实施例提供一种视频处理装置，包括：
处理序列确定模块，用于根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；
信息处理模块，用于当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；
信息确定模块，用于根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；
其中，所述第一前序信息和第二前序信息均基于所述当前视频帧的前一视频帧归属的有限处理序列确定。
第三方面，本发明实施例提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例提供的视频处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例提供的视频处理方法。
本发明实施例提供的视频处理方法、装置、设备及存储介质中，对所接收的视频帧进行处理时，首先根据视频帧的帧序号以及预先确定的当前帧号划分集合及下一帧号划分集合，来确定当前视频帧归属的有限处理序列；并在当前视频帧同时属于当前有限处理序列和下一有限处理序列时，将当前视频帧的图像信息分别于第一前序信息和第二前序信息结合进行超分辨率处理，之后可根据获得的当前第一处理结果和当前第二处理结果确定出目标输出信息，而该目标输出信息就相当于对该当前视频帧超分辨率处理后最终展示给用户的结果。上述技术方案，相比于现有的视频超分辨率处理，本方案首先对待进行超分辨率处理的视频帧进行有限处理序列的归属划分，并以有限处理序列为周期来变更视频超分辨率处理时所需的前序信息，以此来消除现有处理中随时间累计而在视频静止区域产生的图像畸变；同时，本技术方案引入重叠存在于连续两个有限处理序列中的视频帧，以通过对所重叠视频帧的处理来避免因两个有限处理序列间前序信息的变更而引起的视频帧所显示画面的跳变，以此来增强视频图像显示的平滑性。由此，在实现视频高效率超分辨处理的同时保证了视频中静止区域图像的高保真显示。
附图说明
图1给出了视频中待进行超分辨率处理的第30帧视频帧的初始显示图；
图2给出了对图1所显示第30帧视频帧采用现有超分辨率方法处理后的效果显示图；
图3给出了视频中待进行超分辨率处理的第200帧视频帧的初始显示图；
图4给出了对图2所显示第200视频帧采用现有超分辨率方法处理后的效果显示图；
图5给出了本发明实施例一提供的一种视频处理方法的流程示意图；
图6给出了本发明实施例二提供的一种视频处理方法的流程示意图；
图7给出了对图2所显示视频帧采用本实施例提供的超分辨率处理方法处理后的效果显示图；
图8给出了本实施例中进行目标输出信息确定的一种实现流程图；
图9给出了本发明实施例三提供的一种视频处理装置的结构框图；
图10给出了本发明实施例四提供的一种计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
需要说明的是，本实施例对主要对视频进行超分辨率处理，对于一个视频而言，其在进行超分辨率处理时，相当于将视频的分辨率进行放大，并在放大的同时填充更多细节，来增强视频的整体观感，所进行的放大并不是对视频中各视频帧所包含总像素数量的放大，实际可看做对视频的宽和高均进行整数倍的放大(如2倍放大和4倍放大)。
对于视频的观看用户而言，对视频进行超分辨率处理后的观感提升可从两方面来体现。示例性的，假设视频中每个视频帧的原有分辨率为256*256，在不对其进行超分辨率处理时，将视频置于全屏模式下，将会展现一个较模糊的视频，而进行超分辨率处理后，如将原有分辨率放大至512*512后，在将视频置于全屏模式下时，所展现视频的清晰度高于原始视频的清晰度；又如，对于原有分辨率分别为256*256，以及512*512的视频帧而言，其在等比例显示时两视频帧所展现出的清晰度相同，若不进行超视频处理直接将256*256的视频帧放大至512*512，则将会展现一个较模糊的画面，若进行了超视频处理，将256*256的视频放大至512*512时，所展现的仍是一个清晰的画面。由此可知，进行超视频处理的视频能够给观看用户带来更好的观感。
现有超分辨处理后会因时序累计的误差，造成所显示视频帧静止区域显示畸变的问题，为便于更好的理解，图1给出了视频中待进行超分辨率处理的第30帧视频帧的初始显示图；图2给出了对图1所显示第30帧视频帧采用现有超分辨率方法处理后的效果显示图；图3给出了视频中待进行超分辨率处理的第200帧视频帧的初始显示图；图4给出了对图2所显示第200视频帧采用现有超分辨率方法处理后的效果显示图。其中，图1～图4中所展示视频帧所处视频展示的主要内容为一个女生在踢足球，整个视频的时间总长度为58秒，视频总帧数为1483，所显示的两个视频帧的帧序号分别为视频中的第30帧和第200帧。
由图1～图4可以看出，图1和图3分别展示了视频中第30帧和第200帧的原始图像内容，图2和图4分别给出了基于现有超分辨率处理方法对第30帧和第200帧的宽和高进行4倍放大处理后的图像内容。将图1和图2进行比对，可以看出对第30帧图像采用现有的超分辨率处理后，图2所显示的画面内容还能够较好的展现画面细节，此时因时序累积较短还不存在图像畸变；然而，将图3和图4进行比对，可以看出在图4中，基于现有超分辨率处理后，图4中第200帧所显示第二静止区域11相较于图3内第一静止区域10的画面内容发生了明显的图像畸变。该图像畸变的原因在于采用循环神经网络模型进行超分辨率处理因较长时间的时序累积后使得输入信息产生了误差。
本实施例提出的视频处理方法，能够简单有效的解决现有处理方法中图像畸变的问题，下述实施例给出了本实施例所提供视频处理方法的具体阐述。
实施例一
图5给出了本发明实施例一提供的一种视频处理方法的流程示意图，该方法适用于视频中的各视频帧实时进行超分辨率处理的情况，该方法可以由视频处理装置执行，其中，该装置可以软件和/或硬件实现，并一般可集成在计算机设备上。
需要说明的是，本实施例可将所提供方法的执行主体看作给多媒体功能类应用软件(包括直播应用软件、视频通话软件以及视频播放软件等)进行后台服务支持的后台服务器，通过该执行主体可以对实时接收的或者预先存储的视频进行超分辨率处理。
如图5所示，本发明实施例一提供的一种视频处理方法，具体包括如下操作：
S101、根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列。
在本实施例中，所述当前视频帧具体可看做当前待进行超分辨率处理的视频帧，所述当前视频帧可以是视频生产者所上传视频中的一帧，也可以是视频发送方实时发送给视频接收方的一个视频帧。优选的，所接收的当前视频帧可以为视频直播中实时捕获的视频帧；或者，所接收的当前视频帧为视频通话中实时捕获的视频帧；或者，所接收的当前视频帧为用户所选定视频文件中当前待播放的视频帧。
可以知道的是，在视频直播应用中可以实时捕获主播产生的视频帧；在视频通话应用中可以实时捕获视频发送方产生的视频帧；此外，在视频播放应用中，可以截取用户所选定视频文件中待播放的视频帧。同样可以知道的是，本执行主体所接收的每个视频帧在所处的视频流中均具备相应的帧序号，本步骤将当前视频帧在所处视频流中的帧序号记为当前帧序号。
在本实施例中，所述当前帧号划分集合和下一帧号划分集合具体可以理解为基于从视频流中选定的帧序号构成的帧号集合，其中，当前帧号划分集合中包括了应当归属于当前有限处理处理的帧序号，下一帧号划分集合中包括应当归属于下一有限处理序列的帧序号，而且当前帧号划分集合以及下一帧号划分集合中所包括的帧序号可以根据所设置有限处理序列的有限处理长度来预先确定。
需要说明的是，现有的超级分辨率处理采用循环神经网络实现时，如果待处理的视频帧数较多，随着视频帧超分辨率的结果不断作为前序信息并入输入数据中，就在视频的静止区域中产生一系时序累计的误差，使得静止区域边纤维不自然的图像畸变。本实施例为解决该问题，设置了具备有限处理长度的有限处理序列，并确定当前待处理的视频流中哪些帧序号的视频帧应该处于一个有限处理序列中，以此仅考虑在一个有限处理序列中对超分辨处理结果进行循环输入，且超分辨处理结果不再作为前序信息参与与之连续的下一个有限处理序列的超分辨率处理，以此来消减因参与循环的视频帧数过多引起的时序累积误差，本实施例将连续的两个有限处理序列分别记为当前有限处理序列和下一有限处理序列。
考虑到本实施例所接收视频帧的实时性，本实施例通过预先确定当前帧号划分集合及下一帧号划分集合来确定实时接收的当前视频帧应该属于哪个有限处理序列。示例性的，可以在当前视频帧的当前帧序号存在于当前帧号划分集合时，确定当前视频帧属于当前有限处理序列，也可以在当前帧序号存在于下一帧号划分集合时，确定当前视频帧属于下一有限处理序列。
S102、当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理。
需要说明的是，对视频流中的视频帧进行有限处理序列归属确定时，如果两个相邻的有限处理序列中所包括的视频帧均不相同，对于处于当前有限处理序列末位以及处于下一有限处理序列首位的视频帧而言，两个相邻有限处理序列进行超分辨率处理时所需的前序信息发生了变更，其相当于下一有限处理序列首位的视频帧所采用的前序信息不再沿用前一视频帧的处理结果，从而使得相邻两有限处理序列的邻接处在显示内容上有所不同，由此发生显示内容跳变，影响视频的显示效果。
本实施例为保证视频超分辨处理后的显示效果，考虑将一部分视频帧重叠划分在两个相邻的有限处理序列中，对于重叠存在于相邻两个有限处理序列中的视频帧而言，可以基于其在两个有限处理序列中分别对应的超分辨率处理结果进行视频所显示内容的平滑过渡，以此来解决邻接的视频帧所显示内容跳变的问题。
基于上述描述，若当前视频帧重叠存在于相邻两个有限处理序列中，相当于当前视频帧的当前帧序号既被划分在当前帧号划分集合中，也被划分在下一帧号划分集合中，由此可确定当前视频帧同时属于当前有限处理序列和下一有限处理序列。
具体的，本步骤确定当前视频帧为处于相邻两个有限处理序列中的重叠帧时，将分别沿用其在当前有限处理序列中对应的第一前序信息，以及其在下一有限处理序列中对应的第二前序信息，分别于当前视频帧自身的图像信息相结合进行超分辨率处理。
其中，所述图像信息具体可由构成当前视频帧的像素值构成，具体可采用一个三维矩阵表示，三维矩阵的其中两个维度(第一维度和第二维度)可分别表示当前视频帧的宽和高，余下的一个维度(第三维度)可以表示当前视频帧的颜色(RGB)通道。此外，本步骤中的第一前序信息以及第二前序信息具体包含的信息并不相同，第一前序信息以及第二前序信息的实质内容具体可根据当前视频帧的前一视频帧所归属的有限处理序列来确定。
可以理解的是，本实施例进行超分辨率处理所需的前序信息实际与当前待处理视频帧的前一视频帧所进行超分辨率处理后的处理结果有关，再考虑到处于下一有限处理序列首位视频帧的前序信息不再延续前一视频帧的处理结果，本实施例考虑对进行超分辨率处理所使用的不同前序信息根据当前视频帧的前一视频帧所归属的有限处理序列进行下述限定。
具体的，所述第一前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为所述前一视频帧的前一第一处理结果；在所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第一处理结果；所述第二前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为为以全0表示的图像信息；所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第二处理结果。
在本实施例中，在当前视频帧同时属于当前有限处理序列和下一有限处理序列时，若与其邻接的前一视频帧仅属于当前有限处理序列，则可认为该前一视频帧仅具备在当前有限处理序列下对应的处理结果，该处理结果记为前一视频帧的前一第一处理结果，并作为当前视频帧的第一前序信息；此时，当前视频帧相当于下一有限处理序列中的首位视频帧，因下一有限处理序列不再沿用当前有限处理序列的前序信息，本实施例此时将第二前序信息设定为初始的以全0表示的图像信息。
接上述描述，若与当前视频帧邻接的前一视频帧同时属于当前有限处理序列和下一有限处理序列时，相当于前一视频帧也为一个重叠帧，此时，前一视频帧对于当前有限处理序列和下一有限处理序列分别对应一个超分辨率处理的处理结果，这两个处理结果可分别记为前一第一处理结果和前一第二处理结果，并分别作为当前视频帧的第一前序信息和第二前序信息。
此外，因为当前视频帧已经同时属于当前有限处理序列和下一有限处理序列，所以其对应的前一视频帧不存在仅属于下一有限处理序列的情况，因此，也不存在该种情况下的第一前序信息和第二前序信息。需要说明的是，本步骤中所进行超分辨率处理的具体操作并未发生改变，采用当前已训练好的循环神经网络模型即可实现。
S103、根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示。
采用上述步骤对作为重叠帧的当前视频帧进行两次超分辨率处理后，可分别获得两个处理结果，本实施例将这两个处理结果分别记为当前第一处理结果和当前第二处理结果。本步骤可对这两个处理结果进行加权处理，并将加权后的结果作为当前视频帧超分辨处理的最终结果，该最终结果记为目标输出信息，且本步骤可直接将该目标输出信息作为该当前视频帧超分辨率处理后显示给视频接收用户的图像信息。
具体的，本实施例可以分别为当前视频帧的两个处理结果确定加权时所占的权重值，并按照所对应的权重值对当前第一处理结果和当前第二处理结果，加权后输出的结果记为目标输出信息，其中，两个处理结果的权重值可采用插值函数(如线性插值函数)的形式确定。
本发明实施例一提供的一种视频处理方法，相比于现有的视频超分辨率处理，本方案首先对待进行超分辨率处理的视频帧进行有限处理序列的归属划分，并以有限处理序列为周期来变更视频超分辨率处理时所需的前序信息，以此来消除现有处理中随时间累计而在视频静止区域产生的图像畸变；同时，本技术方案引入重叠存在于连续两个有限处理序列中的视频帧，以通过对所重叠视频帧的处理来避免因两个有限处理序列间前序信息的变更而引起的视频帧所显示画面的跳变，以此来增强视频图像显示的平滑性。由此，在实现视频高效率超分辨处理的同时保证了视频中静止区域画面的高保真显示。
在上述实施例的基础上，作为一个可选实施例，进一步将根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列具体化为：获取所接收当前视频的当前帧序号，并分别遍历所述当前帧号划分集合和下一帧号划分集合；如果所述当前帧序号仅存在于所述当前帧号划分集合，则确定所述当前视频帧仅属于当前有限处理序列；如果所述当前帧序号存在于所述当前帧号划分集合同时存在于所述下一帧号划分集合，则确定所述当前视频帧同时属于当前有限处理序列和下一有限处理序列；如果所述当前帧序号仅存在于所述下一帧号划分集合，则确定所述当前视频帧仅属于下一有限处理序列。
在本可选实施例中，给出了当前视频帧进行有限处理序列归属确定的具体过程，其主要通过将当前视频帧的当前帧序号与当前帧号划分集合以及下一帧号划分集合中的帧序号进行匹配来确定，以此可以确定出当前视频帧是否为既属于当前有限处理序列又属于下一有限处理序列的重叠帧，进而保证后续超分辨处理的有效进行。
需要说明的是，本实施例不存在当前帧序号均不存在于两帧号划分集合的情况，因为两帧号划分集合也都是随着对视频帧的处理根据有限处理处理的有限处理长度实时变更确定。
实施例二
图6给出了本发明实施例二提供的一种视频处理方法的流程示意图，本实施例二以上述实施例为基础进行优化，在本实施例中，还优化包括了：当所述当前视频帧仅属于下一有限处理序列时，基于所述当前视频帧的图像信息及第三前序信息进行超分辨处理，其中，所述第三前序信息基于所述当前视频帧的前一视频帧归属的有限处理序列确定；将处理后获得的当前第一处理结果确定为所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示。
同时，在上述实施例的基础上，本实施例还进一步包括了：在当前视频帧及相应的前一视频帧均属于下一有限处理序列时，监测到所述当前视频帧进行超分辨率显示后，记所述当前视频帧归属于新的当前有限处理序列；将所述下一帧号划分集合记为新的当前帧号划分集合，并根据所述当前帧号划分集合确定新的下一帧号划分集合。
此外，在上述实施例的基础上，本实施例还优化包括了：将所述当前视频帧记为前一视频帧，并当接收到新的当前视频帧时，返回继续执行有限处理序列的确定操作。
如图6所示，本发明实施例二提供的一种视频处理的方法，具体包括如下操作：
S201、根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列。
本实施例下述S202、S204以及S205及其分别与上述步骤关联的其他步骤，分别给出了当前视频帧在同时属于当前有限处理序列和下一有限处理序列、仅属于当前有限处理序列以及仅属于下一有限处理序列时所进行超分辨率处理的相关操作。
S202、当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理。
需要说明的是，本实施例优选采用预先训练好的循环神经网络模型进行超分辨率处理。该循环神经网络模型具体将待处理视频帧自身的图像信息以及给定的前序信息作为输入数据，循环神经网络模型的输出结果则作为超分辨率处理的处理结果。
示例性的，在当前视频帧为处于相邻两有限处理序列中的重叠帧时，本实施例优选的将以所述当前视频帧的图像信息及第一前序信息作为循环神经网络模型输入数据获得的输出数据作为当前视频帧的当前第一处理结果；同时优选的将以所述当前处理帧的图像信息及第二前序信息作为循环神经网络模型输入数据获得的输出数据作为当前视频帧的当前第二处理结果。
在本实施例中，采用视频帧的图像信息和前序信息作为循环神经网络模型进行超分辨率处理后所输出处理结果也是一个三维矩阵，该三维矩阵中的第一维度和第二维度也分别表示视频帧的宽和高，但与视频帧原始的图像信息相比，这两维度上所包含元素的数量与原始的图像信息在该两维度上的整数倍，该整数倍的具体值在构建循环神经网络时已经设定，此外，其第三维度表示的颜色通道数量未发生改变。
示例性的，假设原始的图像信息的三维矩阵为256*256*3，若超分辨处理为2倍放大处理，则输出的处理结果的三维矩阵为512*512*3。需要说明的是，将循环神经网络模型输出的处理结果作为后一视频帧的前序信息时，需要对以三维矩阵表示的处理结果进行后处理。以一个示例来说明该后处理的操作，假设处理结果的三维矩阵为512*512*3，因为输入循环神经网络模型的输入数据要保证第一维度和第二维度的元素个数相同，由此，当输入数据要求的三维矩阵为256*256*3时，本实施例需要将三维矩阵512*512*3转化为256*256*12，以通过增加颜色通道的形式来保证处理结果中第一维度和第二维度的元素个数与所规定元素个数相同，三维矩阵256*256*12则可作为下一次待输入的前序信息。
S203、根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，继续执行S207。
示例性的，可以分别确定当前第一处理结果以及当前第二处理结果的权重值，通过权重值与相应处理结果的加权，可以获得最终可展示给目标用户的目标输出信息。
S204、当所述当前视频帧仅属于当前有限处理序列时，基于所述当前视频帧的图像信息及第三前序信息进行超分辨率处理，并在处理后获取当前第一处理结果，继续执行S206。
示例性的，在当前视频帧仅属于当前有限处理序列时，当前视频帧仅需进行一次超分辨率处理，因只进行一次超分辨率处理，本实施例可以将该超分辨率处理所获得的处理结果记为当前视频帧的当前第一处理结果。由此，本实施例优选的将当前视频帧的图像信息以及第三前序信息作为循环神经网络模型的输入数据，处理后的输出数据则为当前视频帧的当前第一处理结果。
其中，所述第三前序信息同样需要基于当前视频帧的前一视频帧归属的有限处理序列来确定。具体的，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时，前一视频帧也仅输出一个记为前一第一处理结果的数据信息，由此，第三前序信息可直接为前一视频帧的前一第一处理结果；此外，因为当前视频帧仅属于当前有限处理序列，其之前的前一视频帧不可能同时属于当前有限处理序列和下一有限处理序列，因此，也不存在处于该种情况下的第三前序信息；同样的，其之前的前一视频帧也不可能仅属于下一有限处理序列，同样也不存在也不存在处于该种情况下的第三前序信息；但当前视频帧的前一视频帧可能为空，此时，可以将以全0表示的图像信息作为第三前序信息。
S205、当所述当前视频帧仅属于下一有限处理序列时，基于所述当前视频帧的图像信息及第四前序信息进行超分辨处理，并在处理后获取当前第一处理结果，继续执行S206。
示例性的，在当前视频帧仅属于下一有限处理序列时，当前视频帧同样仅需结合第四前序信息进行一次超分辨率处理，因同样只进行一次超分辨率处理，本实施例也可以将该超分辨率处理所获得的处理结果记为当前视频帧的当前第一处理结果。由此，本实施例优选的将当前视频帧的图像信息以及第四前序信息作为循环神经网络模型的输入数据，处理后的输出数据仍旧记为当前视频帧的当前第一处理结果。
其中，所述第四前序信息同样需要基于当前视频帧的前一视频帧归属的有限处理序列来确定。具体的，因当前处理序列仅属于下一有限处理序列，考虑到重叠帧的存在，所述当前视频帧的前一视频帧不可能仅属于当前有限处理序列，因此也不存在该种情况下的第四前序信息；在所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时，相当于前一视频帧进行了两次超分辨率处理，处理结果分别记为前一第一处理结果和前一第二处理结果，此时，前一第二处理结果被认为在前一视频帧在下一有限处理序列中对应的处理结果，本实施例可将第四前序信息记为前一视频帧的前一第二处理结果；此外，在当前视频帧的前一视频帧仅属于下一有限处理序列时，前一视频帧也只进行一次超分辨率处理，且处理后的处理结果记为前一第一处理结果，因此，该种情况下的第四前序信息为前一视频帧的前一第一处理结果。
S206、将获得的当前第一处理结果确定为所述当前视频帧的目标输出信息。
本步骤可在当前视频帧仅属于当前有限处理序列或下一有限处理序列时获得的当前第一处理结果直接确定为当前视频帧的目标输出信息。
S207、按照所述目标输出信息进行所述当前视频帧的超分辨率显示。
在本实施例中，当前视频帧在上述给定的三种有限处理序列的归属情况下，本步骤将获得的目标输出信息作为当前视频帧进行超分辨率处理的最终处理结果，并基于该目标输出信息对当前视频帧的画面内容进行超分辨率显示。
接上述以时间总长度为58秒，视频总帧数为1483的视频进行超分辨处理的实施例，若采用本实施例提供的视频处理方式对该视频进行处理，其中，图7给出了对图2所显示视频帧采用本实施例提供的超分辨率处理方法处理后的效果显示图，假设当前所处理的当前视频帧为该视频中的第200帧，则如图7所示，基于本实施例提供的超分辨率处理后第200帧对应显示的视频画面中，第三静止区域12相较于图2内的第二静止区域11仍能清晰的显示画面细节，并未出现图像畸变。
需要说明的是，本实施例上述S201至S207相当于实现了当前视频帧的超分辨率处理，考虑到视频不断产生新的视频帧，本实施例可以通过下述操作对视频的超分辨率处理进行上述各步骤的迭代处理。其中，下述S208至S210给出了新的下一帧号划分集合的确定过程。
S208、当前视频帧与相应的前一视频帧是否均属于下一有限处理序列，若是，则执行S209；若否，则执行S211。
本步骤相当于确定新的下一帧号划分集合的时机判定，该时机判定可通过确定当前视频帧及其相应的前一视频帧是否均属于下一有限处理序列来实现。可以理解的是，在当前视频帧及其相应的前一视频帧均属于下一有限处理序列时，相当于归属于当前有限处理序列中视频帧均以完成了超分辨率处理，不再需要已有的当前帧号划分集合，而当前的下一帧号划分集合中也包含了可能存在于与之相邻的下一帧号划分集合中，因此，只要确定当前视频帧与相应的前一视频帧均属于下一有限处理序列，就可启动S209进行下一帧号划分集合的更新。否则，表明当前帧号划分集合中还存在未处理的帧序号，需要执行S211重新对新的当前视频帧进行超分辨率处理。
S209、监测到所述当前视频帧进行超分辨率显示后，记所述当前视频帧归属于新的当前有限处理序列。
需要说明的是，在当前视频帧进行超分辨率显示后，相当于与前一视频帧的相关处理结果再无联系，本步骤就可以在当前视频帧完成了超分辨率显示后，将当前视频帧所归属的下一有限处理序列记为新的当前有限处理序列。
S210、将所述下一帧号划分集合记为新的当前帧号划分集合，并根据所述当前帧号划分集合确定新的下一帧号划分集合，继续执行S211。
可以理解的是，当前的下一帧号划分集合中还存在未处理的帧序号，本步骤可以将该下一帧号划分集合记为新的当前帧号划分集合，以进行新的下一帧号划分集合的确定。
具体地，所述根据所述当前帧号划分集合确定新的下一帧号划分集合，可以包括：获取所设定有限处理序列的序列长度值以及所述有限处理序列中所包含重叠帧的重叠帧个数，并获取所述当前帧号划分集合中的首个帧序号；根据所述序列长度值、重叠帧个数以及所述首个帧序号，确定数量为序列长度值的新帧序号，并基于各新帧序号形成新的下一帧号划分集合。
在本实施例中，本实施例所采用的有限处理序列的有限处理长度可以是根据经验值预先设定的，有限处理序列所包含的重叠帧(即，存在于相邻两有限处理序列中的视频帧)的重叠帧个数也可以是根据经验值预先设定的。在获取有限处理长度和重叠帧个数后，已知当前帧号划分集合中的首个帧序号时，可以采用设定公式确定出下一帧号划分集合中的首个帧序号，基于新确定的首个帧序号以及有限处理长度，可以确定出下一帧号划分集合中的其他帧序号。
其中，该设定公式可以表示为：S(t+1),1＝St,1+N-k，其中，S(t+1),1表示下一帧号划分集合S(t+1)中的首个帧序号，St,1为当前前帧号划分集合St中的首个帧序号，N表示有限处理长度，k表示重叠帧个数。示例性的，假设St,1为1，N为8，k为2，则可确定出S(t+1),1为7，下一帧号划分集合S(t+1)中的其余帧序号分别为8、9、10、11、12、13以及14。
S211、将所述当前视频帧记为前一视频帧，并当接收到新的当前视频帧时，返回S201。
在本实施例中，接上述S208或S210，在完成上述步骤的相应处理后，可以将当前视频帧变更为前一视频帧，并将新接收到的视频帧记为新的当前视频帧，然后返回至S201循环持续进行超分辨率的处理操作，直至不再接收新的视频帧。
可以理解的是，在当前视频帧变更为前一视频帧后，其对应的当前第一处理结果以及可能存在的当前第二处理结果同样变更为前一第一处理结果集前一第二处理结果。
本发明实施例二提供的一种视频处理方法，具体化了当前视频帧在三种有限处理序列归属情况下进行超分辨处理的实现过程；同时给出了进行下一帧号划分集合的确定过程以及视频帧循环进行超分辨率处理的过程。利用该方法，以有限处理序列为周期来变更视频超分辨率处理时所需的前序信息，并引入重叠存在于连续两个有限处理序列中的视频帧，以通过对所重叠视频帧的处理来避免因两个有限处理序列间前序信息的变更而引起的视频帧所显示画面的跳变，以此来增强视频图像显示的平滑性。同时引入了下一帧号划分集合的确定，确保在有限处理序列划分下超分辨率处理的有效进行，相比于现有的改进方法，本实施例无需改变超分辨率处理所采用的循环神经网络模型的训练数据和训练方式，就能简单有效避免图像畸变，实现超分辨率处理的高效和高保真。
作为本实施例的一个可选实施例，本可选实施例进一步对目标输出信息的确定过程进行了优化。优选的，图8给出了本实施例中进行目标输出信息确定的一种实现流程图，如图8所示，根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，具体包括如下步骤：
S2031、确定所述当前视频帧所对应当前第一处理结果的第一权重值，以及所对应当前第二处理结果的第二权重值。
本实施例考虑设置既处于当前有限处理序列又处于下一有限处理序列的重叠帧，并对重叠帧进行两次超分辨率处理的方式来实现两个有限处理序列邻接处视频画面的平滑显示。在具体实现中，作为重叠帧的当前视频帧所获得的两个超分辨率处理结果分别对应于当前有限处理序列和下一有限处理序列，本实施例考虑当前第一处理结果以及当前第二处理结果对该当前视频帧最终结果的影响分别占据一定的比例，其分别占用的比例相当于各自对应的权重值，且本实施例可根据两结果对最终结果的影响力度为两结果设置合适的权重值。
具体的，可以采用下述操作来确定第一权重值和第二权重值：获取所述当前视频帧在所述当前帧号划分集合中对应的排列序号；根据所述排列序号及选定的插值函数确定所述当前视频帧的加权系数，其中，所述加权系数大于0且小于1；将所述加权系数作为所述当前视频帧所对应第一处理结果的第一权重值，并将1与所述加权系数的差值作为所对应第二处理结果的第二权重值。
在本实施例中，处于当前帧号划分集合以及下一帧号划分集合中的帧序号均按照时序顺序排列，且各帧序号还可基于时序顺序对应一个排列序号；此外，本实施例在有限处理序列中至少设置了一个重叠的视频帧，且所重叠的各视频帧的帧序号连续；在确定当前视频帧为一个重叠帧时，若确定在其之前还连续存在其他重叠帧，根据当前视频帧及其之前其他连续重叠帧的排列序号，可以知道该当前视频帧为第几个重叠帧。
对于包含若干个连续重叠帧的当前有限处理序列和下一优先处理序列而言，应当考虑当前有限处理序列中各重叠帧所对应处理结果对目标输出信息计算的影响度将逐渐降低，而各重叠帧在下一有限处理序列中所对应处理结果对目标输出信息计算的影响度将逐渐升高。由此，本实施例采用插值函数来确定各重叠帧在当前有限处理序列中对目标输出信息计算的影响度(本实施例记该影响度为加权系数)，且各重叠帧在当前有限处理序列中对应的加权系数可直接看做该重叠帧的第一处理结果所对应的第一权重值(大于0且小于1)，而1与该第一权重值的差值则可看做相应重叠帧在下一有限处理序列中所对应的第二处理结果的第二权重值。
可以知道的是，本实施例并不对该插值函数做具体限定，只要保证重叠帧所对应的加权系数逐渐在降低即可，本实施例优选该插值函数为线性插值函数，且该线性插值函数具体可表示为：
Figure BDA0002410560920000141
其中，Pi表示第i个重叠帧对应的加权系数，i∈[1，p]，p为一个有限处理序列中所包含重叠帧的重叠帧个数。
示例性的，当一个有限处理序列序列中包含2个重叠帧时，第1个重叠帧对应的加权系数为0.67，相当于该重叠帧的第一处理结果对应第一权重值为0.67，其第二处理结果对应的第二权重值为0.33；而第二个重叠帧对应的加权系数为0.33，相当于该重叠帧的第一处理结果对应第一权重值为0.33，其第二处理结果对应的第二权重值为0.67。
因此，对于作为重叠帧的当前视频帧而言，在已知其当前帧序号在当前帧号划分集合中的排列序号后，且已知其之前所存在重叠帧的个数后，可以知道该当前视频帧为第几个重叠帧，由此根据插值函数可确定出其对应的加权系数，进而可确定出当前第一处理结果对应的第一权重值以及当前第二处理结果对应的第二权重值。
S2032、采用所述第一权重值及第二权重值分别对所述当前视频帧的当前第一处理结果及当前第二处理结果进行加权处理。
接上述实施例，假设当前视频帧所对应的当前第一处理结果的第一权重值为0.33，所对应当前第二处理结果的第二权重值为0.67，所进行的加权处理相当于0.33乘以第一处理结果与0.67乘以第二处理结果的和。
S2033、将加权处理后的输出结果作为所述当前视频帧的目标输出信息。
示例性的，本步骤可直降将上述步骤加权处理后的数据信息作为超分辨处理最终的目标输出信息。
本实施例二的上述可选实施例，具体给出了当前视频帧为重叠帧时进行目标输出信息确定的实现过程。上述方法的实现考虑了重叠帧在两相邻有限处理序列中进行超分辨率处理后对最终处理结果影响度的分配特点，进行了两处理结果权重值的确定，基于所确定权重值获得目标输出信息更好的避免了两有限处理序列邻接处画面跳变的产生，保证了视频画面显示的平滑性。
实施例三
图9给出了本发明实施例三提供的一种视频处理装置的结构框图，该装置适用于视频的视频帧进行超分辨率处理的情况，该装置可以由硬件和/或软件实现，并一般集成在计算机设备上，如图9所示，该装置包括：处理序列确定模块31、信息处理模块32以及信息确定模块33。
其中，处理序列确定模块31，用于根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；
信息处理模块32，用于当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；
信息确定模块33，用于根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；
其中，所述第一前序信息不同于所述第二前序信息。
本发明实施例三提供的一种视频处理装置，以有限处理序列为周期来变更视频超分辨率处理时所需的前序信息，以此来消除现有处理中随时间累计而在视频静止区域产生的图像畸变；同时，本技术方案引入重叠存在于连续两个有限处理序列中的视频帧，以通过对所重叠视频帧的处理来避免因两个有限处理序列间前序信息的变更而引起的视频帧所显示画面的跳变，以此来增强视频图像显示的平滑性。由此，在实现视频高效率超分辨处理的同时保证了视频中静止区域图像的高保真显示。
实施例四
图10给出了本发明实施例四提供的一种计算机设备的硬件结构示意图，具体地，该计算机设备包括：处理器和存储装置。存储装置中存储有至少一条指令，且指令由所述处理器执行，使得所述计算机设备执行如上述方法实施例所述的视频处理方法。
参照图10，该计算机设备具体可以包括：处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45。该计算机设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该计算机设备中存储装置41的数量可以是一个或者多个，图10中以一个存储装置41为例。该计算机设备的处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储装置41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例对应的程序指令/模块(例如，上述实施例所提供视频处理装置中的处理序列确定模块31、信息处理模块32以及信息确定模块33等)。存储装置41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储装置41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他计算机设备。
通信装置45，用于与其他计算机设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取视频数据中音频的拾音计算机设备。输出装置44可以包括显示屏等视频计算机设备以及扬声器等音频计算机设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储装置41中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的视频处理方法。
具体的，实施例中，处理器40执行存储装置41中存储的一个或多个程序时，具体实现如下操作：根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的程序由计算机设备的处理器执行时，使得计算机设备能够执行如上述实施例所述的视频处理方法。示例性的，上述实施例所述的视频处理方法包括：根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示。
需要说明的是，对于装置、计算机设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的视频处理方法。
值得注意的是，上述视频处理装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种视频处理方法，其特征在于，包括：
根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；
当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；
根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；
其中，所述第一前序信息不同于所述第二前序信息，所述第一前序信息为前一视频帧的前一第一处理结果，所述第二前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为以全0表示的图像信息；所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第二处理结果。
2.根据权利要求1所述的方法，其特征在于，
所述第一前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为所述前一视频帧的前一第一处理结果；在所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第一处理结果。
3.根据权利要求1所述的方法，其特征在于，还包括：
当所述当前视频帧仅属于当前有限处理序列时，基于所述当前视频帧的图像信息及第三前序信息进行超分辨率处理，并在处理后获取当前第一处理结果，所述第三前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为所述前一视频帧的前一第一处理结果，在所述当前视频帧的前一视频帧为空时为以全0表示的图像信息；
当所述当前视频帧仅属于下一有限处理序列时，基于所述当前视频帧的图像信息及第四前序信息进行超分辨处理，并在处理后获取当前第一处理结果，所述第四前序信息，在所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第二处理结果；在所述当前视频帧的前一视频帧仅属于下一有限处理序列时为所述前一视频帧的前一第一处理结果；
将获得的当前第一处理结果确定为所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示。
4.根据权利要求3所述的方法，其特征在于，所述超分辨率处理基于预先训练的循环神经网络模型进行；
所述当前第一处理结果为将所述当前视频帧的图像信息及所述第一前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据；或者，为将所述当前视频帧的图像信息及所述第三前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据；或者，为将所述当前视频帧的图像信息及所述第四前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据；
所述当前第二处理结果为将所述当前视频帧的图像信息及所述第二前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据。
5.根据权利要求1所述的方法，其特征在于，
所接收的当前视频帧为视频直播中实时捕获的视频帧；
或者，所接收的当前视频帧为视频通话中实时捕获的视频帧；
或者，所接收的当前视频帧为用户所选定视频文件中当前待播放的视频帧。
6.根据权利要求1所述的方法，其特征在于，还包括：
在当前视频帧及相应的前一视频帧均属于下一有限处理序列时，监测到所述当前视频帧进行超分辨率显示后，记所述当前视频帧归属于新的当前有限处理序列；
将所述下一帧号划分集合记为新的当前帧号划分集合，并根据所述当前帧号划分集合确定新的下一帧号划分集合。
7.根据权利要求6所述的方法，其特征在于，根据所述当前帧号划分集合确定新的下一帧号划分集合，包括：
获取所设定有限处理序列的序列长度值以及所述有限处理序列中所包含重叠帧的重叠帧个数，并获取所述当前帧号划分集合中的首个帧序号；
根据所述序列长度值、重叠帧个数以及所述首个帧序号，确定数量为序列长度值的新帧序号，并基于各新帧序号形成新的下一帧号划分集合。
8.根据权利要求1所述的方法，其特征在于，还包括：
将所述当前视频帧记为前一视频帧，并当接收到新的当前视频帧时，返回继续执行有限处理序列的确定操作。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列，包括：
获取所接收当前视频的当前帧序号，并分别遍历所述当前帧号划分集合和下一帧号划分集合；
如果所述当前帧序号仅存在于所述当前帧号划分集合，则确定所述当前视频帧仅属于当前有限处理序列；
如果所述当前帧序号存在于所述当前帧号划分集合同时存在于所述下一帧号划分集合，则确定所述当前视频帧同时属于当前有限处理序列和下一有限处理序列；
如果所述当前帧序号仅存在于所述下一帧号划分集合，则确定所述当前视频帧仅属于下一有限处理序列。
10.根据权利要求1-8任一项所述的方法，其特征在于，根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，包括：
确定所述当前视频帧所对应当前第一处理结果的第一权重值，以及所对应当前第二处理结果的第二权重值；
采用所述第一权重值及第二权重值分别对所述当前视频帧的当前第一处理结果及当前第二处理结果进行加权处理；
将加权处理后的输出结果作为所述当前视频帧的目标输出信息。
11.根据权利要求10所述的方法，其特征在于，确定所述当前视频帧所对应当前第一处理结果的第一权重值，以及所对应当前第二处理结果的第二权重值，包括：
获取所述当前视频帧在所述当前帧号划分集合中对应的排列序号；
根据所述排列序号及选定的插值函数确定所述当前视频帧的加权系数，其中，所述加权系数大于0且小于1；
将所述加权系数作为所述当前视频帧所对应第一处理结果的第一权重值，并将1与所述加权系数的差值作为所对应第二处理结果的第二权重值。
12.一种视频处理装置，其特征在于，包括：
处理序列确定模块，用于根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；
信息处理模块，用于当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；
信息确定模块，用于根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；
其中，所述第一前序信息不同于所述第二前序信息，所述第一前序信息为前一视频帧的前一第一处理结果，所述第二前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为以全0表示的图像信息；所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第二处理结果。
13.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11任一项所述的视频处理方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一项所述的视频处理方法。
CN202010175136.1A 2020-03-13 2020-03-13 视频处理方法、装置、设备及存储介质 Active CN111246250B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010175136.1A CN111246250B (zh) 2020-03-13 2020-03-13 视频处理方法、装置、设备及存储介质
PCT/CN2021/078642 WO2021179954A1 (zh) 2020-03-13 2021-03-02 视频处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010175136.1A CN111246250B (zh) 2020-03-13 2020-03-13 视频处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111246250A CN111246250A (zh) 2020-06-05
CN111246250B true CN111246250B (zh) 2022-07-01

Family

ID=70864762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010175136.1A Active CN111246250B (zh) 2020-03-13 2020-03-13 视频处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111246250B (zh)
WO (1) WO2021179954A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246250B (zh) * 2020-03-13 2022-07-01 广州市百果园信息技术有限公司 视频处理方法、装置、设备及存储介质
CN112597334B (zh) * 2021-01-15 2021-09-28 天津帕克耐科技有限公司 通信数据中心的数据处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN107633482A (zh) * 2017-07-24 2018-01-26 西安电子科技大学 一种基于序列图像的超分辨率重建方法
WO2018212599A1 (en) * 2017-05-17 2018-11-22 Samsung Electronics Co., Ltd. Super-resolution processing method for moving image and image processing apparatus therefor
CN109102462A (zh) * 2018-08-01 2018-12-28 中国计量大学 一种基于深度学习的视频超分辨率重建方法
CN109819321A (zh) * 2019-03-13 2019-05-28 中国科学技术大学 一种视频超分辨率增强方法
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
KR20140135968A (ko) * 2012-03-05 2014-11-27 톰슨 라이센싱 초해상도화를 수행하는 방법 및 장치
KR102511059B1 (ko) * 2017-05-17 2023-03-17 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
CN109146776A (zh) * 2017-06-16 2019-01-04 陈馨瑶 一种基于时域相关性和运动补偿的视频超分辨率系统
US10621695B2 (en) * 2017-10-31 2020-04-14 Disney Enterprises, Inc. Video super-resolution using an artificial neural network
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
CN111246250B (zh) * 2020-03-13 2022-07-01 广州市百果园信息技术有限公司 视频处理方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
WO2018212599A1 (en) * 2017-05-17 2018-11-22 Samsung Electronics Co., Ltd. Super-resolution processing method for moving image and image processing apparatus therefor
CN107633482A (zh) * 2017-07-24 2018-01-26 西安电子科技大学 一种基于序列图像的超分辨率重建方法
CN109102462A (zh) * 2018-08-01 2018-12-28 中国计量大学 一种基于深度学习的视频超分辨率重建方法
CN109819321A (zh) * 2019-03-13 2019-05-28 中国科学技术大学 一种视频超分辨率增强方法
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Video Super-Resolution via Bidirectional Recurrent Convolutional Networks;Yan Huang等;《 IEEE Transactions on Pattern Analysis and Machine Intelligence》;20170504;第40卷(第4期);1015-1028 *
基于深度学习的图像超分辨率复原研究进展;孙旭等;《自动化学报》;20170515;第43卷(第5期);697-709 *

Also Published As

Publication number Publication date
WO2021179954A1 (zh) 2021-09-16
CN111246250A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN109803175B (zh) 视频处理方法及装置、设备、存储介质
CN110868625A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN109168026A (zh) 即时视频显示方法、装置、终端设备及存储介质
CN111246250B (zh) 视频处理方法、装置、设备及存储介质
JP2012099876A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN112788235B (zh) 图像处理方法、装置、终端设备及计算机可读取存储介质
JP2002542741A (ja) 映像信号のデインタレース
CN102291531A (zh) 图像处理装置、图像处理方法和程序
WO2023005140A1 (zh) 视频数据处理方法、装置、设备以及存储介质
JP4701598B2 (ja) 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US7256835B2 (en) Apparatus and method for deinterlacing video images
JP4904354B2 (ja) ビデオテストパターンのための効率的なテスト生成装置
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
CN111260760B (zh) 图像处理方法、装置、电子设备及存储介质
JP2018523396A (ja) デジタル画像変換方法、装置、記憶媒体及び機器
CN115293994B (zh) 图像处理方法、装置、计算机设备和存储介质
CN114938461A (zh) 视频处理方法、装置、设备及可读存储介质
CN107071326B (zh) 视频处理方法及装置
CN114782250A (zh) 视频图像处理方法、装置、电子设备及存储介质
JP3981260B2 (ja) 階調補正装置
CN114359100A (zh) 图像色彩增强方法、装置、存储介质与电子设备
JP2008172392A (ja) 表示制御装置及び表示制御方法
JP2018013879A (ja) ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム
CN115460461B (zh) 视频处理方法及装置、终端设备、计算机可读存储介质
US9467644B2 (en) Video processing system, video processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221208

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 5-13 / F, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou, Guangdong 510000

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right