CN116419032A - 一种视频播放方法、装置、设备和计算机可读存储介质 - Google Patents

一种视频播放方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116419032A
CN116419032A CN202310360916.7A CN202310360916A CN116419032A CN 116419032 A CN116419032 A CN 116419032A CN 202310360916 A CN202310360916 A CN 202310360916A CN 116419032 A CN116419032 A CN 116419032A
Authority
CN
China
Prior art keywords
image
frame
video data
frame image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310360916.7A
Other languages
English (en)
Inventor
邱国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Original Assignee
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd filed Critical Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority to CN202310360916.7A priority Critical patent/CN116419032A/zh
Publication of CN116419032A publication Critical patent/CN116419032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及视频技术领域，公开了一种视频播放方法、装置、设备和计算机可读存储介质，利用解码器将获取的数据流重构为初始视频数据；对初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到相邻图像帧的位置对应关系。将初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出初始视频数据中各帧图像的主场景图像；对初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧。基于位置对应关系播放新的视频帧。通过对相邻场景下的相邻图像帧进行变形操作，使场景切换更流畅更自然。对主场景进行提取并进行超分辨率的操作，提高了主场景的关注度，提升了初始视频数据的质量，从而在终端呈现出更高画质的视频。

Description

一种视频播放方法、装置、设备和计算机可读存储介质
技术领域
本申请涉及视频技术领域，特别是涉及一种视频播放方法、装置、设备和计算机可读存储介质。
背景技术
我们可以通过视频会议远程办公，通过在线教育系统进行学习，通过视频软件观看动漫、影剧、短视频等VOD(Video On Demand，视频点播)内容以及各种平台的直播内容，其中视频会议、在线教育尤为明显，新的沟通方式和教育方式被越来越多的人所认知、接纳。
视频技术、传输技术(如5G)的飞速发展，以及因此激发出的人们对视频的需求，为视频行业的发展提供了动力。随着移动互联网技术的蓬勃发展，现在视频技术已经非常成熟，它被越来越广泛地应用于各行各业，如短视频、娱乐直播、教育直播、视频会议等，已经完全融入了每个人的生活。视频如此普及是因为通过视频能方便快捷地获取到大量信息，但与此同时，由于视频数据量非常巨大，视频的传输、存储也面临着巨大的挑战。
随着数字视频编解码技术的发展，视频编解码将是保证用户高品质视频体验的重要技术。由于现在使用的硬件设备更好、带宽更高，用户开始对视频分辨率的要求有了更高的期待，得益于视频编解码技术的发展，视频显示分辨率也随之提高，从标清到高清，再到2k、4k、8k，逐步突破清晰度的界限。
目前的视频编解码技术都是传统的基于残差编码的框架，在残差编码中，预测帧先会从之前已经解码的帧中生成出来，然后再计算当前帧与预测帧的残差，该残差会被编码变成码流，解码器将码流解码并获得重建后的残差，最后和预测帧相加获得解码帧。在目前的编解码模式下，高清晰度的视频往往需要更高的带宽来传输所需要的数据，网络条件有限的情况下则需要更多的时间来接收数据，由于时间过长，从而影响终端用户的体验。通过降低网络带宽可以在短时间内传输尽可能大的视频文件，但是会造成视频传输的分辨率降低，从而影响视频在终端的画质。
可见，如何提升基于较低网络带宽传输的视频在终端的呈现画质，是本领域技术人员需要解决的问题。
发明内容
本申请实施例的目的是提供一种视频播放方法、装置、设备和计算机可读存储介质，可以提升基于较低网络带宽传输的视频在终端的呈现画质。
为解决上述技术问题，本申请实施例提供一种视频播放方法，包括：
利用解码器将获取的数据流重构为初始视频数据；
对所述初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到所述相邻图像帧的位置对应关系；
将所述初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出所述初始视频数据中各帧图像的主场景图像；
对所述初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧；
基于所述位置对应关系播放所述新的视频帧。
可选地，所述对所述初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到所述相邻图像帧的位置对应关系包括：
选取所述初始视频数据中第一场景的最后一帧图像和第二场景的第一帧图像；其中，所述第一场景和所述第二场景为所述初始视频数据所包含的场景中任意相邻的两个场景；
按照设定的变形规则，确定出所述最后一帧图像各像素点与所述第一帧图像各像素点的位置对应关系。
可选地，所述按照设定的变形规则，确定出所述最后一帧图像各像素点与所述第一帧图像各像素点的位置对应关系包括：
调用设定的变形公式，对所述最后一帧图像的像素点和所述第一帧图像的像素点进行最小化处理，以确定出所述最后一帧图像中各像素点在所述第一帧图像中的对应位置；所述变形公式如下：
Figure SMS_1
其中，
Figure SMS_2
pi表示所述最后一帧图像第i个像素点的位置；qi表示所述最后一帧图像第i个像素点在所述第一帧图像中的对应位置；v表示所述最后一帧图像的像素点；α为设定的常规参数；M表示线性转换矩阵。
可选地，所述将所述初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出所述初始视频数据中各帧图像的主场景图像包括：
计算所述初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离；其中，所述目标帧图像为所述初始视频数据中的任意一帧图像；所述目标像素值为所述目标帧图像中任意一个像素点对应的像素值；所述目标背景样本集为与所述目标帧图像具有相同场景的背景样本集；
统计所述目标像素值对应的所有距离中小于设定的距离阈值的数目；
在所述数目大于设定的背景阈值的情况下，判定所述目标像素值对应的像素点为背景点；
剔除所述目标帧图像中包含的所有背景点，以得到所述目标帧图像的主场景图像。
可选地，所述计算所述初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离包括：
在检测到当前帧图像与其相邻的上一帧图像的场景发生变化的情况下，从设定的背景样本集中选取与当前帧图像的场景匹配的背景样本集；
计算所述当前帧图像与其场景匹配的背景样本集包含的各样本值的距离。
可选地，还包括：
在存在连续预设次被检测为前景点的目标像素点的情况下，则依据所述目标像素点对随机选取的一个背景样本集进行更新。
可选地，所述对所述初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧包括：
将各帧主场景图像与其相邻帧图像之间的时间残差图划分为低变化区域和高变化区域；
依据所述低变化区域和所述高变化区域各自对应的感受野，对所述低变化区域和所述高变化区域进行卷积和残差处理，以得到新的视频帧。
本申请实施例还提供了一种视频播放装置，包括重构单元、变形单元、提取单元、操作单元和播放单元；
所述重构单元，用于利用解码器将获取的数据流重构为初始视频数据；
所述变形单元，用于对所述初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到所述相邻图像帧的位置对应关系；
所述提取单元，用于将所述初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出所述初始视频数据中各帧图像的主场景图像；
所述操作单元，用于对所述初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧；
所述播放单元，用于基于所述位置对应关系播放所述新的视频帧。
可选地，所述变形操作单元包括选取子单元和确定子单元；
所述选取子单元，用于选取所述初始视频数据中第一场景的最后一帧图像和第二场景的第一帧图像；其中，所述第一场景和所述第二场景为所述初始视频数据所包含的场景中任意相邻的两个场景；
所述确定子单元，用于按照设定的变形规则，确定出所述最后一帧图像各像素点与所述第一帧图像各像素点的位置对应关系。
可选地，所述确定子单元用于调用设定的变形公式，对所述最后一帧图像的像素点和所述第一帧图像的像素点进行最小化处理，以确定出所述最后一帧图像中各像素点在所述第一帧图像中的对应位置；所述变形公式如下：
Figure SMS_3
其中，
Figure SMS_4
pi表示所述最后一帧图像第i个像素点的位置；qi表示所述最后一帧图像第i个像素点在所述第一帧图像中的对应位置；v表示所述最后一帧图像的像素点；α为设定的常规参数；M表示线性转换矩阵。
可选地，所述提取单元包括计算子单元、统计子单元、判定子单元和剔除子单元；
所述计算子单元，用于计算所述初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离；其中，所述目标帧图像为所述初始视频数据中的任意一帧图像；所述目标像素值为所述目标帧图像中任意一个像素点对应的像素值；所述目标背景样本集为与所述目标帧图像具有相同场景的背景样本集；
所述统计子单元，用于统计所述目标像素值对应的所有距离中小于设定的距离阈值的数目；
所述判定子单元，用于在所述数目大于设定的背景阈值的情况下，判定所述目标像素值对应的像素点为背景点；
所述剔除子单元，用于剔除所述目标帧图像中包含的所有背景点，以得到所述目标帧图像的主场景图像。
可选地，所述计算子单元用于在检测到当前帧图像与其相邻的上一帧图像的场景发生变化的情况下，从设定的背景样本集中选取与当前帧图像的场景匹配的背景样本集；
计算所述当前帧图像与其场景匹配的背景样本集包含的各样本值的距离。
可选地，还包括更新单元；
所述更新单元，用于在存在连续预设次被检测为前景点的目标像素点的情况下，则依据所述目标像素点对随机选取的一个背景样本集进行更新。
可选地，所述操作单元包括划分子单元和处理子单元；
所述划分子单元，用于将各帧主场景图像与其相邻帧图像之间的时间残差图划分为低变化区域和高变化区域；
所述处理子单元，用于依据所述低变化区域和所述高变化区域各自对应的感受野，对所述低变化区域和所述高变化区域进行卷积和残差处理，以得到新的视频帧。
本申请实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述视频播放方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述视频播放方法的步骤。
由上述技术方案可以看出，利用解码器将获取的数据流重构为初始视频数据；对初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到相邻图像帧的位置对应关系。基于该位置对应关系可以实现不同场景下帧图像之间的流畅切换。将初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出初始视频数据中各帧图像的主场景图像；对初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧。基于位置对应关系播放新的视频帧。在该技术方案中，通过对相邻场景下的相邻图像帧进行变形操作，可以使场景切换更流畅，更自然。基于较低网络带宽传输的视频在终端播放时往往分辨率偏低，本申请通过对主场景进行提取，并对主场景进行超分辨率的操作，提高了主场景的关注度，并且通过超分辨率操作可以有效提升初始视频数据的质量，从而在终端呈现出更高画质的视频。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频播放方法的流程图；
图2为本申请实施例提供的一种视频播放装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”，以及与“包括”和“具有”相关的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
在传统的编解码模式下，高清晰度的视频往往需要更高的带宽来传输所需要的数据，网络条件有限的情况下则需要更多的时间来接收数据从而造成时间过长，影响终端的体验。
视频数据编码操作可以包括帧类型分析，帧内/帧间预测，变换+量化，滤波，熵编码等操作。在编码完成后，可以由网络抽象层(Network Abstraction Layer，NAL)将视频编码层(Video Coding Layer，VCL)产生的比特字符串适配到各种各样的网络和多元环境中，覆盖了所有片级以上的语法级别。NAL是为适应网络传输应用而制定的一层数据打包操作。视频编码算法编完的视频码流在任何应用领域下(无论用于存储、传输等)都是统一的码流模式，视频码流仅有视频编码层，可根据不同应用增加不同的NAL片头，以适应不同的网络应用环境，减少码流的传输差错。
本申请通过降低网络带宽来传输尽可能大的视频文件。与此同时，并在终端利用图像处理和深度学习的技术来提高视频的分辨率、场景切换的流畅度以及主场景的关注度，从而实现利用较低的网络带宽来传输更高分辨率的视频的目的。
接下来，详细介绍本申请实施例所提供的一种视频播放方法。图1为本申请实施例提供的一种视频播放方法的流程图，该方法包括：
S101：利用解码器将获取的数据流重构为初始视频数据。
在实际应用中，解码器将网络传输所得到的比特流数据通过运动补偿得到的残差数据进行反变换和反量化，还原重构出原来的YUV数据。
为了提升YUV数据在终端播放的整体质量，需要对YUV数据进行处理，为了便于展开介绍，可以将YUV数据称作初始视频数据。
S102：对初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到相邻图像帧的位置对应关系。
考虑到初始视频数据中包含有多帧图像，不同帧图像之间可能对应不同的场景。例如初始视频数据包含一些特效或者动画的情况下，会存在前一帧图像呈现的是人脸图像，后一帧图像人脸已经转换为动物图像。人脸图像和动物图像可以看作是两个不同的场景，为了实现不同场景之间切换的流畅性，可以对相邻场景下的相邻图像帧进行变形操作，从而使画面逐步由前一个场景过渡到后一个场景。
在本申请实施例中，可以选取初始视频数据中第一场景的最后一帧图像和第二场景的第一帧图像；其中，第一场景和第二场景为初始视频数据所包含的场景中任意相邻的两个场景。
按照设定的变形规则，确定出最后一帧图像各像素点与第一帧图像各像素点的位置对应关系。
变形规则可以以变形公式的形式呈现，在具体实现中，终端可以调用设定的变形公式，对最后一帧图像的像素点和第一帧图像的像素点进行最小化处理，以确定出最后一帧图像中各像素点在第一帧图像中的对应位置；变形公式如下：
Figure SMS_5
其中，
Figure SMS_6
pi表示最后一帧图像第i个像素点的位置；qi表示最后一帧图像第i个像素点在第一帧图像中的对应位置；v表示最后一帧图像的像素点；α为设定的常规参数；M表示线性转换矩阵。α的取值可以设置为1。p*是pi加权求和重心位置，q*是qi加权求和重心位置。
S103：将初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出初始视频数据中各帧图像的主场景图像。
在初始视频数据中存在主场景和背景的区别，观看者在观看视频的时候希望能够更多的关注在主场景当中，因此可以对主场景进行提取。
在主场景提取过程中，可以利用单帧视频序列初始化背景，对于一个像素点，结合相邻像素点拥有相近像素值的空间分布特性，随机的选择它的邻域点的像素值作为它的模型样本值。
对于一个像素点，随机的选择它的邻居点的像素值作为它的模型样本值。以t＝0初始时刻为例，像素点对应的模型样本值可以表示为M0(x)＝{v0(y|y∈NG(x))}，其中，t＝0表示起始在第一帧，v0表示某个像素的第一个背景采样像素值；M0(x)为在t＝0时刻x处的背景样本值；NG(x)是像素位置x的空间邻域，y是根据统一规律随机选择的。
初始化过程中为每个背景点存储一个背景样本集，然后将每个新的像素值和背景样本集进行比较，从而判断是否属于背景点。
以初始视频数据中的任意一帧图像即目标帧图像为例，在具体实现中，可以计算初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离；其中，目标像素值为目标帧图像中任意一个像素点对应的像素值；目标背景样本集为与目标帧图像具有相同场景的背景样本集。
统计目标像素值对应的所有距离中小于设定的距离阈值的数目；在数目大于设定的背景阈值的情况下，可以判定目标像素值对应的像素点为背景点。剔除目标帧图像中包含的所有背景点，便可以得到目标帧图像的主场景图像。
考虑到初始视频数据中不同帧图像包含的场景可能存在差异，针对于每个场景设置有对应的背景样本集。在实际应用中，为了更加准确的提取主场景，可以在对不同帧图像提取主场景图像时，检测当前帧图像与其相邻的上一帧图像的场景是否发生变化。在检测到当前帧图像与其相邻的上一帧图像的场景发生变化的情况下，从设定的背景样本集中选取与当前帧图像的场景匹配的背景样本集；计算当前帧图像与其场景匹配的背景样本集包含的各样本值的距离。
在本申请实施例中，可以对背景样本集进行随机采样更新。在具体实现中，可以在存在连续预设次被检测为前景点的目标像素点的情况下，则依据目标像素点对随机选取的一个背景样本集进行更新。预设次的取值可以基于实际需求设置，在此不做限定。
前景主要是运动的，像素值大概率是会改变的；而背景是静止的，像素值大概率是不会变的。因此在实际应用中，可以基于背景模型逐步向外扩散：一个像素点按照R的半径阈值判断是否为背景，是的话将R内的其他像素点再按照半径R进行判断；前景点计数达到临界值将其变为背景：多次判定一个像素点为前景，则把该点判定为背景。
每一个背景点有
Figure SMS_7
的概率去更新自己的模型样本值，同时也有/>
Figure SMS_8
的概率去更新它的邻居点的模型样本值。/>
Figure SMS_9
是时间采样因子，一般取值为16。
在选择要替换的样本集中的样本值时候，可以随机选取一个样本值进行更新，这样可以保证背景样本值的平滑的生命周期。由于是随机的更新，这样一个背景样本值在时刻t不被更新的概率是(N-1)/N，假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率是P(t，t+dt)＝((N-I/)N))(t+dt)-t。
这就表明一个样本值在模型中是否被替换与时间t无关，然后在时间取样过程中并不是每处理一帧数据，都需要更新处理，而是按一定的更新率更新，当一个像素点被判定为背景时，它有就有一定的概率进行更新，从而完成主场景和背景的分离。
S104：对初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧。
超分辨率技术可以利用图像的自然结构信息，实现图像从低分辩率到高分辨率的映射。随着深度学习的发展，卷积神经网络通过强大的拟合能力，在视频超分辨率场景取得了叹为观止的效果。视频超分辨率框架(ETDM)是一个基于单向结构的循环卷积网络，即隐层特征只采用正向的传播方式。对于每个时刻，网络的输入分为两个层面：一个是低分辨率空间下的图像序列(前一帧I{t-1}、当前帧I{t}和后一帧I{t+1})；另一个是高分辨率空间下的预测结果。
ETDM的核心是提出用相邻帧的差分图来统一这两个层面下的时序建模方式。定义当前帧为参考帧，时间差分图为参考帧与相邻帧的差，它既可以表示为前后帧图像的像素变化差异，也可以被认为是参考帧到邻近帧的转换“桥梁”。
利用视频超分辨率框架，将相邻帧的时间差分图来统一低分辨率和高分辨率的时序建模视角。在低分辨率空间下，输入帧的时间差分图可以用来区分这两帧间中的低变化区域和高变化区域，不同的区域所包含的互补信息应当在重建中被区分对待。在高分辨率空间下，时间差分图可以将不同时刻的预测结果以较小的运算代价传播到任意过去和未来的时刻。
低变化区域可以理解为背景，高变化区域可以理解为主场景，两个区域进行不同感受野的CNN处理(卷积+残差块处理)，得到新的更高分辨率的视频帧。
在具体实现中，可以将各帧主场景图像与其相邻帧图像之间的时间残差图划分为低变化区域和高变化区域；依据低变化区域和高变化区域各自对应的感受野，对低变化区域和高变化区域进行卷积和残差处理，以得到新的视频帧。
在本申请实施例中，所有卷积层都配备了参数为2的扩张率，以处理具有更大感受野的主场景。通过这种方式将视频帧中进行了超分辨率的操作，画质从而得到提高。
S105：基于位置对应关系播放新的视频帧。
新的视频帧具有较高的分辨率，从而使得终端播放新的视频帧时可以呈现出高质量的画质。并且基于位置对应关系播放新的视频帧，可以使得新的视频帧中不同场景的切换更加流畅自然。
由上述技术方案可以看出，利用解码器将获取的数据流重构为初始视频数据；对初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到相邻图像帧的位置对应关系。基于该位置对应关系可以实现不同场景下帧图像之间的流畅切换。将初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出初始视频数据中各帧图像的主场景图像；对初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧。基于位置对应关系播放新的视频帧。在该技术方案中，通过对相邻场景下的相邻图像帧进行变形操作，可以使场景切换更流畅，更自然。基于较低网络带宽传输的视频在终端播放时往往分辨率偏低，本申请通过对主场景进行提取，并对主场景进行超分辨率的操作，提高了主场景的关注度，并且通过超分辨率操作可以有效提升初始视频数据的质量，从而在终端呈现出更高画质的视频。
图2为本申请实施例提供的一种视频播放装置的结构示意图，包括重构单元21、变形单元22、提取单元23、操作单元24和播放单元25；
重构单元21，用于利用解码器将获取的数据流重构为初始视频数据；
变形单元22，用于对初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到相邻图像帧的位置对应关系；
提取单元23，用于将初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出初始视频数据中各帧图像的主场景图像；
操作单元24，用于对初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧；
播放单元25，用于基于位置对应关系播放新的视频帧。
可选地，变形操作单元包括选取子单元和确定子单元；
选取子单元，用于选取初始视频数据中第一场景的最后一帧图像和第二场景的第一帧图像；其中，第一场景和第二场景为初始视频数据所包含的场景中任意相邻的两个场景；
确定子单元，用于按照设定的变形规则，确定出最后一帧图像各像素点与第一帧图像各像素点的位置对应关系。
可选地，确定子单元用于调用设定的变形公式，对最后一帧图像的像素点和第一帧图像的像素点进行最小化处理，以确定出最后一帧图像中各像素点在第一帧图像中的对应位置；变形公式如下：
Figure SMS_10
其中，
Figure SMS_11
pi表示最后一帧图像第i个像素点的位置；qi表示最后一帧图像第i个像素点在第一帧图像中的对应位置；v表示最后一帧图像的像素点；α为设定的常规参数；M表示线性转换矩阵。
可选地，提取单元包括计算子单元、统计子单元、判定子单元和剔除子单元；
计算子单元，用于计算初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离；其中，目标帧图像为初始视频数据中的任意一帧图像；目标像素值为目标帧图像中任意一个像素点对应的像素值；目标背景样本集为与目标帧图像具有相同场景的背景样本集；
统计子单元，用于统计目标像素值对应的所有距离中小于设定的距离阈值的数目；
判定子单元，用于在数目大于设定的背景阈值的情况下，判定目标像素值对应的像素点为背景点；
剔除子单元，用于剔除目标帧图像中包含的所有背景点，以得到目标帧图像的主场景图像。
可选地，计算子单元用于在检测到当前帧图像与其相邻的上一帧图像的场景发生变化的情况下，从设定的背景样本集中选取与当前帧图像的场景匹配的背景样本集；
计算当前帧图像与其场景匹配的背景样本集包含的各样本值的距离。
可选地，还包括更新单元；
更新单元，用于在存在连续预设次被检测为前景点的目标像素点的情况下，则依据目标像素点对随机选取的一个背景样本集进行更新。
可选地，操作单元包括划分子单元和处理子单元；
划分子单元，用于将各帧主场景图像与其相邻帧图像之间的时间残差图划分为低变化区域和高变化区域；
处理子单元，用于依据低变化区域和高变化区域各自对应的感受野，对低变化区域和高变化区域进行卷积和残差处理，以得到新的视频帧。
图2所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
由上述技术方案可以看出，利用解码器将获取的数据流重构为初始视频数据；对初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到相邻图像帧的位置对应关系。基于该位置对应关系可以实现不同场景下帧图像之间的流畅切换。将初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出初始视频数据中各帧图像的主场景图像；对初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧。基于位置对应关系播放新的视频帧。在该技术方案中，通过对相邻场景下的相邻图像帧进行变形操作，可以使场景切换更流畅，更自然。基于较低网络带宽传输的视频在终端播放时往往分辨率偏低，本申请通过对主场景进行提取，并对主场景进行超分辨率的操作，提高了主场景的关注度，并且通过超分辨率操作可以有效提升初始视频数据的质量，从而在终端呈现出更高画质的视频。
图3为本申请实施例提供的一种电子设备的结构图，如图3所示，电子设备包括：存储器30，用于存储计算机程序；
处理器31，用于执行计算机程序时实现如上述实施例视频播放方法的步骤。
本实施例提供的电子设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的视频播放方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于初始视频数据、背景样本集等。
在一些实施例中，电子设备还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的组件。
可以理解的是，如果上述实施例中的视频播放方法方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述视频播放方法的步骤。
以上对本申请实施例所提供的一种视频播放方法、装置、设备和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上对本申请所提供的一种视频播放方法、装置、设备和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种视频播放方法，其特征在于，包括：
利用解码器将获取的数据流重构为初始视频数据；
对所述初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到所述相邻图像帧的位置对应关系；
将所述初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出所述初始视频数据中各帧图像的主场景图像；
对所述初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧；
基于所述位置对应关系播放所述新的视频帧。
2.根据权利要求1所述的视频播放方法，其特征在于，所述对所述初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到所述相邻图像帧的位置对应关系包括：
选取所述初始视频数据中第一场景的最后一帧图像和第二场景的第一帧图像；其中，所述第一场景和所述第二场景为所述初始视频数据所包含的场景中任意相邻的两个场景；
按照设定的变形规则，确定出所述最后一帧图像各像素点与所述第一帧图像各像素点的位置对应关系。
3.根据权利要求2所述的视频播放方法，其特征在于，所述按照设定的变形规则，确定出所述最后一帧图像各像素点与所述第一帧图像各像素点的位置对应关系包括：
调用设定的变形公式，对所述最后一帧图像的像素点和所述第一帧图像的像素点进行最小化处理，以确定出所述最后一帧图像中各像素点在所述第一帧图像中的对应位置；所述变形公式如下：
Figure FDA0004171990960000011
其中，
Figure FDA0004171990960000012
pi表示所述最后一帧图像第i个像素点的位置；qi表示所述最后一帧图像第i个像素点在所述第一帧图像中的对应位置；v表示所述最后一帧图像的像素点；α为设定的常规参数；M表示线性转换矩阵。
4.根据权利要求1所述的视频播放方法，其特征在于，所述将所述初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出所述初始视频数据中各帧图像的主场景图像包括：
计算所述初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离；其中，所述目标帧图像为所述初始视频数据中的任意一帧图像；所述目标像素值为所述目标帧图像中任意一个像素点对应的像素值；所述目标背景样本集为与所述目标帧图像具有相同场景的背景样本集；
统计所述目标像素值对应的所有距离中小于设定的距离阈值的数目；
在所述数目大于设定的背景阈值的情况下，判定所述目标像素值对应的像素点为背景点；
剔除所述目标帧图像中包含的所有背景点，以得到所述目标帧图像的主场景图像。
5.根据权利要求4所述的视频播放方法，其特征在于，所述计算所述初始视频数据中目标帧图像的目标像素值和目标背景样本集包含的各样本值的距离包括：
在检测到当前帧图像与其相邻的上一帧图像的场景发生变化的情况下，从设定的背景样本集中选取与当前帧图像的场景匹配的背景样本集；
计算所述当前帧图像与其场景匹配的背景样本集包含的各样本值的距离。
6.根据权利要求4所述的视频播放方法，其特征在于，还包括：
在存在连续预设次被检测为前景点的目标像素点的情况下，则依据所述目标像素点对随机选取的一个背景样本集进行更新。
7.根据权利要求1至6任意一项所述的视频播放方法，其特征在于，所述对所述初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧包括：
将各帧主场景图像与其相邻帧图像之间的时间残差图划分为低变化区域和高变化区域；
依据所述低变化区域和所述高变化区域各自对应的感受野，对所述低变化区域和所述高变化区域进行卷积和残差处理，以得到新的视频帧。
8.一种视频播放装置，其特征在于，包括重构单元、变形单元、提取单元、操作单元和播放单元；
所述重构单元，用于利用解码器将获取的数据流重构为初始视频数据；
所述变形单元，用于对所述初始视频数据中相邻场景下的相邻图像帧进行变形操作，以得到所述相邻图像帧的位置对应关系；
所述提取单元，用于将所述初始视频数据中各帧图像的像素值和设定的背景样本集进行比较，以提取出所述初始视频数据中各帧图像的主场景图像；
所述操作单元，用于对所述初始视频数据的主场景图像进行超分辨率操作，以得到新的视频帧；
所述播放单元，用于基于所述位置对应关系播放所述新的视频帧。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任意一项所述视频播放方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述视频播放方法的步骤。
CN202310360916.7A 2023-03-31 2023-03-31 一种视频播放方法、装置、设备和计算机可读存储介质 Pending CN116419032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310360916.7A CN116419032A (zh) 2023-03-31 2023-03-31 一种视频播放方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310360916.7A CN116419032A (zh) 2023-03-31 2023-03-31 一种视频播放方法、装置、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116419032A true CN116419032A (zh) 2023-07-11

Family

ID=87057615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310360916.7A Pending CN116419032A (zh) 2023-03-31 2023-03-31 一种视频播放方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116419032A (zh)

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
CN108696761B (zh) 一种图片文件处理方法及其设备、系统
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
US20180007375A1 (en) Image encoding and decoding methods and devices thereof
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN110827380B (zh) 图像的渲染方法、装置、电子设备及计算机可读介质
CN111586412B (zh) 高清视频处理方法、主设备、从设备和芯片系统
CN112954398B (zh) 编码方法、解码方法、装置、存储介质及电子设备
US11290345B2 (en) Method for enhancing quality of media
CN113965751B (zh) 屏幕内容编码方法、装置、设备及存储介质
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
CN113473126B (zh) 视频流的处理方法、装置、电子设备及计算机可读介质
CA3182110A1 (en) Reinforcement learning based rate control
CN111524110A (zh) 视频质量的评价模型构建方法、评价方法及装置
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN111432213A (zh) 用于视频和图像压缩的自适应贴片数据大小编码
CN113452996A (zh) 一种视频编码、解码方法及装置
WO2023024832A1 (zh) 数据处理方法、装置、计算机设备和存储介质
CN116567246A (zh) Avc编码方法和装置
US11538169B2 (en) Method, computer program and system for detecting changes and moving objects in a video view
CN116419032A (zh) 一种视频播放方法、装置、设备和计算机可读存储介质
CN116918329A (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
CN113747242A (zh) 图像处理方法、装置、电子设备及存储介质
CN105847822A (zh) 一种视频解码方法及装置
CN114567778B (zh) 一种视频编码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination