CN112565819A - 一种视频数据处理的方法及装置、电子设备、存储介质 - Google Patents

一种视频数据处理的方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN112565819A
CN112565819A CN202011555947.0A CN202011555947A CN112565819A CN 112565819 A CN112565819 A CN 112565819A CN 202011555947 A CN202011555947 A CN 202011555947A CN 112565819 A CN112565819 A CN 112565819A
Authority
CN
China
Prior art keywords
target
video data
image
image sequence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011555947.0A
Other languages
English (en)
Other versions
CN112565819B (zh
Inventor
鄢立志
杜佳楠
张婷
夏超军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Digital Video Beijing Ltd
Original Assignee
China Digital Video Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Digital Video Beijing Ltd filed Critical China Digital Video Beijing Ltd
Priority to CN202011555947.0A priority Critical patent/CN112565819B/zh
Publication of CN112565819A publication Critical patent/CN112565819A/zh
Application granted granted Critical
Publication of CN112565819B publication Critical patent/CN112565819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种视频数据处理的方法及装置、电子设备、存储介质，所述方法包括：在检测到视觉增强事件时，获取待调整画质的第一视频数据；确定针对第一视频数据的图像序列集合；根据图像序列集合，确定目标卷积核和目标光流补偿信息；根据目标卷积核和目标光流补偿信息，生成图像序列集合对应的4K图像序列集合；采用4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放。通过本发明实施例，实现了对待调整画质的视频数据进行视觉增强处理，通过根据目标卷积核和目标光流补偿信息，生成4K图像序列集合，达到了视觉增强的效果，提升了视频数据画质，能够快速补齐4K超高清视频内容，解决了4K内容紧缺的困境。

Description

一种视频数据处理的方法及装置、电子设备、存储介质
技术领域
本发明涉及数据处理领域，特别是涉及一种视频数据处理的方法及装置、电子设备、存储介质。
背景技术
目前，超高清视频建设已经成为了广电、运营商、新媒体和互联网视频公司的重要发展方向，但在视频高清化发展的过程中，存在4K超高清内容稀缺、制作成本高昂的情况，如何处理4K超高清视频内容匮乏，且无法短时间内快速补充的困境，是亟待解决的问题。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种视频数据处理的方法及装置、电子设备、存储介质，包括：
一种视频数据处理的方法，所述方法包括：
在检测到视觉增强事件时，获取待调整画质的第一视频数据；
确定针对所述第一视频数据的图像序列集合；
根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
可选地，所述确定针对所述第一视频数据的图像序列集合，包括：
将所述第一视频数据切分为多个帧序列数据；
从所述多个帧序列数据中，确定目标帧序列数据和所述目标帧序列数据对应的关联帧序列数据；
根据所述目标帧序列数据和所述关联帧序列数据，确定图像序列集合。
可选地，所述根据所述目标帧序列数据和所述关联帧序列数据，确定图像序列集合，包括：
对所述目标帧序列数据和所述关联帧序列数据进行融合，并输入预设的算法模型；
接收所述算法模型输出的帧序列处理结果；其中，所述帧序列处理结果为所述目标帧序列数据对应的融合帧序列数据；所述目标帧序列数据具有多个；
针对所述多个目标帧序列数据，将所述融合帧序列数据作为图像序列数据，得到图像序列集合。
可选地，所述图像序列集合包括多个图像序列数据，所述根据所述图像序列集合，确定目标卷积核，包括：
针对每一图像序列数据，确定目标子卷积核；
所述针对每一图像序列数据，确定目标子卷积核，包括：
对所述图像序列数据进行特征提取，生成特征图信息；
采用所述特征图信息，确定目标子卷积核。
可选地，所述图像序列集合包括多个图像序列数据，所述根据所述图像序列集合，确定目标光流补偿信息，包括：
针对每一图像序列数据，确定目标子光流补偿信息；
所述针对每一图像序列数据，确定目标子光流补偿信息，包括：
确定针对所述图像序列数据的目标子光流信息；
根据所述目标子光流信息，确定目标子光流补偿信息。
可选地，所述根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合，包括：
根据所述目标卷积核和所述目标光流补偿信息，针对所述图像序列集合进行上采样处理，生成4K图像序列集合。
可选地，所述方法应用于TensorFlow。
一种视频数据处理的装置，所述装置包括：
第一视频数据获取模块，用于在检测到视觉增强事件时，获取待调整画质的第一视频数据；
图像序列集合确定模块，用于确定针对所述第一视频数据的图像序列集合；
目标卷积核和目标光流补偿信息确定模块，用于根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
4K图像序列集合生成模块，用于根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
第二视频数据得到模块，用于采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的视频数据处理的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的视频数据处理的方法。
本发明实施例具有以下优点：
在本发明实施例中，通过在检测到视觉增强事件时，获取待调整画质的第一视频数据，然后确定针对第一视频数据的图像序列集合，根据图像序列集合，确定目标卷积核和目标光流补偿信息，进而根据目标卷积核和目标光流补偿信息，生成图像序列集合对应的4K图像序列集合，采用4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放，实现了对待调整画质的视频数据进行视觉增强处理，通过根据目标卷积核和目标光流补偿信息，生成4K图像序列集合，达到了视觉增强的效果，提升了视频数据画质，能够快速补齐4K超高清视频内容，解决了4K内容紧缺的困境。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种视频数据处理的方法的步骤流程图；
图2是本发明一实施例提供的另一种视频数据处理的方法的步骤流程图；
图3是本发明一实施例提供的另一种视频数据处理的方法的步骤流程图；
图4a是本发明一实施例提供的一种视频数据处理示例的示意图；
图4b是本发明一实施例提供的另一种视频数据处理示例的示意图；
图5是本发明一实施例提供的一种视频数据处理的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明一实施例提供的一种视频数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤101，在检测到视觉增强事件时，获取待调整画质的第一视频数据；
其中，该方法可以应用于TensorFlow，可以基于TensorFlow对获取的视频数据进行视觉效果增强处理，从而能够实现视频观看的体验提升。
TensorFlow为机器学习系统，可以拥有多层级结构，并可以部署于各类服务器、PC终端、网页，可以支持GPU和TPU高性能数值计算，应用于产品开发和各类机器学习算法的编程实现。
作为一示例，第一视频数据可以为待调整画质的视频数据，如可以针对低质视频进行画质调整。
在视频数据的视觉增强过程中，可以通过将TensorFlow作为深度学习框架，基于TensorFlow对获取的视频数据进行视觉效果增强处理，即可以在检测到视觉增强事件时，可以获取待调整画质的第一视频数据，以进一步针对该第一视频数据进行视觉效果增强处理。
由于超高清视频建设已经成为了广电、运营商、新媒体和互联网视频公司的重要发展方向，然而，存在4K超高清内容稀缺、制作成本高昂的情况，针对IPTV/OTT(不同视频资源运营形式，其中，IPTV为交互式网络电视，OTT为互联网公司越过运营商，发展基于开放互联网的各种视频及数据服务业务)和互联网视频平台4K超高清视频内容匮乏，且无法短时间内快速补充的问题，通过基于TensorFlow对待调整画质的视频数据进行视觉效果增强处理，能够快速补齐4K超高清视频内容，解决了4K内容紧缺的困境。
例如，通过视频上载并发起视觉增强任务，可以检测到视觉增强事件，进而可以获取待调整画质的第一视频数据，可以结合视觉增强技术，针对低质视频存在的低分辨率、背景噪声、压缩噪声、色彩灰暗、划痕等多种形式的品质问题，进行视觉增强处理，以达到画质增强的效果，提升视频数据品质。
在一示例中，基于TensorFlow，可以通过客户端发起视觉增强任务的请求，然后可以通过负载均衡服务器，针对多个ScorpiusServer服务器的使用情况，选择出待连接的IP地址和该IP地址对应的ScorpiusServer服务器，并可以将ScorpiusServer服务器可供连接的port端口信息返回给客户端，以针对视觉增强任务的视频数据调整画质后，提供用户下载使用。
步骤102，确定针对所述第一视频数据的图像序列集合；
在获取第一视频数据后，可以通过对第一视频数据进行解码处理，进而可以确定针对第一视频数据的图像序列集合，该图像序列集合可以为针对第一视频数据的多个图像序列数据的集合，以针对图像序列集合进行后续的视觉增强处理。
具体的，可以通过对第一视频数据的解码处理，将第一视频数据切分成帧序列数据，并可以根据将前、后帧的多帧序列数据进行融合的方式，得到多个图像序列数据，进而可以确定针对第一视频数据的图像序列集合。
步骤103，根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
作为一示例，目标卷积核可以为针对图像序列集合，通过卷积计算生成的卷积核，如DynamicFilter卷积核；目标光流补偿信息可以为针对图像序列集合，通过卷积计算输出的基于光流的补偿信息，如根据卷积计算获取光流信息，可以得到针对该光流信息的动作补偿结果。
在得到图像序列集合后，可以通过神经网络模型进行卷积计算，根据图像序列集合，确定目标卷积核和目标光流补偿信息，例如，可以通过卷积计算，得到DynamicFilter卷积核和针对光流的动作补偿结果。
步骤104，根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
在得到目标卷积核和目标光流补偿信息后，可以根据该目标卷积核和目标光流补偿信息，生成图像序列集合对应的4K图像序列集合，以实现对图像的超分辨率处理，提升了画质。
在一示例中，可以根据目标卷积核和目标光流补偿信息，通过亚像素处理，进而可以生成针对图像序列集合的多个4k单帧图像，以得到4K图像序列集合。
步骤105，采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
在得到4K图像序列集合后，可以采用该4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放，从而通过以TensorFlow作为深度学习框架，采用神经网络DynamicFilter卷积核，并结合光流做动作补偿，能够对视频数据的图像进行超分辨率处理，提升了视频画质。
在一示例中，通过基于TensorFlow对视频数据进行视觉效果增强，可以对低质视频进行超分辨率处理、SDR转HDR处理、去噪与锐化处理、去模糊处理，进而可以将低质视频的画质重生，得到4K超高清视频，实现了视频观看的体验提升。
在本发明实施例中，通过在检测到视觉增强事件时，获取待调整画质的第一视频数据，然后确定针对第一视频数据的图像序列集合，根据图像序列集合，确定目标卷积核和目标光流补偿信息，进而根据目标卷积核和目标光流补偿信息，生成图像序列集合对应的4K图像序列集合，采用4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放，实现了对待调整画质的视频数据进行视觉增强处理，通过根据目标卷积核和目标光流补偿信息，生成4K图像序列集合，达到了视觉增强的效果，提升了视频数据画质，能够快速补齐4K超高清视频内容，解决了4K内容紧缺的困境。
参照图2，示出了本发明一实施例提供的另一种视频数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤201，在检测到视觉增强事件时，获取待调整画质的第一视频数据；
在视频数据的视觉增强过程中，可以通过将TensorFlow作为深度学习框架，基于TensorFlow对获取的视频数据进行视觉效果增强处理，即可以在检测到视觉增强事件时，可以获取待调整画质的第一视频数据，以进一步针对该第一视频数据进行视觉效果增强处理。
步骤202，将所述第一视频数据切分为多个帧序列数据；
在获取第一视频数据后，可以通过对第一视频数据进行解码处理，将第一视频数据切分为多个帧序列数据。
步骤203，从所述多个帧序列数据中，确定目标帧序列数据和所述目标帧序列数据对应的关联帧序列数据；
在具体实现中，可以通过预设分片策略，然后可以根据分片策略，从多个帧序列数据中，确定目标帧序列数据和目标帧序列数据对应的关联帧序列数据。
例如，可以通过多线程对第一视频数据进行分帧处理，可以针对每三个连续帧，将中间帧作为目标帧序列数据，将该中间帧的前、后帧作为目标帧序列数据对应的关联帧序列数据，进而可以根据每三个连续帧，得到目标帧序列数据和目标帧序列数据对应的关联帧序列数据。
步骤204，根据所述目标帧序列数据和所述关联帧序列数据，确定图像序列集合；
在确定目标帧序列数据和关联帧序列数据后，可以基于每三个连续帧，根据目标帧序列数据和关联帧序列数据的多帧序列数据进行融合，可以得到多个图像序列数据，进而可以确定针对第一视频数据的图像序列集合，以针对图像序列集合进行后续的视觉增强处理。
在一示例中，可以通过将每三个连续帧进行信息融合，可以根据帧的信息矩阵channel信道维度进行融合，并可以输入到算法模型中，通过算法对多帧序列数据进行算法处理，进而可以将目标帧序列数据和关联帧序列数据融合为一帧数据进行输出，即算法模型可以输出对应三个连续帧的中间帧的处理结果帧。
在又一示例中，可以采用算法模型输出的，针对目标帧序列数据和关联帧序列数据融合后的处理结果帧，确定针对第一视频数据的图像序列集合，如通过多个连续帧进行多帧融合后，可以得到解码处理后的视频数据。
在本发明一实施例中，步骤204可以包括如下子步骤：
子步骤11，对所述目标帧序列数据和所述关联帧序列数据进行融合，并输入预设的算法模型；
在实际应用中，可以对目标帧序列数据和关联帧序列数据进行融合，并可以输入预设的算法模型，以针对融合后多帧序列数据进行算法处理。
例如，可以通过将每三个连续帧进行信息融合，可以根据帧的信息矩阵channel信道维度进行融合，并可以输入到算法模型中。
子步骤12，接收所述算法模型输出的帧序列处理结果；其中，所述帧序列处理结果为所述目标帧序列数据对应的融合帧序列数据；
在实际应用中，可以通过接收算法模型输出的帧序列处理结果，该帧序列处理结果可以为目标帧序列数据对应的融合帧序列数据。
例如，通过算法对多帧序列数据进行算法处理，进而可以将目标帧序列数据和关联帧序列数据融合为一帧数据进行输出，即算法模型可以输出对应三个连续帧的中间帧的处理结果帧。
子步骤13，所述目标帧序列数据具有多个；针对所述多个目标帧序列数据，将所述融合帧序列数据作为图像序列数据，得到图像序列集合。
由于目标帧序列数据可以具有多个，则可以针对多个目标帧序列数据，将算法模型输出的融合帧序列数据作为图像序列数据，进而可以得到图像序列集合。
例如，可以采用算法模型输出的，针对目标帧序列数据和关联帧序列数据融合后的处理结果帧，确定针对第一视频数据的图像序列集合。
步骤205，根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
在得到图像序列集合后，可以通过神经网络模型进行卷积计算，根据图像序列集合，确定目标卷积核和目标光流补偿信息，例如，可以通过卷积计算，得到DynamicFilter卷积核和针对光流的动作补偿结果。
步骤206，根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
在得到目标卷积核和目标光流补偿信息后，可以根据该目标卷积核和目标光流补偿信息，生成图像序列集合对应的4K图像序列集合，以实现对图像的超分辨率处理，提升了画质。
步骤207，采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
在得到4K图像序列集合后，可以采用该4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放。
参照图3，示出了本发明一实施例提供的另一种视频数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤301，在检测到视觉增强事件时，获取待调整画质的第一视频数据；
在视频数据的视觉增强过程中，可以通过将TensorFlow作为深度学习框架，基于TensorFlow对获取的视频数据进行视觉效果增强处理，即可以在检测到视觉增强事件时，可以获取待调整画质的第一视频数据，以进一步针对该第一视频数据进行视觉效果增强处理。
步骤302，确定针对所述第一视频数据的图像序列集合；
在获取第一视频数据后，可以通过对第一视频数据进行解码处理，进而可以确定针对第一视频数据的图像序列集合，该图像序列集合可以为针对第一视频数据的多个图像序列数据的集合，以针对图像序列集合进行后续的视觉增强处理。
步骤303，根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
在得到图像序列集合后，可以通过神经网络模型进行卷积计算，根据图像序列集合，确定目标卷积核和目标光流补偿信息，例如，可以通过卷积计算，得到DynamicFilter卷积核和针对光流的动作补偿结果。
在本发明一实施例中，图像序列集合可以包括多个图像序列数据，步骤303可以包括如下子步骤：
针对每一图像序列数据，确定目标子卷积核。
在具体实现中，图像序列集合可以包括多个图像序列数据，进而可以针对每一图像序列数据，确定目标子卷积核。
所述针对每一图像序列数据，确定目标子卷积核的步骤，可以包括如下子步骤：
对所述图像序列数据进行特征提取，生成特征图信息；采用所述特征图信息，确定目标子卷积核。
在实际应用中，可以通过卷积计算对图像序列数据进行特征提取，生成特征图信息，进而可以采用该特征图信息，确定目标子卷积核，如DynamicFilter卷积核。
由于神经网络可以根据输入的图像序列数据，生成对应的特征图，并可以采用特征图构造卷积核，则根据输入的图像序列数据不同，通过对应普通卷积核生成的Dynamic卷积核也不同。
在一示例中，可以将每一图像序列数据输入神经网络模型，通过卷积计算提取图片特征，可以生成对应的特征图信息，进而可以采用该特征图信息构造目标子卷积核，即可以生成DynamicFilter卷积核。
例如，通过卷积计算提取图片特征可以包括像素位置结构特征、通道间的像素关联特征、图像中的纹理特征、图像像素的对比度特征等。
在本发明一实施例中，图像序列集合可以包括多个图像序列数据，步骤303还可以包括如下子步骤：
针对每一图像序列数据，确定目标子光流补偿信息。
在具体实现中，图像序列集合可以包括多个图像序列数据，进而可以针对每一图像序列数据，确定目标子光流补偿信息。
所述针对每一图像序列数据，确定目标子光流补偿信息的步骤，可以包括如下子步骤：
确定针对所述图像序列数据的目标子光流信息；根据所述目标子光流信息，确定目标子光流补偿信息。
在实际应用中，可以通过确定针对图像序列数据的目标子光流信息，进而可以根据该目标子光流信息，确定目标子光流补偿信息，
具体的，可以将每一图像序列数据输入神经网络模型，通过卷积计算可以获取光流(即目标子光流信息)，进而可以根据光流计算得到动作补偿结果(即目标子光流补偿信息)。
例如，可以通过神经网络算法模块中具有的两个CoarseFlow模块，其可以由8个不同尺度的卷积核构成，可以针对输入的三个连续帧序列数据进行学习，构造相应的特征图，并可以由前后帧(即关联帧序列数据)的冗余信息学习像素的移动轨迹，以获取光流，即光流轨迹，进而可以根据光流轨迹得到像素具体的移动方向，通过计算得到动作补偿结果，即像素移动后位置的结果。
在一示例中，如图4a所示，通过对导入视频文件(即第一视频数据)进行解码，可以得到多个图片序列(即图像序列集合可以包括多个图像序列数据)，针对每一图片序列，通过卷积计算可以生成DynamicFilter卷积核(即目标子卷积核)和获取光流(即目标子光流信息)，根据获取的光流可以得到动作补偿结果(即目标子光流补偿信息)，从而通过采用DynamicFilter做图像特征提取，并结合光流做动作补偿，可以对图像进行超分辨率处理，以提升画质。
在又一示例中，如图4a所示，可以对解码处理后的图片数据进行分流，启动并行计算；也可以根据显卡计算框架的策略，针对解码处理后的多个融合帧序列数据，按照帧序形成解码后的视频数据。
步骤304，根据所述目标卷积核和所述目标光流补偿信息，针对所述图像序列集合进行上采样处理，生成4K图像序列集合；
在得到目标卷积核和目标光流补偿信息后，可以针对该图像序列集合进行上采样处理，进而可以生成图像序列集合对应的4K图像序列集合，例如，可以通过亚像素处理，生成针对图像序列集合的多个4k单帧图像，以得到4K图像序列集合。
步骤305，采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
在得到4K图像序列集合后，可以采用该4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放。
例如，如图4a所示，针对每一图片序列，通过卷积计算生成DynamicFilter卷积核(即目标子卷积核)和获取光流(即目标子光流信息)，并根据获取的光流得到动作补偿结果(即目标子光流补偿信息)后，可以通过上采样处理，生成多个4K图片序列，并可以得到4K图像序列集合，进而可以针对4K图像序列集合通过编码合成，得到4K成片(即第二视频数据)。
在一示例中，如图4b所示，可以通过视频上载，并发起视觉增强任务，然后可以对导入的视频文件(即第一视频数据)进行解码，可以根据预设的分片策略进行特性计算，得到针对第一视频数据的图像序列数据，可以通过神经网络卷积计算生成DynamicFilter卷积核(即目标子卷积核)和获取光流(即目标子光流信息)，根据获取的光流可以得到动作补偿结果(即目标子光流补偿信息)，进而可以通过上采样处理，得到4K图像序列集合，通过服务器对4K图像序列集合进行编码合成，生成4K成品文件(即第二视频数据)，并可以登记到媒体资源中，以用户下载使用。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图5，示出了本发明一实施例提供的一种视频数据处理的装置的结构示意图，具体可以包括如下模块：
第一视频数据获取模块501，用于在检测到视觉增强事件时，获取待调整画质的第一视频数据；
图像序列集合确定模块502，用于确定针对所述第一视频数据的图像序列集合；
目标卷积核和目标光流补偿信息确定模块503，用于根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
4K图像序列集合生成模块504，用于根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
第二视频数据得到模块505，用于采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
在本发明一实施例中，所述图像序列集合确定模块502包括：
切分子模块，用于将所述第一视频数据切分为多个帧序列数据；
目标帧序列数据确定子模块，用于从所述多个帧序列数据中，确定目标帧序列数据和所述目标帧序列数据对应的关联帧序列数据；
图像序列集合确定子模块，用于根据所述目标帧序列数据和所述关联帧序列数据，确定图像序列集合。
在本发明一实施例中，所述图像序列集合确定子模块包括：
模型输入单元，用于对所述目标帧序列数据和所述关联帧序列数据进行融合，并输入预设的算法模型；
模型输出单元，用于接收所述算法模型输出的帧序列处理结果；其中，所述帧序列处理结果为所述目标帧序列数据对应的融合帧序列数据；所述目标帧序列数据具有多个；
图像序列集合得到单元，用于针对所述多个目标帧序列数据，将所述融合帧序列数据作为图像序列数据，得到图像序列集合。
在本发明一实施例中，所述图像序列集合包括多个图像序列数据，所述目标卷积核和目标光流补偿信息确定模块503包括：
目标子卷积核确定子模块，用于针对每一图像序列数据，确定目标子卷积核；
所述目标子卷积核确定子模块包括：
特征图信息生成单元，用于对所述图像序列数据进行特征提取，生成特征图信息；
目标子卷积核确定单元，用于采用所述特征图信息，确定目标子卷积核。
在本发明一实施例中，所述图像序列集合包括多个图像序列数据，所述目标卷积核和目标光流补偿信息确定模块503包括：
目标子光流补偿信息确定子模块，用于针对每一图像序列数据，确定目标子光流补偿信息；
所述目标子光流补偿信息确定子模块包括：
目标子光流信息确定单元，用于确定针对所述图像序列数据的目标子光流信息；
目标子光流补偿信息确定单元，用于根据所述目标子光流信息，确定目标子光流补偿信息。
在本发明一实施例中，所述4K图像序列集合生成模块504包括：
4K图像序列集合生成子模块，用于根据所述目标卷积核和所述目标光流补偿信息，针对所述图像序列集合进行上采样处理，生成4K图像序列集合。
在本发明一实施例中，所述方法应用于TensorFlow。
在本发明实施例中，通过在检测到视觉增强事件时，获取待调整画质的第一视频数据，然后确定针对第一视频数据的图像序列集合，根据图像序列集合，确定目标卷积核和目标光流补偿信息，进而根据目标卷积核和目标光流补偿信息，生成图像序列集合对应的4K图像序列集合，采用4K图像序列集合，得到第二视频数据，以使用第二视频数据进行超高清播放，实现了对待调整画质的视频数据进行视觉增强处理，通过根据目标卷积核和目标光流补偿信息，生成4K图像序列集合，达到了视觉增强的效果，提升了视频数据画质，能够快速补齐4K超高清视频内容，解决了4K内容紧缺的困境。
本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上视频数据处理的方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上视频数据处理的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种视频数据处理的方法及装置、电子设备、存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频数据处理的方法，其特征在于，所述方法包括：
在检测到视觉增强事件时，获取待调整画质的第一视频数据；
确定针对所述第一视频数据的图像序列集合；
根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
2.根据权利要求1所述的方法，其特征在于，所述确定针对所述第一视频数据的图像序列集合，包括：
将所述第一视频数据切分为多个帧序列数据；
从所述多个帧序列数据中，确定目标帧序列数据和所述目标帧序列数据对应的关联帧序列数据；
根据所述目标帧序列数据和所述关联帧序列数据，确定图像序列集合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标帧序列数据和所述关联帧序列数据，确定图像序列集合，包括：
对所述目标帧序列数据和所述关联帧序列数据进行融合，并输入预设的算法模型；
接收所述算法模型输出的帧序列处理结果；其中，所述帧序列处理结果为所述目标帧序列数据对应的融合帧序列数据；所述目标帧序列数据具有多个；
针对所述多个目标帧序列数据，将所述融合帧序列数据作为图像序列数据，得到图像序列集合。
4.根据权利要求1所述的方法，其特征在于，所述图像序列集合包括多个图像序列数据，所述根据所述图像序列集合，确定目标卷积核，包括：
针对每一图像序列数据，确定目标子卷积核；
所述针对每一图像序列数据，确定目标子卷积核，包括：
对所述图像序列数据进行特征提取，生成特征图信息；
采用所述特征图信息，确定目标子卷积核。
5.根据权利要求1或2或3或4所述的方法，其特征在于，所述图像序列集合包括多个图像序列数据，所述根据所述图像序列集合，确定目标光流补偿信息，包括：
针对每一图像序列数据，确定目标子光流补偿信息；
所述针对每一图像序列数据，确定目标子光流补偿信息，包括：
确定针对所述图像序列数据的目标子光流信息；
根据所述目标子光流信息，确定目标子光流补偿信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合，包括：
根据所述目标卷积核和所述目标光流补偿信息，针对所述图像序列集合进行上采样处理，生成4K图像序列集合。
7.根据权利要求1所述的方法，其特征在于，所述方法应用于TensorFlow。
8.一种视频数据处理的装置，其特征在于，所述装置包括：
第一视频数据获取模块，用于在检测到视觉增强事件时，获取待调整画质的第一视频数据；
图像序列集合确定模块，用于确定针对所述第一视频数据的图像序列集合；
目标卷积核和目标光流补偿信息确定模块，用于根据所述图像序列集合，确定目标卷积核和目标光流补偿信息；
4K图像序列集合生成模块，用于根据所述目标卷积核和所述目标光流补偿信息，生成所述图像序列集合对应的4K图像序列集合；
第二视频数据得到模块，用于采用所述4K图像序列集合，得到第二视频数据，以使用所述第二视频数据进行超高清播放。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频数据处理的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频数据处理的方法。
CN202011555947.0A 2020-12-24 2020-12-24 一种视频数据处理的方法及装置、电子设备、存储介质 Active CN112565819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011555947.0A CN112565819B (zh) 2020-12-24 2020-12-24 一种视频数据处理的方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011555947.0A CN112565819B (zh) 2020-12-24 2020-12-24 一种视频数据处理的方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN112565819A true CN112565819A (zh) 2021-03-26
CN112565819B CN112565819B (zh) 2023-04-07

Family

ID=75034035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011555947.0A Active CN112565819B (zh) 2020-12-24 2020-12-24 一种视频数据处理的方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN112565819B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115547261A (zh) * 2022-09-20 2022-12-30 福州大学 一种彩色电润湿电子纸视频画质动态补偿方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN108235058A (zh) * 2018-01-12 2018-06-29 广州华多网络科技有限公司 视频质量处理方法、存储介质和终端
CN110913218A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN111182254A (zh) * 2020-01-03 2020-05-19 北京百度网讯科技有限公司 一种视频处理方法、装置、设备及存储介质
CN112016456A (zh) * 2020-08-27 2020-12-01 南京理工大学 基于自适应反向投影深度学习的视频超分辨率方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN108235058A (zh) * 2018-01-12 2018-06-29 广州华多网络科技有限公司 视频质量处理方法、存储介质和终端
CN110913218A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备
CN111182254A (zh) * 2020-01-03 2020-05-19 北京百度网讯科技有限公司 一种视频处理方法、装置、设备及存储介质
CN112016456A (zh) * 2020-08-27 2020-12-01 南京理工大学 基于自适应反向投影深度学习的视频超分辨率方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115547261A (zh) * 2022-09-20 2022-12-30 福州大学 一种彩色电润湿电子纸视频画质动态补偿方法

Also Published As

Publication number Publication date
CN112565819B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US11234006B2 (en) Training end-to-end video processes
US10547858B2 (en) Visual processing using temporal and spatial interpolation
US10499056B2 (en) System and method for video processing based on quantization parameter
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
US11960996B2 (en) Video quality assessment method and apparatus
US20210398265A1 (en) Video quality assessment method and apparatus
CN115409716B (zh) 视频处理方法、装置、存储介质及设备
CN112330541A (zh) 直播视频处理方法、装置、电子设备和存储介质
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
GB2548749A (en) Online training of hierarchical algorithms
CN117857842B (zh) 直播场景中的画质处理方法及电子设备
Saha et al. Perceptual video quality assessment: The journey continues!
CN112565819B (zh) 一种视频数据处理的方法及装置、电子设备、存储介质
CN113452996A (zh) 一种视频编码、解码方法及装置
KR102130076B1 (ko) 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质
CN114827666B (zh) 视频处理方法、装置及设备
CN114827567A (zh) 视频质量分析方法、设备和可读介质
CN115147314B (zh) 图像处理方法、装置、设备以及存储介质
CN113628121A (zh) 数据处理、训练多媒体数据的方法和装置
US20240119637A1 (en) Image synthesis method and system
CN117732042A (zh) 画面数据处理方法、装置、电子设备、介质及程序产品
De Decker et al. No-Reference VMAF: A Deep Neural Network-Based Approach to Blind Video Quality Assessment
CN118283298A (zh) 视频传输方法、处理方法、装置、设备、介质和程序产品
CN117876918A (zh) 短视频关键帧的提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant