CN114650449A - 一种视频数据处理方法和装置 - Google Patents
一种视频数据处理方法和装置 Download PDFInfo
- Publication number
- CN114650449A CN114650449A CN202210204230.4A CN202210204230A CN114650449A CN 114650449 A CN114650449 A CN 114650449A CN 202210204230 A CN202210204230 A CN 202210204230A CN 114650449 A CN114650449 A CN 114650449A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- video frame
- image data
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 205
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000004806 packaging method and process Methods 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 230000010363 phase shift Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000000153 supplemental effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供一种视频数据处理方法和装置。其中，该方法包括：将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。本公开提供的视频数据处理方法，通过将超分处理参数封装到分辨率低于预设分辨率阈值的视频帧的自定义字段后，以该低分辨率视频帧传输到客户端进行超分处理得到高分辨率的视频，能够有效节省带宽，提高视频数据传输效率。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及两种视频数据处理方法和装置。另外，还涉及一种电子设备及处理器可读存储介质。
背景技术
近年来，随着网络技术的不断发展，网络视频、网络直播等正在改变着人们的生活方式。高分辨率的视频会为用户带来更为清晰和舒适的视觉体验，现有的技术通常是在服务端先把低分辨率视频做处理后，通过网络传输高分辨率视频，在客户端显示高分辨率视频。然而由于服务器资源限制等因素影响，实际获取的视频往往分辨率较低或者需要较高的服务器资源来支撑，同时需要更高网络带宽来传输高分辨率的视频数据。随着视频数据的快速增加，对服务器资源的需求越来越高，给后续的视频处理和分析带来诸多困难，逐渐难以满足人们的需求。因此，如何有效提高视频数据处理效率快速得到高分辨率视频数据成为亟待解决的难题。
发明内容
为此，本公开提供一种视频数据处理方法和装置，以解决现有技术中存在的视频数据处理方案局限性较高，导致其视频数据处理效率和稳定性较差的缺陷。
本公开提供一种视频数据处理方法，包括：
将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；
将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
进一步的，所述第一分辨率视频帧包括内部编码帧；
所述将超分处理参数封装到第一分辨率视频帧的自定义字段，具体为：将所述超分处理参数封装到内部编码帧的补充增强信息自定义字段中。
本公开还提供一种视频数据处理方法，包括：
获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；
从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
进一步的，基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧，具体包括：
对所述目标数据帧进行解码，得到YUV图像数据；
基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
对所述YUV图像数据中的色彩分量图像数据进行拉伸处理，得到分辨率高于预设分辨率阈值的色彩分量图像数据；
根据所述分辨率高于预设分辨率阈值的灰度分量图像数据和所述分辨率高于预设分辨率阈值的色彩分量图像数据，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
进一步的，所述基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据，具体包括：
利用预设的超分处理模型基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
其中，所述超分处理模型是基于样本图像数据以及所述样本图像数据对应的超分处理结果进行训练得到的卷积神经网络模型；所述样本图像数据为分辨率低于预设分辨率阈值的样本视频帧，所述超分处理结果为分辨率高于预设分辨率阈值的样本视频帧。
进一步的，所述超分处理模型包括卷积层和相移层；
所述卷积层用于在所述样本图像数据中提取表示特征，生成低分辨率图像到相应的高分辨率图像的映射关系；
所述相移层用于根据所述映射关系和所述超分处理参数将至少一个低分辨率的灰度分量图像数据转换成相应的高分辨率的灰度分量图像数据。
本公开还提供一种视频数据处理装置，包括：
超分处理参数封装单元，用于将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；
视频帧传输单元，用于将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
进一步的，所述第一分辨率视频帧包括内部编码帧；
所述超分处理参数封装单元，具体用于：将所述超分处理参数封装到内部编码帧的补充增强信息自定义字段中。
本公开还提供一种视频数据处理装置，包括：
数据帧获取单元，用于获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；
超分处理单元，用于从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
进一步的，所述超分处理单元，具体用于：
对所述目标数据帧进行解码，得到YUV图像数据；
基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
对所述YUV图像数据中的色彩分量图像数据进行拉伸处理，得到分辨率高于预设分辨率阈值的色彩分量图像数据；
根据所述分辨率高于预设分辨率阈值的灰度分量图像数据和所述分辨率高于预设分辨率阈值的色彩分量图像数据，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
进一步的，所述基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据，具体包括：
利用预设的超分处理模型基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
其中，所述超分处理模型是基于样本图像数据以及所述样本图像数据对应的超分处理结果进行训练得到的卷积神经网络模型；所述样本图像数据为分辨率低于预设分辨率阈值的样本视频帧，所述超分处理结果为分辨率高于预设分辨率阈值的样本视频帧。
进一步的，所述超分处理模型包括卷积层和相移层；
所述卷积层用于在所述样本图像数据中提取表示特征，生成低分辨率图像到相应的高分辨率图像的映射关系；
所述相移层用于根据所述映射关系和所述超分处理参数将至少一个低分辨率的灰度分量图像数据转换成相应的高分辨率的灰度分量图像数据。
本公开还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述视频数据处理方法的步骤。
本公开还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上任意一项所述视频数据处理方法的步骤。
本公开提供的视频数据处理方法，通过将超分处理参数封装到分辨率低于预设分辨率阈值的视频帧的自定义字段后，以该低分辨率视频帧传输到客户端进行超分处理得到高分辨率的视频，能够有效节省带宽，提高视频数据传输效率。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本公开实施例提供的视频数据处理方法流程示意图之一；
图2是本公开实施例提供的视频数据处理方法应用示意图；
图3是本公开实施例提供的超分算法参数封装示意图；
图4是本公开实施例提供的针对视频帧的超分处理示意图；
图5是本公开实施例提供的超分处理模型的网络结构示意图；
图6是本公开实施例提供的r＝2时进行相移的示意图；
图7是本公开实施例提供的视频数据处理装置结构示意图之一；
图8是本公开实施例提供的视频数据处理方法流程示意图之二；
图9是本公开实施例提供的视频数据处理装置结构示意图之二；
图10是本公开实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本公开实施例的技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本公开保护的范围。
下面基于本公开所述的视频数据处理方法，对其实施例进行详细描述。如图1所示，其为本公开实施例提供的视频数据处理方法的流程示意图之一，具体实现过程包括以下步骤：
步骤101：将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧。
具体的，所述第一分辨率视频帧具体可包括：内部编码帧、前向预测编码图像帧以及双向预测编码图像帧。其中，所述内部编码帧为低分辨率视频I帧或关键帧(即I-frameor Key-Frame or Intra-frame)；所述前向预测编码图像帧为低分辨率视频P帧；所述双向预测编码图像帧为低分辨率视频B帧(即Bi-Directional)，B代表双向。I帧为包含完整画面的视频帧；P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别；B帧是双向差别帧，记录的是本帧与前后帧的差别。
在本发明实施例中，将超分处理参数封装到第一分辨率视频帧的自定义字段，对应的实现过程包括：如图2所示，服务器端将所述超分处理参数(即超分算法参数)封装到内部编码帧(视频I帧)中补充增强信息(Supplemental Enhancement Information，SEI)的扩展自定义字段中，从而得到待发送的目标视频帧，将低分辨率视频帧和超分算法参数通过网络传输。如图3所示，将在低分辨率视频码流中视频I帧中找到SEI自定义字段位置，插入预览生成的超分算法参数。其中，需要说明的是，所述第一分辨率视频帧可包含所述内部编码帧、前向预测编码图像帧以及双向预测编码图像帧，为分辨率低于预设分辨率阈值的视频帧。所述目标视频帧为待发送的封装有超分处理参数的内部编码帧、前向预测编码图像帧以及双向预测编码图像帧。所述超分算法参数由6组浮点数组组成，如下：Float pram1[200]，Float pram2[8]；Float pram3[288]，Float pram4[4]；Float pram5[144]，Floatpram6[4]。其中，Float pram1[200]，Float pram2[8]对应第一卷积层，比如可表示为float*conv1weights[200]；//5*5*1*8；pram1。float*conv1biases[8]；//8；pram2。Floatpram3[288]，Float pram4[4]对应第二卷积层，比如可表示为float*conv2weights[288]；//3*3*8*4；pram3。float*conv2biases[4]；//4；pram4。Float pram5[144]，Floatpram6[4]对应第三卷积层，比如可表示为float*conv3weights[144]；//3*3*4*4；pram5。float*conv3biases[4]；4；pram6。如图5中的5*5*1*8，3*3*8*4以及3*3*4*4为超分算法参数。将540x960x1输入第一卷积层与5*5*1*8处理得到540x960x8；将540x960x8输入第二卷积层与3*3*8*4处理得到540x960x4；将540x960x4输入第三卷积层与3*3*4*4处理得到540x960x4；将所述540x960x4输入相移层得到1080x1920x1。其中，5*5*1*8中的5*5表示第一卷积层中为5*5的矩阵；1表示第一卷积层的输入数据，即第一卷积层输入1张图或者1维数据；8表示第一卷积层的输出数据，第一卷积层输出8张图或者8维数据，即Float pram2[8]。3*3*8*4中的3*3表示第二卷积层中为3*3的矩阵；8表示第二卷积层的输入数据，即第二卷积层输入8张图或者8维数据；4表示第二卷积层的输出数据，第二卷积层输出4张图或者4维数据，即Float pram4[4]。3*3*4*4中的3*3表示第三卷积层中为3*3的矩阵；前一个4表示第三卷积层的输入数据，即第三卷积层输入4张图或者4维数据；后一个4表示第三卷积层的输出数据，第三卷积层输出4张图或者4维数据，即Float pram6[4]。通过上述实现过程，利用三个卷积层首先将输入的1张图处理成4张图，再对处理得到的4张图(即图6中从前到后编号依次为0、1、2、3的四张图)进行相移，得到满足预设条件的1中完整图，具体如图6所示。
具体的，所述超分算法参数包含的Float pram1[200]中的200通过5*5*1*8确定，Float pram2[8]中的8与5*5*1*8中的8相对应；Float pram3[288]中的288通过3*3*8*4确定，Float pram4[4]中括号内的4与3*3*8*4中的4相对应；Float pram5[144]中的144通过3*3*4*4确定，Float pram6[4]中的4与3*3*4*4中表示输出的后一个4相对应。
步骤102：将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
在本发明实施例中，基于上述步骤101获得所诉目标视频帧之后，将所述目标视频帧传输到客户端，解析码流，找到SEI扩展自定义字段，得到完整的超分算法参数。通过客户端基于超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧。该第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
在具体实施过程中，基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧，对应的实现过程包括：如图4所示，客户端得到超分算法参数后，对所述目标数据帧进行解码，得到YUV图像数据；基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据(即Y分量图像数据)进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据(即高分辨率的Y2分量图像数据)；对所述YUV图像数据中的色彩分量图像数据(即UV分量图像数据)进行拉伸处理，得到分辨率高于预设分辨率阈值的色彩分量图像数据(即UV2分量图像数据)；根据所述分辨率高于预设分辨率阈值的灰度分量图像数据和所述分辨率高于预设分辨率阈值的色彩分量图像数据，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
其中，YUV为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
在本发明实施例中，超分处理过程可采用卷积神经网络深度学习的方法，训练得到包含低分辨率图像到相应的高分辨率图像的映射关系的超分处理模型以进行超分处理，对于输入的低分辨率图像或视频，加载上超分处理模型对应的超分处理参数，通过如图5所示的四层网络结构层进行推理，得到高分辨率的图像或视频。具体的，所述基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据，对应的实现过程包括：利用预设的超分处理模型基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；其中，所述超分处理模型是基于样本图像数据以及所述样本图像数据对应的超分处理结果进行训练得到的卷积神经网络模型；所述样本图像数据为分辨率低于预设分辨率阈值的样本视频帧，所述超分处理结果为分辨率高于预设分辨率阈值的样本视频帧。其中，所述超分处理模型包括卷积层和相移层；所述卷积层用于在所述样本图像数据中提取表示特征，生成低分辨率图像到相应的高分辨率图像的映射关系；所述相移层用于根据所述映射关系和所述超分处理参数将至少一个低分辨率的灰度分量图像数据转换成相应的高分辨率的灰度分量图像数据。
具体的，在具体实施过程中，H图像的高度；W图像的宽度；C图像的通道数，对于彩色图像C＝3，对于单色或灰度图像C＝1；ILR低分辨率图像，维度HxWxC；IHR高分辨图像，维度rHxrWxC，ground truth；ISR超分辨图像，维度rHxrWxC；r上采样因子；比如2x超分，r＝2。超分处理的问题就是从ILR来求得ISR的处理过程。
如图5所示，卷积神经网络模型(Convolutional Neural Networks,CNN)的网络结构：包含4层，即L＝4；前面3个是卷积层最后一层是像素的相移层(PhaseShift)；卷积层的作用是在低分辨率图像上提取特征，生成低分辨率图像到高分辨率图像的映射关系；所述相移层的用于是根据所述映射关系进行低分辨率到高分辨率的转换，从多个不同相位的低分辨率图像转换为一个高分辨率图像，可以理解为从深度维度到空间维度的转换(depthto space)。比如，如图6所示，从4个不同相位的低分辨率图像转换为一个高分辨率图像。
例如卷积层对应的函数算法可为：
l∈[2，L-1]
其中，Wl是权重系数，维度klxklxnl-1xnl；bl是偏置；nl是L层的特征通道数；n0＝C；kl是l层滤波器的大小；
是激活函数(非线性函数)；最后一层像素的相移层；fL把ILR特征图像转映为超分图像ISR。
例如相移层对应的函数算法可为：
ISR＝fl(ILR)＝PhaseShift(WL*fl-1(ILR)+bL)；L>＝2
当C＝1,c＝0时，简化为：
其中，x,y表示的图像中像素在超分处理后的坐标；T表示的图6中左侧图像y分量的二维矩阵；mod(.)是算数取余，mod(y,r)表示的y/r取余的数；mode(x,r)表示的x/r取余的数；PhaseShift(.)表示相移，即坐标变换；r*mod(y,r)+mod(x,r)表示上述4张图(即图6中从前到后编号依次为0、1、2、3的四张图)的编号，比如当y为9、r＝2、x为8，则r*mod(y,r)+mod(x,r)为2，即对应图6中左侧编号为2的图。
所述的fL把ILR特征图像转映为超分图像ISR，也就是，将灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据。
如图6所示，当r＝2进行相移PhaseShift，4张特征图像(即灰度分量图像数据)，维度为H*W*4；转换成一张图像(即分辨率高于预设分辨率阈值的灰度分量图像数据)，维度为：2H*2W*1，从而实现水平方向和垂直方向为2倍的超分处理。
采用本公开实施例所述的视频数据处理方法，通过将超分处理参数封装到分辨率低于预设分辨率阈值的视频帧的自定义字段后，以该低分辨率视频帧传输到客户端进行超分处理得到高分辨率的视频，能够有效节省带宽，提高视频数据传输效率。
与上述提供的一种视频数据处理方法相对应，本公开还提供一种视频数据处理装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的视频数据处理装置的实施例仅是示意性的。请参考图7所示，其为本公开实施例提供的一种视频数据处理装置的结构示意图之一。本公开所述的视频数据处理装置，具体包括如下部分：
超分处理参数封装单元701，用于将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；
视频帧传输单元702，用于将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
进一步的，所述第一分辨率视频帧包括内部编码帧；
所述超分处理参数封装单元701，具体用于：将所述超分处理参数封装到内部编码帧的补充增强信息自定义字段中。
采用本公开实施例所述的视频数据处理装置，通过将超分处理参数封装到分辨率低于预设分辨率阈值的视频帧的自定义字段后，以该低分辨率视频帧传输到客户端进行超分处理得到高分辨率的视频，能够有效节省带宽，提高视频数据传输效率。
与上述提供的一种视频数据处理方法和装置相对应，本公开还提供另一种视频数据处理方法和装置。由于该方法和装置的实施例相似于上述方法和装置实施例，相关之处请参见上述方法和装置实施例部分的说明即可，下面描述的视频数据处理方法及装置的实施例。如图8所示，其为本公开实施例提供的视频数据处理方法的流程示意图之二，具体实现过程包括以下步骤：
步骤801：获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧。
步骤802：从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
在本发明实施例中，基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧，具体包括：对所述目标数据帧进行解码，得到YUV图像数据；基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；对所述YUV图像数据中的色彩分量图像数据进行拉伸处理，得到分辨率高于预设分辨率阈值的色彩分量图像数据；根据所述分辨率高于预设分辨率阈值的灰度分量图像数据和所述分辨率高于预设分辨率阈值的色彩分量图像数据，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。所述基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据，具体包括：利用预设的超分处理模型基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；其中，所述超分处理模型是基于样本图像数据以及所述样本图像数据对应的超分处理结果进行训练得到的卷积神经网络模型；所述样本图像数据为分辨率低于预设分辨率阈值的样本视频帧，所述超分处理结果为分辨率高于预设分辨率阈值的样本视频帧。
所述超分处理模型包括卷积层和相移层；所述卷积层用于在所述样本图像数据中提取表示特征，生成低分辨率图像到相应的高分辨率图像的映射关系；所述相移层用于根据所述映射关系和所述超分处理参数将至少一个低分辨率的灰度分量图像数据转换成相应的高分辨率的灰度分量图像数据。
请参考图9所示，其为本公开实施例提供的另一种视频数据处理装置的结构示意图之二。
本公开所述的视频数据处理装置，具体包括如下部分：
数据帧获取单元901，用于获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；
超分处理单元902，用于从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
进一步的，所述超分处理单元，具体用于：
对所述目标数据帧进行解码，得到YUV图像数据；
基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
对所述YUV图像数据中的色彩分量图像数据进行拉伸处理，得到分辨率高于预设分辨率阈值的色彩分量图像数据；
根据所述分辨率高于预设分辨率阈值的灰度分量图像数据和所述分辨率高于预设分辨率阈值的色彩分量图像数据，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
进一步的，所述基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据，具体包括：
利用预设的超分处理模型基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
其中，所述超分处理模型是基于样本图像数据以及所述样本图像数据对应的超分处理结果进行训练得到的卷积神经网络模型；所述样本图像数据为分辨率低于预设分辨率阈值的样本视频帧，所述超分处理结果为分辨率高于预设分辨率阈值的样本视频帧。
进一步的，所述超分处理模型包括卷积层和相移层；
所述卷积层用于在所述样本图像数据中提取表示特征，生成低分辨率图像到相应的高分辨率图像的映射关系；
所述相移层用于根据所述映射关系和所述超分处理参数将至少一个低分辨率的灰度分量图像数据转换成相应的高分辨率的灰度分量图像数据。
采用本公开实施例所述的视频数据处理方法及装置，通过获取服务端发送的包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧，从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧，能够有效节省带宽，提高视频数据传输效率，同时实现节省更多的服务器端资源。
与上述提供的视频数据处理方法相对应，本公开还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图10所示，其为本公开实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)1001、存储器(memory)1002和通信总线1003，其中，处理器1001，存储器1002通过通信总线1003完成相互间的通信，通过通信接口1004与外部进行通信。处理器1001可以调用存储器1002中的逻辑指令，以执行视频数据处理方法，该方法包括：将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。或者，获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
此外，上述的存储器1002中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：存储芯片、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本公开实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在处理器可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的视频数据处理方法。该方法包括：将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。或者，获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
又一方面，本公开实施例还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的视频数据处理方法。该方法包括：将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。或者，获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
Claims (10)
1.一种视频数据处理方法，其特征在于，用于服务器，包括：
将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；
将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
2.根据权利要求1所述的视频数据处理方法，其特征在于，所述第一分辨率视频帧包括内部编码帧；所述将超分处理参数封装到第一分辨率视频帧的自定义字段，具体为：将所述超分处理参数封装到内部编码帧的补充增强信息自定义字段中。
3.一种视频数据处理方法，其特征在于，用于客户端，包括：
获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；
从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
4.根据权利要求3所述的视频数据处理方法，其特征在于，基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧，具体包括：
对所述目标数据帧进行解码，得到YUV图像数据；
基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
对所述YUV图像数据中的色彩分量图像数据进行拉伸处理，得到分辨率高于预设分辨率阈值的色彩分量图像数据；
根据所述分辨率高于预设分辨率阈值的灰度分量图像数据和所述分辨率高于预设分辨率阈值的色彩分量图像数据，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
5.根据权利要求4所述的视频数据处理方法，其特征在于，所述基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据，具体包括：
利用预设的超分处理模型基于所述超分处理参数对所述YUV图像数据中的灰度分量图像数据进行超分处理，得到分辨率高于预设分辨率阈值的灰度分量图像数据；
其中，所述超分处理模型是基于样本图像数据以及所述样本图像数据对应的超分处理结果进行训练得到的卷积神经网络模型；所述样本图像数据为分辨率低于预设分辨率阈值的样本视频帧，所述超分处理结果为分辨率高于预设分辨率阈值的样本视频帧。
6.根据权利要求5所述的视频数据处理方法，其特征在于，所述超分处理模型包括卷积层和相移层；
所述卷积层用于在所述样本图像数据中提取表示特征，生成低分辨率图像到相应的高分辨率图像的映射关系；
所述相移层用于根据所述映射关系和所述超分处理参数将至少一个低分辨率的灰度分量图像数据转换成相应的高分辨率的灰度分量图像数据。
7.一种视频数据处理装置，其特征在于，包括：
超分处理参数封装单元，用于将超分处理参数封装到第一分辨率视频帧的自定义字段，得到待发送的目标视频帧；其中，所述第一分辨率视频帧为分辨率低于预设分辨率阈值的视频帧；
视频帧传输单元，用于将所述目标视频帧传输到客户端后基于所述超分处理参数对所述目标视频帧进行超分处理，以实现在所述客户端得到第二分辨率视频帧；所述第二分辨率视频帧为分辨率高于预设分辨率阈值的视频帧。
8.一种视频数据处理装置，其特征在于，包括：
数据帧获取单元，用于获取服务端发送的目标数据帧；所述目标数据帧为包含超分处理参数且分辨率低于预设分辨率阈值的第一分辨率视频帧；
超分处理单元，用于从所述目标数据帧中解析出相应的超分处理参数，并基于所述超分处理参数对所述目标数据帧进行超分处理，得到分辨率高于预设分辨率阈值的第二分辨率视频帧。
9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述视频数据处理方法的步骤。
10.一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任意一项所述视频数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210204230.4A CN114650449A (zh) | 2022-03-03 | 2022-03-03 | 一种视频数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210204230.4A CN114650449A (zh) | 2022-03-03 | 2022-03-03 | 一种视频数据处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114650449A true CN114650449A (zh) | 2022-06-21 |
Family
ID=81993405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210204230.4A Pending CN114650449A (zh) | 2022-03-03 | 2022-03-03 | 一种视频数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114650449A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、系统、计算机设备及计算机可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102823242A (zh) * | 2010-01-22 | 2012-12-12 | 汤姆森特许公司 | 基于取样超分辨率视频编码和解码的方法和装置 |
| CN104919804A (zh) * | 2012-10-01 | 2015-09-16 | 微软技术许可有限责任公司 | 帧封装和解封较高分辨率色度采样格式 |
| CN105704545A (zh) * | 2016-01-20 | 2016-06-22 | 中国科学院信息工程研究所 | 一种基于h.264视频流的密钥同步信息传输方法 |
| CN108028935A (zh) * | 2015-09-21 | 2018-05-11 | 高通股份有限公司 | 用于高动态范围及广色域视频译码的补充增强信息(sei)消息 |
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN110958469A (zh) * | 2019-12-13 | 2020-04-03 | 联想(北京)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111429357A (zh) * | 2020-03-31 | 2020-07-17 | 广州市百果园信息技术有限公司 | 训练数据确定方法、视频处理方法、装置、设备及介质 |
| CN111784570A (zh) * | 2019-04-04 | 2020-10-16 | Tcl集团股份有限公司 | 一种视频图像超分辨率重建方法及设备 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN113115067A (zh) * | 2021-04-19 | 2021-07-13 | 脸萌有限公司 | 直播系统、视频处理方法及相关装置 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
-
2022
- 2022-03-03 CN CN202210204230.4A patent/CN114650449A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102823242A (zh) * | 2010-01-22 | 2012-12-12 | 汤姆森特许公司 | 基于取样超分辨率视频编码和解码的方法和装置 |
| CN104919804A (zh) * | 2012-10-01 | 2015-09-16 | 微软技术许可有限责任公司 | 帧封装和解封较高分辨率色度采样格式 |
| CN108028935A (zh) * | 2015-09-21 | 2018-05-11 | 高通股份有限公司 | 用于高动态范围及广色域视频译码的补充增强信息(sei)消息 |
| CN105704545A (zh) * | 2016-01-20 | 2016-06-22 | 中国科学院信息工程研究所 | 一种基于h.264视频流的密钥同步信息传输方法 |
| CN111784570A (zh) * | 2019-04-04 | 2020-10-16 | Tcl集团股份有限公司 | 一种视频图像超分辨率重建方法及设备 |
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN110958469A (zh) * | 2019-12-13 | 2020-04-03 | 联想(北京)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111429357A (zh) * | 2020-03-31 | 2020-07-17 | 广州市百果园信息技术有限公司 | 训练数据确定方法、视频处理方法、装置、设备及介质 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN113115067A (zh) * | 2021-04-19 | 2021-07-13 | 脸萌有限公司 | 直播系统、视频处理方法及相关装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、系统、计算机设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354785B2 (en) | Image processing method and device, storage medium and electronic device | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| TWI241127B (en) | Image-capturing device and method for removing strangers | |
| Nguyen et al. | Raw image reconstruction using a self-contained srgb-jpeg image with only 64 kb overhead | |
| CN112991203A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| WO2023005140A1 (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
| CN112991171B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112802139A (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
| CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
| WO2023061116A1 (zh) | 图像处理网络的训练方法、装置、计算机设备和存储介质 | |
| KR101437626B1 (ko) | 화상 시퀀스에서의 관심 영역 기반 아티팩트 저감 시스템 및 방법 | |
| CN113658044A (zh) | 提高图像分辨率的方法、系统、装置及存储介质 | |
| CN111510739A (zh) | 一种视频传输方法及装置 | |
| CN115552905A (zh) | 用于图像和视频编码的基于全局跳过连接的cnn滤波器 | |
| CN114650449A (zh) | 一种视频数据处理方法和装置 | |
| CN113822803A (zh) | 图像超分处理方法、装置、设备及计算机可读存储介质 | |
| CN117036581A (zh) | 基于二维神经渲染的体渲染方法、系统、设备及介质 | |
| CN115311145A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN114359100A (zh) | 图像色彩增强方法、装置、存储介质与电子设备 | |
| EP4369300A1 (en) | Encoding and decoding methods and apparatus | |
| CN115526775B (zh) | 图像数据处理方法及装置 | |
| CN112771578B (zh) | 使用细分缩放和深度上缩放的图像生成 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |