CN112468830A - 视频图像处理方法、装置及电子设备 - Google Patents

视频图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112468830A
CN112468830A CN201910849567.9A CN201910849567A CN112468830A CN 112468830 A CN112468830 A CN 112468830A CN 201910849567 A CN201910849567 A CN 201910849567A CN 112468830 A CN112468830 A CN 112468830A
Authority
CN
China
Prior art keywords
video image
image
original
sampling
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910849567.9A
Other languages
English (en)
Inventor
孔祥振
王立波
彭开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910849567.9A priority Critical patent/CN112468830A/zh
Publication of CN112468830A publication Critical patent/CN112468830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种视频图像处理方法、装置及电子设备，其中方法包括：获取原始视频图像；按照指定的采样频率，对原始视频图像进行采样得到采样视频图像；通过与采样频率对应的特征提取策略，提取原始视频图像的原始图像特征信息；将采样视频图像与原始图像特征信息发送到视频解码器端。本发明实施例通过提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，确保在线视频播放的流畅性。在解码器一侧，采用机器学习模型对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像，实现了兼顾在线视频播放的流畅度和视频图像清晰度。

Description

视频图像处理方法、装置及电子设备
技术领域
本申请涉及一种视频图像处理方法、装置及电子设备，属于计算机技术领域。
背景技术
在视频直播场景中，视频的流畅度和清晰度是最重要的客户体验，通过图像超级分辨率技术可以将低分辨率图像转化为高分辨率图像，传统的图像超级分辨率使用像素间插值来完成，虽然视频播放的流畅度尚可，但图像清晰度的处理效果较差。
发明内容
本发明实施例提供一种视频图像处理方法、装置及电子设备，以提升在线视频播放的流畅度和视频图像清晰度。
为了实现上述目的，本发明实施例提供了一种视频图像处理方法，包括：
获取原始视频图像；
按照指定的采样频率，对原始视频图像进行采样得到采样视频图像；
通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息；
将所述采样视频图像与所述原始图像特征信息发送到视频解码器端。
本发明实施例还提供了一种视频图像处理方法，包括：
接收视频编码器端发送的采样视频图像及原始图像特征信息；
使用与所述采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像；
播放所述重建视频图像。
本发明实施例还提供了一种视频图像处理装置，包括：
原始图像获取模块：用于获取原始视频图像；
采样模块：用于按照指定的采样频率，对原始视频图像进行采样得到采样视频图像；
特征信息提取模块：用于通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息；
发送模块：用于将所述采样视频图像与所述原始图像特征信息发送到视频解码器端。
本发明实施例还提供了一种视频图像处理装置，包括：
接收模块：用于接收视频编码器端发送的采样视频图像及原始图像特征信息；
重建模块：用于使用与所述采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像；
播放模块：用于播放所述重建视频图像。
本发明实施例还提供了一种视频图像处理方法，包括：
获取原始视频图像；
按照预设的采样频率，对原始视频图像进行采样得到采样视频图像；
按照预设的特征提取策略，提取所述原始视频图像的原始图像特征信息；
将所述采样视频图像与所述原始图像特征信息发送到视频解码器端。
本发明实施例还提供了一种视频图像处理方法，包括：
接收视频编码器端发送的采样视频图像及原始图像特征信息；
按照预设的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像；
播放所述重建视频图像。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行上述的视频图像处理方法。
本发明实施例通过提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，确保在线视频播放的流畅性。在解码器一侧，对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像，实现了兼顾在线视频播放的流畅度和视频图像清晰度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例的视频图像处理方法的应用场景示意图；
图2为本发明实施例的视频图像处理方法的流程示意图之一；
图3为本发明实施例的视频图像处理方法的流程示意图之二；
图4为本发明实施例的视频图像处理装置的结构示意图之一；
图5为本发明实施例的视频图像处理装置的结构示意图之二；
图6为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在视频直播场景中，视频的流畅度和清晰度是最重要的客户体验，通过图像超级分辨率技术可以将低分辨率图像转化为高分辨率图像，传统的图像超级分辨率使用像素间插值来完成，虽然视频播放的流畅度尚可，但图像清晰度的处理效果较差。
本发明实施例通过在编码器端提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，并且在解码器一侧，采用机器学习模型对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像。
具体地，如图1所示，其为本发明实施例的视频图像处理方法的应用场景示意图，在本发明中，高清视频的信息压缩、传输和重建过程是通过编码器端和解码器端的配合来完成，其中，编码器一侧可以设置于高清视频的采集端或者存储有大量高清视频的视频服务器平台中，通过对采集到的高分辨率的视频图像进行采样得到低分辨率的采样视频图像，例如图中所示，像素数为720P(Pixel，像素)的原始视频图像可以通过下采样的方式得到像素数为360P的低分辨率采样视频图像，由此，采样得到的采样视频图像的数据量要小于原始的高清视频图像。另外，原始视频图像通过输入用于特征提取的卷积神经网络模型(图中用Meta CNN来表示)，可以提取出记载有原始视频图像有效信息的原始图像特征信息，该原始图像特征信息中包含了用于将低分辨率视频图像还原为高分辨率视频图像的关键特征信息，其中可以包括原始图像的整体明暗信息、场景信息及纹理信息，具体地，该原始图像特征信息可以为两种形式：像素特征矩阵或权重参数向量。并且，两种形式对应的原始图像特征信息在解码器端进行的图像重建还原过程中起到不同作用，其中，当原始图像特征信息为像素特征矩阵的形式时，图像的还原是通过解码器端的超分辨率卷积神经网络模型(图中用SR CNN表示)将像素特征矩阵与采样视频图像进行合成生成高分辨率的图像。当原始图像特征信息为权重参数向量时，该权重参数向量中的元素作为解码器端的超分辨率卷积神经网络模型的各层的权重参数，来对采样视频图像进行重建还原，形成高分辨率的图像。
上述介绍了本发明在视频编码器端的处理，这里需要说明的是，由于低分辨率的采样视频图像和原始图像特征信息对于原始的高清视频图像而言，其数据量非常小，从而，视频图像数据的传输占用带宽较小，传输速度会比原始视频图像的传输速度快，因此，在后续的视频直播中，能够直观地体验到在线视频播放的流畅性。
进一步地，将采样视频图像及原始图像特征信息通过网络发送到视频解码器端进行解码。解码器一侧可以设置于视频的播放端或者视频服务器平台中。在视频解码器端，接收到的采样视频图像及原始图像特征信息可以通过超分辨率卷积神经网络模型进行解码重建，基于原始图像特征信息的两种存在形式，视频图像的解码重建过程可以通过两种方式进行。
一种方式为：将采样视频图像与原始图像特征信息进行合成来生成分辨率高于采样视频图像的重建视频图像，在这种方式情况下，原始图像特征信息为像素特征矩阵的形式。其中，像素特征矩阵实际上相当于以另一幅低分辨率的视频图像的形式存在(并非真实的视频图像)，在解码器端，可以直接与采样获得的低分辨率图像进行合成处理。需要说明的是，由于像素特征矩阵也是通过特征提取而获得的，其数据量也非常小。也就是说，采样获得的低分辨率图像和像素特征矩阵加起来的数据量，仍然会远小于原始高清视频图像。
另一种方式为：以原始图像特征信息作为超分辨率卷积神经网络模型的参数，来标识该超分重建学习模型中各层的权重，从而对采样视频图像进行处理，输出分辨率高于采样视频图像的重建视频图像。其中，这种情况下，原始图像特征信息为权重参数向量的形式。
经过上述的基于采样视频图像及记录有原始视频图像关键信息的原始图像特征信息的图像重建之后，得到了分辨率为720P的高清视频图像，这里需要说明的是，上述的编码器端和解码器端的两个机器学习模型可以作为整体进行训练，通过大量的训练数据，训练出用来表示低分辨率图像和高分辨率图像之间的关系的模型。图像进行重建时，将低分辨率图像输入到模型中便可以得到一个高分辨率图像。从而，本发明实施例中通过学习模型重建后的高清视频图像，相比于现有技术中基于低分辨率图像中的采样点来预测高分辨图像的插值的方式所得到的视频图像，其依据的信息比插值的方式多，从而得到的高清视频图像也是原始视频图像的更好的还原。
另外，本发明的方案还可以用于视频的采集存储等，例如，在视频采集端，通过本发明的编码器端的方法(通过采样和卷积神经网络学习模型的处理)对视频图像进行采集，然后将数据量较小的低分辨率的图像上传至视频服务器平台，视频服务器平台可以将其重建还原为高清视频图像后进行存储，也可以直接以低分辨率图像+原始图像特征信息的方式进行存储。需要播放时，只要在播放的客户端使用本发明中的解码器端的方法(通过超分辨率卷积神经网络模型)进行处理即可还原视频图像。
本发明实施例中低分辨的采样视频图像和原始图像特征信息相比于原始的高清视频图像而言，其数据量较小，因此，视频数据的传输占用带宽较小，对于视频直播场景中，能够确保在线视频播放的流畅性。而另一方面，原始图像特征信息中包含了原始高清视频图像中的关键信息，在解码器一侧，采用机器学习模型对低分辨率图像和原始图像特征信息对高清视频图像进行重建，相比像素间插值的还原方式，能够更好地保留原始高清视频图像中的特征信息，从而更好地还原出原始的高清视频图像，减少高清视频压缩传输带来的损失。因此，本发明的技术方案兼顾了在线视频播放的流畅度和视频图像清晰度。
下面通过一些具体实施例来进一步说明本发明的技术方案。
实施例一
如图2所示，其为本发明实施例的视频图像处理方法的流程示意图之一，该方法可以运行于视频图像编码器端一侧，该编码器端可以运行于高清视频的采集端或者存储有大量高清视频的视频服务器平台，该方法包括如下步骤：
S101:获取原始视频图像。
具体地，可以通过视频图像采集设备采集原始视频图像，例如，可以通过摄像头及摄像机等设备进行采集。
S102:按照指定的采样频率，对原始视频图像进行采样得到采样视频图像。采样视频图像分辨率低于原始视频图像，因此，数据量会相对较小，便于网络传输。
具体地，可以对原始视频图像进行下采样得到视频图像分辨率低于原始视频图像的采样视频图像，因此，该采样视频图像的数据量非常小。
S103:通过与采样频率对应的特征提取策略，提取原始视频图像的原始图像特征信息。具体地，可以通过用于图像特征编码的第一机器学习模型，提取原始视频图像的原始图像特征信息。其中，第一机器学习模型通过大量的样本进行训练，从而能过学习到与不同的采样频率对应的特征提取策略。
在模型训练方面，可以使用以采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高视频解码器端所生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对第一机器学习模型进行训练。由于在不同的采样频率下而获得采样视频图像是不同，为了进行视频图像重建而需要的原始图像特征信息也会有所不同，因此，在发明实施例中，提出了可以分别针对多个采样频率来训练出不同的特征提取策略，从而能够更好的还原出原始视频图像。
需要说明的是，上述的第一机器学习模型也可以和后面提到的第二机器学习模型作为一个整体进行训练，相应地，提取的原始图像特征信息将成为两个模型之间的中间参数。进一步地，该第一机器学习模型可以为卷积神经网络模型(可以对应的上述应用场景中编码器端的Meta CNN模型)。将原始视频图像输入第一机器学习模型，提取原始视频图像的明暗信息和/或场景信息和/或纹理信息作为原始图像特征信息。
该原始图像特征信息中包含了用于将低分辨率视频图像还原为高分辨率视频图像的关键特征信息，其中可以包括原始图像的整体明暗信息、场景信息及纹理信息，具体地，原始图像特征信息可以为两种形式：像素特征矩阵或权重参数向量。并且，两种形式对应的原始图像特征信息在解码器端进行的图像还原过程中起到不同作用，其中，当原始图像特征信息为像素特征矩阵的形式时，图像的还原是通过机器学习模型将像素特征矩阵与采样视频图像进行合成生成高分辨率的图像。当原始图像特征信息为权重参数向量时，权重参数向量中的各个权重参数作为解码器端的用于图像重建的第二机器学习模型的各层的权重参数。
需要说明的是，在上述步骤S102中，特征提取策略也可以与采样视频图像的采样频率不具有对应关系，即可以按照预设的特征提取策略，提取所述原始视频图像的原始图像特征信息。该特征提取策略可以相对于采样视频图像的采样频率独立的设定或者通过机器学习模型进行训练，而不受采样视频图像的采样频率而限定。
S104:将采样视频图像与原始图像特征信息发送到视频解码器端。
具体地，低分辨率的采样视频图像和原始图像特征信息比于原始的高清视频图像而言，其数据量非常小，因此，视频数据的传输占用带宽较小，从而，传输速度会比原始视频图像的传输速度快，因此，在后续的视频直播中，能够直观地体验到在线视频播放的流畅性。
本发明实施例通过提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，确保在线视频播放的流畅性。在解码器一侧，采用机器学习模型对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像，实现了兼顾在线视频播放的流畅度和视频图像清晰度。
实施例二
上述实施例为本发明的视频图像处理方法的编码器端一侧的处理，以下实施例将对解码器端的处理进行描述，如图3所示，其为本发明实施例的视频图像处理方法的流程示意图之二，该方法可以运行于解码器端，该解码器端可以设置于视频播放端或者视频服务器平台并与上述解码器端进行通信连接从而接收编码器端发送的图像信息以进行本发明实施例的视频图像处理。其中，该方法包括如下步骤：
S201:接收视频编码器端发送的采样视频图像及原始图像特征信息
S202:使用与采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于采样视频图像的重建视频图像。
具体地，可以将采样视频图像及原始图像特征信息输入用于图像重建的第二机器学习模型，通过第二机器学习模型，生成分辨率高于采样视频图像的重建视频图像。其中，第二机器学习模型可以通过大量的样本进行训练，从而能过学习到与不同的采样频率对应的图像重建策略。
在模型训练方面，可以使用以采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对第二机器学习模型进行训练。
由于在不同的采样频率下而获得采样视频图像是不同，相应地，提取的原始图像特征信息也会有所不同，因此，在发明实施例中，提出了可以分别针对多个采样频率来训练出不同的图像重建策略，从而能够更好的还原出原始视频图像。
需要说明的是，上述的第二机器学习模型也可以和前面提到的第一机器学习模型作为一个整体进行训练，相应地，提取的原始图像特征信息将成为两个模型之间的中间参数。
具体地，这里的第二机器学习模型可以为超分辨率卷积神经网络模型(对应的上述应用场景中解码器端的SR CNN模型)。
具体地，基于原始图像特征信息的两种存在形式，视频图像的解码重建过程可以通过两种方式进行。
一种方式可以为：当原始图像特征信息为像素特征矩阵的形式时，视频图像的解码重建可以通过将采样视频图像与原始图像特征信息进行合成来生成分辨率高于采样视频图像的重建视频图像。
另一种方式可以为：当原始图像特征信息为权重参数向量的形式时，视频图像的解码重建可以以原始图像特征信息作为超分辨率卷积神经网络模型的参数，来标识该超分重建学习模型中各层的权重，从而对采样图像进行处理，输出分辨率高于采样视频图像的重建视频图像。
需要说明的是，在上述步骤S202中，图像重建策略也可以与采样视频图像的分辨率不具有对应关系，即可以按照预设的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于采样视频图像的重建视频图像。该图像重建策略可以相对于采样视频图像的分辨率独立的设定或者通过机器学习模型进行训练，而不受采样视频图像的分辨率或者生成采样视频图像的采样频率而限定。
S203:播放重建视频图像。
需要说明的是，上述两个实施例中的第一机器学习模型和第二机器学习模型可以作为整体进行训练，通过大量的训练数据，训练出用来表示低分辨率图像和高分辨率图像之间的关系的模型。图像进行重建时，将低分辨率图像输入到模型中便可以得到一个高分辨率图像。从而，本发明实施例中通过学习模型重建后的高清视频图像，相比于现有技术中基于低分辨率图像中的采样点来预测高分辨图像的插值的方式所得到的视频图像，其依据的信息比插值的方式多，从而得到的高清视频图像也是原始视频图像的更好的还原。
本发明实施例通过提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，确保在线视频播放的流畅性。在解码器一侧，采用机器学习模型对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像，实现了兼顾在线视频播放的流畅度和视频图像清晰度。
实施例三
如图4所示，其为本发明实施例的视频图像处理装置的结构示意图之一，该装置设置于视频图像编码器端一侧，该编码器端可以设置于视频图像采集端或视频服务平台，其中，该装置包括：
原始图像获取模块31：用于获取原始视频图像。
具体地，可以通过视频图像采集设备采集原始视频图像，例如，可以通过摄像头及摄像机等设备进行采集。
采样模块32：用于按照指定的采样频率，对原始视频图像进行采样得到采样视频图像。采样的视频图像分辨率将会低于原始视频图像。
具体地，可以对原始视频图像进行下采样得到视频图像分辨率低于原始视频图像的采样视频图像，因此，该采样视频图像的数据量非常小。
特征信息提取模块33：用于通过与采样频率对应的特征提取策略，提取原始视频图像的原始图像特征信息。具体地，可以通过用于图像特征编码的第一机器学习模型，提取原始视频图像的原始图像特征信息。其中，可以使用以采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高视频解码器端所生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对第一机器学习模型进行训练。
具体地，该第一机器学习模型可以为卷积神经网络模型。将原始视频图像输入第一机器学习模型，提取原始视频图像的明暗信息和/或场景信息和/或纹理信息作为原始图像特征信息。
该原始图像特征信息中包含了用于将低分辨率视频图像还原为高分辨率视频图像的关键特征信息，其中可以包括原始图像的整体明暗信息、场景信息及纹理信息，具体地，原始图像特征信息可以为两种形式：像素特征矩阵或权重参数向量。并且，两种形式对应的原始图像特征信息在解码器端进行的图像还原过程中起到不同作用，其中，当原始图像特征信息为像素特征矩阵的形式时，图像的还原是通过机器学习模型将像素特征矩阵与采样视频图像进行合成生成高分辨率的图像。当原始图像特征信息为权重参数向量时，权重参数向量中的各个权重参数作为解码器端的用于图像重建的第二机器学习模型的各层的权重参数。
发送模块34：用于将采样视频图像与原始图像特征信息发送到视频解码器端。
具体地，低分辨率的采样视频图像和原始图像特征信息比于原始的高清视频图像而言，其数据量非常小，因此，视频数据的传输占用带宽较小，从而，传输速度会比原始视频图像的传输速度快，因此，在后续的视频直播中，能够直观地体验到在线视频播放的流畅性。
本发明实施例通过提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，确保在线视频播放的流畅性。在解码器一侧，采用机器学习模型对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像，实现了兼顾在线视频播放的流畅度和视频图像清晰度。
实施例四
如图5所示，其为本发明实施例的视频图像处理装置的结构示意图之二，该装置设置于视频图像解码器端一侧，该解码器端可以设置于视频图像播放端或视频服务平台，其中，该装置包括：
接收模块41：用于接收视频编码器端发送的采样视频图像及原始图像特征信息。
重建模块42：用于使用与采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于采样视频图像的重建视频图像。具体地，可以将采样视频图像及原始图像特征信息输入用于图像重建的第二机器学习模型，通过第二机器学习模型，生成分辨率高于采样视频图像的重建视频图像。其中，可以使用以采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对第二机器学习模型进行训练。
这里的第二机器学习模型可以为超分辨率卷积神经网络模型。
具体地，基于原始图像特征信息的两种存在形式，视频图像的解码重建过程可以通过两种方式进行。
一种方式可以为：当原始图像特征信息为像素特征矩阵的形式时，视频图像的解码重建可以通过将采样视频图像与原始图像特征信息进行合成来生成分辨率高于采样视频图像的重建视频图像。
另一种方式可以为：当原始图像特征信息为权重参数向量的形式时，视频图像的解码重建可以以原始图像特征信息作为超分辨率卷积神经网络模型的参数，来标识该超分重建学习模型中各层的权重，从而对采样图像进行处理，输出分辨率高于采样视频图像的重建视频图像。
播放模块43：用于播放重建视频图像。
本发明实施例通过提取数据量较小的低分辨采样视频图像和原始图像特征信息进行传输，确保在线视频播放的流畅性。在解码器一侧，采用机器学习模型对低分辨率采样视频图像和包含原始图像关键信息的原始图像特征信息进行重建，从而更好地还原出原始的高清视频图像，实现了兼顾在线视频播放的流畅度和视频图像清晰度。
实施例五
本实施例提出的视频图像处理方法可以应用于主播客户端与用户客户端之间进行视频直播场景的处理，该方法可以包括：
S301：按照指定的采样频率，对主播客户端拍摄的原始视频图像进行采样得到采样视频图像；
S302：通过与采样频率对应的特征提取策略，提取原始视频图像的原始图像特征信息，并将采样视频图像与原始图像特征信息发送到用户客户端；
S303：用户客户端，使用与采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于采样视频图像的重建视频图像，并进行播放。
上述的特征提取策略和图像重建策略均可以通过机器学习模型来实现，具体可以如前面实施例所提到的第一机器学习模型和第二机器学习模型，相应的模型训练方法也在前述实施例中进行了介绍。
作为一种实际的应用方式，对于采样频率的确定可以根据直播时的网络传输状况而定，如果网络传输状况良好，则可以采用较高的采样频率，从而尽可能多的保留原始图像的信息，以便于原始视频图像的还原，如果网络传输状况较差，则可以采用较低的采样频率，从而减少网络中的数据传输量，将会更多地依赖本发明实施例提出的机器学习模型来进行原始视频的还原。
此外，对于针对原始视频图像的采样频率也可以由用户来设定，这里的用户可以是作为主播的用户也可以是作为观众的用户。
另外，对于本发明实施例提供的处理方法，可以应用于涉及视频直播的服务平台或者用户客户中，用户可以根据自己的实际情况，例如是否付费以及费用支付的多少，来灵活选择是否使用该服务，如果用户选择关闭该服务，则用户客户端上将会直接显示采用后的低分辨率数据，而不进行视频重建的处理。
实施例六
前面实施例描述了本发明实施例的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图6所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。
存储器110，用于存储程序。
除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的视频图像处理方法的操作步骤。
此外，处理器120也可以包括前述实施例所描述的各种模块以执行视频图像处理，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。
通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。
显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (23)

1.一种视频图像处理方法，包括：
获取原始视频图像；
按照指定的采样频率，对原始视频图像进行采样得到采样视频图像；
通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息；
将所述采样视频图像与所述原始图像特征信息发送到视频解码器端。
2.根据权利要求1所述的方法，其中，所述通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息包括：
通过用于图像特征编码的第一机器学习模型，来提取所述原始视频图像的原始图像特征信息，
其中，使用以所述采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高所述视频解码器端所生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对所述第一机器学习模型进行训练。
3.根据权利要求2所述的方法，其中，所述原始图像特征信息为像素特征矩阵或权重参数向量，所述权重参数向量中的各个权重参数作为解码器端的用于图像重建的第二机器学习模型的各层的权重参数。
4.根据权利要求1所述的方法，其中，提取所述原始视频图像的原始图像特征信息包括：提取所述原始视频图像的明暗信息和/或场景信息和/或纹理信息作为所述原始图像特征信息。
5.根据权利要求1所述的方法，其中，所述对原始视频图像进行采样得到采样视频图像包括：
对所述原始视频图像进行下采样得到所述采样视频图像。
6.一种视频图像处理方法，包括：
接收视频编码器端发送的采样视频图像及原始图像特征信息；
使用与所述采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像；
播放所述重建视频图像。
7.根据权利要求6所述的方法，其中，使用与所述采样视频图像的采样频率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像包括：
将所述采样视频图像及所述原始图像特征信息输入用于图像重建的第二机器学习模型，通过所述第二机器学习模型，生成分辨率高于所述采样视频图像的重建视频图像，
其中，使用以所述采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对所述第二机器学习模型进行训练。
8.根据权利要求7所述的方法，其中，所述所述原始图像特征信息为像素特征矩阵，
所述将所述采样视频图像及所述原始图像特征信息输入用于图像重建的第二机器学习模型，通过所述第二机器学习模型，生成分辨率高于所述采样视频图像的重建视频图像包括：
通过所述第二机器学习模型，将所述采样视频图像与所述像素特征矩阵进行合成处理，输出所述重建视频图像。
9.根据权利要求7所述的方法，其中，所述原始图像特征信息为权重参数向量，所述将所述采样视频图像及所述原始图像特征信息输入用于图像重建的第二机器学习模型，通过所述第二机器学习模型，生成分辨率高于所述采样视频图像的重建视频图像包括：
将所述采样视频图像输入所述第二机器学习模型，并将所述权重参数向量中的权重参数作为所述第二机器学习模型各层的权重参数，通过所述第二机器学习模型，生成所述重建视频图像。
10.一种视频图像处理装置，包括：
原始图像获取模块：用于获取原始视频图像；
采样模块：用于按照指定的采样频率，对原始视频图像进行采样得到采样视频图像；
特征信息提取模块：用于通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息；
发送模块：用于将所述采样视频图像与所述原始图像特征信息发送到视频解码器端。
11.根据权利要求10所述的装置，其中，其中，所述通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息包括：
通过用于图像特征编码的第一机器学习模型，来提取所述原始视频图像的原始图像特征信息，
其中，使用以所述采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高所述视频解码器端所生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对所述第一机器学习模型进行训练。
12.根据权利要求11所述的装置，其中，所述原始图像特征信息为像素特征矩阵或权重参数向量，所述权重参数向量中的各个权重参数作为解码器端的用于图像重建的第二机器学习模型的各层的权重参数。
13.根据权利要求10所述的装置，其中，所述提取所述原始视频图像的原始图像特征信息包括：将提取所述原始视频图像的明暗信息和/或场景信息和/或纹理信息作为所述原始图像特征信息。
14.根据权利要求10所述的装置，其中，所述对原始视频图像进行采样得到采样视频图像包括：
对所述原始视频图像进行下采样得到所述采样视频图像。
15.一种视频图像处理装置，包括：
接收模块：用于接收视频编码器端发送的采样视频图像及原始图像特征信息；
重建模块：用于使用与所述采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像；播放模块：用于播放所述重建视频图像。
16.根据权利要求15所述的装置，其中，使用与所述采样视频图像的采样频率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像包括：
将所述采样视频图像及所述原始图像特征信息输入用于图像重建的第二机器学习模型，通过所述第二机器学习模型，生成分辨率高于所述采样视频图像的重建视频图像，
其中，使用以所述采样频率采样获得的采样视频图像样本和从原始图像样本中提取的原始图像特征信息样本作为训练数据，以提高生成的重建视频图像与原始视频图像样本的还原度作为训练目标，对所述第二机器学习模型进行训练。
17.根据权利要求16所述的装置，其中，所述为像素特征矩阵，
所述将所述采样视频图像及所述原始图像特征信息输入用于图像重建的第二机器学习模型，通过所述第二机器学习模型，生成分辨率高于所述采样视频图像的重建视频图像包括：
通过所述第二机器学习模型，将所述采样视频图像与所述像素特征矩阵进行合成处理，输出所述重建视频图像。
18.根据权利要求16所述的装置，其中，所述原始图像特征信息为权重参数向量，所述将所述采样视频图像及所述原始图像特征信息输入用于图像重建的第二机器学习模型，通过所述第二机器学习模型，生成分辨率高于所述采样视频图像的重建视频图像包括：
将所述采样视频图像输入所述第二机器学习模型，并将所述权重参数向量中的权重参数作为所述第二机器学习模型各层的权重参数，通过所述第二机器学习模型，生成所述重建视频图像。
19.一种视频图像处理方法，包括：
按照指定的采样频率，对主播客户端拍摄的原始视频图像进行采样得到采样视频图像；
通过与所述采样频率对应的特征提取策略，提取所述原始视频图像的原始图像特征信息，并将所述采样视频图像与所述原始图像特征信息发送到用户客户端；
所述用户客户端，使用与所述采样视频图像的分辨率对应的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像，并进行播放。
20.根据权利要求19所述的方法，其中，还包括：
根据网络传输状况或者响应于用户的选定，确定所述采样频率。
21.一种视频图像处理方法，包括：
获取原始视频图像；
按照预设的采样频率，对原始视频图像进行采样得到采样视频图像；
按照预设的特征提取策略，提取所述原始视频图像的原始图像特征信息；
将所述采样视频图像与所述原始图像特征信息发送到视频解码器端。
22.一种视频图像处理方法，包括：
接收视频编码器端发送的采样视频图像及原始图像特征信息；
按照预设的图像重建策略，根据采样视频图像及原始图像特征信息，生成分辨率高于所述采样视频图像的重建视频图像；
播放所述重建视频图像。
23.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1至9、19至22中任一所述的视频图像处理方法。
CN201910849567.9A 2019-09-09 2019-09-09 视频图像处理方法、装置及电子设备 Pending CN112468830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849567.9A CN112468830A (zh) 2019-09-09 2019-09-09 视频图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849567.9A CN112468830A (zh) 2019-09-09 2019-09-09 视频图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112468830A true CN112468830A (zh) 2021-03-09

Family

ID=74807465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849567.9A Pending CN112468830A (zh) 2019-09-09 2019-09-09 视频图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112468830A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515193A (zh) * 2021-05-17 2021-10-19 聚好看科技股份有限公司 一种模型数据传输方法及装置
CN113613039A (zh) * 2021-08-09 2021-11-05 咪咕文化科技有限公司 视频传输方法、系统、计算设备及计算机存储介质
WO2023197805A1 (zh) * 2022-04-11 2023-10-19 北京字节跳动网络技术有限公司 图像处理方法、装置、存储介质及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959705A (zh) * 2016-05-10 2016-09-21 武汉大学 一种面向可穿戴设备的视频直播方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN108629743A (zh) * 2018-04-04 2018-10-09 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108737823A (zh) * 2018-04-04 2018-11-02 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置
CN108833918A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108900894A (zh) * 2018-08-16 2018-11-27 广州视源电子科技股份有限公司 视频数据的处理方法、装置和系统
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110099280A (zh) * 2019-05-24 2019-08-06 浙江大学 一种无线自组织网络带宽受限下的视频业务质量增强方法
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110136057A (zh) * 2018-02-08 2019-08-16 杭州海康威视数字技术股份有限公司 一种图像超分辨率重建方法、装置及电子设备
CN110166779A (zh) * 2019-05-23 2019-08-23 西安电子科技大学 基于超分辨率重构的视频压缩方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959705A (zh) * 2016-05-10 2016-09-21 武汉大学 一种面向可穿戴设备的视频直播方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN110136057A (zh) * 2018-02-08 2019-08-16 杭州海康威视数字技术股份有限公司 一种图像超分辨率重建方法、装置及电子设备
CN108629743A (zh) * 2018-04-04 2018-10-09 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108737823A (zh) * 2018-04-04 2018-11-02 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置
CN108833918A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108900894A (zh) * 2018-08-16 2018-11-27 广州视源电子科技股份有限公司 视频数据的处理方法、装置和系统
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110166779A (zh) * 2019-05-23 2019-08-23 西安电子科技大学 基于超分辨率重构的视频压缩方法
CN110099280A (zh) * 2019-05-24 2019-08-06 浙江大学 一种无线自组织网络带宽受限下的视频业务质量增强方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515193A (zh) * 2021-05-17 2021-10-19 聚好看科技股份有限公司 一种模型数据传输方法及装置
CN113515193B (zh) * 2021-05-17 2023-10-27 聚好看科技股份有限公司 一种模型数据传输方法及装置
CN113613039A (zh) * 2021-08-09 2021-11-05 咪咕文化科技有限公司 视频传输方法、系统、计算设备及计算机存储介质
WO2023197805A1 (zh) * 2022-04-11 2023-10-19 北京字节跳动网络技术有限公司 图像处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111580765B (zh) 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备
US10237621B2 (en) Direct capture and sharing of screenshots from video programming
EP3633995A1 (en) Method and device for chroma prediction
EP2681908B1 (en) Facilitating placeshifting using matrix code
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
CN112468830A (zh) 视频图像处理方法、装置及电子设备
US9600853B2 (en) Method, terminal and system for image processing
US20120169883A1 (en) Multi-stream video system, video monitoring device and multi-stream video transmission method
JP2020526994A5 (zh)
EP1994754A1 (en) Video browsing based on thumbnail image
MX2013005996A (es) Control de usuario de la pantalla de codigos de matriz.
CN101300840A (zh) 多视角视频传递
CN113473126B (zh) 视频流的处理方法、装置、电子设备及计算机可读介质
CN113301355B (zh) 视频传输、直播与播放方法、设备及存储介质
CN104080006A (zh) 一种视频处理装置及方法
CN105339953A (zh) 用于数字图像捕获的方法和装置
US10674163B2 (en) Color space compression
US11109060B2 (en) Image prediction method and apparatus
EP4254934A1 (en) Image processing method and apparatus, and electronic device
EP3703372A1 (en) Interframe prediction method and apparatus, and terminal device
CN113645448A (zh) 一种适用于指挥调度的视频解码方法和装置
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
WO2019091372A1 (zh) 图像预测方法和装置
KR20100135131A (ko) 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치
CN114745597B (zh) 视频处理方法和装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309