CN111970513A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111970513A
CN111970513A CN202010822864.7A CN202010822864A CN111970513A CN 111970513 A CN111970513 A CN 111970513A CN 202010822864 A CN202010822864 A CN 202010822864A CN 111970513 A CN111970513 A CN 111970513A
Authority
CN
China
Prior art keywords
image
video
super
resolution
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010822864.7A
Other languages
English (en)
Inventor
祁世风
何翔
吴涛
胡海
覃小春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Digital Sky Technology Co ltd
Original Assignee
Chengdu Digital Sky Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Digital Sky Technology Co ltd filed Critical Chengdu Digital Sky Technology Co ltd
Priority to CN202010822864.7A priority Critical patent/CN111970513A/zh
Publication of CN111970513A publication Critical patent/CN111970513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs

Abstract

本申请提供一种图像处理方法、装置、电子设备及存储介质，该方法包括：接收服务器发送的视频编码图像；将视频编码图像进行解码，获得视频解码图像；将视频解码图像进行超分辨率重建，获得超分辨率图像；根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。在上述的实现过程中，对解码后的视频图像进行超分辨率重建，可以使低分辨率视频恢复到超高分辨率视频，呈现出较高质量的视频画面，同时也保证了用户体验，从而在视频清晰度保持基本不变的情况下，有效地增加视频压缩比率，改善了由于过低的视频压缩比率导致视频流在低带宽情况下被播放时，出现的画面卡顿的问题。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及深度学习、视频和图像处理的技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像处理，是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术；图像处理是信号处理在图像领域上的一个应用；当前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理；图像处理是信号处理的子类，另外与计算机科学、人工智能等领域也有密切的关系。
目前在视频流数据的传输过程中，通常是先对视频流进行降质采样并压缩后，降质采样包括两种方式：降低视频中每帧的图像分辨率和降低视频帧率，再将降质采样并压缩后的视频流传输至接收终端，接收终端再使用视频解码算法对降质采样并压缩后的视频流进行解码后，再使用插值算法对解码后的画面进行还原，获得还原后的视频流。在实践过程中发现，通过这种降采样、压缩、传输、解码和插值的方式对视频流处理后，低带宽用户在播放还原后的视频流时，用户体验不佳，具体例如视频画面会产生卡顿的问题。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，用于改善视频流在低带宽情况下被播放时出现画面卡顿的问题。
本申请实施例提供了一种图像处理方法，应用于终端设备，包括：接收服务器发送的视频编码图像，视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的；将视频编码图像进行解码，获得视频解码图像；将视频解码图像进行超分辨率重建，获得超分辨率图像；根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。在上述的实现过程中，通过对视频流数据中的图像进行超分辨率压缩、编码、传输、解码和超分辨率重建，使得压缩编码后的视频流数据更快地从网络中传输完成，也就是说，对解码后的视频图像进行超分辨率重建，可以使低分辨率视频恢复到超高分辨率视频，呈现出较高质量的视频画面，同时也保证了用户体验，从而在视频清晰度保持基本不变的情况下，有效地增加视频压缩比率，改善了由于过低的视频压缩比率导致视频流在低带宽情况下被播放时，出现的画面卡顿的问题。
可选地，在本申请实施例中，将视频解码图像进行超分辨率重建，获得超分辨率图像，包括：使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样，获得上采样图像；使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征，获得细节特征图；将细节特征图和上采样图像进行融合，获得超分辨率图像。在上述的实现过程中，通过使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样获得上采样图像，并使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征图；最后将细节特征图和上采样图像进行融合，获得超分辨率图像；由于结合了上采样图像和上采样图像中的细节特征信息，能够实现高分辨率图像中的空间清晰度和时间的一致性，从而有效地提高了图像的清晰度和细节信息。
可选地，在本申请实施例中，上采样网络包括：动态滤波器生成网络和上采样滤波器；使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样，获得上采样图像，包括：使用动态滤波器生成网络提取视频解码图像的上采样权重；使用上采样滤波器根据视频解码图像的上采样权重对视频解码图像进行滤波，获得上采样图像。在上述的实现过程中，通过使用动态滤波器生成网络提取视频解码图像的上采样权重，并使用上采样滤波器根据视频解码图像的上采样权重对视频解码图像进行滤波获得上采样图像；也就是说，此处的上采样滤波器是可以针对不同的区域具有不同的权重，从而自适应地出路局部运动信息，有效地提高了上采样图像的分辨率。
可选地，在本申请实施例中，将视频解码图像进行超分辨率重建，获得超分辨率图像，包括：使用插值算法对视频解码图像进行上采样，获得上采样图像；提取上采样图像的深度信息，获得深度特征图；将深度特征图和上采样图像进行融合，获得超分辨率图像。在上述的实现过程中，通过将提取上采样图像的深度特征图和使用插值算法解码视频解码图像的上采样图像进行融合，获得超分辨率图像；由于结合了上采样图像和上采样图像中的深度特征信息，从而有效地提高了图像的空间清晰度。
本申请实施例还提供了一种图像处理方法，应用于服务器，包括：获得视频流数据中的视频图像；使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像；将视频压缩图像进行编码，获得视频编码图像；将视频编码图像发送给终端设备。在上述的实现过程中，使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩获得视频压缩图像，并将视频压缩图像进行编码获得视频编码图像；也就是说，通过超分辨率压缩网络模型能够有效地提高视频流数据中的视频图像的压缩率，将高压缩率的视频图像进行编码，从而减少了视频图像在网络中所占的传输带宽。
可选地，在本申请实施例中，超分辨率压缩网络模型包括：第一卷积层、第二卷积层和第三卷积层；使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像，包括：使用第一卷积层中的卷积函数和非线性激活函数提取视频图像的第一特征图；使用第二卷积层中的卷积函数、批量归一化函数和非线性激活函数对第一特征图进行分辨率下采样，获得第二特征图；使用第三卷积层中的卷积函数对第二特征图进行特征筛选，获得视频压缩图像。
本申请实施例还提供了一种图像处理装置，应用于终端设备，包括：编码图像接收模块，用于接收服务器发送的视频编码图像，视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的；解码图像获得模块，用于将视频编码图像进行解码，获得视频解码图像；超分辨率重建模块，用于将视频解码图像进行超分辨率重建，获得超分辨率图像；视频生成显示模块，用于根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。
可选地，在本申请实施例中，超分辨率重建模块，包括：使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样，获得上采样图像；使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征，获得细节特征图；将细节特征图和上采样图像进行融合，获得超分辨率图像。
可选地，在本申请实施例中，上采样网络包括：动态滤波器生成网络和上采样滤波器；超分辨率重建模块，还包括：使用动态滤波器生成网络提取视频解码图像的上采样权重；使用上采样滤波器根据视频解码图像的上采样权重对视频解码图像进行滤波，获得上采样图像。
可选地，在本申请实施例中，超分辨率重建模块，包括：使用插值算法对视频解码图像进行上采样，获得上采样图像；提取上采样图像的深度信息，获得深度特征图；将深度特征图和上采样图像进行融合，获得超分辨率图像。
本申请实施例还提供了一种图像处理装置，应用于服务器，包括：视频图像获得模块，用于获得视频流数据中的视频图像；压缩图像获得模块，用于使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像；编码图像获得模块，用于将视频压缩图像进行编码，获得视频编码图像；编码图像发送模块，用于将视频编码图像发送给终端设备。
可选地，在本申请实施例中，超分辨率压缩网络模型包括：第一卷积层、第二卷积层和第三卷积层；压缩图像获得模块，包括：使用第一卷积层中的卷积函数和非线性激活函数提取视频图像的第一特征图；使用第二卷积层中的卷积函数、批量归一化函数和非线性激活函数对第一特征图进行分辨率下采样，获得第二特征图；使用第三卷积层中的卷积函数对第二特征图进行特征筛选，获得视频压缩图像。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的云游戏运行原理的示意图；
图2示出的本申请实施例提供的在服务器上执行的图像处理方法的流程示意图；
图3示出的本申请实施例提供的超分辨率压缩网络模型的示意图；
图4示出的本申请实施例提供的在终端设备执行的图像处理方法的流程示意图；
图5示出的本申请实施例提供的超分辨率重建网络模型的示意图；
图6示出的本申请实施例提供的图像处理装置的结构示意图；
图7示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的图像处理方法之前，先介绍本申请实施例中所涉及的一些概念：
深度学习(Deep Learning)，是机器学习中一种基于对数据进行表征学习的算法，深度学习是机器学习的分支，也是一种以人工神经网络为架构，对数据进行表征学习的算法。
云游戏是依托于云计算使所有的游戏均在云端服务器运行，所有游戏的下载、安装、更新、运行以及渲染压缩均在云端服务器执行，而客户端(游戏玩家)的游戏设备只需要有最基本的视频解码能力，即可在显示终端观看到游戏画面和播放游戏声音。
视频流(Video Streaming)，又可以称为视频流数据，是指以流媒体的方式进行传输的视频数据，具体例如：视频文件以视频流的方式在网络上传输，以使该视频文件能够被作为一个稳定和连续的流处理，终端设备上的浏览器或浏览器插件能够在整个视频文件被传输完成前显示多媒体数据。
超分辨率(Super-Resolution)，是指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建；超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。
卷积神经网络(Convolutional Neural Networks，CNN)，是一种人工神经网络，人工神经网络的人工神经元可以响应周围单元，可以进行大型图像处理；卷积神经网络可以包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。
循环神经网络(Recurrent Neural Network，RNN)，又称递归神经网络，是一类以序列数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)；循环神经网络的核心部分是一个有向图；该有向图展开中以链式相连的元素被称为循环单元(RNN cell)；通常地，循环单元构成的链式连接可类比前馈神经网络中的隐含层(hidden layer)，但在不同的论述中，循环神经网络的“层”可能指单个时间步的循环单元或所有的循环单元。
最近邻插值，也称作零阶插值，是指将变换后的图像中的原像素点最邻近像素的灰度值赋给原像素点的方法，就是令变换后像素的灰度值等于距它最近的输入像素的灰度值。
双线性插值，又称为双线性内插，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
双三次插值，是指一种更加复杂的插值方法，双三次插值能创造出比双线性插值更平滑的图像边缘；函数f在点(x,y)的值可以通过矩形网格中最近的十六个采样点的加权平均得到，在这里需要使用两个多项式插值三次函数。
需要说明的是，本申请实施例提供的图像处理方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的图像处理方法之前，先介绍该图像处理方法适用的应用场景，这里的应用场景包括但不限于：第一种应用场景，电视直播、转播和视频录播过程中，将服务器上的视频流数据传输至电视用户或者视频用户的终端设备等场景；第二种应用场景，游戏玩家的终端设备和云端服务器进行交互的云游戏场景，为了便于理解和说明，下面均以云游戏场景为例进行详细地说明。
请参见图1示出的本申请实施例提供的云游戏运行原理的示意图；从图中可以看出，云端的服务器将游戏玩家控制角色产生的视频画面和声音，以视频流和音频流的方式传输给终端设备，这种传输方式对服务器与终端设备之间的网络连接环境的稳定性有很高的要求，也就是说，通过这种传输方式来达到云游戏的良好体验，需要服务器和终端设备之间的网络带宽需求较大，以免造成云游戏的延迟等不良体验。因此，为了获得更好的游戏体验，往往需要网络具备高的带宽，但由于硬件成本限制，大多数的云游戏用户均不能拥有较高的带宽。
针对上述缺陷，本申请实施例提供的图像处理方法的主要改进思路是，通过对视频流数据中的图像进行超分辨率压缩、编码、传输、解码和超分辨率重建，使得超分辨率压缩编码后的视频流数据更快地从网络中传输完成，也就是说，对解码后的视频图像进行超分辨率重建，可以使低分辨率视频恢复到超高分辨率视频，呈现出较高质量的视频画面，同时也保证了用户体验，从而在视频清晰度保持基本不变的情况下，有效地增加视频压缩比率，改善了由于过低的视频压缩比率导致视频流在低带宽情况下被播放时，出现的画面卡顿的问题。
请参见图2示出的本申请实施例提供的在服务器上执行的图像处理方法的流程示意图；可以理解的是，上述的图像处理方法均可以在终端设备和服务器上执行，下面先介绍在服务器上执行的图像处理方法，该方法可以包括：
步骤S110：服务器获得视频流数据中的视频图像。
上述步骤S110中的视频图像的获得方式在不同的应用场景下是不同的，具体例如：
第一种获得方式，在云游戏的场景中，云端的服务器在对游戏进行渲染后，获得视频流数据，此处渲染后的游戏视频流数据量是十分庞大的。若直接在网络中进行传输该视频流数据很占用带宽，因此，需要对视频流数据中的视频图像进行压缩，压缩之前，首先需要从视频流数据中获取一帧视频图像，从而获得视频流数据中的视频图像。
第二种获得方式，在视频直播的场景中，使用摄像机、录像机或彩色照相机等图像采集设备对目标对象(例如主播或者直播商品)进行拍摄，获得视频图像；然后该图像采集设备以视频流数据的方式向电子设备发送视频图像，然后电子设备以视频流数据的方式接收图像采集设备发送的视频图像，电子设备可以将视频图像存储至文件系统、数据库或移动存储设备中，从而获得视频流数据中的视频图像。
第三种获得方式，从预先存储的视频流数据文件中或者互联网上获取视频图像，具体例如：从文件系统中获取视频图像，或者从数据库中获取视频图像，或者从移动存储设备中获取视频图像；使用浏览器等软件获取互联网上的视频图像，或者使用其它应用程序访问互联网获得视频图像。
在步骤S110之后，执行步骤S120：服务器使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像。
请参见图3示出的本申请实施例提供的超分辨率压缩网络模型的示意图；超分辨率压缩网络模型，是指将图像进行降质采样的方式达到图像压缩效果的神经网络模型，此处的降质采样是指根据图像的分辨率进行下采样，从而降低视频图像中的原始分辨率。超分辨率压缩网络模型具体可以采用卷积神经网络(CNN)和循环神经网络(RNN)两大类；这里以CNN为例进行详细地说明，则超分辨率压缩网络模型可以包括：第一卷积层、第二卷积层和第三卷积层；其中，第一卷积层可以包括：卷积函数(Conv)和非线性激活函数(ReLu)，第二卷积层可以包括：卷积函数(Conv)、批量归一化(Batch Normalization，BN)函数和非线性激活函数(ReLu)，第三卷积层可以包括卷积函数(Conv)。
上述超分辨率压缩网络模型可以采用不同类型的神经网络模型，因此，上述步骤S120中的超分辨率压缩的实施方式至少可以包括：
第一种实施方式，超分辨率压缩网络模型具体可以采用CNN，此处的CNN是基于下采样的图像压缩方法，具体例如：服务器使用第一卷积层中的卷积函数和非线性激活函数提取视频图像的第一特征图；然后使用第二卷积层中的卷积函数、批量归一化函数和非线性激活函数对第一特征图进行分辨率下采样，获得第二特征图，第二卷积层的尺寸例如可以是1×1的高和宽，从而实现特征图像分辨率下采样，使得采样后图像的宽和高均为原来的1/K倍(K为经验值，可以取5或7)；最后使用第三卷积层中的卷积函数对第二特征图进行特征筛选，第三卷积层是通过减少特征图的尺度和数目来对特征进行筛选，保留对于图像质量最重要的特征，去除对于图像质量影响不大的特征，输出最终的视频压缩图像。
第二种实施方式，超分辨率压缩网络模型具体可以采用RNN，具体例如：服务器使用长短期记忆(Long Short-Term Memory，LSTM)网络或者双向长短记忆(BidirectionalLong Short-Term Memor，Bi-LSTM)网络将视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像。
在步骤S120之后，执行步骤S130：服务器将视频压缩图像进行编码，获得视频编码图像。
上述步骤S130的实施方式包括：服务器使用FFmpeg将视频压缩图像进行编码，获得视频编码图像，以缩减视频所占磁盘空间和网络带宽；此处的FFmpeg是一个开放源代码的自由软件，可以运行音频和视频多种格式的录影、转换和流功能。
在步骤S130之后，执行步骤S140：服务器将视频编码图像发送给终端设备。
上述步骤S140的实施方式有很多种，至少可以包括：
第一种实施方式，服务器使用实时流协议(Real Time Streaming Protocol，RTSP)将视频编码图像发送给终端设备，此处的RTSP是一种在网络协议(InternetProtocol)层上传输流媒体数据的应用层协议，专为娱乐和通信系统的使用，以控制流媒体服务器。
第二种实施方式，服务器使用实时消息协议(Real-Time Messaging Protocol，RTMP)将视频编码图像发送给终端设备；此处的RTMP也称实时消息传输协议，是最初由Macromedia为通过互联网在Flash播放器与一个服务端之间传输流媒体音频、视频和数据而开发的一个专有协议。
在上述的实现过程中，使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩获得视频压缩图像，并将视频压缩图像进行编码获得视频编码图像；也就是说，通过超分辨率压缩网络模型能够有效地提高视频流数据中的视频图像的压缩率，将高压缩率的视频图像进行编码，从而减少了视频图像在网络中所占的传输带宽。
请参见图4示出的本申请实施例提供的在终端设备执行的图像处理方法的流程示意图；上面介绍了在服务器上执行的图像处理方法，下面详细地介绍在终端设备执行的图像处理方法，该方法可以包括：
步骤S210：终端设备接收服务器发送的视频编码图像，视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的。
上述步骤S210的实施方式例如：终端设备通过RTSP协议或者RTMP协议接收服务器发送的视频编码图像。
在步骤S210之后，执行步骤S220：终端设备将视频编码图像进行解码，获得视频解码图像。
上述步骤S220的实施方式例如：终端设备采用简化的视频压缩标准Nvidia NVENCH.264作为实验平台，将接收到的已压缩视频流数据中的视频编码图像进行解码，获得视频解码图像，以便于进行后续的超分辨率重建操作。
在步骤S220之后，执行步骤S230：终端设备将视频解码图像进行超分辨率重建，获得超分辨率图像。
上述步骤S230的实施方式例如：由于经过解码后的视频解码图像分辨率仍然偏低，画质较差，不适合直接观看；因此，为了在低带宽下获得更高的图像质量，可以使用超分辨率重建的方式以获得高质量游戏图像，提升图像的主观视觉效果；其中，超分辨率重建的方式将在下面详细地描述。
在步骤S230之后，执行步骤S240：终端设备根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。
上述步骤S230中的超分辨率重建的实施方式包括：
第一种实施方式，使用超分辨率重建网络模型对视频解码图像进行特征提取和上采样，分别获得细节特征图和上采样图像，并将细节特征图和上采样图像进行融合来获得超分辨率图像，该实施方式可以包括：
步骤S231：终端设备使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样，获得上采样图像。
请参见图5示出的本申请实施例提供的超分辨率重建网络模型的示意图；超分辨率重建网络模型，是指对图像进行超分辨率重建的神经网络模型，可以理解为将低分辨率图像转换为高分辨率图像的神经网络模型；此处的超分辨率重建网络模型包括：上采样网络和残差学习网络；具体地，当一组低分辨率视频图像输入超分辨率重建网络模型后，首先使用一个卷积层提取图像的基础特征，接着分为上采样网络和残差学习网络两个网络分支同时进行学习；其中，上采样网络包括：动态滤波器生成网络和上采样滤波器。
上述步骤S231的实施方式例如：使用上采样网络中的动态滤波器生成网络提取视频解码图像的上采样权重，具体例如：使用动态滤波器生成网络对输入的数据集中进行学习，生成上采样滤波器，通过这种方式生成的上采样滤波器是可以针对不同的区域具有不同的权重，自适应的出路局部运动信息；然后再使用上采样网络中的上采样滤波器根据视频解码图像的上采样权重对视频解码图像进行滤波，经过滤波后得到的图像是高分辨率图像，可以将这里的高分辨率图像理解为上采样图像。该实施方式中的上采样网络能够起作用的本质是，使用领域像素的加权值从而得到上采样图像。在上述的实现过程中，通过使用动态滤波器生成网络提取视频解码图像的上采样权重，并使用上采样滤波器根据视频解码图像的上采样权重对视频解码图像进行滤波获得上采样图像；也就是说，此处的上采样滤波器是可以针对不同的区域具有不同的权重，从而自适应地出路局部运动信息，有效地提高了上采样图像的分辨率。
步骤S232：终端设备使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征，获得细节特征图。
上述步骤S232的实施方式例如：由于上个步骤的上采样网络其本质是使用领域像素的加权值从而得到上采样图像，所以可能会存在图像清晰度不够，细节信息不足等问题。因此，可以采用残差网络来学习图像中的细节信息，从而得到包含了丰富细节信息(即高频信息)的图像，具体例如：使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征，获得细节特征图。
步骤S233：终端设备将细节特征图和上采样图像进行融合，获得超分辨率图像。
上述步骤S233的实施方式例如：为了使上采样图像包含丰富的图像细节信息，将细节特征图和上采样图像进行融合，也就是说，将高频信息和上采样图像进行融合，即使用连接层将二者信息进行结合，获得超分辨率图像。由于残差图像是由多个输入帧而不是单个输入帧构成的，并且以使用动态上采样帧作为更好的基准，然后再加上学习得到的高频信息。通过这些互补的因素和组件神经网络，来增强上采样图像中的细节，能够在得到的高分辨率帧图像中实现空间清晰度和时间一致性，从而保证视频图像帧是连续的。
在上述的实现过程中，通过使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样获得上采样图像，并使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征图；最后将细节特征图和上采样图像进行融合，获得超分辨率图像；由于结合了上采样图像和上采样图像中的细节特征信息，能够实现高分辨率图像中的空间清晰度和时间的一致性，从而有效地提高了图像的清晰度和细节信息。
第二种实施方式，使用插值算法对视频解码图像进行上采样获得上采样图像，并将上采样图像中提取的深度特征图和上采样图像进行融合来获得超分辨率图像，该实施方式可以包括：
步骤S234：终端设备使用插值算法对视频解码图像进行上采样，获得上采样图像。
上述步骤S234的实施方式例如：终端设备使用最近邻插值算法、双线性插值算法和双三次插值算法对视频解码图像进行上采样，也就是说，将压缩图像大小恢复到接近原图的大小，这里获得的图像是接近高分辨率图像的放大效果图，这里的放大效果图就可以理解为上采样图像，使用最近邻插值算法、双线性插值算法和双三次插值算法对视频解码图像进行上采样的速度更快。
步骤S235：终端设备提取上采样图像的深度信息，获得深度特征图。
上述步骤S235的实施方式例如：将上采样图像输入由多个卷积层构成的特征提取网络中以提取特征信息，同时，将提取到的特征进行非线性映射从而得到高维特征映射；从而获得深度特征图；其中，这里的多个卷积层的具体数量可以根据具体情况进行设置，例如将多个卷积层的数量设置为10个、20个和30个等等。
步骤S236：终端设备将深度特征图和上采样图像进行融合，获得超分辨率图像。
其中，该S236的实施原理和实施方式与步骤S233的实施原理和实施方式是类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S233的描述。
在上述的实现过程中，通过对视频流数据中的图像进行超分辨率压缩、编码、传输、解码和超分辨率重建，使得压缩编码后的视频流数据更快地从网络中传输完成，也就是说，对解码后的视频图像进行超分辨率重建，可以使低分辨率视频恢复到超高分辨率视频，呈现出较高质量的视频画面，同时也保证了用户体验，从而在视频清晰度保持基本不变的情况下，有效地增加视频压缩比率，改善了由于过低的视频压缩比率导致视频流在低带宽情况下被播放时，出现的画面卡顿的问题。
请参见图6示出的本申请实施例提供的图像处理装置的结构示意图；本申请实施例还提供了一种图像处理装置300，应用于终端设备，包括：
编码图像接收模块310，用于接收服务器发送的视频编码图像，视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的。
解码图像获得模块320，用于将视频编码图像进行解码，获得视频解码图像。
超分辨率重建模块330，用于将视频解码图像进行超分辨率重建，获得超分辨率图像。
视频生成显示模块340，用于根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。
可选地，在本申请实施例中，超分辨率重建模块，包括：
使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样，获得上采样图像。
使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征，获得细节特征图。
将细节特征图和上采样图像进行融合，获得超分辨率图像。
可选地，在本申请实施例中，上采样网络包括：动态滤波器生成网络和上采样滤波器；超分辨率重建模块，还包括：
使用动态滤波器生成网络提取视频解码图像的上采样权重。
使用上采样滤波器根据视频解码图像的上采样权重对视频解码图像进行滤波，获得上采样图像。
可选地，在本申请实施例中，超分辨率重建模块，还可以包括：
使用插值算法对视频解码图像进行上采样，获得上采样图像。
提取上采样图像的深度信息，获得深度特征图。
将深度特征图和上采样图像进行融合，获得超分辨率图像。
本申请实施例还提供了一种图像处理装置，应用于服务器，包括：
视频图像获得模块，用于获得视频流数据中的视频图像。
压缩图像获得模块，用于使用超分辨率压缩网络模型将视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像。
编码图像获得模块，用于将视频压缩图像进行编码，获得视频编码图像。
编码图像发送模块，用于将视频编码图像发送给终端设备。
可选地，在本申请实施例中，超分辨率压缩网络模型包括：第一卷积层、第二卷积层和第三卷积层；压缩图像获得模块，包括：
使用第一卷积层中的卷积函数和非线性激活函数提取视频图像的第一特征图。
使用第二卷积层中的卷积函数、批量归一化函数和非线性激活函数对第一特征图进行分辨率下采样，获得第二特征图。
使用第三卷积层中的卷积函数对第二特征图进行特征筛选，获得视频压缩图像。
应理解的是，该装置与上述的图像处理方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。
其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以使用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，应用于终端设备，包括：
接收服务器发送的视频编码图像，所述视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的；
将所述视频编码图像进行解码，获得视频解码图像；
将所述视频解码图像进行超分辨率重建，获得超分辨率图像；
根据所述超分辨率图像生成视频流数据，并将所述视频流数据存储或播放显示。
2.根据权利要求1所述的方法，其特征在于，所述将所述视频解码图像进行超分辨率重建，获得超分辨率图像，包括：
使用超分辨率重建网络模型中的上采样网络对所述视频解码图像进行上采样，获得上采样图像；
使用所述超分辨率重建网络模型中的残差学习网络提取所述上采样图像的细节特征，获得细节特征图；
将所述细节特征图和所述上采样图像进行融合，获得所述超分辨率图像。
3.根据权利要求2所述的方法，其特征在于，所述上采样网络包括：动态滤波器生成网络和上采样滤波器；所述使用超分辨率重建网络模型中的上采样网络对所述视频解码图像进行上采样，获得上采样图像，包括：
使用所述动态滤波器生成网络提取所述视频解码图像的上采样权重；
使用所述上采样滤波器根据所述视频解码图像的上采样权重对所述视频解码图像进行滤波，获得上采样图像。
4.根据权利要求1所述的方法，其特征在于，所述将所述视频解码图像进行超分辨率重建，获得超分辨率图像，包括：
使用插值算法对所述视频解码图像进行上采样，获得上采样图像；
提取所述上采样图像的深度信息，获得深度特征图；
将所述深度特征图和所述上采样图像进行融合，获得所述超分辨率图像。
5.一种图像处理方法，其特征在于，应用于服务器，包括：
获得视频流数据中的视频图像；
使用超分辨率压缩网络模型将所述视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像；
将所述视频压缩图像进行编码，获得视频编码图像；
将所述视频编码图像发送给终端设备。
6.根据权利要求5所述的方法，其特征在于，所述超分辨率压缩网络模型包括：第一卷积层、第二卷积层和第三卷积层；所述使用超分辨率压缩网络模型将所述视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像，包括：
使用所述第一卷积层中的卷积函数和非线性激活函数提取所述视频图像的第一特征图；
使用所述第二卷积层中的卷积函数、批量归一化函数和非线性激活函数对所述第一特征图进行分辨率下采样，获得第二特征图；
使用所述第三卷积层中的卷积函数对所述第二特征图进行特征筛选，获得所述视频压缩图像。
7.一种图像处理装置，其特征在于，应用于终端设备，包括：
编码图像接收模块，用于接收服务器发送的视频编码图像，所述视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的；
解码图像获得模块，用于将所述视频编码图像进行解码，获得视频解码图像；
超分辨率重建模块，用于将所述视频解码图像进行超分辨率重建，获得超分辨率图像；
视频生成显示模块，用于根据所述超分辨率图像生成视频流数据，并将所述视频流数据存储或播放显示。
8.一种图像处理装置，其特征在于，应用于服务器，包括：
视频图像获得模块，用于获得视频流数据中的视频图像；
压缩图像获得模块，用于使用超分辨率压缩网络模型将所述视频流数据中的视频图像进行超分辨率压缩，获得视频压缩图像；
编码图像获得模块，用于将所述视频压缩图像进行编码，获得视频编码图像；
编码图像发送模块，用于将所述视频编码图像发送给终端设备。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的方法。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的方法。
CN202010822864.7A 2020-08-14 2020-08-14 一种图像处理方法、装置、电子设备及存储介质 Pending CN111970513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010822864.7A CN111970513A (zh) 2020-08-14 2020-08-14 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010822864.7A CN111970513A (zh) 2020-08-14 2020-08-14 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111970513A true CN111970513A (zh) 2020-11-20

Family

ID=73388006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010822864.7A Pending CN111970513A (zh) 2020-08-14 2020-08-14 一种图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111970513A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702558A (zh) * 2020-12-23 2021-04-23 联想(北京)有限公司 一种数据处理方法及装置
CN112714313A (zh) * 2020-12-25 2021-04-27 创新奇智(合肥)科技有限公司 图像处理方法、装置、设备和存储介质
CN112785667A (zh) * 2021-01-25 2021-05-11 北京有竹居网络技术有限公司 视频生成方法、装置、介质及电子设备
CN112819928A (zh) * 2021-01-27 2021-05-18 成都数字天空科技有限公司 一种模型重建方法、装置、电子设备及存储介质
CN113038276A (zh) * 2021-03-08 2021-06-25 Oppo广东移动通信有限公司 视频播放方法、装置、电子设备及存储介质
CN113298712A (zh) * 2021-05-21 2021-08-24 安谋科技（中国）有限公司 图像处理方法、电子设备及其可读介质
CN113344786A (zh) * 2021-06-11 2021-09-03 华南理工大学 基于几何生成模型的视频转码方法、装置、介质和设备
CN113727050A (zh) * 2021-11-04 2021-11-30 山东德普检测技术有限公司 面向移动设备的视频超分辨率处理方法、装置、存储介质
CN113837067A (zh) * 2021-09-18 2021-12-24 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质
CN114025168A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质
CN114244819A (zh) * 2022-01-28 2022-03-25 西安万像电子科技有限公司 一种通过路由器解码视频流的方法、存储介质及电子设备
CN114900717A (zh) * 2022-05-13 2022-08-12 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备
CN114913072A (zh) * 2022-05-16 2022-08-16 中国第一汽车股份有限公司 图像的处理方法、装置、存储介质和处理器
WO2023045649A1 (zh) * 2021-09-26 2023-03-30 腾讯科技（深圳）有限公司 视频帧播放方法、装置、设备、存储介质及程序产品
CN116708793A (zh) * 2023-08-09 2023-09-05 腾讯科技（深圳）有限公司 视频的传输方法、装置、设备及存储介质
WO2023231630A1 (zh) * 2022-05-30 2023-12-07 荣耀终端有限公司 视频数据的处理方法、电子设备及可读存储介质
WO2024007977A1 (zh) * 2022-07-07 2024-01-11 维沃移动通信有限公司 图像处理方法、装置及设备
WO2024078403A1 (zh) * 2022-10-13 2024-04-18 维沃移动通信有限公司 图像处理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN110766635A (zh) * 2019-10-28 2020-02-07 公安部交通管理科学研究所 证卡数字人像复原方法、装置、存储介质及处理器
CN110942424A (zh) * 2019-11-07 2020-03-31 昆明理工大学 一种基于深度学习的复合网络单图像超分辨率重建方法
CN111052173A (zh) * 2017-07-31 2020-04-21 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN111052173A (zh) * 2017-07-31 2020-04-21 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
CN110766635A (zh) * 2019-10-28 2020-02-07 公安部交通管理科学研究所 证卡数字人像复原方法、装置、存储介质及处理器
CN110942424A (zh) * 2019-11-07 2020-03-31 昆明理工大学 一种基于深度学习的复合网络单图像超分辨率重建方法
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNGHYUN JO等: "Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702558A (zh) * 2020-12-23 2021-04-23 联想(北京)有限公司 一种数据处理方法及装置
CN112714313A (zh) * 2020-12-25 2021-04-27 创新奇智(合肥)科技有限公司 图像处理方法、装置、设备和存储介质
CN112785667A (zh) * 2021-01-25 2021-05-11 北京有竹居网络技术有限公司 视频生成方法、装置、介质及电子设备
CN112819928B (zh) * 2021-01-27 2022-10-28 成都数字天空科技有限公司 一种模型重建方法、装置、电子设备及存储介质
CN112819928A (zh) * 2021-01-27 2021-05-18 成都数字天空科技有限公司 一种模型重建方法、装置、电子设备及存储介质
CN113038276A (zh) * 2021-03-08 2021-06-25 Oppo广东移动通信有限公司 视频播放方法、装置、电子设备及存储介质
CN113298712A (zh) * 2021-05-21 2021-08-24 安谋科技（中国）有限公司 图像处理方法、电子设备及其可读介质
CN113344786A (zh) * 2021-06-11 2021-09-03 华南理工大学 基于几何生成模型的视频转码方法、装置、介质和设备
CN113344786B (zh) * 2021-06-11 2023-02-14 华南理工大学 基于几何生成模型的视频转码方法、装置、介质和设备
CN113837067B (zh) * 2021-09-18 2023-06-02 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质
CN113837067A (zh) * 2021-09-18 2021-12-24 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质
WO2023045649A1 (zh) * 2021-09-26 2023-03-30 腾讯科技（深圳）有限公司 视频帧播放方法、装置、设备、存储介质及程序产品
CN114025168A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质
CN113727050A (zh) * 2021-11-04 2021-11-30 山东德普检测技术有限公司 面向移动设备的视频超分辨率处理方法、装置、存储介质
CN114244819A (zh) * 2022-01-28 2022-03-25 西安万像电子科技有限公司 一种通过路由器解码视频流的方法、存储介质及电子设备
CN114900717A (zh) * 2022-05-13 2022-08-12 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备
CN114900717B (zh) * 2022-05-13 2023-09-26 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备
CN114913072A (zh) * 2022-05-16 2022-08-16 中国第一汽车股份有限公司 图像的处理方法、装置、存储介质和处理器
WO2023231630A1 (zh) * 2022-05-30 2023-12-07 荣耀终端有限公司 视频数据的处理方法、电子设备及可读存储介质
WO2024007977A1 (zh) * 2022-07-07 2024-01-11 维沃移动通信有限公司 图像处理方法、装置及设备
WO2024078403A1 (zh) * 2022-10-13 2024-04-18 维沃移动通信有限公司 图像处理方法、装置及设备
CN116708793A (zh) * 2023-08-09 2023-09-05 腾讯科技（深圳）有限公司 视频的传输方法、装置、设备及存储介质
CN116708793B (zh) * 2023-08-09 2024-01-30 腾讯科技（深圳）有限公司 视频的传输方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111970513A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111669587B (zh) 一种视频图像的拟态压缩方法、装置、存储介质及终端
CN112991203B (zh) 图像处理方法、装置、电子设备及存储介质
JP2020010331A (ja) 画質を向上させる方法
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
WO2018150083A1 (en) A method and technical equipment for video processing
CN110798690B (zh) 视频解码方法、环路滤波模型的训练方法、装置和设备
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN110740350B (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN110969572B (zh) 换脸模型训练方法、人脸互换方法、装置及电子设备
CN114584805A (zh) 视频传输方法、服务器、终端和视频传输系统
Ayzik et al. Deep image compression using decoder side information
WO2023246923A1 (zh) 视频编码方法、解码方法、电子设备及存储介质
CN111510739A (zh) 一种视频传输方法及装置
CN116233445A (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
US20220335560A1 (en) Watermark-Based Image Reconstruction
CN113822803A (zh) 图像超分处理方法、装置、设备及计算机可读存储介质
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN116168108A (zh) 文本生成图像的方法及装置、存储介质及电子设备
WO2023050720A1 (zh) 图像处理方法、图像处理装置、模型训练方法
CN115665427A (zh) 直播数据的处理方法、装置及电子设备
CN114359100A (zh) 图像色彩增强方法、装置、存储介质与电子设备
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
EP0911760B1 (en) Iterated image transformation and decoding apparatus and methods
US8244071B2 (en) Non-dyadic spatial scalable wavelet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201120

RJ01 Rejection of invention patent application after publication