CN108305214B - 图像数据处理方法、装置、存储介质和计算机设备 - Google Patents
图像数据处理方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN108305214B CN108305214B CN201711466702.9A CN201711466702A CN108305214B CN 108305214 B CN108305214 B CN 108305214B CN 201711466702 A CN201711466702 A CN 201711466702A CN 108305214 B CN108305214 B CN 108305214B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- network model
- middle layer
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 179
- 238000003062 neural network model Methods 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 113
- 230000005540 biological transmission Effects 0.000 claims abstract description 36
- 230000003321 amplification Effects 0.000 claims abstract description 22
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 27
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种图像数据处理方法、装置、存储介质和计算机设备，所述方法包括：获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；对所述图像数据进行解码，获得相应的图像；将解码获得的图像输入神经网络模型，获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。本申请提供的方案可以将图像数据解码得到的图像放大，尽量避免图像放大带来的失真，并使得放大后的图像边缘更清晰，细节更丰富，图像显示效果更优。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像数据处理方法、装置、存储介质和计算机设备。
背景技术
随着计算机技术的发展，图像的应用越来越广泛。图像是承载视觉可见信息的载体，比如拍照得到的图片格式的图像或者视频中的视频帧等。一般来讲，图像尺寸越大，图像所承载的信息越丰富，也更有利于信息的表达。
然而，图像尺寸变大，也会使得图像的数据量变大，存储和传输的代价也更高。因此，在某些应用场景下，比如实时传播图像的场景中，对实时性要求较高，就限制了图像尺寸。
目前，可以采用一些插值算法在图像中插值，以放大图像，得到高分辨率图像。插值算法比如最临近点插值算法、双线性插值算法或者双立方插值算法等。然而，目前采用插值算法放大图像得到的高分辨率图像，会存在明显的边缘锯齿现象，导致图像失真严重。
发明内容
基于此，有必要针对目前采用插值算法放大图像导致图像失真的技术问题，提供一种图像数据处理方法、装置、存储介质和计算机设备。
一种图像数据处理方法，所述方法包括：
获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；
对所述图像数据进行解码，获得相应的图像；
将解码获得的图像输入神经网络模型，获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；
根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。
一种图像数据处理装置，所述装置包括：
图像数据获取模块，用于获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；
解码模块，用于对所述图像数据进行解码，获得相应的图像；
神经网络模型，用于输入解码获得的图像，获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；
图像输出模块，用于根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；
对所述图像数据进行解码，获得相应的图像；
将解码获得的图像输入神经网络模型，获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；
根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；
对所述图像数据进行解码，获得相应的图像；
将解码获得的图像输入神经网络模型，获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；
根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。
上述图像数据处理方法、装置、计算机可读存储介质和计算机设备，神经网络模型在训练时，以较大尺寸的图像作为训练标签，并将该较大尺寸的图像依次经过缩小、编码和解码后得到较小尺寸的图像，以该较小尺寸的图像作为训练样本。这样，训练得到的神经网络模型能够学习到恢复编解码和缩放带来的两种失真特性，利用该神经网络模型进行图像放大，可以尽量减少锯齿效应，从而尽量避免图像放大带来的失真。而且，对减少了锯齿效应的图像进行图像增强处理，可使得放大后的图像边缘更清晰，细节更丰富，图像显示效果更优。
附图说明
图1为一个实施例中图像数据处理方法的应用环境图；
图2为另一个实施例中图像数据处理方法的应用环境图；
图3为一个实施例中图像数据处理方法的流程示意图；
图4为一个实施例中将解码获得的图像输入神经网络模型，获得模型输出图像的步骤的流程示意图；
图5为一个实施例中神经网络模型处理图像的过程示意图；
图6为一个实施例中从输入的图像提取残差图像的步骤的流程示意图；
图7为另一个实施例中神经网络模型处理图像的过程示意图；
图8(a)为一个实施例中原始视频帧的示例图；
图8(b)为一个实施例中将原始视频帧缩小并编码为视频码流后采用上述图像数据处理方法处理后得到的视频帧的示例图；
图9为一个实施例中图像数据处理方法的流程示意图；
图10为一个实施例中图像数据处理装置的结构框图；
图11为另一个实施例中图像数据处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像数据处理方法的应用环境图。参照图1，该应用环境包括服务器110和目标终端120，服务器110和目标终端120通过网络连接。服务器110可接收目标终端120通过网络传输的图像数据，对图像数据进行解码，获得相应的图像；将解码获得的图像输入神经网络模型，获得模型输出图像；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像。可以理解的是，服务器110也可以将图像数据存储在服务器本地，从而从本地直接读取以获取图像数据。目标终端120也可以将图像数据存储在目标终端本地，从而从本地直接读取以获取图像数据。在其它实施例中，服务器在获得经过图像增强处理的图像后，可将该图像转发至目标终端120之外的其它终端。
图2为另一个实施例中图像数据处理方法的应用环境图。参照图2，该应用环境包括至少两个终端210和220，其中一个终端210向至少两个终端中的其它至少一终端220发送图像数据。接收到图像数据的终端220执行该图像数据处理方法，对该图像数据进行解码，获得相应的图像；将解码获得的图像输入神经网络模型，获得模型输出图像；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像。其中，终端210可以是摄像头或者移动终端，终端220可以是移动终端或者台式计算机。
如图3所示，在一个实施例中，提供了一种图像数据处理方法。本实施例主要以该方法应用于上述图2中的终端220来举例说明。参照图3，该图像数据处理方法具体包括如下步骤：
S302，获取图像数据；图像数据是将图像编码获得的适于传输的数据。
其中，图像数据是将需要传输的图像进行编码后得到的适于传输的数据。编码可以采用有损编码方式，有损编码方式表示对编码后得到的图像数据解码后得到的图像与解码前的图像不一致。传输可以采用有线传输方式或者无线传输方式，可以是网络传输也可以是计算机设备内部各部件之间的传输。
在一个实施例中，图像可以是视频中的视频帧，图像数据则是对视频进行编码得到的视频码流。在一个实施例中，终端可从终端本地读取图像数据，该图像数据可预先从服务器或者目标终端获得并存储在本地。在一个实施例中，终端可在目标终端采集到图像并将采集的图像编码为适于网络传输的图像数据后，接收目标终端通过网络传输的图像数据。
S304，对图像数据进行解码，获得相应的图像。
其中，编码是将图像数据还原为图像的处理过程。如果编码时采用有损编码方式，还原出的图像会与编码前的图像不一致，会丢失一些细节特征。
在一个实施例中，终端可将解码得到的多个图像依次缓存在缓冲队列中，从而逐个从缓冲队列中读取缓存的图像以执行下述步骤S306。
在一个实施例中，图像是视频中的视频帧，图像数据则是对视频进行编码得到的视频码流。终端可将视频码流进行解码，得到视频帧。终端可将视频帧按照该视频帧在视频中的顺序缓存在缓冲队列中，从而逐个从缓冲队列中读取缓存的视频帧以执行下述步骤S306。视频帧按照该视频帧在视频中的顺序可根据各视频帧的时间戳确定。
S306，将解码获得的图像输入神经网络模型，获得模型输出图像；神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；作为训练样本的图像是将作为训练标签的图像依次经过缩小、编码和解码得到。
其中，神经网络模型是包括大量神经元的人工神经网络。神经网络模型可以是反向传播神经网络模型、反馈神经网络模型和卷积神经网络模型等。卷积神经网络模型是包括卷积层组的神经网络模型。终端可将解码获得的图像作为输入量输入到神经网络模型中，由神经网络模型输出模型输出图像。模型输出图像是相比输入的图像放大了的图像。神经网络模型可在终端上训练得到，也可以在服务器上训练完成后下载到终端本地。
训练样本和训练标签是相对应的，训练标签表示该训练样本输入到经过训练的神经网络模型后神经网络模型应当输出的结果。训练标签采用原始的图像，训练样本采用将原始的图像经过缩小、编码和解码后得到的图像，这样在训练神经网络模型时，可以让神经网络模型学习到恢复编解码和缩放带来的两种失真特性。
在一个实施例中，缩小图像时可采用插值算法进行缩小，得到低分辨率图像。插值算法比如最临近点插值算法、双线性插值算法或者双立方插值算法等。
在一个实施例中，将解码获得的图像输入神经网络模型到获得模型输出图像的过程中，通过神经网络模型所做的处理可通过图形处理单元(GPU，Graphics ProcessingUnit)并行处理实现。本实施例中，利用图形处理单元对神经网络模型所做的中间处理进行并行处理，可提高处理效率。
在一个实施例中，训练神经网络模型时，可获取作为训练标签的图像；将图像缩小；对缩小后的图像进行适于传输的编码和解码后，得到作为训练样本的图像；根据作为训练标签的图像和作为训练样本的图像训练神经网络模型。
在一个实施例中，作为训练样本的不同图像之间的尺寸可以不同，相应的作为训练标签的不同图像之间的尺寸也可以不同，且将作为训练标签的不同图像进行缩小的缩放比例是相同的。缩放比例可以是图像缩小前与缩小后的长度或宽度的比例，比如2：1。
在一个实施例中，根据作为训练标签的图像和作为训练样本的图像训练神经网络模型具体包括：将作为训练样本的图像输入神经网络模型，通过神经网络模型，从输入的图像提取残差图像，并将输入的图像放大；放大后的图像与残差图像尺寸一致；通过神经网络模型，根据残差图像和放大后的图像获得输出图像；根据该输出图像与作为训练标签的图像之间的差异，调整神经网络模型的参数，并返回将作为训练样本的图像输入神经网络模型的步骤继续训练，直至满足训练停止条件。训练停止条件可以是输出图像与作为训练标签的图像之间的差异小于某阈值，或者达到预设的迭代次数。不同样本的尺寸可以不同，将
S308，根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像。
其中，图像增强处理，是优化图像的画质参数的处理，画质参数比如对比度、亮度以及饱和度等。对图像进行图像增强处理，具体可对图像采用增强算子进行运算，以实现图像增强。增强算子比如拉普拉斯算子、索贝尔(Sobel)算子或者普鲁伊特(Prewitt)算子等。
上述图像数据处理方法，神经网络模型在训练时，以较大尺寸的图像作为训练标签，并将该较大尺寸的图像依次经过缩小、编码和解码后得到较小尺寸的图像，以该较小尺寸的图像作为训练样本。这样，训练得到的神经网络模型能够学习到恢复编解码和缩放带来的两种失真特性，利用该神经网络模型进行图像放大，可以尽量减少锯齿效应，从而尽量避免图像放大带来的失真。而且，对减少了锯齿效应的图像进行图像增强处理，可使得放大后的图像边缘更清晰，细节更丰富，图像显示效果更优。
如图4所示，在一个实施例中，步骤S306包括以下步骤：
S402，将解码获得的图像输入神经网络模型。
参照图5所示的神经网络模型处理图像的过程示意图。解码获得的图像为1@W×H的图像，表示一个宽度为W高度为H的图像，将该图像输入到神经网络模型。
S404，通过神经网络模型，从输入的图像提取残差图像，并将输入的图像放大；残差图像比输入的图像的尺寸大；放大后的图像与残差图像尺寸一致。
如在训练神经网络模型时将作为训练标签的图像缩小时的缩放比例是固定的，则在将解码获得的图像输入神经网络模型后，神经网络模型会按照该缩放比例将输入的图像放大，也就是将输入的图像宽度和高度分别按照缩放比例放大。比如缩放比例是1：2，则将输入的1@W×H的图像放大为1@2W×2H的图像，也就是将输入的图像宽度和高度分别加倍。
残差图像表示输入神经网络模型的图像直接放大后与模型输出图像之间的差异。神经网络模型经过训练后，神经网络模型中各层中的模型参数可反映出输入的一个图像与残差图像之间的关系，从而在将图像输入到神经网络模型后，在神经网络模型内部可以得到与输入的图像对应的残差图像。
S406，通过神经网络模型，根据残差图像和放大后的图像获得模型输出图像。
放大后的图像与残差图像尺寸一致，可以将放大后的图像与残差图像直接相加，得到模型输出图像。
本实施例中，利用神经网络模型可以从输入的图像提取残差图像，该残差图像可以反映输入的图像放大后与模型输出图像之间的联系，从而结合残差图像和放大后的图像就可以获得模型输出图像，该模型输出图像相比解码获得的图像，不仅放大后图像分辨率增大，而且锯齿效应也能够得到抑制。
在一个实施例中，神经网络模型根据作为训练样本的图像、作为训练标签的图像和将作为训练标签的图像进行缩小时的缩放参数训练得到；将输入的图像放大，包括：按照输入神经网络模型的缩放比例，将输入的图像放大。
本实施例中，训练时可以不采用固定缩放比例对作为训练标签的图像进行缩小，而是把将作为训练标签的图像进行缩小时的缩放参数参与到训练过程中。缩放参数是表示缩放程度的参数，可以是缩放比例，也可以是缩放前后的尺寸参数，尺寸参数可以是图像高度和宽度中的一种或两种。这样神经网络模型放大图像不再局限于固定的缩放比例，兼容性增强。
在一个实施例中，步骤S306还包括：通过神经网络模型，获取输入的图像的尺寸参数；则将输入的图像放大的步骤，包括：根据尺寸参数确定缩放比例，并按照缩放比例将输入的图像放大。本实施例中，如在训练神经网络模型时将作为训练标签的图像缩小时的缩放比例不是固定的，则在将解码获得的图像输入神经网络模型后，神经网络模型可以自动确定最佳的缩放比例，可进一步提高图像放大和增强处理后图像的显示效果。
如图6所示，在一个实施例中，从输入的图像提取残差图像的步骤，具体包括如下步骤：
S602，对输入的图像进行卷积处理，得到特征图。
参照图7，图7是神经网络模型处理图像的过程示意图。解码后的图像输入到神经网络模型后，经过神经网络模型中的一个卷积层组进行卷积处理，得到特征图。比如输入的宽度为W高度为H的图像，经过一个12层的卷积层组，得到宽度为W高度为H的特征图。
S604，将特征图输入中间层单元，得到中间层单元输出的中间数据。
其中，中间层单元是多个不同类型的层组构成的层组集合。中间层单元可以包括至少一卷积层组，还可以包括参数化修正线性单元层组和特征图求和层组。这里中间数据特指中间层单元输出的数据。
S606，对中间数据进行反卷积处理，得到残差图像。
将中间数据输入神经网络模型所包括的反卷积层组，以对中间数据进行反卷积处理，以生成与将输入的图像放大后尺寸一致的残差图像。
本实施例中，神经网络模型为卷积神经网络模型，通过神经网络模型的卷积操作及反卷积的操作来生成残差图像，处理效率和图像效果都能够保障。
在一个实施例中，中间层单元包括卷积层组、参数化修正线性单元层组和特征图求和层组；步骤S604包括：输入特征图至中间层单元，依次通过中间层单元中的卷积层组和参数化修正线性单元层组，获得参数化修正线性单元层组输出的特征图；将参数化修正线性单元层组输出的特征图和输入中间层单元的特征图经过特征图求和层组进行求和处理，得到中间层单元输出的中间数据。
参照图7，中间层单元包括依次连接的卷积层组、参数化修正线性单元层组和特征图求和层组，输入到中间层单元的特征图依次通过中间层单元中的卷积层组和参数化修正线性单元层组后，在特征图求和层组与输入到中间层单元的特征图的特征图进行求和处理，输出中间数据。在一个实施例中，中间层单元中的参数化修正线性单元层组和特征图求和层组之间可以增设卷积层组。
上述实施例中，通过中间层单元所包括的卷积层组、参数化修正线性单元层组和特征图求和层组，可以用较少层数的神经网络模型实现较高的图像质量，兼顾效率与图像效果。
在一个实施例中，步骤S604包括：将特征图输入中间层单元的链式组合中首个的中间层单元；在链式组合中，从首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元；由链式组合末尾的中间层单元输出中间数据。
上述实施例中，多个中间层单元呈链式进行组合，成为链式组合。将对输入神经网络模型的图像进行卷积处理后得到特征图，将该特征图输入到链式组合中首个的中间层单元，然后依次经过各个中间层单元，最终由链式组合末尾的中间层单元输出中间数据，利用多个中间层单元构成的链式组合可以充分挖掘残差图像的特性，从而可以便于更加准确地提取出残差图像。
在一个实施例中，作为训练样本的图像依次经过缩小、编码和解码后的图像直接作为训练样本；则步骤S308包括：通过与神经网络模型相互独立的程序，对模型输出图像进行图像增强处理，得到经过图像增强处理的图像。
具体地，训练时作为训练样本的图像次经过缩小、编码和解码后的图像直接作为训练样本，这样模型输出图像就是将解码获得的图像放大后的、且未经过图像增强处理的图像，再通过区别于神经网络模型的程序对作为模型输出图像的图像进行图像增强处理。对图像进行图像增强处理，具体可对图像采用增强算子进行运算，以实现图像增强。增强算子比如拉普拉斯算子、索贝尔(Sobel)算子或者普鲁伊特(Prewitt)算子等。
本实施例中，模型输出图像是将解码获得的图像尺寸放大后的、且减少了锯齿效应的图像，利用额外的程序对该图像进行图像增强处理，可避免因锯齿效应对图像增强处理造成影响，进行图像增强处理的效果更优。
在一个实施例中，该图像数据处理方法还包括：获取作为训练标签的图像；将所述图像缩小；对缩小后的图像进行适于传输的编码和解码，得到作为训练样本的图像；将作为训练标签的图像进行图像增强处理；根据经过图像增强处理的所述作为训练标签的图像，以及所述作为训练样本的图像训练神经网络模型；步骤S308包括：将模型输出图像直接作为将解码获得的图像放大后的、且经过图像增强处理的图像。
本实施例中，作为训练样本的图像是将作为训练标签的图像依次经过缩小、编码和解码得到，作为训练标签的图像还经过图像增强处理。这样不需要额外的程序，直接通过神经网络模型就可以实现图像增强处理，进一步提高了处理效率。
在一个实施例中，图像数据是对视频编码后得到的视频码流；图像是视频帧；该图像数据处理方法还包括：将经过图像增强处理的视频帧，按照输入神经网络模型的相应视频帧在视频中的顺序依次播放；和/或，将经过图像增强处理的视频帧，按照输入神经网络模型的相应视频帧在视频中的顺序依次合成为视频文件。
本实施例中，终端可获取视频码流，将视频码流解码得到一系列的视频帧，将解码得到的视频帧输入到神经网络模型，获得相比输入的视频帧放大的视频帧，对神经网络模型输出的视频帧进行图像增强处理后，按照神经网络模型输出视频帧的顺序进行视频播放或者存储为视频文件。
上述实施例中，应用到视频处理中，可以用便于传输和存储的小尺寸视频生成大尺寸且边缘清晰、细节丰富的视频，减少存储和传输的资源占用，提升视频显示效果。
参照图8(a)和8(b)，图8(a)示出了原始视频帧，图8(b)示出了将原始视频帧缩小并编码为视频码流后采用上述图像数据处理方法处理后得到的视频帧。可以看出，图8(b)基本避免了锯齿效应，且边缘较为清晰，细节丰富，一定程度可以媲美原始视频帧。
在一个具体应用场景中，摄像头可采集小尺寸(如240×320大小)的视频，并编码为视频码流，通过网络将视频码流传输至计算机设备。计算机设备则接收视频码流，解码获得一系列的视频帧，将视频帧依次输入到神经网络模型，得到大尺寸的模型输出视频帧(480×640大小)，将模型输出视频帧进行图像增强处理后，进行播放或者存储为视频文件。
在另一个具体应用场景中，视频采集端可采集视频并编码为视频码流，通过网络将视频码流传输至分发服务器。分发服务器则接收视频码流，解码获得一系列的视频帧，将视频帧依次输入到神经网络模型，得到大尺寸的模型输出视频帧，将模型输出视频帧进行图像增强处理后分发至指定的服务器或者终端。
在又一个具体应用场景中，终端A和终端B进行视频通话，终端A采集小尺寸的视频并编码为视频码流，通过网络传输至终端B。终端B则接收视频码流，解码获得一系列的视频帧，将视频帧依次输入到终端B内置的神经网络模型，得到大尺寸的模型输出视频帧，将模型输出视频帧进行图像增强处理后进行实时播放。本应用场景可以实现高清视频的实时通话，且对网络带宽占用小。
图9为一个实施例中图像数据处理方法的流程示意图。应该理解的是，虽然图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，一种视频处理方法，包括如下步骤：
S902，在目标终端采集到视频并将采集的视频编码为适于网络传输的视频码流后，接收目标终端通过网络传输的视频码流。
S904，对视频码流进行解码，获得相应的视频帧。
S906，将解码获得的视频帧输入神经网络模型。
S908，通过神经网络模型，对输入的视频帧进行卷积处理，得到特征图。
S910，将特征图输入中间层单元的链式组合中首个的中间层单元。
S912，在链式组合中，从首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元。
S914，由链式组合末尾的中间层单元输出中间数据。
S916，对所述中间数据进行反卷积处理，得到残差图像。
S918，在神经网络模型内部，将输入的视频帧直接放大；残差图像比所述输入的视频帧的尺寸大；放大后的视频帧与残差图像尺寸一致。
S920，在神经网络模型内部，根据残差图像和直接放大后的视频帧生成模型输出视频帧。
S922，根据模型输出视频帧，获得将解码获得的视频帧放大后的、且经过图像增强处理的视频帧。
上述视频处理方法，神经网络模型在训练时，以较大尺寸的视频帧作为训练标签，并将该较大尺寸的视频帧依次经过缩小、编码和解码后得到较小尺寸的视频帧，以该较小尺寸的视频帧作为训练样本。这样，训练得到的神经网络模型能够学习到恢复编解码和缩放带来的两种失真特性，利用该神经网络模型进行视频帧放大，可以尽量减少锯齿效应，从而尽量避免视频帧放大带来的失真。而且，对减少了锯齿效应的视频帧进行视频帧增强处理，可使得放大后的视频帧边缘更清晰，细节更丰富，视频显示效果更优。
如图10所示，在一个实施例中，提供了一种图像数据处理装置1000，包括：图像数据获取模块1010、解码模块1020、神经网络模型1030和图像输出模块1040。
图像数据获取模块1010，用于获取图像数据；图像数据是将图像编码获得的适于传输的数据。
解码模块1020，用于对图像数据进行解码，获得相应的图像。
神经网络模型1030，用于输入解码获得的图像，获得模型输出图像；神经网络模型1030根据作为训练样本的图像和作为训练标签的图像训练得到；作为训练样本的图像是将作为训练标签的图像依次经过缩小、编码和解码得到。
图像输出模块1040，用于根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像。
在一个实施例中，图像数据获取模块1010还用于在目标终端采集到图像并将采集的图像编码为适于网络传输的图像数据后，接收目标终端通过网络传输的图像数据。
在一个实施例中，神经网络模型1030还用于从输入的图像提取残差图像，并将输入的图像放大；残差图像比输入的图像的尺寸大；放大后的图像与残差图像尺寸一致；还用于根据残差图像和放大后的图像获得模型输出图像。
在一个实施例中，神经网络模型1030根据作为训练样本的图像、作为训练标签的图像和将作为训练标签的图像进行缩小时的缩放参数训练得到；神经网络模型1030还用于按照输入神经网络模型1030的缩放比例，将输入的图像放大。
在一个实施例中，神经网络模型1030还用于对输入的图像进行卷积处理，得到特征图；将特征图输入中间层单元，得到中间层单元输出的中间数据；对中间数据进行反卷积处理，得到残差图像。
在一个实施例中，中间层单元包括卷积层组、参数化修正线性单元层组和特征图求和层组；
神经网络模型1030还用于输入特征图至中间层单元，依次通过中间层单元中的卷积层组和参数化修正线性单元层组，获得参数化修正线性单元层组输出的特征图；还用于将参数化修正线性单元层组输出的特征图和输入中间层单元的特征图经过特征图求和层组进行求和处理，得到中间层单元输出的中间数据。
在一个实施例中，神经网络模型1030还用于将特征图输入中间层单元的链式组合中首个的中间层单元；在链式组合中，从首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元；由链式组合末尾的中间层单元输出中间数据。
在一个实施例中，作为训练样本的图像依次经过缩小、编码和解码后的图像直接作为训练样本；图像输出模块1040是与神经网络模型1030相互独立的程序，用于对模型输出图像进行图像增强处理，得到经过图像增强处理的图像。
如图11所示，在一个实施例中，图像数据处理装置1000还包括：训练模块1050，用于获取作为训练标签的图像；将所述图像缩小；对缩小后的图像进行适于传输的编码和解码，得到作为训练样本的图像；将作为训练标签的图像进行图像增强处理；根据经过图像增强处理的所述作为训练标签的图像，以及所述作为训练样本的图像训练神经网络模型1030。
图像输出模块1040还用于将模型输出图像直接作为将解码获得的图像放大后的、且经过图像增强处理的图像。
在一个实施例中，图像数据是对视频编码后得到的视频码流；图像是视频帧；图像数据处理装置1000还包括：播放模块1060和/或视频合成模块1070。
播放模块1060用于将经过图像增强处理的视频帧按照输入神经网络模型1030的相应视频帧在视频中的顺序依次播放。
视频合成模块1070用于将经过图像增强处理的视频帧按照输入神经网络模型1030的相应视频帧在视频中的顺序依次合成为视频文件。
上述图像数据处理装置1000，神经网络模型在训练时，以较大尺寸的图像作为训练标签，并将该较大尺寸的图像依次经过缩小、编码和解码后得到较小尺寸的图像，以该较小尺寸的图像作为训练样本。这样，训练得到的神经网络模型能够学习到恢复编解码和缩放带来的两种失真特性，利用该神经网络模型进行图像放大，可以尽量减少锯齿效应，从而尽量避免图像放大带来的失真。而且，对减少了锯齿效应的图像进行图像增强处理，可使得放大后的图像边缘更清晰，细节更丰富，图像显示效果更优。
图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端或者服务器。如图12所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像数据处理装置的各个程序模块，比如，图10所示的图像数据获取模块1010、解码模块1020、神经网络模型1030和图像输出模块1040。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像数据处理方法中的步骤。
例如，图12所示的计算机设备可以通过如图10所示的XX装置中的图像数据获取模块1010执行获取图像数据的步骤。计算机设备可通过解码模块1020执行对图像数据进行解码，获得相应的图像的步骤。计算机设备可通过神经网络模型1030执行将解码获得的图像输入神经网络模型，获得模型输出图像的步骤。计算机设备可通过图像输出模块1040执行根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取图像数据；图像数据是将图像编码获得的适于传输的数据；对图像数据进行解码，获得相应的图像；将解码获得的图像输入神经网络模型，获得模型输出图像；神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；作为训练样本的图像是将作为训练标签的图像依次经过缩小、编码和解码得到；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像。
在一个实施例中，获取图像数据的步骤包括：在目标终端采集到图像并将采集的图像编码为适于网络传输的图像数据后，接收目标终端通过网络传输的图像数据。
在一个实施例中，将解码获得的图像输入神经网络模型，获得模型输出图像的步骤包括：将解码获得的图像输入神经网络模型；通过神经网络模型，从输入的图像提取残差图像，并将输入的图像放大；残差图像比输入的图像的尺寸大；放大后的图像与残差图像尺寸一致；通过神经网络模型，根据残差图像和放大后的图像获得模型输出图像。
在一个实施例中，神经网络模型根据作为训练样本的图像、作为训练标签的图像和将作为训练标签的图像进行缩小时的缩放参数训练得到；将输入的图像放大，包括：按照输入神经网络模型的缩放比例，将输入的图像放大。
在一个实施例中，从输入的图像提取残差图像，包括：对输入的图像进行卷积处理，得到特征图；将特征图输入中间层单元，得到中间层单元输出的中间数据；对中间数据进行反卷积处理，得到残差图像。
在一个实施例中，中间层单元包括卷积层组、参数化修正线性单元层组和特征图求和层组；将特征图输入中间层单元，得到中间层单元输出的中间数据包括：输入特征图至中间层单元，依次通过中间层单元中的卷积层组和参数化修正线性单元层组，获得参数化修正线性单元层组输出的特征图；将参数化修正线性单元层组输出的特征图和输入中间层单元的特征图经过特征图求和层组进行求和处理，得到中间层单元输出的中间数据。
在一个实施例中，将特征图输入中间层单元，得到中间层单元输出的中间数据的步骤，包括：将特征图输入中间层单元的链式组合中首个的中间层单元；在链式组合中，从首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元；由链式组合末尾的中间层单元输出中间数据。
在一个实施例中，作为训练样本的图像依次经过缩小、编码和解码后的图像直接作为训练样本；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像的步骤，包括：通过与神经网络模型相互独立的程序，对模型输出图像进行图像增强处理，得到经过图像增强处理的图像。
在一个实施例中，计算机程序被处理器执行时，还使得处理器执行以下步骤：获取作为训练标签的图像；将所述图像缩小；对缩小后的图像进行适于传输的编码和解码，得到作为训练样本的图像；将作为训练标签的图像进行图像增强处理；根据经过图像增强处理的所述作为训练标签的图像，以及所述作为训练样本的图像训练神经网络模型；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像的步骤，包括：将模型输出图像直接作为将解码获得的图像放大后的、且经过图像增强处理的图像。
在一个实施例中，图像数据是对视频编码后得到的视频码流；图像是视频帧；计算机程序被处理器执行时，还使得处理器执行以下步骤：将经过图像增强处理的视频帧，按照输入神经网络模型的相应视频帧在视频中的顺序依次播放；和/或，将经过图像增强处理的视频帧，按照输入神经网络模型的相应视频帧在视频中的顺序依次合成为视频文件。
上述计算机可读存储介质，神经网络模型在训练时，以较大尺寸的图像作为训练标签，并将该较大尺寸的图像依次经过缩小、编码和解码后得到较小尺寸的图像，以该较小尺寸的图像作为训练样本。这样，训练得到的神经网络模型能够学习到恢复编解码和缩放带来的两种失真特性，利用该神经网络模型进行图像放大，可以尽量减少锯齿效应，从而尽量避免图像放大带来的失真。而且，对减少了锯齿效应的图像进行图像增强处理，可使得放大后的图像边缘更清晰，细节更丰富，图像显示效果更优。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取图像数据；图像数据是将图像编码获得的适于传输的数据；对图像数据进行解码，获得相应的图像；将解码获得的图像输入神经网络模型，获得模型输出图像；神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；作为训练样本的图像是将作为训练标签的图像依次经过缩小、编码和解码得到；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像。
在一个实施例中，获取图像数据的步骤包括：在目标终端采集到图像并将采集的图像编码为适于网络传输的图像数据后，接收目标终端通过网络传输的图像数据。
在一个实施例中，将解码获得的图像输入神经网络模型，获得模型输出图像的步骤包括：将解码获得的图像输入神经网络模型；通过神经网络模型，从输入的图像提取残差图像，并将输入的图像放大；残差图像比输入的图像的尺寸大；放大后的图像与残差图像尺寸一致；通过神经网络模型，根据残差图像和放大后的图像获得模型输出图像。
在一个实施例中，神经网络模型根据作为训练样本的图像、作为训练标签的图像和将作为训练标签的图像进行缩小时的缩放参数训练得到；将输入的图像放大，包括：按照输入神经网络模型的缩放比例，将输入的图像放大。
在一个实施例中，从输入的图像提取残差图像，包括：对输入的图像进行卷积处理，得到特征图；将特征图输入中间层单元，得到中间层单元输出的中间数据；对中间数据进行反卷积处理，得到残差图像。
在一个实施例中，中间层单元包括卷积层组、参数化修正线性单元层组和特征图求和层组；将特征图输入中间层单元，得到中间层单元输出的中间数据包括：输入特征图至中间层单元，依次通过中间层单元中的卷积层组和参数化修正线性单元层组，获得参数化修正线性单元层组输出的特征图；将参数化修正线性单元层组输出的特征图和输入中间层单元的特征图经过特征图求和层组进行求和处理，得到中间层单元输出的中间数据。
在一个实施例中，将特征图输入中间层单元，得到中间层单元输出的中间数据的步骤，包括：将特征图输入中间层单元的链式组合中首个的中间层单元；在链式组合中，从首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元；由链式组合末尾的中间层单元输出中间数据。
在一个实施例中，作为训练样本的图像依次经过缩小、编码和解码后的图像直接作为训练样本；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像的步骤，包括：通过与神经网络模型相互独立的程序，对模型输出图像进行图像增强处理，得到经过图像增强处理的图像。
在一个实施例中，计算机程序被处理器执行时，还使得处理器执行以下步骤：获取作为训练标签的图像；将所述图像缩小；对缩小后的图像进行适于传输的编码和解码，得到作为训练样本的图像；将作为训练标签的图像进行图像增强处理；根据经过图像增强处理的所述作为训练标签的图像，以及所述作为训练样本的图像训练神经网络模型；根据模型输出图像，获得将解码获得的图像放大后的、且经过图像增强处理的图像的步骤，包括：将模型输出图像直接作为将解码获得的图像放大后的、且经过图像增强处理的图像。
在一个实施例中，图像数据是对视频编码后得到的视频码流；图像是视频帧；计算机程序被处理器执行时，还使得处理器执行以下步骤：将经过图像增强处理的视频帧，按照输入神经网络模型的相应视频帧在视频中的顺序依次播放；和/或，将经过图像增强处理的视频帧，按照输入神经网络模型的相应视频帧在视频中的顺序依次合成为视频文件。
上述计算机设备，神经网络模型在训练时，以较大尺寸的图像作为训练标签，并将该较大尺寸的图像依次经过缩小、编码和解码后得到较小尺寸的图像，以该较小尺寸的图像作为训练样本。这样，训练得到的神经网络模型能够学习到恢复编解码和缩放带来的两种失真特性，利用该神经网络模型进行图像放大，可以尽量减少锯齿效应，从而尽量避免图像放大带来的失真。而且，对减少了锯齿效应的图像进行图像增强处理，可使得放大后的图像边缘更清晰，细节更丰富，图像显示效果更优。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种图像数据处理方法，所述方法包括：
获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；
对所述图像数据进行解码，获得相应的图像；
将解码获得的图像输入神经网络模型，通过所述神经网络模型，从输入的图像提取残差图像，并将所述输入的图像放大；所述残差图像比所述输入的图像的尺寸大；放大后的图像与所述残差图像尺寸一致；通过所述神经网络模型，根据所述残差图像和所述放大后的图像获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；
根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取图像数据，包括：
在目标终端采集到图像并将采集的图像编码为适于网络传输的图像数据后，接收所述目标终端通过网络传输的所述图像数据。
3.根据权利要求1所述的方法，其特征在于，所述神经网络模型根据作为训练样本的图像、作为训练标签的图像和将所述作为训练标签的图像进行缩小时的缩放参数训练得到；
所述将所述输入的图像放大，包括：
按照输入所述神经网络模型的缩放比例，将所述输入的图像放大。
4.根据权利要求1所述的方法，其特征在于，所述从输入的图像提取残差图像，包括：
对输入的图像进行卷积处理，得到特征图；
将所述特征图输入中间层单元，得到中间层单元输出的中间数据；
对所述中间数据进行反卷积处理，得到残差图像。
5.根据权利要求4所述的方法，其特征在于，所述中间层单元包括卷积层组、参数化修正线性单元层组和特征图求和层组；
所述将所述特征图输入中间层单元，得到中间层单元输出的中间数据包括：
输入所述特征图至中间层单元，依次通过所述中间层单元中的卷积层组和参数化修正线性单元层组，获得所述参数化修正线性单元层组输出的特征图；
将所述参数化修正线性单元层组输出的特征图和输入所述中间层单元的特征图经过所述特征图求和层组进行求和处理，得到中间层单元输出的中间数据。
6.根据权利要求4所述的方法，其特征在于，所述将所述特征图输入中间层单元，得到中间层单元输出的中间数据，包括：
将所述特征图输入中间层单元的链式组合中首个的中间层单元；
在所述链式组合中，从所述首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元；
由所述链式组合末尾的中间层单元输出中间数据。
7.根据权利要求1所述的方法，其特征在于，作为训练样本的图像依次经过缩小、编码和解码后的图像直接作为训练样本；
所述根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像，包括：
通过与所述神经网络模型相互独立的程序，对所述模型输出图像进行图像增强处理，得到经过图像增强处理的图像。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取作为训练标签的图像；
将所述图像缩小；
对缩小后的图像进行适于传输的编码和解码，得到作为训练样本的图像；
将作为训练标签的图像进行图像增强处理；
根据经过图像增强处理的所述作为训练标签的图像，以及所述作为训练样本的图像训练神经网络模型；
所述根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像，包括：
将所述模型输出图像直接作为将所述解码获得的图像放大后的、且经过图像增强处理的图像。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述图像数据是对视频编码后得到的视频码流；所述图像是视频帧；
所述方法还包括：
将经过图像增强处理的视频帧，按照输入所述神经网络模型的相应视频帧在所述视频中的顺序依次播放；和/或，
将经过图像增强处理的视频帧，按照输入所述神经网络模型的相应视频帧在所述视频中的顺序依次合成为视频文件。
10.一种图像数据处理装置，其特征在于，所述装置包括：
图像数据获取模块，用于获取图像数据；所述图像数据是将图像编码获得的适于传输的数据；
解码模块，用于对所述图像数据进行解码，获得相应的图像；
神经网络模型，用于输入解码获得的图像，通过所述神经网络模型，从输入的图像提取残差图像，并将所述输入的图像放大；所述残差图像比所述输入的图像的尺寸大；放大后的图像与所述残差图像尺寸一致；通过所述神经网络模型，根据所述残差图像和所述放大后的图像获得模型输出图像；所述神经网络模型根据作为训练样本的图像和作为训练标签的图像训练得到；所述作为训练样本的图像是将所述作为训练标签的图像依次经过缩小、编码和解码得到；
图像输出模块，用于根据所述模型输出图像，获得将所述解码获得的图像放大后的、且经过图像增强处理的图像。
11.根据权利要求10所述的装置，其特征在于，所述神经网络模型还用于对输入的图像进行卷积处理，得到特征图；将所述特征图输入中间层单元，得到中间层单元输出的中间数据；对所述中间数据进行反卷积处理，得到残差图像。
12.根据权利要求11所述的装置，其特征在于，所述中间层单元包括卷积层组、参数化修正线性单元层组和特征图求和层组；
所述神经网络模型还用于输入所述特征图至中间层单元，依次通过所述中间层单元中的卷积层组和参数化修正线性单元层组，获得所述参数化修正线性单元层组输出的特征图；还用于将所述参数化修正线性单元层组输出的特征图和输入所述中间层单元的特征图经过所述特征图求和层组进行求和处理，得到中间层单元输出的中间数据。
13.根据权利要求11所述的装置，其特征在于，所述神经网络模型还用于将所述特征图输入中间层单元的链式组合中首个的中间层单元；在所述链式组合中，从所述首个的中间层单元起，依次将每个非末尾的中间层单元输出的特征图输入至下一中间层单元；由所述链式组合末尾的中间层单元输出中间数据。
14.根据权利要求10所述的装置，其特征在于，作为训练样本的图像依次经过缩小、编码和解码后的图像直接作为训练样本；所述图像输出模块，是与所述神经网络模型相互独立的程序，用于对所述模型输出图像进行图像增强处理，得到经过图像增强处理的图像。
15.根据权利要求10所述的装置，其特征在于，所述装置还包括：
训练模块，用于获取作为训练标签的图像；将所述图像缩小；对缩小后的图像进行适于传输的编码和解码，得到作为训练样本的图像；将作为训练标签的图像进行图像增强处理；根据经过图像增强处理的所述作为训练标签的图像，以及所述作为训练样本的图像训练神经网络模型；
所述图像输出模块，还用于将所述模型输出图像直接作为将所述解码获得的图像放大后的、且经过图像增强处理的图像。
16.根据权利要求10至15中任一项所述的装置，其特征在于，所述图像数据是对视频编码后得到的视频码流；所述图像是视频帧；
所述装置还包括：播放模块和/或视频合成模块；
所述播放模块用于将经过图像增强处理的视频帧按照输入所述神经网络模型的相应视频帧在所述视频中的顺序依次播放；
所述视频合成模块用于将经过图像增强处理的视频帧按照输入所述神经网络模型的相应视频帧在所述视频中的顺序依次合成为视频文件。
17.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711466702.9A CN108305214B (zh) | 2017-12-28 | 2017-12-28 | 图像数据处理方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711466702.9A CN108305214B (zh) | 2017-12-28 | 2017-12-28 | 图像数据处理方法、装置、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108305214A CN108305214A (zh) | 2018-07-20 |
| CN108305214B true CN108305214B (zh) | 2019-09-17 |
Family
ID=62867959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711466702.9A Active CN108305214B (zh) | 2017-12-28 | 2017-12-28 | 图像数据处理方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108305214B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102022648B1 (ko) | 2018-08-10 | 2019-09-19 | 삼성전자주식회사 | 전자 장치, 이의 제어 방법 및 서버의 제어 방법 |
| CN108900894B (zh) * | 2018-08-16 | 2021-03-02 | 广州视源电子科技股份有限公司 | 视频数据的处理方法、装置和系统 |
| CN109308461A (zh) * | 2018-09-06 | 2019-02-05 | 广东智媒云图科技股份有限公司 | 一种车型图片修复训练样本的生成方法 |
| KR102525578B1 (ko) * | 2018-10-19 | 2023-04-26 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| CN109413434B (zh) * | 2018-11-08 | 2021-03-09 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、系统、存储介质和计算机设备 |
| CN111310515A (zh) * | 2018-12-11 | 2020-06-19 | 上海耕岩智能科技有限公司 | 编码遮罩生物特征分析方法、存储介质及神经网络 |
| KR20210004702A (ko) * | 2019-07-05 | 2021-01-13 | 삼성전자주식회사 | Ai 프로세서 및 이의 신경망 연산 수행 방법 |
| CN111010566A (zh) * | 2019-12-04 | 2020-04-14 | 杭州皮克皮克科技有限公司 | 一种基于非局部网络的视频压缩失真复原方法及系统 |
| CN112995673B (zh) * | 2019-12-13 | 2023-04-07 | 北京金山云网络技术有限公司 | 一种样本图像处理方法、装置、电子设备以及介质 |
| CN113301355B (zh) * | 2020-07-01 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 视频传输、直播与播放方法、设备及存储介质 |
| CN114821288A (zh) * | 2021-01-29 | 2022-07-29 | 中强光电股份有限公司 | 图像辨识方法以及无人机系统 |
| CN114390307A (zh) * | 2021-12-28 | 2022-04-22 | 广州虎牙科技有限公司 | 图像画质增强方法、装置、终端及可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105981051B (zh) * | 2014-10-10 | 2019-02-19 | 北京旷视科技有限公司 | 用于图像解析的分层互连多尺度卷积网络 |
| CN107220934B (zh) * | 2017-05-15 | 2021-03-30 | 北京小米移动软件有限公司 | 图像重建方法及装置 |
| CN107172428B (zh) * | 2017-06-06 | 2019-06-28 | 西安万像电子科技有限公司 | 图像的传输方法、装置和系统 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN107392865B (zh) * | 2017-07-01 | 2020-08-07 | 广州深域信息科技有限公司 | 一种人脸图像的复原方法 |
-
2017
- 2017-12-28 CN CN201711466702.9A patent/CN108305214B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108305214A (zh) | 2018-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108305214B (zh) | 图像数据处理方法、装置、存储介质和计算机设备 | |
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| CN106778995B (zh) | 一种与图像融合的艺术化二维码生成方法及装置 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN106937113B (zh) | 基于混合色度采样率的图像压缩方法和装置 | |
| CN110853110B (zh) | 一种基于生成对抗网络的图片自动调色方法 | |
| CN111510739B (zh) | 一种视频传输方法及装置 | |
| EP3586503B1 (en) | Method and device for reconstructing an hdr image | |
| CN110136057B (zh) | 一种图像超分辨率重建方法、装置及电子设备 | |
| CN108510560A (zh) | 图像处理方法、装置、存储介质和计算机设备 | |
| CN110913218A (zh) | 一种视频帧预测方法、装置及终端设备 | |
| CN110830808A (zh) | 一种视频帧重构方法、装置及终端设备 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| EP3477947A1 (en) | Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image | |
| US20230100615A1 (en) | Video processing method and apparatus, and device, decoder, system and storage medium | |
| CN115358911B (zh) | 屏幕水印的生成方法、装置、设备和计算机可读存储介质 | |
| CN113556582A (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
| CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
| Yue et al. | Recaptured screen image demoiréing in raw domain | |
| CN114157773B (zh) | 基于卷积神经网络和频域注意力的图像隐写方法 | |
| CN113592965A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Chung et al. | Effective content-aware chroma reconstruction method for screen content images | |
| CN111860363A (zh) | 一种视频图像的处理方法及装置、电子设备、存储介质 | |
| CN109996085B (zh) | 模型训练方法、图像处理方法、装置及电子设备 | |
| CN110677676A (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |