CN107743235A - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN107743235A CN107743235A CN201711031870.5A CN201711031870A CN107743235A CN 107743235 A CN107743235 A CN 107743235A CN 201711031870 A CN201711031870 A CN 201711031870A CN 107743235 A CN107743235 A CN 107743235A
- Authority
- CN
- China
- Prior art keywords
- picture
- convolutional neural
- neural networks
- compression
- depth convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明实施例提供一种图像处理方法、装置及电子设备，涉及图像处理技术领域。方法包括：获得待去除压缩失真的图片作为待处理图片；判断待处理图片对应的量化表是否为图像压缩标准推荐的量化表；若待处理图片对应的量化表并非图像压缩标准推荐的量化表，则从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集；使用参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到；使用新的深度卷积神经网络处理待处理图片。该图像处理方法、装置及电子设备，能够去除各类量化表带来的压缩失真，适用范围较广。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及电子设备。
背景技术
现在互联网上传播的图片大部分都经过JPEG(Joint Photographic ExpertsGroup，联合图像专家小组)图像压缩标准的压缩。经过压缩的JPEG图片所占用的存储空间和传输时所需要用的传输带宽比原图片有大大缩小，但是经过压缩的JPEG图片相应的也会出现图片质量降低的现象，称之为压缩失真现象。比较显著的压缩失真现象有图像块效应、振铃效应等。对于JPEG图片来说，压缩后的图像越小，压缩失真现象越严重。经研究发现，现有的图片处理方式适用性有限，存在不能有效去除压缩失真的现象。
发明内容
有鉴于此，本发明实施例的目的在于提供一种图像处理方法、装置及电子设备，以改善现有技术中图像处理方式适用性有待提高的问题。
本发明较佳实施例提供了一种图像处理方法，包括：
获得待去除压缩失真的图片作为待处理图片；
判断所述待处理图片对应的量化表是否为图像压缩标准推荐的量化表；
若所述待处理图片对应的量化表并非图像压缩标准推荐的量化表，则从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集；
使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，所述去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到；
使用所述新的深度卷积神经网络处理所述待处理图片。
可选地，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的步骤，包括：
构建与去除压缩失真的通用深度卷积神经网络具有相同参数的第一深度卷积神经网络；
将所述参考图片集中的各参考图片按照所述待处理图片对应的量化表压缩，得到压缩图片；
将所述参考图片和压缩图片分别切成图像块；
将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络。
可选地，将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络的步骤，包括：
将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，将均方误差作为损失函数，使用随机梯度下降算法迭代训练所述第一深度卷积神经网络，直至达到预设条件，则终止训练。
可选地，所述预设条件包括：所述损失函数不再下降，或者，所述迭代训练达到设定次数。
可选地，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的步骤，包括：
使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的最高的M层，其中，M大于等于1。
本发明另一较佳实施例提供了一种图像处理装置，包括：
图片获得模块，用于获得待去除压缩失真的图片作为待处理图片；
图片处理模块，用于判断所述待处理图片对应的量化表是否为图像压缩标准推荐的量化表，若所述待处理图片对应的量化表并非图像压缩标准推荐的量化表，则从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，所述去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到，使用所述新的深度卷积神经网络处理所述待处理图片。
可选地，所述图片处理模块包括：
构建单元，用于构建与去除压缩失真的通用深度卷积神经网络具有相同参数的第一深度卷积神经网络；
压缩单元，用于将所述参考图片集中的各参考图片按照所述待处理图片对应的量化表压缩，得到压缩图片；
切块单元，用于将所述参考图片和压缩图片分别切成图像块；
训练单元，用于将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络。
可选地，所述训练单元用于将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，将均方误差作为损失函数，使用随机梯度下降算法迭代训练所述第一深度卷积神经网络，直至达到预设条件，则终止训练。
本发明另一较佳实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法步骤。
本发明又一较佳实施例提供了一种计算机可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行上述图像处理方法。
本发明实施例提供的图像处理方法、装置及电子设备，在待处理图片对应的量化表并非图像压缩标准推荐的量化表的情况下，会从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集，使用参考图片集训练使用图像压缩标准推荐的量化表训练得到的、去除压缩失真的通用深度卷积神经网络，进而得到能够去除待处理图片压缩失真的新的深度卷积神经网络，进而完成对待处理图片的处理。根据该图像处理方案，能够去除各类量化表带来的压缩失真，适用范围较广。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的一种电子设备10的方框示意图。
图2为本发明较佳实施例提供的一种图像处理方法的流程图。
图3为一实施方式中图2所示步骤S24包括的子步骤的示意图。
图4为本发明较佳实施例提供的一种图像处理装置20的模块框图。
图5为一实施方式中图4所示图片处理模块22的方框示意图。
图标：10-电子设备；11-存储器；12-处理器；13-网络模块；20-图像处理装置；21-图片获得模块；22-图片处理模块；221-构建单元；222-压缩单元；223-切块单元；224-训练单元。
具体实施方式
现有技术中，去除压缩失真的方法包括训练一个深度神经网络，该深度神经网络的输入是有压缩失真的JPEG图片，输出是没有压缩失真的图片。该深度神经网络的训练集是大量有压缩失真与无压缩失真的图像对，其中有压缩失真的图像是无压缩失真图像经过JPEG压缩所得到的。经过训练，该深度神经网络最终可以学习到从有压缩失真的图像到无压缩失真图像的一个函数映射。
JPEG的压缩失真很大程度上由量化表决定，JPEG标准推荐了一组标准的量化表。但是，不同的JPEG图像可以自由地选取符合自己压缩需求的量化表。上述方式训练的深度神经网络在训练时的训练数据只能包括有限个量化表的JPEG图像对，因而在处理一个具有新的量化表的JPEG图像时，会出现不能有效去除压缩失真的现象。
基于上述研究，本发明实施例提供了一种可以自适应地去除基于各量化表的JPEG图像的压缩失真的方法。基于JPEG标准推荐的量化表训练一个通用的去除JPEG压缩失真的深度卷积神经网络。该深度卷积神经网络可以去除遇到的大部分JPEG图片的压缩失真。如果需要处理的当前图片不是根据JPEG标准推荐的量化表压缩的JPEG图片，则会提取当前图片的量化表来压缩一组参考图片集从而生成针对该量化表的训练集。用该训练集对通用的深度卷积神经网络进行在线的训练，训练完毕之后用新训练的深度神经网络去除当前图片的压缩失真。
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示，是本发明较佳实施例提供的电子设备10的方框示意图。本发明实施例中的电子设备10可以为具有图像处理功能的处理设备。如图1所示，电子设备10包括：存储器11、处理器12、网络模块13及图像处理装置20。
所述存储器11、处理器12以及网络模块13相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有图像处理装置20，所述图像处理装置20包括至少一个可以软件或固件(firmware)的形式存储于所述存储器11中的软件功能模块，所述处理器12通过运行存储在存储器11内的软件程序以及模块，如本发明实施例中的图像处理装置20，从而执行各种功能应用以及数据处理，即实现本发明实施例中的图像处理方法。
其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器11用于存储程序，所述处理器12在接收到执行指令后，执行所述程序。
所述处理器12可能是一种集成电路芯片，具有数据的处理能力。上述的处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块13用于通过网络建立电子设备10与外部通信终端之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解，图1所示的结构仅为示意，电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供一种计算机可读存储介质，所述可读存储介质包括计算机程序。所述计算机程序运行时控制所述可读存储介质所在电子设备10执行下面的图像处理方法。
请参阅图2，是本发明较佳实施例提供的一种图像处理方法的流程图。所述方法有关的流程所定义的方法步骤应用于电子设备10，可以由所述处理器12实现。下面将对图2所示的具体流程进行详细阐述。
步骤S21，获得待去除压缩失真的图片作为待处理图片。
步骤S22，判断所述待处理图片对应的量化表是否为图像压缩标准推荐的量化表，若所述待处理图片对应的量化表并非图像压缩标准推荐的量化表，则执行步骤S23～步骤S25，若所述待处理图片对应的量化表为图像压缩标准推荐的量化表，则执行步骤S26。
步骤S23，从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集。
可选地，预存的图片数据库中存储有包括不同场景、不同对象、不同角度、不同光照等的图片。选取出的参考图片为没有经过任何压缩的图片，为了确保后续处理效果，可选地，选取出的参考图片包含的内容尽可能丰富，具有较多细节信息，例如，可以包括不同场景、不同物体、不同光照等信息。从而使得构成的参考图片集内容尽更丰富。其中，参考图片的张数选择可以根据具体的应用场景灵活选择。
步骤S24，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，所述去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到。
由于深度卷积神经网络底层的特征一般是通用共享的，因而本发明实施例中可以只训练最上面的几个卷积层，便能够得到满足要求的新的深度卷积神经网络，既可以避免过拟合，也可以加快训练速度。
可选地，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的步骤，包括：使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的最高的M层，其中，M大于等于1。
本发明实施例提供了深度卷积神经网络的示例性结构，所使用的网络层包括卷积层，激活函数层(ReLU激活函数)和BN层，请参阅下表。
以M等于20为例，经过对通用深度卷积神经网络的最高二十层的处理，可得到能够去除待处理JPEG图片的压缩失真的新的深度卷积神经网络，进而得到一个没有压缩失真的图片。
其中，M决定着深度卷积神经网络去除经过新量化表压缩过的图片压缩痕迹的能力。假设M为1，则新训练的深度卷积神经网络基本上完全重用之前的深度卷积神经网络的特征，只是学习了一个新的重建层，此时，新训练的深度卷积神经网络可能并不能完全拟合新量化表带来的压缩失真。增大M值，深度卷积神经网络会得到更大的自由度，这样新训练的模型会更容易学习到如何去除新量化表带来的压缩失真。若持续增大M值，带来的副作用是此时深度卷积神经网络过于自由，有过拟合的危险，因而在实际应用中，M值可根据实际情况灵活调节。
一般情况下，JPEG压缩分别为颜色转换、DCT变换(Discrete Cosine Transform，离散余弦变换)、量化和编码。在量化步骤中会选取压缩质量因子，该压缩质量因子指示了彩色图片的压缩率，压缩质量是表征彩色图片图像质量的一个因素。量化阶段一般需要两个8*8量化矩阵表，一个是专门处理亮度的频率系数，另一个则是针对色度的频率系数，将频率系数除以量化表的值之后取整，即完成了量化过程。在JPEG压缩失真处理方法中，由于对亮度和色度的精度要求不同，可以分别对亮度和色度采用不同的量化表。下表为一示例性的标准量化表。
| 16 | 11 | 10 | 16 | 24 | 40 | 51 | 61 |
| 12 | 12 | 14 | 19 | 26 | 58 | 60 | 55 |
| 14 | 13 | 16 | 24 | 40 | 57 | 69 | 56 |
| 14 | 17 | 22 | 29 | 51 | 87 | 80 | 62 |
| 18 | 22 | 37 | 56 | 68 | 109 | 103 | 77 |
| 24 | 35 | 55 | 64 | 81 | 104 | 113 | 92 |
| 49 | 64 | 78 | 87 | 103 | 121 | 120 | 101 |
| 72 | 92 | 95 | 98 | 112 | 100 | 103 | 99 |
JPEG亮度量化表
| 17 | 18 | 24 | 47 | 99 | 99 | 99 | 99 |
| 18 | 21 | 26 | 66 | 99 | 99 | 99 | 99 |
| 24 | 26 | 56 | 99 | 99 | 99 | 99 | 99 |
| 47 | 66 | 99 | 99 | 99 | 99 | 99 | 99 |
| 99 | 99 | 99 | 99 | 99 | 99 | 99 | 99 |
| 99 | 99 | 99 | 99 | 99 | 99 | 99 | 99 |
| 99 | 99 | 99 | 99 | 99 | 99 | 99 | 99 |
| 99 | 99 | 99 | 99 | 99 | 99 | 99 | 99 |
JPEG色度量化表
图片经过JPEG压缩后可以显著减小所占的磁盘空间，但是图片质量不可避免的会降低。对于JPEG格式的图片，图片质量受压缩时所用的质量因子(quality factor)所控制。质量因子的取值从1到100，质量因子越大，压缩后图片质量越高。而质量因子是通过控制量化表来控制压缩程度的。
根据各待处理图片对应的量化表不同，如，若通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到，而待处理图片对应的量化表并非标准推荐的量化表，那么，去除该待处理图片压缩失真的深度卷积神经网络亦应该有差异。
请结合参阅图3，本发明实施例提供了其中一种使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的示例性实现方案。包括步骤S241～步骤S244四个子步骤。
步骤S241，构建与去除压缩失真的通用深度卷积神经网络具有相同参数的第一深度卷积神经网络。
其中，与去除压缩失真的通用深度卷积神经网络具有的相同参数指通用深度卷积神经网络中可以训练的参数。包括卷积层中的卷积参数，Batch norm层里面的参数。
步骤S242，将所述参考图片集中的各参考图片按照所述待处理图片对应的量化表压缩，得到压缩图片。
步骤S243，将所述参考图片和压缩图片分别切成图像块。
其中，图像块的大小可以灵活设置，例如，可以将参考图片和压缩图片切成256*256的图像块，将切成的图像块作为训练数据，如可以将90％的图像块作为训练数据，10％的图像块作为测试数据。
步骤S244，将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络。
可选地，本实施例中将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，将均方误差(Mean Squared Error，MSE)作为损失函数，使用随机梯度下降算法(stochastic gradient descent，SGD)迭代训练所述第一深度卷积神经网络，直至达到预设条件，则终止训练。
其中，均方误差计算的为第一深度卷积神经网络的输出与未经压缩的参考图片的图像块之间的均方误差。
预设条件可灵活设置，例如达到预设条件可以为损失函数不再下降，或者，所述迭代训练达到设定次数。
步骤S25，使用所述新的深度卷积神经网络处理所述待处理图片。
步骤S26，使用通用度卷积神经网络处理所述待处理图片。
本发明实施例中的图像处理方法，能够改善现有技术中的去除压缩失真方案不能适应不同量化表的缺点。本发明实施例通过在线的训练，可以去除任意量化表带来的压缩失真，通过控制训练的层数，可以灵活平衡计算量和去除压缩失真的效果。
在上述基础上，如图4所示，本发明实施例提供了一种图像处理装置20，应用于电子设备10，该图像处理装置20包括图片获得模块21和图片处理模块22。
其中，图片获得模块21用于获得待去除压缩失真的图片作为待处理图片。
由于图片获得模块21和图2中步骤S21的实现原理类似，因而在此不作更多说明。
图片处理模块22用于判断所述待处理图片对应的量化表是否为图像压缩标准推荐的量化表，若所述待处理图片对应的量化表并非图像压缩标准推荐的量化表，则从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，所述去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到，使用所述新的深度卷积神经网络处理所述待处理图片。
由于图片处理模块22和图2中步骤S22～步骤S26的实现原理类似，因而在此不作更多说明。
可选地，所述图片处理模块22包括构建单元221、压缩单元222、切块单元223和训练单元224。
其中，构建单元221用于构建与去除压缩失真的通用深度卷积神经网络具有相同参数的第一深度卷积神经网络。
由于构建单元221和图3中步骤S241的实现原理类似，因而在此不作更多说明。
压缩单元222用于将所述参考图片集中的各参考图片按照所述待处理图片对应的量化表压缩，得到压缩图片。
由于压缩单元222和图3中步骤S242的实现原理类似，因而在此不作更多说明。
切块单元223用于将所述参考图片和压缩图片分别切成图像块。
由于切块单元223和图3中步骤S243的实现原理类似，因而在此不作更多说明。
训练单元224用于将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络。
由于训练单元224和图3中步骤S244的实现原理类似，因而在此不作更多说明。
可选地，所述训练单元224用于将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，将均方误差作为损失函数，使用随机梯度下降算法迭代训练所述第一深度卷积神经网络，直至达到预设条件，则终止训练。
本发明实施例中的图像处理方法、装置及电子设备10在待处理图片对应的量化表并非图像压缩标准推荐的量化表的情况下，会从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集，使用参考图片集训练使用图像压缩标准推荐的量化表训练得到的、去除压缩失真的通用深度卷积神经网络，进而得到能够去除待处理图片压缩失真的新的深度卷积神经网络，进而完成对待处理图片的处理。根据该图像处理方案，能够去除各类量化表带来的压缩失真，适用范围较广。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备10，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的可选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获得待去除压缩失真的图片作为待处理图片；
判断所述待处理图片对应的量化表是否为图像压缩标准推荐的量化表；
若所述待处理图片对应的量化表并非图像压缩标准推荐的量化表，则从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集；
使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，所述去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到；
使用所述新的深度卷积神经网络处理所述待处理图片。
2.根据权利要求1所述的图像处理方法，其特征在于，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的步骤，包括：
构建与去除压缩失真的通用深度卷积神经网络具有相同参数的第一深度卷积神经网络；
将所述参考图片集中的各参考图片按照所述待处理图片对应的量化表压缩，得到压缩图片；
将所述参考图片和压缩图片分别切成图像块；
将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络。
3.根据权利要求2所述的图像处理方法，其特征在于，将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络的步骤，包括：
将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，将均方误差作为损失函数，使用随机梯度下降算法迭代训练所述第一深度卷积神经网络，直至达到预设条件，则终止训练。
4.根据权利要求3所述的图像处理方法，其特征在于，所述预设条件包括：所述损失函数不再下降，或者，所述迭代训练达到设定次数。
5.根据权利要求1～4任一项所述的图像处理方法，其特征在于，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的步骤，包括：
使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络的最高的M层，其中，M大于等于1。
6.一种图像处理装置，其特征在于，包括：
图片获得模块，用于获得待去除压缩失真的图片作为待处理图片；
图片处理模块，用于判断所述待处理图片对应的量化表是否为图像压缩标准推荐的量化表，若所述待处理图片对应的量化表并非图像压缩标准推荐的量化表，则从预存的图片数据库中选取多张未经过压缩的参考图片构成参考图片集，使用所述参考图片集训练去除压缩失真的通用深度卷积神经网络，得到新的深度卷积神经网络，其中，所述去除压缩失真的通用深度卷积神经网络使用图像压缩标准推荐的量化表训练得到，使用所述新的深度卷积神经网络处理所述待处理图片。
7.根据权利要求6所述的图像处理装置，其特征在于，所述图片处理模块包括：
构建单元，用于构建与去除压缩失真的通用深度卷积神经网络具有相同参数的第一深度卷积神经网络；
压缩单元，用于将所述参考图片集中的各参考图片按照所述待处理图片对应的量化表压缩，得到压缩图片；
切块单元，用于将所述参考图片和压缩图片分别切成图像块；
训练单元，用于将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，训练所述第一深度卷积神经网络。
8.根据权利要求7所述的图像处理装置，其特征在于，所述训练单元用于将所述压缩图片的图像块作为输入，将所述参考图片的图像块作为监督信号，将均方误差作为损失函数，使用随机梯度下降算法迭代训练所述第一深度卷积神经网络，直至达到预设条件，则终止训练。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～5任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行权利要求1～5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711031870.5A CN107743235B (zh) | 2017-10-27 | 2017-10-27 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711031870.5A CN107743235B (zh) | 2017-10-27 | 2017-10-27 | 图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107743235A true CN107743235A (zh) | 2018-02-27 |
| CN107743235B CN107743235B (zh) | 2019-09-27 |
Family
ID=61232998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711031870.5A Active CN107743235B (zh) | 2017-10-27 | 2017-10-27 | 图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107743235B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830288A (zh) * | 2018-04-25 | 2018-11-16 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络的训练方法、装置、设备及介质 |
| CN109257600A (zh) * | 2018-11-28 | 2019-01-22 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
| CN109413152A (zh) * | 2018-09-25 | 2019-03-01 | 上海瑾盛通信科技有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111429142A (zh) * | 2020-06-10 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
| CN111683244A (zh) * | 2018-04-30 | 2020-09-18 | 迪斯尼企业公司 | 用于多个质量等级上的失真去除的系统和方法 |
| CN111869220A (zh) * | 2018-03-06 | 2020-10-30 | 三星电子株式会社 | 电子装置及其控制方法 |
| WO2022170569A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 数据处理方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2418093A (en) * | 2004-09-09 | 2006-03-15 | Imagination Tech Ltd | Method for removing blocky compression artefacts |
| CN104581158A (zh) * | 2013-10-16 | 2015-04-29 | 中兴通讯股份有限公司 | 量化表、图像压缩处理方法、装置、终端及图像搜索系统 |
| CN107197260A (zh) * | 2017-06-12 | 2017-09-22 | 清华大学深圳研究生院 | 基于卷积神经网络的视频编码后置滤波方法 |
-
2017
- 2017-10-27 CN CN201711031870.5A patent/CN107743235B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2418093A (en) * | 2004-09-09 | 2006-03-15 | Imagination Tech Ltd | Method for removing blocky compression artefacts |
| CN104581158A (zh) * | 2013-10-16 | 2015-04-29 | 中兴通讯股份有限公司 | 量化表、图像压缩处理方法、装置、终端及图像搜索系统 |
| CN107197260A (zh) * | 2017-06-12 | 2017-09-22 | 清华大学深圳研究生院 | 基于卷积神经网络的视频编码后置滤波方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111869220A (zh) * | 2018-03-06 | 2020-10-30 | 三星电子株式会社 | 电子装置及其控制方法 |
| US11153575B2 (en) * | 2018-03-06 | 2021-10-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| CN111869220B (zh) * | 2018-03-06 | 2022-11-22 | 三星电子株式会社 | 电子装置及其控制方法 |
| CN108830288A (zh) * | 2018-04-25 | 2018-11-16 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络的训练方法、装置、设备及介质 |
| US11334763B2 (en) | 2018-04-25 | 2022-05-17 | Beijing Sensetime Technology Development Co., Ltd. | Image processing methods, training methods, apparatuses, devices, media, and programs |
| CN111683244A (zh) * | 2018-04-30 | 2020-09-18 | 迪斯尼企业公司 | 用于多个质量等级上的失真去除的系统和方法 |
| CN109413152A (zh) * | 2018-09-25 | 2019-03-01 | 上海瑾盛通信科技有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109413152B (zh) * | 2018-09-25 | 2021-02-26 | 上海瑾盛通信科技有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109257600A (zh) * | 2018-11-28 | 2019-01-22 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
| CN109257600B (zh) * | 2018-11-28 | 2020-11-17 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
| CN111429142A (zh) * | 2020-06-10 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
| WO2022170569A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 数据处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107743235B (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107743235B (zh) | 图像处理方法、装置及电子设备 | |
| US10462476B1 (en) | Devices for compression/decompression, system, chip, and electronic device | |
| CN104683801B (zh) | 图像压缩方法和装置 | |
| US10397622B2 (en) | Data adaptive compression and data encryption using kronecker products | |
| CN110267045A (zh) | 一种视频处理及编码的方法、装置及可读存储介质 | |
| CN102630011A (zh) | 一种视频传感器网络中的压缩感知编解码方法及系统 | |
| CN107481209B (zh) | 一种基于卷积神经网络的图像或视频质量增强方法 | |
| CN107211133A (zh) | 反量化变换系数的方法、装置及解码设备 | |
| CN109087255A (zh) | 一种基于混合损失的轻量级深度图像去噪方法 | |
| WO2012138568A1 (en) | System and method for encoding and decoding anti-aliased video data | |
| CN109766949A (zh) | 卷积神经网络轻量化方法、装置及电子设备 | |
| Sun et al. | Dictionary learning for image coding based on multisample sparse representation | |
| CN109982071A (zh) | 基于时空复杂性度量及局部预测残差分布的hevc双压缩视频检测方法 | |
| Chakraborty et al. | MAGIC: Machine-learning-guided image compression for vision applications in Internet of Things | |
| CN104581158A (zh) | 量化表、图像压缩处理方法、装置、终端及图像搜索系统 | |
| CN105389825A (zh) | 图像处理方法及系统 | |
| CN110352599A (zh) | 用于视频处理的方法和设备 | |
| CN107155364A (zh) | 使用几何图元处理基于图的信号的方法和装置 | |
| CN116095321A (zh) | 显著性区域图像编解码方法、系统、设备及存储介质 | |
| CN110855990B (zh) | 图像编码、解码方法、计算机设备和图像处理系统 | |
| CN107087169A (zh) | 一种压缩方法、uvc视频设备及电子设备 | |
| CN113810695A (zh) | 视频编码方法、装置及计算机可读存储介质 | |
| CN112991476B (zh) | 基于深度压缩域特征的场景分类方法、系统及设备 | |
| CN104754360B (zh) | 用于自由视点视频编码过程中的负载预测方法及装置 | |
| CN113052258B (zh) | 基于中间层特征图压缩的卷积方法、模型及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |