CN110288518A - 图像处理方法、装置、终端及存储介质 - Google Patents
图像处理方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN110288518A CN110288518A CN201910579997.3A CN201910579997A CN110288518A CN 110288518 A CN110288518 A CN 110288518A CN 201910579997 A CN201910579997 A CN 201910579997A CN 110288518 A CN110288518 A CN 110288518A
- Authority
- CN
- China
- Prior art keywords
- image
- convolutional layer
- original image
- network
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims abstract description 85
- 238000000605 extraction Methods 0.000 claims abstract description 75
- 230000008859 change Effects 0.000 claims description 58
- 239000000284 extract Substances 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000017105 transposition Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 230000002411 adverse Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000003321 amplification Effects 0.000 description 13
- 238000003199 nucleic acid amplification method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000009434 installation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000003475 lamination Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T3/04—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像处理方法、装置、终端及存储介质，属于多媒体技术领域。本发明通过特征提取网络，能够基于原始图像，实现循环执行多次基于残差结构的卷积操作，由于基于残差结构能够使得特征提取网络更加充分地利用每次卷积操作所得的结果，也就提升了目标图像与原始图像之间的相似度，而循环执行多次上述卷积操作能够避免对终端上应用客户端的下载效率造成不良影响，并且大大提升了图像处理过程的准确度和智能性。
Description
技术领域
本发明涉及多媒体技术领域，特别涉及一种图像处理方法、装置、终端及存储介质。
背景技术
随着多媒体技术的发展，存在着越来越多对图像分辨率进行改变的需求。然而，在放大图像分辨率的同时通常会伴随着细节信息(例如纹理、轮廓等信息)的损失，为了追求更好的视觉效果，如何在放大图像分辨率的同时不对图像细节信息造成损失，则成为一个亟需解决的问题，上述问题通常也可以称为超分辨率(super-resolution)图像的重建问题。
目前，终端可以通过如下图像处理方式来进行重建：终端上的应用客户端对原始图像进行上采样，得到尺寸大于该原始图像的上采样图像，利用CNN(convolutionalneural networks，卷积神经网络)中多个级联的卷积层，对原始图像进行特征提取，每个卷积层的输出图像作为下一个卷积层的输入图像，最后一个卷积层的输出图像即为特征图像，将该上采样图像与该特征图像进行融合之后，能够得到尺寸和分辨率均大于原始图像的图像。
在上述方式中，由于CNN是由多个卷积层简单级联而成的，也就是说CNN中每一个卷积层仅能继承上一个卷积层输出的特征图像，使得该特征图像会丢失原始图像中的细节信息，导致处理前后的图像之间的相似度不高。而如果通过加深CNN的深度来提取更多的细节信息，则会增大CNN所占用的空间，也就增大了应用客户端的安装包大小，影响了终端上应用客户端的下载效率。因此，如何在不影响终端上应用客户端的下载效率的基础上，提升图像处理过程中准确度和智能性，成为了一个有待解决的难题。
发明内容
本发明实施例提供了一种图像处理方法、装置、终端及存储介质,能够在不影响终端上应用客户端的下载效率的基础上，解决图像处理过程中准确度低、智能性差的问题。该技术方案如下：
一方面，提供了一种图像处理方法，该方法包括：
对原始图像进行尺寸变换，得到第一图像；
将所述原始图像输入特征提取网络，通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像，所述第二图像用于表示所述原始图像的特征信息；
基于所述第一图像和所述第二图像，获取目标图像，所述目标图像的分辨率大于所述原始图像的分辨率，且所述目标图像与所述第一图像尺寸相同。
在一种可能实施方式中，所述通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像包括：
通过所述特征提取网络中的多个卷积层，对所述原始图像进行基于残差结构的卷积操作；
将所述多个卷积层中最后一个卷积层的输出图与所述原始图像融合之后，输入所述多个卷积层中的第一个卷积层，循环调用所述多个卷积层执行所述基于残差结构的卷积操作，直到达到第一目标次数；
将所述最后一个卷积层在所述第一目标次数时的输出图确定为所述第二图像。
在一种可能实施方式中，所述将所述原始图像输入特征提取网络，通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像之前，所述方法还包括：
对所述原始图像进行升维处理，将升维后的原始图像输入所述特征提取网络。
在一种可能实施方式中，所述基于所述第一图像和所述第二图像，获取目标图像包括：
对所述第二图像进行尺寸变换和降维处理，得到维度和尺寸均与所述第一图像相同的第三图像；
将所述第三图像与所述第一图像进行融合处理，得到所述目标图像。
在一种可能实施方式中，所述方法还包括：
将目标图像作为下一次图像处理过程中的原始图像，重复执行所述图像处理方法，直到达到第二目标次数；
获取每次图像处理过程中得到的多个目标图像，所述多个目标图像的分辨率呈递增状态。
在一种可能实施方式中，所述方法还包括：
对任一次图像处理过程，对所述任一次图像处理过程中特征提取网络的输出图进行尺寸变换；
获取所述任一次图像处理过程中目标图像的注意力权重矩阵，所述注意力权重矩阵中任一个元素用于表示所述目标图像中一个像素点的注意力权重；
将尺寸变换后的输出图与所述注意力权重矩阵相乘所得的图像，输入下一次图像处理过程中的特征提取网络。
在一种可能实施方式中，所述对原始图像进行尺寸变换，得到第一图像包括：
对所述原始图像进行转置卷积、上池化或者上采样中的至少一项处理，得到所述第一图像。
在一种可能实施方式中，所述特征提取网络中包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，所述目标数量个卷积层中每个卷积层与至少一个卷积层相连。
一方面，提供了一种图像处理装置，该装置包括：
尺寸变换模块，用于对原始图像进行尺寸变换，得到第一图像；
循环卷积模块，用于将所述原始图像输入特征提取网络，通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像，所述第二图像用于表示所述原始图像的特征信息；
获取模块，用于基于所述第一图像和所述第二图像，获取目标图像，所述目标图像的分辨率大于所述原始图像的分辨率，且所述目标图像与所述第一图像尺寸相同。
在一种可能实施方式中，所述循环卷积模块用于：
通过所述特征提取网络中的多个卷积层，对所述原始图像进行基于残差结构的卷积操作；
将所述多个卷积层中最后一个卷积层的输出图与所述原始图像融合之后，输入所述多个卷积层中的第一个卷积层，循环调用所述多个卷积层执行所述基于残差结构的卷积操作，直到达到第一目标次数；
将所述最后一个卷积层在所述第一目标次数时的输出图确定为所述第二图像。
在一种可能实施方式中，所述装置还包括：
对所述原始图像进行升维处理，将升维后的原始图像输入所述特征提取网络。
在一种可能实施方式中，所述获取模块用于：
对所述第二图像进行尺寸变换和降维处理，得到维度和尺寸均与所述第一图像相同的第三图像；
将所述第三图像与所述第一图像进行融合处理，得到所述目标图像。
在一种可能实施方式中，所述装置还包括：
将目标图像作为下一次图像处理过程中的原始图像，重复执行所述图像处理方法，直到达到第二目标次数；
获取每次图像处理过程中得到的多个目标图像，所述多个目标图像的分辨率呈递增状态。
在一种可能实施方式中，所述装置还包括：
对任一次图像处理过程，对所述任一次图像处理过程中特征提取网络的输出图进行尺寸变换；
获取所述任一次图像处理过程中目标图像的注意力权重矩阵，所述注意力权重矩阵中任一个元素用于表示所述目标图像中一个像素点的注意力权重；
将尺寸变换后的输出图与所述注意力权重矩阵相乘所得的图像，输入下一次图像处理过程中的特征提取网络。
在一种可能实施方式中，所述尺寸变换模块用于：
对所述原始图像进行转置卷积、上池化或者上采样中的至少一项处理，得到所述第一图像。
在一种可能实施方式中，所述特征提取网络中包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，所述目标数量个卷积层中每个卷积层与至少一个卷积层相连。
一方面，提供了一种终端，该终端包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条指令，该至少一条指令由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的图像处理方法所执行的操作。
一方面，提供了一种存储介质，该存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现如上述任一种可能实现方式的图像处理方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过特征提取网络，能够基于原始图像，实现循环执行多次基于残差结构的卷积操作，由于基于残差结构能够使得特征提取网络更加充分地利用每次卷积操作所得的结果，使得该特征提取网络所输出的第二图像能够保留原始图像中尽可能多的细节信息，也就提升了目标图像与原始图像之间的相似度，而循环执行多次上述卷积操作能够在加深特征提取网络深度的同时，避免增加特征提取网络所占用的空间，从而不会增大终端上应用客户端的安装包大小，也就不会对应用客户端的下载效率造成不良影响，因此，本发明能够在不对终端上应用客户端的下载效率造成不良影响的基础上，提升了图像处理过程的准确度，提升了图像处理过程的智能性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的实施环境示意图；
图2是本发明实施例提供的一种图像处理方法的流程图；
图3是本发明实施例提供的一种图像处理方法的流程图；
图4是本发明实施例提供的一种第一特征提取网络的示意图；
图5是本发明实施例提供的一种图像处理方法的流程图；
图6是本发明实施例提供的一种特征提取网络连接方法的示意图；
图7是本发明实施例提供的一种图像处理方法的原理性示意图；
图8是本发明实施例提供的一种测试结果的示意图；
图9是本发明实施例提供的一种图像处理装置的结构示意图；
图10是本发明实施例提供的终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种图像处理方法的实施环境示意图。参见图1，该实施例包括终端101和服务器102，下面进行详述。
可选地，该终端101可以独立实现本发明实施例所提供的图像处理方法，其中，该终端101可以是任一能够进行图像处理的电子设备，在该终端101上可以安装有图像处理客户端，从而使得用户可以基于该图像处理客户端执行本发明实施例所提供的图像处理方法，当然，用户还可以基于终端提供的图像处理接口执行本发明实施例所提供的图像处理方法。
可选地，终端101还可以在与服务器102的交互过程中，实现本发明实施例所提供的图像处理方法，其中，该服务器102可以是任一能够提供图像处理服务的计算机设备，用户在登录终端101之后，能够将任一原始图像发送至服务器102，从而由服务器102对该原始图像进行图像处理，输出至少一张分辨率大于该原始图像的目标图像。
其中，该原始图像可以是任一类型的图像，例如，该原始图像可以是卡通图像、人脸图像、医学影像、卫星影像等，本发明实施例不对该原始图像的类型进行具体限定。
示意性地，本发明实施例可以应用于弱网环境(指较差的网络环境，通常表现为低网速、高延迟、易丢包)下的图像加载任务，终端向服务器发送图像加载请求，当服务器接收到该图像加载请求，可以将图像加载请求所指示的分辨率较高的图像压缩为分辨率较低的图像，从而能够压缩在图像传输过程中的数据包大小，终端从服务器上下载该压缩后的图像，再基于本发明实施例中的图像处理方法，将该压缩后的图像重建为一张分辨率较高的图像。在上述过程中，由于终端下载的图像数据包较小，因此即使在弱网环境下也能够保证流畅的加载速度，提升了浏览图像时的用户体验。
例如，原本终端需要加载一张10M大小的图像，服务器接收到终端的图像加载请求之后，将该图像的大小从10M压缩为100k，向终端返回上述100k的图像，终端接收该100k的图像之后，在本地恢复成10M的图像，大大提升了图像加载的速度。
示意性地，本发明实施例可以应用于刑侦领域，终端101获取监控视频中识别出的人脸图像，由于识别出的人脸图像通常分辨率较低、难以辨认面部特征，终端101基于本发明实施例的图像处理方法，对该人脸图像进行超分辨率的重建，输出分辨率大于该人脸图像的目标图像，能够协助加快案件的侦破速度。
示意性地，本发明实施例还可以应用于医疗领域，终端101获取仪器拍摄出的医学影像(例如乳腺图像、胃部图像、肺部图像等)，由于医学影像有可能分辨率较低，影响用户诊断的准确性，终端101基于本发明实施例的图像处理方法，对该医学影像进行超分辨率的重建，输出分辨率大于该医学影像的目标图像，能够减少由于图像分辨率低而造成的误诊事件。
需要说明的是，上述终端101的数量可以是一个或多个，上述服务器102可以是单机设备也可以是集群设备，本发明实施例不对终端101的数量和服务器102的设备类型进行具体限定。
图2是本发明实施例提供的一种图像处理方法的流程图，参见图2，该实施例应用于终端，该实施例包括：
201、终端对原始图像进行尺寸变换，得到第一图像。
202、终端将该原始图像输入特征提取网络，通过该特征提取网络，基于该原始图像循环执行多次基于残差结构的卷积操作，输出第二图像，该第二图像用于表示该原始图像的特征信息。
203、终端基于该第一图像和该第二图像，获取目标图像，该目标图像的分辨率大于该原始图像的分辨率，且该目标图像与该第一图像尺寸相同。
本发明实施例提供的方法，通过特征提取网络，能够基于原始图像，实现循环执行多次基于残差结构的卷积操作，由于基于残差结构能够使得特征提取网络更加充分地利用每次卷积操作所得的结果，使得该特征提取网络所输出的第二图像能够保留原始图像中尽可能多的细节信息，也就提升了目标图像与原始图像之间的相似度，而循环执行多次上述卷积操作能够在加深特征提取网络深度的同时，避免增加特征提取网络所占用的空间，从而不会增大终端上应用客户端的安装包大小，也就不会对应用客户端的下载效率造成不良影响，因此，本发明能够在不对终端上应用客户端的下载效率造成不良影响的基础上，提升了图像处理过程的准确度，提升了图像处理过程的智能性。
在一种可能实施方式中，通过该特征提取网络，基于该原始图像循环执行多次基于残差结构的卷积操作，输出第二图像包括：
通过该特征提取网络中的多个卷积层，对该原始图像进行基于残差结构的卷积操作；
将该多个卷积层中最后一个卷积层的输出图与该原始图像融合之后，输入该多个卷积层中的第一个卷积层，循环调用该多个卷积层执行该基于残差结构的卷积操作，直到达到第一目标次数；
将该最后一个卷积层在该第一目标次数时的输出图确定为该第二图像。
在一种可能实施方式中，将该原始图像输入特征提取网络，通过该特征提取网络，基于该原始图像循环执行多次基于残差结构的卷积操作，输出第二图像之前，该方法还包括：
对该原始图像进行升维处理，将升维后的原始图像输入该特征提取网络。
在一种可能实施方式中，基于该第一图像和该第二图像，获取目标图像包括：
对该第二图像进行尺寸变换和降维处理，得到维度和尺寸均与该第一图像相同的第三图像；
将该第三图像与该第一图像进行融合处理，得到该目标图像。
在一种可能实施方式中，该方法还包括：
将目标图像作为下一次图像处理过程中的原始图像，重复执行该图像处理方法，直到达到第二目标次数；
获取每次图像处理过程中得到的多个目标图像，该多个目标图像的分辨率呈递增状态。
在一种可能实施方式中，该方法还包括：
对任一次图像处理过程，对该任一次图像处理过程中特征提取网络的输出图进行尺寸变换；
获取该任一次图像处理过程中目标图像的注意力权重矩阵，该注意力权重矩阵中任一个元素用于表示该目标图像中一个像素点的注意力权重；
将尺寸变换后的输出图与该注意力权重矩阵相乘所得的图像，输入下一次图像处理过程中的特征提取网络。
在一种可能实施方式中，对原始图像进行尺寸变换，得到第一图像包括：
对该原始图像进行转置卷积、上池化或者上采样中的至少一项处理，得到该第一图像。
在一种可能实施方式中，该特征提取网络中包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，该目标数量个卷积层中每个卷积层与至少一个卷积层相连。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图3是本发明实施例提供的一种图像处理方法的流程图。参见图3，该实施例应用于终端，该实施例以特征提取网络为第一特征提取网络，且仅获取一个目标图像为例进行说明，具体包括下述步骤：
301、终端对原始图像进行尺寸变换，得到第一图像。
其中，该原始图像可以是任一类型的图像，例如，该原始图像可以是卡通图像、人脸图像、医学影像、卫星影像等，本发明实施例不对该原始图像的类型进行具体限定。可选地，该原始图像可以是预存在终端本地数据库中的图像，该原始图像还可以是从不在本地的设备(例如云端服务器)上下载的图像。
在一些实施例中，终端还可以通过对初始图像进行色彩空间转换，获取该原始图像，例如，终端可以将初始图像从RGB(红绿蓝)色彩空间转化至YCbCr色彩空间，提取YCbCr空间中的Y通道图像，将该Y通道图像获取为该原始图像。
其中，在YCbCr空间中，Y通道表示初始图像的亮度分量信息，Cb通道表示初始图像的蓝色色度分量信息，Cr通道表示初始图像的红色色度分量信息。其中，该初始图像也可以是任一内容的图像，该初始图像也可以是本地数据库中预存的，也可以来自于云端服务器，这里不做赘述。
在上述过程中，由于在后续对原始图像进行特征提取时，无需关注色度分量信息，因此通过对初始图像进行预处理，能够从初始图像中将亮度分量信息(也即是Y通道图像)分离出来，将Y通道图像获取为原始图像之后，可以在后续特征提取中，节约对Cb通道和Cr通道的冗余计算量，大大提升了图像处理的速度，缩短了图像处理的耗时。
在上述过程中，终端可以为原始图像设置尺寸变换系数，基于该尺寸变换系数对该原始图像进行尺寸变换，得到第一图像，其中，该尺寸变换系数可以是任一大于0的数值。
在一些实施例中，根据尺寸变换系数的不同，该尺寸变换可以是尺寸放大(尺寸变换系数大于1)，可以是尺寸缩小(尺寸变换系数大于0且小于1)，需要说明的是，在一种特殊情况下，当尺寸变换系数等于1时，第一图像的尺寸与第二图像的尺寸相同。例如，假设原始图像为1×1的矩形图像，当该尺寸变换系数为2时，则第一图像为2×2的矩形图像，又比如，当该尺寸变换系数为0.5时，则第一图像为0.5×0.5的矩形图像。
在上述步骤301中，终端在进行尺寸变换时，如果尺寸变换系数大于1，那么终端可以对该原始图像进行转置卷积(transposed convolution)、上池化(unpooling)或者上采样(unsampling)中的至少一项处理，得到该第一图像，从而能够快速便捷地进行尺寸变换。
可选地，终端在进行上采样时可以使用最近邻插值法、双线性插值法(bilinearinterpolation)、双三次插值法(bicubic interpolation)等，本发明实施例不对终端进行尺寸变换的方式进行具体限定。
在一些实施例中，如果尺寸变换系数大于0且小于1，那么终端可以对该原始图像进行卷积(convolution)、池化(pooling)或者下采样(subsampling)中的至少一项处理，得到该第一图像，这里不做赘述。
302、终端对该原始图像进行升维处理，将升维后的原始图像输入第一特征提取网络。
在上述步骤302中，终端可以通过升维卷积层进行升维处理，其中，该升维卷积层中可以包括一个或多个尺寸为1×1的卷积核，通过控制卷积核的个数能够控制输出的第二图像的维度，也即是说，该第二图像的维度数目等于该升维卷积层中所采用的卷积核个数。
例如，在该升维卷积层中可以包括64个尺寸为1×1的卷积核，将原始图像输入该升维卷积层之后，假设该原始图像为维度为1，那么该升维卷积层输出的图像维度为64。
在上述步骤302中，由于通过升维处理，在原始图像输入第一特征提取网络之前就能够对原始图像进行维度提升，而通过第一特征提取网络对高维度的原始图像进行特征提取时，有利于提取到更多高维度的特征，因此能够避免丢失原始图像中的细节信息。
需要说明的是，终端也可以不执行上述步骤302，也即是说不对原始图像进行升维处理，而是直接将原始图像输入下述第一特征提取网络，从而能够减少图像处理过程的计算量，提升图像处理过程的速度。
303、终端通过该第一特征提取网络中的多个卷积层，对该升维后的原始图像进行基于残差结构的卷积操作。
可选地，该第一特征提取网络中可以包括多个卷积层，该多个卷积层中相邻的卷积层串联连接，且该多个卷积层中存在不相邻的卷积层基于残差结构进行跳跃连接(skipconnection，通常也可以称之为short-cut)。
例如，在该多个卷积层中，可以每间隔一个卷积层进行一次跳跃连接，也可以每间隔多个卷积层进行一次跳跃连接，当然，还可以是所有不相邻的各个卷积层均进行跳跃连接，本发明实施例不对残差结构的连接方式进行具体限定。
在一些实施例中，该多个卷积层之间的连接方式可以与残差网络(residualnetworks，ResNet)类似，也即是该多个卷积层中每间隔两个卷积层进行一次跳跃连接，从而能够以较为节约的网络结构实现残差连接，简化第一特征提取网络的计算逻辑。
在一些实施例中，该多个卷积层之间的连接方式还可以与密集卷积网络(denselyconnected convolutional networks，DenseNet)类似，也即是将该多个卷积层划分为多个密集块(dense block)，每个密集块中包括多个卷积层，每个密集块中的任一个卷积层均与其他卷积层(指除了该卷积层之外的所有卷积层)相连，各个密集块之间则采用串联的连接方式，从而能够通过各个卷积层中较为密集的连接，缓解了简单串联的网络结构中容易产生的梯度弥散问题，有利于该第一特征提取网络进行更加充分地特征提取。
需要说明的是，在上述过程中，当任意两个卷积层的输出图进行残差连接时，是将上述两个卷积层的输出图进行融合，这里的融合可以为将该两个卷积层的输出图中对应位置的像素值直接相加，在后文中的残差连接均与此相同，将不再进行赘述。
可选地，在另一种可能实现方式中，将上述两个卷积层的输出图进行融合的时候，还可以采取直接将上述两个卷积层的输出图进行拼接(concat)的操作，例如，将一个5维的输出图与一个3维的输出图拼接成一个8维的特征图，也即是说，除了像素值直接相加之外，在后文中的残差连接也可以是上述拼接操作，这里不做赘述。
在一些实施例中，该特征提取网络中还可以包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，该目标数量个卷积层中每个卷积层与至少一个卷积层相连。其中，该目标数量可以为任一大于1的数值，例如，该目标数量可以为6。
图4是本发明实施例提供的一种第一特征提取网络的示意图，参见图4，示出了一种基于残差结构的连接方式，在该第一特征提取网络中包括三个相同的残差结构块(各个残差结构块用虚线方框来表示)，对每个残差结构块，包括6个卷积层，前三个卷积层中第一个卷积层分别与第二个卷积层和第三个卷积层残差连接，后三个卷积层中第四个卷积层分别与第五个卷积层和第六个卷积层残差连接。以第一个残差结构块为例进行说明，卷积层401的输出图与卷积层402的输出图融合之后，输入卷积层403，卷积层403的输出图与卷积层401的输出图融合之后，输入卷积层404，卷积层404-406之间的连接方式与卷积层401-403之间的连接方式类似，而在图4中剩余两个虚线方框所表示的残差结构块的内部结构与图4中展开的虚线方框所表示的残差结构块的内部结构类似，因此并未绘出上述两个虚线方框的内部结构，这里不做赘述。
在如图4所示的网络结构中，可以看出，各个卷积层之间并非简单的串联连接关系，而是具有一个层层相接的连接关系，因此，可以将如图4所示的网络结构称为一种具有“层级结构”的特征提取网络，通过上述层级结构网络，能够使得各个卷积层进行卷积时，不但考虑上一个卷积层的输出图的特征信息，而且考虑到上一个卷积层之前的一个或两个卷积层的输出图的上下文信息，大大提升了特征提取网络在进行特征提取时的充分度。
在上述过程中，由于该多个卷积层是基于残差结构来连接的，因此通过该多个卷积层进行卷积操作时，可以使得不相邻的卷积层的输出图在融合之后，才输入下一个卷积层，提升了对各个卷积层输出图的上下文(context)信息的利用率，有利于更加充分地提取原始图像的特征。
304、终端将该多个卷积层中最后一个卷积层的输出图与该升维后的原始图像融合之后，输入该多个卷积层中的第一个卷积层，循环调用该多个卷积层执行基于残差结构的卷积操作，直到达到第一目标次数。
其中，该第一目标次数为任一大于或等于1的次数，例如，该第一目标次数可以为9。
在上述过程中，通过对该多个卷积层的循环调用，能够有效的增加第一特征特征提取网络的深度，并且在增加第一特征提取网络深度的同时，由于采用循环调用的方式，相当于对该多个卷积层内的参数进行了重复利用，能够减少该第一特征提取网络所占用的存储空间(也可以称为“网络体积”)，也即是说，压缩了第一特征提取网络所需要学习的参数量，从而优化了图像处理过程的学习效率，而且由于第一特征提取网络所占用的存储空间小，那么将不会增加终端上应用客户端的安装包大小，也就不会对终端下载应用客户端的效率产生不良影响，同时还能够避免由于安装包过大而造成应用客户端下载率低的问题，提升了用户体验。
基于上述示例，参见图4，最后一个卷积层的输出图与升维后的原始图像融合之后，重新输入到卷积层401中，循环9次调用该多个卷积层进行基于残差结构的卷积操作，执行下述步骤305。
305、终端将该最后一个卷积层在该第一目标次数时的输出图确定为第二图像。
在上述步骤303-305中，可以看成是以特征提取网络为第一特征提取网络为例的特征提取过程，终端将原始图像输入特征提取网络，通过该特征提取网络，基于该原始图像循环执行多次基于残差结构的卷积操作，输出第二图像的过程，其中，该第二图像用于表示该原始图像的特征信息。
本发明实施例中输入特征提取网络的原始图像是经过升维处理后的原始图像，而在一些实施例中，如果不执行上述步骤302，那么可以直接将原始图像输入该特征提取网络。
306、终端对该第二图像进行尺寸变换，得到第四图像，该第四图像与该第一图像尺寸相同。
上述步骤306与上述步骤301类似，这里不做赘述。
307、终端对该第四图像进行降维处理，得到维度和尺寸均与第一图像相同的第三图像。
上述步骤307与上述步骤303类似，终端可以通过降维卷积层进行降维处理，该降维卷积层中可以包括一个或多个尺寸为1×1的卷积核，通过控制卷积核的个数能够控制输出的第三图像的维度，也即是说，该第三图像的维度数目等于该降维卷积层中所采用的卷积核个数。
例如，假设原始图像维度为1，由于第一图像是由原始图像仅经过尺寸变换而未经过维度变换所得的，因此第一图像的维度也为1，那么在该降维卷积层中可以仅包括1个尺寸为1×1的卷积核，将该第四图像输入该降维卷积层后，该降维卷积层输出的第三图像的维度为1，使得第三图像、第一图像以及原始图像三者的维度相同。
在上述步骤306-307中，终端对第二图像进行尺寸变换和降维处理，得到维度和尺寸均与该第一图像相同的第三图像，从而方便了后续第一图像与第三图像之间的图像融合过程。
308、终端将该第三图像与该第一图像进行融合处理，得到第一目标图像。
在上述过程中，由于第一图像和第三图像两者不仅尺寸相同，而且维度也相同，因此终端可以将该第一图像与第三图像中对应位置的像素值直接相加，得到该第一目标图像。
在一些实施例中，由于上述步骤301中采用的原始图像可以是一个仅包含亮度分量信息(YCbCr空间中Y通道)的图像，那么获取到的第一目标图像也就仅包含亮度分量信息，此时终端可以对Cb通道以及Cr通道的图像，通过双三次插值法进行尺寸变换，使得Cb通道以及Cr通道的图像与第一目标图像尺寸相同，将上述尺寸变换后的Cb通道以及Cr通道的图像与上述第一目标图像融合，即可得到彩色的第一目标图像。
在上述步骤306-308中，以目标图像为第一目标图像为例进行说明，终端基于该第一图像和该第二图像，获取目标图像，该目标图像的分辨率大于该原始图像的分辨率，且该目标图像与该第一图像尺寸相同。
本发明实施例提供的方法，通过特征提取网络，能够基于原始图像，实现循环执行多次基于残差结构的卷积操作，由于基于残差结构能够使得特征提取网络更加充分地利用每次卷积操作所得的结果，使得该特征提取网络所输出的第二图像能够保留原始图像中尽可能多的细节信息，也就提升了目标图像与原始图像之间的相似度，而循环执行多次上述卷积操作能够在加深特征提取网络深度的同时，避免增加特征提取网络所占用的空间，从而不会增大终端上应用客户端的安装包大小，也就不会对应用客户端的下载效率造成不良影响，因此，本发明能够在不对终端上应用客户端的下载效率造成不良影响的基础上，提升了图像处理过程的准确度，提升了图像处理过程的智能性。
进一步地，用户在基于终端上的应用客户端进行上述图像处理方法时，可以应用于应用客户端图像加载任务，例如在弱网环境(比如在电梯或地下室等只能连接上2G网络的情况)下时，对于图像大小大于目标阈值的图像，终端上的应用客户端向服务器发送图像加载请求之后，服务器响应于该图像加载请求，向终端上的应用客户端返回压缩后的图像，由应用客户端在本地对该压缩后的图像进行上述图像处理过程，恢复成一个分辨率更大的图像，能够大大提升终端的图像加载效率，从而保证了即使弱网环境下也不会损失图像加载的速度，避免了用户长时间等待图像加载，优化了用户体验。其中，该目标阈值可以是任一数值，例如，该目标阈值可以是10M。
上述实施例中提供了基于原始图像获取第一目标图像的方法，从而重建出了分辨率高于原始图像的第一目标图像，而在一些实施例中，当存在重建出不同尺寸、不同分辨率的图像处理需求时，还可以通过执行本发明实施例中的方法，基于第一目标图像重建出分辨率更高的第二目标图像，下面将进行详述。
图5是本发明实施例提供的一种图像处理方法的流程图，参见图5，该实施例应用于终端，该实施例以特征提取网络为第二特征提取网络为例进行说明，具体可以包括下述步骤：
501、终端对该第一目标图像进行尺寸变换，得到第五图像。
上述步骤501与上述步骤301类似，这里不做赘述。
502、终端获取第一目标图像的注意力权重矩阵，该注意力权重矩阵中任一个元素用于表示该目标图像中一个像素点的注意力权重。
其中，该注意力权重矩阵中，对于第一目标图像中轮廓像素点(用于表示轮廓的像素点)而言，可以为该轮廓像素点对应元素赋予大于内部像素点(用于表示内部的像素点)对应元素的注意力权重数值，使得轮廓像素点在后续图像处理过程中能够更大程度地提取轮廓像素点的特征信息。
在上述步骤503中，终端可以通过一个目标卷积层来获取该注意力权重矩阵，该目标卷积层中可以包括多个1×1的卷积核，使得终端将第一目标图像输入该目标卷积层之后，通过该目标卷积层对该第一目标图像进行卷积操作，由于1×1的卷积核还能够进行升维处理，因此，该目标卷积层能够输出一个升维后的注意力权重矩阵。
上述升维处理过程与上述步骤302中的升维处理过程类似，但是由于目标卷积层中参数与上述步骤302中升维卷积层的参数不同，因此该目标卷积层不但可以用于进行升维处理，而且可以用于获取上述注意力权重矩阵，这里不做赘述。
503、终端将第四图像与该注意力权重矩阵相乘所得的图像(下面简称为“第六图像”)，输入第二特征提取网络。
在上述过程中，第四图像与该注意力权重矩阵相乘，是指第四图像中每一个像素点，与注意力权重矩阵中对应位置的元素相乘，遍历该第四图像中的所有像素点，将相乘后所得的第六图像输入第二特征提取网络。
可选地，该第二特征提取网络与上述实施例中所涉及到的第一特征提取网络类似，但是该第二特征提取网络和第一特征提取网络的结构或参数可以是完全相同的，也可以是互不相同的。
例如，该第一特征提取网络为基于ResNets网络进行残差连接，而该第二特征提取网络为基于DenseNets网络进行残差连接，又比如，该第一特征提取网络和该特征提取网络均是基于DenseNets网络进行残差连接，但是两者之间采取了不同的参数。
可选地，该第二特征提取网络和该第一特征提取网络可以是同一个特征提取网络，也即是上述第二特征提取网络和该第一特征提取网络不但结构相同，并且进行了参数共享，从而可以大大降低在图像处理过程中所需要学习的参数量，进一步地缩小采用的到所有特征提取网络总共占用的存储空间，也就不会增大终端上应用客户端的安装包大小，从而保证不会对终端上应用客户端的下载效率造成不良影响。
由于原始图像也有可能是经过上述图像处理过程所得的目标图像，因此上述实施例看作是任一次图像处理过程，那么上述步骤502-503就相当于，对上述任一次图像处理过程，终端对该任一次图像处理过程中特征提取网络(也即是第一特征提取网络)的输出图(也即是第二图像)进行尺寸变换；获取该任一次图像处理过程中目标图像(也即是第一目标图像)的注意力权重矩阵，该注意力权重矩阵中任一个元素用于表示该目标图像中一个像素点的注意力权重；将尺寸变换后的输出图(也即是第四图像)与该注意力权重矩阵相乘所得的图像(也即是第六图像)，输入下一次图像处理过程中的特征提取网络(也即是第二特征提取网络)。
在上述过程中，终端基于注意力机制为第四图像内的各个像素点加权，从而能够为轮廓像素点赋予相对较大的权重，为内部像素点赋予相对较小的权重，也就实现了对目标图像的视觉效果贡献较大的特征(也即是有效特征)进行强化，对目标图像的视觉效果贡献较小的特征(也即是无效特征)进行弱化，能够避免在特征提取过程中丢失掉图像的轮廓信息，能够提升第二特征提取网络进行特征提取时的精确度。
图6是本发明实施例提供的一种特征提取网络连接方法的示意图，参见图6，第一特征提取网络601输出第二图像后，对该第二图像进行尺寸变换得到第四图像，将第四图像输入降维卷积层602，得到第三图像，第三图像与第一图像叠加之后得到第一目标图像，该第一目标图像在输入目标卷积层603之后，输出注意力权重矩阵，将第四图像与注意力权重矩阵相乘得到第六图像，将该第六图像输入第二特征提取网络604。
504、终端通过该第二特征提取网络，基于第六图像循环执行多次基于残差结构的卷积操作，输出第七图像，该第七图像用于表示该第六图像的特征信息。
上述步骤504与上述步骤303-305类似，这里不做赘述。
505、终端基于该第五图像和该第七图像，获取第二目标图像，该第二目标图像的分辨率大于该第一目标图像的分辨率，且该第二目标图像与该第五图像尺寸相同。
上述步骤505与上述步骤306-308类似，这里不做赘述。
在上述步骤501-505中，示出了将某一次图像处理过程所得的第一目标图像，作为下一次图像处理过程的原始图像，并基于该第一目标图像再次进行图像处理，得到第二目标图像的过程。
在一些实施例中，终端还可以将任一次图像处理过程中目标图像(例如第二目标图像)作为下一次图像处理过程中的原始图像，重复执行本发明实施例所提供的图像处理方法，直到达到第二目标次数；获取每次图像处理过程中得到的多个目标图像，该多个目标图像的分辨率呈递增状态。其中，该第二目标次数可以是任一大于0的数值，例如，该第二目标次数可以为3。
本发明实施例提供的方法，相当于将第一目标图像作为新一轮图像处理过程中的原始图像，执行与上述实施例中类似的图像处理方法，并且在对第一目标图像进行图像处理时，终端还基于注意力机制为特征提取网络输出且经过尺寸变换的图像(第四图像)内的各个像素点进行加权，从而能够在二次图像处理过程中，通过控制注意力权重矩阵中元素的数值，来实现对目标图像的视觉效果贡献较大的特征进行强化，对目标图像的视觉效果贡献较小的特征进行弱化，大大提升了二次图像处理过程的准确性和智能性。
进一步地，在得到第二目标图像之后，还可以将第二目标图像作为新一轮重建过程中的原始图像，返回至上述步骤501，执行与上述步骤501-508所类似的图像处理步骤，重复多次执行上述过程之后，能够得到多个不同尺寸、不同分辨率下的目标图像，能够满足更加广泛的图像处理需求，大大提升了图像处理过程的灵活性。
图7是本发明实施例提供的一种图像处理方法的原理性示意图，参见图7，例如，终端在一次图像处理过程中，利用三个特征提取网络(每个特征提取网络中进行9次递归卷积操作)进行三次图像处理，也即是：基于第一特征提取网络710对原始图像700进行第一次图像处理得到第一目标图像701，基于第二特征提取网络720对第一目标图像701进行第二次图像处理得到第二目标图像702，基于第三特征提取网络730对第二目标图像702进行第三次图像处理得到第三目标图像703。
其中，第一特征提取网络710与第二特征提取网络720基于注意力机制相连，第二特征提取网络720与第三特征提取网络730基于注意力机制相连，从而能够实现如下效果：仅输入一张原始图像700之后，终端能够得到2倍尺寸放大系数下的第一目标图像701、4倍尺寸放大系数下的第二目标图像702以及8倍尺寸放大系数下的第三目标图像703，大大提升了图像处理过程的灵活性、便捷性、准确性以及智能性。
示意性的，基于上述图7中的网络结构，对5个常用的测试数据集(分别为Set5、Set14、Urban100、BSDS100以及MANGA109)进行测试，本次测试过程中采用两种指标来衡量图像处理的效果优劣，上述两种指标分别为PSNR(peak signal to noise ratio，峰值信噪比，用于表示目标图像的画质)以及SSIM(structural similarity index，结构相似性，用于表示处理前后图像之间的相似度)，测试结果如下表：
表1
通过上表可以看出，相较于相关技术中的几种算法：bicubic(双三次插值)、SRCNN(super-resolution convolutional neural network，超分辨率卷积神经网络)、FSRCNN(fast super-resolution convolutional neural network，快速超分辨率卷积神经网络)、SelfExSR(super-resolution from transformed self-examples，转换自样本的超分辨率网络)、SCN(sparse coding based network，基于稀疏编码的网络)、VDSR(super-resolution using very deep convolutional network，深度卷积超分辨率网络)、DRCN(deeply-recursive convolutional network，深度递归卷积网络)以及LapSRN(Laplacianpyramid super-resolution network，基于拉普拉斯金字塔的超分辨率网络)，本发明实施例中提供的图像处理方法，对任一个测试数据集而言，不论在2倍放大系数下处理图像、在4倍放大系数下处理图像，还是在8倍尺寸放大系数下处理图像，本发明均能够提供最优的PSNR和SSIM，也就意味着本发明实施例提供的方法能够得到分辨率更高并且具有最好图像处理效果的目标图像。
图8是本发明实施例提供的一种测试结果的示意图，参见图8，基于图7的网络结构对三个原始图像进行测试，其中，图8中第一行为2倍尺寸放大系数下的图像处理结果，第二行为4倍尺寸放大系数下的图像处理结果，第三行为8倍尺寸放大系数下的图像处理结果。可以看出，相较于LapSRN以及DRCN的图像处理结果而言，本发明实施例提供的图像处理方法，不论在何种尺寸放大系数下，所输出的目标图像均能够更好地保持住原始图像的纹理特征。
进一步地，参见下表，考察LapSRN与本发明中使用的网络所占用的存储空间，可以明显看出不论是在哪一种尺寸放大系数下，本发明中使用的网络所占用的存储空间均小于LapSRN所占用的存储空间，并且，随着尺寸放大系数的增大，本发明中使用的网络所占的存储空间增长速率较为缓慢，而LapSRN所占用的存储空间增长速率较为迅速，因此，本发明提供的图像处理方法能够降低对终端上应用客户端的安装包大小，避免对终端上应用客户端的下载效率造成不良影响。
表2
图9是本发明实施例提供的一种图像处理装置的结构示意图，参见图9，该装置包括尺寸变换模块901、循环卷积模块902以及获取模块903，下面进行详述：
尺寸变换模块901，用于对原始图像进行尺寸变换，得到第一图像；
循环卷积模块902，用于将该原始图像输入特征提取网络，通过该特征提取网络，基于该原始图像循环执行多次基于残差结构的卷积操作，输出第二图像，该第二图像用于表示该原始图像的特征信息；
获取模块903，用于基于该第一图像和该第二图像，获取目标图像，该目标图像的分辨率大于该原始图像的分辨率，且该目标图像与该第一图像尺寸相同。
本发明实施例提供的装置，通过特征提取网络，能够基于原始图像，实现循环执行多次基于残差结构的卷积操作，由于基于残差结构能够使得特征提取网络更加充分地利用每次卷积操作所得的结果，使得该特征提取网络所输出的第二图像能够保留原始图像中尽可能多的细节信息，也就提升了目标图像与原始图像之间的相似度，而循环执行多次上述卷积操作能够在加深特征提取网络深度的同时，避免增加特征提取网络所占用的空间，从而不会增大终端上应用客户端的安装包大小，也就不会对应用客户端的下载效率造成不良影响，因此，本发明能够在不对终端上应用客户端的下载效率造成不良影响的基础上，提升了图像处理过程的准确度，提升了图像处理过程的智能性。
在一种可能实施方式中，该循环卷积模块902用于：
通过该特征提取网络中的多个卷积层，对该原始图像进行基于残差结构的卷积操作；
将该多个卷积层中最后一个卷积层的输出图与该原始图像融合之后，输入该多个卷积层中的第一个卷积层，循环调用该多个卷积层执行该基于残差结构的卷积操作，直到达到第一目标次数；
将该最后一个卷积层在该第一目标次数时的输出图确定为该第二图像。
在一种可能实施方式中，基于图9的装置组成，该装置还包括：
对该原始图像进行升维处理，将升维后的原始图像输入该特征提取网络。
在一种可能实施方式中，该获取模块903用于：
对该第二图像进行尺寸变换和降维处理，得到维度和尺寸均与该第一图像相同的第三图像；
将该第三图像与该第一图像进行融合处理，得到该目标图像。
在一种可能实施方式中，基于图9的装置组成，该装置还包括：
将目标图像作为下一次图像处理过程中的原始图像，重复执行该图像处理方法，直到达到第二目标次数；
获取每次图像处理过程中得到的多个目标图像，该多个目标图像的分辨率呈递增状态。
在一种可能实施方式中，基于图9的装置组成，该装置还包括：
对任一次图像处理过程，对该任一次图像处理过程中特征提取网络的输出图进行尺寸变换；
获取该任一次图像处理过程中目标图像的注意力权重矩阵，该注意力权重矩阵中任一个元素用于表示该目标图像中一个像素点的注意力权重；
将尺寸变换后的输出图与该注意力权重矩阵相乘所得的图像，输入下一次图像处理过程中的特征提取网络。
在一种可能实施方式中，该尺寸变换模块901用于：
对该原始图像进行转置卷积、上池化或者上采样中的至少一项处理，得到该第一图像。
在一种可能实施方式中，该特征提取网络中包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，该目标数量个卷积层中每个卷积层与至少一个卷积层相连。
需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见图像处理方法实施例，这里不再赘述。
图10是本发明实施例提供的终端的结构示意图。参见图10，该终端1000可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1000包括有：处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中图像处理方法实施例提供的图像处理方法。
在一些实施例中，终端1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、触摸显示屏1005、摄像头1006、音频电路1007、定位组件1008和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时，可以检测用户对终端1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时，由处理器1001根据用户对触摸显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹，由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份，或者，由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时，指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制触摸显示屏1005的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1005的显示亮度；当环境光强度较低时，调低触摸显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。
接近传感器1016，也称距离传感器，通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时，由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时，由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由终端中的处理器执行以完成上述实施例中图像处理方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种图像处理方法，其特征在于，所述方法包括：
对原始图像进行尺寸变换，得到第一图像；
将所述原始图像输入特征提取网络，通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像，所述第二图像用于表示所述原始图像的特征信息；
基于所述第一图像和所述第二图像，获取目标图像，所述目标图像的分辨率大于所述原始图像的分辨率，且所述目标图像与所述第一图像尺寸相同。
2.根据权利要求1所述的方法，其特征在于，所述通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像包括：
通过所述特征提取网络中的多个卷积层，对所述原始图像进行基于残差结构的卷积操作；
将所述多个卷积层中最后一个卷积层的输出图与所述原始图像融合之后，输入所述多个卷积层中的第一个卷积层，循环调用所述多个卷积层执行所述基于残差结构的卷积操作，直到达到第一目标次数；
将所述最后一个卷积层在所述第一目标次数时的输出图确定为所述第二图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述原始图像输入特征提取网络，通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像之前，所述方法还包括：
对所述原始图像进行升维处理，将升维后的原始图像输入所述特征提取网络。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像和所述第二图像，获取目标图像包括：
对所述第二图像进行尺寸变换和降维处理，得到维度和尺寸均与所述第一图像相同的第三图像；
将所述第三图像与所述第一图像进行融合处理，得到所述目标图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将目标图像作为下一次图像处理过程中的原始图像，重复执行所述图像处理方法，直到达到第二目标次数；
获取每次图像处理过程中得到的多个目标图像，所述多个目标图像的分辨率呈递增状态。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对任一次图像处理过程，对所述任一次图像处理过程中特征提取网络的输出图进行尺寸变换；
获取所述任一次图像处理过程中目标图像的注意力权重矩阵，所述注意力权重矩阵中任一个元素用于表示所述目标图像中一个像素点的注意力权重；
将尺寸变换后的输出图与所述注意力权重矩阵相乘所得的图像，输入下一次图像处理过程中的特征提取网络。
7.根据权利要求1所述的方法，其特征在于，所述对原始图像进行尺寸变换，得到第一图像包括：
对所述原始图像进行转置卷积、上池化或者上采样中的至少一项处理，得到所述第一图像。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述特征提取网络中包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，所述目标数量个卷积层中每个卷积层与至少一个卷积层相连。
9.一种图像处理装置，其特征在于，所述装置包括：
尺寸变换模块，用于对原始图像进行尺寸变换，得到第一图像；
循环卷积模块，用于将所述原始图像输入特征提取网络，通过所述特征提取网络，基于所述原始图像循环执行多次基于残差结构的卷积操作，输出第二图像，所述第二图像用于表示所述原始图像的特征信息；
获取模块，用于基于所述第一图像和所述第二图像，获取目标图像，所述目标图像的分辨率大于所述原始图像的分辨率，且所述目标图像与所述第一图像尺寸相同。
10.根据权利要求9所述的装置，其特征在于，所述循环卷积模块用于：
通过所述特征提取网络中的多个卷积层，对所述原始图像进行基于残差结构的卷积操作；
将所述多个卷积层中最后一个卷积层的输出图与所述原始图像融合之后，输入所述多个卷积层中的第一个卷积层，循环调用所述多个卷积层执行所述基于残差结构的卷积操作，直到达到第一目标次数；
将所述最后一个卷积层在所述第一目标次数时的输出图确定为所述第二图像。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
对所述原始图像进行升维处理，将升维后的原始图像输入所述特征提取网络。
12.根据权利要求9所述的装置，其特征在于，所述获取模块用于：
对所述第二图像进行尺寸变换和降维处理，得到维度和尺寸均与所述第一图像相同的第三图像；
将所述第三图像与所述第一图像进行融合处理，得到所述目标图像。
13.根据权利要求9所述的装置，其特征在于，所述装置还包括：
将目标图像作为下一次图像处理过程中的原始图像，重复执行所述图像处理方法，直到达到第二目标次数；
获取每次图像处理过程中得到的多个目标图像，所述多个目标图像的分辨率呈递增状态。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
对任一次图像处理过程，对所述任一次图像处理过程中特征提取网络的输出图进行尺寸变换；
获取所述任一次图像处理过程中目标图像的注意力权重矩阵，所述注意力权重矩阵中任一个元素用于表示所述目标图像中一个像素点的注意力权重；
将尺寸变换后的输出图与所述注意力权重矩阵相乘所得的图像，输入下一次图像处理过程中的特征提取网络。
15.根据权利要求9所述的装置，其特征在于，所述尺寸变换模块用于：
对所述原始图像进行转置卷积、上池化或者上采样中的至少一项处理，得到所述第一图像。
16.根据权利要求9至15中任一项所述的装置，其特征在于，所述特征提取网络中包括多个残差结构块，每个残差结构块中包括目标数量个卷积层，所述目标数量个卷积层中每个卷积层与至少一个卷积层相连。
17.一种终端，其特征在于，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像处理方法所执行的操作。
18.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像处理方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579997.3A CN110288518B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579997.3A CN110288518B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288518A true CN110288518A (zh) | 2019-09-27 |
| CN110288518B CN110288518B (zh) | 2020-10-23 |
Family
ID=68019776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910579997.3A Active CN110288518B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288518B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008929A (zh) * | 2019-12-19 | 2020-04-14 | 维沃移动通信（杭州）有限公司 | 图像矫正方法及电子设备 |
| CN111127539A (zh) * | 2019-12-17 | 2020-05-08 | 苏州智加科技有限公司 | 视差确定方法、装置、计算机设备及存储介质 |
| CN111161255A (zh) * | 2019-12-31 | 2020-05-15 | 云领电气智能科技(苏州)有限公司 | 基于机器视觉的电力仪表自动检测方法 |
| CN111192215A (zh) * | 2019-12-30 | 2020-05-22 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| CN111814550A (zh) * | 2020-06-05 | 2020-10-23 | 陕西科技大学 | 一种基于卷积神经网络和图像处理的陶瓷纹饰提取方法 |
| CN112102379A (zh) * | 2020-08-28 | 2020-12-18 | 电子科技大学 | 一种无人机多光谱影像配准方法 |
| CN112509071A (zh) * | 2021-01-29 | 2021-03-16 | 电子科技大学 | 一种亮度信息辅助的色度信息压缩重建方法 |
| CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN112990053A (zh) * | 2021-03-29 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| US20210279594A1 (en) * | 2020-03-06 | 2021-09-09 | Tencent America LLC | Method and apparatus for video coding |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085827A (zh) * | 2017-04-27 | 2017-08-22 | 中国电子科技集团公司第二十八研究所 | 基于硬件平台实现的超分辨力图像复原方法 |
| KR101780057B1 (ko) * | 2016-08-02 | 2017-09-19 | 한양대학교 에리카산학협력단 | 고해상도 영상 복원 방법 및 장치 |
| CN107481192A (zh) * | 2017-08-11 | 2017-12-15 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
| CN109214985A (zh) * | 2018-05-16 | 2019-01-15 | 长沙理工大学 | 用于图像超分辨率重构的递归密集残差网络 |
| CN109376804A (zh) * | 2018-12-19 | 2019-02-22 | 中国地质大学（武汉） | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 |
| CN109472743A (zh) * | 2018-10-25 | 2019-03-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
| CN109886871A (zh) * | 2019-01-07 | 2019-06-14 | 国家新闻出版广电总局广播科学研究院 | 基于通道注意力机制和多层特征融合的图像超分辨率方法 |
-
2019
- 2019-06-28 CN CN201910579997.3A patent/CN110288518B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101780057B1 (ko) * | 2016-08-02 | 2017-09-19 | 한양대학교 에리카산학협력단 | 고해상도 영상 복원 방법 및 장치 |
| CN107085827A (zh) * | 2017-04-27 | 2017-08-22 | 中国电子科技集团公司第二十八研究所 | 基于硬件平台实现的超分辨力图像复原方法 |
| CN107481192A (zh) * | 2017-08-11 | 2017-12-15 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN109214985A (zh) * | 2018-05-16 | 2019-01-15 | 长沙理工大学 | 用于图像超分辨率重构的递归密集残差网络 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
| CN109472743A (zh) * | 2018-10-25 | 2019-03-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
| CN109376804A (zh) * | 2018-12-19 | 2019-02-22 | 中国地质大学（武汉） | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 |
| CN109886871A (zh) * | 2019-01-07 | 2019-06-14 | 国家新闻出版广电总局广播科学研究院 | 基于通道注意力机制和多层特征融合的图像超分辨率方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127539A (zh) * | 2019-12-17 | 2020-05-08 | 苏州智加科技有限公司 | 视差确定方法、装置、计算机设备及存储介质 |
| CN111127539B (zh) * | 2019-12-17 | 2022-11-15 | 苏州智加科技有限公司 | 视差确定方法、装置、计算机设备及存储介质 |
| CN111008929A (zh) * | 2019-12-19 | 2020-04-14 | 维沃移动通信（杭州）有限公司 | 图像矫正方法及电子设备 |
| CN111008929B (zh) * | 2019-12-19 | 2023-09-26 | 维沃移动通信（杭州）有限公司 | 图像矫正方法及电子设备 |
| CN111192215A (zh) * | 2019-12-30 | 2020-05-22 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| CN111192215B (zh) * | 2019-12-30 | 2023-08-29 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| CN111161255A (zh) * | 2019-12-31 | 2020-05-15 | 云领电气智能科技(苏州)有限公司 | 基于机器视觉的电力仪表自动检测方法 |
| US20210279594A1 (en) * | 2020-03-06 | 2021-09-09 | Tencent America LLC | Method and apparatus for video coding |
| US11948090B2 (en) * | 2020-03-06 | 2024-04-02 | Tencent America LLC | Method and apparatus for video coding |
| CN111814550A (zh) * | 2020-06-05 | 2020-10-23 | 陕西科技大学 | 一种基于卷积神经网络和图像处理的陶瓷纹饰提取方法 |
| CN111814550B (zh) * | 2020-06-05 | 2023-11-21 | 陕西科技大学 | 一种基于卷积神经网络和图像处理的陶瓷纹饰提取方法 |
| CN112102379B (zh) * | 2020-08-28 | 2022-11-04 | 电子科技大学 | 一种无人机多光谱影像配准方法 |
| CN112102379A (zh) * | 2020-08-28 | 2020-12-18 | 电子科技大学 | 一种无人机多光谱影像配准方法 |
| CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN112509071B (zh) * | 2021-01-29 | 2021-04-30 | 电子科技大学 | 一种亮度信息辅助的色度信息压缩重建方法 |
| CN112509071A (zh) * | 2021-01-29 | 2021-03-16 | 电子科技大学 | 一种亮度信息辅助的色度信息压缩重建方法 |
| CN112990053A (zh) * | 2021-03-29 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112990053B (zh) * | 2021-03-29 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288518B (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288518A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN110136136B (zh) | 场景分割方法、装置、计算机设备及存储介质 | |
| CN109360210B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN109978936B (zh) | 视差图获取方法、装置、存储介质及设备 | |
| CN110210571A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN109829456A (zh) | 图像识别方法、装置及终端 | |
| CN110097019A (zh) | 字符识别方法、装置、计算机设备以及存储介质 | |
| CN109815150B (zh) | 应用测试方法、装置、电子设备及存储介质 | |
| CN108304265A (zh) | 内存管理方法、装置及存储介质 | |
| CN108305236A (zh) | 图像增强处理方法及装置 | |
| CN110110787A (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| CN110059652A (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN110222789A (zh) | 图像识别方法及存储介质 | |
| CN110083791A (zh) | 目标群组检测方法、装置、计算机设备及存储介质 | |
| CN110033503A (zh) | 动画显示方法、装置、计算机设备及存储介质 | |
| CN110796248A (zh) | 数据增强的方法、装置、设备及存储介质 | |
| CN110059686A (zh) | 字符识别方法、装置、设备及可读存储介质 | |
| CN110147533A (zh) | 编码方法、装置、设备及存储介质 | |
| CN109840584A (zh) | 卷积神经网络模型、数据处理方法及装置 | |
| CN110290426A (zh) | 展示资源的方法、装置、设备及存储介质 | |
| CN109547843A (zh) | 对音视频进行处理的方法和装置 | |
| CN110503160A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN110503159A (zh) | 文字识别方法、装置、设备及介质 | |
| CN109961802A (zh) | 音质比较方法、装置、电子设备及存储介质 | |
| CN111768507B (zh) | 图像融合方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |