CN108846817A - 图像处理方法、装置以及移动终端 - Google Patents
图像处理方法、装置以及移动终端 Download PDFInfo
- Publication number
- CN108846817A CN108846817A CN201810666196.6A CN201810666196A CN108846817A CN 108846817 A CN108846817 A CN 108846817A CN 201810666196 A CN201810666196 A CN 201810666196A CN 108846817 A CN108846817 A CN 108846817A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- white noise
- convolutional neural
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012512 characterization method Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本申请实施例公开了一种图像处理方法、装置以及移动终端。所述方法包括：获取第一分辨率的图像；采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征；得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。本方法实现了利用低分率的图像直接获取到对应的高分辨率图像，从而实现了通过较低的成本获取高分辨率的图像。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置以及移动终端。
背景技术
随着用户对移动终端的图像采集能力的要求越来越高，移动终端在配置图像采集装置时，需要权衡实现所需分辨率的成本和用户体验之间的关系。分辨率越高，对相机镜头的要求也越高，导致物料成本随之升高，并且高分辨率会带来镜头变厚的问题，这在目前轻薄移动终端当道的潮流中是不允许的。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法、装置以及移动终端，以实现通过较低的成本获取高分辨率的图像。
第一方面，本申请提供了一种图像处理方法，应用于移动终端，所述方法包括：获取第一分辨率的图像；采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征；得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
第二方面，本申请提供了一种图像处理装置，运行于移动终端，所述装置包括：图像获取单元，用于获取第一分辨率的图像；图像处理单元，用于采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征；图像生成单元，用于得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
第三方面，本申请提供了一种移动终端，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
第四方面，本申请提供的一种计算机可读取存储介质，所述计算机可读取存储介质包括存储的程序，其中，在所述程序运行时执行上述的方法。
本申请提供的一种图像处理方法、装置以及移动终端，通过获取第一分辨率的图像，以及获取存储的由白噪声重建图像、基于同一场景的低分辨率的原图像以及高分辨率的目标图像训练得到白噪声重建卷积神经网络，将所述第一分辨率的图像输入所述白噪声重建卷积神经网络，得到分辨率高于所述第一分辨率的第二分辨率的图像，从而实现了利用低分率的图像直接获取到对应的高分辨率图像，并且不需要借助支持该高分辨率的图像采集装置，从而实现了通过较低的成本获取高分辨率的图像。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请提出的一种图像处理方法的流程图；
图2示出了本申请提出的一种图像处理方法中白噪声重建卷积神经网络训练过程的流程图；
图3示出了本申请提出的另一种图像处理方法的流程图；
图4示出了本申请提出的一种图像处理装置的结构框图；
图5示出了本申请提出的另一种图像处理装置的结构框图；
图6示出了本申请提出的一种移动终端的结构框图；
图7示出了本申请的用于执行根据本申请实施例的图像处理方法的移动终端的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
移动终端所采集的图像的分辨率通常受多方面因素的影响。其中，最主要的是受移动终端的图像采集装置所能支持的分辨率的影响。具体的，其影响在于，所图采集装置所采集的图像的分比率通常不会超过其能所支持的最高的分辨率。因此，为了提升所采集图像的分辨率，通常做法是提升图像采集装置所能支持的最大分辨率，但是，如果只是单纯的提升图像采集装置所能够支持的最高分辨率，会导致物料成本随之升高，进而造成带来额外的成本。
发明人，经过研究发现，可以通过一系列的图像处理技术对分辨率较低的图像进行处理而得到分辨率更高的图像，其原理在于如果有多帧关于同一场景的欠采样图像，这些图像之间可能有空间平移、偏转、缩放等几何差异，通过这些图像信息之间的互补、融合及图像先验信息，同时去除噪声以及模糊，则可以得到分辨率更高的目标图像。因此，发明人提出了本申请中通过较低的成本获取高分辨率的图像的图像处理方法、装置以及移动终端。
下面将先对本申请所涉及的技术进行介绍。
卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数。卷积神经网络利用输入是图片的特点，把神经元设计成三个维度：width,height,depth(注意这个depth不是神经网络的深度，而是用来描述神经元的)。比如输入的图片大小是32×32×3(rgb)，那么输入神经元就也具有32×32×3的维度。
卷积神经网络通常包含以下几种层：
卷积层(Convolutional layer)，卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
线性整流层(Rectified Linear Units layer,ReLU layer)，这一层神经的活性化函数(Activation function)使用线性整流(Rectified Linear Units,ReLU)f(x)＝max(0,x)f(x)＝max(0,x)。
池化层(Pooling layer)，通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。
全连接层(Fully-Connected layer),把所有局部特征结合变成全局特征，用来计算最后每一类的得分。
下面将结合附图具体描述本申请的各实施例。
请参阅图1，本申请提供的一种图像处理方法，应用于移动终端，所述方法包括：
步骤S110：获取第一分辨率的图像。
其中，第一分辨率的图像可以由移动终端直接从存储的图像中获取，该存储的图像可以为本地存储的图像，也可以是存储于远程云端中图像。再者，移动终端可以控制图像采集装置采集一张图像作为第一分辨率的图像。
步骤S120：采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征。
其中，作为一种方式，所述白噪声重建图像中的内容从所述原图像中获取，所述白噪声重建图像中的细节从所述目标图像中获取。可以理解的是，白噪声重建图像中的内容为低频信息部分，而白噪声重建图像中的细节为高频信息部分。简单一点说，图像中的高频信息部分，指的是图像强度(亮度/灰度)变化剧烈的地方，也就是常说的边缘(轮廓)；图像中的低频信息部分，指的是图像强度(亮度/灰度)变换平缓的地方，也就是大片色块的地方。
下面结合图2再对训练得到上述白噪声重建卷积神经网络的过程进行介绍：
步骤S121：基于建立的神经网络分别获取所述原图像、目标图像以及所述白噪声重建图像的特征。
其中，作为一种方式，可以分别建立三路卷积神经网络提取所述原图像、目标图像以及所述白噪声重建图像的特征。
步骤S122：计算所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异。
作为一种方式，如果分别提取的原图像、目标图像和白噪声重建图像的特征，分别是Fs、Ft、Fn。那么原图像的特征与所述白噪声重建图像的特征差异为Lc＝|Fs-Fn|，目标图像的特征与所述白噪声重建图像的特征差异为Ls＝|Ft-Fn|，其中||为2-范数。
步骤S123：将所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异输入最小化代价函数进行训练，得到所述白噪声重建卷积神经网络。
其中，作为一种方式，通过最小化代价函数L＝α*Lc+β*Ls，训练得到所述白噪声重建卷积神经网络，其中，Lc表征所述原图像的特征与所述白噪声重建图像的特征差异的2-范数，Ls表征所述目标图像的特征与所述白噪声重建图像的特征差异的2-范数，所述α表征向所述原图像学习所述内容的权重，所述β表征向所述目标图像学习所述细节的权重。
具体的，在训练过程中，在基于建立三路卷积神经网络分别提取原图像、目标图像和白噪声重建图像的特征分别为Fs,Ft,Fn的情况下，训练的过程就是最小化L＝α*Lc+β*Ls＝α*|Fs-Fn|+β*|Ft-Fn|，当L小于某一个阈值时停止训练。
步骤S130：得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
本申请提供的一种图像处理方法，通过获取第一分辨率的图像，以及获取存储的由白噪声重建图像、基于同一场景的低分辨率的原图像以及高分辨率的目标图像训练得到白噪声重建卷积神经网络，将所述第一分辨率的图像输入所述白噪声重建卷积神经网络，得到分辨率高于所述第一分辨率的第二分辨率的图像，从而实现了利用低分率的图像直接获取到对应的高分辨率图像，并且不需要借助支持该高分辨率的图像采集装置，从而实现了通过较低的成本获取高分辨率的图像。
请参阅图3，本申请提供的一种图像处理方法，应用于移动终端，所述方法包括：
步骤S210：获取所述移动终端的图像采集装置所采集的第一分辨率的图像。
步骤S220：检测所述第一分辨率是否满足预设条件。
若所述第一分辨率满足所述预设条件，则结束流程。
其中，作为一种方式，所述预设条件包括：所述第一分辨率小于预设的分辨率；或者所述第一分辨率为所述图像采集装置所支持的最大分辨率。
其中，对于展示给移动终端用户的图像，如果分辨率太低可能导致用户无法识别图像中的内容，造成用户体验不好，移动终端可以设定一个最小的分辨率作为上述的预设的分辨率。例如，对于主要包括字符的图像的分辨率要求通常不是太高，只要用户可以看清大概的字符内容即可。而对于主要包括人或者物的图像，所要求的分辨率相较于主要包括字符的图像的分辨率更高，则作为一种方式，可以设定一文本图像分辨率，该文本分辨率为被判定为主要包括字符的图像对应的预设的分辨率，再者还可以设定非文本图像分辨率，作为主要包括人或者物的图像对应的预设的分辨率。可以理解的是文本图像分辨率低于所述非文本图像分辨率。
那么在这种情况下，在判定所述图像采集装置所采集的第一分辨率的图像为主要包括字符的图像时，将该第一分辨率与文本图像分辨率进行对比，如果该第一分辨率低于文本图像分辨率，则继续执行后续的步，以便可以让用户可以看清楚图像。
再者，通常用户可以选择图像采集装置所采集图像的分辨率，那么在检测到图像采集装置所采集的图像与用户所配置的分辨率相同，且低于所述图像采集装置所支持的最大分辨率的情况下，说明用户对当前的图像分辨率是满意的。
那么在检测到图像采集装置所采集的图像与所述图像采集装置所支持的最大分辨率相同的情况下，则判定用户期望获取分辨率更高的图像，那么为了实现得到比图像采集装置所支持的最大分辨率更高的分辨率的图像，在检测到所述第一分辨率为所述图像采集装置所支持的最大分辨率时，继续执行后续的步骤。
步骤S230：若所述第一分辨率满足所述预设条件，采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征。
步骤S240：得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
本申请提供的一种图像处理方法，获取图像采集装置采集的第一分辨率的图像，在检测到第一分辨率满足所述预设条件后，获取存储的由白噪声重建图像、基于同一场景的低分辨率的原图像以及高分辨率的目标图像训练得到白噪声重建卷积神经网络，将所述第一分辨率的图像输入所述白噪声重建卷积神经网络，得到分辨率高于所述第一分辨率的第二分辨率的图像，从而实现了直接将图像采集装置采集的低分辨率的图像直接转换为高分辨率的图像，并且不需要借助支持该高分辨率的图像采集装置，从而实现了通过较低的成本获取高分辨率的图像。
请参阅图4，本申请提供了一种图像处理装置300，运行于移动终端，所述装置300包括：图像获取单元310、图像处理单元320以及图像生成单元330。
图像获取单元310，用于获取第一分辨率的图像。
图像处理单元320，用于采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征。
作为一种方式，所述图像处理单元320包括：
特征获取子单元321，用于基于建立的神经网络分别获取所述原图像、目标图像以及所述白噪声重建图像的特征。
差异获取子单元322，用于计算所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异。
训练子单元323，用于将所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异输入最小化代价函数进行训练，得到所述白噪声重建卷积神经网络。
图像转换子单元324，用于采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理。
图像生成单元330，用于得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
请参阅图5，本申请提供了一种图像处理装置400，运行于移动终端，所述装置400包括：图像获取单元410、图像检测单元420、图像处理单元430以及图像生成单元440。
图像获取单元410，用于获取移动终端的图像采集装置采集的第一分辨率的图像。
图像检测单元420，用于检测所述第一分辨率是否满足预设条件。
其中，作为一种方式，所述预设条件包括：所述第一分辨率小于预设的分辨率；或者所述第一分辨率为所述图像采集装置所支持的最大分辨率。
图像处理单元430，用于若所述图像检测单元420检测到所述第一分辨率满足所述预设条件，采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征。
图像生成单元440，用于得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
需要说明的是，本申请提供的装置实施例与前述方法实施例是对应的，装置实施例中的内容的具体原理可以参见前述方法实施例中的内容。
综上所述，本申请提供的一种图像处理方法、装置以及移动终端，通过获取第一分辨率的图像，以及获取存储的由白噪声重建图像、基于同一场景的低分辨率的原图像以及高分辨率的目标图像训练得到白噪声重建卷积神经网络，将所述第一分辨率的图像输入所述白噪声重建卷积神经网络，得到分辨率高于所述第一分辨率的第二分辨率的图像，从而实现了利用低分率的图像直接获取到对应的高分辨率图像，并且不需要借助支持该高分辨率的图像采集装置，从而实现了通过较低的成本获取高分辨率的图像。
下面将结合图6以及图7对本申请提供的一种移动终端进行说明。
请参阅图6，基于上述的图像处理方法、装置，本申请实施例还提供一种可以执行前述图像处理方法的移动终端100。移动终端100包括电子本体部10，所述电子本体部10包括壳体12及设置在所述壳体12上的屏幕120。所述壳体12可采用金属、如钢材、铝合金制成。本实施例中，所述屏幕120以通常包括显示面板111，也可包括用于响应对所述显示面板111进行触控操作的电路等。所述显示面板111可以为一个液晶显示面板(Liquid CrystalDisplay，LCD)，在一些实施例中，所述显示面板111同时为一个触摸屏109。
如图7所示，在实际的应用场景中，所述移动终端100可作为智能手机终端进行使用，在这种情况下所述电子本体部10通常还包括一个或多个(图中仅示出一个)处理器102、存储器104、RF(Radio Frequency，射频)模块106、音频电路110、传感器114、输入模块118、电源模块122。本领域普通技术人员可以理解，本申请并不对所述电子本体部10的结构造成限定。例如，所述电子本体部10还可包括比图中所示更多或者更少的组件，或者具有与图中所示不同的配置。
本领域普通技术人员可以理解，相对于所述处理器102来说，所有其他的组件均属于外设，所述处理器102与这些外设之间通过多个外设接口124相耦合。所述外设接口124可基于以下标准实现：通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter，UART)、通用输入/输出(General Purpose Input Output，GPIO)、串行外设接口(Serial Peripheral Interface，SPI)、内部集成电路(Inter-Integrated Circuit，I2C)，但不并限于上述标准。在一些实例中，所述外设接口124可仅包括总线；在另一些实例中，所述外设接口124还可包括其他元件，如一个或者多个控制器，例如用于连接所述显示面板111的显示控制器或者用于连接存储器的存储控制器。此外，这些控制器还可以从所述外设接口124中脱离出来，而集成于所述处理器102内或者相应的外设内。
所述存储器104可用于存储软件程序以及模块，所述处理器102通过运行存储在所述存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理。所述存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，所述存储器104可进一步包括相对于所述处理器102远程设置的存储器，这些远程存储器可以通过网络连接至所述电子本体部10或所述屏幕120。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述RF模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。所述RF模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述RF模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced Data GSM Environment，EDGE)，宽带码分多址技术(wideband codedivision multiple access，W-CDMA)，码分多址技术(Code division access，CDMA)、时分多址技术(time division multiple access，TDMA)，无线保真技术(Wireless，Fidelity，WiFi)(如美国电气和电子工程师协会标准IEEE 802.10A，IEEE 802.11b，IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
音频电路110、扬声器101、声音插孔103、麦克风105共同提供用户与所述电子本体部10或所述屏幕120之间的音频接口。具体地，所述音频电路110从所述处理器102处接收声音数据，将声音数据转换为电信号，将电信号传输至所述扬声器101。所述扬声器101将电信号转换为人耳能听到的声波。所述音频电路110还从所述麦克风105处接收电信号，将电信号转换为声音数据，并将声音数据传输给所述处理器102以进行进一步的处理。音频数据可以从所述存储器104处或者通过所述RF模块106获取。此外，音频数据也可以存储至所述存储器104中或者通过所述RF模块106进行发送。
所述传感器114设置在所述电子本体部10内或所述屏幕120内，所述传感器114的实例包括但并不限于：光线传感器114F、运行传感器、压力传感器114G、红外热传感器、距离传感器、重力加速度传感器、以及其他传感器。
其中，压力传感器114G可以检测由按压在移动终端100产生的压力的传感器。即，压力传感器114G检测由用户和移动终端之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器114G可以用来确定在用户与移动终端100之间是否发生了接触或者按压，以及压力的大小。
请再次参阅图7，具体地在图7所示的实施例中，所述光线传感器114F及所述压力传感器114G邻近所述显示面板111设置。所述光线传感器114F可在有物体靠近所述屏幕120时，例如所述电子本体部10移动到耳边时，所述处理器102关闭显示输出。
作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别所述移动终端100姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，所述电子本体部10还可配置陀螺仪、气压计、湿度计、温度计等其他传感器，在此不再赘述，
本实施例中，所述输入模块118可包括设置在所述屏幕120上的所述触摸屏109，所述触摸屏109可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触摸屏109上或在所述触摸屏109附近的操作)，并根据预先设定的程序驱动相应的连接装置。可选的，所述触摸屏109可包括触摸检测装置和触摸控制器。其中，所述触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给所述触摸控制器；所述触摸控制器从所述触摸检测装置上接收触摸信息，并将该触摸信息转换成触点坐标，再送给所述处理器102，并能接收所述处理器102发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多分类型实现所述触摸屏109的触摸检测功能。除了所述触摸屏109，在其它变更实施方式中，所述输入模块118还可以包括其他输入设备，如按键。所述按键例如可包括用于输入字符的字符按键，以及用于触发控制功能的控制按键。所述控制按键的实例包括“返回主屏”按键、开机/关机按键等等。
所述屏幕120用于显示由用户输入的信息、提供给用户的信息以及所述电子本体部10的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，所述触摸屏109可设置于所述显示面板111上从而与所述显示面板111构成一个整体。
所述电源模块122用于向所述处理器102以及其他各组件提供电力供应。具体地，所述电源模块122可包括电源管理系统、一个或多个电源(如电池或者交流电)、充电电路、电源失效检测电路、逆变器、电源状态指示灯以及其他任意与所述电子本体部10或所述屏幕120内电力的生成、管理及分布相关的组件。
所述移动终端100还包括定位器119，所述定位器119用于确定所述移动终端100所处的实际位置。本实施例中，所述定位器119采用定位服务来实现所述移动终端100的定位，所述定位服务，应当理解为通过特定的定位技术来获取所述移动终端100的位置信息(如经纬度坐标)，在电子地图上标出被定位对象的位置的技术或服务。
应当理解的是，上述的移动终端100并不局限于智能手机终端，其应当指可以在移动中使用的计算机设备。具体而言，移动终端100，是指搭载了智能操作系统的移动计算机设备，移动终端100包括但不限于智能手机、智能手表、平板电脑，等等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(移动终端)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种图像处理方法，其特征在于，应用于移动终端，所述方法包括：
获取第一分辨率的图像；
采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征；
得到所述第二分辨率的图像。
2.根据权利要求1所述的方法，其特征在于，所述白噪声重建图像中的内容从所述原图像中获取，所述白噪声重建图像中的细节从所述目标图像中获取。
3.根据权利要求1所述的方法，其特征在于，所述白噪声重建卷积神经网络的训练包括：
基于建立的神经网络分别获取所述原图像、目标图像以及所述白噪声重建图像的特征；
计算所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异；
将所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异输入最小化代价函数进行训练，得到所述白噪声重建卷积神经网络。
4.根据权利要求3所述的方法，其特征在于，所述将所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异输入最小化代价函数进行训练，得到所述白噪声重建卷积神经网络的步骤包括：
通过最小化代价函数L＝α*Lc+β*Ls，训练得到所述白噪声重建卷积神经网络，其中，Lc表征所述原图像的特征与所述白噪声重建图像的特征差异的2-范数，Ls表征所述目标图像的特征与所述白噪声重建图像的特征差异的2-范数，所述α表征向所述原图像学习所述内容的权重，所述β表征向所述目标图像学习所述细节的权重。
5.根据权利要求1所述的方法，其特征在于，所述获取第一分辨率的图像的步骤包括：
获取所述移动终端的图像采集装置所采集的第一分辨率的图像；
所述采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理的步骤之前还包括：
检测所述第一分辨率是否满足预设条件；
若所述第一分辨率满足所述预设条件，执行所述采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理。
6.根据权利要求5所述的方法，其特征在于，所述预设条件包括：
所述第一分辨率小于预设的分辨率；或者
所述第一分辨率为所述图像采集装置所支持的最大分辨率。
7.一种图像处理装置，其特征在于，运行于移动终端，所述装置包括：
图像获取单元，用于获取第一分辨率的图像；
图像处理单元，用于采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理，所述白噪声重建卷积神经网络由白噪声重建图像、基于同一场景的原图像以及目标图像训练得到，其中，所述白噪声重建图像基于所述原图像以及所述目标图像得到，所述原图像的分辨率低于所述目标图像的分辨率，所述白噪声重建图像表征第二分辨率的图像的特征；
图像生成单元，用于得到所述第二分辨率的图像，所述第二分辨率高于所述第一分辨率。
8.根据权利要求7所述的装置，其特征在于，所述图像处理单元包括：
特征获取子单元，用于基于建立的神经网络分别获取所述原图像、目标图像以及所述白噪声重建图像的特征；
差异获取子单元，用于计算所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异；
训练子单元，用于将所述原图像与所述白噪声重建图像的差异，以及所述目标图像与所述白噪声重建图像的差异输入最小化代价函数进行训练，得到所述白噪声重建卷积神经网络；
图像转换子单元，用于采用白噪声重建卷积神经网络对所述第一分辨率的图像进行处理。
9.一种移动终端，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-6任一所述的方法。
10.一种具有处理器可执行的程序代码的计算机可读存储介质，其特征在于，所述计算机可读取存储介质包括存储的程序，其中，在所述程序运行时执行权利要求1-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810666196.6A CN108846817B (zh) | 2018-06-22 | 2018-06-22 | 图像处理方法、装置以及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810666196.6A CN108846817B (zh) | 2018-06-22 | 2018-06-22 | 图像处理方法、装置以及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108846817A true CN108846817A (zh) | 2018-11-20 |
| CN108846817B CN108846817B (zh) | 2021-01-12 |
Family
ID=64203347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810666196.6A Expired - Fee Related CN108846817B (zh) | 2018-06-22 | 2018-06-22 | 图像处理方法、装置以及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108846817B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539008A (zh) * | 2020-05-22 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 保护隐私的图像处理方法及装置 |
| CN111598878A (zh) * | 2020-05-18 | 2020-08-28 | 中国医学科学院生物医学工程研究所 | 用于电阻抗成像的图像空间分辨能力的确定方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| CN103413286A (zh) * | 2013-08-02 | 2013-11-27 | 北京工业大学 | 一种基于学习的高动态范围与高分辨率图像联合重建方法 |
| US20170132758A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
| CN107122826A (zh) * | 2017-05-08 | 2017-09-01 | 京东方科技集团股份有限公司 | 用于卷积神经网络的处理方法和系统、和存储介质 |
| CN107392852A (zh) * | 2017-07-10 | 2017-11-24 | 深圳大学 | 深度图像的超分辨率重建方法、装置、设备及存储介质 |
-
2018
- 2018-06-22 CN CN201810666196.6A patent/CN108846817B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| CN103413286A (zh) * | 2013-08-02 | 2013-11-27 | 北京工业大学 | 一种基于学习的高动态范围与高分辨率图像联合重建方法 |
| US20170132758A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
| CN107122826A (zh) * | 2017-05-08 | 2017-09-01 | 京东方科技集团股份有限公司 | 用于卷积神经网络的处理方法和系统、和存储介质 |
| CN107392852A (zh) * | 2017-07-10 | 2017-11-24 | 深圳大学 | 深度图像的超分辨率重建方法、装置、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| ARMIN KAPPELER.ETC: "Video Super-Resolution With Convolutional Neural Networks", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 * |
| JUN AHN.ETC: "Texture Enhancement via High-Resolution Style Transfer for Single-Image Super-Resolution", 《ELECTRONIC IMAGING》 * |
| KAIBING ZHANG.ETC: "Learning local dictionaries and similarity structures for single image super-resolution", 《SIGNAL PROCESSING》 * |
| 杨莉: "基于卷积神经网络的图像超分辨率重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598878A (zh) * | 2020-05-18 | 2020-08-28 | 中国医学科学院生物医学工程研究所 | 用于电阻抗成像的图像空间分辨能力的确定方法及装置 |
| CN111598878B (zh) * | 2020-05-18 | 2023-06-27 | 中国医学科学院生物医学工程研究所 | 用于电阻抗成像的图像空间分辨能力的确定方法及装置 |
| CN111539008A (zh) * | 2020-05-22 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 保护隐私的图像处理方法及装置 |
| CN111539008B (zh) * | 2020-05-22 | 2023-04-11 | 蚂蚁金服（杭州）网络技术有限公司 | 保护隐私的图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108846817B (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
| CN108664190B (zh) | 页面显示方法、装置、移动终端以及存储介质 | |
| CN106919918B (zh) | 一种人脸跟踪方法和装置 | |
| CN109002759A (zh) | 文本识别方法、装置、移动终端以及存储介质 | |
| CN108076290B (zh) | 一种图像处理方法及移动终端 | |
| CN108427873B (zh) | 一种生物特征识别方法及移动终端 | |
| CN111223143B (zh) | 关键点检测方法、装置及计算机可读存储介质 | |
| CN108234875A (zh) | 拍摄显示方法、装置、移动终端以及存储介质 | |
| CN107742523A (zh) | 语音信号处理方法、装置以及移动终端 | |
| CN108762859A (zh) | 壁纸显示方法、装置、移动终端及存储介质 | |
| CN107749046B (zh) | 一种图像处理方法及移动终端 | |
| CN108833769A (zh) | 拍摄显示方法、装置、移动终端以及存储介质 | |
| CN108777731A (zh) | 按键配置方法、装置、移动终端及存储介质 | |
| CN109190648A (zh) | 模拟环境生成方法、装置、移动终端及计算机可读取存储介质 | |
| CN108764051A (zh) | 图像处理方法、装置及移动终端 | |
| CN110765924A (zh) | 一种活体检测方法、装置以及计算机可读存储介质 | |
| CN108512997A (zh) | 显示方法、装置、移动终端以及存储介质 | |
| CN111599460A (zh) | 远程医疗方法及系统 | |
| CN108898647A (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
| CN108647566B (zh) | 一种识别皮肤特征的方法及终端 | |
| CN108846817A (zh) | 图像处理方法、装置以及移动终端 | |
| CN108989666A (zh) | 拍摄方法、装置、移动终端及计算机可读取存储介质 | |
| CN109005102A (zh) | 信息处理方法、装置以及电子装置 | |
| CN108920224A (zh) | 对话信息处理方法、装置、移动终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210112 |