CN113256503A - 图像优化方法及装置、移动终端及存储介质 - Google Patents
图像优化方法及装置、移动终端及存储介质 Download PDFInfo
- Publication number
- CN113256503A CN113256503A CN202010091248.9A CN202010091248A CN113256503A CN 113256503 A CN113256503 A CN 113256503A CN 202010091248 A CN202010091248 A CN 202010091248A CN 113256503 A CN113256503 A CN 113256503A
- Authority
- CN
- China
- Prior art keywords
- image
- optimization
- features
- feature
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 192
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 19
- 238000009499 grossing Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 4
- 241001464837 Viridiplantae Species 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种图像优化方法及装置、移动终端及存储介质，所述方法包括：获取第一图像；通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。通过该方法，能根据当前第一图像的全局特征和局部特征自适应的优化第一图像，提升图像优化的智能性。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种图像优化方法及装置、移动终端及存储介质。
背景技术
随着移动终端的普及，利用移动终端进行拍照大受欢迎，用户对移动终端的拍照效果也越来越有需求。
当前，存在一种利用人工智能技术进行拍照优化的方案，然而该方案只能对天空、汽车、人等典型场景做优化，且优化效果不佳。
发明内容
本公开提供一种图像优化方法及装置、移动终端及存储介质。
根据本公开实施例的第一方面，提供一种图像优化方法，应用于移动终端中，所述方法包括：
获取第一图像；
通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；
通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
可选的，所述全局特征包括所述第一图像的风格特征；所述局部特征包括所述第一图像待优化局部的细节特征；
所述通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像，包括：
通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
可选的，所述深度学习网络中包括注意力机制，所述通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像，包括：
通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
可选的，所述通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像，包括：
通过包括所述注意力机制的深度学习网络，对所述风格特征和所述细节特征中属于优化目标的特征分配表征优化程度的第一权重，对所述优化目标以外的特征分配表征优化程度的第二权重；其中，所述第一权重大于所述第二权重；
根据所述风格特征及所述细节特征，按照所述第一权重对所述优化目标所对应像素的进行重建；并根据所述风格特征及所述细节特征，按照所述第二权重对所述优化目标所对应像素进行重建，得到优化后的所述第二图像。
可选的，在视频场景下，所述第一图像包括：当前帧所对应的第一图像和当前帧的前一帧所对应所述第一图像；
所述通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像，包括：
结合当前帧所对应第一图像的全局特征和局部特征及前一帧所对应第一图像的全局特征和局部特征进行平滑处理，得到平滑特征；
通过所述深度学习网络根据所述平滑特征对所述当前帧进行优化，获得所述当前帧的第二图像。
可选的，所述方法还包括：
在用户界面UI接收模式设置指令；
根据所述模式设置指令启动智能优化模式；
在所述智能优化模式启动之后，启动对所述第一图像的优化以得到优化后的所述第二图像。
可选的，所述对所述第一图像进行优化包括以下至少之一：
对所述第一图像进行颜色优化；
对所述第一图像进行对比度优化；
对所述第一图像进行亮度优化；
对所述第一图像进行饱和度优化；
对所述第一图像进行清晰度优化；
对所述第一图像进行噪声去除。
根据本公开实施例的第二方面，提供一种图像优化装置，应用于移动终端中，所述装置包括：
获取模块，配置为获取第一图像；
特征提取模块，配置为通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；
优化模块，配置为通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
可选的，所述全局特征包括所述第一图像的风格特征；所述局部特征包括所述第一图像待优化局部的细节特征；
所述优化模块，具体配置为通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
可选的，所述深度学习网络中包括注意力机制，所述优化模块，具体配置为通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
可选的，所述优化模块，具体配置为通过包括所述注意力机制的深度学习网络，对所述风格特征和所述细节特征中属于优化目标的特征分配表征优化程度的第一权重，对所述优化目标以外的特征分配表征优化程度的第二权重；其中，所述第一权重大于所述第二权重；根据所述风格特征及所述细节特征，按照所述第一权重对所述优化目标所对应像素的进行重建；并根据所述风格特征及所述细节特征，按照所述第二权重对所述优化目标所对应像素进行重建，得到优化后的所述第二图像。
可选的，在视频场景下，所述第一图像包括：当前帧所对应的第一图像和当前帧的前一帧所对应所述第一图像；所述优化模块，具体配置为结合当前帧所对应第一图像的全局特征和局部特征及前一帧所对应第一图像的全局特征和局部特征进行平滑处理，得到平滑特征；通过所述深度学习网络根据所述平滑特征对所述当前帧进行优化，获得所述当前帧的第二图像。
可选的，所述装置还包括：
接收模块，配置为在用户界面UI接收模式设置指令；
启动模块，配置为根据所述模式设置指令启动智能优化模式；在所述智能优化模式启动之后，启动对所述第一图像的优化以得到优化后的所述第二图像。
可选的，所述优化模块，具体配置为执行以下至少之一：
对所述第一图像进行颜色优化；
对所述第一图像进行对比度优化；
对所述第一图像进行亮度优化；
对所述第一图像进行饱和度优化；
对所述第一图像进行清晰度优化；
对所述第一图像进行噪声去除。
根据本公开实施例的第三方面，提供一种移动终端，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如上述第一方面中所述的图像优化方法。
根据本公开实施例的第四方面，提供一种存储介质，包括：
当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如上述第一方面中所述的图像优化方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，获取第一图像后，通过深度学习网络提取第一图像的全局特征和局部特征，并通过深度学习网络根据全局特征和局部特征对第一图像进行优化获得第二图像。通过该方法，无需事先区分出不同的场景(绿植、蓝天等场景)再针对场景利用预设好的优化参数做优化，而是依据当前第一图像的全局特征和局部特征指引进行自适应的优化，基于全局特征能兼顾各种整个第一图像或者第一图像中多个局部，以及单个局部特征能反应图像的细节，因而能实现多场景的针对性优化，提升优化效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是一种人工智能相机的原理示例图。
图2是本公开实施例示出的一种图像优化方法流程图一。
图3是本公开一种图像优化算法的结构图。
图4为本公开实施例一种视频平滑处理的示例图。
图5为本公开实施例一种利用图像优化方法进行拍照的产品形态示例图。
图6是根据一示例性实施例示出的一种图像优化装置图。
图7是本公开实施例示出的一种移动终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是一种人工智能相机的原理示例图。如图1所示，用户打开人工智能(Artificial Intelligence，AI)相机模式，首先对输入图像的场景进行识别，获得当前场景的类别标签，如蓝天、绿植、建筑或狗等；然后根据类别标签，选择由人工预设好的优化参数应用到当前图像进行优化，从而得到最终优化后的图像。该种优化方式存在如下几个方面的问题：
1)可优化的场景比较单一。一方面只能优化已有类别标签的单一场景，另一方面，对混合场景，例如既有蓝天又有绿植的场景，无法做到混合场景中局部场景差异式的优化。
2)无法做到针对性的优化。对于每个场景，人工预设好的优化参数是固定的，然而任一场景下，拍照环境是有所差异的。例如，同样是绿植的场景，但是不同的拍摄角度，成像内容上还有所差异，因此，使用同样的预设参数做优化无法做到针对不同内容的个性化的优化。
3)优化效果单一。预设好的优化参数仅是针对图像的饱和度和亮度等方面进行优化，无法同时兼顾风格效果和图像画质做优化操作。例如，绿植在白天和晚上的成像是不同的，然而使用统一的绿植场景的优化参数做优化，无法体现出白天和夜晚的差异，即无法兼顾风格的差异。
基于此，本公开提出一种图像优化方法，可以根据不同的场景自适应的进行不同的优化调整。
图2是本公开实施例示出的一种图像优化方法流程图一，如图1所示，应用于移动终端中的图像优化方法包括以下步骤：
S11、获取第一图像。
S12、通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成。
S13、通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
在本公开的实施例中，移动终端包括：手机、平板电脑、相机或智能穿戴设备等。移动终端可接收其它设备发送过来的第一图像，从而对第一图像进行图像优化。移动终端中也可包括图像采集模组，例如手机中的前置摄像头或后置摄像头，可进行图像采集从而获取图像。
需要说明的是，本公开实施例的图像优化方法应用于移动终端时，可利用图形处理器(Graphics Processing Unit，GPU)或嵌入式神经网络处理器(NPU)来提升优化速度。
在步骤S12中，移动终端通过深度学习网络提取获取到的第一图像的全局特征和局部特征，其中全局特征是指第一图像的整体属性，包括如纹理特征、直方图特征、颜色特征和形状特征等，可反映第一图像中的场景；而局部特征是指第一图像中局部区域的属性，包括如边缘特征或角点特征等，可反映第一图像的细节信息。
此外，本公开实施例中的深度学习网络可以是卷积神经网络(ConvolutionalNeural Networks，CNN)，例如基于U-Net或AlexNet等对包含不同场景信息和细节信息的样本图像训练而成。进一步的，本公开在网络训练时，还可采用蒸馏、剪枝、网络搜索等方法简化网络结构。需要说明的是，本公开实施例对具体采用何种网络进行训练，以及如何减轻网络的训练复杂度不做具体限制。
在一种实施例中，步骤S12包括：
对所述第一图像进行下采样，获取所述第一图像的采样图；
通过所述深度学习网络提取所述第一图像的采样图的全局特征和局部特征。
在该实施例中，通过对第一图像进行下采样获得尺寸缩小的小图，在小图上进行特征提取，可减少计算量，从而提升图像优化的速度。
在步骤S13中，移动终端通过深度学习网络根据全局特征和局部特征对第一图像进行优化，从而实现基于当前第一图像的全局特征和局部特征的针对性优化。
需要说明的是，在本公开的实施例中，可通过全局特征来描述不同的场景或风格，因而可针对不同的场景或风格分别做优化。
例如，对于人、车和建筑物，通过形状特征即可描述，因而能基于形状特征的指引，对有形状差异的场景分别做针对性的优化。
例如，对于有蓝天和绿植的混合场景，通过颜色特征即可描述，因而在混合场景时，可基于颜色特征的指引，分别对蓝天部分和绿植部分做针对性的优化。
再例如，在白天采集绿植图像时，画面整体是偏亮的；而在夜晚采集绿植图像时，画面整体是偏暗的。而不同亮度差异，可通过直方图特征来描述，因而可基于直方图特征的指引，对不同时段采集的绿植做针对性的优化。在本公开的实施例中，亮度差异属于一种风格差异。
此外，在本公开的实施例中，局部特征可描述图像中的细节，例如，针对不同拍摄角度的绿植成像，绿植的弯曲角度可能不同，弯曲角度可通过边缘特征描述，因而能基于边缘特征的指引，做不同弯曲角度的针对性优化。可以理解的是，将全局特征和局部特征的结合，还可实现更多样的优化。
在一种实施例中，步骤S13可包括如下步骤：
通过所述深度学习网络对所述第一图像做卷积，获得特征图；
通过所述深度学习网络利用所述全局特征和局部特征优化所述特征图；
通过所述神经网络对优化后的特征图做处理，获得所述第二图像。
在本公开的实施例中，全局特征和局部特征用于优化卷积后的特征图。移动终端将全局特征和局部特征上采样到特征图的大小并对特征图做优化后，即可对优化后的特征图做非线性激活或池化等操作，并基于如反卷积等逆运算得到优化后的第二图像。
需要说明的是，在本公开的实施例中，因全局特征和局部特征可反应第一图像中图像内容的属性，因此在利用全局特征和局部特征来优化特征图时，可获得更能反馈第一图像属性的特征图。那么，本申请基于全局特征和局部特征做优化的深度学习网络，可采用轻量级的卷积(例如，做2至3层卷积)，而无需采用很多层次的卷积(例如，10层以上的卷积)来表征第一图像的属性；同时，在做反卷积等逆运算得到第二图像时，也能较少逆运算的计算量。可以理解的是，本公开的方式，还能加快图像优化的速度，使得在移动终端有较好的性能优势。
在一种实施例中，对第一图像进行优化包括以下至少之一：
对所述第一图像进行颜色优化；
对所述第一图像进行对比度优化；
对所述第一图像进行亮度优化；
对所述第一图像进行饱和度优化；
对所述第一图像进行清晰度优化；
对所述第一图像进行噪声去除。
在该实施例中，在利用深度学习网络对第一图像进行上述各种优化以及噪声去除时，可根据提取的全局特征和局部特征来指导第一图像的各像素进行像素重建，例如对第一图像上不同区域的像素依区域进行像素级别的不同的线性或非线性变换，或者将第一图像中属于噪声像素的权重设置为0，以去除第一图像中的噪声。
需要说明的是，在对第一图像上不同区域的像素依区域做不同的变换时，可通过全局特征和局部特征对特征图中的各数据做变换，而基于利用卷积核对第一图像进行卷积时，卷积得到的特征图的一个数据对应第一图像中的一个区域，因而能实现对第一图像上不同区域的像素进行不同的变换。
在训练获得深度学习网络时，通过损失函数来衡量大量样本的训练值和样本标签之间的差异，从而反向传播来不断优化网络中的参数而获得训练好的网络模型。本公开的实施例中，可设置颜色变化损失函数来训练得到深度学习网络从而实现颜色优化，同样的，可设置对比度变化损失函数、亮度变化损失函数、饱和度变化损失函数、清晰度损失函数或噪声去除的损失函数以实现对比度优化、亮度优化、饱和度优化、清晰度优化或噪声去除。当然，在训练时，可兼顾上述的各损失函数，从而同时实现对第一图像的颜色优化、对比度优化、亮度优化和饱和度优化等。此外，在训练时，也可设置像素重建的损失函数，以综合制约各优化方向的调整。
在一种实施例中，所述全局特征包括所述第一图像的风格特征；所述局部特征包括所述第一图像待优化局部的细节特征；步骤S13包括：
通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
如前所述的，全局特征是第一图像的整体属性，局部特征是第一图像中局部区域的属性。在该实施例中，全局特征中的如纹理特征、直方图特征和颜色特征可表征第一图像的风格，属于风格特征；而局部特征中的如边缘特征可表征第一图像的细节，属于细节特征。
因此，在该实施例中，可通过深度学习网络，利用风格特征和细节特征对第一图像进行像素重建，获得根据第一图像的风格进行画质优化后的第二图像。其中，画质优化是指如前所述的清晰度优化、噪声去除等。
图3是本公开一种图像优化算法的结构图，如图3所示，对于输入图像，利用CNN抽取包括全局特征和局部特征后，即可再通过CNN利用全局特征和局部特征做图像优化，以输出优化后的图像。其中，在做图像优化时，兼顾图像风格和图像画质。
需要说明的是，在本公开的实施例中，获得的是根据风格进行画质优化后的图像，即在做画质优化时，能基于当前的风格进行优化。例如，对于白天采集的绿植图像，会仍保持整体偏亮的风格进行画质优化。而对于夜晚采集的绿植图像，会仍保持整体偏暗的风格进行画质优化。
此外，在基于风格进行画质优化时，还可基于属于风格特征的直方图特征做适度的亮度优化，基于颜色特征做适度的颜色优化或饱和度优化等，但是本公开在做上述调整时，不会改变图像的风格。如前所述的，不会将夜晚采集的绿植图像，优化成如白天采集的绿植图像的风格。另外，在结合细节特征时，还可基于图像的边缘特征和角点特征，去除不属于边缘的孤立角点，从而实现噪声的去除；基于边缘特征，加大边缘区域和非边缘区域的像素值差异，以提升清晰度。
可以理解的是，在本公开的实施例中，基于全局特征中属于风格特征的特征约束，再结合细节特征，可实现根据风格的画质优化，相对于采用统一参数来优化同一场景(绿植)的方式，提升了优化效果的多样性。
在一种实施例中，所述深度学习网络中包括注意力机制，所述通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像，包括：
通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
在本公开的实施例中，深度学习网络中包括注意力机制，注意力机制来自于人类视觉过程的启发，人类在进行阅读时只会关注整个视觉区域中的显著部分而忽略其他部分的干扰。本公开通过注意力机制，对具有显著特性的部分会给予更多的关注。例如，更关注于全局特征或局部特征；或者，更关注于全局特征或细节特征中的部分特征；再或者，更关注于网络中某一卷积层的特征图等。更关注的特征，可以通过设置权重比非关注特征的权重更大来实现。
可以理解的是，深度学习网络，基于注意力机制将关注重点关注到需要优化的部分，而无需优化并且不需要一直优化的部分不会被关注或者不会被持续关注，从而实现第一图像有针对性的优化，减少不必要优化的计算量，同时确保优化后的图像效果。
在一种实施例中，所述通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像，包括：
通过包括所述注意力机制的深度学习网络，对所述风格特征和所述细节特征中属于优化目标的特征分配表征优化程度的第一权重，对所述优化目标以外的特征分配表征优化程度的第二权重；其中，所述第一权重大于所述第二权重；
根据所述风格特征及所述细节特征，按照所述第一权重对所述优化目标所对应像素的进行重建；并根据所述风格特征及所述细节特征，按照所述第二权重对所述优化目标所对应像素进行重建，得到优化后的所述第二图像。
在该实施例中，在进行图像优化时，基于包括注意力机制的神经网络，可对风格特征和细节特征中属于优化目标的特征分配较大的权重，而对优化目标以外的特征分配较小的权重。其中，权重表征的是基于该特征做优化的优化程度，体现的是特征对优化方向的贡献度。
本公开的实施例中，目标特征以外的特征包括：冗余特征、背景特征或噪声特征。其中，冗余特征是指提取的全局特征和局部特征中，即便进行图像优化也无法提升图像质量的特征；背景特征是指目标所在的背景的特征，例如，第一图像中是人脸的特写，那么人脸以外的部分即属于背景特征，并不是期望关注的特征；噪声特征，是指对图像的画质产生影响的特征，例如是提取的一些局部特征(例如角点特征)中的一些孤立的点，对应第一图像中的噪声。
例如，在基于全局特征和细节特征对第一图像进行像素重建时，全局特征中的颜色特征和形状特征表征第一图像可能是蓝天场景。因此，在对第一图像进行优化时，可对蓝色的颜色特征分配较大的权重，而对蓝色以外的颜色特征分配较小的权重，以针对蓝色做颜色优化。进一步的，因为蓝天中存在的云朵的形状通常是比较圆滑的，因此可结合细节特征中的边缘特征，对边缘梯度值较大的部分分配较小的权重，而对边缘梯度值较小的部分分配较大的权重，以优化云朵部分。
可以理解的是，在该实施例中，基于包括注意力机制的深度学习网络，对提取的全局特征和局部特征中的不同特征分配不同的权重，从而再基于权重进行图像优化的过程中，对有必要进行优化的特征进行优化，无需进行优化甚至需要抑制优化的部分，一方面减少了不必要优化所导致的计算量；另一方确保了优化后的图像是用户期望的图像。
在一种实施例中，在视频场景下，所述第一图像包括：当前帧所对应的第一图像和当前帧的前一帧所对应所述第一图像；步骤S13包括：
结合当前帧所对应第一图像的全局特征和局部特征及前一帧所对应第一图像的全局特征和局部特征进行平滑处理，得到平滑特征；
通过所述深度学习网络根据所述平滑特征对所述当前帧进行优化，获得所述当前帧的第二图像。
在该实施例中，应用于视频场景时，因视频中可能会发生场景的突变，例如从蓝天场景切换到绿地场景，为了减少颜色突变给用户眼睛造成不适的现象发生，本公开将相邻的前后两帧图像做平滑处理，以均衡画面中的颜色特征，实现颜色的平缓渐变，从而使得在发生场景切换时，过渡更自然。
图4为本公开实施例一种视频平滑处理的示例图，如图4所示，针对视频流中的上一帧图像的全局特征和局部特征，和当前帧图像的全局特征和局部特征做特征平滑处理。
需要说明的是，在该实施例中，在进行平滑处理时，可采用加权平滑的方式，例如对于当前帧的全局特征和局部特征和前一帧的全局特征和局部特征分配不同的权重来进行平滑。此外，在本公开的实施例中，不仅局限于使用相邻两帧的全局特征和局部特征做平滑，可扩展至使用更多的相邻帧图像做平滑处理。
可以理解的是，本公开的图像优化方法当应用到视频场景时，基于全局特征和局部特征平滑的处理方式，使用于优化的全局特征和局部特征更加平滑，对于视频中场景内容改变的情况，减轻了跳变现象的发生，因而能提升用户体验。
在一种实施例中，所述方法还包括：
在用户界面UI接收模式设置指令；
根据所述模式设置指令启动智能优化模式；
在所述智能优化模式启动之后，启动对所述第一图像的优化以得到优化后的所述第二图像。
当本公开的图像优化方法应用于手机或相机等移动终端时，可在移动终端的显示屏上设置模式选项。例如，在手机启动拍照应用后，在用户界面(User Interface，UI)上显示可启动智能优化模式的模式设置选项。移动终端基于通过用户语音或触控而接收到的模式设置指令，即可启动智能优化模式，即采用本公开的图像优化方法，以对采集的第一图像做优化。
需要说明的是，在移动终端中利用本公开的图像优化方法进行图像优化获得第二图像后，还可在移动终端上显示第二图像以提供预览，也可保存生成的第二图像以实现拍照出图。
图5为本公开实施例一种利用图像优化方法进行拍照的产品形态示例图，如图5所示，当用户点击UI按钮打开模式后，即可采用本公开的图像优化算法直出图像，包括：优化后的图像的预览显示以及拍照出图。
可以理解的是，本公开的图像优化方法在移动终端使用时，提供模式可设置的方式，基于用户的设置才启用图像优化算法，使得用户能感知不同拍照模式带来拍照效果。此外，基于本公开的图像优化方法优化后的第二图像，可实时用于预览或拍照出图，给用户提供所见即所得的效果。
图6是根据一示例性实施例示出的一种图像优化装置图。参照图6，该图像优化装置包括：
获取模块101，配置为获取第一图像；
特征提取模块102，配置为通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；
优化模块103，配置为通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
可选的，所述全局特征包括所述第一图像的风格特征；所述局部特征包括所述第一图像待优化局部的细节特征；
所述优化模块103，具体配置为通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
可选的，所述深度学习网络中包括注意力机制，所述优化模块103，具体配置为通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
可选的，所述优化模块103，具体配置为通过包括所述注意力机制的深度学习网络，对所述风格特征和所述细节特征中属于优化目标的特征分配表征优化程度的第一权重，对所述优化目标以外的特征分配表征优化程度的第二权重；其中，所述第一权重大于所述第二权重；根据所述风格特征及所述细节特征，按照所述第一权重对所述优化目标所对应像素的进行重建；并根据所述风格特征及所述细节特征，按照所述第二权重对所述优化目标所对应像素进行重建，得到优化后的所述第二图像。
可选的，在视频场景下，所述第一图像包括：当前帧所对应的第一图像和当前帧的前一帧所对应所述第一图像；所述优化模块103，具体配置为结合当前帧所对应第一图像的全局特征和局部特征及前一帧所对应第一图像的全局特征和局部特征进行平滑处理，得到平滑特征；通过所述深度学习网络根据所述平滑特征对所述当前帧进行优化，获得所述当前帧的第二图像。
可选的，所述装置还包括：
接收模块104，配置为在用户界面UI接收模式设置指令；
启动模块105，配置为根据所述模式设置指令启动智能优化模式；在所述智能优化模式启动之后，启动对所述第一图像的优化以得到优化后的所述第二图像。
可选的，所述优化模块103，具体配置为执行以下至少之一：
对所述第一图像进行颜色优化；
对所述第一图像进行对比度优化；
对所述第一图像进行亮度优化；
对所述第一图像进行饱和度优化；
对所述第一图像进行清晰度优化；
对所述第一图像进行噪声去除。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种移动终端装置800的框图。例如，装置800可以是手机，相机等。
参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行控制方法，所述方法包括：
获取第一图像；
通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；
通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种图像优化方法，其特征在于，应用于移动终端中，所述方法包括：
获取第一图像；
通过深度学习网络提取所述第一图像的全局特征和局部特征；其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；
通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
2.根据权利要求1所述的方法，其特征在于，所述全局特征包括所述第一图像的风格特征；所述局部特征包括所述第一图像待优化局部的细节特征；
所述通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像，包括：
通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述深度学习网络中包括注意力机制，所述通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像，包括：
通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
4.根据权利要求3所述的方法，其特征在于，所述通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像，包括：
通过包括所述注意力机制的深度学习网络，对所述风格特征和所述细节特征中属于优化目标的特征分配表征优化程度的第一权重，对所述优化目标以外的特征分配表征优化程度的第二权重；其中，所述第一权重大于所述第二权重；
根据所述风格特征及所述细节特征，按照所述第一权重对所述优化目标所对应像素的进行重建；并根据所述风格特征及所述细节特征，按照所述第二权重对所述优化目标所对应像素进行重建，得到优化后的所述第二图像。
5.根据权利要求1所述的方法，其特征在于，在视频场景下，所述第一图像包括：当前帧所对应的第一图像和当前帧的前一帧所对应所述第一图像；
所述通过所述深度学习网络根据所述全局特征和所述局部特征对所述第一图像进行优化，获得第二图像，包括：
结合当前帧所对应第一图像的全局特征和局部特征及前一帧所对应第一图像的全局特征和局部特征进行平滑处理，得到平滑特征；
通过所述深度学习网络根据所述平滑特征对所述当前帧进行优化，获得所述当前帧的第二图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在用户界面UI接收模式设置指令；
根据所述模式设置指令启动智能优化模式；
在所述智能优化模式启动之后，启动对所述第一图像的优化以得到优化后的所述第二图像。
7.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行优化包括以下至少之一：
对所述第一图像进行颜色优化；
对所述第一图像进行对比度优化；
对所述第一图像进行亮度优化；
对所述第一图像进行饱和度优化；
对所述第一图像进行清晰度优化；
对所述第一图像进行噪声去除。
8.一种图像优化装置，其特征在于，应用于移动终端中，所述装置包括：
获取模块，配置为获取第一图像；
特征提取模块，配置为通过深度学习网络提取所述第一图像的全局特征和局部特征，其中，所述全局特征包括第一图像的场景信息，局部特征包括第一图像的细节信息；所述深度学习网络为对包含不同场景信息和细节信息的样本图像训练而成；
优化模块，配置为通过所述深度学习网络根据所述全局特征和局部特征对所述第一图像进行优化，获得第二图像。
9.根据权利要求8所述的装置，其特征在于，所述全局特征包括所述第一图像的风格特征；所述局部特征包括所述第一图像待优化局部的细节特征；
所述优化模块，具体配置为通过所述深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
10.根据权利要求9所述的装置，其特征在于，所述深度学习网络中包括注意力机制，
所述优化模块，具体配置为通过包括所述注意力机制的深度学习网络，利用所述风格特征和所述细节特征对所述第一图像进行像素重建，获得根据所述第一图像的风格进行画质优化后的所述第二图像。
11.根据权利要求10所述的装置，其特征在于，
所述优化模块，具体配置为通过包括所述注意力机制的深度学习网络，对所述风格特征和所述细节特征中属于优化目标的特征分配表征优化程度的第一权重，对所述优化目标以外的特征分配表征优化程度的第二权重；其中，所述第一权重大于所述第二权重；根据所述风格特征及所述细节特征，按照所述第一权重对所述优化目标所对应像素的进行重建；并根据所述风格特征及所述细节特征，按照所述第二权重对所述优化目标所对应像素进行重建，得到优化后的所述第二图像。
12.根据权利要求8所述的装置，其特征在于，在视频场景下，所述第一图像包括：当前帧所对应的第一图像和当前帧的前一帧所对应所述第一图像；
所述优化模块，具体配置为结合当前帧所对应第一图像的全局特征和局部特征及前一帧所对应第一图像的全局特征和局部特征进行平滑处理，得到平滑特征；通过所述深度学习网络根据所述平滑特征对所述当前帧进行优化，获得所述当前帧的第二图像。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：
接收模块，配置为在用户界面UI接收模式设置指令；
启动模块，配置为根据所述模式设置指令启动智能优化模式；在所述智能优化模式启动之后，启动对所述第一图像的优化以得到优化后的所述第二图像。
14.根据权利要求8所述的装置，其特征在于，所述优化模块，具体配置为执行以下至少之一：
对所述第一图像进行颜色优化；
对所述第一图像进行对比度优化；
对所述第一图像进行亮度优化；
对所述第一图像进行饱和度优化；
对所述第一图像进行清晰度优化；
对所述第一图像进行噪声去除。
15.一种移动终端，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至7中任一项所述的图像优化方法。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如权利要求1至7中任一项所述的图像优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091248.9A CN113256503B (zh) | 2020-02-13 | 2020-02-13 | 图像优化方法及装置、移动终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091248.9A CN113256503B (zh) | 2020-02-13 | 2020-02-13 | 图像优化方法及装置、移动终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113256503A true CN113256503A (zh) | 2021-08-13 |
| CN113256503B CN113256503B (zh) | 2024-03-08 |
Family
ID=77220079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010091248.9A Active CN113256503B (zh) | 2020-02-13 | 2020-02-13 | 图像优化方法及装置、移动终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256503B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150030242A1 (en) * | 2013-07-26 | 2015-01-29 | Rui Shen | Method and system for fusing multiple images |
| US20150078661A1 (en) * | 2013-08-26 | 2015-03-19 | Disney Enterprises, Inc. | High dynamic range and tone mapping imaging techniques |
| CN105825485A (zh) * | 2016-03-30 | 2016-08-03 | 努比亚技术有限公司 | 一种图像处理系统和方法 |
| CN106548145A (zh) * | 2016-10-31 | 2017-03-29 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
| JP2018026794A (ja) * | 2016-08-01 | 2018-02-15 | 株式会社リコー | 画像処理装置、画像投影装置、及び画像処理方法 |
| US20180330473A1 (en) * | 2016-01-08 | 2018-11-15 | Flir Systems, Inc. | Systems and methods for image resolution enhancement |
| CN109102483A (zh) * | 2018-07-24 | 2018-12-28 | 厦门美图之家科技有限公司 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
| CN109544482A (zh) * | 2018-11-29 | 2019-03-29 | 厦门美图之家科技有限公司 | 一种卷积神经网络模型生成方法及图像增强方法 |
| CN109859106A (zh) * | 2019-01-28 | 2019-06-07 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
| CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| CN110458771A (zh) * | 2019-07-29 | 2019-11-15 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110570384A (zh) * | 2019-09-16 | 2019-12-13 | 西南科技大学 | 一种对场景图像进行光照均衡处理的方法、装置、计算机设备以及计算机存储介质 |
| CN110717856A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种用于医学成像的超分辨率重建算法 |
| WO2020015470A1 (zh) * | 2018-07-16 | 2020-01-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
-
2020
- 2020-02-13 CN CN202010091248.9A patent/CN113256503B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150030242A1 (en) * | 2013-07-26 | 2015-01-29 | Rui Shen | Method and system for fusing multiple images |
| US20150078661A1 (en) * | 2013-08-26 | 2015-03-19 | Disney Enterprises, Inc. | High dynamic range and tone mapping imaging techniques |
| US20180330473A1 (en) * | 2016-01-08 | 2018-11-15 | Flir Systems, Inc. | Systems and methods for image resolution enhancement |
| CN105825485A (zh) * | 2016-03-30 | 2016-08-03 | 努比亚技术有限公司 | 一种图像处理系统和方法 |
| JP2018026794A (ja) * | 2016-08-01 | 2018-02-15 | 株式会社リコー | 画像処理装置、画像投影装置、及び画像処理方法 |
| CN106548145A (zh) * | 2016-10-31 | 2017-03-29 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
| WO2020015470A1 (zh) * | 2018-07-16 | 2020-01-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
| CN109102483A (zh) * | 2018-07-24 | 2018-12-28 | 厦门美图之家科技有限公司 | 图像增强模型训练方法、装置、电子设备及可读存储介质 |
| CN109544482A (zh) * | 2018-11-29 | 2019-03-29 | 厦门美图之家科技有限公司 | 一种卷积神经网络模型生成方法及图像增强方法 |
| CN109859106A (zh) * | 2019-01-28 | 2019-06-07 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
| CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| CN110458771A (zh) * | 2019-07-29 | 2019-11-15 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110717856A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种用于医学成像的超分辨率重建算法 |
| CN110570384A (zh) * | 2019-09-16 | 2019-12-13 | 西南科技大学 | 一种对场景图像进行光照均衡处理的方法、装置、计算机设备以及计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZHAO HH等: "Image neural style transfer with global and local optimization fusion", IEEE ACCESS, vol. 7, no. 99, pages 85573 - 85580, XP011734656, DOI: 10.1109/ACCESS.2019.2922554 * |
| 赵小虎;尹良飞;赵成龙;: "基于全局-局部特征和自适应注意力机制的图像语义描述算法", 浙江大学学报(工学版), no. 01, pages 131 - 139 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113256503B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| US9195880B1 (en) | Interactive viewer for image stacks | |
| CN110677734B (zh) | 视频合成方法、装置、电子设备及存储介质 | |
| CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
| CN113411498B (zh) | 图像拍摄方法、移动终端及存储介质 | |
| CN112614064B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| EP4020371A1 (en) | Photographing method, terminal, and storage medium | |
| CN111340731A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| EP3816927B1 (en) | Method and apparatus for training image processing models, and storage medium | |
| CN113706421A (zh) | 一种图像处理方法及装置、电子设备和存储介质 | |
| CN110458771B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN115205172A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN115359105A (zh) | 景深扩展图像生成方法、设备及存储介质 | |
| CN110913120B (zh) | 图像拍摄方法及装置、电子设备、存储介质 | |
| CN114070998B (zh) | 一种拍摄月亮的方法、装置、电子设备及介质 | |
| CN113256503B (zh) | 图像优化方法及装置、移动终端及存储介质 | |
| CN111586296B (zh) | 图像拍摄方法、图像拍摄装置及存储介质 | |
| CN111223114B (zh) | 一种图像区域的分割方法、装置及电子设备 | |
| CN116320716B (zh) | 图片采集方法、模型训练方法及相关装置 | |
| EP4246955A1 (en) | Image processing method and electronic device | |
| CN112188095B (zh) | 拍照方法、拍照装置及存储介质 | |
| CN118102080A (zh) | 图像拍摄方法、装置、终端及存储介质 | |
| CN112217989A (zh) | 图像显示方法及装置 | |
| CN114529495A (zh) | 图像处理方法、装置以及存储介质 | |
| CN112465721A (zh) | 图像校正方法及装置、移动终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |