CN116757965B - 图像增强方法、装置和存储介质 - Google Patents
图像增强方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116757965B CN116757965B CN202311036518.6A CN202311036518A CN116757965B CN 116757965 B CN116757965 B CN 116757965B CN 202311036518 A CN202311036518 A CN 202311036518A CN 116757965 B CN116757965 B CN 116757965B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- images
- degradation
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000015556 catabolic process Effects 0.000 claims abstract description 150
- 238000006731 degradation reaction Methods 0.000 claims abstract description 150
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像增强方法、装置和存储介质，涉及自动驾驶图像处理技术领域，该图像增强方法包括：获取原始图像，并通过图像增强模型对所述原始图像进行处理，得到目标残差图像，该图像增强模型基于多个样本降质图像训练基础模型得到，该样本降质图像由样本高清图像进行降质操作得到，该降质操作包括下采样降质和运动模糊降质，并根据原始图像和目标残差图像，得到目标增强图像。通过采用对样本高清图像经过降质操作得到的样本降质图像训练得到的图像增强模型对拍摄得到的清晰度不够高的原始图像进行处理，即可输出得到该原始图像对应的目标残差图像，并根据原始图像和目标残差图像，得到目标增强图像，从而实现摄像头的高清增强效果。
Description
技术领域
本公开涉及自动驾驶图像处理技术领域，尤其涉及一种图像增强方法、装置和存储介质。
背景技术
在自动驾驶技术中，利用车载摄像头、激光、雷达、超声等传感器采集车体周围环境的数据，并通过感知算法进行分析处理得到车体周围的路况信息的过程有尤为重要。这些传感器作为自动驾驶系统的眼睛，其所采集数据的质量会严重影响到感知算法的精度。随着深度学习在视觉领域的应用日渐成熟，诸如目标检测、图像分割、文字识别等视觉检测算法已经广泛应用于车辆感知任务之中。而车载摄像头拍摄图像的清晰度将会严重影响到感知算法的准确度，例如库位编号识别、路面标识识别等，进而会影响到下游的建图和规划控制任务。因此，在提升视觉感知算法的精度的过程中，对车载摄像头采集的数据进行超清增强成为非常重要的环节。
发明内容
为克服相关技术中存在的拍摄的图像的清晰度不够高的问题，本公开提供一种图像增强方法，通过采用对样本高清图像经过降质操作得到的样本降质图像训练得到的图像增强模型对拍摄得到的清晰度不够高的原始图像进行处理，该降质操作包括下采样降质和运动模糊降质，即可输出得到该原始图像对应的目标残差图像，并根据原始图像和目标残差图像，即可合成得到高清增强后的目标增强图像，从而实现摄像头的高清增强效果。
根据本公开实施例的第一方面，提供一种图像增强方法，包括：
获取原始图像；
通过图像增强模型对所述原始图像进行处理，得到目标残差图像，所述图像增强模型基于多个样本降质图像训练基础模型得到，所述样本降质图像由样本高清图像进行降质操作得到，所述降质操作包括下采样降质和运动模糊降质；
根据所述原始图像和所述目标残差图像，得到目标增强图像。
可选地，所述图像增强模型通过以下步骤得到：
获取多个样本降质图像，所述样本降质图像携带标注标签，所述标注标签为所述样本降质图像对应的真实残差图像；
根据所述多个样本降质图像，对所述基础模型进行多轮迭代训练；
在每一轮训练之后，根据本轮训练得到的预测残差图像以及本轮训练中的训练样本对应的真实残差图像，得到本轮训练对应的预测损失；
根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
在所述基础模型满足训练停止条件的情况下，停止训练，得到所述图像增强模型。
可选地，所述获取多个样本降质图像，包括：
获取多个原始高清图像；
对所述多个原始高清图像进行归一化，得到多个所述样本高清图像；
对多个所述样本高清图像进行降质操作，得到所述多个样本降质图像。
可选地，所述对多个所述样本高清图像进行降质操作，得到所述多个样本降质图像，包括：
针对任一样本高清图像，对所述任一样本高清图像进行不同倍率的下采样操作，得到多个下采样图像；
对所述多个下采样图像进行线性插值，得到第一降质图像，所述第一降质图像的分辨率与所述任一样本高清图像的分辨率相同；
采用运动模糊核对所述第一降质图像进行卷积操作，得到第二降质图像；
根据多个所述样本高清图像对应的所述第二降质图像，得到所述多个样本降质图像。
可选地，所述根据多个所述样本高清图像对应的所述第二降质图像，得到所述多个样本降质图像，包括：
根据多个所述样本高清图像对应的所述第二降质图像和所述第一降质图像，得到所述多个样本降质图像。
可选地，所述根据多个所述样本高清图像对应的所述第二降质图像和所述第一降质图像，得到所述多个样本降质图像，包括：
对所述第一降质图像和所述第二降质图像进行分割，得到多个分割子图像；
将多个所述样本高清图像对应的多个分割子图像确定为所述多个样本降质图像。
可选地，所述方法还包括：
确定每个样本降质图像对应的样本高清图像；
根据每个样本降质图像以及每个样本降质图像对应的样本高清图像，确定每个样本降质图像对应的真实残差图像；
根据每个样本降质图像对应的真实残差图像，对每个样本降质图像进行标签标注，得到每个样本降质图像携带的标注标签。
根据本公开实施例的第二方面，提供一种图像增强装置，包括：
第一获取模块，被配置为获取原始图像；
第一获得模块，被配置为通过图像增强模型对所述原始图像进行处理，得到目标残差图像，所述图像增强模型基于多个样本降质图像训练基础模型得到，所述样本降质图像由样本高清图像进行降质操作得到，所述降质操作包括下采样降质和运动模糊降质；
第二获得模块，被配置为根据所述原始图像和所述目标残差图像，得到目标增强图像。
可选地，所述图像增强装置还包括：
第二获取模块，被配置为获取多个样本降质图像，所述样本降质图像携带标注标签，所述标注标签为所述样本降质图像对应的真实残差图像；
训练模块，被配置为根据所述多个样本降质图像，对所述基础模型进行多轮迭代训练；
第三获得模块，被配置为在每一轮训练之后，根据本轮训练得到的预测残差图像以及本轮训练中的训练样本对应的真实残差图像，得到本轮训练对应的预测损失；
优化模块，被配置为根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
第四获得模块，被配置为在所述基础模型满足训练停止条件的情况下，停止训练，得到所述图像增强模型。
可选地，所述第二获取模块，包括：
获取子模块，被配置为获取多个原始高清图像；
第一获得子模块，被配置为对所述多个原始高清图像进行归一化，得到多个所述样本高清图像；
第二获得子模块，被配置为对多个所述样本高清图像进行降质操作，得到所述多个样本降质图像。
可选地，所述第二获得子模块，包括：
下采样单元，被配置为针对任一样本高清图像，对所述任一样本高清图像进行不同倍率的下采样操作，得到多个下采样图像；
第一获得单元，被配置为对所述多个下采样图像进行线性插值，得到第一降质图像，所述第一降质图像的分辨率与所述任一样本高清图像的分辨率相同；
第二获得单元，被配置为采用运动模糊核对所述第一降质图像进行卷积操作，得到第二降质图像；
第三获得单元，被配置为根据多个所述样本高清图像对应的所述第二降质图像，得到所述多个样本降质图像。
可选地，所述第三获得单元，包括：
第四获得单元，被配置为根据多个所述样本高清图像对应的所述第二降质图像和所述第一降质图像，得到所述多个样本降质图像。
可选地，所述第四获得单元，包括：
获得子单元，被配置为对所述第一降质图像和所述第二降质图像进行分割，得到多个分割子图像；
确定子单元，被配置为将多个所述样本高清图像对应的多个分割子图像确定为所述多个样本降质图像。
可选地，所述图像增强装置还包括：
第一确定模块，被配置为确定每个样本降质图像对应的样本高清图像；
第二确定模块，被配置为根据每个样本降质图像以及每个样本降质图像对应的样本高清图像，确定每个样本降质图像对应的真实残差图像；
第五获得模块，被配置为根据每个样本降质图像对应的真实残差图像，对每个样本降质图像进行标签标注，得到每个样本降质图像携带的标注标签。
根据本公开实施例的第三方面，提供一种图像深度确定装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为实现本公开第一方面所提供的图像增强方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的图像增强方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过获取原始图像，并通过图像增强模型对所述原始图像进行处理，得到目标残差图像，该图像增强模型基于多个样本降质图像训练基础模型得到，该样本降质图像由样本高清图像进行降质操作得到，该降质操作包括下采样降质和运动模糊降质，并根据原始图像和目标残差图像，得到目标增强图像。通过采用对样本高清图像经过降质操作得到的样本降质图像训练得到的图像增强模型对拍摄得到的清晰度不够高的原始图像进行处理，即可输出得到该原始图像对应的目标残差图像，并根据原始图像和目标残差图像，即可合成得到高清增强后的目标增强图像，从而实现摄像头的高清增强效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像增强方法的场景示意图。
图2是根据一示例性实施例示出的一种图像增强方法的流程图。
图3是根据一示例性实施例示出的一种训练得到图像增强模型的方法的流程图。
图4是根据一示例性实施例示出的一种获取多个样本降质图像的方法的流程图。
图5是根据一示例性实施例示出的一种图像增强装置框图。
图6是根据一示例性实施例示出的一种用于图像增强方法的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
相关技术中，针对车载摄像头采集的图像，由于车辆处于运动状态，导致采集的图像清晰度不够高。
针对上述技术问题，本公开提供一种图像增强方法，通过采用对样本高清图像经过降质操作得到的样本降质图像训练得到的图像增强模型对拍摄得到的清晰度不够高的原始图像进行处理，即可输出得到该原始图像对应的目标残差图像，并根据原始图像和目标残差图像，即可合成得到高清增强后的目标增强图像，从而实现摄像头的高清增强效果。
图1是根据一示例性实施例示出的一种图像增强方法的场景示意图，如图1所示，该图像增强方法可用于对低质图像进行处理，得到高频残差图像，并将低质图像和高频残差图像进行结合，即可得到该低质图像对应的高清图像。其中，该方法可用于对自动控制中的图像的处理，例如，针对车辆的自动驾驶，可通过车辆的摄像装置获取图像，将该图像作为低质图像，进行处理得到对应的高清图像，也可针对机器人的自动控制以及其它携带摄像装置的运动物体的自动控制，均可通过该图像增强方法对摄像装置获取的图像进行处理得到高清图像。
图2是根据一示例性实施例示出的一种图像增强方法的流程图，如图2所示，该方法可用于图像增强装置，该图像增强装置可用于车辆，包括以下步骤。
在步骤S201中，获取原始图像。
在本实施方式中，可对摄像头获取的多张连续的图像分别进行图像增强，其中，对于每一次图像增强，可从多张连续的图像中确定出一张图像作为原始图像，该原始图像即为待增强的图像，图1中的低质图像即为原始图像。
在步骤S202中，通过图像增强模型对原始图像进行处理，得到目标残差图像，图像增强模型基于多个样本降质图像训练基础模型得到，样本降质图像由样本高清图像进行降质操作得到，降质操作包括下采样降质和运动模糊降质。
在本实施方式中，可预先通过对样本高清图像进行降质操作，例如下采样降质和运动模糊降质，得到样本降质图像，并通过多个样本降质图像对基础模型进行训练，从而能够得到对下采样降质和运动模糊降质后的图像有较好的增强效果的图像增强模型。将原始图像输入训练好的图像增强模型，即可得到该原始图像对应的目标残差图像。该目标残差图像即为清晰度较差的原始图像与高清图像之间的残差。图1中的高频残差图像即为目标残差图像。
在步骤S203中，根据原始图像和目标残差图像，得到目标增强图像。
在本实施方式中，可通过将原始图像和得到的目标残差图像相加，即可得到高清增强后的目标增强图像。图1中的高清图像即为目标增强图像。
在本实施例中，通过采用对样本高清图像经过降质操作得到的样本降质图像训练得到的图像增强模型对拍摄得到的清晰度不够高的原始图像进行处理，即可输出得到该原始图像对应的目标残差图像，并根据原始图像和目标残差图像，即可合成得到高清增强后的目标增强图像，从而实现摄像头的高清增强效果。
图3是根据一示例性实施例示出的一种训练得到图像增强模型的方法的流程图，如图3所示，在一种可能的实施方式中，图像增强模型通过以下步骤得到：
在步骤S301中，获取多个样本降质图像，该样本降质图像携带标注标签，该标注标签为样本降质图像对应的真实残差图像。
在本实施方式中，可获取多个样本高清图像，并对获取的高清图像进行降质操作，例如下采样降质和运动模糊降质，从而得到多个样本降质图像，并可根据样本降质图像和该样本降质图像对应的样本高清图像，得到该样本降质图像对应的真实残差图像，并通过该真实残差图像对该样本降质图像进行标签标注，得到携带标注标签的样本降质图像。
在步骤S302中，根据多个样本降质图像，对基础模型进行多轮迭代训练。
在本实施方式中，基础模型为用于进行图像质量增强的基础网络，该基础模型以低质量的原始图像为输入，可输出对应的残差图像，该残差图像为原始图像与预测的高质量图像之间的残差。可选地，如图1所示，该基础模型的网络结构可为一个17层的网络结构：其中第一层为卷积层(Conv)+激活函数(ReLU)，中间采用15层卷积层+批量归一化层(BN)+激活函数，最后一层采用卷积层。
在步骤S303中，在每一轮训练之后，根据本轮训练得到的预测残差图像以及本轮训练中的训练样本对应的真实残差图像，得到本轮训练对应的预测损失。
在本实施方式中，在训练的过程中，每一轮训练可通过多个样本降质图像对基础模型进行训练，每一个样本降质图像均可通过基础网络输出一个对应的预测残差图像，根据本轮训练得到的预测残差图像以及本轮训练中的训练样本对应的真实残差图像，即可得到本轮训练对应的预测损失。
可选地，损失函数可采用均方误差计算公式：
其中，即为预测损失，/>为本轮训练对应的样本降质图像的数量，/>为真实残差图像，/>为预测残差图像。
在步骤S304中，根据本轮训练对应的预测损失，对基础模型进行优化。
在本实施方式中，可根据本轮训练对应的预测损失，采用梯度下降法，得到优化参数，对基础模型中的参数进行优化，以便提高基础模型输出的预测残差图像的准确性。
在步骤S305中，在基础模型满足训练停止条件的情况下，停止训练，得到图像增强模型。
在本实施方式中，训练停止条件可为基础模型收敛，或者，训练轮数达到预设轮数，例如，预设训练轮数为500。在基础模型收敛或者训练轮数达到预设轮数的情况下，即可停止训练，得到训练好的图像增强模型。
图4是根据一示例性实施例示出的一种获取多个样本降质图像的方法的流程图，如图4所示，在一种可能的实施方式中，获取多个样本降质图像的方法可包括以下步骤：
在步骤S401中，获取多个原始高清图像。
在本实施方式中，原始高清图像可通过相机采集得到，例如，可分别使用高清周视线性相机和环视鱼眼相机采集得到原始高清图像。采集数据的相机的拍摄清晰度高于车端实际使用的相机，以此保证原始高清图像的清晰度。
在步骤S402中，对多个原始高清图像进行归一化，得到多个样本高清图像。
在本实施方式中，为了得到更好的训练效果，在训练之前，可先对多个原始高清图像进行归一化，可选地，采用ImageNet数据集中的均值和方差对原始高清图像进行归一化。归一化公式为：
其中为归一化后的样本高清图像，/>为原始高清图像，/>为ImageNet数据集RGB颜色通道的均值，Std为ImageNet数据集RGB颜色通道的标准差。
在步骤S403中，对多个样本高清图像进行降质操作，得到多个样本降质图像。
在本实施方式中，可对多个样本高清图像进行下采样降质和运动模糊降质，从而得到多个样本降质图像。
可选地，对多个样本高清图像进行降质操作，得到多个样本降质图像，的方法可为：针对任一样本高清图像，对该任一样本高清图像进行不同倍率的下采样操作，得到多个下采样图像；对该多个下采样图像进行线性插值，得到第一降质图像，该第一降质图像的分辨率与该任一样本高清图像的分辨率相同；采用运动模糊核对第一降质图像进行卷积操作，得到第二降质图像；根据多个样本高清图像对应的第二降质图像，得到多个样本降质图像。
在本实施方式中，先对样本高清图像进行下采样降质，该下采样降质包括下采样和线性插值。例如，将所有的样本高清图像记为HR-Image，按照如下步骤对HR-Image进行降质操作：其中，下采样可为：对多个样本高清图像分别进行[1/2，1/4，1/8]倍率的下采样操作，得到多个下采样图像。线性插值可为：使用双线性插值将多个下采样图像还原至原分辨率得到第一降质图像，记为LR-Image1。然后再对第一降质图像进行运动模糊降质，可采用不同的运动模糊核在频域上对LR-Image1中的第一降质图像进行卷积操作，进一步得到第二降质图像LR-Image2。从而可在LR-Image1和LR-Image2中获取高清图像在不同下采样倍率下和带有不同运动模糊的降质图像。
可选地，可直接从第二降质图像中选取多个图像作为样本降质图像，也可从第一降质图像和第二降质图像中选取多个图像作为样本降质图像。
在一种可能的实施方式中，考虑到直接使用整张图像用于训练难度较大，可对样本降质图像进行分割。可选地，根据多个样本高清图像对应的第二降质图像和第一降质图像，得到多个样本降质图像，包括：对第一降质图像和第二降质图像进行分割，得到多个分割子图像；将多个样本高清图像对应的多个分割子图像确定为多个样本降质图像。
在本实施方式中，可将第一降质图像和第二降质图像分割为多个小的图像作为样本降质图像。示例地，可将每个样本降质图像分割为40×40的图像块。每一图像块即为一个样本降质图像。
在一种可能的实施方式中，对样本降质图像进行标签标注的方法可为：确定每个样本降质图像对应的样本高清图像；根据每个样本降质图像以及每个样本降质图像对应的样本高清图像，确定每个样本降质图像对应的真实残差图像；根据每个样本降质图像对应的真实残差图像，对每个样本降质图像进行标签标注，得到每个样本降质图像携带的标注标签。
在本实施方式中，对于将分割图像作为样本降质图像的情况下，先确定该样本降质图像对应的样本高清图像，并根据其对应于样本高清图像上的部分，确定该样本降质图像对应的真实残差图像。再根据该样本降质图像对应的真实残差图像对该样本降质图像进行标签标注，以便使每个样本降质图像携带标注标签，便于训练。
图5是根据一示例性实施例示出的一种图像增强装置框图。参照图5，该图像增强装置500包括第一获取模块501、第一获得模块502和第二获得模块503。
该第一获取模块501，被配置为获取原始图像；
该第一获得模块502，被配置为通过图像增强模型对所述原始图像进行处理，得到目标残差图像，所述图像增强模型基于多个样本降质图像训练基础模型得到，所述样本降质图像由样本高清图像进行降质操作得到，所述降质操作包括下采样降质和运动模糊降质；
该第二获得模块503，被配置为根据所述原始图像和所述目标残差图像，得到目标增强图像。
可选地，所述图像增强装置500还包括：
第二获取模块，被配置为获取多个样本降质图像，所述样本降质图像携带标注标签，所述标注标签为所述样本降质图像对应的真实残差图像；
训练模块，被配置为根据所述多个样本降质图像，对所述基础模型进行多轮迭代训练；
第三获得模块，被配置为在每一轮训练之后，根据本轮训练得到的预测残差图像以及本轮训练中的训练样本对应的真实残差图像，得到本轮训练对应的预测损失；
优化模块，被配置为根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
第四获得模块，被配置为在所述基础模型满足训练停止条件的情况下，停止训练，得到所述图像增强模型。
可选地，所述第二获取模块，包括：
获取子模块，被配置为获取多个原始高清图像；
第一获得子模块，被配置为对所述多个原始高清图像进行归一化，得到多个所述样本高清图像；
第二获得子模块，被配置为对多个所述样本高清图像进行降质操作，得到所述多个样本降质图像。
可选地，所述第二获得子模块，包括：
下采样单元，被配置为针对任一样本高清图像，对所述任一样本高清图像进行不同倍率的下采样操作，得到多个下采样图像；
第一获得单元，被配置为对所述多个下采样图像进行线性插值，得到第一降质图像，所述第一降质图像的分辨率与所述任一样本高清图像的分辨率相同；
第二获得单元，被配置为采用运动模糊核对所述第一降质图像进行卷积操作，得到第二降质图像；
第三获得单元，被配置为根据多个所述样本高清图像对应的所述第二降质图像，得到所述多个样本降质图像。
可选地，所述第三获得单元，包括：
第四获得单元，被配置为根据多个所述样本高清图像对应的所述第二降质图像和所述第一降质图像，得到所述多个样本降质图像。
可选地，所述第四获得单元，包括：
获得子单元，被配置为对所述第一降质图像和所述第二降质图像进行分割，得到多个分割子图像；
确定子单元，被配置为将多个所述样本高清图像对应的多个分割子图像确定为所述多个样本降质图像。
可选地，所述图像增强装置500还包括：
第一确定模块，被配置为确定每个样本降质图像对应的样本高清图像；
第二确定模块，被配置为根据每个样本降质图像以及每个样本降质图像对应的样本高清图像，确定每个样本降质图像对应的真实残差图像；
第五获得模块，被配置为根据每个样本降质图像对应的真实残差图像，对每个样本降质图像进行标签标注，得到每个样本降质图像携带的标注标签。
关于上述实施例中的图像增强装置500，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的图像增强方法的步骤。
图6是根据一示例性实施例示出的一种用于图像增强方法的装置的框图。例如，装置600可以是机器人和车辆等。
参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的图像增强方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风（MIC），当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
输入/输出接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到装置600的打开/关闭状态，组件的相对定位，例如所述组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，装置600可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、可编程逻辑阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像增强方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述图像增强方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital Signal Processor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，SoC，片上系统或系统级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的图像增强方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的图像增强方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的图像增强方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像增强方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像增强方法，其特征在于，包括：
获取原始图像，所述原始图像为携带摄像装置的运动物体所获取的图像；
通过图像增强模型对所述原始图像进行处理，得到目标残差图像，所述图像增强模型基于多个样本降质图像训练基础模型得到，所述样本降质图像由样本高清图像进行降质操作得到，所述降质操作包括下采样降质和运动模糊降质，所述样本降质图像携带标注标签，所述标注标签为所述样本降质图像对应的真实残差图像；
根据所述原始图像和所述目标残差图像，得到目标增强图像；
其中，所述目标残差图像为所述原始图像与预测的高质量图像之间的残差，所述根据所述原始图像和所述目标残差图像，得到目标增强图像，包括：将所述原始图像和得到的所述目标残差图像相加，得到高清增强后的所述目标增强图像。
2.根据权利要求1所述的图像增强方法，其特征在于，所述图像增强模型通过以下步骤得到：
获取多个样本降质图像；
根据所述多个样本降质图像，对所述基础模型进行多轮迭代训练；
在每一轮训练之后，根据本轮训练得到的预测残差图像以及本轮训练中的训练样本对应的真实残差图像，得到本轮训练对应的预测损失；
根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
在所述基础模型满足训练停止条件的情况下，停止训练，得到所述图像增强模型。
3.根据权利要求2所述的图像增强方法，其特征在于，
所述获取多个样本降质图像，包括：
获取多个原始高清图像；
对所述多个原始高清图像进行归一化，得到多个所述样本高清图像；
对多个所述样本高清图像进行降质操作，得到所述多个样本降质图像。
4.根据权利要求3所述的图像增强方法，其特征在于，
所述对多个所述样本高清图像进行降质操作，得到所述多个样本降质图像，包括：
针对任一样本高清图像，对所述任一样本高清图像进行不同倍率的下采样操作，得到多个下采样图像；
对所述多个下采样图像进行线性插值，得到第一降质图像，所述第一降质图像的分辨率与所述任一样本高清图像的分辨率相同；
采用运动模糊核对所述第一降质图像进行卷积操作，得到第二降质图像；
根据多个所述样本高清图像对应的所述第二降质图像，得到所述多个样本降质图像。
5.根据权利要求4所述的图像增强方法，其特征在于，所述根据多个所述样本高清图像对应的所述第二降质图像，得到所述多个样本降质图像，包括：
根据多个所述样本高清图像对应的所述第二降质图像和所述第一降质图像，得到所述多个样本降质图像。
6.根据权利要求5所述的图像增强方法，其特征在于，所述根据多个所述样本高清图像对应的所述第二降质图像和所述第一降质图像，得到所述多个样本降质图像，包括：
对所述第一降质图像和所述第二降质图像进行分割，得到多个分割子图像；
将多个所述样本高清图像对应的多个分割子图像确定为所述多个样本降质图像。
7.根据权利要求6所述的图像增强方法，其特征在于，所述方法还包括：
确定每个样本降质图像对应的样本高清图像；
根据每个样本降质图像以及每个样本降质图像对应的样本高清图像，确定每个样本降质图像对应的真实残差图像；
根据每个样本降质图像对应的真实残差图像，对每个样本降质图像进行标签标注，得到每个样本降质图像携带的标注标签。
8.一种图像增强装置，其特征在于，包括：
第一获取模块，被配置为获取原始图像，所述原始图像为携带摄像装置的运动物体所获取的图像；
第一获得模块，被配置为通过图像增强模型对所述原始图像进行处理，得到目标残差图像，所述图像增强模型基于多个样本降质图像训练基础模型得到，所述样本降质图像由样本高清图像进行降质操作得到，所述降质操作包括下采样降质和运动模糊降质，所述样本降质图像携带标注标签，所述标注标签为所述样本降质图像对应的真实残差图像；
第二获得模块，被配置为根据所述原始图像和所述目标残差图像，得到目标增强图像；
其中，所述目标残差图像为所述原始图像与预测的高质量图像之间的残差，所述根据所述原始图像和所述目标残差图像，得到目标增强图像，包括：将所述原始图像和得到的所述目标残差图像相加，得到高清增强后的所述目标增强图像。
9.一种图像增强装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为实现权利要求1~7中任一项所述图像增强方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~7中任一项所述图像增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036518.6A CN116757965B (zh) | 2023-08-16 | 2023-08-16 | 图像增强方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036518.6A CN116757965B (zh) | 2023-08-16 | 2023-08-16 | 图像增强方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116757965A CN116757965A (zh) | 2023-09-15 |
| CN116757965B true CN116757965B (zh) | 2023-11-21 |
Family
ID=87955845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311036518.6A Active CN116757965B (zh) | 2023-08-16 | 2023-08-16 | 图像增强方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757965B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288658A (zh) * | 2020-11-23 | 2021-01-29 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
| CN113284073A (zh) * | 2021-07-08 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 一种图像修复方法、装置及存储介质 |
| WO2021218119A1 (zh) * | 2020-04-30 | 2021-11-04 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN115205164A (zh) * | 2022-09-15 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、视频处理方法、装置及设备 |
| WO2022226963A1 (zh) * | 2021-04-30 | 2022-11-03 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115937022A (zh) * | 2022-11-23 | 2023-04-07 | 温州大学 | 一种基于迭代残差学习的少样本图像修复方法 |
| CN116205820A (zh) * | 2023-03-28 | 2023-06-02 | 苏州科达科技股份有限公司 | 图像增强方法、目标识别方法、设备及介质 |
| CN116363032A (zh) * | 2023-03-02 | 2023-06-30 | 爱芯元智半导体(上海)有限公司 | 图像细节增强方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11234666B2 (en) * | 2018-05-31 | 2022-02-01 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET) |
| US10957031B1 (en) * | 2019-09-06 | 2021-03-23 | Accenture Global Solutions Limited | Intelligent defect detection from image data |
-
2023
- 2023-08-16 CN CN202311036518.6A patent/CN116757965B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218119A1 (zh) * | 2020-04-30 | 2021-11-04 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN112288658A (zh) * | 2020-11-23 | 2021-01-29 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
| WO2022226963A1 (zh) * | 2021-04-30 | 2022-11-03 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113284073A (zh) * | 2021-07-08 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 一种图像修复方法、装置及存储介质 |
| CN115205164A (zh) * | 2022-09-15 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、视频处理方法、装置及设备 |
| CN115937022A (zh) * | 2022-11-23 | 2023-04-07 | 温州大学 | 一种基于迭代残差学习的少样本图像修复方法 |
| CN116363032A (zh) * | 2023-03-02 | 2023-06-30 | 爱芯元智半导体(上海)有限公司 | 图像细节增强方法及装置 |
| CN116205820A (zh) * | 2023-03-28 | 2023-06-02 | 苏州科达科技股份有限公司 | 图像增强方法、目标识别方法、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于景深先验引导与环境光优化的图像去雾;麻文刚，张亚东，郭进;电子学报;1708-1721 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116757965A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
| US9998651B2 (en) | Image processing apparatus and image processing method | |
| CN109859096A (zh) | 图像风格迁移方法、装置、电子设备及存储介质 | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| EP3057304B1 (en) | Method and apparatus for generating image filter | |
| CN104918107B (zh) | 视频文件的标识处理方法及装置 | |
| CN106228556B (zh) | 图像质量分析方法和装置 | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN110751659B (zh) | 图像分割方法及装置、终端、存储介质 | |
| US11989345B1 (en) | Machine learning based forecasting of human gaze | |
| CN107729880A (zh) | 人脸检测方法及装置 | |
| CN114494442A (zh) | 图像处理方法、装置及设备 | |
| CN114120034A (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| CN110619325A (zh) | 一种文本识别方法及装置 | |
| CN116740158B (zh) | 图像深度确定方法、装置和存储介质 | |
| CN116757965B (zh) | 图像增强方法、装置和存储介质 | |
| CN111860074A (zh) | 目标对象检测方法及装置、驾驶控制方法及装置 | |
| CN117616457A (zh) | 一种图像深度预测方法、装置、设备及存储介质 | |
| CN114723715A (zh) | 车辆目标检测方法、装置、设备、车辆及介质 | |
| CN115118950B (zh) | 图像处理方法及装置 | |
| CN115953422B (zh) | 边缘检测方法、装置及介质 | |
| CN117152128B (zh) | 神经影像的病灶识别方法、装置、电子设备和存储介质 | |
| CN114648802B (zh) | 用户面部表情识别方法、装置和设备 | |
| CN114842457B (zh) | 模型训练及特征提取方法、装置、电子设备和介质 | |
| CN115082473B (zh) | 脏污检测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |