CN112766370A - 训练图像增强模型的方法、装置、设备及存储介质 - Google Patents

训练图像增强模型的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112766370A
CN112766370A CN202110067645.7A CN202110067645A CN112766370A CN 112766370 A CN112766370 A CN 112766370A CN 202110067645 A CN202110067645 A CN 202110067645A CN 112766370 A CN112766370 A CN 112766370A
Authority
CN
China
Prior art keywords
training sample
image
training
sample images
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110067645.7A
Other languages
English (en)
Inventor
聂泳忠
赵银妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiren Ma Diyan Beijing Technology Co ltd
Original Assignee
Xiren Ma Diyan Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiren Ma Diyan Beijing Technology Co ltd filed Critical Xiren Ma Diyan Beijing Technology Co ltd
Priority to CN202110067645.7A priority Critical patent/CN112766370A/zh
Publication of CN112766370A publication Critical patent/CN112766370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种训练图像增强模型的方法、装置、设备及存储介质，该训练图像增强模型的方法包括：获取训练样本集，训练样本集包括多个训练样本图像；采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征；串联匹配多个训练样本图像的局部特征和全局特征，得到多个训练样本图像的组合特征；基于多个训练样本图像的组合特征训练目标神经网络模型，得到图像增强模型；本申请实施例能够解决现有技术中在光照不充足的情况下拍摄的图像或视频无法满足自动驾驶的图像处理算法的图像质量要求的技术问题。

Description

训练图像增强模型的方法、装置、设备及存储介质
技术领域
本申请属于图像增强领域，尤其涉及一种训练图像增强模型的方法、装置、设备及存储介质。
背景技术
近年来，自动驾驶技术得到了迅速的发展。然而，由于驾驶环境的复杂性和动态性，实现完全自主驾驶并非是一件容易的事。自动驾驶中的人工智能(ArtificialIntelligence，AI)技术不同于其他的AI技术，如图像处理、语音识别，其具有自身的特殊性。自动驾驶不仅需要处理各种光照类型(如逆光、进出隧道的强烈光照变化)，还需要处理各种复杂的天气。在自动驾驶中基于摄像头的感知需要高质量的图像和视频，然而在弱光照或者照明较差的情况下，捕获的视频或者图像可见度、亮度、对比度较低。
在低光照或者低曝光拍摄的图像的视觉质量较低，无法满足自动驾驶的图像处理算法对物体检测、车道线检测、以及图像分类的图像质量要求。
发明内容
本申请实施例提供一种训练图像增强模型的方法、装置、设备及存储介质，能够解决现有技术中在光照不充足的情况下拍摄的图像或视频无法满足自动驾驶的图像处理算法的图像质量要求的技术问题。
第一方面，本申请实施例提供一种训练图像增强模型的方法，包括：
获取训练样本集，训练样本集包括多个训练样本图像；
采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征；
串联匹配多个训练样本图像的局部特征和全局特征，得到多个训练样本图像的组合特征；
基于多个训练样本图像的组合特征训练目标神经网络模型，得到图像增强模型。
进一步地，在一种实施例中，采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征，包括：
对每个训练样本图像进行数据增强处理；
采用预设的目标神经网络模型，分别提取增强处理后的多个训练样本图像的局部特征，以及增强处理后的多个训练样本图像的全局特征。
进一步地，在一种实施例中，数据增强处理包括以下至少一项：
训练样本图像旋转第一预设角度；
训练样本在水平方向或者竖直方向上平移预设距离；
训练样本水平翻转第二预设角度。
进一步地，在一种实施例中，预设的目标神经网络模型包括卷积层、池化层和全连接层；
采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征，包括：
将多个训练样本图像输入卷积层和池化层，得到多个训练样本图像的局部特征；
将局部特征输入全连接层，得到多个训练样本图像的全局特征。
进一步地，在一种实施例中，将局部特征输入全连接层，得到多个训练样本图像的全局特征，包括：
将多个局部特征输入全连接层，输出子全局特征；
对子全局特征进行图像复制，得到多个训练样本图像的全局特征。
进一步地，在一种实施例中，训练样本集还包括多个标签图像；基于多个训练样本图像的组合特征训练目标神经网络模型，得到图像增强模型，包括：
基于多个训练样本图像的组合特征训练目标神经网络模型，输出多个目标特征图像；
根据预设损失函数计算多个目标特征图像和多个标签图像的损失值；
当损失值小于预设阈值时，确定目标神经网络模型为图像增强模型。
进一步地，在一种实施例中，目标神经网络模型包括归一化层、以及残差网络；
基于多个训练样本图像的组合特征训练目标神经网络模型，输出多个目标特征图像，包括：
将多个训练样本图像的组合特征输入卷积层、池化层、归一化层和残差网络以修复多个训练样本图像的组合特征中物体的细节和空间维度，输出多个目标特征图像。
第二方面，本申请实施例提供一种应用图像增强模型增强图像的方法，图像增强模型通过权利要求的方法而训练，方法包括：
获取待增强图像；
将待增强图像输入图像增强模型进行图像增强，输出目标特征图像。
第三方面，本申请实施例提供一种训练图像增强模型的装置，包括：
获取模块，用于获取训练样本集，训练样本集包括多个训练样本图像；
提取模块，用于采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征；
串联匹配模块，用于串联匹配多个训练样本图像的局部特征和全局特征，得到多个训练样本图像的组合特征；
训练模块，用于基于多个训练样本图像的组合特征训练目标神经网络模型，得到图像增强模型。
第四方面，本申请实施例提供一种应用图像增强模型增强图像的装置，图像增强模型通过权利要求的装置而训练；应用图像增强模型增强图像的装置，包括：
获取模块，用于获取待增强图像；
输出模块，用于将待增强图像输入图像增强模型进行图像增强，输出目标特征图像。
第五方面，本申请实施例提供一种训练图像增强模型的设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述方法。
第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现上述方法。
本申请实施例的训练图像增强模型的方法、装置、设备及存储介质，基于样本图像的局部特征和全局特征训练得到图像增强模型，基于该图像增强模型对待增强图像进行处理，同时增强待增强图像的局部特性和全局特性，进而能够满足自动驾驶的图像处理算法的图像质量要求。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的训练图像增强模型的方法的流程示意图；
图2是本申请一个实施例提供的由训练样本图像训练得到目标特征图像的流程示意图；
图3是本申请一个实施例提供的应用图像增强模型增强图像的方法的流程示意图；
图4是本申请一个实施例提供的训练图像增强模型的装置的结构示意图；
图5是本申请一个实施例提供的应用图像增强模型增强图像的装置的结构示意图；
图6是本申请一个实施例提供的训练图像增强模型的设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在异常环境下，如低光照、低曝光等，拍摄得到的图像的视觉质量较低，无法满足自动驾驶的图像处理算法对物体检测、车道线检测、以及图像分类的图像质量要求。视觉质量较低的图像部分能用传统的方法解决，例如直方图均衡，然而传统的方法虽然比较简单且速度比较快，但是没有考虑到图像中的上下文信息等，所以取得效果不是很好。
为了解决现有技术问题，本申请实施例提供了一种训练图像增强模型的方法、装置、设备及存储介质。本申请实施例基于样本图像的局部特征和全局特征训练得到图像增强模型，基于该图像增强模型对待增强图像进行处理，同时增强待增强图像的局部特性和全局特性，进而能够满足自动驾驶的图像处理算法的图像质量要求。下面首先对本申请实施例所提供的目标神经网络模型进行介绍。
本申请一个实施例提供的目标神经网络模型在U-net模型的基础上进行改进，该模型可以包括：
卷积层、池化层、批归一化batch normalization层、全连接层、以及残差网络(Residual Network，ResNet)。
考虑到自动驾驶对实时性的需求，不采用复杂的神经网络模型而是在U-net模型的基础上进行改进，U-net模型最先应用于医学图像的分割处理中，展示了强大高效的图像处理性能，但在图像增强中却没有广泛的应用。
因为U-net模型中不包含全局特征，但是全局特征对于图像增强来说又是很必要的，因为全局特征包含高层次的信息，比如场景分类、主题类型、全局亮度等，因此需要在U-net模型中添加全局特征，基于此，本申请实施例提出上述目标神经网络模型。
基于本申请实施例提出的目标神经网络模型即可进行图像增强模型的训练。下面对本申请实施例所提供的训练图像增强模型的方法进行介绍。
图1示出了本申请一个实施例提供的训练图像增强模型的方法的流程示意图。如图1所示，该方法可以包括以下步骤：
S10，获取训练样本集。
训练样本集包括多个训练样本图像，训练样本图像即来源于自动驾驶摄像头采集到的视觉质量较低的图像，获取的视觉质量较低的图像数量可设为2000个，具体的，训练样本图像是在视觉质量较低的图像上随机选择预设大小、预设个数的图像块，例如大小为512×512像素，个数为200个。
S12，采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征。
在一种实施例中，S12可以包括：
对每个训练样本图像进行数据增强处理；
采用预设的目标神经网络模型，分别提取增强处理后的多个训练样本图像的局部特征，以及增强处理后的多个训练样本图像的全局特征。
在一种实施例中，数据增强处理包括以下至少一项：
训练样本图像旋转第一预设角度；
训练样本在水平方向或者竖直方向上平移预设距离；
训练样本水平翻转第二预设角度。
其中，第一预设角度和第二预设角度可以根据需求人为设定。
数据增强处理可提高目标神经网络模型的泛化能力并增加噪声数据，提升目标神经网络模型的鲁棒性。
在一种实施例中，预设的目标神经网络模型包括卷积层、池化层和全连接层，S12可以包括：
S120，将多个训练样本图像输入卷积层和池化层，得到多个训练样本图像的局部特征。
S122，将局部特征输入全连接层，得到多个训练样本图像的全局特征。
卷积层使用U-Net模型收缩层网络的前五层，卷积核大小可设为5×5，卷积步长可设为2。如训练样本图像大小为512×512×3，则输出的局部特征大小为32×32×128。
在一种实施例中，S122可以包括：将多个局部特征输入全连接层，输出子全局特征；对子全局特征进行图像复制，得到多个训练样本图像的全局特征。
S14，串联匹配多个训练样本图像的局部特征和全局特征，得到多个训练样本图像的组合特征。
S16，基于多个训练样本图像的组合特征训练目标神经网络模型，得到图像增强模型。
在一种实施例中，训练样本集还包括多个标签图像；S16可以包括：
S160，基于多个训练样本图像的组合特征训练目标神经网络模型，输出多个目标特征图像。
在一种实施例中，目标神经网络模型包括归一化层、以及残差网络，S160可以包括：
将多个训练样本图像的组合特征输入卷积层、池化层、归一化层和残差网络以修复多个训练样本图像的组合特征中物体的细节和空间维度，输出多个目标特征图像。
S162，根据预设损失函数计算多个目标特征图像和多个标签图像的损失值。
预设损失函数可使用均方误差函数，均方误差函数公式如下：
Figure BDA0002904733580000081
其中，MSE为损失值，N代表样本数量，M代表第N个数据的第M个元素的值，I代表标签图像，K代表目标特征图像。
S164，当损失值小于预设阈值时，确定目标神经网络模型为图像增强模型。
S166，当损失值大于或等于预设阈值时，调整目标神经网络模型参数，返回步骤S12。
在一种实施例中，提供一种由训练样本图像训练得到目标特征图像的流程，图2示出了由训练样本图像训练得到目标特征图像的流程示意图，如图2所示，训练样本图像大小为512×512×3，经过卷积层后输出的局部特征大小为32×32×128，局部特征输入全连接层后，输出的子全局特征大小为1×1×128；子全局特征进行图像复制，得到大小为32×32×128的训练样本图像的全局特征；串联匹配大小为32×32×128的训练样本图像的32×32×128的训练样本图像的全局特征，得到大小为32×32×256的训练样本图像的组合特征；大小为32×32×256的训练样本图像的组合特征输入卷积层、池化层、归一化层和残差网络后，输出大小为512×512×3的目标特征图像。
至此，即完成了图像增强模型的训练，基于训练得到的图像增强模型。本申请实施例还提供一种应用图像增强模型增强图像的方法，图3示出了该应用图像增强模型增强图像的方法的流程示意图，该图像增强模型通过本申请实施例的训练图像增强模型的方法而训练，如图3所示，该方法包括：
S30，获取待增强图像。
待增强图像即视觉质量较低的图像。
S32，将待增强图像输入图像增强模型进行图像增强，输出目标特征图像。
本申请实施例的训练图像增强模型的方法和应用图像增强模型增强图像的方法，基于样本图像的局部特征和全局特征训练得到图像增强模型，基于该图像增强模型对待增强图像进行处理，同时增强待增强图像的局部特性和全局特性，图像增强后接近正常质量图像，进而能够满足自动驾驶的图像处理算法的图像质量要求，有利于后续的图像检测与识别，并且采用U-net模型作为图像增强模型框架，使得图像增强模型能够迅速完成图像的增强，进而满足自动驾驶的实时性需求。
图1-3描述了训练图像增强模型的方法，下面结合附图4-6描述本申请实施例提供的装置。
图4示出了本申请一个实施例提供的训练图像增强模型的装置的结构示意图。如图4所示，该装置可以包括以下步骤：
获取模块40，用于获取训练样本集。
训练样本集包括多个训练样本图像，训练样本图像即来源于自动驾驶摄像头采集到的视觉质量较低的图像，获取的视觉质量较低的图像数量可设为2000个，具体的，训练样本图像是在视觉质量较低的图像上随机选择预设大小、预设个数的图像块，例如大小为512×512像素，个数为200个。
提取模块42，用于采用预设的目标神经网络模型，分别提取多个训练样本图像的局部特征，以及多个训练样本图像的全局特征。
在一种实施例中，提取模块42可以具体用于：
对每个训练样本图像进行数据增强处理；
采用预设的目标神经网络模型，分别提取增强处理后的多个训练样本图像的局部特征，以及增强处理后的多个训练样本图像的全局特征。
在一种实施例中，数据增强处理包括以下至少一项：
训练样本图像旋转第一预设角度；
训练样本在水平方向或者竖直方向上平移预设距离；
训练样本水平翻转第二预设角度。
其中，第一预设角度和第二预设角度可以根据需求人为设定。
数据增强处理可提高目标神经网络模型的泛化能力并增加噪声数据，提升目标神经网络模型的鲁棒性。
在一种实施例中，预设的目标神经网络模型包括卷积层、池化层和全连接层，提取模块42可以包括：
提取单元420，将多个训练样本图像输入卷积层和池化层，得到多个训练样本图像的局部特征。
输入单元422，将局部特征输入全连接层，得到多个训练样本图像的全局特征。
卷积层使用U-Net模型收缩层网络的前五层，卷积核大小可设为5×5，卷积步长可设为2。如训练样本图像大小为512×512×3，则输出的局部特征大小为32×32×128。
在一种实施例中，提取模块422可以具体用于：将多个局部特征输入全连接层，输出子全局特征；对子全局特征进行图像复制，得到多个训练样本图像的全局特征。
构建模块44，用于串联匹配多个训练样本图像的局部特征和全局特征，得到多个训练样本图像的组合特征。
训练模块46，用于基于多个训练样本图像的组合特征训练目标神经网络模型，得到图像增强模型。
在一种实施例中，训练样本集还包括多个标签图像；训练模块46可以包括：
输出单元460，基于多个训练样本图像的组合特征训练目标神经网络模型，输出多个目标特征图像。
在一种实施例中，目标神经网络模型包括归一化层、以及残差网络，训练模块460可以具体用于：
将多个训练样本图像的组合特征输入卷积层、池化层、归一化层和残差网络以修复多个训练样本图像的组合特征中物体的细节和空间维度，输出多个目标特征图像。
计算单元462，用于根据预设损失函数计算多个目标特征图像和多个标签图像的损失值。
预设损失函数可使用均方误差函数，均方误差函数公式如下：
Figure BDA0002904733580000111
其中，MSE为损失值，N代表样本数量，M代表第N个数据的第M个元素的值，I代表标签图像，K代表目标特征图像。
确定单元464，用于当损失值小于预设阈值时，确定目标神经网络模型为图像增强模型。
调整单元466，用于当损失值大于或等于预设阈值时，调整目标神经网络模型参数。
至此，即完成了图像增强模型的训练，基于训练得到的图像增强模型。本申请实施例还提供一种应用图像增强模型增强图像的装置，图5示出了该应用图像增强模型增强图像的装置的结构示意图，该图像增强模型通过本申请实施例的训练图像增强模型的装置而训练，如图5所示，该装置包括：
获取模块50，获取待增强图像。
待增强图像即视觉质量较低的图像。
输出模块52，将待增强图像输入图像增强模型进行图像增强，输出目标特征图像。
本申请实施例的训练图像增强模型的装置和应用图像增强模型增强图像的装置，基于样本图像的局部特征和全局特征训练得到图像增强模型，基于该图像增强模型对待增强图像进行处理，同时增强待增强图像的局部特性和全局特性，图像增强后接近正常质量图像，进而能够满足自动驾驶的图像处理算法的图像质量要求，有利于后续的图像检测与识别，并且采用U-net模型作为图像增强模型框架，使得图像增强模型能够迅速完成图像的增强，进而满足自动驾驶的实时性需求。
图6示出了本申请一个实施例提供的训练图像增强模型的设备的结构示意图。如图6所示，该设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地，上述处理器601可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器602可以包括可移除或不可移除(或固定)的介质，或者存储器602是非易失性固态存储器。存储器602可在综合网关容灾设备的内部或外部。
在一个实例中，存储器602可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现本申请实施例中的方法，并达到本申请实例执行其方法达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，该训练图像增强模型的设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该训练图像增强模型的设备可以执行本申请实施例中的方法，从而实现本申请实施例中的方法的相应技术效果。
另外，结合上述实施例中的训练图像增强模型的方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种训练图像增强模型的方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种训练图像增强模型的方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括多个训练样本图像；
采用预设的目标神经网络模型，分别提取所述多个训练样本图像的局部特征，以及所述多个训练样本图像的全局特征；
串联匹配所述多个训练样本图像的局部特征和全局特征，得到所述多个训练样本图像的组合特征；
基于所述多个训练样本图像的组合特征训练所述目标神经网络模型，得到图像增强模型。
2.如权利要求1所述的训练图像增强模型的方法，其特征在于，所述采用预设的目标神经网络模型，分别提取所述多个训练样本图像的局部特征，以及所述多个训练样本图像的全局特征，包括：
对每个所述训练样本图像进行数据增强处理；
采用预设的目标神经网络模型，分别提取增强处理后的多个训练样本图像的局部特征，以及增强处理后的多个训练样本图像的全局特征。
3.如权利要求2所述的训练图像增强模型的方法，其特征在于，所述数据增强处理包括以下至少一项：
所述训练样本图像旋转第一预设角度；
所述训练样本在水平方向或者竖直方向上平移预设距离；
所述训练样本水平翻转第二预设角度。
4.如权利要求1-3任一项所述的训练图像增强模型的方法，其特征在于，所述预设的目标神经网络模型包括卷积层、池化层和全连接层；
所述采用预设的目标神经网络模型，分别提取所述多个训练样本图像的局部特征，以及所述多个训练样本图像的全局特征，包括：
将所述多个训练样本图像输入所述卷积层和所述池化层，得到所述多个训练样本图像的局部特征；
将所述局部特征输入所述全连接层，得到所述多个训练样本图像的全局特征。
5.如权利要求4所述的训练图像增强模型的方法，其特征在于，所述将所述局部特征输入所述全连接层，得到所述多个训练样本图像的全局特征，包括：
将多个所述局部特征输入所述全连接层，输出子全局特征；
对所述子全局特征进行图像复制，得到所述多个训练样本图像的全局特征。
6.如权利要求4所述的训练图像增强模型的方法，其特征在于，所述训练样本集还包括多个标签图像；所述基于所述多个训练样本图像的组合特征训练所述目标神经网络模型，得到图像增强模型，包括：
基于所述多个训练样本图像的组合特征训练所述目标神经网络模型，输出多个目标特征图像；
根据预设损失函数计算所述多个目标特征图像和所述多个标签图像的损失值；
当所述损失值小于预设阈值时，确定所述目标神经网络模型为所述图像增强模型。
7.如权利要求6所述的训练图像增强模型的方法，其特征在于，所述目标神经网络模型包括归一化层、以及残差网络；
所述基于所述多个训练样本图像的组合特征训练所述目标神经网络模型，输出多个目标特征图像，包括：
将所述多个训练样本图像的组合特征输入卷积层、池化层、归一化层和残差网络以修复所述多个训练样本图像的组合特征中物体的细节和空间维度，输出多个目标特征图像。
8.一种应用图像增强模型增强图像的方法，所述图像增强模型通过权利要求1所述的方法而训练，所述方法包括：
获取待增强图像；
将所述待增强图像输入所述图像增强模型进行图像增强，输出目标特征图像。
9.一种训练图像增强模型的装置，其特征在于，包括：
获取模块，用于获取训练样本集，所述训练样本集包括多个训练样本图像；
提取模块，用于采用预设的目标神经网络模型，分别提取所述多个训练样本图像的局部特征，以及所述多个训练样本图像的全局特征；
串联匹配模块，用于串联匹配所述多个训练样本图像的局部特征和全局特征，得到所述多个训练样本图像的组合特征；
训练模块，用于基于所述多个训练样本图像的组合特征训练所述目标神经网络模型，得到图像增强模型。
10.一种应用图像增强模型增强图像的装置，所述图像增强模型通过权利要求9所述的装置而训练；所述应用图像增强模型增强图像的装置，包括：
获取模块，用于获取待增强图像；
输出模块，用于将所述待增强图像输入所述图像增强模型进行图像增强，输出目标特征图像。
11.一种训练图像增强模型的设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN202110067645.7A 2021-01-19 2021-01-19 训练图像增强模型的方法、装置、设备及存储介质 Pending CN112766370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110067645.7A CN112766370A (zh) 2021-01-19 2021-01-19 训练图像增强模型的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110067645.7A CN112766370A (zh) 2021-01-19 2021-01-19 训练图像增强模型的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112766370A true CN112766370A (zh) 2021-05-07

Family

ID=75703084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110067645.7A Pending CN112766370A (zh) 2021-01-19 2021-01-19 训练图像增强模型的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112766370A (zh)

Similar Documents

Publication Publication Date Title
CN107301624B (zh) 基于区域划分及浓雾预处理的卷积神经网络去雾方法
CN108764235B (zh) 目标检测方法、设备及介质
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN110135301B (zh) 交通牌识别方法、装置、设备和计算机可读介质
CN113936302B (zh) 行人重识别模型的训练方法、装置、计算设备及存储介质
CN112884147B (zh) 神经网络训练方法、图像处理方法、装置及电子设备
WO2023082453A1 (zh) 一种图像处理方法及装置
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN116052061B (zh) 事件监测方法、装置、电子设备及存储介质
CN113723216A (zh) 一种车道线检测方法、装置、车辆及存储介质
CN111340041A (zh) 一种基于深度学习的车牌识别方法及装置
CN114494990A (zh) 一种目标检测方法、系统、终端设备及存储介质
CN114724246A (zh) 危险行为识别方法及装置
CN110321778B (zh) 一种人脸图像处理方法、装置和存储介质
CN116310713B (zh) 红外图像识别方法、装置、电子设备及存储介质
CN112949423A (zh) 物体识别方法、物体识别装置及机器人
CN112766370A (zh) 训练图像增强模型的方法、装置、设备及存储介质
CN106778675B (zh) 一种视频图像中目标对象的识别方法和装置
CN113313086B (zh) 特征向量转换模型处理方法、装置、服务器及存储介质
CN115345806A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN114549456A (zh) 图像异常检测方法、装置和电子设备
CN114529874A (zh) 行为检测方法、装置、设备及可读存储介质
KR102199572B1 (ko) 딥러닝 기반의 역방향 사물 검사 방법
CN112464922B (zh) 人车重识别及其模型训练方法、装置、设备及存储介质
Asundi et al. Raindrop detection algorithm for ADAS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination