CN115358952A - 一种基于元学习的图像增强方法、系统、设备和存储介质 - Google Patents

一种基于元学习的图像增强方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN115358952A
CN115358952A CN202211286525.7A CN202211286525A CN115358952A CN 115358952 A CN115358952 A CN 115358952A CN 202211286525 A CN202211286525 A CN 202211286525A CN 115358952 A CN115358952 A CN 115358952A
Authority
CN
China
Prior art keywords
image
meta
learning
decoding structure
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211286525.7A
Other languages
English (en)
Other versions
CN115358952B (zh
Inventor
李强
赵峰
庄莉
梁懿
王秋琳
伍臣周
陈锴
江卓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
State Grid Information and Telecommunication Co Ltd
Fujian Yirong Information Technology Co Ltd
Original Assignee
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
State Grid Information and Telecommunication Co Ltd
Fujian Yirong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Fangcun Zhiwei Nanjing Technology Co ltd, State Grid Information and Telecommunication Co Ltd, Fujian Yirong Information Technology Co Ltd filed Critical Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority to CN202211286525.7A priority Critical patent/CN115358952B/zh
Publication of CN115358952A publication Critical patent/CN115358952A/zh
Application granted granted Critical
Publication of CN115358952B publication Critical patent/CN115358952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于元学习的图像增强方法、系统、设备和存储介质，其中方法包括以下步骤：获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；构建基于多级编解码结构的元学习网络；随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；将训练好的图像增强网络用于低照度图像的图像增强。

Description

一种基于元学习的图像增强方法、系统、设备和存储介质
技术领域
本发明涉及一种基于元学习的图像增强方法、系统、设备和存储介质，属于图像处理技术领域。
背景技术
暗光环境下的相机成像在日常拍照中，由于光线昏暗，照度不充分和成像设备的进光量不充足通常会导致生成的图像产生大量的噪声，颜色退化，对比度较低和曝光不足等严重的问题。同时这种情况也广泛存在于其他任务中，如目标检测，人脸识别，水下图像成像以及视频监控等。
过去的几十年中传统的图像增强算法对低照度图像的增强与恢复已经初见成效，但是由于传统算法存在泛化性能的局限性，使得传统算法不能适应复杂的光照场景。而近年来随着深度学习技术的迅猛发展，在低照度图像增强的性能表现上已经初见成效。但是目前很多基于监督的深度学习的暗光增强方法为了使算法能够适应各种不同的曝光场景以及解决信息失真的问题通常需要大量的数据，收集有效且大量的数据要求也是非常严格的，并且仍然还会存在颜色偏差，泛化性能底，噪声严重等问题。而为减低神经网络对数据的依赖性，很多研究人员提出了自监督的深度学习方法，这些方法不需要成对的数据集，大大降低了对数据的要求。在训练中缺少参考图像的信息引导，导致需要更多的迭代次数，继而引发了图像推理耗时的情况。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种基于元学习的图像增强方法，能够在少量数据训练的情况下在获得的增强适应性的同时获得良好的效果。
本发明的技术方案如下：
一方面，本发明提供一种基于元学习的图像增强方法，包括以下步骤：
获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；
构建基于多级编解码结构的元学习网络；
随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；
将训练好的图像增强网络用于低照度图像的图像增强。
作为优选实施方式，所述从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中的方法具体为：
以预设的窗口大小，在处理后的图像中随机进行采样N次，得到N个图像块；
计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；
以M为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的图像块放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
作为优选实施方式，所述基于多级编解码结构的元学习网络包括：
第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；
连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；
连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
作为优选实施方式，在所述计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：
Figure 100002_DEST_PATH_IMAGE001
其中，M表示大小为16×16的不重叠局部区域的数量，
Figure 100002_DEST_PATH_IMAGE002
是增强图像中局部区域m的平均灰度值，E为设定的经验常数；
所述像素相邻误差具体通过以下公式计算：
Figure 100002_DEST_PATH_IMAGE003
其中，K表示局部区域的数量，
Figure 100002_DEST_PATH_IMAGE004
表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4×4，
Figure DEST_PATH_IMAGE005
表示增强图像在局部区域i的平均灰度值，
Figure 100002_DEST_PATH_IMAGE006
表示输入的图像块在局部区域i的平均灰度值，
Figure DEST_PATH_IMAGE007
表示增强图像在相邻的局部区域j的平均灰度值，
Figure 100002_DEST_PATH_IMAGE008
表示输入的图像块在相邻的局部区域j的平均灰度值。
另一方面，本发明还提供一种基于元学习的图像增强系统，包括：
元数据获取模块，获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；
元网络构建模块，用于构建基于多级编解码结构的元学习网络；
训练模块，用于随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；
增强模块，利用训练好的图像增强网络进行低照度图像的图像增强。
作为优选实施方式，所述元数据获取模块包括：
随机采样单元，用于以预设的窗口大小，在处理后的图像中随机进行采样N次，得到N个图像块；
类别划分单元，用于计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；
分类单元，用于以M为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的图像块放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
作为优选实施方式，所述基于多级编解码结构的元学习网络包括：
第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；
连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；
连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
作为优选实施方式，在所述训练模块计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：
Figure 801121DEST_PATH_IMAGE001
其中，M表示大小为16×16的不重叠局部区域的数量，
Figure 803712DEST_PATH_IMAGE002
是增强图像中局部区域m的平均灰度值，E为设定的经验常数；
所述像素相邻误差具体通过以下公式计算：
Figure 858255DEST_PATH_IMAGE003
其中，K表示局部区域的数量，
Figure 553679DEST_PATH_IMAGE004
表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4×4，
Figure 592042DEST_PATH_IMAGE005
表示增强图像在局部区域i的平均灰度值，
Figure 132745DEST_PATH_IMAGE006
表示输入的图像块在局部区域i的平均灰度值，
Figure 307374DEST_PATH_IMAGE007
表示增强图像在相邻的局部区域j的平均灰度值，
Figure 908120DEST_PATH_IMAGE008
表示输入的图像块在相邻的局部区域j的平均灰度值。
再一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于元学习的图像增强方法。
再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于元学习的图像增强方法。
本发明具有如下有益效果：
本发明一种基于元学习的图像增强方法，构建了基于编解码结构的元学习网络，只需要一张高照度范围的原始图像，对原始图像进行随机采样即可获得元数据，只需要少量数据就可以进行元学习网络的训练；并且，通过在编解码结构中添加残差模块，以及添加自注意力层，在保证元学习网络深度的前提下，使得元学习网络能够精确的捕捉到有用地信息，学习各种不同类型图像的信息，增强表达能力，增强图像增强模型的适应性的同时获得良好的效果。
附图说明
图1为本发明实施例一的方法流程图；
图2为本发明实施例中提出的一种元学习网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，一种基于元学习的图像增强方法，包括以下步骤：
S101、进行元数据的构建，获取任意一张高照度范围的原始图像并进行灰度化处理（高照度范围的图像经灰度化处理后体现为图像中像素点所拥有的灰度级范围比较高），并从处理后的图像中随机捕获图像块；
S102、统计捕获到的所有图像块，并根据图像块的图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中，并将每一类图像块按照比例分为元训练集和元测试集，比例为7:3，即一个类别的图像块中70%作为元训练集，30%作为元测试集。
S201、构建基于多级编解码结构的元学习网络。
S301、随机抽样元训练数据集中不同类别的图像块，并且抽取定量的元训练集中的图像块和元测试集中的图像块，将元训练集中的图像块输入至元学习网络中，通过元学习网络输出增强图像；
S302、计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，可以先进行曝光误差的计算，再进行像素相邻误差的计算，同时以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，迭代更新元学习网络的网络参数，达到迭代终止条件后，结束迭代，得到预训练好的元学习网络；
S303、将元测试集中的图像块输入至预训练好的元学习网络，输出增强图像，与步骤S302一样进行计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，测试网络性能，当网络性能不达标时，继续根据曝光误差和像素相邻误差迭代更新网络参数，当网络性能达标时，结束测试，保存当前元学习网络的参数，得到图像增强模型。
S4、将训练好的图像增强网络用于低照度图像的图像增强。
作为本实施例的优选实施方式，在步骤S101中，所述从处理后的图像中随机捕获图像块的方法具体为：
以64×64为窗口大小，在处理后的图像中随机进行采样1000次，得到1000个图像块。
所述根据图像特征对捕获到的图像块进行分类的方法具体为：
计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为0~255一共256个类别；
所述将分类后的图像块放入至元训练数据集中的方法具体为：
以10为间隔，从256个类别中挑选采样类别，如第10类，第20类，第30类，……，其中被选出的每个采样类别会被随机采样50次，每个被采样出来的采样类别中的前35个图像块放入至元训练集，后15个放入至元测试集。
具体参见图2，作为本实施例的优选实施方式，在步骤S201中，所述多级编解码结构的元学习网络设计为三级的编码解码结构，具体包括：
第一级编解码结构，包括一卷积层，用于在图像块的原始尺度上尽可能多地提取图像块中的高频低频信息，为后续的网络层提供足够的信息，获取特征图；
连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块包括若干残差块，主要用于提取较为敏感的高频信息（通过简单的逐像素相加完成），有利于恢复图像的细节信息，所述注意力模块通过一个卷积层生成了1组特征图然后与另一个卷积层的输出做逐像素相乘得到添加注意力之后的注意力特征图，能够使得网络将注意力放在需要被增强的位置，提高网络的提取效率；
连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
在第二级编解码结构和第三级编解码结构中，首先经过插值算法对特征图进行上采样，使得网络能够获得更大的感受野，在上采样过程中，将输出的特征图和注意力特征图进行恢复和合并信息。
本实施例在网络中增加了残差模块，并添加注意力层；在保证元学习网络深度的前提下，使得元学习网络能够精确的捕捉到有用的信息，学习各种不同类型图像的信息，增强表达能力。
作为本实施例的优选实施方式，在步骤S302中，所述曝光误差具体通过以下公式计算：
Figure 168200DEST_PATH_IMAGE001
其中，M表示大小为16×16的不重叠局部区域的数量，
Figure 778173DEST_PATH_IMAGE002
是增强的照度图像中局部区域m的平均灰度值（灰度值就表征了照度强度），E设置为0.6；该公式是计算增强之后的增强图像与常数E之间的各个大小为16×16的局部区域的平均灰度值的差，用以调整增强之后图像的曝光(也就是感知上的照度）。
所述像素相邻误差具体通过以下公式计算：
Figure 541729DEST_PATH_IMAGE003
其中，K表示局部区域的数量，
Figure 844535DEST_PATH_IMAGE004
表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4×4，
Figure 326332DEST_PATH_IMAGE005
表示增强图像在局部区域i的平均灰度值，
Figure 474416DEST_PATH_IMAGE006
表示输入的图像块在局部区域i的平均灰度值，
Figure 623638DEST_PATH_IMAGE007
表示增强图像在相邻的局部区域j的平均灰度值，
Figure 831765DEST_PATH_IMAGE008
表示输入的图像块在相邻的局部区域j的平均灰度值。该公式的计算方式可以理解为以4×4的滑窗在图像上进行计算，且当前的滑窗会与上下左右四个方向的同样大小的相的局部区域进行灰度均值的计算，本质上是计算增强之后增强图像中各个小块4×4与其周围小块的误差，并使得这个误差与原始图像块中以同样方式计算出来的误差相同，目的就是保持增强之后增强图像与原始图像块的图像中的高频低频信息要相同。
实施例二：
本实施例提供一种基于元学习的图像增强系统，包括：
元数据获取模块，获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；该模块用于实现如实施例一中步骤S101和步骤S102的功能，在此不再赘述；
元网络构建模块，用于构建基于多级编解码结构的元学习网络；该模块用于实现如实施例一中步骤S201的功能，在此不再赘述；
训练模块，用于随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；该模块用于实现如实施例一中步骤S301、步骤S302和步骤S303的功能，在此不再赘述；
增强模块，用于利用训练好的图像增强网络进行低照度图像的图像增强，该模块用于实现如实施例一中步骤S4的功能，在此不再赘述。
作为本实施例的优选实施方式，所述元数据获取模块包括：
随机采样单元，用于以预设的窗口大小，在处理后的图像中随机进行采样N次，得到N个图像块；
类别划分单元，用于计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；
分类单元，用于以M为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
作为本实施例的优选实施方式，所述基于多级编解码结构的元学习网络包括：
第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；
连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；
连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
作为本实施例的优选实施方式，在所述训练模块计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：
Figure 797929DEST_PATH_IMAGE001
其中，M表示大小为16×16的不重叠局部区域的数量，
Figure 15283DEST_PATH_IMAGE002
是增强图像中局部区域m的平均灰度值，E为设定的经验常数；
所述像素相邻误差具体通过以下公式计算：
Figure 19011DEST_PATH_IMAGE003
其中，K表示局部区域的数量，
Figure 398040DEST_PATH_IMAGE004
表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4×4，
Figure 854429DEST_PATH_IMAGE005
表示增强图像在局部区域i的平均灰度值，
Figure 609896DEST_PATH_IMAGE006
表示输入的图像块在局部区域i的平均灰度值，
Figure 468130DEST_PATH_IMAGE007
表示增强图像在相邻的局部区域j的平均灰度值，
Figure 283640DEST_PATH_IMAGE008
表示输入的图像块在相邻的局部区域j的平均灰度值。
实施例三：
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于元学习的图像增强方法。
实施例四：
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于元学习的图像增强方法。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于元学习的图像增强方法，其特征在于，包括以下步骤：
获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；
构建基于多级编解码结构的元学习网络；
随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；
将训练好的图像增强网络用于低照度图像的图像增强。
2.根据权利要求1所述的一种基于元学习的图像增强方法，其特征在于，所述从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中的方法具体为：
以预设的窗口大小，在处理后的图像中随机进行采样N次，得到N个图像块；
计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；
以M为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的图像块放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
3.根据权利要求1所述的一种基于元学习的图像增强方法，其特征在于，所述基于多级编解码结构的元学习网络包括：
第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；
连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；
连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
4.根据权利要求1所述的一种基于元学习的图像增强方法，其特征在于，在所述计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：
Figure DEST_PATH_IMAGE001
其中，M表示大小为16×16的不重叠局部区域的数量，
Figure DEST_PATH_IMAGE002
是增强图像中局部区域m的平均灰度值，E为设定的经验常数；
所述像素相邻误差具体通过以下公式计算：
Figure DEST_PATH_IMAGE003
其中，K表示局部区域的数量，
Figure DEST_PATH_IMAGE004
表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4×4，
Figure 120678DEST_PATH_IMAGE005
表示增强图像在局部区域i的平均灰度值，
Figure DEST_PATH_IMAGE006
表示输入的图像块在局部区域i的平均灰度值，
Figure 975502DEST_PATH_IMAGE007
表示增强图像在相邻的局部区域j的平均灰度值，
Figure DEST_PATH_IMAGE008
表示输入的图像块在相邻的局部区域j的平均灰度值。
5.一种基于元学习的图像增强系统，其特征在于，包括：
元数据获取模块，获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；
元网络构建模块，用于构建基于多级编解码结构的元学习网络；
训练模块，用于随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；
增强模块，利用训练好的图像增强网络进行低照度图像的图像增强。
6.根据权利要求5所述的一种基于元学习的图像增强系统，其特征在于，所述元数据获取模块包括：
随机采样单元，用于以预设的窗口大小，在处理后的图像中随机进行采样N次，得到N个图像块；
类别划分单元，用于计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；
分类单元，用于以M为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的图像块放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
7.根据权利要求5所述的一种基于元学习的图像增强系统，其特征在于，所述基于多级编解码结构的元学习网络包括：
第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；
连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；
连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
8.根据权利要求5所述的一种基于元学习的图像增强系统，其特征在于，在所述训练模块计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：
Figure 958501DEST_PATH_IMAGE001
其中，M表示大小为16×16的不重叠局部区域的数量，
Figure 88131DEST_PATH_IMAGE002
是增强图像中局部区域m的平均灰度值，E为设定的经验常数；
所述像素相邻误差具体通过以下公式计算：
Figure 636924DEST_PATH_IMAGE003
其中，K表示局部区域的数量，
Figure 928228DEST_PATH_IMAGE004
表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4×4，
Figure 929682DEST_PATH_IMAGE005
表示增强图像在局部区域i的平均灰度值，
Figure 597424DEST_PATH_IMAGE006
表示输入的图像块在局部区域i的平均灰度值，
Figure 724DEST_PATH_IMAGE007
表示增强图像在相邻的局部区域j的平均灰度值，
Figure 462929DEST_PATH_IMAGE008
表示输入的图像块在相邻的局部区域j的平均灰度值。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一权利要求所述的基于元学习的图像增强方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一权利要求所述的基于元学习的图像增强方法。
CN202211286525.7A 2022-10-20 2022-10-20 一种基于元学习的图像增强方法、系统、设备和存储介质 Active CN115358952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211286525.7A CN115358952B (zh) 2022-10-20 2022-10-20 一种基于元学习的图像增强方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211286525.7A CN115358952B (zh) 2022-10-20 2022-10-20 一种基于元学习的图像增强方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN115358952A true CN115358952A (zh) 2022-11-18
CN115358952B CN115358952B (zh) 2023-03-17

Family

ID=84008884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211286525.7A Active CN115358952B (zh) 2022-10-20 2022-10-20 一种基于元学习的图像增强方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115358952B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152116A (zh) * 2023-04-04 2023-05-23 青岛哈尔滨工程大学创新发展中心 一种基于视觉自注意力模型的水下图像增强方法
CN118278527A (zh) * 2024-06-03 2024-07-02 浪潮电子信息产业股份有限公司 自然语言处理任务执行及模型训练方法、装置、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN110717864A (zh) * 2019-08-29 2020-01-21 苏州千视通视觉科技股份有限公司 一种图像增强方法、装置、终端设备及计算机可读介质
US20200051217A1 (en) * 2018-08-07 2020-02-13 BlinkAI Technologies, Inc. Artificial intelligence techniques for image enhancement
KR20210100267A (ko) * 2020-02-06 2021-08-17 부경대학교 산학협력단 정확도가 향상된 콘볼루션 신경망 기반 분류 장치 및 방법
CN113450290A (zh) * 2021-09-01 2021-09-28 中科方寸知微(南京)科技有限公司 基于图像修补技术的低照度图像增强方法及系统
CN113642385A (zh) * 2021-07-01 2021-11-12 山东师范大学 基于深度学习的脸部痣识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
US20200051217A1 (en) * 2018-08-07 2020-02-13 BlinkAI Technologies, Inc. Artificial intelligence techniques for image enhancement
CN110717864A (zh) * 2019-08-29 2020-01-21 苏州千视通视觉科技股份有限公司 一种图像增强方法、装置、终端设备及计算机可读介质
KR20210100267A (ko) * 2020-02-06 2021-08-17 부경대학교 산학협력단 정확도가 향상된 콘볼루션 신경망 기반 분류 장치 및 방법
CN113642385A (zh) * 2021-07-01 2021-11-12 山东师范大学 基于深度学习的脸部痣识别方法及系统
CN113450290A (zh) * 2021-09-01 2021-09-28 中科方寸知微(南京)科技有限公司 基于图像修补技术的低照度图像增强方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152116A (zh) * 2023-04-04 2023-05-23 青岛哈尔滨工程大学创新发展中心 一种基于视觉自注意力模型的水下图像增强方法
CN118278527A (zh) * 2024-06-03 2024-07-02 浪潮电子信息产业股份有限公司 自然语言处理任务执行及模型训练方法、装置、设备

Also Published As

Publication number Publication date
CN115358952B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
Zhang et al. Adaptive residual networks for high-quality image restoration
CN105657402B (zh) 一种深度图恢复方法
CN115358952B (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113191969A (zh) 一种基于注意力对抗生成网络的无监督图像除雨方法
Khaw et al. High‐density impulse noise detection and removal using deep convolutional neural network with particle swarm optimisation
EP3979187A1 (en) Methods, systems and computer programs for processing image data and for generating a filter
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
Wali et al. Recent progress in digital image restoration techniques: a review
KR102095444B1 (ko) 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치
CN116342601A (zh) 基于边缘引导和多层级搜索的图像篡改检测方法
Tripathi Facial image noise classification and denoising using neural network
CN111368602A (zh) 人脸图像模糊程度评价方法、装置、可读存储介质及设备
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
Pooja et al. Adaptive sparsity through hybrid regularization for effective image deblurring
CN117710295A (zh) 图像处理方法、装置、设备、介质及程序产品
CN116416212A (zh) 路面破损检测神经网络训练方法及路面破损检测神经网络
Lyu Research on subway pedestrian detection algorithm based on big data cleaning technology
CN114529899A (zh) 用于训练卷积神经网络的方法和系统
CN114283087A (zh) 一种图像去噪方法及相关设备
Chen et al. An image denoising method of picking robot vision based on feature pyramid network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant