CN114663299A - 适用于煤矿井下的图像去雾模型的训练方法及其装置 - Google Patents
适用于煤矿井下的图像去雾模型的训练方法及其装置 Download PDFInfo
- Publication number
- CN114663299A CN114663299A CN202210195501.4A CN202210195501A CN114663299A CN 114663299 A CN114663299 A CN 114663299A CN 202210195501 A CN202210195501 A CN 202210195501A CN 114663299 A CN114663299 A CN 114663299A
- Authority
- CN
- China
- Prior art keywords
- image
- fog
- sample image
- dust
- defogging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 title claims abstract description 25
- 239000003245 coal Substances 0.000 title abstract description 21
- 239000000428 dust Substances 0.000 claims abstract description 139
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005507 spraying Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
本申请提出了一种适用于煤矿井下的图像去雾模型的训练方法及其装置，涉及图像处理技术领域。该方法包括：获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像；对无雾样本图象进行加雾处理，生成加雾图像；获取第一尘雾样本图像的深度信息图；基于深度信息图和加雾图像，获取第二尘雾样本图像；基于第一尘雾样本图像和第二尘雾样本图像对图像去雾模型进行训练，生成目标图像去雾模型。本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、对比度低、细节不清的特点，采用深度学习的方法解决雾尘浓度大、光照不均匀的问题，可以提高图像的清晰度，便于视觉观察和识别特征的提取。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种适用于煤矿井下的图像去雾模型的训练方法及其装置。
背景技术
随着智能视频监控系统和数字图像采集设备的不断普及，利用图像技术进行安全生产在煤矿工业发展中具有重要的作用。相关技术中，煤矿井下光照不均匀，相比于户外光线，照度很低，点光源的局限性使得图像亮度分布很不均匀，另外，煤矿井下进行采煤工作时会产生大量的粉尘，采用喷雾降尘的方法来减少粉尘时，喷雾之后粉尘减少了，但空气中却有许多的雾气，拍摄图像的质量将受到严重影响，可能导致采集到的图像存在模糊、细节不清、整体偏暗等缺点，不利于视觉观察和识别特征的提取，给图像技术的应用带来了很多的困扰。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请第一方面实施例提出了一种图像去雾模型的训练方法，包括：
获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像；
对无雾样本图象进行加雾处理，生成加雾图像；
获取第一尘雾样本图像的深度信息图；
基于深度信息图和加雾图像，获取第二尘雾样本图像；
基于第一尘雾样本图像、第二尘雾样本图像和无雾样本图像对图像去雾模型进行训练，生成目标图像去雾模型。
本申请第二方面实施例提出了一种图像去雾方法，包括：
获取尘雾环境下的待处理尘雾图像；
将待处理尘雾图像输入目标图像去雾模型中，以获取待处理尘雾图像对应的目标去雾图像。
本申请第三方面实施例提出了一种图像去雾模型的训练装置，包括：
第一获取模块，用于获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像；
第一生成模块，用于对无雾样本图象进行加雾处理，生成加雾图像；
第二获取模块，用于获取第一尘雾样本图像的深度信息图；基于深度信息图和加雾图像，获取第二尘雾样本图像；
第二生成模块，用于基于第一尘雾样本图像、第二尘雾样本图像和无雾样本图像对图像去雾模型进行训练，以生成目标图像去雾模型。
本申请第四方面实施例提出了一种图像去雾装置，包括：
第一获取模块，用于获取尘雾环境下的待处理尘雾图像；
第一生成模块，用于将待处理尘雾图像输入目标图像去雾模型中，以获取待处理尘雾图像对应的目标去雾图像。
本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、对比度低、细节不清的特点，采用深度学习的方法解决雾尘浓度大、光照不均匀的问题，可以提高图像的清晰度，便于视觉观察和识别特征的提取。
附图说明
图1是本申请一个实施例的图像去雾模型的训练方法的流程图；
图2是本申请一个实施例的图像去雾模型的训练方法的流程图；
图3是本申请一个实施例的图像去雾模型的训练方法的流程图；
图4是本申请一个实施例的图像去雾模型的示意图；
图5是本申请一个实施例的SFTGAN网络的示意图；
图6是本申请一个实施例的空间特征变换的示意图；
图7是本申请一个实施例的图像去雾方法的流程图；
图8是本申请一个实施例的图像去雾模型的训练装置的结构框图；
图9是本申请一个实施例的图像去雾装置的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
利用图像技术进行安全生产比传统生产技术具有节约资源、灵活度及精确度较高的优势，但在某些极端环境下，例如煤矿井下环境中，图像的应用面对着严峻的挑战，一方面，煤矿井下光照不均匀，相比于户外光线，光照度很低，点光源的局限性使得图像亮度分布很不均匀。另一方面，煤矿井下进行采煤工作时会产生大量的粉尘，大多数的煤矿企业采用喷雾降尘的方法来减少粉尘，喷雾之后粉尘减少了，但空气中却有许多的雾气，从而易导致矿井中采集到的图像存在模糊、细节不清、整体偏暗等缺点，不利于视觉观察和识别特征的提取，给矿井图像技术的应用带来了很多的困扰。
本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、对比度低、细节不清的特点，采用深度学习的方法解决雾尘浓度大、光照不均匀的问题。
下面结合附图来描述本申请实施例的适用于煤矿井下的图像去雾模型的训练方法及其装置。
图1是本申请一个实施例的图像去雾模型的训练方法的流程图，如图1所示，该方法包括以下步骤：
S101，获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像。
本申请实施例中，可以利用图像采集装置获取尘雾环境下的第一尘雾样本图像和尘雾样本图像对应的无雾样本图像，例如，在尘雾环境下，利用图像采集装置拍摄井下环境的图像作为第一尘雾样本图像，在非尘雾环境下，利用图像采集装置拍摄井下环境的图像作为尘雾样本图像对应的无雾样本图像。可选地，两次拍摄的视角可以不相同。
在一些实现中，可以在非尘雾环境下，利用图像采集装置拍摄图像作为无雾样本图像。在一些实现中，可以将数据库中预设的图像作为无雾样本图像。
可选地，图像采集装置可以是具有摄像头的拍摄装置，例如可见光相机、手机等。
S102，对无雾样本图象进行加雾处理，生成加雾图像。
在一些实现中，利用加雾算法对无雾样本图像进行处理，从而生成加雾图像。
在一些实现中，利用图像处理应用程序对无雾样本图像进行加雾处理，从而生成加雾图像。
S103，获取第一尘雾样本图像的深度信息图。
图像中包含的景物成像的距离范围不同，也就是说，图像中包含不同场景深度的景物。由于尘雾的浓度通常随场景深度的变化而增加，因此场景的深度与雾度的浓度呈正相关，即：d(x)∝c(x)∝[v(x)-s(x)]。其中，d(x)为第一尘雾样本图像中第x个像素点的场景深度，v(x)为第一尘雾样本图像中第x个像素点的亮度值，s(x)为第一尘雾样本图像中第x个像素点的饱和度值，c(x)为尘雾浓度，∝表示正相关。
在一些实现中，根据第一尘雾样本图像的亮度值和饱和度值，获取第一尘雾样本图像的深度信息图。
在一些实现中，图像去尘雾的准确率，还可以根据随机变量获取第一尘雾样本图像的误差，进而根据第一尘雾样本图像的亮度值、饱和度值和误差，获取第一尘雾样本图像的深度信息图。
S104，基于深度信息图和加雾图像，获取第二尘雾样本图像。
在一些实现中，对深度信息图和加雾图像进行特征提取，获取特征图，进而生成第二尘雾样本图像。
在一些实现中，将深度信息图和加雾图像输入特征空间转换对抗生成网络(Spatial Feature Transform Generative Adversarial Networks，SFTGAN)，获取第二尘雾样本图像。
S105，基于第一尘雾样本图像、第二尘雾样本图像和无雾样本图像对图像去雾模型进行训练，以生成目标图像去雾模型。
将第一尘雾样本图像和第二尘雾样本图像输入图像去雾模型，获取第一尘雾样本图像的第一去雾样本图像和第二尘雾样本图像的第二去雾样本图像，进而根据无雾样本图像、第一去雾样本图像和第二去雾样本图像对图像去雾模型进行调整，获取所述目标图像去雾模型。
可选地，图像去雾模型为循环生成对抗网络(Cycle Generative AdversarialNetworks，CycleGAN)。
本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、对比度低、细节不清的特点，采用深度学习的方法解决雾尘浓度大、光照不均匀的问题，可以提高图像的清晰度，便于视觉观察和识别特征的提取。
图2是本申请一个实施例的图像去雾模型的训练方法的流程图，如图2所示，该方法包括以下步骤：
S201，获取第一尘雾样本图像的任一像素点的亮度值和饱和度值。
可选地，本申请实施例中，第一尘雾样本图像为红(R)、绿(G)、蓝(B)三色图像，提取对第一尘雾样本图像的任一像素点的RGB三个颜色通道的值，进而将RGB颜色空间转换为色调(H)，饱和度(S)，明度(V)颜色空间，从而获取第一尘雾样本图像的任一像素点的亮度值和饱和度值。
S202，基于高斯分布，获取任一像素点的误差。
本申请实施例中，利用高斯分布获取第一尘雾样本图像的任一像素点的随机误差。
也就是说，随机误差服从一个数学期望为μ、方差为σ2的高斯分布，记为N(μ，σ2)。高斯分布的期望值μ决定了随机误差的位置，高斯分布的标准差σ决定了分布的幅度。可选地，本申请中的高斯分布为μ＝0，σ＝1时的标准正态分布。
S203，基于任一像素点的误差、任一像素点的亮度值和饱和度值，获取任一像素点的场景深度，以生成深度信息图。
可选地，可以采用如下公式获取场景深度：
d(x)＝θ0+θ1×v(x)+θ2×s(x)+ε(x)
其中，d(x)为第一尘雾样本图像中第x个像素点的场景深度，v(x)为第x个像素点的亮度值，s(x)为第x个像素点的饱和度值，ε(x)为第x个像素点的误差，θ0、θ1、θ2为通过最大似然估计及梯度下降算法获取的系数。
本申请实施例中，通过第一尘雾样本图像的任一像素点的亮度值、饱和度值，以及基于高斯分布获取的随机误差，生成深度信息图。本申请实施例可以减小图像去雾模型的误差，提高图像去雾模型的的精确度，便于后续图像去雾模型的特征的提取。
图3是本申请一个实施例的图像去雾模型的训练方法的流程图，如图3所示，该方法包括以下步骤：
S301，将第一尘雾样本图像输入图像去雾模型，获取第一去雾样本图像，将第二尘雾样本图像输入图像去雾模型，获取第二去雾样本图像。
单纯的使用对抗生成网络(Generative Adversarial Networks，GAN)是无法进行训练的。原因在于，生成器完全可以将尘雾环境下的所有图像信息都映射到非尘雾环境的同一张图像，使损失函数无效化。为此，本申请实施中，图像去雾模型为循环生成对抗网络，图像去雾模型包括两个生成器和两个鉴别器。
如图4所示，图像去雾模型包含生成器G、生成器F、鉴别器DX、鉴别器DY，以第一尘雾样本图像为例进行说明，将第一尘雾样本图像输入生成器G，获取第一尘雾样本图像的候选去雾样本图像，经过鉴别器DY鉴别后，输入生成器F，获取候选去雾样本图像的候选尘雾样本图像，经过鉴别器DX鉴别后，再次输入生成器G，如此循环往复，并利用损失函数对图像去雾模型进行训练，最终生成第一尘雾样本图像的第一去雾样本图像。同理，可以根据第二尘雾样本图像获取第二去雾样本图像。也就是说，将第一尘雾样本图像和第二尘雾样本图像作为训练样本，获取第一去雾样本图像和第二去雾样本图像。
本申请实施例中，生成器G可以看作是将尘雾环境下的图像转换为非尘雾环境下的图像的映射，表示为G(F(x))＝y，F(x)是由鉴别器DX输入的尘雾环境下的图像，y为生成器G输出的非尘雾环境下的图像。同理，生成器F可以看作是将非尘雾环境下的图像转换为尘雾环境下的图像的映射，表示为F(G(y))＝x，G(y)是由鉴别器DY输入的非尘雾环境下的图像，x为生成器F输出的尘雾环境下的图像。
S302，将无雾样本图像和第一去雾样本图像进行匹配，获取第一匹配度，将无雾样本图像和第二去雾样本图像进行匹配，获取第二匹配度。
本申请实施例中，第一去雾样本图像为第一尘雾样本图像对应的图像去雾模型生成的图像，为了生成目标图像去雾模型，本申请实施例中，将无雾样本图像和第一去雾样本图像进行匹配，获取第一匹配度，为了提高目标图像去雾模型的精确度，同理，本申请实施例中将无雾样本图像和第二去雾样本图像进行匹配，获取第二匹配度。
S303，基于第一匹配度和第二匹配度，对图像去雾模型进行调整，获取目标图像去雾模型。
本申请实施例中，结合第一匹配度和第二匹配度，对图像去雾模型进行调整，例如，可以判断第一匹配度和第二匹配度是否满足预设条件，响应于第一匹配度和第二匹配度未满足预设条件，对生成器的映射函数进行调整，直至第一匹配度和第二匹配度满足预设条件。
可选地，预设条件可以是，第一匹配度和第二匹配度均大于预设的匹配度阈值。
本申请实施例中，以循环生成对抗网络作为图像去雾模型，基于第一尘雾样本图像和第二尘雾样本图像对图像去雾模型进行调整，获取目标图像去雾模型。本申请实施例中，可以将煤矿井下等尘雾环境中的图像映射到非尘雾环境中，并持续优化，从而实现图像去雾，提高图像质量，突破尘雾环境的局限性，使模糊甚的图像变得清晰，煤矿井下等尘雾环境中的图像应用需求。
图5是本申请一个实施例的SFTGAN网络的示意图，如图5所示，本申请实施例中通过简化的SFTGAN网络获取第二尘雾样本图像，首先利用卷积层CONV对加雾图像进行卷积，获取第一特征图，将第一特征图与深度信息图输入空间特征变换(Spatial FeatureTransform，SFT)层进行空间特征变换，获取第二特征图，将第二特征图再次输入CONV进行卷积后，输入多个残差网络(Residual block)依次进行特征提取，获取第三特征图，将第三特征图进行上采样(UpCONV)后，获取第四特征图，将第四特征图与深度信息图输入SFT层进行空间特征变换，生成第二尘雾样本图像。可选地，本申请实施例中，可以简化的SFTGAN网络具有9个Residual block。
图6是本申请一个实施例的空间特征变换的示意图，如图6所示，SFT层有两个输入，一个输入是深度信息图，另一个输入是上一层的输出的特征图F。深度信息图分别通过两个卷积层得到特征图γ和特征图β，特征图γ的卷积层与特征图β的卷积层具有不同的参数，例如，卷积核大小(kernel size)，卷积步长(stride)，特征图填充宽度(padding)和输出通道数等参数。然后对特征图F、特征图γ和特征图β进行变换，获取整个SFT层的输出，其中，⊙表示特征图中的对应元素逐个相乘。
图7是本申请一个实施例的图像去雾方法的流程图，如图7所示，该方法包括以下步骤：
S701，获取尘雾环境下的待处理尘雾图像。
利用图像采集装置获取尘雾环境下的待处理尘雾图像。
可选地，图像采集装置可以是具有摄像头的拍摄装置，例如可见光相机、手机等。
S702，将待处理尘雾图像输入目标图像去雾模型中，以获取待处理尘雾图像对应的目标去雾图像。
将待处理尘雾图像输入上述实施例中获取的目标图像去雾模型中，以生成待处理尘雾图像对应的目标去雾图像。
在一些实现中，获取待处理尘雾图像对应的目标去雾图像后，还可以采用进行图像增强处理，以提高目标去雾图像的饱和度和对比度。
本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、细节不清的特点，采用目标图像去雾模型获取待处理尘雾图像对应的目标去雾图像。本申请实施例可以使图像变得清晰明亮，解决图像不清晰或亮度不均等问题，提高了图像质量，便于后续图像应用及特征提取。
如图8所示，基于同一申请构思，本申请实施例还提供了一种图像去雾模型的训练装置800，包括：
第一获取模块810，用于获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像；
第一生成模块820，用于对无雾样本图象进行加雾处理，生成加雾图像；
第二获取模块830，用于获取第一尘雾样本图像的深度信息图；基于深度信息图和加雾图像，获取第二尘雾样本图像；
第二生成模块840，用于基于第一尘雾样本图像、第二尘雾样本图像和无雾样本图像对图像去雾模型进行训练，以生成目标图像去雾模型。
在一些实现中，第二获取模块830，还用于：获取第一尘雾样本图像的任一像素点的亮度值和饱和度值；基于高斯分布，获取任一像素点的误差；基于任一像素点的误差、任一像素点的亮度值和饱和度值，获取任一像素点的场景深度，以生成深度信息图。
在一些实现中，采用如下公式获取场景深度：
d(x)＝θ0+θ1×v(x)+θ2×s(x)+ε(x)
其中，d(x)为第一尘雾样本图像中第x个像素点的场景深度，v(x)为第x个像素点的亮度值，s(x)为第x个像素点的饱和度值，ε(x)为第x个像素点的误差，θ0、θ1、θ2为通过最大似然估计及梯度下降算法获取的系数。
在一些实现中，第二获取模块830，还用于：对加雾图像进行卷积，获取第一特征图；将第一特征图与深度信息图进行空间特征变换，获取第二特征图；将第二特征图进行卷积后，输入残差网络，获取第三特征图；将第三特征图进行上采样后，获取第四特征图；将第四特征图与深度信息图进行空间特征变换，获取第二尘雾样本图像。
在一些实现中，第二生成模块840，还用于：将第一尘雾样本图像输入图像去雾模型，获取第一去雾样本图像，将第二尘雾样本图像输入图像去雾模型，获取第二去雾样本图像；将无雾样本图像和第一去雾样本图像进行匹配，获取第一匹配度，将无雾样本图像和第二去雾样本图像进行匹配，获取第二匹配度；基于第一匹配度和第二匹配度，对图像去雾模型进行调整，获取目标图像去雾模型。
在一些实现中，图像去雾模型为循环生成对抗网络，图像去雾模型包括生成器和鉴别器。
在一些实现中，第二生成模块840，还用于：响应于第一匹配度和第二匹配度未满足预设条件，对生成器进行调整，直至第一匹配度和第二匹配度满足预设条件
本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、细节不清、亮度分布不均匀的特点，利用目标图像去雾模型对图像进行处理，可以提高图像的清晰度和质量，便于视觉观察和识别特征的提取。
如图9所示，基于同一申请构思，本申请实施例还提供了一种图像去雾装置900，包括：
第一获取模块910，用于获取尘雾环境下的待处理尘雾图像；
第一生成模块920，用于将待处理尘雾图像输入目标图像去雾模型中，以获取待处理尘雾图像对应的目标去雾图像。
本申请实施例中，针对煤矿井下等尘雾环境下，监控图像模糊、细节不清的特点，采用目标图像去雾模型获取待处理尘雾图像对应的目标去雾图像。本申请实施例可以使图像变得清晰明亮，解决图像不清晰或亮度不均等问题，提高了图像质量，便于后续图像应用及特征提取。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像去雾模型的训练方法，其特征在于，包括：
获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像；
对所述无雾样本图象进行加雾处理，生成加雾图像；
获取所述第一尘雾样本图像的深度信息图；
基于所述深度信息图和所述加雾图像，获取第二尘雾样本图像；
基于所述第一尘雾样本图像、所述第二尘雾样本图像和所述无雾样本图像对图像去雾模型进行训练，以生成目标图像去雾模型。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第一尘雾样本图像的深度信息图，包括：
获取所述第一尘雾样本图像的任一像素点的亮度值和饱和度值；
基于高斯分布，获取所述任一像素点的误差；
基于所述任一像素点的误差、所述任一像素点的亮度值和饱和度值，获取所述任一像素点的场景深度，以生成所述深度信息图。
3.根据权利要求2所述的方法，其特征在于，采用如下公式获取所述场景深度：
d(x)＝θ0+θ1×v(x)+θ2×s(x)+ε(x)
其中，d(x)为所述第一尘雾样本图像中第x个像素点的场景深度，v(x)为所述第x个像素点的亮度值，s(x)为所述第x个像素点的饱和度值，ε(x)为所述第x个像素点的误差，θ0、θ1、θ2为通过最大似然估计及梯度下降算法获取的系数。
4.根据权利要求1所述的方法，其特征在于，所述基于所述深度信息图和所述加雾图像，获取第二尘雾样本图像，包括：
对所述加雾图像进行卷积，获取第一特征图；
将所述第一特征图与所述深度信息图进行空间特征变换，获取第二特征图；
将所述第二特征图进行卷积后，输入残差网络，获取第三特征图；
将所述第三特征图进行上采样后，获取第四特征图；
将所述第四特征图与所述深度信息图进行空间特征变换，获取所述第二尘雾样本图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一尘雾样本图像、所述第二尘雾样本图像和所述无雾样本图像对图像去雾模型进行训练，以生成目标图像去雾模型，包括：
将所述第一尘雾样本图像输入所述图像去雾模型，获取第一去雾样本图像，将所述第二尘雾样本图像输入所述图像去雾模型，获取第二去雾样本图像；
将所述无雾样本图像和所述第一去雾样本图像进行匹配，获取第一匹配度，将所述无雾样本图像和所述第二去雾样本图像进行匹配，获取第二匹配度；
基于所述第一匹配度和所述第二匹配度，对所述图像去雾模型进行调整，获取所述目标图像去雾模型。
6.根据权利要求5所述的方法，其特征在于，所述图像去雾模型为循环生成对抗网络，所述图像去雾模型包括生成器和鉴别器。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一匹配度和所述第二匹配度，对所述图像去雾模型进行调整，包括：
响应于所述第一匹配度和所述第二匹配度未满足预设条件，对所述生成器进行调整，直至所述第一匹配度和所述第二匹配度满足所述预设条件。
8.一种图像去雾方法，其特征在于，包括：
获取尘雾环境下的待处理尘雾图像；
将所述待处理尘雾图像输入目标图像去雾模型中，以获取所述待处理尘雾图像对应的目标去雾图像。
9.一种图像去雾模型的训练装置，其特征在于，包括：
第一获取模块，用于获取尘雾环境下的第一尘雾样本图像和非尘雾环境下的无雾样本图像；
第一生成模块，用于对所述无雾样本图象进行加雾处理，生成加雾图像；
第二获取模块，用于获取所述第一尘雾样本图像的深度信息图；基于所述深度信息图和所述加雾图像，获取第二尘雾样本图像；
第二生成模块，用于基于所述第一尘雾样本图像、所述第二尘雾样本图像和所述无雾样本图像对图像去雾模型进行训练，以生成目标图像去雾模型。
10.一种图像去雾装置，其特征在于，包括：
第一获取模块，用于获取尘雾环境下的待处理尘雾图像；
第一生成模块，用于将所述待处理尘雾图像输入目标图像去雾模型中，以获取所述待处理尘雾图像对应的目标去雾图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210195501.4A CN114663299A (zh) | 2022-03-01 | 2022-03-01 | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210195501.4A CN114663299A (zh) | 2022-03-01 | 2022-03-01 | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663299A true CN114663299A (zh) | 2022-06-24 |
Family
ID=82027692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210195501.4A Pending CN114663299A (zh) | 2022-03-01 | 2022-03-01 | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663299A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115818166A (zh) * | 2022-11-15 | 2023-03-21 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
-
2022
- 2022-03-01 CN CN202210195501.4A patent/CN114663299A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115818166A (zh) * | 2022-11-15 | 2023-03-21 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
| CN115818166B (zh) * | 2022-11-15 | 2023-09-26 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
| US11948282B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
| US20210383511A1 (en) | Bright Spot Removal Using A Neural Network | |
| CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108805103A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108734676A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US9123141B2 (en) | Ghost artifact detection and removal in HDR image processing using multi-level median threshold bitmaps | |
| CN107292830A (zh) | 低照度图像增强及评价方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN110191287A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN111080537A (zh) | 水下机器人智能控制方法、介质、设备及系统 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN110909750A (zh) | 图像差异检测方法及装置、存储介质、终端 | |
| CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 | |
| CN109325905B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN112561813B (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
| CN108805873A (zh) | 图像处理方法及装置 | |
| JP2020088647A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN116433822B (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| CN107295261A (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
| CN107424134A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN109410308A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109242793A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| Veeravasarapu et al. | Fast and fully automated video colorization | |
| JP6565513B2 (ja) | 色補正装置、色補正方法及び色補正用コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |