CN113763283B - 图像是否去雾的检测方法、装置和智能设备 - Google Patents
图像是否去雾的检测方法、装置和智能设备 Download PDFInfo
- Publication number
- CN113763283B CN113763283B CN202111126762.2A CN202111126762A CN113763283B CN 113763283 B CN113763283 B CN 113763283B CN 202111126762 A CN202111126762 A CN 202111126762A CN 113763283 B CN113763283 B CN 113763283B
- Authority
- CN
- China
- Prior art keywords
- stream
- image
- iic
- rgb
- feature fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 146
- 238000005286 illumination Methods 0.000 claims abstract description 45
- 238000013136 deep learning model Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 239000004575 stone Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012795 verification Methods 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像是否去雾的检测方法、系统、智能设备和存储介质。所述方法包括：处理待检测图像，获取RGB流和IIC流；将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像，本发明能够快速、自动地判别一幅图像是否经历过图像去雾操作，在例如验证证据图像或验证是否未去雾的原始图像等场景下，可有效地检验图像是否被去雾操作，填补了图像去雾验证技术的空白。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像是否去雾的检测方法、装置和智能设备。
背景技术
随着图像编辑技术的飞速发展，图像的原始性越来越难以依靠人眼辨认。例如，一副从现实世界中拍摄的有雾图像，经过去雾算法处理后，得到的去雾图像几乎和未经过去雾编辑操作的原始图像一致，仅仅依靠人眼通常无法辨认图像的原始性和真实性，即难以辨认哪个图是原始图像，哪个图是经过了图像去雾操作得到的。
图像去雾是一种图像后处理操作，目前在很多图像编辑软件或者APP中都集成了图像去雾功能。用户能便利地将有雾图像通过去雾功能进行编辑，再将去雾操作之后的图像借助移动互联网等渠道发布到社交网络或者短视频网站等。尽管大多数情况下图像去雾能够使图像内容变得更加清晰，即改善了含雾图像的视觉质量，但去雾图像也可能被不法分子用于恶意目的，例如，一个场景是，某地由于污染严重引发雾霾天气，当拍摄当地的含雾图像后，若利用去雾软件/算法进行去雾处理，从而得到了去雾图像，进行网络发布作不真实的宣传，显然，这将有可能误导关注空气污染情况的社会公众，属于发布虚假信息的行为；另外一个场景是，在雾霾天气下的交通事故及交通红绿灯违章情况下，记录事实真相的图像，也有可能存在图像去雾操作而引起争议，不利于反应事实真相。针对上述需要原始图像的场景中，当前还没有针对图像是否进行了去雾操作进行检测的方法。因此，亟需要开发一种图像是否去雾的检测方法，以判断图像的原始性，即是否经过了图像去雾操作。
发明内容
基于此，有必要针对上述技术问题，提供一种能够判断图像是否经过了图像去雾操作的图像是否去雾的检测方法、装置和智能设备。
第一方面，提供了一种图像是否去雾的检测方法，所述方法包括：
处理待检测图像，获取RGB流和IIC流；
将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
在其中一个实施例中，所述将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合包括：
根据输入的所述RGB流和IIC流，通过图像分类网络分别提取RGB流的特征和IIC流的特征；
将所述RGB流的特征和IIC流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果。
在其中一个实施例中，所述图像分类网络包括双流基石网络，所述双流基石网络包括Efficinet-B0、ResNet和MobileNet-V2的任意两种组合。
在其中一个实施例中，所述处理待检测图像，获取RGB流和IIC流之前，所述方法还包括：
处理若干去雾图像，获取若干RGB流和IIC流；
根据若干所述RGB流和IIC流进行特征提取；
根据一个去雾图像的RGB流的特征和IIC流的特征按照当前融合权重值进行特征融合，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型。
在其中一个实施例中，所述特征融合包括求和融合方式、最小特征融合方式、最大特征融合方式、级联特征融合方式和自适应特征融合方式的任一项或者多项组合。
在其中一个实施例中，当选择自适应特征融合方式时，在将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合之后，所述方法还包括：
根据所述RGB流的损失值和IIC流的损失值，对应的更新所述当前融合权重值。
在其中一个实施例中，当选择自适应特征融合方式时，所述特征融合结果为：
其中,i、j为特征的宽度和高度，d为特征的通道数，ωrgb为RGB流的特征对应的融合权重值，ωiic为IIC流的特征对应的融合权重值，是RGB流的特征，/>是IIC流的特征，Lrgb为RGB流的损失值，Liic为IIC流的损失值。
在其中一个实施例中，所述RGB流的损失值以RGB流做样本代入交叉熵损失函数获得；所述IIC流的损失值以IIC流做样本代入交叉熵损失函数获得，所述损失值L具体为：
其中，N为的是总的样本数量，yt表示样本t的标签，正确类为1，错误类为0，pt表示样本t预测正确类的概率。
第二方面，提供了一种图像是否去雾的检测装置，所述装置包括：
第一处理单元，用于处理待检测图像，获取RGB流和IIC流；
特征融合单元，用于将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
检测判断单元，用于根据特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
第三方面，提供了一种智能设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
处理待检测图像，获取RGB流和IIC流；
将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
处理待检测图像，获取RGB流和IIC流；
将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
上述图像是否去雾的检测方法、装置和智能设备，通过处理待检测图像，获取RGB流和IIC流；将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像，本发明能够快速、自动地判别一幅图像是否经历过图像去雾操作，在例如验证证据图像或验证是否未去雾的原始图像等场景下，可有效地检验图像是否被去雾操作，填补了图像去雾验证技术的空白。
附图说明
图1为一个实施例中图像是否去雾的检测方法的流程示意图；
图2为一个实施例中图像是否去雾的检测装置的结构框图；
图3为一个实施例中智能设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像是否去雾的检测方法，以该方法应用于智能设备为例进行说明，包括以下步骤：
步骤S11，处理待检测图像，获取RGB流和IIC流。
在本发明实施例中，待检测图像是将要被检测是否经过去雾操作的图像RGB流为通过待检测图像获取的RGB图像，IIC流为通过RGB图像获取的IIC图像。智能设备接收到待检测图像并获得其对应的RGB图像样本，从RGB图像样本中提取反映待检测图像的光照一致性特征的IIC图像样本。IIC图像可反映因抑制图像内容，并突出去雾操作痕迹，该痕迹为反映损失光照一致性的异常颜色块。经过了去雾操作后的去雾图像，其在IIC流与原始图像有较为明显的区别，去雾图像和原始图像表现在RGB图像上较为平滑的区域，而去雾图像上有一些异常的颜色块，这些异常的颜色快在原始图像中不存在，这表示了去雾图像在光照一致性上遭受了破坏，使图像呈现出此特征。
步骤S12，将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合。
在本发明实施例中，将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合具体包括：
根据输入的所述RGB流和IIC流，通过双流基石网络分别提取RGB流的特征和IIC流的特征；
将所述RGB流的特征和IIC流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果。
其中，所述特征融合包括求和融合方式、最小特征融合方式、最大特征融合方式、级联特征融合方式和自适应特征融合方式的任一项或者多项组合。所述双流基石网络为包括Efficinet-B0、ResNet和MobileNet-V2的任意两种组合，包括相同的两个或者不同的两个网络组合。将所述RGB流和IIC流分别输入Efficinet-B0进行特征提取，获得RGB流的特征和IIC流的特征，将所述RGB流的特征和IIC流的特征按照当前融合权重值进行特征融合，输出特征融合结果。当前融合权重值为图像分类深度学习模型的当前融合权重值，当选择自适应特征融合方式时，每次检测后，都要根据本次检测图像对应的RGB流的损失值和IIC流的损失值，对应的更新该当前融合权重值，从而使得检测结果更准确。这使得特征融合方式优于常见的最小特征融合方式、最大特征融合方式和级联特征融合方式。下表分别通过最大特征融合方式(Max fusion)、求和融合方式(Sum fusion)、最小特征融合方式(Minfusion)、级联特征融合方式(Concat fusion)和自适应特征融合方式(Ours fusion)进行特征融合的实验效果：
其中，自适应特征融合方式获得检测效果更准确。
步骤S13，根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
步骤S14，若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
步骤S15，若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
上述图像是否去雾的检测方法中，通过处理待检测图像，获取RGB流和IIC流；将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像，本发明能够快速、自动地判别一幅图像是否经历过图像去雾操作，在例如验证证据图像或验证是否未去雾的原始图像等场景下，可有效地检验图像是否被去雾操作，填补了图像去雾验证技术的空白。
在本发明的另一个实施例中，提供了一种图像是否去雾的检测方法，以该方法应用于智能设备为例进行说明，包括以下步骤：
需要说明的是，本实施例以特征融合方式为自适应特征融合方式时进行说明。
步骤S21，处理若干去雾图像，获取若干学习RGB流和学习IIC流；
步骤S22，根据若干学习RGB流和学习IIC流进行自适应特征提取；
步骤S23，根据一个去雾图像的学习RGB流的特征和学习IIC流的特征按照对应的当前融合权重值进行特征融合，根据一个去雾图像对应的学习爱RGB流的损失值和学习IIC流的损失值，对应的更新所述当前融合权重值，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型。上述步骤通过机器学习建立了图像分类深度学习模型。
完成图像分类深度学习模型之后就可以用于检测图像是否经过去雾操作，具体如下：
步骤S24，处理待检测图像，获取检测RGB流和检测IIC流；
步骤S25，将所述检测RGB流和检测IIC流输入图像分类深度学习模型进行自适应特征融合；
步骤S26，根据所述RGB流的损失值和IIC流的损失值，对应的更新所述当前融合权重值；
在本发明实施例中，所述RGB流的损失值以RGB流做样本代入交叉熵损失函数获得；所述IIC流的损失值以IIC流做样本代入交叉熵损失函数获得，所述损失值L具体为：
其中，N为的是总的样本数量，yt表示样本t的标签，正确类为1，错误类为0，pt表示样本t预测正确类的概率。当RGB流的损失值越大时，其在特征融合中对应的融合权重值就越小；反之，则越大。同理，当IIC流的损失值越大时，其在特征融合中对应的融合权重值就越小；反之，则越大。本步骤，对应的更新各自的当前融合权重值，使得图像分类深度学习模型后面的检测结果更加准确。
步骤S27，根据获得特征融合结果，判断所述检测IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。其中，所述特征融合结果为：
其中,i、j为特征的宽度和高度，d为特征的通道数，ωrgb为RGB流的特征对应的融合权重值，ωiic为IIC流的特征对应的融合权重值，是RGB流的特征，/>是IIC流的特征，Lrgb为RGB流的损失值，Liic为IIC流的损失值，e是通用的符号，优选的，e＝2.71828。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种图像是否去雾的检测装置，包括：第一处理单元21、特征融合单元22和检测判断单元23，其中：
第一处理单元21，用于处理待检测图像，获取RGB流和IIC流；
特征融合单元22，用于将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
检测判断单元23，用于根据特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
进一步地，所述特征融合单元22包括：
特征提取子单元，用于根据输入的所述RGB流和IIC流，通过图像分类网络分别提取RGB流的特征和IIC流的特征；
特征融合子单元，用于将所述RGB流的特征和IIC流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果。
进一步地，所述图像分类网络包括双流基石网络，所述双流基石网络包括Efficinet-B0、ResNet和MobileNet-V2的任意两种组合。
进一步地，所述装置还包括：
第二处理单元，用于处理若干去雾图像，获取若干RGB流和IIC流；
学习提取单元，用于根据若干所述RGB流和IIC流进行特征提取；
学习融合单元，用于根据一个去雾图像的RGB流的特征和IIC流的特征按照当前融合权重值进行特征融合，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型。
进一步地，所述特征融合包括求和融合方式、最小特征融合方式、最大特征融合方式、级联特征融合方式和自适应特征融合方式的任一项或者多项组合。
进一步地，当选择自适应特征融合方式时，所述装置还包括：
模式更新单元，用于根据所述RGB流的损失值和IIC流的损失值，对应的更新所述当前融合权重值。
进一步地，当选择自适应特征融合方式时，所述特征融合结果为：
其中,i、j为特征的宽度和高度，d为特征的通道数，ωrgb为RGB流的特征对应的融合权重值，ωiic为IIC流的特征对应的融合权重值，是RGB流的特征，/>是IIC流的特征，Lrgb为RGB流的损失值，Liic为IIC流的损失值，e是通用的符号，优选的，e＝2.71828。
进一步地，所述RGB流的损失值以RGB流做样本代入交叉熵损失函数获得；所述IIC流的损失值以IIC流做样本代入交叉熵损失函数获得，所述损失值L具体为：
其中，N为的是总的样本数量，yt表示样本t的标签，正确类为1，错误类为0，pt表示样本t预测正确类的概率。
关于图像是否去雾的检测装置的具体限定可以参见上文中对于图像是否去雾的检测方法的限定，在此不再赘述。上述图像是否去雾的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于智能设备中的处理器中，也可以以软件形式存储于智能设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种智能设备，该智能设备可以是服务器、计算机、ipad、平板、手机或其他智能设备，其内部结构图可以如图3所示。该智能设备包括通过系统总线连接的处理器和存储器。其中，该智能设备的处理器用于提供计算和控制能力。该智能设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种图像是否去雾的检测方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的智能设备的限定，具体的智能设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
处理待检测图像，获取RGB流和IIC流；
将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
处理待检测图像，获取RGB流和IIC流；
将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合；
根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种图像是否去雾的检测方法，其特征在于，所述方法包括：
处理若干去雾图像，获取若干RGB流和IIC流；
根据若干所述RGB流和IIC流进行特征提取；
根据一个去雾图像的RGB流的特征和IIC流的特征按照当前融合权重值进行特征融合，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型；
处理待检测图像，获取所述RGB流和IIC流；
将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合，其中，根据输入的所述RGB流和IIC流，通过图像分类网络分别提取RGB流的特征和IIC流的特征；
将所述RGB流的特征和IIC流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果；
根据所述RGB流的损失值和IIC流的损失值，对应的更新所述当前融合权重值，所述特征融合采用自适应特征融合方式，所述特征融合结果为：
其中,i、j为特征的宽度和高度，d为特征的通道数，ωrgb为RGB流的特征对应的融合权重值，ωiic为IIC流的特征对应的融合权重值，是RGB流的特征，/>是IIC流的特征，Lrgb为RGB流的损失值，Liic为IIC流的损失值；
根据获得特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
2.根据权利要求1所述的图像是否去雾的检测方法，其特征在于，所述图像分类网络包括双流基石网络，所述双流基石网络包括Efficinet-B0、ResNet和MobileNet-V2的任意两种组合。
3.根据权利要求1所述的图像是否去雾的检测方法，其特征在于，所述RGB流的损失值以RGB流做样本代入交叉熵损失函数获得；所述IIC流的损失值以IIC流做样本代入交叉熵损失函数获得，所述损失值L具体为：
其中，N为的是总的样本数量，yt表示样本t的标签，正确类为1，错误类为0，pt表示样本t预测正确类的概率。
4.一种图像是否去雾的检测装置，其特征在于，所述装置包括：
第二处理单元，用于处理若干去雾图像，获取若干RGB流和IIC流；
学习提取单元，用于根据若干所述RGB流和IIC流进行特征提取；
学习融合单元，用于根据一个去雾图像的RGB流的特征和IIC流的特征按照当前融合权重值进行特征融合，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型；
第一处理单元，用于处理待检测图像，获取所述RGB流和IIC流；
特征融合单元，用于将所述RGB流和IIC流输入图像分类深度学习模型进行特征融合，其中，所述特征融合单元包括：
特征提取子单元，用于根据输入的所述RGB流和IIC流，通过图像分类网络分别提取RGB流的特征和IIC流的特征；
特征融合子单元，用于将所述RGB流的特征和IIC流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果；
模式更新单元，用于根据所述RGB流的损失值和IIC流的损失值，对应的更新所述当前融合权重值；进一步地，所述特征融合采用自适应特征融合方式，所述特征融合结果为：
其中,i、j为特征的宽度和高度，d为特征的通道数，ωrgb为RGB流的特征对应的融合权重值，ωiic为IIC流的特征对应的融合权重值，是RGB流的特征，/>是IIC流的特征，Lrgb为RGB流的损失值，Liic为IIC流的损失值，e是通用的符号；
检测判断单元，用于根据特征融合结果，判断所述IIC流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
5.一种智能设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111126762.2A CN113763283B (zh) | 2021-09-19 | 2021-09-19 | 图像是否去雾的检测方法、装置和智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111126762.2A CN113763283B (zh) | 2021-09-19 | 2021-09-19 | 图像是否去雾的检测方法、装置和智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763283A CN113763283A (zh) | 2021-12-07 |
| CN113763283B true CN113763283B (zh) | 2023-11-14 |
Family
ID=78797634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111126762.2A Active CN113763283B (zh) | 2021-09-19 | 2021-09-19 | 图像是否去雾的检测方法、装置和智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763283B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102549A (zh) * | 2018-08-17 | 2018-12-28 | 深圳大学 | 图像光源颜色的检测方法、装置、计算机设备及存储介质 |
| WO2021135638A1 (zh) * | 2019-12-31 | 2021-07-08 | 支付宝(杭州)信息技术有限公司 | 检测图像是否被篡改的方法及装置和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11216988B2 (en) * | 2017-10-24 | 2022-01-04 | L'oreal | System and method for image processing using deep neural networks |
-
2021
- 2021-09-19 CN CN202111126762.2A patent/CN113763283B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102549A (zh) * | 2018-08-17 | 2018-12-28 | 深圳大学 | 图像光源颜色的检测方法、装置、计算机设备及存储介质 |
| WO2021135638A1 (zh) * | 2019-12-31 | 2021-07-08 | 支付宝(杭州)信息技术有限公司 | 检测图像是否被篡改的方法及装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763283A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866491B (zh) | 目标检索方法、装置、计算机可读存储介质和计算机设备 | |
| US20160155465A1 (en) | Video masking processing method and apparatus | |
| CN112150450B (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
| CN112560999A (zh) | 一种目标检测模型训练方法、装置、电子设备及存储介质 | |
| CN111275685A (zh) | 身份证件的翻拍图像识别方法、装置、设备及介质 | |
| US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
| WO2022105608A1 (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
| WO2021110174A1 (zh) | 图像识别方法、装置、电子设备和存储介质 | |
| CN111415336B (zh) | 一种图像篡改识别方法、装置、服务器及存储介质 | |
| WO2020093303A1 (zh) | 基于人脸识别的处理方法、装置、设备及可读存储介质 | |
| CN114663871A (zh) | 图像识别方法、训练方法、装置、系统及存储介质 | |
| CN111553320B (zh) | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 | |
| CN112232336A (zh) | 一种证件识别方法、装置、设备及存储介质 | |
| CN110533020B (zh) | 一种文字信息的识别方法、装置及存储介质 | |
| CN111461211A (zh) | 一种用于轻量级目标检测的特征提取方法及相应检测方法 | |
| CN110572369A (zh) | 图片验证方法、装置、计算机设备及存储介质 | |
| CN110766077A (zh) | 证据链图像中特写图筛选方法、装置和设备 | |
| CN113763283B (zh) | 图像是否去雾的检测方法、装置和智能设备 | |
| CN112884866A (zh) | 一种黑白视频的上色方法、装置、设备及存储介质 | |
| CN115865486A (zh) | 基于多层感知卷积神经网络的网络入侵检测方法及系统 | |
| CN113449657B (zh) | 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 | |
| US11398091B1 (en) | Repairing missing frames in recorded video with machine learning | |
| CN114882557A (zh) | 一种人脸识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 District D and E, 7th Floor, Building 3, Tingwei Industrial Park, 6 Liufang Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Aixiesheng Technology Co.,Ltd. Address before: 518000 District D and E, 7th Floor, Building 3, Tingwei Industrial Park, 6 Liufang Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN AIXIESHENG TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |