CN115345961B - 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置 - Google Patents

基于hsv颜色空间相互运算的浓雾彩色重建方法及装置 Download PDF

Info

Publication number
CN115345961B
CN115345961B CN202211024288.7A CN202211024288A CN115345961B CN 115345961 B CN115345961 B CN 115345961B CN 202211024288 A CN202211024288 A CN 202211024288A CN 115345961 B CN115345961 B CN 115345961B
Authority
CN
China
Prior art keywords
dense fog
image
domain
saturation
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211024288.7A
Other languages
English (en)
Other versions
CN115345961A (zh
Inventor
季向阳
王枭宇
张亿
连晓聪
金欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202211024288.7A priority Critical patent/CN115345961B/zh
Publication of CN115345961A publication Critical patent/CN115345961A/zh
Application granted granted Critical
Publication of CN115345961B publication Critical patent/CN115345961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于HSV颜色空间相互运算的浓雾彩色重建方法及装置，其中，方法包括：将浓雾下相机采集的RGB图像转换到色调‑饱和度‑亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像；对滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像；基于最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定浓雾下目标物的边界信息，以基于浓雾下目标物的颜色和边界信息得到浓雾下目标物的彩色重构结果。由此，解决了相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题。

Description

基于HSV颜色空间相互运算的浓雾彩色重建方法及装置
技术领域
本申请涉及计算机视觉与数字图像技术领域，特别涉及一种基于HSV颜色空间相互运算的浓雾彩色重建方法及装置。
背景技术
散射介质广泛存在于自然界中，如生物组织、雾、浑浊水体等，而在宏观大视场下透雾成像是应用最广泛的场景，常被应用在自动驾驶、安防监控和恶劣天气环境救援等场景。
相关技术中，去雾算法只能应用在雾气较薄的场景，而在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像，有待改进。
发明内容
本申请提供一种基于HSV颜色空间相互运算的浓雾彩色重建方法及装置，以解决相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题。
本申请第一方面实施例提供一种基于HSV颜色空间相互运算的浓雾彩色重建方法，包括以下步骤：将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV(Hue,Saturation,Value，色调-饱和度-亮度颜色模型)颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像；对所述滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像；以及基于所述最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定所述浓雾下目标物的边界信息，以基于所述浓雾下目标物的颜色和边界信息得到所述浓雾下目标物的彩色重构结果。
可选地，在本申请的一个实施例中，在将所述浓雾下相机采集的RGB图像转换到所述HSV空间之前，还包括：利用预设的散射干扰模型描述当前浓雾场景的散射干扰，确定所述RGB图像。
可选地，在本申请的一个实施例中，所述将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像，包括：将所述RGB图像转换到所述HSV颜色空间，得到图像的初始色调域信息、饱和度域信息和亮度域；对所述亮度域利用单尺度和多尺度Retinex算法提升对比度，得到优化后的亮度域；以所述优化后的亮度域做指导，对所述RGB图像进行提升浓雾图像信噪比的导向滤波，得到所述滤波后的浓雾图像。
可选地，在本申请的一个实施例中，所述提升饱和度的信噪比的公式为：
Figure GDA0004160041490000021
其中，
Figure GDA0004160041490000022
表示第k+1次迭代的饱和度域信息，/>
Figure GDA0004160041490000023
表示第k次迭代的饱和度域信息，V′2(x,y)表示优化后的亮度域，N表示迭代运算次数。
可选地，在本申请的一个实施例中，所述浓雾下目标物的颜色的确定公式为：
Figure GDA0004160041490000024
其中，H2(x,y)表示色调域，R表示Red(红色)，G表示Green(绿色)，B表示Blue(蓝色)。
可选地，在本申请的一个实施例中，所述浓雾下目标物的边界信息的确定公式为：
Figure GDA0004160041490000025
其中，
Figure GDA0004160041490000026
分别表示在对应饱和度区域/>
Figure GDA0004160041490000027
中利用灰度阈值分割算法计算出的分割阈值，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域。
本申请第二方面实施例提供一种基于HSV颜色空间相互运算的浓雾彩色重建装置，包括：转换模块，用于将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像；校正模块，用于对所述滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像；以及重建模块，用于基于所述最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定所述浓雾下目标物的边界信息，以基于所述浓雾下目标物的颜色和边界信息得到所述浓雾下目标物的彩色重构结果。
可选地，在本申请的一个实施例中，还包括：干扰模块，用于利用预设的散射干扰模型描述当前浓雾场景的散射干扰，确定所述RGB图像。
可选地，在本申请的一个实施例中，所述转换模块包括：转换单元，用于将所述RGB图像转换到所述HSV颜色空间，得到图像的初始色调域信息、饱和度域信息和亮度域；优化单元，用于对所述亮度域利用单尺度和多尺度Retinex算法提升对比度，得到优化后的亮度域；滤波单元，用于以所述优化后的亮度域做指导，对所述RGB图像进行提升浓雾图像信噪比的导向滤波，得到所述滤波后的浓雾图像。
可选地，在本申请的一个实施例中，所述提升饱和度的信噪比的公式为：
Figure GDA0004160041490000031
其中，
Figure GDA0004160041490000032
表示第k+1次迭代的饱和度域信息，/>
Figure GDA0004160041490000033
表示第k次迭代的饱和度域信息，V′2(x,y)表示优化后的亮度域，N表示迭代运算次数。
可选地，在本申请的一个实施例中，所述浓雾下目标物的颜色的确定公式为：
Figure GDA0004160041490000034
其中，H2(x,y)表示色调域，R表示Red(红色)，G表示Green(绿色)，B表示Blue(蓝色)。
可选地，在本申请的一个实施例中，所述浓雾下目标物的边界信息的确定公式为：
Figure GDA0004160041490000035
其中，
Figure GDA0004160041490000036
分别表示在对应饱和度区域/>
Figure GDA0004160041490000037
中利用灰度阈值分割算法计算出的分割阈值，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于HSV颜色空间相互运算的浓雾彩色重建方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于HSV颜色空间相互运算的浓雾彩色重建方法。
本申请实施例可以面向浓雾场景，将彩色RGB图像转换到HSV颜色空间进行分析，分别利用以亮度域作指导的的导向滤波算法和SV域的相互运算提升图像的整体信噪比，再利用色调域辨别目标物的基本颜色，利用饱和度域识别目标物的边界信息，最终目标物的基本颜色和边界信息相结合，实现浓雾下目标物的彩色清晰重构，从而将高分辨的逐像素重建变为低分辨的逐像素区域集合重建，牺牲目标物细节信息，换取对噪声的容忍性和重建的稳定性，以实现浓雾环境下的图像重建，并提升算法可重建的最高雾气浓度。由此，解决了相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于HSV颜色空间相互运算的浓雾彩色重建方法的流程图；
图2为根据本申请一个实施例的基于HSV颜色空间相互运算的浓雾彩色重建方法的流程图；
图3为根据本申请一个实施例的基于HSV颜色空间相互运算的浓雾彩色重建方法的原理示意图；
图4为根据本申请实施例提供的一种基于HSV颜色空间相互运算的浓雾彩色重建装置的结构示意图；
图5为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于HSV颜色空间相互运算的浓雾彩色重建方法及装置。针对上述背景技术中心提到的相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题，本申请提供了一种基于HSV颜色空间相互运算的浓雾彩色重建方法，在该方法中，可以面向浓雾场景，将彩色RGB图像转换到HSV颜色空间进行分析，分别利用以亮度域作指导的的导向滤波算法和SV域的相互运算提升图像的整体信噪比，再利用色调域辨别目标物的基本颜色，利用饱和度域识别目标物的边界信息，最终目标物的基本颜色和边界信息相结合，实现浓雾下目标物的彩色清晰重构，从而将高分辨的逐像素重建变为低分辨的逐像素区域集合重建，牺牲目标物细节信息，换取对噪声的容忍性和重建的稳定性，以实现浓雾环境下的图像重建，并提升算法可重建的最高雾气浓度。由此，解决了相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题。
具体而言，图1为本申请实施例所提供的一种基于HSV颜色空间相互运算的浓雾彩色重建方法的流程示意图。
如图1所示，该基于HSV颜色空间相互运算的浓雾彩色重建方法包括以下步骤：
在步骤S101中，将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像。
在实际执行过程中，本申请实施例基于HSV颜色空间，利用浓雾下的饱和度域识别目标物的边界信息，以实现浓雾图像分析。
具体而言，HSV颜色空间的特点如下：
本申请实施例可以假定
Figure GDA0004160041490000051
为浓雾下目标物区域某像素点对应的强度，以/>
Figure GDA0004160041490000052
为例，/>
Figure GDA0004160041490000053
为目标物临近背景点的强度，为不失一般性，可以将颜色鲜艳(饱和度大)的区域定于为目标点，将颜色暗淡(饱和度小)的区域定义为背景点，/>
Figure GDA0004160041490000054
对应的色调可以为：
Figure GDA0004160041490000055
浓雾下图像的色调信息并不受雾气干扰，可用于确定目标物的基本颜色，浓雾下目标点和背景点在饱和度域下的对比度可以为：
Figure GDA0004160041490000056
在浓雾下t＝e-βz→0，则有：
Figure GDA0004160041490000057
则CRs可继续化简为：
Figure GDA0004160041490000061
由此得出，在浓雾下饱和度域的对比度信息不受雾气浓度t和光照强度A的影响，只和目标物本身的信息
Figure GDA0004160041490000062
和/>
Figure GDA0004160041490000063
有关，因此可利用浓雾下的饱和度域识别目标物的边界信息。
因此，本申请实施例可以将浓雾下相机采集的RGB图像转换到HSV空间，利用单尺度和多尺度的Retinex算法提升亮度域V的对比度，再利用优化后的亮度域V对整体图像做导向滤波，提升整体图像信噪比，得到滤波后的浓雾图像。
可选地，在本申请的一个实施例中，在将浓雾下相机采集的RGB图像转换到HSV空间之前，还包括：利用预设的散射干扰模型描述当前浓雾场景的散射干扰，确定RGB图像。
具体地，本申请实施例可以用
Figure GDA0004160041490000064
表示浓雾下相机直接采集的彩色图像，其中，x和y分别表示图像的像素维度，R、G、B分别对应彩色图像红(Red)、绿(Green)、蓝(Blue)颜色通道，本申请实施例可以将散射干扰定义为如下模型：
Figure GDA0004160041490000065
其中，
Figure GDA0004160041490000066
表示未经过散射的目标物原始图像，t(x,y)表示范围在0-1的浓雾透射率图，用于描述浓雾对图像造成的干扰，可进一步表示为t(x,y)＝e-βz(x,y)，其中，β为浓雾散射系数，z(x,y)表示目标物所在深度，A表示全局恒定的光照，如太阳光照明，n(x,y)表示像素间相互独立的噪声干扰，可以由相机传感器噪声组成，用以描述浓雾场景t(x,y)→0时的散射干扰。
可选地，在本申请的一个实施例中，将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像，包括：将RGB图像转换到HSV颜色空间，得到图像的初始色调域信息、饱和度域信息和亮度域；对亮度域利用单尺度和多尺度Retinex算法提升对比度，得到优化后的亮度域；以优化后的亮度域做指导，对RGB图像进行提升浓雾图像信噪比的导向滤波，得到滤波后的浓雾图像。
作为一种可能实现的方式，本申请实施例可以将相机采集的初始彩色浓雾图像
Figure GDA0004160041490000067
转换到HSV颜色空间，得到图像的初始色调域信息H0(x,y)，饱和度域信息S0(x,y)和亮度域信息V0(x,y)。
其中，色调域H0(x,y)的取值范围可以为[0°,360°]，饱和度域S0(x,y)和亮度域V0(x,y)的取值范围均可以为[0,1]。
本申请实施例可以对亮度域V0(x,y)利用单尺度和多尺度Retinex算法提升对比度得到V′0(x,y)，再以优化后的亮度域V′0(x,y)做指导对
Figure GDA0004160041490000071
进行导向滤波以提升浓雾图像信噪比，得到滤波后的浓雾图像/>
Figure GDA0004160041490000072
滤波尺寸可以根据浓雾图像的模糊程度适当调整。
在步骤S102中，对滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像。
在一些实施例中，本申请实施例可以对滤波后的浓雾图像
Figure GDA0004160041490000073
进行白平衡校正，得到颜色校正后的浓雾图像/>
Figure GDA0004160041490000074
为不失一般性，本申请实施例的白平衡校正算法可选灰度世界法。
校正后，本申请实施例可以再利用SV域的相互运算进一步提升饱和度域S的信噪比，得到最终浓雾图像。
可选地，在本申请的一个实施例中，提升饱和度的信噪比的公式为：
Figure GDA0004160041490000075
其中，
Figure GDA0004160041490000076
表示第k+1次迭代的饱和度域信息，/>
Figure GDA0004160041490000077
表示第k次迭代的饱和度域信息，V′2(x,y)表示优化后的亮度域，N表示迭代运算次数。
在实际执行过程中，本申请实施例可以将优化后的浓雾图像
Figure GDA0004160041490000078
重新转换回HSV颜色空间H2(x,y)，S2(x,y)，V2(x,y)，并同样对亮度域V2(x,y)利用单尺度和多尺度Retinex算法提升对比度得到V′2(x,y)，并利用如下所示的迭代运算进一步提升饱和度域S的信噪比：
Figure GDA0004160041490000079
其中，取迭代初始值
Figure GDA00041600414900000710
N表示迭代运算的次数，视浓雾的模糊程度适当调整，迭代后信噪比提升的饱和度域可以为/>
Figure GDA00041600414900000711
在步骤S103中，基于最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定浓雾下目标物的边界信息，以基于浓雾下目标物的颜色和边界信息得到浓雾下目标物的彩色重构结果。
进一步地，本申请实施例可以利用色调域H确定浓雾下目标物的颜色，在确定颜色区域的基础上，利用饱和度域S确定浓雾下目标物的边界信息，实现浓雾下目标物的彩色清晰重构。
可选地，在本申请的一个实施例中，浓雾下目标物的颜色的确定公式为：
Figure GDA00041600414900000712
其中，H2(x,y)表示色调域，R表示Red(红色)，G表示Green(绿色)，B表示Blue(蓝色)。
作为一种可能实现的方式，本申请实施例可以利用色调域H2(x,y)确定浓雾下目标物的颜色，即：
Figure GDA0004160041490000081
可选地，在本申请的一个实施例中，浓雾下目标物的边界信息的确定公式为：
Figure GDA0004160041490000082
其中，
Figure GDA0004160041490000083
分别表示在对应饱和度区域/>
Figure GDA0004160041490000084
中利用灰度阈值分割算法计算出的分割阈值，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域。
具体而言，本申请实施例可以在确定颜色区域的基础上，利用饱和度域S3(x,y)下的阈值分割确定目标物的边界信息，即：
Figure GDA0004160041490000085
其中，
Figure GDA0004160041490000086
分别表示在对应饱和度区域/>
Figure GDA0004160041490000087
中利用灰度阈值分割算法计算出的分割阈值，例如OTSU(最大类间方差法)大津法，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域，图像中除这三区域外为无关背景区域，由此实现浓雾下目标物的彩色清晰重构。
结合图2和图3所示，以一个实施例对本申请实施例的工作原理进行详细阐述。
其中，图2为本申请实施例的流程图，图3为本申请实施例的原理示意图。
如图2所示，本申请实施例可以包括以下步骤：
步骤S1：将浓雾下相机采集的RGB图像转换到HSV空间，利用单尺度和多尺度的Retinex算法提升亮度域V的对比度，再利用优化后的亮度域V对整体图像做导向滤波，提升整体图像信噪比。
具体地，本申请实施例可以用
Figure GDA0004160041490000091
表示浓雾下相机直接采集的彩色图像，其中，x和y分别表示图像的像素维度，R、G、B分别对应彩色图像红(Red)、绿(Green)、蓝(Blue)颜色通道，本申请实施例可以将散射干扰定义为如下模型：
Figure GDA0004160041490000092
其中，
Figure GDA0004160041490000093
表示未经过散射的目标物原始图像，t(x,y)表示范围在0-1的浓雾透射率图，用于描述浓雾对图像造成的干扰，可进一步表示为t(x,y)＝e-βz(x,y)，其中，β为浓雾散射系数，z)x,y)表示目标物所在深度，A表示全局恒定的光照，如太阳光照明，n(x,y)表示像素间相互独立的噪声干扰，可以由相机传感器噪声组成，用以描述浓雾场景t(x,y)→0时的散射干扰。
作为一种可能实现的方式，本申请实施例可以将相机采集的初始彩色浓雾图像
Figure GDA0004160041490000094
转换到HSV颜色空间，得到图像的初始色调域信息H0(x,y)，饱和度域信息S0(x,y)和亮度域信息V0(x,y)。
其中，色调域H0(x,y)的取值范围可以为[0°,360°]，饱和度域S0(x,y)和亮度域V0(x,y)的取值范围均可以为[0,1]。
本申请实施例可以对亮度域V0(x,y)利用单尺度和多尺度Retinex算法提升对比度得到V′0(x,y)，再以优化后的亮度域V′0(x,y)做指导对
Figure GDA0004160041490000095
进行导向滤波以提升浓雾图像信噪比，得到滤波后的浓雾图像/>
Figure GDA0004160041490000096
滤波尺寸可以根据浓雾图像的模糊程度适当调整。
步骤S2：对信噪比提升后的图像进行白平衡校正，再利用SV域的相互运算进一步提升饱和度S的信噪比。在一些实施例中，本申请实施例可以对滤波后的浓雾图像
Figure GDA0004160041490000097
进行白平衡校正，得到颜色校正后的浓雾图像/>
Figure GDA0004160041490000098
为不失一般性，本申请实施例的白平衡校正算法可选灰度世界法。
校正后，本申请实施例可以再利用SV域的相互运算进一步提升饱和度域S的信噪比，得到最终浓雾图像。
在实际执行过程中，本申请实施例可以将优化后的浓雾图像
Figure GDA0004160041490000099
重新转换回HSV颜色空间H2(x,y)，S2(x,y)，V2(x,y)，并同样对亮度域V2(x,y)利用单尺度和多尺度Retinex算法提升对比度得到V′2(x,y)，并利用如下所示的迭代运算进一步提升饱和度域S的信噪比：
Figure GDA00041600414900000910
其中，取迭代初始值
Figure GDA00041600414900000911
N表示迭代运算的次数，视浓雾的模糊程度适当调整，迭代后信噪比提升的饱和度域可以为/>
Figure GDA0004160041490000101
步骤S3：利用色调域H确定浓雾下目标物的颜色。作为一种可能实现的方式，本申请实施例可以利用色调域H2(x,y)确定浓雾下目标物的颜色，即：
Figure GDA0004160041490000102
步骤S4：在确定颜色区域的基础上，利用饱和度域S确定浓雾下目标物的边界信息，实现浓雾下目标物的彩色清晰重构。
具体而言，本申请实施例可以在确定颜色区域的基础上，利用饱和度域S3(x,y)下的阈值分割确定目标物的边界信息，即：
Figure GDA0004160041490000103
其中，
Figure GDA0004160041490000104
分别表示在对应饱和度区域/>
Figure GDA0004160041490000105
中利用灰度阈值分割算法计算出的分割阈值，例如OTSU(最大类间方差法)大津法，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域，图像中除这三区域外为无关背景区域，由此实现浓雾下目标物的彩色清晰重构。
根据本申请实施例提出的基于HSV颜色空间相互运算的浓雾彩色重建方法，可以面向浓雾场景，将彩色RGB图像转换到HSV颜色空间进行分析，分别利用以亮度域作指导的的导向滤波算法和SV域的相互运算提升图像的整体信噪比，再利用色调域辨别目标物的基本颜色，利用饱和度域识别目标物的边界信息，最终目标物的基本颜色和边界信息相结合，实现浓雾下目标物的彩色清晰重构，从而将高分辨的逐像素重建变为低分辨的逐像素区域集合重建，牺牲目标物细节信息，换取对噪声的容忍性和重建的稳定性，以实现浓雾环境下的图像重建，并提升算法可重建的最高雾气浓度。由此，解决了相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题。
其次参照附图描述根据本申请实施例提出的基于HSV颜色空间相互运算的浓雾彩色重建装置。
图4是本申请实施例的基于HSV颜色空间相互运算的浓雾彩色重建装置的方框示意图。
如图4所示，该基于HSV颜色空间相互运算的浓雾彩色重建装置10包括：转换模块100、校正模块200和重建模块300。
具体地，转换模块100，用于将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像。
校正模块200，用于对滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像。
重建模块300，用于基于最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定浓雾下目标物的边界信息，以基于浓雾下目标物的颜色和边界信息得到浓雾下目标物的彩色重构结果。
可选地，在本申请的一个实施例中，基于HSV颜色空间相互运算的浓雾彩色重建装置10还包括：干扰模块。
其中，干扰模块，用于利用预设的散射干扰模型描述当前浓雾场景的散射干扰，确定RGB图像。
可选地，在本申请的一个实施例中，转换模块100包括：转换单元、优化单元和滤波单元。
其中，转换单元，用于将RGB图像转换到HSV颜色空间，得到图像的初始色调域信息、饱和度域信息和亮度域。
优化单元，用于对亮度域利用单尺度和多尺度Retinex算法提升对比度，得到优化后的亮度域。
滤波单元，用于以优化后的亮度域做指导，对RGB图像进行提升浓雾图像信噪比的导向滤波，得到滤波后的浓雾图像。
可选地，在本申请的一个实施例中，提升饱和度的信噪比的公式为：
Figure GDA0004160041490000111
其中，
Figure GDA0004160041490000112
表示第k+1次迭代的饱和度域信息，/>
Figure GDA0004160041490000113
表示第k+1次迭代的饱和度域信息，V′2(x,y)表示优化后的亮度域，N表示迭代运算次数。
可选地，在本申请的一个实施例中，浓雾下目标物的颜色的确定公式为：
Figure GDA0004160041490000114
其中，H2(x,y)表示色调域，R表示Red(红色)，G表示Green(绿色)，B表示Blue(蓝色)。
可选地，在本申请的一个实施例中，浓雾下目标物的边界信息的确定公式为：
Figure GDA0004160041490000121
其中，
Figure GDA0004160041490000122
分别表示在对应饱和度区域/>
Figure GDA0004160041490000123
中利用灰度阈值分割算法计算出的分割阈值，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域。
需要说明的是，前述对基于HSV颜色空间相互运算的浓雾彩色重建方法实施例的解释说明也适用于该实施例的基于HSV颜色空间相互运算的浓雾彩色重建装置，此处不再赘述。
根据本申请实施例提出的基于HSV颜色空间相互运算的浓雾彩色重建装置，可以面向浓雾场景，将彩色RGB图像转换到HSV颜色空间进行分析，分别利用以亮度域作指导的的导向滤波算法和SV域的相互运算提升图像的整体信噪比，再利用色调域辨别目标物的基本颜色，利用饱和度域识别目标物的边界信息，最终目标物的基本颜色和边界信息相结合，实现浓雾下目标物的彩色清晰重构，从而将高分辨的逐像素重建变为低分辨的逐像素区域集合重建，牺牲目标物细节信息，换取对噪声的容忍性和重建的稳定性，以实现浓雾环境下的图像重建，并提升算法可重建的最高雾气浓度。由此，解决了相关技术中，在雾气较浓的情况，会因为图像噪声干扰严重而无法有效成像的技术问题。
图5为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的基于HSV颜色空间相互运算的浓雾彩色重建方法。
进一步地，电子设备还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于HSV颜色空间相互运算的浓雾彩色重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于HSV颜色空间相互运算的浓雾彩色重建方法，其特征在于，包括以下步骤：
将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像；
对所述滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像，其中，提升饱和度域信噪比的迭代公式为：
Figure FDA0004167338110000011
其中，N表示迭代运算的最大次数，V′2(x,y)表示优化后的亮度域，
Figure FDA0004167338110000012
表示第k+1次迭代的饱和度域信息，/>
Figure FDA0004167338110000013
表示第k次迭代的饱和度域信息；以及
基于所述最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定所述浓雾下目标物的边界信息，以基于所述浓雾下目标物的颜色和边界信息得到所述浓雾下目标物的彩色重构结果，其中，所述浓雾下目标物的颜色的确定公式为：
Figure FDA0004167338110000014
其中，H2(x,y)表示色调域，R表示Red红色，G表示Green绿色，B表示Blue蓝色，
所述浓雾下目标物的边界信息的确定公式为：
Figure FDA0004167338110000017
其中，
Figure FDA0004167338110000015
分别表示在对应饱和度区域/>
Figure FDA0004167338110000016
中利用灰度阈值分割算法计算出的分割阈值，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域。
2.根据权利要求1所述的方法，其特征在于，在将所述浓雾下相机采集的RGB图像转换到所述色调-饱和度-亮度HSV空间之前，还包括：
利用预设的散射干扰模型描述当前浓雾场景的散射干扰，确定所述RGB图像。
3.根据权利要求1或2所述的方法，其特征在于，所述将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像，包括：
将所述RGB图像转换到所述HSV颜色空间，得到图像的初始色调域信息、饱和度域信息和亮度域；
对所述亮度域利用单尺度和多尺度Retinex算法提升对比度，得到优化后的亮度域；
以所述优化后的亮度域做指导，对所述RGB图像进行提升浓雾图像信噪比的导向滤波，得到所述滤波后的浓雾图像。
4.一种基于HSV颜色空间相互运算的浓雾彩色重建装置，其特征在于，包括：
转换模块，用于将浓雾下相机采集的RGB图像转换到色调-饱和度-亮度HSV颜色空间，并利用预设算法提升亮度域的对比度，且利用优化后的亮度域对图像做导向滤波，得到滤波后的浓雾图像；
校正模块，用于对所述滤波后的浓雾图像进行白平衡校正，并利用预设的SV域的相互运算提升饱和度的信噪比，得到最终浓雾图像，其中，提升饱和度域信噪比的迭代公式为：
Figure FDA0004167338110000021
其中，N表示迭代运算的最大次数，V′2(x,y)表示优化后的亮度域，
Figure FDA0004167338110000022
表示第k+1次迭代的饱和度域信息，/>
Figure FDA0004167338110000023
表示第k次迭代的饱和度域信息；以及
重建模块，用于基于所述最终浓雾图像，利用色调域确定浓雾下目标物的颜色，并利用饱和度域确定所述浓雾下目标物的边界信息，以基于所述浓雾下目标物的颜色和边界信息得到所述浓雾下目标物的彩色重构结果，其中，所述浓雾下目标物的颜色的确定公式为：
Figure FDA0004167338110000024
其中，H2(x,y)表示色调域，R表示Red红色，G表示Green绿色，B表示Blue蓝色，
所述浓雾下目标物的边界信息的确定公式为：
Figure FDA0004167338110000025
其中，
Figure FDA0004167338110000031
分别表示在对应饱和度区域/>
Figure FDA0004167338110000032
中利用灰度阈值分割算法计算出的分割阈值，TargetR,TargetG,TargetB分别表示在雾气图像中所识别出的红色、绿色、蓝色目标区域。
5.根据权利要求4所述的装置，其特征在于，还包括：
干扰模块，用于利用预设的散射干扰模型描述当前浓雾场景的散射干扰，确定所述RGB图像。
6.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-3任一项所述的基于HSV颜色空间相互运算的浓雾彩色重建方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-3任一项所述的基于HSV颜色空间相互运算的浓雾彩色重建方法。
CN202211024288.7A 2022-08-24 2022-08-24 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置 Active CN115345961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024288.7A CN115345961B (zh) 2022-08-24 2022-08-24 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024288.7A CN115345961B (zh) 2022-08-24 2022-08-24 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置

Publications (2)

Publication Number Publication Date
CN115345961A CN115345961A (zh) 2022-11-15
CN115345961B true CN115345961B (zh) 2023-06-27

Family

ID=83953627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024288.7A Active CN115345961B (zh) 2022-08-24 2022-08-24 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置

Country Status (1)

Country Link
CN (1) CN115345961B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074484A (zh) * 2023-01-15 2023-05-05 山东产研卫星信息技术产业研究院有限公司 一种CMOS卫星影像的Bayer色彩重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450217A (en) * 1994-05-23 1995-09-12 Xerox Corporation Image-dependent color saturation correction in a natural scene pictorial image
CN105354801A (zh) * 2015-10-13 2016-02-24 苏州汉基视测控设备有限公司 一种基于hsv色彩空间的图像增强方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060251323A1 (en) * 2005-05-05 2006-11-09 Genesis Microchip Inc. Detection, correction fading and processing in hue, saturation and luminance directions
KR20080025593A (ko) * 2006-09-18 2008-03-21 삼성전기주식회사 디스플레이 영상의 색 보정을 위한 장치 및 방법
US8055066B2 (en) * 2008-04-16 2011-11-08 Omnivision Technologies, Inc. Apparatus, system, and method for skin tone detection in a CMOS image sensor
JP4831632B2 (ja) * 2008-09-16 2011-12-07 国立大学法人 鹿児島大学 画像処理装置、画像処理方法、プログラム及び記憶媒体
TWI533661B (zh) * 2013-05-09 2016-05-11 敦泰電子股份有限公司 色域轉換系統之膚色最佳化方法與裝置
US10530995B2 (en) * 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
CN106251300B (zh) * 2016-07-26 2019-04-09 华侨大学 一种基于Retinex的快速夜间雾天图像复原方法
CN112750170B (zh) * 2019-10-31 2024-05-17 华为技术有限公司 一种雾特征识别方法、装置及相关设备
CN112541869A (zh) * 2020-12-07 2021-03-23 南京工程学院 一种基于matlab实现的Retinex图像去雾方法
CN112381819A (zh) * 2020-12-07 2021-02-19 云南省烟草公司昆明市公司 基于hsv颜色模型的植保雾滴检测方法
CN114240800B (zh) * 2021-12-22 2022-11-29 清华大学 面向散射场景的编码摄像图像增强方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450217A (en) * 1994-05-23 1995-09-12 Xerox Corporation Image-dependent color saturation correction in a natural scene pictorial image
CN105354801A (zh) * 2015-10-13 2016-02-24 苏州汉基视测控设备有限公司 一种基于hsv色彩空间的图像增强方法

Also Published As

Publication number Publication date
CN115345961A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
EP1807805B1 (en) Method and apparatus for red-eye detection in an acquired digital image
EP2187620B1 (en) Digital image processing and enhancing system and method with function of removing noise
US7436998B2 (en) Method and apparatus for red-eye detection in an acquired digital image based on image quality pre and post filtering
US7689009B2 (en) Two stage detection for photographic eye artifacts
JP5291084B2 (ja) パンクロマティック画素を組み込むエッジマッピング
JP5103648B2 (ja) ナイトビジョン画像データセットを処理するための方法、装置およびコンピュータ読取可能媒体
TW200541311A (en) Segmentation method and system for scanned documents
JP5020615B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
CN107194900A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN111784605A (zh) 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质
CN115345961B (zh) 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置
CN1578475A (zh) 校正图像亮度分布的图像处理方法及装置
CN114078153B (zh) 面向散射场景的光场编码摄像方法及装置
CN115272362A (zh) 一种数字病理全场图像有效区域分割方法、装置
US20230114798A1 (en) Joint auto-exposure tone-mapping system
CN112598674B (zh) 用于车辆的图像处理方法、装置及车辆
CN112070771B (zh) 基于hs通道的自适应阈值分割方法、装置和存储介质
CN114331893A (zh) 一种获取图像噪声的方法、介质和电子设备
CN117994160B (zh) 一种图像处理方法及系统
EP4209990A2 (en) Blended gray image enhancement
CN116977216A (zh) 智能影像处理中的图像去噪方法及装置
CN116468908A (zh) 一种扫描图片识别方法、装置及终端设备
CN117764877A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116228574A (zh) 一种灰度图像处理方法及装置
CN116152186A (zh) 一种沉水植物覆盖面积智能监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant