CN110493579B - 一种彩色透雾方法、装置、摄像机及图像处理系统 - Google Patents
一种彩色透雾方法、装置、摄像机及图像处理系统 Download PDFInfo
- Publication number
- CN110493579B CN110493579B CN201910194568.4A CN201910194568A CN110493579B CN 110493579 B CN110493579 B CN 110493579B CN 201910194568 A CN201910194568 A CN 201910194568A CN 110493579 B CN110493579 B CN 110493579B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- fog
- light image
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 136
- 230000035515 penetration Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000149 penetrating effect Effects 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 135
- 238000001914 filtration Methods 0.000 claims description 52
- 238000012937 correction Methods 0.000 claims description 49
- 238000007781 pre-processing Methods 0.000 claims description 36
- 230000009467 reduction Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 239000003595 mist Substances 0.000 description 10
- 238000011378 penetrating method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000007499 fusion processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种彩色透雾方法、装置、摄像机及图像处理系统,其中所述方法包括:获取红外光图像以及可见光图像;获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。本申请通过可见光图像的灰阶分布范围确定雾气浓度参数以后,根据该雾气浓度参数,自适应对红外光图像以及可见光图像进行彩色透雾处理,得到彩色透雾图像,从而实现自动透雾,提高摄像机的透雾效果。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种彩色透雾方法、装置、摄像机及图像处理系统。
背景技术
随着工业的发展以及其对气候的影响,雾霾越来越成为一种常见的天气现象,这对户外应用的监控系统的画面品质造成很大的影响。而去雾技术能够从多个角度提升视频监控的质量,可以用于各种有雾天气条件的透雾处理,提升图像的对比度,使图像变通透、清晰等。
摄像机的去雾技术可以分为物理去雾和数字去雾两种。物理去雾即光学透雾,主要由摄像机镜头实现,高清透雾镜头一般在大电动变倍镜头上才实现,价格昂贵,一般应用于港口、森林高点等场景。
数字去雾则是在摄像机或者后端软件上实现,是一种基于人类视觉感知模型设计的后端图像复原技术,具有低成本、易部署等特点,适合推广应用于城市监控中。
近年来业内出现的多光谱融合产品,大幅提升了图像质量,对于雾天情况下,将可见光与红外光结合,即利用红外光透雾特性,并保留可见光颜色,能够实现彩色透雾。但由于物体对于红外光和可见光反射特性差异,当融合较多红外信息时,图像通常会出现偏色,边缘不自然等问题。
发明内容
有鉴于此,本申请提供一种彩色透雾方法、装置、摄像机及图像处理系统。
具体地,本申请是通过如下技术方案实现的:
第一方面,本申请提供了一种摄像机,所述摄像机包括:
分光棱镜,用于将入射光分解成红外光以及可见光;
可见光传感器,用于采集所述分光棱镜分解出的可见光,对所述可见光进行处理输出可见光图像;
红外光传感器,用于采集所述分光棱镜分解出的红外光,对所述红外光进行处理输出红外光图像;
雾气浓度参数确定模块,用于获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块,用于根据所述雾气浓度确定模块确定的雾气浓度参数,对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
第二方面,本申请提供了一种图像处理系统,所述图像处理系统包括摄像机以及图像处理设备,其中:
所述摄像机包括:
分光棱镜,用于将入射光分解成红外光以及可见光;
可见光传感器,用于采集所述分光棱镜分解出的可见光,对所述可见光进行处理输出可见光图像,并将所述可见光图像传输至所述图像处理设备;
红外光传感器,用于采集所述分光棱镜分解出的红外光,对所述红外光进行处理输出红外光图像,并将所述红外光图像传输至所述图像处理设备;
所述图像处理设备包括:
雾气浓度参数确定模块,用于获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块,用于根据所述雾气浓度参数,对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
第三方面,本申请提供了一种彩色透雾方法,所述方法包括:
获取红外光图像以及可见光图像,其中,所述红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像,所述可见光图像为所述摄像机通过分光棱镜对入射光分解得到的可见光生成的图像;
获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
优选地,所述根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像,包括:
根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像;
对所述融合图像进行彩色透雾处理,得到彩色透雾图像。
优选地,所述根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像,包括:
分别对所述可见光图像进行高频滤波以及低频滤波,得到对应的高频可见光图像以及低频可见光图像;
对所述红外光图像进行高频滤波得到高频红外光图像;
根据所述雾气浓度参数,对所述高频可见光图像、所述低频可见光图像以及所述高频红外光图像进行融合,得到融合图像。
优选地,所述根据所述雾气浓度参数,对所述高频可见光图像、所述低频可见光图像以及所述高频红外光图像进行融合,得到融合图像,包括:
根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的第一融合权重以及第二融合权重;
采用所述第一融合权重、所述第二融合权重以及预设权重,分别对所述高频可见光图像、所述高频红外光图像以及所述低频可见光图像进行加权融合,得到融合图像。
优选地,所述根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的融合权重,包括:
确定所述高频可见光图像的第一融合权重为所述雾气浓度参数;
确定所述高频红外光图像的第二融合权重为预设权重与所述雾气浓度参数的差值。
优选地,所述根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像,包括:
对所述红外光图像以及所述可见光图像分别进行彩色透雾处理,得到对应的红外光透雾图像以及可见光透雾图像;
根据所述雾气浓度参数,将所述红外光透雾图像以及所述可见光透雾图像进行融合,得到彩色透雾图像。
优选地,在所述获取所述可见光图像的灰阶分布范围之前,还包括:
对所述可见光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、白平衡校正、色彩校正、Gamma校正、色彩插值、RGB转YUV处理、色调映射、降噪、锐化;
对所述红外光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、Gamma校正、色调映射、降噪、锐化。
优选地,所述根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,包括:
根据所述可见光图像的最大灰阶值和最小灰阶值确定所述可见光图像的雾气浓度参数。
第四方面,本申请提供了一种彩色透雾装置,所述装置包括:
图像获取模块,用于获取红外光图像以及可见光图像,其中,所述红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像,所述可见光图像为所述摄像机通过分光棱镜对入射光分解得到的可见光生成的图像;
雾气浓度参数确定模块,用于获取所述可见光图像的灰阶分布范围;根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块,用于根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
本申请实施例提供的技术方案可以包括以下有益效果:
当本实施例通过可见光图像的灰阶分布范围确定雾气浓度参数以后,可以根据该雾气浓度参数,自适应对红外光图像以及可见光图像进行彩色透雾处理,得到彩色透雾图像,从而实现自动透雾,提高摄像机的透雾效果。
附图说明
图1是本申请一示例性实施例示出的一种彩色透雾方法实施例的步骤流程图;
图2是本申请另一示例性实施例示出的一种彩色透雾方法实施例的步骤流程图;
图3是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的摄像机结构框架示意图;
图4是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的一种透雾处理流程示意图;
图5是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的图像信号处理模块的结构示意图;
图6是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的可见光图像预处理示意图;
图7是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的红外光图像预处理示意图;
图8是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的融合透雾示意图;
图9是本申请另一示例性实施例示出的一种彩色透雾方法实施例中的另一种透雾处理流程示意图;
图10是本申请又一示例性实施例示出的一种彩色透雾方法实施例的步骤流程图;
图11是本申请又一示例性实施例示出的一种彩色透雾方法实施例中的透雾融合示意图;
图12是本申请的装置所在设备的一种硬件结构图;
图13是本申请一示例性实施例示出的一种彩色透雾装置实施例的结构框图;
图14是本申请一示例性实施例示出的一种摄像机实施例的结构框图;
图15是本申请一示例性实施例示出的一种图像处理系统实施例的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参考图1,示出了本申请一示例性实施例示出的一种彩色透雾方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,获取红外光图像以及可见光图像;
其中,红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像;可见光图像为摄像机通过分光棱镜对入射光分解得到的可见光生成的图像。
在具体实现中,摄像机可以通过分光棱镜对入射光进行反射和透射,分别得到红外光和可见光,然后通过可见光传感器采集可见光,输出可见光图像;另外,摄像机还可以通过红外光传感器采集红外光,输出红外光图像。
其中,可见光图像包含色彩信息,红外光图像的透雾性较好。
步骤102,获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数;
其中,雾气浓度参数用于表征摄像机采集可见光图像时的环境场景的雾气浓度。
在本实施例中,可见光图像的雾气浓度参数可以根据可见光图像的灰阶分布范围确定。
步骤103,根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
当本实施例通过可见光图像的灰阶分布范围确定雾气浓度参数以后,可以根据该雾气浓度参数,自适应对红外光图像以及可见光图像进行彩色透雾处理,得到彩色透雾图像,从而实现自动透雾,提高摄像机的透雾效果。
参考图2,示出了本申请另一示例性实施例示出的一种彩色透雾方法实施例的步骤流程图,具体可以包括如下步骤:
步骤201,获取红外光图像以及可见光图像;
其中,红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像;可见光图像为摄像机通过分光棱镜对入射光分解得到的可见光生成的图像。
在具体实现中,如图3的摄像机结构框架示意图所示,摄像机中至少可以包括镜头、分光棱镜、可见光传感器以及红外光传感器等。摄像机通过镜头采集入射光以后,通过分光棱镜对入射光进行反射,以分解出红外光,同时可以通过分光棱镜对入射光进行透射,以分解出可见光。然后,红外光传感器根据分光棱镜反射的红外光采集红外光数据,进行成像处理后输出红外光图像;可见光传感器根据分光棱镜透射的可见光采集可见光数据,进行成像处理后输出红外光图像。
其中,可见光图像包含色彩信息,红外光图像的透雾性较好。
步骤202,对所述可见光图像进行预处理,以及,对所述红外光图像进行预处理;
在实际中,可见光传感器输出的可见光图像以及红外光传感器输出的红外光图像都为raw数据,如图4所示,可以将可见光图像以及红外光图像输入至图像信号处理模块,通过图像信号处理模块对可见光图像以及红外光图像分别进行ISP(Image SignalProcessing,图像信号处理)预处理,得到亮度适中、边缘清晰、色彩准确的可见光图像,以及亮度适中、边缘清晰的红外光图像。
在一种实施方式中,如图5所示,图像信号处理模块可以包括可见光图像信号处理模块,可见光传感器可以将得到的原始的可见光图像输出至可见光图像信号处理模块,由可见光图像信号处理模块对该原始的可见光图像进行预处理。作为一种示例,如图6所示,可见光图像信号处理模块进行的预处理可以包括但不限于如下预处理:
传感器(sensor)校正处理:如黑电平、坏点校正等;
色彩还原处理:如白平衡校正、色彩校正、Gamma校正等;
色彩空间转换处理:如色彩插值、RGB转YUV处理等;
图像增强处理:如Tone mapping(色调映射)、降噪、锐化等。
另外,如图5所示,图像信号处理模块还可以包括红外光图像信号处理模块,红外光传感器可以将得到的原始的红外光图像输出至红外光图像信号处理模块,由红外光图像信号处理模块对该原始的红外光图像进行预处理。作为一种示例,如图7所示,红外光图像信号处理模块进行的预处理可以包括但不限于如下预处理:
图像校正处理:如黑电平、坏点校正、Gamma校正等;
图像增强处理:如Tone mapping(色调映射)、降噪、锐化等。
步骤203,获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数;
其中,雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度。
在一个例子中,根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,包括:
根据可见光图像的最大灰阶值和最小灰阶值确定所述可见光图像的雾气浓度参数。
在本申请实施例中,如图4所示,预处理器后的可见光图像可以输入至雾气浓度参数确定模块,雾气浓度参数确定模块可以根据可见光图像的灰阶分布范围估计其雾气浓度参数。
在一种实施方式中,可以采用如下数学来描述雾气对图像的影响:
I=J*t+A*(1-t);
其中,J表示无雾图像,I表示有雾图像,A表示大气光值,t表示透射率。可见,当透射率t越小则表示雾越浓,有雾图像越接近大气光值A,则有雾图像的灰阶分布范围更小。
一种实施例中,可通过计算灰阶分布范围来评估雾的浓度,其中,灰阶分布范围可以用于确定可见光图像的最大灰阶值以及最小灰阶值,如下式:
其中,(maxlevelp-minlevelp)表示可见光图像的灰阶分布范围;maxlevelp和minlevelp分别表示可见光图像的最大灰阶值以及最小灰阶值;cp表示雾气浓度参数;p表示当前邻域。
当可见光图像的灰阶分布越大(maxlevelp和minlevelp的差值较大),表示雾越淡,此时雾气浓度参数越大。否则,当可见光图像的灰阶分布越小(maxlevelp和minlevelp的差值较小),表示雾越浓,此时雾气浓度参数越小。
如图4所示,雾气浓度参数确定模块得到可见光图像的雾气浓度参数以后,可以将雾气浓度参数发送至彩色透雾处理模块进行融合处理和图像透雾处理,输出彩色透雾图像,具体体现为下述步骤204和步骤205的过程。
步骤204,根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像;
如图8的融合透雾示意图所示,得到可见光图像的雾气浓度参数以后,可以根据该雾气浓度参数来融合红外光图像以及可见光图像,得到融合图像。
在实际中,由于可见光图像和红外光图像来自不同传感器,所以存在一定偏差,需要在融合处理前先对两幅图像进行配准,一种配准的方式如下:对红外光图像采用仿射变换算法进行坐标转换,以将红外光图像的坐标配准至可见光图像的对应坐标。
在一种实施例中,可以通过离线标定的方法获取仿射变换矩阵(校正矩阵)的相关系数,坐标变换如下式:
将可见光图像和红外光图像进行配准后,则可以基于配准后的可见光图像和红外光图像进行图像融合。
在本申请实施例的一种优选实施例中,步骤204进一步可以包括如下子步骤:
子步骤S11,分别对所述可见光图像进行高频滤波以及低频滤波,得到对应的高频可见光图像以及低频可见光图像;
子步骤S12,对所述红外光图像进行高频滤波得到高频红外光图像;
子步骤S13,根据所述雾气浓度参数,对所述高频可见光图像、所述低频可见光图像以及所述高频红外光图像进行融合,得到融合图像。
具体的,可以分别对可见光图像和红外光图像进行分频滤波,在实现时,可以分别采用低通滤波器以及高通滤波器对可见光图像进行对应的低频滤波和高频滤波,获得对应的低频可见光图像以及高频可见光图像;以及,采用高通滤波器对红外光图像进行高频滤波,获得对应的高频红外光图像,以此提取红外光图像的高频信息和可见光图像的高、低频信息,如下式所示:
Nhigh=HPF(N)
Vlow=LPF(V)
Vhigh=HPF(V)
其中,HPF表示高通滤波器,LPF表示低通滤波器,Nhigh表示高频红外光图像,Vhigh、Vlow分别表示高频可见光图像以及低频可见光图像。
随后,可以基于雾气浓度参数,对该低频可见光图像、高频可见光图像以及高频红外光图像进行融合,得到融合图像。
在一种实施方式中,可以根据该雾气浓度参数分别确定上述高频可见光图像以及高频红外光图像进行融合的第一融合权重以及第二融合权重;然后采用该第一融合权重、第二融合权重以及预设权重,分别对高频可见光图像、高频红外光图像以及低频可见光图像进行加权融合,得到融合图像。
作为一种示例,第一融合权重以及第二融合权重的确定方式可以为:确定高频可见光图像的第一融合权重为雾气浓度参数;确定高频红外光图像的第二融合权重为上述预设权重与雾气浓度参数的差值。
例如,假设预设权重为数值1,雾气浓度参数为c,则对高频可见光图像、低频可见光图像以及高频红外光图像进行加权融合得到融合图像的公式如下:
Vfus=Vlow+Vhigh*c+(1-c)*Nhigh
其中,Vfus为融合处理后的融合图像。
通过上式可以看出,本实施例根据雾气浓度参数,自适应控制融合权重,当雾较浓时,雾气浓度参数c越小,(1-c)越大,此时能够充分利用红外光透雾能力优于可见光的特性,融合较多的红外高频信息,提升透雾效果;当无雾或者雾较淡时,雾气浓度参数c越大,(1-c)越小,则可以保留更多可见光高频信息,使图像色彩准确、边缘自然,达到自动透雾效果。
步骤205,对所述融合图像进行彩色透雾处理,得到彩色透雾图像。
如图8所示,在本实施例中,通过步骤204将可见光图像和红外光图像进行自适应融合,利用红外光透雾能力强的特性,使融合后得到的融合图像具有光学透雾效果,但红外光透雾能力强于可见光,仍然会受到雾的影响降低图像的对比度,所以需要对融合图像进行彩色透雾处理(即图8中的图像透雾),得到彩色透雾图像。
本实施例可以采用通用的彩色透雾处理算法,例如基于暗通道透雾算法等,对融合图像进行彩色透雾处理,本申请实施例对具体的彩色透雾处理算法不作限定。
需要说明的是,步骤202的预处理的过程也可以放置在步骤205之后执行,则该预处理变成了对彩色透雾图像的后处理,从而得到亮度适中、边缘清晰、色彩准确的彩色透雾图像,如此,则图4的过程可以变成如图9所示。这样则无需分别对红外光图像以及可见光图像进行ISP处理,只需要进行彩色透雾图像的ISP处理,提高了图像处理效率,进而可以提升摄像机的透雾处理效率。
例如,对彩色透雾图像的后处理可以包括但不限于如下处理:
传感器(sensor)校正处理:如黑电平、坏点校正等;
色彩还原处理:如白平衡校正、色彩校正、Gamma校正等;
色彩空间转换处理:如色彩插值、RGB转YUV处理等;
图像增强处理:如Tone mapping(色调映射)、降噪、锐化等。
在本申请实施例中,当获取红外光图像以及可见光图像以后,分别对红外光图像以及可见光图像进行预处理,并根据预处理后的可见光图像的灰阶分布范围确定雾气浓度参数,然后根据雾气浓度参数来自适应控制红外光图像以及可见光图像进行融合得到融合图像,对融合图像进行彩色透雾处理得到彩色透雾图像,以此实现摄像机的自适应透雾功能,提升了图像的透雾效果。
参考图10,示出了本申请又一示例性实施例示出的一种彩色透雾方法实施例的步骤流程图,具体可以包括如下步骤:
步骤301,获取红外光图像以及可见光图像;
步骤302,对所述可见光图像进行预处理,以及,对所述红外光图像进行预处理;
作为一种示例,对可见光图像进行的预处理至少包括如下的至少一种:黑电平、坏点校正、白平衡校正、色彩校正、Gamma校正、色彩插值、RGB转YUV处理、色调映射、降噪、锐化等。
对红外光图像进行的预处理至少包括如下的至少一种:黑电平、坏点校正、Gamma校正、色调映射、降噪、锐化等。
步骤303,获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数;
其中,雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度。
步骤304,对所述红外光图像以及所述可见光图像分别进行彩色透雾处理,得到对应的红外光透雾图像以及可见光透雾图像;
如图11的透雾融合示意图所示,在本实施例中,首先对红外光图像进行红外光透雾处理得到红外光透雾图像,以及对可见光图像进行可见光透雾处理得到可见光透雾图像。
本实施例可以采用通用的彩色透雾处理算法,例如基于暗通道透雾算法等,分别对红外光图像以及可见光图像进行彩色透雾处理,本申请实施例对具体的彩色透雾处理算法不作限定。
步骤305,根据所述雾气浓度参数,将所述红外光透雾图像以及所述可见光透雾图像进行融合,得到彩色透雾图像。
如图11所示,得到红外光透雾图像以及可见光透雾图像以后,可以采用雾气浓度参数对红外光透雾图像以及可见光透雾图像进行图像融合处理,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,步骤305进一步可以包括如下子步骤:
子步骤S21,分别对所述可见光透雾图像进行高频滤波以及低频滤波,得到对应的高频可见光透雾图像以及低频可见光透雾图像;
子步骤S22,对所述红外光透雾图像进行高频滤波得到高频红外光透雾图像;
子步骤S23,根据所述雾气浓度参数,对所述高频可见光透雾图像、所述低频可见光透雾图像以及所述高频红外光透雾图像进行融合,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,子步骤S23进一步可以包括如下子步骤:
子步骤S231,根据所述雾气浓度参数分别确定所述高频可见光透雾图像以及所述高频红外光透雾图像进行融合的第三融合权重以及第四融合权重;
子步骤S232,采用所述第三融合权重、所述第四融合权重以及预设权重,分别对所述高频可见光透雾图像、所述高频红外光透雾图像以及所述低频可见光透雾图像进行加权融合,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,子步骤S231进一步可以为:
确定所述高频可见光透雾图像的第三融合权重为所述雾气浓度参数;
确定所述高频红外光透雾图像的第四融合权重为所述预设权重与所述雾气浓度参数的差值。
本申请实施例与图2的实施例的区别之处在于,图2的实施例先对图像进行融合处理再进行彩色透雾处理,而本实施例先对图像分别进行透雾处理,然后对透雾处理后的图像进行融合处理,得到彩色透雾图像。
对于图10的方法实施例而言,由于其在雾气浓度参数计算、融合处理以及透雾处理等过程与图2的方法实施例都是类似的,所以相关之处参见图2的方法实施例的部分说明即可,在此不再赘述。
与前述方法的实施例相对应,本申请还提供了彩色透雾装置的实施例。
本申请的彩色透雾装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图12所示,为本申请的装置所在设备的一种硬件结构图,除了图12所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该装置的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图13,示出了本申请一示例性实施例示出的一种彩色透雾装置实施例的结构框图,具体可以包括如下模块:
图像获取模块401,用于获取红外光图像以及可见光图像,其中,所述红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像,所述可见光图像为所述摄像机通过分光棱镜对入射光分解得到的可见光生成的图像;
雾气浓度参数确定模块402,用于获取所述可见光图像的灰阶分布范围;根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块403,用于根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
在本申请实施例的一种优选实施例中,所述彩色透雾处理模块403进一步可以包括如下子模块:
图像融合子模块,用于根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像;
图像透雾处理子模块,用于对所述融合图像进行彩色透雾处理,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,所述图像融合子模块可以包括如下单元:
滤波单元,用于分别对所述可见光图像进行高频滤波以及低频滤波,得到对应的高频可见光图像以及低频可见光图像;对所述红外光图像进行高频滤波得到高频红外光图像;
融合单元,用于根据所述雾气浓度参数,对所述高频可见光图像、所述低频可见光图像以及所述高频红外光图像进行融合,得到融合图像。
在本申请实施例的一种优选实施例中,所述融合单元可以包括如下子单元:
融合权重确定子单元,用于根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的第一融合权重以及第二融合权重;
加权融合子单元,用于采用所述第一融合权重、所述第二融合权重以及预设权重,分别对所述高频可见光图像、所述高频红外光图像以及所述低频可见光图像进行加权融合,得到融合图像。
在本申请实施例的一种优选实施例中,所述融合权重确定子单元具体用于:
确定所述高频可见光图像的第一融合权重为所述雾气浓度参数;
确定所述高频红外光图像的第二融合权重为预设权重与所述雾气浓度参数的差值。
在本申请实施例的另一种优选实施例中,所述彩色透雾处理模块403可以包括如下子模块:
图像透雾处理子模块,用于对所述红外光图像以及所述可见光图像分别进行彩色透雾处理,得到对应的红外光透雾图像以及可见光透雾图像;
图像融合子模块,用于根据所述雾气浓度参数,将所述红外光透雾图像以及所述可见光透雾图像进行融合,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,所述装置还可以包括图像信号处理模块,用于:
对所述可见光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、白平衡校正、色彩校正、Gamma校正、色彩插值、RGB转YUV处理、色调映射、降噪、锐化;
对所述红外光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、Gamma校正、色调映射、降噪、锐化。
在本申请实施例的一种优选实施例中,雾气浓度参数确定模块402具体用于:
根据所述可见光图像的最大灰阶值和最小灰阶值确定所述可见光图像的雾气浓度参数。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
请参考图14,示出了本申请一示例性实施例示出的一种摄像机实施例的结构框图,该摄像机具体可以包括:
分光棱镜501,用于将入射光分解成红外光以及可见光;
可见光传感器502,用于采集所述分光棱镜分解出的可见光,对所述可见光进行处理输出可见光图像;
红外光传感器503,用于采集所述分光棱镜分解出的红外光,对所述红外光进行处理输出红外光图像;
雾气浓度参数确定模块504,用于获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块505,用于根据所述雾气浓度确定模块确定的雾气浓度参数,对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
在本申请实施例的一种优选实施例中,本实施例还可以包括如下模块:
图像输出模块,用于输出所述彩色透雾图像。
在本申请实施例的一种优选实施例中,所述彩色透雾处理模块505进一步可以包括如下子模块:
图像融合子模块,用于根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像;
图像透雾处理子模块,用于对所述融合图像进行彩色透雾处理,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,所述图像融合子模块可以包括如下单元:
滤波单元,用于分别对所述可见光图像进行高频滤波以及低频滤波,得到对应的高频可见光图像以及低频可见光图像;对所述红外光图像进行高频滤波得到高频红外光图像;
融合单元,用于根据所述雾气浓度参数,对所述高频可见光图像、所述低频可见光图像以及所述高频红外光图像进行融合,得到融合图像。
在本申请实施例的一种优选实施例中,所述融合单元可以包括如下子单元:
融合权重确定子单元,用于根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的第一融合权重以及第二融合权重;
加权融合子单元,用于采用所述第一融合权重、所述第二融合权重以及预设权重,分别对所述高频可见光图像、所述高频红外光图像以及所述低频可见光图像进行加权融合,得到融合图像。
在本申请实施例的一种优选实施例中,所述融合权重确定子单元具体用于:
确定所述高频可见光图像的第一融合权重为所述雾气浓度参数;
确定所述高频红外光图像的第二融合权重为预设权重与所述雾气浓度参数的差值。
在本申请实施例的另一种优选实施例中,所述彩色透雾处理模块505可以包括如下子模块:
图像透雾处理子模块,用于对所述红外光图像以及所述可见光图像分别进行彩色透雾处理,得到对应的红外光透雾图像以及可见光透雾图像;
图像融合子模块,用于根据所述雾气浓度参数,将所述红外光透雾图像以及所述可见光透雾图像进行融合,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,所述摄像机还可以包括图像信号处理模块,用于:
对所述可见光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、白平衡校正、色彩校正、Gamma校正、色彩插值、RGB转YUV处理、色调映射、降噪、锐化;
对所述红外光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、Gamma校正、色调映射、降噪、锐化。
在本申请实施例的一种优选实施例中,雾气浓度参数确定模块504具体用于:
根据所述可见光图像的最大灰阶值和最小灰阶值确定所述可见光图像的雾气浓度参数。
请参考图15,示出了本申请一示例性实施例示出的一种图像处理系统实施例的结构框图,所述图像处理系统可以包括摄像机60以及图像处理设备70,其中:
所述摄像机60可以包括:
分光棱镜601,用于将入射光分解成红外光以及可见光;
可见光传感器602,用于采集所述分光棱镜分解出的可见光,对所述可见光进行处理输出可见光图像,并将所述可见光图像传输至所述图像处理设备;
红外光传感器603,用于采集所述分光棱镜分解出的红外光,对所述红外光进行处理输出红外光图像,并将所述红外光图像传输至所述图像处理设备;
所述图像处理设备70包括:
雾气浓度参数确定模块701,用于获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块702,用于根据所述雾气浓度参数,对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像。
在本申请实施例的一种优选实施例中,本实施例还可以包括如下模块:
图像输出模块,用于输出所述彩色透雾图像。
在本申请实施例的一种优选实施例中,所述彩色透雾处理模块702进一步可以包括如下子模块:
图像融合子模块,用于根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像;
图像透雾处理子模块,用于对所述融合图像进行彩色透雾处理,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,所述图像融合子模块可以包括如下单元:
滤波单元,用于分别对所述可见光图像进行高频滤波以及低频滤波,得到对应的高频可见光图像以及低频可见光图像;对所述红外光图像进行高频滤波得到高频红外光图像;
融合单元,用于根据所述雾气浓度参数,对所述高频可见光图像、所述低频可见光图像以及所述高频红外光图像进行融合,得到融合图像。
在本申请实施例的一种优选实施例中,所述融合单元可以包括如下子单元:
融合权重确定子单元,用于根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的第一融合权重以及第二融合权重;
加权融合子单元,用于采用所述第一融合权重、所述第二融合权重以及预设权重,分别对所述高频可见光图像、所述高频红外光图像以及所述低频可见光图像进行加权融合,得到融合图像。
在本申请实施例的一种优选实施例中,所述融合权重确定子单元具体用于:
确定所述高频可见光图像的第一融合权重为所述雾气浓度参数;
确定所述高频红外光图像的第二融合权重为预设权重与所述雾气浓度参数的差值。
在本申请实施例的另一种优选实施例中,所述彩色透雾处理模块702可以包括如下子模块:
图像透雾处理子模块,用于对所述红外光图像以及所述可见光图像分别进行彩色透雾处理,得到对应的红外光透雾图像以及可见光透雾图像;
图像融合子模块,用于根据所述雾气浓度参数,将所述红外光透雾图像以及所述可见光透雾图像进行融合,得到彩色透雾图像。
在本申请实施例的一种优选实施例中,所述图像处理设备还可以包括图像信号处理模块,用于:
对所述可见光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、白平衡校正、色彩校正、Gamma校正、色彩插值、RGB转YUV处理、色调映射、降噪、锐化;
对所述红外光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、Gamma校正、色调映射、降噪、锐化。
在本申请实施例的一种优选实施例中,雾气浓度参数确定模块701具体用于:
根据所述可见光图像的最大灰阶值和最小灰阶值确定所述可见光图像的雾气浓度参数。
对于摄像机实施例以及系统实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例、摄像机实施例以及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法实施例的步骤。
本申请实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法实施例的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (9)
1.一种摄像机,其特征在于,所述摄像机包括:
分光棱镜,用于将入射光分解成红外光以及可见光;
可见光传感器,用于采集所述分光棱镜分解出的可见光,对所述可见光进行处理输出可见光图像;
红外光传感器,用于采集所述分光棱镜分解出的红外光,对所述红外光进行处理输出红外光图像;
雾气浓度参数确定模块,用于获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块,用于根据所述雾气浓度确定模块确定的雾气浓度参数,对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像;
其中,所述彩色透雾图像是基于融合图像得到的;所述融合图像是基于第一融合权重、第二融合权重以及预设权重,分别对高频可见光图像、高频红外光图像以及低频可见光图像进行加权融合得到的,第一融合权重为所述雾气浓度参数,第二融合权重为预设权重与所述雾气浓度参数的差值,高频可见光图像以及低频可见光图像是通过对所述可见光图像进行高频滤波以及低频滤波得到的,高频红外光图像是通过对所述红外光图像进行高频滤波得到的;
或者,所述融合图像是基于第三融合权重、第四融合权重以及预设权重,分别对高频可见光透雾图像、低频可见光透雾图像以及高频红外光透雾图像进行加权融合得到的,第三融合权重为所述雾气浓度参数,第四融合权重为预设权重与所述雾气浓度参数的差值,高频可见光透雾图像以及低频可见光透雾图像是通过对彩色透雾处理后的可见光图像进行高频滤波以及低频滤波得到的,高频红外光透雾图像是通过对彩色透雾处理后的红外光图像进行高频滤波得到的。
2.一种图像处理系统,其特征在于,所述图像处理系统包括摄像机以及图像处理设备,其中:
所述摄像机包括:
分光棱镜,用于将入射光分解成红外光以及可见光;
可见光传感器,用于采集所述分光棱镜分解出的可见光,对所述可见光进行处理输出可见光图像,并将所述可见光图像传输至所述图像处理设备;
红外光传感器,用于采集所述分光棱镜分解出的红外光,对所述红外光进行处理输出红外光图像,并将所述红外光图像传输至所述图像处理设备;
所述图像处理设备包括:
雾气浓度参数确定模块,用于获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块,用于根据所述雾气浓度参数,对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像;
其中,所述彩色透雾图像是基于融合图像得到的;所述融合图像是基于第一融合权重、第二融合权重以及预设权重,分别对高频可见光图像、高频红外光图像以及低频可见光图像进行加权融合得到的,第一融合权重为所述雾气浓度参数,第二融合权重为预设权重与所述雾气浓度参数的差值,高频可见光图像以及低频可见光图像是通过对所述可见光图像进行高频滤波以及低频滤波得到的,高频红外光图像是通过对所述红外光图像进行高频滤波得到的;
或者,所述融合图像是基于第三融合权重、第四融合权重以及预设权重,分别对高频可见光透雾图像、低频可见光透雾图像以及高频红外光透雾图像进行加权融合得到的,第三融合权重为所述雾气浓度参数,第四融合权重为预设权重与所述雾气浓度参数的差值,高频可见光透雾图像以及低频可见光透雾图像是通过对彩色透雾处理后的可见光图像进行高频滤波以及低频滤波得到的,高频红外光透雾图像是通过对彩色透雾处理后的红外光图像进行高频滤波得到的。
3.一种彩色透雾方法,其特征在于,所述方法包括:
获取红外光图像以及可见光图像,其中,所述红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像,所述可见光图像为所述摄像机通过分光棱镜对入射光分解得到的可见光生成的图像;
获取所述可见光图像的灰阶分布范围,并根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像;
其中,所述彩色透雾图像是基于融合图像得到的;所述融合图像是基于第一融合权重、第二融合权重以及预设权重,分别对高频可见光图像、高频红外光图像以及低频可见光图像进行加权融合得到的,第一融合权重为所述雾气浓度参数,第二融合权重为预设权重与所述雾气浓度参数的差值,高频可见光图像以及低频可见光图像是通过对所述可见光图像进行高频滤波以及低频滤波得到的,高频红外光图像是通过对所述红外光图像进行高频滤波得到的;
或者,所述融合图像是基于第三融合权重、第四融合权重以及预设权重,分别对高频可见光透雾图像、低频可见光透雾图像以及高频红外光透雾图像进行加权融合得到的,第三融合权重为所述雾气浓度参数,第四融合权重为预设权重与所述雾气浓度参数的差值,高频可见光透雾图像以及低频可见光透雾图像是通过对彩色透雾处理后的可见光图像进行高频滤波以及低频滤波得到的,高频红外光透雾图像是通过对彩色透雾处理后的红外光图像进行高频滤波得到的。
4.根据权利要求3所述的方法,其特征在于,所述根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像,包括:
根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像;
对所述融合图像进行彩色透雾处理,得到彩色透雾图像。
5.根据权利要求4所述的方法,其特征在于,所述根据所述雾气浓度参数,将所述红外光图像以及所述可见光图像进行融合,得到融合图像,包括:
首先,分别对所述可见光图像进行高频滤波以及低频滤波,得到对应的高频可见光图像以及低频可见光图像;对所述红外光图像进行高频滤波得到高频红外光图像;
其次,根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的第一融合权重以及第二融合权重;
最后,采用所述第一融合权重、所述第二融合权重以及预设权重,分别对所述高频可见光图像、所述高频红外光图像以及所述低频可见光图像进行加权融合,得到融合图像。
6.根据权利要求5所述的方法,其特征在于,所述根据所述雾气浓度参数分别确定所述高频可见光图像以及所述高频红外光图像进行融合的融合权重,包括:
首先,确定所述高频可见光图像的第一融合权重为所述雾气浓度参数;
其次,确定所述高频红外光图像的第二融合权重为预设权重与所述雾气浓度参数的差值;或者,
首先,确定所述高频红外光图像的第二融合权重为预设权重与所述雾气浓度参数的差值;
其次,确定所述高频可见光图像的第一融合权重为所述雾气浓度参数。
7.根据权利要求3-6任一项所述的方法,其特征在于,在所述获取所述可见光图像的灰阶分布范围之前,还包括:
对所述可见光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、白平衡校正、色彩校正、Gamma校正、色彩插值、RGB转YUV处理、色调映射、降噪、锐化;
对所述红外光图像进行预处理,其中,该预处理至少包括如下的至少一种:黑电平、坏点校正、Gamma校正、色调映射、降噪、锐化。
8.根据权利要求3所述的方法,其特征在于,所述根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,包括:
根据所述可见光图像的最大灰阶值和最小灰阶值确定所述可见光图像的雾气浓度参数。
9.一种彩色透雾装置,其特征在于,所述装置包括:
图像获取模块,用于获取红外光图像以及可见光图像,其中,所述红外光图像为摄像机通过分光棱镜对入射光分解得到的红外光生成的图像,所述可见光图像为所述摄像机通过分光棱镜对入射光分解得到的可见光生成的图像;
雾气浓度参数确定模块,用于获取所述可见光图像的灰阶分布范围;根据所述灰阶分布范围确定所述可见光图像的雾气浓度参数,所述雾气浓度参数用于表征所述摄像机采集所述可见光图像时的环境场景的雾气浓度;
彩色透雾处理模块,用于根据所述雾气浓度参数对所述红外光图像以及所述可见光图像进行彩色透雾处理,生成彩色透雾图像;
其中,所述彩色透雾图像是基于融合图像得到的;所述融合图像是基于第一融合权重、第二融合权重以及预设权重,分别对高频可见光图像、高频红外光图像以及低频可见光图像进行加权融合得到的,第一融合权重为所述雾气浓度参数,第二融合权重为预设权重与所述雾气浓度参数的差值,高频可见光图像以及低频可见光图像是通过对所述可见光图像进行高频滤波以及低频滤波得到的,高频红外光图像是通过对所述红外光图像进行高频滤波得到的;
或者,所述融合图像是基于第三融合权重、第四融合权重以及预设权重,分别对高频可见光透雾图像、低频可见光透雾图像以及高频红外光透雾图像进行加权融合得到的,第三融合权重为所述雾气浓度参数,第四融合权重为预设权重与所述雾气浓度参数的差值,高频可见光透雾图像以及低频可见光透雾图像是通过对彩色透雾处理后的可见光图像进行高频滤波以及低频滤波得到的,高频红外光透雾图像是通过对彩色透雾处理后的红外光图像进行高频滤波得到的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910194568.4A CN110493579B (zh) | 2019-03-14 | 2019-03-14 | 一种彩色透雾方法、装置、摄像机及图像处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910194568.4A CN110493579B (zh) | 2019-03-14 | 2019-03-14 | 一种彩色透雾方法、装置、摄像机及图像处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110493579A CN110493579A (zh) | 2019-11-22 |
CN110493579B true CN110493579B (zh) | 2022-07-29 |
Family
ID=68545732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910194568.4A Active CN110493579B (zh) | 2019-03-14 | 2019-03-14 | 一种彩色透雾方法、装置、摄像机及图像处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110493579B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111383242B (zh) * | 2020-05-29 | 2020-09-29 | 浙江大华技术股份有限公司 | 一种图像透雾处理方法及装置 |
JP2022057784A (ja) * | 2020-09-30 | 2022-04-11 | キヤノン株式会社 | 撮像装置、撮像システムおよび撮像方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013255144A (ja) * | 2012-06-08 | 2013-12-19 | Hitachi Consumer Electronics Co Ltd | 撮像装置 |
CN106060364A (zh) * | 2016-07-28 | 2016-10-26 | 浙江宇视科技有限公司 | 光学透雾彩色图像采集方法及摄像机 |
CN106454080A (zh) * | 2016-09-30 | 2017-02-22 | 深圳火星人智慧科技有限公司 | 一种摄像机透雾控制系统及透雾方法 |
CN106780392B (zh) * | 2016-12-27 | 2020-10-02 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
CN206650741U (zh) * | 2017-02-14 | 2017-11-17 | 浙江大华技术股份有限公司 | 一种共轴图像融合装置 |
CN107705263A (zh) * | 2017-10-10 | 2018-02-16 | 福州图森仪器有限公司 | 一种基于rgb‑ir传感器的自适应透雾方法和终端 |
CN108965654B (zh) * | 2018-02-11 | 2020-12-25 | 浙江宇视科技有限公司 | 基于单传感器的双光谱摄像机系统和图像处理方法 |
-
2019
- 2019-03-14 CN CN201910194568.4A patent/CN110493579B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110493579A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11457138B2 (en) | Method and device for image processing, method for training object detection model | |
US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
Peng et al. | Image haze removal using airlight white correction, local light filter, and aerial perspective prior | |
CN110557584B (zh) | 图像处理方法及装置、计算机可读存储介质 | |
CN113313661B (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
CN107316286B (zh) | 一种图像中雨雾同步合成、去除的方法和装置 | |
CN110519485B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN109804619A (zh) | 图像处理装置、图像处理方法和摄影装置 | |
CN107317967B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN115550570B (zh) | 图像处理方法与电子设备 | |
CN107194901B (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
CN113313645B (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
CN110493579B (zh) | 一种彩色透雾方法、装置、摄像机及图像处理系统 | |
CN107341782B (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
CN107454318B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
CN116437198B (zh) | 图像处理方法与电子设备 | |
US8150199B2 (en) | Methods and apparatus for image enhancement | |
WO2023124201A1 (zh) | 图像处理方法与电子设备 | |
CN107292853B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |