CN117237250A - 基于区域互补特性的可见光-近红外光图像的融合方法 - Google Patents
基于区域互补特性的可见光-近红外光图像的融合方法 Download PDFInfo
- Publication number
- CN117237250A CN117237250A CN202310696297.9A CN202310696297A CN117237250A CN 117237250 A CN117237250 A CN 117237250A CN 202310696297 A CN202310696297 A CN 202310696297A CN 117237250 A CN117237250 A CN 117237250A
- Authority
- CN
- China
- Prior art keywords
- image
- near infrared
- visible light
- fusion
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 8
- 230000000295 complement effect Effects 0.000 title claims description 13
- 230000004927 fusion Effects 0.000 claims abstract description 74
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 10
- 238000012706 support-vector machine Methods 0.000 description 7
- 230000001502 supplementing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Abstract
为利用可见光与近红外光图像融合在夜间提供高质量图像视频，本发明提出了基于区域互补特性的可见光‑近红外光图像融合方法，其提取近红外光图像的直方图分布，利用SVM分类器判断当前场景是室内还是室外。将RGB可见光图像转为LAB图像，分离可见光亮度通道与近红外光图像的高低频信息，按可见光图像受噪声影响程度进行自适应次数的引导滤波。对室内，近红外光高频信息的融合权重为1，抛弃受噪声影响的图像高频信息；对室外，按低频区域亮度确定高频融合的权重。用权重图融合可见光与近红外光图像的高频信息，结合可见光图像的低频信息，得到亮度通道融合结果图。合并融合的亮度通道与颜色通道，并转换回RGB图像，得到最终的结果图。
Description
技术领域
本发明涉及基于区域互补特性的可见光与近红外光图像融合方法。
背景技术
视频监控作为一种利用摄像头采集图像视频数据并进行自动处理、分析和理解的技术，可以节省人力物力，实现全天候、多方位的监控，也可用于对不法活动进行举报和取证。视频监控技术被广泛应用于安防领域、交通管理和工业监测等领域，未来还会有更多应用场景涌现。
现有的智能视频监控系统大多基于可见光图像信息进行设计，在可见光图像质量较好时能够满足需求。然而，在不同的天气条件下，光照强度会发生变化，导致图像中各个像素点的灰度值和色彩值不稳定，对视频监控带来了很大的困难和挑战。例如，夜晚场景下捕获的可见光图像质量低下，无法清晰显示物体和场景，即使通过图像信号处理ISP，仍然可能存在信息缺失。因此，视频监控技术需要采取一些有效的方法来提高图像质量和识别能力。
近红外光不受可见光照明条件的影响，通过近红外补光可以在黑暗环境下清晰地显示目标物体，提供更多的物体细节和纹理信息。因此，可以通过近红外光图像与可见光图像进行融合处理，得到更多的有效信息，提升图像质量。所以，可以通过近红外光图像提高夜间监控能力，增强目标检测和跟踪性能。
但是，对于实际场景下的室外夜间视频监控，现有的可见光与近红外光图像融合算法无法满足需求，主要存在以下问题：
1)融合结果存在信息丢失。受场景深度影响，夜间近红外补光得到的近红外光图像有用信息在室内和室外存在不同分布，室内的近红外光可用信息分布在全图，而室外的近红外光可用信息分布在前景区域。目前的可见光与近红外光图像融合算法没有考虑信息分布，使得无用的近红外光或可见光图像信息影响到对应的可见光或近红外光图像有用信息，导致融合结果信息丢失。
2)未同时考虑可见光图像噪声的去除和近红外光图像细节的补充。现有的融合算法大多仅考虑了利用近红外光图像去除可见光图像的噪声或者补充近红外光图像的细节信息到可见光图像。仅考虑图像去噪的融合算法会导致融合结果模糊，丢失细节信息。仅考虑补充细节信息的融合虽然可以补充可见光图像的纹理信息，但噪声并未去除。
发明内容
针对于夜间视频监控场景下现有的可见光与近红外光图像融合算法存在的一些问题，本发明提出了一种基于区域互补特性的可见光与近红外光图像融合方法，其包括：首先通过使用支持向量机SVM分类器对近红外光图像的直方图进行分类，区别出当前融合场景属于室内还是室外，之后分解可见光与近红外光图像为纹理层和基础层图像，然后根据融合场景生成对应的室内或室外纹理融合权重图，进一步地，按权重融合纹理信息，并结合可见光图像的基础层信息，得到融合结果图像。具体包括：
根据本发明的基于区域互补特性的融合方法融合图像中有用信息，并抛弃会对结果产生干扰的无用信息；针对不同场景的信息分布情况进行信息选择性融合，在室外场景，融合可见光图像的背景信息和近红外光图像的前景信息，在室内场景，以近红外光图像的信息为主，消除受噪声影响的可见光图像信息。
为了实现同时进行去噪和细节补充，根据本发明的基于区域互补特性的可见光与近红外光图像融合方法采用了一种纹理加权融合处理，同时完成可见光图像去噪和融合近红外光图像细节信息的任务，其根据近红外光图像基本无噪声且有丰富的细节信息的特点，通过纹理信息替换噪声信息能直接完成上述任务；对于近红外光图像的有用信息，按室内室外场景分别得到权重融合图，实现了近红外光图像纹理信息替换可见光图像噪声信息，可直接去除可见光图像噪声，并融合近红外光图像的细节信息。
根据本发明的一个方面，提供了一种基于区域互补特性的可见光与近红外光图像融合方法，其特征在于包括以下步骤：
A)进行室内室外场景划分，包括通过近红外光图像在室内和室外的直方图分布确定场景，通过SVM分类器确定当前场景；
B)进行高低频信息提取，包括通过引导滤波自适应提取可见光和近红外光图像的高低频信息；
C)生成权重图，包括基于当前场景确定融合权重图生成方式，对于室内场景，则近红外光图像权重为1，对于室外场景，由低频信息确定融合权重图；
D)生成融合图像，包括由融合权重图对可见光和近红外光图像的高频信息进行融合，得到纹理融合结果，再将可见光图像的低频信息与融合的高频信息结合，得到最终的融合图像，
其中：
所述步骤B)包括：
B1)将RGB的可见光图像转换为LAB图像，保存其中的AB颜色分量，以亮度分量L作为后续处理对象，后续提到的可见光图像都表示亮度分量图，
B2)通过比较滤波后和滤波前的图像差异，自适应地决定滤波的进行或停止，以根据噪声等级自适应地提取高低频分量，包括：
按如下方式提取低频分量：
Bv＝GuidFn(V，V)
Bn＝GuidFn(N，N)
其中GuidFn表示进行n次引导滤波，V表示可见光图像亮度分量，N表示近红外光图像Bv和Bn分别表示得到的低频层分量，
通过峰值信噪比(PSNR)来度量滤波后和滤波前的图像差异，终止条件为：
p＝PSNR(Vi，Vi-1)＞α
其中Vi表示第i次滤波结果，Vi-1表示第i-1次滤波结果，p当两个结果的峰值信噪比大于α时，就停止滤波，将α设置为29，
B3)把原始图像与基础层图像的差值即高频分量信息表征为：
Dv＝V-Bv
Dn＝N-Bn
其中V和N分别表示原始可见光与近红外光图像，Bv和Bn分别表示可见光和近红外光图像的低频分量，Dv和Dn分别表示可见光和近红外光图像的高频层分量，
步骤C)包括：
C1)根据划分的场景，把室内的近红外光图像纹理信息的权重图W设置为1，
C2)对于室外场景，使用可见光与近红外光图像的低频层分量，计算权重占比并进行归一化得到融合权重图：
其中Bn和Bv分别表示近红外光和可见光图像的低频层分量，norm表示归一化操作，W表示得到的融合权重图，
所述步骤D)包括：
D1)按照得到的融合权重图W，融合可见光与近红外光图像的高频信息，融合方式为：
Fd＝Dn·W+Dv·(1-W)
其中Dn和Dv分别表示近红外光和可见光图像的高频层分量，W表示之前得到的融合权重图，Fd表示融合的高频信息，
D2)将可见光图像的低频信息以及得到的融合之后的高频信息结合，得到融合结果F，融合方式如下：
F＝Bv+Fd
其中Bv表示可见光图像的低频信息，Fd表示融合的高频信息，
D3)将融合结果和AB颜色分量结合，得到新的LAB图像，并将该LAB图像转换回RGB图像即得到最后的融合结果图。
附图说明
图1是夜间室外经过ISP处理的可见光图像和近红外光图像。
图2是夜间室内经过ISP处理的可见光图像和近红外光图像。
图3是可见光图像不同引导滤波次数得到的滤波结果图。
图4是室外的可见光图像，近红外光图像和得到的融合权重图。
图5是融合算法的流程图。
具体实施方式
图5所示的，是根据本发明的一个实施例的基于区域互补特性的可见光-近红外光图像的融合方法的流程图，该方法包括以下步骤：
A)通过近红外光图像在室内和室外的直方图分布确定场景，通过SVM分类器确定当前场景；
B)通过引导滤波自适应提取可见光和近红外光图像的高低频信息；
C)基于当前场景确定融合权重图生成方式，包括：对于室内场景把近红外光图像权重设置为1，和对于室外场景由低频信息确定融合权重图；
D)由融合权重图对可见光和近红外光图像的高频信息进行融合，得到纹理融合结果，再将可见光图像的低频信息与融合的高频信息结合，得到最终的融合图像。
所述步骤A)包括室内室外场景划分。
本发明基于对可见光与近红外光图像的区域互补特性，确定近红外有用信息的相关区域。室内室外的可见光和近红外光图像存在不同的区域互补特性。图1的(a)和(b)分别表示室外的可见光图像与近红外光图像，近红外光图像的补光前景区域包含有用信息，受补光以及物体反射特性影响，这部分区域的近红外光图像亮度可能高于可见光图像的亮度，而背景区域补光不足，亮度远小于可见光图像的背景亮度，通过亮度差异可以有效提取出各自的高反区域。而对于室内场景，图2的(a)和(b)分别表示室内的可见光与近红外光图像，近红外光图像能够包含整图的信息，对应的可见光图像则受噪声影响，信息丢失严重。根据室内和室外的近红外光图像亮度分布，两个场景下的近红外光图像直方图存在很大差异，因此可以有效区分不同场景。
SVM分类器可以用于分类或回归任务，通过找到一个最大化地分隔训练数据中不同类别的超平面，可以判断新数据落在超平面的哪一侧，从而完成分类。因此可以使用SVM分类器对已有的室内和室外近红外光图像的直方图进行训练，让它学习到不同场景下的直方图分布差异，从而判断新的近红外光图像的场景。
所述步骤B)包括高低频信息提取。
可见光和近红外光图像包含不同的高低频信息，需要进行选择利用。可见光图像的低频信息反应的场景的自然亮度，而近红外光图像的低频信息受补光和物体材质影响，因此近红外光图像的低频信息会影响融合结果，使得融合结果的亮度发生变化，进一步会导致融合的色彩发生偏移。而可见光图像的高频信息容易受到噪声影响，而通过补光得到的近红外光图像噪声小，其高频信息能够反映真实的物体纹理信息。
因此，可见光和近红外光图像的高低频信息可用性不同，需要进行分离。受噪声影响程度不同，分离高低频分量难度也不同，因此需要通过判断可见光图像受噪声影响程度，对可见光和近红外光图像进行多次引导滤波。没有或者较少受到噪声影响，则对滤波次数为1，受噪声影响越大，则需要进行的滤波次数越多，如图3所示，分别展示了四次滤波的结果图，经过了四次滤波才能完全去除噪声。为了根据噪声等级自适应地提取高低频分量，可以通过比较滤波后和滤波前的图像差异，自适应地决定是否停止。因为噪声越大，则滤波去除的噪声越多，滤波后和滤波前的图像差异就越大，当滤波后和滤波前的图像差异比较小时说明高低频分量已经分离。按如下方式提取低频分量：
Bv＝GuidFn(V，V)
Bn＝GuidFn(N，N)
其中GuidFn表示进行n次引导滤波，V表示可见光图像亮度分量，N表示近红外光图像Bv和Bn分别表示得到的低频层分量。
通过峰值信噪比(PSNR)来度量滤波后和滤波前的图像差异，终止条件为：
p＝PSNR(Vi，Vi-1)＞α
其中Vi表示第i次滤波结果，Vi-1表示第i-1次滤波结果，当两个结果的峰值信噪比p大于α时，就停止滤波，将α设置为29。
原始图像与基础层图像的差值即为高频分量，表征为：
Dv＝V-Bv
Dn＝N-Bn
其中V和N分别表示原始可见光与近红外光图像，Bv和Bn分别表示可见光和近红外光图像的低频分量，Dv和Dn分别表示可见光和近红外光图像的高频层分量，
所述步骤C)包括权重图生成。
基于室内和室外的图像区域互补特性，需要生成不同的融合权重图。分离得到低频信息中，仅有可见光图像的低频信息需要进行融合，而高频信息则需要根据不同场景进行判断。对于室内场景，近红外光图像包含整图的可用信息，而可见光图像的高频信息受到噪声影响，因此近红外光图像融合权重为1，可见光图像为0。室外场景的景深更深，近红外光往往只能捕获到前景的信息，表现为前景亮度高，背景亮度低，而可见光图像在室外的噪声小，且经过ISP处理整图的亮度都比较高。利用低频信息表现的区域亮度特性，可以生成融合权重图，室外场景下生成的权重图如图4(c)所示，权重图计算公式如下：
其中Bn和Bv分别表示近红外光和可见光图像的低频信息，norm表示归一化操作。
所述步骤D)包括融合图像生成。
根据得到的高低频信息，以及融合权重图W，先按权重融合高频信息，再将高频信息与低频信息结合，即可得到融合结果图像。首先融合可见光与近红外光图像的高频信息，融合方式如下：
Fd＝Dn·W+Dv·(1-W)
其中Dn和Dv分别表示近红外光和可见光图像的高频层分量，W表示之前得到的融合权重图，Fd表示融合的高频信息。将可见光图像的低频信息以及得到的融合之后的高频信息结合，得到融合结果，融合方式如下：
F＝Bv+Fd
其中Bv表示可见光图像的低频信息，Fd表示融合的高频信息。将F和AB颜色分量结合，得到新的LAB图像，并将该LAB图像转换回RGB图像即得到最后的融合结果图，融合整体流程如图5所示。
Claims (2)
1.一种基于区域互补特性的可见光与近红外光图像融合方法，其特征在于包括以下步骤：
A)进行室内室外场景划分，包括通过近红外光图像在室内和室外的直方图分布确定场景，通过SVM分类器确定当前场景；
B)进行高低频信息提取，包括通过引导滤波自适应提取可见光和近红外光图像的高低频信息；
C)生成权重图，包括基于当前场景确定融合权重图生成方式，对于室内场景，则近红外光图像权重为1，对于室外场景，由低频信息确定融合权重图；
D)生成融合图像，包括由融合权重图对可见光和近红外光图像的高频信息进行融合，得到纹理融合结果，再将可见光图像的低频信息与融合的高频信息结合，得到最终的融合图像，
其中：
所述步骤B包括：
B1)将RGB的可见光图像转换为LAB图像，保存其中的AB颜色分量，以亮度分量L作为后续处理对象，后续提到的可见光图像都表示亮度分量图，
B2)通过比较滤波后和滤波前的图像差异，自适应地决定滤波的进行或停止，以根据噪声等级自适应地提取高低频分量，包括：
按如下方式提取低频分量：
Bv＝GuidFn(V，V)
Bn＝GuidFn(N，N)
其中GuidFn表示进行n次引导滤波，V表示可见光图像亮度分量，N表示近红外光图像Bv和Bn分别表示得到的低频层分量，
通过峰值信噪比PSNR来度量滤波后和滤波前的图像差异，终止条件为：
p＝PSNR(Vi，Vi-1)>α
其中Vi表示第i次滤波结果，Vi-1表示第i-1次滤波结果，p当两个结果的峰值信噪比大于α时，就停止滤波，
B3)把原始图像与基础层图像的差值即高频分量信息表征为：
Dv＝V-Bv
Dn＝N-Bn
其中V和N分别表示原始可见光与近红外光图像，Bv和Bn分别表示可见光和近红外光图像的低频分量，Dv和Dn分别表示可见光和近红外光图像的高频层分量，
步骤C包括：
C1)根据划分的场景，把室内的近红外光图像纹理信息的权重图W设置为1，
C2)对于室外场景，使用可见光与近红外光图像的低频层分量，计算权重占比并进行归一化得到融合权重图：
其中Bn和Bv分别表示近红外光和可见光图像的低频层分量，norm表示归一化操作，W表示得到的融合权重图，
所述步骤D包括：
D1)按照得到的融合权重图W，融合可见光与近红外光图像的高频信息，融合方式为：
Fd＝Dn·W+Dv·(1-W)
其中Dn和Dv(这两个符号之前表示了“分别表示近红外光和可见光图像的高频层分量，W表示之前得到的融合权重图，Fd表示融合的高频信息，
D2)将可见光图像的低频信息以及得到的融合之后的高频信息结合，得到融合结果F，融合方式如下：
F＝Bv+Fd
其中Bv表示可见光图像的低频信息，Fd表示融合的高频信息，
D3)将F和AB颜色分量结合，得到新的LAB图像，并将该LAB图像转换回RGB图像即得到最后的融合结果图。
2.根据权利要求1所述的基于区域互补特性的可见光与近红外光图像融合方法，其特征在于α被设置为29。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310696297.9A CN117237250A (zh) | 2023-06-12 | 2023-06-12 | 基于区域互补特性的可见光-近红外光图像的融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310696297.9A CN117237250A (zh) | 2023-06-12 | 2023-06-12 | 基于区域互补特性的可见光-近红外光图像的融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237250A true CN117237250A (zh) | 2023-12-15 |
Family
ID=89089966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310696297.9A Pending CN117237250A (zh) | 2023-06-12 | 2023-06-12 | 基于区域互补特性的可见光-近红外光图像的融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237250A (zh) |
-
2023
- 2023-06-12 CN CN202310696297.9A patent/CN117237250A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| Battiato et al. | Depth map generation by image classification | |
| US7218759B1 (en) | Face detection in digital images | |
| JP4477222B2 (ja) | 画像中の空を検出する方法 | |
| US9672434B2 (en) | Video-based system and method for parking occupancy detection | |
| US8897548B2 (en) | Low-complexity method of converting image/video into 3D from 2D | |
| CN105184808B (zh) | 一种光场图像前后景自动分割方法 | |
| US20200250840A1 (en) | Shadow detection method and system for surveillance video image, and shadow removing method | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN111104943B (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| CN112418087B (zh) | 一种基于神经网络的水下视频鱼类识别方法 | |
| CN111815528A (zh) | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 | |
| Bullkich et al. | Moving shadow detection by nonlinear tone-mapping | |
| CN115115893B (zh) | 用于废金属回收的智能分选方法 | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| Bhandari et al. | Can a camera tell the weather? | |
| CN117237250A (zh) | 基于区域互补特性的可见光-近红外光图像的融合方法 | |
| CN107341456B (zh) | 一种基于单幅户外彩色图像的天气晴阴分类方法 | |
| CN113591591A (zh) | 人工智能现场行为识别系统 | |
| KR101648562B1 (ko) | 이동 물체 탐지 장치 | |
| Guan et al. | Motion foreground detection based on wavelet transformation and color ratio difference | |
| Naseeba et al. | KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions | |
| KR20150055481A (ko) | 영상 내 그림자 화소 제거를 위한 배경 기반 방법 | |
| Ouivirach et al. | Extracting the object from the shadows: Maximum likelihood object/shadow discrimination | |
| AU739936B2 (en) | Face detection in digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |