CN112991250A - 基于响尾蛇视觉成像的红外与可见光图像融合方法 - Google Patents
基于响尾蛇视觉成像的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN112991250A CN112991250A CN202110418698.9A CN202110418698A CN112991250A CN 112991250 A CN112991250 A CN 112991250A CN 202110418698 A CN202110418698 A CN 202110418698A CN 112991250 A CN112991250 A CN 112991250A
- Authority
- CN
- China
- Prior art keywords
- infrared
- visible light
- image
- countermeasure system
- light image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 238000003384 imaging method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 230000007910 cell fusion Effects 0.000 claims abstract description 20
- 241000271532 Crotalus Species 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000005284 excitation Effects 0.000 claims abstract description 9
- 230000005764 inhibitory process Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000001629 suppression Effects 0.000 claims description 9
- 241000271460 Crotalus cerastes Species 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 241000271556 Crotalus viridis Species 0.000 claims 1
- 230000009471 action Effects 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000013178 mathematical model Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 21
- 210000002569 neuron Anatomy 0.000 description 12
- 230000004044 response Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 208000003098 Ganglion Cysts Diseases 0.000 description 4
- 208000005400 Synovial Cyst Diseases 0.000 description 4
- 230000002401 inhibitory effect Effects 0.000 description 4
- 230000002902 bimodal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002964 excitative effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001116 retinal neuron Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007248 cellular mechanism Effects 0.000 description 1
- 230000036755 cellular response Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000004476 mid-IR spectroscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000000964 retinal cone photoreceptor cell Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于响尾蛇视觉成像的红外与可见光图像融合方法，包括：将红外图像与可见光图像进行六种双模式细胞融合；将六个细胞融合结果按顺序每两项分为一组，并分别将三组中两个细胞融合结果相应的馈入到ON对抗系统和OFF对抗系统的中心以及ON对抗系统和OFF对抗系统的环绕区域；将三个中心馈入结果分别馈入ON对抗系统的中心兴奋区域，将三个环绕馈入结果分别馈入ON对抗系统的环绕抑制区域，结果依次映射到B、G和R三个通道，输出伪彩色融合图像。该方法以响尾蛇的视觉感受野数学模型为基础，依据双模式细胞作用机制，实现可见光图像和红外图像的融合，融合得到的伪彩色图像目标更加突出，场景的细节信息也更完整。
Description
技术领域
本发明涉及图像融合处理技术领域，更具体的说是涉及一种基于响尾蛇视觉成像的红外与可见光图像融合方法。
背景技术
图像融合指通过提取两个或两个以上源图像的信息，得到同一场景或目标更为准确、全面和可靠的图像描述。为了更深入的研究图像融合技术，部分学者以响尾蛇为研究对象模拟其视觉成像机制，例如美国麻省理工大学MIT实验室的A.M.Waxman等人模仿响尾蛇双模式细胞机理建立了基于生物特性的假彩色图像融合的典型结构。
Waxman融合结构中，ON/OFF结构表现了中心-环绕对抗受域的对比度感知属性,第一阶段为增强阶段，第二阶段为对红外增强可见光和红外抑制可见光的处理，与响尾蛇视觉的红外和可见光的融合机理相符。该Waxman融合结构模拟了“红外增强可见光细胞”和“红外抑制可见光细胞”，虽然对红外信号分别进行了OFF对抗和ON对抗增强并传入神经节细胞的环绕区域，但实质仍是抑制信号，这就导致红外信号对可见光信号的增强并不明显，进而得到的融合图像中目标不够明显，细节不够突出。
因此，如何提供一种目标更加突出、细节表现更好的红外与可见光图像融合方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于响尾蛇视觉成像的红外与可见光图像融合方法，该方法有效解决了现有的图像融合方法得到的融合图像中目标不够明显、细节不够突出的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于响尾蛇视觉成像的红外与可见光图像融合方法，该方法包括：
将红外图像与可见光图像进行六种双模式细胞融合，得到六个细胞融合结果；
将六个所述细胞融合结果按顺序每两项分为一组，并分别将三组中两个细胞融合结果相应的馈入到ON对抗系统和OFF对抗系统的中心以及ON对抗系统和OFF对抗系统的环绕区域，得到三个中心馈入结果以及三个环绕馈入结果；
将三个中心馈入结果分别馈入ON对抗系统的中心兴奋区域，并将三个环绕馈入结果分别馈入ON对抗系统的环绕抑制区域，结果依次映射到B、G和R三个通道，输出伪彩色融合图像。
进一步地，所述六个细胞融合结果分别为：红外图像和可见光图像的与、红外图像和可见光图像的或、红外增强可见、红外抑制可见、可见增强红外以及可见抑制红外。
所述红外图像和可见光图像的与具体为：
当IV(i,j)＞IIR(i,j)时，融合结果为：
IAND(i,j)＝nIV(i,j)+mIIR(i,j)
当IV(i,j)＜IIR(i,j)，融合结果为：
IAND(i,j)＝mIV(i,j)+nIIR(i,j)
其中，IV(i,j)为可见光图像，IIR(i,j)为红外图像，IAND(i,j)为红外图像和可见光图像的与，m＞0.5，n＜0.5。
所述红外图像和可见光图像的或具体为：
当IV(i,j)＞IIR(i,j)时，融合结果为：
IOR(i,i)＝mIV(i,j)+nIIR(i,j)
当IV(i,j)＜IIR(i,j)，融合结果为：
IOR(i,i)＝nIV(i,j)+mIIR(i,j)
其中，IV(i,j)为可见光图像，IIR(i,j)为红外图像，IOR(i,j)为红外图像和可见光图像的或，m＞0.5，n＜0.5。
所述红外增强可见具体为：
IIR+V(i,j)＝IV(i,j)expIIR(i,j)
其中，IIR+V(i,j)表示红外增强可见光信号后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
所述红外抑制可见具体为：
IIR-V(i,j)＝IV(i,j)log[IIR(i,j)+1]
其中，IIR-V(i,j)表示红外抑制可见光信号后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
所述可见增强红外具体为：
IV+IR(i,j)＝IIR(i,j)expIV(i,j)
其中，IV+IR(i,j)表示可见光增强红外后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
所述可见抑制红外具体为：
IV-IR(i,j)＝IIR(i,j)log[IV(i,j)+1]
其中，IV-IR(i,j)表示可见光抑制红外后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
进一步地，将六个所述细胞融合结果按顺序每两项分为一组的过程，具体包括：
将红外图像和可见光图像的与以及红外图像和可见光图像的或作为第一组；
将红外增强可见以及红外抑制可见作为第二组；
将可见增强红外以及可见抑制红外作为第三组。
进一步地，分别将三组中两个细胞融合结果相应的馈入到ON对抗系统和OFF对抗系统的中心以及ON对抗系统和OFF对抗系统的环绕区域的过程，具体包括：
将第一组中红外图像和可见光图像的与馈入到ON对抗系统和OFF对抗系统的中心，并将红外图像和可见光图像的或馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X1和X2；
将第二组中红外增强可见馈入到ON对抗系统和OFF对抗系统的中心，并将红外抑制可见馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X3和X4；
将第三组中可见增强红外馈入到ON对抗系统和OFF对抗系统的中心，并将可见抑制红外馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X5和X6；
其中，所述中心馈入结果包括X1、X3和X5，所述环绕馈入结果包括X2、X4和X6。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于响尾蛇视觉成像的红外与可见光图像融合方法，该方法以响尾蛇的视觉感受野数学模型为基础，依据双模式细胞作用机制，实现可见光图像和红外图像的融合，融合后得到的伪彩色图像有较好的视觉效果，更接近自然色彩，目标更加突出，场景的细节信息也比较完整。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于响尾蛇视觉成像的红外与可见光图像融合方法的实现流程示意图；
图2为视网膜神经细胞的ON中心-OFF环绕感受野对应的同心圆结构对抗受域模型示意图；
图3为视网膜神经细胞的OFF中心-ON环绕感受野对应的同心圆结构对抗受域模型示意图；
图4为基于响尾蛇视觉成像的红外与可见光图像融合方法的实现原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种基于响尾蛇视觉成像的红外与可见光图像融合方法，该方法包括：
S1：将红外图像与可见光图像进行六种双模式细胞融合，得到六个细胞融合结果。
在生物系统中，存在许多处理多源信息的神经网络结构，比如在响尾蛇视顶盖中存在着处理可见光信息和红外信息的六种双模式细胞，分别是可见光增强红外细胞、可见光抑制红外细胞、红外增强可见光细胞、红外抑制可见光细胞、AND(与)细胞、OR(或)细胞。可见光信号或红外信号的任意一种存在，或者是两者同时存在时，细胞都会产生明显的响应。
通过组合六种双模式细胞的不同非线性响应方式，可以构成响尾蛇视觉系统中可见光和红外信息的融合结构。如根据不同的目标和环境采用不同的图像融合方法，则有利于发展适合人眼观察的图像融合理论。
下面分别对六种双模式细胞的数学模型进行说明：
当红外信号和可见光信号同时存在时，细胞才产生明显的响应，本实施例通过“加权与”来模拟可见光图像和红外图像的共同作用，红外图像和可见光图像的与具体为：
当IV(i,j)＞IIR(i,j)时，融合结果为：
IAND(i,j)＝nIV(i,j)+mIIR(i,j)
当IV(i,j)＜IIR(i,j)，融合结果为：
IAND(i,j)＝mIV(i,j)+nIIR(i,j)
其中，IV(i,j)为可见光图像，IIR(i,j)为红外图像，IAND(i,j)为红外图像和可见光图像的与，m＞0.5，n＜0.5。
可见光或红外信号任意一种存在或两者都存在时，细胞都会产生明显的响应，本实施例用“加权或”来模拟可见光图像和红外图像的共同作用，红外图像和可见光图像的或具体可以表达为：
当IV(i,j)＞IIR(i,j)时，融合结果为：
IOR(i,i)＝mIV(i,j)+nIIR(i,j)
当IV(i,j)＜IIR(i,j)，融合结果为：
IOR(i,i)＝nIV(i,j)+mIIR(i,j)
其中，IV(i,j)为可见光图像，IIR(i,j)为红外图像，IOR(i,j)为红外图像和可见光图像的或，m＞0.5，n＜0.5。
本实施例通过指数函数来模拟红外信号对可见光信号的增强效果，红外增强可见具体可以表达为：
IIR+V(i,j)＝IV(i,j)expIIR(i,j)
其中，IIR+V(i,j)表示红外增强可见光信号后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
本实施例通过对数函数来模拟红外信号对可见光信号的抑制，红外抑制可见具体可以表达为：
IIR-V(i,j)＝IV(i,j)log[IIR(i,j)+1]
其中，IIR-V(i,j)表示红外抑制可见光信号后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
本实施例通过指数函数模拟红外信号的增强效果，可见增强红外具体可以表达为：
IV+IR(i,j)＝IIR(i,j)expIV(i,j)
其中，IV+IR(i,j)表示可见光增强红外后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
本实施例通过对数函数来模拟可见光对红外信号的抑制，可见抑制红外具体可以表达为：
IV-IR(i,j)＝IIR(i,j)log[IV(i,j)+1]
其中，IV-IR(i,j)表示可见光抑制红外后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
S2：将六个细胞融合结果按顺序每两项分为一组，并分别将三组中两个细胞融合结果相应的馈入到ON对抗系统和OFF对抗系统的中心以及ON对抗系统和OFF对抗系统的环绕区域，得到三个中心馈入结果以及三个环绕馈入结果。
在视觉系统中，一个神经元的反应会受到许多其他视细胞反应的影响。生理视觉研究发现，视网膜中神经细胞的不同位置对光照会产生不同的反应，即兴奋或抑制响应。本实施例将视网膜上能够影响某一个神经细胞反应的区域称为神经细胞的受域，也称作感受野(即RF)。
根据视网膜锥体细胞与大脑视觉皮层之间的细胞联系，视网膜神经细胞的感受野可以分为两种：ON中心-OFF环绕感受野和OFF中心-ON环绕感受野，分别表示中心兴奋/环绕抑制和中心抑制/环绕兴奋，简称为ON-中心型和OFF-中心型感受野。如图2和图3所示，表示了视神经节细胞的同心圆结构对抗受域模型,其中+区域表示兴奋区域，—区域表示抑制区域。ON-中心型对抗受域是由中心的兴奋区和环绕的抑制区组成，当中心给予光照时，神经细胞的反应活动增强；而当光照充满环绕区域时，神经细胞的反应活动将受到抑制。ON-中心型感受野的兴奋性分布从中心到周边逐渐减弱。OFF-中心型感受野则与之相反。生物物理学家将中心区域和环绕区域对于光照的不同作用成为拮抗作用，利用中心和环绕相互拮抗的响应，能够突出图像中的高频或细节信息，用来提取图像的边缘信息。
生理学研究发现，距离视网膜中心越近，神经节细胞的受域越大。神经节细胞受域的模型为高斯差函数模型。中心受域和环绕受域的细胞活跃特性符合高斯分布，受域中心的敏锐性最高，越往周边受域的敏锐性越低。
中心-环绕对抗受域的一种动力学描述是被动膜方程，此方程最早由A.L.Hodgkin和A.F.Huxley提出，后来S.Grossberg在描述中心-环绕受域神经网络的动力学过程时，也得到了相似形式的网络动力学方程，具体如下：
ON对抗系统的稳定输出为：
OFF对抗系统的稳定输出为：
其中，Ck(i,j)为兴奋输入图像与高斯函数的卷积，Sk(i,j)为抑制输入图像与高斯函数的卷积，A为衰减常数，E是极化常数，i、j为像素坐标。
其中，Ck(i,j)为受域兴奋中心，其表达式为：
Sk(i,j)为受域抑制环绕区域，其表达式为：
其中，Ik(i,j)为输入图像，*表示卷积算子，Wc、Ws分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为m×n和p×q，σc、σs分别为中心和环绕区域的空间常数，下标C、S分别表示中心和环绕区域。
具体地，本实施例将上述得到的六种双模式细胞融合结果按顺序每两项分为为一组，共为三组，第一组中红外图像和可见光图像的与馈入到ON对抗系统和OFF对抗系统的中心，红外图像和可见光图像的或馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X1和X2；第二组中红外增强可见馈入到ON对抗系统和OFF对抗系统的中心，红外抑制可见馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X3和X4；第三组中可见增强红外馈入到ON对抗系统和OFF对抗系统的中心，可见抑制红外馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X5和X6。
S3：将三个中心馈入结果分别馈入ON对抗系统的中心兴奋区域，并将三个环绕馈入结果分别馈入ON对抗系统的环绕抑制区域，结果依次映射到B、G和R三个通道，输出伪彩色融合图像。
具体地，本实施例将X1、X3和X5分别馈入ON对抗系统的中心兴奋区域，将X2、X4和X6分别馈入ON对抗系统的环绕抑制区域，结果依次映射到B、G和R三个通道，输出伪彩色融合图像。
本实施例提供的上述图像融合方法可以分为三个阶段，如图4所示，其中，IR表示红外图像，VIS表示可见光图像，
表示或神经元，
表示与神经元，↑表示增强神经元，↓表示抑制神经元。
综上所述，经本发明实施例公开的图像融合方法得到的融合图像，不仅保留了可见光图像的背景信息，而且还包含了红外图像的主要信息，目标更加突出，且场景的细节信息更加清楚，相比于传统的图像融合方法，融合效果大幅度提升。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，包括：
将红外图像与可见光图像进行六种双模式细胞融合，得到六个细胞融合结果；
将六个所述细胞融合结果按顺序每两项分为一组，并分别将三组中两个细胞融合结果相应的馈入到ON对抗系统和OFF对抗系统的中心以及ON对抗系统和OFF对抗系统的环绕区域，得到三个中心馈入结果以及三个环绕馈入结果；
将三个中心馈入结果分别馈入ON对抗系统的中心兴奋区域，并将三个环绕馈入结果分别馈入ON对抗系统的环绕抑制区域，结果依次映射到B、G和R三个通道，输出伪彩色融合图像。
2.根据权利要求1所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述六个细胞融合结果分别为：红外图像和可见光图像的与、红外图像和可见光图像的或、红外增强可见、红外抑制可见、可见增强红外以及可见抑制红外。
3.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述红外图像和可见光图像的与具体为：
当IV(i,j)＞IIR(i,j)时，融合结果为：
IAND(i,j)＝nIV(i,j)+mIIR(i,j)
当IV(i,j)＜IIR(i,j)，融合结果为：
IAND(i,j)＝mIV(i,j)+nIIR(i,j)
其中，IV(i,j)为可见光图像，IIR(i,j)为红外图像，IAND(i,j)为红外图像和可见光图像的与，m＞0.5，n＜0.5。
4.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述红外图像和可见光图像的或具体为：
当IV(i,j)＞IIR(i,j)时，融合结果为：
IOR(i,i)＝mIV(i,j)+nIIR(i,j)
当IV(i,j)＜IIR(i,j)，融合结果为：
IOR(i,i)＝nIV(i,j)+mIIR(i,j)
其中，IV(i,j)为可见光图像，IIR(i,j)为红外图像，IOR(i,j)为红外图像和可见光图像的或，m＞0.5，n＜0.5。
5.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述红外增强可见具体为：
IIR+V(i,j)＝IV(i,j)expIIR(i,j)
其中，IIR+V(i,j)表示红外增强可见光信号后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
6.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述红外抑制可见具体为：
IIR-V(i,j)＝IV(i,j)log[IIR(i,j)+1]
其中，IIR-V(i,j)表示红外抑制可见光信号后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
7.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述可见增强红外具体为：
IV+IR(i,j)＝IIR(i,j)expIV(i,j)
其中，IV+IR(i,j)表示可见光增强红外后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
8.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，所述可见抑制红外具体为：
IV-IR(i,j)＝IIR(i,j)log[IV(i,j)+1]
其中，IV-IR(i,j)表示可见光抑制红外后的图像，IV(i,j)为可见光图像，IIR(i,j)为红外图像。
9.根据权利要求2所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，将六个所述细胞融合结果按顺序每两项分为一组的过程，具体包括：
将红外图像和可见光图像的与以及红外图像和可见光图像的或作为第一组；
将红外增强可见以及红外抑制可见作为第二组；
将可见增强红外以及可见抑制红外作为第三组。
10.根据权利要求9所述的一种基于响尾蛇视觉成像的红外与可见光图像融合方法，其特征在于，分别将三组中两个细胞融合结果相应的馈入到ON对抗系统和OFF对抗系统的中心以及ON对抗系统和OFF对抗系统的环绕区域的过程，具体包括：
将第一组中红外图像和可见光图像的与馈入到ON对抗系统和OFF对抗系统的中心，并将红外图像和可见光图像的或馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X1和X2；
将第二组中红外增强可见馈入到ON对抗系统和OFF对抗系统的中心，并将红外抑制可见馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X3和X4；
将第三组中可见增强红外馈入到ON对抗系统和OFF对抗系统的中心，并将可见抑制红外馈入到ON对抗系统和OFF对抗系统的环绕区域，得到X5和X6；
其中，所述中心馈入结果包括X1、X3和X5，所述环绕馈入结果包括X2、X4和X6。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110418698.9A CN112991250B (zh) | 2021-04-19 | 2021-04-19 | 基于响尾蛇视觉成像的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110418698.9A CN112991250B (zh) | 2021-04-19 | 2021-04-19 | 基于响尾蛇视觉成像的红外与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991250A true CN112991250A (zh) | 2021-06-18 |
| CN112991250B CN112991250B (zh) | 2022-08-23 |
Family
ID=76341092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110418698.9A Active CN112991250B (zh) | 2021-04-19 | 2021-04-19 | 基于响尾蛇视觉成像的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991250B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117177027A (zh) * | 2023-11-02 | 2023-12-05 | 中国矿业大学 | 基于响尾蛇复眼布局的双光谱融合视觉感知系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020595A1 (zh) * | 2015-08-05 | 2017-02-09 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
| CN110458877A (zh) * | 2019-08-14 | 2019-11-15 | 湖南科华军融民科技研究院有限公司 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
| CN111861958A (zh) * | 2020-07-10 | 2020-10-30 | 逢亿科技(上海)有限公司 | 一种基于自适应性对抗系统的图像融合算法 |
-
2021
- 2021-04-19 CN CN202110418698.9A patent/CN112991250B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020595A1 (zh) * | 2015-08-05 | 2017-02-09 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
| CN110458877A (zh) * | 2019-08-14 | 2019-11-15 | 湖南科华军融民科技研究院有限公司 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
| CN111861958A (zh) * | 2020-07-10 | 2020-10-30 | 逢亿科技(上海)有限公司 | 一种基于自适应性对抗系统的图像融合算法 |
Non-Patent Citations (4)
| Title |
|---|
| FIROOZ SADJADI: "Comparative Image Fusion Analysais", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR"05)-WORKSHOPS》 * |
| YONG WANG等: "Pseudo color image fusion based on rattlesnake"s visual receptive field model", 《2020 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND INFORMATION SYSTEMS (ICAIIS)》 * |
| ZHEN ZHANG等: "Bionic algorithm for color fusion of infrared and low light level image based on rattlesnake bimodal cells", 《IEEE ACCESS》 * |
| 荆绍威: "多波段图像仿生假彩色融合技术研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117177027A (zh) * | 2023-11-02 | 2023-12-05 | 中国矿业大学 | 基于响尾蛇复眼布局的双光谱融合视觉感知系统及方法 |
| CN117177027B (zh) * | 2023-11-02 | 2024-01-30 | 中国矿业大学 | 基于响尾蛇复眼布局的双光谱融合视觉感知系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991250B (zh) | 2022-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Le Meur et al. | A coherent computational approach to model bottom-up visual attention | |
| VanRullen | Visual saliency and spike timing in the ventral visual pathway | |
| Deco et al. | A neurodynamical cortical model of visual attention and invariant object recognition | |
| Trehub | Space, self, and the theater of consciousness | |
| Agrochao et al. | Mechanism for analogous illusory motion perception in flies and humans | |
| CN112991250B (zh) | 基于响尾蛇视觉成像的红外与可见光图像融合方法 | |
| Naber et al. | Animal detection and identification in natural scenes: image statistics and emotional valence | |
| Onat et al. | Integrating audiovisual information for the control of overt attention | |
| CN102222231B (zh) | 一种基于背侧通路引导的视觉注意信息计算装置及其处理方法 | |
| Zhang et al. | Bionic algorithm for color fusion of infrared and low light level image based on rattlesnake bimodal cells | |
| Zhang et al. | An image reconstruction framework for characterizing initial visual encoding | |
| Ban et al. | Affective saliency map considering psychological distance | |
| Wang et al. | Pseudo color fusion of infrared and visible images based on the rattlesnake vision imaging system | |
| Klaus et al. | Optimum spatiotemporal receptive fields for vision in dim light | |
| CN113409232B (zh) | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 | |
| CN110717893B (zh) | 一种基于视觉神经通路的边缘检测方法 | |
| Wang et al. | Image fusion based on the rattlesnake visual receptive field model | |
| Wang et al. | An improved biologically-inspired image fusion method | |
| Wang et al. | Image Fusion Based on Bioinspired Rattlesnake Visual Mechanism Under Lighting Environments of Day and Night Two Levels | |
| Zhang | Computer Vision Overview | |
| Peiso et al. | Perceptual Resolution of Ambiguity: Can Tuned, Divisive Normalization Account for both Interocular Similarity Grouping and Difference Enhancement | |
| Qi et al. | Evaluation of engineering camouflage effectiveness based on human visual attention mechanisms | |
| White et al. | HDR luminance normalization via contextual facilitation in highly recurrent neuromorphic spiking networks | |
| Madary | Visual experience | |
| Mori et al. | Spatial Properties of Scintillating Grid Illusion by Visual Experiment and Numerical Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |