CN110084771A - 一种基于集值映射的双模态红外图像分块多算法优化融合方法 - Google Patents
一种基于集值映射的双模态红外图像分块多算法优化融合方法 Download PDFInfo
- Publication number
- CN110084771A CN110084771A CN201910178779.9A CN201910178779A CN110084771A CN 110084771 A CN110084771 A CN 110084771A CN 201910178779 A CN201910178779 A CN 201910178779A CN 110084771 A CN110084771 A CN 110084771A
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- fusion
- feature
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 27
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 91
- 238000002156 mixing Methods 0.000 claims abstract description 72
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 230000010287 polarization Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000011160 research Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000021615 conjugation Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 15
- 238000000605 extraction Methods 0.000 abstract description 2
- 206010021703 Indifference Diseases 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明一种基于集值映射的双模态红外图像分块多算法优化融合方法,该方法根据双模态红外图像的图像特点和成像机理构建用于描述两类图像互补信息的差异特征集;其次,对待融合图像进行几何分块并根据差异特征集的元素提取各块的差异特征,经归一化后利用条件取大规则确定各块的显著差异特征;而后,选取性能优越的融合算法构建融合算法集,通过构建更通用的融合有效度公式和更合理数理统计的方法建立起差异特征与融合算法间的映射关系;进一步利用建立的映射为各块配置最佳融合算法并进行分块融合;最终,将各融合图块进行拼接处理形成一幅完整的融合图像。本发明提高了差异特征驱动融合的针对性,克服了基于先验知识选择算法的不可预见性局限。
Description
技术领域
本发明属于图像融合领域,具体为一种基于集值映射的双模态红外图像分块多算法优化 融合方法。
背景技术
红外光强与偏振双模态图像因其图像信息丰富的互补性而具有巨大的融合价值。为了实 现二者高质量的融合,众多的融合算法被提出,但不同的融合算法具有不同的优势和不足, 因此单一算法的融合无法达到高性能的融合目标。为此,多算法优化融合成为高质量双模态 红外图像融合得以实现的有效途径,其不仅克服了单算法的局限同时兼并了多算法的优势, 在双模态红外图像融合领域具有重要的研究意义和巨大的应用潜力。
当前,针对双模态红外图像融合,由于单算法对融合质量的提升能力有限,多算法的协 同越来越受到重视。如有研究人员提出利用非下采样剪切波和非下采样轮廓波的嵌接组合来 丰富融合图像的细节信息;关于图像对比度,有学者指出将顶帽变换与支持度变换相结合以 增强融合图像的对比度。但其融合实施对象都是整幅图像,虽然有多种算法的协同,但其本 质却是结合多种算法形成一种综合的融合策略并将其作用于全图。这种全图无差别融合尽管 能在一定程度上提升全图的平均融合效果,但并未实现以融合针对性为前提的全局优化融合。 这极大制约了双模态红外图像的融合质量,进一步影响了其工程应用。
为了提高融合针对性,从而解决无法全局最优的问题,相关学者提出建立差异特征集与 融合算法集间的集值映射,并依据图像的差异特征对照建立的映射关系为融合选择最佳算法, 以此提升融合针对性,进而提升融合效果。但现有的集值映射融合存在以下问题:一、利用 全图总体差异特征选择算法,本质上进行的是无差别融合,实际中总体差异特征与局部差异 特征往往并不相同,这直接导致根据总体差异特征选择的融合算法虽然能在一定程度上提升 全图平均融合效果,但并未实现全局最优化融合,甚至致使图像局部融合失效;同时,利用 归一化取大原则确定的显著差异特征不能反映真实的差异信息,其所驱动选择的融合算法缺 乏与真实待融合信息间的对应性。二、构建集值映射过程中,所构建的融合有效度函数在部 分情形下无法给出准确的评价结果;多场景取平均的统计处理方法是隐性的承认不同场景对 于映射关系的反映具有同等效力,而事实上差异特征在不同场景中的重要性各异,因此统计 平均无法反映不同场景对映射关系的支持度。
发明内容
本发明目的在于针对双模态红外图像融合中,现有多算法融合缺乏针对性导致的无差别 融合不能实现全图最优化融合甚至融合失效的问题,提出一种基于集值映射的双模态红外图 像分块多算法优化融合方法。解决了双模态红外图像融合过程中,由于源图像差异特征的随 机性导致融合算法难以动态调整以及同一融合策略难以做到全局最优的问题。
本发明的方法包括如下具体步骤:
S1:源图像确定:选取多组红外光强与偏振场景图作为研究对象;
S2:构建差异特征集:对比S1中场景图的图像特点以及结合双模态红外光强与偏振图 像的成像机理,确定双模态红外图像的差异特征类型,进一步选取能量(EN)、信息熵(IE)、 平滑度(EV)、Tamura对比度(TC)、边缘强度(EI)和平均梯度(AG)六个描述差异信息的特征构建差异特征集;
S3:图像分块与各块显著差异特征的确定:采用几何分块将图像等分,根据差异特征 集的组成元素,提取图像各分块的六个差异特征并归一化各差异特征的幅值,结合条件取大 规则确定各分块的显著差异特征;
S4:构建融合算法集:选取融合算法构建融合算法集;
S5:建立集值映射关系:构建反映算法对特征融合性能的融合有效度函数,结合S1中 的场景图,分别建立每组图像的各个差异特征与融合算法间的融合有效度分布关系,最终对 多组场景的分布结果进行加权统计以获得差异特征与最优融合算法的映射关系;
S6:分块融合:利用S3中已确定的图像各分块的显著差异特征,结合S5中建立的映射关系,为各分块选取最佳融合算法并进行图像融合,以获得各块的融合图像,将获得的各融合图块按照原来的组合顺序拼接为一幅完整的融合图像,并作相应的拼接处理。
上述的一种基于集值映射的双模态红外图像分块多算法优化融合方法,S3图像分块与 各块显著差异特征的确定中具体步骤如下:
S31:利用公式(7)对每块图像的各个差异特征值进行归一化,(7)式中Dif代表差异 特征;K=1,2,3...M是图块编号;n=1,2,3...6是差异特征编号;I和P代表红外光强 与偏振图像;wI和wP是权重因子,其形式如式(8),
S32:利用式(9)的条件取大规则确定各个图块的最显著差异特征,
(9)式中的MD代表显著差异特征;sum代表6个差异特征归一化后的和,式(9)的含义 是当能量差异特征占总差异特征的比例大于等于T时,该图块的最显著差异特征为EN,否则 最显著差异特征为不包括EN在内的其他具有最大值的差异特征。
上述的一种基于集值映射的双模态红外图像分块多算法优化融合方法,S5建立集值映 射关系具体步骤如下:
S51:对各场景的红外光强与偏振图像分别进行分块处理,以获取更多的小样本块;
S52:对各场景每组源图像,利用所选取的融合算法分别融合,这样每组图像得到不同 的融合图像,然后对每幅融合图像进行分块处理;
S53:分别计算每组源图像及其相应融合图像对应样本块的6个差异特征的特征值,为 了定量描述融合算法对某一特征融合效果的好坏,构建单特征融合有效度公式(10)进行融 合有效度度量,
QF,B(n)=wI,B(n)(DifF,B(n)-DifI,B(n))+wP,B(n)(DifF,B(n)-DifP,B(n)) (10)
式中Q代表融合有效度;Dif代表差异特征;F=1,2,3...L为融合算法编号;I和P分别代表红 外光强与偏振图像;B=1,2,3...E为样本块编号;n=1,2,3...6为差异特征编号;wI,B(n)和 wP,B(n)分别为红外光强与偏振图像对应样本块的权重因子,该值为两块图像同一特征值的 归一化系数,数学表达如式(11),
于是每块样本块的每个特征都有L个融合有效度分别对应于L种融合算法,选取融合有效 度值最大(及其±1%偏差)所对应的融合算法作为该样本块该特征的最有效融合算法,以 此类推统计E个样本块每个特征所对应的最优融合算法出现的频次,最后除以总块数E从 而求得每个特征最优融合算法出现的概率Pd,n,F,d为场景编号;
S54:以上各场景统计结果总体上有相似的趋势,但因场景的不同存在个别差异,为了 克服这种单一场景统计存在的矛盾性和片面性,对H种典型场景统计的各个特征所对应的 最优融合算法出现的概率利用式(12)进行加权统计,从而给出每种特征在不同场景中最优 融合算法的综合统计结果,
式中H为总场景数;w′d,n为权重因子,其含义是:同一特征在不同场景中综合强度的归一 化因子,将其命名为综合强度比,其定义如式(13),
式中Dif′d,n为第d组图像第n个差异特征光强图像与偏振图像的综合强度,如式(14)
Dif′d,n=w″I,d,nDifI,d,n+w″P,d,nDifP,d,n (14)
式(15)给出了归一化系数w″I,d,n和w″P,d,n的具体形式,
S55:利用H组场景的总体统计结果,选取每种特征所对应的最佳结果出现概率最大的 算法作为其最佳融合算法,以此建立差异特征与最佳融合算法间的映射关系。
本发明与现有技术相比具有以下优点:
1.本发明引入分块针对性优化融合的思想,解决了无差别融合带来的局部融合效果差甚 至无效,进而导致全局无法最优的问题。
2.本发明通过构建更为通用的融合有效度函数和采用更加合理的多场景统计方法,克服 了现有集值映射关系不稳定的问题。
附图说明
图1为本发明的流程图。
图2为研究对象多场景图,其中:图2(a)~(f)分别对应于六种场景且第一行为红外光强图片,第二行为红外偏振图片。
图3为实验验证图。
图4为分块结果图。
图5为各块显著差异特征图。
图6为各场景融合有效度统计分布图;其中:图6(a)~图6(f)分别对应于六种场景不同算法对特征的融合有效度分布,图中横坐标1-CVT,2-DTCWT,3-DWT,4-LP,5-NSCT, 6-NSST,7-SWT,8-WPT。
图7为多场景融合有效度综合统计分布图。
图8为差异特征与最佳融合算法映射关系图。
图9为各块配置算法图。
图10为融合结果图;其中:图10(a)为各融合图块拼接后的效果图;图10(b)为经过拼接边缘处理和各块亮度调整后的效果图。
图11为实验结果对比图;其中依次为CVT融合结果、DTCWT融合结果;DWT融合 结果、LP融合结果、NSCT融合结果、NSST融合结果、SWT融合结果、WPT融合结果、 本发明方法融合结果。
表1为实验结果客观评价数据表。
具体实施方式
为了更好地理解本发明的技术方案,以下结合附图对本发明的实施方式作进一步描述。
参考附图1,本发明的实现步骤如下:
S1:源图像确定。利用实验设备采集和网络下载等多种方式获取多组包含常见目标(如 车辆、建筑、人、道路、树木和植被等)的六组双模态红外光强与偏振场景图,如附图2。
S2:构建差异特征集。对比S1中各场景图的图像特点以及结合双模态红外光强与偏振 图像的成像机理,确定双模态红外图像的差异特征类型即亮度、纹理和边缘。通过比较最终 选取EN、IE、EV、TC、EI和AG六个描述差异信息的特征构建差异特征集。
具体步骤如下:
S21:构建表征亮度差异的特征,分别为EN如式(1)和IE如式(2),式(1)中M, N为图像的大小,I(i,j)代表位置为第i行、第j列像素点的灰度值;式(2)中L为图像总的灰 度级,p(I)表示图像中像素灰度值为I的概率。
S22:构建表征纹理差异的特征,分别为EV如式(3)和TC如式(4),式(3)中σ为 图像灰度值的标准差;式(4)中的α为图像灰度分布的峰度。
S23:构建表征边缘差异的特征,分别为EI如式(5)和AG如式(6),式(5)中的BE为经Canny算子边缘检测后的二值化边缘图,对其求和可以得到边缘点数以此反映边缘强度;式(6)中M,N为待计算图像大小,I(i,j)表示位于第i行、第j列的像素点的灰度值。
S3:图像分块与各块显著差异特征的确定。以附图3为实验验证图,本发明采用几何 分块将图像等分为16块(如附图4),实际应用中可以根据融合意图或应用需求对图像进行 针对性分块。根据差异特征集的组成元素,提取各块的六个差异特征。由于各差异特征的量 纲不同所以无法进行直接比较,因此先归一化各差异特征的幅值。另外由于亮度差异是由成 像硬件差异所致,因此在不做修正的情况下,绝大多数图块的显著差异特征都将是差异能量 特征,为此制定了条件取大规则用于确定各块的显著差异特征(如附图5)。
具体步骤如下:
S31:利用公式(7)对每块图像的各个差异特征值进行归一化,(7)式中Dif代表差异 特征;K=1,2,3...16是图块编号;n=1,2,3...6是差异特征编号;I和P代表红外光 强与偏振图像;wI和wP是权重因子,其形式如式(8)。
S32:利用式(9)的条件取大规则确定各个图块的最显著差异特征,结果如附图5。
(8)式中的MD代表显著差异特征;sum代表6个差异特征归一化后的和。式(9)的含义 是当能量差异特征占总差异特征的比例大于等于T时,该图块的最显著差异特征为EN,否则 最显著差异特征为不包括EN在内的其他具有最大值的差异特征,经对比实验发现当T=0.4 时,提取的显著差异特征准确度最高。
S4:构建融合算法集。选取常用且性能得到广泛认可的融合算法构建融合算法集。鉴 于多尺度分解在图像融合方面的优异表现,本发明选取CVT、DTCWT、DWT、LP、NSCT、NSST、SWT和WPT八种常用的融合算法构建融合算法集(融合算法集元素可以根据需要 增删)。需要注意的是融合算法的融合参数对融合结果具有一定的影响,为此为每一种算法针对双模态红外图像融合配置最佳的融合参数。
S5:建立集值映射关系。构建反映算法对特征融合性能的融合有效度函数,结合S1中 的场景图,分别建立每组图像的各个差异特征与融合算法间的融合有效度分布关系(如附图 6),最终对多组场景的分布结果进行加权统计以获得差异特征与最优融合算法的映射关系。
具体步骤如下:
S51:对六个场景的红外光强与偏振图像分别进行分块处理,以获取更多的小样本块。 需要注意的是样本块如果选择过小则无法有效提取特征,反之则会有复合特征的存在。为此 本发明选择样本块的大小为24×24,样本块的获得是通过24×24的窗口在源图像上滑动获 取,滑动原则为从图像左上角开始按行遍历,水平和垂直步长都为8像素直至图像右下角, 这样每组源图像就得到900个样本块。
S52:对每组源图像,利用所选取的8种融合算法分别融合,这样每组图像得到8幅融 合图像,然后对每幅融合图像利用S51的方法进行分块处理,同样可以得到900个样本快。
S53:分别计算每组源图像及其相应8幅融合图像对应样本块的6个差异特征的特征值。 为了定量描述融合算法对某一特征融合效果的好坏,构建单特征融合有效度公式(10)进行 融合有效度度量。
QF,B(n)=wI,B(n)(DifF,B(n)-DifI,B(n))+wP,B(n)(DifF,B(n)-DifP,B(n)) (10)
式中Q代表融合有效度;Dif代表差异特征;F=1,2,3...8为融合算法编号;I和P分别代表红 外光强与偏振图像;B=1,2,3,...900为样本块编号;n=1,2,3...6为差异特征编号;wI,B(n)和 wP,B(n)分别为红外光强与偏振图像对应样本块的权重因子,该值为两块图像同一特征值的 归一化系数,数学表达如式(11)。
于是每块样本的每个特征都有8个评价值分别对应于F=1,2,3...8八种算法,选取评价值值 最大(及其±1%偏差内)所对应的融合算法作为该样本块该特征的最有效融合算法,以此 类推统计900个样本块每个特征所对应的最优融合算法出现的频次,最后除以总块数900 从而求得每个特征最优融合算法出现的概率Pd,n,F(d为场景编号,n为差异特征编号,F为 融合算法编号),本发明将该概率定义为融合有效度,其不同场景的结果如附图6。
S54:以上六组场景统计结果总体上有相似的趋势,但因场景的不同存在个别差异,为 了克服这种单一场景统计存在的矛盾性和片面性,对六种典型场景统计的各个特征所对应的 最优融合算法出现的概率利用式(12)进行加权统计,从而给出每种特征在不同场景中最优 融合算法的综合统计结果(如附图7)。
式中w′d,n为权重因子,其含义是:同一特征在不同场景中综合强度的归一化因子,这里将其 命名为综合强度比,其定义如式(13)。
式中Dif′d,n为第d组图像第n个差异特征光强图像与偏振图像的综合强度,如式(14)
Dif′d,n=w″I,d,nDifI,d,n+w″P,d,nDifP,d,n (14)
式(15)给出了归一化系数w″I,d,n和w″P,d,n的具体形式。
S55:利用六组场景的总体统计结果,选取每种特征所对应的最佳结果出现概率最大的 算法作为其最佳融合算法,以此建立差异特征与最佳融合算法间的映射关系(如附图8)。
说明:附图5各块的显著差异特征由S3的式(9)确定;根据附图7的六个场景总体融合有效度分布,可以确定附图8的差异特征与最优融合算法间的映射关系;附图9的各块算法配置由各块的显著差异特征(见附图5)及差异特征与最优算法间的映射关系(见图8)共同确定。
S6:分块融合。利用S3中所确定的各块的显著差异特征和S5中建立的映射关系为各 图块选取最佳融合算法(选取结果如附图9),并进行图像融合,以获得各块的融合图像,并进行后续拼接处理。
具体步骤如下:
S61:根据各块的显著差异特征配合映射关系,选择融合算法并对各块进行融合。
S62:将获得的各融合图块按照原来的组合顺序拼接为一幅完整的融合图像(结果如附 图10(a))。
S63:对于拼接边缘用3×3的均值滤波器进行平滑,以去除拼接痕迹。计算出16块图 像的平均亮度,并以此为基准计算出每块图像相对于该基准的缩放比例,然后利用该比例对 每块图像进行线性灰度缩放,从而使各块亮度处于同一水平,最终处理后结果如附图10(b) 所示。
本发明的实施例中,实验图像为红外光强与偏振图像如附图3,从附图11的实验结果 可以看出本发明所得结果具有直观上更好的视觉效果,尤其是图中以矩形框标出的部分相对 于其他方法具有更高的清晰度和对比度,同时目标更加突出。另外附表1给出了一组客观评 价指标的评价结果,从中发现7个指标中本发明的融合结果有5个表现最优,其中标准差 (STD)和空间频率(RCF)两个指标的评价结果远远高于其他方法。但对于QAB/F和Q0两个指标本发明评价结果并非最好,但即便如此本发明的结果与最佳结果之间的差距非常之小。 说明本发明的方法能够有效提高双模态红外图像的融合质量,提高融合精度,同时基于集值 映射的方法能够满足场景动态变化而动态选择最优融合算法的需求,因此足以满足大部分双 模态红外图像的融合、识别处理和跟踪的需要。
表1
Claims (3)
1.一种基于集值映射的双模态红外图像分块多算法优化融合方法,其特征在于包括以下步骤:
S1:源图像确定:选取多组红外光强与偏振场景图作为研究对象;
S2:构建差异特征集:对比S1中场景图的图像特点以及结合双模态红外光强与偏振图像的成像机理,确定双模态红外图像的差异特征类型,进一步选取能量、信息熵、平滑度、Tamura对比度、边缘强度和平均梯度六个描述差异信息的特征构建差异特征集;
S3:图像分块与各块显著差异特征的确定:采用几何分块将图像等分,根据差异特征集的组成元素,提取图像各分块的六个差异特征并归一化各差异特征的幅值,结合条件取大规则确定各分块的显著差异特征;
S4:构建融合算法集:选取融合算法构建融合算法集;
S5:建立集值映射关系:构建反映算法对特征融合性能的融合有效度函数,结合S1中的场景图,分别建立每组图像的各个差异特征与融合算法间的融合有效度分布关系,最终对多组场景的分布结果进行加权统计以获得差异特征与最优融合算法的映射关系;
S6:分块融合:利用S3中已确定的图像各分块的显著差异特征,结合S5中建立的映射关系,为各分块选取最佳融合算法并进行图像融合,以获得各块的融合图像,将获得的各融合图块按照原来的组合顺序拼接为一幅完整的融合图像,并作相应的拼接处理。
2.根据权利1所述的一种基于集值映射的双模态红外图像分块多算法优化融合方法,其特征在于S3图像分块与各块显著差异特征的确定中具体步骤如下:
S31:利用公式(7)对每块图像的各个差异特征值进行归一化,(7)式中Dif代表差异特征;K=1,2,3…M是图块编号;n=1,2,3…6是差异特征编号;I和P代表红外光强与偏振图像;wI和wP是权重因子,其形式如式(8),
S32:利用式(9)的条件取大规则确定各个图块的最显著差异特征,
(9)式中的MD代表显著差异特征;sum代表6个差异特征归一化后的和,式(9)的含义是当能量差异特征占总差异特征的比例大于等于T时,该图块的最显著差异特征为EN,否则最显著差异特征为不包括EN在内的其他具有最大值的差异特征。
3.根据权利1所述的一种基于集值映射的双模态红外图像分块多算法优化融合方法,其特征在于S5建立集值映射关系具体步骤如下:
S51:对各场景的红外光强与偏振图像分别进行分块处理,以获取更多的小样本块;
S52:对各场景每组源图像,利用所选取的融合算法分别融合,这样每组图像得到不同的融合图像,然后对每幅融合图像进行分块处理;
S53:分别计算每组源图像及其相应融合图像对应样本块的6个差异特征的特征值,为了定量描述融合算法对某一特征融合效果的好坏,构建单特征融合有效度公式(10)进行融合有效度度量,
QF,B(n)=wI,B(n)(DifF,B(n)-DifI,B(n))+wP,B(n)(DifF,B(n)-DifP,B(n)) (10)
式中Q代表融合有效度;Dif代表差异特征;F=1,2,3…L为融合算法编号;I和P分别代表红外光强与偏振图像;B=1,2,3…E为样本块编号;n=1,2,3…6为差异特征编号;wI,B(n)和wP,B(n)分别为红外光强与偏振图像对应样本块的权重因子,该值为两块图像同一特征值的归一化系数,数学表达如式(11),
于是每块样本块的每个特征都有L个融合有效度分别对应于L种算法,选取融合有效度值最大(及其±1%偏差内)所对应的融合算法作为该样本块该特征的最有效融合算法,以此类推统计E个样本块每个特征所对应的最优融合算法出现的频次,最后除以总块数E从而求得每个特征最优融合算法出现的概率Pd,n,F,d为场景编号;
S54:以上多组场景统计结果总体上有相似的趋势,但因场景的不同存在个别差异,为了克服这种单一场景统计存在的矛盾性和片面性,对H种典型场景统计的各个特征所对应的最优融合算法出现的概率利用式(12)进行加权统计,从而给出每种特征在不同场景中最优融合算法的综合统计结果,
式中w′d,n为权重因子,其含义是:同一特征在不同场景中综合强度的归一化因子,将其命名为综合强度比,其定义如式(13),
式中Dif′d,n为第d组图像第n个差异特征光强图像与偏振图像的综合强度,如式(14)
Dif′d,n=w″I,d,nDifI,d,n+W″P,d,nDifP,d,n (14)
式(15)给出了归一化系数w″I,d,n和w″P,d,n的具体形式,
S55:利用H组场景的总体统计结果,选取每种特征所对应的最佳结果出现概率最大的算法作为其最佳融合算法,以此建立差异特征与最佳融合算法间的映射关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910178779.9A CN110084771B (zh) | 2019-03-11 | 2019-03-11 | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910178779.9A CN110084771B (zh) | 2019-03-11 | 2019-03-11 | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084771A true CN110084771A (zh) | 2019-08-02 |
CN110084771B CN110084771B (zh) | 2022-07-05 |
Family
ID=67412375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910178779.9A Active CN110084771B (zh) | 2019-03-11 | 2019-03-11 | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084771B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111445464A (zh) * | 2020-03-31 | 2020-07-24 | 中北大学 | 基于非参数估计的差异特征频次分布构造方法 |
CN112149623A (zh) * | 2020-10-16 | 2020-12-29 | 中国电子科技集团公司第三研究所 | 一种自适应多传感器信息融合系统、方法及存储介质 |
CN114998175A (zh) * | 2022-06-16 | 2022-09-02 | 洛阳热感科技有限公司 | 基于区域边缘强度的图像融合方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110080487A1 (en) * | 2008-05-20 | 2011-04-07 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
CN105279747A (zh) * | 2015-11-25 | 2016-01-27 | 中北大学 | 一种多特征目标函数引导的红外偏振与光强图像融合方法 |
CN106846288A (zh) * | 2017-01-17 | 2017-06-13 | 中北大学 | 一种双模态红外图像差异特征指数测度的多算法融合方法 |
CN107633495A (zh) * | 2017-08-02 | 2018-01-26 | 中北大学 | 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法 |
CN107909112A (zh) * | 2017-11-27 | 2018-04-13 | 中北大学 | 一种红外光强与偏振图像多类变元组合的融合方法 |
CN109035188A (zh) * | 2018-07-16 | 2018-12-18 | 西北工业大学 | 一种基于目标特征驱动的智能图像融合方法 |
US20190052792A1 (en) * | 2017-08-11 | 2019-02-14 | Ut-Battelle, Llc | Optical array for high-quality imaging in harsh environments |
CN109377468A (zh) * | 2018-10-09 | 2019-02-22 | 湖南源信光电科技股份有限公司 | 基于多特征的红外辐射和偏振图像的伪彩色融合方法 |
-
2019
- 2019-03-11 CN CN201910178779.9A patent/CN110084771B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110080487A1 (en) * | 2008-05-20 | 2011-04-07 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
CN105279747A (zh) * | 2015-11-25 | 2016-01-27 | 中北大学 | 一种多特征目标函数引导的红外偏振与光强图像融合方法 |
CN106846288A (zh) * | 2017-01-17 | 2017-06-13 | 中北大学 | 一种双模态红外图像差异特征指数测度的多算法融合方法 |
CN107633495A (zh) * | 2017-08-02 | 2018-01-26 | 中北大学 | 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法 |
US20190052792A1 (en) * | 2017-08-11 | 2019-02-14 | Ut-Battelle, Llc | Optical array for high-quality imaging in harsh environments |
CN107909112A (zh) * | 2017-11-27 | 2018-04-13 | 中北大学 | 一种红外光强与偏振图像多类变元组合的融合方法 |
CN109035188A (zh) * | 2018-07-16 | 2018-12-18 | 西北工业大学 | 一种基于目标特征驱动的智能图像融合方法 |
CN109377468A (zh) * | 2018-10-09 | 2019-02-22 | 湖南源信光电科技股份有限公司 | 基于多特征的红外辐射和偏振图像的伪彩色融合方法 |
Non-Patent Citations (5)
Title |
---|
FENGBAO YANG 等: "Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules", 《INFRARED PHYSICS & TECHNOLOGY》 * |
GUO RUIDONG 等: "The algorithm of image fusion for infrared polarization based on Contourlet transform and Teager operator", 《SPIEDIGITALLIBRARY.ORG/CONFERENCE-PROCEEDINGS-OF-SPIE》 * |
YU LIU 等: "Infrared and visible image fusion with convolutional neural networks", 《INTERNATIONAL JOURNAL OF WAVELETS》 * |
牛涛 等: "一种双模态红外图像的集值映射融合方法", 《光电工程》 * |
董安冉: "红外光强与偏振图像融合的多算法嵌接组合研究", 《万方数据库》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111445464A (zh) * | 2020-03-31 | 2020-07-24 | 中北大学 | 基于非参数估计的差异特征频次分布构造方法 |
CN111445464B (zh) * | 2020-03-31 | 2022-04-19 | 中北大学 | 基于非参数估计的差异特征频次分布构造方法 |
CN112149623A (zh) * | 2020-10-16 | 2020-12-29 | 中国电子科技集团公司第三研究所 | 一种自适应多传感器信息融合系统、方法及存储介质 |
CN112149623B (zh) * | 2020-10-16 | 2023-09-08 | 中国电子科技集团公司第三研究所 | 一种自适应多传感器信息融合系统、方法及存储介质 |
CN114998175A (zh) * | 2022-06-16 | 2022-09-02 | 洛阳热感科技有限公司 | 基于区域边缘强度的图像融合方法和装置 |
CN114998175B (zh) * | 2022-06-16 | 2023-09-05 | 洛阳热感科技有限公司 | 基于区域边缘强度的图像融合方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110084771B (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101443791B (zh) | 用于在数字图像中的前景和背景之间提供分离的方法和设备 | |
CN110084771A (zh) | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 | |
CN106157323B (zh) | 一种动态分块阈值和块搜索结合的绝缘子分割提取方法 | |
CN109961006A (zh) | 一种低像素多目标人脸检测和关键点定位方法以及对齐方法 | |
CN101303733B (zh) | 采用模式数据库的具有空间感的自然彩色夜视实现方法 | |
US8064649B2 (en) | Techniques and apparatus for increasing accuracy of iris authentication by utilizing a plurality of iris images having different pupil diameter/iris diameter ratios | |
WO2017088365A1 (zh) | 一种肤色检测方法及装置 | |
CN100571335C (zh) | 基于像素空间相关性的图像融合效果实时评价方法及装置 | |
CN105225281B (zh) | 一种车辆检测方法 | |
CN110166692A (zh) | 一种提高摄像机自动聚焦准确率和速度的方法及装置 | |
CN104063686B (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
CN106993188B (zh) | 一种基于多人脸视频显著性的hevc压缩编码方法 | |
CN109242834A (zh) | 一种基于卷积神经网络的无参考立体图像质量评价方法 | |
CN107085842A (zh) | 自学习多路图像融合的实时矫正方法及系统 | |
CN107547852A (zh) | 一种大数据存储系统 | |
JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
CN109345502A (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
CN109711267A (zh) | 一种行人重识别、行人运动轨迹生成方法及装置 | |
CN110335666A (zh) | 医学影像评估方法、装置、计算机设备及存储介质 | |
CN102737367A (zh) | 基于颜色特征的茶叶图像增强和分割方法 | |
CN109785275A (zh) | 一种图像的色调映射方法及设备 | |
CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
Bao et al. | E-unet++: A semantic segmentation method for remote sensing images | |
CN111223058B (zh) | 一种图像增强方法 | |
CN110135274B (zh) | 一种基于人脸识别的人流量统计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |