CN104574335B - 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 - Google Patents
一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN104574335B CN104574335B CN201510018267.8A CN201510018267A CN104574335B CN 104574335 B CN104574335 B CN 104574335B CN 201510018267 A CN201510018267 A CN 201510018267A CN 104574335 B CN104574335 B CN 104574335B
- Authority
- CN
- China
- Prior art keywords
- mrow
- interest
- image
- point
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种基于显著图和兴趣点凸包的红外与可见光图像融合方法，包括如下步骤：首先，对红外图像进行显著性检测，得到二值化显著图；然后，对红外图像进行兴趣点检测；其次，进行去游离兴趣点处理得到显著兴趣点；再次，对显著兴趣点求取凸包；再通过对二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；最后，分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合；该方法，能够剔除那些位于背景上的少数兴趣点，使得对显著兴趣点求取的凸包更加接近真实的目标，并通过与显著图结合，能够更准确地提取出目标区域，该方法简单、快速，能够有效提升融合性能。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于显著图和兴趣点凸包的红外与可见光图像融合方法。
背景技术
图像融合就是把多个不同模式的图像传感器获得的同一场景的多幅图像，或同一传感器在不同时刻或不同方式下获得的多幅图像合成一幅包含输入图像相关信息的图像的过程。通过综合利用不同图像之间的互补信息和冗余信息，能够获得对该场景更为全面、准确的图像描述。图像融合技术已广泛应用在军事、遥感、机器人、医学处理以及计算机视觉等领域中。
目前大多数图像融合算法主要是基于单个像素或者是基于窗口提出的，是在图像像素之间或者图像经某种工具分解后系数之间或多或少是相互独立的这一假设前提下提出的，显然这一假设与事实并不相符。事实上，图像中的目标特征并不是由单个像素能够表征的，而是由局部区域表征的。因此，基于区域的图像融合在实际中更具有意义，能够获得更好的融合效果。同时，基于区域的图像融合算法还能够降低算法对噪声的灵敏程度以及对配准误差具有较强的鲁棒性。
近年来出现了一定数量的基于区域的图像融合算法。如Lewis J J,O’CallaghanR J,Nikolov S G,et al.Pixel-and region-based image fusion with complexwavelets.Information Fusion.2007,8(2):119-130.以及文献Aslantas V,Bendes E,Kurban R,Toprak A.N.New optimised region-based multi-scale image fusionmethod for thermal and visible images.Image Processing,IET.2014,8(5):289-299.所述，这些方法通过图像分割算法提取目标区域，然后针对目标区域和背景区域制定不同的融合规则。
然而图像分割一直是一个亟待突破的关键技术，目前很难找到一种通用的分割算法将目标完整地与背景分割开，而且目标易受部分缺损、背景混杂、仿射变换、光照等因素的干扰，导致分割正确率下降。
发明内容
本发明的目的是克服现有技术的不足，提升图像融合性能，实现从源图像中提取更多的有用信息，使红外图像中目标特性与可见光图像中的背景信息有机地结合在一起。
为此，本发明提供了一种基于显著图和兴趣点凸包的红外与可见光图像融合方法，包括如下步骤：
步骤一、对红外图像进行显著性检测，得到二值化显著图；
步骤二、对红外图像进行兴趣点检测；
步骤三、去掉游离的兴趣点得到显著兴趣点；
步骤四、对显著兴趣点求取凸包；
步骤五、通过对红外图像的二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；
步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合。
上述步骤一、对红外图像进行显著性检测，得到二值化显著图，包括如下步骤：
(1.1)计算长度为M、宽度为N的红外图像的显著图S(x,y)：
S(x,y)＝|Ig(x,y)-Iu| (1)
Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑滤波，剔除噪声；Iu是红外图像的像素算数平均值；
(1.2)通过设定阈值TH，将大小为M*N的红外图像显著图二值化得SM(x,y)：
则：
上述步骤二、对红外图像进行兴趣点检测是对红外图像进行Harris兴趣点检测；Harris算子H为：
H＝det(C)-ktrace2(C) (4)
其中，Ix,Iy和Ixy分别为图像在x和y方向的偏导以及二阶混合偏导；k为经验值，通常取0.04～0.06；根据图像取出Harris算子值最大的n个点，得到图像的兴趣点图。
上述红外图像经过高斯滤波后得到矢量图,采用的是3*3的模板进行滤波。
上述步骤三、去掉游离的兴趣点得到显著兴趣点，包括如下步骤：
(3.1)红外图像兴趣点集合为Q＝{q(x,y)|1≤x≤M,1≤y≤N}，兴趣点个数为n，则兴趣点质心O表示如下：
计算每个兴趣点到质心的距离Ri：
Ri＝[(xi-Ox)2+(yi-Oy)2]1/2,(xi,yi)∈Q,i＝1,2,...n (6)
其中，Ri为第i个兴趣点到质心的距离；
(3.2)对所有的Ri求均值记做令记σi的均值为选择为半径，质心为圆心做圆C；
(3.3)将圆C的圆心依次取遍红外图像的每一个像素点，并记录遍历过程中圆心的位置以及圆C包含的兴趣点的数目；取其中包含兴趣点数目最多的圆所覆盖的区域为显著区域，显著区域圆心为(xb,yb)；若遍历过程中有多个像素为符合条件的圆心值，则取这些像素位置的平均值为显著区域圆心；
(3.4)将显著区域内部兴趣点作为显著兴趣点保留，显著兴趣点集合为显著区域外的兴趣点为游离兴趣点剔除。
上述步骤四、对显著兴趣点求取凸包，是采用格雷厄姆扫描算法，包括如下步骤：
(4.1)对所有显著兴趣点排序，取左侧最低点为p0，取p0右侧最低点为p1，将过p0、p1的直线绕p0逆时针旋转，与直线先后相交的点依次编号为p2,p3,…pn-1；
(4.2)凸包搜索，①将p0,p1,p2三点依次放入堆栈；②令栈顶点为ptop，栈顶前一点为pnext-to-top；③令i＝3；④若i＞n，跳到步骤⑤，否则判断线段pnext-to-top ptop到线段pnext-to-top pi是否是“非逆时针旋转”，若是，点ptop出栈，继续判断，若不是，点pi进栈，i＝i+1，返回步骤④；⑤堆栈中的点就是点集凸包上的点；按顺序将堆栈中的点相连，就得到所求的显著兴趣点凸包。
上述步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合，包括如下步骤：
(6.1)目标区域融合
对于目标区域，其目的是尽可能地保持红外图像中的目标特性，因此，对于目标区域，制定如下融合规则：
IT F(x,y)＝Iir(x,y),(x,y)∈IT (7)
其中，IT表示目标区域，IT F表示融合图像的目标区域,Iir表示红外图像；
(6.2)背景区域融合
首先计算红外图像背景区域和可见光图像背景区域能量；选择大小为3×3的区域窗口计算
则
Ei,Ev分别是红外图像背景区域能量和可见光图像背景区域能量，Iv表示可见光图像，IB表示背景区域，IB F表示融合图像的背景区域。
本发明的有益效果：本发明提供的这种基于显著图和兴趣点凸包的红外与可见光图像融合方法，包括如下步骤：步骤一、对红外图像进行显著性检测，得到二值化显著图；步骤二、对红外图像进行兴趣点检测；步骤三、去掉游离的兴趣点得到显著兴趣点；步骤四、对显著兴趣点求取凸包；步骤五、通过对红外图像的二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合；因此，该基于显著图和兴趣点凸包的红外与可见光图像融合方法，由于兴趣点检测算法比起图像分割算法具有更好的通用性和稳定性，它有助于更可靠地提取出目标区域；由于对兴趣点检测结果进行了去游离点处理，能够剔除那些位于背景上的少数兴趣点，使得对显著兴趣点求取的凸包更加接近真实的目标；采用对显著兴趣点求凸包运算得到由兴趣点集合所确定的显著区域，该方法简单、快速、有效，能够降低图像融合算法的耗时；将显著图和兴趣点凸包结合起来确定最终的目标区域，将两种方法优势互补，能够提取出更加准确的目标区域，为提升融合性能奠定坚实基础。
以下将结合附图对本发明做进一步详细说明。
附图说明
图1为本发明的总流程图。
图2(a)为一幅红外图像；图2(b)为一幅可见光图像。
图3为用本发明对图2(a)提取的显著图。
图4为用本发明对图3的二值化结果图。
图5为用本发明对图2(a)进行兴趣点检测的结果。
图6为用本发明对图5去游离点后的显著兴趣点图。
图7为用本发明对图6中显著兴趣点求凸包后的结果。
图8为用本发明对图4和图7做”与”运算后的结果。
图9为用本发明对图2(a)和图2(b)融合后的结果。
具体实施方式
为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
实施例1：
参照图1，本发明的图像融合步骤如下：
步骤一，对红外图像进行显著性检测，得到二值化显著图。
(1.1)计算长度为M、宽度为N的红外图像的显著图S(x,y)：
S(x,y)＝|Ig(x,y)-Iu| (1)
Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑滤波，剔除噪声；Iu是红外图像的像素算数平均值；
(1.2)通过设定阈值TH，将大小为M*N的红外图像显著图二值化得SM(x,y)：
则：
对一幅如图2(a)所示的红外图像，利用上述方法检测出的显著图如图3所示，二值化后的显著图如图4所示。
上述红外图像经过高斯滤波后得到矢量图,采用的是3*3的模板进行滤波。
步骤二，对红外图像进行兴趣点检测。
对红外图像进行Harris兴趣点检测；Harris算子H为：
H＝det(C)-ktrace2(C) (4)
其中，Ix,Iy和Ixy分别为图像在x和y方向的偏导以及二阶混合偏导；k为经验值，通常取0.04～0.06；根据图像取出Harris算子值最大的n个点，得到图像的兴趣点图。
对一幅如图2(a)所示的红外图像，利用上述方法检测出的兴趣点结果如图5所示。
步骤三，去掉游离的兴趣点得到显著兴趣点。
(3.1)红外图像兴趣点集合为Q＝{q(x,y)|1≤x≤M,1≤y≤N}，兴趣点个数为n，则兴趣点质心O表示如下：
计算每个兴趣点到质心的距离Ri：
Ri＝[(xi-Ox)2+(yi-Oy)2]1/2,(xi,yi)∈Q,i＝1,2,...n (6)
其中，Ri为第i个兴趣点到质心的距离；
(3.2)对所有的Ri求均值记做令记σi的均值为选择为半径，质心为圆心做圆C；
(3.3)将圆C的圆心依次取遍红外图像的每一个像素点，并记录遍历过程中圆心的位置以及圆C包含的兴趣点的数目；取其中包含兴趣点数目最多的圆所覆盖的区域为显著区域，显著区域圆心为(xb,yb)；若遍历过程中有多个像素为符合条件的圆心值，则取这些像素位置的平均值为显著区域圆心；
(3.4)将显著区域内部兴趣点作为显著兴趣点保留，显著兴趣点集合为显著区域外的兴趣点为游离兴趣点剔除。
对图5所示的兴趣点检测结果去游离点后的显著兴趣点提取结果如图6所示。
步骤四，采用格雷厄姆扫描算法对显著兴趣点求取凸包。
(4.1)对所有显著兴趣点排序，取左侧最低点为p0，取p0右侧最低点为p1，将过p0、p1的直线绕p0逆时针旋转，与直线先后相交的点依次编号为p2,p3,…pn-1；
(4.2)凸包搜索，①将p0,p1,p2三点依次放入堆栈；②令栈顶点为ptop，栈顶前一点为pnext-to-top；③令i＝3；④若i＞n，跳到步骤⑤，否则判断线段pnext-to-top ptop到线段pnext-to-top pi是否是“非逆时针旋转”，若是，点ptop出栈，继续判断，若不是，点pi进栈，i＝i+1，返回步骤④；⑤堆栈中的点就是点集凸包上的点；按顺序将堆栈中的点相连，就得到所求的显著兴趣点凸包。
对图6所示的显著兴趣点集合求凸包结果如图7所示。
步骤五，通过对红外图像的二值化显著图SM和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域。
对图4所示的显著图和图7所示的显著兴趣点凸包进行“与”运算的结果如图8所示。
步骤六，分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合。
(6.1)目标区域融合
对于目标区域，其目的是尽可能地保持红外图像中的目标特性，因此，对于目标区域，制定如下融合规则：
IT F(x,y)＝Iir(x,y),(x,y)∈IT (7)
其中，IT表示目标区域，IT F表示融合图像的目标区域,Iir表示红外图像；
(6.2)背景区域融合
首先计算红外图像背景区域和可见光图像背景区域能量；选择大小为3×3的区域窗口计算
则
Ei,Ev分别是红外图像背景区域能量和可见光图像背景区域能量，Iv表示可见光图像，IB表示背景区域，IB F表示融合图像的背景区域。
图9是用本发明对图2(a)和图2(b)融合后的结果，由于采用显著图和兴趣点凸包提取了准确的目标区域，因此有效提升了融合性能。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，包括如下步骤：
步骤一、对红外图像进行显著性检测，得到二值化显著图；
步骤二、对红外图像进行兴趣点检测；
步骤三、去掉游离的兴趣点得到显著兴趣点；
步骤四、对显著兴趣点求取凸包；
步骤五、通过对红外图像的二值化显著图和凸包图像做“与”运算，得到目标区域，图像剩余部分作为背景区域；
步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合。
2.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤一、对红外图像进行显著性检测，得到二值化显著图，包括如下步骤：
(1.1)计算长度为M、宽度为N的红外图像的显著图S(x,y)：
S(x,y)＝|Ig(x,y)-Iu| (1)
Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑滤波，剔除噪声；Iu是红外图像的像素算数平均值；
(1.2)通过设定阈值TH，将大小为M*N的红外图像显著图二值化得SM(x,y)：
<mrow>
<mi>T</mi>
<mi>H</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mo>*</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>M</mi>
<mo>*</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
则：
<mrow>
<mi>S</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>T</mi>
<mi>H</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>s</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
3.如权利要求2所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于:所述红外图像经过高斯滤波后得到矢量图,采用的是3*3的模板进行滤波。
4.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤二、对红外图像进行兴趣点检测是对红外图像进行Harris兴趣点检测；Harris算子H为：
H＝det(C)-ktrace2(C) (4)
其中，Ix,Iy和Ixy分别为图像在x和y方向的偏导以及二阶混合偏导；k为经验值，取0.04～0.06；根据图像取出Harris算子值最大的n个点，得到图像的兴趣点图。
5.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤三、去掉游离的兴趣点得到显著兴趣点，包括如下步骤：
(3.1)红外图像兴趣点集合为Q＝{q(x,y)|1≤x≤M,1≤y≤N}，兴趣点个数为n，则兴趣点质心O表示如下：
<mrow>
<mi>O</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>O</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>n</mi>
</mrow>
</munder>
<mi>x</mi>
<mo>,</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>n</mi>
</mrow>
</munder>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
计算每个兴趣点到质心的距离Ri：
Ri＝[(xi-Ox)2+(yi-Oy)2]1/2,(xi,yi)∈Q,i＝1,2,...n (6)
其中，Ri为第i个兴趣点到质心的距离，M为红外图像的长度，N为红外图像的宽度；
(3.2)对所有的Ri求均值记做令记σi的均值为选择为半径，质心为圆心做圆C；
(3.3)将圆C的圆心依次取遍红外图像的每一个像素点，并记录遍历过程中圆心的位置以及圆C包含的兴趣点的数目；取其中包含兴趣点数目最多的圆所覆盖的区域为显著区域，显著区域圆心为(xb,yb)；若遍历过程中有多个像素为符合条件的圆心值，则取这些像素位置的平均值为显著区域圆心；
(3.4)将显著区域内部兴趣点作为显著兴趣点保留，显著兴趣点集合为显著区域外的兴趣点为游离兴趣点剔除。
6.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤四、对显著兴趣点求取凸包是采用格雷厄姆扫描算法，其步骤如下：
(4.1)对所有显著兴趣点排序，取左侧最低点为p0，取p0右侧最低点为p1，将过p0、p1的直线绕p0逆时针旋转，与直线先后相交的点依次编号为p2,p3,…pn-1；
(4.2)凸包搜索，①将p0,p1,p2三点依次放入堆栈；②令栈顶点为ptop，栈顶前一点为pnext-to-top；③令i＝3；④若i＞n，跳到步骤⑤，否则判断线段pnext-to-top ptop到线段pnext-to-toppi是否是“非逆时针旋转”，若是，点ptop出栈，继续判断，若不是，点pi进栈，i＝i+1，返回步骤④；⑤堆栈中的点就是点集凸包上的点；按顺序将堆栈中的点相连，就得到所求的显著兴趣点凸包。
7.如权利要求1所述的基于显著图和兴趣点凸包的红外与可见光图像融合方法，其特征在于，所述步骤六、分别对目标区域和背景区域采取不同的融合规则，实现红外与可见光图像的融合，包括如下步骤：
(6.1)目标区域融合
对于目标区域，其目的是尽可能地保持红外图像中的目标特性，因此，对于目标区域，制定如下融合规则：
IT F(x,y)＝Iir(x,y),(x,y)∈IT (7)
其中，IT表示目标区域，IT F表示融合图像的目标区域,Iir表示红外图像；
(6.2)背景区域融合
首先计算红外图像背景区域和可见光图像背景区域能量；选择大小为3*3的区域窗口计算
<mrow>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>1</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>1</mn>
</munderover>
<msup>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>m</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mi>v</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>1</mn>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>1</mn>
</munderover>
<msup>
<msub>
<mi>I</mi>
<mi>v</mi>
</msub>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>m</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
则
<mrow>
<msup>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mi>F</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<msub>
<mi>E</mi>
<mi>v</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mi>v</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>s</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
Ei,Ev分别是红外图像背景区域能量和可见光图像背景区域能量，Iv表示可见光图像，IB表示背景区域，IB F表示融合图像的背景区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510018267.8A CN104574335B (zh) | 2015-01-14 | 2015-01-14 | 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510018267.8A CN104574335B (zh) | 2015-01-14 | 2015-01-14 | 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104574335A CN104574335A (zh) | 2015-04-29 |
| CN104574335B true CN104574335B (zh) | 2018-01-23 |
Family
ID=53090314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510018267.8A Active CN104574335B (zh) | 2015-01-14 | 2015-01-14 | 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104574335B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005788B (zh) * | 2015-06-25 | 2018-08-28 | 中国计量学院 | 仿真人类低层视觉的目标感知方法 |
| CN105740859B (zh) * | 2016-01-27 | 2019-03-05 | 电子科技大学 | 一种基于几何测度和稀疏优化的三维兴趣点检测方法 |
| CN106204509B (zh) * | 2016-07-07 | 2019-12-17 | 西安电子科技大学 | 基于区域特性的红外与可见光图像融合方法 |
| US11182639B2 (en) * | 2017-04-16 | 2021-11-23 | Facebook, Inc. | Systems and methods for provisioning content |
| CN109238268A (zh) * | 2018-08-01 | 2019-01-18 | 北京理工大学 | 不规则小天体导航形心的最优外接椭圆提取方法 |
| CN111062905B (zh) * | 2019-12-17 | 2022-01-04 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
| CN111208521B (zh) * | 2020-01-14 | 2021-12-07 | 武汉理工大学 | 一种多波束前视声呐水下障碍物鲁棒检测方法 |
| CN116894864B (zh) * | 2023-09-06 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 凸包检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036398A2 (en) * | 2004-08-23 | 2006-04-06 | Sarnoff Corporation | Method and apparatus for producing a fused image |
| CN102722891A (zh) * | 2012-06-12 | 2012-10-10 | 大连理工大学 | 一种图像显著度检测的方法 |
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
| CN104123734A (zh) * | 2014-07-22 | 2014-10-29 | 西北工业大学 | 基于可见光和红外检测结果融合的运动目标检测方法 |
-
2015
- 2015-01-14 CN CN201510018267.8A patent/CN104574335B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036398A2 (en) * | 2004-08-23 | 2006-04-06 | Sarnoff Corporation | Method and apparatus for producing a fused image |
| CN102722891A (zh) * | 2012-06-12 | 2012-10-10 | 大连理工大学 | 一种图像显著度检测的方法 |
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
| CN104123734A (zh) * | 2014-07-22 | 2014-10-29 | 西北工业大学 | 基于可见光和红外检测结果融合的运动目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Frequency-tuned Salient Region Detection;R.Achanta 等;《Computer Vision and Pattern Recognition,CVPR,2009,IEEE conference on》;20090625;第4.4、5.2节，图6 * |
| 利用显著边界点的图像自动分割算法;高尚兵 等;《电光与控制》;20131130;第20卷(第11期);38-41 * |
| 基于侧向判别和侧向偏序排列的凸包生成算法;刘永和 等;《河南理工大学学报》;20060430;第25卷(第2期);130-133 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104574335A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104574335B (zh) | 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法 | |
| Zhao et al. | Fast segment anything | |
| CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| CN104036323B (zh) | 一种基于卷积神经网络的车辆检测方法 | |
| Gao et al. | Loop closure detection for visual slam systems using deep neural networks | |
| WO2020062433A1 (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
| Garcia-Pulido et al. | Recognition of a landing platform for unmanned aerial vehicles by using computer vision-based techniques | |
| CN109543606A (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN107368792A (zh) | 一种基于滤波器以及主干边缘的指静脉识别方法及系统 | |
| CN108021890B (zh) | 一种基于plsa和bow的高分遥感影像港口检测方法 | |
| CN107992819B (zh) | 一种车辆属性结构化特征的确定方法与装置 | |
| CN102819733B (zh) | 一种快速的街景图像中人脸的检测模糊方法 | |
| Chen et al. | Moving vehicle detection based on optical flow estimation of edge | |
| Granstrom et al. | Learning to detect loop closure from range data | |
| CN105513066B (zh) | 一种基于种子点选取与超像素融合的通用物体检测方法 | |
| Li et al. | Power line detection by pyramidal patch classification | |
| de Carvalho et al. | Bounding box-free instance segmentation using semi-supervised iterative learning for vehicle detection | |
| CN105069451A (zh) | 一种基于双目摄像头的车牌识别与定位方法 | |
| Pachón-Suescún et al. | Detection of Scratches on Cars by Means of CNN and R-CNN | |
| Kong et al. | Detecting slender objects with uncertainty based on keypoint-displacement representation | |
| Yue et al. | Lightweight and Efficient Tiny-Object Detection Based on Improved YOLOv8n for UAV Aerial Images | |
| CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 | |
| Xie et al. | Cross-modal Local Calibration and Global Context Modeling Network for RGB-Infrared Remote Sensing Object Detection | |
| CN111860654B (zh) | 一种基于循环神经网络的高光谱图像分类方法 | |
| CN103679738B (zh) | 基于颜色半径邻近域像素分类的图像边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |