CN107103596A - 一种基于yuv空间的彩色夜视图像融合方法 - Google Patents

一种基于yuv空间的彩色夜视图像融合方法 Download PDF

Info

Publication number
CN107103596A
CN107103596A CN201710286410.0A CN201710286410A CN107103596A CN 107103596 A CN107103596 A CN 107103596A CN 201710286410 A CN201710286410 A CN 201710286410A CN 107103596 A CN107103596 A CN 107103596A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
image
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710286410.0A
Other languages
English (en)
Inventor
颜微
马昊辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Source Letter Photoelectric Polytron Technologies Inc
Original Assignee
Hunan Source Letter Photoelectric Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Source Letter Photoelectric Polytron Technologies Inc filed Critical Hunan Source Letter Photoelectric Polytron Technologies Inc
Priority to CN201710286410.0A priority Critical patent/CN107103596A/zh
Publication of CN107103596A publication Critical patent/CN107103596A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于YUV空间的彩色夜视图像融合方法，首先确定参考图像以及夜视图像，然后对夜视图像进行预处理，把预处理后的图像先进行彩色融合，把参考图像以及彩色融合后的微光与红外图像进行YUV色彩空间转换；接着采用控向金字塔分别对经YUV色彩空间转换后的微光与红外图像和经YUV色彩空间转换后的参考图像中各颜色通道进行多分辨率分解，分别计算子带图像的均值和标准方差，通过参考图像与微光与红外图像在各子带的方差比调整微光与红外图像的子带系数值，再经金字塔重构并对重构后的图像进行RGB空间转换，就获得了一副色彩与参考图像类似的微光与红外彩色夜视图像。本发明提高了图像的细节信息，改善了彩色图像融合的自然性。

Description

一种基于YUV空间的彩色夜视图像融合方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于YUV空间的彩色夜视图像融合方法。
背景技术
夜视图像包括微光图像和红外图像。随着微光与红外成像技术的发展，综合和发掘微光与红外图像的特征信息，使其融合成信息更全面的图像已发展成为一种有效的技术手段。由于微光图像和红外图像都是单色图像，其最大的缺陷是低信噪比且图像缺乏深度感，不利于对目标的探测。
之所以彩色图像融合技术得到重视，是因为彩色图像提供的场景信息更多，能帮助观察者提高对场景理解的能力。图像色彩的真实性和自然性是对彩色夜视技术研究的主要组成部分，使融合后的图像与白天自然场景的图像色彩相同是彩色夜视技术的最终目标。
发明内容
针对上述已有技术的不足，本发明提供了一种基于YUV空间的彩色夜视图像融合方法，其能够很好综合其他算法的优点，基于彩色空间与控向金字塔变换融合结合的方法提高了图像的细节信息，改善了彩色图像融合的自然性。
本发明的技术方案是：
一种基于YUV空间的彩色夜视图像融合方法，包括以下步骤，首先确定参考图像以及夜视图像，夜视图像包括微光图像和红外图像。设定参考图像是为了最终得到的微光与红外彩色夜视图像的色彩传递效果；然后对夜视图像进行预处理，预处理之后的夜视图像即为待融合的微光与红外图像。把经预处理后的得到图像进行彩色融合。把彩色融合后的微光与红外图像进行YUV色彩空间转换，同样的对参考图像进行YUV色彩空间转换；接着通过控向金字塔分解将经色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经色彩空间转换处理后的微光与红外图像、参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，经上述处理后的微光与红外图像中的各子带的均值和方差均与参考图像的相同，对上述处理后的微光与红外图像进行控向金字塔重构，并对重构后的图像进行RGB空间转换，就获得了一副色彩与参考图像类似的微光与红外彩色夜视图像。
S1.对夜视图像(包括微光图像和红外图像)即源图像进行预处理
S1.1将夜视图像分成一系列互不重叠的相同大小的子图像；
S1.2采用式(1)对各子图像分别进行局部增强；
其中：n＝M×N,k＝0,1,...,L-1；M×N表示当前子图像的大小，ni表示当前子图像中灰度级为i的像素个数，L为当前子图像的图像灰度级数；t为拉伸系数；k为图像灰度级数范围。
S1.3为了消除人为产生的边缘信息，采用双线性内插法融合相邻子图像，对于相邻子图像边界上的任一像素点h(i,j)，其插值后的新值f'(i,j)为：
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分别为增强后图像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值。
S1.4夜视图像增强过程中，噪声也会得到放大。中值滤波器较其他平滑滤波器在消除噪声时可以较好地保持图像的细节，因此，对增强后的图像进行中值平滑滤波：
其中，g(i,j)、f'(i-k,j-1)分别为以像素h(i,j)为中心的窗口A内的中值以及窗口A内除中值以外的其他像素值。(k,l)为窗口A的尺寸大小。
经上述S1.1至S1.4处理后的夜视图像即为待融合的微光与红外图像。
S2将经S1预处理后得到的图像进行彩色融合
通过对红、绿、蓝三基色进行赋值就能得到彩色融合图像，融合的映射公式(按美国海军研究室NRL表示)表示为：
式(4)中IR是红外图像，Vis是微光图像。
S3将经S2彩色融合后的微光与红外图像进行YUV色彩空间转换，采用同样的方法对参考图像也进行YUV色彩空间转换；
将RGB空间转换到YUV空间，RGB彩色空间与YUV色彩空间转换关系如下：
S4控向金字塔的分解与重构
控向金字塔分解的方法是：控向金字塔分解在频域进行，如图2。待进行金字塔分解的图像通过傅里叶变换变换到频率域F(u,v)，先经过高通滤波器FH0和低通滤波器FL0分成高通自带H0和低通子带L0，L0再分解为方向q的带通子带Bq(使用方向带通滤波器FBq)和1个经1/2欠采样后频率更低的低通子带L1(使用窄带低通滤波器FL1)，q＝1时代表水平(0°)和垂直(90°)两个方向，q＝3时代表0°、45°、90°、135°四个方向。第一级低通子带L1可继续分解，获得多尺度多方向的金字塔结构。控向金字塔重构过程与控向金字塔分解过程相反。
通过控向金字塔分解将经S3色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经S3色彩空间转换处理后的微光与红外图像与参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，其表达式为：
其中：图像的均值和标准方差分别通过式(7)和式(8)求得：
式(7)中，μ是子带图像的均值，f(i,j)是子带图像，O×T是子带图像大小。
式(8)中σ是子带图像的标准方差。
式(6)中，参考图像的参量用下标r表示，微光与红外图像的参量用下标s表示，X表示颜色空间，μ和σ分别为子带图像的均值和标准方差。将微光与红外图像分别通过控向金字塔分解到各子带空间，参量：Bp,q表示图像第p层，第q个方向的带通子带图像，其中p(＝1,2,...,P)表示分解尺度，q(＝0,1,...,Q)表示分解方向；H表示微光和红外图像高通子带图像；LP表示对应的分解第J层(即最高层)的低通子带图像。
B'X,p,q表示带通子带的传递量结果；L'X,P表示低通子带的传递量结果；H'X表示高通子带的传递量结果。μ和σ分别为各子带图像的均值和标准方差。
经式(6)处理后的微光与红外图像中的各子带(B',L',H')的均值和方差均与参考图像的相同，对经式(6)处理后的微光与红外图像进行控向金字塔重构。
S5.对控向金字塔重构后的微光与红外图像进行YUV空间到RGB空间转换，就获得了一副色彩与参考图像类似的传递图像。
YUV空间到RGB空间的转换公式为：
采用本发明可以达到以下技术效果：
控向金字塔分解结构，把图像分解成不同尺度、不同方向的子带。相比拉普拉斯、梯度等金字塔结构，其可进行多方向的分解，提取图像的方向信息，更符合人眼辨别失误的特点，且具有平移不变性和旋转不变性、过完备和防混叠的特性。本发明以获得人眼视觉感知的彩色夜视图像为目的，提出了一种基于YUV空间的彩色夜视图像融合方法，研究YUV空间基于微光和红外彩色融合结构，为进一步改善彩色融合图像的色彩自然性，突出红外热目标，利用控向金字塔多尺度、多方向的特点，提出了基于多分辨率分解的色彩传递方法。不仅使彩色夜视图像拥有更符合真实场景的色彩，还可以提高其细节信息，改善场景感知，提升了融合图像目标探测能力。
本发明提出了一种基于YUV空间的彩色夜视图像融合方法，提出了利用多分辨率分解将参考图像的色彩传递给微光/红外的彩色融合入图像，选取一幅自然场景彩色图像作为参考，使用控向金字塔对彩色融合入图像和参考图像进行多分辨率分解，并在各子带图像内进行色彩传递，最终得到类似参考图像的彩色夜视图像。本发明不仅可以获得自然的场景信息，还能突出观察目标和边缘细节，既符合人眼的色彩感知，人眼观察舒适，还能提高融合图像目标检测能力。
附图说明
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
图1为本发明的流程图；
图2为本发明中的控向金字塔分解图；
图3为本发明的测试结果图对比。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
一种基于YUV空间的彩色夜视图像融合方法，包括以下步骤，首先确定参考图像以及夜视图像，夜视图像包括微光图像和红外图像。设定参考图像是为了最终得到的微光与红外彩色夜视图像的色彩传递效果；然后对夜视图像进行预处理，预处理之后的夜视图像即为待融合的微光与红外图像。把经预处理后的得到图像进行彩色融合。把彩色融合后的微光与红外图像进行YUV色彩空间转换，同样的对参考图像进行YUV色彩空间转换；接着通过控向金字塔分解将经色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经色彩空间转换处理后的微光与红外图像、参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，经上述处理后的微光与红外图像中的各子带的均值和方差均与参考图像的相同，对上述处理后的微光与红外图像进行控向金字塔重构，并对重构后的图像进行RGB空间转换，最终得到的微光与红外彩色夜视图像获得类似参考图像的自然感色彩。
S1.对夜视图像即源图像进行预处理
S1.1将夜视图像分成一系列互不重叠的相同大小的子图像；
S1.2采用式(1)对各子图像分别进行局部增强；
其中：n＝M×N,k＝0,1,...,L-1；M×N表示当前子图像的大小，ni表示当前子图像中灰度级为i的像素个数，L为当前子图像的图像灰度级数；t为拉伸系数；k为图像灰度级数范围。
S1.3为了消除人为产生的边缘信息，采用双线性内插法融合相邻子图像，对于相邻子图像边界上的任一像素点h(i,j)，其插值后的新值f'(i,j)为：
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分别为增强后图像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值。
S1.4夜视图像增强过程中，噪声也会得到放大。中值滤波器较其他平滑滤波器在消除噪声时可以较好地保持图像的细节，因此，对增强后的图像进行中值平滑滤波：
其中，g(i,j)、f'(i-k,j-1)分别为以像素h(i,j)为中心的窗口A内的中值以及窗口A内除中值以外的其他像素值。(k,l)为窗口A的尺寸大小。
经上述S1.1至S1.4处理后的夜视图像即为待融合的微光与红外图像。
S2将经S1预处理后的图像进行彩色融合
通过对红、绿、蓝三基色进行赋值就能得到彩色融合图像，融合的映射公式表示为：
式(4)中IR是红外图像，Vis是微光图像。
S3将经S2彩色融合后的微光与红外图像进行YUV色彩空间转换，采用同样的方法对参考图像也进行YUV色彩空间转换；
将RGB空间转换到YUV空间，RGB彩色空间与YUV色彩空间转换关系如下：
S4控向金字塔的分解与重构
控向金字塔分解的方法是：控向金字塔分解在频域进行，如图2。待进行金字塔分解的图像通过傅里叶变换变换到频率域F(u,v)，先经过高通滤波器FH0和低通滤波器FL0分成高通自带H0和低通子带L0，L0再分解为方向q的带通子带Bq(使用方向带通滤波器FBq)和1个经1/2欠采样后频率更低的低通子带L1(使用窄带低通滤波器FL1)，q＝1时代表水平(0°)和垂直(90°)两个方向，q＝3时代表0°、45°、90°、135°四个方向。第一级低通子带L1可继续分解，获得多尺度多方向的金字塔结构。控向金字塔重构过程与控向金字塔分解过程相反。
通过控向金字塔分解将经S3色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经S3色彩空间转换处理后的微光与红外图像与参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，其表达式为：
其中：子带图像的均值和标准方差分别通过式(7)和式(8)求得：
式(7)中，μ是子带图像的均值，f(i,j)是子带图像，O×T是子带图像的大小。
式(8)中σ是子带图像的标准方差。
式(6)中，参考图像的参量用下标r表示，微光与红外图像的参量用下标s表示，X表示颜色空间，μ和σ分别为子带图像的均值和标准方差。将微光与红外图像分别通过控向金字塔分解到各子带空间，参量：Bp,q表示图像第p层，第q个方向的带通子带图像，其中p(＝1,2,...,P)表示分解尺度，q(＝0,1,...,Q)表示分解方向；H表示微光和红外图像高通子带图像；LP表示对应的分解第J层(即最高层)的低通子带图像。
B'X,p,q表示带通子带的传递量结果；L'X,P表示低通子带的传递量结果；H'X表示高通子带的传递量结果。μ和σ分别为各子带图像的均值和标准方差。
经式(6)处理后的微光与红外图像中的各子带(B',L',H')的均值和方差均与参考图像的相同，对经式(6)处理后的微光与红外图像进行控向金字塔重构。
S5.对控向金字塔重构后的微光与红外图像进行YUV空间到RGB空间转换，就获得了一副色彩与参考图像类似的传递图像。
YUV空间到RGB空间的转换公式为：
控向金字塔分解结构，把图像分解成不同尺度、不同方向的子带。相比拉普拉斯、梯度等金字塔结构，其可进行多方向的分解，提取图像的方向信息，更符合人眼辨别失误的特点，且具有平移不变性和旋转不变性、过完备和防混叠的特性。本发明以获得人眼视觉感知的彩色夜视图像为目的，提出了一种基于YUV空间的彩色夜视图像融合方法，研究YUV空间基于微光和红外彩色融合结构，为进一步改善彩色融合图像的色彩自然性，突出红外热目标，利用控向金字塔多尺度、多方向的特点，提出了基于多分辨率分解的色彩传递方法。不仅使彩色夜视图像拥有更符合真实场景的色彩，还可以提高其细节信息，改善场景感知，提升了融合图像目标探测能力。
如图3所示处理效果图比较可知，本发明提出的方法处理的结果，色彩自然，且边缘突出。仔细观察可知，图像中细节信息丰富，热目标也更清晰。
图3(a)和图3(b)分别为红外图像和微光图像，即原始夜视图像(也即源图像)，图3(c)是通过NRL融合方法处理后的融合图像，可看出图像对比度太高，不适合人眼观察。图3(d)为参考图像。图3(e)是色彩传递的结果图像，这个图像是利用参考图像进行的。图3(f)是本发明算法处理后的图像，色彩自然，且边缘突出。仔细观察可知，图像中细节信息丰富，目标也更清晰。
本发明中提出的方法实际上可嵌入FPGA实现，开发具有图像融合的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于YUV空间的彩色夜视图像融合方法，其特征在于：包括以下步骤，
S1、首先确定参考图像以及夜视图像，设定参考图像是为了最终得到的微光与红外彩色夜视图像的色彩传递效果；
S2、对夜视图像进行预处理，预处理之后的夜视图像即为待融合的微光与红外图像；
S3、把经S2预处理后得到的图像进行彩色融合，得到彩色融合后的微光与红外图像；
S4、把彩色融合后的微光与红外图像进行YUV色彩空间转换，同样的对参考图像进行YUV色彩空间转换；
S5、通过控向金字塔分解将经色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经色彩空间转换处理后的微光与红外图像、参考图像在对应通道和子带内进行均值和标准方差的传递，经上述处理后的微光与红外图像中的各子带的均值和标准方差均与参考图像的相同，对上述处理后的微光与红外图像进行控向金字塔重构，并对重构后的图像进行RGB空间转换，就获得了一副色彩与参考图像类似的微光与红外彩色夜视图像。
2.根据权利要求1所述的基于YUV空间的彩色夜视图像融合方法，其特征在于：S2包括以下步骤：
S2.1将夜视图像分成一系列互不重叠的相同大小的子图像；
S2.2采用式(1)对各子图像分别进行局部增强；
<mrow> <mi>t</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>k</mi> </munderover> <mfrac> <msub> <mi>n</mi> <mi>i</mi> </msub> <mi>n</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中：n＝M×N,k＝0,1,...,L-1；M×N表示当前子图像的大小，ni表示当前子图像中灰度级为i的像素个数，L为当前子图像的图像灰度级数；t为拉伸系数；k为图像灰度级数范围；
S2.3为了消除人为产生的边缘信息，采用双线性内插法融合相邻子图像，对于相邻子图像边界上的任一像素点h(i,j)，其插值后的新值f'(i,j)为：
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>x</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>y</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>x</mi> <mi>y</mi> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分别为增强后图像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值；
S2.4对增强后的图像进行中值平滑滤波：
<mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>e</mi> <mi>d</mi> <mi>i</mi> <mi>a</mi> <mi>n</mi> </mrow> <mi>A</mi> </munder> <mo>{</mo> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mi>k</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>,</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mi>A</mi> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，g(i,j)、f'(i-k,j-1)分别为以像素h(i,j)为中心的窗口A内的中值以及窗口A内除中值以外的其他像素值。(k,l)为窗口A的尺寸大小；
经上述S2.1至S2.4处理后的夜视图像即为待融合的微光与红外图像。
3.根据权利要求2所述的基于YUV空间的彩色夜视图像融合方法，其特征在于：S3中，通过对红、绿、蓝三基色进行赋值就能得到彩色融合图像，融合的映射公式表示为：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>R</mi> </mtd> </mtr> <mtr> <mtd> <mi>G</mi> </mtd> </mtr> <mtr> <mtd> <mi>B</mi> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>I</mi> <mi>R</mi> </mtd> </mtr> <mtr> <mtd> <mi>V</mi> <mi>i</mi> <mi>s</mi> </mtd> </mtr> <mtr> <mtd> <mi>V</mi> <mi>i</mi> <mi>s</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
式(4)中IR是红外图像，Vis是微光图像。
4.根据权利要求3所述的基于YUV空间的彩色夜视图像融合方法，其特征在于：S4中，YUV色彩空间转换是将RGB空间转换到YUV空间，RGB彩色空间与YUV色彩空间转换关系如下：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mi>U</mi> </mtd> </mtr> <mtr> <mtd> <mi>V</mi> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>0.299</mn> </mtd> <mtd> <mn>0.578</mn> </mtd> <mtd> <mn>0.144</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>0.147</mn> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mn>0.289</mn> </mrow> </mtd> <mtd> <mn>0.436</mn> </mtd> </mtr> <mtr> <mtd> <mn>0.615</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>0.515</mn> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mn>0.100</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>R</mi> </mtd> </mtr> <mtr> <mtd> <mi>G</mi> </mtd> </mtr> <mtr> <mtd> <mi>B</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
5.根据权利要求1所述的基于YUV空间的彩色夜视图像融合方法，其特征在于：S5中，控向金字塔分解的方法是：控向金字塔分解在频域进行，先待进行金字塔分解的图像通过傅里叶变换变换到频率域F(u,v)，然后经过高通滤波器FH0和低通滤波器FL0分成高通自带H0和低通子带L0，L0再分解为方向q的带通子带Bq和1个经1/2欠采样后频率更低的低通子带L1，其中q＝1时代表水平和垂直两个方向，q＝3时代表0°、45°、90°、135°四个方向；低通子带L1可继续分解，获得多尺度多方向的金字塔结构；控向金字塔重构过程与控向金字塔分解过程相反，为其逆向过程。
6.根据权利要求1所述的基于YUV空间的彩色夜视图像融合方法，其特征在于：S5中通过控向金字塔分解将经色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经色彩空间转换处理后的微光与红外图像、参考图像在对应通道和子带内进行均值和标准方差的传递，其表达式为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <msup> <mi>B</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>X</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;sigma;</mi> <msub> <mi>B</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>r</mi> <mo>,</mo> <mi>q</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </msub> <msub> <mi>&amp;sigma;</mi> <msub> <mi>B</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> </msub> </mfrac> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>B</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>B</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>r</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <msup> <mi>L</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>X</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;sigma;</mi> <msub> <mi>L</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>r</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> </msub> <msub> <mi>&amp;sigma;</mi> <msub> <mi>L</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> </msub> </mfrac> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>L</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>L</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>r</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <msup> <mi>H</mi> <mo>&amp;prime;</mo> </msup> <mi>X</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;sigma;</mi> <msub> <mi>H</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>r</mi> </mrow> </msub> </msub> <msub> <mi>&amp;sigma;</mi> <msub> <mi>H</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> </mrow> </msub> </msub> </mfrac> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>H</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>s</mi> </mrow> </msub> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;mu;</mi> <msub> <mi>X</mi> <mrow> <mi>X</mi> <mo>,</mo> <mi>r</mi> </mrow> </msub> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
式(6)中，参考图像的参量用下标r表示，微光与红外图像的参量用下标s表示，X表示颜色空间，μ和σ分别为子带图像的均值和标准方差。将微光与红外图像分别通过控向金字塔分解到各子带空间，参量：Bp,q表示图像第p层，第q个方向的带通子带图像，其中p(＝1,2,...,P)表示分解尺度，q(＝0,1,...,Q)表示分解方向；H表示微光和红外图像高通子带图像；LP表示对应的分解第J层(即最高层)的低通子带图像；
经式(6)处理后的微光与红外图像中的各子带(B',L',H')的均值和方差均与参考图像的相同，对经式(6)处理后的微光与红外图像进行控向金字塔重构。
7.根据权利要求6所述的基于YUV空间的彩色夜视图像融合方法，其特征在于：各子带图像的均值和标准方差分别通过式(7)和式(8)求得：
<mrow> <mi>&amp;mu;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>O</mi> <mo>&amp;times;</mo> <mi>T</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>O</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
式(7)中，μ是子带图像的均值，f(i,j)是子带图像，O×T是子带图像大小；
<mrow> <mi>&amp;sigma;</mi> <mo>=</mo> <msqrt> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>O</mi> <mo>&amp;times;</mo> <mi>T</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>O</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <msup> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>-</mo> <mi>&amp;mu;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式(8)中σ是子带图像标准方差。
CN201710286410.0A 2017-04-27 2017-04-27 一种基于yuv空间的彩色夜视图像融合方法 Pending CN107103596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710286410.0A CN107103596A (zh) 2017-04-27 2017-04-27 一种基于yuv空间的彩色夜视图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710286410.0A CN107103596A (zh) 2017-04-27 2017-04-27 一种基于yuv空间的彩色夜视图像融合方法

Publications (1)

Publication Number Publication Date
CN107103596A true CN107103596A (zh) 2017-08-29

Family

ID=59657912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710286410.0A Pending CN107103596A (zh) 2017-04-27 2017-04-27 一种基于yuv空间的彩色夜视图像融合方法

Country Status (1)

Country Link
CN (1) CN107103596A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895356A (zh) * 2017-12-04 2018-04-10 山东大学 一种基于steerable pyramid的近红外图像增强方法
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108154493A (zh) * 2017-11-23 2018-06-12 南京理工大学 一种基于fpga的双波段红外图像伪彩融合算法
CN109377468A (zh) * 2018-10-09 2019-02-22 湖南源信光电科技股份有限公司 基于多特征的红外辐射和偏振图像的伪彩色融合方法
CN109756685A (zh) * 2017-11-07 2019-05-14 科盾科技股份有限公司 一种基于图像拼接和图像融合的车载夜视系统
CN110930311A (zh) * 2018-09-19 2020-03-27 杭州萤石软件有限公司 一种提高红外图像与可见光图像融合的信噪比方法与装置
CN111815548A (zh) * 2020-07-07 2020-10-23 昆明物理研究所 一种中长波双波段红外图像融合方法
CN112184588A (zh) * 2020-09-29 2021-01-05 哈尔滨市科佳通用机电股份有限公司 一种针对故障检测的图像增强系统及方法
CN112217962A (zh) * 2019-07-10 2021-01-12 杭州海康威视数字技术股份有限公司 摄像机及图像生成方法
CN114693579A (zh) * 2022-05-23 2022-07-01 北京物资学院 一种物流货仓内监控图像处理系统
CN115100081A (zh) * 2022-08-24 2022-09-23 深圳佳弟子科技有限公司 Lcd显示屏灰阶图像增强方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069769A (zh) * 2015-08-26 2015-11-18 哈尔滨工业大学 一种微光与红外夜视图像融合方法
CN105590305A (zh) * 2016-03-04 2016-05-18 温健阳 基于红外与微光图像融合技术的彩色夜视系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069769A (zh) * 2015-08-26 2015-11-18 哈尔滨工业大学 一种微光与红外夜视图像融合方法
CN105590305A (zh) * 2016-03-04 2016-05-18 温健阳 基于红外与微光图像融合技术的彩色夜视系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
史世明 等: "基于多分辨率色彩传递的彩色夜视方法研究", 《光子学报》 *
钱小燕 等: "基于YUV空间的彩色夜视融合方法", 《计算机应用》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756685A (zh) * 2017-11-07 2019-05-14 科盾科技股份有限公司 一种基于图像拼接和图像融合的车载夜视系统
CN108154493B (zh) * 2017-11-23 2021-11-30 南京理工大学 一种基于fpga的双波段红外图像伪彩融合算法
CN108154493A (zh) * 2017-11-23 2018-06-12 南京理工大学 一种基于fpga的双波段红外图像伪彩融合算法
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN107895356A (zh) * 2017-12-04 2018-04-10 山东大学 一种基于steerable pyramid的近红外图像增强方法
CN110930311A (zh) * 2018-09-19 2020-03-27 杭州萤石软件有限公司 一种提高红外图像与可见光图像融合的信噪比方法与装置
CN110930311B (zh) * 2018-09-19 2023-04-25 杭州萤石软件有限公司 一种提高红外图像与可见光图像融合的信噪比方法与装置
CN109377468A (zh) * 2018-10-09 2019-02-22 湖南源信光电科技股份有限公司 基于多特征的红外辐射和偏振图像的伪彩色融合方法
CN112217962A (zh) * 2019-07-10 2021-01-12 杭州海康威视数字技术股份有限公司 摄像机及图像生成方法
CN112217962B (zh) * 2019-07-10 2022-04-05 杭州海康威视数字技术股份有限公司 摄像机及图像生成方法
CN111815548A (zh) * 2020-07-07 2020-10-23 昆明物理研究所 一种中长波双波段红外图像融合方法
CN111815548B (zh) * 2020-07-07 2023-11-03 昆明物理研究所 一种中长波双波段红外图像融合方法
CN112184588A (zh) * 2020-09-29 2021-01-05 哈尔滨市科佳通用机电股份有限公司 一种针对故障检测的图像增强系统及方法
CN114693579A (zh) * 2022-05-23 2022-07-01 北京物资学院 一种物流货仓内监控图像处理系统
CN115100081A (zh) * 2022-08-24 2022-09-23 深圳佳弟子科技有限公司 Lcd显示屏灰阶图像增强方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107103596A (zh) 一种基于yuv空间的彩色夜视图像融合方法
He et al. Multimodal medical image fusion based on IHS and PCA
Alleysson et al. Linear demosaicing inspired by the human visual system
CN107203985A (zh) 一种端到端深度学习框架下的多曝光图像融合方法
CN102542549B (zh) 基于压缩感知的多光谱与全色图像超分辨融合方法
CN101609549B (zh) 视频模糊图像的多尺度几何分析超分辨处理方法
CN103854267B (zh) 一种基于变分与分数阶微分的图像融合与超分辨率实现方法
CN106960428A (zh) 可见光和红外双波段图像融合增强方法
CN104867124B (zh) 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN109102485A (zh) 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN103607589B (zh) 基于层次选择性视觉注意力机制的jnd阈值计算方法
CN106664368A (zh) 图像处理装置、图像处理方法、记录介质以及程序
CN105160647A (zh) 一种全色多光谱影像融合方法
CN104537678A (zh) 一种从单幅遥感图像中去除云雾的方法
CN101216557B (zh) 残差超复数对偶分解的多光谱和全色图像融合方法
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN106485684B (zh) 一种基于双树复小波变换的单幅图像去云雾方法
CN105225213A (zh) 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法
CN107545554A (zh) 一种基于导向滤波的两级遥感图像融合方法
CN106056565A (zh) 一种基于多尺度形态学双边滤波分解和对比度压缩的mri与pet图像融合方法
Patel et al. A review on infrared and visible image fusion techniques
Lu et al. Pan-sharpening by multilevel interband structure modeling
Ahuja et al. A survey of satellite image enhancement techniques
Huang Wavelet for image fusion
CN112734679A (zh) 一种医学手术视频图像的融合去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170829

RJ01 Rejection of invention patent application after publication