CN108510460B - 一种基于双色空间的假彩色图像融合方法 - Google Patents

一种基于双色空间的假彩色图像融合方法 Download PDF

Info

Publication number
CN108510460B
CN108510460B CN201810317201.2A CN201810317201A CN108510460B CN 108510460 B CN108510460 B CN 108510460B CN 201810317201 A CN201810317201 A CN 201810317201A CN 108510460 B CN108510460 B CN 108510460B
Authority
CN
China
Prior art keywords
sigma
values
image
information
space information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810317201.2A
Other languages
English (en)
Other versions
CN108510460A (zh
Inventor
曾邦泽
赵德利
李泽民
朱尤攀
潘超
胡健钏
孙爱平
潘雪娟
汪陈跃
欧阳慧明
李广
成然
王琦艺
张皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming Institute of Physics
Original Assignee
Kunming Institute of Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Institute of Physics filed Critical Kunming Institute of Physics
Priority to CN201810317201.2A priority Critical patent/CN108510460B/zh
Publication of CN108510460A publication Critical patent/CN108510460A/zh
Application granted granted Critical
Publication of CN108510460B publication Critical patent/CN108510460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明涉及一种基于双色空间的假彩色图像融合方法，属于图像融合技术领域。该方法首先对参考图像RGB、YCbCr图像信息的均值、标准差计算；之后根据输入图像灰度值Y，计算出其RGB、YCbCr信息，再根据计算出的RGB、YCbCr信息，计算出对应均值和标准差值；根据参考图像和输入图像的YCbCr的空间信息的均值和标准差，计算第二次YCbCr的空间信息,并将其转换为RGB空间信息，同时根据参考图像和输入图像的RGB空间信息均值和标准差，计算第二次RGB的空间信息；接着将第二次YCbCr的空间转换出的RGB信息与第二次RGB空间信息进行融合，最后将假彩色图像显示出来。该方法融合图像不存在马赛克现象，色彩还原度高，融合图像信息不会被颜色掩盖，能够实时通过FPGA进行算法移植。

Description

一种基于双色空间的假彩色图像融合方法
技术领域
本发明属于图像融合技术领域，具体涉及一种基于双色空间的假彩色图像融合方法。
背景技术
假彩色图像融合实现不同图像间的信息互补，以增强图像中信息的透明度，对目标清晰、完整、准确的描述，为后续的决策提供可靠的信息支持。
基于双色空间的假彩色图像融合技术目前专利未见报道，传统的假彩色图像融合主要运用于红外与可见光、红外与微光的双通道融合中，其使用的主要方法有，基于空域、变换域和传统色彩传递的方法。空域的方法需要对原始图像划分成若干个子图像，选择适当的模糊测度及融合规定来得到融合图像。对于频域的方法，典型的有基于小波变换的融合方法。
基于空域的方法尽管有计算简单、复杂度低的优点，但其最大的缺点就是融合后图像容易出现马赛克效应，同时存在一定的模糊失真。
基于变换域的方法虽然不存在马赛克效应，但融合图像会出现颜色失真和模糊效应，色彩还原度不高。
传统的色彩传递过程主要按照下面公式进行转换：
Figure BDA0001624178370000011
式中：s.t分别表示源图像和参考图像，a，b，c分别表示各颜色空间的分量，
Figure BDA0001624178370000012
和
Figure BDA0001624178370000013
分别表示源图像θ分量和参考图像θ分量的均值，
Figure BDA0001624178370000014
和
Figure BDA0001624178370000015
分别为源图像和参考图像的标准差，根据原始图像的颜色空间分量的期望与标准差值，计算出融合图像的颜色空间分量，最终进行显示，得到假彩色融合图像信息。
基于传统的色彩传递融合方法，虽然能够根据不同的参考图像，得到不同的融合效果，但是融合图像颜色与实际场景差距较大，容易造成图像信息被颜色覆盖的情况，造成图像信息丢失。
因此如何克服现有技术的不足是目前图像融合技术领域亟需解决的问题。
发明内容
本发明的目的是为了解决现有技术的不足，提供一种基于双色空间的假彩色图像融合方法，该方法融合图像不存在马赛克现象，色彩还原度高，图像失真小，融合图像信息不会被颜色掩盖，且易于工程实现，能够实时通过FPGA进行算法移植。
为实现上述目的，本发明采用的技术方案如下：
一种基于双色空间的假彩色图像融合方法，其特征在于，包括如下步骤：
步骤(1)，选择一幅彩色图像作为参考图像，之后根据参考图像的RGB空间信息T(R0)、T(G0)、T(B0)值，分别计算出参考图像对应的YCbCr空间信息P(Y0)、P(Cb0)、P(Cr0)值；
P(Y0)＝0.257*T(R0)+0.564*T(G0)+0.098*T(B0)+16；
P(Cb0)＝-0.148*T(R0)-0.291*T(G0)+0.439*T(B0)+128；
P(Cr0)＝0.439*T(R0)-0.368*T(G0)-0.071*T(B0)+128；
步骤(2)，根据参考图像T(R0)、T(G0)和T(B0)值，分别计算出参考图像R空间信息、G空间信息和B空间信息的均值，分别记为u(R0)、u(G0)、u(B0)；再分别计算出参考图像R空间信息、G空间信息和B空间信息的标准差值，分别记为σ(R0)、σ(G0)、σ(B0)，计算公式如下：
同时，根据参考图像P(Y0)、P(Cb0)和P(Cr0)值，分别计算出参考图像Y空间信息、Cb空间信息和Cr空间信息的均值，分别记为u(Y0)、u(Cb0)、u(Cr0)；再分别计算出参考图像Y空间信息、Cb空间信息和Cr空间信息的标准差值，分别记为σ(Y0)、σ(Cb0)、σ(Cr0)；
步骤(3)，根据待处理视频图像的灰度值Y，计算新的R空间信息、G空间信息、B空间信息、Y空间信息、Cb空间信息和Cr空间信息，分别记为T(RS)、T(GS)、T(BS)、P(YS)、P(CbS)、P(CrS)；所述的待处理视频图像有两幅，为同一画面的两个通道的视频图像，记为图像ir和图像llp；
计算公式如下：
T(RS)＝(Y(ir)+Y(llp))/2；
T(GS)＝max(Y(ir)，Y(llp))；
T(BS)＝Y(llp)；
P(YS)＝(Y(ir)+Y(llp))/2；
P(CbS)＝max(Y(ir)，Y(llp))；
P(CrS)＝Y(llp)；
步骤(4)，根据步骤(3)计算出来的R空间信息、G空间信息和B空间信息T(RS)、T(GS)和T(BS)，分别计算出对应均值和标准差值，均值分别记为u(RS)、u(GS)、u(BS)，标准差值分别记为σ(RS)、σ(GS)、σ(BS)；
同时，根据步骤(3)计算出来的Y空间信息、Cb空间信息和Cr空间信息P(YS)、P(CbS)和P(CrS)，分别计算出对应均值和标准差值，均值分别记为u(YS)、u(CbS)、u(CrS)，标准差值分别记为σ(YS)、σ(CbS)、σ(CrS)；
步骤(5)，根据步骤(2)计算所得值u(Y0)、u(Cb0)、u(Cr0)、σ(Y0)、σ(Cb0)、σ(Cr0)和步骤(4)计算值u(YS)、u(CbS)、u(CrS)、σ(YS)、σ(CbS)、σ(CrS)，分别计算出第二次YCbCr值，记为P(YT)、P(CbT)、P(CrT)；计算公式如下：
Figure BDA0001624178370000031
Figure BDA0001624178370000032
Figure BDA0001624178370000033
步骤(6)，将步骤(5)计算得到的P(YT)、P(CbT)、P(CrT)转成成RGB空间信息，记为T(RT)、T(GT)、T(BT)；转换公式如下：
T(RT)＝1.164*(P(YT)-16)+1.596*(P(CrT)-128)；
T(GT)＝1.164*(P(YT)-16)-0.392*(P(CbT)-128)-0.813*(P(CrT)-128)；
T(BT)＝1.164*(P(YT)-16)+2.017*(P(CbT)-128)；
步骤(7)，根据步骤(2)和步骤(4)计算出来的u(R0)、u(G0)、u(B0)、σ(R0)、σ(G0)、σ(B0)和u(RS)、u(GS)、u(BS)、σ(RS)、σ(GS)、σ(BS)，计算第二次RGB值，记为T(RT1)、T(GT1)、T(BT1)；计算公式如下：
Figure BDA0001624178370000041
Figure BDA0001624178370000042
Figure BDA0001624178370000043
步骤(8)，根据步骤(6)计算得到的T(RT)、T(GT)、T(BT)和步骤(7)计算得到的T(RT1)、T(GT1)、T(BT1)，计算第三次RGB值，记为T(RT2)、T(GT2)、T(BT2)；计算公式如下：
T(RT2)＝α*T(RT)+(1-α)*T(RT1)
T(GT2)＝α*T(GT)+(1-α)*T(GT1)；
T(BT2)＝α*T(BT)+(1-α)*T(BT1)
其中，0＜α＜1
步骤(9)，将步骤(8)得到的T(RT2)、T(GT2)、T(BT2)转为YCbCr空间下，得到图像ir和图像llp的融合假彩色图像；
P(YL)＝0.257*T(RT2)+0.564*T(GT2)+0.098*T(BT2)+16；
P(CbL)＝-0.148*T(RT2)-0.291*T(GT)+0.439*T(BT2)+128；
P(CrL)＝0.439*T(RT2)-0.368*T(GT2)-0.071*T(BT2)+128。
进一步，优选的是，能够实时处理双通道输入50Hz/s的视频图像，参考图像与将要融合输出的彩色图像色彩还原度达到80％。
进一步，优选的是，所述的α为0.5。
本发明中，参考图像的选择可以根据不同的场景进行选取。
本发明能够实时通过FPGA实现，融合效果更佳有利于人眼观察，不会产生马赛克现象，融合图像信息损失小，能够在保证色彩度的同事保留图像原始信息。
本发明中进行了多次YCbCr空间和RGB空间的转换，主要目的在于对参考图像和待融合图像进行均值和标准差的不同空间统计，有利于在RGB空间实现融合。
本发明转换次数为实现中提出的最优次数，通过这些转换得到的融合输出图像色彩还原度更高，如果转换次数再增加，将增加缓存，造成延时，图像输出帧频会小于25Hz/s。
本发明与现有技术相比，其有益效果为：
1、采用本发明方法，视频图像ir和视频图像llp融合结果不会产生明显的滞后情况，实时进行融合；
2、通过本发明方法，融合假彩色更加接近真实色彩，根据参考图像的选择，能够实现接近与森林、沙漠、雪地、海洋等色彩模式；
3、本发明方法实现的假彩色模式不会出现马赛克现象，图像失真度小，能够最大化保留原始图像信息。
4、与现有技术相比，本发明方法能够实时处理双通道输入50Hz/s的视频图像，参考图像与将要融合输出的彩色图像色彩还原度可以达到80％。
附图说明
图1为参考图像c；
图2为第一通道的待处理视频图像ir；
图3为第二通道的待处理视频图像llp；
图4为融合得到的假彩色图像；
图5为本发明方法流程图。
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
本发明实施例中均值和标准差的计算通式如下：
Figure BDA0001624178370000051
Figure BDA0001624178370000052
为了说明具体的实施过程，假设参考图像c的RGB信息是3×3的矩阵大小，其中T(R0)，T(G0)，T(B0)分别表示参考图像的R空间信息、G空间信息、B空间信息，如表1-3所示。
表1参考图像c的R空间信息
T11(R0) T12(R0) T13(R0)
T21(R0) T22(R0) T23(R0)
T31(R0) T32(R0) T33(R0)
表2参考图像c的G空间信息
T11(G0) T12(G0) T13(G0)
T21(G0) T22(G0) T23(G0)
T31(G0) T32(G0) T33(G0)
表3参考图像c的B空间信息
T11(B0) T12(B0) T13(B0)
T21(B0) T22(B0) T23(B0)
T31(B0) T32(B0) T33(B0)
为了说明具体的实施过程，假设待处理视频图像有两幅，为同一画面的两个通道的视频图像，记为图像ir和图像llp，均为3×3的矩阵大小，如表4、表5所示，其中Y(ir)和Y(llp)分别代表输入源图像ir和源图像llp信息的灰度值；
表4 ir图3×3矩阵
Y11(ir) Y12(ir) Y13(ir)
Y21(ir) Y22(ir) Y23(ir)
Y31(ir) Y32(ir) Y33(ir)
表5 llp图3×3矩阵
Y11(llp) Y12(llp) Y13(llp)
Y21(llp) Y22(llp) Y23(llp)
Y31(llp) Y32(llp) Y33(llp)
下面针对参考图像和源图像矩阵模式，将给出详细的实施步骤，流程图如图5所示：
步骤(1)，根据参考图像c(如图1)的RGB矩阵(如表1-3所示)分别计算出参考图像对应的YCbCr空间信息Y0，Cb0，Cr0值，分别记为P(Y0)、P(Cb0)、P(Cr0)详细的计算公式如下：
P11(Y0)＝0.257*T11(R0)+0.564*T11(G0)+0.098*T11(B0)+16；
P12(Y0)＝0.257*T12(R0)+0.564*T12(G0)+0.098*T12(B0)+16；
P13(Y0)＝0.257*T13(R0)+0.564*T13(G0)+0.098*T13(B0)+16；
……
P33(Y0)＝0.257*T33(R0)+0.564*T33(G0)+0.098*T33(B0)+16。
P11(Cb0)＝-0.148*T11(R0)-0.291*T11(G0)+0.439*T11(B0)+128；
P12(Cb0)＝-0.148*T12(R0)-0.291*T12(G0)+0.439*T12(B0)+128；
P13(Cb0)＝-0.148*T13(R0)-0.291*T13(G0)+0.439*T13(B0)+128；
……
P33(Cb0)＝-0.148*T33(R0)-0.291*T33(G0)+0.439*T33(B0)+128。
P11(Cr0)＝0.439*T11(R0)-0.368*T11(G0)-0.071*T11(B0)+128；
P12(Cr0)＝0.439*T12(R0)-0.368*T12(G0)-0.071*T12(B0)+128；
P13(Cr0)＝0.439*T13(R0)-0.368*T13(G0)-0.071*T13(B0)+128；
……
P33(Cr0)＝0.439*T33(R0)-0.368*T33(G0)-0.071*T33(B0)+128。
那么，参考图像对应的YCbCr空间信息P(Y0)、P(Cb0)、P(Cr0)矩阵值如表6-8所示。
表6 YCbCr空间信息Y0矩阵
P11(Y0) P12(Y0) P13(Y0)
P21(Y0) P22(Y0) P23(Y0)
P31(Y0) P32(Y0) P33(Y0)
表7 YCbCr空间信息Cb0矩阵
P11(Cb0) P12(Cb0) P13(Cb0)
P21(Cb0) P22(Cb0) P23(Cb0)
P31(Cb0) P32(Cb0) P33(Cb0)
表8 YCbCr空间信息Cr0矩阵
Figure BDA0001624178370000071
Figure BDA0001624178370000081
步骤(2)，根据参考图像T(R0)、T(G0)和T(B0)值，分别计算出参考图像R空间信息、G空间信息和B空间信息的均值，分别记为u(R0)、u(G0)、u(B0)；再分别计算出参考图像R空间信息、G空间信息和B空间信息的标准差值，分别记为σ(R0)、σ(G0)、σ(B0)，计算公式如下：
Figure BDA0001624178370000082
Figure BDA0001624178370000083
Figure BDA0001624178370000084
Figure BDA0001624178370000085
Figure BDA0001624178370000086
Figure BDA0001624178370000087
同时，根据参考图像P(Y0)、P(Cb0)和P(Cr0)值，分别计算出参考图像Y空间信息、Cb空间信息和Cr空间信息的均值，分别记为u(Y0)、u(Cb0)、u(Cr0)；再分别计算出参考图像Y空间信息、Cb空间信息和Cr空间信息的标准差值，分别记为σ(Y0)、σ(Cb0)、σ(Cr0)，计算公式如下：
Figure BDA0001624178370000088
Figure BDA0001624178370000089
Figure BDA00016241783700000810
Figure BDA00016241783700000811
Figure BDA00016241783700000812
Figure BDA00016241783700000813
步骤(3)，根据待处理视频图像的灰度值Y，计算新的R空间信息、G空间信息、B空间信息、Y空间信息、Cb空间信息和Cr空间信息，分别记为T(RS)、T(GS)、T(BS)、P(YS)、P(CbS)、P(CrS)；所述的待处理视频图像有两幅，为同一画面的两个通道的视频图像，记为图像ir和图像llp；计算公式如下所示；
Figure BDA0001624178370000091
Figure BDA0001624178370000092
Figure BDA0001624178370000093
……
Figure BDA0001624178370000094
T11(GS)＝MAX(Y11(ir)，Y11(llp))；
T12(GS)＝MAX(Y12(ir)，Y12(llp))；
T13(GS)＝MAX(Y13(ir)，Y13(llp))；
……
T33(GS)＝MAX(Y33(ir)，Y33(llp))。
P11(BS)＝Y11(llp)；
P12(BS)＝Y12(llp)；
P13(BS)＝Y13(llp)；
……
P33(BS)＝Y33(llp)。
那么，T(RS)、T(GS)、T(BS)矩阵值如表7-9所示。
表7 RS矩阵值
Figure BDA0001624178370000095
Figure BDA0001624178370000101
表8 GS矩阵值
T11(GS) T12(GS) T13(GS)
T21(GS) T22(GS) T23(GS)
T31(GS) T32(GS) T33(GS)
表9 BS矩阵值
T11(BS) T12(BS) T13(BS)
T21(BS) T22(BS) T23(BS)
T31(BS) T32(BS) T33(BS)
Figure BDA0001624178370000102
Figure BDA0001624178370000103
Figure BDA0001624178370000104
……
Figure BDA0001624178370000105
P11(CbS)＝MAX(Y11(ir)，Y11(llp))；
P12(CbS)＝MAX(Y12(ir)，Y12(llp))；
P13(CbS)＝MAX(Y13(ir)，Y13(llp))；
……
P33(CbS)＝MAX(Y33(ir)，Y33(llp))。
P11(CrS)＝Y11(llp)；
P12(CrS)＝Y12(llp)；
P13(CrS)＝Y13(llp)；
……
P33(CrS)＝Y33(llp)。
那么，P(YS)、P(CbS)、P(CrS)矩阵值如表12-14所示。
表12 YS矩阵值
P11(YS) P12(YS) P13(YS)
P21(YS) P22(YS) P23(YS)
P31(YS) P32(YS) P33(YS)
表13 CbS矩阵值
P11(CbS) P12(CbS) P13(CbS)
P21(CbS) P22(CbS) P23(CbS)
P31(CbS) P32(CbS) P33(CbS)
表14 CrS矩阵值
P11(CrS) P12(CrS) P13(CrS)
P21(CrS) P22(CrS) P23(CrS)
P31(CrS) P32(CrS) P33(CrS)
步骤(4)，根据步骤(3)计算出来的R空间信息、G空间信息和B空间信息T(RS)、T(GS)和T(BS)，分别计算出对应均值和标准差值，均值分别记为u(RS)、u(GS)、u(BS)，标准差值分别记为σ(RS)，σ(GS)，σ(BS)；计算公式如下：
Figure BDA0001624178370000111
Figure BDA0001624178370000112
Figure BDA0001624178370000113
Figure BDA0001624178370000114
Figure BDA0001624178370000115
Figure BDA0001624178370000116
同时，根据步骤(3)计算出来的Y空间信息、Cb空间信息和Cr空间信息P(YS)、P(CbS)和P(CrS)，分别计算出对应均值和标准差值，均值分别记为u(YS)、u(CbS)、u(CrS)，标准差值分别记为σ(YS)、σ(CbS)、σ(CrS)；计算公式如下：
Figure BDA0001624178370000121
Figure BDA0001624178370000122
Figure BDA0001624178370000123
Figure BDA0001624178370000124
Figure BDA0001624178370000125
Figure BDA0001624178370000126
步骤(5)，根据步骤(2)计算所得值u(Y0)、u(Cb0)、u(Cr0)、σ(Y0)、σ(Cb0)、σ(Cr0)和步骤(4)计算值u(YS)、u(CbS)、u(CrS)、σ(YS)、σ(CbS)、σ(CrS)，分别计算第二次YCbCr值，记为P(YT)、P(CbT)、P(CrT)；计算公式如下：
Figure BDA0001624178370000127
Figure BDA0001624178370000128
Figure BDA0001624178370000129
……
Figure BDA00016241783700001210
Figure BDA00016241783700001211
Figure BDA00016241783700001212
Figure BDA0001624178370000131
……
Figure BDA0001624178370000132
Figure BDA0001624178370000133
Figure BDA0001624178370000134
Figure BDA0001624178370000135
……
Figure BDA0001624178370000136
那么，P(YT)、P(CbT)、P(CrT)矩阵值如表15-17所示。
表15 YT矩阵值
P11(YT) P12(YT) P13(YT)
P21(YT) P22(YT) P23(YT)
P31(YT) P32(YT) P33(YT)
表16 CbT矩阵值
P11(CbT) P12(CbT) P13(CbT)
P21(CbT) P22(CbT) P23(CbT)
P31(CbT) P32(CbT) P33(CbT)
表17 CrT矩阵值
Figure BDA0001624178370000137
Figure BDA0001624178370000141
步骤(6)，将步骤(5)计算得到的P(YT)、P(CbT)、P(CrT)转成成RGB空间信息，记为T(RT)、T(GT)、T(BT)；转换公式如下：
T11(RT)＝1.164*(P11(YT)-16)+1.596*(P11(CrT)-128)；
T12(RT)＝1.164*(P12(YT)-16)+1.596*(P12(CrT)-128)；
T13(RT)＝1.164*(P13(YT)-16)+1.596*(P13(CrT)-128)；
……
T33(RT)＝1.164*(P33(YT)-16)+1.596*(P33(CrT)-128)。
T11(GT)＝1.164*(P11(YT)-16)-0.392*(P11(CbT)-128)-0.813*(P11(CrT)-128)；
T12(GT)＝1.164*(P12(YT)-16)-0.392*(P12(CbT)-128)-0.813*(P12(CrT)-128)；
T13(GT)＝1.164*(P13(YT)-16)-0.392*(P13(CbT)-128)-0.813*(P13(CrT)-128)；
……
T33(GT)＝1.164*(P33(YT)-16)-0.392*(P33(CbT)-128)-0.813*(P33(CrT)-128)。
T11(BT)＝1.164*(P11(YT)-16)+2.017*(P11(CbT)-128)；
T12(BT)＝1.164*(P12(YT)-16)+2.017*(P12(CbT)-128)；
T13(BT)＝1.164*(P13(YT)-16)+2.017*(P13(CbT)-128)；
……
T33(BT)＝1.164*(P33(YT)-16)+2.017*(P33(CbT)-128)。
那么，T(RT)、T(GT)、T(BT)矩阵值如表18-20所示。
表18 RT矩阵值
T11(RT) T12(RT) T13(RT)
T21(RT) T22(RT) T23(RT)
T31(RT) T32(RT) T33(RT)
表19 GT矩阵值
T11(GT) T12(GT) T13(GT)
T21(GT) T22(GT) T23(GT)
T31(GT) T32(GT) T33(GT)
表20 BT矩阵值
T11(BT) T12(BT) T13(BT)
T21(BT) T22(BT) T23(BT)
T31(BT) T32(BT) T33(BT)
步骤(7)，根据步骤(2)和步骤(4)计算出来的u(R0)，u(G0)，u(B0)，σ(R0)，σ(G0)，σ(B0)和u(RS)，u(GS)，u(BS)，σ(RS)，σ(GS)，σ(BS)，计算第二次RGB值，记为T(RT1)、T(GT1)、T(BT1)；计算公式如下：
Figure BDA0001624178370000151
Figure BDA0001624178370000152
Figure BDA0001624178370000153
……
Figure BDA0001624178370000154
Figure BDA0001624178370000155
Figure BDA0001624178370000156
Figure BDA0001624178370000157
……
Figure BDA0001624178370000161
Figure BDA0001624178370000162
Figure BDA0001624178370000163
Figure BDA0001624178370000164
……
Figure BDA0001624178370000165
那么，T(RT1)、T(GT1)、T(BT1)矩阵值如表21-23所示。
表21 RT1矩阵值
T11(RT1) T12(RT1) T13(RT1)
T21(RT1) T22(RT1) T23(RT1)
T31(RT1) T32(RT1) T33(RT1)
表22 GT1矩阵值
T11(GT1) T12(GT1) T13(GT1)
T21(GT1) T22(GT1) T23(GT1)
T31(GT1) T32(GT1) T33(GT1)
表23 BT1矩阵值
T11(BT1) T12(BT1) T13(BT1)
T21(BT1) T22(BT1) T23(BT1)
T31(BT1) T32(BT1) T33(BT1)
步骤(8)，根据步骤(6)计算得到的T(RT)、T(GT)、T(BT)和步骤(7)计算得到的T(RT1)、T(GT1)、T(BT1)，计算第二次RGB值，记为T(RT2)、T(GT2)、T(BT2)，其中α＝0.5；计算公式如下：
T11(RT2)＝0.5*T11(RT)+0.5*T11(RT1)；
T12(RT2)＝0.5*T12(RT)+0.5*T12(RT1)；
T13(RT2)＝0.5*T13(RT)+0.5*T13(RT1)；……
T33(RT2)＝0.5*T33(RT)+0.5*T133(RT1)。
T11(GT2)＝0.5*T11(GT)+0.5*T11(GT1)；
T12(GT2)＝0.5*T12(GT)+0.5*T12(GT1)；
T13(GT2)＝0.5*T13(GT)+0.5*T13(GT1)；……
T33(GT2)＝0.5*T33(GT)+0.5*T133(GT1)。
T11(BT2)＝0.5*T11(BT)+0.5*T11(BT1)；
T12(BT2)＝0.5*T12(BT)+0.5*T12(BT1)；
T13(BT2)＝0.5*T13(BT)+0.5*T13(BT1)；……
T33(BT2)＝0.5*T33(BT)+0.5*T133(BT1)。
表21 RT2矩阵值
T11(RT2) T12(RT2) T13(RT2)
T21(RT2) T22(RT2) T23(RT2)
T31(RT2) T32(RT2) T33(RT2)
表22 GT2矩阵值
T11(GT2) T12(GT2) T13(GT2)
T21(GT2) T22(GT2) T23(GT2)
T31(GT2) T32(GT2) T33(GT2)
表23 BT2矩阵值
T11(BT2) T12(BT2) T13(BT2)
T21(BT2) T22(BT2) T23(BT2)
T31(BT2) T32(BT2) T33(BT2)
步骤(9)，将步骤(8)得到的T(RT2)、T(GT2)、T(BT2)转为YCbCr空间下进行FPGA假彩色显示，YCbCr空间信息记为P(YL)、P(CbL)、P(CrL)，得到图像ir和图像llp的融合假彩色图像。
P11(YL)＝0.257*T11(T(RT2))+0.564*T11(T(GT2))+0.098*T11(T(BT2))+16；
P12(YL)＝0.257*T12(T(RT2))+0.564*T12(T(GT2))+0.098*T12(T(BT2))+16；
P13(YL)＝0.257*T13(T(RT2))+0.564*T13(T(GT2))+0.098*T13(T(BT2))+16；
……
P33(YL)＝0.257*T33(T(RT2))+0.564*T33(T(GT2))+0.098*T33(T(BT2))+16。
P11(CbL)＝-0.148*T11(RT2)-0.291*T11(GT2)+0.439*T11(BT2)+128；
P12(CbL)＝-0.148*T12(RT2)-0.291*T12(GT2)+0.439*T12(BT2)+128；
P13(CbL)＝-0.148*T13(RT2)-0.291*T13(GT2)+0.439*T13(BT2)+128；
……
P33(CbL)＝-0.148*T33(RT2)-0.291*T33(GT2)+0.439*T33(BT2)+128。
P11(CrL)＝0.439*T11(RT2)-0.368*T11(GT2)-0.071*T11(BT2)+128；
P12(CrL)＝0.439*T12(RT2)-0.368*T12(GT2)-0.071*T12(BT2)+128；
P13(CrL)＝0.439*T13(RT2)-0.368*T13(GT2)-0.071*T13(BT2)+128；
……
P33(CrL)＝0.439*T33(R T2)-0.368*T33(G T2)-0.071*T33(B T2)+128。
那么最终FPGA进行显示的图像矩阵则为表24-26所示，得到的融合图像如图4所示。
表24 YL矩阵值
P11(YL) P12(YL) P13(YL)
P21(YL) P22(YL) P23(YL)
P31(YL) P32(YL) P33(YL)
表25 CbL矩阵值
P11(CbL) P12(CbL) P13(CbL)
P21(CbL) P22(CbL) P23(CbL)
P31(CbL) P32(CbL) P33(CbL)
表26 CrL矩阵值
P11(CrL) P12(CrL) P13(CrL)
P21(CrL) P22(CrL) P23(CrL)
P31(CrL) P32(CrL) P33(CrL)
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于双色空间的假彩色图像融合方法，其特征在于，包括如下步骤：
步骤(1)，选择一幅彩色图像作为参考图像，之后根据参考图像的RGB空间信息T(R0)、T(G0)、T(B0)值，分别计算出参考图像对应的YCbCr空间信息P(Y0)、P(Cb0)、P(Cr0)值；
步骤(2)，根据参考图像T(R0)、T(G0)和T(B0)值，分别计算出参考图像R空间信息、G空间信息和B空间信息的均值，分别记为u(R0)、u(G0)、u(B0)；再分别计算出参考图像R空间信息、G空间信息和B空间信息的标准差值，分别记为σ(R0)、σ(G0)、σ(B0)，计算公式如下
Figure 1
Figure FDA0003492980100000012
同时，根据参考图像P(Y0)、P(Cb0)和P(Cr0)值，分别计算出参考图像Y空间信息、Cb空间信息和Cr空间信息的均值，分别记为u(Y0)、u(Cb0)、u(Cr0)；再分别计算出参考图像Y空间信息、Cb空间信息和Cr空间信息的标准差值，分别记为σ(Y0)、σ(Cb0)、σ(Cr0)；
步骤(3)，根据待处理视频图像的灰度值Y，计算新的R空间信息、G空间信息、B空间信息、Y空间信息、Cb空间信息和Cr空间信息，分别记为T(RS)、T(GS)、T(BS)、P(YS)、P(CbS)、P(CrS)；所述的待处理视频图像有两幅，为同一画面的红外通道视频图像和微光通道视频图像，记为图像ir和图像llp；
计算公式如下：
T(RS)＝(Y(ir)+Y(llp))/2；
T(GS)＝max(Y(ir)，Y(llp))；
T(BS)＝Y(llp)；
P(YS)＝(Y(ir)+Y(llp))/2；
P(CbS)＝max(Y(ir)，Y(llp))；
P(CrS)＝Y(llp)；
步骤(4)，根据步骤(3)计算出来的R空间信息、G空间信息和B空间信息T(RS)、T(GS)和T(BS)，分别计算出对应均值和标准差值，均值分别记为u(RS)、u(GS)、u(BS)，标准差值分别记为σ(RS)、σ(GS)、σ(BS)；
同时，根据步骤(3)计算出来的Y空间信息、Cb空间信息和Cr空间信息P(YS)、P(CbS)和P(CrS)，分别计算出对应均值和标准差值，均值分别记为u(YS)、u(CbS)、u(CrS)，标准差值分别记为σ(YS)、σ(CbS)、σ(CrS)；
步骤(5)，根据步骤(2)计算所得值u(Y0)、u(Cb0)、u(Cr0)、σ(Y0)、σ(Cb0)、σ(Cr0)和步骤(4)计算值u(YS)、u(CbS)、u(CrS)、σ(YS)、σ(CbS)、σ(CrS)，分别计算出第二次YCbCr值，记为P(YT)、P(CbT)、P(CrT)；计算公式如下：
Figure FDA0003492980100000021
Figure FDA0003492980100000022
Figure FDA0003492980100000023
步骤(6)，将步骤(5)计算得到的P(YT)、P(CbT)、P(CrT)转成RGB空间信息，记为T(RT)、T(GT)、T(BT)；
步骤(7)，根据步骤(2)和步骤(4)计算出来的u(R0)、u(G0)、u(B0)、σ(R0)、σ(G0)、σ(B0)和u(RS)、u(GS)、u(BS)、σ(RS)、σ(GS)、σ(BS)，计算第二次RGB值，记为T(RT1)、T(GT1)、T(BT1)；计算公式如下：
Figure FDA0003492980100000031
Figure FDA0003492980100000032
Figure FDA0003492980100000033
步骤(8)，根据步骤(6)计算得到的T(RT)、T(GT)、T(BT)和步骤(7)计算得到的T(RT1)、T(GT1)、T(BT1)，计算第三次RGB值，记为T(RT2)、T(GT2)、T(BT2)；计算公式如下：
T(RT2)＝α*T(RT)+(1-α)*T(RT1)
T(GT2)＝α*T(GT)+(1-α)*T(GT1)；
T(BT2)＝α*T(BT)+(1-α)*T(BT1)
其中，0＜α＜1
步骤(9)，将步骤(8)得到的T(RT2)、T(GT2)、T(BT2)转为YCbCr空间下，得到图像ir和图像llp的融合假彩色图像。
2.根据权利要求1所述的基于双色空间的假彩色图像融合方法，其特征在于，能够实时处理双通道输入50Hz/s的视频图像，融合输出的彩色图像色彩要与参考图像相近，相近的程度为80％。
3.根据权利要求1所述的基于双色空间的假彩色图像融合方法，其特征在于，所述的α为0.5。
CN201810317201.2A 2018-04-10 2018-04-10 一种基于双色空间的假彩色图像融合方法 Active CN108510460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810317201.2A CN108510460B (zh) 2018-04-10 2018-04-10 一种基于双色空间的假彩色图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810317201.2A CN108510460B (zh) 2018-04-10 2018-04-10 一种基于双色空间的假彩色图像融合方法

Publications (2)

Publication Number Publication Date
CN108510460A CN108510460A (zh) 2018-09-07
CN108510460B true CN108510460B (zh) 2022-06-07

Family

ID=63381436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810317201.2A Active CN108510460B (zh) 2018-04-10 2018-04-10 一种基于双色空间的假彩色图像融合方法

Country Status (1)

Country Link
CN (1) CN108510460B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867685B (zh) * 2010-06-25 2012-03-14 北京理工大学 基于颜色查找表的双波段视频快速自然感彩色融合方法
CN102129673B (zh) * 2011-04-19 2012-07-25 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
US9299130B2 (en) * 2013-03-15 2016-03-29 Trustees Of Tufts College Methods and apparatus for image processing and analysis
CN103544716B (zh) * 2013-10-30 2016-04-27 京北方信息技术股份有限公司 一种对图像的像素进行颜色分类的方法及装置
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera

Also Published As

Publication number Publication date
CN108510460A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
US20220245775A1 (en) Tone mapping method and electronic device
CN109584170B (zh) 基于卷积神经网络的水下图像复原方法
CN113706412B (zh) 一种sdr到hdr转换方法
US10915999B2 (en) Image processing apparatus, image processing method, and program
CN107154059A (zh) 一种高动态范围视频处理方法
CN107862672B (zh) 图像去雾的方法及装置
CN107958465A (zh) 一种基于深度卷积神经网络的单幅图像去雾方法
CN111429370A (zh) 一种煤矿井下的图像增强方法、系统及计算机存储介质
CN101916555B (zh) 一种高动态范围图像的显示再现方法
CN104574371A (zh) 高动态彩色数字相机特性化标定方法
CN110599418B (zh) 一种变换域融合的全局色调映射方法
CN113824945B (zh) 一种基于深度学习的快速自动白平衡和颜色矫正方法
CN105869112A (zh) 一种边缘保持最小化的高动态范围图像色调映射方法
CN112200807A (zh) 一种视频质量诊断方法与系统
CN105989583A (zh) 一种图像去雾方法
CN108510460B (zh) 一种基于双色空间的假彩色图像融合方法
CN101951510A (zh) 一种基于多尺度DoG滤波器的高动态范围压缩方法
CN104657939A (zh) 一种低照度视频图像增强方法
CN108288259B (zh) 一种基于颜色空间转换的灰度融合增强方法
CN103971336B (zh) 一种图像明度的调整方法、装置和设备
CN113989138B (zh) 一种脸部肌肤图像炎症提取并形成红区光谱的方法
CN105741248A (zh) 一种去除图像中阴霾退化的方法
CN104700369A (zh) 夜幕数字图像的快速滤除增强方法
CN104010189A (zh) 一种基于色度共生矩阵加权的视频质量客观评价方法
CN110708476B (zh) 一种实时图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant