CN113469928A - 基于图像梯度比较的图像融合方法、存储介质及终端设备 - Google Patents

基于图像梯度比较的图像融合方法、存储介质及终端设备 Download PDF

Info

Publication number
CN113469928A
CN113469928A CN202110778201.4A CN202110778201A CN113469928A CN 113469928 A CN113469928 A CN 113469928A CN 202110778201 A CN202110778201 A CN 202110778201A CN 113469928 A CN113469928 A CN 113469928A
Authority
CN
China
Prior art keywords
pixel
row
column
gradient
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110778201.4A
Other languages
English (en)
Other versions
CN113469928B (zh
Inventor
周二瑞
严明
刘璐
李刚
郭明安
杨少华
李斌康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Institute of Nuclear Technology
Original Assignee
Northwest Institute of Nuclear Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Institute of Nuclear Technology filed Critical Northwest Institute of Nuclear Technology
Priority to CN202110778201.4A priority Critical patent/CN113469928B/zh
Publication of CN113469928A publication Critical patent/CN113469928A/zh
Application granted granted Critical
Publication of CN113469928B publication Critical patent/CN113469928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像融合方法，为解决目前高低增益两幅图像融合常采用的阈值比较法，使用前工作量大，若使用过程中由于外界环境的变化导致阈值漂移，则必须重新进行标定，以及正常融合时，饱和区域和非饱和区域的过渡带容易出现波纹，导致融合效果不佳的技术问题，提供一种基于图像梯度比较的图像融合方法、计算机可读存储介质及终端设备。其中，融合方法利用高增益图像像素饱和时测量值比实际值小的规律，通过对高增益图像和低增益图像像素的水平方向和竖直方向梯度之和的比较，实现大动态范围图像融合。计算机可读存储介质及终端设备执行上述融合方法。

Description

基于图像梯度比较的图像融合方法、存储介质及终端设备
技术领域
本发明属于图像融合方法，具体涉及一种基于图像梯度比较的图像融合方法、计算机可读存储介质及终端设备。
背景技术
图像诊断在物理和生物研究中应用广泛，是发现新现象和研究新机理的重要手段。尤其在爆轰效应、等离子体实验、生物影像和生物医学等研究领域中，所要诊断测试的目标图像往往具有很大的动态范围，从而要求成像系统也具有很大的动态范围。
目前，通过使用双增益图像传感器，或多次曝光技术获取高低增益两幅图像，并进行融合获得大动态范围图像，是一种应用广泛的成像技术。其中，高低增益图像的融合效果对获取高质量的大动态范围图像至关重要。
在现有技术中，对高低增益两幅图像融合的方法有很多种，其中的阈值比较法是一种发展较早、应用比较广泛的融合方法。它的原理是：首先，在不同强度的平场光照条件下对图像传感器进行曝光，然后，计算得到高增益输出的光照强度线性度曲线，在线性度曲线上标定出线性范围，并确定在线性范围内的最大像素值(即阈值)；在正常工作状态下对图像进行融合时，如果高增益图像的像素值小于阈值，则对应位置融合图像的像素值为高增益图像的像素值，否则为低增益图像的像素值乘以增益比。但是，这种方法要求对每个成像系统都进行高增益输出线性阈值的标定，使用前工作量大，如果使用过程中由于外界环境的变化导致阈值漂移，则必须重新进行标定，否则无法正确融合，即使在正常融合时，饱和区域和非饱和区域的过渡带也容易出现波纹问题，导致融合效果不佳。
发明内容
本发明为解决目前高低增益两幅图像融合广泛采用的阈值比较法，使用前工作量大，若使用过程中由于外界环境的变化导致阈值漂移，则必须重新进行标定，以及正常融合时，饱和区域和非饱和区域的过渡带容易出现波纹，导致融合效果不佳的技术问题，提供一种基于图像梯度比较的图像融合方法、计算机可读存储介质及终端设备。
本发明的发明构思是：利用高增益图像像素(接近)饱和时，其测量值比实际值小的规律，通过对高增益图像和低增益图像像素的水平方向和竖直方向梯度之和的比较，实现大动态范围图像融合。
为实现上述发明目的和发明构思，本发明提供如下技术方案：
一种基于图像梯度比较的图像融合方法，其特殊之处在于，包括以下步骤：
S1，确定高增益图像和低增益图像来源的成像系统的高低增益比G；
S2，对所述成像系统曝光，获取高增益图像对应的去除本底的高增益图像PH，以及低增益图像对应的去除本底的低增益图像PL；
S3，对像素矩阵四个边角处，根据PL在该处像素乘以G与PH在该处像素的比较结果，确定P1,b、Pa,b、Pa,1和P1,1中的任一个像素值；
其中，P1,b为待得到融合图像像素矩阵中第1行第b列的像素，Pa,b为待得到融合图像像素矩阵中第a行第b列的像素，Pa,1为待得到融合图像像素矩阵中第a行第1列的像素，P1,1为待得到融合图像像素矩阵中第1行第1列的像素，a为像素矩阵的总行数，b为像素矩阵的总列数；
S4，根据步骤S3中确定的像素值，由该像素值所在行中其他像素位置PL的水平方向梯度和PH的水平方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值，并由该像素值所在列中其他像素位置PL的竖直方向梯度和PH的竖直方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值；
S5，对于待得到融合图像像素矩阵中的其他像素，按照由边缘向中间的顺序，根据PL和PH中各像素位置水平方向梯度和竖直方向梯度之和比较结果，确定其像素值，即得到融合图像中所有位置的像素，完成基于图像梯度比较的图像融合。
进一步地，所述步骤S3具体为，选择PL和PH像素矩阵四个边角中的一处，若PL在该处的像素与G的乘积大于PH在该处的像素，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积；否则，将待得到融合图像P在该处的像素设置为PH在该处的像素，即得到P1,b、Pa,b、Pa,1和P1,1中的任一个像素值。
进一步地，步骤S4中，所述根据步骤S3中确定的像素值，由该像素值所在行中其他像素位置PL的水平方向梯度和PH的水平方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值具体为，
若步骤S3得到的是P1,1：
对于PL像素矩阵中第一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000031
对于PH像素矩阵中第一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000032
若步骤S3得到的是Pa,1：
对于PL像素矩阵中最后一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000033
对于PH像素矩阵中最后一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000034
若步骤S3得到的是P1,b：
对于PL像素矩阵中第一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000035
对于PH像素矩阵中第一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000041
若步骤S3得到的是Pa,b：
对于PL像素矩阵中最后一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000042
对于PH像素矩阵中最后一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000043
其中，
Figure BDA0003156619450000044
为PL像素矩阵中第1行第j列的像素，
Figure BDA0003156619450000045
为PL像素矩阵中第a行第j列的像素，P1,j-1为待得到融合图像像素矩阵中第1行第j-1列的像素，Pa,j-1为待得到融合图像像素矩阵中第a行第j-1列的像素，P1,j+1为待得到融合图像像素矩阵中第1行第j+1列的像素，
Figure BDA0003156619450000046
为PH像素矩阵中第1行第j列的像素，
Figure BDA0003156619450000047
为PH像素矩阵中第a行第j列的像素，i＝1、2、……a，j＝1、2、……b；
对PL和PH像素矩阵中相同位置的水平方向梯度进行比较，若PL的水平方向梯度大于PH的水平方向梯度，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素。
进一步地，步骤S4中，所述由该像素值所在列中其他像素位置PL的竖直方向梯度和PH的竖直方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值具体为，
若步骤S3得到的是P1,1：
对于PL像素矩阵中第一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000048
对于PH像素矩阵中第一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000051
若步骤S3得到的是Pa,1：
对于PL像素矩阵中第一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000052
对于PH像素矩阵中第一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000053
若步骤S3得到的是P1,b：
对于PL像素矩阵中最后一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000054
对于PH像素矩阵中最后一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000055
若步骤S3得到的是Pa,b：
对于PL像素矩阵中最后一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000056
对于PH像素矩阵中最后一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000057
其中，
Figure BDA0003156619450000058
为PL像素矩阵中第i行第1列的像素，
Figure BDA0003156619450000059
为PL像素矩阵中第i行第b列的像素，Pi-1,1为待得到融合图像像素矩阵中第i-1行第1列的像素，Pi+1,1为待得到融合图像像素矩阵中第i+1行第1列的像素，
Figure BDA00031566194500000510
为PH像素矩阵中第i行第1列的像素，Pi+1,b为待得到融合图像像素矩阵中第i+1行第b列的像素，
Figure BDA00031566194500000511
为PH像素矩阵中第i行第b列的像素；
对PL和PH像素矩阵中相同位置的竖直方向梯度进行比较，若PL的竖直方向梯度大于PH的竖直方向梯度，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素。
进一步地，步骤S5具体为，
若步骤S3得到的是P1,1：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000061
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000062
若步骤S3得到的是Pa,1：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000063
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000064
若步骤S3得到的是P1,b：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000065
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000066
若步骤S3得到的是Pa,b：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000067
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000068
其中，
Figure BDA0003156619450000071
为PL像素矩阵中第i行第j列像素处水平方向梯度和竖直方向梯度之和，
Figure BDA0003156619450000072
为PH像素矩阵中第i行第j列像素处水平方向梯度和竖直方向梯度之和，Pi-1,j为待得到融合图像第i-1行第j列的像素；Pi,j-1为待得到融合图像第i行第j-1列的像素；Pi+1,j为待得到融合图像第i+1行第j列的像素；Pi,j+1为待得到融合图像第i行第j+1列的像素；
对PL和PH像素矩阵中相同位置的
Figure BDA0003156619450000073
和
Figure BDA0003156619450000074
进行比较，若
Figure BDA0003156619450000075
则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素，即得到融合图像中所有位置的像素，完成基于图像梯度比较的图像融合。
进一步地，步骤S1中，所述成像系统为能同时产生两幅不同增益图像的成像系统，或者为通过多次曝光能产生两幅不同增益图像的成像系统。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特殊之处在于，该程序被处理器执行时实现如上所述方法的步骤。
另外，本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特殊之处在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
与现有技术相比，本发明的有益效果是：
1.本发明基于图像梯度比较的图像融合方法，在待得到融合图像中，先对四个边角处的像素进行融合，再根据水平方向梯度对首尾两行、根据竖直方向梯度对首尾两列的像素进行融合，最后再根据水平方向梯度和竖直方向梯度的加和，由四周向中间对其他像素进行融合。本发明利用图像梯度比较实现对高增益图像和低增益图像的融合，不需要对高增益输出的线性阈值进行标定，降低了成像系统使用前的标定工作量。另外，由于不使用高增益输出的线性阈值，当外部环境变化而使线性阈值发生漂移时不会影响图像的融合，降低了外部环境变化对图像融合的影响。在图像融合时采用图像梯度比较，选取高增益图像和低增益图像中梯度较大的像素值作为融合后的像素值，使得融合后图像相邻像素变化趋势一致，避免了波纹现象的产生。
2.本发明中的成像系统只要能同时或通过多次曝光产生高低增益图像即可，可适用的范围较广。
3.本发明中对首尾两行和首尾两列像素进行融合时，具体可以按照逐行或逐列的顺序进行，也可以按照任意顺序进行，使得本发明方法应用更加灵活便捷，可根据实际需要进行选择。
4.本发明还提供了能够执行上述方法步骤的计算机可读存储介质和终端设备，能够将本发明的方法推广应用，在相应的硬件设备上实现融合。
附图说明
图1为本发明基于图像梯度比较的图像融合方法实施例的流程示意图；
图2为本发明图1实施例中成像系统的输出示意图；
图3为本发明图1实施例中去除本底的高增益图像像素矩阵示意图；
图4为本发明图1实施例中去除本底的低增益图像像素矩阵示意图；
图5为本发明图1实施例得到的融合后的图像像素矩阵示意图。
具体实施方式
下面将结合本发明的实施例和附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例并非对本发明的限制。
本发明提出一种基于图像梯度比较的大动态范围图像融合方法，采用该方法进行大动态范围图像融合时不需要进行阈值标定、不易受外部环境影响、融合效果好。
如图1所示，本发明融合方法的具体步骤为：
步骤1：选取能产生高增益图像和低增益两幅图像的成像系统，确定该成像系统的高低增益比G，成像系统的示意图如图2所示，成像系统中包含低增益输出和高增益输出，并由此输出相应的低增益图像和高增益图像。其中，选取的能产生高增益图像和低增益图像两幅图像的成像系统，包括能同时产生或者通过多次曝光而产生两幅具有高低增益图像的成像系统。
步骤2：对上述成像系统曝光，获取高增益图像对应的去除本底的高增益图像PH，以及低增益图像对应的去除本底的低增益图像PL；去除本底的高增益图像PH的像素矩阵示意图如图3所示，去除本底的低增益图像PL的像素矩阵示意图如图4所示。
步骤3：融合像素矩阵四个边角处的像素：
对于像素矩阵四个边角中任一处的像素，像素矩阵中包含a行b列像素，四个边角处的像素具体指(1，1)处、(1，b)处、(a，1)处和(a，b)处的像素，若去除本底的低增益图像PL在该处的像素与G的乘积大于PH在该处的像素，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积；否则，将待得到融合图像P在该处的像素设置为PH在该处的像素；在该步骤中，选择四个边角中的任一处确定即可。
例如，若
Figure BDA0003156619450000091
则待得到融合图像P在(1，1)处的像素
Figure BDA0003156619450000092
否则，
Figure BDA0003156619450000093
步骤4：根据步骤3中得到的是四个边角中具体哪一个边角的像素，融合像素矩阵中第一行或最后一行的像素：
若步骤S3得到的是P1,1：
对于PL像素矩阵中第一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000094
对于PH像素矩阵中第一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000095
若步骤S3得到的是Pa,1：
对于PL像素矩阵中最后一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000096
对于PH像素矩阵中最后一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000097
若步骤S3得到的是P1,b：
对于PL像素矩阵中第一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000098
对于PH像素矩阵中第一行的其他像素，从b-1列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000101
若步骤S3得到的是Pa,b：
对于PL像素矩阵中最后一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000102
对于PH像素矩阵中最后一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure BDA0003156619450000103
其中，
Figure BDA0003156619450000104
为PL像素矩阵中第1行第j列的像素，
Figure BDA0003156619450000105
为PL像素矩阵中第a行第j列的像素，P1,j-1为待得到融合图像像素矩阵中第1行第j-1列的像素，Pa,j-1为待得到融合图像像素矩阵中第a行第j-1列的像素，P1,j+1为待得到融合图像像素矩阵中第1行第j+1列的像素，
Figure BDA0003156619450000106
为PH像素矩阵中第1行第j列的像素，
Figure BDA0003156619450000107
为PH像素矩阵中第a行第j列的像素，i＝1、2、……a，j＝1、2、……b；
对PL和PH像素矩阵中相同位置的水平方向梯度进行比较，若PL的水平方向梯度大于PH的水平方向梯度，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素。
例如，步骤S3得到的是P1,1，对于待得到融合图像P第一行的像素，先计算PL像素矩阵中第一行除去第一列的其他像素的水平方向梯度，从第二列开始按照列数从小到大的顺序将各像素一次代入
Figure BDA0003156619450000108
中的
Figure BDA0003156619450000109
再计算PH像素矩阵中第一行除去第一列的其他像素的水平方向梯度，从第二列开始按照列数从小到大的顺序将各像素分别代入
Figure BDA00031566194500001010
中的
Figure BDA00031566194500001011
然后比较像素矩阵相同位置处的
Figure BDA0003156619450000111
和
Figure BDA0003156619450000112
若
Figure BDA0003156619450000113
则将待得到融合图像P在该处的像素设为
Figure BDA0003156619450000114
否则，将待得到融合图像P在该处的像素设为
Figure BDA0003156619450000115
步骤5：根据步骤3中得到的是四个边角中具体哪一个边角的像素，融合像素矩阵中第一列或最后一列的像素：
若步骤S3得到的是P1,1：
对于PL像素矩阵中第一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000116
对于PH像素矩阵中第一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000117
若步骤S3得到的是Pa,1：
对于PL像素矩阵中第一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000118
对于PH像素矩阵中第一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000119
若步骤S3得到的是P1,b：
对于PL像素矩阵中最后一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure BDA00031566194500001110
对于PH像素矩阵中最后一列的其他像素，计算各像素位置的竖直方向梯度：
Figure BDA00031566194500001111
若步骤S3得到的是Pa,b：
对于PL像素矩阵中最后一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000121
对于PH像素矩阵中最后一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure BDA0003156619450000122
其中，
Figure BDA0003156619450000123
为PL像素矩阵中第i行第1列的像素，
Figure BDA0003156619450000124
为PL像素矩阵中第i行第b列的像素，Pi-1,1为待得到融合图像像素矩阵中第i-1行第1列的像素，Pi+1,1为待得到融合图像像素矩阵中第i+1行第1列的像素，
Figure BDA0003156619450000125
为PH像素矩阵中第i行第1列的像素，Pi+1,b为待得到融合图像像素矩阵中第i+1行第b列的像素，
Figure BDA0003156619450000126
为PH像素矩阵中第i行第b列的像素；
对PL和PH像素矩阵中相同位置的竖直方向梯度进行比较，若PL的竖直方向梯度大于PH的竖直方向梯度，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素。
例如，步骤S3得到的是P1,1，对于待得到融合图像P第一列的像素，先计算PL像素矩阵中第一列除去第一行其他像素的竖直方向梯度，从第二行开始按照行数从小到大的顺序将各像素分别代入
Figure BDA0003156619450000127
中的
Figure BDA0003156619450000128
再计算PH像素矩阵中第一列除去第一行其他像素的竖直方向梯度，从第二行开始按照行数从小到大的顺序将各像素分别代入
Figure BDA0003156619450000129
中的
Figure BDA00031566194500001210
然后比较像素矩阵相同位置处的
Figure BDA00031566194500001211
和
Figure BDA00031566194500001212
若
Figure BDA00031566194500001213
则将待得到融合图像P在该处的像素设为
Figure BDA00031566194500001214
否则，将待得到融合图像P在该处的像素设为
Figure BDA00031566194500001215
步骤6：融合像素矩阵其他位置的像素：
若步骤S3得到的是P1,1：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000131
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000132
若步骤S3得到的是Pa,1：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000133
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000134
若步骤S3得到的是P1,b：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000135
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000136
若步骤S3得到的是Pa,b：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000137
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure BDA0003156619450000138
其中，
Figure BDA0003156619450000139
为PL像素矩阵中第i行第j列像素处水平方向梯度和竖直方向梯度之和，
Figure BDA00031566194500001310
为PH像素矩阵中第i行第j列像素处水平方向梯度和竖直方向梯度之和，Pi-1,j为待得到融合图像第i-1行第j列的像素；Pi,j-1为待得到融合图像第i行第j-1列的像素；Pi+1,j为待得到融合图像第i+1行第j列的像素；Pi,j+1为待得到融合图像第i行第j+1列的像素；
对PL和PH像素矩阵中相同位置的
Figure BDA0003156619450000141
和
Figure BDA0003156619450000142
进行比较，若
Figure BDA0003156619450000143
则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素，即得到融合图像中所有位置的像素，完成基于图像梯度比较的图像融合。
由于待得到融合图像的像素矩阵四个边角中任一处，以及首行或尾行、首列或尾列的像素已确认，因此，可以从四周向中间依次计算。但具体计算顺序，可以按照行列顺序，也可以按照任意顺序进行计算，只要能将像素矩阵中的所有像素点均计算到即可。
完成融合，得到如图5所示融合后图像像素矩阵中各处的像素值，得到融合后的大动态范围图像。
本发明的融合方法可在计算机可读存储介质中应用，计算机可读存储介质存储有计算机程序，上述融合方法可作为计算机程序存储于计算机可读存储介质中，计算机程序被处理器执行时实现上述融合方法的各步骤。
另外，本发明的融合方法还可以应用于终端设备，终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现本发明融合方法的步骤。此处的终端设备可以是计算机、笔记本、掌上电脑，及各种云端服务器等计算设备，处理器可以是通用处理器、数字信号处理器、专用集成电路或其他可编程逻辑器件等。
以上所述仅为本发明的实施例，并非对本发明保护范围的限制，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于图像梯度比较的图像融合方法，其特征在于，包括以下步骤：
S1，确定高增益图像和低增益图像来源的成像系统的高低增益比G；
S2，对所述成像系统曝光，获取高增益图像对应的去除本底的高增益图像PH，以及低增益图像对应的去除本底的低增益图像PL；
S3，对像素矩阵四个边角处，根据PL在该处像素乘以G与PH在该处像素的比较结果，确定P1,b、Pa,b、Pa,1和P1,1中的任一个像素值；
其中，P1,b为待得到融合图像像素矩阵中第1行第b列的像素，Pa,b为待得到融合图像像素矩阵中第a行第b列的像素，Pa,1为待得到融合图像像素矩阵中第a行第1列的像素，P1,1为待得到融合图像像素矩阵中第1行第1列的像素，a为像素矩阵的总行数，b为像素矩阵的总列数；
S4，根据步骤S3中确定的像素值，由该像素值所在行中其他像素位置PL的水平方向梯度和PH的水平方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值，并由该像素值所在列中其他像素位置PL的竖直方向梯度和PH的竖直方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值；
S5，对于待得到融合图像像素矩阵中的其他像素，按照由边缘向中间的顺序，根据PL和PH中各像素位置水平方向梯度和竖直方向梯度之和比较结果，确定其像素值，即得到融合图像中所有位置的像素，完成基于图像梯度比较的图像融合。
2.如权利要求1所述一种基于图像梯度比较的图像融合方法，其特征在于：所述步骤S3具体为，选择PL和PH像素矩阵四个边角中的一处，若PL在该处的像素与G的乘积大于PH在该处的像素，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积；否则，将待得到融合图像P在该处的像素设置为PH在该处的像素，即得到P1,b、Pa,b、Pa,1和P1,1中的任一个像素值。
3.如权利要求1或2所述一种基于图像梯度比较的图像融合方法，其特征在于：步骤S4中，所述根据步骤S3中确定的像素值，由该像素值所在行中其他像素位置PL的水平方向梯度和PH的水平方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值具体为，
若步骤S3得到的是P1,1：
对于PL像素矩阵中第一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000021
对于PH像素矩阵中第一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000022
若步骤S3得到的是Pa,1：
对于PL像素矩阵中最后一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000023
对于PH像素矩阵中最后一行的其他像素，从第二列开始按照列数从小到大的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000024
若步骤S3得到的是P1,b：
对于PL像素矩阵中第一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000025
对于PH像素矩阵中第一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000026
若步骤S3得到的是Pa,b：
对于PL像素矩阵中最后一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000031
对于PH像素矩阵中最后一行的其他像素，从b-1列开始按照列数从大到小的顺序计算各像素位置的水平方向梯度：
Figure FDA0003156619440000032
其中，
Figure FDA0003156619440000033
为PL像素矩阵中第1行第j列的像素，
Figure FDA0003156619440000034
为PL像素矩阵中第a行第j列的像素，P1,j-1为待得到融合图像像素矩阵中第1行第j-1列的像素，Pa,j-1为待得到融合图像像素矩阵中第a行第j-1列的像素，P1,j+1为待得到融合图像像素矩阵中第1行第j+1列的像素，
Figure FDA0003156619440000035
为PH像素矩阵中第1行第j列的像素，
Figure FDA0003156619440000036
为PH像素矩阵中第a行第j列的像素，i＝1、2、……a，j＝1、2、……b；
对PL和PH像素矩阵中相同位置的水平方向梯度进行比较，若PL的水平方向梯度大于PH的水平方向梯度，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素。
4.如权利要求3所述一种基于图像梯度比较的图像融合方法，其特征在于：步骤S4中，所述由该像素值所在列中其他像素位置PL的竖直方向梯度和PH的竖直方向梯度，确定待得到融合图像中该像素值所在行中其他像素位置的像素值具体为，
若步骤S3得到的是P1,1：
对于PL像素矩阵中第一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000037
对于PH像素矩阵中第一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000038
若步骤S3得到的是Pa,1：
对于PL像素矩阵中第一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000041
对于PH像素矩阵中第一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000042
若步骤S3得到的是P1,b：
对于PL像素矩阵中最后一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000043
对于PH像素矩阵中最后一列的其他像素，从第二行开始按照行数从小到大的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000044
若步骤S3得到的是Pa,b：
对于PL像素矩阵中最后一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000045
对于PH像素矩阵中最后一列的其他像素，从a-1行开始按照行数从大到小的顺序计算各像素位置的竖直方向梯度：
Figure FDA0003156619440000046
其中，
Figure FDA0003156619440000047
为PL像素矩阵中第i行第1列的像素，
Figure FDA0003156619440000048
为PL像素矩阵中第i行第b列的像素，Pi-1,1为待得到融合图像像素矩阵中第i-1行第1列的像素，Pi+1,1为待得到融合图像像素矩阵中第i+1行第1列的像素，
Figure FDA0003156619440000049
为PH像素矩阵中第i行第1列的像素，Pi+1,b为待得到融合图像像素矩阵中第i+1行第b列的像素，
Figure FDA00031566194400000410
为PH像素矩阵中第i行第b列的像素；
对PL和PH像素矩阵中相同位置的竖直方向梯度进行比较，若PL的竖直方向梯度大于PH的竖直方向梯度，则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素。
5.如权利要求4所述一种基于图像梯度比较的图像融合方法，其特征在于：步骤S5具体为，
若步骤S3得到的是P1,1：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000051
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000052
若步骤S3得到的是Pa,1：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000053
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000054
若步骤S3得到的是P1,b：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000055
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000056
若步骤S3得到的是Pa,b：
对于PL像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000057
对于PH像素矩阵中的其他像素，按照由边缘向中间的顺序计算各像素位置水平方向梯度和竖直方向梯度之和：
Figure FDA0003156619440000058
其中，
Figure FDA0003156619440000059
为PL像素矩阵中第i行第j列像素处水平方向梯度和竖直方向梯度之和，
Figure FDA0003156619440000061
为PH像素矩阵中第i行第j列像素处水平方向梯度和竖直方向梯度之和，Pi-1,j为待得到融合图像第i-1行第j列的像素；Pi,j-1为待得到融合图像第i行第j-1列的像素；Pi+1,j为待得到融合图像第i+1行第j列的像素；Pi,j+1为待得到融合图像第i行第j+1列的像素；
对PL和PH像素矩阵中相同位置的
Figure FDA0003156619440000062
和
Figure FDA0003156619440000063
进行比较，若
Figure FDA0003156619440000064
则将待得到融合图像P在该处的像素设置为PL在该处的像素与G的乘积，否则，将待得到融合图像P在该处的像素设置为PH在该处的像素，即得到融合图像中所有位置的像素，完成基于图像梯度比较的图像融合。
6.如权利要求5所述一种基于图像梯度比较的图像融合方法，其特征在于：步骤S1中，所述成像系统为能同时产生两幅不同增益图像的成像系统，或者为通过多次曝光能产生两幅不同增益图像的成像系统。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至6任一所述方法的步骤。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至6任一所述方法的步骤。
CN202110778201.4A 2021-07-09 2021-07-09 基于图像梯度比较的图像融合方法、存储介质及终端设备 Active CN113469928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110778201.4A CN113469928B (zh) 2021-07-09 2021-07-09 基于图像梯度比较的图像融合方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110778201.4A CN113469928B (zh) 2021-07-09 2021-07-09 基于图像梯度比较的图像融合方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN113469928A true CN113469928A (zh) 2021-10-01
CN113469928B CN113469928B (zh) 2023-06-20

Family

ID=77879484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110778201.4A Active CN113469928B (zh) 2021-07-09 2021-07-09 基于图像梯度比较的图像融合方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113469928B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014036813A1 (zh) * 2012-09-10 2014-03-13 华为技术有限公司 图像特征的提取方法及装置
CN109886903A (zh) * 2019-01-23 2019-06-14 湖北工业大学 一种基于灰度中列数参照的多聚焦图像融合方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014036813A1 (zh) * 2012-09-10 2014-03-13 华为技术有限公司 图像特征的提取方法及装置
CN109886903A (zh) * 2019-01-23 2019-06-14 湖北工业大学 一种基于灰度中列数参照的多聚焦图像融合方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
时海亮;黄海洋;李刚: "一种基于像素清晰度的NSCT域多聚焦图像融合方法" *
王勇;刘雯: "基于IE和AG的小波图像融合方法" *

Also Published As

Publication number Publication date
CN113469928B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111247527B (zh) 在卷积神经网络模型中确定特征图像的方法和装置
US10580120B2 (en) Image filtering based on image gradients
CN113077748B (zh) 显示面板的灰阶补偿方法、灰阶补偿装置及灰阶补偿系统
US20220114757A1 (en) Method for processing event data flow and computing device
US10089910B2 (en) Image display device, correction data generation method, and image correction device and method, as well as image correction system
CN112525359B (zh) 一种基于红外图像的红外测温校正方法及终端
US20150341577A1 (en) Image pickup device having unit pixels arranged in two-dimensional matrix form each of which has pixels of different sensitivities, control method therefor, storage medium storing control program therefor, and signal processing device for image pickup device
US20160003900A1 (en) Self-test methods and systems for digital circuits
CN113034382B (zh) 亮度均匀度调节方法、装置、计算机设备和可读存储介质
CN112345090A (zh) 点目标红外辐射测量的方法、设备及可读存储介质
CN106855435A (zh) 长波线阵红外相机星上非均匀性实时校正方法
CN105957034A (zh) 基于配准的扫描型红外成像系统场景非均匀性校正方法
CN113469928B (zh) 基于图像梯度比较的图像融合方法、存储介质及终端设备
US10412331B2 (en) Power consumption estimation method and power consumption estimation apparatus
CN112991202B (zh) 光心位置的校准方法、终端设备及计算机可读存储介质
CN103076097A (zh) 基于参照源的分段线性非均匀矫正方法
CN113393794B (zh) 伽马调试方法、装置及设备
CN113469927B (zh) 基于线性度比较的图像融合方法、存储介质及终端设备
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
US10628928B2 (en) Image processing apparatus, image processing method, and storage medium for gain adjustment
CN109493290B (zh) X射线图像降噪的方法、系统及装置
CN110708537B (zh) 图像传感器性能测试方法及装置、存储介质
CN111256958A (zh) Ccd的电子倍增增益测量标定方法
CN115561691B (zh) 射频发射场校正方法、装置、计算机设备和存储介质
JP7362933B2 (ja) 測定装置及びその測定方法並びに測定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant