CN113674186A - 基于自适应调整因子的图像合成方法、装置 - Google Patents

基于自适应调整因子的图像合成方法、装置 Download PDF

Info

Publication number
CN113674186A
CN113674186A CN202110878500.5A CN202110878500A CN113674186A CN 113674186 A CN113674186 A CN 113674186A CN 202110878500 A CN202110878500 A CN 202110878500A CN 113674186 A CN113674186 A CN 113674186A
Authority
CN
China
Prior art keywords
image
weight
images
dynamic input
adaptive adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110878500.5A
Other languages
English (en)
Inventor
聂婷
李宪圣
黄�良
毕国玲
袁航飞
刘洪兴
农深恺
李明轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110878500.5A priority Critical patent/CN113674186A/zh
Publication of CN113674186A publication Critical patent/CN113674186A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明涉及动态图像合成技术领域，具体涉及一种基于自适应调整因子的图像合成方法、装置、存储介质及设备，方法包括：对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；对选出的低动态输入图像构建高斯金字塔尺度空间；基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；建立自适应调整的引导滤波对权重图像进行滤波处理；滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。通过自适应调整因子，对权重图像进行滤波，避免边缘效益；在多尺度空间进行图像合成融合，以提高动态合成图像的细节信息。

Description

基于自适应调整因子的图像合成方法、装置
技术领域
本发明涉及动态图像合成技术领域，具体而言，涉及一种基于自适应调整因子的图像合成方法、装置、存储介质及设备。
背景技术
目前普通的微光CCD/CMOS图像传感器的动态范围远小于真实场景的动态范围，造成低亮度目标甚至被相机噪声淹没，而高亮目标却达到饱和。
常用的高动态图像提升方法通常情况下通过两种方式获取，一是硬件扩展，是对CCD或者CMOS重新设计，引入新型光调制器件，改变曝光量的效率和灵活性；二是软件处理方法，基于长短曝光融合方法，通过图像处理在一幅图像上同时保留场景中不同亮度目标细节特征。
但是，通常在不增加探测器的情形下，在轨成像时很难获取同一场景同时获取不同曝光时间的图像。而且现有的多曝光融合方法大部分算法都是针对于彩色图像开发的，对于全色遥感图像合成权重因子不再适用，会导致合成后细节丢失；为解决上述问题，需要一种能够基于自适应调整滤波的多积分级数高动态合成方法。
发明内容
本发明实施例提供了一种基于自适应调整因子的图像合成方法、装置、存储介质及设备，能够自适应调整因子对动态图像进行合成，以提高动态合成图像的细节信息。
根据本发明的实施例，提供了一种基于自适应调整因子的图像合成方法，包括以下步骤：
获取多幅不同积分级数的TDI积分数级图像；
对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；
对选出的低动态输入图像构建高斯金字塔尺度空间；
基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；
建立自适应调整的引导滤波对权重图像进行滤波处理；
滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。
进一步地，在对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像中包括：
分别计算TDI积分数级图像的熵值和图像梯度值；
采用熵值和图像梯度值作为选取低动态输入图像评价指标，根据评价指标选取多个TDI积分数级图像作为低动态输入图像。
进一步地，通过评价指标公式分别计算所述TDI积分数级图像的熵值和图像梯度值；
所述评价指标公式为：
Di＝Ei+Gi
其中，图像的熵值和图像梯度值的计算结果分别记为E1,E2,...,EN和G1,G2,...,GN；Di表示第i个评价指标,Ei表示第i个熵值，Gi表示第i个图像梯度值。
进一步地，在对选出的低动态输入图像构建高斯金字塔尺度空间中包括：
对每一幅低动态输入图像均建立高斯金字塔多尺度空间。
进一步地，在基于所高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像中包括：
计算高斯金字塔每一层低动态输入图像的对比度权重系数；
计算高斯金字塔每一层低动态输入图像的纹理因子权重系数；
对于任意一幅低动态输入图像的尺度空间的进行求和。
进一步地，通过对比度权重计算公式计算低动态输入图像对比度权重系数；
所述对比度权重计算公式为：
Figure BDA0003191076860000031
其中，wg(x,y)代表输出灰度权重图像，X(x,y)代表输入图像，x和y代表图像的行坐标和列坐标。mean(X)代表图像的灰度均值，σ设置为0.5；
通过纹理因子计算公式计算高斯金字塔每一层低动态输入图像的纹理因子权重系数；
所述纹理因子计算公式为：
wp(x,y)＝||X(x,y)-μ||a
其中，X(x,y)代表输入图像；wp(x,y)代表输出纹理权重图像，||.||为图像的二范数,μ为图像的均值，a设置为2；
通过权重图像求和公式对于任意一幅低动态输入图像的第i层尺度空间的进行求和；
权重图像求和公式为：
Wi＝Wgi+Wpi
其中，Wgi代表输入的灰度权重，Wpi代表输入的纹理权重，Wi代表输出权重。图像Img1的M层金字塔权重{W11,W12,...,W1M}；图像Img2的M层金字塔权重{W21,W22,...,W2M}；图像Img3的M层金字塔权重{W31,W32,...,W3M}。
进一步地，在建立自适应调整的引导滤波对权重图像进行滤波处理中包括：
计算低动态输入图像的梯度；
计算低动态输入图像的任意一个像素点，及自适应调整权重因子；
对低动态输入图像的权重因子，采用引导滤波的方法对权重图像进行修正。
进一步地，基于梯度计算公式计算梯度图像；
所述梯度计算公式如下：
Figure BDA0003191076860000041
其中，
Figure BDA0003191076860000042
F是输出梯度图像为Img1_gi，Img2_gi和Img3_gi；X表征输入图像Img1i，Img2i和Img3i；
Figure BDA0003191076860000043
代表卷积符号，hx和hy赋值如下：
Figure BDA0003191076860000044
通过自适应调整因子计算公式计算图像的任意一个像素点j,计算自适应调整因子Tj；
所述自适应调整因子计算公式如下：
Figure BDA0003191076860000045
其中，
Figure BDA0003191076860000046
和
Figure BDA0003191076860000047
是以像素j为中心，3×3领域范围内图像的方差和均值；
Figure BDA0003191076860000051
和
Figure BDA0003191076860000052
分别是以像素j为中心，7×7领域范围内图像的方差和均值。α1和β1设置为10-8；
通过滤波计算公式对权重图进行修正；所述滤波计算公式为：
w'＝G(X,w,r,Tε)
其中，X是输入的引导滤波图像；w是Wi对应权重因子W1i,W2i,W2i；G代表原始引导滤波方法，r是滤波半径，T由上述计算而来，ε为原始引导滤波方法中规整化因子；经过改进引导率后的输出的权重因子为：W1’i，W2’i，W3’i。
进一步地，在滤波处理后，对多尺度空间内的多幅图像进行合成，并输出合成后图像中包括：
对高斯金字塔每一层低动态输入图像进行合成；
在高斯金字塔的空间内，将不同积分级数的TDI积分数级图像采样至同一尺度，在高斯金字塔的空间内进行图像合成重构。
进一步地，通过图像合成公式对高斯金字塔的每一层图像进行合成；
所述图像合成公式如下：
Figure BDA0003191076860000053
其中，Imgi是第i层金字塔合成的图像，高斯金字塔一共M层，N为图像的数量；
基于图像重构公式进行图像重构；所述图像重构公式如下：
Img＝S{Img1,s1}+S{Img2,s2}+...+S{ImgM,sM}。
其中，Img为输出的高动态图像，S{}代表图像上采样，s1,s2,…,sM为采样倍数；本实施例中，s1＝4,s2＝2,s3＝1。
一种基于自适应调整因子的图像合成装置，包括：
图像获取模块，用于获取多幅不同积分级数的TDI积分数级图像；
图像计算模块，用于对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；
高斯金字塔构建模块，用于对选出的低动态输入图像构建高斯金字塔的多尺度空间；
权重因子构建模块，用于基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；
图像滤波模块，用于建立自适应调整的引导滤波对权重图像进行滤波处理；
图像合成模块，用于滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。
进一步地，图像计算模块包括：
计算单元，用于分别计算TDI积分数级图像的熵值和图像梯度值；
选取单元，用于采用熵值和图像梯度值作为选取低动态输入图像评价指标，根据评价指标选取多个TDI积分数级图像作为低动态输入图像。
一种计算机可读介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现任意一项的基于自适应调整因子的动态图像合成方法中的步骤。
一种终端设备，包括：处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；
通信总线实现处理器和存储器之间的连接通信；
处理器执行计算机可读程序时实现任意一项的基于自适应调整因子的动态图像合成方法中的步骤。
本发明的基于自适应调整因子的图像合成方法、装置、存储介质及设备中，方法包括：对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；对选出的低动态输入图像构建高斯金字塔尺度空间；基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；建立自适应调整的引导滤波对权重图像进行滤波处理；滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。通过自适应调整因子，对权重图像进行滤波，避免边缘效益；在多尺度空间进行图像合成融合，以提高动态合成图像的细节信息。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于自适应调整因子的图像合成方法的流程图；
图2本发明不同积分级数图像熵和梯度的统计结果图；
图3本发明为计算出初始灰度和纹理权重图像图；
图4本发明为经过自适应滤波后的灰度和纹理权重图像图；
图5本发明为输入的低动态不同积分级数的图像图；
图6本发明输出的高动态图像；
图7为本发明基于自适应调整因子的图像合成装置的原理图；
图8为本发明提供的终端设备的结构原理图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
参阅图1，本申请提出一种基于自适应调整因子的图像合成方法，方法包括以下步骤：
S101：获取多幅不同积分级数的TDI积分数级图像；
S102：对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；
S103：对选出的低动态输入图像构建高斯金字塔尺度空间；
S104：基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；
S105：建立自适应调整的引导滤波对权重图像进行滤波处理；
S106：滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。
本发明的基于自适应调整因子的图像合成方法、装置、存储介质及设备中，方法包括：对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；对选出的低动态输入图像构建高斯金字塔尺度空间；基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；建立自适应调整的引导滤波对权重图像进行滤波处理；滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。通过自适应调整因子，对权重图像进行滤波，避免边缘效益；在多尺度空间进行图像合成融合，以提高动态合成图像的细节信息。
具体地，为了使算法可以在轨实现，基于数字TDI多级数采用信息熵及梯度作为评判准则；根据评判准则，选取多个积分级数图像作为低动态输入图像；然后，对不同积分级数图像构建高斯金字塔空间，建立两个权重系数；提出自适应调整因子，对权重滤波，避免边缘效益。最后在多尺度空间进行融合，输入高动态图像。该本申请方法利于在轨实现，并且能够自适应权重滤波，提高高动态合成图像的细节信息。
实施例中，在对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像中包括：
分别计算TDI积分数级图像的熵值和图像梯度值；
采用熵值和图像梯度值作为选取低动态输入图像评价指标，根据评价指标选取多个TDI积分数级图像作为低动态输入图像。
以下为对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像的具体步骤：
步骤一：分别计算TDI积分数级图像的熵值和图像梯度值，图像的熵值和图像梯度值的计算结果分别记为E1,E2,...,EN和G1,G2,...,GN。
步骤二：采用熵值和图像梯度值作为评价指标,评价指标的各值记为：D1,D2,...DN。
步骤三：根据评价指标计算公式计算评价指标。
评价指标公式为：
Di＝Ei+Gi
其中，Di表示第i个评价指标,Ei表示第i个熵值，Gi表示第i个图像梯度值。
步骤四：计算D1,D2,...DN的均值Dmid和最大值Dmax，将超过均值Dmid的评价指标视为积分级数等级j1和j2，将最大值Dmax对应视为的积分等级j3。
步骤五：选取j1，j2和j3对应的三幅不同积分等级的图像Img1、Img2和Img3。
参见图2-6，下面以具体实施例对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像进行说明：
首先输入N个不同级数字TDI积分级数的图像；本实施例中，取N＝5，积分级数分别5,10,20,30和35。
第一步：分别计算N级数字TDI积分图像的熵值和图像梯度值，该熵值和图像梯度值计算结果分别记为：E1,E2,...,EN和G1,G2,...,GN；本实施例中，熵值和图像梯度值分别为：6.3，7.8，8.5，7.4和40.2，60.9，100.4，70.6和32.9。
第二步：采用熵值和图像梯度值作为评价指标,评价指标的各值记为：D1,D2,...DN。
第三步：计算评价指标D1,D2,...DN,计算评价指标公式为：
Di＝Ei+Gi
第四步：计算D1,D2,...DN的均值Dmid和最大值Dmax,按照从大到小找到刚好超过均值Dmid的积分级数等级j1和j2，以及最大值Dmax对应的积分等级j3。本实施例中，评价指标分别是46.5，68.7，108.9，78，37.1。均值Dmid为67.84，最大值Dmax为108.9，故取积分等级j1＝10,j2＝30,j3＝20对应的三幅图像。
第五步：输入j1、j2和j3对应的三幅不同积分等级的图像Img1、Img2和Img3。
实施例中，在对选出的低动态输入图像构建高斯金字塔尺度空间中包括：
对每一幅低动态输入图像均建立高斯金字塔多尺度空间。
具体地，对每一幅低动态输入图像均建立高斯金字塔多尺度空间包括：
步骤一：构造Img1的Laplican高斯金字塔多尺度空间：Img1G＝{Img11,Img12,...,Img1M}。
步骤二：构造Img2的Laplican高斯金字塔多尺度空间：Img2G＝{Img21,Img22,...,Img2M}。
步骤三：构造Img3的Laplican高斯金字塔多尺度空间：Img3G＝{Img31,Img32,...,Img3M}。
其中，M为高斯金字塔的层数，本实施例中，M＝3。
实施例中，在基于所高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像中包括：
计算高斯金字塔每一层低动态输入图像的对比度权重系数；
计算高斯金字塔每一层低动态输入图像的纹理因子权重系数；
对于任意一幅低动态输入图像的第i层尺度空间的进行求和。
以下为基于所高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像的具体步骤：
步骤一：通过对比度权重计算公式计算高斯金字塔每一层低动态输入图像的对比度权重系数；对比度权重计算公式为：
Figure BDA0003191076860000121
其中，wg(x,y)代表输出灰度权重图像，X(x,y)代表输入图像，x和y代表图像的行坐标和列坐标。mean(X)代表图像的灰度均值，σ设置为0.5。
步骤二：通过纹理因子计算公式计算高斯金字塔每一层低动态输入图像的纹理因子权重系数；纹理因子计算公式为：
wp(x,y)＝||X(x,y)-μ||a
其中，X(x,y)代表输入图像；wp(x,y)代表输出纹理权重图像，||.||为图像的二范数,μ为图像的均值，a设置为2。
步骤三：通过权重图像求和公式对于任意一幅低动态输入图像的第i层尺度空间的进行求和；权重图像求和公式为：
Wi＝Wgi+Wpi
其中，Wgi代表输入的灰度权重，Wpi代表输入的纹理权重，Wi代表输出权重。图像Img1的M层金字塔权重{W11,W12,...,W1M}；图像Img2的M层金字塔权重{W21,W22,...,W2M}；图像Img3的M层金字塔权重{W31,W32,...,W3M}。
下面以具体实施例对基于所高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像进行说明：
第一步：对于输入金字塔每一层图像Img1i、Img2i和Img3i计算对比度权重系数，公式如下：
Figure BDA0003191076860000131
其中，wg(x,y)代表输出灰度权重图像Img1i_W，Img2i_W，Img3i_W，X(x,y)代表输入图像Img1i，Img2i，Img3i，x和y代表图像的行坐标和列坐标。mean(X)代表图像的灰度均值，σ设置为0.5。
第二步：对于输入金字塔每一层图像Img1i、Img2i和Img3i图像计算纹理因子权重系数，公式如下：
wp(x,y)＝||X(x,y)-μ||a
其中，X(x,y)代表输入图像Img1i、Img2i和Img3i；wp(x,y)代表输出纹理权重图像Img1i_Wp，Img2i_Wp和Img3i_Wp；||.||为图像的二范数，μ为图像的均值，a设置为2。
第三步：对于任意一幅图像的第i层尺度空间的权重图像进行求和，公式如下：
Wi＝Wgi+Wpi
实施例中，在建立自适应调整的引导滤波对权重图像进行滤波处理中包括：
计算低动态输入图像的梯度；
计算低动态输入图像的任意一个像素点，及自适应调整权重因子；
对低动态输入图像的权重因子，采用引导滤波的方法对权重图像进行修正。
下面以具体实施例对建立自适应调整的引导滤波对权重图像进行滤波处理进行说明：
步骤一：基于梯度计算公式计算图像Img1i、Img2i和Img3i的梯度图像，公式如下：
Figure BDA0003191076860000141
其中，
Figure BDA0003191076860000142
F是输出梯度图像为Img1_gi，Img2_gi和Img3_gi；X表征输入图像Img1i，Img2i和Img3i；
Figure BDA00031910768600001411
代表卷积符号，hx和hy赋值如下：
Figure BDA0003191076860000143
步骤二：计算图像Img1i，Img2i和Img3i的任意一个像素点j,计算自适应调整因子Tj，计算公式如下：
Figure BDA0003191076860000144
其中，
Figure BDA0003191076860000145
和
Figure BDA0003191076860000146
是以像素j为中心，3×3领域范围内图像的方差和均值；
Figure BDA0003191076860000147
和
Figure BDA0003191076860000148
分别是以像素j为中心，7×7领域范围内图像的方差和均值。α1和β1设置为10-8。
步骤三：对于图像Img1i，Img2i和Img3i生产的权重因子，采用引导滤波的方法对权重图进行修正；对每个像素采用Tjε代替原始引导滤波函数中的ε，计算出权重进行自适应调整引导滤波处理，公式如下：
w'＝G(X,w,r,Tε)
其中，X是输入的引导滤波图像Img1i，Img2i和Img3i；w是Wi对应权重因子W1i,W2i,W2i；G代表原始引导滤波方法，r是滤波半径，T由上述计算而来，ε为原始引导滤波方法中规整化因子。经过改进引导率后的输出的权重因子为：W1’i，W2’i，W3’i。
步骤四：对权重W1’i，W2’i，W3’i进行归一化处理：
Figure BDA0003191076860000149
Figure BDA00031910768600001410
Figure BDA0003191076860000151
其中，
Figure BDA0003191076860000152
和是W1’i，W2’i，W3’i归一化的全重因子
实施例中，在滤波处理后，对多尺度空间内的多幅图像进行合成，并输出合成后图像中包括：
对高斯金字塔每一层低动态输入图像进行合成；
在高斯金字塔的空间内，将不同积分级数的TDI积分数级图像采样至同一尺度，在高斯金字塔的空间内进行图像合成重构。
下面以具体实施例对尺度空间内图像合成进行说明：
步骤一：对高斯金字塔的每一层图像Img1i、Img2i和Img3i进行合成，公式如下：
Figure BDA0003191076860000153
其中，Imgi是第i层金字塔合成的图像，高斯金字塔一共M层。
步骤二：在Laplican高斯金字塔空间内，将图像Imgi(i＝1,2,…,M)采样至同一尺度，基于图像重构公式进行图像重构，图像重构公式如下：
Img＝S{Img1,s1}+S{Img2,s2}+...+S{ImgM,sM}
其中，Img为输出的高动态图像，S{}代表图像上采样，s1,s2,…,sM为采样倍数；本实施例中，s1＝4,s2＝2,s3＝1。
一种基于自适应调整因子的图像合成装置，参见图7，包括：
图像获取模块100，用于获取多幅不同积分级数的TDI积分数级图像；
图像计算模块200，用于对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；
高斯金字塔构建模块300，用于对选出的低动态输入图像构建高斯金字塔的多尺度空间；
权重因子构建模块400，用于基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；
图像滤波模块500，用于建立自适应调整的引导滤波对权重图像进行滤波处理；
图像合成模块600，用于滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。
本发明的基于自适应调整因子的图像合成方法、装置、存储介质及设备中，装置包括：对TDI积分数级图像进行计算，选取多个TDI积分数级图像作为低动态输入图像；对选出的低动态输入图像构建高斯金字塔尺度空间；基于高斯金字塔尺度空间，对低动态输入图像构建权重因子，生成权重图像；建立自适应调整的引导滤波对权重图像进行滤波处理；滤波处理后，对多尺度空间内的多幅低动态输入图像进行合成，并输出合成后图像。通过自适应调整因子，对权重图像进行滤波，避免边缘效益；在多尺度空间进行图像合成融合，以提高动态合成图像的细节信息。通过自适应调整因子，对权重图像进行滤波，避免边缘效益；在多尺度空间进行图像合成融合，以提高动态合成图像的细节信息。
实施例中，图像计算模块包括：
计算单元，用于分别计算TDI积分数级图像的熵值和图像梯度值；
选取单元，用于采用熵值和图像梯度值作为选取低动态输入图像评价指标，根据评价指标选取多个TDI积分数级图像作为低动态输入图像。
基于上述基于视频信息的定位方法，本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例的基于自适应调整因子的图像合成方法中的步骤。
一种终端设备，包括：处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；通信总线实现处理器和存储器之间的连接通信；处理器执行计算机可读程序时实现上述的基于自适应调整因子的动态图像合成方法中的步骤。
基于上述基于自适应调整因子的图像合成方法，本申请提供了一种终端设备，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
以上所述仅是本发明的优选实施方式，不能认定本发明的具体实施只局限于这些说明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.基于自适应调整因子的图像合成方法，其特征在于，包括以下步骤：
获取多幅不同积分级数的TDI积分数级图像；
对所述TDI积分数级图像进行计算，选取多个所述TDI积分数级图像作为低动态输入图像；
对选出的所述低动态输入图像构建高斯金字塔尺度空间；
基于所述高斯金字塔尺度空间，对所述低动态输入图像构建权重因子，生成权重图像；
建立自适应调整的引导滤波对所述权重图像进行滤波处理；
滤波处理后，对所述多尺度空间内的多幅所述低动态输入图像进行合成，并输出合成后图像。
2.根据权利要求1所述的基于自适应调整因子的图像合成方法，其特征在于，在所述对所述TDI积分数级图像进行计算，选取多个所述TDI积分数级图像作为低动态输入图像中包括：
分别计算所述TDI积分数级图像的熵值和图像梯度值；
采用所述熵值和图像梯度值作为选取低动态输入图像评价指标，根据所述评价指标选取多个所述TDI积分数级图像作为所述低动态输入图像。
3.根据权利要求2所述的基于自适应调整因子的图像合成方法，其特征在于，通过评价指标公式分别计算所述TDI积分数级图像的熵值和图像梯度值；
所述评价指标公式为：
Di＝Ei+Gi
其中，图像的熵值和图像梯度值的计算结果分别记为E1,E2,...,EN和G1,G2,...,GN；Di表示第i个评价指标,Ei表示第i个熵值，Gi表示第i个图像梯度值。
4.根据权利要求1所述的基于自适应调整因子的图像合成方法，其特征在于，在所述对选出的所述低动态输入图像构建高斯金字塔尺度空间中包括：
对每一幅所述低动态输入图像均建立高斯金字塔多尺度空间。
5.根据权利要求1所述的基于自适应调整因子的图像合成方法，其特征在于，在所述基于所高斯金字塔尺度空间，对所述低动态输入图像构建权重因子，生成权重图像中包括：
计算所述高斯金字塔每一层所述低动态输入图像的对比度权重系数；
计算所述高斯金字塔每一层所述低动态输入图像的纹理因子权重系数；
对于任意一幅所述低动态输入图像的尺度空间的进行求和。
6.根据权利要求5所述的基于自适应调整因子的图像合成方法，其特征在于，通过对比度权重计算公式计算低动态输入图像对比度权重系数；
所述对比度权重计算公式为：
Figure FDA0003191076850000021
其中，wg(x,y)代表输出灰度权重图像，X(x,y)代表输入图像，x和y代表图像的行坐标和列坐标，mean(X)代表图像的灰度均值，σ设置为0.5；
通过纹理因子计算公式计算高斯金字塔每一层低动态输入图像的纹理因子权重系数；
所述纹理因子计算公式为：
wp(x，y)＝||X(x，y)-μ||α
其中，X(x,y)代表输入图像；wp(x,y)代表输出纹理权重图像，||.||为图像的二范数,μ为图像的均值，a设置为2；
通过权重图像求和公式对于任意一幅低动态输入图像的第i层尺度空间的进行求和；
权重图像求和公式为：
Wi＝Wgi+Wpi
其中，Wgi代表输入的灰度权重，Wpi代表输入的纹理权重，Wi代表输出权重，图像Img1的M层金字塔权重{W11,W12,...,W1M}；图像Img2的M层金字塔权重{W21,W22,...,W2M}；图像Img3的M层金字塔权重{W31,W32,...,W3M}。
7.根据权利要求6所述的基于自适应调整因子的图像合成方法，其特征在于，在所述建立自适应调整的引导滤波对所述权重图像进行滤波处理中包括：
计算所述低动态输入图像的梯度；
计算所述低动态输入图像的任意一个像素点，及自适应调整权重因子；
对所述低动态输入图像的权重因子，采用引导滤波的方法对所述权重图像进行修正。
8.根据权利要求7所述的基于自适应调整因子的图像合成方法，其特征在于，基于梯度计算公式计算梯度图像；
所述梯度计算公式如下：
Figure FDA0003191076850000031
其中，
Figure FDA0003191076850000032
F是输出梯度图像为Img1_gi，Img2_gi和Img3_gi；X表征输入图像Img1i，Img2i和Img3i；
Figure FDA0003191076850000041
代表卷积符号，hx和hy赋值如下：
Figure FDA0003191076850000042
通过自适应调整因子计算公式计算图像的任意一个像素点j,计算自适应调整因子Tj；
所述自适应调整因子计算公式如下：
Figure FDA0003191076850000043
其中，
Figure FDA0003191076850000044
和
Figure FDA0003191076850000045
是以像素j为中心，3×3领域范围内图像的方差和均值；
Figure FDA0003191076850000046
和
Figure FDA0003191076850000047
分别是以像素j为中心，7×7领域范围内图像的方差和均值，α1和β1设置为10-8；
通过滤波计算公式对权重图进行修正；所述滤波计算公式为：
w'＝G(X,w,r,Tε)
其中，X是输入的引导滤波图像；w是Wi对应权重因子W1i,W2i,W2i；G代表原始引导滤波方法，r是滤波半径，T由上述计算而来，ε为原始引导滤波方法中规整化因子；经过改进引导率后的输出的权重因子为：W1’i，W2’i，W3’i。
9.根据权利要求1所述的基于自适应调整因子的图像合成方法，其特征在于，在所述滤波处理后，对所述多尺度空间内的多幅图像进行合成，并输出合成后图像中包括：
对所述高斯金字塔每一层所述低动态输入图像进行合成；
在所述高斯金字塔的空间内，将不同积分级数的TDI积分数级图像采样至同一尺度，在高斯金字塔的空间内进行图像合成重构。
10.根据权利要求9所述的基于自适应调整因子的图像合成方法，其特征在于，通过图像合成公式对高斯金字塔的每一层图像进行合成；
所述图像合成公式如下：
Figure FDA0003191076850000051
其中，Imgi是第i层金字塔合成的图像，高斯金字塔一共M层，N为图像的数量；
基于图像重构公式进行图像重构；所述图像重构公式如下：
Img＝S{Img1,s1}+S{Img2,s2}+...+S{ImgM,sM}
其中，Img为输出的高动态图像，S{}代表图像上采样，s1,s2,…,sM为采样倍数；本实施例中，s1＝4,s2＝2,s3＝1。
11.一种基于自适应调整因子的图像合成装置，其特征在于，包括：
图像获取模块，用于获取多幅不同积分级数的TDI积分数级图像；
图像计算模块，用于对所述TDI积分数级图像进行计算，选取多个所述TDI积分数级图像作为低动态输入图像；
高斯金字塔构建模块，用于对选出的所述低动态输入图像构建高斯金字塔的多尺度空间；
权重因子构建模块，用于基于所述高斯金字塔尺度空间，对所述低动态输入图像构建权重因子，生成权重图像；
图像滤波模块，用于建立自适应调整的引导滤波对所述权重图像进行滤波处理；
图像合成模块，用于滤波处理后，对所述多尺度空间内的多幅所述低动态输入图像进行合成，并输出合成后图像。
12.一种计算机可读介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-10任意一项所述的基于自适应调整因子的动态图像合成方法中的步骤。
13.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-10任意一项所述的基于自适应调整因子的动态图像合成方法中的步骤。
CN202110878500.5A 2021-08-02 2021-08-02 基于自适应调整因子的图像合成方法、装置 Pending CN113674186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110878500.5A CN113674186A (zh) 2021-08-02 2021-08-02 基于自适应调整因子的图像合成方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110878500.5A CN113674186A (zh) 2021-08-02 2021-08-02 基于自适应调整因子的图像合成方法、装置

Publications (1)

Publication Number Publication Date
CN113674186A true CN113674186A (zh) 2021-11-19

Family

ID=78541034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110878500.5A Pending CN113674186A (zh) 2021-08-02 2021-08-02 基于自适应调整因子的图像合成方法、装置

Country Status (1)

Country Link
CN (1) CN113674186A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN109451249A (zh) * 2018-11-23 2019-03-08 中国科学院长春光学精密机械与物理研究所 一种提高数字域tdi成像动态范围的方法、装置及设备
CN109544642A (zh) * 2018-11-16 2019-03-29 北京理工大学 一种基于n型靶标的tdi-ccd相机参数标定方法
CN110852982A (zh) * 2019-11-19 2020-02-28 常州工学院 自适应的曝光量调整多尺度熵融合的水下图像增强方法
CN111986134A (zh) * 2020-08-26 2020-11-24 中国空间技术研究院 面阵相机遥感成像方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN109544642A (zh) * 2018-11-16 2019-03-29 北京理工大学 一种基于n型靶标的tdi-ccd相机参数标定方法
CN109451249A (zh) * 2018-11-23 2019-03-08 中国科学院长春光学精密机械与物理研究所 一种提高数字域tdi成像动态范围的方法、装置及设备
CN110852982A (zh) * 2019-11-19 2020-02-28 常州工学院 自适应的曝光量调整多尺度熵融合的水下图像增强方法
CN111986134A (zh) * 2020-08-26 2020-11-24 中国空间技术研究院 面阵相机遥感成像方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
兰太吉: "数字域 TDI CMOS 遥感相机高动态高灵敏成像技术研究", 中国博士学位论文全文数据库, pages 49 *

Similar Documents

Publication Publication Date Title
CN115442515B (zh) 图像处理方法和设备
CN111311629B (zh) 图像处理方法、图像处理装置及设备
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
CN108604369B (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN111402146A (zh) 图像处理方法以及图像处理装置
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
Liu et al. Exploit camera raw data for video super-resolution via hidden Markov model inference
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
WO2022133194A1 (en) Deep perceptual image enhancement
An et al. Single-shot high dynamic range imaging via deep convolutional neural network
JP2021179833A (ja) 情報処理装置、情報処理方法及びプログラム
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN111242860A (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN116547694A (zh) 用于对模糊图像去模糊的方法和系统
CN114998141A (zh) 基于多分支网络的空间环境高动态范围成像方法
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN111861949B (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
CN113674186A (zh) 基于自适应调整因子的图像合成方法、装置
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination