CN112233049B - 一种用于提升图像清晰度的图像融合方法 - Google Patents

一种用于提升图像清晰度的图像融合方法 Download PDF

Info

Publication number
CN112233049B
CN112233049B CN202011462846.9A CN202011462846A CN112233049B CN 112233049 B CN112233049 B CN 112233049B CN 202011462846 A CN202011462846 A CN 202011462846A CN 112233049 B CN112233049 B CN 112233049B
Authority
CN
China
Prior art keywords
image
local
feature
fusion
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011462846.9A
Other languages
English (en)
Other versions
CN112233049A (zh
Inventor
廖峪
林仁辉
苏茂才
唐泰可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhonggui Track Equipment Co ltd
Original Assignee
Chengdu Zhonggui Track Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhonggui Track Equipment Co ltd filed Critical Chengdu Zhonggui Track Equipment Co ltd
Priority to CN202011462846.9A priority Critical patent/CN112233049B/zh
Publication of CN112233049A publication Critical patent/CN112233049A/zh
Application granted granted Critical
Publication of CN112233049B publication Critical patent/CN112233049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于提升图像清晰度的图像融合方法，包括以下步骤：步骤S1、将同一目标的多张素材图像进行预处理，并选取能够用于图像融合的两张目标原始图像；步骤S2、将所述目标原始图像均按照第一二值化阈值进行全局二值化处理以获得所述目标原始图像的全局特征图像。本发明利用全局二值化分析和局部二值化分析相结合的提取具有图像细节的局部特征图像，而后对局部特征图像进行相位转换进行融合位置匹配，依次对局部特征图像的特征像素点执行融合算法以实现清晰度低的局部特征图像的细节融合以提高整体图像融合的清晰度，同时保留清晰度高的局部特征图像以减少不必要的融合过程，提高融合效率。

Description

一种用于提升图像清晰度的图像融合方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于提升图像清晰度的图像融合方法。
背景技术
图像融合(Image Fusion)是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅(或多幅) 图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。
图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅，或者一列的形式给出。而图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。
现有的融合方法主要是利用矩阵运算和统计估计理论对带融合图像加以计算，实现信息互补。较为经典的方法有：加权融合方法，像素值取大法，像素值取小法，主成分分析法以及统计估计法等。虽然目前的图像融合算法均能获得一个较好的融合效果，但仍存在以下缺陷：
融合多张图像前的预处理操作仅仅只进行了集合校正和消噪处理，根据图像中的像素点中二值化像素值而获得表示待融合的同一特征结构的融合区域，直接对融合区域运用融合算法进行特征结构融合，缺乏对融合区域进一步的细节提取，导致融合效果不佳。
发明内容
本发明的目的在于提供一种用于提升图像清晰度的图像融合方法，以解决现有技术中直接对融合区域运用融合算法进行特征结构融合，缺乏对融合区域进一步的细节提取，导致融合效果不佳的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种用于提升图像清晰度的图像融合方法，包括以下步骤：包括以下步骤：
步骤S1、将同一目标的多张素材图像进行预处理，并选取能够用于图像融合的两张目标原始图像；
步骤S2、将所述目标原始图像均按照第一二值化阈值进行全局二值化处理以获得所述目标原始图像的全局特征图像；
步骤S3、从所述全局特征图像中选取特征清晰度高的至少1个第一局部区域，以及特征清晰度低的至少1个第二局部区域，并全部对应至所述目标原始图像中以获得第一局部原始图像和第二局部原始图像；
步骤S4、对每个所述第一局部原始图像按照第二二值化阈值进行局部二值化处理，以获得每张所述目标原始图像的至少1个第一局部特征图像；
对每个所述第二局部原始图像按照相同的第三二值化阈值进行局部二值化处理，以获得每张所述目标原始图像的至少1个第二局部特征图像；
其中，所述第一二值化阈值、所述第二二值化阈值和所述第三二值化阈值不相等；
步骤S5、将两张所述目标原始图像的第一局部特征图像进行位置区分，印制到白色融合图层相对应的位置处；
将两张所述目标原始图像的第二局部特征图像的局部细节对应融合印制到白色融合图层相对位置处。
步骤S6、白色融合图层中获得清晰度高的第一局部特征图像和清晰度高的第二局部特征图像组合而成所述目标原始图像中的目标融合结果。
作为本发明的一种优选方案，所述步骤S2，获得所述目标原始图像的全局特征图像的具体方式为：
步骤S201、设定第一二值化阈值，分别对两张所述目标原始图像按照第一二值化阈值进行所述全局二值化处理并提取所述全局特征图像分别生成第一全局特征图像和第二全局特征图像；
步骤S202、按照统一规格将所述第一全局特征图像和第二全局特征图像依据清晰度高低划分成包含多个特征结构区域的第一局部区域集合和第二局部区域集合；
其中，第一局部区域集合包含特征清晰度高的至少1个第一局部区域，第二局部区域集合包含特征清晰度低的至少1个第二局部区域。
作为本发明的一种优选方案，所述步骤S202中，按照统一规格规划特征结构区域的具体方式：
分别提取第一全局特征图像和第二全局特征图像中所包含的全局特征图像的所有特征像素点生成第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵；
以固定规格的空矩阵框架分别切割第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵，将第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵分割成多个具有相同规格的表征局部特征图像的局部特征矩阵；
将第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵分割成的多个所述局部特征矩阵分别进行清晰度判别生成特征清晰度高的第一局部区域集合和特征清晰度低的第二局部区域集合。
作为本发明的一种优选方案，所述步骤S4，获得第一局部特征图像和第二局部特征图像的具体方式为：
步骤S401、设定自适应的第二二值化阈值，逐一对第一局部区域集合中第一局部区域对应的第一局部原始图像按照所述第二二值化阈值进行局部二值化处理分别生成第一局部特征图像集合；
步骤S402、设定自适应的第三二值化阈值，逐一对第二局部区域集合中第二局部区域对应的第一局部原始图像按照所述第三二值化阈值进行局部二值化处理分别生成第二局部特征图像集合；
其中，第一局部特征图像集合包含特征清晰度高的至少1个第一局部特征图像和第二局部特征图像集合包含清晰度低的至少1个第二局部特征图像。
作为本发明的一种优选方案，设定自适应的第二或第三二值化阈值的具体方式：
逐一计算所有所述第一或第二局部原始图像中特征像素点的像素值的平均值、差平方和均方根，分别标记为E,W,V，构建第二或第三二值化阈值的自适应函数T=a*E+b*W+c*V,其中a,b,c为自由参数；
逐一在所有所述第一或第二局部原始图像中依据自适应函数计算出第二或第三二值化阈值T1,T2,…,Tn，n为第一或第二局部原始图像总数，依据T1,T2,…,Tn对所述第一或第二局部原始图像进行局部二值化处理；
分别提取第一或第二局部原始图像中局部特征图像分别生成第一局部特征图像或第二局部特征图像。
作为本发明的一种优选方案，所述步骤S5，对第一局部特征图像进行位置区分并印制到白色融合图层相对应的位置处的具体方式为：
提取所有的第二局部特征图像所包含特征像素点生成第二局部特征图像像素点矩阵集合；
将第一局部特征图像像素点矩阵集合中的第一局部特征图像像素点矩阵进行矩阵坐标匹配：
若存在矩阵坐标相一致的两个第一局部特征图像像素点矩阵，比较两个第一局部特征图像的清晰度高低，选择清晰度高的第一局部特征图像像素点矩阵作为印制到白色融合图层上该矩阵坐标处的第一局部特征图像；
若不存在矩阵坐标相一致的任意两个第一局部特征图像像素点矩阵，均保持所有第一局部特征图像按对应矩阵坐标印制到白色融合图层上。
作为本发明的一种优选方案，所述步骤S5，将两张所述目标原始图像的第二局部特征图像的局部细节对应融合以消除局部特征图像的相位差，具体方式为：
提取所有的第二局部特征图像所包含特征像素点生成第二局部特征图像像素点矩阵；
随机选取一张所述目标原始图像作为融合基准层，另一张所述目标原始图像作为融合移动层；
在融合基准层中第二局部特征图像像素点矩阵内选取多个特征像素点作为基准匹配点；
在融合移动层中第二局部特征图像像素点矩阵内选取与所述基准匹配点具有相同像素值的特征像素点作为移动匹配点；
计算移动匹配点和基准匹配点在所述第二局部特征图像像素点矩阵中的矩阵坐标差，依据所述矩阵坐标差调整融合移动层中第二局部特征图像像素点矩阵中所有的特征像素点的矩阵坐标至移动匹配点和基准匹配点具有相同的矩阵坐标生成对应融合第二局部特征图像像素点校正矩阵；
将融合移动层中第二局部特征图像像素点校正矩阵和融合基准层中第二局部特征图像像素点矩阵按照图像融合算法进行矩阵逐点融合，将融合结果显示在融合基准层中并将融合基准层印制到白色融合图层中。
作为本发明的一种优选方案，所述特征像素点的特征值为像素值和矩阵点坐标。
作为本发明的一种优选方案，所述融合基准层的所有特征像素点和融合移动层中的所有特征像素点的融合结果即为凸显局部特征图像细节用以提高图像清晰度。
作为本发明的一种优选方案，白色融合图层中显示的是两张目标原始图像的清晰度高的融合结果。
本发明与现有技术相比较具有如下有益效果：
本发明利用全局二值化分析和局部二值化分析相结合的提取具有图像细节的局部特征图像，而后对局部特征图像进行相位转换进行融合位置匹配，依次对局部特征图像的特征像素点执行融合算法以实现清晰度低的局部特征图像的细节融合以提高整体图像融合的清晰度，同时保留清晰度高的局部特征图像以减少不必要的融合过程，提高融合效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的提升图像清晰度的图像融合方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种用于提升图像清晰度的图像融合方法，本实施例先通过全局二值化和局部二值化获取待融合原始图像的局部特征图像，然后再对局部特征图像中清晰度低的部分按照现有的图像融合算法进行图像融合，来提高局部整体细节从而达到提高素材图像清晰度的效果，包括以下步骤：
步骤S1、将同一目标的多张素材图像进行预处理，并选取能够用于图像融合的两张目标原始图像；
预处理获得用于融合的两张目标原始图像的具体方式为：对多张素材图像包含的所有像素点按照像素值匹配，若所有像素点存在匹配部分，则素材图像具有相同部分可以用于图像融合；若所有像素点均不匹配，则素材图像无相同部分无需进行图像融合，选择出多张素材图像匹配部分最大两张作为目标融合的原始图像。
步骤S2、将目标原始图像均按照第一二值化阈值进行全局二值化处理以获得目标原始图像的全局特征图像；
在实际操作中可根据两张目标原始图像中包含的全局特征图像的像素范围确定第一二值化阈值，对两张目标原始图像进行全局二值化处理，则两张目标原始图像只包含有像素值大于第一二值化阈值的像素点集合和像素值小于第一二值化阈值的像素点集合两个部分，其中，像素值大于第一二值化阈值的像素点集合或像素值小于第一二值化阈值的像素点集合为全局特征图像的像素点集合，从而对两张目标原始图像全局二值化处理后分别提取出了两张目标原始图像的全局特征图像。
利用第一二值化阈值可对两张目标原始图像进行全局二值化处理，获得可进行图像融合的全局特征图像，在图像融合时只需要在全局特征图像上进行即可，将融合范围从两张目标原始图像中全部的像素点缩小到全局特征图像的特征像素点，避免无效融合，有效的提高效率。
步骤S2，获得目标原始图像的全局特征图像的具体方式为：
步骤S201、设定第一二值化阈值，分别对两张目标原始图像按照第一二值化阈值进行全局二值化处理并提取全局特征图像分别生成第一全局特征图像和第二全局特征图像；
步骤S202、按照统一规格将第一全局特征图像和第二全局特征图像依据清晰度高低划分成包含多个特征结构区域的第一局部区域集合和第二局部区域集合；
步骤S202中，按照统一规格规划特征结构区域的具体方式：
V1、分别提取第一全局特征图像和第二全局特征图像中所包含的全局特征图像的所有特征像素点生成第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵；
V2、以固定规格的空矩阵框架分别切割第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵，将第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵分割成多个具有相同规格的表征局部特征图像的局部特征矩阵；
V3、将第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵分割成的多个局部特征矩阵分别进行清晰度判别生成特征清晰度高的第一局部区域集合和特征清晰度低的第二局部区域集合。
其中，第一局部区域集合包含特征清晰度高的至少1个第一局部区域，第二局部区域集合包含特征清晰度低的至少1个第二局部区域。
步骤S3、从全局特征图像中选取特征清晰度高的至少1个第一局部区域，以及特征清晰度低的至少1个第二局部区域，并全部对应至目标原始图像中以获得第一局部原始图像和第二局部原始图像；
步骤S4、对每个第一局部原始图像按照第二二值化阈值进行局部二值化处理，以获得每张目标原始图像的至少1个第一局部特征图像；
步骤S401、设定自适应的第二二值化阈值，逐一对第一局部区域集合中第一局部区域对应的第一局部原始图像按照第二二值化阈值进行局部二值化处理分别生成第一局部特征图像集合；
对每个第二局部原始图像按照相同的第三二值化阈值进行局部二值化处理，以获得每张目标原始图像的至少1个第二局部特征图像；
步骤S402、设定自适应的第三二值化阈值，逐一对第二局部区域集合中第二局部区域对应的第一局部原始图像按照第三二值化阈值进行局部二值化处理分别生成第二局部特征图像集合；
其中，第一局部特征图像集合包含特征清晰度高的至少1个第一局部特征图像和第二局部特征图像集合包含清晰度低的至少1个第二局部特征图像。
在第一局部原始图像和第二局部原始图像中进行局部二值化处理，即对可进行图像融合的全局特征图像进行进一步的局部特征图像提取，以在局部特征图像上进行图像融合从而在融合后清晰地显示图像中包含的特征细节，提高整体图像的清晰度。
本实施例在利用二值化提取待融合的局部特征图像时同时运用全局二值化和局部二值化处理操作，比当前仅利用全局二值化提取特征图像或仅利用局部二值化提取特征图像具有更加凸显局部细节特征图像以及减少无效提取过程的优点。
第一二值化阈值、第二二值化阈值和第三二值化阈值不相等；
设定自适应的第二或第三二值化阈值的具体方式：
逐一计算所有第一或第二局部原始图像中特征像素点的像素值的平均值、差平方和均方根，分别标记为E,W,V，构建第二或第三二值化阈值的自适应函数T=a*E+b*W+c*V,其中a,b,c为自由参数；
逐一在所有第一或第二局部原始图像中依据自适应函数计算出第二或第三二值化阈值T1,T2,…,Tn，n为第一或第二局部原始图像总数，依据T1,T2,…,Tn对第一或第二局部原始图像进行局部二值化处理；
若对局部二值化阈值设定采用统一制定的方式，同样会导致如全局二值化的缺点即造成细节的丢失，因此本实施例采用自适应的第二和第三二值化阈值的方式，建立第二和第三二值化阈值与第一局部原始图像和第二局部原始图像自身像素点之间的联系，更能展示各局部特征图像符合自身特征的细节。
其中，E,W,V均与局部特征图像的固有特征值，用于构建各个局部特征结构的第二和第三二值化阈值可以有效的建立第二和第三二值化阈值与局部特征结构之间的自适应联系，使得采用第二和第三二值化阈值更加合理的提取出局部特征图像。
分别提取第一或第二局部原始图像中局部特征图像分别生成第一局部特征图像或第二局部特征图像。
步骤S5、将两张目标原始图像的第一局部特征图像进行位置区分，印制到白色融合图层相对应的位置处；
将两张目标原始图像的第二局部特征图像的局部细节对应融合印制到白色融合图层相对位置处。
步骤S5，对第一局部特征图像进行位置区分并印制到白色融合图层相对应的位置处的具体方式为：
第一局部特征图像的清晰度足够高，则无需进行图像融合，减少融合过程提高融合效率。
K1、提取所有的第二局部特征图像所包含特征像素点生成第二局部特征图像像素点矩阵集合；
K2、将第一局部特征图像像素点矩阵集合中的第一局部特征图像像素点矩阵进行矩阵坐标匹配：
K21、若存在矩阵坐标相一致的两个第一局部特征图像像素点矩阵，说明两个第一局部特征图像分别位于两个原始图像中并相重合且具有高清晰度，因此只需要保留一个清晰度更高的第一局部特征图像即可，比较两个第一局部特征图像的清晰度高低，选择清晰度高的第一局部特征图像像素点矩阵作为印制到白色融合图层上该矩阵坐标处的第一局部特征图像；
K22、若不存在矩阵坐标相一致的任意两个第一局部特征图像像素点矩阵，则说明第一局部特征图像就不存在重合部分，可直接全部进行保留，均保持所有第一局部特征图像按对应矩阵坐标印制到白色融合图层上。
步骤S5，将两张目标原始图像的第二局部特征图像的局部细节对应融合以消除局部特征图像的相位差，具体方式为：
P1、提取所有的第二局部特征图像所包含特征像素点生成第二局部特征图像像素点矩阵；
P2、随机选取一张目标原始图像作为融合基准层，另一张目标原始图像作为融合移动层；
P3、在融合基准层中第二局部特征图像像素点矩阵内选取多个特征像素点作为基准匹配点；
P4、在融合移动层中第二局部特征图像像素点矩阵内选取与基准匹配点具有相同像素值的特征像素点作为移动匹配点；
P5、计算移动匹配点和基准匹配点在第二局部特征图像像素点矩阵中的矩阵坐标差，依据矩阵坐标差调整融合移动层中第二局部特征图像像素点矩阵中所有的特征像素点的矩阵坐标至移动匹配点和基准匹配点具有相同的矩阵坐标生成对应融合第二局部特征图像像素点校正矩阵；
P6、将融合移动层中第二局部特征图像像素点校正矩阵和融合基准层中第二局部特征图像像素点矩阵按照图像融合算法进行矩阵逐点融合，将融合结果显示在融合基准层中并将融合基准层印制到白色融合图层中。
假设第二局部特征图像像素点矩阵为A(i*j)，i为矩阵横坐标，j为矩阵纵坐标，选取的基准匹配点为A(1,2)，移动匹配点为A(2,1),则坐标差为A(1,2)-A(2,1) =A(-1,1),将第二局部特征结构像素点矩阵中所有的特征像素点的矩阵坐标同时加上坐标差A(-1,1)获得第二局部特征结构像素点校正矩阵。
该步骤消除了第二局部特征图像之间的相位差，避免由于相位差导致依据相同坐标点进行融合造成的融合错误，提高准确度，直接运用原始图像自身的矩阵坐标，避免重新设置坐标系，操作简单便捷。
全局特征图像和局部特征图像均由特征像素点以矩阵形式表示，特征像素点的特征值为像素值和矩阵点坐标，并且原始图像和白色融合图层均具有相同的矩阵坐标。
步骤S6、白色融合图层中获得清晰度高的第一局部特征图像和清晰度高的第二局部特征图像组合而成所述目标原始图像中的目标融合结果。
综上，融合基准层的所有特征像素点和融合移动层中的所有特征像素点的融合结果即为凸显局部特征图像细节用以提高图像清晰度，并且所述目标融合结果是两张所述目标原始图像中对同一目标的高清晰度显示。
本发明利用全局二值化分析和局部二值化分析相结合的提取具有图像细节的局部特征图像，而后对局部特征图像进行相位转换进行融合位置匹配，依次对局部特征图像的特征像素点执行融合算法以实现清晰度低的局部特征图像的细节融合以提高整体图像融合的清晰度，同时保留清晰度高的局部特征图像以减少不必要的融合过程，提高融合效率。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (9)

1.一种用于提升图像清晰度的图像融合方法，其特征在于：包括以下步骤：
步骤S1、将同一目标的多张素材图像进行预处理，并选取能够用于图像融合的两张目标原始图像；
步骤S2、将所述目标原始图像均按照第一二值化阈值进行全局二值化处理以获得所述目标原始图像的全局特征图像；
步骤S3、从所述全局特征图像中选取特征清晰度高的至少1个第一局部区域，以及特征清晰度低的至少1个第二局部区域，并全部对应至所述目标原始图像中以获得第一局部原始图像和第二局部原始图像；
步骤S4、对每个所述第一局部原始图像按照第二二值化阈值进行局部二值化处理，以获得每张所述目标原始图像的至少1个第一局部特征图像；
对每个所述第二局部原始图像按照相同的第三二值化阈值进行局部二值化处理，以获得每张所述目标原始图像的至少1个第二局部特征图像；
其中，所述第一二值化阈值、所述第二二值化阈值和所述第三二值化阈值不相等；
步骤S5、将两张所述目标原始图像的第一局部特征图像进行位置区分，印制到白色融合图层相对应的位置处；
将两张所述目标原始图像的第二局部特征图像的局部细节对应融合印制到白色融合图层相对位置处；
步骤S6、白色融合图层中获得清晰度高的第一局部特征图像和清晰度高的第二局部特征图像组合而成所述目标原始图像中的目标融合结果；
所述步骤S2，获得所述目标原始图像的全局特征图像的具体方式为：
步骤S201、设定第一二值化阈值，分别对两张所述目标原始图像按照第一二值化阈值进行所述全局二值化处理并提取所述全局特征图像分别生成第一全局特征图像和第二全局特征图像；
步骤S202、按照统一规格将所述第一全局特征图像和第二全局特征图像依据清晰度高低划分成包含多个特征结构区域的第一局部区域集合和第二局部区域集合；
其中，第一局部区域集合包含特征清晰度高的至少1个第一局部区域，第二局部区域集合包含特征清晰度低的至少1个第二局部区域。
2.根据权利要求1所述的一种用于提升图像清晰度的图像融合方法，其特征在于：所述步骤S202中，按照统一规格规划特征结构区域的具体方式：
分别提取第一全局特征图像和第二全局特征图像中所包含的全局特征图像的所有特征像素点生成第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵；
以固定规格的空矩阵框架分别切割第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵，将第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵分割成多个具有相同规格的表征局部特征图像的局部特征矩阵；
将第一全局特征图像像素点矩阵和第二全局特征图像像素点矩阵分割成的多个所述局部特征矩阵分别进行清晰度判别生成特征清晰度高的第一局部区域集合和特征清晰度低的第二局部区域集合。
3.根据权利要求2所述的一种用于提升图像清晰度的图像融合方法，其特征在于：所述步骤S4，获得第一局部特征图像和第二局部特征图像的具体方式为：
步骤S401、设定自适应的第二二值化阈值，逐一对第一局部区域集合中第一局部区域对应的第一局部原始图像按照所述第二二值化阈值进行局部二值化处理分别生成第一局部特征图像集合；
步骤S402、设定自适应的第三二值化阈值，逐一对第二局部区域集合中第二局部区域对应的第一局部原始图像按照所述第三二值化阈值进行局部二值化处理分别生成第二局部特征图像集合；
其中，第一局部特征图像集合包含特征清晰度高的至少1个第一局部特征图像和第二局部特征图像集合包含清晰度低的至少1个第二局部特征图像。
4.根据权利要求3所述的一种用于提升图像清晰度的图像融合方法，其特征在于：设定自适应的第二或第三二值化阈值的具体方式：
逐一计算所有所述第一或第二局部原始图像中特征像素点的像素值的平均值、差平方和均方根，分别标记为E,W,V，构建第二或第三二值化阈值的自适应函数T＝a*E+b*W+c*V,其中a,b,c为自由参数；
逐一在所有所述第一或第二局部原始图像中依据自适应函数计算出第二或第三二值化阈值T1,T2,…,Tn，n为第一或第二局部原始图像总数，依据T1,T2,…,Tn对所述第一或第二局部原始图像进行局部二值化处理；
分别提取第一或第二局部原始图像中局部特征图像分别生成第一局部特征图像或第二局部特征图像。
5.根据权利要求4所述的一种用于提升图像清晰度的图像融合方法，其特征在于：所述步骤S5，对第一局部特征图像进行位置区分并印制到白色融合图层相对应的位置处的具体方式为：
提取所有的第二局部特征图像所包含特征像素点生成第二局部特征图像像素点矩阵集合；
将第一局部特征图像像素点矩阵集合中的第一局部特征图像像素点矩阵进行矩阵坐标匹配：
若存在矩阵坐标相一致的两个第一局部特征图像像素点矩阵，比较两个第一局部特征图像的清晰度高低，选择清晰度高的第一局部特征图像像素点矩阵作为印制到白色融合图层上该矩阵坐标处的第一局部特征图像；
若不存在矩阵坐标相一致的任意两个第一局部特征图像像素点矩阵，均保持所有第一局部特征图像按对应矩阵坐标印制到白色融合图层上。
6.根据权利要求5所述的一种用于提升图像清晰度的图像融合方法，其特征在于：所述步骤S5，将两张所述目标原始图像的第二局部特征图像的局部细节对应融合以消除局部特征图像的相位差，具体方式为：
提取所有的第二局部特征图像所包含特征像素点生成第二局部特征图像像素点矩阵；
随机选取一张所述目标原始图像作为融合基准层，另一张所述目标原始图像作为融合移动层；
在融合基准层中第二局部特征图像像素点矩阵内选取多个特征像素点作为基准匹配点；
在融合移动层中第二局部特征图像像素点矩阵内选取与所述基准匹配点具有相同像素值的特征像素点作为移动匹配点；
计算移动匹配点和基准匹配点在所述第二局部特征图像像素点矩阵中的矩阵坐标差，依据所述矩阵坐标差调整融合移动层中第二局部特征图像像素点矩阵中所有的特征像素点的矩阵坐标至移动匹配点和基准匹配点具有相同的矩阵坐标生成对应融合第二局部特征图像像素点校正矩阵；
将融合移动层中第二局部特征图像像素点校正矩阵和融合基准层中第二局部特征图像像素点矩阵按照图像融合算法进行矩阵逐点融合，将融合结果显示在融合基准层中并将融合基准层印制到白色融合图层中。
7.根据权利要求6所述的一种用于提升图像清晰度的图像融合方法，其特征在于，所述全局特征图像和局部特征图像均由所述特征像素点以矩阵形式表示，所述特征像素点的特征值为像素值和矩阵点坐标。
8.根据权利要求6所述的一种用于提升图像清晰度的图像融合方法，其特征在于，所述融合基准层的所有特征像素点和融合移动层中的所有特征像素点的融合结果即为凸显局部特征图像细节用以提高图像清晰度。
9.根据权利要求1所述的一种用于提升图像清晰度的图像融合方法，其特征在于，所述目标融合结果是两张所述目标原始图像中对同一目标的高清晰度显示。
CN202011462846.9A 2020-12-14 2020-12-14 一种用于提升图像清晰度的图像融合方法 Active CN112233049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011462846.9A CN112233049B (zh) 2020-12-14 2020-12-14 一种用于提升图像清晰度的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011462846.9A CN112233049B (zh) 2020-12-14 2020-12-14 一种用于提升图像清晰度的图像融合方法

Publications (2)

Publication Number Publication Date
CN112233049A CN112233049A (zh) 2021-01-15
CN112233049B true CN112233049B (zh) 2021-03-02

Family

ID=74123683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011462846.9A Active CN112233049B (zh) 2020-12-14 2020-12-14 一种用于提升图像清晰度的图像融合方法

Country Status (1)

Country Link
CN (1) CN112233049B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862732B (zh) * 2021-01-19 2024-03-19 华中科技大学 多分辨率图像融合方法、装置、设备、介质及产品
CN112990132B (zh) * 2021-04-27 2023-01-03 成都中轨轨道设备有限公司 一种轨道标号牌定位识别方法
CN113763274B (zh) * 2021-09-08 2023-06-06 湖北工业大学 一种联合局部相位锐度定向描述的多源图像匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473189A (zh) * 2019-08-02 2019-11-19 南通使爱智能科技有限公司 一种文本图像清晰度判断方法及系统
CN111489344A (zh) * 2020-04-10 2020-08-04 湖南索莱智能科技有限公司 一种图像清晰度的确定方法、系统及相关装置
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228528B (zh) * 2016-07-29 2019-09-27 华北电力大学 一种基于决策图与稀疏表示的多聚焦图像融合方法
TWI683283B (zh) * 2018-04-03 2020-01-21 薩摩亞商銳準醫光股份有限公司 一種生物樣本之影像合成方法及採用該方法之光學系統
CN109146832B (zh) * 2018-08-02 2022-05-27 广州市鑫广飞信息科技有限公司 一种视频图像的拼接方法、装置、终端设备及存储介质
CN110008954B (zh) * 2019-03-29 2021-03-19 重庆大学 一种基于多阈值融合的复杂背景文本图像提取方法及系统
CN110310311B (zh) * 2019-07-01 2022-04-01 成都数之联科技股份有限公司 一种基于盲文的图像配准方法
CN110334779B (zh) * 2019-07-16 2022-09-30 大连海事大学 一种基于PSPNet细节提取的多聚焦图像融合方法
CN111445424B (zh) * 2019-07-23 2023-07-18 广州市百果园信息技术有限公司 图像处理和移动终端视频处理方法、装置、设备和介质
CN110555819B (zh) * 2019-08-20 2022-02-01 中国石油大学(北京) 基于红外和可见光图像融合的设备监测方法、装置及设备
CN111986129B (zh) * 2020-06-30 2024-03-19 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN111563867A (zh) * 2020-07-14 2020-08-21 成都中轨轨道设备有限公司 一种用于提升图像清晰度的图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
CN110473189A (zh) * 2019-08-02 2019-11-19 南通使爱智能科技有限公司 一种文本图像清晰度判断方法及系统
CN111489344A (zh) * 2020-04-10 2020-08-04 湖南索莱智能科技有限公司 一种图像清晰度的确定方法、系统及相关装置

Also Published As

Publication number Publication date
CN112233049A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112233049B (zh) 一种用于提升图像清晰度的图像融合方法
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN108154149B (zh) 基于深度学习网络共享的车牌识别方法
CN111563908B (zh) 一种图像处理方法及相关装置
CN106251348B (zh) 一种面向深度相机的自适应多线索融合背景减除方法
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN107801093A (zh) 视频渲染方法、装置、计算机设备和可读存储介质
CN110852980A (zh) 交互式图像填充方法及系统、服务器、设备及介质
CN112785492A (zh) 图像处理方法、装置、电子设备和存储介质
CN111462164A (zh) 一种前景分割方法以及基于图像合成的数据增强方法
CN110930358B (zh) 一种基于自适应算法的太阳能面板图像处理方法
CN112084840A (zh) 一种基于三维nmi的指静脉识别方法
CN110599525A (zh) 图像补偿方法和装置、存储介质及电子装置
CN116167945A (zh) 一种图像修复方法、装置、电子设备及存储介质
CN113256484B (zh) 一种对图像进行风格化处理的方法及装置
CN110660030B (zh) 图像处理方法以及装置
CN113313707A (zh) 原始图像处理方法、装置、设备及可读存储介质
CN108470326B (zh) 图像补全方法及装置
CN110363723B (zh) 改进图像边界效果的图像处理方法及装置
CN107633498B (zh) 图像暗态增强方法、装置及电子设备
CN114119376A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111191518A (zh) 一种双光谱目标检测框坐标同步及掩膜层绘制方法
CN116665004B (zh) 一种扩展现实图像处理方法、系统、设备及存储介质
CN117237779B (zh) 可见光图像和红外图像结合分析的图像识别方法及系统
CN107392205B (zh) 一种遥控器的码值表生成方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant