CN116109681A - 图像融合方法、装置、电子设备及可读存储介质 - Google Patents

图像融合方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116109681A
CN116109681A CN202310164996.9A CN202310164996A CN116109681A CN 116109681 A CN116109681 A CN 116109681A CN 202310164996 A CN202310164996 A CN 202310164996A CN 116109681 A CN116109681 A CN 116109681A
Authority
CN
China
Prior art keywords
image
mask
spliced
registration
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310164996.9A
Other languages
English (en)
Inventor
况洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Goke Microelectronics Co Ltd
Original Assignee
Hunan Goke Microelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Goke Microelectronics Co Ltd filed Critical Hunan Goke Microelectronics Co Ltd
Priority to CN202310164996.9A priority Critical patent/CN116109681A/zh
Publication of CN116109681A publication Critical patent/CN116109681A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请实施例提供了一种图像融合方法、装置、电子设备及可读存储介质，属于图像处理技术领域。该方法包括：对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；根据第一待拼接图像及第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜；分别根据第一配准掩膜及第二配准掩膜获取第一权重数据及第二权重数据；根据第一权重数据、第二权重数据对第一待拼接图像及第二待拼接图像进行融合，得到全景图像。这样，基于第一权重数据及第二权重数据对第一待拼接图像及第二待拼接图像融合，可有效解决两待拼接图像边界融合不均匀的问题，提高图像拼接效果。

Description

图像融合方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、电子设备及可读存储介质。
背景技术
目前，图像拼接的目的是将多路图像经过配准、坐标映射和融合后输出全景图像。配准部分在离线标定中完成，硬件部分实现坐标映射和融合。其中融合功能的好坏会严重影响最终全景图像的图像质量，目前主要的融合方案包括线性加权融合和金字塔融合。
线性加权融合方案是利用水平坐标线性计算得到图像chn1和图像chn2在融合区的权重值，如图1所示。虽然计算简单，但由于配准后的图像不可避免地会在垂直方向上存在位置差异，导致融合不均匀，使得重叠区域的上下边缘出现阴影现象。
金字塔融合方案是基于Laplacian金字塔进行多频带融合，利用融合后的拉普拉斯(Laplacian)金字塔从最顶层依次重构出全景图像，如图2所示。显然金字塔融合需要额外利用多个分辨率图像进行处理，计算量较大，会给视频监控的实时处理和开销带来较大的困难。
综上，现有技术中，在图像拼接过程中存在拼接效果较差的问题。
发明内容
为了解决上述技术问题，本申请实施例提供了一种图像融合方法、装置、电子设备及可读存储介质。
第一方面，本申请实施例提供了一种图像融合方法，所述方法包括：
对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；
根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；
分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；
根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。
在一实施方式中，所述根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，包括：
确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域；
从所述第一权重数据确定所述第一融合区域对应的第一权重子数据；
从所述第二权重数据确定所述第二融合区域对应的第二权重子数据；
根据所述的第一权重子数据、所述第二权重子数据对所述第一融合区域及所述第二融合区域进行融合。
在一实施方式中，所述对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像，包括：
将所述第一图像及所述第二图像进行坐标映射处理，得到所述第一待拼接图像及所述第二待拼接图像。
在一实施方式中，所述根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，包括：
确定所述第一待拼接图像与所述第二待拼接图像重叠的第一重叠区域及第二重叠区域；
将所述第一初始掩膜及所述第二初始掩膜进行坐标映射处理，得到第一映射掩膜及第二映射掩膜；
确定所述第一映射掩膜中除所述第一重叠区域之外的第一剩余区域，将所述第一剩余区域的像素点设置为第二像素值，得到所述第一配准掩膜；
确定所述第二映射掩膜中除所述第二重叠区域之外的第二剩余区域，将所述第二剩余区域的像素点设置为第二像素值，得到所述第二配准掩膜。
在一实施方式中，根据所述第一配准掩膜获取第一权重数据，包括：
获取所述第一配准掩膜中的每个第一像素点分别与所述第一配准掩膜中的多个第二像素点的多个曼哈顿距离，所述第一像素点为所述第一配准掩膜中像素值为所述第一像素值的像素点，所述第二像素点为所述第一配准掩膜中像素值为所述第二像素值的像素点；
根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重；
获取所述第一配准掩膜的每个所述第二像素点的预设权重；
将所述第一配准掩膜中的每个所述第一像素点的最终权重及所述第一配准掩膜中的每个所述第二像素点的预设权重确定为所述第一权重数据。
在一实施方式中，所述根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重，包括：
分别从所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离中确定所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离；
分别将所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离作为所述第一配准掩膜中的每个所述第一像素点的初始权重；
对所述第一配准掩膜中的每个所述第一像素点的初始权重分别进行归一化处理，得到每个所述第一像素点的最终权重。
在一实施方式中，所述确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域，包括：
确定所述第一待拼接图像与所述第二待拼接图像之间的重叠区域；
根据所述重叠区域设置融合位置及融合宽度；
根据所述融合位置及所述融合宽度从所述第一待拼接图像与所述第二待拼接图像中分别确定所述第一融合区域及所述第二融合区域。
第二方面，本申请实施例提供了一种图像融合装置，所述图像融合装置包括：
第一配准模块，用于对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；
第二配准模块，用于根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；
获取模块，用于分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；
融合模块，用于根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的图像融合方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的图像融合方法。
上述本申请提供的图像融合方法、装置、电子设备及可读存储介质，对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜；分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。这样，通过引入第一权重数据及第二权重数据对第一待拼接图像及第二待拼接图像进行融合，可以有效解决待拼接的两个图像边界融合不均匀的问题，提高图像拼接效果。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的一种线性加权融合示意图；
图2示出了本申请实施例提供的一种金字塔融合示意图；
图3示出了本申请实施例提供的一种图像融合方法的流程示意图；
图4示出了本申请实施例提供的一种第一映射掩膜的处理流程示意图；
图5示出了本申请实施例提供的另一种第一映射掩膜的处理流程示意图；
图6示出了本申请实施例提供的另一种图像融合方法的流程示意图；
图7示出了本申请实施例提供的一种融合宽度及位置调整示意图；
图8示出了本申请实施例提供的一种图像融合装置的结构示意图。
图标：800-图像融合装置，801-第一配准模块，802-第二配准模块，803-获取模块，804-融合模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
实施例1
本申请实施例提供了一种图像融合方法，可以有效解决边界融合不均匀的问题。
参见图3，该图像融合方法包括步骤S301-S304，下面对各步骤进行说明。
步骤S301，对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像。
在本实施例中，第一图像及第二图像可以为监控实时图像，第一图像的分辨率与第二图像的分辨率可以不同，通过对第一图像及第二图像的相同实物图像区域进行配准，得到第一待拼接图像及第二待拼接图像，进而为后面拼接得到全景图像做好前期准备。
在一实施方式中，步骤S301包括：
将所述第一图像及所述第二图像进行坐标映射处理，得到所述第一待拼接图像及所述第二待拼接图像。
在本实施例中，将所述第一图像及所述第二图像的像素坐标映射到相同的图像坐标系下，并对第一图像及第二图像中相同实物图像区域的像素坐标进行一一对应，确定两者的重叠区域，得到所述第一待拼接图像及所述第二待拼接图像。
步骤S302，根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜。
在本实施例中，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值。举例来说，第一像素值可以为1，所述第一像素值也可以为其他不为0的像素值，在此不做限制。
在一实施方式中，步骤S302包括：
确定所述第一待拼接图像与所述第二待拼接图像重叠的第一重叠区域及第二重叠区域；
将所述第一初始掩膜及所述第二初始掩膜进行坐标映射处理，得到第一映射掩膜及第二映射掩膜；
确定所述第一映射掩膜中除所述第一重叠区域之外的第一剩余区域，将所述第一剩余区域的像素点设置为第二像素值，得到所述第一配准掩膜；
确定所述第二映射掩膜中除所述第二重叠区域之外的第二剩余区域，将所述第二剩余区域的像素点设置为第二像素值，得到所述第二配准掩膜。
在本实施例中，将第一初始掩膜及第二初始掩膜进行坐标映射处理，将第一初始掩膜及第二初始掩膜的像素坐标映射到相同的图像坐标系下，为后续配准过程做好准备。
参见图4，图4所示为第一映射掩膜进行配准的过程，将第一映射掩膜中除第一重叠区域501之外的第一剩余区域502的各像素点设置为0，得到第一配准掩膜。第二配准掩膜的获取方式与第一配准掩膜的获取方式类似，在此不做赘述。
需要补充说明的是，第一像素值及第二像素值不相等，且第一像素值不为0。例如，第一像素值为1，第二像素值为0，也可以为其他像素值组合，在此不做赘述。
步骤S303，分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据。
在一实施方式中，根据所述第一配准掩膜获取第一权重数据，包括：
获取所述第一配准掩膜中的每个第一像素点分别与所述第一配准掩膜中的多个第二像素点的多个曼哈顿距离，所述第一像素点为所述第一配准掩膜中像素值为所述第一像素值的像素点，所述第二像素点为所述第一配准掩膜中像素值为所述第二像素值的像素点；
根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重；
获取所述第一配准掩膜的每个所述第二像素点的预设权重；
将所述第一配准掩膜中的每个所述第一像素点的最终权重及每个所述第二像素点的预设权重确定为所述第一权重数据。
示范性的，若第一配准掩膜的第二像素点的像素值为0，由于像素值0不参与运算，则可以将预设权重设置为0，简化运算数据量，提高运算速度。
在本实施例中，可以利用第一像素点与第二像素点之间的曼哈顿距离计算得到第一像素点的权重。示范性的，分别计算第一配准掩膜的每个第一像素点到第一配准掩膜的所有像素值为0的第二像素点的曼哈顿(Manhattan)距离，得到多个曼哈顿距离，基于每个第一像素点的多个曼哈顿距离确定每个第一像素的初始权重，例如，可以获取每个第一像素点的多个曼哈顿距离中的最小曼哈顿距离作为该第一像素点的初始权重。根据各第一像素点的初始权重计算各第一像素点的最终权重，最终权重为0-255的值。最后，根据计算得到的各第一像素点的最终权重及各第二像素点的预设权重，得到第一配准掩膜对应的第一权重数据。
请再次参见图5，对第一配准掩膜进行距离转换后，可以得到对应的第一权重表，即得到第一权重数据。在权重表中，各第一像素点的权重值为计算得到对应的最终权重，各第二像素点的权重对应为0。
在一实施方式中，所述根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重，包括：
分别从所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离中确定所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离；
分别将所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离作为所述第一配准掩膜中的每个所述第一像素点的初始权重；
对所述第一配准掩膜中的每个所述第一像素点的初始权重分别进行归一化处理，得到每个所述第一像素点的最终权重。
参见图6，假设第一配准掩膜的当前第一像素点坐标为(x0，y0)，并且第一配准掩膜有m个像素值为0的第二像素点，坐标分别为(x1，y1)，(x2，y2)，...，(xm，ym)。
则曼哈顿距离为：Dist1＝|x0-x1|+|y0-y1|
Dist2＝|x0-x2|+|y0-y2|
…
Distm＝|x0-xm|+|y0-ym|
选取最小曼哈顿距离作为该第一像素点的初始权重，即，可以按照以下公式确定该第一像素点的初始权重：
Weight(x0，y0)＝min(Dist1，Dist2，...，Distm)
在本实施例中，可以根据每个第一像素点的初始权重进行计算，进一步得到每个第一像素点的最终权重。
在本实施例中，利用最大权重Weightmax和最小权重Weightmin，对当前第一像素点的初始权重进行归一化操作，得到每个第一像素点的最终权重。归一化公式如下：
Figure BDA0004095714810000111
其中，Weight_norm(x0，y0)表示第一像素点的最终权重，Weight(x0，y0)表示当前第一像素点的初始权重，Weightmin表示第一映射掩膜中最大的初始权重，Weightmin表示第一映射掩膜中最小的初始权重。
在一实施方式中，根据所述第二配准掩膜获取第二权重数据包括：
获取所述第二配准掩膜中的每个第三像素点分别与所述第二配准掩膜中的多个第四像素点的多个曼哈顿距离，每个所述第三像素点为所述第二配准掩膜中像素值为所述第一像素值的像素点，每个所述第四像素点为所述第一配准掩膜中像素值为所述第二像素值的像素点；
根据所述第二配准掩膜中的每个第三像素点的多个曼哈顿距离获取所述第二配准掩膜中的每个所述第三像素点的最终权重；
获取所述第二配准掩膜的每个所述第四像素点的预设权重；
将所述第二配准掩膜中的每个所述第三像素点的最终权重及每个所述第四像素点的预设权重确定为所述第一权重数据。
示范性的，若第二配准掩膜的第四像素点的像素值为0，由于像素值0不参与运算，则可以将预设权重设置为0，简化运算数据量，提高运算速度。利用曼哈顿距离计算得到第二配准掩膜的第三像素点的初始权重。具体的，计算第二配准掩膜的每个第三像素点到第二配准掩膜的所有像素值为0的第四像素点的多个曼哈顿(Manhattan)距离，根据每个第三像素点的多个曼哈顿距离确定每个第三像素点的初始权重。例如，可以选取每个第三像素点的多个曼哈顿距离中的最小曼哈顿距离作为第二配准掩膜的每个第三像素点的初始权重。然后，分别根据第二配准掩膜的每个第一像素点的初始权重计算第二配准掩膜的每个第三像素点的最终权重。根据第二配准掩膜的每个第三像素点的最终权重及各第二像素点的预设权重，得到第二配准掩膜对应的第二权重数据，其中，第二权重数据也可以用第二权重表进行表示。
需要补充说明的是，引入的羽化融合的第一权重数据及第二权重数据在离线软件端中生成，无需硬件参与。并且只有当相机相对位置发生改变需要重新配准时，第一权重数据及第二权重数据才做更新，一般情况下，不做调整。
在一实施方式中，所述根据所述第二配准掩膜中的每个第三像素点的多个曼哈顿距离获取所述第二配准掩膜中的每个所述第三像素点的最终权重，包括：
分别从所述第二配准掩膜中的每个第三像素点的多个曼哈顿距离中确定所述第二配准掩膜中的每个所述第三像素点的最小曼哈顿距离；
分别将所述第二配准掩膜中的每个所述第三像素点的最小曼哈顿距离作为所述第二配准掩膜中的每个所述第三像素点的初始权重；
对所述第一配准掩膜中的每个所述第三像素点的初始权重分别进行归一化处理，得到每个所述第一像素点的最终权重。
在本实施例中，获取第二配准掩膜中的每个第三像素点的最终权重的过程与获取第一配准掩膜中的每个第一像素点的最终权重的过程相似，其说明请参见前文的相关描述，为避免重复，在此不做赘述。
步骤S304，根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。
在本实施例中，可以结合第一待拼接图像及第二待拼接图像的重叠区域、以及第一权重数据及第二权重数据完成图片融合，可以有效解决边界融合不均匀的问题，同时仅在原始图像分辨率进行融合，实现高质量的实时图像拼接，提高融合效果。
参见图4，步骤S304包括步骤S3041-S3044，下面进行说明。
步骤S3041，确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域。
在本实施例中，可以先确定第一待拼接图像与所述第二待拼接图像之间的重叠区域，从重叠区域中确定第一融合区域及第二融合区域。
在一实施方式中，步骤S3041包括：
确定所述第一待拼接图像与所述第二待拼接图像之间的重叠区域；
根据所述重叠区域设置融合位置及融合宽度；
根据所述融合位置及所述融合宽度从所述第一待拼接图像与所述第二待拼接图像中分别确定所述第一融合区域及所述第二融合区域。
步骤S3042，从所述第一权重数据确定所述第一融合区域对应的第一权重子数据。
步骤S3043，从所述第二权重数据确定所述第二融合区域对应的第二权重子数据。
步骤S3044，根据所述的第一权重子数据、所述第二权重子数据对所述第一融合区域及所述第二融合区域进行融合。
参见图7，chn1表示第一待拼接图像，chn2表示第二待拼接图像，Overlap region表示重叠区域，fusion width表示融合宽度，fusion posion表示融合位置，Weight map1表示第一权重表，Weight map2表示第二权重表。
假设重叠区域的起始和终点横坐标分别为x_overlapstart和x_overlapend，设置的融合位置横坐标和宽度分别为x_fusioncenter和width_fusion，需满足：
width_fusion≤(x_overlapend-x_overlapstart)
x_overlapstart≤x_fusioncenter≤x_overlapend
Figure BDA0004095714810000141
则可以根据以下公式计算融合后像素值：
Figure BDA0004095714810000142
其中，
Figure BDA0004095714810000143
Fusion(x，y)表示融合后的像素值，chn1(x，y)表示第一待拼接图像像素坐标(x，y)的像素值，chn2(x，y)表示第二待拼接图像像素坐标(x，y)的像素值，weight_norm_chn1(x，y)表示第一待拼接图像像素坐标(x，y)的最终权重，weight_norm_chn2(x，y)表示第二待拼接图像像素坐标(x，y)的最终权重。
在本实施例中，通过引入融合宽度和位置的配置，可以根据图像效果动态调整参与融合运算的图像和权重图的宽度和位置，达到更好的对齐和过渡自然的效果。当图像对齐效果较好时，可适当增加融合区域宽度，使画面过渡更自然；当对齐较差或有运动物体时，可减少宽度来降低错位影响。
本实施例提供的图像融合方法，对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜；分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。这样，通过引入第一权重数据及第二权重数据对第一待拼接图像及第二待拼接图像进行融合，可以有效解决待拼接的两个图像边界融合不均匀的问题，提高图像拼接效果。
实施例2
此外，本申请实施例提供了一种图像融合装置。
参见图8，图像融合装置800包括：
第一配准模块801，用于对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；
第二配准模块802，用于根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；
获取模块803，用于分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；
融合模块804，用于根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。
在一实施方式中，融合模块804，还用于确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域；
从所述第一权重数据确定所述第一融合区域对应的第一权重子数据；
从所述第二权重数据确定所述第二融合区域对应的第二权重子数据；
根据所述的第一权重子数据、所述第二权重子数据对所述第一融合区域及所述第二融合区域进行融合。
在一实施方式中，第一配准模块801，还用于将所述第一图像及所述第二图像进行坐标映射处理，得到所述第一待拼接图像及所述第二待拼接图像。
在一实施方式中，第二配准模块802，还用于确定所述第一待拼接图像与所述第二待拼接图像重叠的第一重叠区域及第二重叠区域；
将所述第一初始掩膜及所述第二初始掩膜进行坐标映射处理，得到第一映射掩膜及第二映射掩膜；
确定所述第一映射掩膜中除所述第一重叠区域之外的第一剩余区域，将所述第一剩余区域的像素点设置为第二像素值，得到所述第一配准掩膜；
确定所述第二映射掩膜中除所述第二重叠区域之外的第二剩余区域，将所述第二剩余区域的像素点设置为第二像素值，得到所述第二配准掩膜。
在一实施方式中，获取模块803，还用于获取所述第一配准掩膜中的每个第一像素点分别与所述第一配准掩膜中的多个第二像素点的多个曼哈顿距离，所述第一像素点为所述第一配准掩膜中像素值为所述第一像素值的像素点，所述第二像素点为所述第一配准掩膜中像素值为所述第二像素值的像素点；
根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重；
获取所述第一配准掩膜的每个所述第二像素点的预设权重；
将所述第一配准掩膜中的每个所述第一像素点的最终权重及每个所述第二像素点的预设权重确定为所述第一权重数据。
在一实施方式中，获取模块803，还用于分别从所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离中确定所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离；
分别将所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离作为所述第一配准掩膜中的每个所述第一像素点的初始权重；
对所述第一配准掩膜中的每个所述第一像素点的初始权重分别进行归一化处理，得到每个所述第一像素点的最终权重。
在一实施方式中，融合模块804，还用于确定所述第一待拼接图像与所述第二待拼接图像之间的重叠区域；
根据所述重叠区域设置融合位置及融合宽度；
根据所述融合位置及所述融合宽度从所述第一待拼接图像与所述第二待拼接图像中分别确定所述第一融合区域及所述第二融合区域。
本实施例提供的图像融合装置800可以实现实施例1所提供的图像融合方法，为避免重复，在此不再赘述。
本实施例提供的图像融合装置，对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜；分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。这样，通过引入第一权重数据及第二权重数据对第一待拼接图像及第二待拼接图像进行融合，可以有效解决待拼接的两个图像边界融合不均匀的问题，提高图像拼接效果。
实施例3
此外，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的图像融合方法。
本实施例提供的电子设备可以实现实施例1所提供的图像融合方法，为避免重复，在此不再赘述。
实施例4
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的图像融合方法。
在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本实施例提供的计算机可读存储介质可以实现实施例1所提供的图像融合方法，为避免重复，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像融合方法，其特征在于，所述方法包括：
对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；
根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；
分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；
根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，包括：
确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域；
从所述第一权重数据确定所述第一融合区域对应的第一权重子数据；
从所述第二权重数据确定所述第二融合区域对应的第二权重子数据；
根据所述的第一权重子数据、所述第二权重子数据对所述第一融合区域及所述第二融合区域进行融合。
3.根据权利要求1所述的方法，其特征在于，所述对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像，包括：
将所述第一图像及所述第二图像进行坐标映射处理，得到所述第一待拼接图像及所述第二待拼接图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，包括：
确定所述第一待拼接图像与所述第二待拼接图像重叠的第一重叠区域及第二重叠区域；
将所述第一初始掩膜及所述第二初始掩膜进行坐标映射处理，得到第一映射掩膜及第二映射掩膜；
确定所述第一映射掩膜中除所述第一重叠区域之外的第一剩余区域，将所述第一剩余区域的像素点设置为第二像素值，得到所述第一配准掩膜；
确定所述第二映射掩膜中除所述第二重叠区域之外的第二剩余区域，将所述第二剩余区域的像素点设置为第二像素值，得到所述第二配准掩膜。
5.根据权利要求4所述的方法，其特征在于，根据所述第一配准掩膜获取第一权重数据，包括：
获取所述第一配准掩膜中的每个第一像素点分别与所述第一配准掩膜中的多个第二像素点的多个曼哈顿距离，所述第一像素点为所述第一配准掩膜中像素值为所述第一像素值的像素点，所述第二像素点为所述第一配准掩膜中像素值为所述第二像素值的像素点；
根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重；
获取所述第一配准掩膜的每个所述第二像素点的预设权重；
将所述第一配准掩膜中的每个所述第一像素点的最终权重及每个所述第二像素点的预设权重确定为所述第一权重数据。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重，包括：
分别从所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离中确定所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离；
分别将所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离作为所述第一配准掩膜中的每个所述第一像素点的初始权重；
对所述第一配准掩膜中的每个所述第一像素点的初始权重分别进行归一化处理，得到每个所述第一像素点的最终权重。
7.根据权利要求2所述的方法，其特征在于，所述确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域，包括：
确定所述第一待拼接图像与所述第二待拼接图像之间的重叠区域；
根据所述重叠区域设置融合位置及融合宽度；
根据所述融合位置及所述融合宽度从所述第一待拼接图像与所述第二待拼接图像中分别确定所述第一融合区域及所述第二融合区域。
8.一种图像融合装置，其特征在于，所述装置包括：
第一配准模块，用于对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；
第二配准模块，用于根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；
获取模块，用于分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；
融合模块，用于根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的图像融合方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的图像融合方法。
CN202310164996.9A 2023-02-08 2023-02-08 图像融合方法、装置、电子设备及可读存储介质 Pending CN116109681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310164996.9A CN116109681A (zh) 2023-02-08 2023-02-08 图像融合方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310164996.9A CN116109681A (zh) 2023-02-08 2023-02-08 图像融合方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116109681A true CN116109681A (zh) 2023-05-12

Family

ID=86254203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310164996.9A Pending CN116109681A (zh) 2023-02-08 2023-02-08 图像融合方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116109681A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993591A (zh) * 2023-09-26 2023-11-03 中汽智联技术有限公司 用于全景汽车的图像拼接融合方法、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993591A (zh) * 2023-09-26 2023-11-03 中汽智联技术有限公司 用于全景汽车的图像拼接融合方法、电子设备及介质
CN116993591B (zh) * 2023-09-26 2024-01-02 中汽智联技术有限公司 用于全景汽车的图像拼接融合方法、电子设备及介质

Similar Documents

Publication Publication Date Title
CN103198487B (zh) 一种用于视频监控系统中的自动定标方法
US20180218485A1 (en) Method and apparatus for fusing plurality of depth images
US20180352165A1 (en) Device having cameras with different focal lengths and a method of implementing cameras with different focal lenghts
US11194536B2 (en) Image processing method and apparatus for displaying an image between two display screens
CN104994367B (zh) 一种图像矫正方法以及摄像头
JP2009230537A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器
CN106815802A (zh) 一种图像拼接方法及装置
CN108629810B (zh) 双目相机的标定方法、装置及终端
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
CN111815517B (zh) 一种基于球机抓拍图片的自适应全景拼接方法
CN113269697B (zh) 一种曲面屏图像的生成方法及装置
CN110324534B (zh) 图像处理方法、装置及电子设备
CN116109681A (zh) 图像融合方法、装置、电子设备及可读存储介质
CN106570907A (zh) 一种相机标定方法及装置
DE102019215387A1 (de) Zirkularfischaugenkameraarrayberichtigung
CN108737743B (zh) 基于图像拼接的视频拼接装置及视频拼接方法
CN112215906A (zh) 图像处理方法、装置和电子设备
CN113114975A (zh) 图像拼接方法、装置、电子设备和存储介质
WO2008076766A1 (en) Panoramic image straightening
CN105488764B (zh) 鱼眼图像校正方法及装置
CN107067368A (zh) 基于影像变形的街景影像拼接方法及系统
CN113724141B (zh) 一种图像校正方法、装置及电子设备
CN112288824B (zh) 一种基于现实场景的长焦相机标定装置及标定方法
CN114972030A (zh) 一种图像拼接方法、装置、存储介质与电子设备
CN112150355B (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination