CN115100040A - 图片的拼接方法、装置、存储介质和电子设备 - Google Patents

图片的拼接方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN115100040A
CN115100040A CN202210766997.6A CN202210766997A CN115100040A CN 115100040 A CN115100040 A CN 115100040A CN 202210766997 A CN202210766997 A CN 202210766997A CN 115100040 A CN115100040 A CN 115100040A
Authority
CN
China
Prior art keywords
picture
foreground
background
gain
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210766997.6A
Other languages
English (en)
Inventor
谢朝毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202210766997.6A priority Critical patent/CN115100040A/zh
Publication of CN115100040A publication Critical patent/CN115100040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图片的拼接方法、装置、存储介质和电子设备。该方法包括:通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片;根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片,从而增强了结果图片的呈现效果。

Description

图片的拼接方法、装置、存储介质和电子设备
【技术领域】
本发明实施例涉及图片处理技术领域,具体涉及一种图片的拼接方法、装置、存储介质和电子设备。
【背景技术】
电子设备通常具有魔法换天功能,魔法换天功能是一种通过天空分割融合技术实现的功能。电子设备通过天空分割融合技术将获取的图片中的天空图像替换为其它样式的天空图像。例如,获取的图片中的天空图像为阴天,电子设备可通过天空分割融合技术将图片中的阴天替换为晴天。但电子设备通过天空分割融合技术只能针对普通图片进行处理,且当图片的天空图像与要替换的其它样式的天空图像的差异很大的时候,容易使融合之后的结果图片出现断层的现象,从而降低了结果图片的呈现效果。
【发明内容】
有鉴于此,本发明实施例提供了一种图片的拼接方法、装置、存储介质和电子设备,用以解决现有技术中结果图片的呈现效果降低的问题。
第一方面,本发明实施例提供了一种图片的拼接方法,包括:
通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;
对所述原始前景图片、所述原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;
通过亮度调节函数对所述第一前景图片与所述第一背景图片分别进行调整,得到第二前景图片与第二背景图片;
根据所述原始前景图片、所述原始背景图片、所述原始天空图片、所述第二前景图片、所述第二背景图片与所述第一天空图片生成结果图片。
在一种可能的实现方式中,所述对所述原始前景图片、所述原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片,包括:
对所述原始前景图片、所述原始天空图片与所述原始背景图片分别进行最邻近下采样处理,得到采样前景图片、采样天空图片与采样背景图片;
对所述采样前景图片、所述采样天空图片与所述采样背景图片分别进行平均下采样处理,得到所述第一前景图片、所述第一天空图片与所述第一背景图片。
在一种可能的实现方式中,所述通过亮度调节函数对所述第一前景图片与所述第一背景图片分别进行调整,得到第二前景图片与第二背景图片,包括:
根据所述第一前景图片与所述第一背景图片生成所述第一前景图片对应的前景增益值与所述第一背景图片对应的背景增益值;
通过所述亮度调节函数,根据所述前景增益值,对所述第一前景图片的亮度进行调整,生成所述第二前景图片;
通过所述亮度调节函数,根据所述背景增益值,对所述第一背景图片的亮度进行调整,生成所述第二背景图片。
在一种可能的实现方式中,所述根据所述第一前景图片与所述第一背景图片生成所述第一前景图片对应的前景增益值与所述第一背景图片对应的背景增益值,包括:
根据所述第一前景图片对应的至少一个第一前景参数,生成第一平均亮度值;
根据所述第一背景图片对应的至少一个第一背景参数,生成第二平均亮度值;
通过亮度计算公式,根据所述第一平均亮度值与所述第二平均亮度值,生成第三平均亮度值;
通过亮度增益函数,根据所述第三平均亮度值与所述第一平均亮度值,生成所述前景增益值;
通过亮度增益函数,根据所述第三平均亮度值与所述第二平均亮度值,生成所述背景增益值。
在一种可能的实现方式中,所述通过所述亮度调节函数,根据所述前景增益值,对所述第一前景图片的亮度进行调整,生成所述第二前景图片,包括:
通过所述亮度调节函数,根据所述前景增益值,对所述第一前景图片对应的至少一个第一前景参数进行计算,生成所述第一前景参数对应的第二前景参数;
根据至少一个所述第二前景参数,生成所述第二前景图片。
在一种可能的实现方式中,所述根据所述原始前景图片、所述原始背景图片、所述原始天空图片、所述第二前景图片、所述第二背景图片与所述第一天空图片生成结果图片,包括:
根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成第一融合图片;
根据所述第一融合图片、所述原始前景图片与所述第二前景图片生成第三前景图片;
根据所述第一融合图片、所述原始背景图片与所述第二背景图片生成第三背景图片;
根据所述第三前景图片、所述第三背景图片与所述原始天空图片生成所述结果图片。
在一种可能的实现方式中,所述根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成第一融合图片,包括:
根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成融合梯度图片与简单融合图片;
对所述融合梯度图片进行平移,生成拉普拉斯图片;
根据所述拉普拉斯图片与所述简单融合图片生成所述第一融合图片。
在一种可能的实现方式中,所述融合梯度图片包括第三横向前向梯度图、第三横向后向梯度图、第三纵向前向梯度图、第三纵向后向梯度图中至少一个;所述根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成融合梯度图片,包括:
根据所述第二前景图片生成第一横向前向梯度图、第一横向后向梯度图、第一纵向前向梯度图与第一纵向后向梯度图;
根据所述第二背景图片生成第二横向前向梯度图、第二横向后向梯度图、第二纵向前向梯度图与第二纵向后向梯度图;
根据所述第一横向前向梯度图、所述第二横向前向梯度图与所述第一天空图片生成所述第三横向前向梯度图;
根据所述第一横向后向梯度图、所述第二横向后向梯度图与所述第一天空图片生成所述第三横向后向梯度图;
根据所述第一纵向前向梯度图、所述第二纵向前向梯度图与所述第一天空图片生成所述第三纵向前向梯度图;
根据所述第一纵向后向梯度图、所述第二纵向后向梯度图与所述第一天空图片生成所述第三纵向后向梯度图。
在一种可能的实现方式中,所述根据所述拉普拉斯图片与所述简单融合图片生成所述第一融合图片,包括:
对获取的所述简单融合图片对应的简单融合矩阵进行二阶求导运算,生成求导矩阵;
通过拉普拉斯卷积公式,根据所述求导矩阵与所述拉普拉斯矩阵,生成以所述第一融合图片对应的第一融合矩阵为未知量的第一拉普拉斯卷积等式;
通过将第一微值与简单融合矩阵加入第一拉普拉斯卷积等式,生成第二拉普拉斯卷积等式;
对所述第二拉普拉斯卷积等式的等号两边分别进行离散余弦运算,生成卷积算子点乘等式;
从所述卷积算子点乘等式中提取出第一融合矩阵,根据所述卷积算子点乘等式,生成离散余弦逆变换等式;
根据所述离散余弦逆变换等式,计算出所述第一融合矩阵;
根据所述第一融合矩阵,生成所述第一融合图片。
在一种可能的实现方式中,所述根据所述第一融合图片、所述原始前景图片与所述第二前景图片生成第三前景图片,包括:
根据所述第一融合图片与所述第二前景图片生成第一前景增益图片;
根据所述第一前景增益图片与所述原始前景图片生成所述第三前景图片。
在一种可能的实现方式中,所述根据所述第一融合图片与所述第二前景图片生成第一前景增益图片,包括:
获取所述第一融合图片对应的第一融合矩阵与所述第二前景图片对应的第二前景矩阵;
通过前景增益公式,根据第一融合矩阵与第二前景矩阵,生成第一前景增益矩阵;
根据所述第一前景增益矩阵生成所述第一前景增益图片。
在一种可能的实现方式中,所述第一融合矩阵包括至少一个第一融合参数,所述第二前景矩阵包括至少一个第二前景参数,所述第一融合矩阵的尺寸与所述第二前景矩阵的尺寸相等,所述通过前景增益公式,根据第一融合矩阵与第二前景矩阵,生成第一前景增益矩阵,包括:
通过第一限制范围,根据至少一个第二前景参数和与所述第二前景参数对应的所述第一融合参数,生成所述第一融合参数对应的第一前景增益参数,所述第二前景参数在所述第二前景矩阵中的位置和与所述第二前景参数对应的所述第一融合参数在所述第一融合矩阵中的位置相同;
根据至少一个第一前景增益参数,生成第一前景增益矩阵,所述第一前景增益矩阵包括所述至少一个第一前景增益参数,所述第一前景增益参数在所述第一前景增益矩阵中的位置和与所述第一前景增益参数对应的所述第一融合参数在所述第一融合矩阵中的位置相同。
在一种可能的实现方式中,所述通过第一限制范围,根据至少一个第二前景参数和与所述第二前景参数对应的所述第一融合参数,生成所述第一融合参数对应的第一前景增益参数,包括:
获取第二前景参数和与所述第二前景参数对应的所述第一融合参数;
将所述第二前景参数与第二微值相加,生成第一和值;
将所述第一融合参数与所述第一和值作比,生成第一比值;
通过第一限制范围,对所述第一比值进行限制,生成所述第一前景增益参数。
在一种可能的实现方式中,所述根据所述第一前景增益图片与所述原始前景图片生成所述第三前景图片之前,还包括:
通过所述亮度调节函数,根据前景增益值对所述原始前景图片的亮度进行调整,生成第四前景图片;
所述根据所述第一前景增益图片与所述原始前景图片生成所述第三前景图片,包括:
对所述第一前景增益图片进行双线性上采样处理,生成第二前景增益图片;
根据所述第二前景增益图片与所述第四前景图片生成所述第三前景图片。
在一种可能的实现方式中,所述根据所述第二前景增益图片与所述第四前景图片生成所述第三前景图片,包括:
获取所述第二前景增益图片对应的第二前景增益矩阵与所述第四前景图片对应的第四前景矩阵,所述第二前景增益矩阵包括至少一个第二前景增益参数,所述第四前景矩阵包括至少一个第四前景参数,所述第二前景增益矩阵的尺寸与所述第四前景矩阵的尺寸相同;
通过第二限制范围,根据至少一个所述第一前景增益参数和与所述第一前景增益参数对应的所述第四前景参数,生成所述第四前景参数对应的第三前景参数,所述第四前景参数在所述第四前景矩阵中的位置和与所述第四前景参数对应的所述第一前景增益参数在所述第一前景增益矩阵中的位置相同;
根据至少一个所述第三前景参数,生成第三前景矩阵,所述第三前景参数在所述第三前景矩阵中的位置和与所述第三前景参数对应的所述第四前景参数在所述第四前景矩阵中的位置相同;
根据所述第三前景矩阵,生成所述第三前景图片。
在一种可能的实现方式中,所述根据所述第一融合图片、所述原始背景图片与所述第二背景图片生成第三背景图片,包括:
根据所述第一融合图片与所述第二背景图片生成第一背景增益图片;
根据所述第一背景增益图片与所述原始背景图片生成所述第三背景图片。
在一种可能的实现方式中,所述根据所述第一背景增益图片与所述原始背景图片生成所述第三背景图片之前,还包括:
通过所述亮度调节函数,根据背景增益值对所述原始背景图片的亮度进行调整,生成第四背景图片;
所述根据所述第一背景增益图片与所述原始背景图片生成所述第三背景图片,包括:
对所述第一背景增益图片进行双线性上采样处理,生成第二背景增益图片;
根据所述第一背景增益图片与所述第四背景图片生成所述第三背景图片。
在一种可能的实现方式中,所述根据所述第一背景增益图片与所述第四背景图片生成所述第三背景图片,包括:
获取所述第二背景增益图片对应第二背景增益矩阵与所述第四背景图片对应第四背景矩阵,所述第二背景增益矩阵包括至少一个第二背景增益参数,所述第四背景矩阵包括至少一个第四背景参数,所述第二背景增益矩阵的尺寸与所述第四背景矩阵的尺寸相同;
通过第二限制范围,将至少一个所述第一背景增益参数和与所述第一背景增益参数对应的所述第四背景参数相乘,生成所述第四背景参数对应的第三背景参数,所述第四背景参数在所述第四背景矩阵中的位置和与所述第四背景参数对应的所述第一背景增益参数在所述第一背景增益矩阵中的位置相同;
根据至少一个所述第三背景参数,生成第三背景矩阵,所述第三背景参数在所述第三背景矩阵中的位置和与所述第三背景参数对应的所述第四背景参数在所述第四背景矩阵中的位置相同;
根据所述第三背景矩阵,生成所述第三背景图片。
第二方面,本发明实施例提供了一种图片的拼接装置,包括:
第一生成模块,用于通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;
下采样模块,用于对所述原始前景图片、所述原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;
亮度调整模块,用于通过亮度调节函数对所述第一前景图片与所述第一背景图片分别进行调整,得到第二前景图片与第二背景图片;
第二生成模块,用于根据所述原始前景图片、所述原始背景图片、所述原始天空图片、所述第二前景图片、所述第二背景图片与所述第一天空图片生成结果图片。
第三方面,本发明实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述第一方面或第一方面任一可能的实现方式中的图片的拼接方法。
第四方面,本发明实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行时实现上述第一方面或第一方面任一可能的实现方式中的图片的拼接方法。
本发明实施例提供的一种图片的拼接方法、装置、存储介质和电子设备的技术方案中,通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片;根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片,从而增强了结果图片的呈现效果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图片的拼接方法的流程图;
图2为本发明实施例提供的另一种图片的拼接方法的流程图;
图3为本发明实施例提供的一种生成前景增益值与背景增益值的流程图;
图4为本发明实施例提供的一种生成第二前景图片的流程图;
图5为本发明实施例提供的一种生成第二背景图片的流程图;
图6为本发明实施例提供的一种生成第一融合图片的流程图;
图7为本发明实施例提供的一种生成融合梯度图片的流程图;
图8为本发明实施例提供的另一种生成第一融合图片的流程图;
图9为本发明实施例提供的一种生成第三前景图片的流程图;
图10为本发明实施例提供的一种生成第一前景增益图片的流程图;
图11为本发明实施例提供的另一种生成第三前景图片的流程图;
图12为本发明实施例提供的一种生成第三背景图片的流程图;
图13为本发明实施例提供的另一种生成第三背景图片的流程图;
图14为本发明实施例提供的一种图片的拼接装置的结构示意图;
图15为本发明实施例提供的一种电子设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述数目等,但这些数目不应限于这些术语。这些术语仅用来将数目彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一数目也可以被称为第二数目,类似地,第二数目也可以被称为第一数目。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明实施例提供的一种图片的拼接方法的流程图,如图1所示,该方法包括:
步骤101、通过天空分割算法,根据获取的原始前景图片,生成原始天空图片。
本发明实施例的各步骤可以由电子设备执行。其中,电子设备包括但不限于手机、平板电脑、便携式PC、台式机、可穿戴设备等。
本发明实施例中,原始前景视频为包括原始前景图片的视频,原始前景图片为包括天空图像的图片,原始前景图片包括普通前景图片或全景前景图片。全景前景图片为符合人的双眼正常有效视角或包括双眼余光视角以上,乃至360度完整场景范围的图片,全景前景图片包括天空图像。普通前景图片为不需移动摄像头的、符合摄像头拍摄范围的图片,普通前景图片包括天空图像。
在步骤101之前还包括:电子设备获取原始前景图片。电子设备获取原始前景图片,包括:电子设备接收终端设备发送的原始前景图片;或者,接收其它设备发送的原始前景视频;从原始前景视频中获取任意一个原始前景图片;或者,从本地图片库中获取原始前景图片;或者,从本地图片库中获取原始前景视频;从原始前景视频中获取任意一个原始前景图片。本发明实施例中,并不对原始前景图片的获取进行限定。终端设备包括但不限于手机、便携式PC、平板电脑、摄像机等具有拍摄功能的设备。
每个图片均对应着至少一个参数,参数包括像素值,根据图片对应的至少一个参数可组成矩阵,矩阵包括至少一个参数。例如,原始前景图片对应至少一个原始前景参数,根据至少一个原始前景参数可构成原始前景矩阵,原始前景矩阵包括至少一个原始前景参数。原始前景参数包括原始前景图片对应的像素值。原始天空图片为包括原始前景图片的天空图像的图片。原始天空图片对应至少一个原始天空参数,根据至少一个原始天空参数可构成原始天空矩阵,原始天空矩阵包括至少一个原始天空参数,原始天空参数包括原始天空图片对应的像素值。
电子设备通过天空分割算法,获取原始前景图片中的天空图像对应的原始前景参数;根据天空图像对应的原始前景参数,生成数值为第一值的原始天空参数,并根据原始天空图片中天空图像之外的图像对应的原始前景参数,生成数值为第二值的原始天空参数;根据上述数值为第一值的原始天空参数与数值为第二值的原始天空参数生成原始天空图片。原始天空图片中天空图像对应的原始天空参数为第一值,原始天空图片中天空图像之外的图像对应的原始天空参数为第二值。例如,第一值为1,第二值为0。由于原始天空图片中天空图像之外的图像对应的原始天空参数为第二值,因此,可将原始天空图片中天空图像之外的图像视作掩膜图像。原始天空图片是由天空图像与掩膜图像组成的图片。
步骤102、对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片。
本发明实施例中,原始背景图片为由天空图像组成的图片。电子设备获取原始背景图片包括:从本地图片库中获取原始背景图片;或者,响应于用户输入的点击背景按钮的操作,获取原始背景图片。例如,电子设备包括显示屏,显示屏显示至少一个背景按钮,背景按钮对应着原始背景图片,用户可通过点击背景按钮的操作选择原始背景图片。电子设备响应于用户输入的点击背景按钮的操作,获取背景按钮对应的原始背景图片。原始背景图片的尺寸与原始前景图片的尺寸、原始天空图片的尺寸均相同。
电子设备对原始前景图片进行下采样处理,得到第一前景图片;对原始天空图片进行下采样处理,得到第一天空图片;对原始背景图片进行下采样处理,得到第一背景图片。
下采样包括最邻近(Nearest Neighbor,NN)下采样、平均下采样、双线性下采样等。若是对原始前景图片、原始天空图片或原始背景图片进行双线性下采样处理,在时域上对处理后的原始前景图片、原始天空图片或原始背景图片进行观察,发现处理后的原始前景图片、原始天空图片或原始背景图片存在闪烁的情况。为了平衡图片的性能并使处理后的图片具有更好的呈现效果,本发明实施例中,下采样包括最邻近下采样和/或平均下采样。
本发明实施例中,并不对原始背景图片的获取进行限定,也不对原始前景图片、原始天空图片或原始背景图片的下采样处理顺序进行限定。
步骤103、通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片。
本发明实施例中,电子设备通过亮度调节函数对第一前景图片进行调整,得到第二前景图片;通过亮度调节函数对第一背景图片进行调整,得到第二背景图片。
在一种可能的实现方式中,步骤103之后还包括:电子设备通过亮度调节函数对原始前景图片的亮度进行调整,得到第四前景图片;通过亮度调节函数对原始背景图片的亮度进行调整,得到第四背景图片。
本发明实施例中,并不对第四前景图片、第四背景图片的处理顺序进行限定,也不对原始前景图片、原始背景图片的处理顺序进行限定。
步骤104、根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片。
本发明实施例中,结果图片为包括原始背景图片的天空图像与原始前景图片中天空图像之外的图像的图片。结果图片的尺寸与原始前景图片的尺寸相同。
在一种可能的实现方式中,电子设备根据第四前景图片、第四背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片。
本发明实施例提供了一种图片的拼接方法,通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片;根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片,从而增强了结果图片的呈现效果。
本发明实施例中,当原始前景图片的亮度与原始背景图片的亮度差异较大时,对第一前景图片的亮度与第一背景图片的亮度进行调整,能够使第二前景图片的亮度与第二背景图片的亮度的差异减小,从而使结果图片不会出现断层的现象,增强了结果图片的呈现效果。
图2为本发明实施例提供的另一种图片的拼接方法的流程图,如图2所示,该方法包括:
步骤201、通过天空分割算法,根据获取的原始前景图片,生成原始天空图片。
本发明实施例中,原始前景图片的尺寸与原始天空图片的尺寸相同。
步骤202、对原始前景图片、原始天空图片与原始背景图片分别进行最邻近下采样处理,得到采样前景图片、采样天空图片与采样背景图片。
本发明实施例中,电子设备对原始前景图片进行最邻近下采样处理,得到采样前景图片;对原始天空图片进行最邻近下采样处理,得到采样天空图片;对原始背景图片进行最邻近下采样处理,得到采样背景图片。
对原始前景图片进行最邻近下采样处理,使原始前景图片的长度方向的分辨率与宽度方向的分辨率分别缩小为原来的
Figure BDA0003722536240000091
倍,原始前景图片的分辨率与采样前景图片的分辨率的比值为n2。而在分辨率减小的同时,图片的尺寸也会随着分辨率的减小而减小,使原始前景图片的长度方向的尺寸与宽度方向的尺寸分别缩小为原来的
Figure BDA0003722536240000101
倍,原始前景图片的尺寸与采样前景图片的尺寸的比值为n2。例如,n为5,若原始前景图片的分辨率为4000x2000,则原始前景图片的长度方向的分辨率与宽度方向的分辨率分别缩小为原来的
Figure BDA0003722536240000109
倍,采样前景图片的分辨率为800x400;若原始前景图片的尺寸为a×b,则原始前景图片的长度方向的尺寸与宽度方向的尺寸分别缩小为原来的
Figure BDA00037225362400001010
倍,采样前景图片的尺寸为
Figure BDA0003722536240000102
原始天空图片的分辨率与采样天空图片的分辨率的比值、原始背景图片的分辨率与采样背景图片的分辨率的比值与上述原始前景图片的分辨率与采样前景图片的分辨率的比值相同。原始天空图片的尺寸与采样天空图片的尺寸的比值、原始背景图片的尺寸与采样背景图片的尺寸的比值与上述原始前景图片的尺寸与采样前景图片的尺寸的比值相同。
本发明实施例中,并不对原始前景图片、原始天空图片、原始背景图片进行最邻近下采样处理的顺序进行限定。
步骤203、对采样前景图片、采样天空图片与采样背景图片分别进行平均下采样处理,得到第一前景图片、第一天空图片与第一背景图片。
本发明实施例中,对采样前景图片进行平均下采样处理,使采样前景图片的长度方向的分辨率与宽度方向的分辨率分别缩小为原来的
Figure BDA0003722536240000103
倍,采样前景图片的分辨率与第一前景图片的分辨率的比值为m2。而在分辨率减小的同时,图片的尺寸也会随着分辨率的减小而减小,使采样前景图片的长度方向的尺寸与宽度方向的尺寸分别缩小为原来的
Figure BDA0003722536240000104
倍,采样前景图片的尺寸与第一前景图片的尺寸的比值为m2。例如,m为4,若采样前景图片的分辨率为800x400,则采样前景图片的长度方向的分辨率与宽度方向的分辨率分别缩小为原来的
Figure BDA0003722536240000107
倍,第一前景图片的分辨率为200x100;若采样前景图片的尺寸为
Figure BDA0003722536240000105
则采样前景图片的长度方向的尺寸与宽度方向的尺寸分别缩小为原来的
Figure BDA0003722536240000106
倍,第一前景图片的尺寸为
Figure BDA0003722536240000108
采样天空图片的分辨率与第一天空图片的分辨率的比值、采样背景图片的分辨率与第一背景图片的分辨率的比值与上述采样前景图片的分辨率与第一前景图片的分辨率的比值相同。采样天空图片的尺寸与第一天空图片的尺寸的比值、采样背景图片的尺寸与第一背景图片的尺寸的比值与上述采样前景图片的尺寸与第一前景图片的尺寸的比值相同。
本发明实施例中,并不对采样前景图片、采样天空图片、采样背景图片进行平均下采样处理的顺序进行限定。
步骤204、根据第一前景图片与第一背景图片生成第一前景图片对应的前景增益值与第一背景图片对应的背景增益值。
本发明实施例中,图3为本发明实施例提供的一种生成前景增益值与背景增益值的流程图,如图3所示,步骤204具体可包括:
步骤2041、根据第一前景图片对应的至少一个第一前景参数,生成第一平均亮度值。
本发明实施例中,第一前景参数包括第一前景图片对应的像素值。电子设备根据第一前景图片对应的至少一个像素值生成第一平均亮度值。
例如,第一前景参数为第一前景像素值。当第一前景图片对应1个第一前景像素值时,电子设备将该第一前景像素值作为第一平均亮度值。当第一前景图片对应多个第一前景像素值时,电子设备根据多个第一前景像素值,计算出第一前景像素平均值;在一种可能的实现方式中,将第一前景像素平均值作为第一平均亮度值。在另一种可能的实现方式中,电子设备计算出第一前景像素平均值之后,将每个第一前景像素值与第一前景像素平均值相减,计算出每个第一前景像素值对应的前景像素平均差值;从多个前景像素平均差值中筛选出至少一个符合前景平均阈值范围的前景像素平均差值;获取符合前景平均阈值范围的前景像素平均差值对应的第一前景像素值;根据符合前景平均阈值范围的前景像素平均差值对应的第一前景像素值,生成第二前景像素平均值;将第二前景像素平均值作为第一平均亮度值。在另一种可能的实现方式中,电子设备计算出第一前景像素平均值之后,通过方差公式,根据第一前景像素平均值与多个第一前景像素值,计算出前景像素方差值;将每个第一前景像素值与前景像素方差值相减,计算出每个第一前景像素值对应的前景像素方差差值;从多个前景像素方差差值中筛选出至少一个符合前景方差阈值范围的前景像素方差差值;获取符合前景方差阈值范围的前景像素方差差值对应的第一前景像素值;根据符合前景方差阈值范围的前景像素方差差值对应的第一前景像素值,生成第三前景像素平均值;将第三前景像素平均值作为第一平均亮度值。
其中,前景平均阈值范围包括最大前景平均阈值与最小前景平均阈值。前景方差阈值范围最大前景方差阈值与最小前景方差阈值。例如,前景方差阈值范围为[-3σ1,3σ1],3σ1为最大前景方差阈值,-3σ1为最小前景方差阈值,σ1为前景方差参数。
本发明实施例中,并不对第一平均亮度值的生成过程进行限制。
步骤2042、根据第一背景图片对应的至少一个第一背景参数,生成第二平均亮度值。
本发明实施例中,第一背景参数包括第一背景图片对应的像素值。电子设备根据第一背景图片对应的至少一个像素值生成第二平均亮度值。
例如,第一背景参数为第一背景像素值。当第一背景图片对应1个第一背景像素值时,电子设备将该第一背景像素值作为第二平均亮度值。当第一背景图片对应多个第一背景像素值时,电子设备根据多个第一背景像素值,计算出第一背景像素平均值;在一种可能的实现方式中,将第一背景像素平均值作为第二平均亮度值。在另一种可能的实现方式中,电子设备计算出第一背景像素平均值之后,将每个第一背景像素值与第一背景像素平均值相减,计算出每个第一背景像素值对应的背景像素平均差值;从多个背景像素平均差值中筛选出至少一个符合背景平均阈值范围的背景像素平均差值;获取符合背景平均阈值范围的背景像素平均差值对应的第一背景像素值;根据符合背景平均阈值范围的背景像素平均差值对应的第一背景像素值,生成第二背景像素平均值;将第二背景像素平均值作为第二平均亮度值。在另一种可能的实现方式中,电子设备计算出第一背景像素平均值之后,通过方差公式,根据第一背景像素平均值与多个第一背景像素值,计算出背景像素方差值;将每个第一背景像素值与背景像素方差值相减,计算出每个第一背景像素值对应的背景像素方差差值;从多个背景像素方差差值中筛选出至少一个符合背景方差阈值范围的背景像素方差差值;获取符合背景方差阈值范围的背景像素方差差值对应的第一背景像素值;根据符合背景方差阈值范围的背景像素方差差值对应的第一背景像素值,生成第三背景像素平均值;将第三背景像素平均值作为第二平均亮度值。
其中,背景平均阈值范围包括最大背景平均阈值与最小背景平均阈值。背景方差阈值范围最大背景方差阈值与最小背景方差阈值。例如,背景方差阈值范围为[-3σ2,3σ2],3σ2为最大背景方差阈值,-3σ2为最小背景方差阈值,σ2为背景方差参数。
本发明实施例中,并不对第二平均亮度值的生成过程进行限制。
步骤2043、通过亮度计算公式,根据第一平均亮度值与第二平均亮度值,生成第三平均亮度值。
本发明实施例中,亮度计算公式为Res_avg=x1*a+x2*(1-a)。其中,Res_avg为第三平均亮度值,x1为第一平均亮度值,x2为第二平均亮度值,a为环境色系数。环境色系数为大于1且小于0的数值。电子设备将第一平均亮度值与环境色系数相乘,生成第一乘积;将1与环境色系数相减,生成第一差值;将第二平均亮度值与第一差值相乘,生成第二乘积;将第一乘积与第二乘积相加,生成第三平均亮度值。
步骤2044、通过亮度增益函数,根据第三平均亮度值与第一平均亮度值,生成前景增益值。
本发明实施例中,通过亮度增益函数,根据第三平均亮度值与第一平均亮度值,生成前景亮度增益函数。前景亮度增益函数为fg_global_ratio=Res_avg/(x1+epsilon)。其中,fg_global_ratio为前景增益值;epsilon为第三微值,第三微值表示一个很小的值。设置第三微值的作用是防止分母为0导致前景亮度增益函数无意义的情况。电子设备将第一平均亮度值与第三微值相加,生成第二和值;将第三平均亮度值与第二和值作比,生成前景增益值。
步骤2045、通过亮度增益函数,根据第三平均亮度值与第二平均亮度值,生成背景增益值。
本发明实施例中,通过亮度增益函数,根据第三平均亮度值与第二平均亮度值,生成背景亮度增益函数。背景亮度增益函数为bg_global_ratio=Res_avg/(x2+epsilon)。其中,bg_global_ratio为背景增益值。电子设备将第二平均亮度值与第三微值相加,生成第三和值;将第三平均亮度值与第三和值作比,生成背景增益值。
步骤205、通过亮度调节函数,根据前景增益值,对第一前景图片的亮度进行调整,生成第二前景图片。
本发明实施例中,图4为本发明实施例提供的一种生成第二前景图片的流程图,如图4所示,步骤205具体可包括:
步骤2051、通过亮度调节函数,根据前景增益值,对第一前景图片对应的至少一个第一前景参数进行计算,生成第一前景参数对应的第二前景参数。
本发明实施例中,通过亮度调节函数,根据前景增益值,生成前景亮度调节函数。电子设备通过前景亮度调节函数,对第一前景图片对应的至少一个第一前景参数进行计算,生成第一前景参数对应的第二前景参数。第一前景参数包括第一前景图片对应的像素值。
若第一前景图片对应1个第一前景参数,则通过前景亮度调节函数,对第一前景参数进行计算,生成第一前景参数对应的第二前景参数。若第一前景图片对应多个第一前景参数,则通过前景亮度调节函数,对每个第一前景参数进行计算,生成每个第一前景参数对应的第二前景参数。
例如,前景亮度调节函数为f(fg_global_ratio,x11)=fg_global_ratio*x11。其中,x11为第一前景图片对应的任意一个第一前景参数。电子设备将前景增益值与第一前景参数相乘,生成第二前景参数。
考虑到对第一前景图片进行亮度调节时有可能会出现图像断层的现象,前景亮度调节函数可以是上述f(fg_global_ratio,x11)=fg_global_ratio*x11,也可以是其它具有鲁棒性的前景亮度调节函数。本发明实施例中,并不对前景亮度调节函数进行限制。
步骤2052、根据至少一个第二前景参数,生成第二前景图片。
本发明实施例中,第二前景参数包括第二前景像素值,电子设备根据至少一个第二前景像素值生成第二前景图片。
步骤206、通过亮度调节函数,根据背景增益值,对第一背景图片的亮度进行调整,生成第二背景图片。
本发明实施例中,图5为本发明实施例提供的一种生成第二背景图片的流程图,如图5所示,步骤206具体可包括:
步骤2061、通过亮度调节函数,根据背景增益值,对第一背景图片对应的至少一个第一背景参数进行计算,生成第一背景参数对应的第二背景参数。
本发明实施例中,通过亮度调节函数,根据背景增益值,生成背景亮度调节函数。电子设备通过背景亮度调节函数,对第一背景图片对应的至少一个第一背景参数进行计算,生成第一背景参数对应的第二背景参数。第一背景参数包括第一背景图片对应的像素值。
步骤2062、根据至少一个第二背景参数,生成第二背景图片。
本发明实施例中,第二背景参数包括第二背景像素值,电子设备根据至少一个第二背景像素值生成第二背景图片。
步骤207、根据第二前景图片、第二背景图片与第一天空图片生成第一融合图片。
本发明实施例中,图6为本发明实施例提供的一种生成第一融合图片的流程图,如图6所示,步骤207具体可包括:
步骤2071、根据第二前景图片、第二背景图片与第一天空图片生成融合梯度图片与简单融合图片。
本发明实施例中,由于第二前景图片对应至少一个第二前景参数,第二背景图片对应至少一个第二背景参数,第一天空图片对应至少一个第一天空参数,电子设备根据至少一个第二前景参数生成第二前景矩阵;根据至少一个第二背景参数生成第二背景矩阵;根据至少一个第一天空参数生成第一天空矩阵。例如,第一天空图片的长度上对应200个第一天空参数,宽度上对应100个第一天空参数,则第一天空矩阵包括100行、200列,每一行均包括200个第一天空参数,每一列均包括100个第一天空参数。电子设备通过简单融合公式,根据第二前景矩阵、第二背景矩阵与第一天空矩阵生成简单融合矩阵;根据简单融合矩阵生成简单融合图片。
简单融合矩阵为res_1=x2_1*mask+x1_1*(1-mask),其中,res_1为简单融合矩阵,x2_1为第二背景矩阵,x1_1为第二前景矩阵,mask为第一天空图片中掩膜图像对应的矩阵;1-mask为第一天空图片中天空图像对应的矩阵。简单融合矩阵中包括至少一个简单融合参数,简单融合参数包括简单融合图片对应的像素值。
融合梯度图片包括第三横向前向梯度图、第三横向后向梯度图、第三纵向前向梯度图、第三纵向后向梯度图中至少一个,本发明实施例中,融合梯度图片包括第三横向前向梯度图、第三横向后向梯度图、第三纵向前向梯度图、第三纵向后向梯度图。
本发明实施例中,图7为本发明实施例提供的一种生成融合梯度图片的流程图,如图7所示,步骤2071具体可包括:步骤2071具体可包括:
步骤2071a、根据第二前景图片生成第一横向前向梯度图、第一横向后向梯度图、第一纵向前向梯度图与第一纵向后向梯度图。
本发明实施例中,第二前景图片可对应四个方向的梯度图片,四个方向的梯度图片分别是第一横向前向梯度图、第一横向后向梯度图、第一纵向前向梯度图与第一纵向后向梯度图。
由于第一横向前向梯度图对应至少一个第一横向前向参数,第一横向后向梯度图对应至少一个第一横向后向参数,第一纵向前向梯度图对应至少一个第一纵向前向参数,第一纵向后向梯度图对应至少一个第一纵向后向参数;例如,第一横向前向参数包括第一横向前向梯度图对应的像素值;第一横向后向参数包括第一横向后向梯度图对应的像素值;第一纵向前向参数包括第一纵向前向梯度图对应的像素值;第一纵向后向参数包括第一纵向后向梯度图对应的像素值。因此,电子设备根据至少一个第一横向前向参数,生成第一横向前向梯度图对应的第一横向前向矩阵;根据至少一个第一横向后向参数,生成第一横向后向梯度图对应的第一横向后向矩阵;根据至少一个第一纵向前向参数,生成第一纵向前向梯度图对应的第一纵向前向矩阵;根据至少一个第一纵向后向参数,生成第一纵向后向梯度图对应第一纵向后向矩阵。
假设第一横向前向矩阵、第一横向后向矩阵、第一纵向前向矩阵或第一纵向后向矩阵的当前位置为(x,y),则四个方向的梯度图片对应的矩阵可分别表示为:Fg_dx1=x1_1(x+1,y)–x1_1(x,y);Fg_dx2=x1_1(x,y)–x1_1(x-1,y);Fg_dy1=x1_1(x,y+1)–x1_1(x,y);Fg_dy2=x1_1(x,y)–x1_1(x,y-1)。其中,Fg_dx1为第一横向前向矩阵;Fg_dx2为第一横向后向矩阵;Fg_dy1为第一纵向前向矩阵;Fg_dy2为第一纵向后向矩阵;x1_1为第二前景图片对应的第二前景矩阵。电子设备可根据计算出的上述第一横向前向矩阵、第一横向后向矩阵、第一纵向前向矩阵或第一纵向后向矩阵生成第一横向前向梯度图、第一横向后向梯度图、第一纵向前向梯度图或第一纵向后向梯度图。
步骤2071b、根据第二背景图片生成第二横向前向梯度图、第二横向后向梯度图、第二纵向前向梯度图与第二纵向后向梯度图。
本发明实施例中,第二背景图片可对应四个方向的梯度图片,四个方向的梯度图片分别是第二横向前向梯度图、第二横向后向梯度图、第二纵向前向梯度图与第二纵向后向梯度图。
第二横向前向梯度图对应至少一个第二横向前向参数,电子设备根据至少一个第二横向前向参数生成第二横向前向矩阵,第二横向前向矩阵包括至少一个第二横向前向参数;第二横向后向梯度图对应至少一个第二横向后向参数,电子设备根据至少一个第二横向后向参数生成第二横向后向矩阵,第二横向后向矩阵包括至少一个第二横向后向参数;第二纵向前向梯度图对应至少一个第二纵向前向参数,电子设备根据至少一个第二纵向前向参数生成第二纵向前向矩阵,第二纵向前向矩阵包括至少一个第二纵向前向参数;第二纵向后向梯度图对应至少一个第二纵向后向参数,电子设备根据至少一个第二纵向后向参数生成第二纵向后向矩阵,第二纵向后向矩阵包括至少一个第二纵向后向参数。第二横向前向参数包括第二横向前向梯度图对应的像素值;第二横向后向参数包括第二横向后向梯度图对应的像素值;第二纵向前向参数包括第二纵向前向梯度图对应的像素值;第二纵向后向参数包括第二纵向后向梯度图对应的像素值。
假设第二横向前向矩阵、第二横向后向矩阵、第二纵向前向矩阵或第二纵向后向矩阵的当前位置为(x,y),则四个方向的梯度图片对应的矩阵可分别表示为:Bg_dx1=x2_1(x+1,y)–x2_1(x,y);Bg_dx2=x2_1(x,y)–x2_1(x-1,y);Bg_dy1=x2_1(x,y+1)–x2_1(x,y);Bg_dy2=x2_1(x,y)–x2_1(x,y-1)。其中,Bg_dx1为第二横向前向矩阵;Bg_dx2为第二横向后向矩阵;Bg_dy1为第二纵向前向矩阵;Bg_dy2为第二纵向后向矩阵;x2_1为第二背景图片对应的第二背景矩阵。
步骤2071c、根据第一横向前向梯度图、第二横向前向梯度图与第一天空图片生成第三横向前向梯度图。
本发明实施例中,第三横向前向梯度图对应至少一个第三横向前向参数,电子设备根据至少一个第三横向前向参数生成第三横向前向矩阵,第三横向前向矩阵包括至少一个第三横向前向参数。第三横向前向参数包括第三横向前向梯度图对应的像素值。第三横向前向矩阵是通过第一横向前向矩阵、第二横向前向矩阵与第一天空图片对应的第一天空矩阵计算生成的。例如,res_dx1=Bg_dx1*mask+Fg_dx1*(1-mask)。其中,res_dx1为第一横向前向矩阵。
步骤2071d、根据第一横向后向梯度图、第二横向后向梯度图与第一天空图片生成第三横向后向梯度图。
本发明实施例中,第三横向后向梯度图对应至少一个第三横向后向参数,电子设备根据至少一个第三横向后向参数,生成第三横向后向矩阵,第三横向后向矩阵包括至少一个第三横向后向参数。第三横向后向参数包括第三横向后向梯度图对应的像素值。第三横向后向矩阵是通过第一横向后向矩阵、第二横向后向矩阵与第一天空矩阵计算生成的。例如,res_dx2=Bg_dx2*mask+Fg_dx2*(1-mask),其中,res_dx2为第三横向后向矩阵。
步骤2071e、根据第一纵向前向梯度图、第二纵向前向梯度图与第一天空图片生成第三纵向前向梯度图。
本发明实施例中,第三纵向前向梯度图对应至少一个第三纵向前向参数,电子设备根据至少一个第三纵向前向参数,生成第三纵向前向矩阵,第三纵向前向矩阵包括至少一个第三纵向前向参数。第三纵向前向参数包括第三纵向前向梯度图对应的像素值。第三纵向前向矩阵是通过第一纵向前向矩阵、第二纵向前向矩阵与第一天空矩阵计算生成的。例如,res_dy1=Bg_dy1*mask+Fg_dy1*(1-mask),其中,res_dy1为第三纵向前向矩阵。
步骤2071f、根据第一纵向后向梯度图、第二纵向后向梯度图与第一天空图片生成第三纵向后向梯度图。
本发明实施例中,第三纵向后向梯度图对应至少一个第三纵向后向参数,电子设备根据至少一个第三纵向后向参数生成第三纵向后向矩阵,第三纵向后向矩阵包括至少一个第三纵向后向参数,第三纵向后向参数包括第三纵向后向梯度图对应的像素值。电子设备通过第三纵向公式,根据第一纵向后向矩阵、第二纵向后向矩阵与第一天空矩阵计算生成第三纵向后向矩阵。例如,第三纵向公式为res_dy2=Bg_dy2*mask+Fg_dy2*(1-mask),其中,res_dy2为第三纵向后向矩阵。
步骤2072、对融合梯度图片进行平移,生成拉普拉斯图片。
本发明实施例中,电子设备通过对第三横向前向矩阵、第三横向后向矩阵、第三纵向前向矩阵、第三纵向后向矩阵进行加减运算,实现了对融合梯度图片进行平移的操作。例如,lap=res_dx1-res_dx2+res_dy1-res_dy2;其中,lap为拉普拉斯矩阵。拉普拉斯图片对应至少一个拉普拉斯参数,拉普拉斯矩阵中包括至少一个拉普拉斯参数。电子设备根据拉普拉斯矩阵,生成拉普拉斯图片。拉普拉斯图片对应拉普拉斯矩阵。
步骤2073、根据拉普拉斯图片与简单融合图片生成第一融合图片。
本发明实施例中,简单融合图片对应简单融合矩阵,拉普拉斯图片对应拉普拉斯矩阵。图8为本发明实施例提供的另一种生成第一融合图片的流程图,如图8所示,步骤2073具体可包括:
步骤2073a、对获取的简单融合图片对应的简单融合矩阵进行二阶求导运算,生成求导矩阵。
本发明实施例中,简单融合图片对应至少一个简单融合参数,电子设备根据至少一个简单融合参数生成简单融合矩阵。简单融合矩阵中包括至少一个简单融合参数,简单融合参数包括简单融合图片对应的像素值。例如,求导矩阵为
Figure BDA0003722536240000171
步骤2073b、通过拉普拉斯卷积公式,根据求导矩阵与拉普拉斯矩阵,生成以第一融合图片对应的第一融合矩阵为未知量的第一拉普拉斯卷积等式。
本发明实施例中,例如,第一拉普拉斯卷积等式为
Figure BDA0003722536240000172
Figure BDA0003722536240000178
其中,res为未知量,表示第一融合矩阵。
步骤2073c、通过将第一微值与简单融合矩阵加入第一拉普拉斯卷积等式,生成第二拉普拉斯卷积等式。
本发明实施例中,例如,第二拉普拉斯卷积等式为
Figure BDA0003722536240000173
Figure BDA0003722536240000174
其中,ε表示第一微值。第一微值是一个微小数值,例如,第一微值为0.001。
步骤2073d、对第二拉普拉斯卷积等式的等号两边分别进行离散余弦运算,生成卷积算子点乘等式。
本发明实施例中,例如,卷积算子点乘等式为
Figure BDA0003722536240000175
Figure BDA0003722536240000176
步骤2073e、从卷积算子点乘等式中提取出第一融合矩阵,根据卷积算子点乘等式,生成离散余弦逆变换等式。
本发明实施例中,离散余弦逆变换等式为
Figure BDA0003722536240000177
其中,idct指的是离散余弦逆变换。
步骤2073f、根据离散余弦逆变换等式,计算出第一融合矩阵。
本发明实施例中,第一融合矩阵中包括至少一个第一融合参数。第一融合参数包括像素值。
步骤2073g、根据第一融合矩阵,生成第一融合图片。
本发明实施例中,电子设备根据至少一个第一融合参数生成第一融合图片。例如,电子设备根据至少一个第一融合像素值生成第一融合图片。
步骤208、根据第一融合图片、原始前景图片与第二前景图片生成第三前景图片。
本发明实施例中,图9为本发明实施例提供的一种生成第三前景图片的流程图,如图9所示,步骤208具体可包括:
步骤2081、根据第一融合图片与第二前景图片生成第一前景增益图片。
本发明实施例中,图10为本发明实施例提供的一种生成第一前景增益图片的流程图,如图10所示,步骤2081具体可包括:
步骤2081a、获取第一融合图片对应的第一融合矩阵与第二前景图片对应的第二前景矩阵。
本发明实施例中,电子设备根据第一融合图片对应的至少一个第一融合参数,生成第一融合矩阵;根据第二前景图片对应的至少一个第二前景参数,生成第二前景矩阵。
步骤2081b、通过前景增益公式,根据第一融合矩阵与第二前景矩阵,生成第一前景增益矩阵。
本发明实施例中,前景增益公式为fg_map=g(res/(x1_1+Δ)),其中,fg_map为第一前景增益矩阵,Δ为第二微值。第一前景增益矩阵中包括至少一个第一前景增益参数。第一前景增益参数包括第一前景增益像素值。
步骤2081b具体可包括:通过第一限制范围,根据至少一个第二前景参数和与第二前景参数对应的第一融合参数,生成第一融合参数对应的第一前景增益参数,第二前景参数在第二前景矩阵中的位置和与第二前景参数对应的第一融合参数在第一融合矩阵中的位置相同;根据至少一个第一前景增益参数,生成第一前景增益矩阵,第一前景增益矩阵包括至少一个第一前景增益参数,第一前景增益参数在第一前景增益矩阵中的位置和与第一前景增益参数对应的第一融合参数在第一融合矩阵中的位置相同。
电子设备通过第一限制范围,根据至少一个第二前景参数和与第二前景参数对应的第一融合参数,生成第一融合参数对应的第一前景增益参数,包括:电子设备获取第二前景参数和与第二前景参数对应的第一融合参数;将第二前景参数与第二微值相加,生成第一和值;将第一融合参数与第一和值作比,生成第一比值;通过第一限制范围,对第一比值进行限制,生成第一前景增益参数。例如,第一限制范围为[0.3,2.5],电子设备若判断出第一比值大于或等于0.3且小于或等于2.5,则将第一比值作为第一前景增益参数;若判断出第一比值小于0.3,则将第一比值的数值修改为0.3,并将修改后的第一比值作为第一前景增益参数;若判断出第一比值大于2.5,则将第一比值的数值修改为2.5,并将修改后的第一比值作为第一前景增益参数,从而使每个第一前景增益参数均大于或等于0.3且小于或等于2.5。
步骤2081c、根据第一前景增益矩阵生成第一前景增益图片。
本发明实施例中,第一前景增益矩阵中包括至少一个第一前景增益参数,电子设备根据至少一个第一前景增益参数生成第一前景增益图片。例如,电子设备根据至少一个第一前景增益像素值生成第一前景增益图片。
在一种可能的实现方式中,若在步骤208之前确定出原始前景图片为原始前景视频中的第p张原始前景图片,p为大于1的整数,根据第一融合图片与第二前景图片生成第一前景增益图片,包括:根据当前的第一融合图片、第二前景图片与上一个第一前景增益图片,生成当前的第一前景增益图片。具体的,电子设备根据当前的第一融合图片与第二前景图片生成第三前景增益图片;根据第三前景增益图片与上一个第一前景增益图片,生成当前的第一前景增益图片。第三前景增益图片对应第三前景增益矩阵,第三前景增益矩阵包括第三前景增益参数,第三前景增益参数包括第三前景增益图片对应的像素值。根据第三前景增益图片与上一个第一前景增益图片,生成当前的第一前景增益图片,包括:根据第三前景增益矩阵与上一个第一前景增益矩阵,生成当前的第一前景增益矩阵;根据当前的第一前景增益矩阵,生成当前的第一前景增益图片。从而使当前的第一前景增益图片与上一个第一前景增益图片进行了一种时域上的平滑,减少了生成的第一前景增益图片局部差异很大导致视频闪烁的情况,并且将局部增益值限制在一个合理的范围内。
例如,电子设备通过当前前景增益公式生成当前的第一前景增益图片,当前前景增益公式为fg_map=c*x3_1+d*x4_1,其中,c、d均为比例系数,x3_1为上一个第一前景增益矩阵,x4_1为第三前景增益矩阵。
步骤2082、根据第一前景增益图片与原始前景图片生成第三前景图片。
本发明实施例中,步骤2082之前,还包括:通过亮度调节函数,根据前景增益值对原始前景图片的亮度进行调整,生成第四前景图片。
本发明实施例中,图11为本发明实施例提供的另一种生成第三前景图片的流程图,如图11所示,步骤2082具体可包括:
步骤2082a、对第一前景增益图片进行双线性上采样处理,生成第二前景增益图片。
本发明实施例中,第二前景增益图片的尺寸与原始前景图片的尺寸相同,与上述第四前景图片的尺寸也相同。
步骤2082b、根据第二前景增益图片与第四前景图片生成第三前景图片。
本发明实施例中,电子设备通过第三前景公式,根据第二前景增益图片对应的第二前景增益矩阵与第四前景图片对应的第四前景矩阵,生成第三前景矩阵;根据第三前景矩阵生成第三前景图片。
步骤2082b具体可包括:电子设备获取第二前景增益图片对应的第二前景增益矩阵与第四前景图片对应的第四前景矩阵,第二前景增益矩阵包括至少一个第二前景增益参数,第四前景矩阵包括至少一个第四前景参数,第二前景增益矩阵的尺寸与第四前景矩阵的尺寸相同;通过第二限制范围,根据至少一个第一前景增益参数和与第一前景增益参数对应的第四前景参数,生成第四前景参数对应的第三前景参数,第四前景参数在第四前景矩阵中的位置和与第四前景参数对应的第一前景增益参数在第一前景增益矩阵中的位置相同;根据至少一个第三前景参数,生成第三前景矩阵,第三前景参数在第三前景矩阵中的位置和与第三前景参数对应的第四前景参数在第四前景矩阵中的位置相同;根据第三前景矩阵,生成第三前景图片。
例如,由于第四前景图片对应至少一个第四前景参数,电子设备根据至少一个第四前景参数生成第四前景矩阵,第四前景矩阵包括至少一个第四前景参数。第四前景参数包括第四前景图片对应的像素值。第二前景增益图片对应至少一个第二前景增益参数,电子设备根据至少一个第二前景增益参数生成第二前景增益矩阵,第二前景增益矩阵包括至少一个第二前景增益参数。第二前景增益参数包括第二前景增益图片对应的像素值。第三前景矩阵中包括至少一个第三前景参数,第三前景参数包括第三前景图片对应的像素值。若第二限制范围为[0,255],则第三前景参数大于或等于0且小于或等于255。
步骤209、根据第一融合图片、原始背景图片与第二背景图片生成第三背景图片。
本发明实施例中,图12为本发明实施例提供的一种生成第三背景图片的流程图,如图12所示,步骤209具体可包括:
步骤2091、根据第一融合图片与第二背景图片生成第一背景增益图片。
本发明实施例中,电子设备获取第一融合图片对应的第一融合矩阵与第二背景图片对应的第二背景矩阵;通过背景增益公式,根据第一融合矩阵与第二背景矩阵,生成第一背景增益矩阵。
第一融合图片对应至少一个第一融合参数,第二背景图片对应至少一个第二背景参数;电子设备获取第一融合图片对应的第一融合矩阵与第二背景图片对应的第二背景矩阵,包括:电子设备根据至少一个第一融合参数生成第一融合矩阵,第一融合矩阵包括至少一个第一融合参数;根据至少一个第二背景参数生成第二背景矩阵,第二背景矩阵包括至少一个第二背景参数。第一融合矩阵的尺寸与第二背景矩阵的尺寸相等。
背景增益公式为bg_map=g(res/(x2_1+Δ)),其中,bg_map为第一背景增益矩阵,第一背景增益矩阵中包括至少一个第一背景增益参数。第一背景增益参数包括第一背景增益像素值。电子设备通过背景增益公式,根据第一融合矩阵与第二背景矩阵,生成第一背景增益矩阵,具体可包括:通过第一限制范围,根据至少一个第二背景参数和与第二背景参数对应的第一融合参数,生成第一融合参数对应的第一背景增益参数,第二背景参数在第二背景矩阵中的位置和与第二背景参数对应的第一融合参数在第一融合矩阵中的位置相同;根据至少一个第一背景增益参数,生成第一背景增益矩阵,第一背景增益矩阵包括至少一个第一背景增益参数,第一背景增益参数在第一背景增益矩阵中的位置和与第一背景增益参数对应的第一融合参数在第一融合矩阵中的位置相同。
电子设备通过第一限制范围,根据至少一个第二背景参数和与第二背景参数对应的第一融合参数,生成第一融合参数对应的第一背景增益参数,包括:电子设备获取第二背景参数和与第二背景参数对应的第一融合参数;将第二背景参数与第二微值相加,生成第四和值;将第一融合参数与第四和值作比,生成第二比值;通过第一限制范围,对第二比值进行限制,生成第一背景增益参数。例如,第一限制范围为[0.3,2.5],电子设备若判断出第二比值大于或等于0.3且小于或等于2.5,则将第二比值作为第一背景增益参数;若判断出第二比值小于0.3,则将第二比值的数值修改为0.3,并将修改后的第二比值作为第一背景增益参数;若判断出第二比值大于2.5,则将第二比值的数值修改为2.5,并将修改后的第二比值作为第一背景增益参数,从而使每个第一背景增益参数均大于或等于0.3且小于或等于2.5。
步骤2092、根据第一背景增益图片与原始背景图片生成第三背景图片。
本发明实施例中,步骤2092之前,还包括:通过亮度调节函数,根据背景增益值对原始背景图片的亮度进行调整,生成第四背景图片。
本发明实施例中,图13为本发明实施例提供的另一种生成第三背景图片的流程图,如图13所示,步骤2092具体可包括:
步骤2092a、对第一背景增益图片进行双线性上采样处理,生成第二背景增益图片。
第四背景图片的尺寸与原始背景图片的尺寸相同,第二背景增益图片与原始背景图片的尺寸也相同。
步骤2092b、根据第一背景增益图片与第四背景图片生成第三背景图片。
电子设备通过第三背景公式,根据第二背景增益图片对应的第二背景增益矩阵与第四背景图片对应的第四背景矩阵,生成第三背景矩阵;根据第三背景矩阵生成第三背景图片。第三背景公式为X2_2=x2_3*resize(fg_map),其中X2_2为第三背景矩阵,x2_3为第四背景矩阵,resize(fg_map)为第二背景增益图片对应的第二背景增益矩阵。
步骤2092b具体可包括:电子设备获取所述第二背景增益图片对应第二背景增益矩阵与所述第四背景图片对应第四背景矩阵,所述第二背景增益矩阵包括至少一个第二背景增益参数,所述第四背景矩阵包括至少一个第四背景参数,所述第二背景增益矩阵的尺寸与所述第四背景矩阵的尺寸相同;通过第二限制范围,将至少一个第一背景增益参数和与第一背景增益参数对应的第四背景参数相乘,生成第四背景参数对应的第三背景参数,第四背景参数在第四背景矩阵中的位置和与第四背景参数对应的第一背景增益参数在第一背景增益矩阵中的位置相同;根据至少一个第三背景参数,生成第三背景矩阵,第三背景参数在第三背景矩阵中的位置和与第三背景参数对应的第四背景参数在第四背景矩阵中的位置相同;根据第三背景矩阵,生成第三背景图片。
步骤210、根据第三前景图片、第三背景图片与原始天空图片生成结果图片。
本发明实施例中,第三前景图片的尺寸、第三背景图片的尺寸与原始天空图片的尺寸均相同。结果图片对应至少一个结果参数,电子设备可根据至少一个结果参数生成结果矩阵。结果矩阵可通过结果公式求出,例如,结果公式为res_big=h(x1_2,x2_2,mask),其中,res_big为结果矩阵,结果矩阵包括至少一个结果参数,结果参数包括结果图片对应的像素值。
在一种可能的实现方式中,结果公式包括alpha融合公式,对于h(x1_2,x2_2,mask)中的第三前景参数、第三背景参数与原始天空参数通过alpha融合公式计算出结果参数。alpha融合公式为h(x1,x2,alpha)=x12*(1-alpha)+x22*alpha。其中,x12为第三前景参数,x22为第三背景参数,alpha为原始天空参数。或者,也可以通过多分辨率融合方式,根据第三前景图片、第三背景图片与原始天空图片生成结果图片。
本发明实施例提供了一种图片的拼接方法,通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片;根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片,从而增强了结果图片的呈现效果。
本发明实施例的技术方案中,当原始前景图片的亮度与原始背景图片的亮度差异较大时,对第一前景图片的亮度、第一背景图片的亮度、原始前景图片的亮度与原始背景图片的亮度进行调整,能够使第二前景图片的亮度与第二背景图片的亮度的差异减小、原始前景图片的亮度与原始背景图片的亮度的差异减小,从而使结果图片不会出现断层的现象,优化了结果图片的呈现效果。
图14为本发明实施例提供的一种图片的拼接装置的结构示意图,如图14所示,该装置包括:第一生成模块11、下采样模块12、亮度调整模块13与第二生成模块14。
第一生成模块11与下采样模块12连接,下采样模块12与度调整模块13连接,亮度调整模块13与第二生成模块14连接。
第一生成模块11用于通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;下采样模块12用于对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;亮度调整模块13用于通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片;第二生成模块14用于根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片。
本发明实施例中,下采样模块12包括:第一下采样子模块121与第二下采样子模块122。第一下采样子模块121与第二下采样子模块122连接。
第一下采样子模块121用于对原始前景图片、原始天空图片与原始背景图片分别进行最邻近下采样处理,得到采样前景图片、采样天空图片与采样背景图片;第二下采样子模块122用于对采样前景图片、采样天空图片与采样背景图片分别进行平均下采样处理,得到第一前景图片、第一天空图片与第一背景图片。
本发明实施例中,亮度调整模块13包括:第一生成子模块131、第二生成子模块132与第三生成子模块133。第一生成子模块131与第二生成子模块132连接,第二生成子模块132与第三生成子模块133连接。
第一生成子模块131用于根据第一前景图片与第一背景图片生成第一前景图片对应的前景增益值与第一背景图片对应的背景增益值;第二生成子模块132用于通过亮度调节函数,根据前景增益值,对第一前景图片的亮度进行调整,生成第二前景图片;第三生成子模块133用于通过亮度调节函数,根据背景增益值,对第一背景图片的亮度进行调整,生成第二背景图片。
本发明实施例中,第一生成子模块131具体用于根据第一前景图片对应的至少一个第一前景参数,生成第一平均亮度值;根据第一背景图片对应的至少一个第一背景参数,生成第二平均亮度值;通过亮度计算公式,根据第一平均亮度值与第二平均亮度值,生成第三平均亮度值;通过亮度增益函数,根据第三平均亮度值与第一平均亮度值,生成前景增益值;通过亮度增益函数,根据第三平均亮度值与第二平均亮度值,生成背景增益值。
本发明实施例中,第二生成子模块132具体用于通过亮度调节函数,根据前景增益值,对第一前景图片对应的至少一个第一前景参数进行计算,生成第一前景参数对应的第二前景参数;根据至少一个第二前景参数,生成第二前景图片。
本发明实施例中,第二生成模块14包括第四生成子模块141、第五生成子模块142、第六生成子模块143与第七生成子模块144。第四生成子模块141与第五生成子模块142连接,第五生成子模块142与第六生成子模块143连接,第六生成子模块143与第七生成子模块144连接。
第四生成子模块141用于根据第二前景图片、第二背景图片与第一天空图片生成第一融合图片;第五生成子模块142用于根据第一融合图片、原始前景图片与第二前景图片生成第三前景图片;第六生成子模块143用于根据第一融合图片、原始背景图片与第二背景图片生成第三背景图片;第七生成子模块144用于根据第三前景图片、第三背景图片与原始天空图片生成结果图片。
本发明实施例中,第四生成子模块141具体用于根据第二前景图片、第二背景图片与第一天空图片生成融合梯度图片与简单融合图片;对融合梯度图片进行平移,生成拉普拉斯图片;根据拉普拉斯图片与简单融合图片生成第一融合图片。
本发明实施例中,融合梯度图片包括第三横向前向梯度图、第三横向后向梯度图、第三纵向前向梯度图、第三纵向后向梯度图中至少一个;第四生成子模块141具体用于根据第二前景图片生成第一横向前向梯度图、第一横向后向梯度图、第一纵向前向梯度图与第一纵向后向梯度图;根据第二背景图片生成第二横向前向梯度图、第二横向后向梯度图、第二纵向前向梯度图与第二纵向后向梯度图;根据第一横向前向梯度图、第二横向前向梯度图与第一天空图片生成第三横向前向梯度图;根据第一横向后向梯度图、第二横向后向梯度图与第一天空图片生成第三横向后向梯度图;根据第一纵向前向梯度图、第二纵向前向梯度图与第一天空图片生成第三纵向前向梯度图;根据第一纵向后向梯度图、第二纵向后向梯度图与第一天空图片生成第三纵向后向梯度图。
本发明实施例中,第四生成子模块141具体用于对获取的简单融合图片对应的简单融合矩阵进行二阶求导运算,生成求导矩阵;通过拉普拉斯卷积公式,根据求导矩阵与拉普拉斯矩阵,生成以第一融合图片对应的第一融合矩阵为未知量的第一拉普拉斯卷积等式;通过将第一微值与简单融合矩阵加入第一拉普拉斯卷积等式,生成第二拉普拉斯卷积等式;对第二拉普拉斯卷积等式的等号两边分别进行离散余弦运算,生成卷积算子点乘等式;从卷积算子点乘等式中提取出第一融合矩阵,根据卷积算子点乘等式,生成离散余弦逆变换等式;根据离散余弦逆变换等式,计算出第一融合矩阵;根据第一融合矩阵,生成第一融合图片。
本发明实施例中,第五生成子模块142具体用于根据第一融合图片与第二前景图片生成第一前景增益图片;根据第一前景增益图片与原始前景图片生成第三前景图片。
本发明实施例中,第五生成子模块142具体用于获取第一融合图片对应的第一融合矩阵与第二前景图片对应的第二前景矩阵;通过前景增益公式,根据第一融合矩阵与第二前景矩阵,生成第一前景增益矩阵;根据第一前景增益矩阵生成第一前景增益图片。
本发明实施例中,第一融合矩阵包括至少一个第一融合参数,第二前景矩阵包括至少一个第二前景参数,第一融合矩阵的尺寸与第二前景矩阵的尺寸相等,第五生成子模块142具体用于通过第一限制范围,根据至少一个第二前景参数和与第二前景参数对应的第一融合参数,生成第一融合参数对应的第一前景增益参数,第二前景参数在第二前景矩阵中的位置和与第二前景参数对应的第一融合参数在第一融合矩阵中的位置相同;根据至少一个第一前景增益参数,生成第一前景增益矩阵,第一前景增益矩阵包括至少一个第一前景增益参数,第一前景增益参数在第一前景增益矩阵中的位置和与第一前景增益参数对应的第一融合参数在第一融合矩阵中的位置相同。
本发明实施例中,第五生成子模块142具体用于获取第二前景参数和与第二前景参数对应的第一融合参数;将第二前景参数与第二微值相加,生成第一和值;将第一融合参数与第一和值作比,生成第一比值;通过第一限制范围,对第一比值进行限制,生成第一前景增益参数。
本发明实施例中,亮度调整模块13还用于通过亮度调节函数,根据前景增益值对原始前景图片的亮度进行调整,生成第四前景图片。第五生成子模块142具体用于对第一前景增益图片进行双线性上采样处理,生成第二前景增益图片;根据第二前景增益图片与第四前景图片生成第三前景图片。
本发明实施例中,第五生成子模块142具体用于获取第二前景增益图片对应的第二前景增益矩阵与第四前景图片对应的第四前景矩阵,第二前景增益矩阵包括至少一个第二前景增益参数,第四前景矩阵包括至少一个第四前景参数,第二前景增益矩阵的尺寸与第四前景矩阵的尺寸相同;通过第二限制范围,根据至少一个第一前景增益参数和与第一前景增益参数对应的第四前景参数,生成第四前景参数对应的第三前景参数,第四前景参数在第四前景矩阵中的位置和与第四前景参数对应的第一前景增益参数在第一前景增益矩阵中的位置相同;根据至少一个第三前景参数,生成第三前景矩阵,第三前景参数在第三前景矩阵中的位置和与第三前景参数对应的第四前景参数在第四前景矩阵中的位置相同;根据第三前景矩阵,生成第三前景图片。
本发明实施例中,第六生成子模块143具体用于根据第一融合图片与第二背景图片生成第一背景增益图片;根据第一背景增益图片与原始背景图片生成第三背景图片。
本发明实施例中,亮度调整模块13还用于通过亮度调节函数,根据背景增益值对原始背景图片的亮度进行调整,生成第四背景图片。第六生成子模块143具体用于对第一背景增益图片进行双线性上采样处理,生成第二背景增益图片;根据第一背景增益图片与第四背景图片生成第三背景图片。
本发明实施例中,第六生成子模块143具体用于获取第二背景增益图片对应第二背景增益矩阵与第四背景图片对应第四背景矩阵,第二背景增益矩阵包括至少一个第二背景增益参数,第四背景矩阵包括至少一个第四背景参数,第二背景增益矩阵的尺寸与第四背景矩阵的尺寸相同;通过第二限制范围,将至少一个第一背景增益参数和与第一背景增益参数对应的第四背景参数相乘,生成第四背景参数对应的第三背景参数,第四背景参数在第四背景矩阵中的位置和与第四背景参数对应的第一背景增益参数在第一背景增益矩阵中的位置相同;根据至少一个第三背景参数,生成第三背景矩阵,第三背景参数在第三背景矩阵中的位置和与第三背景参数对应的第四背景参数在第四背景矩阵中的位置相同;根据第三背景矩阵,生成第三背景图片。
本发明实施例提供了一种图片的拼接装置,通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;对原始前景图片、原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;通过亮度调节函数对第一前景图片与第一背景图片分别进行调整,得到第二前景图片与第二背景图片;根据原始前景图片、原始背景图片、原始天空图片、第二前景图片、第二背景图片与第一天空图片生成结果图片,从而增强了结果图片的呈现效果。
本发明实施例提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述图片的拼接方法的实施例的各步骤,具体描述可参见上述图片的拼接方法的实施例。
本发明实施例提供了一种电子设备,包括存储器和处理器,存储器用于存储包括程序指令的信息,处理器用于控制程序指令的执行,程序指令被处理器加载并执行时实现上述图片的拼接方法的实施例的各步骤,具体描述可参见上述图片的拼接方法的实施例。
图15为本发明实施例提供的一种电子设备的示意图。如图15所示,该实施例的电子设备30包括:处理器31、存储器32以及存储在存储器32中并可在处理器31上运行的计算机程序33,该计算机程序33被处理器31执行时实现实施例中的应用于图片的拼接方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器31执行时实现实施例中应用于图片的拼接装置中各模型/单元的功能,为避免重复,此处不一一赘述。
电子设备30包括,但不仅限于,处理器31、存储器32。本领域技术人员可以理解,图15仅仅是电子设备30的示例,并不构成对电子设备30的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器31可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器32可以是电子设备30的内部存储单元,例如电子设备30的硬盘或内存。存储器32也可以是电子设备30的外部存储设备,例如电子设备30上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器32还可以既包括电子设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及电子设备30所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (21)

1.一种图片的拼接方法,其特征在于,包括:
通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;
对所述原始前景图片、所述原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;
通过亮度调节函数对所述第一前景图片与所述第一背景图片分别进行调整,得到第二前景图片与第二背景图片;
根据所述原始前景图片、所述原始背景图片、所述原始天空图片、所述第二前景图片、所述第二背景图片与所述第一天空图片生成结果图片。
2.根据权利要求1所述的方法,其特征在于,所述对所述原始前景图片、所述原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片,包括:
对所述原始前景图片、所述原始天空图片与所述原始背景图片分别进行最邻近下采样处理,得到采样前景图片、采样天空图片与采样背景图片;
对所述采样前景图片、所述采样天空图片与所述采样背景图片分别进行平均下采样处理,得到所述第一前景图片、所述第一天空图片与所述第一背景图片。
3.根据权利要求1所述的方法,其特征在于,所述通过亮度调节函数对所述第一前景图片与所述第一背景图片分别进行调整,得到第二前景图片与第二背景图片,包括:
根据所述第一前景图片与所述第一背景图片生成所述第一前景图片对应的前景增益值与所述第一背景图片对应的背景增益值;
通过所述亮度调节函数,根据所述前景增益值,对所述第一前景图片的亮度进行调整,生成所述第二前景图片;
通过所述亮度调节函数,根据所述背景增益值,对所述第一背景图片的亮度进行调整,生成所述第二背景图片。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一前景图片与所述第一背景图片生成所述第一前景图片对应的前景增益值与所述第一背景图片对应的背景增益值,包括:
根据所述第一前景图片对应的至少一个第一前景参数,生成第一平均亮度值;
根据所述第一背景图片对应的至少一个第一背景参数,生成第二平均亮度值;
通过亮度计算公式,根据所述第一平均亮度值与所述第二平均亮度值,生成第三平均亮度值;
通过亮度增益函数,根据所述第三平均亮度值与所述第一平均亮度值,生成所述前景增益值;
通过亮度增益函数,根据所述第三平均亮度值与所述第二平均亮度值,生成所述背景增益值。
5.根据权利要求3所述的方法,其特征在于,所述通过所述亮度调节函数,根据所述前景增益值,对所述第一前景图片的亮度进行调整,生成所述第二前景图片,包括:
通过所述亮度调节函数,根据所述前景增益值,对所述第一前景图片对应的至少一个第一前景参数进行计算,生成所述第一前景参数对应的第二前景参数;
根据至少一个所述第二前景参数,生成所述第二前景图片。
6.根据权利要求1所述的方法,其特征在于,所述根据所述原始前景图片、所述原始背景图片、所述原始天空图片、所述第二前景图片、所述第二背景图片与所述第一天空图片生成结果图片,包括:
根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成第一融合图片;
根据所述第一融合图片、所述原始前景图片与所述第二前景图片生成第三前景图片;
根据所述第一融合图片、所述原始背景图片与所述第二背景图片生成第三背景图片;
根据所述第三前景图片、所述第三背景图片与所述原始天空图片生成所述结果图片。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成第一融合图片,包括:
根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成融合梯度图片与简单融合图片;
对所述融合梯度图片进行平移,生成拉普拉斯图片;
根据所述拉普拉斯图片与所述简单融合图片生成所述第一融合图片。
8.根据权利要求7所述的方法,其特征在于,所述融合梯度图片包括第三横向前向梯度图、第三横向后向梯度图、第三纵向前向梯度图、第三纵向后向梯度图中至少一个;所述根据所述第二前景图片、所述第二背景图片与所述第一天空图片生成融合梯度图片,包括:
根据所述第二前景图片生成第一横向前向梯度图、第一横向后向梯度图、第一纵向前向梯度图与第一纵向后向梯度图;
根据所述第二背景图片生成第二横向前向梯度图、第二横向后向梯度图、第二纵向前向梯度图与第二纵向后向梯度图;
根据所述第一横向前向梯度图、所述第二横向前向梯度图与所述第一天空图片生成所述第三横向前向梯度图;
根据所述第一横向后向梯度图、所述第二横向后向梯度图与所述第一天空图片生成所述第三横向后向梯度图;
根据所述第一纵向前向梯度图、所述第二纵向前向梯度图与所述第一天空图片生成所述第三纵向前向梯度图;
根据所述第一纵向后向梯度图、所述第二纵向后向梯度图与所述第一天空图片生成所述第三纵向后向梯度图。
9.根据权利要求7所述的方法,其特征在于,所述根据所述拉普拉斯图片与所述简单融合图片生成所述第一融合图片,包括:
对获取的所述简单融合图片对应的简单融合矩阵进行二阶求导运算,生成求导矩阵;
通过拉普拉斯卷积公式,根据所述求导矩阵与所述拉普拉斯矩阵,生成以所述第一融合图片对应的第一融合矩阵为未知量的第一拉普拉斯卷积等式;
通过将第一微值与简单融合矩阵加入第一拉普拉斯卷积等式,生成第二拉普拉斯卷积等式;
对所述第二拉普拉斯卷积等式的等号两边分别进行离散余弦运算,生成卷积算子点乘等式;
从所述卷积算子点乘等式中提取出第一融合矩阵,根据所述卷积算子点乘等式,生成离散余弦逆变换等式;
根据所述离散余弦逆变换等式,计算出所述第一融合矩阵;
根据所述第一融合矩阵,生成所述第一融合图片。
10.根据权利要求6所述的方法,其特征在于,所述根据所述第一融合图片、所述原始前景图片与所述第二前景图片生成第三前景图片,包括:
根据所述第一融合图片与所述第二前景图片生成第一前景增益图片;
根据所述第一前景增益图片与所述原始前景图片生成所述第三前景图片。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一融合图片与所述第二前景图片生成第一前景增益图片,包括:
获取所述第一融合图片对应的第一融合矩阵与所述第二前景图片对应的第二前景矩阵;
通过前景增益公式,根据第一融合矩阵与第二前景矩阵,生成第一前景增益矩阵;
根据所述第一前景增益矩阵生成所述第一前景增益图片。
12.根据权利要求11所述的方法,其特征在于,所述第一融合矩阵包括至少一个第一融合参数,所述第二前景矩阵包括至少一个第二前景参数,所述第一融合矩阵的尺寸与所述第二前景矩阵的尺寸相等,所述通过前景增益公式,根据第一融合矩阵与第二前景矩阵,生成第一前景增益矩阵,包括:
通过第一限制范围,根据至少一个第二前景参数和与所述第二前景参数对应的所述第一融合参数,生成所述第一融合参数对应的第一前景增益参数,所述第二前景参数在所述第二前景矩阵中的位置和与所述第二前景参数对应的所述第一融合参数在所述第一融合矩阵中的位置相同;
根据至少一个第一前景增益参数,生成第一前景增益矩阵,所述第一前景增益矩阵包括所述至少一个第一前景增益参数,所述第一前景增益参数在所述第一前景增益矩阵中的位置和与所述第一前景增益参数对应的所述第一融合参数在所述第一融合矩阵中的位置相同。
13.根据权利要求12所述的方法,其特征在于,所述通过第一限制范围,根据至少一个第二前景参数和与所述第二前景参数对应的所述第一融合参数,生成所述第一融合参数对应的第一前景增益参数,包括:
获取第二前景参数和与所述第二前景参数对应的所述第一融合参数;
将所述第二前景参数与第二微值相加,生成第一和值;
将所述第一融合参数与所述第一和值作比,生成第一比值;
通过第一限制范围,对所述第一比值进行限制,生成所述第一前景增益参数。
14.根据权利要求10所述的方法,其特征在于,所述根据所述第一前景增益图片与所述原始前景图片生成所述第三前景图片之前,还包括:
通过所述亮度调节函数,根据前景增益值对所述原始前景图片的亮度进行调整,生成第四前景图片;
所述根据所述第一前景增益图片与所述原始前景图片生成所述第三前景图片,包括:
对所述第一前景增益图片进行双线性上采样处理,生成第二前景增益图片;
根据所述第二前景增益图片与所述第四前景图片生成所述第三前景图片。
15.根据权利要求14所述的方法,其特征在于,所述根据所述第二前景增益图片与所述第四前景图片生成所述第三前景图片,包括:
获取所述第二前景增益图片对应的第二前景增益矩阵与所述第四前景图片对应的第四前景矩阵,所述第二前景增益矩阵包括至少一个第二前景增益参数,所述第四前景矩阵包括至少一个第四前景参数,所述第二前景增益矩阵的尺寸与所述第四前景矩阵的尺寸相同;
通过第二限制范围,根据至少一个所述第一前景增益参数和与所述第一前景增益参数对应的所述第四前景参数,生成所述第四前景参数对应的第三前景参数,所述第四前景参数在所述第四前景矩阵中的位置和与所述第四前景参数对应的所述第一前景增益参数在所述第一前景增益矩阵中的位置相同;
根据至少一个所述第三前景参数,生成第三前景矩阵,所述第三前景参数在所述第三前景矩阵中的位置和与所述第三前景参数对应的所述第四前景参数在所述第四前景矩阵中的位置相同;
根据所述第三前景矩阵,生成所述第三前景图片。
16.根据权利要求6所述的方法,其特征在于,所述根据所述第一融合图片、所述原始背景图片与所述第二背景图片生成第三背景图片,包括:
根据所述第一融合图片与所述第二背景图片生成第一背景增益图片;
根据所述第一背景增益图片与所述原始背景图片生成所述第三背景图片。
17.根据权利要求16所述的方法,其特征在于,所述根据所述第一背景增益图片与所述原始背景图片生成所述第三背景图片之前,还包括:
通过所述亮度调节函数,根据背景增益值对所述原始背景图片的亮度进行调整,生成第四背景图片;
所述根据所述第一背景增益图片与所述原始背景图片生成所述第三背景图片,包括:
对所述第一背景增益图片进行双线性上采样处理,生成第二背景增益图片;
根据所述第一背景增益图片与所述第四背景图片生成所述第三背景图片。
18.根据权利要求17所述的方法,其特征在于,所述根据所述第一背景增益图片与所述第四背景图片生成所述第三背景图片,包括:
获取所述第二背景增益图片对应第二背景增益矩阵与所述第四背景图片对应第四背景矩阵,所述第二背景增益矩阵包括至少一个第二背景增益参数,所述第四背景矩阵包括至少一个第四背景参数,所述第二背景增益矩阵的尺寸与所述第四背景矩阵的尺寸相同;
通过第二限制范围,将至少一个所述第一背景增益参数和与所述第一背景增益参数对应的所述第四背景参数相乘,生成所述第四背景参数对应的第三背景参数,所述第四背景参数在所述第四背景矩阵中的位置和与所述第四背景参数对应的所述第一背景增益参数在所述第一背景增益矩阵中的位置相同;
根据至少一个所述第三背景参数,生成第三背景矩阵,所述第三背景参数在所述第三背景矩阵中的位置和与所述第三背景参数对应的所述第四背景参数在所述第四背景矩阵中的位置相同;
根据所述第三背景矩阵,生成所述第三背景图片。
19.一种图片的拼接装置,其特征在于,包括:
第一生成模块,用于通过天空分割算法,根据获取的原始前景图片,生成原始天空图片;
下采样模块,用于对所述原始前景图片、所述原始天空图片与获取的原始背景图片分别进行下采样处理,得到第一前景图片、第一天空图片与第一背景图片;
亮度调整模块,用于通过亮度调节函数对所述第一前景图片与所述第一背景图片分别进行调整,得到第二前景图片与第二背景图片;
第二生成模块,用于根据所述原始前景图片、所述原始背景图片、所述原始天空图片、所述第二前景图片、所述第二背景图片与所述第一天空图片生成结果图片。
20.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至18中任意一项所述的图片的拼接方法。
21.一种电子设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,其特征在于,所述程序指令被处理器加载并执行时实现权利要求1至18中任意一项所述的图片的拼接方法。
CN202210766997.6A 2022-06-30 2022-06-30 图片的拼接方法、装置、存储介质和电子设备 Pending CN115100040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210766997.6A CN115100040A (zh) 2022-06-30 2022-06-30 图片的拼接方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210766997.6A CN115100040A (zh) 2022-06-30 2022-06-30 图片的拼接方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN115100040A true CN115100040A (zh) 2022-09-23

Family

ID=83294150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210766997.6A Pending CN115100040A (zh) 2022-06-30 2022-06-30 图片的拼接方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN115100040A (zh)

Similar Documents

Publication Publication Date Title
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
Pickup et al. Bayesian methods for image super-resolution
US11055826B2 (en) Method and apparatus for image processing
Yang et al. Face hallucination via sparse coding
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
KR102010712B1 (ko) 왜곡 보정 방법 및 단말기
CN111402258A (zh) 图像处理方法、装置、存储介质及电子设备
CN111563552B (zh) 图像融合方法以及相关设备、装置
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN111372087B (zh) 全景视频插帧方法、装置及对应的存储介质
CN111131688B (zh) 一种图像处理方法、装置及移动终端
CN108876716B (zh) 超分辨率重建方法及装置
US10650488B2 (en) Apparatus, method, and computer program code for producing composite image
CN113159229A (zh) 图像融合方法、电子设备及相关产品
CN112102169A (zh) 一种红外图像拼接方法、装置和存储介质
CN111767924A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN115100040A (zh) 图片的拼接方法、装置、存储介质和电子设备
US20230098437A1 (en) Reference-Based Super-Resolution for Image and Video Enhancement
CN111179166B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN112929562B (zh) 视频抖动的处理方法、装置、设备以及存储介质
CN116645302A (zh) 图像增强方法、装置、智能终端及计算机可读存储介质
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN114445277A (zh) 深度图像像素增强方法、装置及计算机可读存储介质
CN111179158A (zh) 图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination