CN113362262A - 图像融合预处理的方法、装置、设备、存储介质 - Google Patents
图像融合预处理的方法、装置、设备、存储介质 Download PDFInfo
- Publication number
- CN113362262A CN113362262A CN202010148348.0A CN202010148348A CN113362262A CN 113362262 A CN113362262 A CN 113362262A CN 202010148348 A CN202010148348 A CN 202010148348A CN 113362262 A CN113362262 A CN 113362262A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- frequency
- foreground
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000007781 pre-processing Methods 0.000 title claims abstract description 24
- 210000000697 sensory organ Anatomy 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 230000007704 transition Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 230000003628 erosive effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像融合预处理的方法、装置、设备、存储介质,所述图像包括待融合的前景图像和背景图像,所述方法包括处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像,将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像,将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。本申请在前景图像和背景图像融合前,将前景图像的低频信息替换为背景图像的低频信息,避免出现前景图像和背景图像的融合边界明显,使得前景图像和背景图像有更好的融合效果。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种图像融合预处理的方法、一种图像融合预处理的装置、一种设备以及一种计算机可读存储介质。
背景技术
在做图像融合时,可能会需要将一张图像的指定区域叠加到另一张图像的指定区域,但这时往往会遇到的一个问题就是两张图像的背景颜色差异较大,导致图像融合的边界过于明显,融合效果差。
发明内容
有鉴于此,本申请提供一种图像融合预处理的方法、一种图像融合预处理的装置、一种设备以及一种计算机可读存储介质。
根据本申请的实施例的第一方面,提供一种图像融合预处理的方法,所述图像包括待融合的前景图像和背景图像,所述方法包括:
处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像;
将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像;
将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。
根据本申请的实施例的第二方面,提供一种图像融合预处理的装置,所述图像包括待融合的前景图像和背景图像,所述装置包括:
图像处理模块,用于处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像;
图像替换模块,将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像;
图像运算模块,用于将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。
根据本申请的实施例的第三方面,提供一种设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现上述任一实施例所述的方法。
根据本申请的实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
本申请对待融合的前景图像和背景图像进行处理,得到前景图像的高频图像和低频图像,以及背景图像的低频图像,并将前景图像的低频图像非指定区域的低频信息替换为背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像,将所得到的替换后的低频图像与前景图像的高频图像相加得到预处理后的前景图像。本申请在待融合的前景图像和待融合的背景图像融合前,先分别对前景图像和背景图像做预处理,将前景图像的低频信息替换为背景图像的低频信息,避免了前景图像和背景图像的融合边界明显的问题,使得前景图像和背景图像有更好的融合效果。
附图说明
图1是本申请一示例性实施例示出的一种图像融合预处理的方法流程图。
图2是本申请一示例性实施例示出的一种基于高斯金字塔对处理前景图像的方法流程图。
图3a是本申请一示例性实施例示出的要进行泊松融合的人脸图像示意图。
图3b是本申请一示例性实施例示出的要进行泊松融合的人脸图像示意图。
图3c是本申请一示例性实施例示出的对图3a的人脸图像进行标记特定区域的结果示意图。
图3d是本申请一示例性实施例示出的一张掩码图像的示意图。
图4是本申请一示例性实施例示出的一种图像融合预处理的装置的结构示意图。
图5所示是本申请一示例性实施例示出的图像融合预处理的装置所在设备的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在做图像融合时,通常会将一张图像的指定区域叠加到另一张图像的指定区域,但在图像融合时往往会遇到的一个问题就是两张图像的背景颜色差异较大,导致图像融合的边界过于明显,融合效果差。这一点在做人脸融合时尤为明显,当需要将一张人脸图像脸部的某个区域叠加到另一张人脸图像的对应部位时,如果两张人脸的肤色差异较大,则两张人脸融合的边界就会很明显,导致融合得到的人脸看起来不自然。
针对以上问题,本申请提出一种基于图像的高低频信息,在图像融合之前对待融合的图像先进行预处理的方法,以避免图像融合边界过于明显的问题。而图像融合通常需要3张素材图,1张前景图像、1张背景图像和1张掩码图像,其中掩码图像用于指定将前景图像的哪一部分与背景图像融合。本申请以将前景图像的部分区域叠加到背景图像之前,预先分别对前景图像和背景图像做处理为例进行说明,可以理解的是,前景图像和背景图像的数量并不仅限于一张,在前景图像和背景图像包括多张时,本申请的方法依旧可以适用。图1是本申请一示例性实施例示出的一种图像融合预处理的方法流程图,其中,所述图像包括待融合的前景图像和背景图像,如图1所示,该方法包括以下步骤:
S101,处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像;
S102,将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像;
S103,将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。
本申请所提到的高频图像可以理解为仅包括高频信息的图像,高频图像指待处理图像中图像强度(亮度/灰度)变化剧烈的区域的像素,低频图像可以理解为近似只包括低频信息的图像,低频信息指待处理图像中图像强度(亮度/灰度)变化平缓的区域的像素。以人脸为例,人脸图像中肤色部分可以看作低频信息,而五官部分与肤色的边界处可以看作是高频信息。本申请通过对前景图像和背景图像处理以分别得到前景图像的高频图像、低频图像,以及背景图像的高频图像、低频图像。
在一个实施例中,对前景图像、背景图像的处理可以是基于高斯金字塔进行处理,以对前景图像进行高斯金字塔处理为例,如图2所示,图2是本申请一示例性实施例示出的一种基于高斯金字塔对处理前景图像的方法流程图,该方法包括以下步骤:
S201,获取前景图像;
S202,设置重复处理次数;
S203,对前景图像进行低通滤波处理;
S204,对前景图像进行降采样处理;
S205,判断是否达到预设的重复次数,若是,执行S206;否则,返回执行S203;
S206,输出包括各层图像的高斯金字塔。
本实施例中重复处理的次数可以由本领域技术人员根据实际需要进行设定,对前景图像进行低通滤波处理和降采样处理是为了尽量地去除前景图像中的高频信息,得到前景图像的低频图像,该低频图像构成高斯金字塔的最高层图像,其中,低通滤波处理主要通过低通滤波器实现,例如可以采用高斯滤波器做低通滤波处理,对于所采用的高斯滤波器,其高斯滤波核可以与待处理的前景图像尺度成Alpha系数线性相关,由此对于不同尺度的图像,可以对应使用合适的滤波核进行处理,提高处理的效率。降采样处理过程中,可以对经过低通滤波处理的图像,再选择其指定的行、指定的列的像素,例如可以仅选择偶数行、偶数列的像素进行采样,构成新的缩小的图像,并将其作为高斯金字塔新的一层的图像,具体如何对图像进行降采样,可以由本领域技术人员根据实际需求设定,本申请不做限定。
对于高斯金字塔中各层的图像,由于每一层图像都是由前一层的图像经过低通滤波处理和降采样处理得到,从而形成高斯金字塔,因此每一层图像相对于前一层的图像都缺失部分的高频信息,对于这些缺失的高频信息可以记录下来,以便在S103中对得到的高斯金字塔的最高层的低频图像进行处理后,可以将处理后得到的低频图像再通过高斯金字塔还原得到预处理后的前景图像。因此,对于高斯金字塔中每一层的图像,可以对其进行上采样,使得该层图像像素大小与相邻的前一层一致,并与相邻的前一层图像做减运算得到两层图像之间的差分图像,该差分图像即为前景图像的高频图像,在还原前景图像的时,可以对处理后的高斯金字塔最高层的低频图像进行上采样得到与前一层图像像素大小相同的图像,并与两层图像之间的差分图像做相加运算,对于相加得到的图像继续进行上采样并与下一个差分图像做相加运算,以此类推,重复若干次后得到预处理过的前景图像,该预处理后的前景图像中包含了想要保留的前景图像的高频信息和低频信息,以及获取的背景图像的部分低频信息。
可以理解的是,基于高斯金字塔对前景图像处理得到前景图像的高频图像和低频图像只是本申请示出的一个例子,本申请并不只限定要通过高斯金字塔处理获取高频图像和低频图像,所有处理图像获得图像的低频图像和高频图像的方法都可以适用与本申请。在一些可行的例子中,还可以通过拉普拉斯金字塔对前景图像进行处理,其原理与高斯金字塔类似,在此不做赘述,或者如果有低通滤波器的滤波核大小足够,可以实现一次处理便得到低频图像,也可以依靠该低通滤波器对前景图像进行处理,而无需图像金字塔中多次重复的步骤。
在一个实施例中,对于前景图像中存在的一些特定区域,可能并不需要对这些区域进行处理,因此在S102中,在对前景图像进行处理前,可以先标记出这些特定的区域,对于处理前景图像得到的低频图像,可以对这些指定区域以外的区域的低频信息进行替换。作为一种具体的示例,将前景图像的低频图像非指定区域的低频信息替换为背景图像的低频图像对应的非指定区域的低频信息的步骤之前可以包括:根据指定区域构建第一掩码图像,通过所述第一掩码图像提取所述背景图像的低频图像对应的非指定区域的低频信息。由第一掩码图像将背景图像的低频图像对应的非指定区域的低频信息提取出来后,可以得到一个包括所述背景图像的低频图像对应的非指定区域的低频信息的替换图像,通过将所述替换图像叠加到所述前景图像的低频图像实现对低频信息的替换。
其中,第一掩码图像主要用于指示将背景图像的低频图像的哪一部分区域的低频信息来替换掉前景图像的低频图像中的非指定区域的低频信息,根据指定区域构建第一掩码图像,可以将建立一个与前景图像大小一致的灰度图像,并将与前景图像中指定区域对应的区域的像素设为0,非指定区域对应的区域的像素设为255,得到第一掩码图像,第一掩码图像中像素为255的区域可以看作感兴趣区域,像素为0的区域可以看作不做处理的区域,通过该第一掩码图像的感兴趣区域可以实现仅将背景图像的低频图像对应的非指定区域的低频信息进行拷贝,得到用于替换前景图像的低频图像中的非指定区域的低频信息的替换图像,并将该替换图像叠加到前景图像的低频图像上,实现将前景图像的低频图像中的非指定区域的低频信息替换为背景图像的低频图像对应的非指定区域的低频信息。
在一个实施例中,对于根据指定区域构建的第一掩码图像,在用于提取背景图像的低频图像对应的非指定区域的低频信息之前,还可以对构建的第一掩码图像做腐蚀处理和高斯模糊处理。通过腐蚀处理和高斯模糊处理可以实现第一掩码图像中0像素区域和255像素区域的边界圆滑,避免边界出现锯齿形状,同时也使得从0像素区域向255像素区域的像素过渡更加平缓,实现将边界处理为从0到255像素过渡的自然像素区域,例如从0,5,20,60…,255过渡的区域,这样在使用第一掩码图像提取背景图像的低频图像上的低频信息时,得到的替换图像其边界不会出现锯齿形状,同时像素过渡也更加自然,其叠加到前景图像上时与原来前景图像上未做处理的指定区域的边界的过渡会更加自然。
在一个实施例中,对于对前景图像处理得到的低频图像,也可以不设置特定区域,对整个低频图像进行处理,这时,则不需要考虑保留特定区域的像素,而是可以将整个前景图像的低频图像上的低频信息替换为背景图像的低频图像的低频信息,因此非指定区域可以是整个低频图像,此时,也不需要构建掩码去保护前景图像的低频图像上特定区域的像素,可以直接将前景图像的低频图像替换为背景图像的低频图像,再使用背景图像的低频图像与前景图像的高频图像做相加运算还原得到预处理的前景图像。
本申请对前景图像进行低频信息的替换处理,使得前景图像上的低频信息替换为背景图像上的低频信息,除此以外,本申请还对图像融合的时所使用的掩码图像做处理,在一个实施例中,在确定预处理后的前景图像中的待融合区域后,根据该待融合区域构建图像融合所需要的第二掩码图像,该第二掩码图像大小可以与预处理后的前景图像一致,该第二掩码图像上与预处理后的前景图像上的待融合区域对应的区域的像素被设置为255,其他区域的像素被设置为0,对于构建的第二掩码图像,还需要对其进行腐蚀处理和高斯模糊处理,使像素为255的区域与像素为0的区域边界过渡自然,同时通过处理后的第二掩码图像提取预处理后的前景图像中的待融合区域的图像像素,得到待融合图像,该待融合图像用于叠加到背景图像上的指定区域完成图像融合。
在完成由第二掩码图像提取待融合区域得到待融合图像后,还可以继续对待融合的背景图像进行处理,根据构建的第二掩码图像上与待融合区域对应的区域边界像素值对背景图像做alphablending(alpha混合)处理,例如,可以通过以下公式计算背景图像上个像素点的值:
上述公式中,srcvalue为处理后的前景图像上像素点的值,maskvalue为构建的第二掩码图像上的像素点的值,等式右边的dstvalue为待处理的背景图像上的像素点的值,等式左边的dstvalue为处理得到的背景图像上的像素点的值,通过该公式可以选取待处理的背景图像上的任一像素点、前景图像上对应位置的像素点以及第二掩码图像上对应位置的像素点,根据这3个像素点的值计算出处理后的背景图像在该位置的像素点值,通过alphablending处理可以使得背景图像上叠加待融合图像的区域的融合边界像素值与待融合图像的边界像素值接近,避免将待融合图像叠加到背景图像上时,出现融合边界过于明显的问题。
本申请的方法的一个实际的应用场合可以是应用于泊松融合,在使用泊松融合进行人脸融合时,如果待融合的人脸肤色差异较大,则融合的边界较为明显,融合的效果不佳,可以通过本申请的方法对要进行泊松融合的人脸图像进行预处理,使得泊松融合的效果更佳,下面以预先处理要进行泊松融合的人脸图像为例来说明本申请的方法。
图3a、图3b是本申请一示例性实施例示出的要进行泊松融合的人脸图像,如图3a、图3b所示,在做泊松融合时,需要将人脸图像3a中脸部A区域叠加到人脸图像3b中对应的脸部B区域,在做泊松融合前,分别对人脸图像3a和人脸图像3b进行预处理:
首先,需要标记出人脸图像3a中特定的区域,例如眼睛、眉毛、嘴巴等五官的区域,具体的,可以通过人脸识别对这些区域进行识别并标记关键点,将关键点组成的区域作为特定的区域,关于如何标记关键点的具体方法,可以参考相关技术文献,本申请在此不做详述。图3c为对图3a标记出特定区域后的结果示意图,如图3c所示,包括标记出的眉毛区域1、眼部区域2、鼻子区域3、嘴巴区域4以及没有标记的非特定区域C。
在标记出特定的区域后,可以对人脸图像3b、人脸图像3c分别进行处理,获取人脸图像3c的高频图像、低频图像,人脸图像3b的低频图像,处理的具体步骤可以参考图2中基于高斯金字塔对前景图像进行处理的流程,或者也可以采用其他的能够实现获取图像的高频图像、低频图像的方法,例如基于拉普拉斯金字塔对图像处理的方法。
对于得到的人脸图像3c的低频图像,要将该低频图像非特定区域C的低频信息替换为人脸图像3b的低频图像中对应的非特定区域C的低频信息,此时,需要通过构建掩码图像来实现保护人脸图像3c的低频图像中特定的区域的低频信息不会被替换,也即是需要保护人脸图像3c中眉毛区域1、眼部区域2、鼻子区域3、嘴巴区域4的低频信息不发生替换。具体的,可以根据眉毛区域1、眼部区域2、鼻子区域3、嘴巴区域4构建掩码图像,对构建的掩码图像还可以进行腐蚀处理和高斯模糊处理,图3d为构建的一张掩码图像的示意图,如图3d所示,该掩码图像大小与人脸图像3c一致,该掩码图像中只包括0像素和255像素,其中,分别与人脸图像3c中眉毛区域1、眼部区域2、鼻子区域3、嘴巴区域4对应的区域的像素被设置为0像素,与人脸图像3c中非特定区域C对应的区域的像素被设置为255,通过该掩码图像可以提取出人脸图像3b的低频图像中与C区域对应的区域的低频信息,并将提取的低频信息叠加到人脸图像3c的低频图像上,实现人脸图像3c的低频图像上C区域的低频信息替换为人脸图像3b上对应区域的低频信息。
在完成低频信息的替换后,再将替换后得到的人脸图像3c的低频图像与处理图像3a时得到的高频图像进行图像的相加运算还原人脸图像3a,完成对人脸图像3a的预处理。此时还需要对做泊松融合时需要用到的掩码图像进行处理,对于根据人脸图像3a中A区域构建的掩码图像,可以对该掩码图像进行腐蚀处理以及高斯模糊处理,使得提取人脸图像3a中A区域的图像得到的待融合图像的边缘过渡更加自然。在将得到的待融合图像与人脸图像3b进行融合前,还可以对人脸图像3b进行alphablending处理,可以结合之前的实施例中提到过的公式1对人脸图像3b上的像素进行计算优化,使人脸图像3b在融合过渡区域的边界像素与待融合图像更加接近。在完成对人脸图像3b的处理后,将由掩码图像提取的人脸图像3a中A区域的图像得到的待融合图像叠加到人脸图像3b上对应的B区域,并通过建立泊松方程求解对融合的边界进一步处理完成泊松融合。
上述处理过程中对于人脸图像的处理,主要考虑将待融合的人脸图像的低频信息替换为另一张人脸图像的低频信息,实际上也即是将一张待融合的人脸图像的肤色替换为另一张待融合的人脸图像的肤色,使得两张人脸图像再去做融合时融合效果会更好。本申请在做低频信息的替换时,之所以要保留五官区域的低频信息不被替换,主要是因为两张待融合的人脸图像的五官位置可能会出现不完全对齐的情况,此时,如果将一张待融合的图像的低频图像上包括五官区域的低频信息在内的低频信息全部进行替换,则得到的替换后的低频图像上五官区域的低频信息的位置可能与高频图像上五官区域的高频信息的位置上无法对齐,从而导致在图像复原后得到的图像显示出不属于该图像的低频信息。正因如此,通常不会去考虑对处理一张图像得到的高频图像和低频图像,将其低频图像替换成其他的低频图像后再由替换后的低频图像与高频图像相加复原此图像,因为这容易使复原的图像带入其他错误的信息。而本申请正是在面对此问题的基础上,选择保留五官区域的低频信息不做替换,既实现了低频信息的替换,同时避免了错误信息的带入。而在一些情况下,如果待融合的两张图像的五官位置完全对齐,此时则不用考虑图像还原失败的问题,可以直接将一张待融合图像的低频信息完全替换为另一张待融合图像的低频信息。或者在一些情况下,也可能出现部分五官位置是对齐的,而部分没有对齐,此时可以将五官位置对齐的区域的低频信息进行替换,而不对齐的区域的低频信息进行保留。
本申请还提供一种图像融合预处理的装置,所述图像包括待融合的前景图像和背景图像,图4是本申请一示例性实施例示出的一种图像融合预处理的装置的结构示意图,如图4所示,该图像融合预处理的装置400包括:
图像处理模块401,用于处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像;
图像替换模块402,将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像;
图像运算模块403,用于将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。
本申请图像融合预处理的装置的实施例可以应用在设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,为本申请图像融合预处理的装置所在设备的一种硬件结构图,除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该设备的实际功能,还可以包括其他硬件,对此不再赘述。
其中,非易失性存储器用于存储所述处理器可执行指令,所述处理器被配置为执行所述指令,以实现上述任一实施例所述的图像融合预处理的方法。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的图像融合预处理的方法。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种图像融合预处理的方法,其特征在于,所述图像包括待融合的前景图像和背景图像,所述方法包括:
处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像;
将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像;
将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。
2.根据权利要求1所述的方法,其特征在于,所述前景图像和背景图像为人脸图像,指定区域为五官区域,所述指定区域根据人脸关键点确定。
3.根据权利要求1所述的方法,其特征在于,所述处理所述前景图像包括:
基于高斯金字塔对所述前景图像进行处理,包括:
按照预设的重复次数对所述前景图像进行低通滤波处理和降采样处理,得到构成高斯金字塔的各层图像;其中,最高层图像为所述前景图像的低频图像,每相邻两层的图像之差为所述前景图像的高频图像。
4.根据权利要求1所述的方法,其特征在于,在所述将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息步骤之前还包括:
根据指定区域构建第一掩码图像;
通过所述第一掩码图像提取所述背景图像的低频图像对应的非指定区域的低频信息。
5.根据权利要求4所述的方法,其特征在于,在提取所述背景图像的低频图像对应的非指定区域的低频信息之前还包括:
对所述第一掩码图像做腐蚀处理和高斯模糊处理。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述预处理后的前景图像中的待融合区域,根据所述待融合区域构建第二掩码图像;
对所述第二掩码图像做腐蚀处理和高斯模糊处理。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述第二掩码图像上与所述待融合区域对应的区域的边界像素值对所述背景图像做alphablending处理。
8.一种图像融合预处理的装置,其特征在于,所述图像包括待融合的前景图像和背景图像,所述装置包括:
图像处理模块,用于处理所述前景图像和所述背景图像,得到所述前景图像的高频图像和低频图像,以及所述背景图像的低频图像;
图像替换模块,将所述前景图像的低频图像非指定区域的低频信息替换为所述背景图像的低频图像对应的非指定区域的低频信息,得到替换后的低频图像;
图像运算模块,用于将所得到的替换后的低频图像与所述前景图像的高频图像相加得到预处理后的前景图像。
9.一种设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-7所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1-7所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010148348.0A CN113362262A (zh) | 2020-03-05 | 2020-03-05 | 图像融合预处理的方法、装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010148348.0A CN113362262A (zh) | 2020-03-05 | 2020-03-05 | 图像融合预处理的方法、装置、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113362262A true CN113362262A (zh) | 2021-09-07 |
Family
ID=77523702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010148348.0A Pending CN113362262A (zh) | 2020-03-05 | 2020-03-05 | 图像融合预处理的方法、装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362262A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943657A (zh) * | 2022-06-02 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备、存储介质 |
CN116523810A (zh) * | 2023-07-04 | 2023-08-01 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、装置、设备及介质 |
WO2024088322A1 (zh) * | 2022-10-28 | 2024-05-02 | 影石创新科技股份有限公司 | 视频展示方法、装置、视频展示设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564597A (zh) * | 2018-03-05 | 2018-09-21 | 华南理工大学 | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 |
CN108986185A (zh) * | 2018-08-01 | 2018-12-11 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
CN110580688A (zh) * | 2019-08-07 | 2019-12-17 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-05 CN CN202010148348.0A patent/CN113362262A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564597A (zh) * | 2018-03-05 | 2018-09-21 | 华南理工大学 | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 |
CN108986185A (zh) * | 2018-08-01 | 2018-12-11 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
CN110580688A (zh) * | 2019-08-07 | 2019-12-17 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943657A (zh) * | 2022-06-02 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备、存储介质 |
WO2024088322A1 (zh) * | 2022-10-28 | 2024-05-02 | 影石创新科技股份有限公司 | 视频展示方法、装置、视频展示设备和存储介质 |
CN116523810A (zh) * | 2023-07-04 | 2023-08-01 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、装置、设备及介质 |
CN116523810B (zh) * | 2023-07-04 | 2023-11-17 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
Song et al. | Probabilistic exposure fusion | |
CN111445564B (zh) | 人脸纹理图像生成方法、装置、计算机设备和存储介质 | |
CN113362262A (zh) | 图像融合预处理的方法、装置、设备、存储介质 | |
Dai et al. | Soft edge smoothness prior for alpha channel super resolution | |
CN109416727B (zh) | 一种人脸图像中眼镜去除方法及装置 | |
Su et al. | Edge-preserving texture suppression filter based on joint filtering schemes | |
US9105117B2 (en) | Methods and apparatus for coherent manipulation and stylization of stereoscopic images | |
Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
Ye et al. | Depth super-resolution with deep edge-inference network and edge-guided depth filling | |
JPWO2009142333A1 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体 | |
WO2023123981A1 (zh) | 一种视频处理方法、装置、计算机设备和存储介质 | |
US20140177974A1 (en) | Method and Apparatus For Exemplar-Based Inpainting In A Multi-Scaled Space Using Laplacian Pyramid | |
CN104134189B (zh) | 一种图像放大的方法及装置 | |
CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
Geng et al. | Cervical cytopathology image refocusing via multi-scale attention features and domain normalization | |
US20230260083A1 (en) | Computer-implemented method, computer program product and system for processing images | |
CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
Choi et al. | Single image super-resolution based on self-examples using context-dependent subpatches | |
CN111476739B (zh) | 水下图像增强方法、系统及存储介质 | |
CN114782300B (zh) | 产品图像重构方法、产品重构模型训练方法、装置 | |
Zheng et al. | Joint residual pyramid for joint image super-resolution | |
CN115170386A (zh) | 人像图像处理方法、装置、电子设备和存储介质 | |
CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |