CN111311528B - 图像融合优化方法、装置、设备和介质 - Google Patents
图像融合优化方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111311528B CN111311528B CN202010074181.8A CN202010074181A CN111311528B CN 111311528 B CN111311528 B CN 111311528B CN 202010074181 A CN202010074181 A CN 202010074181A CN 111311528 B CN111311528 B CN 111311528B
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- boundary
- pixel
- edge image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 353
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 230000035515 penetration Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像融合优化方法、装置、设备和介质。该方法包括：根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界；根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。上述技术方案，解决了由于融合边界不准确而造成图像融合效果差的问题，其中，修正融合边界适用于任意一种融合算法，优化了图像融合效果，避免了边缘截断现象或者背景颜色渗透现象，同时也能够实现实时图像融合。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像融合优化方法、装置、设备和介质。
背景技术
图像融合是指，针对给定的一张源图片、源图片对应的二值掩膜，以及一张目标图片，将源图片中对应掩膜为非0的区域融合到目标图片中，得到一张生成图，其中，该生成图在掩膜为0的区域近似目标图片，在掩膜为非0的区域近似源图片，且两者的边界应该平滑过渡。
现有技术中的图像融合算法有多种，一般可以使图像融合边界平滑过渡，以α混合算法为例，将目标图片和源图片以一定比例结合(如0.5*目标图片+0.5*源图片)并全部或部分(如掩膜的边界区域)取代目标图片，图像融合后边界过渡得比较平滑，但融合后的图像会出现重影，而且无法解决由于融合边界不准确而引起的边缘截断问题。现有技术中，也存在即使融合边界不准确仍能生成效果较好的融合图的融合方法，但是此类融合方法是基于递归算法生成融合图的，无法达到实时性，只能处理离线的图片或视频。
发明内容
本发明实施例提供一种图像融合优化方法、装置、设备和介质，以解决由于融合边界不准确而造成图像融合效果差的问题，同时适用于实时图像融合。
第一方面，本发明实施例提供了一种图像融合优化方法，包括：
根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；
根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界；
根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
第二方面，本发明实施例还提供了一种图像融合优化装置，该装置包括：
混合边缘图像计算模块，用于根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；
融合边界区域修正模块，用于根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界；
图像融合模块，用于根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任意实施例所述的图像融合优化方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任意实施例所述的图像融合优化方法。
本发明实施例中，首先计算源图像和目标图像的混合边缘图像，然后根据所述混合边缘图像，对在源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界，进而根据修正融合边界将源图像和目标图像进行图像融合，解决了由于融合边界不准确而造成图像融合效果差的问题，也即解决了融合边界截到源图像或目标图像的非平滑区域使融合图像在融合边界位置出现边缘截断现象的问题。其中，修正融合边界适用于任意一种融合算法，优化了图像融合效果，避免了边缘截断现象或者背景颜色渗透现象，同时也能够实现实时图像融合。
附图说明
图1是本发明实施例一中的一种图像融合优化方法的流程图；
图2是本发明实施例中的目标图像示意图；
图3是本发明实施例中的源图像示意图；
图4是本发明实施例中的混合边缘图像示意图；
图5是本发明实施例中的一种融合结果的示意图；
图6是本发明实施例中的初始融合掩膜示意图；
图7是本发明实施例中的缩小后的融合掩膜示意图；
图8是本发明实施例中的一种融合结果的示意图；
图9是本发明实施例中的初始融合边界区域示意图；
图10是本发明实施例二中的一种图像融合优化方法的流程图；
图11是本发明实施例三中的一种图像融合优化方法的流程图；
图12是本发明实施例中确定修正融合半边界的一个像素点位置的示意图；
图13是本发明实施例中的修正后的融合掩膜示意图；
图14是本发明实施例中的一种融合结果的示意图；
图15是本发明实施例四提供的一种图像融合优化装置的模块结构示意图；
图16是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种图像融合优化方法的流程图，本实施例可适用于解决由于融合边界不准确而造成图像融合效果差这一问题的情况，该方法可以由本发明任意实施例提供的图像融合优化装置来执行，该装置可由硬件和/或软件组成，并一般可集成在计算机设备中。
如图1所述，本实施例提供的图像融合优化方法包括以下步骤：
S110、根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像。
图像融合，指的是将源图像融合至目标图像中，因此，源图像指的是待融合至其他图像中的图像，目标图像指的是待将其他图像融合至其中的图像。
边缘图像，是对原始图像进行边缘提取后得到的图像。其中，边缘是图像性区域和另一个属性区域的交接处，是区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方，也即图像的边缘包含着丰富的信息。第一边缘图像是对源图像进行边缘提取后得到的图像，第二边缘图像是对目标图像进行边缘提取后得到的图像，混合边缘图像是根据第一边缘图像和第二边缘图像生成的，与源图像边缘以及目标图像边缘相关。在一示例中，可以将根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像，具体为：
分别计算源图像的第一边缘图像以及目标图像的第二边缘图像；将所述第一边缘图像和所述第二边缘图像按照预设比例进行混合，得到混合边缘图像。
其中，源图像的第一边缘图像以及目标图像的第二边缘图像可以使用索贝尔(Sobel)或拉普拉斯(Laplacian)等算子进行计算，然后将第一边缘图像和第二边缘图像按照预设比例进行混合，即可得到混合边缘图像Δf。
以图2为目标图像f1，图3为源图像f2为例，分别采用拉普拉斯算子计算目标图像f1和源图像f2的边缘图像，并分别按照0.5的比例进行混合，得到混合边缘图像Δf，混合边缘图像如图4所示。
S120、根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界。
依旧以将如图2所示的目标图像f1和如图3所示的源图像f2进行图像融合为例，需要把图2中的人脸A替换成图3中的人脸B融合出一张新的人脸C，如图5所示，，图5具备了图2的背景以及图3的人脸，其中，为了保护个人隐私，各图中的人眼部分均作了模糊处理。在实际操作中，可以依靠人脸关键点检测算法将人脸A和人脸B的关键点检测出来(如图2以及图3中的点所示)，根据关键点将图2和图3进行对齐决定融合掩膜(也即掩膜图像)，如图3所示的源图像的掩膜图像如图6所示，在传统人脸融合过程中，融合掩膜代表人脸A中会被替换掉成人脸B的区域。根据如图6所示的掩膜图像将源图像和目标图像的进行图像融合，具体的，将目标图像、源图像以及掩膜图像输入到像素域(pixel domain)或者梯度域(gradientdomain)的融合算法中，例如泊松融合(Poisson Blending)或卷积金字塔融合(Convolutional Pyramid Blending)等，得到的融合结果如图5所示。但实际上往往因为检测的人脸关键点不准确，导致融合掩膜覆盖到背景区域(如图6所示)，当背景区域颜色跟人脸颜色差异较大时，背景颜色会渗透到融合后的人脸上(如图5中箭头所指的区域所示)，使融合结果出现明显的人工融合痕迹，虽然可以强行缩小融合掩膜的大小来避免背景渗透，以缩小后的掩膜图像如图7所示为例，但融合后图片中原来(也即目标图像中)的人脸五官很可能会露出来(如图8所示的嘴唇右侧部分)。
为了避免在融合边界处出现例如边缘截断或背景颜色渗透等人工融合痕迹，需要对在源图像的掩膜图像中获取的初始融合边界区域进行修正，以掩膜图像如图6所示为例，在掩膜图像中获取的初始融合边界区域如图9中白色区域所示。根据所述混合边缘图像中的像素信息，对初始融合边界区域进行修正，得到修正融合边界，与所述修正融合边界对应的掩膜图像会更加准确。
在一示例中，可以将根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界，具体为：根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界。
根据所述混合边缘图像中的像素信息，将初始融合边界区域进行细化，得到修正融合边界，根据修正融合边界确定的掩膜图像的准确度更高，进而可以提升源图像和目标图像的融合效果，尽量避免在融合边界处出现例如边缘截断或背景颜色渗透等人工融合痕迹。
具体的，对初始融合边界区域进行细化得到的修正融合边界的宽宽可以是单像素，也即修正融合边界是由一个个的单像素点顺序排列构成的。
S130、根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
在得到修正融合边界之后，即可确定与所述修正融合边界对应的修正后的掩膜图像，修正后的掩膜图像适用于任意现有的、常规的融合算法，例如是泊松融合算法。将所述源图像、掩膜图像和目标图像输入到任一种融合算法中，即可实现图像融合，也能兼顾图像融合的实时性。
本发明实施例中，首先计算源图像和目标图像的混合边缘图像，然后根据所述混合边缘图像，对在源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界，进而根据修正融合边界将源图像和目标图像进行图像融合，解决了由于融合边界不准确而造成图像融合效果差的问题，也即解决了融合边界截到源图像或目标图像的非平滑区域使融合图像在融合边界位置出现边缘截断现象的问题。其中，修正融合边界适用于任意一种融合算法，优化了图像融合效果，避免了边缘截断现象或者背景颜色渗透现象，同时也能够实现实时图像融合。
实施例二
本实施例以上述实施例为基础进行具体化，其中，将根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界，具体为：
确定与所述初始融合边界区域的各内侧边界像素点分别对应的各边界法线方向；根据所述混合边缘图像，依次在所述初始融合边界区域沿各所述边界法线方向上的多个像素点中选取一个像素点作为目标像素点，得到的各所述目标像素点顺序构成所述修正融合边界。
如图10所示，本实施例提供的图像融合优化方法包括以下步骤：
S210、分别计算源图像的第一边缘图像以及目标图像的第二边缘图像。
S220、将所述第一边缘图像和所述第二边缘图像按照预设比例进行混合，得到混合边缘图像。
S230、获取源图像的掩膜图像的初始融合边界区域，确定与所述初始融合边界区域的各内侧边界像素点位置分别对应的各边界法线方向。
初始融合边界区域具有内侧边界和外侧边界，如图9所示。
以与一个内侧边界像素点对应的一个边界法线方向为例进行解释说明，首先以这个内侧边界像素点为切点作所述内侧边界的切线，然后确定这条切线的法线方向，该法线方向即为与这个内侧边界像素点对应的边界法线方向，具体的，与这个内侧边界像素点对应的边界法线方向由这个内侧边界像素点指向初始融合边界区域的外侧边界。
S240、根据所述混合边缘图像，依次在所述初始融合边界区域沿各所述边界法线方向上的多个像素点位置中选取一个像素点位置作为目标像素点位置，得到的各所述目标像素点位置顺序构成所述修正融合边界。
以在所述初始融合边界区域沿一个边界法线方向上的多个像素点位置中选取一个像素点位置作为目标像素点位置为例，根据所述混合边缘图像中的像素信息，在初始融合边界区域中以与这个边界法线方向对应的内侧边界像素点位置为起点、沿这个边界法线方向上的多个像素点位置中选取一个像素点位置作为目标像素点位置。具体的，首先计算混合边缘图像中这多个像素点位置上的像素值，将像素值最大的像素点位置作为待定像素点位置，然后将内侧边界像素点位置与待定像素点位置之间像素值最小的像素点位置作为目标像素点位置，该目标像素点位置即为修正融合边界的一个像素点位置。
其中，待定像素点位置代表了在该边界法线方向上最大可能的边界点位置，但是为了避免背景颜色渗透现象，需要在待定像素点位置的内侧找一个像素点位置作为修正融合边界的一个像素点位置，而内侧边界像素点位置与待定像素点位置之间像素值最小的像素点位置代表了融合边界区域平滑过渡的像素点位置，能够避免边缘截断现象，故将该像素点位置作为修正融合边界的一个像素点位置。
典型的，可以按顺序依次获取初始融合边界区域的内侧边界上的一个像素点位置，作为当前处理像素点位置，首先确定与所述当前处理像素点位置对应的边界法线方向，然后根据所述混合边缘图像中的像素信息，在初始融合边界区域中以当前处理像素点位置为起点、沿这个边界法线方向上的多个像素点位置中选取一个像素点位置作为目标像素点位置，这个目标像素点位置即为构成修正融合边界的一个像素点位置，返回执行按顺序依次获取初始融合边界区域的内侧边界上的一个像素点位置作为当前处理像素点位置的操作，直至处理完初始融合边界区域的内侧边界上的所有像素点位置，也即得到修正融合边界的所有像素点位置。
S250、根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
本实施例未尽详细解释之处请详见前述实施例，在此不再赘述。
上述技术方案中，在得到源图像的掩膜图像之后，首先对掩膜图像的初始融合边界区域进行修正，具体的，根据目标图像和源图像的纹理自动寻找初始融合边界区域内平滑的边缘，以得到修正融合边界，进而根据与修正融合边界对应的融合掩膜将源图像和目标图像进行图像融合，解决了由于融合边界不准确而造成图像融合效果差的问题，避免了融合后的图像中存在边缘截断现象或者背景颜色渗透问题。同时，上述技术方案适用于对任意形状的初始融合边界区域进行修正，无论初始融合边界区域是外凸的、内凹的，还是既有外凸又有内凹的。
实施例三
本实施例以上述实施例为基础进行具体化，其中，将根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界，具体为：
将所述初始融合边界区域划分为两个融合边界半区域，其中，所述初始融合边界区域为外凸的；
根据所述混合边缘图像，将所述两个融合边界半区域分别细化为单像素宽宽的修正融合半边界，得到的两个所述修正融合半边界拼接构成所述修正融合边界。
如图11所示，本实施例提供的图像融合优化方法包括以下步骤：
S310、分别计算源图像的第一边缘图像以及目标图像的第二边缘图像。
S320、将所述第一边缘图像和所述第二边缘图像按照预设比例进行混合，得到混合边缘图像。
S330、将所述初始融合边界区域划分为两个融合边界半区域，其中，所述初始融合边界区域为外凸的。
当初始融合边界区域为外凸的时，例如是如图9所示的人脸轮廓融合边界区域，可以将初始融合区域划分为两个融合边界半区域，例如是融合边界左半区域和融合边界右半区域，或者是融合边界上半区域和融合边界上半区域。
S340、根据所述混合边缘图像，将所述两个融合边界半区域分别细化为单像素宽宽的修正融合半边界，得到的两个所述修正融合半边界拼接构成所述修正融合边界。
分别对每个融合边界半区域进行细化，得到单像素宽宽的修正融合半边界，将两个修正融合半边界顺序拼接起来即可构成修正融合边界。
当将所述初始融合边界区域划分为融合边界左半区域和融合边界右半区域时，根据所述混合边缘图像，将所述融合边界半区域细化为单像素宽宽的修正融合半边界，可以具体为：
在所述融合边界半区域中依次获取一个像素行作为当前像素行；
在所述融合边缘图像中确定与所述当前像素行对应的各像素点位置，并在所述各像素点位置中获取像素值最大的第一像素点位置；
在与所述当前像素行对应的各像素点位置中，获取所述融合边界半区域的内侧边界像素点位置，并在所述内侧边界像素点位置与所述第一像素点位置之间，获取像素值最小的第二像素点位置，所述第二像素点位置为所述修正融合半边界的一个像素点位置，直至处理完所述当前融合边界半区域的所有像素行，得到所述修正融合半边界的所有像素点位置。
以图9所述的初始融合边界区域为例，将该初始融合边界区域划分为融合边界左半区域和融合边界右半区域，分别将融合边界左半区域和融合边界右半区域细化为单像素宽宽的修正融合半边界。
以融合边界右半区域为例，在该融合边界右半区域中依次获取一个像素行作为当前像素行，首先，在所述融合边缘图像(参见图4)中确定与所述当前像素行对应的各像素点位置(像素点位置的数量与融合边界右半区域中当前像素行中像素的数量相同)，并在这些像素点位置中获取像素值最大的第一像素点位置，如图12中点1201所在的像素点位置；其次，在与所述当前像素行对应的各像素点位置中获取所述融合边界半区域的内侧边界像素点位置，并在所述内侧边界像素点位置与所述第一像素点位置之间(如图12中箭头所示的范围)，获取像素值最小的第二像素点位置，如图12中点1202所在的像素点位置，所述第二像素点位置即为所述修正融合半边界的一个像素点位置。
具体的，如图12中点1201所在的像素点位置代表该行里最大可能的人脸边界的位置，为了避免将人脸背景融合到人脸区域内，故在这个像素点位置的内侧重新寻找一个边界像素点位置，如图12中点1201内侧的点1202所在的像素点位置，该像素点位置的像素值最小，代表例如人脸皮肤的平滑区域，能够避免由于将人脸五官所在的像素点位置作为边界像素点位置而出现的边缘截断现象。
然后，重复上述操作，确定出所述修正融合半边界的下一个像素点位置，直至处理完融合边界右半区域的所有像素行，得到与融合边界右半区域对应的修正融合半边界的所有像素点位置。
在处理完融合边界右半区域之后，继续对融合边界左半区域进行处理，得到与融合边界左半区域对应的修正融合半边界的所有像素点位置。将两个修正融合半边界进行拼接，即可得到所述修正融合边界。
当将所述初始融合边界区域划分为融合边界上半区域和融合边界下半区域时，根据所述混合边缘图像，将所述融合边界半区域细化为单像素宽宽的修正融合半边界，可以具体为：
在所述融合边界半区域中依次获取一个像素列作为当前像素列；
在所述融合边缘图像中确定与所述当前像素列对应的各像素点位置，并在所述各像素点位置中获取像素值最大的第一像素点位置；
在与所述当前像素列对应的各像素点位置中，获取所述融合边界半区域的内侧边界像素点位置，并在所述内侧边界像素点位置与所述第一像素点位置之间，获取像素值最小的第二像素点位置，所述第二像素点位置为所述修正融合半边界的一个像素点位置，直至处理完所述当前融合边界半区域的所有像素列，得到所述修正融合半边界的所有像素点位置。
S350、根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
图13是根据S340进行修正后的融合掩膜，该融合掩膜根据目标图像和源图像纹理自动寻找边界区域内平滑的边缘，能够避免融合后边缘截断、背景颜色渗透等人工融合痕迹。根据如图13所示的融合掩膜，将如图2所示的目标图像和如图3所示的源图像进行图像融合，得到的融合结果如图14所示。
本实施例未尽详细解释之处请详见前述实施例，在此不再赘述。
在上述技术方案中，以人脸融合为例说明了在部分换脸、全局换脸或人脸重构的应用场景下，通过修正初始掩膜能够有效解决掩膜不准确带来的人工融合痕迹问题，使用修正后的掩膜边界使融合效果更自然，避免了边缘截断或背景颜色渗透等问题。而且，上述技术方案适用于对外凸的初始融合边界区域进行修正，以像素行或像素列为单位确定出修正融合边界所有的像素点位置，减少了数据计算量，提高了初始融合边界区域的修正效率。
实施例四
图15是本发明实施例四提供的一种图像融合优化装置的模块结构示意图，本实施例可适用于解决由于融合边界不准确而造成图像融合效果差这一问题的情况，该装置可以采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图15所示，该装置包括：混合边缘图像计算模块410、融合边界区域修正模块420和图像融合模块430，其中，
混合边缘图像计算模块410，用于根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；
融合边界区域修正模块420，用于根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界；
图像融合模块430，用于根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
本发明实施例中，首先计算源图像和目标图像的混合边缘图像，然后根据所述混合边缘图像，对在源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界，进而根据修正融合边界将源图像和目标图像进行图像融合，解决了由于融合边界不准确而造成图像融合效果差的问题，也即解决了融合边界截到源图像或目标图像的非平滑区域使融合图像在融合边界位置出现边缘截断现象的问题。其中，修正融合边界适用于任意一种融合算法，优化了图像融合效果，避免了边缘截断现象或者背景颜色渗透现象，同时也能够实现实时图像融合。
进一步的，融合边界区域修正模块420，具体用于根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界。
具体的，所述修正融合边界的宽度为单像素。
在一示例中，融合边界区域修正模块420，具体用于确定与所述初始融合边界区域的各内侧边界像素点位置分别对应的各边界法线方向；根据所述混合边缘图像，依次在所述初始融合边界区域沿各所述边界法线方向上的多个像素点位置中选取一个像素点位置作为目标像素点位置，得到的各所述目标像素点位置顺序构成所述修正融合边界。
在另一示例中，融合边界区域修正模块420，具体包括：融合边界半区域划分单元和融合边界半区域修正单元，其中，
融合边界半区域划分单元，用于将所述初始融合边界区域划分为两个融合边界半区域，其中，所述初始融合边界区域为外凸的；
融合边界半区域修正单元，用于根据所述混合边缘图像，将所述两个融合边界半区域分别细化为单像素宽宽的修正融合半边界，得到的两个所述修正融合半边界拼接构成所述修正融合边界。
具体的，所述两个融合边界半区域分别为融合边界左半区域和融合边界右半区域；对应的，融合边界半区域修正单元，用于在所述融合边界半区域中依次获取一个像素行作为当前像素行；在所述融合边缘图像中确定与所述当前像素行对应的各像素点位置，并在所述各像素点位置中获取像素值最大的第一像素点位置；在与所述当前像素行对应的各像素点位置中，获取所述融合边界半区域的内侧边界像素点位置，并在所述内侧边界像素点位置与所述第一像素点位置之间，获取像素值最小的第二像素点位置，所述第二像素点位置为所述修正融合半边界的一个像素点位置，直至处理完所述当前融合边界半区域的所有像素行，得到所述修正融合半边界的所有像素点位置。
进一步的，混合边缘图像计算模块410，具体用于分别计算源图像的第一边缘图像以及目标图像的第二边缘图像；将所述第一边缘图像和所述第二边缘图像按照预设比例进行混合，得到混合边缘图像。
本发明实施例所提供的图像融合优化装置可执行本发明任意实施例所提供的图像融合优化方法，具备执行方法相应的功能模块和有益效果。
实施例五
图16是本发明实施例五提供的一种计算机设备的结构示意图，如图16所示，该计算机设备包括处理器50、存储器51、输入装置52和输出装置53；计算机设备中处理器50的数量可以是一个或多个，图16中以一个处理器50为例；计算机设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图16中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像融合优化方法对应的程序指令/模块(例如，附图15所示的图像融合优化装置中的混合边缘图像计算模块410、融合边界区域修正模块420和图像融合模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的图像融合优化方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种图像融合优化方法，该方法包括：
根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；
根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界；
根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的图像融合优化方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述图像融合优化装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种图像融合优化方法，其特征在于，包括：
根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；
根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界，包括：
根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界，包括：
将所述初始融合边界区域划分为两个融合边界半区域，其中，所述初始融合边界区域为外凸的；
根据所述混合边缘图像，将所述两个融合边界半区域分别细化为单像素宽度的修正融合半边界，得到的两个所述修正融合半边界拼接构成所述修正融合边界；
根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合。
2.根据权利要求1所述的方法，其特征在于，所述修正融合边界的宽度为单像素。
3.根据权利要求2所述的方法，其特征在于，根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界，包括：
确定与所述初始融合边界区域的各内侧边界像素点位置分别对应的各边界法线方向；
根据所述混合边缘图像，依次在所述初始融合边界区域沿各所述边界法线方向上的多个像素点位置中选取一个像素点位置作为目标像素点位置，得到的各所述目标像素点位置顺序构成所述修正融合边界。
4.根据权利要求1所述的方法，其特征在于，所述两个融合边界半区域分别为融合边界左半区域和融合边界右半区域；
根据所述混合边缘图像，将所述融合边界半区域细化为单像素宽度的修正融合半边界，包括：
在所述融合边界半区域中依次获取一个像素行作为当前像素行；
在所述混合边缘图像中确定与所述当前像素行对应的各像素点位置，并在所述各像素点位置中获取像素值最大的第一像素点位置；
在与所述当前像素行对应的各像素点位置中，获取所述融合边界半区域的内侧边界像素点位置，并在所述内侧边界像素点位置与所述第一像素点位置之间，获取像素值最小的第二像素点位置，所述第二像素点位置为所述修正融合半边界的一个像素点位置，直至处理完当前所述融合边界半区域的所有像素行，得到所述修正融合半边界的所有像素点位置。
5.根据权利要求1所述的方法，其特征在于，根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像，包括：
分别计算源图像的第一边缘图像以及目标图像的第二边缘图像；
将所述第一边缘图像和所述第二边缘图像按照预设比例进行混合，得到混合边缘图像。
6.一种图像融合优化装置，其特征在于，包括：
混合边缘图像计算模块，用于根据源图像的第一边缘图像与目标图像的第二边缘图像，计算混合边缘图像；
融合边界区域修正模块，用于根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行修正，得到修正融合边界；
图像融合模块，用于根据所述修正融合边界，将所述源图像和所述目标图像进行图像融合；
所述融合边界区域修正模块，具体用于根据所述混合边缘图像，对在所述源图像的掩膜图像中获取的初始融合边界区域进行细化，得到修正融合边界；
所述融合边界区域修正模块，具体包括：融合边界半区域划分单元和融合边界半区域修正单元，其中，
所述融合边界半区域划分单元，用于将所述初始融合边界区域划分为两个融合边界半区域，其中，所述初始融合边界区域为外凸的；
所述融合边界半区域修正单元，用于根据所述混合边缘图像，将所述两个融合边界半区域分别细化为单像素宽度的修正融合半边界，得到的两个所述修正融合半边界拼接构成所述修正融合边界。
7.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像融合优化方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像融合优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010074181.8A CN111311528B (zh) | 2020-01-22 | 2020-01-22 | 图像融合优化方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010074181.8A CN111311528B (zh) | 2020-01-22 | 2020-01-22 | 图像融合优化方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311528A CN111311528A (zh) | 2020-06-19 |
| CN111311528B true CN111311528B (zh) | 2023-07-28 |
Family
ID=71158127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010074181.8A Active CN111311528B (zh) | 2020-01-22 | 2020-01-22 | 图像融合优化方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311528B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968134B (zh) * | 2020-08-11 | 2023-11-28 | 影石创新科技股份有限公司 | 目标分割方法、装置、计算机可读存储介质及计算机设备 |
| CN112581418B (zh) * | 2020-12-21 | 2024-02-20 | 东方梦幻虚拟现实科技有限公司 | 基于增强现实的虚拟内容识别与展示方法及系统 |
| CN113313645B (zh) * | 2021-05-26 | 2024-05-03 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
| CN114663556A (zh) * | 2022-03-29 | 2022-06-24 | 北京百度网讯科技有限公司 | 数据交互方法、装置、设备、存储介质以及程序产品 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339997B (zh) * | 2015-07-09 | 2019-08-09 | 株式会社理光 | 图像融合方法、设备和系统 |
| CN106846241B (zh) * | 2015-12-03 | 2020-06-02 | 阿里巴巴集团控股有限公司 | 一种图像融合的方法、装置和设备 |
| CN108876718B (zh) * | 2017-11-23 | 2022-03-22 | 北京旷视科技有限公司 | 图像融合的方法、装置及计算机存储介质 |
| CN110458781B (zh) * | 2019-08-14 | 2022-07-19 | 北京百度网讯科技有限公司 | 用于处理图像的方法和装置 |
-
2020
- 2020-01-22 CN CN202010074181.8A patent/CN111311528B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311528A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311528B (zh) | 图像融合优化方法、装置、设备和介质 | |
| US10410397B2 (en) | Picture presentation method and apparatus | |
| Shamir et al. | Seam carving for media retargeting | |
| CN110288614B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112862685B (zh) | 图像拼接的处理方法、装置和电子系统 | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| WO2019052534A1 (zh) | 图像拼接方法及装置、存储介质 | |
| WO2018082388A1 (zh) | 一种肤色检测方法、装置及终端 | |
| US9734551B1 (en) | Providing depth-of-field renderings | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| CN113129207A (zh) | 一种图片的背景虚化方法及装置、计算机设备、存储介质 | |
| CN108280135B (zh) | 实现数据结构可视化的方法、装置和电子设备 | |
| CN114119373A (zh) | 图像裁剪方法、装置及电子设备 | |
| CN108765277B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| CN114972030A (zh) | 一种图像拼接方法、装置、存储介质与电子设备 | |
| CN112580638B (zh) | 文本检测方法、装置、存储介质及电子设备 | |
| CN112419470A (zh) | 目标区域的颜色渲染方法、装置、设备和介质 | |
| CN113256484A (zh) | 一种对图像进行风格化处理的方法及装置 | |
| CN112561822A (zh) | 美颜方法、装置、电子设备及存储介质 | |
| CN115423823A (zh) | 图像处理方法及其装置 | |
| Abhayadev et al. | Image retargeting based on object inpainting and background seam carving | |
| CN116110101A (zh) | 视频处理方法、装置、存储介质、设备及程序产品 | |
| Chen et al. | Automatic image completion with structure propagation and texture synthesis | |
| CN114066907A (zh) | 图片处理方法、蒙版图片输出模型的训练方法和装置 | |
| CN113487480A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |