CN111402181A - 图像融合方法、装置及计算机可读存储介质 - Google Patents
图像融合方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111402181A CN111402181A CN202010177459.4A CN202010177459A CN111402181A CN 111402181 A CN111402181 A CN 111402181A CN 202010177459 A CN202010177459 A CN 202010177459A CN 111402181 A CN111402181 A CN 111402181A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- fusion
- patch
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 165
- 230000011218 segmentation Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 17
- 238000002372 labelling Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008904 neural response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种图像融合方法、装置及计算机可读存储介质，包括：获取输入图像和风格图像；通过预设的补丁分割模型，从输入图像中提取属于预设类别的目标补丁图，补丁分割模型由至少一个预设类别，以及每个预设类别对应的类别图像训练得到，类别图像包含对应预设类别的补丁图区域；将目标补丁图叠加至风格图像中的目标位置区域，得到初始融合图；提取初始融合图的第一掩码图；通过对初始融合图、风格图像和第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。本发明可以产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
Description
技术领域
本发明属于计算机技术领域，特别是涉及一种图像融合方法、装置及计算机可读存储介质。
背景技术
图像融合技术是指将2张或2张以上的图像融合到1张图像上，使得融合后的图像含有更多的信息，能够提高图像的艺术性或更方便计算机处理。
现有技术中，图像融合方法一般是直接对两张图像做整体处理，即从一张待融入图像中截取一部分区域作为待融入补丁图，并将该待融入补丁图嵌入另一张主图像的预设位置，得到融合图像。
但是，目前方案中，由于主图像和待融入图像往往会是风格差异较大的两张图像，而图像风格差异较大会使得两张图像之间的纹理、颜色等属性差异较大，因此直接将待融入图像中的待融入补丁图融入主图像，会使得最终的融合图像中，补丁图与主图像的整体风格差异较大，导致图像融合效果较差。
发明内容
有鉴于此，本发明提供一种图像融合方法、装置及计算机可读存储介质，在一定程度上解决了目前方案中最终的融合图像里，补丁图与主图像的整体风格差异较大，导致图像融合效果较差的问题。
依据本发明的第一方面，提供了一种图像融合方法，该方法可以包括：
获取输入图像和风格图像；
通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图，所述补丁分割模型由至少一个预设类别，以及每个所述预设类别对应的类别图像训练得到，所述类别图像包含对应预设类别的补丁图区域；
将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图；
提取所述初始融合图的第一掩码图；
通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
依据本发明的第二方面，提供了一种图像融合装置，该装置可以包括：
获取模块，用于获取输入图像和风格图像；
分割模块，用于通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图，所述补丁分割模型由至少一个预设类别，以及每个所述预设类别对应的类别图像训练得到，所述类别图像包含对应预设类别的补丁图区域；
叠加模块，用于将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图；
提取模块，用于提取所述初始融合图的第一掩码图；
融合模块，用于通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
第三方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像融合方法的步骤。
针对在先技术，本发明具备如下优点：
本发明提供的一种图像融合方法，包括：获取输入图像和风格图像；通过预设的补丁分割模型，从输入图像中提取属于预设类别的目标补丁图，补丁分割模型由至少一个预设类别，以及每个预设类别对应的类别图像训练得到，类别图像包含对应预设类别的补丁图区域；将目标补丁图叠加至风格图像中的目标位置区域，得到初始融合图；提取初始融合图的第一掩码图；通过对初始融合图、风格图像和第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。本发明可以在输入图像中的目标补丁图与风格图像的融合过程中，通过调整初始融合图中目标补丁图所处区域的图像属性值，使得目标补丁图的图像风格与风格图像的图像风格一致或接近，最终产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种图像融合方法的步骤流程图；
图2是本发明实施例提供的一种输入图像；
图3是本发明实施例提供的一种风格图像；
图4是本发明实施例提供的一种图像编辑界面；
图5是本发明实施例提供的一种风格融合图；
图6是本发明实施例提供的另一种图像融合方法的步骤流程图；
图7是本发明实施例提供的一种第一掩码图；
图8是本发明实施例提供的一种图像融合装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种图像融合方法的步骤流程图，应用于终端，如图1所示，该方法可以包括：
步骤101、获取输入图像和风格图像。
在本发明实施例中，输入图像可以为具有补丁图区域的图像，通过将补丁图区域进行截取并单独保存，可以得到补丁图。风格图像可以为图像融合操作中作为背景主图的图像，通过将补丁图添加至风格图像，并将补丁图的画面风格调整至与风格图像的画面风格接近或一致，即可以得到最终的风格融合图。输入图像和风格图像可以由用户选取产生，也可以为预设图库中随机选取的图像。
具体的，参照图2和图3，图2示出了本发明实施例提供的一种输入图像，图3示出了本发明实施例提供的一种风格图像，输入图像10和风格图像20可以分别具有不同的图像风格，在图中通过正方形和三角形来对图像风格进行区分。图像风格的不同具体可以通过图像的图像属性值的不同体现，如颜色值、纹理值等。其中，输入图像10中可以具有补丁图区域30。补丁图区域30可以为一个具有具体形状边界的区域。需要说明的是，输入图像10可以在整个画面区域具有对应的图像风格，另外，输入图像10也可以仅在补丁图区域30具有对应的图像风格，在补丁图区域30之外的其他区域为空白背景。
步骤102、通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图。
其中，所述补丁分割模型由至少一个预设类别，以及每个所述预设类别对应的类别图像训练得到，所述类别图像包含对应预设类别的补丁图区域。
在本发明实施例中，可以通过预设的补丁分割模型，在无监督的情况下，实现从输入图像中提取属于预设类别的目标补丁图，从而避免了通过人工编辑的方式进行目标补丁图的捕捉截取。
具体的，可以根据实际需求，通过统计一些领域内常见的补丁图的类别，将这些类别作为预设类别，将补丁图在被提取前所属的原图作为类别图像，将类别图像按照预设类别进行分类，得到至少一个预设类别，以及每个预设类别对应的类别图像，并将预设类别以及预设类别对应的类别图像作为训练数据，进行补丁分割模型的训练。使得训练后得到的补丁分割模型，可以从输入图像中提取得到属于预设类别的目标补丁图所在区域，并将该区域截取后单独保存，生成目标补丁图。
例如，可以从预设图库中选取多个类别的类别图像，每一类别各五十幅类别图像，作为训练集。再各类别另取二十副类别图像作为验证集。再各类别另取十副类别图像作为测试集。之后通过标注操作，对每个类别的类别图像进行标注，如将标注每个类别图像中补丁图区域的边界线，并标注补丁图区域对应的类别。需要说明的是，标注操作可以由人工进行实现，也可以通过标注工具进行实现。如，标注类别图像可以采用VIA(VGG ImageAnnotator)标注工具，VIA是一款开源的图像标注工具，由Visual Geometry Group开发。可以在线和离线使用，可标注文本、矩形、圆、椭圆、多边形、点和线。
标注完成后，可以将每个类别的训练集类别图像输入补丁分割模型，并将模型的输出值与标注的真实值进行误差计算，并根据误差值和预设的损失函数，优化调整补丁分割模型的参数，并重复进行如上的多轮迭代训练，直至误差值小于或等于预设误差值时，训练完成。需要说明的时，在迭代训练n次之后，可以进行一次验证操作，即将该类别的验证集类别图像输入补丁分割模型，并将该次模型输出后计算得到的误差值作为重要评价指标，以体现前几轮迭代训练的效果。另外，在多轮迭代训练结束后，可以利用该类别的测试集类别图像，对训练好的补丁分割模型进行测试，以得到补丁分割模型的最终训练效果。
步骤103、将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图。
在本发明实施例中，在通过补丁分割模型得到输入图像中的目标补丁图之后，可以将目标补丁图和风格图像导入图像编辑工具，并将目标补丁图叠加至风格图像中的目标位置区域，得到初始融合图。
例如，参照图4，图4示出了本发明实施例提供的一种图像编辑界面，可以在图像编辑工具中，通过对目标补丁图40进行拖动操作，将目标补丁图40叠加至风格图像20中的目标位置区域，并将目标补丁图40的1图层设置为在目标位置区域的图层之上，得到初始融合图。目标位置区域具体可以根据实际需求进行确定。
步骤104、通过对所述初始融合图、所述风格图像进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
在该步骤中，由于初始融合图中的目标补丁图与作为图像背景的风格图像在图像风格上还存在较大差异，因此需要将目标补丁图的图像风格与风格图像的图像风格调整至一致或接近。且图像风格的不同具体可以通过图像的图像属性值的不同体现，如颜色值、纹理值等，对图像风格调整也可以理解为对图像属性值的调整。
具体的，参照图3和图4，可以先进行初始融合图中目标补丁图40所在区域以及目标补丁图40之外的区域的区分，之后确定风格图像20中与目标补丁图区域对应的主风格区域70，通过迭代算法，逐次调整初始融合图中目标补丁图40所在区域的图像属性值(如颜色值、纹理值等)，直至初始融合图中目标补丁图40所在区域与主风格区域70的图像风格一致或接近，得到如图5所示的风格融合图80，风格融合图80中目标补丁图40所在区域的风格已与目标补丁图40之外的区域一致，最终产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
需要说明的是，通过迭代算法，可以每次仅调整目标补丁图40所在区域很小幅度的图像属性值，并观察调整后的展示效果，在下一次迭代时优化图像属性值的调整范围，提高了图像的风格融合效率和效果。
综上，本发明实施例提供的图像融合方法中，包括：获取输入图像和风格图像；通过预设的补丁分割模型，从输入图像中提取属于预设类别的目标补丁图，补丁分割模型由至少一个预设类别，以及每个预设类别对应的类别图像训练得到，类别图像包含对应预设类别的补丁图区域；将目标补丁图叠加至风格图像中的目标位置区域，得到初始融合图；提取初始融合图的第一掩码图；通过对初始融合图、风格图像和第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。本发明可以在输入图像中的目标补丁图与风格图像的融合过程中，通过调整初始融合图中目标补丁图所处区域的图像属性值，使得目标补丁图的图像风格与风格图像的图像风格一致或接近，最终产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
图6是本发明实施例提供的另一种图像融合方法的步骤流程图，如图6所示，该方法可以包括：
步骤201、获取输入图像和风格图像。
该步骤具体可以参照上述步骤101中的相关描述，此处不再赘述。
步骤202、识别所述输入图像中的特征区域。
在本发明实施例中，补丁分割模型可以包括两个分支网络：特征识别网络和特征分类网络，在该步骤中，补丁分割模型的特征识别网络可以为卷积神经网络，用于提取输入图像中各个子区域的图像特征，并将图像特征与预设的兴趣点特征进行比对，若二者之间相似度较高，则确定该子区域为兴趣子区域，之后将相邻且连续的几个子区域进行合并，得到一个特征区域。特征区域中往往存在一个特征物体，如，通过人脸识别技术识别一张人像图像，得到的特征区域可以包括该人像图像中所有的人脸区域。
步骤203、确定所有所述特征区域的类别。
在本发明实施例中，可以通过分类器，进行特征区域的类别的确定，分类器是基于一些类别的训练数据训练得到的，分类器中可以存储预设的类别与该类别包括的特征值，分类器具体可以以特征区域为输入，提取特征区域的特征值，并计算特征值与具有所属类别的目标特征值之间的相似度，若相似度大于预设相似度阈值，则将特征区域的分类确定为目标特征值对应的类别。如，通过人脸识别技术识别一张人像图像，得到的特征区域可以包括该人像图像中所有的人脸区域，之后通过性别分类器，可以得到每个人脸区域对应的男女性别。
步骤204、从所有所述特征区域中，选取类别为所述预设类别的特征区域作为所述目标补丁图。
在本发明实施例中，可以根据实际需求，通过统计一些领域内常见的补丁图的类别，将这些类别作为预设类别，如图像融合场景中，经常需要融合一些卡通动物补丁图至风格图像，则预设类别可以包括各种卡通动物种类，如卡通羊、卡通猫等。在确定了各个特征区域的类别之后，可以选取类别为预设类别的特征区域作为目标补丁图。
可选的，本发明实施例的补丁分割模型具体可以采用MaskRCNN实例分割(Instance segmentation)算法模型，该模型能够通过增加不同的分支，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务，灵活而强大。
具体的，MaskRCNN实例分割算法模型通过引入语义分割分支，语义分割分支只做语义分割，类型预测的任务交给另一个分支，实例分割可以看作为物体检测和语义分割的结合。用户只需输入带有补丁物体的输入图像，就可以调用训练的MaskRCNN实例分割算法模型分割出需要进行融合的补丁图。其具体的工作流程包括：
第一步，输入一幅输入图像，然后进行对应的预处理操作。
第二步，将第一步的结果输入到一个预训练好的神经网络中，获得对应的特征图。
第三步，对特征图中的每一点设定预定个的感兴趣区域，从而获得多个候选感兴趣区域。
第四步，将这些候选的感兴趣区域送入分类网络进行二值分类(前景或背景)和边框回归，过滤掉一部分候选的感兴趣区域。
第五步，对这些剩下的感兴趣区域进行目标特殊层检测(ROIAlign)操作。
第六步，对这些感兴趣区域进行分类、边框回归和掩码生成，最终从分类结果中选取预设类别的感兴趣区域作为补丁图。
步骤205、将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图。
该步骤具体可以参照上述步骤103中的相关描述，此处不再赘述。
可选的，步骤205具体可以包括：
子步骤2051，通过可视化编辑工具展示所述风格图像和所述目标补丁图。
子步骤2052，接收针对所述目标补丁图的移动操作，并根据所述移动操作，将所述目标补丁图移动至所述风格图像中的目标位置区域。
子步骤2053，将所述目标补丁图的图层设置在所述目标位置区域的图层之上，得到所述初始融合图。
结合子步骤2051至子步骤2053，参照图4，图4示出了本发明实施例提供的一种图像编辑界面，可以在可视化编辑工具中，接收针对目标补丁图40的移动操作，通过对目标补丁图40进行移动操作，将目标补丁图40叠加至风格图像20中的目标位置区域，并将目标补丁图40的1图层设置为在目标位置区域的图层之上，得到初始融合图。目标位置区域具体可以根据实际需求进行确定。
步骤206、提取所述初始融合图的第一掩码图。
由于步骤205得到的初始融合图中，目标补丁图与作为图像背景的风格图像在图像风格上还存在较大差异，因此需要将目标补丁图的图像风格与风格图像的图像风格调整至一致或接近。
因此，后续调整过程，需要对初始融合图中的目标补丁图以及目标补丁图之外的区域进行处理，本发明实施例可以通过提取初始融合图的第一掩码图，并利用提取第一掩码图实现目标补丁图以及目标补丁图之外的区域的区分。
具体的，为了实现目标补丁图以及目标补丁图之外的区域的区分，可以通过提取初始融合图对应的掩码图(Mask)进行实现，掩码图的确定，是通过选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。其中，参照图7，图7示出了本发明实施例提供的一种掩码图，掩码图用于区分初始融合图中的目标补丁图区域60以及目标补丁图之外的区域，在掩码图50中，目标补丁图区域60内的图像值保持不变，而目标补丁图区域60之外图像值都为0。通过图像值的不同，实现对目标补丁图以及目标补丁图之外的区域的区分。
在具体实现中，可以通过开源计算机视觉库(opencv，Open Source ComputerVision Library)中相关的提取掩码图的代码实现第一掩码图的提取，通过在opencv中输入一张初始融合图，即可输出得到初始融合图对应的第一掩码图。
步骤207、通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
具体的，参照图3和图4和图7，可以先根据第一掩码图50，利用第一掩码图50中图像值的不同，进行初始融合图中目标补丁图40所在区域以及目标补丁图40之外的区域的区分，之后确定风格图像20中与目标补丁图区域对应的主风格区域70，通过迭代算法，逐次调整初始融合图中目标补丁图40所在区域的图像属性值(如颜色值、纹理值等)，直至初始融合图中目标补丁图40所在区域与主风格区域70的图像风格一致或接近，得到如图6所示的风格融合图80，风格融合图80中目标补丁图40所在区域的风格已与目标补丁图40之外的区域一致，最终产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
可选的，步骤207具体可以包括：
子步骤2071，根据所述第一掩码图，确定所述初始融合图中所述目标补丁图对应的目标补丁图区域。
在本发明实施例中，掩码图用于区分初始融合图中的目标补丁图区域60以及目标补丁图之外的区域，在第一掩码图50中，目标补丁图区域60内的图像值保持不变，而目标补丁图区域60之外图像值都为0。可以先根据第一掩码图50，利用第一掩码图50中图像值的不同，进行初始融合图中目标补丁图40所在区域以及目标补丁图40之外的区域的区分。
子步骤2072，计算所述目标补丁图区域的图像属性值，与所述风格图像中风格区域的图像属性值之间的相似度值，所述风格区域为所述风格图像中与所述目标补丁图区域的位置对应的区域。
在本发明实施例中，可以将图像属性值具体化，如具体化为纹理特征、颜色特征等，再通过计算特征之间的相似度大小，从而获得目标补丁图区域的图像属性值，与风格图像中风格区域的图像属性值之间的相似度值。
子步骤2073，通过预设迭代算法，调整所述目标补丁图区域的图像属性值，以使得在所述相似度值大于或等于预设相似度值时，得到所述风格融合图。
通过迭代算法，可以每次仅调整目标补丁图所在区域很小幅度的图像属性值，并观察调整后的展示效果，在下一次迭代时优化图像属性值的调整范围，通过多轮迭代计算，提高了图像的风格融合效率和效果。
可选的，图像属性值包括：颜色值和纹理属性值；所述预设迭代算法包括两阶深度绘画融合算法。
在本发明实施例中，对于图像的图像风格来说，图像的颜色值和纹理属性值对图像风格的影响最大，因此可以通过对目标补丁图区域的颜色值和纹理属性值的调整，来实现补丁图与风格图像之间的风格统一。
具体的，预设迭代算法包括两阶深度绘画融合(two-pass Deep PainterlyHarmonization)算法，该算法是一种基于风格迁移的图像融合方法，可以将一幅图像毫无违和感地嵌入另一幅图像当中。该算法经过两个步骤，将直接嵌入的目标补丁图融合到风格图像当中，对嵌入的目标补丁图进行了风格转换。算法采用了迭代思想，将图像输入到神经网络中，然后引入了一种两阶(two-pass)算法：在第一阶段达到单一尺度的大致协调，并将第一阶段的输出作为第二阶段的输入，来实现精细的多尺度改善。
在第一阶段中，生成了一个目标补丁图接近期望风格的中间结果，该阶段的意图并不是输出最高质量的输出，而是放松了对质量的要求，具体可以通过设计一个鲁棒算法，来处理大量不同的风格。这一阶段通过执行粘贴区域颜色、纹理属性与画作语义类似区域的对应属性的粗略匹配，达到了目标补丁图与风格图像的大致协调，找到独立于每一网络层的最近邻神经来匹配粘贴区域和背景的神经反应。这提供了中间结果，对于第二阶段来说是一个更好的起点。
第二阶段中，从第一阶段输出的中间结果开始，聚焦于改善视觉质量。直观来看，由于中间结果和风格图像在视觉上是非常接近的，因此可以对输出质量的要求更加严格。通过捕捉图像局部纹理属性的单个中间层，生成一个对应映射，可用于移除空间异常值。然后对该空间一致映射执行上采样，以获取网络的更精细层级，从而确保在每个输出位置上，任意尺度的神经反应都来自画作的同一位置，这使得纹理更连贯流畅，结果看起来更好。
可选的，在步骤204之后，所述方法还可以包括：
步骤A1，提取所述输入图像中所述目标补丁图所对应区域的第二掩码图。
可选的，步骤205具体可以包括：
子步骤2054、根据所述第二掩码图，将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到所述初始融合图，所述初始融合图中，所述第二掩码图的掩码区域与所述目标位置区域重叠。
在本发明实施例中，若假设目标补丁图为圆形，直接将提取得到的目标补丁图进行保存，则得到的图像文件在打开后是以矩形结构呈现的，图像文件中存在圆形的目标补丁图的区域，以及目标补丁图的区域之外的空白背景，若直接将该图像文件叠加至风格图像，则空白背景也会被一同叠加至风格图像，通过第二掩码图，可以实现对目标补丁图的区域以及空白背景的区域的区分，使得在将目标补丁图的图像文件叠加至风格图像时，能够将空白背景进行剔除。
综上所述，本发明实施例提供的图像融合方法，包括：获取输入图像和风格图像；通过预设的补丁分割模型，从输入图像中提取属于预设类别的目标补丁图，补丁分割模型由至少一个预设类别，以及每个预设类别对应的类别图像训练得到，类别图像包含对应预设类别的补丁图区域；将目标补丁图叠加至风格图像中的目标位置区域，得到初始融合图；提取初始融合图的第一掩码图；通过对初始融合图、风格图像和第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。本发明可以在输入图像中的目标补丁图与风格图像的融合过程中，通过调整初始融合图中目标补丁图所处区域的图像属性值，使得目标补丁图的图像风格与风格图像的图像风格一致或接近，最终产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
图8是本发明实施例提供的一种图像融合装置的框图，如图8所示，该装置30可以包括：
获取模块301，用于获取输入图像和风格图像；
分割模块302，用于通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图，所述补丁分割模型由至少一个预设类别，以及每个所述预设类别对应的类别图像训练得到，所述类别图像包含对应预设类别的补丁图区域；
可选的，所述分割模块302，包括：
识别子模块，用于识别所述输入图像中的特征区域；
确定子模块，用于确定所有所述特征区域的类别；
选取子模块，用于从所有所述特征区域中，选取类别为所述预设类别的特征区域作为所述目标补丁图。
叠加模块303，用于将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图；
可选的，所述叠加模块303，包括：
展示子模块，用于通过可视化编辑工具展示所述风格图像和所述目标补丁图；
接收子模块，用于接收针对所述目标补丁图的移动操作，并根据所述移动操作，将所述目标补丁图移动至所述风格图像中的目标位置区域；
设置子模块，用于将所述目标补丁图的图层设置在所述目标位置区域的图层之上，得到所述初始融合图。
融合模块304，用于通过对所述初始融合图、所述风格图像进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
可选的，所述融合模块304，包括：
提取子模块，用于提取所述初始融合图的第一掩码图；
迭代子模块，用于通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
可选的，所述迭代子模块，包括：
确定单元，用于根据所述第一掩码图，确定所述初始融合图中所述目标补丁图对应的目标补丁图区域；
相似度计算单元，用于计算所述目标补丁图区域的图像属性值，与所述风格图像中风格区域的图像属性值之间的相似度值，所述风格区域为所述风格图像中与所述目标补丁图区域的位置对应的区域；
调整单元，用于通过预设迭代算法，调整所述目标补丁图区域的图像属性值，以使得在所述相似度值大于或等于预设相似度值时，得到所述风格融合图。
可选的，所述图像属性值包括：颜色值和纹理属性值；所述预设迭代算法包括两阶深度绘画融合算法。
可选的，所述装置还包括：
掩码模块，用于提取所述输入图像中所述目标补丁图所对应区域的第二掩码图；
所述叠加模块303，包括：
叠加子模块，用于根据所述第二掩码图，将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到所述初始融合图，所述初始融合图中，所述第二掩码图的掩码区域与所述目标位置区域重叠。
综上所述，本发明实施例提供的图像融合装置，包括：获取输入图像和风格图像；通过预设的补丁分割模型，从输入图像中提取属于预设类别的目标补丁图，补丁分割模型由至少一个预设类别，以及每个预设类别对应的类别图像训练得到，类别图像包含对应预设类别的补丁图区域；将目标补丁图叠加至风格图像中的目标位置区域，得到初始融合图；提取初始融合图的第一掩码图；通过对初始融合图、风格图像和第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。本发明可以在输入图像中的目标补丁图与风格图像的融合过程中，通过调整初始融合图中目标补丁图所处区域的图像属性值，使得目标补丁图的图像风格与风格图像的图像风格一致或接近，最终产生风格一致的风格融合图，让补丁图看上去仿佛原本就在风格融合图中，可以达到较高的融合效果。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
优选的，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像融合方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的图像融合方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像融合方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种图像融合方法，其特征在于，所述方法包括：
获取输入图像和风格图像；
通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图，所述补丁分割模型由至少一个预设类别，以及每个所述预设类别对应的类别图像训练得到，所述类别图像包含对应预设类别的补丁图区域；
将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图；
通过对所述初始融合图、所述风格图像进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
2.根据权利要求1所述的方法，其特征在于，所述通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图，包括：
识别所述输入图像中的特征区域；
确定所有所述特征区域的类别；
从所有所述特征区域中，选取类别为所述预设类别的特征区域作为所述目标补丁图。
3.根据权利要求1所述的方法，其特征在于，所述通过对所述初始融合图、所述风格图像进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图，包括：
提取所述初始融合图的第一掩码图；
通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
4.根据权利要求1所述的方法，其特征在于，所述通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图，包括：
根据所述第一掩码图，确定所述初始融合图中所述目标补丁图对应的目标补丁图区域；
计算所述目标补丁图区域的图像属性值，与所述风格图像中风格区域的图像属性值之间的相似度值，所述风格区域为所述风格图像中与所述目标补丁图区域的位置对应的区域；
通过预设迭代算法，调整所述目标补丁图区域的图像属性值，以使得在所述相似度值大于或等于预设相似度值时，得到所述风格融合图。
5.根据权利要求1所述的方法，其特征在于，在所述通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图之后，所述方法还包括：
提取所述输入图像中所述目标补丁图所对应区域的第二掩码图；
所述将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图，包括：
根据所述第二掩码图，将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到所述初始融合图，所述初始融合图中，所述第二掩码图的掩码区域与所述目标位置区域重叠。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图，包括：
通过可视化编辑工具展示所述风格图像和所述目标补丁图；
接收针对所述目标补丁图的移动操作，并根据所述移动操作，将所述目标补丁图移动至所述风格图像中的目标位置区域；
将所述目标补丁图的图层设置在所述目标位置区域的图层之上，得到所述初始融合图。
7.一种图像融合装置，其特征在于，所述装置包括：
获取模块，用于获取输入图像和风格图像；
分割模块，用于通过预设的补丁分割模型，从所述输入图像中提取属于预设类别的目标补丁图，所述补丁分割模型由至少一个预设类别，以及每个所述预设类别对应的类别图像训练得到，所述类别图像包含对应预设类别的补丁图区域；
叠加模块，用于将所述目标补丁图叠加至所述风格图像中的目标位置区域，得到初始融合图；
融合模块，用于通过对所述初始融合图、所述风格图像进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
8.根据权利要求7所述的装置，其特征在于，所述分割模块，包括：
识别子模块，用于识别所述输入图像中的特征区域；
确定子模块，用于确定所有所述特征区域的类别；
选取子模块，用于从所有所述特征区域中，选取类别为所述预设类别的特征区域作为所述目标补丁图。
9.根据权利要求7所述的装置，其特征在于，所述融合模块，包括：
提取子模块，用于提取所述初始融合图的第一掩码图；
迭代子模块，用于通过对所述初始融合图、所述风格图像和所述第一掩码图进行迭代计算，调整所述初始融合图中目标补丁图所处区域的图像属性值，得到风格融合图。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010177459.4A CN111402181A (zh) | 2020-03-13 | 2020-03-13 | 图像融合方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010177459.4A CN111402181A (zh) | 2020-03-13 | 2020-03-13 | 图像融合方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111402181A true CN111402181A (zh) | 2020-07-10 |
Family
ID=71436269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010177459.4A Pending CN111402181A (zh) | 2020-03-13 | 2020-03-13 | 图像融合方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402181A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| WO2022022260A1 (zh) * | 2020-07-30 | 2022-02-03 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法及其装置 |
| CN117253156A (zh) * | 2023-11-17 | 2023-12-19 | 深圳元戎启行科技有限公司 | 基于图像分割的特征描述提取方法、装置、终端及介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
| CN104732506A (zh) * | 2015-03-27 | 2015-06-24 | 浙江大学 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
| CN107240085A (zh) * | 2017-05-08 | 2017-10-10 | 广州智慧城市发展研究院 | 一种基于卷积神经网络模型的图像融合方法及系统 |
| US20180096454A1 (en) * | 2016-10-05 | 2018-04-05 | Adobe Systems Incorporated | Content aware sampling during patch synthesis |
| CN108961349A (zh) * | 2018-06-29 | 2018-12-07 | 广东工业大学 | 一种风格化图像的生成方法、装置、设备及存储介质 |
| CN108986058A (zh) * | 2018-06-22 | 2018-12-11 | 华东师范大学 | 明度一致性学习的图像融合方法 |
| CN109285112A (zh) * | 2018-09-25 | 2019-01-29 | 京东方科技集团股份有限公司 | 基于神经网络的图像处理方法、图像处理装置 |
| CN109325903A (zh) * | 2017-07-31 | 2019-02-12 | 北京大学 | 图像风格化重建的方法及装置 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110602396A (zh) * | 2019-09-11 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 智能合影方法、装置、电子设备及存储介质 |
| CN110660037A (zh) * | 2018-06-29 | 2020-01-07 | 京东方科技集团股份有限公司 | 图像间脸部交换的方法、装置、系统和计算机程序产品 |
| US20200034667A1 (en) * | 2018-07-27 | 2020-01-30 | Boe Technology Group Co., Ltd. | Image processing method, image processing apparatus, and computer storage medium |
-
2020
- 2020-03-13 CN CN202010177459.4A patent/CN111402181A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
| CN104732506A (zh) * | 2015-03-27 | 2015-06-24 | 浙江大学 | 一种基于人脸语义分析的人物照片颜色风格转换方法 |
| US20180096454A1 (en) * | 2016-10-05 | 2018-04-05 | Adobe Systems Incorporated | Content aware sampling during patch synthesis |
| CN107240085A (zh) * | 2017-05-08 | 2017-10-10 | 广州智慧城市发展研究院 | 一种基于卷积神经网络模型的图像融合方法及系统 |
| CN109325903A (zh) * | 2017-07-31 | 2019-02-12 | 北京大学 | 图像风格化重建的方法及装置 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108986058A (zh) * | 2018-06-22 | 2018-12-11 | 华东师范大学 | 明度一致性学习的图像融合方法 |
| CN108961349A (zh) * | 2018-06-29 | 2018-12-07 | 广东工业大学 | 一种风格化图像的生成方法、装置、设备及存储介质 |
| CN110660037A (zh) * | 2018-06-29 | 2020-01-07 | 京东方科技集团股份有限公司 | 图像间脸部交换的方法、装置、系统和计算机程序产品 |
| US20200034667A1 (en) * | 2018-07-27 | 2020-01-30 | Boe Technology Group Co., Ltd. | Image processing method, image processing apparatus, and computer storage medium |
| CN109285112A (zh) * | 2018-09-25 | 2019-01-29 | 京东方科技集团股份有限公司 | 基于神经网络的图像处理方法、图像处理装置 |
| CN110602396A (zh) * | 2019-09-11 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 智能合影方法、装置、电子设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022022260A1 (zh) * | 2020-07-30 | 2022-02-03 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法及其装置 |
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN117253156A (zh) * | 2023-11-17 | 2023-12-19 | 深圳元戎启行科技有限公司 | 基于图像分割的特征描述提取方法、装置、终端及介质 |
| CN117253156B (zh) * | 2023-11-17 | 2024-03-29 | 深圳元戎启行科技有限公司 | 基于图像分割的特征描述提取方法、装置、终端及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Din et al. | A novel GAN-based network for unmasking of masked face | |
| JP6188400B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
| CN111402181A (zh) | 图像融合方法、装置及计算机可读存储介质 | |
| CN110675407B (zh) | 一种图像实例分割方法、装置、电子设备及存储介质 | |
| KR20200027885A (ko) | 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| US11068746B2 (en) | Image realism predictor | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN111127307A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113591719B (zh) | 一种自然场景任意形状文本检测方法、装置和训练方法 | |
| JP4567660B2 (ja) | 電子画像内で物体のセグメントを求める方法 | |
| Kim et al. | Robust facial landmark extraction scheme using multiple convolutional neural networks | |
| Sagues-Tanco et al. | Fast synthetic dataset for kitchen object segmentation in deep learning | |
| Yun et al. | Cut-and-paste dataset generation for balancing domain gaps in object instance detection | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| CN111178200A (zh) | 一种仪表盘指示灯的识别方法及计算设备 | |
| CN113343987B (zh) | 文本检测处理方法、装置、电子设备及存储介质 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 | |
| CN116030517A (zh) | 模型训练方法、人脸识别方法、装置以及计算机存储介质 | |
| CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
| Ahmadi et al. | Context-aware saliency map generation using semantic segmentation | |
| Kikuchi et al. | Transferring pose and augmenting background for deep human-image parsing and its applications | |
| CN113989814A (zh) | 图像生成方法、装置、计算机设备及存储介质 | |
| CN112907488A (zh) | 一种图像还原方法、装置、设备和存储介质 | |
| US20230169708A1 (en) | Image and video matting | |
| JP2022114443A (ja) | 情報処理装置、情報処理方法及び顔画像分類装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |