CN115512006B - 基于多图像元素的图像智能合成方法及装置 - Google Patents

基于多图像元素的图像智能合成方法及装置 Download PDF

Info

Publication number
CN115512006B
CN115512006B CN202211469867.2A CN202211469867A CN115512006B CN 115512006 B CN115512006 B CN 115512006B CN 202211469867 A CN202211469867 A CN 202211469867A CN 115512006 B CN115512006 B CN 115512006B
Authority
CN
China
Prior art keywords
image
image element
parameter
feature
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211469867.2A
Other languages
English (en)
Other versions
CN115512006A (zh
Inventor
陈畅新
黄于晏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youmi Technology Co ltd
Original Assignee
Youmi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youmi Technology Co ltd filed Critical Youmi Technology Co ltd
Priority to CN202211469867.2A priority Critical patent/CN115512006B/zh
Publication of CN115512006A publication Critical patent/CN115512006A/zh
Application granted granted Critical
Publication of CN115512006B publication Critical patent/CN115512006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多图像元素的图像智能合成方法及装置，该方法包括：对获取到的第一及第二图像元素集合进行特征向量拼接，并根据所有拼接后图像元素的特征向量，训练待训练图像合成模型，得到训练后图像合成模型，并判断训练后图像合成模型是否收敛；若是，则将训练后图像合成模型确定为目标图像合成模型。可见，实施本发明能够训练出应用于图像合成的模型，并通过该模型合成出与图像元素素材相匹配的合成图像，无需人工对图像元素进行抠图及合成，可以有效解决图像元素间尺寸不匹配或存在色差等问题，进而可以提高图像元素间的合成匹配度，从而可以提高图像合成的可靠性及准确性，使得合成图像能够与真实商品的试用效果相符合。

Description

基于多图像元素的图像智能合成方法及装置
技术领域
本发明涉及图像合成技术领域，尤其涉及一种基于多图像元素的图像智能合成方法及装置。
背景技术
随着互联网技术的快速发展，网上购物变得越来越火热。在网上购物的过程中，许多用户会通过浏览商家所提供的相关商品图像（如模特的穿戴服饰效果图）来对商品的试用效果进行参考，从而购买合适自身使用效果的商品。
当前，相关的商品试用效果图像除了来自真实的商品试用对象的参照效果图以外，还可以通过对商品试用对象的图像元素以及被试用商品的图像元素进行人工合成，如采用修图应用程序对上述图像元素进行抠图及合成，然而，这种传统的图像合成方式，往往会因为图像元素之间尺寸不匹配或者存在色差等问题，导致图像元素之间合成匹配度低，从而使得合成出来的图像难以符合真实的试用效果，购买者也难以依据合成的图像购买到合适的商品。可见，提供一种能够提高图像元素合成匹配度的图像合成方法尤为重要。
发明内容
本发明所要解决的技术问题在于，提供一种基于多图像元素的图像智能合成的方法及装置，可以有效解决图像元素间尺寸不匹配或存在色差等问题，进而可以提高图像元素间的合成匹配度，从而可以提高图像合成的可靠性及准确性，使得合成图像能够与真实商品的试用效果相符合。
为了解决上述技术问题，本发明第一方面公开了一种基于多图像元素的图像智能合成方法，所述方法包括：
获取用于训练的训练图像元素集合；所述训练图像元素集合包括第一图像元素集合以及第二图像元素集合，所述第一图像元素集合以及所述第二图像元素集合均为对对应的训练图像集合进行图像元素提取操作得到的；
对所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量；每个所述拼接后图像元素的特征向量表示对对应的第一图像元素与对应的第二图像元素进行特征向量拼接后所得到的特征向量；
根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，并判断所述训练后图像合成模型是否收敛；
当判断出所述训练后图像合成模型收敛时，将所述训练后图像合成模型确定为目标图像合成模型；所述目标图像合成模型用于对待合成的图像元素素材进行合成，以得到与所述图像元素素材相匹配的合成图像。
作为一种可选的实施方式，在本发明第一方面中，在所述对所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量之前，所述方法还包括：
根据预设图像处理参数，分别对所述第一图像元素集合以及所述第二图像元素集合进行图像处理，得到处理后第一图像元素集合以及处理后第二图像元素集合；所述图像处理参数包括图像处理尺寸和/或图像处理分辨率；
其中，所述对所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量，包括：
根据预设第一卷积处理参数，分别对所述处理后第一图像元素集合以及所述处理后第二图像元素集合进行维度变换，得到所有处理后第一图像元素的特征向量以及所有处理后第二图像元素的特征向量；所述第一卷积处理参数包括卷积尺寸参数、卷积步长参数以及第一卷积通道数目参数中的至少一种；
对于每一所述处理后第一图像元素，通过预设维度的间隔特征向量，对所述处理后第一图像元素的特征向量以及对应的处理后第二图像元素的特征向量进行拼接，得到待定拼接后图像元素的特征向量；
根据预设标记参数，将标记特征向量添加至所得到的每个所述待定拼接后图像元素的特征向量中，得到所有拼接后图像元素的特征向量；所述标记参数包括所述标记特征向量的维度和/或添加位置。
作为一种可选的实施方式，在本发明第一方面中，所述待训练图像合成模型包括定位器、图像生成器以及图像判别器；
其中，所述根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，包括：
对于每一所述拼接后图像元素，通过所述定位器，从所述拼接后图像元素的特征向量中的被标记特征向量内容确定出目标坐标位置参数；所述目标坐标位置参数表示与对应的处理后第一图像元素在所述拼接后图像元素中的拼接位置相匹配的检测框参数，所述检测框参数包括检测框中心坐标位置和/或检测框尺寸参数；
对于每一所述拼接后图像元素，通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征；
对于每一所述融合后图像元素特征，通过所述图像判别器，对所述融合后图像元素特征执行图像特征判别操作，得到所述融合后图像元素特征的判别概率。
作为一种可选的实施方式，在本发明第一方面中，所述通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征，包括：
通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素进行裁剪，得到与所述目标坐标位置参数相匹配的裁剪区域元素；
根据预设目标处理参数，分别对所述裁剪区域元素以及目标图像元素进行图像处理，得到处理后裁剪区域元素以及处理后目标图像元素；所述目标处理参数为放大处理参数或者缩小处理参数；
根据预设特征提取参数，分别对所述处理后裁剪区域元素以及所述处理后目标图像元素进行特征提取，得到所述处理后裁剪区域元素对应的第一图像元素特征以及所述处理后目标图像元素对应的第二图像元素特征；
对所述第一图像元素特征以及所述第二图像元素特征进行融合，得到待定融合后图像元素特征，并根据预设第二卷积处理参数，对所述待定融合后图像元素特征进行采样处理，得到采样后图像元素特征，作为所述拼接后图像元素以及所述目标图像元素对应的融合后图像元素特征；所述第二卷积处理参数包括第二卷积通道数目参数和/或第一卷积层参数。
作为一种可选的实施方式，在本发明第一方面中，所述通过所述图像判别器，对所述融合后图像元素特征执行图像特征判别操作，得到所述融合后图像元素特征的判别概率，包括：
通过所述图像判别器以及预设第三卷积处理参数，对所述融合后图像元素特征执行多次图像特征处理操作，得到所述融合后图像元素特征对应的多个待判定图像元素特征，并确定每个所述待判定图像元素特征的特征值；所述第三卷积处理参数包括第三卷积通道数目参数和/或第二卷积层参数；
确定每个所述待判定图像元素特征的特征值所对应的权重参数，并根据每个所述待判定图像元素特征的特征值以及对应的权重参数，对所有所述待判定图像元素特征的特征值进行加权求和，得到针对所有所述待判定图像元素特征的目标特征值，作为所述融合后图像元素特征的判别概率。
作为一种可选的实施方式，在本发明第一方面中，所述判断所述训练后图像合成模型是否收敛，包括：
通过所述图像判别器，获取所述裁剪区域元素的判别概率；
根据所述裁剪区域元素的判别概率、预设的所述裁剪区域元素对应的第一标签、所述融合后图像元素特征的判别概率以及预设的所述融合后图像元素特征的第二标签，计算所述训练后图像合成模型的目标损失参数；
根据所述目标损失参数以及所述融合后图像元素特征的判别概率，判断所述目标损失参数以及所述融合后图像元素特征的判别概率是否均处于预设参数阈值范围内，若是，则确定所述训练后图像合成模型收敛。
作为一种可选的实施方式，在本发明第一方面中，所述定位器是通过以下方式被预训练出的：
将所有所述拼接后图像元素的特征向量输入至待训练定位器中，以使所述待训练定位器执行如以下操作：根据每个所述拼接后图像元素的特征向量，确定每个所述拼接后图像元素的特征向量所对应的拼接特征信息；根据每个所述拼接后图像元素的特征向量所对应的拼接特征信息，从每个所述拼接后图像元素的特征向量中的被标记特征向量内容预测出预测坐标位置参数以及预测元素类别参数；
对于每一所述拼接后图像元素，根据所述拼接后图像元素对应的预测坐标位置参数以及预先确定出的所述拼接后图像元素对应的标注坐标位置参数，计算所述预测坐标位置参数与所述标注坐标位置参数之间的第一损失参数，并根据所述拼接后图像元素对应的预测元素类别参数以及预先确定出的所述拼接后图像元素对应的标注元素类别参数，计算所述预测元素类别参数与所述标注元素类别参数之间的第二损失参数；
根据所得到的所有所述拼接后图像元素对应的第一损失参数以及对应的第二损失参数，计算训练后定位器的第三损失参数，并根据所述第三损失参数，判断所述训练后定位器是否收敛，若是，则将所述训练后定位器确定为定位器。
本发明第二方面公开了一种基于多图像元素的图像智能合成装置，所述装置包括：
获取模块，用于获取用于训练的训练图像元素集合；所述训练图像元素集合包括第一图像元素集合以及第二图像元素集合，所述第一图像元素集合以及所述第二图像元素集合均为对对应的训练图像集合进行图像元素提取操作得到的；
拼接模块，用于对所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量；每个所述拼接后图像元素的特征向量表示对对应的第一图像元素与对应的第二图像元素进行特征向量拼接后所得到的特征向量；
训练模块，用于根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型；
判断模块，用于判断所述训练后图像合成模型是否收敛；
确定模块，用于当所述判断模块判断出所述训练后图像合成模型收敛时，将所述训练后图像合成模型确定为目标图像合成模型；所述目标图像合成模型用于对待合成的图像元素素材进行合成，以得到与所述图像元素素材相匹配的合成图像。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
处理模块，用于在所述拼接模块对所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量之前，根据预设图像处理参数，分别对所述第一图像元素集合以及所述第二图像元素集合进行图像处理，得到处理后第一图像元素集合以及处理后第二图像元素集合；所述图像处理参数包括图像处理尺寸和/或图像处理分辨率；
其中，所述拼接模块对所述第一图像元素集合以及所述第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量的方式具体为：
根据预设第一卷积处理参数，分别对所述处理后第一图像元素集合以及所述处理后第二图像元素集合进行维度变换，得到所有处理后第一图像元素的特征向量以及所有处理后第二图像元素的特征向量；所述第一卷积处理参数包括卷积尺寸参数、卷积步长参数以及第一卷积通道数目参数中的至少一种；
对于每一所述处理后第一图像元素，通过预设维度的间隔特征向量，对所述处理后第一图像元素的特征向量以及对应的处理后第二图像元素的特征向量进行拼接，得到待定拼接后图像元素的特征向量；
根据预设标记参数，将标记特征向量添加至所得到的每个所述待定拼接后图像元素的特征向量中，得到所有拼接后图像元素的特征向量；所述标记参数包括所述标记特征向量的维度和/或添加位置。
作为一种可选的实施方式，在本发明第二方面中，所述待训练图像合成模型包括定位器、图像生成器以及图像判别器；
其中，所述训练模块根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型的方式具体为：
对于每一所述拼接后图像元素，通过所述定位器，从所述拼接后图像元素的特征向量中的被标记特征向量内容确定出目标坐标位置参数；所述目标坐标位置参数表示与对应的处理后第一图像元素在所述拼接后图像元素中的拼接位置相匹配的检测框参数，所述检测框参数包括检测框中心坐标位置和/或检测框尺寸参数；
对于每一所述拼接后图像元素，通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征；
对于每一所述融合后图像元素特征，通过所述图像判别器，对所述融合后图像元素特征执行图像特征判别操作，得到所述融合后图像元素特征的判别概率。
作为一种可选的实施方式，在本发明第二方面中，所述训练模块通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征的方式具体为：
通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素进行裁剪，得到与所述目标坐标位置参数相匹配的裁剪区域元素；
根据预设目标处理参数，分别对所述裁剪区域元素以及目标图像元素进行图像处理，得到处理后裁剪区域元素以及处理后目标图像元素；所述目标处理参数为放大处理参数或者缩小处理参数；
根据预设特征提取参数，分别对所述处理后裁剪区域元素以及所述处理后目标图像元素进行特征提取，得到所述处理后裁剪区域元素对应的第一图像元素特征以及所述处理后目标图像元素对应的第二图像元素特征；
对所述第一图像元素特征以及所述第二图像元素特征进行融合，得到待定融合后图像元素特征，并根据预设第二卷积处理参数，对所述待定融合后图像元素特征进行采样处理，得到采样后图像元素特征，作为所述拼接后图像元素以及所述目标图像元素对应的融合后图像元素特征；所述第二卷积处理参数包括第二卷积通道数目参数和/或第一卷积层参数。
作为一种可选的实施方式，在本发明第二方面中，所述训练模块通过所述图像判别器，对所述融合后图像元素特征执行图像特征判别操作，得到所述融合后图像元素特征的判别概率的方式具体为：
通过所述图像判别器以及预设第三卷积处理参数，对所述融合后图像元素特征执行多次图像特征处理操作，得到所述融合后图像元素特征对应的多个待判定图像元素特征，并确定每个所述待判定图像元素特征的特征值；所述第三卷积处理参数包括第三卷积通道数目参数和/或第二卷积层参数；
确定每个所述待判定图像元素特征的特征值所对应的权重参数，并根据每个所述待判定图像元素特征的特征值以及对应的权重参数，对所有所述待判定图像元素特征的特征值进行加权求和，得到针对所有所述待判定图像元素特征的目标特征值，作为所述融合后图像元素特征的判别概率。
作为一种可选的实施方式，在本发明第二方面中，所述判断模块判断所述训练后图像合成模型是否收敛的方式具体为：
通过所述图像判别器，获取所述裁剪区域元素的判别概率；
根据所述裁剪区域元素的判别概率、预设的所述裁剪区域元素对应的第一标签、所述融合后图像元素特征的判别概率以及预设的所述融合后图像元素特征的第二标签，计算所述训练后图像合成模型的目标损失参数；
根据所述目标损失参数以及所述融合后图像元素特征的判别概率，判断所述目标损失参数以及所述融合后图像元素特征的判别概率是否均处于预设参数阈值范围内，若是，则确定所述训练后图像合成模型收敛。
作为一种可选的实施方式，在本发明第二方面中，所述定位器是通过以下方式被预训练出的：
将所有所述拼接后图像元素的特征向量输入至待训练定位器中，以使所述待训练定位器执行如以下操作：根据每个所述拼接后图像元素的特征向量，确定每个所述拼接后图像元素的特征向量所对应的拼接特征信息；根据每个所述拼接后图像元素的特征向量所对应的拼接特征信息，从每个所述拼接后图像元素的特征向量中的被标记特征向量内容预测出预测坐标位置参数以及预测元素类别参数；
对于每一所述拼接后图像元素，根据所述拼接后图像元素对应的预测坐标位置参数以及预先确定出的所述拼接后图像元素对应的标注坐标位置参数，计算所述预测坐标位置参数与所述标注坐标位置参数之间的第一损失参数，并根据所述拼接后图像元素对应的预测元素类别参数以及预先确定出的所述拼接后图像元素对应的标注元素类别参数，计算所述预测元素类别参数与所述标注元素类别参数之间的第二损失参数；
根据所得到的所有所述拼接后图像元素对应的第一损失参数以及对应的第二损失参数，计算训练后定位器的第三损失参数，并根据所述第三损失参数，判断所述训练后定位器是否收敛，若是，则将所述训练后定位器确定为定位器。
本发明第三方面公开了另一种基于多图像元素的图像智能合成装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于多图像元素的图像智能合成方法。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于多图像元素的图像智能合成方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，获取用于训练的训练图像元素集合；对第一图像元素集合以及第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量；根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，并判断训练后图像合成模型是否收敛；若是，则将训练后图像合成模型确定为目标图像合成模型。可见，实施本发明能够训练出应用于图像合成的目标图像合成模型，并通过该目标图像合成模型合成出与图像元素素材相匹配的合成图像，无需人工对图像元素进行抠图及合成，可以有效解决图像元素间尺寸不匹配或存在色差等问题，进而可以提高图像元素间的合成匹配度，从而可以提高图像合成的可靠性及准确性，使得合成图像能够与真实商品的试用效果相符合，以使得购买者能够依据合成图像购买到合适自身的商品。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种目标图像合成模型的图像合成场景示意图；
图2是本发明实施例公开的一种基于多图像元素的图像智能合成方法的流程示意图；
图3是本发明实施例公开的另一种基于多图像元素的图像智能合成方法的流程示意图；
图4是本发明实施例公开的一种基于多图像元素的图像智能合成装置的结构示意图；
图5是本发明实施例公开的另一种基于多图像元素的图像智能合成装置的结构示意图；
图6是本发明实施例公开的又一种基于多图像元素的图像智能合成装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于多图像元素的图像智能合成方法及装置，可以有效解决图像元素间尺寸不匹配或存在色差等问题，进而可以提高图像元素间的合成匹配度，从而可以提高图像合成的可靠性及准确性，使得合成图像能够与真实商品的试用效果相符合。以下分别进行详细说明。
实施例一
请参阅图2，图2是本发明实施例公开的一种基于多图像元素的图像智能合成方法的流程示意图。其中，通过图2所描述的基于多图像元素的图像智能合成方法所训练出来的目标图像合成模型可以应用于对不同类型间的图像元素进行合成，如对人物类型图像元素与物品类型图像元素进行合成，或者对人物类型图像元素与风景类型图像元素进行合成等等，本发明实施例不做限定。可选的，该方法可以由图像合成模型训练系统实现，该图像合成模型训练系统可以集成在图像合成模型训练装置中，也可以是用于对图像合成模型训练流程进行处理的本地服务器或云端服务器等，本发明实施例不做限定。如图2所示，该基于多图像元素的图像智能合成方法可以包括以下操作：
101、获取用于训练的训练图像元素集合。
在本发明实施例中，其中，训练图像元素集合包括第一图像元素集合以及第二图像元素集合，且第一图像元素集合以及所述第二图像元素集合均为对对应的训练图像集合进行图像元素提取操作得到的，如第一图像元素集合为对训练物品图像集合进行图像元素提取操作后得到的，而第二图像元素集合为对训练人物图像集合进行图像元素提取操作后得到的，并且该训练物品图像集合以及该训练人物图像集合均可为包含有一种或多种图像元素类型的图像集合，如除了包含有物品和/或人物图像元素类型外，还可以包含有风景、动物等图像元素类型。具体的，该图像元素提取操作可以通过预训练出的图像检测分割模型来进行。
进一步的，作为一种可选的实施方式，获取用于训练的训练图像元素集合，包括：
通过图像检测分割模型，对待分割图像集合进行分割标注，得到待分割图像集合的分割标注信息；根据待分割图像集合的分割标注信息，确定待分割图像集合的检测框信息；根据待分割图像集合的检测框信息，对待分割图像集合进行分割，得到分割后图像元素集合，作为用于训练的训练图像元素集合。
在该可选的实施例中，其中，该检测框信息包括预设边缘位置的多个点的坐标位置信息。可选的，该待分割图像集合中的每个待分割图像可以为包含有多种图像元素类型的图像，如物品、人物、风景、动物图像元素类型等等。
102、对第一图像元素集合以及第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量。
在本发明实施例中，其中，每个拼接后图像元素的特征向量表示对对应的第一图像元素与对应的第二图像元素进行特征向量拼接后所得到的特征向量。举例来说，如针对训练图像A以及训练图像B，分别对训练图像A其预先提取出的物品图像元素以及对训练图像B其预先提取出的人物图像元素进行维度变换，得到训练图像A的物品图像元素的特征向量以及训练图像B的人物图像元素的特征向量，随后对训练图像A的物品图像元素的特征向量以及训练图像B的人物图像元素的特征向量进行向量拼接，得到拼接后图像元素的特征向量。
103、根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，并判断训练后图像合成模型是否收敛。
在本发明实施例中，具体的，对预设的待训练图像合成模型进行训练包括对预设的定位器、图像生成器及图像判别器进行训练，其中，可以先对定位器进行预训练，并在预训练完毕定位器之后，再通过训练好的定位器对图像生成器及图像判别器进行训练，直至图像生成器及图像判别器均收敛。
104、当判断出训练后图像合成模型收敛时，将训练后图像合成模型确定为目标图像合成模型。
在本发明实施例中，其中，在对目标图像合成模型进行应用的过程中，该目标图像合成模型可以将训练好的图像判别器除去。具体的，目标图像合成模型用于对待合成的图像元素素材进行合成，以得到与图像元素素材相匹配的合成图像。举例来说，如图1所示，图1为本发明实施例公开的一种目标图像合成模型的图像合成场景示意图，即通过目标图像合成模型的定位器及图像生成器可将左下角的目标商品图像与左上角的模特图像进行合成，得到最终的合成图像，且合成效果图可如右上角图所示。进一步的，当判断出训练后图像合成模型不收敛时，则将训练后图像合成模型确定为新的待训练图像合成模型，并触发执行步骤103中的根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，并判断训练后图像合成模型是否收敛的操作。
可见，实施本发明实施例能够训练出应用于图像合成的目标图像合成模型，并通过该目标图像合成模型合成出与图像元素素材相匹配的合成图像，无需人工对图像元素进行抠图及合成，可以有效解决图像元素间尺寸不匹配或存在色差等问题，进而可以提高图像元素间的合成匹配度，从而可以提高图像合成的可靠性及准确性，使得合成图像能够与真实商品的试用效果相符合，以使得购买者能够依据合成图像购买到合适自身的商品。
实施例二
请参阅图3，图3是本发明实施例公开的一种基于多图像元素的图像智能合成方法的流程示意图。其中，通过图3所描述的基于多图像元素的图像智能合成方法所训练出来的目标图像合成模型可以应用于对不同类型间的图像元素进行合成，如对人物类型图像元素与物品类型图像元素进行合成，或者对人物类型图像元素与风景类型图像元素进行合成等等，本发明实施例不做限定。可选的，该方法可以由图像合成模型训练系统实现，该图像合成模型训练系统可以集成在图像合成模型训练装置中，也可以是用于对图像合成模型训练流程进行处理的本地服务器或云端服务器等，本发明实施例不做限定。如图3所示，该基于多图像元素的图像智能合成方法可以包括以下操作：
201、获取用于训练的训练图像元素集合。
202、根据预设图像处理参数，分别对第一图像元素集合以及第二图像元素集合进行图像处理，得到处理后第一图像元素集合以及处理后第二图像元素集合。
在本发明实施例中，可选的，图像处理参数包括图像处理尺寸和/或图像处理分辨率，图像处理参数还可以包括图像色彩参数。其中，该图像处理参数可以依据对应的图像元素的合成需求来确定，如需要将a尺寸的第一图像元素合成至b尺寸的第二图像元素，则第一图像元素的图像处理参数可以为与a相匹配，而第二图像元素的图像处理参数可以为与b相匹配，以保证后续训练出目标图像合成模型能够合成出符合图像合成需求的图像，同时也能够节省不必要的细节信息。
203、根据预设第一卷积处理参数，分别对处理后第一图像元素集合以及处理后第二图像元素集合进行维度变换，得到所有处理后第一图像元素的特征向量以及所有处理后第二图像元素的特征向量。
在本发明实施例中，可选的，第一卷积处理参数包括卷积尺寸参数、卷积步长参数以及第一卷积通道数目参数中的至少一种。
204、对于每一处理后第一图像元素，通过预设维度的间隔特征向量，对处理后第一图像元素的特征向量以及对应的处理后第二图像元素的特征向量进行拼接，得到待定拼接后图像元素的特征向量。
在本发明实施例中，举例来说，如针对训练图像A以及训练图像B，通过初始化的间隔特征向量，分别对训练图像A对应的处理后物品图像元素（处理后第一图像元素）的特征向量以及训练图像B对应的处理后人物图像元素（处理后第二图像元素）的特征向量进行拼接，得到训练图像A与训练图像B对应的待定拼接后图像元素的特征向量。
205、根据预设标记参数，将标记特征向量添加至所得到的每个待定拼接后图像元素的特征向量中，得到所有拼接后图像元素的特征向量。
在本发明实施例中，可选的，标记参数包括标记特征向量的维度和/或添加位置（如待定拼接后图像元素的特征向量中的最前面位置）。
206、根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，并判断训练后图像合成模型是否收敛。
207、当判断出训练后图像合成模型收敛时，将训练后图像合成模型确定为目标图像合成模型。
在本发明实施例中，针对步骤201、步骤206及步骤207的其它描述，请参照实施例一中针对步骤101、步骤103及步骤104的详细描述，本发明实施例不再赘述。
可见，实施本发明实施例能够在执行特征向量拼接操作之前先对第一及第二图像元素集合进行处理，以保证后续训练出目标图像合成模型能够合成出符合图像合成需求的图像，这样，有利于提高对不同图像元素间的拼接操作的可靠性及准确性，进而有利于提高在模型训练过程中对不同图像元素间的合成匹配度，从而有利于提高对待训练图像合成模型的训练操作的可靠性及准确性，以得到满足图像合成需求的目标图像合成模型。
在一个可选的实施例中，上述步骤206中的根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，包括：
对于每一拼接后图像元素，通过定位器，从拼接后图像元素的特征向量中的被标记特征向量内容确定出目标坐标位置参数；
对于每一拼接后图像元素，通过图像生成器以及目标坐标位置参数，对拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征；
对于每一融合后图像元素特征，通过图像判别器，对融合后图像元素特征执行图像特征判别操作，得到融合后图像元素特征的判别概率。
在该可选的实施例中，该待训练图像合成模型包括定位器、图像生成器以及图像判别器。具体的，目标坐标位置参数表示与对应的处理后第一图像元素在拼接后图像元素中的拼接位置相匹配的检测框参数（如某一物品图像元素在对应的人物图像元素中“物品”拼接位置的检测框参数）。可选的，检测框参数包括检测框中心坐标位置和/或检测框尺寸参数（如检测框的宽与高）。举例来说，如在将标记特征向量C添加至对应的待定拼接后图像元素的特征向量中，得到对应的拼接后图像元素的特征向量之后，可通过定位器的编解码层对该拼接后图像元素的特征向量进行编码解码操作，然后再通过全连接层接收编解码层的输出特征向量中的被标记向量内容（即标记特征向量C）所包含的目标坐标位置参数[x，y，w，h]，其中，x、y表示与处理后物品图像元素在拼接后图像元素中的拼接位置相匹配的检测框中心坐标位置，而w、h则为检测框宽高参数。
进一步的，作为一种可选的实施方式，该定位器是通过以下方式被预训练出的：
将所有拼接后图像元素的特征向量输入至待训练定位器中，以使待训练定位器执行如以下操作：根据每个拼接后图像元素的特征向量，确定每个拼接后图像元素的特征向量所对应的拼接特征信息；根据每个拼接后图像元素的特征向量所对应的拼接特征信息，从每个拼接后图像元素的特征向量中的被标记特征向量内容预测出预测坐标位置参数以及预测元素类别参数；
对于每一拼接后图像元素，根据拼接后图像元素对应的预测坐标位置参数以及预先确定出的拼接后图像元素对应的标注坐标位置参数，计算预测坐标位置参数与标注坐标位置参数之间的第一损失参数，并根据拼接后图像元素对应的预测元素类别参数以及预先确定出的拼接后图像元素对应的标注元素类别参数，计算预测元素类别参数与标注元素类别参数之间的第二损失参数；
根据所得到的所有拼接后图像元素对应的第一损失参数以及对应的第二损失参数，计算训练后定位器的第三损失参数，并根据第三损失参数，判断训练后定位器是否收敛，若是，则将训练后定位器确定为定位器。
在该可选的实施例中，当该训练后定位器收敛时，则表示通过定位器能够准确定位出对应的处理后第一图像元素在拼接后图像元素中位置。可选的，预测坐标位置参数与标注坐标位置参数之间的第一损失参数可采用SmoothL1 Loss来计算得出，而预测元素类别参数与标注元素类别参数之间的第二损失参数可采用交叉熵来计算得出。具体的，该待训练定位器的可以包含由多个Transformer模块堆叠构成的编码层及解码层，其中，Transformer模块的个数可以依据验证集准确率或硬件设备需求来确定。
可见，该可选的实施例能够依据拼接后图像元素的特征向量，有针对性地对定位器、图像生成器及图像判别器进行训练，有利于提高对待训练图像合成模型的训练操作的可靠性及准确性，进而有利于提高所得到的训练后图像合成模型的可靠性及准确性，从而精准地训练出目标图像合成模型；同时，灵活地对待训练定位器进行预训练，也有利于提高对待训练定位器的预训练操作的可靠性及准确性，从而提高所得到的定位器的图像定位准确性以及满足用户的预训练需求。
在另一个可选的实施例中，上述步骤中的通过图像生成器以及目标坐标位置参数，对拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征，包括：
通过图像生成器以及目标坐标位置参数，对拼接后图像元素进行裁剪，得到与目标坐标位置参数相匹配的裁剪区域元素；
根据预设目标处理参数，分别对裁剪区域元素以及目标图像元素进行图像处理，得到处理后裁剪区域元素以及处理后目标图像元素；
根据预设特征提取参数，分别对处理后裁剪区域元素以及处理后目标图像元素进行特征提取，得到处理后裁剪区域元素对应的第一图像元素特征以及处理后目标图像元素对应的第二图像元素特征；
对第一图像元素特征以及第二图像元素特征进行融合，得到待定融合后图像元素特征，并根据预设第二卷积处理参数，对待定融合后图像元素特征进行采样处理，得到采样后图像元素特征，作为拼接后图像元素以及目标图像元素对应的融合后图像元素特征。
在该可选的实施例中，可选的，目标处理参数为放大处理参数或者缩小处理参数。进一步可选的，第二卷积处理参数包括第二卷积通道数目参数和/或第一卷积层参数。进一步的，该图像元素特征提取操作可通过图像生成器中预训练出的特征提取层来实现，其中，该特征提取层可通过计算对应的融合后图像元素特征与目标图像元素之间的SmoothL1Loss，来判断其是否被预训练好。
可见，该可选的实施例能够有针对性地对图像生成器进行训练，以得到融合后图像元素特征，这样，可以可靠及准确地对图像生成器进行训练，进而可以提高所得到的融合后图像元素特征的可靠性及准确性，从而可以提高后续图像判别器对相应图像元素特征的判别操作的可靠性及准确性，以保证图像合成模型训练过程的顺利进行。
在又一个可选的实施例中，通过图像判别器，对融合后图像元素特征执行图像特征判别操作，得到融合后图像元素特征的判别概率，包括：
通过图像判别器以及预设第三卷积处理参数，对融合后图像元素特征执行多次图像特征处理操作，得到融合后图像元素特征对应的多个待判定图像元素特征，并确定每个待判定图像元素特征的特征值；
确定每个待判定图像元素特征的特征值所对应的权重参数，并根据每个待判定图像元素特征的特征值以及对应的权重参数，对所有待判定图像元素特征的特征值进行加权求和，得到针对所有待判定图像元素特征的目标特征值，作为融合后图像元素特征的判别概率。
在该可选的实施例中，每个待判定图像元素特征的特征值表示该待判定图像元素来自真实数据分布的概率，其取值范围为[0，1]。可选的，第三卷积处理参数包括第三卷积通道数目参数和/或第二卷积层参数。举例来说，如融合后图像元素特征D经图像特征处理后存在N个待判定图像元素特征，则融合后图像元素特征D的判别概率则为P1*a+P2*b+……+PN*n，其中，PN为对应的待判定图像元素特征的特征值，而n则为对应的待判定图像元素特征的特征值所对应的权重参数，且若融合后图像元素特征的判别概率越趋近于1，则表示该融合后图像元素来源于真实数据分布的概率越大，而若融合后图像元素特征的判别概率越趋近于0.5，则表示该融合后图像元素无法被判断出其所属的数据分布区域（即图像生成器的融合结果能够混淆图像判别器，此时整体图像合成模型已被训练至收敛）。进一步可选的，该权重参数可以与对应的待判定图像元素特征的尺寸参数相匹配，如尺寸越小，权重越小。
可见，该可选的实施例能够有针对性地对图像判别器进行训练，以得到融合后图像元素特征的判别概率，这样，可以可靠及准确地对图像判别器进行训练，进而可以提高所得到的融合后图像元素特征的判别概率的可靠性及准确性，从而可以提高后续对训练后图像合成模型的收敛判定操作的可靠性以及准确性。
在又一个可选的实施例中，上述步骤206中的判断训练后图像合成模型是否收敛，包括：
通过图像判别器，获取裁剪区域元素的判别概率；
根据裁剪区域元素的判别概率、预设的裁剪区域元素对应的第一标签、融合后图像元素特征的判别概率以及预设的融合后图像元素特征的第二标签，计算训练后图像合成模型的目标损失参数；
根据目标损失参数以及融合后图像元素特征的判别概率，判断目标损失参数以及融合后图像元素特征的判别概率是否均处于预设参数阈值范围内，若是，则确定训练后图像合成模型收敛。
在该可选的实施例中，裁剪区域元素的判别概率的计算过程与融合后图像元素特征的判别概率的计算过程相似。可选的，目标损失参数可通过计算对应的标签以及图像元素的判别概率之间的二值交叉熵来确定出。具体的，当目标损失参数以及融合后图像元素特征的判别概率均处于预设参数阈值范围内时可以理解为该图像判别器已经难以识别出融合后图像元素特征与目标图像元素之间的区别了，且该识别情况趋于稳定，也即训练后图像合成模型已收敛。
可见，该可选的实施例能够有依据地计算出目标损失参数，并通过目标损失参数来判定训练后图像合成模型是否收敛，这样，有利于提高所计算出的目标损失参数的可靠性及准确性，进而有利于提高对训练后图像合成模型的收敛判定操作的可靠性及准确性，从而有利于精准地得到能够合成出无色差、无尺寸差异的合成图像的目标图像合成模型。
实施例三
请参阅图4，图4是本发明实施例公开的一种基于多图像元素的图像智能合成装置的结构示意图。如图4所示，该基于多图像元素的图像智能合成装置可以包括：
获取模块301，用于获取用于训练的训练图像元素集合；
拼接模块302，用于对第一图像元素集合以及第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量；
训练模块303，用于根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型；
判断模块304，用于判断训练后图像合成模型是否收敛；
确定模块305，用于当判断模块304判断出训练后图像合成模型收敛时，将训练后图像合成模型确定为目标图像合成模型。
在本发明实施例中，训练图像元素集合包括第一图像元素集合以及第二图像元素集合，第一图像元素集合以及第二图像元素集合均为对对应的训练图像集合进行图像元素提取操作得到的；每个拼接后图像元素的特征向量表示对对应的第一图像元素与对应的第二图像元素进行特征向量拼接后所得到的特征向量；目标图像合成模型用于对待合成的图像元素素材进行合成，以得到与图像元素素材相匹配的合成图像。
可见，实施图4所描述的基于多图像元素的图像智能合成装置能够训练出应用于图像合成的目标图像合成模型，并通过该目标图像合成模型合成出与图像元素素材相匹配的合成图像，无需人工对图像元素进行抠图及合成，可以有效解决图像元素间尺寸不匹配或存在色差等问题，进而可以提高图像元素间的合成匹配度，从而可以提高图像合成的可靠性及准确性，使得合成图像能够与真实商品的试用效果相符合，以使得购买者能够依据合成图像购买到合适自身的商品。
在一个可选的实施例中，该装置还包括：
处理模块306，用于在拼接模块302对第一图像元素集合以及第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量之前，根据预设图像处理参数，分别对第一图像元素集合以及第二图像元素集合进行图像处理，得到处理后第一图像元素集合以及处理后第二图像元素集合；
其中，拼接模块302对第一图像元素集合以及第二图像元素集合执行特征向量拼接操作，得到多个拼接后图像元素的特征向量的方式具体为：
根据预设第一卷积处理参数，分别对处理后第一图像元素集合以及处理后第二图像元素集合进行维度变换，得到所有处理后第一图像元素的特征向量以及所有处理后第二图像元素的特征向量；
对于每一处理后第一图像元素，通过预设维度的间隔特征向量，对处理后第一图像元素的特征向量以及对应的处理后第二图像元素的特征向量进行拼接，得到待定拼接后图像元素的特征向量；
根据预设标记参数，将标记特征向量添加至所得到的每个待定拼接后图像元素的特征向量中，得到所有拼接后图像元素的特征向量。
在该可选的实施例中，图像处理参数包括图像处理尺寸和/或图像处理分辨率；第一卷积处理参数包括卷积尺寸参数、卷积步长参数以及第一卷积通道数目参数中的至少一种；标记参数包括标记特征向量的维度和/或添加位置。
可见，实施图5所描述的基于多图像元素的图像智能合成装置能够在执行特征向量拼接操作之前先对第一及第二图像元素集合进行处理，以保证后续训练出目标图像合成模型能够合成出符合图像合成需求的图像，这样，有利于提高对不同图像元素间的拼接操作的可靠性及准确性，进而有利于提高在模型训练过程中对不同图像元素间的合成匹配度，从而有利于提高对待训练图像合成模型的训练操作的可靠性及准确性，以得到满足图像合成需求的目标图像合成模型。
在另一个可选的实施例中，该训练模块303根据所有拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型的方式具体为：
对于每一拼接后图像元素，通过定位器，从拼接后图像元素的特征向量中的被标记特征向量内容确定出目标坐标位置参数；
对于每一拼接后图像元素，通过图像生成器以及目标坐标位置参数，对拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征；
对于每一融合后图像元素特征，通过图像判别器，对融合后图像元素特征执行图像特征判别操作，得到融合后图像元素特征的判别概率。
在该可选的实施例中，待训练图像合成模型包括定位器、图像生成器以及图像判别器；目标坐标位置参数表示与对应的处理后第一图像元素在拼接后图像元素中的拼接位置相匹配的检测框参数，检测框参数包括检测框中心坐标位置和/或检测框尺寸参数。
进一步的，作为一种可选的实施方式，定位器是通过以下方式被预训练出的：
将所有拼接后图像元素的特征向量输入至待训练定位器中，以使待训练定位器执行如以下操作：根据每个拼接后图像元素的特征向量，确定每个拼接后图像元素的特征向量所对应的拼接特征信息；根据每个拼接后图像元素的特征向量所对应的拼接特征信息，从每个拼接后图像元素的特征向量中的被标记特征向量内容预测出预测坐标位置参数以及预测元素类别参数；
对于每一拼接后图像元素，根据拼接后图像元素对应的预测坐标位置参数以及预先确定出的拼接后图像元素对应的标注坐标位置参数，计算预测坐标位置参数与标注坐标位置参数之间的第一损失参数，并根据拼接后图像元素对应的预测元素类别参数以及预先确定出的拼接后图像元素对应的标注元素类别参数，计算预测元素类别参数与标注元素类别参数之间的第二损失参数；
根据所得到的所有拼接后图像元素对应的第一损失参数以及对应的第二损失参数，计算训练后定位器的第三损失参数，并根据第三损失参数，判断训练后定位器是否收敛，若是，则将训练后定位器确定为定位器。
可见，实施图5所描述的基于多图像元素的图像智能合成装置能够依据拼接后图像元素的特征向量，有针对性地对定位器、图像生成器及图像判别器进行训练，有利于提高对待训练图像合成模型的训练操作的可靠性及准确性，进而有利于提高所得到的训练后图像合成模型的可靠性及准确性，从而精准地训练出目标图像合成模型；同时，灵活地对待训练定位器进行预训练，也有利于提高对待训练定位器的预训练操作的可靠性及准确性，从而提高所得到的定位器的图像定位准确性以及满足用户的预训练需求。
在又一个可选的实施例中，该训练模块303通过图像生成器以及目标坐标位置参数，对拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征的方式具体为：
通过图像生成器以及目标坐标位置参数，对拼接后图像元素进行裁剪，得到与目标坐标位置参数相匹配的裁剪区域元素；
根据预设目标处理参数，分别对裁剪区域元素以及目标图像元素进行图像处理，得到处理后裁剪区域元素以及处理后目标图像元素；
根据预设特征提取参数，分别对处理后裁剪区域元素以及处理后目标图像元素进行特征提取，得到处理后裁剪区域元素对应的第一图像元素特征以及处理后目标图像元素对应的第二图像元素特征；
对第一图像元素特征以及第二图像元素特征进行融合，得到待定融合后图像元素特征，并根据预设第二卷积处理参数，对待定融合后图像元素特征进行采样处理，得到采样后图像元素特征，作为拼接后图像元素以及目标图像元素对应的融合后图像元素特征。
在该可选的实施例中，目标处理参数为放大处理参数或者缩小处理参数；第二卷积处理参数包括第二卷积通道数目参数和/或第一卷积层参数。
可见，实施图5所描述的基于多图像元素的图像智能合成装置能够有针对性地对图像生成器进行训练，以得到融合后图像元素特征，这样，可以可靠及准确地对图像生成器进行训练，进而可以提高所得到的融合后图像元素特征的可靠性及准确性，从而可以提高后续图像判别器对相应图像元素特征的判别操作的可靠性及准确性，以保证图像合成模型训练过程的顺利进行。
在又一个可选的实施例中，该训练模块303通过图像判别器，对融合后图像元素特征执行图像特征判别操作，得到融合后图像元素特征的判别概率的方式具体为：
通过图像判别器以及预设第三卷积处理参数，对融合后图像元素特征执行多次图像特征处理操作，得到融合后图像元素特征对应的多个待判定图像元素特征，并确定每个待判定图像元素特征的特征值；
确定每个待判定图像元素特征的特征值所对应的权重参数，并根据每个待判定图像元素特征的特征值以及对应的权重参数，对所有待判定图像元素特征的特征值进行加权求和，得到针对所有待判定图像元素特征的目标特征值，作为融合后图像元素特征的判别概率。
在该可选的实施例中，第三卷积处理参数包括第三卷积通道数目参数和/或第二卷积层参数。
可见，实施图5所描述的基于多图像元素的图像智能合成装置能够有针对性地对图像判别器进行训练，以得到融合后图像元素特征的判别概率，这样，可以可靠及准确地对图像判别器进行训练，进而可以提高所得到的融合后图像元素特征的判别概率的可靠性及准确性，从而可以提高后续对训练后图像合成模型的收敛判定操作的可靠性以及准确性。
在又一个可选的实施例中，该判断模块304判断训练后图像合成模型是否收敛的方式具体为：
通过图像判别器，获取裁剪区域元素的判别概率；
根据裁剪区域元素的判别概率、预设的裁剪区域元素对应的第一标签、融合后图像元素特征的判别概率以及预设的融合后图像元素特征的第二标签，计算训练后图像合成模型的目标损失参数；
根据目标损失参数以及融合后图像元素特征的判别概率，判断目标损失参数以及融合后图像元素特征的判别概率是否均处于预设参数阈值范围内，若是，则确定训练后图像合成模型收敛。
可见，实施图5所描述的基于多图像元素的图像智能合成装置能够有依据地计算出目标损失参数，并通过目标损失参数来判定训练后图像合成模型是否收敛，这样，有利于提高所计算出的目标损失参数的可靠性及准确性，进而有利于提高对训练后图像合成模型的收敛判定操作的可靠性及准确性，从而有利于精准地得到能够合成出无色差、无尺寸差异的合成图像的目标图像合成模型。
实施例四
请参阅图6，图6是本发明实施例公开的又一种基于多图像元素的图像智能合成装置的结构示意图。如图6所示，该基于多图像元素的图像智能合成装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或本发明实施例二所描述的基于多图像元素的图像智能合成方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或本发明实施例二所描述的基于多图像元素的图像智能合成方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的基于多图像元素的图像智能合成方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于多图像元素的图像智能合成方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于多图像元素的图像智能合成方法，其特征在于，所述方法包括：
获取用于训练的训练图像元素集合；所述训练图像元素集合包括第一图像元素集合以及第二图像元素集合，所述第一图像元素集合以及所述第二图像元素集合均为对对应的训练图像集合进行图像元素提取操作得到的；
根据预设图像处理参数，分别对所述第一图像元素集合以及所述第二图像元素集合进行图像处理，得到处理后第一图像元素集合以及处理后第二图像元素集合；
根据预设第一卷积处理参数，分别对所述处理后第一图像元素集合以及所述处理后第二图像元素集合进行维度变换，得到所有处理后第一图像元素的特征向量以及所有处理后第二图像元素的特征向量；
对于每一所述处理后第一图像元素，通过预设维度的间隔特征向量，对所述处理后第一图像元素的特征向量以及对应的处理后第二图像元素的特征向量进行拼接，得到待定拼接后图像元素的特征向量；
根据预设标记参数，将标记特征向量添加至所得到的每个所述待定拼接后图像元素的特征向量中，得到所有拼接后图像元素的特征向量；每个所述拼接后图像元素的特征向量表示对对应的第一图像元素与对应的第二图像元素进行特征向量拼接后所得到的特征向量；
根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，并判断所述训练后图像合成模型是否收敛；
当判断出所述训练后图像合成模型收敛时，将所述训练后图像合成模型确定为目标图像合成模型；所述目标图像合成模型用于对待合成的图像元素素材进行合成，以得到与所述图像元素素材相匹配的合成图像。
2.根据权利要求1所述的基于多图像元素的图像智能合成方法，其特征在于，所述图像处理参数包括图像处理尺寸和/或图像处理分辨率，所述第一卷积处理参数包括卷积尺寸参数、卷积步长参数以及第一卷积通道数目参数中的至少一种，所述标记参数包括所述标记特征向量的维度和/或添加位置。
3.根据权利要求2所述的基于多图像元素的图像智能合成方法，其特征在于，所述待训练图像合成模型包括定位器、图像生成器以及图像判别器；
其中，所述根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型，包括：
对于每一所述拼接后图像元素，通过所述定位器，从所述拼接后图像元素的特征向量中的被标记特征向量内容确定出目标坐标位置参数；所述目标坐标位置参数表示与对应的处理后第一图像元素在所述拼接后图像元素中的拼接位置相匹配的检测框参数，所述检测框参数包括检测框中心坐标位置和/或检测框尺寸参数；
对于每一所述拼接后图像元素，通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征；
对于每一所述融合后图像元素特征，通过所述图像判别器，对所述融合后图像元素特征执行图像特征判别操作，得到所述融合后图像元素特征的判别概率。
4.根据权利要求3所述的基于多图像元素的图像智能合成方法，其特征在于，所述通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素以及目标图像元素执行图像特征融合操作，得到融合后图像元素特征，包括：
通过所述图像生成器以及所述目标坐标位置参数，对所述拼接后图像元素进行裁剪，得到与所述目标坐标位置参数相匹配的裁剪区域元素；
根据预设目标处理参数，分别对所述裁剪区域元素以及目标图像元素进行图像处理，得到处理后裁剪区域元素以及处理后目标图像元素；所述目标处理参数为放大处理参数或者缩小处理参数；
根据预设特征提取参数，分别对所述处理后裁剪区域元素以及所述处理后目标图像元素进行特征提取，得到所述处理后裁剪区域元素对应的第一图像元素特征以及所述处理后目标图像元素对应的第二图像元素特征；
对所述第一图像元素特征以及所述第二图像元素特征进行融合，得到待定融合后图像元素特征，并根据预设第二卷积处理参数，对所述待定融合后图像元素特征进行采样处理，得到采样后图像元素特征，作为所述拼接后图像元素以及所述目标图像元素对应的融合后图像元素特征；所述第二卷积处理参数包括第二卷积通道数目参数和/或第一卷积层参数。
5.根据权利要求4所述的基于多图像元素的图像智能合成方法，其特征在于，所述通过所述图像判别器，对所述融合后图像元素特征执行图像特征判别操作，得到所述融合后图像元素特征的判别概率，包括：
通过所述图像判别器以及预设第三卷积处理参数，对所述融合后图像元素特征执行多次图像特征处理操作，得到所述融合后图像元素特征对应的多个待判定图像元素特征，并确定每个所述待判定图像元素特征的特征值；所述第三卷积处理参数包括第三卷积通道数目参数和/或第二卷积层参数；
确定每个所述待判定图像元素特征的特征值所对应的权重参数，并根据每个所述待判定图像元素特征的特征值以及对应的权重参数，对所有所述待判定图像元素特征的特征值进行加权求和，得到针对所有所述待判定图像元素特征的目标特征值，作为所述融合后图像元素特征的判别概率。
6.根据权利要求5所述的基于多图像元素的图像智能合成方法，其特征在于，所述判断所述训练后图像合成模型是否收敛，包括：
通过所述图像判别器，获取所述裁剪区域元素的判别概率；
根据所述裁剪区域元素的判别概率、预设的所述裁剪区域元素对应的第一标签、所述融合后图像元素特征的判别概率以及预设的所述融合后图像元素特征的第二标签，计算所述训练后图像合成模型的目标损失参数；
根据所述目标损失参数以及所述融合后图像元素特征的判别概率，判断所述目标损失参数以及所述融合后图像元素特征的判别概率是否均处于预设参数阈值范围内，若是，则确定所述训练后图像合成模型收敛。
7.根据权利要求3所述的基于多图像元素的图像智能合成方法，其特征在于，所述定位器是通过以下方式被预训练出的：
将所有所述拼接后图像元素的特征向量输入至待训练定位器中，以使所述待训练定位器执行如以下操作：根据每个所述拼接后图像元素的特征向量，确定每个所述拼接后图像元素的特征向量所对应的拼接特征信息；根据每个所述拼接后图像元素的特征向量所对应的拼接特征信息，从每个所述拼接后图像元素的特征向量中的被标记特征向量内容预测出预测坐标位置参数以及预测元素类别参数；
对于每一所述拼接后图像元素，根据所述拼接后图像元素对应的预测坐标位置参数以及预先确定出的所述拼接后图像元素对应的标注坐标位置参数，计算所述预测坐标位置参数与所述标注坐标位置参数之间的第一损失参数，并根据所述拼接后图像元素对应的预测元素类别参数以及预先确定出的所述拼接后图像元素对应的标注元素类别参数，计算所述预测元素类别参数与所述标注元素类别参数之间的第二损失参数；
根据所得到的所有所述拼接后图像元素对应的第一损失参数以及对应的第二损失参数，计算训练后定位器的第三损失参数，并根据所述第三损失参数，判断所述训练后定位器是否收敛，若是，则将所述训练后定位器确定为定位器。
8.一种基于多图像元素的图像智能合成装置，其特征在于，所述装置包括：
获取模块，用于获取用于训练的训练图像元素集合；所述训练图像元素集合包括第一图像元素集合以及第二图像元素集合，所述第一图像元素集合以及所述第二图像元素集合均为对对应的训练图像集合进行图像元素提取操作得到的；
处理模块，用于根据预设图像处理参数，分别对所述第一图像元素集合以及所述第二图像元素集合进行图像处理，得到处理后第一图像元素集合以及处理后第二图像元素集合；
拼接模块，用于根据预设第一卷积处理参数，分别对所述处理后第一图像元素集合以及所述处理后第二图像元素集合进行维度变换，得到所有处理后第一图像元素的特征向量以及所有处理后第二图像元素的特征向量；对于每一所述处理后第一图像元素，通过预设维度的间隔特征向量，对所述处理后第一图像元素的特征向量以及对应的处理后第二图像元素的特征向量进行拼接，得到待定拼接后图像元素的特征向量；根据预设标记参数，将标记特征向量添加至所得到的每个所述待定拼接后图像元素的特征向量中，得到所有拼接后图像元素的特征向量；每个所述拼接后图像元素的特征向量表示对对应的第一图像元素与对应的第二图像元素进行特征向量拼接后所得到的特征向量；
训练模块，用于根据所有所述拼接后图像元素的特征向量，对预设的待训练图像合成模型进行训练，得到训练后图像合成模型；
判断模块，用于判断所述训练后图像合成模型是否收敛；
确定模块，用于当所述判断模块判断出所述训练后图像合成模型收敛时，将所述训练后图像合成模型确定为目标图像合成模型；所述目标图像合成模型用于对待合成的图像元素素材进行合成，以得到与所述图像元素素材相匹配的合成图像。
9.一种基于多图像元素的图像智能合成装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于多图像元素的图像智能合成方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于多图像元素的图像智能合成方法。
CN202211469867.2A 2022-11-23 2022-11-23 基于多图像元素的图像智能合成方法及装置 Active CN115512006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211469867.2A CN115512006B (zh) 2022-11-23 2022-11-23 基于多图像元素的图像智能合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211469867.2A CN115512006B (zh) 2022-11-23 2022-11-23 基于多图像元素的图像智能合成方法及装置

Publications (2)

Publication Number Publication Date
CN115512006A CN115512006A (zh) 2022-12-23
CN115512006B true CN115512006B (zh) 2023-04-07

Family

ID=84514145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211469867.2A Active CN115512006B (zh) 2022-11-23 2022-11-23 基于多图像元素的图像智能合成方法及装置

Country Status (1)

Country Link
CN (1) CN115512006B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920224A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种评估拼接图像清晰度的方法
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN110163267A (zh) * 2019-05-09 2019-08-23 厦门美图之家科技有限公司 一种图像生成模型的训练方法和生成图像的方法
CN115100582A (zh) * 2022-08-25 2022-09-23 有米科技股份有限公司 基于多模态数据的模型训练方法及装置
CN115222581A (zh) * 2022-07-18 2022-10-21 维沃移动通信有限公司 图像生成方法、模型训练方法、相关装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919888B (zh) * 2019-02-26 2023-09-19 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN111695517B (zh) * 2020-06-12 2023-08-18 北京百度网讯科技有限公司 图像的表格提取方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920224A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种评估拼接图像清晰度的方法
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN110163267A (zh) * 2019-05-09 2019-08-23 厦门美图之家科技有限公司 一种图像生成模型的训练方法和生成图像的方法
CN115222581A (zh) * 2022-07-18 2022-10-21 维沃移动通信有限公司 图像生成方法、模型训练方法、相关装置及电子设备
CN115100582A (zh) * 2022-08-25 2022-09-23 有米科技股份有限公司 基于多模态数据的模型训练方法及装置

Also Published As

Publication number Publication date
CN115512006A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Tasar et al. StandardGAN: Multi-source domain adaptation for semantic segmentation of very high resolution satellite images by data standardization
WO2012167568A1 (zh) 视频广告播放方法、设备和系统
CN112966697A (zh) 基于场景语义的目标检测方法、装置、设备及存储介质
KR20170026222A (ko) 이미지의 객체를 분류하기 위한 방법 및 디바이스, 및 대응하는 컴퓨터 프로그램 제품 및 컴퓨터 판독가능한 매체
CN107967480B (zh) 一种基于标签语义的显著对象提取方法
CN113762309B (zh) 对象匹配方法、装置及设备
CN111222487A (zh) 视频目标行为识别方法及电子设备
CN110135245B (zh) 到店确认方法、装置、电子设备及可读存储介质
CN114021646A (zh) 一种图像描述文本确定方法及其相关设备
CN114861842A (zh) 少样本目标检测方法、装置和电子设备
CN115100582A (zh) 基于多模态数据的模型训练方法及装置
CN109255290B (zh) 菜单识别方法、装置、电子设备及存储介质
CN113947209A (zh) 基于云边协同的集成学习方法、系统及存储介质
CN115512006B (zh) 基于多图像元素的图像智能合成方法及装置
CN111242094B (zh) 商品识别方法、智能货柜及智能货柜系统
CN112132750A (zh) 一种视频处理方法与装置
CN114022684B (zh) 人体姿态估计方法及装置
CN116129523A (zh) 动作识别方法、装置、终端及计算机可读存储介质
Wu et al. FlagDetSeg: Multi-nation flag detection and segmentation in the wild
CN114821062A (zh) 基于图像分割的商品识别方法及装置
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
CN111582177A (zh) 一种图像检测方法和相关装置
CN115482538B (zh) 一种基于Mask R-CNN的物料标号提取方法及系统
CN114022496B (zh) 图像处理方法、系统、装置及存储介质
CN113642420A (zh) 一种唇语的识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant