CN116681765A - 图像内标识位置确定方法、模型训练方法、装置及设备 - Google Patents

图像内标识位置确定方法、模型训练方法、装置及设备 Download PDF

Info

Publication number
CN116681765A
CN116681765A CN202310659776.3A CN202310659776A CN116681765A CN 116681765 A CN116681765 A CN 116681765A CN 202310659776 A CN202310659776 A CN 202310659776A CN 116681765 A CN116681765 A CN 116681765A
Authority
CN
China
Prior art keywords
image
target
feature map
feature
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310659776.3A
Other languages
English (en)
Inventor
于林泉
于培华
郭冠军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310659776.3A priority Critical patent/CN116681765A/zh
Publication of CN116681765A publication Critical patent/CN116681765A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种图像内标识位置确定方法、模型训练方法、装置及设备，通过获取目标图像；针对目标图像进行处理，得到第一特征图，第一特征图用于指示目标图像内至少一个图像元素所在的目标区域；基于第一特征图，调用第一预测模型，得到目标图像中待插入标识所在的目标位置，其中，目标位置位于目标区域之外，且与目标区域具有第一位置关系，第一位置关系基于目标图像内的至少一个图像元素的位置确定。降低了第一预测模型的训练难度，提高预测准确性，从而解决标识位置设置不合理、设置效率低的问题。

Description

图像内标识位置确定方法、模型训练方法、装置及设备
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种图像内标识位置确定方法、模型训练方法、装置及设备。
背景技术
图像是一种用于信息传播和表达的常见媒介形式，通过在图像中合适的位置添加描述性的文字和标识，可以进一步的提高图像的内容表达能力和视觉表现力。
现有技术中，在图像内添加标识的过程，通常是在得到目标图像后，通过人工确定标识位置后，在该位置处添加相应标识，由此造成了标识位置设置不合理、设置效率低等问题。
发明内容
本公开实施例提供一种图像内标识位置确定方法、模型训练方法、装置及设备，以克服标识位置设置不合理、设置效率低的问题。
第一方面，本公开实施例提供一种图像内标识位置确定方法，包括：
获取目标图像；针对所述目标图像进行处理，得到第一特征图，所述第一特征图用于指示所述目标图像内至少一个图像元素所在的目标区域；基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，其中，所述目标位置位于所述目标区域之外，且与所述目标区域具有第一位置关系，所述第一位置关系基于所述目标图像内的至少一个图像元素的位置确定。
第一方面，本公开实施例提供一种模型训练方法，包括：
获取样本图像，所述样本图像中包含有至少一个图像元素，并标记有待插入标识所在的标记位置，所述标记位置位于图像元素所在的图像区域之外，且与所述图像区域具有第一位置关系，所述第一位置关系基于所述样本图像内的至少一个图像元素的位置确定；针对所述样本图像进行处理，得到第一特征图，所述第一特征图用于指示所述样本图像内至少一个所述图像元素所在的图像区域；基于所述样本图像和所述第一特征图对初始预测模型进行训练，得到第一预测模型，其中，所述第一预测模型用于实现如上第一方面以及第一方面各种可能的设计所述的图像内标识位置确定方法。
第三方面，本公开实施例提供一种图像内标识位置确定装置，包括：
获取模块，用于获取目标图像；
处理模块，用于针对所述目标图像进行处理，得到第一特征图，所述第一特征图用于指示所述目标图像内至少一个图像元素所在的目标区域；
预测模块，用于基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，其中，所述目标位置位于所述目标区域之外，且与所述目标区域具有第一位置关系，所述第一位置关系基于所述目标图像内的至少一个图像元素的位置确定。
第四方面，本公开实施例提供一种模型训练装置，包括：
样本模块，用于获取样本图像，所述样本图像中包含有至少一个图像元素，并标记有待插入标识所在的标记位置，所述标记位置位于图像元素所在的图像区域之外，且与所述图像区域具有第一位置关系，所述第一位置关系基于所述样本图像内的至少一个图像元素的位置确定；
预处理模块，用于针对所述样本图像进行处理，得到第一特征图，所述第一特征图用于指示所述样本图像内至少一个所述图像元素所在的图像区域；
训练模块，用于基于所述样本图像和所述第一特征图对初始预测模型进行训练，得到第一预测模型，其中，所述第一预测模型用于实现如上第一方面以及第一方面各种可能的设计所述的图像内标识位置确定方法。
第五方面，本公开实施例提供一种电子设备，包括：
处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的图像内标识位置确定方法，或者，实现如上第二方面以及第二方面各种可能的设计所述的模型训练方法。
第六方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像内标识位置确定方法，或者，实现如上第二方面以及第二方面各种可能的设计所述的模型训练方法。
第七方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的图像内标识位置确定方法，或者，实现如上第二方面以及第二方面各种可能的设计所述的模型训练方法。
本实施例提供的图像内标识位置确定方法、模型训练方法、装置及设备，通过获取目标图像；针对所述目标图像进行处理，得到第一特征图，所述第一特征图用于指示所述目标图像内至少一个图像元素所在的目标区域；基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，其中，所述目标位置位于所述目标区域之外，且与所述目标区域具有第一位置关系，所述第一位置关系基于所述目标图像内的至少一个图像元素的位置确定。通过对目标图像进行预处理，得到指示目标图像内图像元素所在目标区域的第一特征图，再基于第一特征图调用第一预测模型，对待插入标识所在目标位置进行预测，相当于为第一预测模型设置了参考信息，使第一预测模型输出的目标位置能够具有位于目标区域之外、且与目标区域具有第一位置关系的特征，降低了第一预测模型的训练难度，提高预测准确性，从而解决标识位置设置不合理、设置效率低的问题。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的图像内标识位置确定方法的一种应用场景图；
图2为本公开实施例提供的图像内标识位置确定方法流程示意图一；
图3为图2所示实施例中步骤S102的具体实现方式的流程图；
图4为本公开实施例提供的一种生成目标位置的过程示意图；
图5为本公开实施例提供的一种待插入标识的形状特征与目标位置的映射关系的示意图；
图6为本公开实施例提供的图像内标识位置确定方法的流程示意图二；
图7为图6所示实施例中步骤S204的具体实现方式的流程图；
图8为本公开实施例提供的图像内标识位置确定方法的流程示意图三；
图9为本公开实施例提供的一种预测标题位置的过程示意图；
图10为本公开实施例提供的一种模型训练方法的流程示意图；
图11为本公开实施例提供的图像内标识位置确定装置的结构框图；
图12为本公开实施例提供的模型训练装置的结构框图；
图13为本公开实施例提供的一种电子设备的结构示意图；
图14为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
下面对本公开实施例的应用场景进行解释：
图1为本公开实施例提供的图像内标识位置确定方法的一种应用场景图，本公开实施例提供的图像内标识位置确定方法，可以应用于视频封面生成、海报生成等图像生成场景中，更具体地，例如自动生成图像标题的应用场景中。具体地，如图1所示，本公开实施例提供的方法，可以应用于终端设备，例如智能手机，终端设备从本地或网络加载一张待处理的目标图像后，通过本公开实施例提供的图像内标识位置确定方法，对该目标图像进行检测，得到该目标图像中用于插入标题、符号等描述性文字的位置，例如图中所示的标题位置，之后，将用户手动输入的文字，或者自动基于目标图像内容生成的文字，填入该标题位置，生成带有标题文字的输出图像，实现自动生成图像标题的过程。
现有技术中，在图像内添加图标、文字等标识信息的过程，通常是在得到目标图像后，首先通过人工确定标识位置后，在该标识位置处添加相应标识信息，这是由于，在图像中添加标识，需要考虑所设置的标识是否会对图像中的主体内容产生遮挡，以及是否影响图像整体内容的美观，即设置位置是否合理，但现有技术中无法实现对图像中待插入标识的位置是否合理进行有效判断，因此通常是将待插入标识的位置设置在图像中的固定位置，例如图像右下角；或者是简单地将待插入标识的位置设置在图像中的空白背景处，但难以保证插入后的标识与图像在整体上的美观，由此造成了标识位置设置不合理、设置效率低等问题。
本公开实施例提供一种图像内标识位置确定方法以解决上述问题。
参考图2，图2为本公开实施例提供的图像内标识位置确定方法流程示意图一。本实施例的方法可以应用在终端设备、服务器等电子设备中，该图像内标识位置确定方法包括：
步骤S101：获取目标图像。
步骤S102：针对目标图像进行处理，得到第一特征图，第一特征图用于指示目标图像内至少一个图像元素所在的目标区域。
本实施例中，以终端设备为执行主体对所提供的方法进行示例性介绍，参考图1所示的应用场景示意图，首先，终端设备例如为用户使用的智能手机，终端设备响应于用户操作，加载位于本地或网络上的目标图像，该目标图像即待生成标题、待插入描述信息的图像，更具体地，目标图像例如为用户拍摄的照片，通过本实施例所提供的方法，可以在照片中确定一个目标位置，之后可以在该目标位置处，自动生成一个照片标题。
进一步地，示例性地，终端设备在加载该目标图像后，首先对该目标图像进行预处理，得到表征目标图像所具有的特征的第一特征图，其中，该第一特征图用于指示目标图像内至少一个图像元素所在的目标区域。图像元素是指在内容上构成目标图像的对象。例如，目标图像中的河流、树木、人物等，均可以视为目标图像中的图像元素。而通过预处理后得到的第一特征图，可以指示出上述至少一种图像元素中所在的目标区域，相当于实现了对至少一种图像元素的定位。之后例如该第一特征图执行后续步骤，即可利用第一特征图中的信息(图像元素所在的目标区域)，对所预测的目标位置进行描述和限制，从而实现目标位置的定位，例如，使预测的目标位置位于目标区域之外。
在一种可能的实现方式中，第一特征图包括对象特征图，步骤S102的具体实现方式包括：
步骤S1021：对目标图像中的人像进行图像识别，得到人像对应的面部区域。
步骤S1022：针对面部区域进行图像分割，得到对象特征图。
示例性地，对象特征图可以为表征目标图像中特定对象的特征图，例如目标图像中的人像躯干、人像面部，以及特定物品等。以人像面部的情况为例，在获得目标图像后，首先对目标图像中的人像面部进行检测和识别，若存在人像面部，在得到人像面部所在的区域，即面部区域。之后，基于得到的面部区域的轮廓进行图像分割，将面部区域所对应的图像保留，将面部区域以外的图像舍去，得到对象特征图，上述对人像进行图像识别，得到面部区域的过程，可以通过人脸识别算法实现；对面部区域进行图像分割，可以通过掩膜计算实现，具体实现过程为本领域人员知晓的现有技术，此处不再赘述。本实施例中，通过针对人像面部进行识别和分割，得到的第一特征图中包含了人像面部相关的描述信息，在之后的处理步骤中，通过利用对象特征图中的信息，可以利用特定对象(例如面部)所在的位置作为参考位置，来限制特定对象与所预测的待插入标识的位置关系，从而避免待插入标识与特定对象之间产生干涉。
在另一种可能的实现方式中，第一特征图包括显著性特征图，步骤S102的具体实现方式包括：
步骤S1023：对目标图像进行显著性检测，得到目标图像中像素点对应的显著性值。
步骤S1024：基于像素点对应的显著性值，得到显著性特征图。
示例性地，显著性检测是指对图像的视觉显著性进行评估的算法，在一张图像中，某些区域比其他区域在视觉上更加突出，更能吸引观看者的注意力，即构成该区域的像素点具有更高的显著性值。一张图像通常是由背景部分和前景部分构成，图像中的图像元素通常为前景部分中的内容，因此通常具有更高的显著性。通过对目标图像进行显著性检测，得到目标图像中各像素点对应的显著性值，直至基于显著性值进行图像绘制，即可得到显著性特征图。本实施例中，通过对目标图像进行处理，生成显著性特征图，显著性特征图中包含了目标图像中的内容在视觉显著性上的描述信息，在后续步骤中，利用该显著性特征图作为参考信息，对待插入标识所在的目标位置进行预测，来限制具有高显著性的图像元素与所预测的待插入标识的位置关系，从而避免待插入标识与高显著性的图像元素之间产生干涉。
在又一种可能的实现方式中，终端设备同时对目标图像进行面部检测和显著性检测，得到对象特征图和先执行特征图，之后基于对象特征图和显著性特征图得到第一特征图，如图3所示，示例性地，步骤S102的具体实现方式包括：
步骤S1021：对目标图像中的人像进行图像识别，得到人像对应的面部区域。
步骤S1022：针对面部区域进行图像分割，得到对象特征图。
步骤S1023：对目标图像进行显著性检测，得到目标图像中像素点对应的显著性值。
步骤S1024：基于像素点对应的显著性值，得到显著性特征图。
步骤S1025：根据对象特征图和显著性特征图进行图像融合，得到第一特征图。
本实施例中生成对象特征图和显著性特征图的各步骤的具体实现方式，在之前实施例中已进行详细介绍，可参考之前实施例步骤中的介绍，此处不再赘述。之后，对对象特征图和显著性特征图进行图像融合，得到第一特征图，例如可以通过对对象特征图和显著性特征图进行按通道融合，从而生成第一特征图。例如，对象特征图为1x255x255的特征矩阵、显著性特征图为1x255x255的特征矩阵，二者融合后得到2x255x255的特征矩阵，即第一特征图。其中，需要说明的是，生成对象特征图(步骤S1021-S1022)和生成显著性特征图(步骤S1023-S1024)的步骤，可以单独执行来得到第一特征图，也可以共同执行后利用对象特征图和显著性特征图，得到第一特征图。在共同执行时，生成显著性特征图的步骤和生成显著性特征图的步骤的执行顺序可根据需要设置，此处不做具体限制。
步骤S103：基于第一特征图，调用第一预测模型，得到目标图像中待插入标识所在的目标位置，其中，目标位置位于目标区域之外，且与目标区域具有第一位置关系，第一位置关系基于目标图像内的至少一个图像元素的位置确定。
示例性地，在得到第一特征图后，获取预训练的第一预测模型，并将第一特征图作为输入参数，执行第一预测模型，利用第一预测模型能够基于第一特征图，预测目标图像中待插入标识对应的合理设置位置(即目标位置)的能力，得到待插入标识所在的目标位置。其中，该第一预测模型可以是编码器(Encoder)-解码器(Decoder)架构的模式。更具体地，该第一预测模型为转换器(Transformer)模型。转换器模型的具体实现原理为现有技术，此处不再赘述。
进一步地，其中，经过训练后的第一预测模型可以以第一特征图和目标图像作为输入，预测一个目标图像中待插入标识所在的目标位置，由于输入了第一特征图作为参考信息，因此所得到的目标位置与第一特征图中所包含的信息，即图像元素所在的目标区域相关。具体地，即目标位置位于目标区域之外，且与目标区域具有第一位置关系，第一位置关系基于目标图像内的至少一个图像元素的位置确定。其中，第一位置关系的实现方式，例如为：目标位置位于目标图像中图像元素A与图像元素B之间；或者，目标位置位于目标图像中图像元素A与图像元素B的连线中点下方预设距离的位置。该第一预测模型所具备的上述预测能力，是在使用训练样本进行训练后得到的，针对第一预测模型的训练过程，在后续实施例中进行详细介绍，此处暂不展开介绍。
图4为本公开实施例提供的一种生成目标位置的过程示意图，如图4所示，在获得目标图像后，分别针对图像进行图像识别和显著性检测，得到对象特征图和显著性特征图，之后，将对象特征图和显著性特征图进行通道融合，即可到第一特征图。之后将目标图像和第一参考图输入第一预测模型，得到目标位置，目标位置可以通过位置坐标标识，例如位置坐标[p1,p2]，该位置坐标[p1,p2]表征矩形文本框的对角线的两个端点的坐标。之后，根据具体的输入内容，在该目标位置处插入待插入标识，例如图标、文字等，实现在图像中插入标识的过程。
在另一种可能的实现方式中，步骤S103之前，还包括：
步骤S100：获取待插入标识的形状特征，形状特征表征待插入标识的标识形状。相应的，步骤S103的具体实现方式包括：以第一特征图和形状特征为输入，调用第一预测模型，得到目标图像中待插入标识所在的目标位置。
示例性地，当该待插入标识的形状不同时，会产生不同的观感，因此，目标图像中与其匹配的目标位置也可能相应变化。即待插入标识的形状特征，是影响待插入标识的目标位置预测的影响因素之一。图5为本公开实施例提供的一种待插入标识的形状特征与目标位置的映射关系的示意图，如图5所示，当待插入标识的外形轮廓为圆形时(形状特征A)，第一预测模型所预测得到的目标位置为P1；当待插入标识的外形轮廓为长宽比为1:2的矩形时(形状特征B)，第一预测模型所预测得到的目标位置为P2。
本实施例步骤中，在调用第一预测模型之前，首先获取待插入标识的形状特征，形状特征例如为待插入标识的外观形状、(矩形)长宽比、(椭圆形)扁平比等。之后，以形状特征作为另一项参考信息，与第一特征图功能作为输入项，调用第一预测模型，从而使第一预测模型所预测的目标位置考虑待插入标识的形状特征产出的影响，从而提高目标位置的预测准确性和合理性，提高目标图像的整体视觉观感。
示例性地，步骤S100的具体实现方式包括：
步骤S1001：获取输入文本。
步骤S1002：根据输入文本，确定文本框的长宽比。
步骤S1003：基于第一预测模型对应的参数维度，对文本框的长宽比进行编码，得到形状特征。
示例性地，本实施例提供了一种更具体地获得形状特征的实现方法，具体地，待插入标识包括文本框，首先获得待插入标识对应的输入文本，即需要在文本框中输入的内容，之后，基于输入文本的内容和/或长度，确定文本框的长宽比，例如1:3(纵向)、4:1(横向)等。之后对该长宽比进行编码，得到目标长度的形状编码向量，其中，目标长度由第一预测模型对应的参数维度确定，即将文本框的长宽比格式化为能够被第一预测模型所处理的数据长度，从而得到便于后续处理的形状特征。
在本实施例中，通过获取目标图像；针对目标图像进行处理，得到第一特征图，第一特征图用于指示目标图像内至少一个图像元素所在的目标区域；基于第一特征图，调用第一预测模型，得到目标图像中待插入标识所在的目标位置，其中，目标位置位于目标区域之外，且与目标区域具有第一位置关系，第一位置关系基于目标图像内的至少一个图像元素的位置确定。通过对目标图像进行预处理，得到指示目标图像内图像元素所在目标区域的第一特征图，再基于第一特征图调用第一预测模型，对待插入标识所在目标位置进行预测，相当于为第一预测模型设置了参考信息，使第一预测模型输出的目标位置能够具有位于目标区域之外、且与目标区域具有第一位置关系的特征，降低了第一预测模型的训练难度，提高预测准确性，从而解决标识位置设置不合理、设置效率低的问题。
参考图6，图6为本公开实施例提供的图像内标识位置确定方法的流程示意图二。本实施例中详细描述在图2所示实施例的基础上，进一步对步骤S103进行细化，该图像内标识位置确定方法包括：
步骤S201：获取目标图像。
步骤S202：针对目标图像进行处理，得到第一特征图，第一特征图包括对象特征图和显著性特征图。
步骤S203：将对象特征图和/或显著性特征图和目标图像进行特征融合，得到融合图像。
示例性地，一种可能的实现方式中，第一特征图包括对象特征图和显著性特征图，对象特征图和/或显著性特征图和目标图像可以为图像尺寸相同(或处理后图像尺寸相同)的图像，对三者进行通道融合，得到融合图像，融合图像的生成过程可参考图2所示实施例中生成第一特征图的过程，此处不再赘述。
步骤S204：调用第一预测模型对融合图像进行处理，得到目标位置。
示例性地，在得到融合图像后，以融合图像为输入项，调用第一预测模型对其进行处理，利用第一预测模型的预测能力，即可得到目标图像中的目标位置。示例性地，第一预测模型包括依次连接的编码器单元和解码器单元，如图7所示，步骤S204的具体实现方式包括：
步骤S2041：通过编码器单元对融合图像进行自注意力计算，得到融合图像中各图像区域对应的第一融合特征，第一融合特征表征对应图像区域的图像特征和其他图像区域的图像特征的注意力加权和。
步骤S2042：通过解码器单元对融合特征进行解码计算，得到目标位置对应的解码向量，解码向量表征目标位置在目标图像的全局感受野下的特征。
步骤S2043：基于预训练的第二预测模型，将解码向量映射为目标位置的坐标。
示例性地，第一预测模型可以为基于编码器-解码器架构的转换器(Transformer)模型，该第一预测模型中包括依次连接的编码器单元和解码器单元，其中，融合图像输入第一预测模型后，首先通过编码器单元对融合图像进行自注意力(Self-attention)计算，其中，自注意力计算是基于注意力(Attention)计算变化而来的算法，能够减少对外部信息的依赖，更利于捕捉数据和特征内部的相关性。在图像处理技术领域中，通过自注意力计算，可以实现对目标图像中在全局视野下的具有某些相关特征的目标进行加权，从而实现特征筛选的目的。具体地，编码器单元中包括一个自注意力计算层和一个前向传播层，通过将融合图像依次输入自注意力计算层和前向传播层，得到第一融合特征，第一融合特征表征对应图像区域的图像特征和其他图像区域的图像特征的注意力加权和。第一融合特征的具体生成方法，是基于自注意力算法实现的，自注意力算法的具体原理即实现方式为现有技术，此处不再赘述。进一步地，生成第一融合特征后，基于解码器单元对融合特征进行解码计算，得到对应的解码向量。其中，第一融合特征所表征的各图像区域对应的注意力加权和，相当于对融合图像进行映射后生成的隐藏层，而解码器单元的作用，是将上述隐藏层映射为表征目标位置的特征，即解码向量。之后基于第二预测模型，将解码向量映射为目标位置的坐标，该第二预测模型例如预训练的前向传播模型，具有将解码向量映射为目标位置坐标的能力。本实施例中，经过自注意力计算后得到第一融合特征，再对第一融合特征解码得到解码向量，该解码向量能够表征目标位置在目标图像全局感受野下的特征，即考虑了目标图像中的全局信息，因此基于该解码向量得到的目标位置，理论上具有全局最优性，即目标图像中最适合作为待插入标识的设置位置，从而提高目标位置的预测合理性，提高视觉感官效果。
图8为本公开实施例提供的图像内标识位置确定方法的流程示意图三。本实施例中详细描述在图6所示实施例的基础上，进一步增加对形状特征的处理步骤，该图像内标识位置确定方法包括：
步骤S301：获取目标图像。
步骤S302：针对目标图像进行处理，得到第一特征图，第一特征图包括对象特征图和显著性特征图。
步骤S303：将对象特征图和/或显著性特征图和目标图像进行特征融合，得到融合图像。
步骤S304：通过编码器单元对融合图像进行自注意力计算，得到融合图像中各图像区域对应的第一融合特征，第一融合特征表征对应图像区域的图像特征和其他图像区域的图像特征的注意力加权和。
步骤S305：获取形状特征，形状特征表征待插入标识的标识形状。
步骤S306：通过编码器单元对形状特征进行自注意力计算，得到第二融合特征，第二融合特征表征形状特征与和各图像区域的图像特征的注意力加权和。
步骤S307：通过解码器单元对第一融合特征和第二融合特征进行解码计算，得到目标位置对应的解码向量。
步骤S308：基于预训练的第二预测模型，将解码向量映射为目标位置的坐标。
本实施例中步骤S301-S304的具体实现过程在图6所示实施例中已进行详细介绍，此处不再赘述。示例性地，另一方面，终端设备获得表征待插入标识的标识形状的形状特征，该形状特征例如为外形轮廓形状、外形轮廓为长宽比等，获取形状特征的具体实现步骤可以参考图2所示实施例中步骤S100的具体实现方式，此处不再赘述。之后，将形状特征作为另一输入项，依次输入第一预测模型中的编码器单元和解码器单元进行处理，处理过程与图7所示实施例中对第一融合特征的处理过程类似，此处不再赘述。之后，将第一融合特征和第二融合特征作为一个整体输入解码器单元进行解码计算，得到目标位置对应的解码向量。之后基于预训练的第二预测模型对向量映射进行处理，即可得到目标位置的坐标，具体实现过程与图6所示实施例中的过程类似，此处不再赘述。
图9为本公开实施例提供的一种预测标题位置的过程示意图，下面结合图9对上述过程进行进一步介绍，参考图9所示，通过目标图像，进行显著性检测和人脸区域分割，得到对象特征图和/或显著性特征图。之后，将对象特征图和/或显著性特征图、目标图像进行融合，得到融合图像；使用特征提取网络对融合图像进行区域特征提取，得到多个区域特征(图中示为区域特征T_1、区域特征T_2、…、区域特征T_n)，另一方面，接收用户输入的标题长宽比，并对其进行编码，得到形状特征M；将各区域特征和形状特征M合并输入编码器单元，编码器单元对区域特征和形状特征进行自注意力计算，得到融合后的区域特征(图中示为区域特征Te_1、区域特征Te_2、…、区域特征Te_n)(即第一融合特征)和融合后的形状特征Me(即第二融合特征)，之后通过解码器单元进行解码计算，得到标题特征向量；通过前向传播网络对标题特征向量进行，得到标题位置坐标。
本实施例中，通过将形状特征作为参考信息输入编码器单元进行计算，得到第二融合特征，并将第一融合特征和第二融合特征作为一个整体输入解码器单元进行解码计算，使预测得到的表征目标位置的解码向量能够受到标识形状的影响，从而使模型预测的具有特定形状特征的待插入标识，在目标图像中的目标位置更加合理，提高视觉感官。
图10为本公开实施例提供的一种模型训练方法的流程示意图，本实施例的方法可以应用在终端设备、服务器等电子设备中，本实施例提供的模型训练方法，用于训练如上所示实施例中的第一预测模型，该模型训练方法包括：
步骤S401：获取样本图像，样本图像中包含有至少一个图像元素，并标记有待插入标识所在的标记位置，标记位置位于图像元素所在的图像区域之外，且与图像区域具有第一位置关系，第一位置关系基于样本图像内的至少一个图像元素的位置确定；
步骤S402：针对样本图像进行处理，得到第一特征图，第一特征图用于指示样本图像内至少一个图像元素所在的图像区域；
步骤S403：基于样本图像和第一特征图对初始预测模型进行训练，得到第一预测模型。
示例性地，初始预测模型为图2至图9所对应的实施例中未训练前的第一预测模型。具体地，例如为Transformer模型。样本图像为标记图像，即样本图像中包含有待插入标识所对应的标记位置，具体可参考图1所示应用场景示意图中的目标图像。该样本图像中的标记位置，可以是由用户手动输入的，标记位置位于图像元素所在的图像区域之外，且与图像区域具有第一位置关系，第一位置关系基于样本图像内的至少一个图像元素的位置确定。可以理解为样本图像中的标记位置，是由用户输入地、符合用户审美(即与图像区域具有第一位置关系)且不与目标图像元素发生干涉的位置。
在得到样本图像后，首先针对目标图像进行处理，得到第一特征图，第一特征图的具体生成方法，可参见之前实施例中的介绍，此处不再赘述。之后以第一特征图和目标图像作为输入，调用初始预测模型，可以得到一个初始预测模式所预测的预测位置，之后比较预测位置和标记位置，得到残差量，并基于残差量反向传播，调整初始预测模型的模型参数，并重复上述过程，直至残差量小于预设值，确定上述初始预测模型收敛为第一预测模型，第一预测模型即用于实现图2至图9任一实施例所提供的图像内标识位置确定方法的第一预测模型。
在本实施例中，通过对样本图像进行预处理，得到指示样本图像内图像元素所在图像区域的第一特征图，再基于第一特征图和样本图像中的标记位置对初始预测模型进行训练，相当于为初始预测模型设置了参考信息，使第初始预测模型输出的预测位置能够具有位于目标区域之外、且与目标区域具有第一位置关系的特征，降低了第一预测模型的训练难度，提高模型预测准确性。
对应于上文实施例的图像内标识位置确定方法，图11为本公开实施例提供的图像内标识位置确定装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图11，图像内标识位置确定装置5包括：
获取模块51，用于获取目标图像；
处理模块52，用于针对目标图像进行处理，得到第一特征图，第一特征图用于指示目标图像内至少一个图像元素所在的目标区域；
预测模块53，用于基于第一特征图，调用第一预测模型，得到目标图像中待插入标识所在的目标位置，其中，目标位置位于目标区域之外，且与目标区域具有第一位置关系，第一位置关系基于目标图像内的至少一个图像元素的位置确定。
在本公开的一个实施例中，第一特征图包括对象特征图和显著性特征图；预测模块53，具体用于：将对象特征图和/或显著性特征图和目标图像进行特征融合，得到融合图像；调用第一预测模型对融合图像进行处理，得到目标位置。
在本公开的一个实施例中，第一预测模型包括依次连接的编码器单元和解码器单元，预测模块53在调用第一预测模型对融合图像进行处理，得到目标位置时，具体用于：通过编码器单元对融合图像进行自注意力计算，得到融合图像中各图像区域对应的第一融合特征，第一融合特征表征对应图像区域的图像特征和其他图像区域的图像特征的注意力加权和；通过解码器单元对融合特征进行解码计算，得到目标位置对应的解码向量，解码向量表征目标位置在目标图像的全局感受野下的特征；基于预训练的第二预测模型，将解码向量映射为目标位置的坐标。
在本公开的一个实施例中，预测模块53，还用于：获取形状特征，形状特征表征待插入标识的标识形状；通过编码器单元对形状特征进行自注意力计算，得到第二融合特征，第二融合特征表征形状特征与和各图像区域的图像特征的注意力加权和；预测模块53在通过解码器单元对融合特征进行解码计算，得到目标位置对应的解码向量时，具体用于：通过解码器单元对第一融合特征和第二融合特征进行解码计算，得到目标位置对应的解码向量。
在本公开的一个实施例中，融合图像包括至少两个图像子区域，在将对象特征图和/或显著性特征图和目标图像进行特征融合，得到融合图像之后，预测模块53，还用于：针对融合图像中的图像子区域进行特征提取，得到融合特征矩阵，融合特征矩阵表征融合图像中各图像子区域对应的区域特征；预测模块53在调用第一预测模型对融合图像进行处理，得到目标位置时，具体用于：调用第一预测模型处理融合特征矩阵，得到目标位置。
在本公开的一个实施例中，获取模块51，还用于：获取待插入标识的形状特征，形状特征表征待插入标识的标识形状；预测模块53，具体用于：以第一特征图和形状特征为输入，调用第一预测模型，得到目标图像中待插入标识所在的目标位置。
在本公开的一个实施例中，待插入标识包括文本框；获取模块51在获取待插入标识的形状特征时，具体用于：获取输入文本；根据输入文本，确定文本框的长宽比；基于第一预测模型对应的参数维度，对文本框的长宽比进行编码，得到形状特征。
在本公开的一个实施例中，处理模块52，具体用于：对目标图像中的人像进行图像识别，得到人像对应的面部区域；针对面部区域进行图像分割，得到第一特征图。
在本公开的一个实施例中，处理模块52，具体用于：对目标图像进行显著性检测，得到目标图像中像素点对应的显著性值；基于像素点对应的显著性值，得到第一特征图。
其中，获取模块31、处理模块32和预测模块33依次连接。本实施例提供的图像内标识位置确定装置3可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
对应于上文实施例的图像内标识位置确定方法，图12为本公开实施例提供的模型训练装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图12，模型训练装置6包括：
样本模块61，用于获取样本图像，样本图像中包含有至少一个图像元素，并标记有待插入标识所在的标记位置，标记位置位于图像元素所在的图像区域之外，且与图像区域具有第一位置关系，第一位置关系基于样本图像内的至少一个图像元素的位置确定；
预处理模块62，用于针对样本图像进行处理，得到第一特征图，第一特征图用于指示样本图像内至少一个图像元素所在的图像区域；
训练模块63，用于基于样本图像和第一特征图对初始预测模型进行训练，得到第一预测模型，其中，第一预测模型用于实现如图2-图9所对应任一实施例提供的图像内标识位置确定方法。
图13为本公开实施例提供的一种电子设备的结构示意图，如图13所示，该电子设备7包括：
处理器701，以及与处理器701通信连接的存储器702；
存储器702存储计算机执行指令；
处理器701执行存储器702存储的计算机执行指令，以实现如图2-图10所示实施例中的方法。
其中，可选地，处理器701和存储器702通过总线703连接。
相关说明可以对应参见图2-图10所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本公开图2-图10所对应的实施例中任一实施例提供的方法。
本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如图2-图10所示实施例中的方法。
参考图14，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图14示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(Read Only Memory，简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图14示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

1.一种图像内标识位置确定方法，其特征在于，包括：
获取目标图像；
针对所述目标图像进行处理，得到第一特征图，所述第一特征图用于指示所述目标图像内至少一个图像元素所在的目标区域；
基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，其中，所述目标位置位于所述目标区域之外，且与所述目标区域具有第一位置关系，所述第一位置关系基于所述目标图像内的至少一个图像元素的位置确定。
2.根据权利要求1所述的方法，其特征在于，所述第一特征图包括对象特征图和/或显著性特征图；
所述基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，包括：
将所述对象特征图和/或所述显著性特征图和所述目标图像进行特征融合，得到融合图像；
调用所述第一预测模型对所述融合图像进行处理，得到所述目标位置。
3.根据权利要求2所述的方法，其特征在于，所述第一预测模型包括依次连接的编码器单元和解码器单元，所述调用所述第一预测模型对所述融合图像进行处理，得到所述目标位置，包括：
通过所述编码器单元对所述融合图像进行自注意力计算，得到所述融合图像中各图像区域对应的第一融合特征，所述第一融合特征表征对应图像区域的图像特征和其他图像区域的图像特征的注意力加权和；
通过所述解码器单元对所述融合特征进行解码计算，得到所述目标位置对应的解码向量，所述解码向量表征所述目标位置在所述目标图像的全局感受野下的特征；
基于预训练的第二预测模型，将所述解码向量映射为所述目标位置的坐标。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取形状特征，所述形状特征表征所述待插入标识的标识形状；
通过所述编码器单元对所述形状特征进行自注意力计算，得到第二融合特征，所述第二融合特征表征所述形状特征与和各所述图像区域的图像特征的注意力加权和；
通过所述解码器单元对所述融合特征进行解码计算，得到所述目标位置对应的解码向量，包括：
通过所述解码器单元对所述第一融合特征和所述第二融合特征进行解码计算，得到所述目标位置对应的解码向量。
5.根据权利要求2所述的方法，其特征在于，所述融合图像包括至少两个图像子区域，在将所述对象特征图和/或所述显著性特征图和所述目标图像进行特征融合，得到融合图像之后，还包括：
针对所述融合图像中的图像子区域进行特征提取，得到融合特征矩阵，所述融合特征矩阵表征所述融合图像中各所述图像子区域对应的区域特征；
调用所述第一预测模型对所述融合图像进行处理，得到所述目标位置，包括：
调用所述第一预测模型处理所述融合特征矩阵，得到所述目标位置。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待插入标识的形状特征，所述形状特征表征所述待插入标识的标识形状；
所述基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，包括：
以所述第一特征图和所述形状特征为输入，调用所述第一预测模型，得到所述目标图像中待插入标识所在的目标位置。
7.根据权利要求6所述的方法，其特征在于，所述待插入标识包括文本框；所述获取所述待插入标识的形状特征，包括：
获取输入文本；
根据所述输入文本，确定所述文本框的长宽比；
基于所述第一预测模型对应的参数维度，对所述文本框的长宽比进行编码，得到所述形状特征。
8.根据权利要求1所述的方法，其特征在于，所述针对所述目标图像进行处理，得到第一特征图，包括：
对所述目标图像中的人像进行图像识别，得到所述人像对应的面部区域；
针对所述面部区域进行图像分割，得到所述第一特征图。
9.根据权利要求1所述的方法，其特征在于，所述针对所述目标图像进行处理，得到第一特征图，包括：
对所述目标图像进行显著性检测，得到所述目标图像中像素点对应的显著性值；
基于所述像素点对应的显著性值，得到所述第一特征图。
10.一种模型训练方法，其特征在于，包括：
获取样本图像，所述样本图像中包含有至少一个图像元素，并标记有待插入标识所在的标记位置，所述标记位置位于图像元素所在的图像区域之外，且与所述图像区域具有第一位置关系，所述第一位置关系基于所述样本图像内的至少一个图像元素的位置确定；
针对所述样本图像进行处理，得到第一特征图，所述第一特征图用于指示所述样本图像内至少一个所述图像元素所在的图像区域；
基于所述样本图像和所述第一特征图对初始预测模型进行训练，得到第一预测模型，其中，所述第一预测模型用于实现如权利要求1-9任一项所述的图像内标识位置确定方法。
11.一种图像内标识位置确定装置，其特征在于，
获取模块，用于获取目标图像；
处理模块，用于针对所述目标图像进行处理，得到第一特征图，所述第一特征图用于指示所述目标图像内至少一个图像元素所在的目标区域；
预测模块，用于基于所述第一特征图，调用第一预测模型，得到所述目标图像中待插入标识所在的目标位置，其中，所述目标位置位于所述目标区域之外，且与所述目标区域具有第一位置关系，所述第一位置关系基于所述目标图像内的至少一个图像元素的位置确定。
12.一种模型训练装置，其特征在于，包括：
样本模块，用于获取样本图像，所述样本图像中包含有至少一个图像元素，并标记有待插入标识所在的标记位置，所述标记位置位于图像元素所在的图像区域之外，且与所述图像区域具有第一位置关系，所述第一位置关系基于所述样本图像内的至少一个图像元素的位置确定；
预处理模块，用于针对所述样本图像进行处理，得到第一特征图，所述第一特征图用于指示所述样本图像内至少一个所述图像元素所在的图像区域；
训练模块，用于基于所述样本图像和所述第一特征图对初始预测模型进行训练，得到第一预测模型，其中，所述第一预测模型用于实现如权利要求1-9任一项所述的图像内标识位置确定方法。
13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至10中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至10任一项所述的方法。
15.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法。
CN202310659776.3A 2023-06-05 2023-06-05 图像内标识位置确定方法、模型训练方法、装置及设备 Pending CN116681765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310659776.3A CN116681765A (zh) 2023-06-05 2023-06-05 图像内标识位置确定方法、模型训练方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310659776.3A CN116681765A (zh) 2023-06-05 2023-06-05 图像内标识位置确定方法、模型训练方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116681765A true CN116681765A (zh) 2023-09-01

Family

ID=87780580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310659776.3A Pending CN116681765A (zh) 2023-06-05 2023-06-05 图像内标识位置确定方法、模型训练方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116681765A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024051639A1 (zh) * 2022-09-09 2024-03-14 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质和产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024051639A1 (zh) * 2022-09-09 2024-03-14 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质和产品

Similar Documents

Publication Publication Date Title
CN112184738B (zh) 一种图像分割方法、装置、设备及存储介质
CN111242881A (zh) 显示特效的方法、装置、存储介质及电子设备
CN111738316B (zh) 零样本学习的图像分类方法、装置及电子设备
CN111368668B (zh) 三维手部识别方法、装置、电子设备及存储介质
CN116681765A (zh) 图像内标识位置确定方法、模型训练方法、装置及设备
CN111209856B (zh) 发票信息的识别方法、装置、电子设备及存储介质
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN110288532B (zh) 生成全身图像的方法、装置、设备及计算机可读存储介质
CN115330925A (zh) 图像渲染方法、装置、电子设备及存储介质
CN114170233B (zh) 图像分割标签的生成方法、装置、电子设备及存储介质
CN117437516A (zh) 语义分割模型训练方法、装置、电子设备及存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
CN110619028A (zh) 房源详情页的地图显示方法、装置、终端设备及介质
CN113238652B (zh) 视线估计方法、装置、设备及存储介质
CN117437411A (zh) 语义分割模型训练方法、装置、电子设备及存储介质
CN111428721A (zh) 词语释义的确定方法、装置、设备及存储介质
CN111340813B (zh) 图像实例分割方法、装置、电子设备及存储介质
CN113936271A (zh) 文本识别方法、装置、可读介质及电子设备
CN114090817A (zh) 一种人脸特征数据库动态构建方法、装置及存储介质
CN114898282A (zh) 图像处理方法及装置
CN111461227B (zh) 样本生成方法、装置、电子设备和计算机可读介质
CN110390291B (zh) 数据处理方法、装置及电子设备
CN112418233B (zh) 图像处理方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination