CN117372828A - 多媒体信息的标签生成方法、装置、存储介质和电子设备 - Google Patents

多媒体信息的标签生成方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN117372828A
CN117372828A CN202311338293.XA CN202311338293A CN117372828A CN 117372828 A CN117372828 A CN 117372828A CN 202311338293 A CN202311338293 A CN 202311338293A CN 117372828 A CN117372828 A CN 117372828A
Authority
CN
China
Prior art keywords
feature
features
sample
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311338293.XA
Other languages
English (en)
Inventor
张韵璇
黄梓琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311338293.XA priority Critical patent/CN117372828A/zh
Publication of CN117372828A publication Critical patent/CN117372828A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开一种多媒体信息的标签生成方法、装置、存储介质和电子设备，本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。该方法中，从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征，基于指定图像元素的提示特征，对目标图像特征进行融合处理，获得目标因果特征，通过对目标因果特征进行特征离散化处理，获得目标离散特征，并针对该目标离散特征，从多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，将至少一个参考离散特征关联的参考文本标签，作为所述目标多媒体信息的目标文本标签，用以精准生成目标多媒体信息的目标文本标签。

Description

多媒体信息的标签生成方法、装置、存储介质和电子设备
技术领域
本申请涉及互联网技术领域，尤其涉及一种多媒体信息的标签生成方法、装置、存储介质和电子设备。
背景技术
随着多媒体信息在互联网上的广泛流行，衍生出各种依托图像处理技术，实现多媒体信息的文本标签生成方式。
相关技术下，通常基于图像处理技术检测目标多媒体信息中的目标图像对象，并基于各图像对象与对象类别之间的预设对应关系，识别该目标图像对象的对象类别，从而生成目标多媒体信息的目标文本标签。
然而，当目标图像对象的对象类别未知时，相关方案缺少该目标图像对象与相应未知对象类别之间的对应关系，无法识别出该目标图像对象的对象类别，导致难以生成相应的目标文本标签。
发明内容
本申请提供一种多媒体信息的标签生成方法、装置、存储介质和电子设备，用以精准生成目标多媒体信息的目标文本标签。
第一方面，本申请提供了一种多媒体信息的标签生成方法，包括：
从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征；
基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征；其中，所述提示特征表征：多个历史多媒体信息各自针对所述指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系；
对所述目标因果特征进行特征离散化处理，获得目标离散特征，并针对所述目标离散特征，从所述多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征；
将所述至少一个参考离散特征关联的参考文本标签，作为所述目标多媒体信息的目标文本标签。
第二方面，本申请提供了一种多媒体信息的标签生成装置，包括：
提取单元，用于从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征；
获得单元，用于基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征；其中，所述提示特征表征：多个历史多媒体信息各自针对所述指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系；
生成单元，用于对所述目标因果特征进行特征离散化处理，获得目标离散特征，并针对所述目标离散特征，从所述多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征；将所述至少一个参考离散特征关联的参考文本标签，作为所述目标多媒体信息的目标文本标签。
可选地，所述提取单元，具体用于：
从包含至少一种图像元素的目标多媒体信息中，获取包含指定图像元素的目标图像；
将所述目标图像分为多个图像块，并获取所述多个图像块各自的令牌序列；其中，每个令牌序列中的一个令牌表征：相应图像块中的一个像素点；
根据所述多个图像块的排列次序，对获取的多个令牌序列进行批处理，获得所述目标图像的初始令牌序列；
基于各令牌属于所述指定图像元素的概率，对所述初始令牌序列进行序列分析处理，获得所述目标多媒体信息中指定图像元素的目标图像特征。
可选地，所述提示特征是通过以下方式获得的，则所述获得单元，还用于：
获取所述多个历史多媒体信息各自针对所述指定图像特征提取的历史图像特征和相应的参考文本标签；以及，获取随机生成的初始提示特征；
分别基于每个历史图像特征和相应的参考文本标签，对所述初始提示特征进行多轮迭代更新，获得更新后的提示特征；其中，在一次迭代过程中：
基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征；
根据所述历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新所述本轮迭代对应的初始提示特征，获得更新后的提示特征，并作为下一轮迭代对应的初始提示特征。
可选地，所述获得单元，还用于基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征，具体用于：
将本轮迭代对应的初始提示特征与历史各轮迭代对应的初始提示特征进行自注意力特征交互处理，以及，将所述本轮迭代对应的提示特征与一个历史图像特征进行交叉注意力特征交互处理，获得中间提示特征；
基于所述中间提示特征，对所述一个历史图像特征进行融合处理，获得所述一个历史图像特征的历史因果特征。
可选地，所述获得单元，还用于根据所述历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新所述本轮迭代对应的初始提示特征，获得更新后的提示特征，还用于：
计算所述历史因果特征与，相应历史图像特征的参考文本标签的文本标签特征之间的第一特征相似度；
从获取的多个历史图像特征中，获取除所述相应历史特征以外的其他历史特征；
分别计算所述历史因果特征与，各其他历史图像特征各自的参考文本标签的文本标签特征之间的第二特征相似度；
基于第一特征相似度对所述本轮迭代对应的初始提示特征的正向影响，以及基于各第二特征相似度各自对所述本轮迭代对应的初始提示特征的负向影响，对所述本轮迭代对应的初始提示特征进行更新处理，获得更新后的提示特征。
可选地，所述获得单元，具体用于：
获取具有指定特征维度的提示特征；
基于所述提示特征，对所述目标图像特征的特征维度进行维度变换处理，获得具有所述指定特征维度的目标因果特征。
可选地，所述生成单元，用于对所述目标因果特征进行特征离散化处理，获得目标离散特征，具体用于：
获取所述多个历史多媒体信息各自的历史因果特征；其中，每个历史因果特征是基于所述提示特征，对相应历史多媒体信息的历史图像特征进行融合处理获得的；
获取每个历史因果特征各自对应的历史离散特征；其中，所述每个历史离散特征是对相应历史因果特征进行特征离散化处理后获得的；
针对所述目标因果特征，从获取的多个历史因果特征中，选取满足预设因果相似条件的历史因果特征所对应的历史离散特征，作为目标离散特征。
可选地，所述每个历史因果特征各自对应的历史离散特征，分别是通过以下方式生成的，则所述生成单元，还用于：
针对一个历史因果特征进行特征采样处理，获得特征值序列；其中，所述特征值序列中的每个特征值表征：一种特征描述属性的类别；
将所述特征值序列中的每个特征值，分别映射到相应特征属性关联的特征空间中，获得所述每个特征值各自的映射特征值；其中，每个映射特征值表征：相应特征描述属性的类别概率；
根据获得的各映射特征值，生成所述一个历史因果特征的历史离散特征。
可选地，所述装置还包括：获取单元；
所述获取单元，用于获取每个历史离散特征各自关联的参考文本标签，其中，每获取一个历史离散特征关联的参考文本标签，分别执行如下操作：
获取所述多个历史多媒体信息各自对应参考文本标签的文本标签特征；
针对获取的多个文本标签特征，进行特征聚类处理，获得至少一个文本标签特征集合；
从所述至少一个文本标签特征集合各自的集合表征特征中，选取与所述一个历史离散特征之间满足预设特征相似条件的集合表征特征；
基于选取的集合表征特征，将相应文本标签特征集合中各文本标签特征所表征的参考文本标签，均作为所述一个历史离散特征关联的参考文本标签。
可选地，所述基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征，通过已训练的标签生成模型执行，其中，所述标签生成模型是通过如下方式训练获得的，则所述获得单元，还用于：
获取样本多媒体信息集及其包含的各个样本图像元素，针对每个样本图像元素，分别执行如下操作：
获取训练样本集，所述训练样本集中的每个训练样本包括：一个样本图像特征和相应的样本标签特征；其中，所述样本图像特征是针对一个样本多媒体信息中的一个样本图像元素进行提取获得的，所述样本标签为所述一个样本多媒体信息的参考文本标签的特征；
采用所述训练样本集，分别对待训练的标签生成模型中的，针对所述一个样本图像元素预设的样本提示特征进行迭代训练，其中，在一次迭代过程中，执行以下操作：获得基于所述样本提示特征，对提取的样本图像特征进行特征融合处理生成的样本因果特征后，对所述样本因果特征进行特征重构处理，获得重构多媒体信息；基于各重构多媒体信息与相应的样本多媒体信息之间的差异，并结合所述样本标签特征，调整所述样本提示特征。
可选地，所述获得单元，还用于对所述样本因果特征进行特征重构处理，获得重构多媒体信息，具体用于：
对所述样本因果特征进行离散化处理，获得样本离散特征；
基于针对所述一个样本图像元素预设的重构提示特征，对所述样本离散特征进行融合处理，获得样本生成特征；
针对所述样本生成特征进行特征重构处理，获得重构多媒体信息。
可选地，所述获得单元，还用于基于各重构多媒体信息与相应的样本多媒体信息之间的差异，结合所述样本标签特征，调整所述样本提示特征，具体用于：
获取各样本图像特征各自的重构多媒体信息，与相应的样本多媒体信息之间的媒体差异信息；
基于各媒体差异信息各自对所述样本提示特征和所述样本重构提示特征的负向影响，调整所述样本提示特征和所述样本重构提示特征；
获取所述各样本图像特征各自的样本因果特征，与相应的样本标签特征之间的因果差异信息；
基于各因果差异信息各自对所述样本提示特征的负向影响，调整所述样本提示特征；
获取所述各样本图像特征各自的样本生成特征，与相应的样本标签特征之间的生成差异信息；
基于各生成差异信息对所述样本重构提示特征的负向影响，调整所述样本重构提示特征。
第三方面，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任意一种多媒体信息的标签生成方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质内存储有计算机程序指令，所述计算机程序指令被处理器执行上述第一方面中任意一种多媒体信息的标签生成方法。
第五方面，本申请实施例提供的一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面中任意一种多媒体信息的标签生成方法。
本申请有益效果如下：
本申请实施例中，提供一种多媒体信息的标签生成方法，用以精准生成目标多媒体信息的目标文本标签，本申请实施例所提出的方法，无需针对目标图像对象进行检测，能够解决相关技术无法检测未知对象类别的图像特征，进而难以生成相应目标多媒体信息的目标文本标签的问题。
具体而言，本申请实施例中，首先针对指定图像元素进行处理，从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征。这样，使得提取的目标图像特征能，够保留更多目标多媒体信息中的有效信息。
然后，基于描述指定图像元素的提示特征，对目标图像特征进行融合处理，获得目标因果特征，其中提示特征表征：多个历史多媒体信息各自的历史图像特征与相应的参考文本标签之间的关联关系。如此，由于提示特征能用以表征各历史图像特征与相应的参考文本标签之间的关联关系，其能够基于该关联关系，更具有针对性地描述指定图像元素，通过融合该提示特征和目标图像特征，获得目标因果特征，这样，该目标因果特征不仅包含目标多媒体信息中的有效信息，还包含针对性描述指定图像元素的信息，有助于提升后续基于该目标因果特征生成相应目标文本标签的准确率。
后续，对目标因果特征进行特征离散化处理，获得目标离散特征，再针对该目标离散特征，从多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，并将选取的至少一个参考离散特征所关联的参考文本标签，作为目标多媒体信息的目标文本标签。如此，容易理解地，对目标因果特征进行离散化处理，得到的目标离散特征的数据量更小，其参与后续处理过程所需计算资源及计算时间也相应减少，此外，历史多媒体信息与历史离散特征具有对应关系，则能有效提升比对多个历史多媒体信息各自的历史离散特征，与目标离散特征之间的比对效率，通过选取满足预设离散相似条件的至少一个参考离散特征，将其相应的历史多媒体信息的参考文本标签，作为目标多媒体信息的目标文本标签，从而精准生成目标文本标签。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中可能的标签生成方案的示意图；
图2为本申请实施例中可选的应用场景的交互示意图；
图3A～图3B为本申请实施例中可选的具体应用场景的示意图；
图4为本申请实施例提供的多媒体信息的标签生成方法的流程示意图；
图5为本申请实施例中可选的提取目标图像特征的过程示意图；
图6为本申请实施例中可选的提示特征的表征示意图；
图7为本申请实施例中可选的获得初始提示特征的迭代过程示意图；
图8为本申请实施例中可选的获得历史因果特征的迭代过程示意图；
图9为本申请实施例中可选的获得更新后的提示特征的单轮迭代示意图；
图10为本申请实施例中可选的获得目标离散特征的过程示意图；
图11为本申请实施例中可选的获得历史离散特征的过程示意图；
图12为本申请实施例中可选的获得历史离散特征关联的参考文本特征的过程示意图；
图13为本申请实施例提供的一种标签生成模型的训练方法的流程示意图；
图14A～图14B为本申请实施例中可选的生成样本因果特征的示意图；
图15为本申请实施例中可选的生成图像标签的示意图；
图16A～图16B为本申请实施例中有生成标签需求的业务场景示意图；
图17为本申请实施例提供的多媒体信息的标签生成装置的结构示意图；
图18为本申请实施例提供的计算机设备的一种结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
本申请实施例涉及人工智能技术，主要涉及工智能技术中的计算机视觉技术、自然语言处理技术。
人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革，swin-transformer，ViT，V-MOE，MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理涉及自然语言，即人们日常使用的语言，与语言学研究密切；同时涉及计算机科学和数学。人工智能领域模型训练的重要技术，预训练模型，即是从NLP领域的大语言模型(Large Language Model，LLM)发展而来。经过微调，大语言模型可以广泛应用于下游任务。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
自动驾驶技术，指车辆在无驾驶员操作的情况下实现自行驾驶。通常包括高精地图、环境感知、计算机视觉、行为决策、路径规划、运动控制等技术。自动驾驶包括单车智能、车路协同、联网云控等多种发展路径。自动驾驶技术有着广泛的应用前景，目前的领域为物流、公共交通、出租车、智慧交通领域外，未来将得到进一步发展。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的人工智能生成内容(AIGC)、对话式交互、智能医疗、智能客服、游戏AI、智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
在本申请实施例中，将人工智能技术应用于生成标签领域，具体用于生成多媒体信息的文本标签，以提高生成精度。
下面对本申请实施例的设计思想进行简要介绍。
随着互联网的兴起，互联网多媒体信息广泛流行在各大门户网站、搜索引擎、社交网络以及终端设备应用程序上。基于此，衍生出各种依托图像处理技术，实现多媒体信息的文本标签生成方式。
相关技术下，通常基于图像处理技术检测目标多媒体信息中的目标图像对象，并基于各图像对象与对象类别之间的预设对应关系，识别该目标图像对象的对象类别，从而生成目标多媒体信息的目标文本标签。
例如，参考图1所示，以图片形式的目标多媒体信息为例，通过目标检测框定其中的小狗，作为目标图像对象，可以看出，数据库存储部分图像对象与相应对象类别之间的预设对应关系，对象类别包括：车子、猫咪、熊猫，这些对象类别无法准确描述目标检测框定的小狗，这样，无法获得示图中目标图像对象的对象类别，从而也无法生成目标多媒体信息的目标文本标签。
此外，相关方案通常采用目标检测的方式检测目标图像对象，该方式在针对目标多媒体信息中较小的目标图像对象进行检测时，将会受到目标多媒体信息中较大的其他图像对象的影响，造成漏检或误检目标图像对象的情况发生，导致后续基于错误的目标图像对象生成的目标文本标签不准确。
鉴于此，本申请实施例提供了一种多媒体信息的标签生成方法，在该方法中，首先提供一种细粒度的标签生成方式，从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征；换言之，区别于相关方案对于粗粒度的目标图像对象的关注，本申请实施例关注的是细粒度的指定图像元素，而针对目标多媒体信息中的不同信息进行关注，将直接影响后面目标文本特征生成的准确性，容易理解地，相较目标图像对象，关注指定图像元素，能够保留目标多媒体信息中更多的有效信息，从而提高生成细粒度的目标文本标签的准确性。
其次，为了提高后续针对指定图像元素生成目标多媒体信息的目标文本特征的准确性，本申请实施例提供了一种特征融合方式，基于指定图像元素的提示特征，对目标图像特征进行融合处理，获得目标因果特征，其中提示特征表征：多个历史多媒体信息各自针对指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系；换言之，获得的目标因果特征不仅包含目标多媒体信息中的有效信息，还包含针对性描述指定图像元素的信息，有助于提升后续基于该目标因果特征生成相应目标文本标签的准确率。
再次，本申请还提供了一种提高标签生成效率的方式，通过对目标因果特征进行特征离散化处理，获得目标离散特征，并针对该目标离散特征，从多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，再将至少一个参考离散特征关联的参考文本标签，作为目标多媒体信息的目标文本标签；换言之，通过特征离散化处理的方式，不仅提高后续处理效率，还实现图文模态的连通，实现对于细粒度目标文本标签的精准生成。
下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例提供的方案可以适用于大多数涉及多媒体信息的文本标签生成场景中，例如：生成图片的文本标签场景和视频的文本标签生成场景等。
参考图2所示，为本申请实施例提供的一种应用场景示意图，在该场景中，可以包括终端设备210和服务器220。
在本申请实施例中，终端设备210包括但不限于手机、电脑、平板电脑、笔记本电脑、台式电脑、车载终端电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端、飞行器等等设备；终端设备上可以安装有生成多媒体信息标签的客户端(例如：标签生成平台)，该客户端可以是软件(例如浏览器、图像处理软件等)，也可以是网页、小程序等，服务器220则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行图像处理的服务器，本申请不做具体限定。服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请各实施例中的提示特征的获得方法、历史因果特征各自对应的历史离散特征的生成方法、或者标签生成模型的训练方法可以由电子设备执行，该电子设备可以为终端设备210或者服务器220，即，该方法可以由终端设备210或者服务器220单独执行，也可以由终端设备210和服务器220共同执行。比如由终端设备210和服务器220共同执行时，以标签生成模型的训练方法为例，在模型训练阶段，通过服务器220构建训练样本集，并基于该训练样本集对待训练的标签生成模型进行多轮迭代训练，获得已训练的标签生成模型，并部署于服务器220上。
在模型应用阶段，通过终端设备210获取包含至少一种图像元素的目标多媒体信息，并将该目标多媒体信息发送给服务器220，或者，提取指定图像元素的目标图像特征发送给服务器220，或者，将目标多媒体特征或目标图像特征的统一资源定位符(UniformResource Locator，URL)发送给服务器220，由服务器220自行下载，等等；进而，经过服务器220上部署的标签生成模型，基于指定图像元素的提示特征，对目标多媒体特征的目标图像特征进行融合处理，获得目标因果特征，再对目标因果特征进行特征离散化处理，获得目标离散特征；继而，通过服务器220或终端设备210，针对目标离散特征，从多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，将至少一个参考离散特征关联的参考文本标签，作为目标多媒体信息的目标文本标签。最终，由终端设备210进行可视化展示。
示例性地，本申请实施例提供的方案可适用于各种生成多媒体信息标签的应用场景中，例如：生成图片标签的应用场景以及生成视频标签的应用场景等。
参考图3A所示，为本申请实施例提供的一种生成图片标签的应用场景示意图，在该场景中，以服务器220作为标签生成平台的后台服务器，以终端设备210作为标签生成平台与使用对象进行交互的主体。使用对象可以在终端设备210上使用标签生成平台，通过向标签生成平台发送目标图片；相应地，终端设备210在获取到目标图片后，提取其中指定图像元素的目标图像特征，将该目标图像特征转发给服务器220；相应地，服务器220在接收目标图像特征，并基于指定图像元素的提示特征，对目标图像特征进行融合处理，获得目标因果特征，通过对目标因果特征进行特征离散化处理，获得目标离散特征，然后针对目标离散特征，从多个历史图像各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，将选取的至少一个参考离散特征关联的参考文本标签，作为目标图片的目标文本标签。
参考图3B所示，为本申请实施例提供的一种生成视频标签的应用场景示意图，在该场景中，以服务器220作为标签生成平台的后台服务器，以终端设备210作为标签生成平台与使用对象进行交互的主体。使用对象可以在终端设备210上使用标签生成平台，通过向标签生成平台发送目标视频；相应地，终端设备210在获取到目标视频后，提取其中指定图像元素的目标图像特征，将该目标图像特征转发给服务器220；相应地，服务器220在接收目标图像特征，并基于指定图像元素的提示特征，对目标图像特征进行融合处理，获得目标因果特征，通过对目标因果特征进行特征离散化处理，获得目标离散特征，然后针对目标离散特征，从多个历史视频各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，将选取的至少一个参考离散特征关联的参考文本标签，作为目标视频的目标文本标签。
需要说明的是，在上述标签生成场景中，用于生成图片标签的标签生成平台与用于生成视频标签的标签生成平台，可以分别对应不同的客户端，相应客户端分别部署在不同的后台服务器中；其中，客户端可以为小程序客户端和浏览器客户端等，并且小程序客户端和浏览器客户端可以分别部署在不同的后台服务器中。
当然，本申请实施例提供的方法并不限用于图2、图3A或图3B所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图2、图3A或图3B所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
另外，上述所列举的由终端设备210和服务器220共同执行该多媒体信息的标签生成方法的过程只是一种可行的实施方式，实际上，任何一种由终端设备210、服务器220执行该方法的过程都适用于本申请实施例，本文不再逐一赘述。
在一种可选的实施方式中，终端设备210与服务器220之间可以通过一个或者多个网络230进行直接或间接的通信连接。该网络230可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(Wireless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本发明实施例对此不做限制。
需要说明的是，在本申请实施例中，终端设备210的数量可以为一个，也可以为多个，同样的，服务器220的数量也可以为一个，也可以为多个，也就是说对于，终端设备210或者服务器220的数量并不进行限制。
在一种可能的应用场景中，为了便于降低检索的通信时延，可以在各个地区部署服务器220，或为了负载均衡，可以由不同的服务器220分别去服务不同地区的终端设备210，例如，终端设备210位于地点a，与服务地点a的服务器220建立通信连接，终端设备210位于地点b，与服务地点b的服务器220建立通信连接，多个服务器220组成一数据共享系统，通过区块链实现数据的共享。
对于数据共享系统中的每个服务器220，均具有与该服务器220对应的节点标识，数据共享系统中的每个服务器220均可以存储有数据共享系统中其他服务器220的节点标识，以便后续根据其他服务器220的节点标识，将生成的区块广播至数据共享系统中的其他服务器220。每个服务器220中可维护一个节点标识列表，将服务器220名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为网络之间互联的协议(Internet Protocol，IP)地址以及其他任一种能够用于标识该节点的信息。
示例性地，本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的多媒体信息的标签生成方法，其中所涉及的指定图像元素、指定图像元素的提示特征、历史多媒体信息、历史图像特征、历史因果特征、历史离散特征、参考文本标签、已训练的文本生成模型等都可保存于区块链上。
此外，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶、自动驾驶等场景。
下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的分割图评估模型的训练方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。
下面，结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。且需要说明的是，下述的方法可以由上述终端设备或者服务器执行，也可以由终端设备和服务器共同执行，这里具体是以终端设备或者服务器执行为例进行示出的。
参阅图4所示，为本申请实施例提供的一种多媒体信息的标签生成方法的实施流程图，以表征为终端设备或服务器的计算设备为执行主体为例，该方法的具体实施流程如下：
步骤401：从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征。
本申请实施例中，目标多媒体信息为包含至少一种图像元素的多媒体信息。其中，多媒体信息作为人机交互式信息交流和传播的介质，可以包含一种、或者、组合两种及两种以上媒体。媒体包括图片、文字、声音、影片等，则多媒体信息可包含图片、视频、广告、文章、资讯、音乐等内容。
本申请实施例中，图像元素为可从目标多媒体信息中被分割出来的部分可视化元素。一般而言，图像元素用于表征或构成指定目标，该指定目标在目标多媒体中可呈现出分散化的可视化分布，例如：构成对象表情的图像元素、构成对象五官的图像元素、表征对象情绪的图像元素，等等。
在一种实施方式中，上述指定图像元素可以根据实际需求而定；例如，为选定目标多媒体信息中的指定图像元素，针对目标多媒体信息，通过计算其中各图像元素属于指定图像元素的概率，提取出指定图像元素。
可选地，当目标多媒体信息为图片时，通过计算该图片中各像素点各自属于指定图像元素的概率，提取出指定图像元素。
可选地，当目标多媒体信息为视频时，计算每帧图片中各像素点各自属于指定图像元素的概率，提取出指定图像元素。
进一步，本申请实施例中，为实现生成细粒度的目标文本标签，从目标多媒体信息中，提取指定图像元素的目标图像特征。
在一种实施方式中，从目标多媒体信息中，获取包含指定图像元素的目标图像，将该目标图像分为多个图像块，并获取这多个图像块各自的令牌序列，根据多个图像块的排列次序，对获取的多个令牌序列进行批处理，得到目标图像的初始令牌序列，然后，基于各令牌属于指定图像元素的概率，对初始令牌序列进行序列分析处理，获得目标多媒体信息中指定图像元素的目标图像特征。
具体地，上述图像块可表征为目标图像的子图。上述每个令牌序列中的一个令牌表征：相应图像块中的一个像素点。上述多个图像块的排列次序可根据图像块的切分次序所确定、也可根据各图像块在目标图像中的排列所确定。
参考图5所示，为提取目标图像特征的过程示意图，以图片这种目标多媒体信息为例，将目标多媒体信息拆分为4个图像块，并基于从左至右、从上至下的次序，为这4个图像块添加相应的位置信息(在图5中示为序号1～4)，基于各图像块的位置信息，可获得这4个图像块的排列次序，以及，获取每个图像块的令牌序列，也即对每个图像块进行令牌(token，也即词元)化处理所生成的像素点序列，然后基于4个图像块的排列次序，对获取的4个令牌序列进行排列，获得初始令牌序列，根据其中各令牌属于指定图像元素的概率，对初始令牌序列进行序列分析处理，获得目标多媒体信息中指定图像元素的目标图像特征。
可选地，上述目标图像特征的提取方式可通过已训练的ViT(VisionTransformer，一种完全基于自注意力机制的图像分类方法)图像编码器获得，在此不再展开阐述。
需要说明的是，本申请实施例还可采用其他提取目标图像特征的方式，在此不做具体限制，其目的都是为了聚焦目标多媒体信息中的细粒度的有效特征，以提高目标图像特征的提取精度，使得后续能够生成精细化的目标文本标签，解决现有技术主要关注类别信息，而忽略细节信息(例如：嘴角上扬或下撇、眉毛舒展或皱起等的五官信息等)的问题。
步骤402：基于指定图像元素的提示特征，对目标图像特征进行融合处理，获得目标因果特征；其中，提示特征表征：多个历史多媒体信息各自针对指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系。
本申请实施例中，针对提示特征来说，一方面，提示特征所表征的关联关系至少是基于针对指定图像元素提取的各历史图像特征生成，则提示特征可用于描述指定图像元素。另一方面，提示特征所表征的关联关系至少基于各参考文本标签生成，则提示特征还可用于描述各参考文本标签的共性信息，也即用于提示文本标签。进一步地，提示特征所表征的关联关系对应：指定图像元素和文本标签，则提示特征可用于提示生成描述指定图像元素的文本标签。
参考图6所示，为本申请实施例中可选的提示特征的表征示意图，以图片这种目标多媒体信息为例，在该图片中，可以看到一只小狗微笑地坐在草坪上，则当指定图像元素不同时，提示特征的表征也可相应变化。例如，当指定图像元素为图像描述元素时，提示特征的表征为“图片为”。再如：当指定图像元素为图像分类元素时，提示特征的表征为“图片里有什么”。
在一种实施方式中，提示特征是通过以下方式获得的：获取多个历史多媒体信息各自针对指定图像特征提取的历史图像特征和相应的参考文本标签，以及，获取随机生成的初始提示特征，再分别基于每个历史图像特征和相应的参考文本标签，对初始提示特征进行多轮迭代更新，获得更新后的提示特征。
具体地，在一次迭代过程中：基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征，然后，根据历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新本轮迭代对应的初始提示特征，获得更新后的提示特征，并将该更新后的提示特征，作为下一轮迭代对应的初始提示特征。
参考图7所示，为本申请实施例中可选的获得初始提示特征的迭代过程示意图，获取的N个历史图像特征与N个文本标签特征分别关联，且获取的初始提示特征1可以是随机生成的，则分别基于N个历史图像特征，对初始提示特征1进行N轮迭代处理，获得经过第N轮迭代更新后的提示特征，作为指定图像元素的提示特征。如图7所示，可以看出，在第1次迭代过程中，基于初始提示特征1，对历史图像特征1进行融合处理，获得历史因果特征1，然后给根据历史因果特征1与相应的文本标签特征1之间的特征相似度，更新第1次迭代对应的初始提示特征1，获得第1次迭代更新后的提示特征，作为第2次迭代对应的初始提示特征2，以此类推，通过N轮迭代后，获得更新后的提示特征。
需要说明的是，为了保证获得的提示特征，能够更好地提示生成描述指定图像元素的文本标签，以提高后续生成目标文本标签的精度，本申请实施例还提出一种用于提高提示特征的获得精度的方式。
具体地，用于提高提示特征的获得精度的方式，主要涉及如下两个部分中的任一部分及组合：如何基于每轮迭代对应的初始提示特征，获得相应的历史因果特征；如何基于每轮迭代对应的历史因果特征，获得相应更新后的提示特征。
第一部分：如何基于每轮迭代对应的初始提示特征，获得相应的历史因果特征。
本申请实施例中，通过引入注意力机制的方式，将每轮迭代对应的初始提示特征，分别与各历史迭代对应的初始提示特征(自身)、相应历史图像特征(交叉)进行特征交互处理，获得中间提示特征，再将该中间提示特征与相应的历史图像特征进行融合，获得历史因果特征。
参考图8所示，为本申请实施例中可选的获得历史因果特征的迭代过程示意图，如图8所示，可以看到，在第1轮迭代过程中，将第1轮迭代对应的初始提示特征1与相应的历史图像特征1进行交叉注意力特征交互处理，然而由于不存在历史迭代对应的初始提示特征，则可不对第1轮迭代对应的初始提示特征1进行自注意力特征交互处理，或者，将初始提示特征1与自身进行自注意力交互处理，从而获得基于特征交互处理生成的中间提示特征1，通过融合中间提示特征1与历史图像特征1，获得历史因果特征1。在第2轮迭代过程中，将第2轮迭代对应的初始提示特征2与相应的历史图像特征2进行交叉注意力特征交互处理，并且，将初始提示特征2与初始提示特征1进行自注意力特征交互处理，从而获得基于特征交互处理生成的中间提示特征2，通过融合中间提示特征2与历史图像特征2，获得历史因果特征2。在第3轮迭代过程中，将第3轮迭代对应的初始提示特征3与相应的历史图像特征3进行交叉注意力特征交互处理，并且，将初始提示特征1、初始提示特征2分别与初始提示特征3进行自注意力特征交互处理，从而获得基于特征交互处理生成的中间提示特征3，通过融合中间提示特征3与历史图像特征3，获得历史因果特征3。后面轮次的迭代过程可以此类推，在此不再赘述。
第二部分：如何基于每轮迭代对应的历史因果特征，获得相应更新后的提示特征。
本申请实施例中，基于比对学习，分别针对每轮迭代，计算单轮迭代对应的历史因果特征与，相应历史图像特征的参考文本标签的文本标签特征之间的第一特征相似度；并且，通过从获取的多个历史图像特征中，获取除该相应历史特征以外的其他历史特征，分别计算该单轮迭代对应的历史因果特征与，各其他历史图像特征各自的参考文本标签的文本标签特征之间的第二特征相似度；然后，基于第一特征相似度对单轮迭代对应的初始提示特征的正向影响，以及基于各第二特征相似度各自对本轮迭代对应的初始提示特征的负向影响，对单轮迭代对应的初始提示特征进行更新处理，获得更新后的提示特征。
其中，上述正向影响表征：随着第一特征相似度越低，相应初始提示特征的准确度越高，也即，基于该相应初始提示特征生成的历史因果特征与相应的文本标签特征越相似，反之同理。上述负向影响表征：随着第二特征相似度越低，相应初始提示特征的准确度越高，也即，基于该相应初始提示特征生成的历史因果特征与其他的各文本标签特征越不相似，反之同理。
参考图9所示，为本申请实施例中可选的获得更新后的提示特征的单轮迭代示意图，以N个历史多媒体信息为例，则相应有N个文本标签特征，如图9所示，可以看到，针对单轮迭代对应的历史因果特征1，计算历史因果特征1与相应的文本标签特征1之间的第一特征相似度1，那么除文本标签特征1以外，还有N-1个文本标签特征(如：文本标签特征2、文本标签特征3、……、文本标签特征N)，分别计算历史因果特征1与这N-1个文本标签特征之间的第二特征相似度1，获得N-1个第二特征相似度，基于第一特征相似度1对初始提示特征1的正向影响，以及基于N-1个第二特征相似度1各自对初始提示特征1的负向影响，对初始提示特征1进行更新处理，获得更新后的提示特征(也即：下一轮迭代对应的初始提示特征2)。
通过上述描述可知，本申请实施例通过引入提示特征，可用以提升后续生成目标文本标签的精度。下面说回到多媒体信息的标签生成方法，在具体实施过程中，还需基于该提示特征，对目标图像特征进行特征融合处理，以获得目标因果特征，进而生成目标文本标签。
在一种实施方式中，提出一种特征融合处理的方式，用以获得具有指定特征维度的目标因果特征。具体地，获取具有指定特征维度的提示特征，并基于该提示特征，对目标图像特征的特征维度进行维度变换处理，从而获得具有指定特征维度的目标因果特征。这样，实现文本模态的提示特征与图像模型的目标因果特征之间的特征对齐，避免在后续应用中，难以基于特征维度不统一的目标因果特征，生成相应的目标文本特征。
需要说明的是，上述指定特征维度一般根据实际情况进行选定，在此，为便于本领域技术人员能够更好理解本申请所提供的技术方案，下面结合实际应用场景对设计思想做详细阐述。
详细来说，当前特征推理相关技术，无法针对不同维度的多个特征进行推理处理，提及此，在本申请实施例涉及图文的多模态特征融合场景下，对应图像模态的目标图像特征一般为二维(2D)或多维的特征，对应文本模态的提示特征一般为一维(1D)特征，是故，当前并未给出一种解决该问题的特征推理方案。发明人对此进行研究，付出创造性劳动后发现，可通过为提示特征设置指定特征维度(如1D)，以调整目标图像特征为指定特征维度，获得指定特征维度的目标因果特征，使得目标因果特征能够与参考文本标签的文本标签特征在语义高度上具有一致性。
综上所述，本申请实施例中，由于提示特征能用以表征各历史图像特征与相应的参考文本标签之间的关联关系，其能够基于该关联关系，更具有针对性地描述指定图像元素，通过融合该提示特征和目标图像特征，获得目标因果特征，这样，该目标因果特征不仅包含目标多媒体信息中的有效信息，还包含针对性描述指定图像元素的信息，有助于提升后续基于该目标因果特征生成相应目标文本标签的准确率。
步骤403：对目标因果特征进行特征离散化处理，获得目标离散特征，并针对目标离散特征，从多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征。
在一种实施方式中，本申请实施例提供了一种目标离散特征的获得方式。具体地，获取多个历史多媒体信息各自的历史因果特征，以及，获取每个历史因果特征各自对应的历史离散特征，然后，针对目标因果特征，从获取的多个历史因果特征中，选取满足预设因果相似条件的历史因果特征所对应的历史离散特征，作为目标离散特征。
其中，每个历史因果特征是基于提示特征，对相应历史多媒体信息的历史图像特征进行融合处理获得的。每个历史离散特征是对相应历史因果特征进行特征离散化处理后获得的。预设因果相似条件可以根据实际情况进行设定，例如，预设因果相似条件包括如下多种情况：情况一，目标因果特征与因果特征之间的因果特征相似度，大于预设因果特征相似度；情况二，目标因果特征与各因果特征之间的因果特征相似度中，取值最大的因果特征相似度。下面以情况二为例，对上述获得目标离散特征作如下示例性说明。
参考图10，为本申请实施例中可选的获得目标离散特征的过程示意图，可以看到，在图像代码薄(Image Codebook)中，可以获得各历史因果特征各自对应的历史离散特征，通过检索方式，从各历史因果特征中选取最相似的历史因果特征3，将其对应的历史离散特征3作为目标离散特征。在此，对历史离散特征进行检索，相较对历史因果特征进行检索，能够提高检索效率，此外基于历史离散特征计算相似度，相较基于历史因果特征计算相似度，还够节约计算资源。
进一步地，针对上述每个历史因果特征各自对应的历史离散特征，可以通过以下方式生成，以生成一个历史因果特征为例，针对一个历史因果特征进行特征采样处理，获得特征值序列，将该特征值序列中的每个特征值，分别映射到相应特征属性关联的特征空间中，获得每个特征值各自的映射特征值，然后根据获得的各映射特征值，生成一个历史因果特征的历史离散特征。
其中，特征值序列中的每个特征值表征：一种特征描述属性的类别。每个映射特征值表征：相应特征描述属性的类别概率。
参考图11，为本申请实施例中可选的获得历史离散特征的过程示意图，历史因果特征1可以是由任意编码器针对相应的历史多媒体信息1中的指定图像元素进行编码生成的连续向量，则对其进行特征值采样处理，获得由图示的四个特征值按序排列的特征值序列1，其中，第一个特征值表征头发为短发，第二个特征值表征体型为瘦弱，第三个特征值表征眉毛为舒展，第四个特征值表征嘴角为抿紧。然后，将这个特征值序列1映射到嵌入空间(Embedding Space)中，具体是将每个特征值分别映射到相应特征属性关联的特征空间中，获得每个特征值各自的映射特征，从而生成最终的历史离散特征1。
在具体实施过程中，可以基于生成模型VQ-VAE(Vector Quantised VariationalAutoEncoder，矢量量化变分自动编码器)的思想，将所有的历史因果特征压缩为离散向量形式的、神经网络能够理解的历史离散特征，也即，将神经网络不能理解的每个特征值都对应到相应一个嵌入，从而生成神经网络能够理解的历史离散特征。
步骤404：将至少一个参考离散特征关联的参考文本标签，作为目标多媒体信息的目标文本标签。
本申请实施例中，每个历史离散特征均关联有相应的参考文本标签，则基于获取的各历史离散特征各自关联的参考文本标签，将至少一个参考离散特征关联的参考文本标签，作为目标多媒体信息的目标文本标签。
在一种实施方式中，为实现对一个历史离散特征关联的参考文本标签的获取，可执行如下操作：获取多个历史多媒体信息各自对应参考文本标签的文本标签特征，并针对获取的多个文本标签特征，进行特征聚类处理，获得至少一个文本标签特征集合，然后，从至少一个文本标签特征集合各自的集合表征特征中，选取与一个历史离散特征之间满足预设特征相似条件的集合表征特征，基于选取的集合表征特征，将相应文本标签特征集合中各文本标签特征所表征的参考文本标签，均作为一个历史离散特征关联的参考文本标签。
其中，每个文本标签特征集合至少包含一个文本标签特征，每个文本标签特征集合的集合表征特征可以是相应集合的集合中心特征，当然，也可以是相应集合中的任意文本标签特征，本文对此不做具体限定。
参考图12，为本申请实施例中可选的获得历史离散特征关联的参考文本特征的过程示意图，当存在N个参考文本标签相应的N个文本标签特征时，基于特征相似度，针对这N个文本标签特征进行聚类处理，如图12所示，可以看到，获得至少三个文本标签特征集合及其各自的集合表征特征，基于至少三个集合表征特征分别于历史离散特征之间的特征相似度，筛选出集合表征特征3作为满足预设特征相似条件，将集合表征特征3关联的文本标签特征集合3对应的参考文本标签3，作为相应历史离散特征关联的参考文本标签。
容易理解地，上面阐述了一种获取历史离散特征关联的参考文本特征，基于各参考文本标签之间的相似性，对相应的各文本标签特征进行聚类处理，获得文本标签特征集，也即将相似的参考文本标签关联起来，在后续获得目标文本标签时，能够获得更加丰富、且细粒度的标签信息。此外，在前述方获得文本标签特征集后，还需根据历史离散特征与各文本标签特征集各自的集合表征特征之间的相似性，才能建立历史离散特征与相应文本标签特征集的参考文本标签之间的关联关系，这样，还能对历史多媒体特征携带的错误的参考文本标签进行修正，保证了后续目标文本标签的生成准确度。
综上所述，本申请实施例提供的多媒体信息的标签生成方法，用以针对目标多媒体信息中的指定图像元素，生成相应的目标文本标签，提高标签生成的精度。
作为一种可能的实现方式，本申请实施例还可结合一个已训练的标签生成模型实现。具体地，将针对目标多媒体信息中的指定图像元素提取的目标图像特征，输入已训练的标签生成模型，基于标签生成模型中，针对指定图像元素预设的提示特征，对目标图像特征进行融合处理，获得目标因果特征，然后，对该目标因果特征进行特征离散化处理，获得目标离散特征，并针对目标离散特征，从多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征，并将选取的至少一个参考离散特征关联的参考文本标签，作为目标多媒体信息的目标文本标签。
参阅图13，为本申请实施例提供的一种标签生成模型的训练方法，具体步骤如下：
步骤13：获取样本多媒体信息集及其包含的各个样本图像元素，针对每个样本图像元素，分别执行如下步骤131～步骤132的操作。
需要说明的是，除上述针对每个样本图像元素执行步骤操作以外，还可针对两个或两个以上的样本图像元素，执行如下步骤131～步骤132的操作，本申请实施例对此不做具体限定。考虑到无论针对两个或两个以上的样本图像元素执行步骤操作的原理，与针对每个样本图像元素执行步骤操作一样，在此以针对一个样本图像元素为例做如下详细阐述，将一个样本图像元素替换为至少一个样本图像元素也是同理可得的。
可选地，获得针对上述各个样本图像元素预设的掩码矩阵，采用该掩码矩阵，对待执行下面步骤操作的样本图像元素进行非掩码(如：赋值为1)处理，并对不参与执行下面步骤操作的样本图像元素进行掩码(如：赋值为0)处理，并且该掩码矩阵与实际需求相关，进而为后续生成目标文本标签提供可靠的精度保障。
步骤131：获取训练样本集，该训练样本集中的每个训练样本包括：一个样本图像特征和相应的样本标签特征；其中，样本图像特征是针对一个样本多媒体信息中的一个样本图像元素进行提取获得的，样本标签为一个样本多媒体信息的参考文本标签的特征。
步骤132：采用训练样本集，分别对待训练的标签生成模型中的，针对一个样本图像元素预设的样本提示特征进行迭代训练，其中，在一次迭代过程中，执行以下步骤1321～步骤1322的操作。
步骤1321：获得基于样本提示特征，对提取的样本图像特征进行特征融合处理生成的样本因果特征，并对样本因果特征进行特征重构处理，获得重构多媒体信息。
在一种实施方式中，基于样本提示特征，对提取的样本图像特征进行特征融合处理，获得样本因果特征，并对该样本因果特征进行离散化处理，获得样本离散特征，然后基于针对一个样本图像元素预设的重构提示特征，对样本离散特征进行融合处理，获得样本生成特征，再针对样本生成特征进行特征重构处理，获得重构多媒体信息。
其中，每一次迭代的样本提示特征，都将与同一次迭代对应的样本图像特征进行交叉注意力特征交互处理，以及与历史迭代对应的样本提示特征进行自注意力特征交互处理。相应地，每一次迭代的样本重构提示特征，都将与同一次迭代对应的样本生成特征进行交叉注意力特征交互处理，以及与历史迭代对应的样本重构提示特征进行自注意力特征交互处理。
步骤1322：基于各重构多媒体信息与相应的样本多媒体信息之间的差异，并结合样本标签特征，调整样本提示特征。
在一种实施方式中，基于各重构多媒体信息与相应的样本多媒体信息之间的差异，并结合样本标签特征，调整样本提示特征和样本重构提示特征。
其中，样本提示特征表征：各样本多媒体信息针对相应的样本图像元素提取的样本图像特征，与相应的样本标签特征之间的关联关系。样本重构提示特征表征：各样本图像特征针对相应的样本图像元素重构的样本生成特征，与相应的样本标签特征之间的关联关系。
详细来说，针对上述样本提示特征和样本重构提示特征的调整，可分为如下三种情况。
情况一：获取各样本图像特征各自的重构多媒体信息，与相应的样本多媒体信息之间的媒体差异信息，基于各媒体差异信息各自对样本提示特征和样本重构提示特征的负向影响，调整样本提示特征和样本重构提示特征。
在情况一中，引入对比学习的思想，基于媒体差异信息，调整样本提示特征和样本重构特征，实现对于标签生成模型的弱监督训练，从而解决相关监督学习方案，标签生成模型受不准确的样本标签特征的影响，导致已训练的标签生成模型不准确。
情况二：获取各样本图像特征各自的样本因果特征，与相应的样本标签特征之间的因果差异信息，基于各因果差异信息各自对样本提示特征的负向影响，调整样本提示特征。
在情况二中，在图文特征的对齐融合基础上，引入对比学习的思想，基于因果差异信息对样本提示特征的负向影响，也即：样本因果特征与相应的样本标签特征之间的差异越大，则对样本提示特征产生的负向影响越大。对此，可以通过约束该因果差异信息，使其最小化，从而调整样本提示特征。
情况三：获取各样本图像特征各自的样本生成特征，与相应的样本标签特征之间的生成差异信息，基于各生成差异信息对样本重构提示特征的负向影响，调整样本重构提示特征。
在情况三中，在图文特征的对齐融合基础上，引入对比学习的思想，基于生成差异信息对样本提示特征的负向影响，也即：样本生成特征与相应的样本标签特征之间的差异越大，则对样本重构提示特征产生的负向影响越大。对此，可以通过约束该生成差异信息，使其最小化，从而调整样本重构提示特征。
进一步地，针对步骤132所描述的迭代过程，为便于理解，下面结合附图14A～图14B，作如下展开说明。
参阅图14A所示，为本申请实施例中可选的生成样本因果特征的示意图，其中，样本多媒体信息为吐舌的女孩图片，当样本图像元素为脸部元素时，可以采用已训练的ViT图像编码器针对脸部元素提取样本图像特征，并获得用于描述脸部元素的样本提示特征。然后，将样本图像特征和样本提示特征输入标签生成模型中的Causal Q-Former子模型，通过对样本图像特征和样本提示特征进行特征对齐处理，获得Causal Q-Former子模型输出的样本因果特征。
值得补充说明的是，上述Causal Q-Former子模型可以通过对图文双模态模型(Bootstrapping Language-Image Pretraining with Frozen Image Encoders andLarge Language Models，BLIP-2)的查询转换器(Q-former)模型微调(finetune)生成。具体而言，BLIP-2用一个轻量级Q-Former弥补模态上的差距。Q-Former通过使用一组可学习的查询向量(例如：前文涉及的各种提示特征)从冻结的图像编码器中提取视觉特征，充当冻结图像编码器和冻结LLM之间的信息瓶颈，为LLM输出所需文本提供最有用的视觉特征。该转换器分两个阶段进行预训练。第一阶段从固定的图像编码器中学习视觉语言表示。第二阶段从固定的语言模型中引导视觉到语言的生成学习。BLIP-2在更少的参数代价下在各种视觉语言任务上实现了最先进的性能。
参阅图14B所示，为本申请实施例中可选的生成重构多媒体信息、及调整样本提示特征和样本重构提示特征的示意图。
如图14B所示，针对重构多媒体信息的生成。具体地，采用Codebook机制，获得样本因果特征的样本离散特征，并且获取针对样本图像元素预设的样本重构提示特征，将样本离散特征和样本重构提示特征输入标签生成模型中的Reverse Q-Former子模型，通过对样本离散特征和样本重构提示特征进行特征对齐处理，获得Reverse Q-Former子模型输出的样本生成特征，然后，将样本生成特征输入稳定扩散解码器(Stable Diffusion Decoder，SD Decoder)，获得由稳定扩散解码器针对样本生成特征进行重构得到的重构多媒体信息，可以看到，重构多媒体信息为吐舌、戴帽的女孩图片。
值得补充说明的是，上述Reverse Q-Former子模型相当于Causal Q-Former子模型的反向模型，其原理一致，不再重复赘述。上述Codebook机制用于将图像编码为离散向量，本申请实施例中，还可预先基于Codebook机制，将若干样本因果特征分别离散化为若干个图像-文本对上的量化视觉代码，也即，样本因果特征对应的样本离散特征。上述SDDecoder可以一个基于潜在扩散模型(Latent Diffusion Models，LDMs)的由多个组件和模型组成的系统，而非单一的模型，可用于文图生成任务，通过使用处理过的信息矩阵绘制最终图像的解码器。
如图14B所示，针对样本提示特征和样本重构提示特征的调整。具体地，主要采用对比学习的思想，实现对于标签生成模型的弱监督训练。其一，基于重构多媒体信息与样本多媒体信息之间的媒体差异信息，调整样本重构提示特征和样本因果特征；其二，基于样本生成特征和样本标签特征之间的生成差异信息，调整样本重构提示特征；其三，基于样本因果特征和样本标签特征之间的因果差异信息，调整样本提示特征。
综上，通过上述方式，能够利用弱监督数据建立细粒度的标签化体系，解决现有标签库构建耗时长、成本高、效率低下、准确率无法得到保障的问题，效提升生成标签的精度。
基于上述实施例，下面采用一个涉及标签生成的例子，对本申请实施例中的生成图片标签的过程进行说明，参考图15所示，为本申请实施例生成图像标签的示例图，具体包括：
首先，终端设备获取到一张图片的目标多媒体信息，针对五官这种指定图像元素，采用已训练的ViT图像编码器提取该图片的目标图像特征，获得目标图像特征，并获取基于五官元素预设的提示特征，通过将目标图像特征与提示特征进行融合、对齐处理，实现图文双模态特征的维度统一，获得目标因果特征。然后，对目标因果特征进行离散化处理，获得目标离散特征，实现对于视觉特征和文字特征的连通，从而提高后续基于目标离散特征，生成目标文本标签的准确性和效率，由此生成细粒度的目标文本标签，例如：咆哮的嘴、牙齿、皱着眉头的眼睛。
进一步，本申请实施例可应用于各种具有生成标签需求的业务领域中，业务领域包括：电商领域、视频播放领域、社交媒体领域、游戏领域、广告投放领域等。
如图16A所示，为一种具有生成标签需求的电商领域的场景示意图。可以看到，左边是一个电商的直播视频，右边是用于描述左边的直播视频的文本信息，其中“内容”、“话题”是由使用对象自己撰写的。基于本申请实施例提供的方案，由于是针对图像元素级进行标签生成的，因此，能够精准捕捉到直播视频中的有效信息，从而生成相应的目标文本标签，便于用户查阅。此外，由于本方案在生成目标文本标签前，会对目标因果特征进行离散化处理，因此在面对直播视频这种海量流量的场景下，还能够提高生成标签的效率、降低生成标签所需算力。
再如图16B所示，为一种具有生成标签需求的社交媒体领域的场景示意图。可以看到，这里有丰富多样的小表情图片，基于本申请实施例提供的技术方案能够针对各小表情图片生成细粒度的目标文本标签。一般而言，设备可以针对小表情图片生成笑、哭这些具有显著表情的文本标签，但却难以针对小表情图片生成发呆这些表情不够显著的文本标签，这是由于相关方案通常是针对对象类别进行识别的，其构思基础是预设由明确的对象类别，然而事实上，不同于颜色这种可量化类别，像发呆这些表情类别是难以被界定的，一般需要依赖人为参与。对此，本方案提出基于目标提示特征，通过对目标图像特征进行融合，进一步对融合后的目标因果特征进行离散化处理，以针对指定图像元素获取更多的细节及语义特征，通过推理分析，进而生成准确率较高的细粒度目标文本标签。
简要概括，本申请实施例提供的多媒体信息的标签生成方案，可用于精准地生成细粒度的标签。
参见图17所示，基于同一发明构思，本申请实施例还提供了一种多媒体信息的标签生成装置170，该装置包括：
提取单元1701，用于从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征；
获得单元1702，用于基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征；其中，所述提示特征表征：多个历史多媒体信息各自针对所述指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系；
生成单元1703，用于对所述目标因果特征进行特征离散化处理，获得目标离散特征，并针对所述目标离散特征，从所述多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征；将所述至少一个参考离散特征关联的参考文本标签，作为所述目标多媒体信息的目标文本标签。
可选地，所述提取单元1701，具体用于：
从包含至少一种图像元素的目标多媒体信息中，获取包含指定图像元素的目标图像；
将所述目标图像分为多个图像块，并获取所述多个图像块各自的令牌序列；其中，每个令牌序列中的一个令牌表征：相应图像块中的一个像素点；
根据所述多个图像块的排列次序，对获取的多个令牌序列进行批处理，获得所述目标图像的初始令牌序列；
基于各令牌属于所述指定图像元素的概率，对所述初始令牌序列进行序列分析处理，获得所述目标多媒体信息中指定图像元素的目标图像特征。
可选地，所述提示特征是通过以下方式获得的，则所述获得单元1702，还用于：
获取所述多个历史多媒体信息各自针对所述指定图像特征提取的历史图像特征和相应的参考文本标签；以及，获取随机生成的初始提示特征；
分别基于每个历史图像特征和相应的参考文本标签，对所述初始提示特征进行多轮迭代更新，获得更新后的提示特征；其中，在一次迭代过程中：
基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征；
根据所述历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新所述本轮迭代对应的初始提示特征，获得更新后的提示特征，并作为下一轮迭代对应的初始提示特征。
可选地，所述获得单元1702，还用于基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征，具体用于：
将本轮迭代对应的初始提示特征与历史各轮迭代对应的初始提示特征进行自注意力特征交互处理，以及，将所述本轮迭代对应的提示特征与一个历史图像特征进行交叉注意力特征交互处理，获得中间提示特征；
基于所述中间提示特征，对所述一个历史图像特征进行融合处理，获得所述一个历史图像特征的历史因果特征。
可选地，所述获得单元1702，还用于根据所述历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新所述本轮迭代对应的初始提示特征，获得更新后的提示特征，还用于：
计算所述历史因果特征与，相应历史图像特征的参考文本标签的文本标签特征之间的第一特征相似度；
从获取的多个历史图像特征中，获取除所述相应历史特征以外的其他历史特征；
分别计算所述历史因果特征与，各其他历史图像特征各自的参考文本标签的文本标签特征之间的第二特征相似度；
基于第一特征相似度对所述本轮迭代对应的初始提示特征的正向影响，以及基于各第二特征相似度各自对所述本轮迭代对应的初始提示特征的负向影响，对所述本轮迭代对应的初始提示特征进行更新处理，获得更新后的提示特征。
可选地，所述获得单元1702，具体用于：
获取具有指定特征维度的提示特征；
基于所述提示特征，对所述目标图像特征的特征维度进行维度变换处理，获得具有所述指定特征维度的目标因果特征。
可选地，所述生成单元1703，用于对所述目标因果特征进行特征离散化处理，获得目标离散特征，具体用于：
获取所述多个历史多媒体信息各自的历史因果特征；其中，每个历史因果特征是基于所述提示特征，对相应历史多媒体信息的历史图像特征进行融合处理获得的；
获取每个历史因果特征各自对应的历史离散特征；其中，所述每个历史离散特征是对相应历史因果特征进行特征离散化处理后获得的；
针对所述目标因果特征，从获取的多个历史因果特征中，选取满足预设因果相似条件的历史因果特征所对应的历史离散特征，作为目标离散特征。
可选地，所述每个历史因果特征各自对应的历史离散特征，分别是通过以下方式生成的，则所述生成单元1703，还用于：
针对一个历史因果特征进行特征采样处理，获得特征值序列；其中，所述特征值序列中的每个特征值表征：一种特征描述属性的类别；
将所述特征值序列中的每个特征值，分别映射到相应特征属性关联的特征空间中，获得所述每个特征值各自的映射特征值；其中，每个映射特征值表征：相应特征描述属性的类别概率；
根据获得的各映射特征值，生成所述一个历史因果特征的历史离散特征。
可选地，所述装置还包括：获取单元1700；
所述获取单元，用于获取每个历史离散特征各自关联的参考文本标签，其中，每获取一个历史离散特征关联的参考文本标签，分别执行如下操作：
获取所述多个历史多媒体信息各自对应参考文本标签的文本标签特征；
针对获取的多个文本标签特征，进行特征聚类处理，获得至少一个文本标签特征集合；
从所述至少一个文本标签特征集合各自的集合表征特征中，选取与所述一个历史离散特征之间满足预设特征相似条件的集合表征特征；
基于选取的集合表征特征，将相应文本标签特征集合中各文本标签特征所表征的参考文本标签，均作为所述一个历史离散特征关联的参考文本标签。
可选地，所述基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征，通过已训练的标签生成模型执行，其中，所述标签生成模型是通过如下方式训练获得的，则所述获得单元1702，还用于：
获取样本多媒体信息集及其包含的各个样本图像元素，针对每个样本图像元素，分别执行如下操作：
获取训练样本集，所述训练样本集中的每个训练样本包括：一个样本图像特征和相应的样本标签特征；其中，所述样本图像特征是针对一个样本多媒体信息中的一个样本图像元素进行提取获得的，所述样本标签为所述一个样本多媒体信息的参考文本标签的特征；
采用所述训练样本集，分别对待训练的标签生成模型中的，针对所述一个样本图像元素预设的样本提示特征进行迭代训练，其中，在一次迭代过程中，执行以下操作：获得基于所述样本提示特征，对提取的样本图像特征进行特征融合处理生成的样本因果特征后，对所述样本因果特征进行特征重构处理，获得重构多媒体信息；基于各重构多媒体信息与相应的样本多媒体信息之间的差异，并结合所述样本标签特征，调整所述样本提示特征。
可选地，所述获得单元1702，还用于对所述样本因果特征进行特征重构处理，获得重构多媒体信息，具体用于：
对所述样本因果特征进行离散化处理，获得样本离散特征；
基于针对所述一个样本图像元素预设的重构提示特征，对所述样本离散特征进行融合处理，获得样本生成特征；
针对所述样本生成特征进行特征重构处理，获得重构多媒体信息。
可选地，所述获得单元1702，还用于基于各重构多媒体信息与相应的样本多媒体信息之间的差异，结合所述样本标签特征，调整所述样本提示特征，具体用于：
获取各样本图像特征各自的重构多媒体信息，与相应的样本多媒体信息之间的媒体差异信息；
基于各媒体差异信息各自对所述样本提示特征和所述样本重构提示特征的负向影响，调整所述样本提示特征和所述样本重构提示特征；
获取所述各样本图像特征各自的样本因果特征，与相应的样本标签特征之间的因果差异信息；
基于各因果差异信息各自对所述样本提示特征的负向影响，调整所述样本提示特征；
获取所述各样本图像特征各自的样本生成特征，与相应的样本标签特征之间的生成差异信息；
基于各生成差异信息对所述样本重构提示特征的负向影响，调整所述样本重构提示特征。
该装置可以用于执行本申请各实施例中所示的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考前述实施例的描述，不多赘述。
请参见图18所示，基于同一技术构思，本申请实施例还提供了一种计算机设备1800，该计算机设备1800可以为图2、图3A或图3B所示的终端设备或服务器，该计算机设备1800可以包括存储器1801和处理器1802。
所谓存储器1801，用于存储处理器1802执行的计算机程序。存储器1801可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。处理器1802，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。本申请实施例中不限定上述存储器1801和处理器1802之间的具体连接介质。本申请实施例在图18中以存储器1801和处理器1802之间通过总线1803连接，总线1803在图18中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所谓总线1803可以分为地址总线、数据总线、控制总线等。为便于表示，图18中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1801可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1801也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1801是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1801可以是上述存储器的组合。
处理器1802，用于调用所谓存储器1801中存储的计算机程序时执行本申请各实施例中设备所执行的方法。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所谓程序产品在计算机设备上运行时，所谓程序代码用于使所谓计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所谓计算机设备可以执行本申请各实施例中设备所执行的方法。
所谓程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种多媒体信息的标签生成方法，其特征在于，包括：
从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征；
基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征；其中，所述提示特征表征：多个历史多媒体信息各自针对所述指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系；
对所述目标因果特征进行特征离散化处理，获得目标离散特征，并针对所述目标离散特征，从所述多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征；
将所述至少一个参考离散特征关联的参考文本标签，作为所述目标多媒体信息的目标文本标签。
2.如权利要求1所述的方法，其特征在于，所述从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征，包括：
从包含至少一种图像元素的目标多媒体信息中，获取包含指定图像元素的目标图像；
将所述目标图像分为多个图像块，并获取所述多个图像块各自的令牌序列；其中，每个令牌序列中的一个令牌表征：相应图像块中的一个像素点；
根据所述多个图像块的排列次序，对获取的多个令牌序列进行批处理，获得所述目标图像的初始令牌序列；
基于各令牌属于所述指定图像元素的概率，对所述初始令牌序列进行序列分析处理，获得所述目标多媒体信息中指定图像元素的目标图像特征。
3.如权利要求1所述的方法，其特征在于，所述提示特征是通过以下方式获得的：
获取所述多个历史多媒体信息各自针对所述指定图像特征提取的历史图像特征和相应的参考文本标签；以及，获取随机生成的初始提示特征；
分别基于每个历史图像特征和相应的参考文本标签，对所述初始提示特征进行多轮迭代更新，获得更新后的提示特征；其中，在一次迭代过程中：
基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征；
根据所述历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新所述本轮迭代对应的初始提示特征，获得更新后的提示特征，并作为下一轮迭代对应的初始提示特征。
4.如权利要求3所述的方法，其特征在于，所述基于本轮迭代对应的初始提示特征，对一个历史图像特征进行融合处理，获得历史因果特征，包括：
将本轮迭代对应的初始提示特征与历史各轮迭代对应的初始提示特征进行自注意力特征交互处理，以及，将所述本轮迭代对应的提示特征与一个历史图像特征进行交叉注意力特征交互处理，获得中间提示特征；
基于所述中间提示特征，对所述一个历史图像特征进行融合处理，获得所述一个历史图像特征的历史因果特征。
5.如权利要求3所述的方法，其特征在于，所述根据所述历史因果特征与相应参考文本标签的文本标签特征之间的特征相似度，更新所述本轮迭代对应的初始提示特征，获得更新后的提示特征，包括：
计算所述历史因果特征与，相应历史图像特征的参考文本标签的文本标签特征之间的第一特征相似度；
从获取的多个历史图像特征中，获取除所述相应历史特征以外的其他历史特征；
分别计算所述历史因果特征与，各其他历史图像特征各自的参考文本标签的文本标签特征之间的第二特征相似度；
基于第一特征相似度对所述本轮迭代对应的初始提示特征的正向影响，以及基于各第二特征相似度各自对所述本轮迭代对应的初始提示特征的负向影响，对所述本轮迭代对应的初始提示特征进行更新处理，获得更新后的提示特征。
6.如权利要求1所述的方法，其特征在于，所述基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征，包括：
获取具有指定特征维度的提示特征；
基于所述提示特征，对所述目标图像特征的特征维度进行维度变换处理，获得具有所述指定特征维度的目标因果特征。
7.如权利要求1～6任一项所述的方法，其特征在于，所述对所述目标因果特征进行特征离散化处理，获得目标离散特征，包括：
获取所述多个历史多媒体信息各自的历史因果特征；其中，每个历史因果特征是基于所述提示特征，对相应历史多媒体信息的历史图像特征进行融合处理获得的；
获取每个历史因果特征各自对应的历史离散特征；其中，所述每个历史离散特征是对相应历史因果特征进行特征离散化处理后获得的；
针对所述目标因果特征，从获取的多个历史因果特征中，选取满足预设因果相似条件的历史因果特征所对应的历史离散特征，作为目标离散特征。
8.如权利要求7所述的方法，其特征在于，所述每个历史因果特征各自对应的历史离散特征，分别是通过以下方式生成的：
针对一个历史因果特征进行特征采样处理，获得特征值序列；其中，所述特征值序列中的每个特征值表征：一种特征描述属性的类别；
将所述特征值序列中的每个特征值，分别映射到相应特征属性关联的特征空间中，获得所述每个特征值各自的映射特征值；其中，每个映射特征值表征：相应特征描述属性的类别概率；
根据获得的各映射特征值，生成所述一个历史因果特征的历史离散特征。
9.如权利要求1～6任一项所述的方法，其特征在于，所述方法还包括：获取每个历史离散特征各自关联的参考文本标签，其中，每获取一个历史离散特征关联的参考文本标签，分别执行如下操作：
获取所述多个历史多媒体信息各自对应参考文本标签的文本标签特征；
针对获取的多个文本标签特征，进行特征聚类处理，获得至少一个文本标签特征集合；
从所述至少一个文本标签特征集合各自的集合表征特征中，选取与所述一个历史离散特征之间满足预设特征相似条件的集合表征特征；
基于选取的集合表征特征，将相应文本标签特征集合中各文本标签特征所表征的参考文本标签，均作为所述一个历史离散特征关联的参考文本标签。
10.如权利要求1～6任一项所述的方法，其特征在于，所述基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征，通过已训练的标签生成模型执行，其中，所述标签生成模型是通过如下方式训练获得的：
获取样本多媒体信息集及其包含的各个样本图像元素，针对每个样本图像元素，分别执行如下操作：
获取训练样本集，所述训练样本集中的每个训练样本包括：一个样本图像特征和相应的样本标签特征；其中，所述样本图像特征是针对一个样本多媒体信息中的一个样本图像元素进行提取获得的，所述样本标签为所述一个样本多媒体信息的参考文本标签的特征；
采用所述训练样本集，分别对待训练的标签生成模型中的，针对所述一个样本图像元素预设的样本提示特征进行迭代训练，其中，在一次迭代过程中，执行以下操作：获得基于所述样本提示特征，对提取的样本图像特征进行特征融合处理生成的样本因果特征后，对所述样本因果特征进行特征重构处理，获得重构多媒体信息；基于各重构多媒体信息与相应的样本多媒体信息之间的差异，并结合所述样本标签特征，调整所述样本提示特征。
11.如权利要求10所述的方法，其特征在于，所述对所述样本因果特征进行特征重构处理，获得重构多媒体信息，包括：
对所述样本因果特征进行离散化处理，获得样本离散特征；
基于针对所述一个样本图像元素预设的重构提示特征，对所述样本离散特征进行融合处理，获得样本生成特征；
针对所述样本生成特征进行特征重构处理，获得重构多媒体信息。
12.如权利要求11所述的方法，其特征在于，所述基于各重构多媒体信息与相应的样本多媒体信息之间的差异，结合所述样本标签特征，调整所述样本提示特征，包括：
获取各样本图像特征各自的重构多媒体信息，与相应的样本多媒体信息之间的媒体差异信息；
基于各媒体差异信息各自对所述样本提示特征和所述样本重构提示特征的负向影响，调整所述样本提示特征和所述样本重构提示特征；
获取所述各样本图像特征各自的样本因果特征，与相应的样本标签特征之间的因果差异信息；
基于各因果差异信息各自对所述样本提示特征的负向影响，调整所述样本提示特征；
获取所述各样本图像特征各自的样本生成特征，与相应的样本标签特征之间的生成差异信息；
基于各生成差异信息对所述样本重构提示特征的负向影响，调整所述样本重构提示特征。
13.一种多媒体信息的标签生成装置，其特征在于，包括：
提取单元，用于从包含至少一种图像元素的目标多媒体信息中，提取指定图像元素的目标图像特征；
获得单元，用于基于所述指定图像元素的提示特征，对所述目标图像特征进行融合处理，获得目标因果特征；其中，所述提示特征表征：多个历史多媒体信息各自针对所述指定图像元素提取的历史图像特征，与相应的参考文本标签之间的关联关系；
生成单元，用于对所述目标因果特征进行特征离散化处理，获得目标离散特征，并针对所述目标离散特征，从所述多个历史多媒体信息各自的历史离散特征中，选取满足预设离散相似条件的至少一个参考离散特征；将所述至少一个参考离散特征关联的参考文本标签，作为所述目标多媒体信息的目标文本标签。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，
所述处理器执行所述计算机程序时实现权利要求1至12任一项所述方法的步骤。
15.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，
所述计算机程序指令被处理器执行时实现权利要求1至12任一项所述方法的步骤。
16.一种计算机程序产品，包括计算机程序指令，其特征在于，
所述计算机程序指令被处理器执行时实现权利要求1至12任一项所述方法的步骤。
CN202311338293.XA 2023-11-08 2023-11-08 多媒体信息的标签生成方法、装置、存储介质和电子设备 Pending CN117372828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311338293.XA CN117372828A (zh) 2023-11-08 2023-11-08 多媒体信息的标签生成方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311338293.XA CN117372828A (zh) 2023-11-08 2023-11-08 多媒体信息的标签生成方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN117372828A true CN117372828A (zh) 2024-01-09

Family

ID=89388602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311338293.XA Pending CN117372828A (zh) 2023-11-08 2023-11-08 多媒体信息的标签生成方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN117372828A (zh)

Similar Documents

Publication Publication Date Title
US20220222920A1 (en) Content processing method and apparatus, computer device, and storage medium
CN111488931B (zh) 文章质量评估方法、文章推荐方法及其对应的装置
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111046275B (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
CN111783903B (zh) 文本处理方法、文本模型的处理方法及装置、计算机设备
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN113947764B (zh) 一种图像处理方法、装置、设备及存储介质
CN113705313A (zh) 文本识别方法、装置、设备及介质
CN113761153A (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
CN112085120B (zh) 多媒体数据的处理方法、装置、电子设备及存储介质
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
CN117033609A (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN116205700A (zh) 目标产品的推荐方法、装置、计算机设备和存储介质
CN117372828A (zh) 多媒体信息的标签生成方法、装置、存储介质和电子设备
CN113011320A (zh) 视频处理方法、装置、电子设备及存储介质
CN114676705A (zh) 一种对话关系处理方法、计算机及可读存储介质
CN112861474A (zh) 一种信息标注方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication