CN117556275B - 相关度模型数据处理方法、装置、计算机设备和存储介质 - Google Patents
相关度模型数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117556275B CN117556275B CN202410042267.0A CN202410042267A CN117556275B CN 117556275 B CN117556275 B CN 117556275B CN 202410042267 A CN202410042267 A CN 202410042267A CN 117556275 B CN117556275 B CN 117556275B
- Authority
- CN
- China
- Prior art keywords
- correlation
- model
- sample
- loss
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 210
- 238000000034 method Methods 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000004590 computer program Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000000052 comparative effect Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims 4
- 230000002829 reductive effect Effects 0.000 abstract description 9
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000002372 labelling Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种相关度模型数据处理方法、装置、计算机设备和存储介质。方法涉及机器学习领域，包括：获取相关性样本组；基于相对等级标记，得到相关性样本组中相关性样本之间的等级比较结果，构建样本对数据；来对预训练相关性识别模型进行微调训练，得到样本对数据的各类损失参数；基于损失参数，对预训练相关性识别模型进行参数调整处理，得到目标相关度模型。本申请通过标注等级比较结果，来对样本对进行标注，只需完成相对等级标注，即可构造出大量的模型训练数据。而且在预训练模型的基础上来完成对相关度模型的训练，可以有效地减少相关度模型训练过程所需的样本量，从而减少相关度模型训练过程中存储占用。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种相关度模型数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，出现了人工智能(Artificial Intelligence, AI)技术，它是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。目前，可以通过人工智能技术来进行相关性判定，进行根据判定结果实现在搜索、推荐、相似度等业务应用场景下的相关数据处理。目前的相关性量化及预测主要采用基于分类的方法，将相关的样本设定为1，不相关的样本设定为0，利用交叉熵等损失函数，训练分类模型，判断样本是否与特定场景下目标相关，最终根据归一化的后概率值作为相关程度的量化得分，这种反复最终所得到的概率值并不能直接反应相关程度。
目前，为了精准识别出输入数据的相关度，可以通过人工标注的方式来对样本的相关度进行一一标注，进而构建出模型训练数据，完成对相关度模型的训练，然而这种模型训练方式，需要构造出大量带标注的相关度样本数据，因此在模型训练过程中会占用大量的存储器空间。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效减少相关度模型训练过程中存储占用的相关度模型数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种相关度模型数据处理方法，包括：
获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据；
通过所述样本对数据对预训练相关性识别模型进行微调训练，得到所述样本对数据的比较损失参数、相等损失参数和得分损失参数，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
第二方面，本申请还提供了一种相关度模型数据处理装置，包括：
样本数据获取模块，用于获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
样本对构建模块，用于基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据；
损失识别模块，用于通过所述样本对数据对预训练相关性识别模型进行微调训练，得到所述样本对数据的比较损失参数、相等损失参数和得分损失参数，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；
参数调整模块，用于基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据；
通过所述样本对数据对预训练相关性识别模型进行微调训练，得到所述样本对数据的比较损失参数、相等损失参数和得分损失参数，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据；
通过所述样本对数据对预训练相关性识别模型进行微调训练，得到所述样本对数据的比较损失参数、相等损失参数和得分损失参数，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据；
通过所述样本对数据对预训练相关性识别模型进行微调训练，得到所述样本对数据的比较损失参数、相等损失参数和得分损失参数，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
上述相关度模型数据处理方法、装置、计算机设备、存储介质和计算机程序产品，其通过在二分类预训练所得到相关性识别模型的基础上，通过标注样本组内的相关性相对等级，从而获得样本两两之间相关性高低的顺序，并根据排序所得到样本对数据来微调预训练相关性识别模型，完成对目标相关度模型的训练，目标相关度模型预测得到的分数越高，代表着相关性越高。通过标注样本组内相关性样本之间的等级比较结果，来对样本对进行标注，只需完成对样本组内的相对等级标注，即可构造出大量的模型训练数据。而且在预训练相关性识别模型的基础上来完成对相关度模型的训练，可以在保证相关度识别准确性的基础上，有效地减少相关度模型训练过程所需的样本量，从而减少相关度模型训练过程中存储占用。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中相关度模型数据处理方法的应用环境图；
图2为一个实施例中相关度模型数据处理方法的流程示意图；
图3为一个实施例中图文相关度模型的结构示意图；
图4为一个实施例中图像编码器的结构示意图；
图5为一个实施例中文本编码器的结构示意图；
图6为一个实施例中文本编码器中转换器的结构示意图；
图7为一个实施例中线性层的结构示意图；
图8为另一个实施例中相关度模型数据处理方法的流程示意图；
图9为一个实施例中相关度模型数据处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请涉及人工智能技术，它是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等技术。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请具体涉及人工智能技术中的计算机视觉 (Computer Vision, CV) 技术，自然语言处理(Nature Language processing, NLP)技术和机器学习（Machine Learning, ML）技术。
其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革，swin-transformer，ViT，V-MOE，MAE等视觉领域的预训练模型经过微调（fine tune）可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。自然语言处理是计算机科学领域与人工智能领域中的重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理涉及自然语言，即人们日常使用的语言，与语言学研究密切；同时涉及计算机科学和数学。人工智能领域模型训练的重要技术，预训练模型，即是从NLP领域的大语言模型（Large Language Model）发展而来。经过微调，大语言模型可以广泛应用于下游任务。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
本申请实施例提供的相关度模型数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。当用户需要进行数据检索、数据排序或者相似度识别等操作时，可以通过训练相应的相关度模型来实现这些操作，而本申请的方案则可应用于相关度模型的训练调参过程，从而保证相关度模型的相关度判别准确性。在训练时，用户可以提供预先针对特定任务训练完成的预训练相关性识别模型，还有相关性样本组，相关性样本组内包含多个相关性样本和相关性样本之间的相对等级标记。服务器104则可以在获取预训练相关性识别模型和相关性样本组之后，开始进行模型训练。首先，服务器104会基于相对等级标记，得到相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据。而后通过样本对数据对预训练相关性识别模型进行微调训练，得到样本对数据的比较损失参数、相等损失参数和得分损失参数。最后，基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型进行参数调整处理，得到目标相关度模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中，如图2所示，提供了一种相关度模型数据处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤201至步骤207。其中：
步骤201，获取相关性样本组，相关性样本组内包含多个相关性样本和相关性样本之间的相对等级标记。
其中，相关性样本组是指包含多个相关性样本的分组集合数据，相关性样本组内的信息包含由多个相关性样本、还有相关性样本之间的相对等级标记。这些相对等级标记可以由标注工作人员基于样本自身的属性进行标注。相关性样本组内多个相关性样本的数量具体为三个或者以上，相关性样本的数量可以根据对样本进行标注所需工作量来进行适应性的调整。相对等级标记则用于表征不同样本针对相关度的匹配性，例如在其中一个实施例中，相关性样本组内包含有三个样本，具体可以表示为（A1，L1，A2，L2，A3，L3），其中A1、A2，A3代表三个相关性样本，Li则是Ai在相关性样本组内的相对等级标记。相关性样本组内可以包含相同或者不同等级的样本。
示例性地，当用户需要进行相关度判别模型的训练，以在相关任务上实现精准的相关度判别时，可以通过终端102提交基于任务类型所构建的多个相关性样本组至服务器104，并在样本组内对样本间的相对等级进行标注，而后通过这些相关性样本组来完成模型的训练处理，从而保证相关度模型能输出精准的相关度。在其中一个实施例中，本申请的方案应用于笑容程度的识别，此时对于相关性样本组内样本的相对等级标记，标注人员需要标记同一样本组内图片之间的相对关系，对于包含三个样本的相关性样本组，可以将笑容程度最高（即标注人员认为“笑得最开心”的图片）的图片标注2，次高图片标注为1，如果包含更多样本也可以依次类推。如果笑容程度相似，难以区分，则标注为同一数值。此外，对于所有没有笑容的表情，例如平静、焦虑、困倦等，均标注为同一等级，例如将这些表情图像标注为0。而在另外的实施例中，本申请的方案还可以应用于图文相关度匹配的方案，此时图文内容可以构成一个样本，而相对等级标记则可以根据该图文内容内图像和文本的匹配度进行设置。
步骤203，基于相对等级标记，得到相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据。
其中，等级比较结果是指来从相关性样本组中任意两个样本之间相对等级标记比较的结果。可以挑选出成对的相关性样本，并根据这些相关性样本的相关等级标记来对这对样本进行比较，并根据比较结果生成样本对数据。样本对数据为三元组数据，包含两个相关性样本以及这两个相关性样本之间的比较结果，比较结果可以用样本内数据的排序、还有布尔型数据来表示。
示例性地，在得到相关性样本组后，可以在相关性样本组内提取出成对的样本来进行相关度模型的数据处理，而对于样本对数据的提取流程，具体可以先从相关性样本组内提取出任意两个样本组成样本对，而后再参照样本对内相关性样本的等级比较结果来进行样本对的排序和等级比较结果标注等处理。例如在其中一个实施例中，对于上述的相关性样本组（A1，L1，A2，L2，A3，L3），可以挑选出三个样本对（A1，A2）、（A1，A3）、（A2，A3）。而后再根据L1，L2， L3之间的等级比较结果来对A1、A2和A3进行标注，如果L1，L2， L3分别代表的相对等级为1，1，0，且样本对数据中规定对于样本对（Ai、Aj）其对应的样本对数据为（Ai，Aj，bool（Li>Lj）），其中Li≥Lj。若Ai和Aj的相对等级相同，则样本对数据为（Ai，Aj，False）。若样本对数据为Ai和Aj的相对等级为Li>Lj，则样本对数据为（Ai，Aj，True）。则对于上述的三个样本对，对其进行排序和标记后，所得到的样本对数据为（A1，A2，False）、（A1，A3， True）、（A2，A3，True）。而当选用包含4个样本的相关性样本组时，可以从中提取出6个样本对数据，通过相关性样本组和相对等级标记，可以有效构造出大批量的样本对数据。
步骤205，通过样本对数据对预训练相关性识别模型进行微调训练，得到样本对数据的比较损失参数、相等损失参数和得分损失参数，预训练相关性识别模型由带二分类标记的相关性样本训练得到。
其中，预训练相关性识别模型是指带二分类标记的相关性样本训练得到预训练模型，预训练过程中需要对相关性样本是否具有相关性进行标注，而无需对相关性样本之间的等级进行标注，因此，可以高效标注出大批量的样本数据，从而实现对相关性识别模型的预训练。微调训练（Fine-Tuning）是在特定任务或领域上进一步训练大型语言模型(LLM)的过程。这可以通过使用预训练的LLM作为起点，然后在特定任务或领域的标记数据集上训练它来完成。在本申请的方案中，则是指在二分类的相关性识别模型的基础上，通过样本对数据来对模型进行进一步地训练，以提升模型对相关度的判别处理能力。比较损失参数、相等损失参数和得分损失参数是模型微调过程所涉及的损失函数中的三个代表性参数，其中比较损失参数适用于样本等级不同的样本对数据，用于使网络样本对内高等级样本的预测得分大于的低等级样本的预测得分。相等损失参数适用于样本等级相同的样本对数据，用于使样本对内两个样本的预测得分相同。而得分损失参数则根据样本对数据内的样本类型施加，即区分样本对数据内的样本为正样本还是负样本，通过得分损失来促使正样本的线性层输出大于0，负样本的线性层输出小于-1，对于通常的需要区分相关程度的分类任务，例如笑容分类等，负样本（没有笑容）区分较为容易，且通常不需要关注负样本的相关性，但正样本之间通常有明显相对关系，因此需要更宽泛的取值范围来表示样本得分。
示例性地，对于分类任务来说，通过相对等级标记来标记大批量样本的标注难度依旧较高，而进一步扩大训练集规模同样需要占用不小的存储空间。因此，在本申请中，还可以利用大规模预训练来提升模型性能，即通过预训练的方式来完成对模型浅层参数的训练。具体来说，针对具体任务，收集大批量的二分类样本（例如100万条二分类样本），对初始的模型进行预训练。这些数据可以来自业界、学术界公开数据，也可以自行收集并进行标注。完成预训练数据收集后，按照常规的分类网络训练方法进行预训练，并保留模型表现最好的权重。而后再在预训练所得到的预训练相关性识别模型进行微调训练。训练过程中，可以将所得到的样本对数据输入到预训练相关性识别模型中，通过模型输出来确定样本对数据的比较损失参数、相等损失参数和得分损失参数，再通过三个损失参数确定总的损失参数，从而实现相关度模型训练过程中的损失识别处理。在具体实施例中，可以将收集的样本对数据进行分批处理，每批256个样本，而后通过分批得到的样本对数据来对预训练相关性识别模型进行迭代训练。
步骤207，基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
示例性地，在得到比较损失参数、相等损失参数和得分损失参数三个损失参数后，即可基于这些参数来确定最终的模型损失，并基于模型损失来对预训练相关性识别模型进行参数调整处理，从而实现一轮模型训练的迭代过程。在其中一个实施例中，对于模型参数调整的过程，可以通过优化器实现，在微调模型时，对于输入样本（X1，X2，label），记模型为F，参数为θ，损失函数为L，标签为label，则模型的优化目标为L（Fθ（X1）， Fθ（X2），label），训练过程优化器可以选择Adam等深度学习任务中常用的优化器，在训练时，对样本进行分批处理，而后通过预训练相关性识别模型进行前向传播，得到预测损失，基于预测结果结合标签，来得到模型的比较损失参数、相等损失参数和得分损失参数，进而确定总损失，之后利用反向传播算法计算梯度，最后将梯度及当前网络参数送入优化器，完成一轮参数更新。在其中一个实施例中，对于模型训练的终止程序，可以在训练过程中，每隔一定轮数，例如5000轮，测试一次当前模型参数在测试集上的效果，并记录指标。如果连续两次测试结果指标都没有超越之前的最好指标，则停止优化模型，并保留指标最好时模型的参数作为最终参数。
上述相关度模型数据处理方法，其通过在二分类预训练所得到相关性识别模型的基础上，通过标注样本组内的相关性相对等级，从而获得样本两两之间相关性高低的顺序，并根据排序所得到样本对数据来微调预训练相关性识别模型，完成对目标相关度模型的训练，目标相关度模型预测得到的分数越高，代表着相关性越高。通过标注样本组内相关性样本之间的等级比较结果，来对样本对进行标注，只需完成对样本组内的相对等级标注，即可构造出大量的模型训练数据。而且在预训练相关性识别模型的基础上来完成对相关度模型的训练，可以在保证相关度识别准确性的基础上，有效地减少相关度模型训练过程所需的样本量，从而减少相关度模型训练过程中存储占用。
在一个示例性的实施例中，步骤203包括。其中：从相关性样本组中提取不重复样本，组成样本对；基于样本对内样本的等级比较结果对样本对的样本进行排序处理；根据等级比较结果为排序后的样本对添加等级比较结果标记，得到样本对数据。
其中，不重复样本是指针对相关性样本组内的样本，在提取样本对时不会重复提取其中的相同样本，因为相同的样本的特征相同。如针对上述提到的相关性样本组（A1，L1，A2，L2，A3，L3），可以提取出不重复的三个样本对（A1，A2）, （A1，A3）, （A2，A3）。而排序处理是与后续过程的比较损失参数计算过程相对应的，如果排序处理将相关程度更高的相关性样本排列在样本对的前面，则在计算比较损失参数时，需要通过比较损失函数使得样本对中前面样本的得分高于后面样本的得分。
示例性，对于样本对数据的构建过程，为了避免构建出无效的样本对，可以先从相关性样本组中提取不重复样本，组成样本对。而后在样本对内先根据两个样本之间的等级比较结果，来对样本对的样本进行排序处理。排序时，对于相对等级标记的样本，可以任意排序，而对于相对等级标记不同的样本在排序后，即可基于两个样本的相对等级标记是否相同，来为排序后的样本对添加等级比较结果标记。其中一个实施例中，对于相关性样本组（A1，L1，A2，L2，A3，L3，A4，L4），可以挑选出6个样本对（A1，A2）、（A1，A3）、（A2，A3）、（A1，A4）、（A2，A4）、（A3，A4）。而后再根L1，L2， L3，L4之间的等级比较结果来对A1，A2 ，A3和A4进行标注，如果L1，L2， L3，L4分别代表的相对等级为2，1，2，0，且样本对数据中规定对于样本对（Ai、Aj）其对应的样本对数据为（Ai，Aj，bool（Li>Lj）），其中Li≥Lj，若Ai和Aj的相对等级相同则样本对数据为（Ai，Aj，False），若样本对数据为Ai和Aj的相对等级为Li>Lj，则样本对数据为（Ai，Aj，True）。则对于上述的六个样本对，对其进行排序和标记后，所得到的样本对数据为（A1，A2，True）、（A1，A3，False）、（A3，A2，True）、（A1，A4，True）、（A2，A4，True）、（A3，A4，True）。本实施例中，通过样本组合、样本排序和比较结果标记，可以大批量地构建出包含等级比较关系的三元样本对数据，从而基于三元样本对数据来完成对预训练相关性识别模型的微调训练，在减少模型训练数据存储占用的同时，保证相关度识别模型的识别效果。
在一个实施例中，步骤205包括：将样本对数据内的样本分别输入预训练相关性识别模型，得到第一模型输出和第二模型输出；基于第一模型输出与第二模型输出之间的差值、以及样本对数据的等级比较结果标记，确定样本对数据的相等损失参数和比较损失参数；基于第一模型输出、第二模型输出和样本对数据内样本的样本类型，确定得分损失参数。
其中，比较损失参数适用于样本等级不同的样本对数据，用于使网络样本对内高等级样本的预测得分大于的低等级样本的预测得分。相等损失参数适用于样本等级相同的样本对数据，用于使样本对内两个样本的预测得分相同。而得分损失参数则根据样本对数据内的样本类型施加，即区分样本对数据内的样本为正样本还是负样本，通过得分损失来促使正样本的线性层输出大于0，负样本的线性层输出小于-1，对于通常的需要区分相关程度的分类任务，例如笑容分类等，负样本（没有笑容）区分较为容易，且通常不需要关注负样本的相关性，但正样本之间通常有明显相对关系，因此需要更宽泛的取值范围来表示样本得分。
示例性地，在模型训练过程中，对于损失函数的计算，可以直接将样本对的样本分别输入到预训练相关性识别模型，输出样本对内两个样本各自对应的相关性预测概率作为模型预测结果。而后基于模型输出的两个模型预测结果的对比，结合样本对上所携带的等级比较结果标记，来完成对相等损失参数和比较损失参数的计算。对于计算过程，具体可以通过样本对数据的等级比较结果标记确定样本对所对应的损失为相等损失还是比较损失，而后基于第一模型输出与第二模型输出之间的差值和损失计算的公式来得到最终的相等损失参数或比较损失参数。而对于得分损失，则可以基于第一模型输出、第二模型输出和样本对数据内样本的样本类型，分别确定第一模型输出、第二模型输出各自对应的得分损失，而后再将两者之和作为最终的得分损失参数。样本类型具体可以为正样本和负样本，例如对于笑容程度判别的方案，可以将包含笑容的图像作为正样本（无论笑容程度是多少），而不含笑容的图像则为负样本。正负样本可以相对等级标记进行判别，例如在其中一个实施例中，本申请应用于笑容程度划分的领域，划分笑容程度的相对等级标记包括2、1、0三级，2代表图像内的人物笑得最开心，笑容程度最高， 1则代表次高。而0则代表图像内的人物没有笑容的表情，而是包含有例如平静、焦虑、困倦等表情，此时，可以将相对等级标记为2和1的图像作为正样本，而相对等级标记为0的图像作为负样本。本实施例中，通过获取样本对内样本的模型输出，而后通过模型输出的差值和样本对的等级比较结果标记来完成各类模型损失参数的计算，可以有效保证模型损失参数计算识别的准确性和效率，从而保证通过目标相关度模型进行相关度识别的效果。
在一个示例性的实施例中，等级比较结果标记包括相等标记和不等标记。基于第一模型输出与第二模型输出之间的差值、以及样本对数据的等级比较结果标记，确定样本对数据的相等损失参数和比较损失参数包括：当样本对数据携带相等标记时，基于第一模型输出与第二模型输出之间的差值，确定样本对数据的相等损失参数；当样本对数据携带不等标记时，基于第一模型输出与第二模型输出之间的差值，确定样本对数据的比较损失参数。
示例性地，相等标记用于标记样本对内所包含两个样本的相对等级标记相同，即
样本为同一相关度等级的样本，因此适用于通过相等损失参数来计算模型损失，而此时该
样本对的比较损失参数可以设置为0。对应地，不等标记用于标记样本对内所包含两个样本
的相对等级标记不同，即样本并非相同相关度等级的样本，两个样本之间存在相关程度高
低的关系，因此适用于通过比较损失参数来计算模型损失，而此时该样本对的相等损失参
数可以设置为0。其中，对于相等损失，其具体满足公式：
上述公式中，和分别代表预训练相关性识别模型对样本和的
输出，log表示自然对数，代表sigmoid函数，即，该损失函数中，样本对
应的得分与对应的得分相同，加入常数项log4是因为的最小值为-log4，加入常数
项可以确保损失函数最小值为0。这一损失函数促使网络预测样本和的得分相等。对
于比较损失，其具体满足公式：
这一损失函数促使网络预测样本的得分大于的得分。而对于得分损失，其
基于样本类型确定，具体满足公式：
这一损失函数对样本对内的两个样本分别施加。通过添加得分损失函数，可以促
使正样本的线性层输出大于0（对应得分 )，并促使负样本的线性层输出小于-
1（对应得分)。通过得分损失来对正负样本做不同限制的原因在于，对于通
常的需要区分相关程度的分类任务，例如笑容分类等，负样本（没有笑容）区分较为容易，且
通常不需要关注负样本的相关性，但正样本之间通常有明显相对关系，因此需要更宽泛的
取值范围来表示样本得分。本实施例中，基于样本对数据所携带的等级比较结果标记，来确
定样本对数据各自对应的比较损失参数、相等损失参数和得分损失参数，从而在损失的基
础上，通过反向传播等算法来完成对预训练相关性识别模型的优化，从而提高目标相关度
模型的预测效果。
在一个示例性的实施例中，方法还包括：获取带二分类标记的历史数据；基于带二分类标记的历史数据构建预训练相关性样本；通过预训练相关性样本对初始相关度识别模型进行预训练处理，得到预训练相关性识别模型。
示例性地中，预训练是在目标相关度模型训练过程的前置过程，用于可用于指定任务的二分类模型，相较于普通的无监督预训练过程，本申请的方案采用带二分类标记的历史数据以监督训练的方式完成预训练，从而使得预训练所得到的预训练相关性识别模型可以实现针对样本的相关性分类。而本申请的相关度模型数据处理方法，则在适用于二分类的预训练相关性识别模型的基础上，对该模型进行进一步地改进，通过将带等级比较结果标记的样本对数据输入预训练模型，得到比较损失参数、相等损失参数和得分损失参数这些损失参数，再对预训练相关性识别模型进行参数调整处理，得到目标相关度模型，从而确保目标相关度模型可以在对输入数据进行二分类的基础上，再实现对输入数据的相关度判别。本实施例中，通过带二分类标记的历史数据来完成对初始相关度识别模型的预训练处理，相对于无监督训练，可以有效地减少训练过程所需的样本数据量，从而减少模型训练过程的存储占用，并保证模型的二分类效果。
在一个示例性的实施例中，基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型进行参数调整处理，得到目标相关度模型包括：获取参数调整配置信息；基于参数调整配置信息确定预训练相关性识别模型中的固定参数和可调参数；基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
其中，参数调整配置信息是指预训练相关性识别模型中可调整部分的参数与不可调整部分参数的配置信息，可以通过参数调整配置信息，确定需要对预训练相关性识别模型中哪部分的参数数据进行迭代更新。
示例性，在完成预训练后，可以通过构建的样本对数据完成对模型的微调训练过程。在微调训练时，预训练相关性识别模型可以加载预训练参数，并固定网络浅层参数，而微调训练过程则需要对网络深层参数进行调整更新。而网络浅层参数和网络深层参数则可以通过参数调整配置信息来进行区分。在其中一个实施例中，还可以通过默认的参数调整配置信息来进行固定参数和可调参数的设置，例如可以将预训练相关性识别模型中编码器参数固定，而对其中的解码器参数和线性层参数进行调整。在另一个实施例中，还可以根据模型的类型来设置固定参数和可调参数，即基于参数调整配置信息确定预训练相关性识别模型的模型类型；当模型类型表征预训练相关性识别模型为图文相关度模型时，确定预训练相关性识别模型中的固定参数为图像编码器参数和文本编码器参数，可调参数为多模态解码器参数和线性层参数。本实施例中，通过参数调整配置信息来确定模型的固定参数和可调参数，而后对其中的可调参数部分进行调整，从而有效保证相关度识别准确性的基础上，提高模型训练过程的训练效率。
在一个示例性的实施例中，基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型包括：基于比较损失参数、相等损失参数和得分损失参数确定总体损失；通过反向传播算法确定总体损失对应的梯度参数；基于梯度参数对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
其中，反向传播是相对于正向传播而言的，在正向传播过程中，输入信息通过逐层处理并传向输出层。如果在输出层得不到期望的输出值，则通过构造输出值与真实值的损失函数作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯度，作为修改权值的依据，网络的学习在权值修改过程中完成。输出值与真实值的误差达到所期望值时，网络学习结束。
示例性地，本申请的方案具体可以通过正向传播结合反向传播的方式，来完成对
预训练相关性识别模型中的可调参数进行参数调整处理。当将样本对数据输入到预训练相
关性识别模型，得到样本对数据的比较损失参数、相等损失参数和得分损失参数后，就完成
了模型的前向传播过程。而后即可基于比较损失参数、相等损失参数和得分损失参数来确
定总的模型损失。比较损失参数、相等损失参数和得分损失参数各自对应的比重系数，可以
获取预训练相关性识别模型中比较损失参数、相等损失参数和得分损失参数各自对应的损
失系数；基于比较损失参数、相等损失参数和得分损失参数结合损失系数，确定总体损失。
对于损失系数，可以在模型训练过程前先基于默认配置来设置各个损失系数，而后在模型
迭代训练过程中，基于具体的模型网络参数、训练样本、训练策略调整对应的损失系数。首
先需要参数调整配置信息和三个损失参数来确定模型的总损失，对于比较损失、相等损
失和得分损失，其总损失L满足公式：
其中的、和即为根据参数调整配置信息所确定的损失系数。在确定总的损
失之后，可以通过反向传播算法确定总体损失对应的梯度参数。最后基于梯度参数对预训
练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。在其中一个实
施例中，本申请具体可以通过Adam等深度学习任务中常用的优化器来完成模型参数调整的
优化过程。本实施例中，通过确定总体损失，而后结合损失的梯度参数，作为修改模型参数
的依据，来完成对预训练相关性识别模型中的可调参数的参数调整处理，可以有效保证模
型训练过程中参数调整的效率与准确性，从而保证目标相关度模型的相关度判别准确性。
在一个示例性的实施例中，目标相关度模型包括图文相关度模型。方法还包括：获取图像描述模型的输入图像数据和输出文本数据；通过图文相关度模型确定输入图像数据和输出文本数据之间的相关度数据；基于相关度数据对图像描述模型进行参数调整处理。
其中，图像描述模型主要用于根据输入图像来输出对图像内容的文本描述数据。而输入图像数据和输出文本数据之间的相关度数据，则可以用于对输出文本数据的评判，如果输出文本数据的描述越符合输入图像数据的内容，则相关度会越高。
示例性地，本申请可以输出准确地相关度数据，用于明确量化相关性指标，在此基础上，可以用于对其他深度学习模型的输出提供监督，从而高效优化其他深度学习模型。当目标相关度模型为图文相关度模型时，输入图像和文字可以得到两者的相关度。此时，可以应用于对图像描述模型的监督处理过程。在图像描述模型训练完成后，通过将输入图像数据和输出文本数据输入到图文相关度模型中，得到输入输出之间的相关度，如果相关度数据满足图像描述模型的场景需求，例如匹配度均值大于预设的相关度阈值，则可以确定当前的图像描述模型满足要求，直接输出图像描述模型。而在相关度数据不满足图像描述模型的场景需求的情况下，则可将相关度数据作为参数调整的依据，来对图像描述模型进行参数调整处理。本实施例中，通过给出输入图像与输出文本之间的匹配程度，从而用于进一步优化图像描述模型，实现对图像描述模型的监督优化处理，可以有效保证图像描述模型的描述准确性。
在一个示例性的实施例中，目标相关度模型包括图像排序模型。方法还包括：获取待排序的目标图像数据；通过图像排序模型输出目标图像数据的相关度评分；基于相关度评分对目标图像数据进行排序处理，得到图像排序结果。
示例性地，除了应用于模型监督优化处理的领域之外，本申请还可用于图像排序领域，当需要对大批量的图像进行排序处理时，可以获取这些待排序的目标图像数据。而后通过图像排序模型输出目标图像数据的相关度评分。该图像排序模型的选取和相关度评分都是根据图像排序的应用场景来进行设置的，例如在其中一个实施例中，本申请应用于对图像内的笑容进行评分，笑的越开心的图像评分越高，此时图像排序模型可以由笑容图像相关的样本数据训练得到。而目标图像数据的相关度评分也表征的是图像内笑容的评分。在得到评分后，即可基于相关度评分对目标图像数据进行排序处理，得到图像排序结果。在另外的实施例中，本申请的目标相关度模型能够实现在特定场景下感兴趣的目标相关性的排序，相对于直接做二分类而言，可以根据需要选择特定相关性的样本，增强样本的匹配程度，因此还能够广泛应用于检索、相似度识别、分类等各种应用场景下。本实施例中，通过图像排序模型来输出图像的相关度评分，从而实现对图像进行排序，可以有效提高图像排序处理过程的效率和准确性。
本申请还提供一种应用场景，以该应用场景应用上述的相关度模型数据处理为例进行说明，该相关度模型数据处理方法具体包括：
当用户需要训练一个图文匹配模型，以通过图文匹配模型输出匹配度来进行图文匹配任务的处理时。可以通过本申请的相关度模型数据处理方法来完成对图文匹配模型的训练。
首先，用户需要根据图文匹配任务的需求，收集大批量的二分类图文对数据，图文本数据内包含图像、文本以及图像文本是否匹配的标注。而后通过这些图文对数据来构建预训练相关性样本，从而完成对初始相关度识别模型的预训练处理，得到预训练相关性识别模型，预训练相关性模型可以对图文是否匹配进行判别。预训练相关性模型中包含图像编码器、文本编码器、多模态解码器以及线性层等结构，图文对数据中的图像输出输入到图像编码器进行编码、文本数据则输入到文本编码器进行编码，而后编码得到的特征数据输入到多模态解码器中进行特征融合的解码处理，再输入到线性层输出最终的匹配结果，其整体结构可以参照图3所示。其中图像编码器可以通过卷积神经网络模型、图卷积神经网络模型或者inception（开端）模型实现，其中通过inception模型提取特征的过程可以参照图4所示。而文本编码器则可以通过Bert（Bidirectional Encoder Representation fromTransformers，双向转换器的编码器）等模型来实现，其中Bert模型的结构可以参照图5所示，而Bert模型中转换器（Transformers）的结构则可以参照图6。线性层则可以通过多层感知机(Multilayer Perceptron，MLP)实现，其结构可以参照图7。
其次，本申请的方案还需要在图3的预训练相关性识别模型的基础上完成对模型的微调，从而得到可用于输出相关度的目标相关度模型。在微调时，需要先获取标注完成的相关性样本组，而后通过相关性样本组内各个样本的相对等级标记，来构建样本对数据。即从相关性样本组中提取不重复样本，组成样本对；基于样本对内样本的等级比较结果对样本对的样本进行排序处理；根据等级比较结果为排序后的样本对添加等级比较结果标记，得到样本对数据。而对于模型微调的过程，则需要将样本对数据内的样本分别输入预训练相关性识别模型，得到第一模型输出和第二模型输出；基于第一模型输出与第二模型输出之间的差值、以及样本对数据的等级比较结果标记，确定样本对数据的相等损失参数和比较损失参数；基于第一模型输出、第二模型输出和样本对数据内样本的样本类型，确定得分损失参数。获取参数调整配置信息；基于参数调整配置信息确定预训练相关性识别模型中的固定参数和可调参数，对于图3所示的图文匹配模型，其中图像编码器和文本编码器的模型参数在微调过程中属于固定参数，而多模态解码器和线性层的模型参数则属于可调参数；基于比较损失参数、相等损失参数和得分损失参数确定总体损失；通过反向传播算法确定总体损失对应的梯度参数；基于梯度参数对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。目标相关度模型可以对图像和文本的相关度进行准确识别。
在其中一个实施例中，本申请的相关度模型数据处理方法如图8所示，包括：步骤801，获取带二分类标记的历史数据。步骤803，基于带二分类标记的历史数据构建预训练相关性样本。步骤805，通过预训练相关性样本对初始相关度识别模型进行预训练处理，得到预训练相关性识别模型。步骤807，获取相关性样本组。步骤809，从相关性样本组中提取不重复样本，组成样本对。步骤811，基于样本对内样本的等级比较结果对样本对的样本进行排序处理。步骤813，根据等级比较结果为排序后的样本对添加等级比较结果标记，得到样本对数据。步骤815，将样本对数据内的样本分别输入预训练相关性识别模型，得到第一模型输出和第二模型输出。步骤817，基于第一模型输出与第二模型输出之间的差值、以及样本对数据的等级比较结果标记，确定样本对数据的相等损失参数和比较损失参数。步骤819，基于第一模型输出、第二模型输出和样本对数据内样本的样本类型，确定得分损失参数。步骤821，获取参数调整配置信息。步骤823，基于参数调整配置信息确定预训练相关性识别模型中的固定参数和可调参数。步骤825，基于比较损失参数、相等损失参数和得分损失参数确定总体损失。步骤827，通过反向传播算法确定总体损失对应的梯度参数。步骤829，基于梯度参数对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的相关度模型数据处理方法的相关度模型数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个相关度模型数据处理装置实施例中的具体限定可以参见上文中对于相关度模型数据处理方法的限定，在此不再赘述。
在一个示例性的实施例中，如图9所示，提供了一种相关度模型数据处理装置，包括：
样本数据获取模块902，用于获取相关性样本组，相关性样本组内包含多个相关性样本和相关性样本之间的相对等级标记。
样本对构建模块904，用于基于相对等级标记，得到相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据。
损失识别模块906，用于通过样本对数据对预训练相关性识别模型进行微调训练，得到样本对数据的比较损失参数、相等损失参数和得分损失参数，预训练相关性识别模型由带二分类标记的相关性样本训练得到。
参数调整模块908，用于基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
在一个实施例中，样本对构建模块904具体用于：从相关性样本组中提取不重复样本，组成样本对；基于样本对内样本的等级比较结果对样本对的样本进行排序处理；根据等级比较结果为排序后的样本对添加等级比较结果标记，得到样本对数据。
在一个实施例中，损失识别模块906具体用于：将样本对数据内的样本分别输入预训练相关性识别模型，得到第一模型输出和第二模型输出；基于第一模型输出与第二模型输出之间的差值、以及样本对数据的等级比较结果标记，确定样本对数据的相等损失参数和比较损失参数；基于第一模型输出、第二模型输出和样本对数据内样本的样本类型，确定得分损失参数。
在一个实施例中，等级比较结果标记包括相等标记和不等标记。损失识别模块906还用于：当样本对数据携带相等标记时，基于第一模型输出与第二模型输出之间的差值，确定样本对数据的相等损失参数；当样本对数据携带不等标记时，基于第一模型输出与第二模型输出之间的差值，确定样本对数据的比较损失参数。
在一个实施例中，还包括预训练模块，用于：获取带二分类标记的历史数据；基于带二分类标记的历史数据构建预训练相关性样本；通过预训练相关性样本对初始相关度识别模型进行预训练处理，得到预训练相关性识别模型。
在一个实施例中，参数调整模块908具体用于：获取参数调整配置信息；基于参数调整配置信息确定预训练相关性识别模型中的固定参数和可调参数；基于比较损失参数、相等损失参数和得分损失参数，对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
在一个实施例中，参数调整模块908具体用于：基于比较损失参数、相等损失参数和得分损失参数确定总体损失；通过反向传播算法确定总体损失对应的梯度参数；基于梯度参数对预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
在一个实施例中，参数调整模块908具体用于：获取预训练相关性识别模型中比较损失参数、相等损失参数和得分损失参数各自对应的损失系数；基于比较损失参数、相等损失参数和得分损失参数结合损失系数，确定总体损失。
在一个实施例中，参数调整模块908具体用于：基于参数调整配置信息确定预训练相关性识别模型的模型类型；当模型类型表征预训练相关性识别模型为图文相关度模型时，确定预训练相关性识别模型中的固定参数为图像编码器参数和文本编码器参数，可调参数为多模态解码器参数和线性层参数。
在一个实施例中，目标相关度模型包括图文相关度模型。装置还包括模型监督模块，用于：获取图像描述模型的输入图像数据和输出文本数据；通过图文相关度模型确定输入图像数据和输出文本数据之间的相关度数据；基于相关度数据对图像描述模型进行参数调整处理。
在一个实施例中，目标相关度模型包括图像排序模型；装置还包括图像排序模块，用于：获取待排序的目标图像数据；通过图像排序模型输出目标图像数据的相关度评分；基于相关度评分对目标图像数据进行排序处理，得到图像排序结果。
上述相关度模型数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相关度模型数据处理相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相关度模型数据处理方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (21)
1.一种相关度模型数据处理方法，其特征在于，所述方法包括：
获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据，所述等级比较结果标记包括相等标记和不等标记；
将所述样本对数据内的样本分别输入预训练相关性识别模型，得到第一模型输出和第二模型输出，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；
当所述样本对数据携带相等标记时，基于所述第一模型输出与所述第二模型输出之间的差值，确定样本对数据的相等损失参数，当所述样本对数据携带不等标记时，基于所述第一模型输出与所述第二模型输出之间的差值，确定样本对数据的比较损失参数；
基于所述第一模型输出、所述第二模型输出和所述样本对数据内样本的样本类型，确定得分损失参数，所述得分损失参数根据所述样本对数据内的样本正负类型，对所述第一模型输出和所述第二模型输出施加得分损失函数得到，用于区分所述样本对数据内的样本正负类型；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据包括：
从所述相关性样本组中提取不重复样本，组成样本对；
基于所述样本对内样本的等级比较结果对所述样本对的样本进行排序处理；
根据所述等级比较结果为排序后的所述样本对添加等级比较结果标记，得到样本对数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取带二分类标记的历史数据；
基于所述带二分类标记的历史数据构建预训练相关性样本；
通过预训练相关性样本对初始相关度识别模型进行预训练处理，得到预训练相关性识别模型。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型包括：
获取参数调整配置信息；
基于所述参数调整配置信息确定所述预训练相关性识别模型中的固定参数和可调参数；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型包括：
基于所述比较损失参数、所述相等损失参数和所述得分损失参数确定总体损失；
通过反向传播算法确定所述总体损失对应的梯度参数；
通过所述梯度参数对所述预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述比较损失参数、所述相等损失参数和所述得分损失参数确定总体损失包括：
获取所述预训练相关性识别模型中所述比较损失参数、所述相等损失参数和所述得分损失参数各自对应的损失系数；
基于所述比较损失参数、所述相等损失参数和所述得分损失参数结合所述损失系数，确定总体损失。
7.根据权利要求5所述的方法，其特征在于，所述基于所述参数调整配置信息确定所述预训练相关性识别模型中的固定参数和可调参数包括：
基于所述参数调整配置信息确定所述预训练相关性识别模型的模型类型；
当所述模型类型表征所述预训练相关性识别模型为图文相关度模型时，确定所述预训练相关性识别模型中的固定参数为图像编码器参数和文本编码器参数，可调参数为多模态解码器参数和线性层参数。
8.根据权利要求1所述的方法，其特征在于，所述目标相关度模型包括图文相关度模型；
所述方法还包括：
获取图像描述模型的输入图像数据和输出文本数据；
通过所述图文相关度模型确定所述输入图像数据和所述输出文本数据之间的相关度数据；
基于所述相关度数据对所述图像描述模型进行参数调整处理。
9.根据权利要求1所述的方法，其特征在于，所述目标相关度模型包括图像排序模型；
所述方法还包括：
获取待排序的目标图像数据；
通过所述图像排序模型输出所述目标图像数据的相关度评分；
基于所述相关度评分对所述目标图像数据进行排序处理，得到图像排序结果。
10.一种相关度模型数据处理装置，其特征在于，所述装置包括：
样本数据获取模块，用于获取相关性样本组，所述相关性样本组内包含多个相关性样本和所述相关性样本之间的相对等级标记；
样本对构建模块，用于基于所述相对等级标记，得到所述相关性样本组中相关性样本之间的等级比较结果，构建带等级比较结果标记的样本对数据，所述等级比较结果标记包括相等标记和不等标记；
损失识别模块，用于将所述样本对数据内的样本分别输入预训练相关性识别模型，得到第一模型输出和第二模型输出，所述预训练相关性识别模型由带二分类标记的相关性样本训练得到；当所述样本对数据携带相等标记时，基于所述第一模型输出与所述第二模型输出之间的差值，确定样本对数据的相等损失参数，当所述样本对数据携带不等标记时，基于所述第一模型输出与所述第二模型输出之间的差值，确定样本对数据的比较损失参数；基于所述第一模型输出、所述第二模型输出和所述样本对数据内样本的样本类型，确定得分损失参数，所述得分损失参数根据所述样本对数据内的样本正负类型，对所述第一模型输出和所述第二模型输出施加得分损失函数得到，用于区分所述样本对数据内的样本正负类型；
参数调整模块，用于基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型进行参数调整处理，得到目标相关度模型。
11.根据权利要求10所述的装置，其特征在于，所述样本对构建模块具体用于：从所述相关性样本组中提取不重复样本，组成样本对；基于所述样本对内样本的等级比较结果对所述样本对的样本进行排序处理；根据所述等级比较结果为排序后的所述样本对添加等级比较结果标记，得到样本对数据。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括预训练模块，用于：获取带二分类标记的历史数据；基于所述带二分类标记的历史数据构建预训练相关性样本；通过预训练相关性样本对初始相关度识别模型进行预训练处理，得到预训练相关性识别模型。
13.根据权利要求10至12任意一项所述的装置，其特征在于，所述参数调整模块具体用于：获取参数调整配置信息；基于所述参数调整配置信息确定所述预训练相关性识别模型中的固定参数和可调参数；基于所述比较损失参数、所述相等损失参数和所述得分损失参数，对所述预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
14.根据权利要求13所述的装置，其特征在于，所述参数调整模块具体用于：基于所述比较损失参数、所述相等损失参数和所述得分损失参数确定总体损失；通过反向传播算法确定所述总体损失对应的梯度参数；通过所述梯度参数对所述预训练相关性识别模型中的可调参数进行参数调整处理，得到目标相关度模型。
15.根据权利要求14所述的装置，其特征在于，所述参数调整模块具体用于：获取所述预训练相关性识别模型中所述比较损失参数、所述相等损失参数和所述得分损失参数各自对应的损失系数；基于所述比较损失参数、所述相等损失参数和所述得分损失参数结合所述损失系数，确定总体损失。
16.根据权利要求14所述的装置，其特征在于，所述参数调整模块具体用于：基于所述参数调整配置信息确定所述预训练相关性识别模型的模型类型；当所述模型类型表征所述预训练相关性识别模型为图文相关度模型时，确定所述预训练相关性识别模型中的固定参数为图像编码器参数和文本编码器参数，可调参数为多模态解码器参数和线性层参数。
17.根据权利要求10所述的装置，其特征在于，所述目标相关度模型包括图文相关度模型；所述装置还包括模型监督模块，用于：获取图像描述模型的输入图像数据和输出文本数据；通过所述图文相关度模型确定所述输入图像数据和所述输出文本数据之间的相关度数据；基于所述相关度数据对所述图像描述模型进行参数调整处理。
18.根据权利要求10所述的装置，其特征在于，所述目标相关度模型包括图像排序模型；所述装置图像排序模块，用于：获取待排序的目标图像数据；通过所述图像排序模型输出所述目标图像数据的相关度评分；基于所述相关度评分对所述目标图像数据进行排序处理，得到图像排序结果。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
21.一种计算机程序产品 ，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410042267.0A CN117556275B (zh) | 2024-01-11 | 2024-01-11 | 相关度模型数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410042267.0A CN117556275B (zh) | 2024-01-11 | 2024-01-11 | 相关度模型数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117556275A CN117556275A (zh) | 2024-02-13 |
| CN117556275B true CN117556275B (zh) | 2024-04-02 |
Family
ID=89823628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410042267.0A Active CN117556275B (zh) | 2024-01-11 | 2024-01-11 | 相关度模型数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117556275B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3525134A1 (en) * | 2018-02-12 | 2019-08-14 | Samsung Electronics Co., Ltd. | Device and method with image matching |
| CN114780846A (zh) * | 2022-04-22 | 2022-07-22 | 北京百度网讯科技有限公司 | 信息检索系统的排序模型训练方法、装置、介质及设备 |
| CN115700550A (zh) * | 2021-07-28 | 2023-02-07 | 腾讯科技（深圳）有限公司 | 标签分类模型训练和对象筛选方法、设备及存储介质 |
-
2024
- 2024-01-11 CN CN202410042267.0A patent/CN117556275B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3525134A1 (en) * | 2018-02-12 | 2019-08-14 | Samsung Electronics Co., Ltd. | Device and method with image matching |
| CN115700550A (zh) * | 2021-07-28 | 2023-02-07 | 腾讯科技（深圳）有限公司 | 标签分类模型训练和对象筛选方法、设备及存储介质 |
| CN114780846A (zh) * | 2022-04-22 | 2022-07-22 | 北京百度网讯科技有限公司 | 信息检索系统的排序模型训练方法、装置、介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 多查询相关的排序支持向量机融合算法;王扬;黄亚楼;谢茂强;刘杰;卢敏;廖振;;计算机研究与发展;20110415(04);第558-566页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117556275A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
| CN110147457B (zh) | 图文匹配方法、装置、存储介质及设备 | |
| CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| CN111159485B (zh) | 尾实体链接方法、装置、服务器及存储介质 | |
| CN114332680A (zh) | 图像处理、视频搜索方法、装置、计算机设备和存储介质 | |
| CN112148831B (zh) | 图文混合检索方法、装置、存储介质、计算机设备 | |
| CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN113220832A (zh) | 一种文本处理方法及装置 | |
| Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
| CN113011172A (zh) | 文本处理方法、装置、计算机设备和存储介质 | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
| CN117494051A (zh) | 一种分类处理的方法、模型训练的方法以及相关装置 | |
| CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及系统 | |
| CN116610831A (zh) | 语义细分及模态对齐推理学习跨模态检索方法及检索系统 | |
| CN117556067B (zh) | 数据检索方法、装置、计算机设备和存储介质 | |
| CN112148994B (zh) | 信息推送效果评估方法、装置、电子设备及存储介质 | |
| CN112396091B (zh) | 社交媒体图像流行度预测方法、系统、存储介质及应用 | |
| CN116578729B (zh) | 内容搜索方法、装置、电子设备、存储介质和程序产品 | |
| CN114764865A (zh) | 数据分类模型训练方法、数据分类方法和装置 | |
| CN117009570A (zh) | 一种基于位置信息与置信度感知的图文检索方法及装置 | |
| CN117435685A (zh) | 文档检索方法、装置、计算机设备、存储介质和产品 | |
| CN117556275B (zh) | 相关度模型数据处理方法、装置、计算机设备和存储介质 | |
| CN115204301A (zh) | 视频文本匹配模型训练、视频文本匹配方法和装置 | |
| CN116484067A (zh) | 目标对象匹配方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |