CN117708340A - 标签文本的确定方法、模型训练及调整方法、设备和介质 - Google Patents
标签文本的确定方法、模型训练及调整方法、设备和介质 Download PDFInfo
- Publication number
- CN117708340A CN117708340A CN202410167284.7A CN202410167284A CN117708340A CN 117708340 A CN117708340 A CN 117708340A CN 202410167284 A CN202410167284 A CN 202410167284A CN 117708340 A CN117708340 A CN 117708340A
- Authority
- CN
- China
- Prior art keywords
- text
- tag
- representation
- target
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012512 characterization method Methods 0.000 claims abstract description 38
- 230000014509 gene expression Effects 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 26
- 239000012634 fragment Substances 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 description 128
- 239000013598 vector Substances 0.000 description 40
- 238000013145 classification model Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 20
- 239000003814 drug Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 229940079593 drug Drugs 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010067484 Adverse reaction Diseases 0.000 description 1
- 230000006838 adverse reaction Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施方式提供了一种标签文本的确定方法、模型训练及调整方法、设备和介质。方法包括:获取针对指定对象的对象文本,以及所述指定对象对应的候选标签集;所述候选标签集包括多个标签文本;不同标签文本表达的语义不相同;生成所述对象文本相对于多个标签文本的对象文本表征;对象文本表征能着重于表示所述对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;基于对象文本表征确定所述候选标签集中与所述指定对象相关联的标签文本。通过相对于标签文本生成的对象文本的对象文本表征,确定候选标签集中与所述指定对象相关联的标签文本,可以提高为指定对象确定相关联的标签文本的准确性。
Description
技术领域
本说明书中实施方式关于自然语言处理领域,具体关于一种标签文本的确定方法、模型训练及调整方法、设备和介质。
背景技术
目前,对象所关联的标签项可以用于表示对象具有的特征。例如,针对一些商品,标签项可以表示商品的属性。用户可以通过标签项在大量商品中筛选出符合需求的商品。在一些情况下,标签项可以以标签文本的形式表示。
然而,标签项以及对应的标签文本的数量较多,且不同对象所关联的标签项和标签文本的差异也可能较大。因此,现有技术中确定指定对象相关联的标签文本的准确性较低。
发明内容
本说明书中多个实施方式提供一种标签文本的确定方法、模型训练及调整方法、设备和介质,在一定程度上提高了为指定对象确定的相关联的标签文本的准确性。
本说明书的一个实施方式提供一种标签文本的确定方法,包括:获取针对指定对象的对象文本,以及指定对象对应的候选标签集;其中,候选标签集包括多个标签文本;不同标签文本表达的语义不相同;生成对象文本相对于多个标签文本的对象文本表征;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;基于对象文本表征确定候选标签集中与指定对象相关联的标签文本。
本说明书的一个实施方式提供一种标签文本确定模型的训练方法,包括:构造训练样本;其中,训练样本包括相对应的输入数据和目标输出数据;输入数据包括针对指定对象的对象文本和指定对象对应的候选标签集;候选标签集包括多个标签文本;不同标签文本表达的语义不相同;目标输出数据用于指示候选标签集中与指定对象相关联的标签文本;将输入数据作为标签文本确定模型的输入,以使标签文本确定模型生成输入数据中的对象文本相对于多个标签文本的对象文本表征,以通过对象文本表征预测候选标签集中与指定对象相关联的标签文本;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;根据标签文本确定模型的预测结果和目标输出数据之间的差异,调整标签文本确定模型的参数,以得到训练完成的标签文本确定模型。
本说明书的一个实施方式提供一种标签文本确定模型的调整方法,标签文本确定模型用于根据第一指定对象的第一对象文本和第一指定对象对应的第一候选标签集,确定候选标签集中与第一指定对象相关联的标签文本;第一候选标签集包括多个标签文本;不同标签文本表达的语义不相同;方法包括:获取模型调整数据;其中,模型调整数据包括输入数据和目标输出数据;输入数据包括针对第二指定对象的第二对象文本、第二指定对象对应的第二候选标签集;目标输出数据用于指示第二候选标签集中与第二指定对象相关联的标签文本;其中,第二候选标签集包括多个标签文本;不同标签文本表达的语义不相同;第二候选标签集中的标签文本和第一候选标签集中的标签文本至少部分不同;使用上述任一实施方式的标签文本确定模型的训练方法,基于模型调整数据对标签文本确定模型进行训练,训练完成的标签文本确定模型作为调整后的标签文本确定模型;其中,模型调整数据用于形成训练样本。
本说明书的一个实施方式提供一种标签文本的确定装置,装置包括:获取模块,用于获取针对指定对象的对象文本,以及指定对象对应的候选标签集;其中,候选标签集包括多个标签文本;不同标签文本表达的语义不相同;生成模块,用于生成对象文本相对于多个标签文本的对象文本表征;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;确定模块,用于基于对象文本表征确定候选标签集中与指定对象相关联的标签文本。
本说明书的一个实施方式提供一种标签文本确定模型的训练装置,装置包括:训练样本构造模块,用于构造训练样本;其中,训练样本包括相对应的输入数据和目标输出数据;输入数据包括针对指定对象的对象文本和指定对象对应的候选标签集;候选标签集包括多个标签文本;不同标签文本表达的语义不相同;目标输出数据用于指示候选标签集中与指定对象相关联的标签文本;输入模块,用于将输入数据作为标签文本确定模型的输入,以使标签文本确定模型生成输入数据中的对象文本相对于多个标签文本的对象文本表征,以通过对象文本表征预测候选标签集中与指定对象相关联的标签文本;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;参数调整模块,用于根据标签文本确定模型的预测结果和目标输出数据之间的差异,调整标签文本确定模型的参数,以得到训练完成的标签文本确定模型。
本说明书的一个实施方式提供一种标签文本确定模型的调整装置,标签文本确定模型用于根据第一指定对象的第一对象文本和第一指定对象对应的第一候选标签集,确定候选标签集中与第一指定对象相关联的标签文本;第一候选标签集包括多个标签文本;不同标签文本表达的语义不相同;装置包括:模型调整数据获取模块,用于获取模型调整数据;其中,模型调整数据包括输入数据和目标输出数据;输入数据包括针对第二指定对象的第二对象文本、第二指定对象对应的第二候选标签集;目标输出数据用于指示第二候选标签集中与第二指定对象相关联的标签文本;其中,第二候选标签集包括多个标签文本;不同标签文本表达的语义不相同;第二候选标签集中的标签文本和第一候选标签集中的标签文本至少部分不同;训练模块,用于使用上述任一实施方式的标签文本确定模型的训练方法,基于模型调整数据对标签文本确定模型进行训练,训练完成的标签文本确定模型作为调整后的标签文本确定模型;其中,模型调整数据用于形成训练样本。
本说明书的一个实施方式提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任一实施方式的方法。
本说明书的一个实施方式提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施方式的方法。
本说明书的一个实施方式提供一种计算机程序产品,计算机程序产品用于实现上述任一实施方式的方法。
本说明书提供的多个实施方式,通过获取针对指定对象的对象文本,以及指定对象对应的候选标签集。进一步地,基于候选标签集包括的多个标签文本,可以生成对象文本相对于多个标签文本的对象文本表征。由于对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容,因此使用对象文本表征可以确定相应的标签文本是否为与指定对象相关联的标签文本,可以在一定程度上提高在候选标签集中确定的与指定对象相关联的标签文本的准确性。
附图说明
图1为本说明书的一个实施方式提供的标签文本的确定方法的示意图。
图2为本说明书的一个实施方式提供的标签文本的确定方法的流程示意图。
图3为本说明书的一个实施方式提供的生成对象文本表征的示意图。
图4为本说明书的一个实施方式提供的标签文本确定模型的训练方法的流程示意图。
图5为本说明书的一个实施方式提供的正样本表征和负样本表征的示意图。
图6为本说明书的一个实施方式提供的标签文本确定模型的调整方法的流程示意图。
图7为本说明书的一个实施方式提供的标签文本的确定装置的示意图。
图8为本说明书的一个实施方式提供的标签文本确定模型的训练装置的示意图。
图9为本说明书的一个实施方式提供的标签文本确定模型的调整装置的示意图。
图10为本说明书的一个实施方式提供的计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
针对一些对象,基于相关技术可以在预设的多个标签文本中确定与对象关联的标签文本。
具体的,相关技术中确定对象关联的标签文本的方法,可以通过多分类模型实现。例如,多分类模型的输入可以是对象相关的数据形成的输入向量,多分类模型的输出可以是输出向量。输出向量可以包括多个维度以及对应的维度取值。其中,一个维度可以对应一个标签文本。当输出向量的一个或多个维度的维度取值符合指定条件时,可以认定相应维度对应的标签文本是与对象关联的标签文本。
在一些情况下,相关技术中在预设的多个标签文本中确定与对象关联的标签文本的方法可以应用在挖掘消费者购买商品的决策因子这一数据处理任务之中。
具体的,由于消费者在选购商品时,会针对意向购买的商品向已经购买过该商品的消费者或出售该商品的商家提问。提问内容中可能会涉及到部分消费者关注的商品的标签项。该标签项可以作为消费者购买商品的决策因子。因此,通过消费者的提问内容可以分析出不同消费者购买商品时所关注的标签项,并基于此可以学习到不同消费者的消费习惯。虽然通过人工可以分辨出提问内容中涉及的商品的标签项,但是效率较为低下。
因此,借助相关技术中确定标签文本的方法,可以将消费者提问的提问文本作为对象文本,以及将商品的具备的标签项作为预设的多个标签文本。通过将提问文本形成的输入向量输入多分类模型,以使多分类模型分辨出提问文本涉及的标签文本,并以输出向量的形式反馈给工作人员。
然而,对于能够确定多个与对象关联的标签文本的多分类任务,相关技术中的多分类模型较难实现较高的准确率。并且,针对上述应用场景,消费者提问形成的提问文本的数据量相对较少,使得通过相关技术中确定提问文本涉及的标签文本的准确性进一步地降低。
因此,如何在较少数据量的前提下,提高多分类任务的准确性便变得较为重要。
发明人在长期工作中发现,相关技术中的多分类模型在训练时,作为标签的输出向量指示的是对象关联的标签文本的标识。相应的,多分类模型在训练时学习到的是不同输入向量之间的异同,以及输入向量与至少一个标识之间的对应关系。相比于人工确定标签文本时人能够明确不同标签文本的具体含义,相关技术中的多分类模型在训练时较难学习到这部分知识,使得多分类任务的处理效果不佳。
此外,发明人还发现将相关技术中确定标签文本的方法应用在挖掘决策因子的数据处理任务时效果不佳的原因还在于以下内容。由于不同品类的商品的标签项可能至少部分不同,相关技术中如果训练一个包括全部品类商品的标签项的多分类模型,针对某一个品类的商品的提问文本确定其涉及的标签项时,非该品类的商品的标签项也会影响到多分类模型的预测结果。也就是说,由于多分类模型的输出向量的维度对应了全部品类商品的标签项,多分类模型学到的是输入向量与全部品类商品的标签项之间对应关系。针对某一个品类的商品的提问文本,多分类模型在预测时可能会将该品类商品的提问文本形成输入向量与非该品类商品的标签项之间建立对应关系。从而造成了确定标签文本准确性不高。
即使针对每一个商品品类,都单独训练一个多分类模型,这又会加剧因数据量较少而使得多分类模型的准确性降低的问题。
为解决上述问题,本说明书实施方式提供了一种标签文本的确定方法、模型训练及调整方法、设备和介质,通过获取指定对象的对象文本以及包括多个标签文本的候选标签集,并生成能着重表示对象文本中与标签文本所表达的语义相关的内容的对象文本表征,进一步地,基于使用对象文本表征可以确定相应的标签文本是否为与指定对象相关联的标签文本,通过对象文本表征确定与指定对象相关联的标签文本,可以在一定程度上提高确定的相关联的标签文本的准确性。
请参阅图1,本说明书中提供一种标签文本的确定系统的应用场景示例。
标签文本的确定系统的用户可能是电商平台的工作人员。电商平台可以维护有消费者在选购商品的过程中向已经购买过相应商品的消费者或出售相应商品的商家提问所形成的提问文本,以及商品对应的候选标签集。候选标签集可以包括多个标签文本。标签文本可以表示相应商品具有的标签项。用户可能希望确定消费者的提问文本涉及的商品的标签项,以根据提问文本发掘出消费者对商品的兴趣点。
标签文本的确定系统可以先获取到多个对应同一个品类商品的提问文本以及该品类商品对应的候选标签集。示例性的,标签文本的确定系统获取到的可以是针对血压仪这一品类的提问文本。提问文本可以是以下三个文本。提问文本1:“给家里老人用的,好用吗”;提问文本2:“测得准不准”;提问文本3:“携带起来方便吗”。呼吸机对应的候选标签集可以包括以下三个标签文本。标签文本1:“效果”;标签文本2:“适用人群”;标签文本3:“操作便捷性”。
接着,标签文本的确定系统可以将提问文本和标签文本通过语义编码模块进行编码。
具体的,针对呼吸机对应的候选标签集中的三个标签文本,标签文本的确定系统可以利用语义编码模块将标签文本分别编码为相应的标签文本表征E1、E2和E3。其中,E1是由标签文本1编码得到标签文本表征。E2是由标签文本2编码得到标签文本表征。E3是由标签文本3编码得到标签文本表征。
针对提问文本,标签文本的确定系统可以先将提问文本进行文本预处理和分词,并通过语义编码模块编码分别将每个词汇编码为相应的文本片段表征。接着,针对每个提问文本,标签文本的确定系统可以计算出相应的提问文本相对于多个标签文本的提问文本表征,该提问文本表征可以是对象文本表征。
其中,针对一个提问文本,生成其相对于一个标签文本的提问文本表征的过程可以是先计算该提问文本包括的每个文本片段的文本片段表征和该标签文本的标签文本表征之间的语义相似度,并以该语义相似度为权重,将每个文本片段表征进行加权求和,得到该提问文本相对于该标签文本的提问文本表征。
示例性的,针对提问文本1,即“给家里老人用的,好用吗”这一提问文本。标签文本的确定系统可以将其分为“家里”、“老人”和“好用”。接着,通过语义编码模块可以将“家里”编码为文本片段表征h11,将“老人”编码为文本片段表征h12,将“好用”编码为文本片段表征h13。其中,提问文本1对应的全部文本片段表征h11、h12、h13可以通过H1表示。
进一步地,标签文本的确定系统可以分别计算h11、h12、h13与E1、E2、E3之间的语义相似度。h11、h12、h13与E1之间的语义相似度可能是0.1、0.1、0.8。标签文本的确定系统可以将0.1作为h11和h12的权重,以及将0.8作为h13的权重进行加权求和,得到提问文本1相对于标签文本1的提问文本表征Z11。
类似的,标签文本的确定系统可以计算得到提问文本1相对于标签文本2和标签文本3的提问文本表征Z12和Z13。以及,提问文本2相对于标签文本的提问文本表征Z21、Z22和Z23,以及提问文本3相对于标签文本的提问文本表征Z31、Z32和Z33。其中,提问文本2对应的全部文本片段表征可以通过H2表示。提问文本3对应的全部文本片段表征可以通过H3表示。
接着,标签文本的确定系统可以针对每个提问文本对应的多个提问文本表征,计算该提问文本表征与相应的标签文本表征之间的表征相似度。在表征相似度大于指定阈值的情况下,认定该标签文本为提问文本涉及的标签文本。
示例性的,提问文本1的提问文本表征Z11和对应的标签文本表征E1的表征相似度可能大于0.6,以及提问文本1的提问文本表征Z12和对应的标签文本表征E2的相似度也大于0.6,以及提问文本1的提问文本表征Z13和对应的标签文本表征E3的相似度小于0.6,则认为提问文本1涉及的标签文本为标签文本1和标签文本2。
类似的,标签文本的确定系统还可以确定提问文本2和提问文本3涉及的标签文本。
本说明书实施方式提供一种标签文本的确定系统。标签文本的确定系统可以包括客户端和服务器。客户端可以与用户进行交互。客户端可以是具有网络访问能力的电子设备。具体的,例如,客户端可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中,智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。或者,客户端也可以为能够运行于电子设备中的软件。服务器可以用于执行标签文本的确定方法、标签文本确定模型的训练方法和/或标签文本确定模型的调整方法。服务器可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。当然,服务器也可以是指运行于电子设备中的软体。服务器还可以为分布式服务器,可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者,服务器还可以为若干服务器形成的服务器集群。或者,随着科学技术的发展,服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如,可以是基于量子计算实现的新形态的“服务器”。
请参阅图2,本说明书的一个实施方式提供一种标签文本的确定方法。标签文本的确定方法可以应用于服务器。标签文本的确定方法可以包括以下步骤。
步骤S110:获取针对指定对象的对象文本,以及指定对象对应的候选标签集;其中,候选标签集包括多个标签文本;不同标签文本表达的语义不相同。
在一些情况下,标签文本的确定方法可以用于在多个标签文本中确定与指定对象关联的标签文本。因此,需要先获取针对指定对象的对象文本,以及包括多个标签文本的候选标签集。
在本实施方式中,指定对象可以指代任意对象。具体的,例如,指定对象可以是商品或者商品品类。商品可以是实体商品,也可以是虚拟商品。例如,商品可以是药品、游戏道具或者互联网医院提供的在线问诊服务等。在一些实施方式中,指定对象也可以指代人。
在本实施方式中,针对指定对象的对象文本可以是与指定对象相关的文本。具体的,对象文本可以是描述指定对象的文本。例如,指定对象可以是商品,对象文本可以是描述商品的特征的商品说明书。或者,指定对象指代人,对象文本可以是人的简历。
在一些实施方式中,针对指定对象的对象文本也可以是针对指定对象的提问。具体的,例如,指定对象可以是药品或医疗器械,对象文本可以是消费者在选购药品或医疗器械过程中向已经购买过药品或医疗器械的消费者提出的问题,或者向出售医疗器械或药品的商家提出的问题。这些问题可以是药品或医疗器械的使用问题,也可以是针对药品或医疗器械本身的属性提出的问题。当然,指定对象指代人的情况下,对象文本也可以表述针对人的提问。例如,对象文本可以是某个人面试过程中面试官根据人的简历提出的问题。
在本实施方式中,候选标签集可以包括多个标签文本。标签文本可以表示标签项。标签文本可以用于描述指定对象在某一个维度的特征。不同标签文本描述的指定对象的特征可以不同。相应的,不同标签文本表达的语义可以不相同。具体的,例如,指定对象可以是人。对应人的候选标签集中的标签文本可以是人的身高、体重、学历、职业、外貌或修养等人的特征。
当然,指定对象也可以商品。对应商品的候选标签集中的标签文本可以分别表示商品的属性。例如,标签文本可以表示商品的价格、功能或商品提供方等。
在指定对象是商品的一些情况下,同一个商品品类的商品可以对应同一个候选标签集。不同商品品类的商品可以对应不同的候选标签集。不同候选标签集中的标签文本至少部分不同。具体的,例如,对应药品的候选标签集中的多个标签文本可以分别表示药品的厂家、适应症、适用人群和不良反应等。对应电子产品的候选标签集中的多个标签文本可以表示电子产品的品牌、尺寸和性能参数等。
在一些实施方式中,一个标签文本可以由一个标签词形成。一个对象文本可以由多个字或词形成。
在本实施方式中,获取针对指定对象的对象文本,以及指定对象对应的候选标签集的方法,可以是服务器从数据库获取得到,也可以是服务器实时从用户客户端请求得到。本说明书实施方式在此不作具体限定。
步骤S120:生成对象文本相对于多个标签文本的对象文本表征;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同。
在一些情况下,在通过对象文本确定候选标签集中与指定对象相关联的标签文本的过程中,将标签文本的语义作为确定相关联的标签文本的参考信息,可以提高确定的与指定对象相关联的标签文本的准确性。
为在确定标签文本时加入标签文本的语义信息,本实施方式中将对象文本分配到多个标签文本的分类任务转化为了通过计算对象文本和标签文本之间的语义相似度的匹配任务。
然而,对象文本包含的信息较多。因此,对象文本整体向量化后得到的表征与标签文本表征之间的语义相似度较低。具体的,对象文本可以是消费者针对商品的提问内容。例如,对象文本可以是“给老人买的,好用吗”这一句话。标签文本可以是“效果”。该对象文本与标签文本之间可能并没有直接的语义。如果将标签文本和对象文本映射到同一个语义空间,二者的表征之间距离可能相对较远,对于确定与指定对象相关联的标签文本的作用不大。
为此,本实施方式中通过生成对象文本相对于多个标签文本的对象文本表征。由于对应不同标签文本的对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容,因此可以通过计算语义相似度的方法确定对象文本关联的标签文本。从而可以更加准确的确定候选标签集中与指定对象相关联的标签文本。
在本实施方式中,同一个对象文本对应不同标签文本可以生成有不同的对象文本表征。对象文本表征可以着重于表示对象文本中与相应标签文本所表达语义相关的内容。
着重于表示对象文本中与相应标签文本所表达语义相关的内容可以表示:对象文本表征所能表示的信息中,对象文本中与相应标签文本所表达语义相关的内容所表示的信息被加强,和/或对象文本中与相应标签文本所表达语义相关性较弱的内容所表示的信息被减弱。这可以表示对象文本表征在向量空间中的位置更加接近对象文本中与相应标签文本所表达语义相关的内容所对应的表征向量在向量空间中的位置。
或者,着重于表示对象文本中与相应标签文本所表达语义相关的内容也可以表示:对象文本表征承载的信息中,与相应标签文本所表达语义相关的内容所表示的信息的权重或占比被增大。
具体的,对象文本表征可以以不同的形态表征信息。例如,对象文本表征可以是向量。该向量可以以列表等数据结构存储在计算机之中。当然,对象文本表征也可以通过矩阵或者量子计算机中的量子态的形式表示。本说明书实施方式在此不作具体限定。
在一些实施方式中,生成对象文本相对于标签文本的对象文本表征的步骤,可以包括:计算对象文本的多个文本片段分别与标签文本之间的语义相似度;依照多个文本片段与标签文本之间的语义相似度,将多个文本片段的文本片段表征进行加权求和,得到对应标签文本的对象文本表征。
在一些情况下,标签文本可以通过一个字、词或短语等较为简洁的文字组成来表达某一个维度的特征。对象文本可能包括较多无关文字或涉及多个标签文本。因此,可以借助注意力机制的思想,可以先将对象文本划分为多个文本片段,并基于文本片段和标签文本之间的语义相似度,构建对象文本表征,以着重强调对象文本中与相应标签文本所表达语义相关的内容。
在本实施方式中,文本片段可以表示对象文本或经过预处理后的对象文本的一部分。具体的,例如,一个文本片段可以是对象文本中的一个字、一个词汇或一个短语。不同文本片段的内容不同。本说明书实施方式在此不作具体限定。
在一些实施方式中,对象文本划分后的文本片段的文字组成成分,可以和标签文本的文字组成成分相一致。具体的,例如,对象文本可以是句子。标签文本可以是词语。相应的,文本片段可以是对象文本中词语。或者,标签文本是短语的情况下,文本片段也可以是对象文本中的短语。
在本实施方式中,语义相似度可以用于表示两个文本表达的语义的相似性。具体的,语义相似度可以通过余弦相似度或欧式距离等方法计算得到。本说明书实施方式在此不作具体限定。
在本实施方式中,计算对象文本的多个文本片段分别与标签文本之间的语义相似度的方法,可以是通过语义编码模块先将标签文本编码为标签文本表征,以及将多个文本片段分别编码为多个文本片段表征。进一步地,基于欧氏距离或余弦相似度等相似度方法,计算标签文本表征和多个文本片段表征之间的相似度,作为语义相似度。
在一些实施方式中,计算对象文本的多个文本片段分别与标签文本之间的语义相似度的方法,也可以是将文本片段和标签文本之间重复的字词和/或近义词的数量,与本片段和标签文本之间字词总数的比值,作为语义相似度。
请参阅图3,在本实施方式中,多个文本片段与标签文本之间的语义相似度,可以作为权重,以将多个文本片段的文本片段表征进行加权求和,得到对应标签文本的对象文本表征。具体的,例如,对象文本是“给家里老人的,好用吗”。文本片段可以是“家里”、“老人”和“好用”。接着,表示文本片段的文本片段表征可以分别用h11、h12、h13表示。标签文本可以“效果”。表示标签文本的标签文本表征可以通过E1表示。h11、h12、h13与E1之间的语义相似度可能是α1、α2、α3。相应的,对象文本表征Z11可以通过公式1计算得到。
(1)
在本实施方式中,计算对象文本的多个文本片段分别与标签文本之间的语义相似度的方法,可以通过编辑距离、余弦相似度或欧式距离等方法计算得到。或者,计算对象文本的多个文本片段分别与标签文本之间的语义相似度也可以使用语义相似度模型计算得到。
在一些实施方式中,生成对象文本相对于标签文本的对象文本表征的步骤,可以包括:计算对象文本的多个文本片段分别与标签文本之间的语义相似度;将多个文本片段中,与标签文本之间的语义相似度大于指定阈值的文本片段的文本片段表征进行求和,得到对应标签文本的对象文本表征。
在一些情况下,也可以通过语义相似度剔除对象文本中与标签文本关联不大的内容,并基于与标签文本相关性较强的内容生成对象文本表征。
在一些实施方式中,生成对象文本相对于标签文本的对象文本表征的方法,也可以通过对Bert或其他预训练模型进行微调得到。具体的,例如,预训练模型的微调样本的输入可以是标签文本和对象文本,目标输出可以是人工标注的对象文本表征。相应的,在预训练模型的使用阶段,可以通过对象文本和标签文本生成对象文本表征。
步骤S130:基于对象文本表征确定候选标签集中与指定对象相关联的标签文本。
在一些实施方式中,与指定对象相关联的标签文本可以是针对指定对象的对象文本所涉及的标签文本。对象文本所涉及的标签文本可以是对象文本中提及的标签文本或对象文本的内容所关联的标签文本。
具体的,例如,指定对象对应的候选标签集中的标签文本可以表示指定对象在不同维度的特征。例如,指定对象可以是智能手机。标签文本可以表示智能手机的功能。具体的,标签文本可以包括“通话”、“拍照”和“游戏性能”等。对象文本可以是手机评测报告中的一段内容。具体内容可以是“该手机采用了A公司的大底传感器,可以提供较好的宽容度和较高的解析力,具有不错的拍摄体验”。该对象文本描述的是智能手机的拍照功能。相应的,该对象文本涉及的标签文本可以是“拍照”。当然,在一些情况下,对象文本也可以涉及多个标签文本。
在一些实施方式中,与指定对象相关联的标签文本也可以是表示指定对象所具备的属性或功能的标签文本。例如,指定对象对应的候选标签集中的标签文本可以表示手机的不同功能。具体的,标签文本可以包括“通话”、“拍照”和“游戏性能”等。指定对象可以是仅具有通话功能的非智能手机的商品简介。相应的,与指定对象相关联的标签文本可以表示该款手机具有的功能,即“通话”。
在一些实施方式中,标签文本可以对应有标签文本表征,基于对象文本表征确定候选标签集中与指定对象相关联的标签文本的步骤,包括:计算同一个对象文本的多个对象文本表征,分别与对应的标签文本的标签文本表征之间的表征相似度;将表征相似度符合指定条件的标签文本确认为与对象文本对应的指定对象相关联的标签文本。
在本实施方式中,表征相似度可以用于表示标签文本表征和对象文本表征在向量空间中的距离。在一些情况下,表征相似度也可以是语义相似度。
在本实施方式中,标签文本表征可以表示标签文本。具体的,例如,标签文本表征可以是对标签文本向量化后的得到的向量,向量可以是标签文本向量。
在本实施方式,针对每个对象文本生成的多个对象文本表征,可以分别表示该对象文本中与相应的标签文本语义相关的内容。因此,当对象文本表征与相应的标签文本的标签文本表征相似度较高的情况下,可以认为对象文本中涉及与标签文本语义相关的内容。
在本实施方式中,通过对象文本生成对应标签文本的对象文本表征,并基于对象文本表征和相应的标签文本表征计算相似度进行预测指定对象关联的标签文本,使得各个标签文本的预测都是独立进行,由此可以实现标签文本可扩展。在候选标签集中新增标签文本时,执行标签文本的确定方法的模型也不需要进行较大的调整,即可实现通过对象文本确定新增标签文本是否为指定对象关联的标签文本。
在一些实施方式中,基于对象文本表征确定候选标签集中与指定对象相关联的标签文本的步骤,可以包括:将对象文本表征输入判别模型;在判别模型的输出结果的符合指定条件的情况下,可以认定对象文本表征对应的标签文本是指定对象相关联的标签文本。
在本实施方式中,判别模型可以是一个二分类模型。二分类模型的输入可以是对象文本表征。二分类模型的输出结果可以是一个标量。在输出结果大于指定阈值的情况下,可以认为该对象文本表征对应的标签文本是指定对象相关联的标签文本。在一些实施方式中,二分类模型的输入也可以是标签文本的标签文本表征和相应的对象文本表征拼接后形成的向量。
在一些实施方式中,指定对象是指定商品或指定商品品类;标签文本表示标签项;候选标签集中的标签文本表示指定对象具有的标签项;对象文本是针对指定对象的用户提问文本;候选标签集中与指定对象相关联的标签文本是对象文本表达的问题所涉及的标签项对应的标签文本。
在一些情况下,消费者在购买商品时会根据的自己的兴趣点,针对有意向的商品进行提问。通过这些提问可以确定不同消费者在购买商品时的兴趣点,从而向消费者推荐合适的商品。当然,根据消费者对商品的兴趣点,也可以是产品进行分析,以调整产品策略。因此,将本说明书实施方式提供的标签项的确定方法在对消费者购买商品的决策因子的挖掘任务中具有较好地应用前景。
在本实施方式中,标签项可以表示指定对象的属性或功能。具体的,例如,指定对象可以是商品。商品的标签项可以是商品的品牌、型号、规格、适用人群以及功能特性等信息。
在本实施方式中,用户提问文本可以是人对指定对象的提问。具体的,用户提问文本可以是人对指定对象的属性或功能等相关信息的提问。例如,指定对象可以是商品。用户提问文本可以是消费者在购买商品的过程中针对商品或商品品类的提问。消费者的提问对象可以是已经购买过该商品的消费者,也可以是商品的卖家或者该商品所属于的商品品类的专家等。本说明书实施方式在此不作具体限定。
在本实施方式中,与指定对象相关联的标签文本可以是提问涉及的标签项对应的标签文本。具体可以参照上述实施方式中阐述的内容。
在一些实施方式中,计算对象文本的多个文本片段分别与标签文本之间的语义相似度的步骤,包括:使用语义编码模块分别将多个文本片段编码为相应的文本片段表征;利用语义编码模块将多个标签文本分别编码为相应的标签文本表征;分别计算文本片段表征和标签文本表征之间的语义相似度。
在一些情况下,标签文本和对象文本中文本片段可以使用同一个语义编码模型进行编码,可以在一定程度上提高标签文本表征和文本片段表征的一致性。从而在一定程度上提高计算得到的标签文本表征和文本片段表征之间的语义相似度的准确性。
在本实施方式中,文本片段可以对应有文本片段表征。文本片段表征可以表示文本片段的语义。具体的,例如,文本片段表征可以是对文本片段向量化后的得到的向量,向量可以是文本片段向量。
在本实施方式中,语义编码模块可以用于将自然语言编码为表征。具体的,例如,语义编码模块可以是Bert、transformer等语言模型。
在一些应用场景下,标签文本和/或对象文本可能具有一些专有词汇。因此,通过通用的语言模型编码得到的标签文本表征、文本片段表征以及对象文本表征,在确定指定对象关联的标签文本的任务中,效果可能并不十分出色。如果重新训练对应领域的语言模型,或对已有的语言模型进行参数微调可能都要花费较多时间。
因此,本说明书提供的一个实施方式中,语义编码模块可以包括预训练的语言模型和多层感知机。其中,预训练的语言模型的输出结果可以输入多层感知机,经过多层感知机处理后得到相应的标签文本表征、文本片段表征和/或对象文本表征。其中,多层感知机的参数数量小于预训练的语言模型的参数数量。多层感知机的参数可以是通过相应应用场景下的训练样本训练确定。
请参阅图4,本说明书实施方式还提供一种标签文本确定模型的训练方法。标签文本确定模型的训练方法可以应用于服务器。标签文本确定模型的训练方法可以包括以下步骤。
步骤S210:构造训练样本;其中,训练样本包括相对应的输入数据和目标输出数据;输入数据包括针对指定对象的对象文本和指定对象对应的候选标签集;候选标签集包括多个标签文本;不同标签文本表达的语义不相同;目标输出数据用于指示候选标签集中与指定对象相关联的标签文本。
在本实施方式中,标签文本确定模型可以根据指定对象的对象文本,以及指定对象对应的候选标签集,生成对象文本相对于多个标签文本的对象文本表征,以基于对象文本表征确定候选标签集中与指定对象相关联的标签文本。
在本实施方式中,训练样本可以包括输入数据和目标输出数据。输入数据可以作为标签文本确定模型的输入。目标输出数据可以作为标签文本确定模型的目标输出。即,目标输出数据是训练样本中的标注数据。
在本实施方式中,输入数据可以包括指定对象的对象文本和指定对象对应的候选标签集中的标签文本。当然,输入数据也可以包括对象文本和/或标签文本编码后的表征。
在本实施方式中,目标输出数据可以用于指示候选标签集中与指定对象相关联的标签文本。具体的,例如,目标输出数据可以包括指定对象相关联的标签文本。当然,目标输出数据也可以是指定对象相关联的标签文本的标识。例如,目标输出数据可以是一个输出向量。输出向量的一个维度可以对应候选标签集中的一个标签文本。输出向量的不同维度对应的标签文本不同。输出向量中对应指定对象相关联的标签文本的维度的取值可以是1。相应的,对应指定对象不关联的标签文本的维度的取值可以是0。
步骤S220:将输入数据作为标签文本确定模型的输入,以使标签文本确定模型生成输入数据中的对象文本相对于多个标签文本的对象文本表征,以通过对象文本表征预测候选标签集中与指定对象相关联的标签文本;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同。
在本实施方式中,将输入数据输入标签文本确定模型,可以得到标签文本确定模型预测的与指定对象相关联的标签文本。
步骤S230:根据标签文本确定模型的预测结果和目标输出数据之间的差异,调整标签文本确定模型的参数,以得到训练完成的标签文本确定模型。
在本实施方式中,预测结果可以表示标签文本确定模型预测的与指定对象相关联的标签文本。具体的,例如,预测结果也可以是一个输出向量。通过比较预测结果的输出向量和目标输出向量之间差异,可以调整标签文本确定模型的参数。
在本实施方式中,调整标签文本确定模型的参数的方法,可以通过梯度下降、随机梯度下降或者Adam优化器等优化方法。本说明书实施方式在此不作具体限定。
在本实施方式中,根据标签文本确定模型的预测结果和目标输出数据之间的差异,调整标签文本确定模型的参数的方法的过程中,损失函数的可以通过目标输出数据所指示的标签文本的标签文本表征,与预测结果中相对应的对象文本表征之间的相似度确定。
具体的,请参阅公式2,损失函数可以基于交叉熵损函数构建。
(2)
其中,是损失函数的输出;i表示训练样本的编号;j表示标签文本的编号;表示标签文本j的标签文本表征,和对象文本i相对于标签文本j的对象文本表征之间的相似度,即标签文本确定模型的预测结果。
在一些实施方式中,训练样本有多个;不同训练样本包括的对象文本不同,且至少部分训练样本的目标输出数据指示的标签文本不同;多个训练样本中包括指定的目标训练样本;方法还包括:针对基于目标训练样本的对象文本相对于目标标签文本生成的目标对象文本表征,构建对应的正负样本集合;其中,目标标签文本是目标训练样本的目标输出数据所指示的与指定对象相关联的标签文本;正负样本集合包括正样本表征;正样本表征是关联训练样本的对象文本相对于目标标签文本的对象文本表征;关联训练样本是不同于目标训练样本的训练样本,且关联训练样本的目标输出数据指示的与指定对象相关联的标签文本是目标标签文本;调整标签文本确定模型的参数,以使目标训练样本的对象文本相对于目标标签文本生成的对象文本表征和正样本表征的相似。
在一些情况下,对象文本表征能否较好地表征对象文本中与相应标签文本所表达语义相关的内容,对于确定的与指定对象相关联的标签文本的准确性有着较大影响。因此,本实施方式中通过引入对比学习的思想,在标签文本确定模型的训练阶段,通过在损失函数中加入对比学习的损失项,令标签文本确定模型针对多个训练样本生成的相关联的对象文本表征在向量空间中的距离靠近,以及不关联的对象文本表征在向量空间中的距离增大。由此,可以在一定程度上减少对象文本表征坍缩的可能性,以及增加标签文本扩展的可能性,以及提高标签文本确定模型在预测阶段确定的与指定对象相关联的标签文本的准确性。
在本实施方式中,针对每个训练样本中目标输出数据所指示的指定对象关联的每个标签文本,可以构建相对应的正负样本集合。具体的,例如,一个批次的训练样本可能均针对同一个指定对象。相应的,该批次的训练样本的输入数据中,候选标签集包括的多个标签文本相同,但输入数据中的对象文本可能不同。并且,该批次的训练样本的目标输出数据可以用于指示相应的对象文本所涉及的标签文本。其中一个训练样本的目标输出数据可能指示对象文本涉及两个标签文本。相应的,针对该训练样本中对象文本涉及的两个标签文本,可以分别构建两个对应的正负样本集合。
为了更加清楚的描述,本说明书提供的一个实施方式中,针对目标训练样本和目标标签文本,构建对应的正负样本集合。
为了提高描述语句的简洁性,本说明书实施方式中提及的训练样本具有某一个标签文本这一表述方式以及类似的表述方式,可以表达该训练样本的目标输出数据指示该标签文本是指定对象关联的标签文本。以及,本说明书实施方式中提及的训练样本不具有某一个标签文本这一表述方式以及类似的表述方式,可以表达该训练样本的目标输出数据指示该标签文本不是指定对象关联的标签文本
在本实施方式中,目标训练样本可以是训练样本中任意一个可构建正负样本集合的训练样本。相应的,目标标签文本可以是目标训练样本的目标输出数据所指示的与指定对象相关联的标签文本。相应的,目标对象文本表征可以是目标训练样本的对象文本相对于目标标签文本生成的对象文本表征。
在本实施方式中,正负样本集合中可以包括正样本表征。正样本表征可以是多个训练样本相对于多个标签文本生成的多个对象文本表征中,与目标对象文本表征相关联的对象文本表征。
具体的,如果同一个批次中不同于目标训练样本的训练样本也具有目标标签文本,该训练样本相对于目标标签文本生成的对象文本表征可以作为正样本表征。该训练样本可以作为目标训练样本的关联训练样本。
由于关联训练样本和目标训练样本均具有目标标签文本,即于关联训练样本和目标训练样本的对象文本相对于目标标签文本生成的对象文本表征均与目标标签文本的标签文本具有较高的相似度。因此,虽然关联训练样本和目标训练样本的对象文本可能具有差异,但是二者的对象文本中与目标标签文本所表达语义相关的内容可能相似。关联训练样本相对于目标标签文本的对象文本表征可以作为正样本表征。
示例性的,请参阅图5,训练样本包括训练样本1、训练样本2和训练样本3。训练样本1、训练样本2和训练样本3包括的对象文本分别为对象文本1、对象文本2和对象文本3。候选标签集可以包括标签文本1、标签文本2和标签文本3。训练样本1的目标输出数据指示的标签文本1是对象文本1涉及的标签文本。训练样本2的目标输出数据指示的标签文本1是对象文本2涉及的标签文本。因此,对象文本1相对于标签文本1生成的对象文本表征,和对象文本2相对于标签文本1生成的对象文本表征可以互为正样本表征。
在一些情况下,目标训练训练样本和目标标签文本对应的关联训练样本可能有多个。相应的,正负样本集合中可以包括多个正样本表征。
在本实施方式中,在训练标签文本确定模型的过程中,可以通过在损失函数中加入对比学习的损失项,以使得目标对象文本表征和相应的正负样本集合中的正样本表征相似。目标对象文本表征和正样本表征相似可以表示二者在向量空间中的距离接近。
在一些实施方式中,正负样本集合还包括负样本表征;负样本表征包括关联训练样本的对象文本相对于非目标标签文本的对象文本表征,和/或非关联训练样本的对象文本相对于目标标签文本的对象文本表征;其中,非关联训练样本是不同于目标训练样本的训练样本,且非关联训练样本的目标输出数据指示的与指定对象相关联的标签文本不是目标标签文本;调整标签文本确定模型的参数的步骤,还用于使目标训练样本的对象文本相对于目标标签文本的对象文本表征和负样本表征的相异。
在本实施方式中,正负样本集合中还可以包括负样本表征。负样本表征可以是多个训练样本相对于多个标签文本生成的多个对象文本表征中,与目标对象文本表征不关联的对象文本表征。
具体的,如果同一个批次中不同于目标训练样本的训练样本不具有目标标签文本,该训练样本相对于目标标签文本生成的对象文本表征可以作为负样本表征。该训练样本可以作为目标训练样本的非关联训练样本。具体的,由于非关联训练样本不具有目标标签文本,即非关联训练样本的对象文本中与目标标签文本所表达语义相关的内容可能较少。因此,非关联训练样本的对象文本相对于目标标签文本生成的对象文本表征,和目标对象文本表征之间的相似度较小,可以作为负样本表征。
当然,在关联训练样本的目标输出数据指示有多个与指定对象关联的标签文本的情况下,多个标签文本中不同于目标标签文本的标签文本可以作为非目标标签文本。由于不同标签文本的表示的是指定对象在不同维度的特征,因此不同标签文本表达的语义可能具有较大差异性。相应的,不同标签文本的标签文本表征的之间的相似度也较小。因此,关联训练样本的对象文本相对于目标输出数据指示的非目标标签文本生成的对象文本表征与相应的标签文本的标签文本表征相似度较高时,这些对象文本表征与目标标签文本的标签文本表征相似度则会较低。因此,可以作为负样本表征。
示例性的,请参阅图5,训练样本包括训练样本1、训练样本2和训练样本3。训练样本1、训练样本2和训练样本3包括的对象文本分别为对象文本1、对象文本2和对象文本3。候选标签集可以包括标签文本1、标签文本2和标签文本3。训练样本1的目标输出数据指示的标签文本1是对象文本1涉及的标签文本。
训练样本2的目标输出数据指示的标签文本1是对象文本2涉及的标签文本,且标签文本2也是对象文本2涉及的标签文本。相应的,对象文本2相对于标签文本2生成的对象文本表征可以作为对象文本1相对于标签文本1生成的对象文本表征的负样本。
训练样本3的目标输出数据指示的标签文本1不是对象文本3涉及的标签文本。相应的,训练样本3的对象文本3相对于标签文本1生成的对象文本表征可以作为对象文本1相对于标签文本1生成的对象文本表征的负样本。
具体的,包括了正样本表征和负样本表征的损失函数的损失项可以参阅公式3。
(3)/>
其中,可以表示损失项的损失值。/>可以表示a和b之间的相似度。hi可以表示目标对象文本表征。hi +可以表示正样本表征。hi -可以表示负样本表征。t是一个超参数。
请参阅图6,本说明书实施方式还提供一种标签文本确定模型的调整方法。标签文本确定模型的调整方法可以应用于服务器。标签文本确定模型用于根据第一指定对象的第一对象文本和第一指定对象对应的第一候选标签集,确定候选标签集中与第一指定对象相关联的标签文本;第一候选标签集包括多个标签文本;不同标签文本表达的语义不相同。标签文本确定模型的调整方法可以包括以下步骤。
步骤S310:获取模型调整数据;其中,模型调整数据包括输入数据和目标输出数据;输入数据包括针对第二指定对象的第二对象文本、第二指定对象对应的第二候选标签集;目标输出数据用于指示第二候选标签集中与第二指定对象相关联的标签文本;其中,第二候选标签集包括多个标签文本;不同标签文本表达的语义不相同;第二候选标签集中的标签文本和第一候选标签集中的标签文本至少部分不同。
步骤S320:使用本说明书实施方式提供的任一项标签文本确定模型的训练方法,基于模型调整数据对标签文本确定模型进行训练,训练完成的标签文本确定模型作为调整后的标签文本确定模型;其中,模型调整数据用于形成训练样本。
在一些应用场景中,指定对象可以指代一个商品品类的商品。对象文本可以是针对该商品品类的商品的用户提问文本。不同商品品类的商品所具有的表示商品属性或功能的标签文本可能不同。用户可能希望确定用户提问文本中涉及的标签文本,以分析消费者在购买不同商品品类的商品时的兴趣点。
由于单个商品品类下的用户提问文本的数据量可能不多,相关技术在训练确定用户提问文本中涉及的标签文本的多分类模型时,会使用多个商品品类的用户提问文本以及对应的标注数据训练同一个多分类模型。也就是说,多个商品品类的商品可以共用同一个多分类模型。由于多个商品品类的商品涉及的标签文本可能部分重叠,从而可以在一定程度上复用训练样本。
然而,这也会造成多分类模型的输出向量中,输出向量的维度分别对应多个商品品类的商品全部可能涉及的标签文本。这在一定程度上降低了多分类模型确定标签文本的准确性。
具体的,例如,多分类模型可以是通过商品品类A、商品品类B和商品品类C的用户提问文本以及对应的标注数据训练得到。商品品类A涉及的标签文本可能是标签文本1和标签文本2。商品品类B涉及的标签文本可能是标签文本1和标签文本3。商品品类C涉及的标签文本可能是标签文本2和标签文本3。为使得商品品类A、商品品类B和商品品类C的用户提问文本可以共用多分类模型,多分类模型的输出向量的可以是一个3维向量。其中,输出向量的每个维度可以分别对应标签文本1、标签文本2和标签文本3。在使用该多分类模型时,针对商品品类1的商品的用户提问文本,多分类模型的输出向量也可能存在一定几率指示该用户提问文本涉及标签文本3,但是商品品类A实质上并不涉及标签文本3。因此,上述多分类模型的构建方法在一定程度上会降低了确定标签文本的准确性。
即使在用户提问文本以及对应的标注数据较为充足的情况下,针对每个商品品类都训练一个多分类模型。在某一个商品品类新增标签文本的情况下,对应的多分类模型就需要重新训练。这可能需要耗费较多的运算资源。
相比于相关技术中的多分类模型,本说明书实施方式提供的标签文本确定模型的调整由于将对象文本分配到多个标签文本的分类任务转化为了通过计算对象文本和标签文本之间的语义相似度的匹配任务,使得在确定标签文本的过程中加入标签文本的语义作为参考信息的同时,标签文本确定模型的输出的维度并不固定。标签文本确定模型的输出所对应的标签文本的数量可以灵活地调整。
并且,由于训练完成的标签文本确定模型学习到了部分语义关联的知识,在出现某一个商品品类新增标签文本的情况,或者要训练另一个新的商品品类的标签文本确定模型情况时,只需要构建少量的训练样本微调已有的标签文本确定模型即可。
具体的,使用多分类模型处理一个新的商品品类时,只能使用该商品品类的用户提问文本以及对应标注数据构建训练样本,重新训练模型。如果只使用约400个训练样本,多分类模型可能无法收敛,多分类模型的f1参数可能只能达到0.2左右。
相比之下,通过训练样本对本说明书实施方式提供的标签文本确定模型进行微调,使用约400个训练样本的情况下,标签文本确定模型可能就可以收敛,多分类模型的f1参数也可以接近0.78。在使用约2000个训练样本的基础上,每个商品品类只需要约300个训练样本进行型微调就可以使得标签文本确定模型的f1参数达到0.85以上。
在本实施方式中,模型调整数据可以是对标签文本确定模型进行微调的数据。标签文本确定模型在微调前,可以根据第一指定对象的第一对象文本和第一指定对象对应的第一候选标签集,确定候选标签集中与第一指定对象相关联的标签文本。在微调后,标签文本确定模型可以根据第二指定对象的第二对象文本和第二指定对象对应的第二候选标签集,确定候选标签集中与第二指定对象相关联的标签文本。
在本实施方式中,第一指定对象和第二指定对象不相同。具体的,例如,第一指定对象和第二指定对象可以是不同的商品品类。相应的,第一对象文本和第二对象文本也可以是针对不同商品品类的商品的用户提问文本或商品的描述文本。
在一些实施方式中,第一指定对象和第二指定对象也可以是同一个对象。但是,第二候选标签集中的标签文本和第一候选标签集中的标签文本至少部分不同。具体的,例如,第二候选标签集和第一候选标签集是同一个对象的不同版本的候选标签集。第二候选标签集可以使在第一候选标签集的基础上新增或删除已经的标签文本所形成的候选标签集。
在一些应用场景中,确定了消费者在购买商品时所关注的标签文本,可以形成消费者的商品关注画像。并针对性地为消费者推荐商品,或者在消费者筛选商品时提供对应消费者关注的标签文本的筛选项。
请参阅图7,本说明书的一个实施方式还提供一种标签文本的确定装置。标签文本的确定装置可以包括获取模块、生成模块和确定模块。
获取模块,用于获取针对指定对象的对象文本,以及指定对象对应的候选标签集;其中,候选标签集包括多个标签文本;不同标签文本表达的语义不相同。
生成模块,用于生成对象文本相对于多个标签文本的对象文本表征;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同。
确定模块,用于基于对象文本表征确定候选标签集中与指定对象相关联的标签文本。
请参阅图8,本说明书的一个实施方式还提供一种标签文本确定模型的训练装置。装置包括:训练样本构造模块、输入模块和参数调整模块。
训练样本构造模块,用于构造训练样本;其中,训练样本包括相对应的输入数据和目标输出数据;输入数据包括针对指定对象的对象文本和指定对象对应的候选标签集;候选标签集包括多个标签文本;不同标签文本表达的语义不相同;目标输出数据用于指示候选标签集中与指定对象相关联的标签文本。
输入模块,用于将输入数据作为标签文本确定模型的输入,以使标签文本确定模型生成输入数据中的对象文本相对于多个标签文本的对象文本表征,以通过对象文本表征预测候选标签集中与指定对象相关联的标签文本;其中,对象文本表征能着重于表示对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同。
参数调整模块,用于根据标签文本确定模型的预测结果和目标输出数据之间的差异,调整标签文本确定模型的参数,以得到训练完成的标签文本确定模型。
请参阅图9,本说明书的一个实施方式还提供一种标签文本确定模型的调整装置。标签文本确定模型用于根据第一指定对象的第一对象文本和第一指定对象对应的第一候选标签集,确定候选标签集中与第一指定对象相关联的标签文本;第一候选标签集包括多个标签文本;不同标签文本表达的语义不相同。
标签文本确定模型的调整装置包括:模型调整数据获取模块和训练模块。
模型调整数据获取模块,用于获取模型调整数据;其中,模型调整数据包括输入数据和目标输出数据;输入数据包括针对第二指定对象的第二对象文本、第二指定对象对应的第二候选标签集;目标输出数据用于指示第二候选标签集中与第二指定对象相关联的标签文本;其中,第二候选标签集包括多个标签文本;不同标签文本表达的语义不相同;第二候选标签集中的标签文本和第一候选标签集中的标签文本至少部分不同。
训练模块,用于使用本说明书任一实施方式的标签文本确定模型的训练方法,基于模型调整数据对标签文本确定模型进行训练,训练完成的标签文本确定模型作为调整后的标签文本确定模型;其中,模型调整数据用于形成训练样本。
本说明书实施方式还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上述任一实施方式中的标签文本的确定方法、标签文本确定模型的训练方法和标签文本确定模型的调整方法。
本说明书实施方式还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述任一实施方式中的标签文本的确定方法、标签文本确定模型的训练方法和标签文本确定模型的调整方法。
请参阅图10,本说明实施方式可以提供一种计算机设备,计算机设备包括:存储器,以及与存储器通信连接的一个或多个处理器;存储器中存储有可被一个或多个处理器执行的指令,该指令被该一个或多个处理器执行,以使该一个或多个处理器实现上述任一实施方式中的标签文本的确定方法、标签文本确定模型的训练方法和标签文本确定模型的调整方法。
在一些实施方式中,电子设备可以包括被系统总线连接的处理器、非易失性存储介质、内存储器、通信接口、显示装置和输入装置。非易失性存储介质可以存储有操作系统和相关的计算机程序。
本说明书多个实施方式中所涉及的用户信息或者用户账户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据等),均为经过用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律规定和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
可以理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本说明书实施方式,而非限制本发明的范围。
可以理解,在本说明书中的各种实施方式中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本说明书实施方式的实施过程构成任何限定。
可以理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本说明书实施方式对此并不限定。
除非另有说明,本说明书实施方式所使用的所有技术和科学术语与本说明书的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在限制本说明书的范围。本说明书所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。在本说明书实施方式和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
可以理解,本说明书实施方式的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施方式的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本说明书实施方式中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasablePROM,EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施方式描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本说明书的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施方式中的对应过程,在此不再赘述。
在本说明书所提供的几个实施方式中,应理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本说明书各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本说明书的技术方案本质上或者说对现有技术做出贡献的部分或者技术方案的部分可以以软件产品的形式体现出来,计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本说明书的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本说明书的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种标签文本的确定方法,其特征在于,包括:
获取针对指定对象的对象文本,以及所述指定对象对应的候选标签集;其中,所述候选标签集包括多个标签文本;不同标签文本表达的语义不相同;
生成所述对象文本相对于多个标签文本的对象文本表征;其中,对象文本表征能着重于表示所述对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;
基于对象文本表征确定所述候选标签集中与所述指定对象相关联的标签文本。
2.根据权利要求1所述的方法,其特征在于,生成所述对象文本相对于标签文本的对象文本表征的步骤,包括:
计算所述对象文本的多个文本片段分别与所述标签文本之间的语义相似度;
依照所述多个文本片段与所述标签文本之间的语义相似度,将所述多个文本片段的文本片段表征进行加权求和,得到对应所述标签文本的对象文本表征。
3.根据权利要求2所述的方法,其特征在于,计算所述对象文本的多个文本片段分别与所述标签文本之间的语义相似度的步骤,包括:
使用语义编码模块分别将所述多个文本片段编码为相应的文本片段表征;
利用所述语义编码模块将所述多个标签文本分别编码为相应的标签文本表征;
分别计算所述文本片段表征和所述标签文本表征之间的语义相似度。
4.根据权利要求1所述的方法,其特征在于,标签文本对应有标签文本表征,基于对象文本表征确定所述候选标签集中与所述指定对象相关联的标签文本的步骤,包括:
计算同一个对象文本的多个对象文本表征分别与对应的标签文本的标签文本表征之间的表征相似度;
将表征相似度符合指定条件的标签文本确认为与所述对象文本对应的指定对象相关联的标签文本。
5.一种标签文本确定模型的训练方法,其特征在于,包括:
构造训练样本;其中,训练样本包括相对应的输入数据和目标输出数据;输入数据包括针对指定对象的对象文本和所述指定对象对应的候选标签集;所述候选标签集包括多个标签文本;不同标签文本表达的语义不相同;目标输出数据用于指示所述候选标签集中与所述指定对象相关联的标签文本;
将输入数据作为所述标签文本确定模型的输入,以使所述标签文本确定模型生成所述输入数据中的对象文本相对于多个标签文本的对象文本表征,以通过对象文本表征预测所述候选标签集中与所述指定对象相关联的标签文本;其中,对象文本表征能着重于表示所述对象文本中与相应标签文本所表达语义相关的内容;不同标签文本对应同一个对象文本的对象文本表征不同;
根据所述标签文本确定模型的预测结果和所述目标输出数据之间的差异,调整所述标签文本确定模型的参数,以得到训练完成的标签文本确定模型。
6.根据权利要求5所述的方法,其特征在于,训练样本有多个;不同训练样本包括的对象文本不同,且至少部分训练样本的目标输出数据指示的标签文本不同;多个训练样本中包括指定的目标训练样本;所述方法还包括:
针对基于所述目标训练样本的对象文本相对于目标标签文本生成的目标对象文本表征,构建对应的正负样本集合;其中,所述目标标签文本是所述目标训练样本的目标输出数据所指示的与所述指定对象相关联的标签文本;所述正负样本集合包括正样本表征;所述正样本表征是关联训练样本的对象文本相对于所述目标标签文本的对象文本表征;所述关联训练样本是不同于所述目标训练样本的训练样本,且所述关联训练样本的目标输出数据指示的与所述指定对象相关联的标签文本是所述目标标签文本;
调整所述标签文本确定模型的参数,以使所述目标训练样本的对象文本相对于所述目标标签文本生成的对象文本表征和所述正样本表征的相似。
7.根据权利要求6所述的方法,其特征在于,所述正负样本集合还包括负样本表征;所述负样本表征包括关联训练样本的对象文本相对于非目标标签文本的对象文本表征,和/或非关联训练样本的对象文本相对于所述目标标签文本的对象文本表征;其中,所述非关联训练样本是不同于所述目标训练样本的训练样本,且所述非关联训练样本的目标输出数据指示的与所述指定对象相关联的标签文本不是所述目标标签文本;所述调整所述标签文本确定模型的参数的步骤,还用于使所述目标训练样本的对象文本相对于所述目标标签文本的对象文本表征和所述负样本表征的相异。
8.一种标签文本确定模型的调整方法,其特征在于,所述标签文本确定模型用于根据第一指定对象的第一对象文本和所述第一指定对象对应的第一候选标签集,确定所述候选标签集中与所述第一指定对象相关联的标签文本;所述第一候选标签集包括多个标签文本;不同标签文本表达的语义不相同;
所述方法包括:
获取模型调整数据;其中,模型调整数据包括输入数据和目标输出数据;所述输入数据包括针对第二指定对象的第二对象文本、所述第二指定对象对应的第二候选标签集;所述目标输出数据用于指示所述第二候选标签集中与所述第二指定对象相关联的标签文本;其中,所述第二候选标签集包括多个标签文本;不同标签文本表达的语义不相同;所述第二候选标签集中的标签文本和所述第一候选标签集中的标签文本至少部分不同;
使用如权利要求5至7任一项所述标签文本确定模型的训练方法,基于所述模型调整数据对所述标签文本确定模型进行训练,训练完成的标签文本确定模型作为调整后的标签文本确定模型;其中,所述模型调整数据用于形成训练样本。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410167284.7A CN117708340B (zh) | 2024-02-06 | 2024-02-06 | 标签文本的确定方法、模型训练及调整方法、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410167284.7A CN117708340B (zh) | 2024-02-06 | 2024-02-06 | 标签文本的确定方法、模型训练及调整方法、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117708340A true CN117708340A (zh) | 2024-03-15 |
CN117708340B CN117708340B (zh) | 2024-05-24 |
Family
ID=90148362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410167284.7A Active CN117708340B (zh) | 2024-02-06 | 2024-02-06 | 标签文本的确定方法、模型训练及调整方法、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117708340B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108897815A (zh) * | 2018-06-20 | 2018-11-27 | 淮阴工学院 | 一种基于相似度模型和FastText的多标签文本分类方法 |
CN110688461A (zh) * | 2019-09-30 | 2020-01-14 | 中国人民解放军国防科技大学 | 一种综合多源知识的在线文本类教育资源标签生成方法 |
CN111078885A (zh) * | 2019-12-18 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 一种标签分类的方法、相关装置、设备以及存储介质 |
US20200210468A1 (en) * | 2018-12-28 | 2020-07-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Document recommendation method and device based on semantic tag |
CN114676252A (zh) * | 2022-03-16 | 2022-06-28 | 云南大学 | 一种基于空时网络聚类约简集成的极端多标签学习方法 |
CN116805044A (zh) * | 2023-08-17 | 2023-09-26 | 北京睿企信息科技有限公司 | 一种标签的获取方法、电子设备及存储介质 |
CN116894188A (zh) * | 2023-07-17 | 2023-10-17 | 北京有竹居网络技术有限公司 | 业务标签集更新方法、装置、介质及电子设备 |
CN116955630A (zh) * | 2023-09-18 | 2023-10-27 | 北京中关村科金技术有限公司 | 文本分类方法、装置、模型、设备和计算机可读存储介质 |
CN117150026A (zh) * | 2023-11-01 | 2023-12-01 | 智者四海(北京)技术有限公司 | 文本内容多标签分类方法与装置 |
CN117493548A (zh) * | 2023-04-04 | 2024-02-02 | 马上消费金融股份有限公司 | 文本分类方法、模型的训练方法和装置 |
-
2024
- 2024-02-06 CN CN202410167284.7A patent/CN117708340B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108897815A (zh) * | 2018-06-20 | 2018-11-27 | 淮阴工学院 | 一种基于相似度模型和FastText的多标签文本分类方法 |
US20200210468A1 (en) * | 2018-12-28 | 2020-07-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Document recommendation method and device based on semantic tag |
CN110688461A (zh) * | 2019-09-30 | 2020-01-14 | 中国人民解放军国防科技大学 | 一种综合多源知识的在线文本类教育资源标签生成方法 |
CN111078885A (zh) * | 2019-12-18 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 一种标签分类的方法、相关装置、设备以及存储介质 |
CN114676252A (zh) * | 2022-03-16 | 2022-06-28 | 云南大学 | 一种基于空时网络聚类约简集成的极端多标签学习方法 |
CN117493548A (zh) * | 2023-04-04 | 2024-02-02 | 马上消费金融股份有限公司 | 文本分类方法、模型的训练方法和装置 |
CN116894188A (zh) * | 2023-07-17 | 2023-10-17 | 北京有竹居网络技术有限公司 | 业务标签集更新方法、装置、介质及电子设备 |
CN116805044A (zh) * | 2023-08-17 | 2023-09-26 | 北京睿企信息科技有限公司 | 一种标签的获取方法、电子设备及存储介质 |
CN116955630A (zh) * | 2023-09-18 | 2023-10-27 | 北京中关村科金技术有限公司 | 文本分类方法、装置、模型、设备和计算机可读存储介质 |
CN117150026A (zh) * | 2023-11-01 | 2023-12-01 | 智者四海(北京)技术有限公司 | 文本内容多标签分类方法与装置 |
Non-Patent Citations (3)
Title |
---|
XIANG CHEN; LEI LI; YUQI ZHU; SHUMIN DENG; CHUANQI TAN; FEI HUANG; LUO SI; NINGYU ZHANG; HUAJUN CHEN: "Sequence Labeling as Non-Autoregressive Dual-Query Set Generation", IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, 5 February 2024 (2024-02-05), pages 1546 * |
万磊;张立霞;时宏伟;: "基于CNN的多标签文本分类与研究", 现代计算机, no. 08, 15 March 2020 (2020-03-15), pages 57 - 60 * |
刘新忠;赵澳庆;谢文武;杨志和: "基于BERT-GAT-CorNet多标签中文短文本分类方法", 计算机应用, 31 December 2023 (2023-12-31), pages 18 - 21 * |
Also Published As
Publication number | Publication date |
---|---|
CN117708340B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113254785B (zh) | 推荐模型训练方法、推荐方法和相关设备 | |
CN111738807B (zh) | 用于推荐目标对象的方法、计算设备和计算机存储介质 | |
CN114218488A (zh) | 基于多模态特征融合的信息推荐方法、装置及处理器 | |
CN111274853B (zh) | 图像处理方法和装置 | |
CN117764669A (zh) | 物品推荐方法、装置、设备、介质及产品 | |
CN116127080A (zh) | 描述对象的属性值提取方法及相关设备 | |
CN112200215B (zh) | 标签特征提取方法、装置、存储介质与电子设备 | |
CN117349402A (zh) | 一种基于机器阅读理解的情绪原因对识别方法及系统 | |
CN117251622A (zh) | 对象推荐的方法、装置、计算机设备和存储介质 | |
CN117708340B (zh) | 标签文本的确定方法、模型训练及调整方法、设备和介质 | |
CN116578925A (zh) | 基于特征画像的行为预测方法、装置及存储介质 | |
CN116756281A (zh) | 知识问答方法、装置、设备和介质 | |
CN116860964A (zh) | 基于医疗管理标签的用户画像分析方法、装置及服务器 | |
Goel | Shopbot: an image based search application for e-commerce domain | |
CN114926210A (zh) | 评论生成方法、装置、设备及计算机可读存储介质 | |
CN114330519A (zh) | 数据确定方法、装置、电子设备及存储介质 | |
CN108229518B (zh) | 基于语句的图像检测方法、装置和系统 | |
CN111444331A (zh) | 基于内容的分布式特征提取方法、装置、设备及介质 | |
CN110442767A (zh) | 一种确定内容互动平台标签的方法、装置及可读存储介质 | |
CN110992079A (zh) | 一种基于时间序列填补的商品点击率预测方法 | |
CN116089614B (zh) | 文本打标方法及装置 | |
CN117574286B (zh) | 标签值的确定方法、装置、设备和存储介质 | |
CN117575894B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN115310547B (zh) | 模型训练方法、物品识别方法及装置、电子设备、介质 | |
CN108628861B (zh) | 用于推送信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |