CN116049386A - 文本对应类目的预测方法、装置以及电子设备 - Google Patents
文本对应类目的预测方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN116049386A CN116049386A CN202111255808.0A CN202111255808A CN116049386A CN 116049386 A CN116049386 A CN 116049386A CN 202111255808 A CN202111255808 A CN 202111255808A CN 116049386 A CN116049386 A CN 116049386A
- Authority
- CN
- China
- Prior art keywords
- category
- training
- prediction
- categories
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文本对应类目的预测方法、装置以及电子设备,涉及数据处理技术领域,缓解了对用户输入的文本对应商品类目的预测精准度较低的技术问题。该方法包括:获取用户在搜索界面所输入的待搜索的目标文本;利用多个不同种类的类目预测模型分别对目标文本进行预测,得到若干预测类目;基于若干预测类目确定一目标类目,并将目标类目确定为目标文本对应的参考类目;利用参考类目生成用于向用户进行推送的目标商品。
Description
技术领域
本发明涉及数据处理技术领域,尤其是涉及一种文本对应类目的预测方法、装置以及电子设备。
背景技术
目前,在用户进行商品搜索时,系统需要根据用户输入的文本,预测用户意图。例如,对于电商搜索,用户输入待搜索商品的文本后,系统需要对输入的文本进行分词,基于意图解析进行商品的召回,而待搜索商品的商品类目的预测是这个过程中必不可少的环节。所以在向用户推送所搜索的商品之前,需要预测用户输入的文本所对应的商品类目,预测的结果将作用于后续待搜索商品的确定和推送等过程,对用户的整个商品搜索结果影响较大。
现有的文本对应类目的预测方法,主要是统计文本和商品类目的相关性,即统计待搜索的目标文本的分词和商品类目的相互信息,以确定待搜索的目标文本所属商品类目。但是,目前的方法对用户输入的待搜索文本所对应商品类目的预测精准度较低。
发明内容
本申请的目的在于提供一种文本对应类目的预测方法、装置以及电子设备,以缓解目前对用户输入的文本对应商品类目的预测精准度较低的技术问题。
第一方面,本申请实施例提供了一种文本对应类目的预测方法,所述方法包括:
获取用户在搜索界面所输入的待搜索的目标文本;其中,所述目标文本用于表征待搜索商品的商品描述信息;
利用多个不同种类的类目预测模型分别对所述目标文本进行预测,得到若干预测类目;其中,所述预测类目用于表征所述商品描述信息对应的商品类别;所述多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,所述训练样本集中的每个训练样本均包含训练文本以及所述训练文本对应的训练类目;
基于所述若干预测类目确定一目标类目,并将所述目标类目确定为所述目标文本对应的参考类目;
利用所述参考类目生成用于向用户进行推送的目标商品。
在一个可能的实现中,利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练的过程包括:
将相同的所述训练样本集分别转换为多种不同格式的训练样本集;其中,每种所述格式对应多个不同种类的初始预测模型中的一种所述初始预测模型的训练样本格式;
将每种所述格式的训练样本集输入至训练样本格式对应的所述初始预测模型中,通过训练得到多个不同种类的训练后的类目预测模型。
在一个可能的实现中,所述基于所述若干预测类目确定一目标类目的步骤,包括:
通过分类投票算法从所述若干预测类目中确定数量最多的一个目标类目;和/或,
针对所述若干预测类目中的每个相同的所述预测类目,通过加权算法得到相同的所述预测类目的总概率,并从所述若干预测类目中将所述总概率最大的一预测类目确定为目标类目。
在一个可能的实现中,所述若干预测类目的类目数量为多个;所述基于所述若干预测类目确定一目标类目的步骤,包括:
通过分类投票算法从多个所述预测类目中确定数量最多的多个初始类目;其中,所述初始类目的数量小于或等于所述预测类目的数量;
针对每个相同的所述初始类目,通过加权算法得到相同的所述初始类目的总概率,并从多个所述初始类目中将所述总概率最大的一初始类目确定为目标类目。
在一个可能的实现中,所述将所述目标类目确定为所述目标文本对应的参考类目的步骤之后,还包括:
将所述参考类目与预设正确类目进行对比,得到第一对比结果;
根据所述第一对比结果确定所述参考类目的类目结果准确度。
在一个可能的实现中,还包括:
将所述预测类目与预设正确类目进行对比,得到第二对比结果;
根据所述第二对比结果确定所述预测类目对应的所述类目预测模型的类目预测准确度。
在一个可能的实现中,所述目标类目的确定过程包括基于所述若干预测类目进行加权算法的过程;
所述根据所述第二对比结果确定所述预测类目对应的所述类目预测模型的类目预测准确度的步骤之后,还包括:
根据所述类目预测准确度,调整对应的所述预测类目的各自分概率在所述加权算法中的权重值;其中,所述类目预测准确度越高,对应的所述权重值越高。
在一个可能的实现中,所述训练样本集的获取过程包括:
获取训练文本以及用户对所述训练文本的类目确定结果;其中,所述训练文本用于表征商品的历史描述信息;
基于所述类目确定结果确定所述训练文本对应的训练类目;其中,所述训练类目用于表征所述历史描述信息对应的商品类别;
基于多个所述训练文本和对应的所述训练类目,得到所述训练样本集。
在一个可能的实现中,所述基于多个所述训练文本和对应的所述训练类目,得到所述训练样本集的步骤,包括:
获取多个所述训练文本和对应的所述训练类目;
如果在多个所述训练类目中第一训练类目对应的第一训练文本的数量小于或等于预设文本数量,则从所述第一训练类目对应包含的预设商品中确定第一预设商品;
将所述第一预设商品确定为所述第一训练类目对应的所述第一训练文本,以增加所述第一训练文本的数量。
在一个可能的实现中,所述训练样本中包含所述训练文本、所述训练文本对应的正样本类目和所述训练文本对应的负样本类目;所述基于多个所述训练文本、对应的所述正样本类目和对应的所述负样本类目,得到所述训练样本集的步骤,包括:
针对同一所述训练文本,确定对应的所述正样本类目的指定同含义类目;
将所述指定同含义类目确定为所述训练文本对应的所述正样本类目,得到第一正样本类目;
在对应的所述负样本类目中删除所述指定同含义类目,得到第一负样本类目;
基于多个所述训练文本、对应的所述第一正样本类目和对应的所述第一负样本类目,得到所述训练样本集。
在一个可能的实现中,所述训练样本中包含所述训练文本、所述训练文本对应的正样本类目和所述训练文本对应的负样本类目;所述基于多个所述训练文本、对应的所述正样本类目和对应的所述负样本类目,得到所述训练样本集的步骤,包括:
针对同一所述训练文本,从对应的所述负样本类目中确定对应的所述正样本类目的指定相似类目;
在对应的所述负样本类目中删除所述指定相似类目,得到第二负样本类目;
基于多个所述训练文本、对应的所述正样本类目和对应的所述第二负样本类目,得到所述训练样本集。
第二方面,提供了一种文本对应类目的预测装置,所述装置包括:
获取模块,用于获取用户在搜索界面所输入的待搜索的目标文本;其中,所述目标文本用于表征待搜索商品的商品描述信息;
预测模块,用于利用多个不同种类的类目预测模型分别对所述目标文本进行预测,得到若干预测类目;其中,所述预测类目用于表征所述商品描述信息对应的商品类别;所述多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,所述训练样本集中的每个训练样本均包含训练文本以及所述训练文本对应的训练类目;
确定模块,用于基于所述若干预测类目确定一目标类目,并将所述目标类目确定为所述目标文本对应的参考类目;
生成模块,用于利用所述参考类目生成用于向用户进行推送的目标商品。
第三方面,本申请实施例又提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述第一方面所述的方法。
本申请实施例带来了以下有益效果:
本申请实施例提供的一种文本对应类目的预测方法、装置以及电子设备,首先能够获取用户在搜索界面所输入的待搜索的目标文本,其中的目标文本用于表征待搜索商品的商品描述信息,之后利用多个不同种类的类目预测模型分别对目标文本进行预测从而得到若干预测类目,其中的预测类目用于表征商品描述信息对应的商品类别,多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,训练样本集中的每个训练样本均包含训练文本以及训练文本对应的训练类目,然后再基于若干预测类目确定一目标类目并将目标类目确定为目标文本对应的参考类目,进而利用参考类目生成用于向用户进行推送的目标商品。本方案中,通过多个不同种类的训练后的类目预测模型来预测同一待搜索文本的商品类目,进而从预测出的若干商品类目中进一步更加精准的确定出一目标类目,提高类目预测结果的精准度,缓解了目前对用户输入的文本对应商品类目的预测精准度较低的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种文本对应类目的预测方法的流程示意图;
图2为本申请实施例提供的一种算法流程示意图;
图3为本申请实施例提供的一种类目预测模型结构示意图;
图4为本申请实施例提供的另一种类目预测模型结构示意图;
图5为本申请实施例提供的另一种类目预测模型结构示意图;
图6为本申请实施例提供的另一种类目预测模型结构示意图;
图7为本申请实施例提供的一种分类投票算法示意图;
图8为本申请实施例提供的一种加权算法示意图;
图9为本申请实施例提供的一种文本对应类目的预测装置的结构示意图;
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,在用户进行搜索时,系统需要根据用户的输入文本,预测用户意图。例如,对于电商搜索,用户输入文本后,需要对输入的文本进行分词,基于意图解析进行商品的召回,而商品的类目预测是这个过程中必不可少的环节。首先要预测的就是文本与商品类目的关系,预测的结果将作用在后续多个模块,对整个用户的搜索结果影响较大。精准客观的预测用户搜索目标文本的类目信息,可以帮助电商领域搜索结果更加丰富,进而可以显著改善搜索结果的一些指标。当下行业对于电商领域类目预测有两种方法。第一种方法为,统计文本类目相关性,即统计搜索目标文本之后的分词和类目的互信息,来确定搜索目标文本所属类目。第二种方法为,通过单个机器学习模型/深度学习模型的方式进行类目预测。
但是,对于现有的预测方法,系统根据用户搜索目标文本类目预测存在预测不精准的地方,原因有如下:搜索目标文本长度较短,包含信息太少;长尾搜索目标文本较多,较难统计归类;类目上流量马太效应严重,存在较多类目流量较少;类目间存在重叠情况,本身区分难度较大,例如毛衣和针织衫。
由上述缺陷可知,采用单个思路的类目预测方法不可能完全精准的召回其搜索目标文本的真实类目,导致了对于现有的预测方法,对用户输入的文本对应商品类目的预测精准度较低。
基于此,本申请实施例提供了一种文本对应类目的预测方法、装置以及电子设备,通过该方法可以缓解目前对用户输入的文本对应商品类目的预测精准度较低的技术问题。
下面结合附图对本申请实施例进行进一步地介绍。
图1为本申请实施例提供的一种文本对应类目的预测方法的流程示意图。本方法可以应用于服务端,也可以应用于客户端。如图1所示,该方法包括:
步骤S110,获取用户在搜索界面所输入的待搜索的目标文本。
其中,目标文本用于表征待搜索商品的商品描述信息。例如,用户在网购商品时,在电商的搜索界面中输入用于搜索想购买商品的商品搜索词,即待搜索商品的商品描述信息。
在实际应用中,系统可以获取用户在计算机客户端的搜索界面所输入的待搜索的目标文本,也可以获取用户在移动客户端(例如,手机)的搜索界面所输入的待搜索的目标文本。示例性的,用户在客户端的搜索界面输入待搜索商品的商品描述信息(即目标文本),系统获取该目标文本,以进行后续的商品搜索过程。
步骤S120,利用多个不同种类的类目预测模型分别对目标文本进行预测,得到若干预测类目。
其中,预测类目用于表征商品描述信息对应的商品类别。多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,训练样本集中的每个训练样本均包含训练文本以及训练文本对应的训练类目。
对于上述模型训练的过程,可以预先构建基础样本集合,即训练样本集,利用该训练样本集采用不同策略对不同种类的初始预测模型并行训练,得到多个模型的训练结果,即多个不同种类的类目预测模型。例如,通过采用不同策略对不同种类的初始预测模型进行训练,分别得到训练后的Fasttext模型、Bert模型、语义Match模型以及其他种类的模型。
本步骤中,示例性的,如图2所示,基于用户输入的待搜索的目标文本,分别通过训练后的Fasttext模型、Bert模型、语义Match模型以及其他种类的模型进行预测,得到若干个类目预测结果。
步骤S130,基于若干预测类目确定一目标类目,并将目标类目确定为目标文本对应的参考类目。
在实际应用中,系统可以利用各种算法对多个预测类目进行计算,从而确定唯一的目标类目,并将该目标类目确定为目标文本所应该对应的参考类目。示例性的,系统可以对若干个预测类目采用投票机制算法、加权和算法等各种策略算法进行计算,进而得出最终确定唯一的目标类目。
如图2所示,在预测出若干个预测类目后,对这些预测类目进行策略融合,通过采取多模型策略融合的方式进行类目预测,最后得到唯一的目标类目能够更加精确表征用户搜索商品的类目意图。
步骤S140,利用参考类目生成用于向用户进行推送的目标商品。
在实际应用中,系统可以根据确定出的参考类目,进一步生成具体的目标商品,进而为用户进行目标商品的推送。通过更加精确的商品类目,可以显著提高搜索出的目标商品的精准度,以向用户推送更加精准的目标商品搜索结果。
本申请实施例提供的方案所针对的最大的使用场景是商品推送场景,例如,用户在网购商品时输入商品搜索词,系统对商品搜索词所属商品类目进行预测,以基于预测出的商品类目得出用户所搜索的商品,并将该商品推送给用户。本申请实施例对商品搜索词所属商品类目的预测过程有所改进,即通过多个不同种类的训练后的类目预测模型来预测用户输入的商品搜索词所属的商品类目,进而从多模型预测出的若干商品类目中进一步更加精准的确定出一目标类目,提高类目预测结果的精准度,缓解了目前对用户输入的文本对应商品类目的预测精准度较低的技术问题。
当然,本申请实施例提供的方案还可以适用于除商品推送场景以外的其他使用场景,例如,商品搜索场景、产品查询场景、名称检索场景,等等。
下面对上述步骤进行详细介绍。
在一些实施例中,不同种类模型的训练样本格式有所不同,所以在正式训练前可以将训练样本转化成对应的不同格式,也可以理解为,针对不同种类的初始预测模型,可以将训练样本集转化成相对应的格式,以使不同种类的初始预测模型能够识别训练样本集,进而实现训练目标。示例性的,利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练的过程包括:
步骤a),将相同的训练样本集分别转换为多种不同格式的训练样本集;
步骤b),将每种格式的训练样本集输入至训练样本格式对应的初始预测模型中,通过训练得到多个不同种类的训练后的类目预测模型。
对于上述步骤a),其中的每种格式对应多个不同种类的初始预测模型中的一种初始预测模型的训练样本格式。
在实际应用中,可以先构建基础样本集合,即训练样本集,并针对基础样本集合加工成不同种类模型所需要训练的格式输入数据,采用不同的策略和不同种类的模型并行训练,得到多个不同种类的训练后的类目预测模型。
需要说明的是,不同种类的初始预测模型所能识别的文件格式很可能不同,可以将相同的训练样本集根据初始预测模型的种类,转换为相对应的格式,以使不同种类的初始预测模型能够识别训练样本集。
作为一个示例,初始预测模型为BERT模型。BERT模型的结构如图3所示,BERT模型是一个预训练语言表示模型。所谓预训练语言表示模型,就是先用这个模型在可与最终任务无关的大数据集上训练语言的表示,然后将学到的知识用到任务相关的语言表示上。BERT模型将预训练语言表示模型根据实际使用时的策略分为两类,一类是基于特征的方法,另一类是基于微调的方法。基于特征的方法利用预训练好的模型提取文本特征,并将所提取的特征作为额外的特征加入到针对特定任务的表示模型之中。基于微调的方法则是使用特定任务的数据集和标签来微调预训练好的模型参数,从而使得预训练的模型能够适应特定任务。BERT模型的总体结构上较为简洁,具有较强的学习能力和性能。同时,模型的简洁也保证了其计算效率,是完成大规模数据处理的基础。BERT模型对应的训练样本集,可以按照<类目,搜索目标文本>的方式组织,进行模型训练,得到模型训练结果。
作为另一个示例,初始预测模型为FastText模型。FastText模型是一款集词向量、文本分类等一体的机器学习训练工具。FastText模型的结构如图4所示,FastText模型包括输入层、隐含层、输出层共三层。其中输入的是词向量,输出的是标签,隐含层是对多个词向量的叠加平均。FastText模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量,特征向量通过线性变换映射到中间层,中间层再映射到标签。FastText模型在预测标签时使用了非线性激活函数,但在中间层不使用非线性激活函数。与基于神经网络的分类算法相比,FastText模型在保持高精度的情况下加快了训练速度和测试速度。FastText模型对应的训练样本集,可以按照<类目,搜索目标文本清单>的方式组织,进行模型训练,得到模型训练结果。
作为另一个示例,初始预测模型为语义Match模型。语义Match模型的结构如图5、图6所示。其中,图5为图6的简化版本。模型结构输入为目标文本和类目信息,两者分别经过嵌入层、双向循环网络层、向量层以及多层感知器层,最后输出为两者相关的概率得分。语义Match模型对应的训练样本集,可以按照<类目,搜索目标文本>的方式组织,进行模型训练,得到模型训练结果。
需要说明的是,实际应用中采用的初始预测模型包括但不限于上述的三种初始预测模型,还可以根据具体应用场景采用其他初始预测模型。
通过针对不同种类的初始预测模型,将训练样本集转化成相对应的格式,以使不同种类的初始预测模型能够识别训练样本集,进而实现训练目标。
在一些实施例中,确定唯一的目标类目时,可以采用分类投票算法、加权算法、或二者结合的方法,也可以理解为,系统可以利用分类投票算法和/或加权算法,以实现对于目标类目的准确确定。示例性的,上述步骤S130具体可以包括如下步骤:
步骤c),通过分类投票算法从若干预测类目中确定数量最多的一个目标类目。和/或,
步骤d),针对若干预测类目中的每个相同的预测类目,通过加权算法得到相同的预测类目的总概率,并从若干预测类目中将总概率最大的一预测类目确定为目标类目。
作为一个示例,可以通过分类投票算法从若干预测类目中确定数量最多的一个目标类目。在所有集成学习方法中,分类投票法较为直观,因为其目的是输出基础学习者的预测中最受欢迎的预测。分类投票法是较为简单的集成学习技术,它允许多个初始预测模型的预测相结合。与选举的工作方式类似,该算法假定每个初始预测模型都是投票者,每个类目都是竞争者。为了选出竞争者为获胜者,该算法考虑投票,即可以简单的理解为最终预测结果是所有初始预测模型预测结果中出现最多的预测结果(根据少数服从多数来定最终结果)。
作为另一个示例,可以通过加权算法得到每种预测类目的总概率,并从若干预测类目中将总概率最大的一预测类目确定为目标类目。权即由测量值精度的不同在平差计算中所取的权重不同,精度越高,权越大。“加权”的意思就是“乘以权重”,即“乘以系数”的意思,权重系数可以是预先设定的。加权算法可以根据不同初始预测模型的预测精度,对不同初始预测模型所占的权重进行调整,从而可以得到更为准确的预测结果。
通过采用分类投票算法或加权算法,系统可以对多个预测类目进行计算,从而更加精准的确定出唯一的目标类目,并将目标类目确定为目标文本对应的参考类目,提高目标文本对应参考类目的精准度。
在一些实施例中,确定唯一的目标类目时,还可以优先采用分类投票算法,以加权算法作为补充,也可以理解为,优先利用分类投票算法确定目标类目,以加权算法作为补充,从而更加精确的确定出一个目标类目。示例性的,若干预测类目的类目数量为多个;上述步骤S130具体可以包括如下步骤:
步骤e),通过分类投票算法从多个预测类目中确定数量最多的多个初始类目。
步骤f),针对每个相同的初始类目,通过加权算法得到相同的初始类目的总概率,并从多个初始类目中将总概率最大的一初始类目确定为目标类目。
对于上述步骤e),其中的初始类目的数量小于或等于预测类目的数量。示例性的,如图7所示,共有三个预测模型,预测模型1的预测结果为A类目,预测模型2的预测结果为B类目,预测模型3的预测结果也为A类目,通过分类投票法确定数量最多的预测类目为A类目,由此可以将A类目确定为目标类目。
如图8所示,通过分类投票算法确定出的数量最多的预测类目有两种,即A类目和B类目和均为的数量最多的预测类目,假设这两个类目数量相等均为2个,则可以再通过加权算法进行进一步的计算,以确定唯一的目标类目。具体的,预测出A类目的类目预测模型有模型1和模型3,预设模型1的权重w1为0.5,该模型1预测出A类目的概率为60%,预设模型3的权重w3为0.6,该模型3预测出A类目的概率为80%;预测出B类目的类目预测模型有模型2和模型4,预设模型2的权重w2为0.2,该模型2预测出B类目的概率为90%,预设模型4的权重w4为0.3,该模型4预测出B类目的概率为70%,根据加权算法公式:
加权和=w1×模型1预测的概率+w2×模型2预测的概率+…+wn×模型n预测的概率;
可以计算得到A类目的总概率为:w1×模型1预测的概率+w3×模型3预测的概率=0.5×60%+0.6×80%=78%;
还可以计算得到B类目的总概率为:w2×模型2预测的概率+w4×模型4预测的概率=0.2×90%+0.3×70%=39%;
通过78%(A类目的总概率)和39%(B类目的总概率)之间的比较可以得出A类目的总概率最大,由此可以将A类目确定为目标类目。
通过优先利用分类投票算法确定多个初始的目标类目,以加权算法作为补充,从而可以更加精确的确定出唯一一个目标类目,并将目标类目确定为目标文本对应的参考类目,进一步提高目标文本对应参考类目的精确度。
在一些实施例中,系统可以对确定出的唯一类目的正确性进行校验,例如,可以将参考类目与预设正确类目进行对比,从而可以校验参考类目的类目结果准确度。作为一个示例,在上述步骤S130之后,该方法还可以包括如下步骤:
步骤g),将参考类目与预设正确类目进行对比,得到第一对比结果。
步骤h),根据第一对比结果确定参考类目的类目结果准确度。
示例性的,在系统确定出目标文本对应的参考类目后,可以将参考类目与预设正确类目相对比,从而校验出参考类目的准确度。例如,预设正确类目为毛衣,系统确定出的参考类目也为毛衣,通过对比得到的第一对比结果可知参考类目的类目结果准确度较高。又例如,预设正确类目为毛衣,系统确定出的参考类目也为衬衫,通过对比得到的第一对比结果可知参考类目的类目结果准确度较低。
通过将参考类目与预设正确类目进行对比,得到第一对比结果,根据第一对比结果可以确定参考类目的类目结果准确度,从而可以发现系统的缺陷,实现了通过建立合理评估体系来评估多模型融合类目预测效果,便于对整个系统进行优化。
在一些实施例中,系统还可以对各个模型预测出的类目的正确性进行校验,例如,将预测类目与预设正确类目进行对比,从而可以校验各个预测类目对应的类目预测模型的类目预测准确度。作为一个示例,该方法还可以包括如下步骤:
步骤i),将预测类目与预设正确类目进行对比,得到第二对比结果。
步骤j),根据第二对比结果确定预测类目对应的类目预测模型的类目预测准确度。
示例性的,在系统利用多个不同种类的类目预测模型分别对目标文本进行预测,得到若干预测类目后,可以将多个预测类目与预设正确类目分别进行对比,从而校验出多种不同的类目预测模型的预测准确度。例如,预设正确类目为毛衣,预测模型1确定出的参考类目也为毛衣,通过对比得到的第二对比结果可知预测模型1的类目预测准确度较高。又例如,预设正确类目为毛衣,预测模型2确定出的参考类目为针织衫,通过对比得到的第二对比结果可知预测模型2的类目预测准确度较高。再例如,预设正确类目为毛衣,预测模型3确定出的参考类目为衬衫,通过对比得到的第二对比结果可知预测模型3的类目预测准确度较低。
通过将多个预测类目与预设正确类目分别进行对比,得到第二对比结果,根据第二对比结果确定预测类目对应的类目预测模型的类目预测准确度,从而可以发现类目预测模型的缺陷,实现了通过建立合理评估体系来校验各个不同种类的类目预测模型的类目预测效果,便于对多种不同的目预测模型进行优化。
基于上述步骤i)和步骤j),还可以根据上述类目预测模型的预测准确度,对加权算法中各模型对应的权重值进行调整,以使目标类目确定结果更加精准,例如,如果模型预测正确性较低,可以适当降低该模型在加权算法中的权重;如果模型预测正确性较高,可以适当提高该模型在加权算法中的权重。作为一个示例,目标类目的确定过程包括基于若干预测类目进行加权算法的过程;在上述步骤j)之后,该方法还可以包括如下步骤:
步骤k),根据类目预测准确度,调整对应的预测类目的各自分概率在加权算法中的权重值。
对于上述步骤k),其中的类目预测准确度越高,对应的权重值越高。
示例性的,通过第二对比结果可以确定预测类目对应的类目预测模型的类目预测准确度,进而对预测类目的各自分概率在加权算法中的权重值进行调整。例如,预设正确类目为毛衣,预测模型1确定出的参考类目也为毛衣,通过对比得到的第二对比结果可知预测模型1的类目预测准确度很高,从而可以将预测模型1的权重值调整提高。又例如,预设正确类目为毛衣,预测模型2确定出的参考类目为针织衫,通过对比得到的第二对比结果可知预测模型2的类目预测准确度较高,从而可以将预测模型2的权重值调整提高。再例如,预设正确类目为毛衣,预测模型3确定出的参考类目为衬衫,通过对比得到的第二对比结果可知预测模型3的类目预测准确度较低,从而可以将预测模型2的权重值调整降低。
通过将多个预测类目与预设正确类目分别进行对比,得到第二对比结果,根据第二对比结果确定预测类目对应的类目预测模型的类目预测准确度,从而根据类目预测准确度,调整对应的预测类目的各自分概率在加权算法中的权重值,进而可以对目标类目的确定过程进行优化,以使目标类目确定结果更加精准。
在一些实施例中,系统可以从历史用户输入数据中采集得到训练样本集,例如,首先获取训练文本以及用户对训练文本的类目历史确定结果,从而确定训练文本对应的训练类目,进而得到训练样本集,即训练文本及其对应的训练类目可以从历史用户数据中获取,以使训练样本集符合用户的目标。作为一个示例,训练样本集的获取过程包括:
步骤l),获取训练文本以及用户对训练文本的类目确定结果。
步骤m),基于类目确定结果确定训练文本对应的训练类目。
步骤n),基于多个训练文本和对应的训练类目,得到训练样本集。
对于上述步骤l),其中的训练文本用于表征商品的历史描述信息。例如,毛衣、篮球、桌子等。
对于上述步骤m),其中的训练类目用于表征历史描述信息对应的商品类别。例如,服装、体育用品、家具等。
例如,在历史数据中,用户将毛衣的所属类目确定为服装,则在训练样本集中将毛衣对应的训练类目确定为服装,即训练文本中包含“毛衣”一词,其对应的训练类目为服装。又例如,用户将篮球的所属类目确定为体育用品,则在训练样本集中将篮球对应的训练类目确定为体育用品,即训练文本中包含“篮球”一词,其对应的训练类目为体育用品。相似的,系统基于多个训练文本和其对应的训练类目,可以得到训练样本集。
系统通过获取训练文本以及用户对训练文本的类目确定结果,从而确定训练文本对应的训练类目,进而得到训练样本集,以使训练样本集符合用户的目标,进而提高训练后的类目预测模型的预测准确度。
基于上述步骤l)、步骤m)和步骤n),系统可以对训练样本进行补充,保证训练样本的数据量,例如,针对训练文本的内容进行补充,以保证训练样本集的较多数据量。作为一个示例,上述步骤n)具体可以包括如下步骤:
步骤o),获取多个训练文本和对应的训练类目。
步骤p),如果在多个训练类目中第一训练类目对应的第一训练文本的数量小于或等于预设文本数量,则从第一训练类目对应包含的预设商品中确定第一预设商品。
步骤q),将第一预设商品确定为第一训练类目对应的第一训练文本,以增加第一训练文本的数量。
示例性的,对于行为较少(即在多个训练类目中第一训练类目对应的第一训练文本的数量较少)的类目样本构造,线上点击和搜索马太效应严重,故可取得数据的类目有限。本申请实施例中,对于某个类目在现实日常中的使用情况较少的情形,即对于发生采集的样本数据量较少的情况,针对这种使用行为较少的类目样本,可以扩充其样本数量,在扩充过程中,该类目对应的目标文本可以从第一训练类目对应包含的预设商品中确定第一预设商品,并将第一预设商品确定为第一训练类目对应的第一训练文本,进而增加第一训练文本的数量,例如,通过从该类目对应的商品标题中随机采样的方式生成待补充的样本。
通过在样本数量较少的情况下,从第一训练类目对应包含的预设商品中确定第一预设商品,并将第一预设商品确定为第一训练类目对应的第一训练文本,以增加第一训练文本的数量,从而实现对训练文本的内容进行补充,以保证训练样本集的较多数据量,进而提高模型训练精确度。
基于上述步骤l)、步骤m)和步骤n),正样本类目可能有一些同含义类目,可以将这些同含义类目归类于正样本类目中,以优化样本,例如,系统可以根据类目将训练样本划分为正样本以和负样本,进而实现更加精确的模型训练。作为一个示例,上述步骤n)具体可以包括如下步骤:
步骤r),将类目确定结果以外的类目确定为训练文本对应的负样本类目。
步骤s),将训练类目确定为训练文本对应的正样本类目。
步骤t),基于多个训练文本、对应的正样本类目和对应的负样本类目,得到训练样本集。
示例性的,正样本是指属于某一类别的样本,负样本是指不属于某一类别的样本。系统通过估计所有样本特征的分布,新的样本出现时,利用分布估计该样本的出现概率,若是概率太小则认为是负样本。例如,对于人脸识别,正样本是人脸的图片,负样本的选取就与问题场景相关,具体而言,如果要进行教室中学生的人脸识别,则负样本就是教室的桌椅、窗户、墙等等。又例如,结合电商搜索场景下,用户搜索目标后,系统通过索引召回商品,召回的商品类目是一个相对较小的范围,所以样本中不采纳,只采用线上用户点击确定的类目,而线上用户点击较多的类目为正样本,其他类目(除用户选择以外的所有类目)可以为负样本。
通过将类目确定结果以外的类目确定为训练文本对应的负样本类目,将训练类目确定为训练文本对应的正样本类目,并基于多个训练文本、对应的正样本类目和对应的负样本类目得到训练样本集,从而可以实现更加精确的模型训练。
基于上述步骤r)、步骤s)和步骤t),正样本类目可能有一些相似类目,可以将这些相似类目从负样本中抛除,以优化样本,例如,针对于同一训练文本,系统可以将其中对应的正样本类目的指定同含义类目添加进正样本类目,并将该同含义类目从负样本类目中删除,实现对于正、负样本类目的优化,以实现更加精确的模型训练。作为一个示例,训练样本中包含训练文本、训练文本对应的正样本类目和训练文本对应的负样本类目;上述步骤t)具体可以包括如下步骤:
步骤u),针对同一训练文本,确定对应的正样本类目的指定同含义类目。
步骤v),将指定同含义类目确定为训练文本对应的正样本类目,得到第一正样本类目。
步骤w),在对应的负样本类目中删除指定同含义类目,得到第一负样本类目。
步骤x),基于多个训练文本、对应的第一正样本类目和对应的第一负样本类目,得到训练样本集。
示例性的,可以将属于同含义类目,但是因为一些规则而区分开的,重新归为一类,预测时使其不作为负样本。例如,毛衣和针织衫、连衣裙和大码连衣裙等等。将正样本类目的相似含义类目,与该正样本划分归为同一类目,进而自然也将该相似含义类目从负样本中抛除。
通过针对于同一训练文本,系统将其中对应的正样本类目的指定同含义类目添加进正样本类目,并将该同含义类目从负样本类目中删除,实现对于正、负样本类目的优化,以实现更加精确的模型训练。
基于上述步骤r)、步骤s)和步骤t),针对同一训练文本,系统可以从对应的负样本类目中确定对应的正样本类目的指定相似类目,并将该指定相似类目从负样本类目中删除,实现对于负样本类目的优化,以实现更加精确的模型训练。作为一个示例,训练样本中包含训练文本、训练文本对应的正样本类目和训练文本对应的负样本类目;上述步骤t)具体可以包括如下步骤:
步骤y),针对同一训练文本,从对应的负样本类目中确定对应的正样本类目的指定相似类目。
步骤z),在对应的负样本类目中删除指定相似类目,得到第二负样本类目。
步骤za)基于多个训练文本、对应的正样本类目和对应的第二负样本类目,得到训练样本集。
示例性的,可以将线上用户点击的类目的兄弟类目从负样本中删除,即不将其作为负样本,因为很多搜索目标文本,如外套、衣服、上装等,无法明确到某个具体类目,导致预测结果较广泛,将影响到预测结果的准确性。将正样本类目的相似兄弟类目从负样本中抛除,可以提高非明确语义的搜索泛化性。
通过针对同一训练文本,系统从对应的负样本类目中确定对应的正样本类目的指定相似类目,并将该指定相似类目从负样本类目中删除,实现对于负样本类目的优化,以实现更加精准的预测。
图9提供了一种文本对应类目的预测装置900的结构示意图。如图9所示,文本对应类目的预测装置900包括:
获取模块901,用于获取用户在搜索界面所输入的待搜索的目标文本;其中,目标文本用于表征待搜索商品的商品描述信息。
预测模块902,用于利用多个不同种类的类目预测模型分别对目标文本进行预测,得到若干预测类目;其中,预测类目用于表征商品描述信息对应的商品类别;多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,训练样本集中的每个训练样本均包含训练文本以及训练文本对应的训练类目。
确定模块903,用于基于若干预测类目确定一目标类目,并将目标类目确定为目标文本对应的参考类目。
生成模块904,用于利用参考类目生成用于向用户进行推送的目标商品。
在一些实施例中,还包括:
转换模块,用于:在利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练的过程中,将相同的训练样本集分别转换为多种不同格式的训练样本集;其中,每种格式对应多个不同种类的初始预测模型中的一种初始预测模型的训练样本格式;将每种格式的训练样本集输入至训练样本格式对应的初始预测模型中,通过训练得到多个不同种类的训练后的类目预测模型。
在一些实施例中,确定模块903具体用于:
通过分类投票算法从若干预测类目中确定数量最多的一个目标类目;和/或,
针对若干预测类目中的每个相同的预测类目,通过加权算法得到相同的预测类目的总概率,并从若干预测类目中将总概率最大的一预测类目确定为目标类目。
在一些实施例中,若干预测类目的类目数量为多个;确定模块903具体用于:
通过分类投票算法从多个预测类目中确定数量最多的多个初始类目;其中,初始类目的数量小于或等于预测类目的数量;
针对每个相同的初始类目,通过加权算法得到相同的初始类目的总概率,并从多个初始类目中将总概率最大的一初始类目确定为目标类目。
在一些实施例中,该装置还包括:
第一对比模块,用于在将目标类目确定为目标文本对应的参考类目之后,将参考类目与预设正确类目进行对比,得到第一对比结果;
根据第一对比结果确定参考类目的类目结果准确度。
在一些实施例中,该装置还包括:
第二对比模块,用于将预测类目与预设正确类目进行对比,得到第二对比结果;
根据第二对比结果确定预测类目对应的类目预测模型的类目预测准确度。
在一些实施例中,目标类目的确定过程包括基于若干预测类目进行加权算法的过程;该装置还包括:
调整模块,用于在根据第二对比结果确定预测类目对应的类目预测模型的类目预测准确度之后,根据类目预测准确度,调整对应的预测类目的各自分概率在加权算法中的权重值;其中,类目预测准确度越高,对应的权重值越高。
在一些实施例中,还包括:
训练样本集获取模块,用于:在训练样本集的获取过程中,获取训练文本以及用户对训练文本的类目确定结果;其中,训练文本用于表征商品的历史描述信息;基于类目确定结果确定训练文本对应的训练类目;其中,训练类目用于表征历史描述信息对应的商品类别;基于多个训练文本和对应的训练类目,得到训练样本集。
在一些实施例中,训练样本集获取模块具体用于:
获取多个训练文本和对应的训练类目;
如果在多个训练类目中第一训练类目对应的第一训练文本的数量小于或等于预设文本数量,则从第一训练类目对应包含的预设商品中确定第一预设商品;
将第一预设商品确定为第一训练类目对应的第一训练文本,以增加第一训练文本的数量。
在一些实施例中,训练样本中包含训练文本、训练文本对应的正样本类目和训练文本对应的负样本类目;训练样本集获取模块具体用于:
针对同一训练文本,确定对应的正样本类目的指定同含义类目;
将指定同含义类目确定为训练文本对应的正样本类目,得到第一正样本类目;
在对应的负样本类目中删除指定同含义类目,得到第一负样本类目;
基于多个训练文本、对应的第一正样本类目和对应的第一负样本类目,得到训练样本集。
在一些实施例中,训练样本中包含训练文本、训练文本对应的正样本类目和训练文本对应的负样本类目;训练样本集获取模块具体用于:
针对同一训练文本,从对应的负样本类目中确定对应的正样本类目的指定相似类目;
在对应的负样本类目中删除指定相似类目,得到第二负样本类目;
基于多个训练文本、对应的正样本类目和对应的第二负样本类目,得到训练样本集。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图10为本发明实施例提供的一种电子设备的结构示意图,该电子设备包括:处理器1001,存储器1002,总线1003和通信接口1004,所述处理器1001、通信接口1004和存储器1002通过总线1003连接;处理器1001用于执行存储器1002中存储的可执行模块,例如计算机程序。
其中,存储器1002可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(Non-volatile Memory),例如至少一个磁盘存储器。通过至少一个通信接口1004(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线1003可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器1002用于存储程序,所述处理器1001在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器1001中,或者由处理器1001实现。
处理器1001可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1001可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002,处理器1001读取存储器1002中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (14)
1.一种文本对应类目的预测方法,其特征在于,所述方法包括:
获取用户在搜索界面所输入的待搜索的目标文本;其中,所述目标文本用于表征待搜索商品的商品描述信息;
利用多个不同种类的类目预测模型分别对所述目标文本进行预测,得到若干预测类目;其中,所述预测类目用于表征所述商品描述信息对应的商品类别;所述多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,所述训练样本集中的每个训练样本均包含训练文本以及所述训练文本对应的训练类目;
基于所述若干预测类目确定一目标类目,并将所述目标类目确定为所述目标文本对应的参考类目;
利用所述参考类目生成用于向用户进行推送的目标商品。
2.根据权利要求1所述的方法,其特征在于,利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练的过程包括:
将相同的所述训练样本集分别转换为多种不同格式的训练样本集;其中,每种所述格式对应多个不同种类的初始预测模型中的一种所述初始预测模型的训练样本格式;
将每种所述格式的训练样本集输入至训练样本格式对应的所述初始预测模型中,通过训练得到多个不同种类的训练后的类目预测模型。
3.根据权利要求1所述的方法,其特征在于,所述基于所述若干预测类目确定一目标类目的步骤,包括:
通过分类投票算法从所述若干预测类目中确定数量最多的一个目标类目;和/或,
针对所述若干预测类目中的每个相同的所述预测类目,通过加权算法得到相同的所述预测类目的总概率,并从所述若干预测类目中将所述总概率最大的一预测类目确定为目标类目。
4.根据权利要求1所述的方法,其特征在于,所述若干预测类目的类目数量为多个;所述基于所述若干预测类目确定一目标类目的步骤,包括:
通过分类投票算法从多个所述预测类目中确定数量最多的多个初始类目;其中,所述初始类目的数量小于或等于所述预测类目的数量;
针对每个相同的所述初始类目,通过加权算法得到相同的所述初始类目的总概率,并从多个所述初始类目中将所述总概率最大的一初始类目确定为目标类目。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标类目确定为所述目标文本对应的参考类目的步骤之后,还包括:
将所述参考类目与预设正确类目进行对比,得到第一对比结果;
根据所述第一对比结果确定所述参考类目的类目结果准确度。
6.根据权利要求1所述的方法,其特征在于,还包括:
将所述预测类目与预设正确类目进行对比,得到第二对比结果;
根据所述第二对比结果确定所述预测类目对应的所述类目预测模型的类目预测准确度。
7.根据权利要求6所述的方法,其特征在于,所述目标类目的确定过程包括基于所述若干预测类目进行加权算法的过程;
所述根据所述第二对比结果确定所述预测类目对应的所述类目预测模型的类目预测准确度的步骤之后,还包括:
根据所述类目预测准确度,调整对应的所述预测类目的各自分概率在所述加权算法中的权重值;其中,所述类目预测准确度越高,对应的所述权重值越高。
8.根据权利要求1所述的方法,其特征在于,所述训练样本集的获取过程包括:
获取训练文本以及用户对所述训练文本的类目确定结果;其中,所述训练文本用于表征商品的历史描述信息;
基于所述类目确定结果确定所述训练文本对应的训练类目;其中,所述训练类目用于表征所述历史描述信息对应的商品类别;
基于多个所述训练文本和对应的所述训练类目,得到所述训练样本集。
9.根据权利要求8所述的方法,其特征在于,所述基于多个所述训练文本和对应的所述训练类目,得到所述训练样本集的步骤,包括:
获取多个所述训练文本和对应的所述训练类目;
如果在多个所述训练类目中第一训练类目对应的第一训练文本的数量小于或等于预设文本数量,则从所述第一训练类目对应包含的预设商品中确定第一预设商品;
将所述第一预设商品确定为所述第一训练类目对应的所述第一训练文本,以增加所述第一训练文本的数量。
10.根据权利要求8所述的方法,其特征在于,所述训练样本中包含所述训练文本、所述训练文本对应的正样本类目和所述训练文本对应的负样本类目;所述基于多个所述训练文本、对应的所述正样本类目和对应的所述负样本类目,得到所述训练样本集的步骤,包括:
针对同一所述训练文本,确定对应的所述正样本类目的指定同含义类目;
将所述指定同含义类目确定为所述训练文本对应的所述正样本类目,得到第一正样本类目;
在对应的所述负样本类目中删除所述指定同含义类目,得到第一负样本类目;
基于多个所述训练文本、对应的所述第一正样本类目和对应的所述第一负样本类目,得到所述训练样本集。
11.根据权利要求8所述的方法,其特征在于,所述训练样本中包含所述训练文本、所述训练文本对应的正样本类目和所述训练文本对应的负样本类目;所述基于多个所述训练文本、对应的所述正样本类目和对应的所述负样本类目,得到所述训练样本集的步骤,包括:
针对同一所述训练文本,从对应的所述负样本类目中确定对应的所述正样本类目的指定相似类目;
在对应的所述负样本类目中删除所述指定相似类目,得到第二负样本类目;
基于多个所述训练文本、对应的所述正样本类目和对应的所述第二负样本类目,得到所述训练样本集。
12.一种文本对应类目的预测装置,其特征在于,包括:
获取模块,用于获取用户在搜索界面所输入的待搜索的目标文本;其中,所述目标文本用于表征待搜索商品的商品描述信息;
预测模块,用于利用多个不同种类的类目预测模型分别对所述目标文本进行预测,得到若干预测类目;其中,所述预测类目用于表征所述商品描述信息对应的商品类别;所述多个不同种类的类目预测模型是利用相同的训练样本集分别对多个不同种类的初始预测模型进行训练后得到的模型训练结果,所述训练样本集中的每个训练样本均包含训练文本以及所述训练文本对应的训练类目;
确定模块,用于基于所述若干预测类目确定一目标类目,并将所述目标类目确定为所述目标文本对应的参考类目;
生成模块,用于利用所述参考类目生成用于向用户进行推送的目标商品。
13.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至11任一项所述的方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111255808.0A CN116049386A (zh) | 2021-10-27 | 2021-10-27 | 文本对应类目的预测方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111255808.0A CN116049386A (zh) | 2021-10-27 | 2021-10-27 | 文本对应类目的预测方法、装置以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116049386A true CN116049386A (zh) | 2023-05-02 |
Family
ID=86129974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111255808.0A Pending CN116049386A (zh) | 2021-10-27 | 2021-10-27 | 文本对应类目的预测方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116049386A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117390497A (zh) * | 2023-12-08 | 2024-01-12 | 浙江口碑网络技术有限公司 | 基于大语言模型的类目预测方法、装置和设备 |
-
2021
- 2021-10-27 CN CN202111255808.0A patent/CN116049386A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117390497A (zh) * | 2023-12-08 | 2024-01-12 | 浙江口碑网络技术有限公司 | 基于大语言模型的类目预测方法、装置和设备 |
CN117390497B (zh) * | 2023-12-08 | 2024-03-22 | 浙江口碑网络技术有限公司 | 基于大语言模型的类目预测方法、装置和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108763362B (zh) | 基于随机锚点对选择的局部模型加权融合Top-N电影推荐方法 | |
CN110163647B (zh) | 一种数据处理方法及装置 | |
CN103593425B (zh) | 基于偏好的智能检索方法及系统 | |
CN108846097B (zh) | 用户的兴趣标签表示方法、文章推荐方法、及装置、设备 | |
CN107844533A (zh) | 一种智能问答系统及分析方法 | |
CN112862569B (zh) | 基于图像和文本多模态数据的产品外观风格评价方法和系统 | |
CN110532351A (zh) | 推荐词展示方法、装置、设备及计算机可读存储介质 | |
WO2021112984A1 (en) | Feature and context based search result generation | |
CN105893362A (zh) | 获取知识点语义向量的方法、确定相关知识点的方法及系统 | |
CN112487283A (zh) | 训练模型的方法、装置、电子设备及可读存储介质 | |
CN112182145A (zh) | 文本相似度确定方法、装置、设备和存储介质 | |
CN108959550B (zh) | 用户关注点挖掘方法、装置、设备及计算机可读介质 | |
CN112148994A (zh) | 信息推送效果评估方法、装置、电子设备及存储介质 | |
CN116049386A (zh) | 文本对应类目的预测方法、装置以及电子设备 | |
CN107908649B (zh) | 一种文本分类的控制方法 | |
CN115794898B (zh) | 一种金融资讯推荐方法、装置、电子设备及存储介质 | |
CN112182126A (zh) | 用于确定匹配度的模型训练方法、装置、电子设备及可读存储介质 | |
Abudalfa et al. | Semi-supervised target-dependent sentiment classification for micro-blogs | |
CN111062449A (zh) | 预测模型的训练方法、兴趣度预测方法、装置和存储介质 | |
CN115827990A (zh) | 搜索方法及装置 | |
CN116503127A (zh) | 模型训练方法、检索方法及相关装置 | |
WO2023048807A1 (en) | Hierarchical representation learning of user interest | |
Coviello et al. | Multivariate Autoregressive Mixture Models for Music Auto-Tagging. | |
Qiu et al. | Deep active learning with crowdsourcing data for privacy policy classification | |
Calderon et al. | Filipino Online Scam Data Classification using Decision Tree Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |