CN113780339B - 模型训练、预测及内容理解方法及电子设备 - Google Patents
模型训练、预测及内容理解方法及电子设备 Download PDFInfo
- Publication number
- CN113780339B CN113780339B CN202110887046.XA CN202110887046A CN113780339B CN 113780339 B CN113780339 B CN 113780339B CN 202110887046 A CN202110887046 A CN 202110887046A CN 113780339 B CN113780339 B CN 113780339B
- Authority
- CN
- China
- Prior art keywords
- category
- constituent elements
- video
- different dimensions
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000000470 constituent Substances 0.000 claims abstract description 130
- 238000002372 labelling Methods 0.000 claims abstract description 71
- 238000013145 classification model Methods 0.000 claims abstract description 67
- 239000000203 mixture Substances 0.000 claims abstract description 8
- 238000003860 storage Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 8
- 238000003822 preparative gas chromatography Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000037072 sun protection Effects 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 241001619937 Hoplerythrinus unitaeniatus Species 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了模型训练、预测及内容理解方法及电子设备,所述方法包括:获取目标应用系统中数据对象的类目体系结构,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;接收到用户的样本标注请求后,根据所述多个不同维度分别对应的所述树形结构,提供标注操作选项,以用于分别在多个不同维度下进行类目组成元素的选择及标注;利用关联有多个不同维度下的类目组成元素标注结果的样本进行分类模型的训练。通过本申请实施例,能够提升标注样本的应用效率。
Description
技术领域
本申请涉及内容理解技术领域,特别是涉及模型训练、预测及内容理解方法及电子设备。
背景技术
在商品对象信息系统中,信息流或者内容推荐是常见的功能,可以根据具体用户对各类内容的喜好程度等信息做内容召回,或者,为了降低相同或相似类目的内容给用户造成的疲劳而进行内容打散,等等。在通过算法模型进行信息流或者内容推荐时,通常还涉及到大量的图文或者视频等内容的内容理解,而在对图文或者视频等进行内容理解时,则涉及到对图文或视频关联商品对象的分类。也就是说,可以根据具体的图文或者视频等,识别出关联的商品所属的领域、类目等等,然后再根据内容理解的结果进行推荐。
为了达到上述通过算法模型进行内容理解的目的,还需要预先对算法模型进行训练,训练的过程中,则需要获取到大量的训练样本,并对训练样本进行标注,利用带有标注信息的训练样本完成对算法模型的训练后,则可以用于对具体的图文或视频关联的商品对象所属的类目进行预测。
其中,对于一些复杂场景,分类数量很多,例如,前述商品对象信息系统中的商品类目,包含非常多的类目,这时就需要用一定的类目体系结构把这些类目组织起来,进行方便标注、训练和管理。
现有技术中,类目体系结构主要分为平层结构以及树形结构两种。其中,平层结构是只有一层分类,没有层次结构,而在对训练样本进行标注的时候需要标注人员熟悉每个分类的定义,显然,在类目数量非常多的复杂场景中,标注人员难以熟悉每个分类的定义,使得标注的难度很大,效率比较低。树形结构中包含层次结构,非叶子节点每个节点都有若干个子节点。但是,随着分类数增加(例如增加到1万类),可能会出现以下问题:当增加/删除/调整一个分类时,可能会影响其他很多类;并且,虽然树形结构中的层次结构有利于帮助标注人员熟悉分类的定义,但是,到了叶子类目的一层,总的类目数量仍然会非常多,如果需要训练出的算法能够识别出叶子层的多个类目,则需要的样本数量会非常多。例如,每预测一个类目,要训练好一个模型至少需要200个样本。然而,在实际应用中,类目数量往往是非常多的,例如,在商品对象信息系统中,护肤及个人护理领域下,有400个左右的类目,此时,仅该领域,就至少需要80000个样本才能完成模型训练。而领域数量又会很多,因此,总共需要的样本数量又会更多。这就给样本的收集以及标注提出了更高的要求。
因此,如何更高效地实现对算法模型的训练,提升标注样本的应用效率,进而提升信息推荐的效率,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了模型训练、预测及内容理解方法及电子设备,能够更高效地实现对算法模型的训练,提升标注样本的应用效率,进而提升内容理解、信息推荐等应用的效率。
本申请提供了如下方案:
一种分类模型训练方法,包括:
获取目标应用系统中数据对象的类目体系结构,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
接收到用户的样本标注请求后,根据所述多个不同维度分别对应的所述树形结构,提供标注操作选项,以用于分别在多个不同维度下进行类目组成元素的选择及标注;
利用关联有多个不同维度下的类目组成元素标注结果的样本进行分类模型的训练。
其中,所述数据对象包括图文/视频;
所述多个不同维度包括:内容、情节和/或展示方式。
其中,所述图文/视频包括在内容维度上与商品对象相关的图文/视频;
所述构建类目体系结构,包括:
确定与商品对象相关的多个不同领域;
分别在不同的领域中确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
其中,通过将同一领域中多个不同维度下的多个类目组成元素进行叉乘组合,获得对应领域中的多个图文/视频类目;
同一领域中多个不同维度下的类目组成元素数量之和,小于该领域中的图文/视频类目数量。
其中,如果所述图文/视频在内容维度上与商品对象相关,则所述构建类目体系结构,包括:
根据网状结构的商品对象类目体系结构,将内容维度拆分为多个维度,所述网状结构的商品对象类目体系结构中包括多个树形结构,用于对同一维度下的多个类目组成元素进行定义。
其中,所述图文/视频包括专业生产内容PGC,或者用户生成内容UGC。
一种数据对象预测方法,包括:
获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
利用所述分类模型对目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象在匹配的类目组成元素;
通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目。
一种内容理解方法,包括:
获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
确定待进行内容理解的目标数据对象;
利用所述分类模型对所述目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象匹配的类目组成元素;
通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目,以用于作为对所述目标商品对象的内容理解结果。
一种图文/视频推荐方法,包括:
获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
确定待推荐的目标图文/视频;
利用所述分类模型对所述目标图文/视频进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标图文/视频匹配的类目组成元素;
通过将所述多个不同维度上的预测结果进行组合,确定所述目标图文/视频所属的类目;
根据所述目标图文/视频所属的类目确定目标用户群体,以便将所述目标图文/视频向所述目标用户群体进行推荐。
其中,所述多个不同维度包括:内容、情节和/或展示方式;
所述目标图文/视频包括在内容维度上与商品对象相关的图文/视频;
所述构建类目体系结构,包括:
确定与商品对象相关的多个不同领域;
分别在不同的领域中确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
一种分类模型训练装置,包括:
类目体系结构获取单元,用于获取目标应用系统中数据对象的类目体系结构,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
标注操作选项提供单元,用于接收到用户的样本标注请求后,根据所述多个不同维度分别对应的所述树形结构,提供标注操作选项,以用于分别在多个不同维度下进行类目组成元素的选择及标注;
模型训练单元,用于利用关联有多个不同维度下的类目组成元素标注结果的样本进行分类模型的训练。
一种数据预测装置,包括:
分类模型获取单元,用于获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
预测单元,用于利用所述分类模型对目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象在匹配的类目组成元素;
预测结果组合单元,用于通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目。
一种内容理解装置,包括:
分类模型获取单元,用于获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
目标数据对象确定单元,用于确定待进行内容理解的目标数据对象;
预测单元,用于利用所述分类模型对所述目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象匹配的类目组成元素;
预测结果组合单元,用于通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目,以用于作为对所述目标商品对象的内容理解结果。
一种图文/视频推荐装置,包括:
分类模型获取单元,用于获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
目标图文/视频确定单元,用于确定待推荐的目标图文/视频;
预测单元,用于利用所述分类模型对所述目标图文/视频进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标图文/视频匹配的类目组成元素;
预测结果组合单元,用于通过将所述多个不同维维度上的预测结果进行组合,确定所述目标图文/视频所属的类目;
推荐单元,用于根据所述目标图文/视频所属的类目确定目标用户群体,以便将所述目标图文/视频向所述目标用户群体进行推荐。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一项所述的方法的步骤。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述任一项所述的方法的步骤。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,可以首先确定出多个不同的维度,每个维度下包括多个类目组成元素,这样,具体的数据对象类目是可以由多个维度下的类目组成元素进行叉乘组合得到,因此,类目组成元素的数量远少于普通树形结构中叶子类目的数量。而对分类模型进行训练,只需要识别出各种类目组成元素即可,而不需要识别出各个具体的叶子类目,因此,相对于直接利用现有的树形结构的类目体系对样本进行标注以及对模型进行训练的方式而言,所需的样本数量减少,在相同样本数量的情况下,可以使得各个类目组成元素分得的样本数量更多,进而可以获得更好的训练结果,从而提升标注样本的应用效率。进而在利用训练出的模型进行预测以及后续的内容理解、信息推荐等应用时,也可以提升内容理解、信息推荐的效率。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1-1是现有技术中的商品对象类目体系示意图;
图1-2是在现有的商品对象类目体系基础上构建的图文/视频类目体系示意图;
图1-3是本申请实施例提供的类目体系示意图;
图2是本申请实施例提供的系统架构的示意图;
图3是本申请实施例提供的第一方法的流程图;
图4是本申请实施例提供的第二方法的流程图;
图5是本申请实施例提供的第三方法的流程图;
图6是本申请实施例提供的第四方法的流程图;
图7是本申请实施例提供的第一装置的示意图;
图8是本申请实施例提供的第二装置的示意图;
图9是本申请实施例提供的第三装置的示意图;
图10是本申请实施例提供的第四装置的示意图;
图11是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解本申请实施例提供的技术方案,下面首先以商品对象类目体系为例,对现有技术中的类目体系结构进行介绍。在商品对象类目体系中,涉及到的商品对象类目通常非常多,现有技术中的处理方式是构建树形结构的类目体系。例如,在某商品类目体系中,一级类目可以包括男装、女装、美妆、母婴、生鲜、食品、洗护、手机、内衣、鞋靴、箱包等多个行业或者领域大类;每个一级类目下又可以包括多个二级类目,例如,女装类目下可以包括女裙、上装、女裤、外套、套装等二级类目;男装类目下可以包括裤子、上装、套装等二级类目;二级类目下又可以进一步细分为多个三级类目,例如,女装-女裤类目下,可以包括牛仔裤、休闲裤、打底裤、棉裤羽绒裤等多个三级类目;男装-裤子类目下,包括工装裤、休闲长裤、休闲短裤、牛仔短裤、牛仔长裤、卫裤、皮裤等等。总之,在上述现有的类目体系中,每个节点都对应着一种级别的类目,到了叶子节点一级,也相当于将所有类目平铺,整个树形结构中所包括的叶子节点数量,与平层结构中的节点数量是相同的。
也就是说,如果需要训练出的模型能够识别叶子级别的商品类目,则树形结构的类目体系结构,基本仅在帮助标注人员对熟悉分类的定义方面有一定帮助,在对样本数量的要求方面,由于叶子节点的数量与平层结构下没有区别,因此,无法起到提升标注样本的应用效率的作用。例如,在对某图片进行标注时,需要标注人员确定出相关的商品对象所属的叶子类目,例如,男装-裤子-休闲长裤;另一图片的标注结果可能是“女装-女裤-休闲裤”,等等。可见,在利用现有技术的类目体系结构对样本进行标注时,一个样本只能被标注为一个叶子类目,用于参与到对一个叶子类目进行识别的模型训练中。在这种情况下,如果样本总数有限,则拉平到多个叶子类目之后,每个叶子类目分到的样本数量就会很少,相应的,训练出的模型的准确度也可能会比较低。
而在对图文或者视频进行内容理解的过程中,由于具体的图文或者视频除了包括商品对象的头图等专门用于对某商品对象进行展示的图文或者视频之外,还包括大量的PGC(Professional Generated Content,专业生产内容,用来泛指内容个性化、视角多元化、传播民主化、社会关系虚拟化的内容,在商品对象信息系统中,也称“达人视频”)以及UGC(User Generated Content,用户生成内容,即用户原创内容)类的图文或视频。对于PGC或UGC内容而言,由于其内容形式多样化,因此,在分类方面,涉及到的类目数量可能会更多。
例如,同样是与某商品对象相关的视频,如果是作为头图对商品对象进行展示的视频,则其内容主要就是展示该商品对象,此时,直接利用商品类目体系对视频进行分类即可,也即,可以直接将视频相关的商品对象所属的类目,确定为视频所属的类目即可。但是,对于PGC或者UGC类别的视频而言,则可能不是单纯对该商品对象进行展示,在具体的情节、展示方式等方面也会存在各种不同的类别。例如,同样是与某护肤品相关的视频,在头图视频中,主要就是对该护肤品的外观等进行展示;而在PGC或UGC内容中,则可能是对该护肤品进行评测,或者,对该护肤品进行推荐,等等。在内容理解过程中,需要将上述不同视频识别为不同的类别。
可见,对于PGC或者UGC类的图文或视频,不能单纯的以其关联的商品对象的类目,对图文或视频进行分类,还要看图文或视频的展示方式、情节等信息。换言之,关联的商品对象知识图文或视频在其中一个维度上的特征,在展示方式、情节等维度上还会表现出一些特征,也能够用于对图文或视频进行分类。例如,某视频可能是与某服装相关,该服装是流行的洛丽塔风格的套装,该视频主要是对该服装进行搭配介绍,目标人群是女生,则该视频的类目为:“女生流行洛丽塔套装搭配介绍”,等等。另一个视频可能也是与该同一件服装相关,但是其内容是对该服装进行细节展示,则对应的视频类目可能是“女生流行洛丽塔套装细节展示”,等等。如果直接在现有的商品类目体系基础上构建图文或视频的类目体系,则上述“女生流行洛丽塔套装搭配介绍”、“女生流行洛丽塔套装细节展示”等都会对应着不同的叶子类目。
上述情况的存在,一方面使得标注样本的使用效率很低,另一方面,很多情况下,到了叶子类目一级,不同叶子类目之间的差异往往比较低,标注人员可能也难以区分具体某个视频到底应该被标注为哪个具体的类目。再者,如果类目体系结构需要进行调整,则可能会涉及到对类目体系结构的大范围变动,例如,假设“洛丽塔”类目的判定边界发生变化,则可能会涉及到对其关联的上下级节点的调整,等等。
针对上述各种情况,在本申请实施例中,可以通过网状结构的方式来构建类目体系。具体的,假设直接以现有的商品类目体系结构为基础,构建图文/视频类目体系结构,则可以组合出非常多的叶子类目,而在本申请实施例中,可以对这种叶子类目进行拆分,确定出多个不同的维度,每个维度下可以包括多个类目组成元素。例如,对于前述叶子类目为“女生流行洛丽塔套装搭配介绍”的视频,拆分出的维度可以包括对象、风格、展示方式等,其中,在对象维度,该视频对应的具体类目组成元素是“女生”,在风格维度,对应的类目组成元素是“流行洛丽塔”,在展示方式维度,该视频对应的具体类目组成元素是“搭配介绍”,等等。
也就是说,在本申请实施例中,可以通过多个树形结构,来构建具体图文/视频的类目体系,在每个树形结构中,可以仅对同一维度下的多个类目组成元素进行定义。这样,每棵树的类目上的定义都非常清晰,并且每棵树上的类目组成元素数量都不会太大,方便人工进行标注和训练模型。例如,在对某个样本进行标注时,只需要分别从多个维度上对该样本的类目组成元素进行标注,之后,该样本便可以加入到对模型的训练中。模型训练完成后,在对具体的数据对象进行预测时,该模型输出的预测结果可以包括:该具体的数据对象在各个维度上的预测结果,例如,各个维度上,该数据对象分别与哪个具体的类目组成元素匹配,等等。之后,可以通过将各个维度上的预测结果进行组合的方式,获取到该数据对象具体所属的类目。
通过这种方式,由于将具体的叶子类目拆分成类目组成元素,因此,现有技术中的平层结构或者普通树形结构中的叶子类目,都可以通过对多个维度下的多个类目组成元素进行叉乘组合的方式来获得。假设某类目体系中有一万个叶子类目,在本申请实施例中构建的网状结构中,变成了m*n*k...的体系结构,其中,m、n、k分别为各个维度下的类目组成元素数量。人工只需熟悉m+n+k+…个类目组成元素的定义,数量是呈对数倍衰减的。由于总的分类的数量减少了,并且同一样本可以参与到对多个子分类(这里所述的子分类对应类目组成元素)的训练中,因此,标注相同数量的样本,网状结构上每个子分类上的样本数量都会增多,使得训练更容易。
其中,为了便于进行维度划分,还可以首先根据具体图文/视频等关联的商品对象所属的领域的不同,划分为多个不同的领域,然后,分别在各个不同的领域下,划分出多个不同的维度。这样,每个领域下划分出的具体维度,以及具体维度下的类目组成元素,可以与该领域下的商品对象信息有关,还可以与该领域下具体图文/视频的展示方式或者情节等有关。
例如,以护肤及个人护理领域为例,在现有技术的商品类目体系结构下,如图1-1所示,该领域可以包括彩妆、护肤、美容美体等三个二级类目;其中,彩妆类目下又包括粉底、口红、眼影眼线、修容、眉粉、隔离等多个三级类目;护肤类目下又包括面膜、精华、乳液面霜、防晒、洁面、护肤套装等多个三级类目,等等。如果直接利用上述商品类目体系结构,来构建图文或视频的类目体系,则如图1-2所示,对于该领域的图文或视频,还会包括具体的教程、好物推荐等具体的情节信息,因此,可以组合出非常多的类目。例如,粉底好物推荐、粉底好物测评、粉底真假辨别技巧、口红好物推荐、口红好物测评、口红真假辨别技巧,等等。
但是,在本申请实施例中,如图1-3所示,可以将护肤及个人护理领域划分为三个维度,分别为部位(可以包括面部、眼部、唇部等8个类目组成元素),功效(可以包括清洁、防晒、美白、祛痘等10个类目组成元素),情节(可以包括护理教程、护肤品DIY、真假辨别技巧、好物推荐、好物测评、其他等6个类目组成元素)。三个维度下的类目组成元素数量之和是24;但是,将这些类目组成元素进行叉乘组合,可以得到400个左右的类目。其中,部位以及功效维度,主要是根据相关商品对象的情况进行划分的,通过这两个维度上的类目组成元素,可以组合出多个商品对象类目,例如,面部清洁,面部美白,等等。再与具体的情节维度下的各个类目组成元素进行组合,则可以得到具体图片/视频的类目,例如,面部清洁教程、面部美白护肤品DIY,等等。
对于每个识别的目标而言,要学好一个模型至少需要200个样本,如果是按直接在现有的商品对象类目体系基础上构建图文/视频类目体系结构,则由于该类目体系结构下包括的叶子类目数量众多,因此,对样本进行标注,就至少需要非常多的样本。例如,在上述护肤及个人护理领域,由于叶子类目有400个左右,因此,需要8万量级的样本。并且,很多叶子类目很相近,人工标注很困难。而在本申请实施例的网状结构中,由于一共只有24个类目组成元素,每个样本都可以在多个维度上标注为其中一个类目组成元素,因此,要想完成在这24个类目组成元素上的训练,需要的样本量就是以千为单位的量级即可。比如只需要准备五千个样本,就可以使得每个类目组成元素分到几百个样本,从而获得理想的训练效果。
从系统架构角度而言,如图2所示,本申请实施例中可以预先构建出网状结构的类目体系结构,另外,还可以为标注人员提供样本标注工具,例如,用于对样本进行标注的工作台产品等。标注人员可以选择具体的样本进行标注,在标注过程中,该工作台可以提供用于从多个维度上进行标注的操作选项,使得标注人员可以从多个维度上对样本进行标注。完成标注后,可以利用标注样本进行模型训练。训练完成之后,便可以利用具体的模型对数据对象进行预测(预测的时机可以有多种,例如,可以在用户对数据对象进行发布时进行预测,或者,对已发布的数据对象进行预测,等等),具体的,模型可以输出同一数据对象在多个维度上的预测结果,之后,通过对多个维度上的预测结果进行组合,获得数据对象所属的类目信息。该信息可以提供给运营人员进行信息的投放,或者,也可以提供给自动推荐算法,以用于向具体的用户进行信息流或者内容的推荐,等等。
下面对本申请实施例提供的具体实现方案进行详细介绍。
实施例一
首先,该实施例一从提供给标注人员使用的标注工具(工作台等形式)的角度,提供了一种分类模型训练方法,参见图3,该方法可以包括:
S301:获取目标应用系统中数据对象的类目体系结构,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义。
其中,目标应用系统可以包括商品对象信息系统,或者,还可以包括一些专注于短视频服务的应用系统,等等。数据对象可以包括商品对象,或者,还可以包括PGC或UGC形式的专业生产内容或用户生产内容,等等。
具体实现时,如果涉及到的类目数量非常多,则在构建所述类目体系结构时,还可以首先将所述多个类目分划分多个不同的领域,然后再将同一领域下的多个类目拆分为多个维度,以使得所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。具体在进行领域划分时,由于具体图文/视频通常是与商品对象相关,因此,可以按照商品对象所属的领域,对图文/视频进行领域的划分。例如,可以包括女装、男装、护肤及个人护理等领域。这样,可以分别在各个领域下进行维度的划分,在每个维度下定义出多个不同的类目组成元素。这样,通过将同一领域中多个维度下的多个类目组成元素进行叉乘组合,可得到该领域中的多个类目,并且,同一领域中多个维度下的类目组成元素数量之和,小于该领域中的类目数量。
例如,如前文例子所述,在护肤及个人护理领域,如果按照原来的商品类目体系进行图文/视频类目体系的构建,则可能会涉及到400多个叶子类目。而按照本申请实施例中的方式进行构建网状类目体系之后,可以在该领域下构建三个树形结构的子类目体系,分别对应部位(可以包括8个类目组成元素),功效(可以包括10个类目组成元素),情节(可以包括6个类目组成元素),三个维度下的类目组成元素数量之和为24。通过将这些类目组成元素进行叉乘组合,也能得到400多个类目,但是在对算法模型进行训练时,只需要算法模型能够识别出24个类目组成元素即可,因此,训练难度降低,对样本数量的要求也大幅降低。
其中,在具体实现时,关于具体的维度划分方式以及各维度下的类目组成元素,可以与具体的领域相关,在不同的领域下,划分出的维度可以不同。例如,主要可以包括内容、情节、展示方式等维度。
在内容维度,如果具体的内容是商品对象,则还可以将内容维度划分为更细分的维度。例如,在前述护肤及个人护理领域,可以将内容维度拆分为部位、功效等两个不同的维度。在情节维度,具体的类目组成元素可以包括护理教程、护肤品DIY、真假辨别技巧、好物推荐、好物测评等。如果是服装领域,则可以将内容维度拆分为对象(面向的人群等)、穿着部位、款式等维度,等等。而在情节或者展示方式维度,则可以包括搭配技巧、细节讲解等等。
为了对具体内容维度进行更细维度的拆分,还可以预先构建网状结构的商品对象类目体系结构,也即,可以将现有的树状结构的商品对象类目体系,改为按照本申请实施例所述的方式构建的网状结构。具体网状结构的商品对象类目体系结构中也可以包括多个树形结构,用于对同一维度下的多个类目组成元素进行定义。这样,如果所述图文/视频在内容维度上与商品对象相关,则在构建所述图文/视频的类目体系结构时,就可以根据网状结构的商品对象类目体系结构,将内容维度拆分为多个维度。
S302:接收到用户的样本标注请求后,根据所述多个不同维度分别对应的所述树形结构,提供标注操作选项,以用于分别在所述该目标领域的多个不同维度下进行类目组成元素的选择及标注。
在构建了网状体系结构的类目关系结构后,可以基于该类目体系结构对训练样本进行标注,具体的,在本申请实施例中,可以为标注人员提供工作台,标注人员可以在该工作台中对具体的样本进行标注。具体的,可以通过该工作台上传样本,并分别对各个样本进行标注。例如,具体实现时,在选中某个样本后,可以提供分别在多个维度上进行类目组成元素选择的操作选项,以用于分别在各个维度上进行标注。当然,在存在多个领域的情况下,还可以首先提供可选的领域,在选中某个领域后,再继续提供在该领域下在多个维度上进行标注的操作选项,等等。
需要说明的是,由于在本申请实施例中,具体进行分类的对象通常可以是图文或者视频,因此,具体的样本也可以是图文或者视频。为了方便标注人员了解样本图文或者视频的内容等信息,还可以在标注工作台中提供用于对图文进行预览或者对视频进行播放的功能,使得标注人员可以在了解了具体图文或者视频的内容后,再进行领域、多个维度上的类目组成元素的选择。例如,在对某个视频进行标注时,首先选择该视频所属的领域,然后,提供分别在内容、情节、展示方式等维度上进行标注的操作选项。其中,在内容维度上,如果具体的内容是与商品对象有关,则在内容维度上选择“商品”之后,可以根据网状结构的商品对象类目体系结构,提供该领域下具体商品对象对应的维度,并继续提供多个维度下可选的商品对象类目组成元素信息,以通过对商品对象类目组成元素的选择,组合成具体商品对象所属的类目。在完成对情节、展示方式等维度上的类目组成元素的选择后,可以完成对具体样本的标注,等等。
总之,通过本申请实施例中构建的网状结构的类目体系结构对样本进行标注时,针对同一样本,可以得到多个维度上的标注结果,每个维度上可以对应一个类目组成元素。例如,某样本的标注结果可以包括:部位:面部,功效:防晒,情节:好物推荐,等等。
S303:利用关联有多个不同维度下的类目组成元素标注结果的样本进行分类模型的训练。
在完成具体对样本的标注之后,便可以利用带有标注结果的样本对分类模型进行训练。其中,具体对分类模型进行训练时,只需要分类模型识别出各个类目组成元素即可。
总之,在本申请实施例中,可以按照现有技术中的树形结构构建出的类目体系中的叶子类目,拆分成多个维度,每个维度下包括多个类目组成元素,这样,具体的数据对象类目是可以由多个维度下的类目组成元素进行叉乘组合得到,因此,类目组成元素的数量远少于原有树形结构中叶子类目的数量。而对分类模型进行训练,只需要识别出各种类目组成元素即可,而不需要识别出各个具体的叶子类目,因此,相对于直接利用现有的树形结构的类目体系对样本进行标注以及对模型进行训练的方式而言,所需的样本数量减少,在相同样本数量的情况下,可以使得各个类目组成元素分得的样本数量更多,进而可以获得更好的训练结果。
实施例二
上述实施例一对本申请实施例中构建网状结构的类目体系,以及利用该类目体系对样本进行标注以及对模型进行训练的过程进行了介绍,在完成对模型的训练之后,可以利用该模型对具体的数据对象进行预测。在本申请实施例中,可以利用具体训练出的模型,在多个维度上分别对数据对象进行预测,预测出数据对象在各个维度上分别属于各个分类组成元素的概率等,进而,可以根据多个维度上的预测结果,组合成具体的类目信息。
具体的,参见图4,该实施例二提供了一种数据预测方法,该方法可以包括:
S401:获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
S402:利用所述分类模型对目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象在匹配的类目组成元素;
S403:通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目。
也就是说,算法模型输出的结果中,可以包括多个维度上的预测结果,之后,可以通过对多个维度上的预测结果进行组合,得到数据对象所属的类目。例如,对某数据对象的预测结果包括:在部位维度上,90%为面部,在功效维度,80%为清洁,在清洁维度,90%为好物推荐,
实施例三
该实施例三还提供了一种内容理解方法,参见图5,该方法可以包括:
S501:获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
S502:确定待进行内容理解的目标数据对象;
其中,待进行内容理解的目标数据对象可以有多种方式进行确定,例如,可以是在发布者对数据对象进行发布时,将该发布的数据对象作为目标数据对象。或者,也可以对系统中已发布的数据对象进行内容理解,以便根据内容理解结果,对数据对象进行分发、投放或者推荐,等等。
S503:利用所述分类模型对所述目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象在匹配的类目组成元素;
S504:通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目,以用于作为对所述目标商品对象的内容理解结果。
实施例四
该实施例四从类目体系结构在信息推荐场景中的应用的角度,提供了一种图文/视频推荐方法,参见图6,该方法可以包括:
S601:获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
S602:确定待推荐的目标图文/视频;
S603:利用所述分类模型对所述目标图文/视频进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标图文/视频匹配的类目组成元素;
S604:通过将所述多个不同维度上的预测结果进行组合,确定所述目标图文/视频所属的类目;
S605:根据所述目标图文/视频所属的类目确定目标用户群体,以便将所述目标图文/视频向所述目标用户群体进行推荐。
其中,所述多个不同维度包括:内容、情节和/或展示方式;
所述目标图文/视频包括在内容维度上与商品对象相关的图文/视频;
此时,具体在构建类目体系结构时,可以首先确定与商品对象相关的多个不同领域;然后,分别在不同的领域中确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
关于上述实施例二至四中的未详述部分,可以参见实施例一中的记载,这里不再赘述。
需要说明的是,本申请实施例中可能会涉及到对用户数据的使用,在实际应用中,可以在符合所在国的适用法律法规要求的情况下(例如,用户明确同意,对用户切实通知,等),在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
与实施例一相对应,本申请实施例还提供了一种分类模型训练装置,参见图7,该装置可以包括:
类目体系结构获取单元701,用于获取目标应用系统中数据对象的类目体系结构,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
标注操作选项提供单元702,用于接收到用户的样本标注请求后,根据所述多个不同维度分别对应的所述树形结构,提供标注操作选项,以用于分别在多个不同维度下进行类目组成元素的选择及标注;
模型训练单元703,用于利用关联有多个不同维度下的类目组成元素标注结果的样本进行分类模型的训练。
其中,所述数据对象包括图文/视频;所述多个维度包括:内容,情节和/或展示方式。
其中,所述图文/视频包括在内容维度上与商品对象相关的图文/视频;在构建所述类目体系结构时,可以首先按照商品对象对应的多个不同领域,将图文/视频类目分划分多个不同的领域,并将同一领域下的多个图文/视频类目拆分为多个维度,以使得所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
具体的,通过将同一领域中多个维度下的多个类目组成元素进行叉乘组合,可得到该领域中的多个图文/视频类目;同一领域中多个维度下的类目组成元素数量之和,小于该领域中的图文/视频类目数量。
其中,如果所述图文/视频在内容维度上与商品对象相关,则在构建所述图文/视频的类目体系结构时,根据网状结构的商品对象类目体系结构,将内容维度拆分为多个维度,所述网状结构的商品对象类目体系结构中包括多个树形结构,用于对同一维度下的多个类目组成元素进行定义。
所述图文/视频包括专业生产内容PGC,或者用户生成内容UGC。
与实施例二相对应,本申请实施例还提供了一种数据预测装置,参见图8,该装置可以包括:
分类模型获取单元801,用于获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同的维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
预测单元802,用于利用所述分类模型对目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象在匹配的类目组成元素;
预测结果组合单元803,用于通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目。
与实施例三相对应,本申请实施例还提供了一种内容理解装置,参见图9,该装置可以包括:
分类模型获取单元901,用于获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
目标数据对象确定单元902,用于确定待进行内容理解的目标数据对象;
预测单元903,用于利用所述分类模型对所述目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象在匹配的类目组成元素;
预测结果组合单元904,用于通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目,以用于作为对所述目标商品对象的内容理解结果。
与实施例四相对应,本申请实施例还提供了一种图文/视频推荐装置,参见图10,该装置可以包括:
分类模型获取单元1001,用于获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;
目标图文/视频确定单元1002,用于确定待推荐的目标图文/视频;
预测单元1003,用于利用所述分类模型对所述目标图文/视频进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标图文/视频匹配的类目组成元素;
预测结果组合单元1004,用于通过将所述多个不同维维度上的预测结果进行组合,确定所述目标图文/视频所属的类目;
推荐单元1005,用于根据所述目标图文/视频所属的类目确定目标用户群体,以便将所述目标图文/视频向所述目标用户群体进行推荐。
其中,所述多个不同维度包括:内容、情节和/或展示方式;
所述目标图文/视频包括在内容维度上与商品对象相关的图文/视频;
此时,具体在构建类目体系结构时,可以首先确定与商品对象相关的多个不同领域;然后,分别在不同的领域中确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
另外,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
以及一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行前述方法实施例中任一项所述的方法的步骤。
其中,图11示例性的展示出了电子设备的架构,具体可以包括处理器1110,视频显示适配器1111,磁盘驱动器1112,输入/输出接口1113,网络接口1114,以及存储器1120。上述处理器1110、视频显示适配器1111、磁盘驱动器1112、输入/输出接口1113、网络接口1114,与存储器1120之间可以通过通信总线1130进行通信连接。
其中,处理器1110可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器1120可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1120可以存储用于控制电子设备1100运行的操作系统1121,用于控制电子设备1100的低级别操作的基本输入输出系统(BIOS)。另外,还可以存储网页浏览器1123,数据存储管理系统1124,以及数据处理系统1125等等。上述数据处理系统1125就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器1120中,并由处理器1110来调用执行。
输入/输出接口1113用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1114用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1130包括一通路,在设备的各个组件(例如处理器1110、视频显示适配器1111、磁盘驱动器1112、输入/输出接口1113、网络接口1114,与存储器1120)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1110、视频显示适配器1111、磁盘驱动器1112、输入/输出接口1113、网络接口1114,存储器1120,总线1130等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的模型训练、预测及内容理解方法及电子设备,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种分类模型训练方法,其特征在于,包括:
获取目标应用系统中数据对象的类目体系结构,所述数据对象包括图文/视频,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;通过将多个维度下的多个类目组成元素进行叉乘组合,得到多个数据对象类目;
接收到用户的样本标注请求后,根据所述多个不同维度分别对应的所述树形结构,提供标注操作选项,以用于分别在多个不同维度下进行类目组成元素的选择及标注;
利用关联有多个不同维度下的类目组成元素标注结果的样本进行分类模型的训练。
2.根据权利要求1所述的方法,其特征在于,
所述多个不同维度包括:内容、情节和/或展示方式。
3.根据权利要求2所述的方法,其特征在于,
所述图文/视频包括在内容维度上与商品对象相关的图文/视频;
所述构建类目体系结构,包括:
确定与商品对象相关的多个不同领域;
分别在不同的领域中确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
4.根据权利要求3所述的方法,其特征在于,
通过将同一领域中多个不同维度下的多个类目组成元素进行叉乘组合,获得对应领域中的多个图文/视频类目;
同一领域中多个不同维度下的类目组成元素数量之和,小于该领域中的图文/视频类目数量。
5.根据权利要求3所述的方法,其特征在于,
如果所述图文/视频在内容维度上与商品对象相关,则所述构建类目体系结构,包括:
根据网状结构的商品对象类目体系结构,将内容维度拆分为多个维度,所述网状结构的商品对象类目体系结构中包括多个树形结构,用于对同一维度下的多个类目组成元素进行定义。
6.根据权利要求2所述的方法,其特征在于,
所述图文/视频包括专业生产内容PGC,或者用户生成内容UGC。
7.一种数据对象预测方法,其特征在于,包括:
获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;通过将多个维度下的多个类目组成元素进行叉乘组合,得到多个数据对象类目;
利用所述分类模型对目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象匹配的类目组成元素;所述数据对象包括图文/视频;
通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目。
8.一种内容理解方法,其特征在于,包括:
获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建所述类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;通过将多个维度下的多个类目组成元素进行叉乘组合,得到多个数据对象类目;
确定待进行内容理解的目标数据对象;所述目标数据对象包括图文/视频;
利用所述分类模型对所述目标数据对象进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标数据对象匹配的类目组成元素;
通过将所述多个不同维度上的预测结果进行组合,确定所述目标数据对象所属的类目,以用于作为对所述目标数据对象的内容理解结果。
9.一种图文/视频推荐方法,其特征在于,包括:
获取分类模型,所述分类模型是根据类目体系结构进行样本标注后进行训练生成的,所述类目体系结构为网状结构,所述网状结构中包括多个树形结构;其中,在构建类目体系结构时,确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一维度下的多个类目组成元素进行定义;通过将多个维度下的多个类目组成元素进行叉乘组合,得到多个数据对象类目;
确定待推荐的目标图文/视频;
利用所述分类模型对所述目标图文/视频进行预测,获得多个不同维度上的预测结果,所述预测结果包括所述多个不同维度上分别与所述目标图文/视频匹配的类目组成元素;
通过将所述多个不同维度上的预测结果进行组合,确定所述目标图文/视频所属的类目;
根据所述目标图文/视频所属的类目确定目标用户群体,以便将所述目标图文/视频向所述目标用户群体进行推荐。
10.根据权利要求9所述的方法,其特征在于,
所述多个不同维度包括:内容、情节和/或展示方式;
所述目标图文/视频包括在内容维度上与商品对象相关的图文/视频;
所述构建类目体系结构,包括:
确定与商品对象相关的多个不同领域;
分别在不同的领域中确定多个不同维度,每个维度下包括多个类目组成元素,所述树形结构用于对同一领域中同一维度下的多个类目组成元素进行定义。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至10任一项所述方法的步骤。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行权利要求1至10任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110887046.XA CN113780339B (zh) | 2021-08-03 | 2021-08-03 | 模型训练、预测及内容理解方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110887046.XA CN113780339B (zh) | 2021-08-03 | 2021-08-03 | 模型训练、预测及内容理解方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113780339A CN113780339A (zh) | 2021-12-10 |
CN113780339B true CN113780339B (zh) | 2024-03-29 |
Family
ID=78836671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110887046.XA Active CN113780339B (zh) | 2021-08-03 | 2021-08-03 | 模型训练、预测及内容理解方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780339B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446011A (zh) * | 2016-08-24 | 2017-02-22 | 东软集团股份有限公司 | 数据处理的方法及装置 |
CN107301221A (zh) * | 2017-06-16 | 2017-10-27 | 华南理工大学 | 一种多特征维度堆融合的数据挖掘方法 |
CN108959236A (zh) * | 2017-05-19 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 医学文献分类模型训练方法、医学文献分类方法及其装置 |
CN111353528A (zh) * | 2020-02-21 | 2020-06-30 | 广东工业大学 | 一种基于下料利用率预测的组批与排样迭代优化方法 |
CN112801720A (zh) * | 2021-04-12 | 2021-05-14 | 连连(杭州)信息技术有限公司 | 一种店铺类目识别模型生成、店铺类目识别的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309144A (zh) * | 2018-03-22 | 2019-10-08 | 北京新媒传信科技有限公司 | 一种运用redis构建树形数据结构的方法及装置 |
CN110309840B (zh) * | 2018-03-27 | 2023-08-11 | 创新先进技术有限公司 | 风险交易识别方法、装置、服务器及存储介质 |
-
2021
- 2021-08-03 CN CN202110887046.XA patent/CN113780339B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446011A (zh) * | 2016-08-24 | 2017-02-22 | 东软集团股份有限公司 | 数据处理的方法及装置 |
CN108959236A (zh) * | 2017-05-19 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 医学文献分类模型训练方法、医学文献分类方法及其装置 |
CN107301221A (zh) * | 2017-06-16 | 2017-10-27 | 华南理工大学 | 一种多特征维度堆融合的数据挖掘方法 |
CN111353528A (zh) * | 2020-02-21 | 2020-06-30 | 广东工业大学 | 一种基于下料利用率预测的组批与排样迭代优化方法 |
CN112801720A (zh) * | 2021-04-12 | 2021-05-14 | 连连(杭州)信息技术有限公司 | 一种店铺类目识别模型生成、店铺类目识别的方法及装置 |
Non-Patent Citations (1)
Title |
---|
典型软件的故障仿真和预测方法;葛志;常青;江山;柯文俊;杜泽峰;;计算机应用研究(第S1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113780339A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Woodward | Object interviews, material imaginings and ‘unsettling’methods: Interdisciplinary approaches to understanding materials and material culture | |
CN104471564B (zh) | 在将数据变换成可消费内容时创建变型 | |
US10019779B2 (en) | Browsing interface for item counterparts having different scales and lengths | |
Miell et al. | Enabling the digital fashion consumer through fit and sizing technology | |
Kim et al. | An exploratory study of users’ evaluations of the accuracy and fidelity of a three-dimensional garment simulation | |
CN104350493B (zh) | 将数据变换成可消费的内容 | |
Stangl et al. | Browsewithme: An online clothes shopping assistant for people with visual impairments | |
CN108352174A (zh) | 使用语义信息的视频概括 | |
CN109582876A (zh) | 旅游行业用户画像构造方法、装置和计算机设备 | |
US10026176B2 (en) | Browsing interface for item counterparts having different scales and lengths | |
JP2023531264A (ja) | 改善された顔属性分類およびその使用のためのシステム及び方法 | |
Han et al. | Color trend analysis using machine learning with fashion collection images | |
CN106503059A (zh) | 展示页面推送方法及装置 | |
US20210160018A1 (en) | Automated customization with compatible objects | |
Keisler et al. | Environment models and decisions | |
Yi et al. | The influence of visitor-based social contextual information on visitors’ museum experience | |
Guan et al. | When images backfire: The effect of customer-generated images on product rating dynamics | |
Styliaras et al. | The MuseLearn platform: Personalized content for museum visitors assisted by vision-based recognition and 3D pose estimation of exhibits | |
CN113780339B (zh) | 模型训练、预测及内容理解方法及电子设备 | |
Brockmann et al. | A framework for collaborative augmented reality applications | |
Hidayat et al. | The Augmented and Virtual Reality of Tourism and Creative Industry: Communicating Indonesia's New Way to the Digital Economy | |
Madsen et al. | The application of big data in fashion retailing: a narrative review | |
Ou et al. | Calibration-free and deep-learning-based customer gaze direction detection technology based on the YOLOv3-tiny model for smart advertising displays | |
Ayush | Context aware recommendations embedded in augmented viewpoint to retarget consumers in v-commerce | |
JP2022037575A (ja) | 画像評価予測装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |