CN112434218A - 一种用于内容推荐的基于大数据的深度学习样本标注方法 - Google Patents

一种用于内容推荐的基于大数据的深度学习样本标注方法 Download PDF

Info

Publication number
CN112434218A
CN112434218A CN202011323996.1A CN202011323996A CN112434218A CN 112434218 A CN112434218 A CN 112434218A CN 202011323996 A CN202011323996 A CN 202011323996A CN 112434218 A CN112434218 A CN 112434218A
Authority
CN
China
Prior art keywords
sample
objects
user
preference
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011323996.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhihong Technology Co ltd
Original Assignee
Guangzhou Zhihong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhihong Technology Co ltd filed Critical Guangzhou Zhihong Technology Co ltd
Priority to CN202011323996.1A priority Critical patent/CN112434218A/zh
Publication of CN112434218A publication Critical patent/CN112434218A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种用于内容推荐的基于大数据的深度学习样本标注方法，该方法包括：接收与样本库中的第一组样本对象相关的用户标注输入；训练包含权值向量的偏好预测模型，所述权值向量包含与样本库相关联的多个特征中的每个特征的加权值，该样本库包括向用户呈现的第一组样本对象，利用所接收的用户标注输入来训练每个特征的加权值；选择要提供至用户的第二组样本对象，所述第二组样本对象相对于样本库中其他未被标识的样本对象，提供从用户标注输入获取的更多的先验知识；以及根据训练后的偏好预测模型，推送预设数量的偏好对象以提供至用户。本发明是基于用户的固有交互操作来挖掘用户兴趣偏好信息，提高样本标注效率和深度学习效果，从而便于更好地实现精准内容推荐。

Description

一种用于内容推荐的基于大数据的深度学习样本标注方法
技术领域
本发明涉及机器学习，特别涉及一种用于内容推荐的基于大数据的深度学习样本标注方法。
背景技术
在信息过载的时代，基于个性的推荐显得愈发重要。传统技术基于对用户显式反馈数据的分析，例如在线教育平台请求用户对课程和教师等对象进行评分，而实际上显式反馈数据量和应用场景相对有限，无论是评分量表和问卷，都需要占用用户大量时间，导致体验不佳。现实中，大量的用户兴趣信息往往隐藏在用户的正常交互操作中。在进行用户偏好的挖掘时，如果标签信息不确定，则首先需要人为标注或者事先确定，进而通过完整的数据集训练机器学习模型，再去预测用户偏好的对象信息。而手工标注的方式消耗了大量的人力资源，并且存在人为的偏差，导致标注信息确定效率低、效果差；从而无法实现对用户的精准推荐。而对于不平衡率较高的样本，即存在少数类和多数类的被标注样本，样本的分类很容易向多数类偏移。
发明内容
为解决上述现有技术所存在的问题，本发明提出了一种用于内容推荐的基于大数据的深度学习样本标注方法，包括：
接收与样本库中的第一组样本对象相关的用户标注输入，所述用户标注输入表征相对于第一组样本对象中其他样本对象，用户对所标注样本对象的偏好；
训练包含权值向量的偏好预测模型，所述权值向量包含与样本库相关联的多个特征中的每个特征的加权值，该样本库包括向用户呈现的第一组样本对象，利用所接收的用户标注输入来训练每个特征的加权值；
选择要提供至用户的第二组样本对象，所述第二组样本对象相对于样本库中其他未被标识的样本对象，提供从用户标注输入获取的更多的先验知识；以及
根据训练后的偏好预测模型，推送预设数量的偏好对象以提供至用户。
优选地，所述选择要提供至用户的第二组样本对象，进一步包括：
利用为样本库中样本子集的每个样本对象确定的偏好分值来确定样本对象的先验知识获取度量，所述偏好分值是利用训练的偏好预测模型与样本对象的多个特征共同确定。
优选地，所述确定样本对象的先验知识获取度量进一步包括：
为样本库中样本子集的每个样本对象，确定样本对象的特异性度量，所述特异性度量包含有关用户对样本对象的偏好的可信度；
确定样本对象的典型性度量，上述典型性度量包含样本对象与所述样本库中其他样本的特征相似度；以及
利用所述样本对象的已确定的特异性度量和典型性度量，确定对象的先验知识获取度量。
优选地，所述确定对象的特异性度量进一步包括：
利用用户的偏好预测模型来确定对象的偏好分值，所述偏好预测模型利用与所述第一组对象有关的用户标注输入所训练；以及
利用对象的偏好分值来确定对象的特异性度量。
优选地，所述利用样本对象的偏好分值来确定特异性度量，进一步包括：
根据以下方法确定对象fs的特异性度量SPL：
SPL(fs)＝-SP(fs)lgSP(fs)-(1-SP(fs))lg(1-SP(fs))
其中SP(fs)为利用用户的偏好预测模型所确定的对象的偏好分值。
优选地，所述确定样本对象的典型性度量，进一步包括：
利用样本对象的相似度分值来确定对象的典型性度量。
优选地，所述利用偏好分值来确定对象的典型性度量，进一步包括：
确定对象fs的典型性度量TPL(fs)，如下式：
Figure BDA0002793752500000031
其中|Gi|为样本fs的邻接样本库Gi中对象数量的计数，DS为距离函数，其确定fs与该邻接样本库中的邻接对象fr间的相似度分值。
优选地，该方法进一步包括：
基于每个样本的先验知识获取度量排序样本子集，该第二组对象包含数量为N的样本对象，相对于其他已排序的对象，所述N个样本对象具有更高的先验知识获取度量。
优选地，该方法进一步包括：
获取多个样本库中对象的已标注实例，每个已标注实例具有目标结果，其中获取已标注实例的步骤包括：
获取该待标注集合中被人工标注为异常标注对象集合的多个样本，并获取该待标注集合中被人工标注为正常标注对象集合的多个样本；
对表示该待标注集合的有向图执行随机遍历，以获取关联于该有向图中节点的固定概率，所述节点表示集合中的被标注样本对象；
构建分类模型，所述模型根据节点的固定概率、根据分配给所述有向图中其它节点的分类结果并根据目标结果，来对上述有向图中每个的节点中计算的分类结果；
根据所述分类模型所分配给节点的分类结果，将所述有向图中节点标注为属于多个样本库之一；
其中执行随机遍历的步骤包括：获取随机遍历定义，所述随机遍历定义界定所述有向图中节点的随机遍历；所述随机遍历定义指出关联所述有向图的转移概率；在执行所述随机遍历之前，将该有向图分解成强连通图分量。
本发明相比现有技术，具有以下优点：
本发明提出了一种用于内容推荐的基于大数据的深度学习样本标注方法，基于用户的固有交互操作来挖掘用户兴趣偏好信息，提高样本标注效率和深度学习效果，从而便于更好地实现精准内容推荐。
附图说明
图1是根据本发明实施例的一种用于内容推荐的基于大数据的深度学习样本标注方法的流程图。
具体实施方式
下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
本发明的一方面提供了一种用于内容推荐的基于大数据的深度学习样本标注方法。图1是根据本发明实施例的一种用于内容推荐的基于大数据的深度学习样本标注方法流程图。
本发明使用相对标注来标识对象偏好预测模型，该模型基于多个对象中每个对象的特征和学习得到的每个特征相关的加权值，为每个对象产生偏好分值。优选地，在用户交互界面中向用户呈现包含多个对象的待标注集合。由用户标注集合中所感兴趣的对象。接收用户的输入可视为向用户呈现的集合中的对象的标注，其中所选择的样本对象可标注为相比于集合中其他对象而言更偏好的对象。
优选地，以在线教育平台下为例，所述对象可包括教育机构对象、课程对象、教师对象或可产生偏好的其他任何可标注样本。
在用户提供标注输入时，利用已接收的标注输入产生排序策略。排序策略包含每个样本对象特征的加权值，且基于用户的标注输入进行深度学习的训练。可从样本库选择向用户呈现的待标注集合。优选地，可对样本库中每个样本对象，相对于样本库中的其他对象而指定一个先验知识分值。基于样本对象相对于其他对象的先验知识分值，将样本对象加入样本待标注集合。优选地，样本对象也可基于其是否已被标注过即已包含在向用户呈现的先前待标注集合中而选择。
利用用户提供的标注输入所标识的排序策略，可用来排序未标注样本。优选地，排序策略可利用所训练的对象特征的加权值来产生偏好分值。为排列样本对象顺序或标注相对于其他对象用户更偏好的对象，本发明可将样本对象的偏好分值与其他对象的偏好分值进行比较，从而为样本库确定排序策略。用户的偏好对象标注可适用于各种应用场景，包含对用户进行内容推荐和广告等。
在模型构建阶段，首先选择N个样本对象以进行标注。优选地，向用户呈现N个样本对象并要求用户标注在待标注集合中相对于其他对象而言更偏好的一个样本。来自用户的输入可用于产生训练组，每个训练组都包含一组样本对象。由用户标注输入产生的训练组用于为用户学习偏好预测模型，以产生对象偏好分值。
若确定已接收对象选择标注，则利用用户的标注输入为用户确定或学习偏好预测模型。若所接收的对象选择标注为收到的首个输入类型，可利用该单个对象选择标注确定偏好预测模型。若已从用户接收多个对象选择标注，可利用到目前为止所接收的对象选择标注来确定用户的偏好预测模型。
然后，选择具有N个对象的新集合以进行下一轮选择式标注。响应用户最后一个对象选择标注以及任何先前的对象选择标注，为用户确定的偏好预测模型。
基于对象是否具有一定特征，为特定特征和对象赋予0或1的数值，例如，数值1表示样本对象具有特定特征，而数值0表示缺少该特征。将对象的特征数值进行串联可形成特征向量。优选地，偏好预测模型包括每个对象特征的加权值，属于某个特征的加权值可表征该特征对用户的重要性，该加权值基于用户的标注输入而训练。
在选择式标注过程中，例如第一待标注集合可被随机选择，而对于接下来每一轮选择式标注而言，每个样本对象可基于被确定的将对象加入集合所能获取的先验知识的度量进行选择。
优选地，所获取的先验知识可以是为每个对象所确定的数值，或尚未包括于多次选择式标注中的每个对象所确定的数值。优选地，每个待标注集合所选择的N个对象可从样本库选择。该样本库中每个样本都可预先设定一个先验知识分值，该先验知识分值可与为样本库中其他对象确定的分值进行比较。因此，相对于与未被选择的对象相关联的先验知识分值，包含在要向用户呈现的待标注集合中的N个对象具有最高的先验知识分值。样本对象的先验知识分值可表示样本在包含于待标注集合的情况下，能够获取的先验知识的程度。优选地，也可基于样本对象是否已被标注，例如样本已包含在先前待标注集合中来进行对象选择。
利用用户提供的标注输入所训练得到的偏好预测模型可用于排序未标注样本。优选地，偏好预测模型可基于任何样本的特征与该模型的权值向量，来为该对象产生偏好分值，该权值向量包含样本的特征中每个特征的对应加权值。对象的偏好分值可与其他对象的偏好分值比较。
优选地，本发明的偏好学习引擎通过训练特定用户的已知个人偏好，利用该已知偏好推测用户的未知偏好。优选地，响应于提供至用户的具有N个对象的集合，利用用户的标注输入提供用户的已知偏好。偏好学习引擎利用用户的标注输入产生偏好预测模型。
优选地，偏好预测分值计算方法可表示为：
Figure BDA0002793752500000071
其中，Π(fi)为利用样本对象的特征，将样本投影至特征空间的函数，样本的特征可由特征向量fi表示，而
Figure BDA0002793752500000072
为权值向量，该权值向量包含特征向量fi中每个特征的对应加权值。优选地，样本对象fs的偏好分值SP(fs)利用为用户所学习的偏好预测模型所产生。优选地，偏好分值为偏好预测模型的权值向量与对象的特征向量fi的乘积。对象的偏好分值可利用规格化因子如
Figure BDA0002793752500000073
进行规格化。
本发明的具体实施例利用来自用户的标注输入来确定对象顺序，该对象顺序使得与用户的实际偏好顺序有关的协同样本对的数量最大化，因此所得到的特征权值向量可代表用户的实际偏好特征加权值。
优选地，可为用户确定权值向量，使样本库中的对象都可根据用户的偏好排出顺序。训练得到的权值向量是将协同配对的数量最大化，或是将斯皮尔曼相关系数最大化的权值向量。由于偏好预测模型所确定的对象顺序与用户的偏好对象顺序之间的差异最小化，可达到预期的斯皮尔曼相关系数。优选地，可使用支持向量机学习方法来确定偏好预测模型。优选地，上述最大化求解可表示为：
Figure BDA0002793752500000081
其中，
Figure BDA0002793752500000082
为权值向量，ωi，j，k＞0，为任意的i，j，k的相关性表征变量，C为常量参数；
对于任意两个样本对象ci与cj和任一对象排序结果r1至rn，满足：
Figure BDA0002793752500000083
加权值包含样本对象的特征向量f中每个特征的对应加权值，而ω提供了边界尺寸与训练误差之间的权衡，其中边界尺寸可为相对于目标排序的最接近两个投影之间的距离。上述公式可视为将成对差异向量Π(fi)-Π(fj)进行分类的问题。该优化问题可利用支持向量机方法进行求解。
优选地，在利用所接收的用户全部标注输入确定用户的偏好预测模型之后，可选择要向用户呈现的具有N个对象的下一个待标注集合，以从用户获取进一步的标注输入。
在完成上一轮标注和计算之后，为下一轮迭代地选择具有N个样本对象的集合。优选地，可基于针对要选择的每个对象所确定的特异性度量和典型性度量来选择N个对象。对于已标注与未标注的对象，均可确定特异性度量和典型性度量。特异性度量表示与某个样本对象相关的不确定性程度，即针对样本对象从用户接收标注输入时，未标注样本能够为偏好训练过程提供多少信息的估计值。若用户对于对象偏好的特异性高或缺乏可信度，则将对象包含于协同标注的待标注集合中。可利用样本对象fs的偏好预测模型来确定对象的特异性度量SPL，利用已标注样本的输入来学习偏好预测模型，如下所示：
SPL(fs)＝-SP(fs)lgSP(fs)-(1-SP(fs))lg(1-SP(fs))
其中SP(fs)是对象fs的上述偏好预测分值。
样本对象的典型性度量表示样本在特征空间的位置的概率密度。假设分析两个未标注样本以确定该两个样本对象中的哪一个应包含在N个对象的集合中，而第一对象位于特征空间的稠密区域，第二对象位于特征空间的较稀疏区域，则将第一对象包含于由用户标注的N个对象中比第二对象提供偏好学习引擎更多的信息量。在该实例中，相比于第二对象相关的用户标注输入，与第一对象有关的用户标注输入更能表示用户的偏好。可利用对象在特征空间的位置的概率密度确定对象的代表性。优选地，基于概率密度的对象的典型性度量可定义为未标注样本对象与其邻接样本对象间的平均相似度，可利用对象的特征与其邻接对象的特征来确定相似度，例如距离模型。
对象fs的典型性度量TPL(fs)可以下式确定：
Figure BDA0002793752500000091
其中|Gi|为样本fs的邻接样本库Gi中对象数量的计数，DS为距离函数，其确定fs与该邻接样本库中的邻接对象fr间的相似度分值。可由代表fs与fr的特征间相似度的DS确定相似度分值，并可为该样本库中每个fr确定相对于fs的相似度分值。
优选地，分别利用以上公式确定特异性度量与典型性度量。对象的先验知识获取度量可结合如下：
KJ(fs)＝vkjSPL(fs)+(1-vkj)TPL(fs)
vKJ为选择性度量权值。
利用以上公式，可为已定义出特征集合的样本库中的每个样本对象fs确定先验知识获取度量KJ(fs)，利用该先验知识获取度量将对象进行排序，而具有更高先验知识获取度量但尚未被用户标注的N个对象，便可被选为次轮N个对象以进行选择式标注。
优选地，根据训练后的偏好预测模型，推送预设数量的偏好对象以提供至用户
优选地，利用对象的特征向量与特征加权值，以及利用从用户的标注输入所学习的偏好预测模型来确定每个对象的偏好分值，其中还包括将对象分组为簇或子簇。根据用户已标注的对象，可以在任何等级预测用户的偏好，该等级可包含对象层级、簇层级以及子簇层级。
此外，由于大量对象相互之间存在固有的链接关系，例如特定课程与特定教师相链接，特定教育机构与特定课程相链接，因此本发明进一步的实施例中，可将待标注集合视为有向图，其中样本对象本身为节点而样本间的链接为图中的有向边。然后在有向图中执行随机遍历。通过建立在随机遍历上的分类器来预测分类模型。该分类模型对有向图中每个节点分配初始值，且根据该初始值是否达到某一特定阈值，识别该样本对象是否为错误标注样本。
若待标注集合不存在强连通图，则首先将其分解成强连通分量，而本发明基于每个强连通分量，接收有向图上随机遍历的规则，该遍历规则由跳转概率定义。根据所定义的随机遍历，获取关联于有向图中每个节点的固有概率。
在建立分类模型时，分类模型的值接近用于指示在有向图中节点上的错误标注样本和正确标注样本的值。例如，假设值-l指示节点为错误标注样本，而1指示节点为正确标注样本。则要求分类模型分别至少接近已知为正确和错误标注样本的对象上的值1或-1。
在现有系统中，与错误标注样本紧密关联的对象同样被确定为错误标注样本。接近正确标注样本的这些对象同样被确定为正确标注样本。而本发明涉及将正确标注样本和错误标注样本两者的信息相关联，以对特定样本对象进行分类。假设有向图上相互接近的对象属于同一类型，而使得模型为平滑且变化缓慢，邻近已知正确标注样本的有向子图中对象将具有分类结果，可能指示其为正确标注样本。同样地，邻近错误标注样本的有向子图中对象将具有被指示其为错误标注样本的分类结果。
在执行随机遍历时，需要估计图中各个节点的固有概率。假设从一个随机选定的节点开始，通过选择对外连接而跳转至邻接节点。在某特定节点所花的时间片段趋向于固有数值，所有节点的相对应数值总和为1，且该固有数值实际上与所选定的开始节点无关。即固有概率为有向图上任一特定节点中的被遍历概率。而跳转概率为从图中任一给定节点跳转至另一节点的概率。在固有概率不再改变时，可确定其是否已执行足够长的随机遍历次数。一旦已执行随机遍历达足够长的次数，将最终固有概率输出至分类器。
总结而言，本发明的异常标注检测包括如下步骤：给定样本对象组成的有向图G＝(V,E)，V为顶点集，E为边集；某些样本S∈V已由人工分类为正确标注样本或错误标注样本。若该图不为强连通则将其分解成强连通分量。
除已分类的S之外，V中剩余的未分类对象可分类如下：
1.定义随机遍历序列，对于V中任何两点u和v，得出跳转概率：
Figure BDA0002793752500000111
以π表示向量满足下式：
∑π(u)p(u,v)＝π(v)；w(u,v)为边(u,v)的加权值；d-(u)为顶点u的入度；
2.将p(u,v)组成矩阵P，且E表示对角矩阵，其对角元素为固有概率π(u)且其余位置元素为0。形成下列矩阵：
L＝E-α(E×P+PT×E)/2
其中α为[0,1]之间的调控参数。
3.定义函数y(v)＝0，1或-1，用于标识对象v的标注为正确标注样本或错误标注样本。若v未标注则为0。通过求解下式：
σ(v)＝Ey(v)/L
以符号σ(v)作为每个未标注样本v的分类结果，
Figure BDA0002793752500000121
进一步地，基于上述预测结果，在参数优化步骤中，模型参数可以在最小化损失函数的方向上进行调整。例如，基于量化损失的结果调整各种加权值或其他参数值，以使预测的标注样本更接近真实的标注样本。所述参数优化可以使用梯度下降或其他任何合适的方法进行。并可以基于期望的标注要求和期望的计算时间来设置期望的收敛点和/或期望的迭代次数。
可以使用线性或非线性空间中的距离度量来构建分类模型。模型生成还可包括使用具有隐藏层的神经元计算层的神经网络，所述神经元计算层通过非线性统计建模来发现特征。执行模型生成和优化的神经网络可以使用隐藏层。优选地，所述神经网络可为CNN卷积神经网络，在用于训练的标注样本相对较少的情况下，其包括线性滤波器和激活函数，它们将未标注样本转换成标注样本。本发明采用将滤波器组织成执行三种卷积的层。三种类型的卷积包括在零填充输入上具有1个维度步长的3维卷积(使该层的输入和输出的维数相同)、具有2个维度步长的2维卷积(输出的维数的一半)，或者具有2个步长的2维转置卷积(输出的维数加倍)。在收敛至包含优化参数的变换函数的合适的分类模型之后，接收用于获取训练数据集的未标注条件之后获取的新的未标注数据。
通过对标注模型训练并调整参数，可以得到不同隐藏层的值，每个隐藏层就是输入数据的特征表示，而如果对输入数据加扰，通过训练标注模型，则重构出新的输入数据，从而进一步实现了无监督的特征提取。
该过程首先是通过一个随机映射x～→p(x～|x)，把初始输入x加扰为x～。也就是说，对于每一个输入向量x，随机选择单元值重置为0。然后通过输入层和隐藏层之间的以下映射函数，将被重置的单元修复为初始数据：
y＝fθ(x～)＝s(Wx～+b)；
该映射函数用于将样本的输入层向量x＝{x1，x2，…，xd}(xi＝0或1，i∈[1，d])映射至隐藏层向量y＝{y1，y2，…，ym}。
其中
Figure BDA0002793752500000131
θ∈{W，b}，W是输入层权重矩阵，b是输入层偏置变量；
定义损失函数
Figure BDA0002793752500000132
d为如果x是一个二元向量，LH(x，z)是x的负对数似然函数；输出层z尽可能接近原始输入x。
从y到z的映射函数为:z＝gθ'(y)＝s(W'y+b')，
其中θ'＝{W'，b'}，W'和b'分别是输出层权重矩阵和输出层偏置变量；
分类模型目标采用梯度下降法，是在损失函数达到最小时，求得最优化参数W和b的值，其目标函数为:
argmin(θ，θ')Eq0(X，X～){LH(x，gθ'[fθ(x～)]}
其中Eq0(x，x～)为x和x～的联合概率分布的经验分布值。
通过以上方法，提高了少数类的特征值，避免分类样本向多数类偏移。然后将获取的特征值作为分类算法的输入值，实现了无监督的样本分类，对不平衡率较高的样本具有良好的适应性。
综上所述，本发明提出了一种基于在线教育大数据的深度学习样本标注方法，基于用户的固有交互操作来挖掘用户兴趣偏好信息，提高样本标注效率和深度学习效果，从而便于更好地实现精准内容推荐。
显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种用于内容推荐的基于大数据的深度学习样本标注方法，其特征在于，包括：
选择N个样本对象以进行标注，所述样本对象包括可产生偏好的可标注样本；若确定已接收对象选择标注，则利用用户的标注输入为用户学习偏好预测模型；选择具有N个对象的新集合以进行下一轮选择式标注；
响应用户最后一个对象选择标注以及任何先前的对象选择标注，为用户确定偏好预测模型；其中，在选择式标注过程中，第一待标注集合可被随机选择，而对于接下每一轮选择式标注而言，每个样本对象可基于被确定的将对象加入集合所能获取的先验知识的度量进行选择。
2.根据权利要求1所述的方法，其特征在于，所获取的先验知识是为每个对象所确定的数值，或尚未包括于多次选择式标注中的每个对象所确定的数值。
3.根据权利要求2所述的方法，其特征在于，相对于与未被选择的对象相关联的先验知识分值，包含在要向用户呈现的待标注集合中的N个对象具有最高的先验知识分值。
4.根据权利要求1所述的方法，其特征在于，偏好预测模型可基于任何样本的特征与该模型的权值向量，来为对象产生偏好分值，该权值向量包含样本的特征中每个特征的对应加权值。
5.根据权利要求5所述的方法，其特征在于，偏好预测分值计算方法可表示为：
Figure FDA0002793752490000011
其中，Π(fi)为利用样本对象的特征，将样本投影至特征空间的函数，样本的特征可由特征向量fi表示，而
Figure FDA0002793752490000012
为权值向量，该权值向量包含特征向量fi中每个特征的对应加权值。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在完成上一轮标注和计算之后，基于针对要选择的每个对象所确定的特异性度量和典型性度量来为下一轮迭代选择具有N个样本对象的集合。
7.根据权利要求6所述的方法，其特征在于，根据以下方法确定对象fs的特异性度量SPL：SPL(fs)＝-SP(fs)lgSP(fs)-(1-SP(fs))lg(1-SP(fs))
其中SP(fs)为利用用户的偏好预测模型所确定的对象的偏好分值。
8.根据权利要求6所述的方法，其特征在于，利用样本对象的相似度分值来确定对象的典型性度量，包括：
确定对象fs的典型性度量TPL(fs)，如下式：
Figure FDA0002793752490000021
其中|Gi|为样本fs的邻接样本库Gi中对象数量的计数，DS为距离函数，其确定fs与该邻接样本库中的邻接对象fr间的相似度分值。
9.根据权利要求8所述的方法，其特征在于，所述每个样本对象可基于被确定的将对象加入集合所能获取的先验知识的度量进行选择具体为：为已定义出特征集合的样本库中的每个样本对象fs确定先验知识获取度量KJ(fs)，利用该先验知识获取度量将对象进行排序，而具有更高先验知识获取度量但尚未被用户标注的N个对象，便可被选为次轮N个对象以进行选择式标注。
10.根据权利要求9所述的方法，其特征在于，对象的先验知识获取度量可结合如下：KJ(fs)＝vkjSPL(fs)+(1-vkj)TPL(fs)，vkj为选择性度量权值。
CN202011323996.1A 2020-05-15 2020-05-15 一种用于内容推荐的基于大数据的深度学习样本标注方法 Withdrawn CN112434218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011323996.1A CN112434218A (zh) 2020-05-15 2020-05-15 一种用于内容推荐的基于大数据的深度学习样本标注方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011323996.1A CN112434218A (zh) 2020-05-15 2020-05-15 一种用于内容推荐的基于大数据的深度学习样本标注方法
CN202010413312.0A CN111611486B (zh) 2020-05-15 2020-05-15 基于在线教育大数据的深度学习样本标注方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010413312.0A Division CN111611486B (zh) 2020-05-15 2020-05-15 基于在线教育大数据的深度学习样本标注方法

Publications (1)

Publication Number Publication Date
CN112434218A true CN112434218A (zh) 2021-03-02

Family

ID=72201930

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010413312.0A Active CN111611486B (zh) 2020-05-15 2020-05-15 基于在线教育大数据的深度学习样本标注方法
CN202011331925.6A Withdrawn CN112269817A (zh) 2020-05-15 2020-05-15 基于大数据的深度学习样本标注方法
CN202011323996.1A Withdrawn CN112434218A (zh) 2020-05-15 2020-05-15 一种用于内容推荐的基于大数据的深度学习样本标注方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202010413312.0A Active CN111611486B (zh) 2020-05-15 2020-05-15 基于在线教育大数据的深度学习样本标注方法
CN202011331925.6A Withdrawn CN112269817A (zh) 2020-05-15 2020-05-15 基于大数据的深度学习样本标注方法

Country Status (1)

Country Link
CN (3) CN111611486B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591986A (zh) * 2021-07-30 2021-11-02 阿里巴巴新加坡控股有限公司 用于生成推荐模型的对象权值的方法和个性化推荐方法
CN113641915A (zh) * 2021-08-27 2021-11-12 北京字跳网络技术有限公司 对象的推荐方法、装置、设备、存储介质和程序产品
CN114936597A (zh) * 2022-05-20 2022-08-23 电子科技大学 一种局部信息增强子空间真假目标特征提取方法
CN115098931A (zh) * 2022-07-20 2022-09-23 江苏艾佳家居用品有限公司 一种用于挖掘用户室内设计个性化需求的小样本分析方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598118B (zh) * 2021-03-03 2021-06-25 成都晓多科技有限公司 有监督学习的标注异常处理方法、装置、存储介质及设备
CN114462020B (zh) * 2022-04-11 2022-07-12 广州卓远虚拟现实科技有限公司 基于区块链的软件授权方法及软件授权系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430532B2 (en) * 2013-07-30 2016-08-30 NETFLIX Inc. Media content rankings for discovery of novel content
CN103473291B (zh) * 2013-09-02 2017-01-18 中国科学院软件研究所 一种基于隐语义概率模型的个性化服务推荐系统及方法
CN104462611B (zh) * 2015-01-05 2018-06-08 五八同城信息技术有限公司 信息排序模型的建模方法、排序方法及建模装置、排序装置
CN104572998B (zh) * 2015-01-07 2017-09-01 北京云知声信息技术有限公司 用于自动问答系统的问答排序模型更新方法及装置
CN107273436A (zh) * 2017-05-24 2017-10-20 北京京东尚科信息技术有限公司 一种推荐模型的训练方法和训练装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591986A (zh) * 2021-07-30 2021-11-02 阿里巴巴新加坡控股有限公司 用于生成推荐模型的对象权值的方法和个性化推荐方法
CN113641915A (zh) * 2021-08-27 2021-11-12 北京字跳网络技术有限公司 对象的推荐方法、装置、设备、存储介质和程序产品
CN113641915B (zh) * 2021-08-27 2024-04-16 北京字跳网络技术有限公司 对象的推荐方法、装置、设备、存储介质和程序产品
CN114936597A (zh) * 2022-05-20 2022-08-23 电子科技大学 一种局部信息增强子空间真假目标特征提取方法
CN114936597B (zh) * 2022-05-20 2023-04-07 电子科技大学 一种局部信息增强子空间真假目标特征提取方法
CN115098931A (zh) * 2022-07-20 2022-09-23 江苏艾佳家居用品有限公司 一种用于挖掘用户室内设计个性化需求的小样本分析方法
CN115098931B (zh) * 2022-07-20 2022-12-16 江苏艾佳家居用品有限公司 一种用于挖掘用户室内设计个性化需求的小样本分析方法

Also Published As

Publication number Publication date
CN111611486B (zh) 2021-03-26
CN112269817A (zh) 2021-01-26
CN111611486A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111611486B (zh) 基于在线教育大数据的深度学习样本标注方法
Yas et al. Comprehensive insights into evaluation and benchmarking of real-time skin detectors: Review, open issues & challenges, and recommended solutions
CN111328407A (zh) 用于基于学习效率提供私人定制教育内容的机械学习方法、装置及计算机程序
KR102265573B1 (ko) 인공지능 기반 입시 수학 학습 커리큘럼 재구성 방법 및 시스템
Ikawati et al. Student behavior analysis to predict learning styles based felder silverman model using ensemble tree method
CN107016416B (zh) 基于邻域粗糙集和pca融合的数据分类预测方法
Tribhuvan et al. Applying Naïve Bayesian classifier for predicting performance of a student using WEKA
CN109685104B (zh) 一种识别模型的确定方法和装置
Li et al. Classification-oriented dawid skene model for transferring intelligence from crowds to machines
Bläsius et al. Towards a systematic evaluation of generative network models
Salehi et al. Attribute-based recommender system for learning resource by learner preference tree
JP2010272004A (ja) 判別装置及び判別方法、並びにコンピューター・プログラム
Kocacoban et al. Fast online learning in the presence of latent variables
CN111339258A (zh) 基于知识图谱的大学计算机基础习题推荐方法
CN112288145B (zh) 基于多视角认知诊断的学生成绩预测方法
CN115757112A (zh) 基于变异分析的测试子集构建方法及相关设备
CN112836754A (zh) 一种面向图像描述模型泛化能力评估方法
Van Diepen et al. Performance indicators for online secondary education: a case study
Huang et al. Interactive Class-Agnostic Object Counting
Wu et al. Research on top-k association rules mining algorithm based on clustering
Smaili et al. Towards an Adaptive Learning Model using Optimal Learning Paths to Prevent MOOC Dropout.
CN117371876B (zh) 基于关键词的指标数据分析方法及系统
Li et al. Self-paced learning with identification refinement for spoc student grading
Calma Active Learning with Uncertain Annotators: Towards Dedicated Collaborative Interactive Learning
Bu et al. Probabilistic model with evolutionary optimization for cognitive diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210302

WW01 Invention patent application withdrawn after publication