CN106599577A - 一种结合rbm和特征选择的列表级排序学习方法 - Google Patents

一种结合rbm和特征选择的列表级排序学习方法 Download PDF

Info

Publication number
CN106599577A
CN106599577A CN201611147495.6A CN201611147495A CN106599577A CN 106599577 A CN106599577 A CN 106599577A CN 201611147495 A CN201611147495 A CN 201611147495A CN 106599577 A CN106599577 A CN 106599577A
Authority
CN
China
Prior art keywords
layer
rbm
hidden layer
training
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611147495.6A
Other languages
English (en)
Inventor
唐贤伦
熊德意
郭飞
马艺玮
蔡军
刘雨微
万亚利
李佳歆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201611147495.6A priority Critical patent/CN106599577A/zh
Publication of CN106599577A publication Critical patent/CN106599577A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种结合RBM和特征选择的列表级排序学习方法，包括步骤：修改传统RBM可见层和隐含层的重构方式，将训练集数据输入多层RBM网络进行预训练；用多层RBM预训练所得参数对多层神经网络的参数进行初始化，得到一个训练集上的较优模型；定义基于交叉熵的损失函数并采用梯度下降法进行优化，通过验证集确定最优排序函数，微调神经网络权值；根据排序函数的系数值，选出权值最大的K个特征，组建新的数据集；根据新的数据集重新训练出最优排序函数，并对测试集进行排序，输出评价标准值。本方法具有训练时间短和排序结果评价标准值高的优点。

Description

一种结合RBM和特征选择的列表级排序学习方法
技术领域
本发明涉及一种列表级排序学习方法，尤其涉及一种结合RBM和特征选择的列表级排序学习方法。
背景技术
排序学习(Learning To Rank)是一个信息检索与机器学习相结合的研究领域，广泛地应用于文档检索、协同滤波、过滤垃圾邮件、关键词抽取等众多方面。
根据训练数据的不同，将排序学习分为基于单个样本、基于样本对以及基于列表级的算法。基于单个样本的方法与普通的分类回归方法并无本质不同，没有融入与查询相关的特征。基于样本对的方法认为所有文档对是独立同分布的，这一点与实际不符，且结果不可避免地向拥有文档对较多的查询偏移。因为排序本身是对一系列对象排序列表的预测，所以最佳的学习数据应该是对象的列表而不是对象偶对或者某单个对象。
传统的列表级ListNet算法，使用两层神经网络为学习工具，并使用梯度下降法为优化方法进行求解。由于该方法使用的神经网络结构简单，且随机初始化神经网络的连接权重，所以存在易陷入局部最小和训练时间过长、不能较好逼近排序函数的问题。
当前的排序学习领域，对特征进行分析的研究较少。从信息检索排序函数的构建方式易知，构成排序函数的特征之间并不是完全独立的，如词频(TF)和逆文档频率(IDF)这两个特征本身就是BM25(一种“非二值”的概率模型)特征的组成部分，冗杂的特征造成了排序学习的速度较慢且影响排序的精确度。
发明内容
有鉴于此，本发明的目的在于提供一种结合RBM和特征选择的列表级排序学习方法。
本发明的目的是通过以下技术方案来实现的，一种结合RBM和特征选择的列表级排序学习方法，包括以下步骤：
S101、搜集数据集，将数据集分为训练集、验证集和测试集；设置多层RBM网络的结构，修改RBM神经网络隐含层和可见层的重构的方式，将训练集样本中的每个列表的文档向量以查询列表为单位，分别输入修改后的多层RBM进行预训练；
S102、将传统ListNet算法中两层线性网络替换为多层线性神经网络，用S101中预训练得到的各层RBM网络的连接权值初始化多层线性神经网络的连接权值，得到每个查询列表的初始排序模型，以及每个查询列表的初始排序函数；基于训练集，用归一化衰减累计增益(NDCG)评价每个查询列表所对应的初始排序模型在训练集上的检索质量，并保存NDCG@n值(排序结果中前n个位置文档的评价值)最大的排序模型参数和排序函数；
S103、将整个训练集数据输入S102中得到的排序模型，得到各个查询列表中文档的预测得分值；用Luce模型和前k项(TOP-k)概率模型计算出按照人工标注降序排列的序列概率p(y)和按照模型预测分数降序排列的序列概率p(z)，定义基于交叉熵的损失函数L(y,z)，利用梯度下降法进行迭代优化，微调排序函数的参数，直到损失函数的值不再减小；保存微调过程中验证集的NDCG@n取得最大值时的参数，确定未经特征选择前的最佳排序模型RM0以及最佳多层线性排序函数RF0；
S104、将步骤S103所得最佳多层线性排序函数RF0的特征系数的绝对值看做特征的权重，取前K个权重最大的特征，构建新的训练集、验证集和测试集；基于新的数据集，重复执行步骤S101至S步骤S103，得到特征选择后的最佳排序模型RM1；
S105、将步骤S104中重新构建新的测试集的数据输入特征选择后的最佳排序模型RM1，利用已学习参数进行特征测试，对测试集进行排序，同时得到整个测试集的排序评价标准值NDCG@n。
进一步，步骤S101中：设置多层RBM网络的结构为：将数据集中特征向量的维数作为第一层RBM的节点数，设置最后一个RBM的隐含层为输出层，节点数为1。
进一步，步骤S101中：RBM神经网络隐含层和可见层的重构的方式为：用可见层和隐含层激活值代替传统的sigmoid函数的概率生成值，作为各层的输出，即：即：其中，i表示可见层节点，j表示隐含层节点，nv表示可见层节点数，nj表示隐含层节点数，vi是可见层的输出，hj为隐含层的输出，ci为可见层的偏置，bj为隐含层的偏置，wij是可见层到隐含层的连接权值，v’i是重构后的可见层输出，h’j为重构后的隐含层输出。
进一步，步骤S102中，用各RBM层重构后的可见层到隐含层之间的连接权值用来初始化多层线性神经网络的连接权值，用各RBM的隐含层偏置初始化线性神经网络各隐含层的偏置，最后一层RBM的隐含层的偏置初始化神经网络输出层的偏置值。
由于采用以上技术方案，本发明具有以下优点：
本发明使用RBM模型对每个列表预训练，不仅克服神经网络随机初始化易陷入局部最小和训练时间过长的缺点，还能产生较好的参数初始值以减少再训练微调的次数。使用结合RBM的列表级排序学习算法选出对排序函数影响较大的一些特征，构建新的数据集，不仅可以加快训练速度，而且得出来的排序函数有更高的检索性能。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明方法的流程图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
如图1所示，一种结合RBM和特征选择的列表级排序学习方法的具体步骤是：
步骤1：搜集并分析数据集。将每个数据集按照3:1:1的比例划分为训练集、验证集和测试集，训练集用于排序模型的训练和学习，验证集用于决定模型中的一些参数，而测试集用于模型性能的检验。
因为数据集的文档由实值向量所表示，并非传统RBM的二值输入，所以需要对传统RBM模型进行修改后再将数据集输入。先将实值向量输入到可见层v，通过sigmoid函数计算隐含层节点的开启概率，得到
p(hj＝1|v)＝sigmoid(bj+vi×wij) (1)
对这个概率做二值化处理，得到隐含层的输出
hj＝p(hj＝1|v)＞randn(hj) (2)
其中，wij是可见层到隐含层的连接权值，vi是可见层各节点的输出，bj为隐含层各节点的偏置，hj为隐含层各节点的输出；
然后根据hj，采用可见层激活值代替传统RBM中的sigmoid函数概率生成值，对可见层的输出进行重构，得到
其中，ci为可见层各节点的偏置，vi’是重构后的可见层各节点的输出值；
最后根据v'，同样采用隐含层的激活值来直接对隐含层输出进行重构，得到
其中，h’j为重构后隐含层各节点的输出值。
将训练集中的每个列表中文档向量分别依次输入修改后的第一个RBM中，进行预训练，将第一个RBM的隐藏层节点输出作为可视向量，继续训练第二个RBM，依次训练多个RBM网络，最后一个RBM的隐含层节点数设为1。
步骤2：根据步骤1中预训练所得参数初始化多层线性神经网络，得到每个查询q(x)(x表示每个查询的id)所对应的排序学习模型m(x)的初始参数以及每个查询所对应的初始排序函数f(x)。选择一种排序学习的评价标准，如归一化衰减累计增益(NDCG)，其中
NDCG＝DCG/max DCG (6)
其中p为文档排序后所在的位置，r(p)为该文档的相关性，maxDCG是理想情况下的排序DCG值。
将训练集中文档按照人工打分和每个查询所对应排序函数得分从降序排序，根据公式(6)可以得到训练集上每个查询所对应模型的NDCG@n值(衡量排序结果中前n个位置文档排列的正确性的评价值)，保存NDCG@n值最高的那个排序模型m的参数和排序函数f。
步骤3：按照步骤2所得排序函数f计算得到每个查询列表文档的得分z(x)。使用Luce概率模型可以将序列的任意一种排列方式表示成一个概率值，即
其中，S＝{s1,s2,...,sn}为待排序的文档得分集合，n表示待排序的文档总数，l和p表示文档所排列的位置，π为这些对象的一种排列方式，Sπ(p)表示序列π在p位置的得分，是一个递增并且严格正的函数。
采用TOP-k概率来近似替代原有整个序列的概率，分别获得两种评分函数y(x)和z(x)的序列概率分布和其中
其中，g表示某一种排列方式，k表示前k个文档数，x(x)(p)和x(x)(l)表示第x个查询中排在第p个和第l个位置的文档，n(x)表示第x个查询列表中所有的文档数。
应用交叉熵衡量这两个概率分布的相似性，进而构造损失函数L(y(x),z(x))，即
其中g(k)表示所有前k项排列方式。
每次迭代利用梯度下降法进行优化，即
其中i表示可见层节点，j表示隐含层节点，K表示迭代次数。
设学习率η＝0.01，微调排序函数的参数，即
ωij(K+1)＝ωij(K)-η×Δωij(K) (12)
直到损失函数的值不再减小。保存微调过程中验证集上的NDCG@n取得最大值时的参数，确定未经特征选择前的最佳模型RM0以及最佳线性排序函数RF0。
步骤4：将步骤3所得最佳排序函数RF0的特征系数的绝对值看做特征的权重，取前K个权重最大的特征，构建新的训练集、验证集和测试集。基于新的数据集，重复执行步骤1至步骤3，得到特征选择后的最佳排序模型RM1以及排序函数RF1。
步骤5：将步骤4中重新构建的测试集中文档向量输入特征选择后的最佳排序模型RM1，利用已学习参数进行特征测试，对测试集进行排序，同时得到整个测试集的排序评价标准值NDCG@n。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种结合RBM和特征选择的列表级排序学习方法，其特征在于：包括以下步骤：
S101、搜集数据集，将数据集分为训练集、验证集和测试集；设置多层RBM网络的结构，修改RBM神经网络隐含层和可见层的重构的方式，将训练集样本中的每个列表的文档向量以查询列表为单位，分别输入修改后的多层RBM进行预训练；
S102、将传统ListNet算法中两层线性网络替换为多层线性神经网络，用S101中预训练得到的各层RBM网络的连接权值初始化多层线性神经网络的连接权值，得到每个查询列表的初始排序模型，以及每个查询列表的初始排序函数；基于训练集，用归一化衰减累计增益评价每个查询列表所对应的初始排序模型在训练集上的检索质量，并保存NDCG@n值最大的排序模型参数和排序函数；
S103、将整个训练集数据输入S102中得到的排序模型，得到各个查询列表中文档的预测得分值；用Luce模型和前k项TOP-k概率模型计算出按照人工标注降序排列的序列概率p(y)和按照模型预测分数降序排列的序列概率p(z)，定义基于交叉熵的损失函数L(y,z)，利用梯度下降法进行迭代优化，微调排序函数的参数，直到损失函数的值不再减小；保存微调过程中验证集的NDCG@n取得最大值时的参数，确定未经特征选择前的最佳排序模型RM0以及最佳多层线性排序函数RF0；
S104、将步骤S103所得最佳多层线性排序函数RF0的特征系数的绝对值看做特征的权重，取前K个权重最大的特征，构建新的训练集、验证集和测试集；基于新的数据集，重复执行步骤S101至S步骤S103，得到特征选择后的最佳排序模型RM1；
S105、将步骤S104中重新构建新的测试集的数据输入特征选择后的最佳排序模型RM1，利用已学习参数进行特征测试，对测试集进行排序，同时得到整个测试集的排序评价标准值NDCG@n。
2.根据权利要求1所述的一种结合RBM和特征选择的列表级排序学习方法，其特征在于：步骤S101中：设置多层RBM网络的结构为：将数据集中特征向量的维数作为第一层RBM的节点数，设置最后一个RBM的隐含层为输出层，节点数为1。
3.根据权利要求1所述的一种结合RBM和特征选择的列表级排序学习方法，其特征在于：步骤S101中：RBM神经网络隐含层和可见层的重构的方式为：用可见层和隐含层激活值代替传统的sigmoid函数的概率生成值，作为各层的输出，即： 其中，i表示可见层节点，j表示隐含层节点，nv表示可见层节点数，nj表示隐含层节点数，vi是可见层的输出，hj为隐含层的输出，ci为可见层的偏置，bj为隐含层的偏置，wij是可见层到隐含层的连接权值，v’i是重构后的可见层输出，h’j为重构后的隐含层输出。
4.根据权利要求1所述的一种结合RBM和特征选择的列表级排序学习方法，其特征在于：步骤S102中，用各RBM层重构后的可见层到隐含层之间的连接权值用来初始化多层线性神经网络的连接权值，用各RBM的隐含层偏置初始化线性神经网络各隐含层的偏置，最后一层RBM的隐含层的偏置初始化神经网络输出层的偏置值。
CN201611147495.6A 2016-12-13 2016-12-13 一种结合rbm和特征选择的列表级排序学习方法 Pending CN106599577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611147495.6A CN106599577A (zh) 2016-12-13 2016-12-13 一种结合rbm和特征选择的列表级排序学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611147495.6A CN106599577A (zh) 2016-12-13 2016-12-13 一种结合rbm和特征选择的列表级排序学习方法

Publications (1)

Publication Number Publication Date
CN106599577A true CN106599577A (zh) 2017-04-26

Family

ID=58801959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611147495.6A Pending CN106599577A (zh) 2016-12-13 2016-12-13 一种结合rbm和特征选择的列表级排序学习方法

Country Status (1)

Country Link
CN (1) CN106599577A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590176A (zh) * 2017-07-31 2018-01-16 北京奇艺世纪科技有限公司 一种评价指标的获得方法、装置及电子设备
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN109271132A (zh) * 2018-09-19 2019-01-25 中南大学 一种基于机器学习模型的排序方法
CN110222838A (zh) * 2019-04-30 2019-09-10 北京三快在线科技有限公司 深度神经网络及其训练方法、装置、电子设备及存储介质
CN110598860A (zh) * 2019-08-06 2019-12-20 山东省科学院海洋仪器仪表研究所 一种多站位在线波周期数据的预测诊断方法
WO2020143346A1 (zh) * 2019-01-10 2020-07-16 北京三快在线科技有限公司 排序
CN111783980A (zh) * 2020-06-28 2020-10-16 大连理工大学 基于双重协作生成式对抗网络的排序学习方法
CN114969486A (zh) * 2022-08-02 2022-08-30 平安科技（深圳）有限公司 语料推荐方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131671A1 (en) * 2008-11-24 2010-05-27 Jaspal Kohli Adaptive network content delivery system
CN104035996A (zh) * 2014-06-11 2014-09-10 华东师范大学 基于Deep Learning的领域概念抽取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131671A1 (en) * 2008-11-24 2010-05-27 Jaspal Kohli Adaptive network content delivery system
CN104035996A (zh) * 2014-06-11 2014-09-10 华东师范大学 基于Deep Learning的领域概念抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏斯超: "基于深度学习的专家列表排序方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590176A (zh) * 2017-07-31 2018-01-16 北京奇艺世纪科技有限公司 一种评价指标的获得方法、装置及电子设备
CN107590176B (zh) * 2017-07-31 2021-01-15 北京奇艺世纪科技有限公司 一种评价指标的获得方法、装置及电子设备
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN109271132A (zh) * 2018-09-19 2019-01-25 中南大学 一种基于机器学习模型的排序方法
CN109271132B (zh) * 2018-09-19 2023-07-18 中南大学 一种基于机器学习模型的排序方法
WO2020143346A1 (zh) * 2019-01-10 2020-07-16 北京三快在线科技有限公司 排序
CN110222838A (zh) * 2019-04-30 2019-09-10 北京三快在线科技有限公司 深度神经网络及其训练方法、装置、电子设备及存储介质
CN110222838B (zh) * 2019-04-30 2021-07-20 北京三快在线科技有限公司 文档排序方法、装置、电子设备及存储介质
CN110598860B (zh) * 2019-08-06 2023-02-24 山东省科学院海洋仪器仪表研究所 一种多站位在线波周期数据的预测诊断方法
CN110598860A (zh) * 2019-08-06 2019-12-20 山东省科学院海洋仪器仪表研究所 一种多站位在线波周期数据的预测诊断方法
CN111783980A (zh) * 2020-06-28 2020-10-16 大连理工大学 基于双重协作生成式对抗网络的排序学习方法
CN114969486B (zh) * 2022-08-02 2022-11-04 平安科技（深圳）有限公司 语料推荐方法、装置、设备及存储介质
CN114969486A (zh) * 2022-08-02 2022-08-30 平安科技（深圳）有限公司 语料推荐方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106599577A (zh) 一种结合rbm和特征选择的列表级排序学习方法
Lundberg et al. A unified approach to interpreting model predictions
CN108829763B (zh) 一种基于深度神经网络的影评网站用户的属性预测方法
Benjamini et al. The mixing time of the giant component of a random graph
Lengyel et al. Heterogeneity‐constrained random resampling of phytosociological databases
Mohamed et al. History matching and uncertainty quantification: multiobjective particle swarm optimisation approach
CN107194433A (zh) 一种基于深度自编码网络的雷达一维距离像目标识别方法
JP2021502650A5 (zh)
Vrugt et al. Multi‐objective calibration of forecast ensembles using Bayesian model averaging
Beckus et al. Spectral continuity for aperiodic quantum systems I. General theory
CN109582782A (zh) 一种基于用弱监督深度学习的文本聚类方法
Salama et al. A novel ant colony algorithm for building neural network topologies
Moreno et al. Tied Kronecker product graph models to capture variance in network populations
CN109766935A (zh) 一种基于超图p-Laplacian图卷积神经网络的半监督分类方法
CN105389505A (zh) 基于栈式稀疏自编码器的托攻击检测方法
Suzuki et al. Adversarial example generation using evolutionary multi-objective optimization
CN109992781A (zh) 文本特征的处理、装置、存储介质和处理器
CN106934410A (zh) 数据的分类方法及系统
CN112650933A (zh) 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
Zarei et al. Detecting overlapping community structure of networks based on vertex–vertex correlations
Feng et al. Transferred discrepancy: Quantifying the difference between representations
CN115775026A (zh) 一种基于组织相似度的联邦学习方法
CN113239199B (zh) 一种基于多方数据集的信用分类方法
Buldu et al. The complex network of musical tastes
Bureva et al. Hierarchical generalized net model of the process of selecting a method for clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426

RJ01 Rejection of invention patent application after publication