CN108573399A - 基于转移概率网络的商户推荐方法及其系统 - Google Patents

基于转移概率网络的商户推荐方法及其系统 Download PDF

Info

Publication number
CN108573399A
CN108573399A CN201810168455.2A CN201810168455A CN108573399A CN 108573399 A CN108573399 A CN 108573399A CN 201810168455 A CN201810168455 A CN 201810168455A CN 108573399 A CN108573399 A CN 108573399A
Authority
CN
China
Prior art keywords
trade company
transition probability
network
layer
onehot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810168455.2A
Other languages
English (en)
Other versions
CN108573399B (zh
Inventor
李旭瑞
郑建宾
赵金涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201810168455.2A priority Critical patent/CN108573399B/zh
Publication of CN108573399A publication Critical patent/CN108573399A/zh
Priority to PCT/CN2019/076049 priority patent/WO2019165944A1/zh
Application granted granted Critical
Publication of CN108573399B publication Critical patent/CN108573399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及基于转移概率网络的商户推荐方法及其系统。该方法包括：对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量；对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由进行OneHot编码之后的向量表示；构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的商户出现概率分布作为输出层；以及基于所述转移概率网络构建步骤输出的所述商户出现概率向用户推荐商户。根据本发明，提出了转移概率三层神经网络的架构，能够根据海量用户的消费序列，快速分析商户系列之间的关系，进行更精准的推荐。

Description

基于转移概率网络的商户推荐方法及其系统
技术领域
本发明涉及数据处理，具体地涉及一种通过构建神经网络计算转移概率的商户推荐方法及其系统。
背景技术
用户们在消费的时候，已经习惯先从网络上去获取的商户信息，然后选择感兴趣的商户进行消费，即使在线下消费场景也是如此。一些互联网网站也会经常地向用户进行商户推荐，从而节约用户购物时间、提高效率，并且更好改善用户服务体验。
不过，很多商户推荐功能都是将商户按热门程度进行排序推荐，这导致大量用户收到的推荐信息都是类似的，没有针对用户喜好和的商户的特点进行推荐。这样，用户仍然会有很大的迷茫性，难以找到适合自己商户。通过检索发现，现在有一些公司也使用了一些机器学习方法来提升商户推荐的效率，但是这些方案大多建立在要准确获取用户各种隐私数据的基础之上。
公开于本发明背景部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
鉴于上述问题，本发明旨在提供一种利一种能够根据海量用户的消费序列快速分析商户序列之间关联从而进行更精准推荐的基于转移概率网络的商户推荐方法以及基于转移概率网络的商户推荐系统。
本发明的基于转移概率网络的商户推荐方法，其特征在于，包括：
OneHot编码步骤，对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量；
消费商户序列构建步骤，对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由所述OneHot编码步骤进行OneHot编码之后的向量表示；以及
转移概率网络构建步骤，构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的商户出现概率分布作为输出层。
可选地，在所述转移概率网络构建步骤之后进一步具备：
商户推荐步骤，基于所述转移概率网络构建步骤输出的所述商户出现概率向用户推荐商户。
可选地，所述转移概率网络构建步骤包括下述子步骤：
构建神经网络模型子步骤，构建包含具有输入层、隐藏层、输出层的三层神经网络；
生成训练样本子步骤，基于所述消费商户序列生成训练样本；以及训练神经模型子步骤，基于规定算法训练该神经网络。
可选地，在所述训练神经模型子步骤中，所述输入层的维度为N，所述隐藏层的维度为m，将输入层到隐藏层的权重矩阵记为W1，则权重矩阵W1记为N行*m列，当输入向量的第k维为1时，仅提取出W1中的第k行的行向量作为输出。
可选地，在所述训练神经模型子步骤中，对正样本进行权重更新，随机选取一部分的负样本进行权重更新。
可选地，在所述消费商户序列构建步骤中，统计规定时间内消费次数大于预设阈值的账户，对于统计出的账户，记录每一笔交易对应的商户代码，将每一个所述账户该段规定时间内消费所在商户的商户代码按照依次排列。
可选地，在所述生成训练样本子步骤中，对于所述消费商户序列，按照规定位置参数选取作为输入层的商户的附近商户得到训练样本或者按照规定时间参数选取作为输入层的商户的附近商户得到训练样本。
本发明的基于转移概率网络的商户推荐系统，其特征在于，具备：
OneHot编码模块，对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量；
消费商户序列构建模块，对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由所述OneHot编码步骤进行OneHot编码之后的向量表示；以及
转移概率网络构建模块，构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的商户出现概率分布作为输出层。
可选地，进一步具备：
商户推荐模块，基于所述转移概率网络构建装置输出的所述商户出现概率向用户推荐商户。
可选地，所述转移概率网络构建模块具备：
构建神经网络模型子模块，构建包含具有输入层、隐藏层、输出层的三层神经网络；
生成训练样本子模块，利用所述消费商户序列生成训练样本；以及训练神经模型子模块，基于规定算法训练该神经网络。
可选地，在所述训练神经模型子模块中，设所述输入层的维度为N，所述隐藏层的维度为m，将输入层到隐藏层的权重矩阵记为W1，则权重矩阵W1记为N行*m列，当输入向量的第k维为1时，仅提取出W1中的第k行的行向量作为输出。
可选地，所述训练神经模型子模块中，对正样本进行权重更新，随机选取一部分的负样本进行权重更新。
可选地，所述消费商户序列构建模块统计规定时间内消费次数大于预设阈值的账户，对于统计出的账户，记录每一笔交易对应的商户代码，将每一个所述账户该段规定时间内消费所在商户的商户代码按照依次排列。
可选地，在所述生成训练样本子模块对于所述消费商户序列，按照规定位置参数选取与作为输入层的商户位置相关的商户而得到训练样本、或者按照规定时间参数选取作为与输入层的商户时间相关的商户而得到训练样本。
本发明的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的基于转移概率网络的商户推荐方法。
本发明的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于转移概率网络的商户推荐方法。
根据本发明的基于转移概率网络的商户推荐方法以及基于转移概率网络的商户推荐系统，利用转移概率三层神经网络的架构，能够大大，使得计算在可控范围内。而且，在神经网络权重计算的过程中，进一步通过使用“查表法”以及“负样本抽样”法能够加速计算。根据本发明，提出了转移概率三层神经网络的架构，能够根据海量用户的消费序列，快速分析商户系列之间的关系，进行更精准的推荐。
通过纳入本文的附图以及随后与附图一起用于说明本发明的某些原理的具体实施方式，本发明的方法和装置所具有的其它特征和优点将更为具体地变得清楚或得以阐明。
附图说明
图1是表示本发明的基于转移概率网络的商户推荐方法的示意图。
图2是表示本发明的基于转移概率网络的商户推荐方法的第一实施方式的流程图。
图3是表示商户转移概率网络模型的架构。
图4中表示了商户1到商户7的7个商户的商户序列。
图5中表示了商户1到商户7的7个商户的商户序列。
图6是表示本发明的基于转移概率网络的商户推荐系统的构造框图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
首先，对于本发明的基于转移概率网络的商户推荐方法进行说明。
图1是表示本发明的基于转移概率网络的商户推荐方法的示意图。
图1所示，本发明的基于转移概率网络的商户推荐方法包括下述步骤：
OneHot编码步骤S100：对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量，N为自然数；
消费商户序列构建步骤S200：对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由所述OneHot编码步骤S100进行OneHot编码之后的向量表示；
转移概率网络构建步骤S300：构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的商户出现概率分布作为输出层；以及
商户推荐步骤S400，基于所述转移概率网络构建步骤S300输出的所述商户出现概率向用户推荐商户。
接着，对于OneHot编码步骤S100、消费商户序列构建步骤S200、转移概率网络构建步骤S300以及商户推荐步骤S400进行具体说明。
首先，在OneHot编码步骤S100中，对N个商户进行OneHot编码。每一个商户都被映射为一个N维的稀疏向量，其中只有该商户对应的位置为1，其它位都为0。
所谓OneHot编码(one-hot code)，即独热码，直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制。通常，在通信网络协议栈中，使用八位或者十六位状态的独热码，且系统占用其中一个状态码，余下的可以供用户使用。
例如，有6个状态的独热码状态编码为：000001，000010，000100，001000，010000，100000。再如，有十六个状态的独热码状态编码应该是：0000000000000001，0000000000000010，0000000000000100，0000000000001000，0000000000010000，0000000000100000，……，10000000000000000。
但是通常我们为了方便书写，将二进制简化为十六进制表示(从右往左每四位二进制位用一位十六进制数表示)，那么，以上十六状态的独热码可以表示成0x0001,0x0002,0x0004,0x0008,0x0010,0x0020,……,0x8000(其中的0x是十六进制的前缀表示，在诸如PLC等程序中也有其他表示方法)。
其次，在消费商户序列构建步骤S200中，统计在一段时间T内的消费次数大于阈值θ的账户，该阈值可以预先设定，也可以根据需要进行变化。对于这些账户，记录其每一笔交易对应的商户代码。将每一个账户该段时间内消费所在商户代码按照先后顺序依次排列。注意这里的商户都是OneHot编码之后的向量。
再次，在转移概率网络构建步骤S300中，构建一个“输入—隐藏层—输出”这样一个三层神经网。输入是一个商户的的OneHot编码，中间是一个固定维度的隐藏层，输出是接下来商户出现的概率。利用消费商户序列来生成训练样本，使用“查找表法”和“负样本抽样”来快速训练该神经网络，训练完成后，即可得到每个商户接下来可能出现的商户的概率分布。
具体地，转移概率网络构建步骤S300主要可以包括下述具体步骤：
(1)构建神经网络模型子步骤
构建一个“输入—隐藏层—输出”这样一个三层神经网。其中输入就是当前商户对应的稀疏OneHot向量，输出层的维度与输入层一样，只不过该层上的每一个神经元输出的是每一个商户对应的概率。
(2)基于消费商户序列生成训练样本子步骤
利用上面构造好的消费商户序列来生成训练样本。构造的训练样本的形式是一个键值对：(输入商户→输出商户)。任意选择某一消费商户序列中的某个商户作为输入商户，然后选择该序列中出现在该“输入商户”附近出现的另外一个商户作为“输出商户”。
(3)训练神经网络模型子步骤
基于这些训练数据，训练上述提到的三层神经网。训练神经网络的目的其实就是获得最优化的网络权重矩阵的参数。这里，通过使用“查找表法”和“负样本抽样”，分别在优化“输入层→隐藏层”和“隐藏层→输出层”权重矩阵的时候能够极大地减少计算量。具体方法如下：
(I)使用“查找表法”实现输入层到隐藏层的快速计算
首先，关于“输入层→隐藏层”的权重矩阵W1，如果输入层维度为N，并且隐藏层维度为m，那么权重矩阵W1应该为N行*m列。把N*m的权重矩阵看成一个表，当输入向量的第k维为1的时候，只需要提取出W1的第k行那个行向量就是我们需要的计算结果。
(II)使用“负样本抽样”方法实现隐藏层到输出层的快速计算
其次，关于正样本进行权重更新，然后随机选择一小部分的负样本来更新对应的权重，从而降低梯度下降过程中的计算量。负样本在这里是指，在训练数据中不存在的样本。在抽样的时候，我们使用“随机打点法”使得热门商户被选为负样本的概率要比冷门商户被选为负样本的概率大。
(4)智能商户推荐子步骤
训练好上述神经网络之后，再将每个商户的OneHot编码作为输入，然后计算输出层，给定一个输入商户，输出商户词典中每个商户的概率值。也就是说，对于某个用户，将上一笔交易的商户作为神经网络的输入，那么输出概率越大的商户，应该越有可能出现在输入商户的上下文中。这样一来，当一个账户发生了一笔消费之后，就可以利用该神经网络推测出接下来最有可能去消费的商户的排名，从高到低推荐给该用户。
接下，对于本发明的基于转移概率网络的商户推荐方法的第一实施方式进行说明。
图2是表示本发明的基于转移概率网络的商户推荐方法的第一实施方式的流程图。
如图2所示，在步骤S1中，进行商户OneHot编码。首先，建立一个商户词典。比如一共有N个商户，那么就构建一个初始商户词典：{1:商户1，2:商户2，…，N:商户N}。这样一来，每个商户都可以先对应到一个数字上去了。如果N是10万，那么可以对这10万个商户进行OneHot编码。这样，每一个商户都被映射为一个10万维的稀疏向量，其中只有该商户对应的位置为1，其它位都为0。
例如，商户1经过OneHot编码之后的向量为[1,0,0,0……0],商户2经过OneHot编码之后的向量为[0,1,0,0……0],商户3经过OneHot编码之后的向量为[0,0,1,0……0]。
接着，在步骤S2中，构建账户级的消费商户序列。具体地，统计在一段时间T内的消费次数大于阈值θ的账户。对于这些账户，记录其每一笔交易对应的商户代码。将每一个账户该段时间内消费所在商户代码按照先后顺序依次排列：{商户1，商户2，…，商户n}。其中，这里的商户代码都是OneHot编码之后的向量。
接着，在步骤S3中，构建神经网络模型。具体地，构建一个“输入层—隐藏层—输出层”这样一个三层神经网。其中输入层就是当前商户对应的稀疏OneHot向量，隐藏层是指定长度的压缩向量(长度一般不需要太大，默认维度是100就够了)，输出层的维度与输入层一样，只不过该层上的每一个神经元输出的是每一个商户对应的概率。
图3是表示商户转移概率网络模型的架构。
在图3中，左侧表示输入层，中间表示隐藏层，右侧表示输出层。输入层输入的是商户OneHot编码，隐藏层表示商户情景压缩编码，输出层输出商户概率分布。其中，从“输入层→隐藏层”的权重矩阵记为W1，从“隐藏层→输出层”的权重矩阵记为W2。另外，输出层是可以有一个softmax回归分类器来构成。如图3所示，输入层和输出层的维度都等于所有商户的总个数。
接着，在步骤S4中，基于消费商户序列生成训练样本。具体地，利用上面构造好的消费商户序列来生成训练样本。构造的训练样本的形式是一个键值对：(输入商户→输出商户)。总体方案是任意选择某一消费商户序列中的某个商户作为输入商户，然后选择该序列中出现在该“输入商户”附近出现的另外一个商户作为“输出商户”。
此外，还需要定义一个叫做win_size的参数，它代表着从当前“输入商户”的左边或右边选取商户的数量。另一个参数叫n_pick，它代表着我们从整个窗口中选取多少个不同的商户作为我们的输出。
可选的，还可以定义一个时间阈值max_T，如果我们挑选出来的键值对：(输入商户→输出商户)对应的消费时间间隔都大于max_T，我们可以认为这两个商户之间是不存在情景依赖的，所以将其从训练样本中去除。
这里以图4的商户序列为例说明win_size的参数和n_pick参数进行说明。
图4中表示了商户1到商户7的7个商户的商户序列。这样，对于一个消费商户序列{商户1，商户2，…，商户7}，如果我们选取商户4作为“输入商户”。如果设置win_size＝2，那么就代表着选取“输入商户”左侧2个和右侧2个商户进入我们的窗口，也就是说，选取：商户2、商户3、商户5、以及商户6。
而当n_pick＝2时，将会随机得到两组训练样本，即(商户4→商户2)，(商户4→商户5)。
而如果我们选取商户1作为“输入商户”，并且win_size和n_pick参数也都设置为2的话，那么最终够得到的训练样本一定是(商户1→商户2)，(商户1→商户3)。其中，以上输入输出商户其实都是其对应的OneHot编码。
接着，在步骤S5中，训练神经网络模型。通过上述步骤，已经从消费商户序列中生成了大量的训练样本，下面就基于这些训练数据，训练上述提到的三层神经网。
训练神经网络的目的其实就是获得最优化的网络权重矩阵的参数。不过考虑到商户数量数目巨大，我们并不打算利用传统的方法去训练模型，否则会非常耗费计算力。这里，我们使用了两个技术手段，分别在优化“输入层→隐藏层”和“隐藏层→输出层”权重矩阵的时候能够极大地减少计算量。具体方法如下：
首先，对于使用“查找表法”实现输入层到隐藏层的快速计算进行说明。
如上面已经提到的，“输入层→隐藏层”的权重矩阵设为W1。如果输入层维度为N，并且隐藏层维度为m，那么权重矩阵W1应该为N行*m列。比如商户词典大小为10万个，并且想用100个特征来表示一个商户，那么权重矩阵W1应该为10万行*100列。在计算的时候，需要将1*N的输入矩阵与N*m的权重矩阵与进行相乘。如果当商户数量很大的话，很大N会导致非常多的计算量。
通过观察，我们的输入向量虽然是N维的，但其实每个输入向量只有一位是1，而其他位全是0。这样一类，我们其实不用全量计算，只需要把N*m的权重矩阵看成一个表，当输入向量的第k维为1的时候，我们只需要提取出W1的第k行那个行向量就是我们需要的计算结果。比如下面1*4的矩阵与4*3的矩阵相乘，其中输入矩阵中只有第3位为1，那么计算结果正好是权重矩阵中的第3行。如下式所示：
其次，对于使用“负样本抽样”方法实现隐藏层到输出层的快速计算进行说明。
输出层是一个softmax回归分类器，其中每一个神经元将会输出一个0～1之间的概率值，所有输出层神经元结点的概率之和为1。Softmax的函数公式如下：
其中aj表示最后一层第j个神经元的输出；zj表示最后一层第j个神经元的输入，e是自然常数。
∑kezk表示对最后一层所有神经元的输入求和。这样，对于log似然代价函数为如下：
C＝-∑kyklogak
其中，ak表示最后一层第k个神经元的输出值；yk第k个神经元对应的真实值，取值为0或1。我们的目标是最小化该代价函数。注意到代价函数里面有一个∑k求和，也就是说，如果商户数目很大的话，该函数的优化计算过程又会非常耗时。
因此，这里，我们使用负样本抽样的方法，它不同于原本每个训练样本更新所有的权重，而是每次让一个训练样本仅仅更新一小部分的权重，这样就会降低梯度下降过程中的计算量。不过在这种策略下，我们的优化目标需要变为：最大化正样本的概率，同时最小化负样本的概率。负样本就是我们构造出来的，在训练数据中不存在的样本。
比如对于商户a来说，我们先通过上下文提取除了几个正样本，其余的不在上下文中的这些词都称之为负样本，例如上面的例子中，对于商户4，由于(商户4→商户2)就是正样本，而对于该输入商户4，我们会再构造几个原本在训练数据中不存在的样本，比如(商户4→商户25)、(商户4→商户342)、(商户4→商户1253)这些就叫做负样本。
这样，我们首先对我们的正样本进行权重更新，然后随机选择一小部分的负样本来更新对应的权重，对于大规模数据集来说负样本数量一般5个左右即可。
当然了，在抽样的时候，我们希望热门商户被选为负样本的概率要比冷门商户被选为负样本的概率大。要实现这个功能，在本发明中采用“随机打点法”进行挑选。也就是说，对于每一个商户k，我们都把它映射为一个长度以以下公式表示的线段：
cnt(k)/∑icnt(i)
其中，cnt(k)表示该商户k一共出现的次数，分母是对所有商户的次数统计的求和。我们把这些线段拼在一起，形成一个长度为1的完整线段，就得到如图5所示的线段，如果随机地往这个线段上去打点，该点落在那个线段区间上，结果就是该线段对应的商户。按照图5所示，可以想象，热门商户对应的线段相对比较长，被打中的概率就大。
最后，在步骤S7中，基于输出层概率分析的序列性推荐商户。具体地，在训练好上述神经网络之后，再将每个商户的OneHot编码作为输入，然后计算输出层，给定一个输入商户，输出商户词典中每个商户的概率值。也就是说，对于某个用户，将上一笔交易的商户作为神经网络的输入，那么输出概率越大的商户，应该越有可能出现在输入商户的上下文中。这样一来，当一个账户发生了一笔消费之后，我们可以利用该神经网络推测出接下来最有可能去消费的商户的排名，从高到低推荐给该用户。
以上对于本发明的基于转移概率网络的商户推荐进行了说明，接着对于本发明的基于转移概率网络的商户推荐系统进行简单介绍。
图6是表示本发明的基于转移概率网络的商户推荐系统的构造框图。
如图6所示，本发明的基于转移概率网络的商户推荐系统具备：
OneHot编码模块100，对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量；
消费商户序列构建模块200，对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由所述OneHot编码步骤进行OneHot编码之后的向量表示；
转移概率网络构建模块300，构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的商户出现概率分布作为输出层；以及
商户推荐模块400，基于所述转移概率网络构建装置输出的所述商户出现概率向用户推荐商户。
其中，所述转移概率网络构建模块300具备：
构建神经网络模型子模块310，构建包含具有输入层、隐藏层、输出层的三层神经网络；
生成训练样本子模块320，利用所述消费商户序列生成训练样本；以及
训练神经模型子模块330，基于规定算法训练该神经网络。
作为优先的方式，在训练神经模型子模块330中，设所述输入层的维度为N，所述隐藏层的维度为m，将输入层到隐藏层的权重矩阵记为W1，则权重矩阵W1记为N行*m列，当输入向量的第k维为1时，仅提取出W1中的第k行的行向量作为输出。
进一步，在训练神经模型子模块330中，对正样本进行权重更新，随机选取一部分的负样本进行权重更新。
作为优选的方式，消费商户序列构建模块200统计在一段时间T内的消费次数大于阈值θ的账户，对于统计出的账户，记录每一笔交易对应的商户代码，将每一个所述账户该段规定时间内消费所在商户的商户代码按照依次排列。
具体地，生成训练样本子模块320对于所述消费商户序列，按照规定位置参数选取作为与输入层的商户位置相关的商户得到训练样本或者按照规定时间参数选取作为与输入层的商户时间相关的商户得到训练样本。
进一步，本发明还提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述本发明的基于转移概率网络的商户推荐方法。
进一步，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述本发明的基于转移概率网络的商户推荐方法。
本发明的基于转移概率网络的商户推荐方法以及基于转移概率网络的商户推荐系统抛弃了转移矩阵的思想，提出了转移概率三层神经网络的架构。该网络输入是一个商户的独热码，输出是接下来最可能出现的商户。由于中间加一个固定维度的隐藏层(一般不会太大，比如100维左右)，由此能够避免海量商户之间的两列直接计算(比如10万*10万)，取而代之的是“输入→隐藏层”的10万*100，以及“隐藏层→输出”的100*10万，这样，使得计算在可控范围内。
而且，在神经网络权重计算的过程中，进一步使用“查表法”以及“负样本抽样”法加速计算。其中，“查表法”可进一步避免“输入→隐藏层”的10万*100的矩阵运算，只需要进行索引即可，“负样本抽样”则在一定程度上加速了“隐藏层→输出”权重的计算。
本发明的基于转移概率网络的商户推荐方法以及基于转移概率网络的商户推荐系统不依赖于“用户-商户评分矩阵”，而是根据用户的消费序列提取有效的商户对训练样本，避免了超大规模的“用户-商户”矩阵。
以上例子主要说明了本发明的基于转移概率网络的商户推荐方法以及基于转移概率网络的商户推荐系统。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (16)

1.一种基于转移概率网络的商户推荐方法，其特征在于，包括：
OneHot编码步骤，对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量，N为自然数；
消费商户序列构建步骤，对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由所述OneHot编码步骤进行OneHot编码之后的向量表示；以及
转移概率网络构建步骤，构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的出现概率分布作为输出层。
2.如权利要求1所述的基于转移概率网络的商户推荐方法，其特征在于，在所述转移概率网络构建步骤之后进一步具备：
商户推荐步骤，基于所述转移概率网络构建步骤输出的所述出现概率向用户推荐商户。
3.如权利要求1或2所述的基于转移概率网络的商户推荐方法，其特征在于，所述转移概率网络构建步骤包括下述子步骤：
构建神经网络模型子步骤，构建包含具有输入层、隐藏层、输出层的三层神经网络；
生成训练样本子步骤，基于所述消费商户序列生成训练样本；以及
训练神经模型子步骤，基于规定算法训练该神经网络。
4.如权利要求3所述的基于转移概率网络的商户推荐方法，其特征在于，
在所述训练神经模型子步骤中，所述输入层的维度为N，所述隐藏层的维度为m，将输入层到隐藏层的权重矩阵记为W1 ，则权重矩阵W1记为N行*m列，当输入向量的第k维为1时，仅提取出W1中的第k行的行向量作为输出。
5.如权利要求4所述的基于转移概率网络的商户推荐方法，其特征在于，
在所述训练神经模型子步骤中，对正样本进行权重更新，随机选取一部分的负样本进行权重更新。
6.如权利要求3所述的基于转移概率网络的商户推荐方法，其特征在于，
在所述消费商户序列构建步骤中，统计规定时间内消费次数大于预设阈值的账户，对于统计出的账户，记录每一笔交易对应的商户代码，将每一个所述账户该段规定时间内消费所在商户的商户代码按照依次排列。
7.如权利要求3所述的基于转移概率网络的商户推荐方法，其特征在于，
在所述生成训练样本子步骤中，对于所述消费商户序列，按照规定位置参数选取与作为输入层的商户位置相关的商户而得到训练样本、或者按照规定时间参数选取与作为输入层的商户时间相关的商户而得到训练样本。
8.一种基于转移概率网络的商户推荐系统，其特征在于，具备：
OneHot编码模块，对N个商户进行OneHot编码，其中，每个商户被映射为一个N维的稀疏向量，N为自然数；
消费商户序列构建模块，对于规定账户，记录相关交易对应的商户代码并排序而构建消费商户序列，其中，所述商户代码以由所述OneHot编码步骤进行OneHot编码之后的向量表示；以及
转移概率网络构建模块，构建神经网络，其中，以每个商户的OneHot编码之后的向量作为输入层、以在该商户之后接下来可能出现的商户的出现概率分布作为输出层。
9.如权利要求8所述的基于转移概率网络的商户推荐系统，其特征在于，进一步具备：
商户推荐模块，基于所述转移概率网络构建装置输出的所述出现概率向用户推荐商户。
10.如权利要求6或7所述的基于转移概率网络的商户推荐系统，其特征在于，所述转移概率网络构建模块具备：
构建神经网络模型子模块，构建包含具有输入层、隐藏层、输出层的三层神经网络；
生成训练样本子模块，利用所述消费商户序列生成训练样本；以及
训练神经模型子模块，基于规定算法训练该神经网络。
11.如权利要求8所述的基于转移概率网络的商户推荐系统，其特征在于，
在所述训练神经模型子模块中，设所述输入层的维度为N，所述隐藏层的维度为m，将输入层到隐藏层的权重矩阵记为W1 ，则权重矩阵W1记为N行*m列，当输入向量的第k维为1时，仅提取出W1中的第k行的行向量作为输出。
12.如权利要求11所述的基于转移概率网络的商户推荐系统，其特征在于，
所述训练神经模型子模块中，对正样本进行权重更新，随机选取一部分的负样本进行权重更新。
13.如权利要求8所述的基于转移概率网络的商户推荐系统，其特征在于，
所述消费商户序列构建模块统计规定时间内消费次数大于预设阈值的账户，对于统计出的账户，记录每一笔交易对应的商户代码，将每一个所述账户该段规定时间内消费所在商户的商户代码按照依次排列。
14.如权利要求10所述的基于转移概率网络的商户推荐系统，其特征在于，
在所述生成训练样本子模块对于所述消费商户序列，按照规定位置参数选取与作为输入层的商户位置相关的商户而得到训练样本、或者按照规定时间参数选取作为与输入层的商户时间相关的商户而得到训练样本。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1~7中任意一项所述的基于转移概率网络的商户推荐方法。
16.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~7中任意一项所述的基于转移概率网络的商户推荐方法。
CN201810168455.2A 2018-02-28 2018-02-28 基于转移概率网络的商户推荐方法及其系统 Active CN108573399B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810168455.2A CN108573399B (zh) 2018-02-28 2018-02-28 基于转移概率网络的商户推荐方法及其系统
PCT/CN2019/076049 WO2019165944A1 (zh) 2018-02-28 2019-02-25 基于转移概率网络的商户推荐方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810168455.2A CN108573399B (zh) 2018-02-28 2018-02-28 基于转移概率网络的商户推荐方法及其系统

Publications (2)

Publication Number Publication Date
CN108573399A true CN108573399A (zh) 2018-09-25
CN108573399B CN108573399B (zh) 2022-03-18

Family

ID=63576696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810168455.2A Active CN108573399B (zh) 2018-02-28 2018-02-28 基于转移概率网络的商户推荐方法及其系统

Country Status (2)

Country Link
CN (1) CN108573399B (zh)
WO (1) WO2019165944A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019165944A1 (zh) * 2018-02-28 2019-09-06 中国银联股份有限公司 基于转移概率网络的商户推荐方法及其系统
CN111079014A (zh) * 2019-12-17 2020-04-28 携程计算机技术（上海）有限公司 基于树结构的推荐方法、系统、介质和电子设备
CN113039562A (zh) * 2018-11-02 2021-06-25 微软技术许可有限责任公司 概率神经网络架构生成
CN117094614A (zh) * 2023-10-20 2023-11-21 深圳依时货拉拉科技有限公司 装卸货点位推荐方法、装置、计算机设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111542590A (zh) 2018-01-26 2020-08-14 宝洁公司 包含香料的水溶性单位剂量制品
CN110838020B (zh) * 2019-09-16 2023-06-23 平安科技（深圳）有限公司 基于向量迁移的推荐方法、装置、计算机设备及存储介质
CN110851708B (zh) * 2019-10-16 2023-11-03 中国平安人寿保险股份有限公司 负样本的抽取方法、装置、计算机设备和存储介质
CN111274791B (zh) * 2020-01-13 2023-08-18 江苏艾佳家居用品有限公司 一种线上家装场景下用户流失预警模型的建模方法
CN111507726B (zh) * 2020-04-07 2022-06-24 支付宝(杭州)信息技术有限公司 一种报文生成方法、装置及设备
CN111563827B (zh) * 2020-04-10 2023-08-04 杭州电子科技大学 基于电器物理特性及居民用电行为的负荷分解方法
CN114943486B (zh) * 2022-07-21 2022-11-01 浙江大学 基于磁控溅射设备使用效率最优的管理系统及其管理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205689A (zh) * 2015-08-26 2015-12-30 深圳市万音达科技有限公司 推荐商户的方法及系统
CN106408343A (zh) * 2016-09-23 2017-02-15 广州李子网络科技有限公司 一种基于bp神经网络的用户行为分析与预测的建模方法及其装置
CN106600347A (zh) * 2017-01-17 2017-04-26 中国科学院自动化研究所 一种基于多视角数据和循环网络构建序列预测模型的方法
CN106980989A (zh) * 2016-12-29 2017-07-25 中国银联股份有限公司 基于用户行为特性分析的商户推荐方法
US20170221474A1 (en) * 2016-02-02 2017-08-03 Mitsubishi Electric Research Laboratories, Inc. Method and System for Training Language Models to Reduce Recognition Errors
CN107563801A (zh) * 2017-08-23 2018-01-09 浙江大学城市学院 一种基于隐马尔可夫模型的消费者线下消费行为预测方法
CN107705155A (zh) * 2017-10-11 2018-02-16 北京三快在线科技有限公司 一种消费能力预测方法、装置、电子设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649774A (zh) * 2016-12-27 2017-05-10 北京百度网讯科技有限公司 基于人工智能的对象推送方法及装置
CN106951489A (zh) * 2017-03-13 2017-07-14 杭州师范大学 一种用于稀疏大数据的个性化推荐方法和装置
CN106886846A (zh) * 2017-04-26 2017-06-23 中南大学 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
CN108573399B (zh) * 2018-02-28 2022-03-18 中国银联股份有限公司 基于转移概率网络的商户推荐方法及其系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205689A (zh) * 2015-08-26 2015-12-30 深圳市万音达科技有限公司 推荐商户的方法及系统
US20170221474A1 (en) * 2016-02-02 2017-08-03 Mitsubishi Electric Research Laboratories, Inc. Method and System for Training Language Models to Reduce Recognition Errors
CN106408343A (zh) * 2016-09-23 2017-02-15 广州李子网络科技有限公司 一种基于bp神经网络的用户行为分析与预测的建模方法及其装置
CN106980989A (zh) * 2016-12-29 2017-07-25 中国银联股份有限公司 基于用户行为特性分析的商户推荐方法
CN106600347A (zh) * 2017-01-17 2017-04-26 中国科学院自动化研究所 一种基于多视角数据和循环网络构建序列预测模型的方法
CN107563801A (zh) * 2017-08-23 2018-01-09 浙江大学城市学院 一种基于隐马尔可夫模型的消费者线下消费行为预测方法
CN107705155A (zh) * 2017-10-11 2018-02-16 北京三快在线科技有限公司 一种消费能力预测方法、装置、电子设备及可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019165944A1 (zh) * 2018-02-28 2019-09-06 中国银联股份有限公司 基于转移概率网络的商户推荐方法及其系统
CN113039562A (zh) * 2018-11-02 2021-06-25 微软技术许可有限责任公司 概率神经网络架构生成
CN111079014A (zh) * 2019-12-17 2020-04-28 携程计算机技术（上海）有限公司 基于树结构的推荐方法、系统、介质和电子设备
CN111079014B (zh) * 2019-12-17 2024-02-09 携程计算机技术（上海）有限公司 基于树结构的推荐方法、系统、介质和电子设备
CN117094614A (zh) * 2023-10-20 2023-11-21 深圳依时货拉拉科技有限公司 装卸货点位推荐方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2019165944A1 (zh) 2019-09-06
CN108573399B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN108573399A (zh) 基于转移概率网络的商户推荐方法及其系统
CN106021364B (zh) 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
CN110781406B (zh) 一种基于变分自动编码器的社交网络用户多属性推断方法
CN102075352B (zh) 一种网络用户行为预测的方法和装置
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN109871532A (zh) 文本主题提取方法、装置及存储介质
CN109165720A (zh) 神经网络模型压缩方法、装置和计算机设备
CN112819604A (zh) 基于融合神经网络特征挖掘的个人信用评估方法与系统
CN111797321A (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN112000771B (zh) 一种面向司法公开服务的句子对智能语义匹配方法和装置
CN112138403B (zh) 交互行为的识别方法和装置、存储介质及电子设备
CN110286778A (zh) 一种中文深度学习输入法、装置及电子设备
CN109816438A (zh) 信息推送方法及装置
CN110033089A (zh) 基于分布式估计算法的深度神经网络参数优化方法及系统
CN107025228A (zh) 一种问题推荐方法及设备
CN116451553A (zh) 一种改进的变分模态分解与BiGRU融合的水质预测方法
CN110502701B (zh) 引入注意力机制的好友推荐方法、系统和存储介质
CN116107279A (zh) 基于注意力深度神经网络的流程工业能耗多目标优化方法
CN111310918A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN110297897A (zh) 问答处理方法及相关产品
CN113011091A (zh) 一种自动分组的多尺度轻量型深度卷积神经网络优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant