CN117076768A - 一种面向个人和群体的行为互联网建模与预测推荐方法 - Google Patents
一种面向个人和群体的行为互联网建模与预测推荐方法 Download PDFInfo
- Publication number
- CN117076768A CN117076768A CN202311012252.1A CN202311012252A CN117076768A CN 117076768 A CN117076768 A CN 117076768A CN 202311012252 A CN202311012252 A CN 202311012252A CN 117076768 A CN117076768 A CN 117076768A
- Authority
- CN
- China
- Prior art keywords
- behavior
- user
- relation
- behaviors
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000006399 behavior Effects 0.000 claims abstract description 334
- 230000001364 causal effect Effects 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000003542 behavioural effect Effects 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 241000677647 Proba Species 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 3
- 230000009471 action Effects 0.000 description 8
- 238000012552 review Methods 0.000 description 6
- 238000005311 autocorrelation function Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向个人和群体的行为互联网建模与预测推荐方法，所述方法包括如下步骤：步骤1：建立基于超图的行为互联网行为偏好模型；步骤2：基于步骤1的模型抽取行为之间的关系；步骤3：基于步骤2的行为关系发现用户的行为模式；步骤4：基于步骤2的行为关系和步骤3的行为模式预测用户的行为趋势；步骤5：基于步骤2、步骤3、步骤4为用户进行个性化的服务推荐。本发明提出了行为互联网的模型，通过因果推断和关系发现得到个性化行为互联网，并利用基于外部知识的深度学习方法进行推荐，提高了对于个体和群体的推荐效率和效果，克服了传统的基于深度学习的推荐方法难以充分利用个性化知识的缺点，实现了服务的个性化高效推荐。
Description
技术领域
本发明属于服务推荐领域，涉及一种面向个人和群体的行为互联网建模与预测推荐方法。
背景技术
随着计算机技术、网络技术和传感技术的发展，物联网(IoT)广泛地应用在了许多领域，并且IoT设备(例如传感器，制动器、摄像头等)已无处不在，通过物联网设备收集的用户行为数据构造个人和群体的行为互联网，从而利用行为互联网进行针对个人用户和群体用户的行为预测和服务推荐。现有的方法难以针对不同个体和群体有效地利用个性化数据进行行为预测和服务推荐。
发明内容
为了解决传统基于深度学习的推荐方法难以充分利用个性化知识的缺点，本发明提供了一种面向个人和群体的行为互联网建模与预测推荐方法。
本发明的目的是通过以下技术方案实现的：
一种面向个人和群体的行为互联网建模与预测推荐方法，包括如下步骤：
步骤1：建立基于超图的行为互联网行为偏好模型N＝(B，E)，其中：B表示IoB中的节点，E表示节点之间的边，即行为之间的关系；
若两个行为之间存在普通关系，则会形成一个三元组<b1，e，b2>，表示行为1和行为2之间形成了关系e，两个行为来自不同的人i和j，他们的行为互联网分别为Ni和Nj，行为bi1∈Ni，行为bj1∈Nj，这时，构成的三元组为<bi1，e，bj1>；
若多个行为之间存在超关系，则会形成由超图的方式所表示的关联矩阵存储所有超关系所关联的行为节点，相应的超关系关联矩阵表达为：
其中，u为IoB中所有行为节点的数量，n为IoB中所有超关系的数量，若mij＝1，则表示超关系j关联了行为i，否则，超关系j与行为i没有关联；
步骤2：基于步骤1的模型抽取行为之间的关系，其中：关于普通边生成，通过关系挖掘的手段实现，在学习的过程中增强有关联的行为，过滤掉没有关联的行为，得到的关系矩阵元素的取值为0或1，矩阵表示为：
其中，TB为IoB系统涉及到的行为类型；
关系矩阵Mr转化成一张图，这张图表示用户抽象维度的IoB，表示用户行为类型之间的关系；
在抽象IoB的基础上，通过可解释的机器学习逐个分析行为实例，将行为实例连接起来构成一张具体的IoB；
步骤3：基于步骤2的行为关系发现用户的行为模式，具体步骤如下：
根据用户不同时刻更新得到的关系矩阵作为输入，通过分析关系矩阵的演化历史，将用户一段时间内的行为模式根据以下规则分为五类：
1、若用户的行为关系无明显演化，则为稳定模式；
2、若用户的行为关联倾向持续增长，则为膨胀模式；
3、若用户的行为关联倾向持续降低，则为衰减模式；
4、若用户的行为关系周期性演化，则为周期模式；
5、若用户的行为关系演化无明显模式，则为波动模式。
上述过程定义为：
Mp＝C(Mr)
其中C是模式分类算法，推理出每个行为关系mr行为模式mp；Mp为行为模式矩阵；
步骤4：基于步骤2的行为关系和步骤3的行为模式预测用户的行为趋势，即预测用户未来的个性化行为关系，具体步骤如下：
IoB处在一个不断更新的状态，每次更新时都会有新的行为节点产生，并在不破坏已有的网络结构基础上生成新的行为关系，从而生成一个包含了用户最新行为偏好的行为互联网Nt，t为更新时刻，每次更新IoB产生的快照作为序列SN＝{N1，N2，...，Nt}，用于预测下一时刻的行为关系矩阵
步骤5：基于步骤2、步骤3、步骤4为用户进行个性化的服务推荐，具体步骤如下：
步骤51：利用行为普通关系进行服务推荐
对于基于普通关系的服务推荐定义如下：
其中，Rn为推荐算法，HB为群体用户历史行为，s为推荐的服务，即预测的个体行为所绑定的服务；
步骤52：利用行为共同关系进行服务推荐
对于超关系中的共同关系的服务推荐定义如下：
其中，Rj为推荐算法，Mi为当前时刻的超关系关联矩阵；
步骤53：利用行为配合关系进行服务推荐
基于配合关系的服务推荐定义如下：
其中，Rc为推荐算法，O为用户群体所追求的目标。
相比于现有技术，本发明具有如下优点：
本发明提出了行为互联网的模型，通过因果推断和关系发现得到个性化行为互联网，并利用基于外部知识的深度学习方法进行推荐，提高了对于个体和群体的推荐效率和效果，克服了传统的基于深度学习的推荐方法难以充分利用个性化知识的缺点，实现了服务的个性化高效推荐。
附图说明
图1为面向个人和群体的行为互联网建模与预测推荐流程图；
图2为个人场景下的行为互联网模型示意图；
图3为适用于个人和群体的行为互联网模型示意图；
图4为行为互联网构建更新示意图；
图5为行为互联网的抽象形式与具体形式示意图；
图6为序列推荐模型优化示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种面向个人和群体的行为互联网建模与预测推荐方法，如图1所示，所述方法包括如下步骤：
步骤1：建立基于超图的行为互联网行为偏好模型。
心理学研究表明之所以人的行为总是有逻辑可言，是因为行为被一系列潜在的行为模式所控制。人的行为逻辑往往关联着多个行为，挖掘出行为之间的关系有利于提高面向行为的服务推荐的效率和精度。同时，人的行为不只与自己的行为产生关联，也会与其他人的行为形成群体关联。利用超图的表示形式描述行为互联网可以表示出个人关系和群体关系，从而清晰地刻画这些特点。
本步骤中，基于超图的行为互联网行为偏好模型定义如下：N＝(B，E)，其中：
B＝{b1，b2，...，bu}表示IoB中的节点，b＝{behaviorType，ctx，ctn，s}；behaviorType表示行为类型；ctx表示行为B发生时的上下文；ctn表示行为B发生的内容，即用户读取或生成的服务资源和信息；s∈S表示行为bi所绑定的服务。
E＝{e1，e2，...，ev}表示节点之间的边，即行为之间的关系。e＝<st，proba，ctx>，其中，st为关系的具体类型，取值范围为{sequential，causal，context，joint，collaborative}；proba指的是两个行为之间的转移概率，即当前行为发生之后，某个行为发生的概率；ctx指的是行为所依附的上下文属性，当st为context时，该属性存在。
上述各参数的定义如表1所示：
表1
在全局的行为互联网之内，可以存在子网，粒度最小的为一个人的行为互联网，如图2的Nt所示，用户的行为关联只发生在自己的IoB范围内；每个人的行为互联网之间可以通过群体关系相互关联，如图2的Nt所示，多个用户的行为之间可以产生关联，普通的边可以连接两个行为，超边则可以连接多个行为，从而共同构成群体IoB的关系集合。两个或多个行为行可以存在关系。只在两个行为之间发生的关系有：时序关系、因果关系、上下文关系，统称为普通关系；可以在多个行为之间发生的关系为共同关系和配合关系，统称为超关系。
若两个行为之间存在普通关系，则会形成一个三元组<b1，e，b2>，表示行为1和行为2之间形成了关系e。两个行为可以来自不同的人i和j，他们的行为互联网分别为Ni和Nj，行为bi1∈Ni，行为bj1∈Nj。这时，构成的三元组为<bi1，e，bj1>。如图3所示，中的e3连接了同一个用户i1的两个行为b4和b6，而e4则连接了不同用户i1和i2的两个行为b6和b7。
两个以上的行为可以由超边(Hyperedge)连接，构成超关系，如图2所示，的e1关联了三个用户的三个行为b1，b2和b3。若多个行为之间存在超关系，则会形成由超图的方式所表示的关联矩阵/>存储了所有超关系所关联的行为节点。相应的超关系关联矩阵可表达为：
其中，u为IoB中所有行为节点的数量，n为IoB中所有超关系的数量，若mij＝1，则表示超关系j关联了行为i，否则，超关系j与行为i没有关联。
IoB会随着新的行为数据的导入而更新网络，每次更新时，在不破坏已有的网络结构基础上生成新的行为关系，从而生成一个包含了用户最新行为偏好的行为互联网。如图4所示，和/>为两个时刻的行为互联网，更新算法输入为/>和b8输出为/> 在结构上，只比/>多了一个节点b8和两个边e5和e6。
这样，行为由图的节点刻画，普通行为关系由普通边刻画，超行为关系由超边刻画，不同的行为类型和行为关系由不同形式的节点和边表示。同时，时序信息由下面的时间轴表示，这样使时序关系自然地存在于IoB中，不需要经过挖掘就可以得到。IoB有许多快照，通过分析这些快照，可以得到用户的行为特征，从而支持下游任务的进行。
步骤2：基于步骤1的模型抽取行为之间的关系。
行为的发生与人的意图有关，基于时序或因果的关系推断算法可以利用用户的历史行为记录发现潜在的行为关系，从而构建用户的行为关系矩阵链，以支持用户行为模式和趋势的挖掘。
本步骤中，具体分为两部分：节点生成与边生成。关于节点生成和超关系生成，需要研究人员根据特定场景按照特定规则去识别，该识别方法可以是任意的，可以是已有的行为识别算法，也可以是按照开发者制定简单规则识别(例如认为个体在上课时间位于教室就是“上课”行为)。这里不是核心内容。
关于普通边生成，一般通过关系挖掘的手段实现，本过程采用了基于循环神经网络和Notears算法来挖掘普通关系，其核心是增强过滤的思想，在学习的过程中增强有关联的行为，过滤掉没有关联的行为。其中循环神经网络可以使用长短期记忆网络(LSTM)或门控循环单元(GRU)，关于Notears算法，本过程将结构方程模型(SEM)优化为以下目标：
计算损失函数时，仍考虑约束：
算法的输入为一个行为主体一段时间内产生的行为历史HB(将HB进行编码，使其包含行为类型、上下文和内容，按时序排列)，输出为关系矩阵元素的取值为0或1，矩阵可表示为：
其中TB为IoB系统涉及到的行为类型，因此关系矩阵Mr表示了行为类型之间的关联关系，例如mij表示了i类行为与j类行为的关联性，若这里的关系为因果关系，则Mij表示了i类行为的发生导致j类行为发生的可能性。
关系矩阵Mr本质上是一个邻接矩阵，可以转化成一张图，这张图表示了用户抽象维度的IoB，表示了用户行为类型之间的关系。如图5所示，抽象层面的IoB描述了用户不同类型行为之间的潜在关系，侧重于推理，其中每个节点表示一类行为。具体层面的IoB解释了行为实例之间的关联关系，侧重于解释，其中每个节点表示一个行为。
在抽象IoB的基础上，需要通过可解释的机器学习逐个分析行为实例，将行为实例连接起来构成一张具体的IoB。本过程使用了Shap工具，它可以解释模型的预测结果，该方法基于博弈论中的Shapley值，计算每个特征对预测结果的贡献。本方法再利用特征的对结果的贡献去判断该样本是否对目标的预测产生了足够积极/消极的影响。具体来说，我们需要先训练出一个足够好的(评价指标接近SOTA或超过SOTA)的机器学习模型，以确保可解释的基础是相对正确的。然后使用可解释方法解释该模型的每个输入，若1)输入的实例在模型输出端得到的权重值大于某个阈值，并且2)该实例所代表的行为类型之间的关联性大于某个阈值时，可以认为这一组实例之间存在关联。完成这个过程后，我们就可以在抽象IoB的基础上得到一个具体的IoB。
步骤3：基于步骤2的行为关系发现用户的行为模式。
用户在一段时间内的行为特征可能是不同的，但往往有规律可循，我们将其挖掘并刻画为行为模式。用户的行为模式表现了一段时间内用户处于不同行为时的转移特征，用户处于不同模式下具有不同的行为稳定性和可预测性，在稳定模式、膨胀模式和衰减模式下用户的行为更容易预测，预测结果的可信度就更高，反之则行为更难预测，可信度也更低。因此，行为模式的总结和发现可以提高趋势预测和行为预测的可信度和准确性。
本步骤中，使用IoB中的行为关系发现用户的行为模式。根据用户不同时刻更新得到的关系矩阵作为输入，通过分析关系矩阵的演化历史，将用户一段时间内的行为模式根据以下规则分为五类：
1、若用户的行为关系无明显演化，则为稳定模式；
2、若用户的行为关联倾向持续增长，则为膨胀模式；
3、若用户的行为关联倾向持续降低，则为衰减模式；
4、若用户的行为关系周期性演化，则为周期模式；
5、若用户的行为关系演化无明显模式，则为波动模式。
上述过程可定义为：
Mp＝C(Mr)
其中C是模式分类算法，推理出每个行为关系mr行为模式mp；为行为模式矩阵，可表示为：
矩阵元素mp∈{稳定，膨胀，衰减，周期，波动}。
本过程的模式分类算法C使用自相关函数去判断周期性，使用基于ACF(自相关函数)和Mann-Kendall算法的检测趋势算法，利用ACF和Mann-Kendall算法分别进行周期和趋势检测。算法的输入为关系矩阵序列以及ACF有效周期、置信度阈值和平稳容错等参数，算法输出输入序列的行为模式。
步骤4：基于步骤2的行为关系和步骤3的行为模式预测用户的行为趋势，即预测用户未来的个性化行为关系。
基于行为关系，建立由多个更新时刻的行为关系矩阵构成的序列，得到一组用户的行为特征变化历史，预测性地构造用户在下一时刻的行为特征，以支持用户行为的预测以及服务推荐。
如图4所示，IoB处在一个不断更新的状态，每次更新时都会有新的行为节点产生，并在不破坏已有的网络结构基础上生成新的行为关系，从而生成一个包含了用户最新行为偏好的行为互联网Nt，t为更新时刻。每次更新IoB产生的快照可以作为序列SN＝{N1，N2，...，Nt}，用于预测下一时刻的行为关系矩阵
IoB本质上是一张异构图，因此可以利用图的演化预测算法完成这一步。为了从时序数据中自适应地捕获变量之间的空间关系，本过程采用以下步骤进行学习：
(1)首先利用HAN(异构图注意力网络)对IoB节点进行处理得到其特征表示：
vi＝HAN(N，i)
其中，vi为节点i的特征表示，N为IoB网络。
(2)使f(vi，vj)表示为行为节点i和节点j之间的链接分数，f可以通过下式实现：
(3)通过Sigmoid函数得到连接概率：
p(i，j)＝Sigmoid(f(vi，vj))
其中，p(i，j)表示节点i和j之间的存在关系的概率。
步骤5：基于步骤2、步骤3、步骤4为用户进行个性化的服务推荐。
用户行为非常复杂且高度个性化，在考虑个性化推荐的同时也有更高的推荐精度，因此用户行为的预测需要综合行为关系、行为模式和行为趋势对用户的行为进行推荐。
本步骤中，利用用户行为关系、行为趋势和行为模式共同进行服务推荐，具体步骤如下：
步骤51：利用行为普通关系进行服务推荐
对于基于普通关系的服务推荐，在一个序列推荐模型的结构上进行修改，添加一个关系利用组件，使之可以利用行为关系趋势作为外部知识提高推荐的精度，对于基于普通关系的服务推荐可定义如下：
其中，Rn为推荐算法，HB为用户历史行为，s为推荐的服务(即预测的个体行为所绑定的服务)。
以BERT4Rec为例，利用行为普通关系进行服务推荐的具体步骤如下：
步骤511：按照一定规则对Mr和Mp做哈达玛积，使每个行为关系符合对应的行为模式：
Mr＝Mr⊙map(MP)
其中，map为映射方法，可以将不同模式转化为不同的权重。
步骤512：本过程以BERT4Rec算法为基础在其结构上进行改进，原始BERT4Rec模型中，最后一层Transformer中对应时刻t的输出再经过映射层得到预测结果，但这样并未考虑到前面时刻的预测结果对于t时刻的预测结果的影响，因为两个因果行为跨越了一段不确定的时间，因此本过程在最后一层Transformer后增加了一个行为关系利用层，将时刻1到时刻t的Transformer层输出都作为输入，根据这t个时刻对于目标物品的预测结果选择因果矩阵Mr中的因果值与原始输出相乘，增强具有行为关系的输入，过滤掉没有行为关系的输入，最后将行为关系利用层的输出作为映射层的输入。具体改进如图6所示，利用行为关系的模型的右侧方框中的运算逻辑为：
即原始输入加上自身与时间衰减系数和关系指数的乘积，时间衰减系数可以任意指定，只要满足需求且符合距当前越久的行为对当前行为的影响越小的原则即可，本过程采用了分式形式的衰减系数，影响程度呈线性下降。
步骤52：利用行为共同关系进行服务推荐
对于超关系中的共同关系的服务推荐可定义如下：
其中，Rj为推荐算法，HB为群体用户历史行为，s为推荐的服务，Mi为当前时刻的超关系关联矩阵。
利用行为共同关系进行服务推荐的具体步骤如下：
步骤521：通过HB和Mi找出所有该群体涉及到的历史共同关系集合。
步骤522：在历史共同关系集合中找到频繁出现在同一个超关系的(子)群体，认为他们是在共同行为上具有相似倾向用户。
步骤523：根据目标用户的相似用户行为为用户推荐。
本过程采用了协同过滤的方法处理共同关系，通过用户对用户行为历史进行分析，将行为和用户聚成几类，从各自的类中挑选出用户可能发生的的行为进行推荐，而代替从直接从大量行为中筛选，缩小目标范围，简化计算。
步骤53：利用行为配合关系进行服务推荐
基于配合关系的推荐是一个优化问题，基于行为配合关系的服务推荐可定义如下：
其中，Rc为推荐算法，HB为群体用户历史行为，O为用户群体所追求的目标，s为推荐的服务，Mi为当前时刻的超关系关联矩阵。
根据目标群体和目标需求，设计出一套满足最大化/最小化目标的群体推荐方案，将方案中的群体行为拆分为个人行为推荐给目标用户群体。
本过程以Github问题解决(Issue/Pull request)流程为例，把多个开发者共同解决问题的过程认为是配合行为，不同行为体现了潜在的职责。因此我们将群体行为的目标依据设置为Pull request是否成功合并，通过统计历史数据，我们可以分析出：
1、不同开发者发生不同行为行为参与到的pull request是否成功，从而推理出每个开发者擅长的行为/职责，并给予相应权重。
其中，wb为开发者对于行为b的擅长度，Vb是开发者以行为b参与的所有pullrequest，suc为统计pull request成功合并的数目，α为因子计算算法，可根据Vb对整体权重进行调节，例如Vb数目越少则调节因子越小，反之则越大。
2、不同开发者参与到不同标签的pull request是否成功，从而推理出每个开发者擅长处理的issue类型，并给予相应权重。
这里，wt为开发者对于标签t的擅长度，Vt是开发者参与的所有标签为t的pullrequest，suc为统计pull request成功合并的数目。
根据以上数据，我们将问题解决行为的优化目标设置为最大化Issue成功解决的概率：
其中，p是基于统计的概率计算算法，s是上面式子的参数，g为待选择的用户群体。
因此当再次有Issue被提出时，通过分析以上数据，通过最大化成功解决概率，可以为多个人分配多个行为，从而实现群体行为的推荐。
本方法可以应用在几乎所有支持物联网设备并追踪用户行为的场景中，以Github问题解决(Issue/Pull request)流程为例，接下来给出本方法的推荐实例：
不同开发者在Github平台上有多种行为，包括但不限于：创建讨论、创建pr(pullrequest)，添加标签、移除标签、提及、分配任务、合并分支、重新开放讨论、关闭讨论、请求审查、审查代码、锁定、讨论等行为。
针对个人场景，开发者作为个人具有自己独立的行为互联网，记录着开发者在平台上所有的行为，通过分析得到行为之间的关系，例如开发者的“讨论”行为总是发生在“创建讨论”行为之后(基于时序关系)，开发者的“分配任务”行为倾向于导致“合并分支”行为的发生(基于因果关系)，开发者的“添加标签”行为只有在“facebook/react”项目下才会导致“关闭讨论”行为的发生(基于上下文关系)。以上行为关系可能具有不同的行为模式，通过分析获得这些关系的行为模式，例如开发者的“讨论”行为总是发生在“创建讨论”行为之后为稳定模式，开发者的“分配任务”行为倾向于导致“合并分支”行为的发生为膨胀模式。接着根据历史行为关系预测下一时刻的行为关系变化趋势，例如下一时刻开发者的“添加标签”行为只有在“facebook/react”项目下才会导致“关闭讨论”行为的发生的关系的转移概率从0.8降低到0.2，开发者的“讨论”行为总是发生在“创建讨论”行为之后的转移概率保持为0.75不变。最后利用预测的行为趋势为用户进行推荐，例如开发者在过去12小时内产生的行为序列为：[“创建讨论”、“讨论”、“讨论”、“添加标签”、“创建pr”，“讨论”、“添加标签”、“提及”、“讨论”、“分配任务”、“请求审查”，“讨论”、“合并分支”、“讨论”]，根据IoB预测出的行为趋势，为该用户推荐时会将行为序列输入到改进的模型中(例如基于BERT4Rec改进的模型)，将行为趋势作为行为关系利用模块的部分输入，模型预测接下来用户可能会发生“关系讨论”行为，因此IoB系统为用户推荐“关闭讨论”行为所绑定的“关闭讨论”服务。
针对群体场景，开发者们可以作为一个开发团队在一个项目中共同开发，一个开发者群体的行为构成了一个群体IoB。假设现在有开发者群体g＝1,2,3,4,5,…,20}，一共20位开发者，其中每个开发者均有属于自己的IoB，他们的IoB共同构成了群体IoB。
对于基于共同行为关系的推荐，现在根据共同关系为开发者1推荐服务，通过分析该群体的历史行为，发现开发者{2,3,5,7,11,19}与开发者1经常共同参与行为“讨论”，“审查”和“分配任务”，因此认为他们在这三类行为上具有相似性，并且开发者{2,3,7,11,19}在过去一段时间内被分配了问题a(分配行为)，因此基于共同关系，可以为开发者1推荐“分配任务”行为所绑定“任务接受”服务。
对于基于配合行为关系的推荐，开发者参与的pr被成功合并的比例被认为是衡量开发者解决问题能力的重要因素。现有一个新pr被创建，其标签为“样式调整”和“紧急任务”，这一过程中需要“讨论”、“分配任务”、“审查代码”、“合并”等行为共同完成pr的流程，因此需要计算20位开发者对于当前任务的解决问题能力：
1)针对基于标签为“样式调整”的任务，计算20位开发者的擅长值；
2)针对基于标签为“紧急任务”的任务，计算20位开发者的擅长值；
3)分别针对“讨论”、“分配任务”、“审查代码”、“合并”等行为，计算20位开发者的擅长值；
将上述过程1和过程2得到的擅长值分别与不同行为的对应权重相乘后再相加，以“讨论”行为为例：
y讨论＝v讨论+v样式调整*w讨论,样式调整+v紧急任务*w讨论,紧急任务
通过分别对四类行为的擅长能力计算，按照各行为需求数目，得到四类任务的候选推荐人：
1)讨论：[2,8,16]；
2)分配任务：[3]；
3)审查代码：[15,16]；
4)合并：[1]。
因此为开发者2和8推荐“评论”服务，为开发者16推荐“评论”和“审查”服务，为开发者3推荐“任务分配”服务，为开发者15推荐“代码审查”服务，为开发者1推荐“分支合并”服务。
Claims (10)
1.一种面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述方法包括如下步骤：
步骤1：建立基于超图的行为互联网行为偏好模型；
步骤2：基于步骤1的模型抽取行为之间的关系；
步骤3：基于步骤2的行为关系发现用户的行为模式；
步骤4：基于步骤2的行为关系和步骤3的行为模式预测用户的行为趋势，即预测用户未来的个性化行为关系；
步骤5：基于步骤2、步骤3、步骤4为用户进行个性化的服务推荐。
2.根据权利要求1所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤1中，基于超图的行为互联网行为偏好模型N＝(B，E)，其中：B表示IoB中的节点，E表示节点之间的边，即行为之间的关系；
若两个行为之间存在普通关系，则会形成一个三元组<b1，e，b2>，表示行为1和行为2之间形成了关系e，两个行为来自不同的人i和j，他们的行为互联网分别为Ni和Nj，行为bi1∈Ni，行为bj1∈Nj，这时，构成的三元组为<bi1，e，bj1>；
若多个行为之间存在超关系，则会形成由超图的方式所表示的关联矩阵存储所有超关系所关联的行为节点，其中，u为IoB中所有行为节点的数量，n为IoB中所有超关系的数量。
3.根据权利要求2所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述B＝{b1，b2，...，bu}，b＝{behaviorType，ctx，ctn，s}；behaviorType表示行为类型；ctx表示行为B发生时的上下文；ctn表示行为B发生的内容，即用户读取或生成的服务资源和信息；s∈S表示行为bi所绑定的服务，S表示行为所绑定的服务的集合，u表示IoB系统中行为节点的数目；E＝{e1，e2，...，ev}，e＝<st，proba，ctx>，其中，st为关系的具体类型，取值范围为{sequential，causal，context，joint，collaborative}；proba指的是两个行为之间的转移概率，即当前行为发生之后，某个行为发生的概率；ctx指的是行为所依附的上下文属性，当st为context时，该属性存在；v表示IoB系统中行为关系的数目；关联矩阵Mi表达为：
其中，若mij＝1，则表示超关系j关联了行为i，否则，超关系j与行为i没有关联。
4.根据权利要求1所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤2中，关于普通边生成，通过关系挖掘的手段实现，在学习的过程中增强有关联的行为，过滤掉没有关联的行为，得到的关系矩阵元素的取值为0或1，TB为IoB系统涉及到的行为类型；关系矩阵Mr转化成一张图，这张图表示用户抽象维度的IoB，表示用户行为类型之间的关系；在抽象IoB的基础上，通过可解释的机器学习逐个分析行为实例，将行为实例连接起来构成一张具体的IoB。
5.根据权利要求1所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤3的具体步骤如下：
根据用户不同时刻更新得到的关系矩阵作为输入，通过分析关系矩阵的演化历史，将用户一段时间内的行为模式根据以下规则分为五类：
1、若用户的行为关系无明显演化，则为稳定模式；
2、若用户的行为关联倾向持续增长，则为膨胀模式；
3、若用户的行为关联倾向持续降低，则为衰减模式；
4、若用户的行为关系周期性演化，则为周期模式；
5、若用户的行为关系演化无明显模式，则为波动模式。
上述过程定义为：
Mp＝C(Mr)
其中C是模式分类算法，推理出每个行为关系mr行为模式mp；Mp为行为模式矩阵。
6.根据权利要求1所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤4的具体步骤如下：
IoB处在一个不断更新的状态，每次更新时都会有新的行为节点产生，并在不破坏已有的网络结构基础上生成新的行为关系，从而生成一个包含了用户最新行为偏好的行为互联网Nt，t为更新时刻，每次更新IoB产生的快照作为序列SN＝{N1，N2，...，Nt}，用于预测下一时刻的行为关系矩阵
7.根据权利要求1所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤5的具体步骤如下：
步骤51：利用行为普通关系进行服务推荐
对于基于普通关系的服务推荐定义如下：
其中，Rn为推荐算法，HB为群体用户历史行为，s为推荐的服务，即预测的个体行为所绑定的服务；
步骤52：利用行为共同关系进行服务推荐
对于超关系中的共同关系的服务推荐定义如下：
其中，Rj为推荐算法，Mi为当前时刻的超关系关联矩阵；
步骤53：利用行为配合关系进行服务推荐
基于配合关系的服务推荐定义如下：
其中，Rc为推荐算法，O为用户群体所追求的目标。
8.根据权利要求7所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤51的具体步骤如下：
步骤511：对Mr和Mp做哈达玛积，使每个行为关系符合对应的行为模式：
Mr＝Mr⊙map(MP)
其中，map为映射方法，可以将不同模式转化为不同的权重；
步骤512：在BERT4Rec模型最后一层Transformer后增加一个行为关系利用层，将时刻1到时刻t的Transformer层输出都作为输入，根据这t个时刻对于目标物品的预测结果选择因果矩阵Mr中的因果值与原始输出相乘，增强具有行为关系的输入，过滤掉没有行为关系的输入，最后将行为关系利用层的输出作为映射层的输入。
9.根据权利要求7所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤52的具体步骤如下：
步骤521：通过HB和Mi找出所有该群体涉及到的历史共同关系集合；
步骤522：在历史共同关系集合中找到频繁出现在同一个超关系的(子)群体，认为他们是在共同行为上具有相似倾向用户；
步骤523：根据目标用户的相似用户行为为用户推荐。
10.根据权利要求7所述的面向个人和群体的行为互联网建模与预测推荐方法，其特征在于所述步骤53的具体步骤如下：根据目标群体和目标需求，设计出一套满足最大化/最小化目标的群体推荐方案，将方案中的群体行为拆分为个人行为推荐给目标用户群体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311012252.1A CN117076768A (zh) | 2023-08-11 | 2023-08-11 | 一种面向个人和群体的行为互联网建模与预测推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311012252.1A CN117076768A (zh) | 2023-08-11 | 2023-08-11 | 一种面向个人和群体的行为互联网建模与预测推荐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076768A true CN117076768A (zh) | 2023-11-17 |
Family
ID=88716352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311012252.1A Pending CN117076768A (zh) | 2023-08-11 | 2023-08-11 | 一种面向个人和群体的行为互联网建模与预测推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076768A (zh) |
-
2023
- 2023-08-11 CN CN202311012252.1A patent/CN117076768A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230259771A1 (en) | Automatic xai (autoxai) with evolutionary nas techniques and model discovery and refinement | |
| Huang et al. | Applying fuzzy neural network to estimate software development effort | |
| Chen et al. | A SA‐ANN‐based modeling method for human cognition mechanism and the PSACO cognition algorithm | |
| Worden et al. | A brief introduction to recent developments in population-based structural health monitoring | |
| CN114898121A (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
| Daiya et al. | Stock movement prediction that integrates heterogeneous data sources using dilated causal convolution networks with attention | |
| CN116562370A (zh) | 一种基于应急知识图谱的突发公共卫生事件情景推演方法 | |
| CN112580902A (zh) | 对象数据处理方法、装置、计算机设备和存储介质 | |
| CN118013135B (zh) | 基于关系图卷积神经网络的图对比学习推荐方法 | |
| Firouzian et al. | Investigation of the effect of concept drift on data-aware remaining time prediction of business processes | |
| Murugiah et al. | A design of predictive manufacturing system in IoT‐assisted Industry 4.0 using heuristic‐derived deep learning | |
| Li et al. | Symbolic expression transformer: A computer vision approach for symbolic regression | |
| Wang et al. | The criticality of spare parts evaluating model using artificial neural network approach | |
| Mohanty et al. | The application of intelligent and soft-computing techniques to software engineering problems: a review | |
| CN114239732A (zh) | 有序分类标签确定方法、装置、电子设备及存储介质 | |
| Hodjat et al. | PRETSL: Distributed probabilistic rule evolution for time-series classification | |
| Qin et al. | Remaining useful life prediction using temporal deep degradation network for complex machinery with attention-based feature extraction | |
| Praynlin et al. | Performance analysis of software effort estimation models using neural networks | |
| Asmita et al. | Review on the architecture, algorithm and fusion strategies in ensemble learning | |
| Gupta et al. | From knowledge discovery to computational intelligence: A framework for intelligent decision support systems | |
| CN116386815A (zh) | 基于最大团算法的中医药方推荐方法 | |
| CN117076768A (zh) | 一种面向个人和群体的行为互联网建模与预测推荐方法 | |
| CN115409217A (zh) | 一种基于多专家混合网络的多任务预测性维护方法 | |
| Pattnaik et al. | A survey on machine learning techniques used for software quality prediction | |
| Tsopze et al. | Towards a generalization of decompositional approach of rule extraction from multilayer artificial neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |