CN110956511A - 商品推荐方法、装置、设备与计算机可读存储介质 - Google Patents

商品推荐方法、装置、设备与计算机可读存储介质 Download PDF

Info

Publication number
CN110956511A
CN110956511A CN201911423988.1A CN201911423988A CN110956511A CN 110956511 A CN110956511 A CN 110956511A CN 201911423988 A CN201911423988 A CN 201911423988A CN 110956511 A CN110956511 A CN 110956511A
Authority
CN
China
Prior art keywords
vertex
commodity
user
interactive connection
target user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911423988.1A
Other languages
English (en)
Inventor
要卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911423988.1A priority Critical patent/CN110956511A/zh
Publication of CN110956511A publication Critical patent/CN110956511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种商品推荐方法，包括：基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。本发明还公开了一种商品推荐装置、设备和计算机可读存储介质。本发明通过预构建的二分网络图，在预测目标用户顶点与备选商品顶点的互动概率时，将负向互动连接也考虑进去，使得推荐的商品更加精准，提高了推荐精度，实现智能推荐。

Description

商品推荐方法、装置、设备与计算机可读存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及商品推荐方法、装置、设备与计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，推荐技术也不例外，但由于金融行业的安全性、实时性要求，也对推荐技术提出了更高的要求。
传统的推荐方案是将热度较高的商品推荐给用户，此种粗糙的推荐方案会使得所有的用户都会得到相同的推荐列表，无法根据用户个人身份、年龄和兴趣等的差异来进行有针对性的推荐，使得推荐结果并不准确。
在现有技术中，为避免上述情况，一般采用基于网络结构的推荐方法来推荐更加贴合用户的商品，基于网络结构的推荐算法不考虑用户和商品的内容特征，仅把用户和商品看作抽象节点，通过节点间信息的相互传递来确定用户节点与所有商品的联系，因此可得到较为可靠的推荐结果。
然而，目前基于网络结构推荐算法仅考虑了用户与产品的正向互动信息，而忽略了一些负向互动信息。例如在电影推荐中仅考虑高分评价的正向互动信息，而忽略了低分评价的负向互动信息；又如在电商平台中，仅考虑了用户的购买行为，而未考虑浏览行为等，这使得现有基于网络结构的推荐方法虽然可靠，但还不够精确。
发明内容
本发明的主要目的在于提出一种商品推荐方法、装置、设备与计算机可读存储介质，旨在提高推荐精度，实现智能推荐。
为实现上述目的，本发明提供一种商品推荐方法，所述商品推荐方法包括如下步骤：
基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；
基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户顶点对应的终端。
优选地，所述预设函数包括概率函数，所述基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率的步骤包括：
基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度，所述相似用户顶点用于表征除所述目标用户顶点外的用户顶点；
确定所述相似用户顶点与备选商品顶点的相似互动连接；
基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
优选地，所述基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度的步骤包括：
基于所述二分网络图，确定所述商品顶点的商品总数，并确定与所述目标用户顶点有正向互动连接的第一商品数，以及与所述目标用户顶点有负向互动连接的第二商品数；
遍历确定与所述商品顶点有正向互动连接的第一用户数，以及与所述商品顶点有负向互动连接的第二用户数；
遍历确定所述目标用户顶点与所述商品顶点是否有第一正向互动连接和第一负向互动连接；
遍历确定所述相似用户顶点与所述商品顶点是否有第二正向互动连接和第二负向互动连接；
基于所述商品总数、所述第一商品数、所述第二商品数、所述第一用户数、所述第二用户数、所述第一正向互动连接、所述第一负向互动连接、所述第二正向互动连接、所述第二负向互动连接和相似度函数，计算所述目标用户顶点和所述相似用户顶点的相似度。
优选地，所述基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度的步骤之前，所述商品推荐方法还包括：
基于N折交叉验证，将所述用户顶点、所述商品顶点，以及所述互动连接，随机分为训练集和测试集；
基于所述训练集、所述测试集和预设初始相似度函数，训练得到权重参数；
将所述权重参数代入所述初始相似度函数中，以得到所述相似度函数。
优选地，所述基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率的步骤包括：
遍历确定所述相似用户顶点与所述备选商品顶点是否有第三正向互动连接；
将所述相似度和所述第三正向互动连接，代入所述概率函数中，以确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
优选地，所述预设函数包括迭代函数，所述基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率的步骤包括：
基于所述二分网络图，遍历确定与所述备选商品顶点存在互动连接的迭代用户顶点，以及所述备选商品顶点的第一互动概率；
遍历确定所述迭代用户顶点的第二互动概率，以及与所述当前迭代用户顶点存在互动连接的商品顶点的顶点数；
基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
优选地，所述基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户与所述备选商品顶点的正向互动概率的步骤包括：
初始化所述目标用户顶点的互动概率，并将所述第一互动概率、第二互动概率和所述顶点数，代入初始化后的迭代函数；
若所述预设迭代函数输出的结果收敛，则将所述结果设为所述目标用户顶点与所述备选商品顶点的正向互动概率。
此外，为实现上述目的，本发明还提供一种商品推荐装置，所述商品推荐装置包括：
预测模块，用于基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；
推送模块，用于基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。
优选地，所述预测模块还用于：
基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度，所述相似用户顶点用于表征除所述目标用户顶点外的用户顶点；
确定所述相似用户顶点与备选商品顶点的相似互动连接；
基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
优选地，所述预测模块还用于：
基于所述二分网络图，确定所述商品顶点的商品总数，并确定与所述目标用户顶点有正向互动连接的第一商品数，以及与所述目标用户顶点有负向互动连接的第二商品数；
遍历确定与所述商品顶点有正向互动连接的第一用户数，以及与所述商品顶点有负向互动连接的第二用户数；
遍历确定所述目标用户顶点与所述商品顶点是否有第一正向互动连接和第一负向互动连接；
遍历确定所述相似用户顶点与所述商品顶点是否有第二正向互动连接和第二负向互动连接；
基于所述商品总数、所述第一商品数、所述第二商品数、所述第一用户数、所述第二用户数、所述第一正向互动连接、所述第一负向互动连接、所述第二正向互动连接、所述第二负向互动连接和相似度函数，计算所述目标用户顶点和所述相似用户顶点的相似度。
优选地，所述商品推荐装置还包括训练模块，所述训练模块用于：
基于N折交叉验证，将所述用户顶点、所述商品顶点，以及所述互动连接，随机分为训练集和测试集；
基于所述训练集、所述测试集和预设初始相似度函数，训练得到权重参数；
将所述权重参数代入所述初始相似度函数中，以得到所述相似度函数。
优选地，所述预测模块用于：
遍历确定所述相似用户顶点与所述备选商品顶点是否有第三正向互动连接；
将所述相似度和所述第三正向互动连接，代入所述概率函数中，以确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
优选地，所述预测模块还用于：
基于所述二分网络图，遍历确定与所述备选商品顶点存在互动连接的迭代用户顶点，以及所述备选商品顶点的第一互动概率；
遍历确定所述迭代用户顶点的第二互动概率，以及与所述当前迭代用户顶点存在互动连接的商品顶点的顶点数；
基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
优选地，所述预测模块还用于：
初始化所述目标用户顶点的互动概率，并将所述第一互动概率、第二互动概率和所述顶点数，代入初始化后的迭代函数；
若所述预设迭代函数输出的结果收敛，则将所述结果设为所述目标用户顶点与所述备选商品顶点的正向互动概率。
此外，为实现上述目的，本发明还提供一种商品推荐设备，所述商品推荐设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的商品推荐程序，所述商品推荐程序被所述处理器执行时实现如上所述的商品推荐方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有商品推荐程序，所述商品推荐程序被处理器执行时实现如上所述的商品推荐方法的步骤。
本发明提出的商品推荐方法，基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。本发明通过预构建的二分网络图，在预测目标用户顶点与备选商品顶点的互动概率时，将负向互动连接也考虑进去，使得推荐的商品更加精准，提高了推荐精度，实现智能推荐。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明商品推荐方法第一实施例的流程示意图；
图3为本发明商品推荐方法第一实施例中一种二分网络图的示意图；
图4为本发明商品推荐方法第一实施例中步骤S10的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备可以是PC机或服务器设备。
如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对商品推荐设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作设备、网络通信模块、用户接口模块以及商品推荐程序。
其中，操作设备是管理和控制商品推荐设备与软件资源的程序，支持网络通信模块、用户接口模块、商品推荐程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。
在图1所示的商品推荐设备中，所述商品推荐设备通过处理器1001调用存储器1005中存储的商品推荐程序，并执行下述商品推荐方法各个实施例中的操作。
基于上述硬件结构，提出本发明商品推荐方法实施例。
参照图2，图2为本发明商品推荐方法第一实施例的流程示意图，所述方法包括：
步骤S10，基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；
步骤S20，基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。
本实施例商品推荐方法运用于理财机构或者银行等金融机构的商品推荐设备中，为描述方便，商品推荐设备以推荐设备进行描述。在具体实施时，需事先获取用户信息和商品信息，以及用户信息与商品信息的互动连接，从而构建二分网络图，其中，用户信息对应二分网络图中的用户顶点，商品信息对应二分网络图中的商品顶点，而用户信息与商品信息的互动连接即为二分网络图中用户顶点与商品顶点相连的边，用于表征用户与商品之间存在购买、浏览、评价等相关关系。如当前获取到的用户信息为甲乙丙，商品信息为ABCD，甲与AC存在相关关系，乙与ABCD存在相关关系，丙与CD存在相关关系，则构建的二分网络图如图3所示。
需要说明的是，商品可以是电子产品、电影视频、小说文本、时事新闻、应用程序等资源，互动连接包括正向互动连接和负向互动连接，正向互动连接包括购买，评价高分等，负向互动连接包括浏览不购买，评价低分等，其中，评价高分和评价低分的标准可根据实际情况进行设定。
推荐设备在对目标用户进行商品的推送时，根据预构建的二分网络图以及预设函数，预测目标用户与商品的正向互动概率，从而取正向互动概率较高的商品推送给目标用户。
以下将对各个步骤进行详细说明：
步骤S10，基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接。
在本实施例中，推荐设备根据预构建的二分网络图和预设函数，预测目标用户顶点和备选商品顶点的正向互动概率，其中，二分网络图是指用户与商品两类顶点，以及用户与商品之间，如购买、浏览和评价等的相关关系所形成的边，构成的网络图，一个用户顶点代表一个用户，一个商品顶点代表一个商品，一条边代表用户与商品之间存在购买、浏览或评价等相关关系；而备选商品顶点则指与目标用户顶点未存在互动连接的商品顶点；互动连接包括正向互动连接和负向连接，也即，目标用户未购买或者浏览备选商品，也未对备选商品进行评价等。
具体的，参照图4，预设函数包括概率函数，步骤S10包括：
步骤S11，基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度，所述相似用户顶点用于表征除所述目标用户顶点外的用户顶点；
在该步骤中，推荐设备根据预构建的二分网络图，先计算目标用户顶点和相似用户顶点的相似度，具体用预设的相似度函数来计算，其中，相似用户顶点是指在所有的用户顶点中，除了目标用户顶点之外的其他用户顶点。
具体的，步骤S11包括：
步骤a1，基于所述二分网络图，确定所述商品顶点的商品总数，并确定与所述目标用户顶点有正向互动连接的第一商品数，以及与所述目标用户顶点有负向互动连接的第二商品数；
在该步骤中，推荐设备根据二分网络图，先确定商品顶点的商品总数，也即所有商品顶点的数量，并确定与目标用户顶点有正向互动连接的第一商品数，以及与目标用户顶点有负向互动连接的第二商品数。
步骤a2遍历确定与所述商品顶点有正向互动连接的第一用户数，以及与所述商品顶点有负向互动连接的第二用户数；
接着，推荐设备还依次确定与当前商品顶点有正向互动连接的第一用户数，以及与当前商品顶点有负向互动连接的第二用户数，直至遍历完成，如商品顶点有ABC，则依次确定与A有正向互动连接的用户数，以及与A有负向互动连接的用户数，接着确定与B有正向互动连接的用户数，以及与B有负向互动连接的用户数，最后确定与C有正向互动连接的用户数，以及与C有负向互动连接的用户数等。
步骤a3，遍历确定所述目标用户顶点与所述商品顶点是否有第一正向互动连接和第一负向互动连接；
接着，推荐设备再依次确定目标用户顶点与当前商品顶点是否有第一正向互动连接和第一负向互动连接，直至遍历完成，如商品顶点有ABC，则依次确认目标用户与A是否有正向互动连接和负向互动连接，再确认目标用户与B是否有正向互动连接和负向互动连接，最后确认目标用户与C是否有正向互动连接和负向互动连接等。在具体实施时，若有正向互动连接，则计为1，若有负向互动连接，则计为0等。
步骤a4，遍历确定所述相似用户顶点与所述商品顶点是否有第二正向互动连接和第二负向互动连接；
接着，推荐设备再依次确定相似用户顶点与当前商品顶点是否有第二正向互动连接和第二负向互动连接，直至遍历完成，如相似用户顶点有甲乙，商品顶点有ABC，则依次确定甲与A是否有正向互动连接和负向互动连接，甲与B是否有正向互动连接和负向连接，甲与C是否有正向互动连接和负向互动连接，然后再确定乙与A是否有正向互动连接和负向互动连接，乙与B是否有正向互动连接和负向连接，乙与C是否有正向互动连接和负向互动连接等。
步骤a5，基于所述商品数、所述第一商品数、所述第二商品数、所述第一用户数、所述第二用户数、所述第一正向互动连接、所述第一负向互动连接、所述第二正向互动连接、所述第二负向互动连接和相似度函数，计算所述目标用户顶点和所述相似用户顶点的相似度。
最后，推荐设备将确定的商品总数、第一商品数、第二商品数、第一用户数、第二用户数、第一正向互动连接，第一负向互动连接、第二正向互动连接和第二负向互动连接，代入相似度函数中，从而得到目标用户顶点与相似用户顶点的相似度。
在具体实施时，相似度函数如下：
Figure BDA0002347351910000101
其中，i为目标用户顶点，l为相似用户顶点，j为商品顶点；k(xi)为与i目标用户顶点有正向互动连接(购买、评价高分等)的商品数，也即第一商品数；k(yj)为与j商品顶点有正向互动连接(购买、打高分等)的用户数，也即第一用户数；aij为目标用户顶点i与商品顶点j是否有正向互动连接，也即第一正向互动连接，在具体实施时，若有取值为1，否则为0；alj为相似用户顶点l与商品顶点j是否有正向互动连接，也即第二正向互动连接，在具体实施时，若有取值为1，否则为0；k(ti)为与i目标用户顶点有负向互动连接(浏览不购买、评价低分等)的商品数，也即第第二商品数；k(zj)为与j商品顶点有负向互动连接(浏览不购买、评价低分等)的第二用户数；bij为目标用户顶点i与商品顶点j是否有负向互动连接，也即第一负向互动连接，在具体实施时，若有取值为1，否则为0；blj为相似用户顶点l与商品顶点j是否有负向互动连接，也即第二负向互动连接，在具体实施时，若有取值为1，否则为0；m为所有的商品顶点数，也即商品总数；λ为训练后得到的权重参数，为常数。
进一步地，λ为训练过程包括：
步骤b1，基于N折交叉验证，将所述用户顶点、所述商品顶点，以及所述互动连接，随机分为训练集和测试集；
在该步骤中，推荐设备将二分网络图的所有边随机分为训练集和测试集，也即，根据二分网络图，将用户顶点、商品顶点，以及用户顶点与商品顶点的互动连接随机划分为训练集和测试集，随机划分训练集和测试集的过程中，可采用N折交叉验证，如5折交叉验证或者10折交叉验证等。
步骤b2，基于所述训练集、所述测试集和预设初始相似度函数，训练得到权重参数；
然后，推荐设备遍历训练集，选取使得测试集上R值最小的参数为权重参数λ，也即，将训练集代入初始相似度函数中，也即λ还没确定的相似度函数中，并用测试集对结果进行校验，其中，R值是推荐系统常用的评价指标，是指所有与用户有实际正向互动连接的商品在所有备选商品中的平均排序值与所有备选商品数的比值，R值越小，结果越准确。
步骤b3，将所述权重参数代入所述初始相似度函数中，以得到所述相似度函数。
最后，将权重参数代入初始相似度函数中，从而得到上述相似度函数。
步骤S12，确定所述相似用户顶点与备选商品顶点的相似互动连接；
在该步骤中，推荐设备还需确定相似用户顶点与备选商品顶点的相似互动连接，具体的，相似互动连接指相似用户顶点与备选商品顶点的正向互动连接。
步骤S13，基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
在该步骤中，推荐设备将计算所得目标用户顶点与相似用户顶点的相似度，以及相似用户顶点与备选商品顶点的正向互动连接，代入概率函数中，从而得到目标用户顶点与备选商品顶点的正向互动概率。
在具体实施时，概率函数为：
Figure BDA0002347351910000111
其中，i为目标用户顶点，j为商品顶点，l为相似用户顶点，S为除目标用户顶点之外的用户顶点，wil为目标用户顶点i与相似用户顶点l的相似度，alj是相似用户顶点l是否对j商品顶点有正向互动连接，在具体实施时，j可先为备选商品顶点，也即先筛选出与目标用户顶点未存在互动连接的商品顶点，减少计算次数。
因此，步骤S13包括：
步骤c1，遍历确定所述相似用户顶点与所述备选商品顶点是否有第三正向互动连接；
在该步骤中，推荐设备依次确定相似用户顶点与当前商品顶点是否有第三正向互动连接，直至遍历完成，若有，则计为1，否则为0，在具体实施时，可先筛选出与目标用户顶点未存在互联连接的商品顶点，也即备选商品顶点，然后再依次确定相似用户顶点与备选商品顶点是否有正向互动连接。
步骤c2，将所述相似度和所述第三正向互动连接，代入所述概率函数中，以确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
然后，推荐设备将目标用户顶点与相似用户顶点的相似度，以及第三正向互动连接，代入上述概率函数中，从而得到目标用户顶点与备选商品顶点的正向互动概率。
推荐设备根据概率函数，计算出目标用户顶点与每一个备选商品顶点的正向互动概率。
步骤S20，基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户顶点对应的终端。
在本实施例中，推荐设备在计算得到目标用户顶点与备选商品顶点的正向互动概率，也即确定目标用户对备选商品的偏好程度后，将各个备选商品顶点按照正向互动概率进行排序，每一个备选商品顶点都代表着一个备选商品，然后，取正向互动概率最高的前N个商品作为目标商品，并将目标商品推送给目标用户顶点对应的终端，以及目标用户的终端。其中，目标商品的数量，也即N，可根据实际情况进行设置，如5，则推荐设备最后将正向互动概率最高的5个商品推送给目标用户。
本实施例基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。本发明通过预构建的二分网络图，在预测目标用户顶点与备选商品顶点的互动概率时，将负向互动连接也考虑进去，使得推荐的商品更加精准，提高了推荐精度，实现智能推荐。
进一步地，基于本发明商品推荐方法第一实施例，提出本发明商品推荐方法第二实施例。
商品推荐方法的第二实施例与商品推荐方法的第一实施例的区别在于，所述预设函数包括迭代函数，步骤S10包括：
步骤S14，基于所述二分网络图，遍历确定与所述备选商品顶点存在互动连接的迭代用户顶点，以及所述备选商品顶点的第一互动概率；
步骤S15，遍历确定所述迭代用户顶点的第二互动概率，以及与所述当前迭代用户顶点存在互动连接的商品顶点的顶点数；
步骤S16，基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户与所述备选商品顶点的正向互动概率。
本实施例的预设函数包括迭代函数，也即，除了可采用概率函数来计算得出目标商品之后，还可采用迭代函数来计算，具体可采用类似PersonalRank的算法来计算，在计算过程中同样考虑负向互动连接对结果的影响，因此，本实施例采用的方法类似PersonalRank，但又有别于PersonalRank。
以下将对各个步骤进行详细说明：
步骤S14，基于所述二分网络图，遍历确定与所述备选商品顶点存在互动连接的迭代用户顶点，以及所述备选商品顶点的第一互动概率。
在本实施例中，推荐设备根据预构建的二分网络图，依次确定与当前备选商品顶点存在互动连接的迭代用户顶点，直至遍历完成，也即先确定与目标用户顶点未存在互动连接的商品顶点，然后在确定与备选商品顶点存在互动连接的迭代用户顶点，再依次确定当前备选商品顶点的第一互动概率，直至遍历完成，其中，互动连接包括正向互动连接和负向互动连接，第一互动概率是指备选商品顶点被访问的概率，如图3所示的二分网络图中，A被访问的概率为2/8，B被访问的概率为1/8，C被访问的概率为3/8，D被访问的概率为2/8等。
步骤S15，遍历确定所述迭代用户顶点的第二互动概率，以及与所述当前迭代用户顶点存在互动连接的商品顶点的顶点数.
在本实施例中，推荐设备再依次确定迭代用户顶点的第二互动概率，直至遍历完成，其中，第二互动概率是指迭代用户顶点被访问的概率，如图3所示的二分网络图中，甲被访问的概率为2/8，乙被访问的概率为4/8，丙被访问的概率为2/8等。再遍历与迭代用户顶点存在互动连接的商品顶点的顶点数，也即与迭代用户顶点存在互动连接的商品顶点的数量。
步骤S16，基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
在本实施例中，推荐设备将确定的第一互动概率、第二互动概率，以及顶点数，代入迭代函数中，从而得到目标用户顶点与备选商品顶点的正向互动概率，在具体实施时，迭代函数为：
Figure BDA0002347351910000141
其中，其中PR(v)是v顶点被访问的概率，在本实施例中，指备选商品顶点被访问的概率，也即第一互动概率，PR(v’)为第二互动概率，in1(v)是与v顶点有正向连接的顶点集合，也即与备选商品顶点存在正向互动连接的迭代用户顶点，in2(v)是与v顶点有负向连接的顶点集合，也即，与备选商品顶点存在负向互动连接的迭代用户顶点，out(v')是v'的出度，也即与迭代用户顶点存在互动连接的商品顶点的顶点数，λ为权重参数，α为学习率，都为常数，其确定过程与上述相似度函数中的λ类似，都是事先训练得到，在此不再赘述。
进一步地，步骤S16包括：
步骤d1，初始化目标用户顶点的互动概率，并将所述第一互动概率、第二互动概率和所述顶点数，代入初始化后的迭代函数；
在该步骤中，推荐设备将目标用户顶点被访问概率设为1，也即目标用户顶点的互动概率为1，其他用户顶点和商品顶点取值为0，然后将第一互动概率、第二互动概率和顶点数代入迭代函数中进行迭代。
步骤d2，若所述预设迭代函数输出的结果收敛，则将所述结果设为所述目标用户顶点与所述备选商品顶点的正向互动概率。
在该步骤中，推荐设备通过不断迭代，在结果收敛时，则确定该结果为目标用户顶点与备选商品顶点的正向互动概率，也即，推荐设备分别对所有用户顶点和备选商品顶点的PR值进行迭代，直至各个顶点的PR值收敛稳定。
最终选取备选商品顶点的PR值最高的N个商品推荐给用户，其中，N在此不做具体限度，可根据实际情况进行设置。
本实施例在预测目标用户与备选商品的正向互动概率时，还可通过迭代函数来计算，并在迭代收敛时，将稳定的结果作为推荐结果，提高推荐精度，实现智能推荐。
本发明还提供一种商品推荐装置。本发明商品推荐装置包括：
预测模块，用于基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；
推送模块，用于基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。
进一步地，所述预测模块还用于：
基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度，所述相似用户顶点用于表征除所述目标用户顶点外的用户顶点；
确定所述相似用户顶点与备选商品顶点的相似互动连接；
基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
进一步地，所述预测模块还用于：
基于所述二分网络图，确定所述商品顶点的商品总数，并确定与所述目标用户顶点有正向互动连接的第一商品数，以及与所述目标用户顶点有负向互动连接的第二商品数；
遍历确定与所述商品顶点有正向互动连接的第一用户数，以及与所述商品顶点有负向互动连接的第二用户数；
遍历确定所述目标用户顶点与所述商品顶点是否有第一正向互动连接和第一负向互动连接；
遍历确定所述相似用户顶点与所述商品顶点是否有第二正向互动连接和第二负向互动连接；
基于所述商品总数、所述第一商品数、所述第二商品数、所述第一用户数、所述第二用户数、所述第一正向互动连接、所述第一负向互动连接、所述第二正向互动连接、所述第二负向互动连接和相似度函数，计算所述目标用户顶点和所述相似用户顶点的相似度。
进一步地，所述商品推荐装置还包括训练模块，所述训练模块用于：
基于N折交叉验证，将所述用户顶点、所述商品顶点，以及所述互动连接，随机分为训练集和测试集；
基于所述训练集、所述测试集和预设初始相似度函数，训练得到权重参数；
将所述权重参数代入所述初始相似度函数中，以得到所述相似度函数。
进一步地，所述预测模块用于：
遍历确定所述相似用户顶点与所述备选商品顶点是否有第三正向互动连接；
将所述相似度和所述第三正向互动连接，代入所述概率函数中，以确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
进一步地，所述预测模块还用于：
基于所述二分网络图，遍历确定与所述备选商品顶点存在互动连接的迭代用户顶点，以及所述备选商品顶点的第一互动概率；
遍历确定所述迭代用户顶点的第二互动概率，以及与所述当前迭代用户顶点存在互动连接的商品顶点的顶点数；
基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
进一步地，所述预测模块还用于：
初始化所述目标用户顶点的互动概率，并将所述第一互动概率、第二互动概率和所述顶点数，代入初始化后的迭代函数；
若所述预设迭代函数输出的结果收敛，则将所述结果设为所述目标用户顶点与所述备选商品顶点的正向互动概率
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有商品推荐程序，所述商品推荐程序被处理器执行时实现如上所述的商品推荐方法的步骤。
其中，在所述处理器上运行的商品推荐程序被执行时所实现的方法可参照本发明商品推荐方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种商品推荐方法，其特征在于，所述商品推荐方法包括如下步骤：
基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；
基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户顶点对应的终端。
2.如权利要求1所述的商品推荐方法，其特征在于，所述预设函数包括概率函数，所述基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率的步骤包括：
基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度，所述相似用户顶点用于表征除所述目标用户顶点外的用户顶点；
确定所述相似用户顶点与备选商品顶点的相似互动连接；
基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
3.如权利要求2所述的商品推荐方法，其特征在于，所述基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度的步骤包括：
基于所述二分网络图，确定所述商品顶点的商品总数，并确定与所述目标用户顶点有正向互动连接的第一商品数，以及与所述目标用户顶点有负向互动连接的第二商品数；
遍历确定与所述商品顶点有正向互动连接的第一用户数，以及与所述商品顶点有负向互动连接的第二用户数；
遍历确定所述目标用户顶点与所述商品顶点是否有第一正向互动连接和第一负向互动连接；
遍历确定所述相似用户顶点与所述商品顶点是否有第二正向互动连接和第二负向互动连接；
基于所述商品总数、所述第一商品数、所述第二商品数、所述第一用户数、所述第二用户数、所述第一正向互动连接、所述第一负向互动连接、所述第二正向互动连接、所述第二负向互动连接和相似度函数，计算所述目标用户顶点和所述相似用户顶点的相似度。
4.如权利要求3所述的商品推荐方法，其特征在于，所述基于所述二分网络图，计算目标用户顶点与相似用户顶点的相似度的步骤之前，所述商品推荐方法还包括：
基于N折交叉验证，将所述用户顶点、所述商品顶点，以及所述互动连接，随机分为训练集和测试集；
基于所述训练集、所述测试集和预设初始相似度函数，训练得到权重参数；
将所述权重参数代入所述初始相似度函数中，以得到所述相似度函数。
5.如权利要求2所述的商品推荐方法，其特征在于，所述基于所述相似度、所述相似互动连接和所述概率函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率的步骤包括：
遍历确定所述相似用户顶点与所述备选商品顶点是否有第三正向互动连接；
将所述相似度和所述第三正向互动连接，代入所述概率函数中，以确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
6.如权利要求1-5任一项所述的商品推荐方法，其特征在于，所述预设函数包括迭代函数，所述基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率的步骤包括：
基于所述二分网络图，遍历确定与所述备选商品顶点存在互动连接的迭代用户顶点，以及所述备选商品顶点的第一互动概率；
遍历确定所述迭代用户顶点的第二互动概率，以及与所述当前迭代用户顶点存在互动连接的商品顶点的顶点数；
基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户顶点与所述备选商品顶点的正向互动概率。
7.如权利要求6所述的商品推荐方法，其特征在于，所述基于所述第一互动概率、第二互动概率、所述顶点数和所述迭代函数，确定所述目标用户与所述备选商品顶点的正向互动概率的步骤包括：
初始化所述目标用户顶点的互动概率，并将所述第一互动概率、第二互动概率和所述顶点数，代入初始化后的迭代函数；
若所述预设迭代函数输出的结果收敛，则将所述结果设为所述目标用户顶点与所述备选商品顶点的正向互动概率。
8.一种商品推荐装置，其特征在于，所述商品推荐装置包括：
预测模块，用于基于预构建的二分网络图和预设函数，预测目标用户顶点与备选商品顶点的正向互动概率，所述二分网络图包括用户顶点、商品顶点，以及所述用户顶点与所述商品顶点的互动连接，所述备选商品用于表征与所述目标用户顶点未存在互动连接的商品顶点，所述互动连接包括正向互动连接和负向互动连接；
推送模块，用于基于所述正向互动概率，确定目标商品，将所述目标商品推送至所述目标用户对应的终端。
9.一种商品推荐设备，其特征在于，所述商品推荐设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的商品推荐程序，所述商品推荐程序被所述处理器执行时实现如权利要求1至7中任一项所述的商品推荐方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有商品推荐程序，所述商品推荐程序被处理器执行时实现如权利要求1至7中任一项所述的商品推荐方法的步骤。
CN201911423988.1A 2019-12-30 2019-12-30 商品推荐方法、装置、设备与计算机可读存储介质 Pending CN110956511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911423988.1A CN110956511A (zh) 2019-12-30 2019-12-30 商品推荐方法、装置、设备与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911423988.1A CN110956511A (zh) 2019-12-30 2019-12-30 商品推荐方法、装置、设备与计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110956511A true CN110956511A (zh) 2020-04-03

Family

ID=69985336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911423988.1A Pending CN110956511A (zh) 2019-12-30 2019-12-30 商品推荐方法、装置、设备与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110956511A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612967A (zh) * 2020-09-11 2021-04-06 辽宁师范大学 基于链接聚类和约简的协同过滤推荐方法
WO2021204039A1 (zh) * 2020-04-10 2021-10-14 北京沃东天骏信息技术有限公司 用于推送信息的方法和装置
WO2024066253A1 (zh) * 2022-09-29 2024-04-04 深圳市人马互动科技有限公司 基于互动小说的产品推荐方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187024A1 (en) * 2013-12-27 2015-07-02 Telefonica Digital España, S.L.U. System and Method for Socially Aware Recommendations Based on Implicit User Feedback
CN104899763A (zh) * 2015-05-07 2015-09-09 西安电子科技大学 基于二分网络双向扩散的个性化推荐方法
CN105894330A (zh) * 2016-04-01 2016-08-24 西安电子科技大学 基于物品相似度和二分网络的物品推荐方法
CN106327227A (zh) * 2015-06-19 2017-01-11 北京航天在线网络科技有限公司 一种信息推荐系统及信息推荐方法
CN108269117A (zh) * 2017-01-03 2018-07-10 阿里巴巴集团控股有限公司 数据的推送、确定方法及装置、计算机终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187024A1 (en) * 2013-12-27 2015-07-02 Telefonica Digital España, S.L.U. System and Method for Socially Aware Recommendations Based on Implicit User Feedback
CN104899763A (zh) * 2015-05-07 2015-09-09 西安电子科技大学 基于二分网络双向扩散的个性化推荐方法
CN106327227A (zh) * 2015-06-19 2017-01-11 北京航天在线网络科技有限公司 一种信息推荐系统及信息推荐方法
CN105894330A (zh) * 2016-04-01 2016-08-24 西安电子科技大学 基于物品相似度和二分网络的物品推荐方法
CN108269117A (zh) * 2017-01-03 2018-07-10 阿里巴巴集团控股有限公司 数据的推送、确定方法及装置、计算机终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周巧扣;倪红军;: "基于多种隐式反馈数据的商品推荐算法", 计算机应用与软件, no. 10 *
肖菁;袁凌;黄昌勤;吴不晓;: "基于学习排序的并行协同过滤推荐算法", 华中科技大学学报(自然科学版), no. 03 *
邓小燕;张晓彬;: "基于改进加权二部图和用户信任度的协同过滤推荐算法", 计算机系统应用, no. 05, pages 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204039A1 (zh) * 2020-04-10 2021-10-14 北京沃东天骏信息技术有限公司 用于推送信息的方法和装置
CN112612967A (zh) * 2020-09-11 2021-04-06 辽宁师范大学 基于链接聚类和约简的协同过滤推荐方法
CN112612967B (zh) * 2020-09-11 2023-07-18 辽宁师范大学 基于链接聚类和约简的协同过滤推荐方法
WO2024066253A1 (zh) * 2022-09-29 2024-04-04 深圳市人马互动科技有限公司 基于互动小说的产品推荐方法及相关装置

Similar Documents

Publication Publication Date Title
US11531867B2 (en) User behavior prediction method and apparatus, and behavior prediction model training method and apparatus
WO2021135588A1 (zh) 推荐方法、模型生成方法、装置、介质以及设备
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
Ning et al. A comprehensive survey of neighborhood-based recommendation methods
CN110956511A (zh) 商品推荐方法、装置、设备与计算机可读存储介质
WO2019223552A1 (zh) 文章推荐方法、装置、计算机设备及存储介质
CN105159910A (zh) 信息推荐方法和装置
US20160259857A1 (en) User recommendation using a multi-view deep learning framework
CN107590243A (zh) 基于随机游走和多样性图排序的个性化服务推荐方法
US9330186B2 (en) Similarity engine for facilitating re-creation of an application collection of a source computing device on a destination computing device
CN109471978B (zh) 一种电子资源推荐方法及装置
CN108446297B (zh) 一种推荐方法及装置，电子设备
CN110197404B (zh) 可降低流行度偏差的个性化长尾商品推荐方法和系统
CN110033097B (zh) 基于多个数据域确定用户与物品的关联关系的方法及装置
JP2017054214A (ja) 判定装置、学習装置、情報配信装置、判定方法及び判定プログラム
CN112989169B (zh) 目标对象识别方法、信息推荐方法、装置、设备及介质
CN112085615A (zh) 图神经网络的训练方法及装置
CN110110201A (zh) 一种内容推荐方法和系统
CN111275492A (zh) 用户画像生成方法、装置、存储介质及设备
CN112070542A (zh) 信息转化率预测方法、装置、设备及可读存储介质
CN113221019A (zh) 基于即时学习的个性化推荐方法和系统
CN114780753A (zh) 基于知识图谱的对话推荐方法、装置、设备及存储介质
JP2017201535A (ja) 判定装置、学習装置、判定方法及び判定プログラム
CN113239266B (zh) 基于局部矩阵分解的个性化推荐方法及系统
US7827173B2 (en) Method for sorting a set of electronic documents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination