CN111339419A - 信息推荐方法、装置、电子设备及存储介质 - Google Patents
信息推荐方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111339419A CN111339419A CN202010125075.8A CN202010125075A CN111339419A CN 111339419 A CN111339419 A CN 111339419A CN 202010125075 A CN202010125075 A CN 202010125075A CN 111339419 A CN111339419 A CN 111339419A
- Authority
- CN
- China
- Prior art keywords
- information
- recommended
- user
- piece
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种信息推荐方法、装置、电子设备及存储介质,涉及数据分析技术领域。其中,该方法可以根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度,根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息。在确定目标待推荐信息时,可以基于用户与待推荐信息之间的历史行为关系,充分利用用户行为信息,从而能够使得向目标用户推荐对应的目标待推荐信息时,推荐结果更加准确。
Description
技术领域
本申请涉及数据分析技术领域,具体而言,涉及一种信息推荐方法、装置、电子设备及存储介质。
背景技术
互联网技术的迅速发展,致使了网络中数据的快速增长。数据的快速增长使人们可以基于更加方便地查询到所需要的信息,但同时,也存在由于信息超载而导致的数据使用效率低下的问题。其中,信息超载是指难以从海量数据中迅速查找出需要的数据的现象。
目前,针对信息超载问题进行优化的方案通常为:采集用户相关的历史数据,历史数据包括:用户对信息的需求、兴趣、以及潜在的过往行为等,根据用户相关的历史数据将用户需要的或感兴趣的信息推荐给用户,从而使得用户可以在推荐的信息中更迅速地查找出需要的数据,进而提高使用效率。例如,存在兴趣爱好较为接近的用户A1和用户A2,其中,用户A2对物品P比较感兴趣,则可以根据用户A1和用户A2的兴趣爱好判断得知用户A1和用户A2的相似度较高,从而可以向用户A推荐物品P。类似地,若存在较为相似的物品P1和物品P2,用户A对物品P2比较感兴趣,则可以向用户A推荐物品P1等。
但是,上述基于用户与用户之前的相似度、或推荐信息与推荐信息之间的相似度的推荐方法,没有充分利用用户行为信息,从而使得向用户推荐信息时的推荐结果不够准确。
发明内容
本申请提供一种信息推荐方法、装置、电子设备及存储介质,可以充分利用用户行为信息,提高向用户推荐信息时推荐结果的准确性。
第一方面,本申请实施例提供一种信息推荐方法,包括:
根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度;
根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息。
可选地,上述根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度之前,该方法还包括:
构建用户与待推荐信息的用户行为矩阵,用户行为矩阵的行/列向量分别指示各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系。
可选地,上述根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度,包括:
根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,距离信息用于指示目标用户与各待推荐信息的关联度。
可选地,上述根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,包括:
对用户行为矩阵进行取反操作,获取取反后的用户行为矩阵;
根据取反后的用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息。
可选地,上述根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,包括:
根据用户行为矩阵提取各用户与不同待推荐信息的历史行为关系对应的第一向量、各待推荐信息与不同用户的历史行为关系对应的第二向量;
提取各用户的用户特征,并与第一向量拼接获取第一拼接向量,第一拼接向量指示用户特征与待推荐信息之间的行为关系;
提取各待推荐信息的信息特征,并与第二向量拼接获取第二拼接向量,第二拼接向量指示信息特征与用户之间的行为关系;
根据第一拼接向量和第二拼接向量计算获取目标用户与各待推荐信息之间的距离信息。
可选地,上述根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息,包括:
采用预设模型获取目标用户对应的偏置值,预设模型根据正样本和负样本训练获取,正样本包含与用户关联度满足预设关联条件的推荐信息、负样本包含与用户关联度不满足预设关联条件的推荐信息;
根据偏置值和关联度,计算获取调整后的关联度;
根据调整后的关联度,确定目标用户对应的目标待推荐信息。
第二方面,本申请实施例提供一种信息推荐装置,包括:获取模块,用于根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度;确定模块,用于根据所述目标用户与各所述待推荐信息的关联度,确定所述目标用户对应的目标待推荐信息。
可选地,该信息推荐装置还包括:构建模块;构建模块用于在获取模块根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度之前,构建用户与待推荐信息的用户行为矩阵,用户行为矩阵的行/列向量分别指示各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系。
可选地,获取模块具体用于根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,距离信息用于指示目标用户与各待推荐信息的关联度。
可选地,获取模块具体用于对用户行为矩阵进行取反操作,获取取反后的用户行为矩阵;根据取反后的用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息。
可选地,获取模块包括:第一提取子模块,用于根据用户行为矩阵提取各用户与不同待推荐信息的历史行为关系对应的第一向量、各待推荐信息与不同用户的历史行为关系对应的第二向量;第二提取子模块,用于提取各用户的用户特征,并与第一向量拼接获取第一拼接向量,第一拼接向量指示用户特征与待推荐信息之间的行为关系;第三提取子模块,用于提取各待推荐信息的信息特征,并与第二向量拼接获取第二拼接向量,第二拼接向量指示信息特征与用户之间的行为关系;计算子模块,用于根据第一拼接向量和第二拼接向量计算获取目标用户与各待推荐信息之间的距离信息。
可选地,确定模块具体用于采用预设模型获取目标用户对应的偏置值,预设模型根据正样本和负样本训练获取,正样本包含与用户关联度满足预设关联条件的推荐信息、负样本包含与用户关联度不满足预设关联条件的推荐信息;根据偏置值和关联度,计算获取调整后的关联度;根据调整后的关联度,确定目标用户对应的目标待推荐信息。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行如第一方面所述的方法。
第四方面,本申请实施例还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行如第一方面所述的方法。
本申请实施例可以根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度,根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息。在确定目标待推荐信息时,可以基于用户与待推荐信息之间的历史行为关系,充分利用用户行为信息,从而能够使得向目标用户推荐对应的目标待推荐信息时,推荐结果更加准确。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的信息推荐方法的流程示意图;
图2示出了本申请实施例提供的信息推荐方法的另一流程示意图;
图3示出了本申请实施例提供的信息推荐方法的又一流程示意图;
图4示出了本申请实施例提供的信息推荐方法的又一流程示意图;
图5示出了本申请实施例提供的信息推荐装置的结构示意图;
图6示出了本申请实施例提供的信息推荐装置的另一结构示意图;
图7示出了本申请实施例提供的获取模块的结构示意图;
图8示出了本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本申请实施例提供一种信息推荐方法,通过该方法可以更准确地向用户推荐信息。该信息推荐方法可以应用于服务器、计算机等具备数据处理能力的设备,例如,可以应用于一些购物平台的后台服务器,向购物平台的用户推荐商品信息;或者可以应用于一些商家服务评价平台、地图软件等的后台服务器中,向用户推荐商家信息等,本申请对此不作限制。
图1示出了本申请实施例提供的信息推荐方法的流程示意图。
如图1所示,该信息推荐方法,可以包括:
S101、根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度。
其中,历史行为关系可以是指用户与待推荐信息的交互关系。例如,购物平台中,待推荐信息可以是物品,则历史行为关系可以是物品与用户之间的交互关系,如:用户是否购买过该物品。搜索引擎中,待推荐信息可以是不同类型的新闻、搜索词条等,则历史行为关系可以是新闻或搜索词条与用户之间的交互关系,如:用户是否浏览、收藏过某种类型的新闻或网页、搜索过某种类型的搜索词条等。
对于不同用户而言,各用户和不同待推荐信息的历史行为关系可能相同或不同;对于不同待推荐信息而言,各待推荐信息与不同用户的历史行为关系也可能相同或不同。
以购物平台为例,若存在用户A、用户B和用户C,存在物品P1、物品P2,用户A购买过用户物品P1和物品P2,用户B只购买过用户物品P1,用户C只购买过用户物品P2,则该购物平台中,各用户和不同待推荐信息的历史行为关系可以为:
用户A和不同待推荐信息的历史行为关系为:购买物品P1、购买物品P2;用户B和不同待推荐信息的历史行为关系为:购买物品P1、未购买物品P2;用户C和不同待推荐信息的历史行为关系为:未购买物品P1、购买物品P2。
各待推荐信息与不同用户的历史行为关系可以为:
物品P1和不同用户的历史行为关系为:用户A购买、用户B购买、用户C未购买;物品P2和不同用户的历史行为关系为:用户A购买、用户B未购买、用户C购买。
根据如上所述的各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,可以计算获取得到目标用户与各待推荐信息的关联度。例如,若目标用户为用户A,则可以计算获取用户A与物品P1、物品P2的关联度。
S102、根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息。
可选地,计算得到目标用户与各待推荐信息的关联度后,可以基于关联度,从各推荐信息中确定目标用户对应的目标待推荐信息。
例如,若存在目标用户为用户1,存在待推荐信息1、待推荐信息2、待推荐信息3和待推荐信息4。计算得到用户1与各推荐信息的关联度如下:
用户1与待推荐信息1:70%;用户1与待推荐信息2:80%;用户1与待推荐信息3:90%;用户1与待推荐信息4:60%。则,可以根据关联度的大小,从各待推荐信息中确定目标待推荐信息。
一种实施方式中,可以先将待推荐信息1、待推荐信息2、待推荐信息3和待推荐信息4按照关联度大小,从大到小依次排序,排序结果为:1)推荐信息3;2)待推荐信息2;3)待推荐信息1;4)待推荐信息4。然后,可以根据该排序结果将排在首位、或者排序较为靠前的待推荐信息(如:前2位、前三位等),也即,与用户1关联度较高的待推荐信息确定为用户1(目标用户)对应的目标待推荐信息。
另一种实施方式中,也可以先将待推荐信息1、待推荐信息2、待推荐信息3和待推荐信息4按照关联度大小,从小到大依次排序,排序结果为:1)待推荐信息4;2)待推荐信息1;3)待推荐信息2;4)推荐信息3。然后,可以根据该排序结果将排在首位、或者排序较为靠前的待推荐信息(如:前2位、前三位等),也即,与用户1关联度较低的待推荐信息确定为用户1(目标用户)对应的目标待推荐信息。
由上所述,本申请实施例可以根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度,根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息。在确定目标待推荐信息时,可以基于用户与待推荐信息之间的历史行为关系,充分利用用户行为信息,从而能够使得向目标用户推荐对应的目标待推荐信息时,推荐结果更加准确。
可选地,上述根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度之前,该方法还可以包括:
构建用户与待推荐信息的用户行为矩阵。
部分实施方式中,用户行为矩阵可以为N行M列的矩阵,N和M均为大于0的整数。N可以为用户的数量,M可以为待推荐信息的数量,用户行为矩阵中,每一行可以表示一个用户与不同待推荐信息的历史行为关系、每一列可以表示一个待推荐信息与不同用户的历史行为关系。也即,用户行为矩阵的行向量可以指示各用户与不同待推荐信息的历史行为关系、列向量可以指示各待推荐信息与不同用户的历史行为关系。
假设存在用户A、用户B和用户C,以及待推荐信息1、待推荐信息2、待推荐信息3和待推荐信息4,则所构建的用户与待推荐信息的用户行为矩阵可以如下(仅仅为示例性说明):
该用户行为矩阵中,各元素表示该元素所在行对应的用户、与该元素所在列对应的待推荐信息的历史行为关系,1表示用户与待推荐信息存在历史交互行为,0表示用户与待推荐信息不存在历史交互行为。行向量(1,1,0,0)表示用户A与各待推荐信息的历史行为关系;行向量(1,0,0,1)表示用户B与各待推荐信息的历史行为关系;行向量(0,1,1,0)表示用户C与各待推荐信息的历史行为关系。列向量(1,1,0)表示待推荐信息1与各用户的历史行为关系;列向量(1,0,1)表示待推荐信息2与各用户的历史行为关系;列向量(0,0,1)表示待推荐信息3与各用户的历史行为关系;列向量(0,1,0)表示待推荐信息4与各用户的历史行为关系。
或者,其他实施方式中,N行M列的用户行为矩阵中,N也可以为待推荐信息的数量,相应地,M可以为用户的数量。也即,用户行为矩阵的行向量可以指示各待推荐信息与不同用户的历史行为关系、列向量可以指示各用户与不同待推荐信息的历史行为关系,本申请在此不作限制。
可选地,部分实施方式中,与前述实施例中所述的用“0”和“1”表示用户与待推荐信息是否存在历史交互行为隐式反馈方式不同,用户行为矩阵也可以显式反馈的方式。例如,假设用户1对待推荐信息1的评分为5,用户1对待推荐信息2的评分为4分,则用户行为矩阵中待推荐信息1和待推荐信息2分别对应的位置也可以是5和4,即,用户行为矩阵可以直接由对应的评分数值组成,本申请对用户行为矩阵采用隐式反馈方式或显式反馈方式同样不作限制。
一种实施方式中,上述根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度,可以包括:
根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,距离信息用于指示目标用户与各待推荐信息的关联度。
其中,预设算法可以是欧氏距离算法、余弦距离算法等,可以根据预设算法计算得到目标用户与各待推荐信息之间的距离信息。距离信息可以指示目标用户与各待推荐信息的关联度,例如,若距离信息表示的距离越小,则表明目标用户与待推荐信息的距离越接近,关联度越高;反之,若距离信息表示的距离越大,则表明目标用户与待推荐信息的距离越接远,关联度越低。
图2示出了本申请实施例提供的信息推荐方法的另一流程示意图。
如图2所示,另一种实施方式中,上述根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,可以包括:
S201、对用户行为矩阵进行取反操作,获取取反后的用户行为矩阵。
以前述实施例中描述的用户行为矩阵为例:
对该用户行为矩阵进行取反后,取反后的用户行为矩阵可以如下:
该取反后的用户行为矩阵中,0表示用户与待推荐信息之间存在历史交互行为、1表示用户与待推荐信息之间不存在历史交互行为。
S202、根据取反后的用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息。
可选地,可以根据上述取反后的用户行为矩阵,采取预设算法,计算获取目标用户与各待推荐信息之间的距离信息。通过该取反后的用户行为矩阵进行计算,可以使得计算得到的目标用户与各待推荐信息之间的距离信息,与目标用户与各待推荐信息之间的实际关联度更为接近,从而使得推荐结果更加准确。
图3示出了本申请实施例提供的信息推荐方法的又一流程示意图。
可选地,如图3所示,上述根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,可以包括:
S301、根据用户行为矩阵提取各用户与不同待推荐信息的历史行为关系对应的第一向量、各待推荐信息与不同用户的历史行为关系对应的第二向量。
以上述行向量指示各用户与不同待推荐信息的历史行为关系、列向量指示各待推荐信息与不同用户的历史行为关系的用户行为矩阵为例,第一向量可以为用户行为矩阵的行向量,第二向量可以为用户行为矩阵的列向量。例如下述用户行为矩阵中:
第一向量可以包括:(1,1,0,0)、(1,0,0,1)或(0,1,1,0);第二向量可以包括:(1,1,0)、(1,0,1)、(0,0,1)或(0,1,0)。
S302、提取各用户的用户特征,并与第一向量拼接获取第一拼接向量。
第一拼接向量指示用户特征与待推荐信息之间的行为关系。
可选地,用户特征可以包括:用户的标识、喜好、性别等。将用户特征与第一向量拼接可以是指将用户特征与第一向量建立连接关系或映射关系,以便于可以根据第一向量查找确定其所对应的用户。
例如,第一拼接向量可以为:“A:(1,1,0,0)”、“B:(1,0,0,1)”等。
S303、提取各待推荐信息的信息特征,并与第二向量拼接获取第二拼接向量。
第二拼接向量指示信息特征与用户之间的行为关系。
可选地,信息特征可以包括:待推荐信息的名称、类型等。
第二拼接向量的获取过程,与前述第一拼接向量的获取过程类似,在此不再赘述。
例如,第二拼接向量可以为:“1:(1,1,0)”、“2:(1,0,1)”等。
S304、根据第一拼接向量和第二拼接向量计算获取目标用户与各待推荐信息之间的距离信息。
可选地,可以计算第一拼接向量与第二拼接向量的余弦距离或欧式距离,作为第一拼接向量对应的用户与第二拼接向量对应的待推荐信息之间的距离信息,从而得到目标用户与各待推荐信息之间的距离信息。
可选地,在根据第一拼接向量和第二拼接向量进行计算之前,还可以将第一拼接向量和第二拼接向量分别送入多层感知机,映射至相同的k维隐空间,k为大于0的整数,得到k维第一拼接向量和k维第二拼接向量,也即,可以对第一拼接向量和第二拼接向量进行降维处理或升维处理,得到具有相同维度的第一拼接向量和第二拼接向量,以便于进行计算。
或者,也可以是将进行了上述向量拼接后的用户行为矩阵直接映射至相同的k维隐空间后,得到用户对应的M行k列的用户维度矩阵和N行k列的待推荐信息维度矩阵,用户维度矩阵和待推荐信息维度矩阵均位于同一空间中,用户维度矩阵中的行向量为k维的上述第一拼接向量,待推荐信息维度矩阵的行向量为k维的上述第二拼接向量,可以根据用户维度矩阵和待推荐信息维度矩阵,计算得到目标用户与各待推荐信息之间的距离信息,本申请在此不作限制。
例如,若用户维度矩阵为U,待推荐信息维度矩阵为Z,则用户i与待推荐信息j之间的距离信息D可以为:
D(i,j)=||Ui-Zj||2
其中,Ui为用户i在用户维度矩阵U中的行向量,Zj为待推荐信息在待推荐信息维度矩阵Z中的行向量。
图4示出了本申请实施例提供的信息推荐方法的又一流程示意图。
可选地,如图4所示,上述根据目标用户与各待推荐信息的关联度,确定目标用户对应的目标待推荐信息,可以包括:
S401、采用预设模型获取目标用户对应的偏置值。
其中,预设模型根据正样本和负样本训练获取,正样本包含与用户关联度满足预设关联条件的推荐信息、负样本包含与用户关联度不满足预设关联条件的推荐信息。
例如,预设关联条件可以是用户与推荐信息之间是否存在历史交互行为,如:购买、浏览、收藏、搜索等。若存在,则推荐信息与用户关联度满足预设关联条件,若不存在,则推荐信息与用户关联度不满足预设关联条件。或者,预设关联条件可以是用户与推荐信息之间的关联度是否大于预设阈值,如:60%、70%等,若大于预设阈值,则推荐信息与用户关联度满足预设关联条件,若小于或等于预设阈值,则推荐信息与用户关联度不满足预设关联条件;又或者,预设关联条件还可以是用户与不同推荐信息之间的关联度是否均大于预设阈值等,在此不再赘述。
可选地,可以为正样本设置第一偏置值,为负样本设置第二偏置值,例如,第一偏置值可以设置为负值、第二偏置值可以设置为正值;或者,第一偏置值可以设置为较小值、第二偏置值可以设置为较大的值等。然后,可以将正样本作为预设模型的输入、第一偏置值作为预设模型的输出,以及将负样本作为预设模型的输入、第二偏置值作为预设模型的输出,对预设模型进行学习训练。训练得到的预设模型的输入为:待推荐信息、输出为:待推荐信息对应的偏置值。
S402、根据偏置值和关联度,计算获取调整后的关联度。
可选地,部分实施方式中,在计算得到目标用户与各待推荐信息的关联度后,还可以采用预设模型获取各待推荐信息的偏置值,得到目标用户对应的偏置值。可以根据目标用户对应的偏置值,对各待推荐信息与用户之间的关联度进行调整。
以网购服务为例,对于一些比较冷门的待推荐信息,如:网购物品,其与大多数用户(包括目标用户)的关联度较低或不存在关联度(即关联度为0),比较偏向于上述负样本,将此类待推荐信息输入上述预设模型后,所得到的偏置值比较接近于第二偏置值。而对于一些较为热门的待推荐信息,其与大多数用户的关联度较高,比较偏向于上述正样本,将此类待推荐信息输入上述预设模型后,所得到的偏置值比较接近于第一偏置值。根据偏置值和关联度,计算获取调整后的关联度可以是将上述根据用户行为矩阵、以及预设算法,计算得到的距离信息与偏置值进行求和,从而将求和结果作为调整后的距离信息。
例如,若计算得到某个待推荐信息与用户之间的距离信息(即,用户与待推荐信息的关联度)为D,预设模型获取到的该待推荐信息的偏置值为d1,则调整后的关联度G可以为:G=D+d1。
S403、根据调整后的关联度,确定目标用户对应的目标待推荐信息。
可选地,由于调整后的关联度为根据预设模型获取的偏置值和用户与待推荐信息之间的关联度计算而得到,而预设模型是根据正样本和负样本训练所获取,从而可以使得与正样本较为接近的待推荐信息与用户之间的调整后的关联度更高,与负样本较为接近的待推荐信息与用户之间的调整后的关联度更低,进而可以在根据调整后的关联度,确定向目标用户推荐的目标待推荐信息时,进一步提高推荐结果的准确性。
以上述网购服务为例,通过比较接近于第一偏置值的偏置值对一些较为热门的待推荐信息所对应的关联度进行调整,可以使得用户与较为热门的待推荐信息距离更近;通过比较接近于第二偏置值的偏置值对一些较为冷门的待推荐信息所对应的关联度进行调整,可以使得用户与较为冷门的待推荐信息距离更远,从而可以提高用户的服务体验。
需要说明的是,第一偏置值和第二偏置值的具体数值,本申请在此不作限制。例如,可以是第一偏置值为-5、-2等负数,第二偏置值为2、5等正数;也可以是第一偏置值为0,第二偏置值为2、5等正数;又或者,还可以是第一偏置值为1、2、5等较小的数值,第二偏置值为7、9、10等较大的数值等。
可选地,本申请其他实施方式中,对预设模型进行训练时,正样本中还可以包括与待推荐信息关联度满足预设关联条件的用户的用户信息、负样本中还可以包括与待推荐信息关联度不满足预设关联条件的用户的用户信息。可选地,第三偏置值可以设置为-1、0、1等接近于0的数值,第四偏置值可以设置为-10、-8、-7等绝对值较大的负数。然后,可以将正样本(包括用户信息和推荐信息)作为预设模型的输入、第一偏置和第三偏置值作为预设模型的输出,以及将负样本(包括用户信息和推荐信息)作为预设模型的输入、第二偏置值和第四偏置值作为预设模型的输出,对预设模型进行学习训练。训练得到的预设模型的输入为:待推荐信息和/或用户信息、输出为:待推荐信息对应的偏置值和/或用户对应的偏置值。
同样以上述网购服务为例,对于一些不常使用网购服务的用户,其与大多数待推荐信息的关联度较低或不存在关联度(即关联度为0),比较偏向于上述负样本,将此类用户的用户信息输入上述预设模型后,所得到的偏置值比较接近于第四偏置值。而对于一些经常使用网购服务的用户,其与大多数待推荐信息的关联度较高,比较偏向于上述正样本,将此类用户的用户信息输入上述预设模型后,所得到的偏置值比较接近于第三偏置值。若计算得到某个用户与待推荐信息之间的距离信息(即,用户与待推荐信息的关联度)为D,预设模型获取到的待推荐信息对应的偏置值为d1、用户信息对应的偏置值为d2,即,预设模型所输出的目标用于对应的偏置值为“d1+d2”,则调整后的关联度G可以为:G=D+d1+d2。
通过比较接近于第四偏置值的偏置值对一些不常使用网购服务的用户所对应的关联度进行调整,可以使得用户与各待推荐信息的距离更近,以为该用户提供更多的待推荐信息,提高用户的服务体验。而对一些经常使用网购服务的用户,则可以通过比较接近于第四偏置值的偏置值对关联度进行调整,或者也可以不调整。
可选地,在训练获取上述预设模型时,还可以使用损失函数对预设模型中的模型参数进行调整。例如,损失函数可以为合页损失函数,可以通过计算预设模型的合页损失,为预设模型所获取的偏置值加上整体偏置,以使得预设模型的合页损失更加接近于0,从而提高预设模型的预测结果,更进一步地提高推荐结果的准确性。也即,预设模型所获取到的偏置值可以为:“d1+d2+l”,其中,l为整体偏置,具体计算公式如下:
其中,L为整体偏置;S为关联度满足预设关联条件的用户与推荐信息的集合;(i,j)为正样本;(i,k)为负样本;m为常数;ωij[]+为合页损失。
基于前述方法实施例所述的信息推荐方法,本申请实施例还提供一种信息推荐装置,该装置可以应用于计算机、服务器等具有数据处理能力的设备中,例如,可以集成于计算机或服务器的处理器中。图5示出了本申请实施例提供的信息推荐装置的结构示意图。
如图5所示,该信息推荐装置可以包括:获取模块10和确定模块20。获取模块10用于根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度。确定模块20用于根据所述目标用户与各所述待推荐信息的关联度,确定所述目标用户对应的目标待推荐信息。
图6示出了本申请实施例提供的信息推荐装置的另一结构示意图。
可选地,如图6所示,该信息推荐装置还可以包括:构建模块30。构建模块30用于在获取模块10根据各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系,计算获取目标用户与各待推荐信息的关联度之前,构建用户与待推荐信息的用户行为矩阵,用户行为矩阵的行/列向量分别指示各用户与不同待推荐信息的历史行为关系、各待推荐信息与不同用户的历史行为关系。
可选地,获取模块10具体可以用于根据用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息,距离信息用于指示目标用户与各待推荐信息的关联度。
可选地,获取模块10具体还可以用于对用户行为矩阵进行取反操作,获取取反后的用户行为矩阵;根据取反后的用户行为矩阵、以及预设算法,计算获取目标用户与各待推荐信息之间的距离信息。
图7示出了本申请实施例提供的获取模块的结构示意图。
可选地,如图7所示,上述获取模块10可以包括:第一提取子模块11、第二提取子模块12、第三提取子模块13和计算子模块14。第一提取子模块11用于根据用户行为矩阵提取各用户与不同待推荐信息的历史行为关系对应的第一向量、各待推荐信息与不同用户的历史行为关系对应的第二向量。第二提取子模块12用于提取各用户的用户特征,并与第一向量拼接获取第一拼接向量,第一拼接向量指示用户特征与待推荐信息之间的行为关系。第三提取子模块13用于提取各待推荐信息的信息特征,并与第二向量拼接获取第二拼接向量,第二拼接向量指示信息特征与用户之间的行为关系。计算子模块14用于根据第一拼接向量和第二拼接向量计算获取目标用户与各待推荐信息之间的距离信息。
可选地,确定模块20具体可以用于采用预设模型获取目标用户对应的偏置值,预设模型根据正样本和负样本训练获取,正样本包含与用户关联度满足预设关联条件的推荐信息、负样本包含与用户关联度不满足预设关联条件的推荐信息;根据偏置值和关联度,计算获取调整后的关联度;根据调整后的关联度,确定目标用户对应的目标待推荐信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中方法的对应过程,本申请中不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以执行本申请各个实施例所述方法的全部或部分步骤。
基于此,本申请实施例还提供一种电子设备,该电子设备可以是计算机、服务器等,本申请在此不作限制。图8示出了本申请实施例提供的电子设备的结构示意图。
如图8所示,该终端设备可以包括:处理器100、存储介质200和总线(图中未标出),存储介质200存储有处理器100可执行的机器可读指令,当电子设备运行时,处理器100与存储介质200之间通过总线通信,处理器100执行机器可读指令,以执行时执行如前述任一方法实施例中所述的信息推荐方法的步骤。具体实现方式和技术效果类似,在此不再赘述。
其中,存储介质可以包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。处理器可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(GraphicsProcessing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable GateArray,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等,或其任意组合。
本申请实施例还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行如前述任一方法实施例中所述的信息推荐方法的步骤。具体实现方式和技术效果类似,在此同样不再赘述。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种信息推荐方法,其特征在于,包括:
根据各用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系,计算获取目标用户与各所述待推荐信息的关联度;
根据所述目标用户与各所述待推荐信息的关联度,确定所述目标用户对应的目标待推荐信息。
2.根据权利要求1所述的方法,其特征在于,所述根据各用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系,计算获取目标用户与各所述待推荐信息的关联度之前,还包括:
构建用户与待推荐信息的用户行为矩阵,所述用户行为矩阵的行/列向量分别指示各所述用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系。
3.根据权利要求2所述的方法,其特征在于,所述根据各用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系,计算获取目标用户与各所述待推荐信息的关联度,包括:
根据所述用户行为矩阵、以及预设算法,计算获取目标用户与各所述待推荐信息的距离信息,所述距离信息用于指示目标用户与各所述待推荐信息的关联度。
4.根据权利要求3所述的方法,其特征在于,所述根据所述用户行为矩阵、以及预设算法,计算获取目标用户与各所述待推荐信息之间的距离信息,包括:
对所述用户行为矩阵进行取反操作,获取取反后的用户行为矩阵;
根据所述取反后的用户行为矩阵、以及预设算法,计算获取目标用户与各所述待推荐信息之间的距离信息。
5.根据权利要求3或4所述的方法,其特征在于,所述根据所述用户行为矩阵、以及预设算法,计算获取目标用户与各所述待推荐信息之间的距离信息,包括:
根据所述用户行为矩阵提取各所述用户与不同待推荐信息的历史行为关系对应的第一向量、各所述待推荐信息与不同用户的历史行为关系对应的第二向量;
提取各所述用户的用户特征,并与所述第一向量拼接获取第一拼接向量,所述第一拼接向量指示用户特征与待推荐信息之间的行为关系;
提取各所述待推荐信息的信息特征,并与所述第二向量拼接获取第二拼接向量,所述第二拼接向量指示信息特征与用户之间的行为关系;
根据所述第一拼接向量和所述第二拼接向量计算获取目标用户与各所述待推荐信息之间的距离信息。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述目标用户与各所述待推荐信息的关联度,确定所述目标用户对应的目标待推荐信息,包括:
采用预设模型获取所述目标用户对应的偏置值,所述预设模型根据正样本和负样本训练获取,所述正样本包含与用户关联度满足预设关联条件的推荐信息、所述负样本包含与用户关联度不满足预设关联条件的推荐信息;
根据所述偏置值和所述关联度,计算获取调整后的关联度;
根据所述调整后的关联度,确定所述目标用户对应的目标待推荐信息。
7.一种信息推荐装置,其特征在于,包括:
获取模块,用于根据各用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系,计算获取目标用户与各所述待推荐信息的关联度;
确定模块,用于根据所述目标用户与各所述待推荐信息的关联度,确定所述目标用户对应的目标待推荐信息。
8.根据权利要求7所述的装置,其特征在于,还包括:构建模块;
所述构建模块,用于在所述获取模块根据各用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系,计算获取目标用户与各所述待推荐信息的关联度之前,构建用户与待推荐信息的用户行为矩阵,所述用户行为矩阵的行/列向量分别指示各所述用户与不同待推荐信息的历史行为关系、各所述待推荐信息与不同用户的历史行为关系。
9.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于根据所述用户行为矩阵、以及预设算法,计算获取目标用户与各所述待推荐信息之间的距离信息,所述距离信息用于指示目标用户与各所述待推荐信息的关联度。
10.根据权利要求9所述的装置,其特征在于,所述获取模块,具体用于对所述用户行为矩阵进行取反操作,获取取反后的用户行为矩阵;根据所述取反后的用户行为矩阵、以及预设算法,计算获取目标用户与各所述待推荐信息之间的距离信息。
11.根据权利要求9或10所述的装置,其特征在于,所述获取模块,包括:
第一提取子模块,用于根据所述用户行为矩阵提取各所述用户与不同待推荐信息的历史行为关系对应的第一向量、各所述待推荐信息与不同用户的历史行为关系对应的第二向量;
第二提取子模块,用于提取各所述用户的用户特征,并与所述第一向量拼接获取第一拼接向量,所述第一拼接向量指示用户特征与待推荐信息之间的行为关系;
第三提取子模块,用于提取各所述待推荐信息的信息特征,并与所述第二向量拼接获取第二拼接向量,所述第二拼接向量指示信息特征与用户之间的行为关系;
计算子模块,用于根据所述第一拼接向量和所述第二拼接向量计算获取目标用户与各所述待推荐信息之间的距离信息。
12.根据权利要求7-10任一项所述的装置,其特征在于,所述确定模块,具体用于采用预设模型获取所述目标用户对应的偏置值,所述预设模型根据正样本和负样本训练获取,所述正样本包含与用户关联度满足预设关联条件的推荐信息、所述负样本包含与用户关联度不满足预设关联条件的推荐信息;根据所述偏置值和所述关联度,计算获取调整后的关联度;根据所述调整后的关联度,确定所述目标用户对应的目标待推荐信息。
13.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过所述总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-6任一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010125075.8A CN111339419A (zh) | 2020-02-27 | 2020-02-27 | 信息推荐方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010125075.8A CN111339419A (zh) | 2020-02-27 | 2020-02-27 | 信息推荐方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111339419A true CN111339419A (zh) | 2020-06-26 |
Family
ID=71185633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010125075.8A Pending CN111339419A (zh) | 2020-02-27 | 2020-02-27 | 信息推荐方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339419A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881349A (zh) * | 2020-07-20 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 一种内容搜索的方法及装置 |
CN114329198A (zh) * | 2021-12-27 | 2022-04-12 | 海信集团控股股份有限公司 | 一种基于用户睡眠的推荐健康信息的方法和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150106801A1 (en) * | 2013-10-16 | 2015-04-16 | Anand Agrawal | Recommending applications to portable electronic devices |
CN108182621A (zh) * | 2017-12-07 | 2018-06-19 | 合肥美的智能科技有限公司 | 商品推荐方法及商品推荐装置、设备和存储介质 |
CN109829775A (zh) * | 2018-12-03 | 2019-05-31 | 苏州大学 | 一种物品推荐方法、装置、设备及可读存储介质 |
CN110162693A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种信息推荐的方法以及服务器 |
-
2020
- 2020-02-27 CN CN202010125075.8A patent/CN111339419A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150106801A1 (en) * | 2013-10-16 | 2015-04-16 | Anand Agrawal | Recommending applications to portable electronic devices |
CN108182621A (zh) * | 2017-12-07 | 2018-06-19 | 合肥美的智能科技有限公司 | 商品推荐方法及商品推荐装置、设备和存储介质 |
CN109829775A (zh) * | 2018-12-03 | 2019-05-31 | 苏州大学 | 一种物品推荐方法、装置、设备及可读存储介质 |
CN110162693A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种信息推荐的方法以及服务器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881349A (zh) * | 2020-07-20 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 一种内容搜索的方法及装置 |
CN114329198A (zh) * | 2021-12-27 | 2022-04-12 | 海信集团控股股份有限公司 | 一种基于用户睡眠的推荐健康信息的方法和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191240B (zh) | 一种进行商品推荐的方法和装置 | |
CN105224699B (zh) | 一种新闻推荐方法及装置 | |
CN108805598B (zh) | 相似度信息确定方法、服务器及计算机可读存储介质 | |
CN103778214B (zh) | 一种基于用户评论的商品属性聚类方法 | |
JP5962926B2 (ja) | レコメンダシステム、レコメンド方法、及びプログラム | |
CN109559208A (zh) | 一种信息推荐方法、服务器及计算机可读介质 | |
CN111310038B (zh) | 信息推荐方法、装置、电子设备及计算机可读存储介质 | |
JP2005135071A (ja) | 商品購入における信頼値の算出方法及び装置 | |
CN112149003B (zh) | 商品社群推荐方法、装置和计算机设备 | |
CN110799980A (zh) | 在线体验中的绘文字理解 | |
CN110674620A (zh) | 目标文案生成方法、装置、介质及电子设备 | |
US20160104074A1 (en) | Recommending Bidded Terms | |
CN111966886A (zh) | 对象推荐方法、对象推荐装置、电子设备及存储介质 | |
CN111666757A (zh) | 商品评论情感倾向分析方法、装置、设备和可读存储介质 | |
CN111339419A (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
CN113239182A (zh) | 一种文章推荐方法、装置、计算机设备及存储介质 | |
CN107133811A (zh) | 一种目标用户的识别方法和装置 | |
CN117172887B (zh) | 商品推荐模型训练方法及商品推荐方法 | |
CN113468421A (zh) | 基于向量匹配技术的产品推荐方法、装置、设备及介质 | |
CN110020195B (zh) | 文章推荐方法及装置、存储介质、电子设备 | |
CN110851708A (zh) | 负样本的抽取方法、装置、计算机设备和存储介质 | |
CN115618126A (zh) | 搜索处理方法、系统、计算机可读存储介质及计算机设备 | |
CN113781180A (zh) | 一种物品推荐方法、装置、电子设备及存储介质 | |
CN111339434B (zh) | 信息推荐方法、装置、电子设备及计算机存储介质 | |
CN113763084A (zh) | 产品推荐的处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |