CN110659701B - 信息处理方法、装置、电子设备及介质 - Google Patents

信息处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN110659701B
CN110659701B CN201910957683.2A CN201910957683A CN110659701B CN 110659701 B CN110659701 B CN 110659701B CN 201910957683 A CN201910957683 A CN 201910957683A CN 110659701 B CN110659701 B CN 110659701B
Authority
CN
China
Prior art keywords
information
feature
vector
sub
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910957683.2A
Other languages
English (en)
Other versions
CN110659701A (zh
Inventor
何天琪
程建波
彭南博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN201910957683.2A priority Critical patent/CN110659701B/zh
Publication of CN110659701A publication Critical patent/CN110659701A/zh
Application granted granted Critical
Publication of CN110659701B publication Critical patent/CN110659701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种信息处理方法，包括：获取样本数据，该样本数据表征目标用户、目标物品及目标用户在第一时刻对目标物品执行p种预定操作的操作信息；获取目标用户的用户信息及目标物品的第一物品信息；将用户信息及第一物品信息输入特征提取模型，提取得到特征向量；采用预测模型处理特征向量，得到目标用户对目标物品执行p种预定操作中每种预定操作的预测置信度；以及根据操作信息及预测置信度，优化特征提取模型。其中，用户信息和/或第一物品信息包括以下至少两种类型的信息：特征信息、图像信息和文本信息，p为大于1的自然数。本公开还提供了一种信息处理装置、一种电子设备及一种计算机可读存储介质。

Description

信息处理方法、装置、电子设备及介质
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种信息处理方法、装置、电子设备及介质。
背景技术
近年来，随着电子商务的迅速发展和用户交互信息的爆炸式增长，从多类型、多维度的信息中提取用户特征成为影响推荐系统效果的重要因素。
在实现本公开构思的过程中，发明人发现现有技术中至少存在以下问题：现有的特征提取方法包括基于传统机器学习算法进行提取和基于时间序列深度学习算法进行提取。其中，基于传统机器学习算法进行提取(如协同过滤)仅能利用用户的交互信息，无法处理文本和图像等非结构化信息，从而存在大量数据浪费，特征提取效果较差的缺陷。基于时间序列深度学习算法需要人为在时间维度进行特征处理，处理方式相对固定，需要非常强的专家先验知识，并不能很好的处理时间序列类特征。
发明内容
有鉴于此，本公开提供了一种能够融合多种不同类型数据进行特征提取的信息处理方法、装置、电子设备及介质。
本公开的一个方面提供了一种信息处理方法，包括：获取样本数据，该样本数据表征目标用户、目标物品及目标用户在第一时刻对目标物品执行p种预定操作的操作信息；获取目标用户的用户信息及目标物品的第一物品信息；将用户信息及第一物品信息输入特征提取模型，提取得到特征向量；采用预测模型处理特征向量，得到目标用户对目标物品执行p种预定操作中每种预定操作的预测置信度；以及根据操作信息及预测置信度，优化特征提取模型，其中，用户信息和/或第一物品信息包括以下至少两种类型的信息：特征信息、交互记录信息、图像信息和文本信息，p为大于1的自然数。
根据本公开的实施例，上述特征提取模型包括针对至少两种类型的信息的至少两个提取子模型，以分别提取得到至少两种类型的信息的特征子向量，特征向量根据至少两种类型的信息的特征子向量得到。
根据本公开的实施例，上述用户信息包括：用户特征信息及在第一时刻之前的交互记录信息，该交互记录信息包括n个预定操作所针对物品的n个第二物品信息及n个预定操作所针对的n个第一时间信息；物品信息包括物品特征信息，n为大于1的自然数。上述提取得到特征向量包括：将第一物品信息包括的第一物品特征信息及用户特征信息分别输入第一转换模型，得到针对第一物品特征信息的第一特征子向量以及针对用户特征信息的第二特征子向量；将n个第二物品信息包括的n个第二物品特征信息及n个第一时间信息配对组合，得到n个第一输入信息；以及根据n个第一时间信息表征的n个第二时刻的先后顺序，将n个第一输入信息依次输入第一循环神经网络模型，得到第三特征子向量。其中，特征向量根据第一特征子向量、第二特征子向量以及第三特征子向量得到；针对特征信息的提取子模型包括第一转换模型和第一循环神经网络模型。
根据本公开的实施例，上述物品信息还包括物品图像信息；上述提取得到特征向量还包括：将n个第二物品信息包括的n个第二物品图像信息依次输入卷积神经网络模型，得到针对n个第二物品图像信息的n个第一向量；将n个第一向量及n个第一时间信息配对组合，得到n个第二输入信息；根据n个第一时间信息表征的n个第二时刻的先后顺序，将n个第二输入信息依次输入第二循环神经网络模型，得到第四特征子向量；以及将第一物品信息包括的第一物品图像信息输入卷积神经网络模型中，得到第五特征子向量。其中，特征向量还根据第四特征子向量和第五特征子向量得到；针对图像信息的提取子模型包括卷积神经网络模型和第二循环神经网络模型。
根据本公开的实施例，上述用户信息还包括在第一时刻之前输入的m个输入文本信息及输入m个输入文本信息的m个第二时间信息，上述物品信息还包括物品文本信息；上述提取得到特征向量还包括：将m个输入文本信息依次输入第二转换模型，得到针对m个输入文本信息的m个第二向量；将m个第二向量及m个第二时间信息配对组合，得到m个第三输入信息；根据m个第二时间信息表征的m个第三时刻的先后顺序，将m个第三输入信息依次输入第三循环神经网络模型，得到第六特征子向量；以及将物品文本信息输入第二转换模型，得到针对物品文本信息的第七特征子向量，其中，特征向量还根据第六特征子向量及第七特征子向量得到；针对文本信息的提取子模型包括第二转换模型和第三循环神经网络模型。
根据本公开的实施例，上述第一循环神经网络模型、第二循环神经网络模型和/或第三循环神经网络模型中的任一循环神经网络模型采用以下公式计算得到第i次循环的输出信息ai：
ai＝g1(W1xdi+ai-1W2+b1)；
上述任一循环神经网络模型通过以下公式计算得到输出的特征子向量：
xend＝g2(anW3+b2)；
其中，1≤i≤n，W1、W2、W3、b1和b2为任一循环神经网络模型的参数，xdi为任一循环神经网络模型的第i次循环的输入信息，g1()为非线性函数，g2()为激活函数。
根据本公开的实施例，上述第一循环神经网络模型、第二循环神经网络模型和/或第三循环神经网络模型中的任一循环神经网络模型采用以下公式计算得到第i次循环的输出信息ai：
ai＝g1[f(ti)W1xdi+ai-1W2+b1]；
其中，1≤i≤n，W1、W2和b1为任一循环神经网络模型的参数，xdi为任一循环神经网络模型的第i次循环的输入信息，g1()为非线性函数，ti为n个第一时间信息中第i个第一时间信息表征的第二时刻；f(ti)为时间衰减因子，通过以下公式计算得到：
Figure BDA0002227101820000031
其中，t0为第一时刻，γ为大于0的超参。
根据本公开的实施例，上述根据操作信息及预测置信度，优化特征提取模型包括：采用交替子空间梯度下降算法，根据操作信息及置信度，交替优化至少两个提取子模型中的每个提取子模型。
根据本公开的实施例，上述操作信息包括针对p种预定操作中每种预定操作的实际置信度；优化每个提取子模型包括：根据针对每种预定操作的预测置信度与针对每种预定操作的实际置信度，采用损失函数计算得到特征提取模型针对每种预定操作的损失值；根据针对每种预定操作的损失值，优化每个提取子模型。
根据本公开的实施例，上述针对每种预定操作的预测置信度包括根据q个样本数据得到的q个预测置信度；针对每种预定操作的损失值为q个；上述优化每个提取子模型还包括：整合针对p种预定操作的p*q个损失值，得到特征提取模型针对q个样本数据的总损失值；以及根据总损失值，优化每个提取子模型。其中，q为大于1的自然数。
本公开的另一方面提供了一种信息处理装置，该装置包括：样本获取模块，用于获取样本数据，该样本数据表征目标用户、目标物品及目标用户在第一时刻对目标物品执行p种预定操作的操作信息；信息获取模块，用于获取目标用户的用户信息及目标物品的第一物品信息；特征提取模块，用于将用户信息及第一物品信息输入特征提取模型，提取得到特征向量；置信度预测模块，用于采用预测模型处理特征向量，得到目标用户对目标物品执行p种预定操作中每种预定操作的预测置信度；以及模型优化模块，用于根据操作信息及预测置信度，优化特征提取模型。其中，用户信息和/或第一物品信息包括以下至少两种类型的信息：特征信息、图像信息和文本信息，p为大于1的自然数。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上所述的信息处理方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的信息处理方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的算法训练方法。
根据本公开的实施例，在提取特征向量时，不仅对用户和物品的交互信息进行特征提取，还可以对特征信息、图像信息和/或文本信息等非结构化的信息进行特征提取。相较于现有技术中仅对用户的交互信息进行特征提取的技术方案，可以使得提取得到的特征向量具有更强的特征刻画能力，从而使得提取得到的特征向量在后续推荐系统中具有更高的应用价值。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的信息处理方法、装置、电子设备及介质的应用场景；
图2示意性示出了根据本公开实施例的信息处理方法的流程图；
图3A示意性示出了根据本公开示例性实施例一的提取得到特征向量的流程图；
图3B示意性示出了根据本公开实施例采用第一循环神经网络模型得到第三特征子向量的流程示意图；
图4示意性示出了根据本公开示例性实施例二的提取得到特征向量的流程图；
图5示意性示出了根据本公开示例性实施例三的提取得到特征向量的流程图；
图6示意性示出了根据本公开实施例的特征提取模型及其提取得到特征向量的整体架构示意图；
图7示意性示出了根据本公开示例性实施例一的优化每个提取子模型的流程图；
图8示意性示出了根据本公开示例性实施例二的优化每个提取子模型的流程图；
图9示意性示出了根据本公开实施例的信息处理装置的结构框图；以及
图10示意性示出了根据本公开实施例的适于执行信息处理方法的电子设备的结构框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种信息处理方法、装置、电子设备及介质。其中，信息处理方法包括：获取样本数据，该样本数据表征目标用户、目标物品及目标用户在第一时刻对目标物品执行p种预定操作的操作信息；获取目标用户的用户信息及目标物品的第一物品信息；将用户信息及第一物品信息输入特征提取模型，提取得到特征向量；采用预测模型处理特征向量，得到目标用户对目标物品执行p种预定操作中每种预定操作的预测置信度；以及根据操作信息及预测置信度，优化特征提取模型。其中，用户信息和/或第一物品信息包括以下至少两种类型的信息：特征信息、交互记录信息、图像信息和文本信息，p为大于1的自然数。
图1示意性示出了根据本公开实施例的信息处理方法、装置、电子设备及介质的应用场景100。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮准本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103。
该终端设备101、102、103可以是具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
根据本公开的实施例，该终端设备101、102、103例如可以根据大量的样本数据预先训练得到特征提取模型，以对输入的目标用户的用户信息和目标物品的物品信息进行特征提取，得到特征向量，从而为后续的推荐系统等提供输入。
根据本公开的实施例，该终端设备101、102、103例如还可以集成有前述的特征提取功能和推荐功能的系统，以用于对该系统输入的数据信息进行端到端的处理，得到目标用户对目标物品进行预定操作的置信度，并根据该置信度为目标用户推荐物品。
根据本公开的实施例，终端设备101、102、103例如还可以具有显示功能，以向用户显示集成有特征提取功能和推荐功能的系统输出的为用户推荐的物品。
根据本公开的实施例，如图1所示，该应用场景100例如还可以包括网络104和数据库105，网络104用于在终端设备101、102、103和数据库105之间提供通信链路的介质。数据库105中存储有大量的样本数据、多个目标用户的用户信息、多个物品的物品信息，从而便于终端设备101、102、103进行特征提取模型的训练。其中，数据库105例如可以为服务器等。
需要说明的是，本公开实施例所提供的信息处理方法一般可以由终端设备101、102、103执行。相应地，本公开实施例所提供的信息处理装置一般可以设置于终端设备101、102、103中。
应该理解，上述终端设备101、102、103，网络104和数据库105的类型仅仅是示意性的，根据实现需要，可以具有任意类型的终端设备101、102、103，网络104和数据库105。
图2示意性示出了根据本公开实施例的信息处理方法的流程图。
如图2所示，本公开实施例的信息处理方法可以包括循环执行的操作S210～操作S250，以对特征提取模型进行不断优化。
在操作S210，获取样本数据，该样本数据表征目标用户、目标物品及目标用户在第一时刻对目标物品执行p种预定操作的操作信息。
其中，样本数据例如可以是预先对用户与终端设备的交互记录信息进行提取得到的数据，该样本数据例如可以包括：用户标识pin、用户与终端设备的交互所针对的物品标识item、及用户对所针对的物品在某个时刻是否执行p种预定操作的信息。其中，p为大于1的自然数。
根据本公开的实施例，若用户与终端设备的交互是针对电商平台提供的应用程序中呈现的物品的交互，p种预定操作可以包括：点击浏览操作、加购操作或者下单购买操作。对所针对的物品是否执行p种预定操作的信息可以包括：对物品的操作通过one-hot(独热编码)方式转换得到的针对p种预定操作的操作向量。相应地，上述样本数据可以是用户标识、物品标志、操作执行时间t和操作向量拼接得到的数据。例如若用户pin_1通过电子设备在t0时刻对物品item_1进行了点击浏览操作，并在t_1时刻后进行了加购操作，则提取得到的样本数据可以表示为：[pin_1，item_1，t0，1，1，0]。其中，操作向量为[1，1，0]表征对物品item_1执行了点击浏览操作和加购操作，但未执行下单购买操作。可以理解的是，上述样本数据的获取及表示形式仅作为示例以利于理解本公开，对于不同的应用场景，可以具有不同形式的样本数据。
在操作S220，获取目标用户的用户信息及目标物品的第一物品信息。
根据本公开的实施例，用户信息和目标物品的第一物品信息例如可以包括以下至少两种类型的信息：特征信息、交互记录信息、图像信息和文本信息。
根据本公开的实施例，用户信息例如可以包括以下至少两种信息：用户特征信息、用户与电子设备进行交互的交互记录信息、用户画像信息和/或用户输入电子设备的输入文本信息等。用户特征信息例如可以包括用户的年龄、职业、性别等属性信息。交互记录信息例如可以包括用户对电子设备中显示的物品执行p个预定操作中任一预定操作的时间及该任一预定操作所针对物品的物品信息。该物品信息与第一物品信息为相似信息。输入文本信息例如可以是输入的搜索关键字词等。其中，用户与电子设备的交互例如可以通过操作体进行，该操作体例如可以包括各种输入设备。
根据本公开的实施例，目标物品的物品信息例如可以包括以下至少两种信息：物品特征信息、物品图像信息、物品文本信息和物品的历史成交信息等。物品特征信息例如可以包括物品价格、物品类别、物品生产商等基本的属性信息。物品图像信息例如可以包括物品的主图等，物品文本信息例如可以包括对物品的描述文本，以描述物品的性能等。
在操作S230，将用户信息及第一物品信息输入特征提取模型，提取得到特征向量。
根据本公开的实施例，该操作S230即为将操作S220中获取的至少两种类型的用户信息和物品信息输入特征提取模型，得到针对该用户信息和物品信息的特征向量。
根据本公开的实施例，特征提取模型例如可以为深度学习模型或者信息转换模型，以将用户信息和物品信息转换为向量。例如，该特征提取模型可以是由至少两个提取子模型构成的模型，每个提取子模型用于提取一种类型的信息的特征，得到一个特征子向量。例如，若用户信息和物品信息包括特征信息和图像信息，则通过针对特征信息的提取子模型得到针对特征信息的特征子向量，通过针对图像信息的提取子模型得到针对图像信息的特征子向量。相应地，该特征提取模型例如还可以包括向量拼接子模型，以将针对至少两种类型的信息的特征子向量进行拼接，得到最终的特征向量。
根据本公开的实施例，该特征提取模型具体例如可以通过图3A～图5描述的流程提取特征向量，该特征提取模型具体例如可以具有图6所示的架构，在此不再赘述。
在操作S240，采用预测模型处理特征向量，得到目标用户对目标物品执行p种预定操作中每种预定操作的预测置信度。
根据本公开的实施例，该预测模型例如可以是根据算法生成的模型，例如，该预测模型可以是通过融合线性变换函数和激活函数生成的。其中，激活函数例如可以为sigmoid函数。其中，线性变换函数中的参数例如可以是通过根据作为样本的多个特征向量进行训练优化得到的。
根据本公开的实施例，假定操作S230得到的特征向量为Xn，则预测模型可以通过以下公式(1)计算得到目标用户执行p种预定操作中第j种预定操作的预测置信度
Figure BDA0002227101820000101
Figure BDA0002227101820000102
其中，cj与bj为线性变换函数中的参数，对于p中预定操作中的不同预定操作，该线性变换函数的参数可以取不同值。
在操作S250，根据操作信息及预测置信度，优化特征提取模型。
根据本公开的实施例，该操作S250例如可以包括：先根据针对操作信息的操作向量中针对p种预定操作的元素值与针对p种预定操作的预测置信度，采用损失函数计算得到特征提取模型的损失值，然后将该损失值反馈给特征提取模型，对特征提取模型进行反馈调整。其中，损失函数例如可以包括交叉熵损失函数、指数损失函数、softmax损失函数等。可以理解的是，上述操作S250的实现方法仅作为示例以利于理解本公开，本公开对此不作限定。例如，该操作S250例如可以通过图7～图8描述的流程优化特征提取模型，在此不再赘述。
综上可知，本公开实施例的信息处理方法，通过优化能够提取多种不同类型信息的特征的特征提取模型，可以使得特征提取模型可以应用于多种不同场景进行特征提取，并使得提取得到的特征能够从多角度刻画用户，从而使得提取的特征能够在推荐信息等场景中具有更高的应用价值。
以下结合图3A～图6对特征提取模型提取不同类型的信息的特征的流程进行详细描述。可以理解的是，输入该特征提取模型的信息可以包括特征信息、图像信息、文本信息和交互记录信息中的至少两种。在通过各个提取子模型得到特征子向量后，将各个特征子向量拼接即可得到操作S230中的特征向量。
图3A示意性示出了根据本公开示例性实施例一的提取得到特征向量的流程图，图3B示意性示出了根据本公开实施例采用第一循环神经网络模型得到第三特征子向量的流程示意图。
根据本公开的实施例，操作S220中获取的用户信息例如可以包括用户特征信息及在第一时刻之前的交互记录信息。物品信息例如可以包括物品特征信息。其中，交互记录信息可以包括：n个预定操作所针对物品的n个第二物品信息和n个预定操作所针对的n个第一时间信息。其中，n个预定操作可以从第一时刻回溯目标用户与电子设备的交互记录，得到的属于p种预定操作的n个操作。n个第一时间信息为与n个预定操作一一对应的预定操作的操作时间。
相应地，特征提取模型可以包括针对特征信息的特征提取子模型，以提取用户特征信息、物品特征信息和交互记录信息中第二物品信息包括的第二物品特征信息的特征。该针对特征信息的特征提取子模型例如可以包括第一转换模型和第一循环神经网络模型。其中，第一转换模型用于根据特征信息提取得到属性特征的特征向量，第一循环神经网络模型用于根据特征信息提取得到行为类特征的特征向量。如图3所示，提取得到特征向量的操作S230可以包括操作S331～操作S333。
在操作S331，将第一物品信息包括的第一物品特征信息及用户特征信息分别输入第一转换模型，得到针对第一物品特征信息的第一特征子向量以及针对用户特征信息的第二特征子向量。该第一特征子向量可以表征目标物品的属性特征，第二特征子向量可以表征目标用户的属性特征。
根据本公开的实施例，该第一转换模型例如可以是集成有one-hot方法的模型，以将用户特征信息和第一物品特征信息转换为向量。例如，若用户特征信息包括：年龄26岁，职业为都市白领，则通过该第一转换模型得到的第二特征子向量可以表示为[26，1，0，0，0]。若第一物品特征信息包括：价格为200元，属于美妆类物品，则通过该第一转换模型转换得到的第一特征子向量可以表示为[200，0，0，1]。
根据本公开的实施例，为了避免提取得到的特征子向量的数据分布过于稀疏，并在一定程度上提高特征提取模型的训练速率。第一转换模型集成的one-hot方法例如还可以具有embedding(嵌入)功能。此时，通过该第一转换模型得到的第一特征子向量例如可以由[200，0，0，1]变为[200，0.11，0.41，……，0.33]。该通过embedding后得到的特征子向量与未通过embedding得到的特征子向量可以具有不同的维数。
在操作S332，将n个第二物品信息包括的n个第二物品特征信息及n个第一时间信息配对组合，得到n个第一输入信息。
根据本公开的实施例，该操作S332例如可以包括，先将n个第二物品特征信息输入前述的第一转换模型，得到针对n个第二物品特征信息的n个向量，然后再将n个第一时间信息表征的n个第二时刻分别作为一个元素并入n个向量，得到n个第一输入信息。
在操作S333，根据n个第一时间信息表征的n个第二时刻的先后顺序，将n个第一输入信息依次输入第一循环神经网络模型，得到第三特征子向量。
根据本公开的实施例，操作S332可以包括：先将n个第一输入信息根据包括的n个第二时刻的先后顺序进行排列，得到排列结果，该排列结果例如可以表示为：xd1，xd2，xd3，……，xdn。其中，xdi表示排列结果中第i个第一输入信息。然后再如图3B所示，将该排列好的n个输入信息依次输入第一循环神经网络模型中，经过n次循环后得到输入an。最后再根据an得到第三特征子向量xend。其中，第i次循环中，第一循环神经网络模型的输入为xdi及ai-1，其中，ai-1为第i-1次循环的输出信息。1≤i≤n。其中，对于i＝1的情况，输入的a0的取值例如可以为0向量。
根据本公开的实施例，第一循环神经网络模型例如可以通过以下公式(2)计算得到第i次循环的输出信息：
ai＝g1(W1xdi+ai-1W2+b1) 公式(2)
该第一循环神经网络模型例如可以通过以下公式(3)计算得到输出的第三特征子向量xend：
xend＝g2(anW3+b2)； 公式(3)
其中，W1、W2、W3、b1和b2为所述第一循环神经网络模型的参数，g1()为非线性函数，以对an中的每个元素做非线性变化。g2()为激活函数。其中，为了保证特征提取模型具有更好的拟合效果，该非线性函数例如可以采用tanh函数。激活函数g2()例如可以采用sigmoid函数。W1、W2、W3、b1和b2为优化特征提取模型时需要优化的参数，该些参数的初始取值可以设定为经验值或者根据实际需求进行设定。其中，第三特征子向量xend的维度可以通过W3的列数进行控制。
根据本公开的实施例，为了使得提取得到的特征向量更为符合目标用户近期的需求，还可以为第一循环神经网络中计算得到输出信息加入取值在[0，1]区间的时间衰减因子，从而保证新执行的预定操作具有较大的权重。该时间衰减因子可以是预定操作执行时刻与前述的第一时刻的时间差的函数。其中，为了有效控制权重衰减速率，还可以为该时间衰减因子加入超参γ。因此，可以采用以下加入时间衰减因子的公式(4)替代前述计算输出信息的公式(2)：
ai＝g1[f(ti)W1xdi+ai-1W2+b1]； 公式(4)
其中，f(ti)为时间衰减因子，该时间衰减因子例如可以通过以下公式(5)计算得到：
Figure BDA0002227101820000131
其中，超参γ可以用于调节第一循环神经网络模型对时间的敏感度，γ越小，时间敏感度越强。该超参γ例如可以为优化特征提取模型时需要优化的参数，该γ的初始值为大于0的任意值，例如可以为0.1。
根据本公开的实施例，在用户信息和物品信息不包括其他信息的情况下，特征提取模型提取得到的特征向量可以通过拼接前述各个特征子向量得到。因此操作S230还可以包括操作S334，拼接第一特征子向量、第二特征子向量和第三特征子向量，得到特征向量Xu。
图4示意性示出了根据本公开示例性实施例二的提取得到特征向量的流程图。
根据本公开的实施例，前述的物品信息例如还可以包括物品图像信息。则第一物品信息包括第一物品图像信息，n个第二物品信息包括n个第二物品图像信息。
相应地，特征提取模型可以包括针对图像信息的特征提取子模型，以提取第一物品图像信息和n个第二物品图像信息的特征。该针对图像信息的特征提取子模型例如可以包括卷积神经网络模型和第二循环神经网络模型。其中，卷积神经网络模型用于将图像信息编码为一个一维向量，作为第二循环神经网络模型的输入。如图3所示，提取得到特征向量的操作S230还可以包括操作S431～操作S434。其中，操作S434可以在操作S431～操作S433之前、之后或任意的其他时机执行。
在操作S431，将n个第二物品信息包括的n个第二物品图像信息依次输入卷积神经网络模型，得到针对n个第二物品图像信息的n个第一向量。
其中，n个第二物品图像信息例如可以为n个第二物品的主图。为了便于处理，该n个第二物品图像信息可以为缩放裁剪为统一大小的图像，每个图像例如可以是一个三通道数据矩阵(RGB图像)。其中，卷积神经网络模型例如可以包括若干个卷积层和池化层，通过该若干个卷积层和池化层的处理，可以得到针对每个第二物品图像信息的第一向量。卷积神经网络中各个层的设计可以根据实际需求进行设定，本公开不作限定。
在得到n个第一向量后，为了便于通过第二循环神经网络模型提取得到针对该n个第二物品图像信息的特征子向量，还可以将n个第一时间信息与n个第一向量配对组合得到第二循环神经网络模型的输入信息。因此，执行操作S432，将n个第一向量及n个第一时间信息配对组合，得到n个第二输入信息。该操作S432得到n个第二输入信息的方法与前述操作S332得到n个第一输入信息的方法相似，在此不再赘述。
在得到n个第二输入信息后，即可通过第二循环神经网络模型得到针对图像信息的特征子向量。因此执行操作S433，根据n个第一时间信息表征的n个第二时刻的先后顺序，将n个第二输入信息依次输入第二循环神经网络模型，得到第四特征子向量。该操作S433与前述的操作S333类似，在此不再赘述。其中，第二循环神经网络模型与第一循环神经网络模型类似，区别在于具有不同的初始参数。
为了提取第一物品信息包括的第一物品图像信息的特征，执行操作S434，将所述第一物品信息包括的第一物品图像信息输入所述卷积神经网络模型中，得到第五特征子向量。该操作S434得到第五特征子向量的方法与操作S431中得到第一向量的方法相似，在此不再赘述。
根据本公开的实施例，此种情况下，特征提取模型提取得到的特征向量可以通过拼接图3描述的流程得到的各个特征子向量和图4描述的流程得到的各个特征子向量得到。因此操作S230还可以包括操作S435，拼接第一特征子向量、第二特征子向量、第三特征子向量、第四特征子向量和第五特征子向量，得到特征向量Xn。
图5示意性示出了根据本公开示例性实施例三的提取得到特征向量的流程图。
根据本公开的实施例，前述的物品信息例如还可以包括在第一时刻之前输入的m个输入文本信息及输入该m个输入文本信息的m个第二时间信息，第一物品信息还包括物品文本信息。其中，输入文本信息例如可以是从第一时刻回溯目标用户输入电子设备的文本信息，得到m个输入文本信息。物品文本信息为描述第一物品的性能等信息的文本。其中，m为大于1的自然数。
相应地，特征提取模型可以包括针对文本信息的特征提取子模型，以提取第一物品文本信息和m个输入文本信息的特征。该针对文本信息的特征提取子模型例如可以包括第二转换模型和第三循环神经网络模型。其中，第二转换模型用于提取文本信息的关键字，并将关键字转换为向量表述。第三循环神经网络模型与前述的第一循环神经网络模型相似，区别仅在于参数的取值不同。如图5所示，提取得到特征向量的操作S230还可以包括操作S531～操作S534。其中，操作S534可以在操作S531～操作S533之前、之后或任意的其他时机执行。
在操作S531，将m个输入文本信息依次输入第二转换模型，得到针对m个输入文本信息的m个第二向量。
根据本公开的实施例，该第二转换模型例如可以是集成有关键词提取功能及word2vec等转换算法的模型。第二转换模型用于首先使用关键词提取功能对m个输入文本中的每个输入文本进行关键词提取，每个输入文本提取得到一个关键词。然后使用word2vec等转换算法将每个关键词转换得到一个第二向量。
在操作S532，将m个第二向量及m个第二时间信息配对组合，得到m个第三输入信息。该操作S532得到第三输入信息的方法与前述操作S332得到第一输入信息的方法类似，在此不再赘述。
在操作S533，根据m个第二时间信息表征的m个第三时刻的先后顺序，将m个第三输入信息依次输入第三循环神经网络模型，得到第六特征子向量。该操作S533得到第六特征子向量的方法与前述操作S333得到第三特征子向量的方法相似，在此不再赘述。
在操作S534，将物品文本信息输入第二转换模型，得到针对物品文本信息的第七特征子向量。该操作S534得到第七特征子向量的方法与前述操作S531得到第二向量的方法类似，在此不再赘述。
根据本公开的实施例，在用户信息和物品信息包括特征信息、交互记录信息和文本信息的情况下，可以通过拼接图3描述的流程得到的第一特征子向量、第二特征子向量、第三特征子向量和图5描述的流程得到的第六特征子向量和第七特征子向量，得到操作S230中的特征向量。
根据本公开的实施例，在用户信息和物品信息包括特征信息、交互记录信息、图像信息和文本信息的情况下，可以通过拼接图3描述的流程得到的各子向量、图4描述的流程得到的各子向量及图5描述的流程得到的各子向量，得到操作S230中的特征向量。因此，操作S230还可以包括操作S535，拼接第一特征子向量、第二特征子向量、第三特征子向量、第四特征子向量、第五特征子向量、第六特征子向量和第七特征子向量，得到特征向量。
图6示意性示出了根据本公开实施例的特征提取模型及其提取得到特征向量的整体架构示意图。
根据本公开的实施例，操作S220中的特征提取模型可以包括前述的所有特征提取子模型。因此，如图6所示，该特征提取模型例如可以包括：针对特征信息的第一提取子模型、针对交互记录信息的第二提取子模型、针对图像信息的第三提取子模型和针对文本信息的第四提取子模型。
根据本公开的实施例，第一提取子模型包括前述的第一转换模型，用户对物品的静态特征(例如价格、型号等)和用户的静态特征(例如性别、年龄)等进行特征提取，分别得到第一特征子向量X1和第二特征子向量X2。
根据本公开的实施例，第二提取子模型包括前述的第一循环神经网络模型CNN1，用于对交互记录信息中包括的第二物品信息包括的第二物品特征信息进行特征提取，最终将输出的向量xend作为第三特征子向量X3。
根据本公开的实施例，第三提取子模型包括前述的卷积神经网络模型CNN和第二循环神经网络模型RNN2，用户对第二物品信息包括的图像信息及第一物品信息包括的图像信息进行特征提取，其中，卷积神经网络模型CNN的输入为预处理后尺寸一致的多个第二物品图像信息Q1、Q2、……、Qn，输出为n个第一向量x′d1、x′d2、……、x′dn。第二循环神经网络模型RNN2第i次循环的输入为n个第一向量中的第i个第一向量x′di及第i-1次循环的输出a′i-1。最终将输出的向量x′end作为第四特征子向量X4。卷积神经网络模型CNN的输入还包括第一物品图像信息Qitem_1，输出xitem_1作为第五特征子向量X5。
根据本公开的实施例，第四提取子模型包括前述的第三循环神经网络模型CNN3和第二转化模型，第二转换模型的输入包括m个输入文本，输出为m个第二向量x″d1、x″d2、x″d3、……、x″dm，以作为第三循环神经网络模型CNN3的输入。具体地，对于第k次循环，第三循环神经网络模型CNN3的输入包括m个第二向量中的第k个第二向量x″dk和第k-1次循环的输出a″k-1。最终将输出的向量x″end作为第六特征子向量X6。第二转换模型的输入还包括第一物品信息的文本信息，将输出得到的xitem_1作为第七特征子向量X7。
在通过前述的各个提取子模型得到各个特征子向量后，通过将特征子向量X1、X2、X3、X4、X5、X6和X7拼接后即可形成最终的特征向量Xu。
图7示意性示出了根据本公开示例性实施例一的优化每个提取子模型的流程图。
根据本公开的实施例，考虑到特征提取模型中各个提取子模型包括的循环神经网络模型的链路完全独立且各自具有一定深度，从计算量和性能上来说，采用梯度下降同步优化全量参数是不合理的。因此，前述操作S250具体可以是采用交替子空间梯度下降算法，根据操作信息及置信度，交替优化至少两个提取子模型中的每个提取子模型。从而降低模型优化的复杂度。如图7所示，该操作S250例如可以包括操作S751～操作S752。
在操作S751，根据针对每种预定操作的预测置信度与针对每种预定操作的实际置信度，采用损失函数计算得到特征提取模型针对每种预定操作的损失值。
根据本公开的实施例，操作S210获取的样本数据中表征的操作信息具体包括针对p种预定操作中每种预定操作的实际置信度，例如，若p种预定操作包括点击浏览操作、加购操作或者下单购买操作，操作信息包括的操作向量为[1，1，0]，则操作信息中对于点击浏览操作的实际置信度为1，对于加购操作的实际置信度为1，对于下单购买操作的实际置信度为0。
根据本公开的实施例，若损失函数采用交叉熵损失函数，则针对p种预定操作中的第j种预定操作的置信度可以采用以下公式(6)得到：
Figure BDA0002227101820000181
其中，yj为操作信息中针对第j中预定操作的实际置信度。
在得到针对p种预定操作中每种预定操作的损失值后，执行操作S752，根据针对每种预定操作的损失值，优化每个提取子模型。该操作S752例如可以是通过将针对p种预定操作的损失值进行累加得到总损失值，然后根据该总损失值对至少两个提取子模型中的第一提取子模型进行优化。根据本公开的实施例，在对第一提取子模型优化后，再将用户信息和第一物品信息输入优化了第一提取子模型后的特征提取子模型，通过操作S230～操作S250再对至少两个提取子模型中的第二提取子模型进行优化。依次类推，来对至少两个提取子模型进行交替优化，从而实现对特征提取模型的优化。
根据本公开的实施例，为了进一步提高模型优化效率，例如可以获取多个样本数据(例如q个)，通过多次执行操作S210～操作S240，依次根据q个样本数据得到q个特征向量，并得到q组预测置信度。每组预测置信度包括目标物品执行p种预定操作中每种预定操作的一个预测置信度。因此，操作S751中针对每种预定操作的预测置信度包括根据q个样本数据得到的q个预测置信度。通过操作S752可以得到针对每种预定操作的q个损失值，则针对p种预定操作可以总共得到p*q个损失值。S752可以综合考虑该p*q个损失值优化特征提取模型。
图8示意性示出了根据本公开示例性实施例二的优化每个提取子模型的流程图。
如图8所示，优化特征提取模型的操作S752可以包括操作S8521～操作S8522。
在操作S8521，整合针对p种预定操作的p*q个损失值，得到特征提取模型针对q个样本数据的总损失值。在操作S8522，根据总损失值，优化每个提取子模型。
该操作S8521例如可以是将p*q个损失值通过以下公式(7)进行求和，得到总损失值Loss：
Figure BDA0002227101820000191
其中，yrj为q个样本数据中第r个样本数据表征的操作信息中针对p个预定操作中第j个预定操作的实际置信度，
Figure BDA0002227101820000192
为q组预测置信度中第r组预测置信度包括的针对第i个预定操作的预测置信度。
在得到总损失值后，即可对特征提取模型包括的多个提取子模型中的第一提取子模型进行优化。再优化了该第一提取子模型后，再将q个用户信息和q个第一物品信息依次输入优化了第一提取子模型后的特征提取子模型，通过多次执行操作S230～操作S240再次得到q组置信度，并通过操作S751～操作S752对第二提取子模型进行优化。以此类推，对多个提取子模型进行交替优化。
根据本公开的实施例，在优化得到满足需求的特征提取模型后，可以将该预测提取模型应用于提取各种类型特征的场景中，例如可以用于单独提取图像信息的特征、单独提取文本信息的特征，也可以用于提取任意组合的两种类型的信息的特征。通过将该特征提取模型和预测模型整合，还可以用于完成端到端的置信度预测，从而便于向用户推荐物品。
图9示意性示出了根据本公开实施例的信息处理装置的结构框图。
如图9所示，本公开实施例的信息处理装置900例如可以包括样本获取模块910、信息获取模块920、特征提取模块930、置信度预测模块940和模型优化模块950。
样本获取模块910用于获取样本数据，该样本数据表征目标用户、目标物品及目标用户在第一时刻对目标物品执行p种预定操作的操作信息(操作S210)。
信息获取模块920用于获取目标用户的用户信息及目标物品的第一物品信息(操作S220)。其中，用户信息和/或第一物品信息包括以下至少两种类型的信息：特征信息、图像信息和文本信息，p为大于1的自然数。
特征提取模块930用于将用户信息及第一物品信息输入特征提取模型，提取得到特征向量(操作S230)。
置信度预测模块940用于采用预测模型处理特征向量，得到目标用户对目标物品执行p种预定操作中每种预定操作的预测置信度(操作S240)。
模型优化模块950用于根据操作信息及预测置信度，优化特征提取模型(操作S250)。
根据本公开的实施例，特征提取模型包括针对至少两个类型的信息的至少两个提取子模型，以分别提取得到至少两个类型的信息的特征子向量，特征向量根据至少两个类型的信息的特征子向量得到。
根据本公开的实施例，上述用户信息包括：用户特征信息及在第一时刻之前的交互记录信息，交互记录信息包括n个预定操作所针对物品的n个第二物品信息及n个预定操作所针对的n个第一时间信息；物品信息包括物品特征信息，n为大于1的自然数。上述特征提取模块930包括第一转换子模块931、第一组合子模块932和第一循环网络子模块933。第一转换子模块931用于将第一物品信息包括的第一物品特征信息及用户特征信息分别输入第一转换模型，得到针对第一物品特征信息的第一特征子向量以及针对用户特征信息的第二特征子向量(操作S331)。第一组合子模块932用于将n个第二物品信息包括的n个第二物品特征信息及n个第一时间信息配对组合，得到n个第一输入信息(操作S332)。第一循环网络子模块933用于根据n个第一时间信息表征的n个第二时刻的先后顺序，将n个第一输入信息依次输入第一循环神经网络模型，得到第三特征子向量(操作S333)。该特征提取模块930例如还包括向量拼接子模块934，用于拼接第一特征子向量、第二特征子向量和第三特征子向量，得到特征向量(操作S334)。其中，针对特征信息的提取子模型包括第一转换模型和第一循环神经网络模型。
根据本公开的实施例，上述物品信息还包括物品图像信息，上述特征提取模块930还包括卷积网络子模块935、第二组合子模块936和第二循环网络子模块937。卷积网络子模块935用于将n个第二物品信息包括的n个第二物品图像信息依次输入卷积神经网络模型，得到针对n个第二物品图像信息的n个第一向量(操作S431)，以及将第一物品信息包括的第一物品图像信息输入卷积神经网络模型中，得到第五特征子向量(操作S434)。第二组合子模块936用于将n个第一向量及n个第一时间信息配对组合，得到n个第二输入信息(操作S432)。第二循环网络子模块937用于根据n个第一时间信息表征的n个第二时刻的先后顺序，将n个第二输入信息依次输入第二循环神经网络模型，得到第四特征子向量(操作S433)。向量拼接子模块934例如可以用于拼接第一特征子向量、第二特征子向量、第三特征子向量、第四特征子向量和第五特征子向量，得到特征向量(操作S435)。其中，针对图像信息的提取子模型包括卷积神经网络模型和第二循环神经网络模型。
根据本公开的实施例，上述用户信息还包括在第一时刻之前输入的m个输入文本信息及输入m个输入文本信息的m个第二时间信息，物品信息还包括物品文本信息。上述特征提取模块930还可以包括第二转换子模块938、第三组合子模块939和第三循环网络子模块9310。第二转换子模块938用于将m个输入文本信息依次输入第二转换模型，得到针对m个输入文本信息的m个第二向量(操作S531)，以及用于将物品文本信息输入第二转换模型，得到针对物品文本信息的第七特征子向量(操作S534)。第三组合子模块939用于将m个第二向量及m个第二时间信息配对组合，得到m个第三输入信息(操作S532)。第三循环网络子模块9310用于根据m个第二时间信息表征的m个第三时刻的先后顺序，将m个第三输入信息依次输入第三循环神经网络模型，得到第六特征子向量(操作S533)。其中，针对文本信息的提取子模型包括第二转换模型和第三循环神经网络模型。
根据本公开的实施例，上述第一循环神经网络模型、第二循环神经网络模型和/或第三循环神经网络模型中的任一循环神经网络模型采用以下公式计算得到第i次循环的输出信息ai：
ai＝g1(W1xdi+ai-1W2+b1)；
任一循环神经网络模型通过以下公式计算得到输出的特征子向量：
xend＝g2(anW3+b2)；
其中，1≤i≤n，W1、W2、W3、b1和b2为任一循环神经网络模型的参数，xdi为任一循环神经网络模型的第i次循环的输入信息，g1()为非线性函数，g2()为激活函数。
根据本公开的实施例，上述第一循环神经网络模型、第二循环神经网络模型和/或第三循环神经网络模型中的任一循环神经网络模型采用以下公式计算得到第i次循环的输出信息ai：
ai＝g1[f(ti)W1xdi+ai-1W2+b1]；
其中，1≤i≤n，W1、W2和b1为任一循环神经网络模型的参数，xdi为任一循环神经网络模型的第i次循环的输入信息，g1()为非线性函数，ti为n个第一时间信息中第i个第一时间信息表征的第二时刻；f(ti)为时间衰减因子，通过以下公式计算得到：
Figure BDA0002227101820000221
其中，t0为第一时刻，γ为大于0的超参。
根据本公开的实施例，上述模型优化模块950例如可以用于采用交替子空间梯度下降算法，根据操作信息及预测置信度，交替优化至少两个提取子模型中的每个提取子模型。
根据本公开的实施例，上述操作信息包括针对p种预定操作中每种预定操作的实际置信度。如图9所示，上述模型优化模块950可以包括损失值计算子模块951和优化子模块952。损失值计算子模块951用于根据针对每种预定操作的预测置信度与针对每种预定操作的实际置信度，采用损失函数计算得到特征提取模型针对每种预定操作的损失值(操作S751)。优化子模块952用于根据针对每种预定操作的损失值，优化每个提取子模型(操作S752)。
根据本公开的实施例，针对每种预定操作的预测置信度包括根据q个样本数据得到的q个预测置信度；针对每种预定操作的损失值为q个。优化子模块952例如可以通过以下操作优化提取子模型：整合针对p种预定操作的p*q个损失值，得到特征提取模型针对q个样本数据的总损失值(操作S8521)；根据总损失值，优化每个提取子模型(操作S8522)。其中，q为大于1的自然数。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图10示意性示出了根据本公开实施例的适于执行信息处理方法的电子设备的结构框图。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，根据本公开实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种信息处理方法，包括循环执行的以下操作，以对特征提取模型进行优化：
获取样本数据，所述样本数据表征目标用户、目标物品及所述目标用户在第一时刻对所述目标物品执行p种预定操作的操作信息；
获取所述目标用户的用户信息及所述目标物品的第一物品信息；
将所述用户信息及所述第一物品信息输入特征提取模型，提取得到特征向量；
采用预测模型处理所述特征向量，得到所述目标用户对所述目标物品执行p种预定操作中每种预定操作的预测置信度；以及
根据所述操作信息及所述预测置信度，优化所述特征提取模型，
其中，所述用户信息和/或所述第一物品信息包括以下至少两种类型的信息：特征信息、交互记录信息、图像信息和文本信息，所述p为大于1的自然数，
所述特征向量根据第一特征子向量、第二特征子向量以及第三特征子向量得到，所述第一特征子向量和所述第二特征子向量根据所述第一物品信息确定，其中，所述提取得到特征向量包括：将n个第二物品信息包括的n个第二物品特征信息及n个第一时间信息配对组合，得到n个第一输入信息；以及根据n个第一时间信息表征的n个第二时刻的先后顺序，将所述n个第一输入信息依次输入第一循环神经网络模型，得到第三特征子向量，
其中，所述用户信息包括：在所述第一时刻之前的交互记录信息，所述交互记录信息包括n个预定操作所针对物品的n个第二物品信息及所述n个预定操作所针对的n个第一时间信息；物品信息包括物品特征信息，n为大于1的自然数。
2.根据权利要求1所述的方法，其中，所述特征提取模型包括针对所述至少两个类型的信息的至少两个提取子模型，以分别提取得到所述至少两种类型的信息的特征子向量，所述特征向量根据所述至少两种类型的信息的特征子向量得到。
3.根据权利要求2所述的方法，其中，
所述用户信息包括：用户特征信息；
所述提取得到特征向量包括：
将所述第一物品信息包括的第一物品特征信息及所述用户特征信息分别输入第一转换模型，得到针对所述第一物品特征信息的第一特征子向量以及针对所述用户特征信息的第二特征子向量，
其中，针对所述特征信息的提取子模型包括所述第一转换模型和所述第一循环神经网络模型。
4.根据权利要求3所述的方法，其中，所述物品信息还包括物品图像信息；所述提取得到特征向量还包括：
将所述n个第二物品信息包括的n个第二物品图像信息依次输入卷积神经网络模型，得到针对所述n个第二物品图像信息的n个第一向量；
将所述n个第一向量及所述n个第一时间信息配对组合，得到n个第二输入信息；
根据所述n个第一时间信息表征的n个第二时刻的先后顺序，将所述n个第二输入信息依次输入第二循环神经网络模型，得到第四特征子向量；以及
将所述第一物品信息包括的第一物品图像信息输入所述卷积神经网络模型中，得到第五特征子向量，
其中，所述特征向量还根据所述第四特征子向量和所述第五特征子向量得到；针对所述图像信息的提取子模型包括所述卷积神经网络模型和所述第二循环神经网络模型。
5.根据权利要求3所述的方法，其中，所述用户信息还包括在所述第一时刻之前输入的m个输入文本信息及输入所述m个输入文本信息的m个第二时间信息，所述物品信息还包括物品文本信息；所述提取得到特征向量还包括：
将所述m个输入文本信息依次输入第二转换模型，得到针对所述m个输入文本信息的m个第二向量；
将所述m个第二向量及所述m个第二时间信息配对组合，得到m个第三输入信息；
根据所述m个第二时间信息表征的m个第三时刻的先后顺序，将所述m个第三输入信息依次输入第三循环神经网络模型，得到第六特征子向量；以及
将所述物品文本信息输入所述第二转换模型，得到针对所述物品文本信息的第七特征子向量，
其中，所述特征向量还根据所述第六特征子向量及所述第七特征子向量得到；针对所述文本信息的提取子模型包括所述第二转换模型和所述第三循环神经网络模型。
6.根据权利要求4所述的方法，其中，所述用户信息还包括在所述第一时刻之前输入的m个输入文本信息及输入所述m个输入文本信息的m个第二时间信息，所述物品信息还包括物品文本信息；所述提取得到特征向量还包括：
将所述m个输入文本信息依次输入第二转换模型，得到针对所述m个输入文本信息的m个第二向量；
将所述m个第二向量及所述m个第二时间信息配对组合，得到m个第三输入信息；
根据所述m个第二时间信息表征的m个第三时刻的先后顺序，将所述m个第三输入信息依次输入第三循环神经网络模型，得到第六特征子向量；以及
将所述物品文本信息输入所述第二转换模型，得到针对所述物品文本信息的第七特征子向量，
其中，所述特征向量还根据所述第六特征子向量及所述第七特征子向量得到；针对所述文本信息的提取子模型包括所述第二转换模型和所述第三循环神经网络模型。
7.根据权利要求6所述的方法，其中，所述第一循环神经网络模型、所述第二循环神经网络模型和/或所述第三循环神经网络模型中的任一循环神经网络模型采用以下公式计算得到第i次循环的输出信息ai：
ai＝g1(W1xdi+ai-1W2+b1)；
所述任一循环神经网络模型通过以下公式计算得到输出的特征子向量：
xend＝g2(anW3+b2)；
其中，1≤i≤n，W1、W2、W3、b1和b2为所述任一循环神经网络模型的参数，xdi为所述任一循环神经网络模型的第i次循环的输入信息，g1()为非线性函数，g2()为激活函数。
8.根据权利要求6所述的方法，其中，所述第一循环神经网络模型、所述第二循环神经网络模型和/或所述第三循环神经网络模型中的任一循环神经网络模型采用以下公式计算得到第i次循环的输出信息ai：
ai＝g1[f(ti)W1xdi+ai-1W2+b1]；
其中，1≤i≤n，W1、W2和b1为所述任一循环神经网络模型的参数，xdi为所述任一循环神经网络模型的第i次循环的输入信息，g1()为非线性函数，ti为所述n个第一时间信息中第i个第一时间信息表征的第二时刻；f(ti)为时间衰减因子，通过以下公式计算得到：
Figure FDA0003610618650000041
其中，t0为所述第一时刻，γ为大于0的超参。
9.根据权利要求2所述的方法，其中，根据所述操作信息及所述预测置信度，优化所述特征提取模型包括：
采用交替子空间梯度下降算法，根据所述操作信息及所述置信度，交替优化所述至少两个提取子模型中的每个提取子模型。
10.根据权利要求9所述的方法，其中，所述操作信息包括针对所述p种预定操作中每种预定操作的实际置信度；优化所述每个提取子模型包括：
根据针对每种预定操作的预测置信度与针对所述每种预定操作的实际置信度，采用损失函数计算得到所述特征提取模型针对所述每种预定操作的损失值；
根据针对所述每种预定操作的损失值，优化所述每个提取子模型。
11.根据权利要求10所述的方法，其中，针对所述每种预定操作的预测置信度包括根据q个样本数据得到的q个预测置信度；针对所述每种预定操作的损失值为q个；优化所述每个提取子模型还包括：
整合针对所述p种预定操作的p*q个损失值，得到所述特征提取模型针对所述q个样本数据的总损失值；以及
根据所述总损失值，优化所述每个提取子模型，
其中，q为大于1的自然数。
12.一种信息处理装置，包括：
样本获取模块，用于获取样本数据，所述样本数据表征目标用户、目标物品及所述目标用户在第一时刻对所述目标物品执行p种预定操作的操作信息；
信息获取模块，用于获取所述目标用户的用户信息及所述目标物品的第一物品信息；
特征提取模块，用于将所述用户信息及所述第一物品信息输入特征提取模型，提取得到特征向量；
置信度预测模块，用于采用预测模型处理所述特征向量，得到所述目标用户对所述目标物品执行p种预定操作中每种预定操作的预测置信度；以及
模型优化模块，用于根据所述操作信息及所述预测置信度，优化所述特征提取模型，
其中，所述用户信息和/或所述第一物品信息包括以下至少两种类型的信息：特征信息、图像信息和文本信息，所述p为大于1的自然数，
所述特征向量根据第一特征子向量、第二特征子向量以及第三特征子向量得到，所述第一特征子向量和所述第二特征子向量根据所述第一物品信息确定，其中，所述提取得到特征向量包括：将n个第二物品信息包括的n个第二物品特征信息及n个第一时间信息配对组合，得到n个第一输入信息；以及根据n个第一时间信息表征的n个第二时刻的先后顺序，将所述n个第一输入信息依次输入第一循环神经网络模型，得到第三特征子向量，
其中，所述用户信息包括：在所述第一时刻之前的交互记录信息，所述交互记录信息包括n个预定操作所针对物品的n个第二物品信息及所述n个预定操作所针对的n个第一时间信息；物品信息包括物品特征信息，n为大于1的自然数。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1～11中任一项包括的算法训练方法。
14.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行权利要求1～11中任一项包括的算法训练方法。
CN201910957683.2A 2019-10-09 2019-10-09 信息处理方法、装置、电子设备及介质 Active CN110659701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957683.2A CN110659701B (zh) 2019-10-09 2019-10-09 信息处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957683.2A CN110659701B (zh) 2019-10-09 2019-10-09 信息处理方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN110659701A CN110659701A (zh) 2020-01-07
CN110659701B true CN110659701B (zh) 2022-08-12

Family

ID=69040338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957683.2A Active CN110659701B (zh) 2019-10-09 2019-10-09 信息处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN110659701B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242230A (zh) * 2020-01-17 2020-06-05 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法及图像分类模型训练方法
CN113946744B (zh) * 2020-07-16 2024-08-13 北京达佳互联信息技术有限公司 数据处理方法、装置、服务器及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090801A (zh) * 2017-11-29 2018-05-29 维沃移动通信有限公司 商品推荐方法、移动终端及服务器
CN108268934A (zh) * 2018-01-10 2018-07-10 北京市商汤科技开发有限公司 基于深度学习的推荐方法和装置、电子设备、介质、程序
CN108280104A (zh) * 2017-02-13 2018-07-13 腾讯科技（深圳）有限公司 目标对象的特征信息提取方法及装置
CN108509466A (zh) * 2017-04-14 2018-09-07 腾讯科技（深圳）有限公司 一种信息推荐方法和装置
CN108985830A (zh) * 2018-07-05 2018-12-11 北京邮电大学 基于异质信息网络的推荐评分方法、装置
CN109902446A (zh) * 2019-04-09 2019-06-18 北京字节跳动网络技术有限公司 用于生成信息预测模型的方法和装置
CN109960761A (zh) * 2019-03-28 2019-07-02 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备及计算机可读存储介质
CN110162690A (zh) * 2018-10-23 2019-08-23 腾讯科技（深圳）有限公司 确定用户对物品的兴趣度的方法与装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486699B1 (ko) * 2014-12-15 2023-01-11 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280104A (zh) * 2017-02-13 2018-07-13 腾讯科技（深圳）有限公司 目标对象的特征信息提取方法及装置
CN108509466A (zh) * 2017-04-14 2018-09-07 腾讯科技（深圳）有限公司 一种信息推荐方法和装置
CN108090801A (zh) * 2017-11-29 2018-05-29 维沃移动通信有限公司 商品推荐方法、移动终端及服务器
CN108268934A (zh) * 2018-01-10 2018-07-10 北京市商汤科技开发有限公司 基于深度学习的推荐方法和装置、电子设备、介质、程序
CN108985830A (zh) * 2018-07-05 2018-12-11 北京邮电大学 基于异质信息网络的推荐评分方法、装置
CN110162690A (zh) * 2018-10-23 2019-08-23 腾讯科技（深圳）有限公司 确定用户对物品的兴趣度的方法与装置、设备和存储介质
CN109960761A (zh) * 2019-03-28 2019-07-02 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备及计算机可读存储介质
CN109902446A (zh) * 2019-04-09 2019-06-18 北京字节跳动网络技术有限公司 用于生成信息预测模型的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Concurrent goal-oriented co-clustering generation in social networks;Fengjiao Wang、Guan Wang、Shuyang Lin、Philip S. Yu;《Proceedings of the 2015 IEEE 9th International Conference on Semantic Computing (IEEE ICSC 2015)》;20151231;全文 *
基于就业信息服务的个性化推荐系统设计与应用;潘昊、郑苗、杨俊;《中国科技论文在线精品论文》;20150831;全文 *

Also Published As

Publication number Publication date
CN110659701A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
US11755911B2 (en) Method and apparatus for training neural network and computer server
US11551280B2 (en) Method, manufacture, and system for recommending items to users
CN110427560B (zh) 一种应用于推荐系统的模型训练方法以及相关装置
CN110008397B (zh) 一种推荐模型训练方法及装置
US20240135174A1 (en) Data processing method, and neural network model training method and apparatus
CN113722583A (zh) 推荐方法、推荐模型训练方法及相关产品
CN110659701B (zh) 信息处理方法、装置、电子设备及介质
US20230245210A1 (en) Knowledge graph-based information recommendation
CN111695024A (zh) 对象评估值的预测方法及系统、推荐方法及系统
CN117557331A (zh) 一种产品推荐方法、装置、计算机设备及存储介质
CN113592593A (zh) 序列推荐模型的训练及应用方法、装置、设备及存储介质
CN117217284A (zh) 一种数据处理方法及其装置
CN115238188A (zh) 一种对象推荐方法和系统及对象推荐模型系统
CN111460302B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN116561446B (zh) 多模态项目推荐方法、系统及设备和存储介质
CN115906863B (zh) 基于对比学习的情感分析方法、装置、设备以及存储介质
CN115292583A (zh) 一种项目推荐方法及其相关设备
CN110837596B (zh) 一种智能推荐方法、装置、计算机设备及存储介质
CN114926210A (zh) 评论生成方法、装置、设备及计算机可读存储介质
CN114707070A (zh) 一种用户行为预测方法及其相关设备
CN114581177A (zh) 产品推荐方法、装置、设备及存储介质
CN112488355A (zh) 基于图神经网络预测用户评级的方法和装置
JP6686208B1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113641900A (zh) 信息推荐方法及装置
CN111915339A (zh) 数据的处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant