CN111507726B - 一种报文生成方法、装置及设备 - Google Patents

一种报文生成方法、装置及设备 Download PDF

Info

Publication number
CN111507726B
CN111507726B CN202010265783.1A CN202010265783A CN111507726B CN 111507726 B CN111507726 B CN 111507726B CN 202010265783 A CN202010265783 A CN 202010265783A CN 111507726 B CN111507726 B CN 111507726B
Authority
CN
China
Prior art keywords
vector
message
layer
decoder
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010265783.1A
Other languages
English (en)
Other versions
CN111507726A (zh
Inventor
李怀松
张天翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010265783.1A priority Critical patent/CN111507726B/zh
Publication of CN111507726A publication Critical patent/CN111507726A/zh
Application granted granted Critical
Publication of CN111507726B publication Critical patent/CN111507726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本说明书实施例公开了一种报文生成方法、装置及设备。该方案包括：利用报文生成模型中的编码器对用户特征向量序列进行编码得到编码向量序列；利用该报文生成模型中的第一权重向量计算层，根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，以便于该报文生成模型中的混合编码向量生成层根据所述编码向量序列及所述各个编码向量的第一权重向量去生成混合编码向量；该报文生成模型中的全连接层可以根据所述混合编码向量及解码器的上一刻输出向量，生成所述解码器的输入向量，以便于所述解码器对所述输入向量进行解码处理后得到报文。

Description

一种报文生成方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种报文生成方法、装置及设备。
背景技术
随着网络交易的日渐普及，如何在网络交易过程中有效识别交易风险、保障用户权益，已成为各个企业重点关注的问题。目前，为了便于识别用户行为中存在的风险，通常会采用人工方式去撰写报文，以便于后续使用这些报文进行风险识别。而由于需要生成报文的场景有多种，因此，需企业人员针对各个场景分别去撰写对应的报文，费时费力。综上所述，如何提供一种使用更加便捷的报文生成方法，已成为亟待解决的技术问题。
发明内容
有鉴于此，本说明书一个或多个实施例提供了一种报文生成方法、装置及设备，用于提升报文生成过程的便捷性。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种报文生成方法，所述方法使用了报文生成模型，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器与所述解码器均为时间递归神经网络模型；其中，所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述方法包括：
利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；
利用所述第一权重向量计算层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
利用所述解码器对所述输入向量进行解码处理，得到报文。
本说明书实施例提供的一种报文生成模型的训练方法，所述报文生成模型，包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器及所述解码器均为时间递归神经网络模型；
其中，所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述方法包括：
获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量；
针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文；
获取所述训练样本的预设报文；
基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
本说明书实施例提供的一种报文生成装置，所述装置使用了报文生成模型，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器与所述解码器均为时间递归神经网络模型；其中，所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述装置包括：
编码模块，用于利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；
第一权重向量确定模块，用于利用所述第一权重向量计算层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
混合编码向量生成模块，用于所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
输入向量生成模块，用于所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
解码模块，用于利用所述解码器对所述输入向量进行解码处理，得到报文。
本说明书实施例提供的一种报文生成模型的训练装置，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述编码器及所述解码器均为时间递归神经网络模型；所述装置包括：
训练样本集合获取模块，用于获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量；
预测报文生成模块，用于针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文；
预设报文获取模块，用于获取所述训练样本的预设报文；
模型参数调整模块，用于基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
本说明书实施例提供的一种报文生成设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有报文生成模型以及可被所述至少一个处理器执行的指令；所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；其中，所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述编码器与所述解码器均为时间递归神经网络模型；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；
利用所述第一权重向量计算层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
利用所述解码器对所述输入向量进行解码处理，得到报文。
本说明书实施例提供的一种报文生成模型的训练设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有报文生成模型以及可被所述至少一个处理器执行的指令；所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；其中，所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述编码器与所述解码器均为时间递归神经网络模型；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量；
针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文；
获取所述训练样本的预设报文；
基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
本说明书一个实施例实现了能够达到以下有益效果：
通过利用报文生成模型去对用户特征向量序列进行处理，以自动生成报文，由于无需人工撰写报文，从而可以节省人力。当使用不同场景的训练样本对报文生成模型进行训练后，可以得到适用于不同场景的报文生成模型，以满足各个应用场景处的对于可以便捷、快速的生成报文的需求，可见，该报文生成方法的适用范围较广。
且由于报文生成模型中的编码器及解码器之间设置有第一权重向量计算层，而该第一权重向量计算层可以根据从符合需求的训练样本中学习到的预设概率转移矩阵，去计算编码器输出的各个编码向量的第一权重向量，并基于各个编码向量的第一权重向量生成解码器的输入向量，使得所述解码器对该输入向量进行解码而得到的报文语句的前后顺序及逻辑关系符合实际需求，可见，基于该报文生成方法生成的报文的准确性较好。
附图说明
此处所说明的附图用来提供对本说明书一个或多个实施例的进一步理解，构成本说明书一个或多个实施例的一部分，本说明书的示意性实施例及其说明用于解释本说明书一个或多个实施例，并不构成对本说明书一个或多个实施例的不当限定。在附图中：
图1为本说明书实施例提供的一种报文生成方法的流程示意图；
图2为本说明书实施例提供的一种报文生成模型的结构示意图；
图3为本说明书实施例提供的一种报文生成模型的训练方法的流程示意图；
图4为本说明书实施例提供的对应于图1中方法的一种报文生成装置的结构示意图；
图5为本说明书实施例提供的对应于图3中方法的一种报文生成模型的训练装置的结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
现有技术中，在多种应用场景中都存在生成报文的需求，例如，针对洗钱场景，需根据筛选出的用户交易特征数据，去生成一段描述该用户是否存在洗钱风险的报文。或者，针对用户画像场景，需根据用户的消费行为特征数据，生成一段描述该用户的消费行为偏好的报文等。
目前，除人工撰写报文这一方式外，也有一些企业开始设计一些规则模版，以当目标用户的特征数据中出现指定用户特征时，通过调用该规则模版去生成预设报文语句。由于利用规则模型生成的报文的语句格式单一，且语句出现顺序是固定的，容易导致报文不通顺且逻辑性差。同时，针对每个应用场景，均需设计一套对应的规则模版，才能生成各个应用场景中所需的报文，可见，这种基于规则模板生成报文的方法的通用性较差。
为了解决现有技术中的缺陷，本方案给出了以下实施例：
图1为本说明书实施例提供的一种报文生成方法的流程示意图，图1中的方法使用了报文生成模型。从程序角度而言，流程的执行主体可以为搭载有报文生成模型的设备或该设备中搭载的程序。
其中，所述报文生成模型可以包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；其中，所述编码器及所述第一权重向量计算层可以均与所述混合编码向量生成层连接，所述混合编码向量生成层还可以与所述全连接层连接，所述全连接层还可以与所述解码器连接。
如图1所示，该流程可以包括以下步骤：
步骤102：利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量。
在本说明书实施例中，所述编码器可以为时间递归神经网络模型，例如，所述编码器可以采用长短期记忆网络(LSTM，Long Short-Term Memory)或GRU(GateRecurrentUnit)实现。由于时间递归神经网络模型适合于处理和预测时间序列中间隔和延迟较长的事件，因此，适用于基于一个或多个特征去生成具有逻辑性的报文语句的情景。
在本说明书实施例中，可以预先筛选出与待生成报文相关的预设用户特征类别，并获取与各个预设用户特征类别对应的用户特征信息。通过针对每一种用户特征信息去生成一个用户特征向量，并将生成的各个用户特征向量按预设顺序进行排列，就可以得到用户特征向量序列。
根据应用场景的不同，所需获取的用户特征信息可以是不同的，例如，针对洗钱场景，所述用户特征信息可以是根据目标用户的交易信息而生成的与预设特征类别所对应的信息，例如，姓名、年龄等用户基础信息，以及交易频率交易金额等信息。而针对用户画像场景，所述用户特征信息可以是根据目标用户的消费信息而生成的与预设特征类别所对应的信息，例如，姓名、年龄、收入等用户基础信息，以及消费类型、消费地点、消费金额等信息。本说明书实施例中，对于用户特征信息的类型不做具体限定。
在本说明书实施例中，编码器针对用户特征向量序列中的每个用户特征向量，会生成一个对应的编码向量，该编码向量为当编码器的输入为所述用户特征向量时，所述编码器输出的隐藏状态。即编码向量序列中的第i个编码向量是基于用户特征向量序列中的第i个用户特征向量而生成的。
步骤104：利用所述第一权重向量计算层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率。
在本说明书实施例中，所述预设转移概率矩阵可以认为是报文生成模型的模型参数，所述预设转移概率矩阵可以是通过使用符合需求的训练样本对报文生成模型进行训练，并对报文生成模型的模型参数进行优化后而得到的。从而使得该预设转移概率矩阵所表征的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率符合实际需求。由于第一权重向量是基于该预设转移概率矩阵而生成的向量，使得基于该第一权重向量而生成的报文语句的前后顺序及逻辑关系可以符合实际需求。
在实际应用中，第一用户特征向量既可以是用户特征向量序列中的一个用户特征向量，也可以指用户特征向量序列中的用于生成同一个报文语句的多个用户特征向量。同理，第二用户特征向量既可以是用户特征向量序列中的一个用户特征向量，也可以指用户特征向量序列中的用于生成同一个报文语句的多个用户特征向量。当可以基于多个用户特征向量去生成一个报文语句时，可以提升报文生成模型所生成的报文的逻辑复杂度及准确性。
例如，假定，用户具有的频繁交易特征、大额交易特征及零点交易特征，当基于上述三个用户特征对于的特征向量可以生成一个报文语句时，则生成的报文语句可以表示为“该用户的交易行为比一般用户的交易行为异常，存在洗钱风险”，而不仅仅可以表示为“该用户的交易行为属于频繁交易，该用户的交易行为属于大额交易，该用户的交易行为属于零点交易”。
为便于对预设转移概率矩阵的理解，在此进行举例说明。例如，针对洗钱场景，假定，用户特征向量序列对应的用户特征类型依序为：“姓名”、“姓名”、“交易金额”、“交易频率”，则预设转移概率矩阵可以如表1所示：
表1为一种预设转移概率矩阵的内容的示意表
Figure BDA0002440965560000091
如表1所示，该预设转移概率矩阵可以表示年龄特征向量所对应的报文语句出现于姓名特征向量所对应的报文语句之后的概率为0.6。而当交易金额特征向量及交易频率特征向量用于生成同一个报文语句时，该报文语句出现于年龄特征向量所对应的报文语句之后的概率为0.6。
步骤106：所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量。
在本说明书实施例中，针对所述编码向量序列中的每个编码向量，所述混合编码向量生成层可以将所述编码向量与所述编码向量的第一权重向量之积，确定为与所述编码向量对应的综合编码向量。所述混合编码向量生成层还可以计算所述编码向量序列中的各个编码向量所对应的各个所述综合编码向量之和，以得到混合编码向量。
步骤108：所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量。
在本说明书实施例中，所述全连接层既可以将所述混合编码向量与所述解码器的上一刻输出向量之和，作为所述解码器的当前时刻的输入向量，也可以将所述混合编码向量与所述解码器的上一刻输出向量之积，作为所述解码器的当前时刻的输入向量，对此不做具体限定。
步骤110：利用所述解码器对所述输入向量进行解码处理，得到报文。
在本说明书实施例中，所述解码器对当前时刻的所述输入向量进行解码处理后，可以得到当前时间输出的报文字符，通过对各个时刻的所述输入向量进行解码处理，即可得到报文。
应当理解，本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。
图1中的方法，通过在报文生成模型中的编码器及解码器之间设置第一权重向量计算层，而该第一权重向量计算层可以根据从符合需求的训练样本中学习到的预设概率转移矩阵，去计算编码器输出的各个编码向量的第一权重向量，并基于各个编码向量的第一权重向量去生成解码器的输入向量，使得所述解码器生成的报文语句的前后顺序及逻辑关系符合实际需求，以提升生成的报文的准确性。且由于无需人工撰写报文，从而可以节省人力。同时，由于当使用不用场景的训练样本对报文生成模型进行训练后，就可以得到适用于不同场景的报文生成模型，满足生成各个应用场景处的报文的需求，可见，该报文生成方法的适用范围较为广泛，通用性强。
基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
在本说明书实施例中，图1中方法使用的报文生成模型还可以包括：输入层及特征提取层，所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接。
步骤102：利用所述编码器接收用户特征向量序列之前，还可以包括：
将用户特征信息序列输入所述输入层；利用所述特征提取层对所述用户特征信息序列中的各个用户特征信息进行特征化处理，得到用户特征向量序列。
所述步骤102：利用所述编码器接收用户特征向量序列，具体可以包括：
利用所述编码器接收所述特征提取层输出的所述用户特征向量序列。
在本说明书实施例中，通过令报文生成模型包含输入层及特征提取层，从而无需工作人员执行额外的生成用户特征向量序列的操作，以进一步节省人力。
在本说明书实施例中，每一种用户特征信息中都可以包括：特征标识信息及特征值。具体的，一种用户特征信息中既可以包含一个特征值，也可以包含多个特征值，对此不做具体限定。
例如，针对用户李红的姓名这一用户特征信息，该用户特征信息中包含的特征标识信息可以为“姓名”，而该用户特征信息中即可以包含“李红”这一特征值，或者，也可以包含“李”、“红”等多个特征值。而针对李红消费频率大于预设值这一用户特征信息，其中，特征标识信息可以为“消费频率”，而特征值可以为“1”。对应的，当用户的消费频率不大于预设值时，这一用户特征信息中的特征值则可以为0。
在本说明书实施例中，当用户特征信息中包括：特征标识信息及特征值时，所述利用所述特征提取层对所述用户特征信息序列中的各个用户特征信息进行特征化处理，具体可以包括：
针对所述用户特征信息序列中的每个用户特征信息，所述特征提取层基于第一词嵌入矩阵对所述用户特征信息中的特征标识信息进行特征化处理，得到第一词向量，并基于第二词嵌入矩阵对所述用户特征信息中的特征值进行特征化处理，得到第二词向量，根据所述第一词向量及所述第二词向量，生成所述用户特征信息对应的用户特征向量。
在本说明书实施例中，由于特征标识信息及特征值为两种类型不同的信息，因此，可以分别训练一个词嵌入矩阵，去对特征标识信息及特征值进行特征化处理，以提升生成的第一词向量及第二词向量的准确性，进而有利于提升生成的用户特征向量的准确性。
其中，根据所述第一词向量及所述第二词向量，生成所述用户特征信息对应的用户特征向量，具体可以包括：对所述第一词向量及所述第二词向量进行拼接，以得到所述用户特征信息对应的用户特征向量。
例如，针对特征标识信息“姓名”生成的第一词向量表示为x_feature，针对特征值“李红”生成的第二词向量表示为x_value，则用户特征向量可以表示为[x_feature，x_value]。
在本说明书实施例中，由于用户特征向量是根据特征标识信息及特征值而生成的，使得用户特征向量所包含的用于描述用户行为特征的信息量增加，从而有利于提升基于该用户特征向量生成的报文信息的信息丰富度及准确度。
在本说明书实施例中，图1中方法使用的报文生成模型还可以包括：第二权重向量生成层；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接。
则步骤106中的向全连接层输出混合编码向量之前，还可以包括：
利用所述第二权重向量生成层基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量。
对应的，步骤106具体可以包括：针对每个所述编码向量，所述混合编码向量生成层根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，并将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量。
在本说明书实施例中，在计算第二权重向量时，具体可以包括：
当所述解码器的待输出报文字符为第t个字符时，基于第一公式，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的第t-1个输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；
所述第一公式可以表示为：
Figure BDA0002440965560000131
其中，
Figure BDA0002440965560000132
表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的第二权重向量；
Figure BDA0002440965560000133
Figure BDA0002440965560000134
fi表示所述用户特征向量序列中的第i个用户特征向量，hi表示所述编码向量序列中的第i个编码向量，yt-1表示所述解码器的第t-1个输出向量，W(f)表示第一参数矩阵、b(f)表示第二参数矩阵、W(c)表示第三参数矩阵，b(c)表示第四参数矩阵；C表示所述用户特征向量序列中的用户特征向量的个数，j＝1、2、…C，t为正整数。
在本说明书实施例中，基于第一公式，可知，第二权重向量是利用注意力机制去结合用户特征向量序列及编码向量序列而生成的，使得所述第二权重向量可以综合体现各个编码向量及各个用户特征向量对当前待输出报文的影响度。当用户特征向量是根据特征标识信息及特征值而生成的向量时，所述第二权重向量还可以反映用户特征值及用户特征标识信息对于当前待输出报文的影响度，从而使得基于所述第二权重向量生成的报文语句的语序符合需求。例如，基于该第二权重向量可以决定生成的报文为“用户姓名为李红”，或者，为“张明是用户姓名”。
在本说明书实施例中，在计算第一权重向量时，具体可以包括：
当所述解码器的待输出报文字符为第t个字符时，所述第一权重向量计算层基于第二公式，根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量；
所述第二公式表示为：
Figure BDA0002440965560000141
其中，
Figure BDA0002440965560000142
表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的第一权重向量；
Figure BDA0002440965560000143
表示所述编码向量序列中的第j个编码向量所对应的报文语句出现于与第i个编码向量所对应的报文语句之后的概率；
Figure BDA0002440965560000144
可以从预设转移概率矩阵中的查找到；softmax{}表示可以激活函数。
在本说明书实施例中，基于第二公式，可知，第一权重向量是基于注意力机制并结合预设转移概率矩阵而生成的，使得所述第一权重向量可以影响整个报文内容对应的用户特征的出现顺序，例如，基于该第一权重向量可以决定生成的报文中先描述用户姓名特征，还是先描述用户年龄特征，即基于该第一权重向量可以决定生成的报文为“用户姓名为李红，用户年龄为20岁”，或者，为“用户年龄为20岁，用户姓名为李红”。
在本说明书实施例中，在计算综合权重向量时，具体可以包括：
当所述解码器的待输出报文字符为第t个字符时，所述混合编码向量生成层基于第三公式，根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，
所述第三公式表示为：
Figure BDA0002440965560000145
其中，
Figure BDA0002440965560000146
表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的综合权重向量，
Figure BDA0002440965560000147
表示综合调节参数，具体的，
Figure BDA0002440965560000148
可以为0至1中的任意数值。
基于第三公式，可知，编码向量的第二权重向量越大，则该编码向量对应的用户特征信息对当前待输出报文的影响度越大。当用户特征信息中包含特征值时，与该特征值对应的编码向量的第二权重向量值越大，则该特征值对当前待输出报文的影响度也会越大。
在本说明书实施例中，在计算混合编码向量时，具体可以包括：
当所述解码器的待输出报文字符为第t个字符时，所述混合编码向量生成层基于第四公式，计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量；
所述第四公式表示为：
Figure BDA0002440965560000151
其中，at表示当所述解码器的待输出报文字符为第t个字符时的混合编码向量。
在本说明书实施例中，当解码器的待输出报文字符为第t个字符时，全连接层既可以通过对混合编码向量at及解码器的第t-1个输出向量yt-1进行相加以得到解码器的第t个输入向量，也可以通过对混合编码向量at及解码器的第t-1个输出向量yt-1进行相乘以得到解码器的第t个输入向量，对此不做具体限定。
在本说明书实施例中，解码器可以对全连接层输出的第t个输入向量进行解码，以得到第t个输出向量yt。在实际应用中，解码器之后还可以包含一个全连接层，该全连接层用于对解码器的第t个输出向量yt进行分类处理，以从预设字典中，确定出解码器的第t个输出向量yt对应的字符，从而得到待输出报文中的第t个字符。基于上述实施例中的方案，可以生成包含多个字符的报文。
在本说明书实施例中，由于解码器的输入向量是基于各个编码向量的第一权重向量及第二权重向量而生成的，使得解码器对该输入向量进行解码处理而生成的报文中的语句通顺流畅，且报文中的语句先后顺序及逻辑关系符合需求。
图2为本说明书实施例提供的一种报文生成模型的结构示意图。如图2所示，报文生成模型201可以包括输入层202，该输入层202可以用于接收用户特征信息序列，该用户特征信息序列中的每一种用户特征信息中可以包括特征标识信息及特征值，例如，针对用户姓名这种用户特征信息，其可以包括特征标识信息“name”，以及“Mack”、“Cheng”等多个特征值。
该报文生成模型201中的特征提取层203可以对输入层202所接收的用户特征信息序列进行特征化处理，以得到用户特征向量序列。而该报文生成模型201中的编码器204则可以对该用户特征向量序列进行编码处理，以得到编码向量序列。
该报文生成模型201中还可以包含预设转移概率矩阵生成层205，该预设转移概率矩阵生成层205中存储的预设转移概率矩阵，可以是通过对报文生成模型201进行训练，以对初始转移概率矩阵进行优化而得到的。
该报文生成模型201中的第一权重向量生成层206可以基于预设转移概率矩阵生成层205中存储的预设转移概率矩阵，去生成编码向量序列中的各个编码向量的第一权重向量。而该报文生成模型201中的第二权重向量生成层207则可以基于注意力机制，去根据特征提取层203生成的用户特征向量序列、编码器204生成的编码向量序列以及解码器211的上一刻输出向量，生成编码向量序列中的各个编码向量的第二权重向量。以便于报文生成模型201中的混合编码向量生成层208根据第一权重向量生成层206及第二权重向量生成层207生成的第一权重向量及第二权重向量，去生成混合编码向量。
报文生成模型201中的全连接层209可以基于混合编码向量生成层208输出的混合编码向量及解码器210的上一刻输出向量，生成解码器210的输入向量。解码器210则可以对各个输入向量进行解码处理，得到各个输出向量。该报文生成模型201的输出层211则可以去确定解码器输出的各个输出向量对应的字符，以得到所需的报文。
图2中的a-i-h可以表示混合编码向量生成层输出的第i个混合编码向量，y-i可以表示解码器输出的第i个输出向量。可以理解，图2中示出的多个全连接层209及解码器210，是为了便于体现各个报文字符的生成过程。在实际的报文生成模型中，只需使用一个全连接层209及一个解码器210即可生成各个报文字符。
基于同样的思路，本说明书实施例还提供了图1中方法使用的报文生成模型的训练方法。图3为本说明书实施例提供的一种报文生成模型的训练方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载有报文生成模型的设备或该设备中搭载的程序。
其中，所述报文生成模型可以包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器及所述第一权重向量计算层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接。
在实际应用中，为提升生成的报文语句的通顺序，所述报文生成模型还可以包括：第二权重向量生成层；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接。
在本说明书实施例中，图3中方法所使用的报文生成模型与图1中方法及其实施例中使用的报文生成模型的模型结构及各个模型结构的功能可以是相同的，对此不再赘述。如图3所示，该流程可以包括以下步骤：
步骤302：获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量。
在本说明书实施例中，由于在不同的应用场景中所需获取的用户特征信息通常并不一致，从而使得训练报文生成模型所需使用的训练样本也是不同的。因此，针对每种应用场景，可以分别使用与该应用场景对应的训练样本去训练初始报文生成模型，以得到适用于该应用场景的报文生成模型。其中，不同应用场景所使用的初始报文生成模型可以是相同的。
在本说明书实施例中，所述用户特征信息可以是根据目标用户的交易信息而生成的与预设特征类别所对应的信息，例如，姓名、年龄等用户基础信息，以及交易频率、交易金额、交易类型、交易地点等信息。在本说明书实施例中，对于用户特征信息的具体类型不做具体限定，用户可以根据实际需求去确定。
在本说明书实施例中，每一种用户特征信息中都可以包括：特征标识信息及特征值。例如，针对用户李红的姓名这一用户特征信息，其中，特征标识信息可以为“姓名”，而特征值可以为“李红”。
在本说明书实施例中，所述报文生成模型还可以包括：输入层及特征提取层；所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接。其中，所述报文生成模型中的输入层及特征提取层与图1中方法及其实施例中的报文生成模型中的输入层及特征提取层的功能及数据处理方式可以是相同的，对此不再赘述。
对应的，步骤302具体可以包括：获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征信息序列。
在本说明书实施例中，通过令报文生成模型包含输入层及特征提取层，从而无需模型训练人员执行额外的生成用户特征向量序列去作为训练样本的操作，以进一步提升模型训练方法的使用便捷性。
步骤304：针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文。
在本说明书实施例中，可以将利用报文生成模型对所述训练样本处理后所得到的报文作为预测报文。
步骤306：获取所述训练样本的预设报文。
在本说明书实施例中，可以将针对所述训练样本进行人工撰写而得到的报文作为预设报文。
步骤308：基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
在本说明书实施例中，步骤308具体可以包括：
以最小化所述预设报文与所述预测报文之间的差异为目标，对所述输入层、所述特征提取层、所述编码器、所述第一权重向量生成层、所述第二权重向量生成层、所述混合编码向量生成层、所述全连接层及所述解码器的模型参数中的至少一项进行优化，从而得到训练后的报文生成模型。以便于基于该训练后的报文生成模型去执行图1中的报文生成方法。
图3中的方法，通过使用与目标应用场景对应的训练样本及该训练样本的预设报文对报文生成模型进行训练，即可得到适用于该目标应用场景的报文生成模型，这种报文生成模型的训练方法使用时较为便捷。
基于同样的思路，本说明书实施例还提供了图1中方法对应的装置。图4为本说明书实施例提供的对应于图1中方法的一种报文生成装置的结构示意图。图4中的装置使用了报文生成模型，该报文生成模型与图1中方法及其实施例所使用的报文生成模型可以是相同的，对此不再赘述。如图4所示，该装置可以包括：
编码模块402，用于利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量。
第一权重向量确定模块404，用于利用所述第一权重向量计算层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率。
混合编码向量生成模块406，用于所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量。
输入向量生成模块408，用于所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量。
解码模块410，用于利用所述解码器对所述输入向量进行解码处理，得到报文。
在图4的装置中，所述报文生成模型还可以包括：第二权重向量生成层；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接；所述装置还可以包括：
第二权重向量确定模块，用于利用所述第二权重向量生成层基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量。
所述混合编码向量生成模块406，具体可以用于：针对每个所述编码向量，所述混合编码向量生成层根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，并将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量。
在图4的装置中，所述报文生成模型还可以包括：输入层及特征提取层，所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接。
对应的，所述装置还可以包括：输入模块，用于将用户特征信息序列输入所述输入层；用户特征向量序列生成模块，用于利用特征提取层对所述用户特征信息序列中的各个用户特征信息进行特征化处理，得到用户特征向量序列。
基于同样的思路，本说明书实施例还提供了图3中方法对应的装置。图5为本说明书实施例提供的对应于图3中方法的一种报文生成模型的训练装置的结构示意图。图5中的报文生成模型与图1中方法及其实施例所使用的报文生成模型的模型结构及各模型结构的工作原理可以是相同的，对此不再赘述。如图5所示，该装置可以包括：
训练样本集合获取模块502，用于获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量。
预测报文生成模块504，用于针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文。
预设报文获取模块506，用于获取所述训练样本的预设报文。
模型参数调整模块508，用于基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
图5中的装置中的所述报文生成模型还可以包括：输入层、特征提取层及第二权重向量生成层；其中，所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接。
对应的，所述训练样本集合获取模块502，具体可以用于：获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征信息序列。
所述模型参数调整模块508，具体可以用于：以最小化所述预设报文与所述预测报文之间的差异为目标，对所述输入层、所述特征提取层、所述编码器、所述第一权重向量生成层、所述第二权重向量生成层、所述混合编码向量生成层、所述全连接层及所述解码器的模型参数进行优化。
基于同样的思路，本说明书实施例还提供了图1中方法对应的一种报文生成设备，该设备可以包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有报文生成模型以及可被所述至少一个处理器执行的指令；所述报文生成模型与图1中方法及其实施例所使用的报文生成模型可以是相同的，对此不再赘述；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量。
利用所述第一权重向量计算层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率。
所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量。
所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量。
利用所述解码器对所述输入向量进行解码处理，得到报文。
基于同样的思路，本说明书实施例还提供了图3中的方法对应的一种报文生成模型的训练设备，该设备可以包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有报文生成模型以及可被所述至少一个处理器执行的指令；所述报文生成模型与图1中方法及其实施例所使用的报文生成模型的模型结构及各个模型结构的工作原理可以是相同的，对此不再赘述；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量。
针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文。
获取所述训练样本的预设报文。
基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(AdvancedBoolean Expression Language)、AHDL(AlteraHardware DescriptionLanguage)、Confluence、CUPL(Cornell UniversityProgramming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (20)

1.一种报文生成方法，所述方法使用了报文生成模型，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器与所述解码器均为时间递归神经网络模型；
其中，所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述方法包括：
利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；
利用所述第一权重向量生成层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
利用所述解码器对所述输入向量进行解码处理，得到报文。
2.如权利要求1所述的方法，所述报文生成模型还包括：第二权重向量生成层；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接；
所述向所述全连接层输出混合编码向量之前，还包括：
利用所述第二权重向量生成层基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；
所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量，具体包括：
针对每个所述编码向量，所述混合编码向量生成层根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，并将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；
计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量。
3.如权利要求2所述的方法，所述根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量，具体包括：
当所述解码器的待输出报文字符为第t个字符时，基于第一公式，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的第t-1个输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；
所述第一公式表示为：
Figure FDA0003611902920000021
其中，
Figure FDA0003611902920000022
表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的第二权重向量；
Figure FDA0003611902920000023
Figure FDA0003611902920000024
fi表示所述用户特征向量序列中的第i个用户特征向量，hi表示所述编码向量序列中的第i个编码向量，yt-1表示所述解码器的第t-1个输出向量，W(f)表示第一参数矩阵、b(f)表示第二参数矩阵、W(c)表示第三参数矩阵，b(c)表示第四参数矩阵；C表示所述用户特征向量序列中的用户特征向量的个数，j＝1、2、…C，t为正整数。
4.如权利要求3所述的方法，所述利用所述第一权重向量生成层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，具体包括：
当所述解码器的待输出报文字符为第t个字符时，所述第一权重向量生成层基于第二公式，根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量；
所述第二公式表示为：
Figure FDA0003611902920000031
其中，
Figure FDA0003611902920000032
表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的第一权重向量；
Figure FDA0003611902920000033
表示所述编码向量序列中的第j个编码向量所对应的报文语句出现于与第i个编码向量所对应的报文语句之后的概率；softmax{}表示激活函数。
5.如权利要求4所述的方法，所述针对每个所述编码向量，所述混合编码向量生成层根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，具体包括：
当所述解码器的待输出报文字符为第t个字符时，所述混合编码向量生成层基于第三公式，根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，
所述第三公式表示为：
Figure FDA0003611902920000034
其中，
Figure FDA0003611902920000035
表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的综合权重向量，
Figure FDA0003611902920000036
表示综合调节参数。
6.如权利要求5所述的方法，所述计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量，具体包括：
当所述解码器的待输出报文字符为第t个字符时，所述混合编码向量生成层基于第四公式，计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量，
所述第四公式表示为：
Figure FDA0003611902920000037
其中，at表示当所述解码器的待输出报文字符为第t个字符时的混合编码向量。
7.如权利要求1所述的方法，所述报文生成模型还包括：输入层及特征提取层，所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接；
所述利用所述编码器接收用户特征向量序列之前，还包括：
将用户特征信息序列输入所述输入层；
利用所述特征提取层对所述用户特征信息序列中的各个用户特征信息进行特征化处理，得到用户特征向量序列；
所述利用所述编码器接收用户特征向量序列，具体包括：
利用所述编码器接收所述特征提取层输出的所述用户特征向量序列。
8.如权利要求7所述的方法，所述用户特征信息包括：特征标识信息及特征值；
所述利用所述特征提取层对所述用户特征信息序列中的各个用户特征信息进行特征化处理，具体包括：
针对所述用户特征信息序列中的每个用户特征信息，所述特征提取层基于第一词嵌入矩阵对所述用户特征信息中的特征标识信息进行特征化处理，得到第一词向量，并基于第二词嵌入矩阵对所述用户特征信息中的特征值进行特征化处理，得到第二词向量，根据所述第一词向量及所述第二词向量，生成所述用户特征信息对应的用户特征向量。
9.如权利要求8所述的方法，所述用户特征信息是根据目标用户的交易信息而生成的与预设特征类别对应的信息。
10.一种报文生成模型的训练方法，所述报文生成模型，包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器及所述解码器均为时间递归神经网络模型；其中，所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述方法包括：
获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量；
针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文；其中，所述报文生成模型中的所述编码器用于：接收所述训练样本对应的所述用户特征向量序列，得到所述编码器输出的编码向量序列；
所述第一权重向量生成层用于：根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层用于：接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层用于：根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
所述解码器用于：对所述输入向量进行解码处理，得到所述预测报文；
获取所述训练样本的预设报文；
基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
11.如权利要求10所述的方法，所述报文生成模型还包括：第二权重向量生成层；
所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接；
所述第二权重向量生成层用于：基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；
所述混合编码向量生成层，具体用于：
针对每个所述编码向量，根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量；
将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；
计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量。
12.如权利要求11所述的方法，所述报文生成模型还包括：输入层及特征提取层；所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接；
所述获取训练样本集合，具体包括：
获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征信息序列；其中，所述输入层用于：输入所述样本用户的用户特征信息序列；所述特征提取层用于：对所述用户特征信息序列中的各个用户特征信息进行特征化处理，输出所述样本用户的用户特征向量序列。
13.如权利要求12所述的方法，所述基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数，具体包括：
以最小化所述预设报文与所述预测报文之间的差异为目标，对所述输入层、所述特征提取层、所述编码器、所述第一权重向量生成层、所述第二权重向量生成层、所述混合编码向量生成层、所述全连接层及所述解码器的模型参数进行优化。
14.一种报文生成装置，所述装置使用了报文生成模型，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器与所述解码器均为时间递归神经网络模型；其中，所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述装置包括：
编码模块，用于利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；
第一权重向量确定模块，用于利用所述第一权重向量生成层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
混合编码向量生成模块，用于所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
输入向量生成模块，用于所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
解码模块，用于利用所述解码器对所述输入向量进行解码处理，得到报文。
15.如权利要求14所述的装置，所述报文生成模型还包括：第二权重向量生成层；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接；所述装置还包括：
第二权重向量确定模块，用于利用所述第二权重向量生成层基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；
所述混合编码向量生成模块，具体用于：
针对每个所述编码向量，所述混合编码向量生成层根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，并将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；
计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量。
16.如权利要求14所述的装置，所述报文生成模型还包括：输入层及特征提取层，所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接；所述装置还包括：
输入模块，用于将用户特征信息序列输入所述输入层；
用户特征向量序列生成模块，用于利用所述特征提取层对所述用户特征信息序列中的各个用户特征信息进行特征化处理，得到用户特征向量序列。
17.一种报文生成模型的训练装置，其中，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述编码器及所述解码器均为时间递归神经网络模型；所述装置包括：
训练样本集合获取模块，用于获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量；
预测报文生成模块，用于针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文；其中，所述报文生成模型中的所述编码器用于：接收所述训练样本对应的所述用户特征向量序列，得到所述编码器输出的编码向量序列；
所述第一权重向量生成层用于：根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层用于：接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层用于：根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
所述解码器用于：对所述输入向量进行解码处理，得到所述预测报文；
预设报文获取模块，用于获取所述训练样本的预设报文；
模型参数调整模块，用于基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
18.如权利要求17所述的装置，所述报文生成模型还包括：输入层、特征提取层及第二权重向量生成层；
其中，所述输入层与所述特征提取层连接，所述特征提取层与所述编码器连接；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接；
所述训练样本集合获取模块，具体用于：获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征信息序列；
所述输入层用于：输入所述样本用户的用户特征信息序列；
所述特征提取层用于：对所述用户特征信息序列中的各个用户特征信息进行特征化处理，输出所述样本用户的用户特征向量序列；
所述第二权重向量生成层用于：基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；
所述混合编码向量生成层，具体用于：
针对每个所述编码向量，根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量；
将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；
计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量；
所述模型参数调整模块，具体用于：以最小化所述预设报文与所述预测报文之间的差异为目标，对所述输入层、所述特征提取层、所述编码器、所述第一权重向量生成层、所述第二权重向量生成层、所述混合编码向量生成层、所述全连接层及所述解码器的模型参数进行优化。
19.一种报文生成设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有报文生成模型以及可被所述至少一个处理器执行的指令；所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；其中，所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述编码器与所述解码器均为时间递归神经网络模型；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；
利用所述第一权重向量生成层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
利用所述解码器对所述输入向量进行解码处理，得到报文。
20.一种报文生成模型的训练设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有报文生成模型以及可被所述至少一个处理器执行的指令；所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；其中，所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述编码器与所述解码器均为时间递归神经网络模型；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取训练样本集合，所述训练样本集合中的训练样本为样本用户的用户特征向量序列，所述用户特征向量序列中的用户特征向量是根据所述样本用户的用户特征信息生成的词向量；
针对所述训练样本集合中的每个训练样本，将所述训练样本输入所述报文生成模型，得到所述报文生成模型输出的预测报文；其中，所述报文生成模型中的所述编码器用于：接收所述训练样本对应的所述用户特征向量序列，得到所述编码器输出的编码向量序列；
所述第一权重向量生成层用于：根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；
所述混合编码向量生成层用于：接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；
所述全连接层用于：根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；
所述解码器用于：对所述输入向量进行解码处理，得到所述预测报文；
获取所述训练样本的预设报文；
基于所述预设报文与所述预测报文之间的差异，调整所述报文生成模型的模型参数。
CN202010265783.1A 2020-04-07 2020-04-07 一种报文生成方法、装置及设备 Active CN111507726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010265783.1A CN111507726B (zh) 2020-04-07 2020-04-07 一种报文生成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010265783.1A CN111507726B (zh) 2020-04-07 2020-04-07 一种报文生成方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111507726A CN111507726A (zh) 2020-08-07
CN111507726B true CN111507726B (zh) 2022-06-24

Family

ID=71877404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010265783.1A Active CN111507726B (zh) 2020-04-07 2020-04-07 一种报文生成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111507726B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214652B (zh) * 2020-10-19 2023-09-29 支付宝(杭州)信息技术有限公司 一种报文生成方法、装置及设备
CN112581276A (zh) * 2020-12-24 2021-03-30 中国农业银行股份有限公司 一种数据处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710953A (zh) * 2018-12-29 2019-05-03 成都金山互动娱乐科技有限公司 一种翻译方法及装置、计算设备、存储介质和芯片
WO2019165944A1 (zh) * 2018-02-28 2019-09-06 中国银联股份有限公司 基于转移概率网络的商户推荐方法及其系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018232699A1 (zh) * 2017-06-22 2018-12-27 腾讯科技（深圳）有限公司 一种信息处理的方法及相关装置
CN107679985B (zh) * 2017-09-12 2021-01-05 创新先进技术有限公司 风险特征筛选、描述报文生成方法、装置以及电子设备
US10380236B1 (en) * 2017-09-22 2019-08-13 Amazon Technologies, Inc. Machine learning system for annotating unstructured text
CN110213239B (zh) * 2019-05-08 2021-06-01 创新先进技术有限公司 可疑交易报文生成方法、装置及服务器
CN110209801B (zh) * 2019-05-15 2021-05-14 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
CN110717814B (zh) * 2019-09-18 2023-05-02 创新先进技术有限公司 用于生成风险报文的方法及装置
CN110738026B (zh) * 2019-10-23 2022-04-19 腾讯科技（深圳）有限公司 用于生成描述文本的方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019165944A1 (zh) * 2018-02-28 2019-09-06 中国银联股份有限公司 基于转移概率网络的商户推荐方法及其系统
CN109710953A (zh) * 2018-12-29 2019-05-03 成都金山互动娱乐科技有限公司 一种翻译方法及装置、计算设备、存储介质和芯片

Also Published As

Publication number Publication date
CN111507726A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN108537568B (zh) 一种信息推荐方法和装置
CN111881973A (zh) 一种样本选择方法、装置、存储介质及电子设备
CN109214193B (zh) 数据加密、机器学习模型训练方法、装置以及电子设备
CN109934253B (zh) 一种对抗样本生成方法及装置
CN111507726B (zh) 一种报文生成方法、装置及设备
CN115238826B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN112308113A (zh) 一种基于半监督的目标识别方法、设备及介质
CN113157941B (zh) 业务特征数据处理、文本生成方法、装置及电子设备
CN116630480B (zh) 一种交互式文本驱动图像编辑的方法、装置和电子设备
CN116308738B (zh) 一种模型训练的方法、业务风控的方法及装置
CN112686394A (zh) 一种模型训练的方法及装置
CN116127328B (zh) 一种对话状态识别模型的训练方法、装置、介质及设备
CN115238250B (zh) 一种模型的处理方法、装置及设备
CN115130621A (zh) 一种模型训练方法、装置、存储介质及电子设备
CN109325127B (zh) 一种风险识别方法和装置
CN114511376A (zh) 基于多模型的信用数据处理方法及装置
CN110321433B (zh) 确定文本类别的方法及装置
CN111539520A (zh) 增强深度学习模型鲁棒性的方法及装置
CN111984247A (zh) 一种业务处理方法、装置和电子设备
CN110929871A (zh) 博弈决策方法和系统
CN114861665B (zh) 一种强化学习模型训练以及确定数据关系的方法及装置
CN116501852B (zh) 一种可控对话模型训练方法、装置、存储介质及电子设备
CN114330242A (zh) 关键信息生成和直播内容处理方法、装置及设备
CN114528931A (zh) 一种模型训练的方法及装置
CN116186607A (zh) 一种模型的处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant