CN115222066A - 模型训练方法和装置、行为预测方法、设备及存储介质 - Google Patents
模型训练方法和装置、行为预测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115222066A CN115222066A CN202210860313.9A CN202210860313A CN115222066A CN 115222066 A CN115222066 A CN 115222066A CN 202210860313 A CN202210860313 A CN 202210860313A CN 115222066 A CN115222066 A CN 115222066A
- Authority
- CN
- China
- Prior art keywords
- target
- sample
- data
- vector
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例提供了一种模型训练方法和装置、行为预测方法、设备及存储介质,属于人工智能技术领域。该方法包括:获取样本用户的样本数据;其中,样本数据包括样本用户的样本基本信息、样本行为数据和样本类别;对样本数据进行特征提取得到表头名特征和表格内容特征;其中,表格内容特征适用于表征样本基本信息和样本行为数据的特征;对表头名特征和表格内容特征进行向量化处理得到初始向量;对初始向量进行编码处理得到目标向量;根据样本类别从多个预设的损失网络筛选出目标损失网络;通过目标损失网络对目标向量进行损失计算得到损失值;根据损失值对原始模型进行参数调整得到目标模型。本申请实施例能够增加模型训练的语义相关性和精度。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种模型训练方法和装置、行为预测方法、设备及存储介质。
背景技术
多任务学习是将相关的模型放在一个网络进行训练和学习,且根据模型的输入数据之间的相关性进行学习。但,对于采用表格数据进行模型训练而言,由于表格数据是一个离散或者连续的数值类特征,且特征之间是孤立的、任务之间也是独立的,导致特征和表格任务之间不存在相关性,使得模型训练的精度降低。
发明内容
本申请实施例的主要目的在于提出一种模型训练方法和装置、行为预测方法、设备及存储介质,旨在提高表格数据之间的语义相关性以提高模型训练的精度。
为实现上述目的,本申请实施例的第一方面提出了一种模型训练方法,所述方法包括:
获取样本用户的样本数据;其中,所述样本数据为表格数据,所述样本数据包括所述样本用户的样本基本信息、样本行为数据和样本类别;
对所述样本数据进行特征提取,得到表格特征;其中,所述表格特征包括:表头名特征和表格内容特征;其中,所述表格内容特征适用于表征所述样本基本信息和所述样本行为数据的特征;
对所述表头名特征和所述表格内容特征进行向量化处理,得到初始向量;
对所述初始向量进行编码处理,得到目标向量;
根据所述样本类别从多个预设的损失网络筛选出目标损失网络;
通过所述目标损失网络对所述目标向量进行损失计算,得到损失值;
根据所述损失值对原始模型进行参数调整,得到目标模型。
在一些实施例,所述对所述表头名特征和表格内容特征进行向量化处理,得到初始向量,包括:
对所述表头名特征进行向量化处理,得到表头名向量;
对所述表格内容特征进行向量化处理,得到表格内容向量;
将所述表头名向量和所述表格内容向量进行拼接,得到所述初始向量;所述表头名向量是所述初始向量的向量标志值,所述表格内容向量为所述初始向量的向量维数值。
在一些实施例,所述对所述初始向量进行编码处理,得到目标向量,包括:
对所述初始向量进行注意力处理,得到所述表格数据的初始特征关系;
对所述初始特征关系进行归一化处理,得到初步特征关系;
对所述初步特征关系进行线性变换处理,得到目标特征关系;
对所述目标特征关系进行归一化处理,得到所述目标向量。
在一些实施例,所述对所述初始向量进行注意力处理,得到所述表格数据的初始特征关系,包括:
将所述初始向量以预设矩阵进行映射处理,得到向量矩阵;
对所述向量矩阵进行注意力计算,得到所述初始特征关系。
在一些实施例,所述根据所述样本类别从多个预设的损失网络筛选出目标损失网络,包括:
根据所述样本类别从多个预设网络标签筛选出目标标签;
根据所述目标标签从所述损失网络筛选出所述目标损失网络。
在一些实施例,所述目标损失网络包括:线性层、激活层;所述通过所述目标损失网络对所述目标向量进行损失计算,得到损失值,包括:
通过所述线性层对所述目标向量进行线性变换,得到线性数据;
通过所述激活层对所述线性数据进行损失计算,得到所述损失值。
为实现上述目的,本申请实施例的第二方面提出了一种行为预测方法,所述行为预测方法包括:
获取目标用户的目标数据;其中,所述目标数据为表格数据;
将所述表格数据输入目标模型;其中,所述目标模型根据如第一方面所述的模型训练方法得到;
通过所述目标模型根据所述表格数据进行预测,得到所述目标用户的预测数据;其中,所述预测数据包括所述目标用户的目标行为数据。
为实现上述目的,本申请实施例的第三方面提出了一种模型训练装置,所述装置包括:
获取模块,用于获取样本用户的样本数据;其中,所述样本数据为表格数据,所述样本数据包括所述样本用户的样本基本信息、样本行为数据和样本类别;
提取模块,用于对所述样本数据进行特征提取,得到表格特征;其中,所述表格特征包括:表头名特征和表格内容特征;其中,所述表格内容特征适用于表征所述样本基本信息和样本行为数据的特征;
向量化模块,用于对所述表头名特征和所述表格内容特征进行向量化处理,得到初始向量;
编码模块,用于对所述初始向量进行编码处理,得到目标向量;
筛选模块,用于根据所述样本类别从多个预设的损失网络筛选出目标损失网络;
计算模块,用于通过所述目标损失网络对所述目标向量进行损失计算,得到损失值;
调节模块,用于根据所述损失值对原始模型进行参数调整,得到目标模型。
为实现上述目的,本申请实施例的第四方面提出了一种计算机设备,所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,所述程序被所述处理器执行时实现上述第一方面,或第二方面所述的方法。
为实现上述目的,本申请实施例的第五方面提出了一种存储介质,所述存储介质为计算机可读存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述第一方面,或第二方面所述的方法。
本申请提出的模型训练方法和装置、行为预测方法、设备及存储介质,其通过获取样本用户的表格数据,将表格数据进行特征提取得到表头名特征和表格内容特征,并以向量的形式表示表头名特征和表格内容特征,以使不同样本类别之间的表格数据之间具有语义相关性,且使表格数据的特征之间具有语义相关性,从而提高模型训练的精度。同时,根据样本类别从多个损失网络筛选出目标损失网络,也即获取与样本类别匹配的目标损失网络,通过目标损失网络对目标向量进行损失计算得到损失值,根据损失值调整原始模型的参数得到目标模型。因此,通过以向量的形式表示表头名特征和表格内容特征,使得表格数据的特征之间、不同样本类别的模型训练之间具有语义相关性,以构建目标模型的准确率提高。
附图说明
图1是本申请实施例提供的模型训练方法的流程图;
图2是图1中的步骤S103的流程图;
图3是图1中的步骤S104的流程图;
图4是本申请实施例提供的模型训练方法的语言表示模型的系统架构图;
图5是图3中的步骤S301的流程图;
图6是图1中的步骤S105的流程图;
图7是图1中的步骤S106的流程图;
图8是本申请实施例提供的行为预测方法的流程图;
图9是本申请实施例提供的模型训练装置的结构示意图;
图10是本申请实施例提供的行为预测装置的结构示意图;
图11是本申请实施例提供的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
首先,对本申请中涉及的若干名词进行解析:
人工智能(artificial intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
自然语言处理(natural language processing,NLP):NLP用计算机来处理、理解以及运用人类语言(如中文、英文等),NLP属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
语言表示模型(Bidirectional Encoder Representations from Transformers,BERT):BERT代表来自Transformer的双向编码器表示,BERT的创新之处在于借助Transformer学习双向表示,Transformer是一种深度学习组件,不同于递归神经网络(RNN)对顺序的依赖性,它能够并行处理整个序列。因此可以分析规模更大的数据集,并加快模型训练速度。Transformer能够使用注意力机制收集词语相关情境的信息,并以表示该情境的丰富向量进行编码,从而同时处理(而非单独处理)与句中所有其他词语相关的词语。该模型能够学习如何从句段中的每个其他词语衍生出给定词语的含义。
语义信息:语义信息是信息的表现形式之一,指能够消除事物不确定性的有一定意义的信息。对信息接受者来说,信息可表现为语法信息、语义信息和语用信息三个层次。语义信息可以借助自然语言去领会和解释。凡科学信息都属于语义信息。由于个人在知识水平和认识能力方面有差异,因此,对语义信息的理解往往带有较强的主观色彩。
标记嵌入(token embedding):标记嵌入也称位词嵌入,词嵌入的作用应该是将人类的语言映射到几何空间中。embedding字面理解是“嵌入”,实质是一种映射,从语义空间到向量空间的映射,同时尽可能在向量空间保持原样本在语义空间的关系,如语义接近的两个词汇在向量空间中的位置也比较接近。
自注意力机制(self-attention):自注意力机制是注意力机制的变体,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。自注意力机制在文本中的应用,主要是通过计算单词间的互相影响,来解决长距离依赖问题。自注意力机制解决的情况是:神经网络接收的输入是很多大小不一的向量,并且不同向量之间有一定的关系,但是实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果极差。针对全连接神经网络对于多个相关的输入无法建立起相关性的这个问题,通过自注意力机制来解决,自注意力机制实际上是想让机器注意到整个输入中不同部分之间的相关性。
多头注意力机制(multi-head attention):我们希望模型可以基于相同的注意力机制学习到不同的行为,然后将不同的行为作为知识组合起来。因此,允许注意力机制组合使用查询、键和值的不同的子空间表示可能是有益的。与使用单独的一个注意力池化不同,我们可以独立学习得到h组不同的线性投影来变换查询、键和值。然后,这h组变换后的查询、键和值将并行地进行注意力池化。最后,将这h个注意力池化的输出拼接在一起,并且通过另一个可以学习的线性投影进行变换,以产生最终输出。这种设计被称为多头注意力。
前馈神经网络(Feedforward Neural Network,FNN):前馈神经网络是一种最简单的神经网络,各神经元分层排列,每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,各层间没有反馈。前馈神经网络其实是由多层的Logistic回归模型(连续的非线性函数)组成,由多层的感知器(不连续的非线性函数)组成。
多任务学习(Multi-Task Learing,MTL):多任务学习的目标是利用多个学习任务中所包含的有用信息来帮助为每个任务学习得到更为准确的学习器。我们假设所有任务(至少其中一部分任务)是相关的,在此基础上,我们在实验和理论上都发现,联合学习多个任务能比单独学习它们得到更好的性能。根据任务的性质,MTL可以被分类成多种设置,主要包括多任务监督学习、多任务无监督学习、多任务半监督学习、多任务主动学习、多任务强化学习、多任务在线学习和多任务多视角学习。
Softmax:Softmax可以给出某输入被划分到各个类别的概率分布。由于人工智能领域的许多问题都可以抽象成分类问题,所以Softmax最广泛的应用当属分类。
多任务学习方法是指将相关的任务放在一个网络中训练和学习,让深度神经网络同时做多个任务的训练,从而提高模型训练的效果。但是,多任务学习方法广泛应用于图像、文本领域,例如针对图像领域,由于图像分割、图像分类以及图像融合这些任务之间存在相关性,因此通过多任务学习可以提高每个人物的效果。例如,针对文本领域,文本分类、文本解析之间也存在相关性,因此通过多任务学习方法应用于文本领域,能够提高文本领域每个人物的训练效果。
但是,通过表格数据进行模型训练方法而言,也即进行表格训练,难以通过多任务学习方法进行模型训练。由于表格训练输入的数据是离散或者连续的数值类特征,且每个数据特征之间是孤立的,模型训练过程也是独立的。因此导致数据特征和多个表格任务之间不存在相关性,从而无法将多任务学习方法应用于表格数据的模型训练中。
基于此,本申请实施例提供了一种模型训练方法和装置、行为预测方法、设备及存储介质,通过对样本数据进行特征提取得到表头名特征和表格内容特征,并将表头名特征和表格内容特征进行向量化处理得到初始向量,对初始向量进行编码处理得到目标向量,因此对于表格数据以向量的形式表示,以不同任务的表格数据之间的关联性。然后根据样本类别从多个预设的损失网络筛选出目标损失网络,并通过目标损失网络对目标向量进行损失计算得到损失值,即可通过损失值对原始模型进行参数调整得到目标模型。因此,将所有的表格数据以向量的形式表示,则在进行模型训练时以目标向量计算损失值,以增加不同样本类别的表格数据之间的语义相关性,从而提高模型训练的精度。
本申请实施例提供的模型训练方法和装置、行为预测方法、设备及存储介质,具体通过如下实施例进行说明,首先描述本申请实施例中的模型训练方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的模型训练方法,涉及人工智能技术领域。本申请实施例提供的模型训练方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现模型训练方法的应用等,但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象样本类别的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是,在本申请的各个具体实施方式中,当涉及到需要根据用户信息、用户行为数据,用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时,都会先获得用户的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关国家和地区的相关法律法规和标准。此外,当本申请实施例需要获取用户的敏感个人信息时,会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意,在明确获得用户的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图1是本申请实施例提供的模型训练方法的一个可选的流程图,图1中的方法可以包括但不限于包括步骤S101至步骤S107。
步骤S101,获取样本用户的样本数据;其中,样本数据为表格数据,样本数据包括样本用户的样本基本信息、样本行为数据和样本类别;
步骤S102,对样本数据进行特征提取,得到表格特征;其中,表格特征包括:表头名特征和表格内容特征;其中,表格内容特征适用于表征样本基本信息和样本行为数据的特征;
步骤S103,对表头名特征和表格内容特征进行向量化处理,得到初始向量;
步骤S104,对初始向量进行编码处理,得到目标向量;
步骤S105,根据样本类别从多个预设的损失网络筛选出目标损失网络;
步骤S106,通过目标损失网络对目标向量进行损失计算,得到损失值;
步骤S107,根据损失值对原始模型进行参数调整,得到目标模型。
本申请实施例所示意的步骤S101至步骤S107,通过获取样本用户的表格数据,并对表格数据进行特征提取以得到表头名特征和表格内容特征,且表格内容特征表征样本基本信息和样本行为数据,对表头名特征和表格内容特征进行向量化处理得到初始向量,并对初始向量进行编码处理得到目标向量。因此通过对表格数据进行特征提取以得到表头名特征和表格内容特征,并以向量的形式表示表头名特征和表格内容特征,以使不同样本类别之间的表格数据之间具有语义相关性,也使表格数据的特征之间具有语义相关性,从而提高模型训练的精度。同时,根据样本类别从多个预设的损失网络筛选出目标损失网络,也即获取与样本类别匹配的目标损失网络,通过目标损失网络对目标向量进行损失计算得到损失值,则根据损失值调整原始模型的参数得到目标模型。因此,将离散的表格数据提取表格头特征和表格内容特征,并以向量的形式表示表格头特征和表格内容特征,且通过目标损失网络对目标向量进行计算得到损失值,根据损失值对原始模型进行参数调整得到目标模型,不仅使表格数据各个特征之间具有语义相关性,还能够提高不同样本类别的表格数据之间的语义相关性,使得不同样本类别的表格数据进行模型训练时增加语义相关性,从而提高模型训练的精度。
在一些实施例的步骤S101中,样本类别可以包括以下任意一种:点击率预估类别、理赔类别、核保数量计算类别、投保数量预测类别、用户信息预测类别,其中,样本类别不限于此。因此,根据样本类别获取样本用户的样本数据包括以下任意一种:点击率预估数据、理赔数据、核保数据、投保数据、用户数据、保单数据。通过不同的样本类别采用对应的样本用户的样本数据。例如,若样本类别为点击率预估类别,样本数据为点击率预估数据,且点击率预估数据包括样本基本信息和样本行为数据,其中,样本基本信息为进行点击率预估所需要的基本影响因子,样本行为数据为影响点击率的行为数据。因此,获取为表格形式的样本数据,以得到表格数据。其中,表格数据包括表头名信息和表格内容信息,且表格内容信息包括样本基本信息和样本行为信息。
在一些实施例的步骤S102中,通过对样本数据进行特征提取以得到表头名特征和表格内容特征。由于每一个样本数据由多个特征列组成,每一个特征列都是离散或者连续特征形式,因此,将样本数据提取表头名特征和表格内容特征,以使每个表格数据的特征之间具有语义相关性。
需要说明的是,若表格数据包括年龄为30岁,职业为系统管理管,教育程度为本科,信用状态为无逾期,住宅状态为存在。传统通过表格数据进行模型训练则是对于不同的特征以离散的数值进行表示,例如顺序1为年龄,顺序2为职业,顺序3为教育程序,顺序4为信用程度,顺序5为住宅状态。原有对样本数据进行特征提取得到表格特征为{(1:30)、(2:1)、(3:1)、(4:2)、(5:1)},通过原有的表格特征可知每一个特征之间没有语义相关性,以各自的数值进行表示。本申请通过对样本数据进行特征提取以得到表头名特征和表格内容特征,也即得到表格特征为{(Age:30)、(Jod:admin)、(Education:undergraduate)、(hascredit in default:no)、(has housing loan:yes)},因此,通过表格特征包括表头名特征和表格内容特征,且表格内容特征表征样本基本信息和样本行为信息,以增加表格数据之间特征的语义信息,使得每个表格特征之间具有语义相关性,则根据表格特征进行模型训练得到目标模型的精度更高。
在一些实施例的步骤S103,通过将表头名特征和表格内容特征输入至语言表示模型的输入层,且通过输入层对表头名特征和表格内容特征进行向量处理以得到初始向量。因此,通过向量的形式表示表头名特征和表格内容特征,且不同样本类别的数据特征都以向量的形式表示,则对于同类的表头名特征和表格内容特征具有相同的向量,从而提高表格数据的特征之间的语义相关性。
需要说明的是,通过token方式对表头名特征和表格内容特征进行向量化处理以得到初始向量,且初始向量为input embedding。例如,若输入层的具有256维度,则初始向量为256*128维度,其中,256表示初始向量具有256个向量标志值,每个向量标志值具有128维。例如,若年龄为第一个向量标志值,半岁算一个维度,则对于年龄为30的初始向量为1:60,若职业为第二个向量标志值,系统管理员对应的维度为120,则职业为系统管理员的初始向量为2:120。因此,通过表头名特征和表格内容特征进行向量化处理得到初始向量,以向量的形式表示表头名特征和表格内容特征,以增加表格数据的特征之间的语义相关性。
在一些实施例的步骤S104中,为了提高初始向量中每个特征之间的相关性,将初始向量输入语言表示模型,其中,语言表示模型为Bert模型,以通过Bert模型对初始向量进行编码处理,以找到初始向量的每个特征之间的关系,从而提高初始向量的语义相关性以得到目标向量。因此,通过对初始向量编码处理得到目标向量,以通过目标向量以更高层次的表示表头名特征和表格内容特征。
在一些实施例的步骤S105中,由于不同样本类别进行损失计算的损失网络不同,则根据样本类别从预设的损失网络筛选出与样本类别匹配的目标损失网络,以针对不同样本类别采用对应的目标损失网络,使得目标向量的损失值计算更加准确。
例如,若样本类别为task1,则根据样本类别调用目标损失网络为linear-1,对应地,若样本类别为task2,则目标损失网络为linear-2。
在一些实施例的步骤S106中,通过目标损失网络对目标向量进行损失计算以得到损失值,由于不同样本类别都以向量的形式表示,则通过目标损失网络计算目标网络得到损失值,则不同样本类别的损失值具有语义相关性,则根据损失值对原始模型训练也更加准确。
在一些实施例的步骤S107,通过根据损失值对原始模型进行参数调整。其中,根据预设训练次数计算得到多个损失值,以根据损失值对原始模型进行参数调整直至训练次数达到预设训练次数以完成原始模型的训练得到目标训练模型。
需要说明的是,对损失值进行梯度计算得到网络梯度值,并根据网络梯度值对原始模型进行参数调整直至训练次数达到预设训练次数,且确定网络梯度值最小对应原始模型的参数为目标参数,以根据目标参数和原始模型生成目标模型。因此,通过综合考虑其他样本类别的语义相关性,从而提高模型训练过程的语义相关性,进而提高模型训练的精度。
请参阅图2,在一些实施例中,步骤S103可以包括但不限于包括步骤S201至步骤S203:
步骤S201,对表头名特征进行向量化处理,得到表头名向量;
步骤S202,对表格内容特征进行向量化处理,得到表格内容向量;
步骤S203,将表头名向量和表格内容向量进行拼接,得到初始向量;表头名向量是初始向量的向量标志值,表格内容向量为初始向量的向量维数值。
在一些实施例的步骤S201中,将表头名特征输入语言表示模型的输入层进行向量化处理以得到表头名向量。其中,语言表示模型包括三层,第一层为输入层,第二层为编码层,第三层为隐含层。将表头名特征输入至输入层,先对表头名特征补上预设的特殊字符,然后对表头名特征进行向量处理得到表头名特征。
具体地,初始向量为N*M维度的向量,由于表头名向量作为初始向量的向量标志值,也即确定初始向量的N值,以通过向量的形式表示表头名特征,则对于同一表头名特征具有相同的向量标志值,以使不同样本类别的表头名特征具有语义相关性,从而提高训练模型的特征之间的语义相关性。
在一些实施例的步骤S202中,通过将表格内容特征输入语言表示模型的输入层,以对表格内容特征进行向量化处理得到表格内容向量。通过输入层对表格内容特征补上预设的特殊字符,再对表格内容特征进行向量化处理得到表格内容向量。其中,表格内容向量为初始向量的向量维数值,也即为初始向量N*M中的M值。因此,通过以向量的形式表示表格内容特征,对于相同表格内容特征具有相同的向量维数值,以增加不同样本类别的表格内容特征之间的语义相关性,且增加表格数据的表格内容特征的语义相关性。
在一些实施例的步骤S203中,通过将表头名向量和表格内容向量进行拼接得到初始向量,并将表头名向量作为初始向量的向量标志值,表格内容向量作为初始向量的向量维数值。因此,通过以向量的形式表示表头名特征和表格内容特征,以增加表格数据的特征之间的语义相关性,从而提高模型训练的精度。
请参阅图3,在一些实施例中,步骤S104可以包括但不限于包括步骤S301至步骤S304:
步骤S301,对初始向量进行注意力处理,得到表格数据的初始特征关系;
步骤S302,对初始特征关系进行归一化处理,得到初步特征关系;
步骤S303,对初步特征关系进行线性变换处理,得到目标特征关系;
步骤S304,对目标特征关系进行归一化处理,得到目标向量。
在一些实施例的步骤S301中,输出层输出初始向量后,将初始向量输入语言表示模型的编码层,也即通过Bert层对初始向量进行编码处理。其中,先对初始向量进行注意力处理,确定初始向量中每个特征向量的重要程度以得到初始特征关系。其中,通过多头注意力机制对初始向量进行注意力处理,以根据初始向量提取特征之间的关系以得到初始特征关系。
具体地,多头注意力机制通过利用同一初始向量的多个不同版本并行实现多个注意力模块来工作,以使用不同的权要矩阵对初始向量进行变化得到多个初始特征关系,以增加不同特征之间的语义相关性。
在一些实施例的步骤S302中,通过对初始特征关系进行归一化处理得到初步特征关系。其中,将初始特征关系输入第一残差连接层,以通过第一残差连接层对初始特征关系进行归一化处理得到初步特征关系。
在一些实施例的步骤S303中,第一残差连接层后连接全连接层,以通过全连接层对初步特征关系进行线性变化处理得到目标特征关系。其中,全连接层可以是全连接前馈网络、多层感知层、至少一个卷积网络组合形成,以对初步特征关系进行线性变化。
在一些实施例的步骤S304中,全连接层后连接第二残差连接层,以通过第二残差连接层对目标特征关系进行归一化处理得到目标向量。因此通过将初始向量输入Bert层进行编码处理,将初始向量的特征关系加强以得到目标向量,以提高表格数据的特征之间的语义相关性,从而提高模型训练的精度。
需要说明的是,请参照图4,图4为语言表示模型的系统架构图,语言表示模型包括输入层、Bert层和损失网络层。Bert层包括多头注意力层、第一残差连接层、全连接层和第二残差连接层,通过将初始向量输入多头注意力层进行注意力处理得到初始特征关系,然后初始特征关系输入第一残差连接层进行归一化处理得到初步特征关系,再通过全连接层对初步特征关系进行线性变换得到目标特征关系,最后通过第二残差连接层对目标特征关系进行归一化处理得到目标向量。因此,通过多头注意力层、第一残差连接层、全连接层和第二残差连接层对初始向量进行编码处理,以增加初始向量的特征之间的语义相关性以得到目标向量,以使每个样本类别的模型训练得到大幅度提升。
请参阅图5,在一些实施例中,步骤S301可以包括但不限于包括步骤S501至步骤S502:
步骤S501,将初始向量以预设矩阵进行映射处理,得到向量矩阵;
步骤S502,对向量矩阵进行注意力计算,得到初始特征关系。
在一些实施例的步骤S501中,多头注意力机制指多个自注意力操作,也即对初始向量进行多个自注意力操作以得到多个初始特征关系,以增加不同特征之间的语义相关性。其中,根据自注意力机制对初始向量进行自注意力处理,先将初始向量以预设矩阵进行映射处理以得到向量矩阵,且预设矩阵为自注意力操作的输入模式。因此,将初始向量转换成向量矩阵,以便于对向量矩阵进行注意力计算。例如,预设矩阵为Q/K/V,将初始向量以Q/K/V的方式映射处理得到向量矩阵为Q/K/V。
在一些实施例的步骤S502中,通过对向量矩阵进行注意力计算以得到初始特征关系。其中,将向量矩阵输入下述公式(1)以得到初始特征关系为:
因此,通过将向量矩阵输入公式(1)进行自注意力计算以得到初始特征关系,其中,dk=QK/8。
请参阅图6,在一些实施例中,步骤S105可以包括但不限于包括步骤S601至步骤S602:
步骤S601,根据样本类别从多个预设网络标签筛选出目标标签;
步骤S602,根据目标标签从损失网络筛选出目标损失网络。
在一些实施例的步骤S601中,由于模型训练方法可以对多个样本用户的样本数据进行训练,且根据不同样本类别进行模型训练,所以针对不同的样本类别匹配的损失网络不同,且每个样本类别对应一个预设网络标签,以通过预设网络标签以区分不同样本类别的损失网络。因此,通过根据样本类别对多个预设网络标签进行筛选,以从多个预设网络获取与样本类别匹配的预设网络标签以得到目标标签。
例如,若样本类别为task1,则确定目标标签为T1,若样本类别为task2,确定目标标签为T2,若样本类别为task3,确定目标标签为T3。因此,根据样本类别从多个预设网络标签筛选出目标标签,即可根据目标标签确定对应的目标损失网络。
在一些实施例的步骤S602中,由于目标标签为损失网络上的标签信息,因此,通过目标标签即可从损失网络中筛选出目标损失网络,以根据目标损失网络对目标向量进行损失计算。由于不同的样本类别需要调用对应的目标损失网络,以针对性地进行损失计算,从而保证每个样本类别的模型训练不受其他样本类别的模型训练的影响,既能够增加特征之间的语义相关性,又不影响模型单独训练,使得模型训练得到的目标模型精度更高。
例如,若目标标签为T1,则根据目标标签筛选出目标损失网络为task1-layer层;若目标标签为T2,则根据目标标签筛选出目标损失网络为task2-layer层。其中,若根据样本类别筛选出目标标签为T1和T2,则根据目标标签筛选出目标损失网络为task1-layer层和task2-layer层。
请参阅图7,在一些实施例,目标损失网络包括:线性层、激活层,步骤S106包括但不限于包括步骤S701至步骤S702:
步骤S701,通过线性层对目标向量进行线性变换,得到线性数据;
步骤S702,通过激活层对线性数据进行损失计算,得到损失值。
在一些实施例的步骤S601中,目标损失网络包括线性层和激活层,且线性层为linear函数,以通过linear函数对目标向量进行线性变化得到线性数据。具体地,通过调用智能学习系统的linear函数对目标向量进行线性变化得到线性数据,以便于根据线性数据进行损失值更加简易。其中,不同样本类别对应的目标损失网络不同,则不同样本类别的线性层和激活层也不同,以根据样本类别对目标向量针对性进行损失计算,既提高表格数据之间特征的语义相关性,又减少其他样本类别的模型训练影响,从而提高模型的训练效果。
在一些实施例的步骤S602中,通过激活层对线性数据进行损失计算,以通过Softmax函数对线性数据进行损失计算得到损失值。其中,Softmax函数为归一化指数函数,由于Softmax函数解决只有唯一正确答案的问题,所以通过Softmax函数对线性数据进行损失计算只得到一个损失值,以通过一个损失值调整原始模型的参数,则得到的目标模型更加准确。
请参阅图8,另外,本申请实施例还提供一种行为预测方法,方法可以包括但不限于包括步骤S801至步骤S803:
步骤S801,获取目标用户的目标数据;其中,目标数据为表格数据;
步骤S802,将表格数据输入目标模型;其中,目标模型根据如上述的模型训练方法得到;
步骤S803,通过目标模型根据表格数据进行预测,得到目标用户的预测数据;其中,预测数据包括目标用户的目标行为数据。
在一些实施例的步骤S801中,通过获取目标用户的目标数据,且目标数据包括以下任意一种:点击率预估数据、理赔数据、核保数据、投保数据、用户数据、保单数据。若目标用户为客户订购理财产品的概率,则获取目标用户的目标数据为用户数据和保单数据。因此,根据行为预测类型获取目标用户对应的目标数据,以针对性地对目标用户的目标行为进行预测。
在一些实施例的步骤S802中,将表格数据输入目标模型,且目标模型由上述模型训练方法训练得到。其中,目标数据和样本数据的数据类型一致,在进行行为预测时,先提取样本数据进行训练以得到目标模型,再将目标数据输入目标模型进行预测处理。由于目标模型通过将表格数据划分为表头名特征和表格内容特征,并以向量的形式表示表头名特征和表格内容特征,以提高不同样本类别的表格数据之间的语义相关性,则构建的目标模型考虑其他样本类别的语义相关性,则通过目标模型根据目标数据对目标用户的目标行为预测更加准确。
在一些实施例的步骤S803中,通过目标模型根据表格数据进行预测得到目标用户的预测数据,且预测数据包括目标用户的目标行为数据。因此,通过目标模型对目标数据进行行为预测得到目标行为数据,使得目标用户的目标行为预测准确。
例如,若目标用户的目标行为是订购理财产品的概率,则获取目标用户的保单数据和用户数据,并通过目标模型对保单数据和用户数据进行行为预测以得到预测数据,且预测数据为订购理财产品的概率。由于目标模型引入表头名特征和表格内容特征的语义信息,使得目标模型的训练综合特征之间的语义相关性,则通过目标模型对目标数据进行预测得到预测数据也更加准确。
本申请实施例通过获取样本用户的样本数据,并对样本数据进行特征提取得到表头名特征和表格内容特征,将表头名特征进行向量化处理得到表头名向量,对表格内容特征进行向量化处理得到表格内容特征,再将表头名向量和表格内容向量进行拼接得到初始向量。通过将初始向量输入多头注意力层进行注意力处理得到初始特征关系,然后初始特征关系输入第一残差连接层进行归一化处理得到初步特征关系,再通过全连接层对初步特征关系进行线性变换得到目标特征关系,最后通过第二残差连接层对目标特征关系进行归一化处理得到目标向量。根据样本类别从预设损失网络筛选出目标损失网络,再通过目标损失网络对目标向量进行损失计算得到损失值,即可根据损失值对原始模型进行参数调整得到目标模型。因此,通过引入向量的形式表示表头名特征和表格内容特征,使得表格数据各个特征之间以及不同样本类别的表格数据之间增加语义相关性,则根据表格数据训练得到目标模型的准确性更高。因此,通过将目标用户的目标数据输入目标模型,以通过目标模型对目标数据进行预测得到预测数据,使得预测数据更加准确,以提高预测的准确率。
请参阅图9,本申请实施例还提供一种模型训练装置,可以实现上述模型训练方法,该装置包括:
获取模块901,用于获取样本用户的样本数据;其中,样本数据为表格数据,样本数据包括样本用户的样本基本信息、样本行为数据和样本类别;
提取模块902,用于对样本数据进行特征提取,得到表格特征;其中,表格特征包括:表头名特征和表格内容特征;其中,表格内容特征适用于表征样本基本信息和样本行为数据的特征;
向量化模块903,用于对表头名特征和表格内容特征进行向量化处理,得到初始向量;
编码模块904,用于对初始向量进行编码处理,得到目标向量;
筛选模块905,用于根据样本类别从多个预设的损失网络筛选出目标损失网络;
计算模块906,用于通过目标损失网络对目标向量进行损失计算,得到损失值;
调节模块907,用于根据损失值对原始模型进行参数调整,得到目标模型。
该模型训练装置的具体实施方式与上述模型训练方法的具体实施例基本相同,在此不再赘述。
请参阅图10,本申请实施例还提供一种行为预测装置,可以实现上述行为预测方法,该行为预测装置包括:
数据获取模块101,用于获取目标用户的目标数据;其中,目标数据为表格数据;
输入模块102,用于将表格数据输入目标模型;其中,目标模型根据如上述的模型训练方法得到;
预测模块103,用于通过目标模型根据表格数据进行预测,得到目标用户的预测数据;其中,预测数据包括目标用户的目标行为数据。
该行为预测装置的具体实施方式与上述行为预测方法的具体实施例基本相同,在此不再赘述。
本申请实施例还提供了一种计算机设备,计算机设备包括:存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线,程序被处理器执行时实现上述模型训练方法,或者行为预测方法。该计算机设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图11,图11示意了另一实施例的计算机设备的硬件结构,计算机设备包括:
处理器111,可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器112,可以采用只读存储器(ReadOnlyMemory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory,RAM)等形式实现。存储器112可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器112中,并由处理器111来调用执行本申请实施例的模型训练方法,或者行为预测方法;
输入/输出接口113,用于实现信息输入及输出;
通信接口114,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;
总线115,在设备的各个组件(例如处理器111、存储器112、输入/输出接口113和通信接口114)之间传输信息;
其中处理器111、存储器112、输入/输出接口113和通信接口114通过总线115实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质,存储介质为计算机可读存储介质,用于计算机可读存储,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述模型训练方法,或者行为预测方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的模型训练方法和装置、行为预测方法、设备及存储介质,其通过获取样本用户的表格数据,将表格数据进行特征提取得到表头名特征和表格内容特征,并以向量的形式表示表头名特征和表格内容特征,以使不同样本类别之间的表格数据之间具有语义相关性,使得表格数据的特征之间具有语义相关性,从而提高模型训练的精度。同时,根据样本类别从多个损失网络筛选出目标损失网络,也即获取与样本类别匹配的目标损失网络,通过目标损失网络对目标向量进行损失计算得到损失值,则根据损失值调整原始模型的参数得到目标模型。因此,通过以向量的形式表示表头名特征和表格内容特征,使得表格数据的特征之间、不同样本类别的表格数据之间具有语义相关性,以构建目标模型的准确率提高。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图1-7,或者8中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.一种模型训练方法,其特征在于,所述方法包括:
获取样本用户的样本数据;其中,所述样本数据为表格数据,所述样本数据包括所述样本用户的样本基本信息、样本行为数据和样本类别;
对所述样本数据进行特征提取,得到表格特征;其中,所述表格特征包括:表头名特征和表格内容特征;其中,所述表格内容特征适用于表征所述样本基本信息和所述样本行为数据的特征;
对所述表头名特征和所述表格内容特征进行向量化处理,得到初始向量;
对所述初始向量进行编码处理,得到目标向量;
根据所述样本类别从多个预设的损失网络筛选出目标损失网络;
通过所述目标损失网络对所述目标向量进行损失计算,得到损失值;
根据所述损失值对原始模型进行参数调整,得到目标模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述表头名特征和所述表格内容特征进行向量化处理,得到初始向量,包括:
对所述表头名特征进行向量化处理,得到表头名向量;
对所述表格内容特征进行向量化处理,得到表格内容向量;
将所述表头名向量和所述表格内容向量进行拼接,得到所述初始向量;所述表头名向量是所述初始向量的向量标志值,所述表格内容向量为所述初始向量的向量维数值。
3.根据权利要求1所述的方法,其特征在于,所述对所述初始向量进行编码处理,得到目标向量,包括:
对所述初始向量进行注意力处理,得到所述表格数据的初始特征关系;
对所述初始特征关系进行归一化处理,得到初步特征关系;
对所述初步特征关系进行线性变换处理,得到目标特征关系;
对所述目标特征关系进行归一化处理,得到所述目标向量。
4.根据权利要求3所述的方法,其特征在于,所述对所述初始向量进行注意力处理,得到所述表格数据的初始特征关系,包括:
将所述初始向量以预设矩阵进行映射处理,得到向量矩阵;
对所述向量矩阵进行注意力计算,得到所述初始特征关系。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述样本类别从多个预设的损失网络筛选出目标损失网络,包括:
根据所述样本类别从多个预设网络标签筛选出目标标签;
根据所述目标标签从所述损失网络筛选出所述目标损失网络。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述目标损失网络包括:线性层、激活层;所述通过所述目标损失网络对所述目标向量进行损失计算,得到损失值,包括:
通过所述线性层对所述目标向量进行线性变换,得到线性数据;
通过所述激活层对所述线性数据进行损失计算,得到所述损失值。
7.一种行为预测方法,其特征在于,所述行为预测方法包括:
获取目标用户的目标数据;其中,所述目标数据为表格数据;
将所述表格数据输入目标模型;其中,所述目标模型根据如权利要求1至6任一项所述的模型训练方法得到;
通过所述目标模型根据所述表格数据进行预测,得到所述目标用户的预测数据;其中,所述预测数据包括所述目标用户的目标行为数据。
8.一种模型训练装置,其特征在于,所述装置包括:
获取模块,用于获取样本用户的样本数据;其中,所述样本数据为表格数据,所述样本数据包括所述样本用户的样本基本信息、样本行为数据和样本类别;
提取模块,用于对所述样本数据进行特征提取,得到表格特征;其中,所述表格特征包括:表头名特征和表格内容特征;其中,所述表格内容特征适用于表征所述样本基本信息和所述样本行为数据的特征;
向量化模块,用于对所述表头名特征和所述表格内容特征进行向量化处理,得到初始向量;
编码模块,用于对所述初始向量进行编码处理,得到目标向量;
筛选模块,用于根据所述样本类别从多个预设的损失网络筛选出目标损失网络;
计算模块,用于通过所述目标损失网络对所述目标向量进行损失计算,得到损失值;
调节模块,用于根据所述损失值对原始模型进行参数调整,得到目标模型。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,所述程序被所述处理器执行时实现如权利要求1至6任一项所述的方法的步骤,或者如权利要求7所述的方法的步骤。
10.一种存储介质,所述存储介质为计算机可读存储介质,用于计算机可读存储,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至6中任一项所述的方法的步骤,或者如权利要求7所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210860313.9A CN115222066A (zh) | 2022-07-21 | 2022-07-21 | 模型训练方法和装置、行为预测方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210860313.9A CN115222066A (zh) | 2022-07-21 | 2022-07-21 | 模型训练方法和装置、行为预测方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115222066A true CN115222066A (zh) | 2022-10-21 |
Family
ID=83613807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210860313.9A Pending CN115222066A (zh) | 2022-07-21 | 2022-07-21 | 模型训练方法和装置、行为预测方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222066A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115563510A (zh) * | 2022-12-01 | 2023-01-03 | 北京搜狐新动力信息技术有限公司 | 一种点击率预估模型的训练方法及相关装置 |
CN115983237A (zh) * | 2023-03-21 | 2023-04-18 | 北京亚信数据有限公司 | 表格类型识别模型训练、预测及表格数据推荐方法和装置 |
CN116452707A (zh) * | 2023-06-20 | 2023-07-18 | 城云科技(中国)有限公司 | 基于表格的文本生成方法、装置及其应用 |
CN116663516A (zh) * | 2023-07-28 | 2023-08-29 | 深圳须弥云图空间科技有限公司 | 表格机器学习模型训练方法、装置、电子设备及存储介质 |
CN116936103A (zh) * | 2023-09-12 | 2023-10-24 | 神州医疗科技股份有限公司 | 一种基于同向网络的用户健康预测管理方法及系统 |
-
2022
- 2022-07-21 CN CN202210860313.9A patent/CN115222066A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115563510A (zh) * | 2022-12-01 | 2023-01-03 | 北京搜狐新动力信息技术有限公司 | 一种点击率预估模型的训练方法及相关装置 |
CN115983237A (zh) * | 2023-03-21 | 2023-04-18 | 北京亚信数据有限公司 | 表格类型识别模型训练、预测及表格数据推荐方法和装置 |
CN116452707A (zh) * | 2023-06-20 | 2023-07-18 | 城云科技(中国)有限公司 | 基于表格的文本生成方法、装置及其应用 |
CN116452707B (zh) * | 2023-06-20 | 2023-09-12 | 城云科技(中国)有限公司 | 基于表格的文本生成方法、装置及其应用 |
CN116663516A (zh) * | 2023-07-28 | 2023-08-29 | 深圳须弥云图空间科技有限公司 | 表格机器学习模型训练方法、装置、电子设备及存储介质 |
CN116663516B (zh) * | 2023-07-28 | 2024-02-20 | 深圳须弥云图空间科技有限公司 | 表格机器学习模型训练方法、装置、电子设备及存储介质 |
CN116936103A (zh) * | 2023-09-12 | 2023-10-24 | 神州医疗科技股份有限公司 | 一种基于同向网络的用户健康预测管理方法及系统 |
CN116936103B (zh) * | 2023-09-12 | 2023-12-15 | 神州医疗科技股份有限公司 | 一种基于同向网络的用户健康预测管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115222066A (zh) | 模型训练方法和装置、行为预测方法、设备及存储介质 | |
CN110555469A (zh) | 处理交互序列数据的方法及装置 | |
CN114626097A (zh) | 脱敏方法、脱敏装置、电子设备及存储介质 | |
CN111897934A (zh) | 问答对生成方法及装置 | |
CN114240552A (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
CN116578688A (zh) | 基于多轮问答的文本处理方法、装置、设备及存储介质 | |
CN115640394A (zh) | 文本分类方法、文本分类装置、计算机设备及存储介质 | |
CN116680386A (zh) | 基于多轮对话的答案预测方法和装置、设备、存储介质 | |
CN114722826A (zh) | 模型的训练方法和装置、电子设备、存储介质 | |
CN114926039A (zh) | 风险评估方法、风险评估装置、电子设备及存储介质 | |
CN114912537A (zh) | 模型训练方法和装置、行为预测方法和装置、设备、介质 | |
CN114492661A (zh) | 文本数据分类方法和装置、计算机设备、存储介质 | |
CN116701604A (zh) | 问答语料库的构建方法和装置、问答方法、设备及介质 | |
CN116775875A (zh) | 问题语料库构建方法和装置、问答方法、设备及存储介质 | |
CN115982452A (zh) | 一种信息推荐方法、装置、电子设备及存储介质 | |
CN116432705A (zh) | 文本生成模型构建、文本生成方法和装置、设备及介质 | |
CN114998041A (zh) | 理赔预测模型的训练方法和装置、电子设备及存储介质 | |
CN114398903B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN115828153A (zh) | 基于人工智能的任务预测方法、装置、设备和介质 | |
CN115205546A (zh) | 模型训练方法和装置、电子设备、存储介质 | |
CN115795007A (zh) | 智能问答方法、智能问答装置、电子设备及存储介质 | |
CN114817734A (zh) | 推荐模型的训练方法、推荐方法和装置、电子设备及介质 | |
CN112287239B (zh) | 课程推荐方法、装置、电子设备及存储介质 | |
CN115292460A (zh) | 一种话题推荐方法、装置、电子设备及存储介质 | |
CN115204300A (zh) | 文本和表格语义交互的数据处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |