CN116957128A - 业务指标预测方法、装置、设备和存储介质 - Google Patents

业务指标预测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116957128A
CN116957128A CN202310145231.0A CN202310145231A CN116957128A CN 116957128 A CN116957128 A CN 116957128A CN 202310145231 A CN202310145231 A CN 202310145231A CN 116957128 A CN116957128 A CN 116957128A
Authority
CN
China
Prior art keywords
sample
feature
service
features
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310145231.0A
Other languages
English (en)
Inventor
林炳怀
王丽园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310145231.0A priority Critical patent/CN116957128A/zh
Publication of CN116957128A publication Critical patent/CN116957128A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种业务指标预测方法、装置、设备和存储介质，涉及人工智能技术领域，可以应用于云技术、人工智能等各种场景，方法包括：获取对象特征、实体特征、以及业务对象与目标业务实体间的关联特征；将对象特征、实体特征和关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量，以进行业务指标分类预测，得到指标分类预测结果；预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合多个业务场景各自对应的样本特征和样本标签，对预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的。本申请能够降低多业务场景的模型训练资源消耗。

Description

业务指标预测方法、装置、设备和存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种业务指标预测方法、装置、设备和存储介质。
背景技术
业务指标是互联网服务的重要数据基础，能够实现精准和定制化的业务服务，通常需针对不同的业务场景训练不同的网络模型，以进行对象的特征提取和指标预测，以实现场景业务指标生产，以用于相关服务。由于业务场景的多样化和高度迭代，上述方式需针对每一业务场景进行独立的模型构建和训练，网络训练和更新成本极高，涉及大量资源和时间消耗，泛化性差。
发明内容
本申请提供了一种业务指标预测方法、装置、设备和存储介质，可以有效降低多场景业务指标预测的资源和时间消耗。
一方面，本申请提供了一种业务指标预测方法，所述方法包括：
获取业务对象的对象特征、目标业务实体的实体特征、以及所述业务对象与所述目标业务实体间的关联特征，所述对象特征、所述实体特征和所述关联特征为结构化特征；
将所述对象特征、所述实体特征和所述关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量；
基于所述线性特征向量和所述至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果，所述指标分类预测结果用于指示所述业务对象针对所述目标业务实体执行预设操作的可能性；
所述预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合所述多个业务场景各自对应的样本特征和样本标签，对所述预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，所述样本特征包括样本对象特征、样本实体特征和样本关联特征。
另一方面提供了一种业务指标预测装置，所述装置包括：
获取模块：用于获取业务对象的对象特征、目标业务实体的实体特征、以及所述业务对象与所述目标业务实体间的关联特征，所述对象特征、所述实体特征和所述关联特征为结构化特征；
特征提取模块：用于将所述对象特征、所述实体特征和所述关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量；
分类预测模块：用于基于所述线性特征向量和所述至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果，所述指标分类预测结果用于指示所述业务对象针对所述目标业务实体执行预设操作的可能性；
所述预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合所述多个业务场景各自对应的样本特征和样本标签，对所述预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，所述样本特征包括样本对象特征、样本实体特征和样本关联特征。
另一方面提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的业务指标预测方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的业务指标预测方法。
另一方面提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的业务指标预测方法。
另一方面提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的业务指标预测方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时实现如上述的业务指标预测方法。
本申请提供的业务指标预测方法、装置、设备、存储介质、服务器、终端、计算机程序和计算机程序产品，具有如下技术效果：
本申请的技术方案首先获取业务对象的对象特征、目标业务实体的实体特征、以及业务对象与目标业务实体间的关联特征，对象特征、实体特征和关联特征为结构化特征，结合对象特征信息、实体特征信息，以及二者间的交联特征实现多维度信息表达，进而提高用于预测的特征向量的信息表达全面性和有效性；然后，将对象特征、实体特征和关联特征输入预训练特征提取网络进行多维特征提取，以得到不同信息维度的线性特征向量和至少两个深度特征向量，进而进行业务指标分类预测，得到指标分类预测结果，能够丰富用于预测的特征向量信息维度，并有利于上述不同特征间的信息交互，提高最终特征向量的信息表达准确性，进而优化模型预测效果，并且采用预训练网络进行特征提取，能够泛化应用至各种不同的指标预测任务，实现特征提取网络共享，无需针对每一业务场景进行单独的特征提取网络训练，降低多场景任务的资源消耗和时间成本，同时降低样本构建难度。此外，该预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合多个业务场景各自对应的样本特征和样本标签，对预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，使得预训练网络具备多场景特征提取能力和泛化性能，同时保持分类网络的场景特异性，优化网络模型学习效果和应用效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种业务指标预测方法的流程示意图；
图3是本申请实施例提供的另一业务指标预测方法的流程示意图；
图4是本申请实施例提供的一种神经网络训练方法的流程示意图；
图5是本申请实施例提供的一种网络结构示意图；
图6是本申请实施例提供的一种应用实例的业务预测方法流程示意图；
图7是本申请实施例提供的一种训练框架的结构示意图；
图8是本申请实施例提供的另一种训练框架的结构示意图；
图9是本申请实施例提供的另一种训练框架的结构示意图；
图10是本申请实施例提供一种业务指标预测装置的框架示意图；
图11是本申请实施例提供的一种业务指标预测方法的电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
交叉熵损失：在信息论中，交叉熵是表示两个概率分布p，q的差异，其中p表示真实分布，q表示预测分布。
FM:因子分解机(Factorization Machine)，FM的提出是为了解决大规模稀疏数据中的特征组合问题。
DNN:深度神经网络。
Linear:线性变换。
AUC：AUC是衡量二分类模型优劣的一种评价指标，表示预测的正例排在负例前面的概率。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及人工智能的机器学习/深度学习和自然语言处理等技术，具体通过如下实施例进行说明。
请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以至少包括终端01和服务器02。在实际应用中，终端01和服务器02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例中的服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体地，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术能够应用于各种领域，如医疗云、云物联、云安全、云教育、云会议、人工智能云服务、云应用、云呼叫和云社交等，云技术基于云计算(cloud computing)商业模式应用，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”，“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务))平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分，在IaaS层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
具体地，上述涉及的服务器02可以包括实体设备，可以具体包括有网络通信子模块、处理器和存储器等等，也可以包括运行于实体设备中的软体，可以具体包括有应用程序等。
具体地，终端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。
本申请实施例中，终端01可以用于获取待预测的业务对象的对象信息，并将对象信息发送至服务器02，以使服务器02获取业务对象的对象特征、目标业务实体的实体特征、以及所述业务对象与所述目标业务实体间的关联特征，并基于将上述特征输入预训练特征提取网络进行特征提取，以进行指标分类预测，得到业务对象针对该目标业务实体的指标分类预测结果。服务器02还可以用于提供预设神经网络和预设分类网络的训练服务，以得到上述预训练特征提取网络，以及目标分类网络。服务器02还可以用于存储样本训练集，样本训练集包括多个业务场景对应的多个样本特征和样本标签，以及还可以用于存储业务对象的对象特征、业务实体的实体特征等相关数据。
此外，可以理解的是，图1所示的仅仅是一种业务指标预测方法的应用环境，该应用环境可以包括更多或更少的节点，本申请在此不做限制。
本申请实施例涉及的应用环境，或应用环境中的终端01和服务器02等可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、终端)通过网络通信的形式连接形成的分布式系统。分布式系统可以为区块链系统，该区块链系统可以提供数据存储服务等。
以下基于上述应用环境介绍本申请的一种业务指标预测方法，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等，如定制化服务场景、精准搜索服务场景、信息推荐场景等。请参考图2，图2是本申请实施例提供的一种业务指标预测方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地，如图2所示，方法可以包括下述步骤S201-S205。
S201：获取业务对象的对象特征、目标业务实体的实体特征、以及业务对象与目标业务实体间的关联特征。
具体地，业务对象可以为在业务平台中注册的账户对象或设备对象，目标业务实体可以为能够提供业务服务的实体对象，业务服务可以例如为提供物品出售或信息推荐等，业务实体可以例如为商铺或信息服务账户等。
具体地，对象特征用于表示业务对象的多维度属性，可以包括但不限于基本属性特征、交互属性特征、族群属性特征等，如对象类别特征、所属地域特征、活跃时长特征、所属族群特征等；实体特征用于表征业务实体的属性特征，如所属地域特征、实体类别特征、到访率特征、存续时长特征等，以车辆商铺为例，可以包括历史销售量特征值、到访率特征值、车系种类数量特征值、地理位置特征值等；关联特征用于表征业务对象与业务实体间的属性交叉和对象交互信息，如二者间的地域距离等级，业务对象对业务实体的历史访问量特征值、历史购买量特征值等。
具体地，对象特征、实体特征和关联特征为结构化特征，一些情况下，上述特征均为非文本的数值型特征。对象特征、实体特征和关联特征分别包括多维可解释的特征，如对象特征可以包括对象特征1、对象特征2…对象特征n。其中的每一个可解释的特征可以取多个值，即具备类似词表的取值范围，不同值表征不同的特征含义，如对象特征包括对象类别对应的特征值、所属地域对应的特征值、所属族群对应的特征值等。
实际应用中，S201可以包括S2011-S2014：
S2011：获取业务对象的对象属性数据、目标业务实体的实体属性数据、以及业务对象与目标业务实体间的历史交互数据；
S2012：基于对象属性数据和实体属性数据进行业务对象和目标业务实体间的关联分析，得到关联数据；
S2013：分别对对象属性数据和实体属性数据进行特征处理，得到对象特征和实体特征；
S2014：分别对历史交互数据和关联数据进行特征处理，得到关联特征。
需要说明的是，对象属性数据、实体属性数据和历史交互数据均为业务对象和业务实体授权获取的数据；其中，对象属性数据可以为加密数据。历史交互数据是指业务对象对业务实体执行交互操作所生成的数据，以商铺为例，交互操作可以例如为点击、浏览、购买或分享等，历史交互数据可以相应位到访量、到访时长、购买量和分享次数等。
一些情况下，基于业务对象信息和业务实体信息在数据库中进行数据查找，以获取相应的对象属性数据、实体属性数据和历史交互数据。将对象属性数据中的各项数据和实体属性数据中的各数据进行特征映射，得到属性特征值，如确定将对象年龄映射为年龄等级，以作为年龄特征值；进而对各属性特征值进行特征编码和特征降维等操作，得到对象特征和实体特征。示例性的，对象特征可以例如为[账户特征1，账户特征2…账户特征n]，实体特征可以例如为[门店特征1，门店特征2…门店特征m]。
此外，对对象属性数据中的各属性数据与实体属性数据中的各属性数据进行关联关系匹配分析，得到关联数据，如对二者所属地域进行匹配，并确定二者的所属地域间的距离等；进而对历史交互数据和关联数据进行特征映射，得到相应的关联特征值，如将地域间的距离映射为地域距离等级等；进而对各关联特征值进行特征编码和特征降维等操作，得到关联特征。示例性的，关联特征可以例如为[账户门店特征1，账户门店特征2…账户门店特征k]。如此，结合对象属性信息、实体属性信息、以及二者间的交联属性作为后续预测分类特征生产的数据基础，涵盖二者各自的多维度属性信息的同时，提供二者间的交互信，实现多维特征表达，提高特征信息量和信息有效性，优化网络模型预测效果。
S203：将对象特征、实体特征和关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量。
具体地，线性特征向量和深度特征向量表达不同维度的信息，线性特征向量表达对象特征、实体特征和关联特征中较简单和浅层的信息，深度特征向量可以表达上述各特征中的深层信息，包括不同特征间的交互信息和关联信息等。一些实施例中，预训练特征提取网络包括线性神经网络和至少两个深度网络，相应地，S203可以包括S2031-S2033：
S2031：将对象特征、实体特征和关联特征进行特征拼接，得到拼接特征；
S2032：将拼接特征输入线性神经网络进行线性特征提取，得到线性特征向量；
S2033：将拼接特征分别输入至少两个深度网络中的每一深度网络进行深度特征提取，得到至少两个深度网络各自输出的深度特征。
这里的特征拼接可以为简单拼接，基于前述示例，拼接特征可以例如为[账户特征1，账户特征2…账户特征n，门店特征1，门店特征2…门店特征m，账户门店特征1，账户门店特征2…账户门店特征k]。线性神经网络用于对拼接特征中的各特征进行线性组合处理，得到线性特征向量，至少两个深度网络用于分别对拼接特征中的各特征进行不同维度的深度特征提取，如相邻特征交叉和多特征交叉等，以得到不同的深度特征。如此，充分提取对象特征、实体特征和关联特征中的浅层和深层信息，有利于准确抽取对象与实体间的关系，提高后续分类预测准确性。
示例性地，拼接特征例如为[0.4,0.5，…0.8]，经特征提取后，线性特征向量为[1.2,1.3，…1.6]，第一深度特征向量为[0.2,0.5，…1.4]，第一深度特征向量为[1.5,1.9，…1.2]，对该特征进行融合后进行分类预测，所得到的兴趣等级评分为0.7(∈[0,1])。
一个实施例中，请参考图5，预训练特征提取网络包括线性神经网络(Linearnetwork)、第一深度网络和第二深度网络，第一深度网络为FM(Factor Machine,因子分解机)，第二深度网络为DNN(Deep Nueral Network，深度神经网络)。FM在特征线性组合的前提下增加了特征交叉项，如下述公式所示，增加了xi和xj的交叉相乘。
式中，xi和xj分别表示特征i和特征j，公式中ω0∈R，ω∈Rn，V∈Rn×k，<Vi,Vj>表示的是两个大小为k的向量Vi和向量Vj的点积，Vi表示的是系数矩阵V的第i维向量，且Vi为超参数，Vi＝(Vi,1,Vi,2,...Vi,k)，k∈＝N+。基于上述三个网络的特征变换，得到相应的三个特征向量。
需要说明的是，预训练特征提取网络可以包括更多的深度网络，第一深度网络和第二深度网络的类型不限于上述描述，可以为其它能够实现相邻特征交叉或多特征交叉等深度特征提取的网络结构。
具体地，预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合多个业务场景各自对应的样本特征和样本标签，对预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，样本特征包括样本对象特征、样本实体特征和样本关联特征。如此，采用多个业务场景的样本数据进行网络训练，并针对各业务场景设置单独的分类网络，使得预训练网络能够学习到多场景的共性特征提取和单场景的特异性特征提取，具备多场景特征提取能力和泛化性能，同时保持分类网络的场景特异性，优化网络模型学习效果和应用效果。
其中，预设神经网络的网络结构与前述的预训练特征提取网络相同，预设分类网络可以执行简单的网络变换，也可以是复杂的网络结构，具体基于实际的业务场景确定。样本对象特征、样本实体特征和样本关联特征分别与对象特特征、实体特征和关联特征对应设置，不做赘述。其中，多个业务场景可以为相近的业务场景，相应的业务指标可以为相近的指标，如多个业务场景可以为不同的商品的购买业务场景，例如车辆、车辆周边、电子产品等不同商品的多个购买业务场景，或不同车系车辆的多个购买业务场景等。
具体地，将样本特征作为预设神经网络的输入进行特征提取，基于提取到的样本线性特征向量和至少两个样本深度特征向量，调用相应业务场景下的预设分类网络进行分类预测，得到预测指标数据，结合样本标签确定模型损失，以反馈调节预设神经网络和预设分类网络的模型参数，实现迭代训练。样本标签可以基于业务场景设定，单个业务场景下，可以为二分类标签，也可以为多分类标签。
S205：基于线性特征向量和至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果。
其中，指标分类预测结果用于指示业务对象针对目标业务实体执行预设操作的可能性。预设操作可以包括但不限于点击、浏览、分享或购买等，一个实施例中，业务场景为兴趣指标评级，业务实体为商铺，业务对象为账户，指标分类预测结果可以为兴趣等级，用于指示账户对目标商铺中商品进行购买操作的可能性。所得到的兴趣等级可以指账户到店访问或购买商铺中商品等的兴趣程度，兴趣程度越高，兴趣等级越高，反之越低。
实际应用中，请参考图3，S205可以包括S2051-S2052：
S2051：将线性特征向量和至少两个深度特征向量进行特征融合，得到目标融合特征；
S2052：将目标融合特征输入目标业务实体所属目标业务场景所对应的目标分类网络进行业务指标分类预测，得到指标分类预测结果。
具体地，这里特征融合包括但不限于特征拼接或特征相加等。以特征拼接为例，目标融合特征可以表示为X＝[线性特征向量,第一深度特征向量,第二深度特征向量]。
综上，本申请的技术方案结合对象特征信息、实体特征信息，以及二者间的交联特征实现多维度信息表达，进而提高用于预测的特征向量的信息表达全面性和有效性，以得到不同信息维度的线性特征向量和至少两个深度特征向量，丰富用于预测的特征向量信息维度，并有利于上述不同特征间的信息交互，提高最终特征向量的信息表达准确性，进而优化模型预测效果，并且采用预训练网络进行特征提取，能够泛化应用至各种不同的指标预测任务，实现特征提取网络共享，无需针对每一业务场景进行单独的特征提取网络训练，降低多场景任务的资源消耗和时间成本，同时降低样本构建难度。此外，预训练网络具备多场景特征提取能力和泛化性能，同时保持分类网络的场景特异性，优化网络模型学习效果和应用效果。
本申请的业务指标预测方法可以应用于数据智能场景，如大数据线索评级。具体任务可以例如为评估账户对商品的兴趣级别预测。应用中，请参考图6，以兴趣级别预测为例，业务对象为账户，业务实体为商铺，预测过程可以包括：终端响应于发起者在页面提交的账户列表(账户1-n)，向服务器发送账户列表和实体信息；服务器基于账户列表和实体信息在特征库中查找、特征生产，得到账户列表中每一账户的对象特征、实体特征和关联特征；服务器将每一账户的对象特征、实体特征和关联特征输入预训练特征提取网络，得到每一账户对应的预训练特征表示(线性特征向量和至少两个深度特征向量)；服务器调用目标分类网络对预训练特征表示进行兴趣级别预测，得到每一账户的兴趣评分，并发送至终端，终端基于兴趣评分对账户列表中的账户排序，以反馈至页面显示。
基于上述部分或全部实施方式，本申请还提供一种神经网络训练方法，请参考图4，方法可以包括下述步骤S301-S309：
S301：获取样本训练集，样本训练集包括多个业务场景各自对应的多个样本对象的样本特征和样本标签。
其中，样本标签用于表征样本对象针对业务场景下的样本业务实体执行预设操作的指标真值。
S303：将多个样本对象的样本特征输入预设神经网络进行多维特征提取，得到样本特征的样本线性特征向量和至少两个样本深度特征向量。
其中，样本线性特征向量和样本深度特征向量与前述的线性特征向量和深度特征向量相类似，不做赘述。
S305：基于多个业务场景中每一业务场景对应的预设分类网络，对业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到样本对对应的预测指标数据。
其中，预测指标数据用于表征样本对象对相应的样本业务实体执行业务操作的概率，这里的业务操作可以基于业务场景设定，可以包括前述的预设操作。示例性的，可以为购买、分享、点击、关注、浏览和收藏等。
具体地，每一业务场景对应一个预设分类网络，或者多个业务场景中的两个或两个以上的业务场景对应一个预设分类网络。经预设神经网络特征提取后，输出样本线性特征向量和至少两个样本深度特征向量，对上述向量进行特征融合，得到样本融合特征，并将样本融合特征输入该样本特征所属业务场景所对应的预设分类网络，以输出预测指标数据。
S307：基于预测指标数据和样本标签，确定多个业务场景各自的预设分类网络对应的模型损失。
S309：基于模型损失训练预设神经网络和各预设分类网络，得到预训练特征提取网络和多个业务场景各自对应的目标分类网络。
具体地，以每一业务场景的预设分类网络输出的预测指标数据和该预测指标数据对应的样本标签为损失函数的输入，进行损失计算，得到该业务场景的预设分类网络所对应的模型损失，进而基于模型损失调整预设神经网络和该业务场景对应的预设分类网络的网络参数，实现网络更新，以进行迭代训练。
一个实施例中，单次迭代中，可以仅用单个业务场景对应的样本对对应的预测指标数据和样本标签计算模型损失，以对预设神经网络、该业务场景对应的预设分类网络进行网络更新，不同业务场景的样本数据在不同迭代次数中作为网络训练数据。另一实施例中，单次迭代中，生成多个业务场景中每一业务场景的预设分类网络的模型损失，以分别调整相应预设分类网络的模型参数，并将各业务场景对应的模型损失进行融合，得到总损失，以总损失更新预设神经网络的参数，以实现网络更新和迭代训练。
基于上述神经网络训练方法，可以采用多种训练框架实现预训练特征提取网络训练，一些实施例中，采用有监督方法进行网络训练(预训练V1)，网络模型的训练框架可以如图7所示，包括预设神经网络，并连接多个业务场景(业务场景1，业务场景2…，业务场景n)各自的预设分类网络(预设分类网络1，预设分类网络2…，预设分类网络n)，模型损失为分类预测损失，相应地，上述神经网络训练方法可以具体包括：将各样本特征分别输入预设神经网络进行多维特征提取，得到每一样本特征的样本线特征向量和至少两个样本深度特征向量；针对每一业务场景对应的预设分类网路，基于该业务场景对应的每一样本特征的预测指标数据和样本标签，确定业务场景对应的预设分类网络的分类预测损失；基于分类预测损失调整预设神经网络和各预设分类网络的网络参数，进行网络迭代训练，训练目标为降低样本特征的预测指标数据与相应样本标签间的差异，至满足训练结束条件，得到预训练特征提取网络和目标分类网络。其中，预设分类网络可以为全连接网络，损失计算方式可以为均方差损失计算，相应的，分类预测损失可以为均方差损失。
如此，经预设神经网络对结合混合不同历史业务场景数据得到的样本特征进行特征变换，得到深度特征表示，进而通过不同的预设分类网络实现网络变换，得到对应业务场景的预测指标数据，基于预测指标数据与给定的样本标签，进行损失计算，进行网络优化，以得到预训练特征提取网络，供下游任务使用，能够实现多业务场景的混合网络训练，提升网络学习效果，优化特征提取能力和泛化性能。
另一些实施例中，基于对比学习方法进行神经网络训练(预训练V2)，网络模型的训练框架可以如图8所示，构建预设神经网络的孪生网络，并连接多个业务场景(业务场景1，业务场景2…，业务场景n)各自的预设分类网络(预设分类网络1，预设分类网络2…，预设分类网络n)，以通过两个参数共享的预设神经网络分别对样本对中的样本特征进行特征提取。相应地，上述步骤S303可以包括：
S401：对每一业务场景对应的各样本特征进行样本抽取，得到业务场景对应的样本对；
S403：将业务场景对应的样本对输入预设神经网络进行多维特征提取，分别得到样本对中各样本特征的样本线性特征向量和至少两个样本深度特征向量。
相应地，步骤S305可以具体包括：针对每一样本对，调用样本对所属业务场景的预设分类网络，分别对该样本对对应的两样本融合特征进行分类预测，得到样本对中各样本特征各自对应的预测指标数据。
具体地，在不同业务场景下，构造不同的样本对，以单次输入样本对，对其中的各样本特征进行同样的深度特征转换，得到样本线性特征向量和至少两个样本深度特征向量，进而进行特征融合，以得到各样本特征各自的样本融合特征，以作为深度特征表示。这里的样本抽取可以为随机抽取或者是有放回的随机抽取。具体地，可以生成样本对的样本对标签，若样本对中两样本特征的样本标签相同，则标记为同质样本对，可以设置标签值为1，若样本对中两样本特征的样本标签不同，则标记为异质样本对，可以设置标签值为0。
进一步地，步骤S307可以包括：
S501：基于样本对中各样本特征的预测指标数据确定第一对比损失；
S503：基于样本对中各样本特征的预测指标数据、样本对对应的样本增强对中各样本增强特征的预测指标数据和样本标签确定分类预测损失；
S505：基于第一对比损失和分类预测损失生成业务场景的预设分类网络对应的模型损失。
具体地，第一对比损失用于表征同一样本对对应的两个样本融合特征间的相似性，第一对比损失可以结合样本对标签通过交叉熵损失计算得到，若样本对为同质样本对，则训练期望为减少两预测指标数据间的差异，反之，训练期望为提升两预测指标数据间的差异。分类预测损失是基于样本对的每一样本特征的预测指标数据和样本标签分别计算，进而融合第一对比损失和分类预测损失，得到模型损失。这里的融合可以为加和或加权加和等。
相应地，步骤S309可以包括：基于模型损失调整预设神经网络和各预设分类网络的网络参数，进行网络迭代训练，训练目标为降低样本对中样本特征的预测指标数据与相应样本标签间的差异，以及拉进同质样本对对应的两样本融合特征间的相似性，和拉远异质样本对对应的两样本融合特征间的相似性，至满足训练结束条件，得到预训练特征提取网络和目标分类网络。其中，同质样本对是指其中的两样本特征对应的样本标签相同，异质样本对是指其中的两样本特征对应的样本标签不同。
如此，基于样本对进行两两样本特征的指标对比，作为分类损失的补充，可以充分训练预设神经网络的特征表示，提升特征提取效果和相应的各预设分类网络的分类识别效果，协同提高后续任务应用中的预测准确性。
另一些实施例中，基于对比学习方法结合样本增强进行神经网络训练(预训练V3)，网络模型的训练框架可以如图9所示，构建预设神经网络的双孪生网络，以通过两组参数共享的包括两个预设神经网络的模块，分别对样本对中的样本特征和样本增强对中的样本增强特征进行特征提取。并在多个业务场景各自的预设分类网络与预设神经网络间，增加全连接网络等，该全连接网络可以例如为FFN(Feed Forward Networks，多层前馈神经网络)等，相应地，上述步骤S303可以包括：
S601：对每一业务场景对应的各样本特征进行样本抽取，得到业务场景对应的样本对；
S603：对样本对中的至少一个样本特征进行数据增强变换，得到样本对对应的样本增强对；
S605：将每一业务场景对应的样本对和样本增强对输入预设神经网络进行多维特征提取，分别得到样本对中各样本特征的样本线性特征向量和至少两个样本深度特征向量，以及样本增强对中各样本增强特征的样本线性特征向量和至少两个样本深度特征向量。
具体地，数据增强变换可以包括为随机遮掩增强，一种情况下，可以对样本特征中的各特征值进行随机抽取，并将抽取的一个或多个特征值替换为默认值，以得到样本增强特征。或者，可以以特征组为单元，利用特征相关性，对样本特征中的各特征值进行随机抽取，将抽取到的特征值对应的特征组进行特征遮掩，实现相关特征遮掩，或者将抽取到的特征值的相关特征组以外的非相关特征组进行特征遮掩，以得到样本增强特征。在同一样本增强对中，可以采用相同的数据增强变换方法进行增强处理，如均采用上述的第一种方式，或者可以采用不同的数据增强变换方法，如对同一样本特征，基于上述的两种数据增强变换方法分别进行特征增强，得到两个样本增强特征。
可以理解的，相较于前述的对比学习训练框架(参考图8)，基于图8中示例的训练框架增加了增强训练模块(图中右侧部分)。
具体地，在不同业务场景下，构造不同的样本对，并针对每一样本对中的任一样本特征或者两个样本特征，进行数据增强变换，得到至少一个样本增强对，每一样本增强对中包括同一样本特征对应的两个样本增强特征。这里的样本抽取可以为随机抽取或者是有放回的随机抽取。具体地，可以生成样本对的样本对标签，以及样本增强对的增强对标签，样本对标签与前述类似，不做赘述。样本增强对为同一样本特征的增强对，因此，增强对标签均为1。
步骤S305可以包括：基于每一业务场景对应的预设分类网络，对业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量，以及业务场景对应的样本增强特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到样本对对应的预测指标数据和样本增强特征对对应的预测指标数据。
具体地，将样本对中每一样本特征的样本线性特征向量和至少两个样本深度特征向量进行特征融合，得到每一样本特征对应的样本融合特征，将样本增强对中每一样本增强特征的样本线性特征向量和至少两个样本深度特征向量进行特征融合，得到每一样本增强特征对应的样本增强融合特征。调用预设分类网络，对该预设分类网络对应的业务场景的样本对和样本增强对，分别进行针对样本融合特征的分类预测和样本增强融合特征的分类预测，得到样本对中每一样本特征的预测指标数据和样本增强特征对中每一样本增强特征的预测指标数据。
进一步地，步骤S307可以包括：
S701：基于样本对中各样本特征的预测指标数据、以及样本对对应的样本增强对中各样本增强特征的预测指标数据确定第二对比损失；
第二对比损失基于样本对对比损失和增强对对比损失生成，基于样本对中两样本特征的预测指标数据、样本对标签进行对比损失计算，得到样本对对比损失，基于样本增强对中两样本增强特征的预测指标数据、增强对标签进行对比损失计算，得到增强对对比损失，进而基于样本对对比损失和增强对对比损失进行损失融合，得到第二对比损失。
S703：基于样本对中各样本特征的预测指标数据、样本对对应的样本增强对中各样本增强特征的预测指标数据和样本标签确定分类预测损失；
分类预测损失基于样本对分类损失和增强对分类损失生成，基于样本对中两样本特征的预测指标数据和相应的样本标签进行分类损失计算，得到样本对分类损失，基于样本增强对中两样本增强特征的预测指标数据和相应的分类标签进行分类损失计算，得到增强对分类损失，进而基于样本对分类损失和增强对分类损失进行损失融合，得到分类预测损失。
S705：基于第二对比损失和分类预测损失生成业务场景的预设分类网络对应的模型损失。
对第二对比损失和分类预测损失进行融合计算，得到模型损失。
相应地，步骤S309可以包括：基于模型损失调整预设神经网络和各预设分类网络的网络参数，进行网络迭代训练，训练目标为降低样本对中样本特征的预测指标数据与相应样本标签间的差异，和样本增强对中样本增强特征的预测指标数据与相应样本标签间的差异，以及拉进同质样本对对应的两样本融合特征间的相似性，拉远异质样本对对应的两样本融合特征间的相似性，和拉进样本增强对对应的两样本融合特征间的相似性，至满足训练结束条件，得到预训练特征提取网络和目标分类网络。
如此，基于样本对进行两两样本特征的指标对比，以及通过样本增强得到增强对，以进行增强样本的对比训练，作为分类损失的补充，进一步提高预设神经网络的特征表示训练的充分性和特征表达准确性，进而提升特征提取网络和分类网络的训练效果，协同提高后续任务应用中的预测准确性。
可以理解的，前述预设神经网络和多个预设分类网络训练过程中涉及的多个业务场景可能包括当前任务应用的目标业务场景，也可能不包括。一些实施例中，两种情况下均采用得到的预训练特征提取网络作为提取器，结合目标业务场景对应的预设分类网络进行分类预测。另一些实施例中，在多个业务场景不包括目标业务场景，即为新建业务场景的情况下，还需结合目标业务场景的样本数据对预训练特征提取网络进行微调，相应地，在前述步骤S309后，方法还包括：
S311：获取目标业务场景对应的多个样本对象的样本特征、样本标签和预设分类网络；
S313：以目标业务场景对应的样本特征作为预训练特征提取网络的输入，以样本标签作为目标业务场景对应的预设分类网络的期望输出，对预训练特征提取网络和目标业务场景对应的预设分类网络进行业务指标预测的约束训练，得到更新的预训练特征提取网络和目标业务场景对应的目标分类网络。
具体地，基于目标业务场景对应的历史场景数据进行特征生产，得到目标业务场景对应的样本特征和样本标签，并构建目标业务场景对应的预设分类网络。以预训练特征提取网络作为特征提取器，以预设分类网络作为分类器，进行网络训练，训练方法可以采用前文的任一方式。在训练过程中，预训练特征提取网络可以参数固定，仅更新预设分类网络，则更新的预训练特征提取网络与前述的预训练特征提取网络相同；或者，对目标业务场景的预训练特征提取网络和预设分类网络进行同时更新，以实现联合训练。
相应地，前述S201可以为，将对象特征、实体特征和关联特征输入上述更新的预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量。
如此，针对新建业务场景的任务应用，结合历史数据实现预训练特征提取网络和/或分类网络的微调，提升整体网络与目标业务场景的适配度，提升预测准确性。
现有的预训练方案主要应用于自然语言处理和语音处理等任务中，在自然语言处理中，以Word2Vec、FastText等模型为代表，这阶段的词嵌入方式一般采用浅层模型，虽然大幅提升了单词的语义表示能力，但无法解决一词多义的问题。例如Word2Vec模型生成的词嵌入就是一个固定的向量，不会随着上下文的改变而变化，属于词的静态表示。后续引入文本预训练模型，基于大量文本内容进行预训练，通常采用深层模型来实现，综合了词的上下文信息，提升语义精准性，经典的文本预训练模型如BERT(Bidirectional EncoderRepresentations from Transformers，基于编译器的双向编码表示)等。在语音处理中，基于大量语音进行预训练，对原始语音波形进行变换，进行自监督预训练，得到对应的语音预训练表示，如wav2vec2.0等。基于这些预训练表示，可以应用于如语音识别、文本分类、自动问答等下游任务。但上述预训练方式主要基于文本或语音的原始输入进行预训练，均为转换后的文本或者音频特征，在本申请的业务场景中，涉及的特征均为结构化特征，由多维可解释的特征值构成，每一个特征都有一个类似词表的取值范围，采用现有的预训练模型无法实现其场景应用，本申请针对业务场景和相应的结构化特征特点，基于大量不同业务场景的历史场景数据进行多场景特征生产，并构建合理的模型结构和训练框架，充分学习历史上样本对象的特征和指标关联信息，实现适配于结构化特征提取和预测的神经网络，无需针对每一业务场景进行独立的模型训练，提高任务执行效率，降低综合资源消耗。
本申请结合多个业务场景进行方法有效性验证，采用AUC进行指标评估，结果如下表所示，由结果可知，预训练特征提取网络生成的特征表示较原始的样本特征表示具有一定效果提升，预训练V3所得到的预训练特征提取网络的效果最好。
业务场景1 业务场景2
样本特征 0.5 0.52
预训练V1 0.51 0.58
预训练V2 0.53 0.6
预训练V3 0.54 0.6
本申请实施例还提供了一种业务指标预测装置800，如图10所示，图10示出了本申请实施例提供的一种业务指标预测装置的结构示意图，装置可以包括下述模块。
获取模块10：用于获取业务对象的对象特征、目标业务实体的实体特征、以及业务对象与目标业务实体间的关联特征，对象特征、实体特征和关联特征为结构化特征；
特征提取模块20：用于将对象特征、实体特征和关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量；
分类预测模块30：用于基于线性特征向量和至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果，指标分类预测结果用于指示业务对象针对目标业务实体执行预设操作的可能性；
预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合多个业务场景各自对应的样本特征和样本标签，对预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，样本特征包括样本对象特征、样本实体特征和样本关联特征。
一些实施例中，预训练特征提取网络包括线性神经网络和至少两个深度网络，特征提取模块20可以包括：
拼接子模块：用于将对象特征、实体特征和关联特征进行特征拼接，得到拼接特征；
线性提取子模块：用于将拼接特征输入线性神经网络进行线性特征提取，得到线性特征向量；
深度提取子模块：用于将拼接特征分别输入至少两个深度网络中的每一深度网络进行深度特征提取，得到至少两个深度网络各自输出的深度特征。
一些实施例中，分类预测模块30可以包括：
特征融合子模块：用于将线性特征向量和至少两个深度特征向量进行特征融合，得到目标融合特征；
分类预测子模块：用于将目标融合特征输入目标业务实体所属目标业务场景所对应的目标分类网络进行业务指标分类预测，得到指标分类预测结果。
一些实施例中，获取模块10可以包括：
数据获取子模块：用于获取业务对象的对象属性数据、目标业务实体的实体属性数据、以及业务对象与目标业务实体间的历史交互数据；
关联分析子模块：用于基于对象属性数据和实体属性数据进行业务对象和目标业务实体间的关联分析，得到关联数据；
第一特征处理子模块：用于分别对对象属性数据和实体属性数据进行特征处理，得到对象特征和实体特征；
第二特征处理子模块：用于分别对历史交互数据和关联数据进行特征处理，得到关联特征。
一些实施例中，装置还包括：
样本获取模块：用于获取样本训练集，样本训练集包括多个业务场景各自对应的多个样本对象的样本特征和样本标签，样本标签用于表征样本对象针对业务场景下的样本业务实体执行预设操作的指标真值；
样本特征提取模块：用于将多个样本对象的样本特征输入预设神经网络进行多维特征提取，得到样本特征的样本线性特征向量和至少两个样本深度特征向量；
样本预测模块：用于基于多个业务场景中每一业务场景对应的预设分类网络，对业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到样本对对应的预测指标数据；
损失确定模块：用于基于预测指标数据和样本标签，确定多个业务场景各自的预设分类网络对应的模型损失；
训练模块：用于基于模型损失训练预设神经网络和各预设分类网络，得到预训练特征提取网络和多个业务场景各自对应的目标分类网络。
一些实施例中，样本特征提取模块可以包括：
第一样本抽取子模块：用于对每一业务场景对应的各样本特征进行样本抽取，得到业务场景对应的样本对；
第一样本提取子模块：用于将业务场景对应的样本对输入预设神经网络进行多维特征提取，分别得到样本对中各样本特征的样本线性特征向量和至少两个样本深度特征向量。
一些实施例中，损失确定模块可以包括：
第一对比损失子模块：用于基于样本对中各样本特征的预测指标数据确定第一对比损失；
第一分类损失子模块：用于基于样本对中各样本特征的预测指标数据、样本对对应的样本增强对中各样本增强特征的预测指标数据和样本标签确定分类预测损失；
第一模型生成子模块：用于基于第一对比损失和分类预测损失生成业务场景的预设分类网络对应的模型损失。
一些实施例中，样本特征提取模块可以包括：
第二样本抽取子模块：用于对每一业务场景对应的各样本特征进行样本抽取，得到业务场景对应的样本对；
数据增强子模块：用于对样本对中的至少一个样本特征进行数据增强变换，得到样本对对应的样本增强对；
第二样本提取子模块：用于将每一业务场景对应的样本对和样本增强对输入预设神经网络进行多维特征提取，分别得到样本对中各样本特征的样本线性特征向量和至少两个样本深度特征向量，以及样本增强对中各样本增强特征的样本线性特征向量和至少两个样本深度特征向量。
一些实施例中，样本预测模块可以具体用于：基于每一业务场景对应的预设分类网络，对业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量，以及业务场景对应的样本增强特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到样本对对应的预测指标数据和样本增强特征对对应的预测指标数据。
一些实施例中，损失确定模块可以包括：
第二对比损失子模块：用于基于样本对中各样本特征的预测指标数据、以及样本对对应的样本增强对中各样本增强特征的预测指标数据确定第二对比损失；
第二分类损失子模块：用于基于样本对中各样本特征的预测指标数据、样本对对应的样本增强对中各样本增强特征的预测指标数据和样本标签确定分类预测损失；
第二损失生成子模块：用于基于第二对比损失和分类预测损失生成业务场景的预设分类网络对应的模型损失。
一些实施例中，装置还包括：
目标样本获取模块：用于若多个业务场景不包括目标业务场景，在基于模型损失训练预设神经网络和各预设分类网络，得到预训练特征提取网络和多个业务场景各自对应的目标分类网络之后，获取目标业务场景对应的多个样本对象的样本特征、样本标签和预设分类网络；
微调训练模块：用于以目标业务场景对应的样本特征作为预训练特征提取网络的输入，以样本标签作为目标业务场景对应的预设分类网络的期望输出，对预训练特征提取网络和目标业务场景对应的预设分类网络进行业务指标预测的约束训练，得到更新的预训练特征提取网络和目标业务场景对应的目标分类网络。
需要说明的是，上述装置实施例与方法实施例基于相同的实施方式。
本申请实施例提供了一种业务指标预测设备，该调度设备可以为终端或服务器，包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的业务指标预测方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及业务指标预测方法。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图11是本申请实施例提供的一种业务指标预测方法或业务指标预测方法的电子设备的硬件结构框图。如图11所示，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central ProcessingUnits，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备900还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质，存储介质可设置于电子设备之中以保存用于实现方法实施例中一种业务指标预测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的业务指标预测方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
由上述本申请提供的业务指标预测方法、装置、设备、服务器、终端、存储介质和程序产品的实施例可见，本申请的技术方案首先获取业务对象的对象特征、目标业务实体的实体特征、以及业务对象与目标业务实体间的关联特征，对象特征、实体特征和关联特征为结构化特征，结合对象特征信息、实体特征信息，以及二者间的交联特征实现多维度信息表达，进而提高用于预测的特征向量的信息表达全面性和有效性；然后，将对象特征、实体特征和关联特征输入预训练特征提取网络进行多维特征提取，以得到不同信息维度的线性特征向量和至少两个深度特征向量，进而进行业务指标分类预测，得到指标分类预测结果，能够丰富用于预测的特征向量信息维度，并有利于上述不同特征间的信息交互，提高最终特征向量的信息表达准确性，进而优化模型预测效果，并且采用预训练网络进行特征提取，能够泛化应用至各种不同的指标预测任务，实现特征提取网络共享，无需针对每一业务场景进行单独的特征提取网络训练，降低多场景任务的资源消耗和时间成本，同时降低样本构建难度。此外，该预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合多个业务场景各自对应的样本特征和样本标签，对预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，使得预训练网络具备多场景特征提取能力和泛化性能，同时保持分类网络的场景特异性，优化网络模型学习效果和应用效果。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种业务指标预测方法，其特征在于，所述方法包括：
获取业务对象的对象特征、目标业务实体的实体特征、以及所述业务对象与所述目标业务实体间的关联特征，所述对象特征、所述实体特征和所述关联特征为结构化特征；
将所述对象特征、所述实体特征和所述关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量；
基于所述线性特征向量和所述至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果，所述指标分类预测结果用于指示所述业务对象针对所述目标业务实体执行预设操作的可能性；
所述预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合所述多个业务场景各自对应的样本特征和样本标签，对所述预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，所述样本特征包括样本对象特征、样本实体特征和样本关联特征。
2.根据权利要求1所述的方法，其特征在于，所述预训练特征提取网络包括线性神经网络和至少两个深度网络，所述将所述对象特征、所述实体特征和所述关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量包括：
将所述对象特征、所述实体特征和所述关联特征进行特征拼接，得到拼接特征；
将所述拼接特征输入所述线性神经网络进行线性特征提取，得到所述线性特征向量；
将所述拼接特征分别输入所述至少两个深度网络中的每一深度网络进行深度特征提取，得到所述至少两个深度网络各自输出的深度特征。
3.根据权利要求1所述的方法，其特征在于，所述基于所述线性特征向量和所述至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果包括：
将所述线性特征向量和所述至少两个深度特征向量进行特征融合，得到目标融合特征；
将所述目标融合特征输入所述目标业务实体所属目标业务场景所对应的目标分类网络进行业务指标分类预测，得到所述指标分类预测结果。
4.根据权利要求1所述的方法，其特征在于，所述获取业务对象的对象特征、目标业务实体的实体特征、以及所述业务对象与所述目标业务实体间的关联特征包括：
获取业务对象的对象属性数据、所述目标业务实体的实体属性数据、以及所述业务对象与所述目标业务实体间的历史交互数据；
基于所述对象属性数据和所述实体属性数据进行所述业务对象和所述目标业务实体间的关联分析，得到关联数据；
分别对所述对象属性数据和所述实体属性数据进行特征处理，得到所述对象特征和所述实体特征；
分别对所述历史交互数据和所述关联数据进行特征处理，得到所述关联特征。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
获取样本训练集，所述样本训练集包括多个业务场景各自对应的多个样本对象的样本特征和样本标签，所述样本标签用于表征所述样本对象针对所述业务场景下的样本业务实体执行所述预设操作的指标真值；
将所述多个样本对象的样本特征输入所述预设神经网络进行多维特征提取，得到所述样本特征的样本线性特征向量和至少两个样本深度特征向量；
基于所述多个业务场景中每一业务场景对应的预设分类网络，对所述业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到所述样本对对应的预测指标数据；
基于所述预测指标数据和所述样本标签，确定所述多个业务场景各自的预设分类网络对应的模型损失；
基于所述模型损失训练所述预设神经网络和各预设分类网络，得到所述预训练特征提取网络和所述多个业务场景各自对应的目标分类网络。
6.根据权利要求5所述的方法，其特征在于，所述将所述多个样本对象的样本特征输入所述预设神经网络进行多维特征提取，得到所述样本特征的样本线性特征向量和至少两个样本深度特征向量包括：
对每一业务场景对应的各样本特征进行样本抽取，得到所述业务场景对应的样本对；
将所述业务场景对应的样本对输入所述预设神经网络进行多维特征提取，分别得到所述样本对中各样本特征的样本线性特征向量和至少两个样本深度特征向量。
7.根据权利要求6所述的方法，其特征在于，所述基于所述预测指标数据和所述样本标签，确定所述多个业务场景各自的预设分类网络对应的模型损失包括：
基于所述样本对中各样本特征的预测指标数据确定第一对比损失；
基于所述样本对中各样本特征的预测指标数据、所述样本对对应的样本增强对中各样本增强特征的预测指标数据和所述样本标签确定分类预测损失；
基于所述第一对比损失和所述分类预测损失生成所述业务场景的预设分类网络对应的模型损失。
8.根据权利要求5所述的方法，其特征在于，所述将所述多个样本对象的样本特征输入所述预设神经网络进行多维特征提取，得到所述样本特征的样本线性特征向量和至少两个样本深度特征向量包括：
对每一业务场景对应的各样本特征进行样本抽取，得到所述业务场景对应的样本对；
对所述样本对中的至少一个样本特征进行数据增强变换，得到所述样本对对应的样本增强对；
将每一业务场景对应的样本对和样本增强对输入所述预设神经网络进行多维特征提取，分别得到所述样本对中各样本特征的样本线性特征向量和至少两个样本深度特征向量，以及所述样本增强对中各样本增强特征的样本线性特征向量和至少两个样本深度特征向量。
9.根据权利要求8所述的方法，其特征在于，所述基于所述多个业务场景中每一业务场景对应的预设分类网络，对所述业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到所述样本对对应的预测指标数据包括：
基于每一业务场景对应的预设分类网络，对所述业务场景对应的样本特征的样本线性特征向量和至少两个样本深度特征向量，以及所述业务场景对应的样本增强特征的样本线性特征向量和至少两个样本深度特征向量进行分类预测，得到所述样本对对应的预测指标数据和所述样本增强特征对对应的预测指标数据。
10.根据权利要求9所述的方法，其特征在于，所述基于所述预测指标数据和所述样本标签，确定所述多个业务场景各自的预设分类网络对应的模型损失包括：
基于所述样本对中各样本特征的预测指标数据、以及所述样本对对应的样本增强对中各样本增强特征的预测指标数据确定第二对比损失；
基于所述样本对中各样本特征的预测指标数据、所述样本对对应的样本增强对中各样本增强特征的预测指标数据和所述样本标签确定分类预测损失；
基于所述第二对比损失和所述分类预测损失生成所述业务场景的预设分类网络对应的模型损失。
11.根据权利要求5所述的方法，其特征在于，若所述多个业务场景不包括目标业务场景，在所述基于所述模型损失训练所述预设神经网络和各预设分类网络，得到所述预训练特征提取网络和所述多个业务场景各自对应的目标分类网络之后，所述方法还包括：
获取目标业务场景对应的多个样本对象的样本特征、样本标签和预设分类网络；
以所述目标业务场景对应的样本特征作为所述预训练特征提取网络的输入，以所述样本标签作为所述目标业务场景对应的预设分类网络的期望输出，对所述预训练特征提取网络和所述目标业务场景对应的预设分类网络进行业务指标预测的约束训练，得到更新的预训练特征提取网络和所述目标业务场景对应的目标分类网络。
12.一种业务指标预测装置，其特征在于，所述装置包括：
获取模块：用于获取业务对象的对象特征、目标业务实体的实体特征、以及所述业务对象与所述目标业务实体间的关联特征，所述对象特征、所述实体特征和所述关联特征为结构化特征；
特征提取模块：用于将所述对象特征、所述实体特征和所述关联特征输入预训练特征提取网络进行多维特征提取，得到线性特征向量和至少两个深度特征向量；
分类预测模块：用于基于所述线性特征向量和所述至少两个深度特征向量进行业务指标分类预测，得到指标分类预测结果，所述指标分类预测结果用于指示所述业务对象针对所述目标业务实体执行预设操作的可能性；
所述预训练特征提取网络是以预设神经网络作为多个业务场景各自对应的预设分类网络的特征提取器，结合所述多个业务场景各自对应的样本特征和样本标签，对所述预设神经网络和各预设分类网络进行业务场景对应的业务指标预测的约束训练得到的，所述样本特征包括样本对象特征、样本实体特征和样本关联特征。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-11中任一项所述的业务指标预测方法。
14.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-11中任一项所述的业务指标预测方法。
CN202310145231.0A 2023-02-07 2023-02-07 业务指标预测方法、装置、设备和存储介质 Pending CN116957128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310145231.0A CN116957128A (zh) 2023-02-07 2023-02-07 业务指标预测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310145231.0A CN116957128A (zh) 2023-02-07 2023-02-07 业务指标预测方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116957128A true CN116957128A (zh) 2023-10-27

Family

ID=88450056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310145231.0A Pending CN116957128A (zh) 2023-02-07 2023-02-07 业务指标预测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116957128A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117172627A (zh) * 2023-11-03 2023-12-05 腾讯科技（深圳）有限公司 一种业务执行方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117172627A (zh) * 2023-11-03 2023-12-05 腾讯科技（深圳）有限公司 一种业务执行方法、装置、设备及存储介质
CN117172627B (zh) * 2023-11-03 2024-02-27 腾讯科技（深圳）有限公司 一种业务执行方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Qi et al. Finding all you need: web APIs recommendation in web of things through keywords search
CN111008332B (zh) 内容项推荐方法、装置、服务器以及存储介质
CN112988979B (zh) 实体识别方法、装置、计算机可读介质及电子设备
CN111353033B (zh) 一种训练文本相似度模型的方法和系统
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN113254711B (zh) 一种互动图像的显示方法、装置、计算机设备和存储介质
CN110222838B (zh) 文档排序方法、装置、电子设备及存储介质
CN112084307A (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN114358109A (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
CN115131698A (zh) 视频属性确定方法、装置、设备及存储介质
CN112131261A (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN116957128A (zh) 业务指标预测方法、装置、设备和存储介质
CN114330704A (zh) 语句生成模型更新方法、装置、计算机设备和存储介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN111615178B (zh) 识别无线网络类型及模型训练的方法、装置及电子设备
CN112417260B (zh) 本地化推荐方法、装置及存储介质
CN114022233A (zh) 一种新型的商品推荐方法
Liu POI recommendation model using multi-head attention in location-based social network big data
CN116955836B (zh) 推荐方法、装置、设备、计算机可读存储介质及程序产品
Zhang et al. Personalized Recommendation Method of Online Education Resources for Tourism Majors Based on Machine Learning
CN114298118B (zh) 一种基于深度学习的数据处理方法、相关设备及存储介质
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
CN117636141A (zh) 多目标预测方法、装置、设备和介质
Thonglek et al. Automated quantization and retraining for neural network models without labeled data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication