CN112396477B - 业务预测模型的构建方法及装置 - Google Patents

业务预测模型的构建方法及装置 Download PDF

Info

Publication number
CN112396477B
CN112396477B CN202011594832.2A CN202011594832A CN112396477B CN 112396477 B CN112396477 B CN 112396477B CN 202011594832 A CN202011594832 A CN 202011594832A CN 112396477 B CN112396477 B CN 112396477B
Authority
CN
China
Prior art keywords
current
logic structure
edge
nodes
calculation logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011594832.2A
Other languages
English (en)
Other versions
CN112396477A (zh
Inventor
陈超超
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011594832.2A priority Critical patent/CN112396477B/zh
Publication of CN112396477A publication Critical patent/CN112396477A/zh
Application granted granted Critical
Publication of CN112396477B publication Critical patent/CN112396477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种业务预测模型的构建方法及装置，在构建方法中，包括多轮迭代，其中的第t轮迭代可以包括：获取当前计算逻辑结构。根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。将用于训练业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。目标计算逻辑结构中任意两个节点之间至多通过一条边连接。基于目标计算逻辑结构，构建业务预测模型。

Description

业务预测模型的构建方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种业务预测模型的构建方法及装置。
背景技术
机器学习是人工智能的一个分支，机器学习的目的是让机器根据先验的知识进行学习，从而具有分类和判断的逻辑能力。以神经网络为代表的机器学习模型不断发展，被越来越多地应用到各个行业中。然而，相关技术中神经网络的设计需要结合专家经验，并进行大量的参数调试实验，整个设计过程需要依赖人工完成，耗时耗力。
发明内容
本说明书一个或多个实施例描述了一种业务预测模型的构建方法及装置，可以自动构建得到精度和效率同时满足要求的业务预测模型。
第一方面，提供了一种业务预测模型的构建方法，包括：
获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度；
根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
基于所述目标计算逻辑结构，构建业务预测模型。
第二方面，提供了一种基于隐私保护的业务预测模型的构建方法，包括：
获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定；
根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
基于所述目标计算逻辑结构，构建业务预测模型。
第三方面，提供了一种业务预测模型的构建装置，包括：
执行单元，用于进行多轮迭代；所述执行单元通过其包括的以下模块执行其中任意的第t轮迭代：
获取模块，用于获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度；
计算模块，用于根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
更新模块，用于将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
确定单元，用于至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
构建单元，用于基于所述目标计算逻辑结构，构建业务预测模型。
第四方面，提供一种基于隐私保护的业务预测模型的构建装置，包括：
执行单元，用于进行多轮迭代；所述执行单元通过其包括的以下模块执行其中任意的第t轮迭代：
获取模块，用于获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定；
计算模块，用于根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
更新模块，用于将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
确定单元，用于至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
构建单元，用于基于所述目标计算逻辑结构，构建业务预测模型。
第五方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
本说明书一个或多个实施例提供的业务预测模型的构建方法及装置，至少以最小化当前计算逻辑结构的结构复杂度为目标，对当前计算逻辑结构进行多轮迭代更新，以得到目标计算逻辑结构。之后基于目标计算逻辑结构构建业务预测模型。也就是说，通过本说明书实施例提供的方案，所搜索得到的目标计算逻辑结构具有最小的结构复杂度，由此可以降低基于其所构建得到的业务预测模型的复杂程度，进而可以提升业务预测模型的运行效率。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的业务预测模型的构建方法示意图；
图2为本说明书一个实施例提供的业务预测模型的构建方法流程图；
图3为本说明书提供的当前计算逻辑结构示意图；
图4为本说明书提供的结构参数示意图；
图5为本说明书提供的目标计算逻辑结构示意图；
图6为本说明书提供的基于隐私保护的业务预测模型的构建方法流程图；
图7为本说明书提供的图像识别模型的构建方法流程图；
图8为本说明书一个实施例提供的业务预测模型的构建装置示意图；
图9为本说明书提供的基于隐私保护的业务预测模型的构建装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
在描述本说明书实施例提供的方案之前，先对本方案的发明构思作以下说明。
如前所述，在通过人工的方式构建神经网络时通常耗时耗力，为此，目前采用神经结构搜索（Neural Architecture Search，NAS）技术，来自动构建业务预测模型。该业务预测模型用于针对业务对象进行业务预测。这里的NAS技术可以通过算法根据样本集自动设计出高性能的网络结构，在某些任务上甚至可以媲美人类专家的水准，甚至发现某些人类之前未曾提出的网络结构，这可以有效的降低业务预测模型的使用和实现成本。
其中以DARTS（Differentiable Architecture Search）算法最为流行。DARTS算法是一种高效的结构搜索方法，它不去搜索离散的候选结构，而是让搜索空间变为连续的，这样可以通过梯度下降根据验证集的性能优化网络结构。基于梯度的优化算法，相较于低效的黑盒搜索，让DARTS算法可以匹敌当前顶尖的性能，同时计算少了几个量级。
需要说明的是，现有的DARTS算法通常以模型的精度为目标，来搜索网络结构。然而在部分场景下，比如在隐私保护的场景下，不同的网络结构使用安全计算技术实现的效率不同，如非线性的结构使用安全计算技术（如多方安全计算（Secure Multi-PartyComputation，MPC）和（同态加密（Homomorphic Encryption，HE））效率很低，因此，在设计构建业务预测模型时，不仅要考虑模型的精度，还需要考虑模型的结构。
为此，本申请提出，在自动构建业务预测模型的过程中，将模型的结构复杂度也作为一个优化目标，以便可以构建得到精度和效率同时满足要求的业务预测模型。
具体地，该方案包括多轮迭代，其中的第t轮迭代可以包括：获取当前计算逻辑结构。该当前计算逻辑结构包括多个节点，该多个节点中至少部分节点之间通过多条边连接。其中的每条边代表一种备选的基础运算并对应于该基础运算的当前备选概率。该基础运算具有对应的计算复杂度。根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。将用于训练业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。目标计算逻辑结构中任意两个节点之间至多通过一条边连接。基于目标计算逻辑结构，构建业务预测模型。
总之，本说明书实施例提供的方案，至少以最小化当前计算逻辑结构的结构复杂度为目标，对当前计算逻辑结构进行多轮迭代更新，以得到目标计算逻辑结构。之后基于目标计算逻辑结构构建业务预测模型。也就是说，通过本说明书实施例提供的方案，所搜索得到的目标计算逻辑结构具有最小的结构复杂度，由此可以降低基于其所构建得到的业务预测模型的复杂程度，进而可以提升业务预测模型的运行效率。
以上就是本说明书实施例提供的发明构思，基于该发明构思就可以得到本方案，以下对本方案进行详细说明。
图1为本说明书提供的业务预测模型的构建方法示意图。图1中，可以先获取初始计算逻辑结构。该初始计算逻辑结构可以包括多个节点，该多个节点中至少部分节点之间通过多条边连接。之后，可以针对该初始计算逻辑结构进行多轮迭代更新。以及，基于多轮迭代更新后得到的当前计算逻辑结构，确定目标计算逻辑结构。该目标计算逻辑结构中任意两个节点之间至多通过一条边连接。最后，基于目标计算逻辑结构构建业务预测模型。
为便于理解，先对上述方法的实际应用场景进行介绍。
在一个示例性场景中，上述业务对象和业务预测可以分别为图像和图像识别。相应地，用于对图像进行图像识别的业务预测模型可称为图像识别模型。该图像识别模型可以是基于历史图像识别业务中采集的图像而训练得到。
在另一个示例性场景中，上述业务对象和业务预测可以分别为用户和人脸识别。相应地，用于对用户进行人脸识别的业务预测模型可称为人脸识别模型。该人脸识别模型（图像识别模型的一种）可以是基于历史刷脸业务中采集的人脸数据而训练得到。这里的人脸数据可以包括拍摄的人脸图片和对应用户的身份标识（如手机号或系统分配的唯一编号）。
在再一个示例性场景中，上述业务对象可以包括用户和商品，上述业务预测可以为商品推荐，也就是判断是否向某用户推荐某商品。相应地，用于进行商品推荐的业务预测模型可以称为商品推荐模型。该商品推荐模型可以是基于用户对网站或应用App的操作行为数据训练得到。这里的操作行为数据可以包括浏览、点击或者关闭等。
在又一个示例性场景中，上述业务对象可以包括登录事件，上述业务预测可以为事件风险识别，也就是判断某个登录事件是否存在风险。相应地，用于识别事件风险的业务预测模型可以称为事件风险识别模型。该事件风险识别模型可以基于用户的登录行为数据训练得到。这里的登录行为数据可以包括登录时刻、登录耗时、是否登录成功等。
在还一个示例性场景中，上述业务对象和业务预测可以分别为商户和商户经营风险评估。相应地，用于评估商户经营风险的业务预测模型可以称为商户风险评估模型。该商户风险评估模型可以基于交易信息训练得到。这里的交易信息可以包括交易方、交易时间、交易金额、交易网络环境、交易商品信息等。
需要理解，以上场景仅作为示例，实际上，上述业务对象还可以包括访问事件等其他业务事件等。总的来说，上述业务预测模型可以为分类模型或回归模型，用于预测上述业务对象的分类或回归值。在一个实施例中，上述业务预测模型可以基于神经网络实现。
图2为本说明书一个实施例提供的业务预测模型的构建方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置。如图2所示，所述方法具体可以包括；
步骤S202，获取当前计算逻辑结构。
在本说明书实施例中，这里的步骤S202和下述步骤S204和步骤S206可以是迭代多轮执行的。其中在一轮迭代中，依次执行步骤S202-步骤S206。具体地，在首轮迭代中，上述所获取的当前计算逻辑结构为初始计算逻辑结构。而在非首轮迭代中，上述所获取的当前计算逻辑结构为在上一轮迭代最终更新后的计算逻辑结构。
在一个示例中，上述初始计算逻辑结构可以是基于搜索空间构建得到。这里的搜索空间可以是可微分搜索空间（即DARTS空间）、mobiconv-based空间或者基于mobilenet-V2的空间等。该搜索空间可以包括多种基础运算。这里的基础运算可以包括但不限于以下任一种或者两种以上的组合：卷积运算、池化运算、线性运算、激活运算、置零运算（相应位置所有神经元置零，简称Zero）以及比较运算等。
以卷积运算为例来说，其例如可以为卷积核大小为3×3的分离卷积(sep_conv_3x3)、卷积核大小为5×5的分离卷积(sep_conv_5x5)、卷积核大小为3 ×3且空洞率为2的空洞卷积(dil_conv_3x3)或者卷积核大小为5×5且空洞率为2的空洞卷积(dil_conv_5x5)等。再以池化运算为例来说，其例如可以为池化核大小为3×3的均值池化 (avg_pool_3x3)、池化核大小为3×3的最大值池化(max_pool_3x3)等。
上述基于搜索空间，构建初始计算逻辑结构具体可以包括：首先，可以设定初始计算逻辑结构所包括的节点的数目。此外，还可以设定其中通过多条边连接的至少部分节点，即该至少部分节点中任意的两个节点之间通过多条边连接。之后，针对该至少部分节点中任意的两个节点之间的每条边，可以随机从多种基础运算中选取一种基础运算，并建立该两者之间的对应关系。由此就可以使得初始计算逻辑结构中，至少部分节点中任意两个节点之间的每条边可以代表一种基础运算。
需要说明的是，初始计算逻辑结构中多个节点中的每个节点可以是一种隐含表示，例如，可以为卷积神经网络中的一个特征图。通常情况下，初始计算逻辑结构中所包括的节点的数目越多，所需的计算资源越多，但其输出结果的准确率越高。因此，可以综合考虑计算资源以及准确率两方面的因素，来设定节点的数目。此外，上述任意的两个节点之间的边的数目也可以由人工预先设定。
此外，上述构建初始计算逻辑结构还可以包括：针对上述至少部分节点中任意的两个节点之间的各条边中每条边，还可以初始化对应的备选概率。这里的备选概率可以称为初始计算逻辑结构的结构参数。以及针对上述至少部分节点中任意的两个节点之间的各条边中每条边，还可以初始化对应的备选权重。其可以表示两个节点中前一个节点输出的数据作为后一个节点的输入的权重，具体可以是在进行对应边所代表的基础运算时使用。以当前边对应的基础运算为卷积运算为例来说，该备选权重可以为卷积核的权重。例如，在基础运算为卷积核大小为3×3的分离卷积时，该备选权重为分离卷积3×3的卷积核的权重。再例如，在基础运算为卷积核大小为3×3且空洞率为2的空洞卷积时，该备选权重为空洞卷积3×3的卷积核的权重。这里的备选权重可以称为初始计算逻辑结构的网络参数。
对于初始计算逻辑结构中除上述至少部分节点外的每个节点，其与其它节点至多通过一条边连接。对于该一条边，也可以建立与上述任一种基础运算的对应关系，并初始化对应的备选概率（即为1）以及备选权重。具体的初始化过程同上所述，在此不复赘述。至此，初始计算逻辑结构构建完成。
还需要说明的是，在本说明书中，针对上述多种基础运算中的每种基础运算，可以根据该基础运算在用于隐私保护的多方安全计算中的资源消耗（比如，计算消耗和通信消耗等），预先设定对应的计算复杂度（γ）。比如，针对资源消耗较大的基础运算（比如，卷积运算），可以将其对应的计算复杂度设定为大于阈值的数值；而针对资源消耗较小的基础运算（比如，线性运算），则可以将其对应的计算复杂度设定为小于阈值的数值。
此外，如前所述，当前计算逻辑结构是基于初始计算逻辑结构得到的（比如，在首轮迭代中，直接将初始计算逻辑结构作为当前计算逻辑结构。在非首轮迭代中，当前计算逻辑结构通过对初始计算逻辑结构进行多轮迭代更新得到）。从而上述当前计算逻辑结构可以包括多个节点，多个节点中至少部分节点之间通过多条边连接。其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率（基于初始化的备选概率得到）以及当前备选权重（基于初始化的备选权重得到）。
在一个例子中，在当前计算逻辑结构包括4个节点，且全部的该4个节点中任意的两个节点之间通过3条边连接时，该当前计算逻辑结构可以如图3所示。图3中，每条边代表的基础运算可以为前述各种运算中的任一种，也可以为各种运算中两种以上运算的组合。
在本说明书实施例中，当前计算逻辑结构中连接任意两个节点之间的多条边的当前备选概率之和为1。例如，在图4示出的结构参数示意图中，节点0和节点2之间通过3条边连接。其中第1条边的当前备选概率为0.3，第2条边的当前备选概率为0.4，第3条边的当前备选概率为0.3，3条边的当前备选概率之和为1。从图4可以看出，第2条边的当前备选概率最大，从而节点0和节点2之间采用第2条边代表的基础运算的概率最大。
应理解，图4中，节点0、节点1、节点2以及节点3中，每两个节点之间连接的3条边中每条边的当前备选概率，即为当前计算逻辑结构的结构参数。
步骤S204，根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。
具体地，对于当前计算逻辑结构的上述至少部分节点中任意的两个节点（下文也称一对节点），基于该一对节点之间的各条边的当前备选概率，形成第一向量。以及基于该一对节点之间的各条边各自所代表的基础运算的计算复杂度，形成第二向量。计算第一向量与第二向量之间的点积，得到对应于该一对节点的局部复杂度。类似地，可以得到其它各对节点各自对应的局部复杂度。将对应于各对节点的各局部复杂度进行求和或者加权求和，得到当前计算逻辑结构的结构复杂度。
以图4为例来说，基于节点0和节点2之间的各条边的当前备选概率，可以形成第一向量：[0.3,0.4,0.3]。再假设图4中节点0和节点2之间的各条边各自所代表的基础运算的复杂度分别为：γ1、γ2和γ3。其中，γ1-γ3均为0-1之间的数值。从而可以形成第二向量：[γ1, γ2, γ3]。之后，可以计算第一向量与第二向量之间的点积，从而可以得到对应于节点0和节点2的局部复杂度。
应理解，在针对图3中的其它各对节点，即节点0和节点1，节点0和节点3、节点1和节点2、节点1和节点3以及节点2和节点3均计算对应的局部复杂度之后，可以将各局部复杂度进行求和或者加权求和，得到当前计算逻辑结构的结构复杂度。
步骤S206，将用于训练业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。
在一个示例中，上述第一业务样本可以是从验证集中选取得到。这里的验证集与下述训练集可以针对同一批样本数据划分得到。以待构建的业务预测模型为图像识别模型为例来说，这里的验证集和下述数据集可以针对图像库中的各图像划分得到。
上述根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率具体可以包括：根据当前计算逻辑结构的输出以及结构复杂度，计算第一损失。其中第一损失正相关于结构复杂度。根据第一损失，更新当前计算逻辑结构中各条边的当前备选概率。
需要说明的是，这里的第一损失可以包括第一部分和第二部分，其中第一部分基于当前计算逻辑结构的输出以及第一业务样本的样本标签确定。第二部分基于结构复杂度确定。这里的第一部分与第二部分均与当前计算逻辑结构中各条边的当前备选概率相关。
由于前述步骤S204已经针对结构复杂度（即第一部分）与当前备选概率的相关性进行了说明。以下针对第二部分与当前备选概率的相关性进行说明。
在本说明书实施例中，针对当前计算逻辑结构的上述至少部分节点中任意的两个节点，其中后一节点的输入可以是对前一节点的输出在经过每一条边所得到的多个结果（基于前一节点的输出以及网络参数得到）进行加权求和得到。其中的每个结果的权重即为对应边的当前备选概率。由此，可以看出，当前计算逻辑结构的输出与各条边的当前备选概率相关。也即上述第二部分与当前计算逻辑结构中各条边的当前备选概率相关。
在一个例子中，可以基于如下公式计算第一损失：
Figure 607479DEST_PATH_IMAGE001
（公式1）
这里的Lval可以看作是与当前计算逻辑结构针对第一业务样本的输出、第一业务样本的样本标签、ω以及β相关的函数。其中，ω为当前计算逻辑结构的网络参数（即各条边的当前备选权重），α为当前计算逻辑结构的结构参数（包括各条边的当前备选概率），c为0-1之间的数值，γ为基础运算的计算复杂度，β为与α和γ均相关的参数。
应理解，在将上述公式中等号右侧的关系式展开之后，可以得到：
Figure 890693DEST_PATH_IMAGE002
。这里，
Figure 978735DEST_PATH_IMAGE003
可以理解为是当前计算逻辑结构的结构复杂度。
Figure 449030DEST_PATH_IMAGE004
整体上可以理解为是损失函数L的正则项，用于约束当前计算逻辑结构的网络结构。其中，c决定了正则项的程度。应理解，在上述公式中，损失函数Lval是与结构复杂度正相关的。
需要说明的是，上述是针对当前计算逻辑结构中各条边的当前备选概率的更新的说明，或者说，上述是针对计算逻辑结构的结构参数的更新的说明。在本说明书实施例中，在当前计算逻辑结构的每轮迭代中，除了更新当前计算逻辑结构的结构参数，还可以更新当前计算逻辑结构的网络参数。因此，上述每轮迭代更新还可以包括：
将各条边的当前备选概率更新后的当前计算逻辑结构作为本轮首次更新的当前计算逻辑结构。将用于训练业务预测模型的第二业务样本输入本轮首次更新的当前计算逻辑结构，并根据其输出以及第二业务样本的样本标签，计算第二损失。根据第二损失，更新本轮首次更新的当前计算逻辑结构中各条边的当前备选权重，得到本轮最终更新的当前计算逻辑结构。
在一个示例中，上述第二业务样本可以是从训练集中选取得到。
比如，可以基于如下公式计算第二损失：
Figure 913510DEST_PATH_IMAGE005
（公式2）
这里的Ltrain可以看作是与当前计算逻辑结构针对第二业务样本的输出、第二业务样本的样本标签、ω以及α*相关的函数。其中，ω为当前计算逻辑结构的网络参数（即各条边的当前备选权重），α*为本轮首次更新的当前计算逻辑结构的结构参数（包括各条边的更新的当前备选概率）。
需要说明的是，由于上述两个损失是在同一次迭代中联合使用的，因此也可以将该两个损失进行融合，得到如下的联合损失：
Figure 208487DEST_PATH_IMAGE006
（公式3）
其中，ε为内层优化（即网络参数的优化）的学习率。应理解，在ε等于0时，这里的公式3即为公式1。
从上述公式3可以看出，本说明书实施例通过双层优化的方式来迭代更新当前计算逻辑结构。这里的双层优化包括内层优化（即网络参数的优化）和外层优化（即结构参数的优化）。其中，这里的双层优化的方式具体是指，在每轮迭代中，先固定当前计算逻辑结构的网络参数，优化其结构参数。之后，再固定当前计算逻辑结构的结构参数，优化其网络参数。应理解，在该双层优化结束之后，才进入下一轮迭代。
步骤S208，至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。
这里的目标计算逻辑结构与上述初始计算逻辑结构以及当前计算逻辑结果包括相同的节点数目，且多个节点中任意的两个节点之间至多通过一条边连接。
在一种实现方式中，将当前计算逻辑结构的上述至少部分节点中各节点之间的各条边中，对应于最大当前备选概率的边作为各节点之间的最终的边。根据至少部分节点中各节点之间的最终的边，确定目标计算逻辑结构。应理解，该种实现方式中，确定的目标计算逻辑结构的数目为一个。
以图4为例来说，可以将对应于最大当前备选概率0.4的边，即第2条边作为节点0与节点2之间的最终的边。应理解，这里保留第2条边也可以包含如下含义：将第2条边所代表的基础运算作为节点0与节点2之间的基础运算，且将第2条边对应的当前备选权重作为在进行对应基础运算时所使用的权重等。
需要说明的是，对于目标计算逻辑结构中的各条边，可以只保留各条边各自对应的当前备选权重，以便后续可以将其作为业务预测模型的网络参数，进行业务预测。而对于各条边各自对应的当前备选概率则后续不再使用，即其只在迭代更新当前计算逻辑结构的过程中使用。
再以图3示出的当前计算逻辑结构为例来说，所确定的目标计算逻辑结构可以如图5所示。图5中，目标计算逻辑结构包括4个节点：节点0-节点3，也即目标计算逻辑结构与当前计算逻辑结构所包括的节点的数目相同。此外，在图5中，任意的两个节点之间通过一条边连接。
当然，在实际应用中，也可以通过保留当前计算逻辑结构中，对应于次最大当前备选概率的边，得到其它的目标计算逻辑结构。应理解，在该种方式中，可以确定出多个目标计算逻辑结构。
总之，上述目标计算逻辑结构可以看作是初始计算逻辑结构的子结构。也即本说明书实施例的确定目标计算逻辑结构的过程，也可以看作是在初始计算逻辑结构中搜索结构简单、精度高的子结构的过程。
步骤S210，基于目标计算逻辑结构，构建业务预测模型。
比如，在业务预测模型为神经网络模型时，上述构建步骤可以包括：根据目标计算逻辑结构中的各节点以及各节点之间的边所代表的基础运算，确定神经网络模型所包括的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系。基于确定的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系，得到神经网络模型。应理解，通过该种方式构建的业务预测模型只包括一个目标计算逻辑结构。
在目标计算逻辑结构的数目为多个时，则可以先根据上述方法，针对每个目标计算逻辑结构，确定对应的子模型。之后，将多个子模型进行堆叠或者相互连接，得到最终的业务预测模型。具体地，在业务预测模型为卷积神经网络（Convolutional NeuralNetworks, CNN）模型时，可以通过堆叠多个子模型得到。而在业务预测模型为循环神经网络（Recurrent Neural Network，RNN）模型时，可以通过相互连接多个子模型得到。
综上，本说明书实施例提供的业务预测模型的构建方法，在构建业务预测模型的过程中，不仅考虑了模型的精度，还将模型的网络结构也作为一个优化目标，由此可以构建得到精度和效率同时满足要求的业务预测模型。
需要说明的是，本说明书实施例提供的方案尤其适用于隐私保护的场景，以下针对该隐私保护的场景对本说明书实施例提供的方案进行说明。
图6为本说明书提供的基于隐私保护的业务预测模型的构建方法流程图。如图6所示，该方法可以包括：
步骤S602，获取当前计算逻辑结构。
该当前计算逻辑结构包括多个节点，该多个节点中至少部分节点之间通过多条边连接。其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率。这里的基础运算具有对应的计算复杂度，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定。
步骤S604，根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。
步骤S606，将用于训练业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。
迭代地执行上述步骤S602-步骤S606，直至满足迭代结束条件。这里的迭代结束条件例如可以为迭代次数达到阈值次数，或者损失函数（如，上述第一损失和第二损失或者联合损失）收敛。
步骤S608，至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。
其中目标计算逻辑结构中任意两个节点之间至多通过一条边连接。
步骤S610，基于目标计算逻辑结构，构建业务预测模型。
这里的业务预测模型可以为图像识别模型，从而上述第一业务样本可以为图像样本。
需要说明的是，通过上述基于隐私保护的业务预测模型的构建方法，可以大大提升业务预测模型在进行基于隐私保护的安全多方计算时的运行效率，由此可以极大地提升用户体验。
以下再以业务预测模型为图像识别模型为例，对本说明书实施例提供的方案进行说明。
图7为本说明书提供的图像识别模型的构建方法流程图。如图7所示，该方法可以包括：
步骤S702，获取当前计算逻辑结构。
该当前计算逻辑结构包括多个节点。其中的每个节点可以表示一张特征图。该多个节点中至少部分节点之间通过多条边连接，其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率。这里的基础运算具有对应的计算复杂度。在一个示例中，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定。
步骤S704，根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。
步骤S706，将用于训练图像识别模型的第一图像样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。
迭代地执行上述步骤S702-步骤S706，直至满足迭代结束条件。这里的迭代结束条件例如可以为迭代次数达到阈值次数，或者损失函数（如，上述第一损失和第二损失或者联合损失）收敛。
步骤S708，至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。
其中目标计算逻辑结构中任意两个节点之间至多通过一条边连接。
步骤S710，基于目标计算逻辑结构，构建图像识别模型。
与上述业务预测模型的构建方法对应地，本说明书一个实施例还提供的一种业务预测模型的构建装置，如图8所示，该装置可以包括：
执行单元802，用于进行多轮迭代。该执行单元802通过其包括的以下模块执行其中任意的第t轮迭代：
获取模块8022，用于获取当前计算逻辑结构。该当前计算逻辑结构包括多个节点，多个节点中至少部分节点之间通过多条边连接。其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率。该基础运算具有对应的计算复杂度。
其中第t轮迭代为首轮迭代，获取模块8022具体用于：获取初始计算逻辑结构，其中各条边具有初始化的备选概率。t为正整数。
计算模块8024，用于根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。
计算模块8024具体用于：
对于至少部分节点中任意的一对节点，基于该一对节点之间的各条边的当前备选概率，形成第一向量。以及基于该一对节点之间的各条边各自所代表的基础运算的计算复杂度，形成第二向量。计算第一向量与第二向量之间的点积，得到对应于该一对节点的局部复杂度。
将对应于各对节点的各局部复杂度进行求和或者加权求和，得到当前计算逻辑结构的结构复杂度。
更新模块8026，用于将用于训练业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。
更新模块8026具体用于：
根据当前计算逻辑结构的输出以及结构复杂度，计算第一损失。其中第一损失正相关于结构复杂度。根据第一损失，更新当前计算逻辑结构中各条边的当前备选概率。
其中，上述第一损失包括第一部分和第二部分，其中第一部分基于当前计算逻辑结构的输出以及第一业务样本的样本标签确定。第二部分基于结构复杂度确定。第一部分与第二部分均与当前计算逻辑结构中各条边的当前备选概率相关。
上述每条边还对应于所代表基础运算的当前备选权重。更新模块8026还用于：
将各条边的当前备选概率更新后的当前计算逻辑结构作为本轮首次更新的当前计算逻辑结构。将用于训练业务预测模型的第二业务样本输入本轮首次更新的当前计算逻辑结构，并根据其输出以及第二业务样本的样本标签，计算第二损失。根据第二损失，更新本轮首次更新的当前计算逻辑结构中各条边的当前备选权重，得到本轮最终更新的当前计算逻辑结构。
确定单元804，用于至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。目标计算逻辑结构中任意两个节点之间至多通过一条边连接。
确定单元804具体用于：
将至少部分节点中各节点之间的各条边中，对应于最大当前备选概率的边作为各节点之间的最终的边。
根据至少部分节点中各节点之间的最终的边，确定目标计算逻辑结构。
构建单元806，用于基于目标计算逻辑结构，构建业务预测模型。
该业务预测模型用于预测业务对象的分类或回归值。这里的业务对象包括以下之一：用户，商户，商品，事件以及图像。
在一个示例中，业务预测模型为神经网络模型，构建单元806具体用于：
根据目标计算逻辑结构中的各节点以及各节点之间的边所代表的基础运算，确定神经网络模型所包括的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系；
基于确定的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系，得到神经网络模型。
在另一个示例中，目标计算逻辑结构的数目为多个，构建单元806还具体用于：
对多个目标计算逻辑结构进行堆叠，得到业务预测模型。或者，
将多个目标计算逻辑结构进行相连，得到业务预测模型。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的业务预测模型的构建方法，可以自动构建得到精度和效率同时满足要求的业务预测模型。
与上述基于隐私保护的业务预测模型的构建方法对应地，本说明书一个实施例还提供的一种基于隐私保护的业务预测模型的构建装置，如图9所示，该装置可以包括：
执行单元902，用于进行多轮迭代。执行单元902通过其包括的以下模块执行其中任意的第t（t为正整数）轮迭代：
获取模块9022，用于获取当前计算逻辑结构。该当前计算逻辑结构包括多个节点，多个节点中至少部分节点之间通过多条边连接。其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率。该基础运算具有对应的计算复杂度，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定。
计算模块9024，用于根据当前计算逻辑结构中各条边的当前备选概率，以及各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度。
更新模块9026，用于将用于训练业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率。
确定单元904，用于至少根据多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构。该目标计算逻辑结构中任意两个节点之间至多通过一条边连接。
构建单元906，用于基于目标计算逻辑结构，构建业务预测模型。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书提供的基于隐私保护的业务预测模型的构建装置，可以大大提升业务预测模型在进行基于隐私保护的安全多方计算时的运行效率，由此可以极大地提升用户体验。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2、图6或图8所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2、图6或图8所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (24)

1.一种业务预测模型的构建方法，包括多轮迭代，其中任意的第t轮迭代包括：
获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度；
根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
基于所述目标计算逻辑结构，构建业务预测模型。
2.根据权利要求1所述的方法，当所述第t轮迭代为首轮迭代时，所述获取当前计算逻辑结构包括：获取初始计算逻辑结构，其中各条边具有初始化的备选概率。
3.根据权利要求1所述的方法，所述根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率，包括：
根据当前计算逻辑结构的输出以及所述结构复杂度，计算第一损失；其中所述第一损失正相关于所述结构复杂度；根据所述第一损失，更新当前计算逻辑结构中各条边的当前备选概率。
4.根据权利要求3所述的方法，其中，所述第一损失包括第一部分和第二部分，其中所述第一部分基于当前计算逻辑结构的输出以及所述第一业务样本的样本标签确定；所述第二部分基于所述结构复杂度确定；所述第一部分与所述第二部分均与当前计算逻辑结构中各条边的当前备选概率相关。
5.根据权利要求3所述的方法，所述每条边还对应于所代表基础运算的当前备选权重；所述第t轮迭代还包括：
将所述各条边的当前备选概率更新后的当前计算逻辑结构作为本轮首次更新的当前计算逻辑结构；将用于训练所述业务预测模型的第二业务样本输入本轮首次更新的当前计算逻辑结构，并根据其输出以及第二业务样本的样本标签，计算第二损失；根据所述第二损失，更新本轮首次更新的当前计算逻辑结构中各条边的当前备选权重，得到本轮最终更新的当前计算逻辑结构。
6.根据权利要求1所述的方法，所述根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度，包括：
对于所述至少部分节点中任意的一对节点，基于该一对节点之间的各条边的当前备选概率，形成第一向量；以及基于该一对节点之间的各条边各自所代表的基础运算的计算复杂度，形成第二向量；计算所述第一向量与所述第二向量之间的点积，得到对应于该一对节点的局部复杂度；
将对应于各对节点的各局部复杂度进行求和或者加权求和，得到当前计算逻辑结构的结构复杂度。
7.根据权利要求1所述的方法，所述至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构，包括：
将所述至少部分节点中各节点之间的各条边中，对应于最大当前备选概率的边作为各节点之间的最终的边；
根据所述至少部分节点中各节点之间的最终的边，确定目标计算逻辑结构。
8.根据权利要求1所述的方法，所述业务预测模型为神经网络模型；所述基于所述目标计算逻辑结构，构建业务预测模型，包括：
根据所述目标计算逻辑结构中的各节点以及各节点之间的边所代表的基础运算，确定神经网络模型所包括的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系；
基于确定的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系，得到所述神经网络模型。
9.根据权利要求1所述的方法，所述目标计算逻辑结构的数目为多个；所述基于所述目标计算逻辑结构，构建业务预测模型，包括：
对多个目标计算逻辑结构进行堆叠，得到所述业务预测模型；或者，
将多个目标计算逻辑结构进行相连，得到所述业务预测模型。
10.根据权利要求1所述的方法，所述业务预测模型用于预测业务对象的分类或回归值；所述业务对象包括以下之一：用户，商户，商品，事件以及图像。
11.一种基于隐私保护的业务预测模型的构建方法，包括多轮迭代，其中任意的第t轮迭代包括：
获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定；
根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
基于所述目标计算逻辑结构，构建业务预测模型。
12.一种业务预测模型的构建装置，包括：
执行单元，用于进行多轮迭代；所述执行单元通过其包括的以下模块执行其中任意的第t轮迭代：
获取模块，用于获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度；
计算模块，用于根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
更新模块，用于将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
确定单元，用于至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
构建单元，用于基于所述目标计算逻辑结构，构建业务预测模型。
13.根据权利要求12所述的装置，当所述第t轮迭代为首轮迭代时，所述获取模块具体用于：获取初始计算逻辑结构，其中各条边具有初始化的备选概率。
14.根据权利要求12所述的装置，所述更新模块具体用于：
根据当前计算逻辑结构的输出以及所述结构复杂度，计算第一损失；其中所述第一损失正相关于所述结构复杂度；根据所述第一损失，更新当前计算逻辑结构中各条边的当前备选概率。
15.根据权利要求14所述的装置，其中，所述第一损失包括第一部分和第二部分，其中所述第一部分基于当前计算逻辑结构的输出以及所述第一业务样本的样本标签确定；所述第二部分基于所述结构复杂度确定；所述第一部分与所述第二部分均与当前计算逻辑结构中各条边的当前备选概率相关。
16.根据权利要求14所述的装置，所述每条边还对应于所代表基础运算的当前备选权重；所述更新模块还用于：
将所述各条边的当前备选概率更新后的当前计算逻辑结构作为本轮首次更新的当前计算逻辑结构；将用于训练所述业务预测模型的第二业务样本输入本轮首次更新的当前计算逻辑结构，并根据其输出以及第二业务样本的样本标签，计算第二损失；根据所述第二损失，更新本轮首次更新的当前计算逻辑结构中各条边的当前备选权重，得到本轮最终更新的当前计算逻辑结构。
17.根据权利要求12所述的装置，所述计算模块具体用于：
对于所述至少部分节点中任意的一对节点，基于该一对节点之间的各条边的当前备选概率，形成第一向量；以及基于该一对节点之间的各条边各自所代表的基础运算的计算复杂度，形成第二向量；计算所述第一向量与所述第二向量之间的点积，得到对应于该一对节点的局部复杂度；
将对应于各对节点的各局部复杂度进行求和或者加权求和，得到当前计算逻辑结构的结构复杂度。
18.根据权利要求12所述的装置，所述确定单元具体用于：
将所述至少部分节点中各节点之间的各条边中，对应于最大当前备选概率的边作为各节点之间的最终的边；
根据所述至少部分节点中各节点之间的最终的边，确定目标计算逻辑结构。
19.根据权利要求12所述的装置，所述业务预测模型为神经网络模型；所述构建单元具体用于：
根据所述目标计算逻辑结构中的各节点以及各节点之间的边所代表的基础运算，确定神经网络模型所包括的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系；
基于确定的各网络层以及位于相邻的两个网络层中的各神经元之间的连接关系，得到所述神经网络模型。
20.根据权利要求12所述的装置，所述目标计算逻辑结构的数目为多个；所述构建单元还具体用于：
对多个目标计算逻辑结构进行堆叠，得到所述业务预测模型；或者，
将多个目标计算逻辑结构进行相连，得到所述业务预测模型。
21.根据权利要求12所述的装置，所述业务预测模型用于预测业务对象的分类或回归值；所述业务对象包括以下之一：用户，商户，商品，事件以及图像。
22.一种基于隐私保护的业务预测模型的构建装置，包括：
执行单元，用于进行多轮迭代；所述执行单元通过其包括的以下模块执行其中任意的第t轮迭代：
获取模块，用于获取当前计算逻辑结构；该当前计算逻辑结构包括多个节点，所述多个节点中至少部分节点之间通过多条边连接；其中的每条边代表一种备选的基础运算，并对应于该基础运算的当前备选概率；所述基础运算具有对应的计算复杂度，该计算复杂度基于该基础运算在用于隐私保护的多方安全计算MPC中的资源消耗而确定；
计算模块，用于根据当前计算逻辑结构中各条边的当前备选概率，以及所述各条边各自所代表的基础运算的计算复杂度，确定当前计算逻辑结构的结构复杂度；
更新模块，用于将用于训练所述业务预测模型的第一业务样本输入当前计算逻辑结构，根据当前计算逻辑结构的输出，至少以最小化所述结构复杂度为目标，更新当前计算逻辑结构中各条边的当前备选概率；
确定单元，用于至少根据所述多轮迭代后的当前计算逻辑结构中各条边的当前备选概率，确定目标计算逻辑结构；所述目标计算逻辑结构中任意两个节点之间至多通过一条边连接；
构建单元，用于基于所述目标计算逻辑结构，构建业务预测模型。
23.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法或权利要求11所述的方法。
24.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法或权利要求11所述的方法。
CN202011594832.2A 2020-12-29 2020-12-29 业务预测模型的构建方法及装置 Active CN112396477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011594832.2A CN112396477B (zh) 2020-12-29 2020-12-29 业务预测模型的构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011594832.2A CN112396477B (zh) 2020-12-29 2020-12-29 业务预测模型的构建方法及装置

Publications (2)

Publication Number Publication Date
CN112396477A CN112396477A (zh) 2021-02-23
CN112396477B true CN112396477B (zh) 2021-04-06

Family

ID=74625518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594832.2A Active CN112396477B (zh) 2020-12-29 2020-12-29 业务预测模型的构建方法及装置

Country Status (1)

Country Link
CN (1) CN112396477B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256275B (zh) * 2021-07-14 2021-11-02 支付宝(杭州)信息技术有限公司 专家系统的更新方法、业务处理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921566B (zh) * 2018-05-03 2021-11-05 创新先进技术有限公司 一种基于图结构模型的虚假交易识别方法和装置
CN113169764A (zh) * 2018-11-27 2021-07-23 艾斯康实验室公司 非相干协作式多输入多输出通信
CN112085172B (zh) * 2020-09-16 2022-09-16 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN112015749B (zh) * 2020-10-27 2021-02-19 支付宝(杭州)信息技术有限公司 基于隐私保护更新业务模型的方法、装置及系统

Also Published As

Publication number Publication date
CN112396477A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN109460793B (zh) 一种节点分类的方法、模型训练的方法及装置
CN110929047B (zh) 关注邻居实体的知识图谱推理方法和装置
CN112434462A (zh) 一种模型的获取方法及设备
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
He et al. Structured pruning for deep convolutional neural networks: A survey
CN111651671B (zh) 用户对象推荐方法、装置、计算机设备和存储介质
CN113705772A (zh) 一种模型训练方法、装置、设备及可读存储介质
US20220383127A1 (en) Methods and systems for training a graph neural network using supervised contrastive learning
US20220156508A1 (en) Method For Automatically Designing Efficient Hardware-Aware Neural Networks For Visual Recognition Using Knowledge Distillation
CN112528110A (zh) 确定实体业务属性的方法及装置
CN112085615A (zh) 图神经网络的训练方法及装置
CN112910710A (zh) 网络流量时空预测方法、装置、计算机设备和存储介质
CN112529071B (zh) 一种文本分类方法、系统、计算机设备和存储介质
CN113822315A (zh) 属性图的处理方法、装置、电子设备及可读存储介质
CN112085293A (zh) 训练交互预测模型、预测交互对象的方法及装置
CN112541575A (zh) 图神经网络的训练方法及装置
CN114492601A (zh) 资源分类模型的训练方法、装置、电子设备及存储介质
CN112396477B (zh) 业务预测模型的构建方法及装置
Ju et al. Dynamic early exit scheduling for deep neural network inference through contextual bandits
CN110232151B (zh) 一种混合概率分布检测的QoS预测模型的构建方法
CN115062779A (zh) 基于动态知识图谱的事件预测方法及装置
CN113610610B (zh) 基于图神经网络和评论相似度的会话推荐方法和系统
Chowdhury et al. Patch-level routing in mixture-of-experts is provably sample-efficient for convolutional neural networks
CN113743594A (zh) 网络流量预测模型建立方法、装置、电子设备及存储介质
CN113449176A (zh) 基于知识图谱的推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant