CN116911406B - 风控模型部署方法、装置、计算机设备和存储介质 - Google Patents
风控模型部署方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116911406B CN116911406B CN202310818292.9A CN202310818292A CN116911406B CN 116911406 B CN116911406 B CN 116911406B CN 202310818292 A CN202310818292 A CN 202310818292A CN 116911406 B CN116911406 B CN 116911406B
- Authority
- CN
- China
- Prior art keywords
- model
- wind control
- file
- deployed
- control model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 145
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000005477 standard model Effects 0.000 claims abstract description 53
- 230000001419 dependent effect Effects 0.000 claims abstract description 30
- 238000003672 processing method Methods 0.000 claims description 90
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000011161 development Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 238000012954 risk control Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Stored Programmes (AREA)
Abstract
本申请涉及一种风控模型部署方法、装置、计算机设备和存储介质，包括获取待部署风控模型；根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器；通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；加载标准模型文件，并对加载的标准模型文件进行线上模型部署。上述方法通过标准化处理方式对多个风控模型进行处理后进行线上模型部署，降低模型部署上线的时间，提高建模效率。
Description
技术领域
本申请涉及模型数据处理技术领域，特别是涉及一种风控模型部署方法、装置、计算机设备和存储介质。
背景技术
随着互联网的发展，数据量呈指数级增长。如何从海量数据中提取有用信息，成为了一个重要的问题。尤其是在资信的风险控制领域，如何从海量数据中提取有用的风险控制信息，显得尤为重要。
建模技术是一种重要的技术手段，数据模型可以从海量数据中提取有用信息，快速响应业务需求。传统情况下，风控模型的建模方法通常是模型师根据已有的经验进行模型开发以及评估。风控模型需要上线时，要么由模型师自行线上配置以及个性化调试，进而部署到生产环境；又或者是，由模型部门统一要求，按照一套标准的开发模型或一套规范，模型师开发出符合要求的模型，再进行统一标准化部署。
然而，由模型师自行线上部署，需要模型师了解线上环境并进行人工调整，极大浪费了时间。由模型部门设立统一标准和规范，需要模型师花费时间学习，并且不能进行灵活的模型开发，灵活性不足且效率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种风控模型部署方法、装置、计算机设备和存储介质，通过标准化处理方式对多个风控模型进行处理后进行线上模型部署，降低模型部署上线的时间，且无需模型师按照统一标准和规范进行模型开发，提高建模效率。
一种风控模型部署方法，包括：获取待部署风控模型，解析出待部署风控模型的模型类型；根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
在其中一个实施例中，待部署风控模型为待部署的信贷风控模型，目标包装器中还预配置有信贷风控模型的主预测方法的优化方法，优化方法用于对主预测方法的设定参数进行优化，以获得优化后的主预测方法；模型包文件还包含优化后的主预测方法。
在其中一个实施例中，目标包装器中的资源配置代码生成方法用于根据待部署风控模型的模型类型识别出处理单元并生成处理单元的资源配置代码；标准模型文件完成线上模型部署后并被线上加载使用时，处理单元运行资源配置代码，以为待部署风控模型分配资源。
在其中一个实施例中，参数标准化处理方法用于通过剖析器对模型参数进行标准化处理，得到标准化处理后的模型参数。
在其中一个实施例中，输入以及输出标准化处理方法用于解析模型的输入和输出所需的参数和参数类型，并生成标准化处理后的输入参数和输出参数。
在其中一个实施例中，依赖解析处理方法用于解析模型依赖的包数据。
在其中一个实施例中，一种风控模型部署方法还包括：读取多个风控模型并识别出各风控模型的模型类型；基于各风控模型的模型类型，确定各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；基于各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法配置各包装器。
一种风控模型部署装置，包括：获取模块，用于获取待部署风控模型，解析出待部署风控模型的模型类型；匹配模块，用于根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；处理模块，用于通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；模型部署模块，用于加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。
上述一种风控模型部署方法、装置、计算机设备和存储介质，预先配置多个包装器，各包装器中预先配置多个标准化处理方法。在对任一待部署风控模型进行线上模型部署时，通过模型类型匹配出与其对应的包装器，通过匹配的包装器对待部署风控模型进行标准化处理，得到标准模型文件，再加载标准模型文件进行线上模型部署。此种风控模型部署方法，无需要求模型师按照统一标准和规范构建风控模型，模型师可按照常规方法构建风控模型即可，提高前端风控模型的建模效率。此外，通过标准化处理方式对多个风控模型进行处理后进行线上模型部署，无需人工参与，降低模型部署上线的时间。
附图说明
图1为一个实施例中一种风控模型部署方法的应用环境图；
图2为一个实施例中一种风控模型部署方法的流程示意图；
图3为一个实施例中一种风控模型部署方法执行统一化处理的的流程示意图；
图4为一个实施例中一种风控模型部署装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种风控模型部署方法，应用于如图1所示的应用环境中。如图1所示，模型部署系统100用于执行本申请的一种风控模型部署方法。具体地，多个模型师通过终端构建风控模型，各模型师可以采用不同的开发规范构建风控模型。例如，如图1所示，模型师1通过终端202向模型部署系统100上传风控模型1，模型师2通过终端204向模型部署系统100上传风控模型2，模型师3通过终端206向模型部署系统100上传风控模型3。风控模型1、风控模型2和风控模型3均可以是不同开发规范的风控模型。即，模型师1、模型师2和模型师3可以使用不同的开发规范开发风控模型。模型部署管理人员通过终端300预配置多个包装器，并上传到模型部署系统100。模型部署系统100对待部署风控模型进行线上模型部署操作时，获取待部署风控模型，解析出待部署风控模型的模型类型，根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
在一个实施例中，如图2所示，提供了一种风控模型部署方法，以该方法应用于图1中的模型部署系统100为例进行说明，包括以下步骤：
S202，获取待部署风控模型，解析出待部署风控模型的模型类型。
本实施例中，模型部署系统100需要线上部署多个风控模型。各风控模型的模型类型可以相同，也可以不相同。具体地，获取并解析出待部署风控模型的模型类型。待部署风控模型可以是python脚本语言开发的算法模型。模型类型可以是XGB类型。
S204，根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法。
在一个示例中，步骤S204之前，还包括：读取多个风控模型并识别出各风控模型的模型类型；基于各风控模型的模型类型，确定各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；基于各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法配置各包装器。
本实施例中，基于一个或多个风控模型的模型类型分别配置与模型类型匹配的包装器。各包装器中配置有与模型类型匹配的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法。因此，通过参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法能够实现模型的标准化处理，提高模型部署的效率和准确性。例如，多个风控模型的模型类型包括XGB类型、LR类型以及SVM类型。各类型对应不同的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法。
在一示例中，参数标准化处理方法用于通过剖析器对模型参数进行标准化处理，得到标准化处理后的模型参数。
在包装器中配置参数标准化处理方法，具体为：在包装器中注入剖析器，通过剖析器对风控模型内模型参数进行标准化处理，得到标准化处理后的模型参数。标准化处理后的模型参数可以统一标准的Json格式。
在一示例中，输入以及输出标准化处理方法用于解析模型的输入和输出所需的参数和参数类型，并生成标准化处理后的输入参数和输出参数。
在包装器中配置输入以及输出标准化处理方法，具体为：解析风控模型的输入和输出所需的参数和参数类型，结合设定的模型算法对参数进行转化，整体生成标准的schema.yaml文件。
在一示例中，依赖解析处理方法用于解析模型依赖的包数据。
在包装器中配置依赖解析处理方法，具体为：解析风控模型需要的包等，生成依赖文件。
在一示例中，目标包装器中的资源配置代码生成方法用于根据待部署风控模型的模型类型识别出处理单元并生成处理单元的资源配置代码；标准模型文件完成线上模型部署后并被线上加载使用时，处理单元运行资源配置代码，以为待部署风控模型分配资源。
处理单元可以是为CPU或GPU。不同的处理单元，其资源配置代码不同。当标准模型文件完成线上模型部署后并被线上加载使用时，处理单元运行资源配置代码，自动识别出处理单元的当前资源情况，根据当前资源情况为待部署风控模型分配资源，进而保障待部署风控模型的模型运行。
具体地，目标包裹器根据待部署风控模型的模型类型，预先分配采用运行对象是CPU或GPU，再生成对应的检测代码以及资源配置代码，与模型包文件一起打包。在后续待部署风控模型的标准模型文件被加载后，执行对应的检测代码以及资源配置代码进行资源检测，保证有资源运行待部署风控模型。
因此，通过对风控模型解析，生成CPU或GPU的资源配置代码，待模型上线时会自动根据当前资源情况进行对应的资源分配，保障模型运行，相比于传统的手动配置方法，能够更加智能地分配资源，提高模型的运行效率和稳定性。
S206，通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码。
本实施例中，目标包装器中配置有与待部署风控模型的模型类型匹配的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法。通过匹配的参数标准化处理方法，将待部署风控模型中的模型参数进行统一标准化处理，得到标准化的模型参数。通过匹配的输入以及输出标准化处理方法，将待部署风控模型中的输入参数和输出参数进行统一标准化处理，得到标准化的输入参数和输出参数。通过匹配的依赖解析处理方法，将待部署风控模型依赖的包文件数据进行解析，得到待部署风控模型依赖的包数据。通过匹配的资源配置代码生成方法，识别出待部署风控模型的处理单元，如处理单元为CPU或GPU，进而基于识别出的处理单元生成对应的资源配置代码。因此，通过标准化处理能够提高模型部署的准确性和稳定性，相比于传统的手动处理方法，能够更加精确地处理模型的参数、输入输出和依赖关系，避免了因为人为因素导致的错误。
在一个示例中，待部署风控模型为待部署的信贷风控模型，目标包装器中还预配置有信贷风控模型的主预测方法的优化方法，优化方法用于对主预测方法的设定参数进行优化，以获得优化后的主预测方法；模型包文件还包含优化后的主预测方法。
该示例中，待部署的信贷风控模型中设置有主预测方法。主预测方法用于对用户的信贷风险控制进行预测。具体地，信贷风控模型可以是XGB模型，预先将通用的优化参数作为信贷风控模型的待优化的设定参数，设定优化方法，通过优化方法优化信贷风控模型的设定参数，得到优化后的主预测方法。
因此，自动优化能够根据专业的知识库对模型进行优化，相比于传统的手动优化方法，能够更加精确地优化模型，提高模型的性能和效率。
S208，加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
本实施例中，使用统一的模型文件线上加载器，对标准模型文件进行文件加载并完成线上部署。因此，统一的模型文件线上加载器能够方便地进行模型的部署和维护，相比于传统的手动部署方法，能够更加方便地进行模型的部署和维护，降低了部署和维护的成本和风险。
基于上述实施例的一种风控模型部署方法，以下给出一具体实施方式：
例如：算法工程师训练了一个XGB类型的风控模型，风控模型M；
执行统一化方法，统一化方法F(M)，F(M)用于实现上述一种风控模型部署方法。
统一化方法F(M)的处理过程如下：
第一步：检测风控模型M的模型类型，例如为XGB类型；
第二步：获取XGB类型的包装器wrapper，即XGB包装器，将使用XGB包装器处理风控模型M；
XGB包装器处理风控模型M的过程如下：
解析风控模型M的依赖，输出依赖文件requirement.txt；
解析风控模型M的入参/出参，输出模型包文件schema.yaml；
获取风控模型M的主预测方法，即方法f；
构建优化方法，即方法^f；
构建新的主预测方法，即方法g，采用方法^f对方法f进行优化处理方式为：将方法f中Json数据解析为可用的数据格式的数据d，调用方法^f对数据d进行处理，得到处理结果^f(d)->r，将结果r转换成标准Json格式的数据D；
将风控模型M的主预测方法替换为构建的新主预测方法，即方法g；
构建自适应模型^m(M)：自适应模型^m(M)用于检测运行环境的GPU/CPU/的内存情况并生成对应的资源配置代码；
将自适应模型^m(M)保存为资源配置代码文件xgb.model。
第三步：返回风控模型M的内容xgb.model文件，requirement.txt文件以及schema.yaml文件等。
第四步：将返回的所有配置信息保存到统一地址，生成一个模型代号->S。
第五步：使用风控模型M时，使用通用Loader(S)加载风控模型M的上述文件进行线上模型部署。
上述一种风控模型部署方法，能够提高模型部署的效率和准确性，降低了人工干预的成本和风险，相比于传统的手动部署方法，具有更高的效率和更低的错误率。
本申请旨在提供一种风控模型部署方法，通过模型统一方式，对python模型对象进行解析，进行标准化处理，降低模型部署上线的时间，提高建模效率和准确性。例如，参见图3所示：
步骤一：加载待处理的python原始模型进行解析；
步骤二：根据解析情况，匹配对应的包装器wapper；
步骤三：基于对应的wapper，进行标准化处理：
1.参数标准化处理：通过注入剖析去(injectparser)，对参数进行处理，统一为标准的Json格式；
2.输入/输出标准化：解析模型的输入和输出所需的参数和类型，结合需要的模型算法，对参数进行转化，整体生成标准的schema.yaml文件；
3.依赖解析：解析模型需要的包等，生成依赖文件，即Reqirement文件；
4.自动优化，对通过对模型的推理，根据专业的知识库进行模型优化；
5.自适配配置：通过对模型解析，生成CPU、GPU资源配置代码，待上线时会自动根据当前资源情况，进行对应的资源分配，保障模型运行。
步骤四：生成标准模型文件，包含Model.pkl、依赖文件、资源配置代码文件，即图3所示的Model.pkl、Requirement、Code.zip。
步骤五：使用统一的模型文件线上加载器，加载标准模型文件，完成线上部署。
应该理解的是，虽然流程图中的各步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请还提供一种风控模型部署装置，如图4所示，一种风控模型部署装置包括获取模块402、匹配模块404、处理模块406以及模型部署模块408。获取模块402，用于获取待部署风控模型，解析出待部署风控模型的模型类型；匹配模块404，用于根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；处理模块406，用于通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；模型部署模块408，用于加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
在其中一个实施例中，待部署风控模型为待部署的信贷风控模型，目标包装器中还预配置有信贷风控模型的主预测方法的优化方法，优化方法用于对主预测方法的设定参数进行优化，以获得优化后的主预测方法；模型包文件还包含优化后的主预测方法。
在其中一个实施例中，目标包装器中的资源配置代码生成方法用于根据待部署风控模型的模型类型识别出处理单元并生成处理单元的资源配置代码；标准模型文件完成线上模型部署后并被线上加载使用时，处理单元运行资源配置代码，以为待部署风控模型分配资源。
在其中一个实施例中，参数标准化处理方法用于通过剖析器对模型参数进行标准化处理，得到标准化处理后的模型参数。
在其中一个实施例中，输入以及输出标准化处理方法用于解析模型的输入和输出所需的参数和参数类型，并生成标准化处理后的输入参数和输出参数。
在其中一个实施例中，述依赖解析处理方法用于解析模型依赖的包数据。
在其中一个实施例中，根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器之前，还包括：读取多个风控模型并识别出各风控模型的模型类型；基于各风控模型的模型类型，确定各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；基于各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法配置各包装器。
关于一种风控模型部署装置的具体限定可以参见上文中对于一种风控模型部署方法的限定，在此不再赘述。上述一种风控模型部署装置中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是支持模型部署系统100运行的服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于接收终端配置的多个包装器等。该计算机程序被处理器执行时以实现上述一种风控模型部署方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所目标应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待部署风控模型，解析出待部署风控模型的模型类型；根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
在其中一个实施例中，待部署风控模型为待部署的信贷风控模型，目标包装器中还预配置有信贷风控模型的主预测方法的优化方法，优化方法用于对主预测方法的设定参数进行优化，以获得优化后的主预测方法；模型包文件还包含优化后的主预测方法。
在其中一个实施例中，目标包装器中的资源配置代码生成方法用于根据待部署风控模型的模型类型识别出处理单元并生成处理单元的资源配置代码；标准模型文件完成线上模型部署后并被线上加载使用时，处理单元运行资源配置代码，以为待部署风控模型分配资源。
在其中一个实施例中，参数标准化处理方法用于通过剖析器对模型参数进行标准化处理，得到标准化处理后的模型参数。
在其中一个实施例中，输入以及输出标准化处理方法用于解析模型的输入和输出所需的参数和参数类型，并生成标准化处理后的输入参数和输出参数。
在其中一个实施例中，依赖解析处理方法用于解析模型依赖的包数据。
在其中一个实施例中，处理器执行计算机程序时实现以下步骤：读取多个风控模型并识别出各风控模型的模型类型；基于各风控模型的模型类型，确定各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；基于各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法配置各包装器。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待部署风控模型，解析出待部署风控模型的模型类型；根据待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；通过目标包装器对待部署风控模型进行处理，得到标准模型文件，标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，模型包文件包含标准化处理后的模型参数、输入参数和输出参数，依赖文件包含待部署风控模型依赖的包数据，资源配置代码文件包含运行待部署风控模型的处理单元的资源配置代码；加载标准模型文件，并对加载的标准模型文件进行线上模型部署。
在其中一个实施例中，待部署风控模型为待部署的信贷风控模型，目标包装器中还预配置有信贷风控模型的主预测方法的优化方法，优化方法用于对主预测方法的设定参数进行优化，以获得优化后的主预测方法；模型包文件还包含优化后的主预测方法。
在其中一个实施例中，目标包装器中的资源配置代码生成方法用于根据待部署风控模型的模型类型识别出处理单元并生成处理单元的资源配置代码；标准模型文件完成线上模型部署后并被线上加载使用时，处理单元运行资源配置代码，以为待部署风控模型分配资源。
在其中一个实施例中，参数标准化处理方法用于通过剖析器对模型参数进行标准化处理，得到标准化处理后的模型参数。
在其中一个实施例中，输入以及输出标准化处理方法用于解析模型的输入和输出所需的参数和参数类型，并生成标准化处理后的输入参数和输出参数。
在其中一个实施例中，依赖解析处理方法用于解析模型依赖的包数据。
在其中一个实施例中，计算机程序被处理器执行时实现以下步骤：读取多个风控模型并识别出各风控模型的模型类型；基于各风控模型的模型类型，确定各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；基于各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法配置各包装器。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种风控模型部署方法，其特征在于，所述方法包括：
获取待部署风控模型，解析出所述待部署风控模型的模型类型；
根据所述待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；
通过所述目标包装器对所述待部署风控模型进行处理，得到标准模型文件，所述标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，所述模型包文件包含标准化处理后的模型参数、输入参数和输出参数，所述依赖文件包含所述待部署风控模型依赖的包数据，所述资源配置代码文件包含运行所述待部署风控模型的处理单元的资源配置代码；
加载所述标准模型文件，并对加载的标准模型文件进行线上模型部署。
2.根据权利要求1所述的方法，其特征在于，所述待部署风控模型为待部署的信贷风控模型，所述目标包装器中还预配置有所述信贷风控模型的主预测方法的优化方法，所述优化方法用于对所述主预测方法的设定参数进行优化，以获得优化后的主预测方法；
所述模型包文件还包含所述优化后的主预测方法。
3.根据权利要求1或2所述的方法，其特征在于，所述目标包装器中的资源配置代码生成方法用于根据所述待部署风控模型的模型类型识别出所述处理单元并生成所述处理单元的资源配置代码；
所述标准模型文件完成线上模型部署后并被线上加载使用时，所述处理单元运行所述资源配置代码，以为所述待部署风控模型分配资源。
4.根据权利要求3所述的方法，其特征在于，所述参数标准化处理方法用于通过剖析器对模型参数进行标准化处理，得到标准化处理后的模型参数。
5.根据权利要求4所述的方法，其特征在于，所述输入以及输出标准化处理方法用于解析模型的输入和输出所需的参数和参数类型，并生成标准化处理后的输入参数和输出参数。
6.根据权利要求5所述的方法，其特征在于，所述依赖解析处理方法用于解析模型依赖的包数据。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
读取多个风控模型并识别出各风控模型的模型类型；
基于各风控模型的模型类型，确定各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；
基于各风控模型的参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法配置各包装器。
8.一种风控模型部署装置，其特征在于，所述装置包括：
获取模块，用于获取待部署风控模型，解析出所述待部署风控模型的模型类型；
匹配模块，用于根据所述待部署风控模型的模型类型从多个预配置的包装器中匹配出目标包装器，其中，各包装器中配置参数标准化处理方法、输入以及输出标准化处理方法、依赖解析处理方法以及资源配置代码生成方法；
处理模块，用于通过所述目标包装器对所述待部署风控模型进行处理，得到标准模型文件，所述标准模型文件中包含模型包文件、依赖文件以及资源配置代码文件，所述模型包文件包含标准化处理后的模型参数、输入参数和输出参数，所述依赖文件包含所述待部署风控模型依赖的包数据，所述资源配置代码文件包含运行所述待部署风控模型的处理单元的资源配置代码；
模型部署模块，用于加载所述标准模型文件，并对加载的标准模型文件进行线上模型部署。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818292.9A CN116911406B (zh) | 2023-07-05 | 2023-07-05 | 风控模型部署方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818292.9A CN116911406B (zh) | 2023-07-05 | 2023-07-05 | 风控模型部署方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116911406A CN116911406A (zh) | 2023-10-20 |
| CN116911406B true CN116911406B (zh) | 2024-02-02 |
Family
ID=88354213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310818292.9A Active CN116911406B (zh) | 2023-07-05 | 2023-07-05 | 风控模型部署方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116911406B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10614382B1 (en) * | 2019-07-12 | 2020-04-07 | Capital One Services, Llc | Computer-based systems and methods configured to utilize automating deployment of predictive models for machine learning tasks |
| CN111767059A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 深度学习模型的部署方法、装置、电子设备和存储介质 |
| CN113296653A (zh) * | 2021-07-27 | 2021-08-24 | 阿里云计算有限公司 | 一种仿真交互模型构建方法、交互方法及相关设备 |
| CN114338281A (zh) * | 2021-11-11 | 2022-04-12 | 广州软件应用技术研究院 | 一种基于边缘计算网关的模型分发应用设计方法及系统 |
| CN114528186A (zh) * | 2022-02-21 | 2022-05-24 | 京东科技信息技术有限公司 | 一种模型管理方法、装置及模型管理服务器 |
| CN114676205A (zh) * | 2022-03-29 | 2022-06-28 | 阿里云计算有限公司 | 事件信息的处理方法及装置 |
| CN114827241A (zh) * | 2017-09-22 | 2022-07-29 | 华为技术有限公司 | 一种跨平台部署的方法和系统 |
| CN115511501A (zh) * | 2021-06-03 | 2022-12-23 | 腾讯云计算（北京）有限责任公司 | 一种数据处理方法、计算机设备以及可读存储介质 |
| CN115756516A (zh) * | 2022-11-18 | 2023-03-07 | 中国银联股份有限公司 | 一种模型的端侧部署方法、装置、设备及存储介质 |
| CN115857966A (zh) * | 2022-11-30 | 2023-03-28 | 上海赫千电子科技有限公司 | 一种跨平台的神经网络模型部署方法 |
| WO2023071075A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京邮电大学 | 机器学习模型自动化生产线构建方法及系统 |
| CN116126354A (zh) * | 2023-01-16 | 2023-05-16 | Oppo广东移动通信有限公司 | 模型部署方法、装置、电子设备以及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6231489B2 (ja) * | 2011-12-01 | 2017-11-15 | ザ ボード オブ トラスティーズ オブ ザ ユニヴァーシティー オブ イリノイ | プログラム可能な変化を被るように設計された遷移デバイス |
| US10127027B2 (en) * | 2016-10-31 | 2018-11-13 | General Electric Company | Scalable and secure analytic model integration and deployment platform |
-
2023
- 2023-07-05 CN CN202310818292.9A patent/CN116911406B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827241A (zh) * | 2017-09-22 | 2022-07-29 | 华为技术有限公司 | 一种跨平台部署的方法和系统 |
| US10614382B1 (en) * | 2019-07-12 | 2020-04-07 | Capital One Services, Llc | Computer-based systems and methods configured to utilize automating deployment of predictive models for machine learning tasks |
| CN111767059A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 深度学习模型的部署方法、装置、电子设备和存储介质 |
| CN115511501A (zh) * | 2021-06-03 | 2022-12-23 | 腾讯云计算（北京）有限责任公司 | 一种数据处理方法、计算机设备以及可读存储介质 |
| CN113296653A (zh) * | 2021-07-27 | 2021-08-24 | 阿里云计算有限公司 | 一种仿真交互模型构建方法、交互方法及相关设备 |
| WO2023071075A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京邮电大学 | 机器学习模型自动化生产线构建方法及系统 |
| CN114338281A (zh) * | 2021-11-11 | 2022-04-12 | 广州软件应用技术研究院 | 一种基于边缘计算网关的模型分发应用设计方法及系统 |
| CN114528186A (zh) * | 2022-02-21 | 2022-05-24 | 京东科技信息技术有限公司 | 一种模型管理方法、装置及模型管理服务器 |
| CN114676205A (zh) * | 2022-03-29 | 2022-06-28 | 阿里云计算有限公司 | 事件信息的处理方法及装置 |
| CN115756516A (zh) * | 2022-11-18 | 2023-03-07 | 中国银联股份有限公司 | 一种模型的端侧部署方法、装置、设备及存储介质 |
| CN115857966A (zh) * | 2022-11-30 | 2023-03-28 | 上海赫千电子科技有限公司 | 一种跨平台的神经网络模型部署方法 |
| CN116126354A (zh) * | 2023-01-16 | 2023-05-16 | Oppo广东移动通信有限公司 | 模型部署方法、装置、电子设备以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Multiscale modeling: physiome project standards, tools, and databases;Peter J.Hunter等;《Computer》;第39卷(第11期);48-54 * |
| OpsFlow：一种面向DevOps 的应用自动化部署引擎;李超等;《计算机与数字工程》;第47卷(第1期);190-194 * |
| 大型电商平台消费贷产品风控模型的构建;汪晓曦等;《武汉理工大学学报（社会科学版）》;第34卷(第5期);21-30 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116911406A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297701B (zh) | 数据处理作业调度方法、装置、计算机设备及存储介质 | |
| CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
| CN109062925B (zh) | 自动生成insert语句的方法、装置、计算机设备及存储介质 | |
| CN109597618B (zh) | 程序开发方法、装置、计算机设备及存储介质 | |
| CN112395202B (zh) | 接口自动化测试方法、装置、计算机设备和存储介质 | |
| CN113282513B (zh) | 接口测试案例的生成方法、装置、计算机设备及存储介质 | |
| CN111078553B (zh) | 数据开发任务测试方法、装置、计算机设备和存储介质 | |
| CN112015752A (zh) | 一种数据动态查询的方法、装置、电子设备和存储介质 | |
| CA3184892A1 (en) | Data parsing method and device, computer equipment and storage medium for batch stream computing tasks | |
| CN110955434B (zh) | 软件开发包处理方法、装置、计算机设备和存储介质 | |
| CN114527974B (zh) | 软件产品的业务功能实现方法、装置和计算机设备 | |
| CN111260071B (zh) | 通用机器学习模型文件解析方法、装置、存储介质 | |
| CN111930419B (zh) | 基于深度学习模型的代码包生成方法和系统 | |
| CN115525534A (zh) | 基于swagger的接口测试的测试用例生成方法、生成平台 | |
| CN112379913B (zh) | 基于风险识别的软件优化方法、装置、设备及存储介质 | |
| CN116911406B (zh) | 风控模型部署方法、装置、计算机设备和存储介质 | |
| CN116150020A (zh) | 一种测试用例的转换方法及装置 | |
| CN115718603A (zh) | 一种Python模型分布式在线部署方法及系统 | |
| CN113157754A (zh) | 流程表单数据展示方法、装置、设备及存储介质 | |
| CN112486838A (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
| CN112015478B (zh) | 内核加载方法、服务器、设备、计算机设备及存储介质 | |
| CN111338630B (zh) | 通用机器学习模型文件的生成方法、装置、存储介质 | |
| CN111258584B (zh) | 通用机器学习二级模型文件解析方法、装置、存储介质 | |
| CN111260018B (zh) | 机器学习二级模型文件生成方法、装置、存储介质 | |
| CN111008131B (zh) | 自动化测试方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |