CN110956269B - 数据模型的生成方法、装置、设备以及计算机存储介质 - Google Patents
数据模型的生成方法、装置、设备以及计算机存储介质 Download PDFInfo
- Publication number
- CN110956269B CN110956269B CN201910968757.2A CN201910968757A CN110956269B CN 110956269 B CN110956269 B CN 110956269B CN 201910968757 A CN201910968757 A CN 201910968757A CN 110956269 B CN110956269 B CN 110956269B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- model
- processing
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013499 data model Methods 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 183
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 28
- 238000012217 deletion Methods 0.000 claims description 20
- 230000037430 deletion Effects 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 3
- 238000004904 shortening Methods 0.000 abstract description 4
- 208000033748 Device issues Diseases 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及大数据技术领域，提供了数据模型的生成方法、装置、设备以及计算机存储介质，用于减少建模所需的处理工作量，缩短数据模型的建模时长，提高AI建模的处理效率。方法包括：处理设备接收UE发起的模型生成请求；处理设备根据模型生成请求，获取目标业务的业务数据以及用户数据；处理设备通过分类识别算法，对业务数据以及用户数据进行分类识别，得到指示目标业务的业务类别，并赋予用于指示业务类别的业务标签；处理设备从模型数据库中，获取与业务标签相匹配的第一数据模型；处理设备在第一数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理，得到第二数据模型；处理设备向UE下发第二数据模型。
Description
技术领域
本申请涉及大数据引擎领域，尤其涉及数据模型的生成方法、装置、设备以及计算机存储介质。
背景技术
对于互联网企业，应用产品在推向用户后运行得到的数据，对于应用产品的更新维护、业务调整以及后续的产品开发，具有不菲的使用价值。
在数据的使用上，传统上会由开发人员进行模型的拟合处理，以通过模型抽象应用产品其业务的数据，方便这些数据后续的利用。
如今，随着人工智能(Artificial Intelligence，AI)技术的不断成熟，在模型的开发中，还可通过AI，在提供所需数据的基础上，进行自动建模，以减少开发人员的人力成本，提高建模的处理效率。
现有的AI建模所涉及的处理流程，包括获取初始数据、对初始数据进行预处理、根据预设模型结构进行模型训练以及评估优化，然而在实际应用中发现，其涉及到的整个建模过程所需时间较长，若能精简其建模所需的处理工作量，则还可进一步提高AI建模的处理效率。
发明内容
本申请提供了数据模型的生成方法、装置、设备以及计算机存储介质，用于减少建模所需的处理工作量，缩短数据模型的建模时长，提高AI建模的处理效率。
本申请在第一方面，提供了数据模型的生成方法，方法包括：
处理设备接收用户设备(User Equipment，UE)发起的模型生成请求，模型生成请求用于请求建立目标业务的数据模型；
处理设备根据模型生成请求，获取目标业务的业务数据以及用户数据；
处理设备通过分类识别算法，对业务数据以及用户数据进行分类识别，得到指示目标业务的业务类别，并赋予用于指示业务类别的业务标签；
处理设备从模型数据库中，获取与业务标签相匹配的第一数据模型，模型数据库设置有不同的数据模型与不同的业务标签之间的匹配关系，模型数据库存储有不同的数据模型；
处理设备在第一数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理，得到第二数据模型，第二数据模型用于分析以及管理目标业务；
处理设备向UE下发第二数据模型。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，处理设备通过分类算法，对业务数据以及用户数据进行分类识别之前，方法还包括：
处理设备获取目标业务对应的业务逻辑以及数据逻辑；
处理设备根据业务逻辑以及数据逻辑，对业务数据以及用户数据进行预处理，预处理包括缺失记录删除处理、缺失值标识变量构造处理、缺失值替换处理、标准化处理、归一化处理、连续变量分箱处理以及数据对象拼接处理。
结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，方法还包括：
处理设备设置业务标签列表，业务标签列表记录有N种用于指示业务的业务类别的业务标签；
处理设备根据业务标签列表，通过与目标服务器之间预设的应用程序编程接口(Application Programming Interface，API)或者网络爬虫，获取目标服务器中的不同业务类别对应的数据模型，并存储于模型数据库。
结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，第一数据模型包括多个待筛选数据模型，处理设备在第一数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理，得到第二数据模型包括：
处理设备分别在多个待筛选数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理；
处理设备从多个待筛选数据模型中筛选出模型拟合效果符合预设要求的数据模型作为第二数据模型。
结合本申请第一方面第三种可能的实现方式，在本申请第一方面第四种可能的实现方式中，处理设备向UE下发第二数据模型包括：
处理设备向UE下发指示信息，指示信息包括第二数据模型，指示信息还包括第二数据模型在不同预设要求下的不同模型拟合效果。
结合本申请第一方面第三种可能的实现方式，在本申请第一方面第五种可能的实现方式中，预设要求包括处理效率指标、通用性指标、易用性指标以及精确性指标中的至少一种。
结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，模型调整处理包括变量重构处理、算法更换处理以及参数调整处理。
本申请在第二方面，提供了数据模型的生成装置，装置包括：
接收单元，用于接收UE发起的模型生成请求，模型生成请求用于请求建立目标业务的数据模型；
获取单元，用于根据模型生成请求，获取目标业务的业务数据以及用户数据；
识别单元，用于通过分类识别算法，对业务数据以及用户数据进行分类识别，得到指示目标业务的业务类别，并赋予用于指示业务类别的业务标签；
获取单元，还用于从模型数据库中，获取与业务标签相匹配的第一数据模型，模型数据库设置有不同的数据模型与不同的业务标签之间的匹配关系，模型数据库存储有不同的数据模型；
处理单元，用于在第一数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理，得到第二数据模型，第二数据模型用于分析以及管理目标业务；
下发单元，用于向UE下发第二数据模型。
结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，获取单元，还用于获取目标业务对应的业务逻辑以及数据逻辑；
装置还包括：
预处理单元，用于根据业务逻辑以及数据逻辑，对业务数据以及用户数据进行预处理，预处理包括缺失记录删除处理、缺失值标识变量构造处理、缺失值替换处理、标准化处理、归一化处理、连续变量分箱处理以及数据对象拼接处理。
结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，装置还包括：
设置单元，用于设置业务标签列表，业务标签列表记录有N种用于指示业务的业务类别的业务标签；
获取单元，还用于根据业务标签列表，通过与目标服务器之间预设的应用API或者网络爬虫，获取目标服务器中的不同业务类别对应的数据模型，并存储于模型数据库。
结合本申请第二方面，在本申请第二方面第三种可能的实现方式中，第一数据模型包括多个待筛选数据模型，处理单元，具体用于：
分别在多个待筛选数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理；
从多个待筛选数据模型中筛选出模型拟合效果符合预设要求的数据模型作为第二数据模型。
结合本申请第二方面第三种可能的实现方式，在本申请第二方面第四种可能的实现方式中，下发单元，具体用于：
向UE下发指示信息，指示信息包括第二数据模型，指示信息还包括第二数据模型在不同预设要求下的不同模型拟合效果。
结合本申请第二方面第三种可能的实现方式，在本申请第二方面第五种可能的实现方式中，预设要求包括处理效率指标、通用性指标、易用性指标以及精确性指标中的至少一种。
结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，模型调整处理包括变量重构处理、算法更换处理以及参数调整处理。
本申请在第三方面，提供了处理设备，处理设备包括处理器以及存储器，存储器用于存储程序代码，处理器用于调用存储器中存储的程序代码来执行如第一方面的数据模型的生成方法。
本申请在第四方面，提供了计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面的数据模型的生成方法。
从以上技术方案可以看出，本申请具有以下优点：
在根据UE发起的模型生成请求触发目标业务的数据模型生成任务后，获取目标业务的业务数据以及用户数据，并以此根据识别分类算法对目标业务进行业务类别的AI识别，得到目标业务的业务标签，再从模型数据库中获取该业务标签相匹配的第一数据模型，在模型内容与目标业务的业务类型具有较高关联性的第一数据模型的基础上，结合目标业务自身的业务数据以及用户数据，进行模型的测试以及优化，从而可减少建模所需的处理工作量，快速完成AI建模，得到目标业务相匹配的第二数据模型，提高AI建模的处理效率。
附图说明
图1为本申请数据模型的生成方法的一种流程示意图；
图2为本申请数据模型的生成方法的又一种流程示意图；
图3为本申请数据模型的生成方法的又一种流程示意图；
图4为本申请数据模型的生成方法的又一种流程示意图；
图5为本申请数据模型的生成装置的一种结构示意图；
图6为本申请处理设备的一种结构示意图。
具体实施方式
本申请提供了数据模型的生成方法、装置、设备以及计算机存储介质，用于减少建模所需的处理工作量，缩短数据模型的建模时长，提高AI建模的处理效率。
首先，介绍下本申请涉及的处理设备。
在本申请中，处理设备为物理主机、服务器等具有AI建模能力的设备，可以为单独的设备，或者也可以为设备集群。处理设备根据UE发起的模型生成请求的触发，执行本申请的数据模型的生成方法，进而实现减少建模所需的处理工作量，缩短数据模型的建模时长，提高AI建模的处理效率的效果。
下面开始介绍本申请的具体内容。
参阅图1，图1示出了本申请数据模型的生成方法的一种流程示意图，在本申请中，数据模型的生成方法，具体可包括如下步骤：
步骤S101，处理设备接收UE发起的模型生成请求；
其中，模型生成请求用于请求建立目标业务的数据模型。
可以理解，当UE侧具有目标业务的数据模型的生成需求时，可生成对应的模型生成请求，并发送至处理设备，触发处理设备应用本申请的数据模型的生成方法，以得到所需的数据模型。
模型生成请求的生成，可由UE自动生成，或者，也可由UE侧的工作人员的人工操作生成，具体在此不做限定。
步骤S102，处理设备根据模型生成请求，获取目标业务的业务数据以及用户数据；
在接收到UE发起的模型生成请求后，处理设备即可根据该模型生成请求对应的目标业务，获取其业务数据以及用户数据。
其中，不同的业务，可通过不同的业务标识(Identification，ID)进行标识，模型生成请求中可在预设字段中携带目标业务的业务ID，供处理设备识别出目标业务。
业务的业务数据，可分为基本的业务数据，以及用户在业务的应用过程中所形成的用户数据。业务数据可存储在设备本地，获取也可存储在其他设备的存储空间，具体在此不做限定。
步骤S103，处理设备通过分类识别算法，对业务数据以及用户数据进行分类识别，得到指示目标业务的业务类别，并赋予用于指示业务类别的业务标签；
在本申请中，处理设备在进行AI建模时，与现有技术直接基于大数据技术进行建模不同的是，在本申请中，处理设备先通过预先配置的分类识别算法，在目标业务的业务数据以及用户数据的基础上，对目标业务进行业务类别的AI识别。
其中，在实际应用中，分类识别算法中的分类识别计算公式具体可采用下面所示出的公式：
P(Y＝Ck)用于指示目标业务在业务类别Ck下的发生概率；用于指示目标业务在业务类别Ck的条件下，不同的特征x(j)的发生概率的乘积；用于指示目标业务在不同业务类别Ck的发生概率的和，arg max函数用于确定y为最大值时的业务类别Ck。
当然，在实际应用中，分类识别算法具体也可采用其他的分类识别计算公式，在此不做限定。
通过上述的分类识别计算公式，分别计算目标业务在假设的不同业务类别条件下的可能性，并将其中最大可能性的业务类别确定为目标业务的业务类别。
在得到目标业务的业务类别后，处理设备再根据该业务类别，赋予对应的业务标签。
可以理解，业务标签可以直接为具体得到的业务类别；或者，业务标签还可为内容上与具体业务类别具有映射关系的信息标签。
步骤S104，处理设备从模型数据库中，获取与业务标签相匹配的第一数据模型；
其中，模型数据库设置有不同的数据模型与不同的业务标签之间的匹配关系，模型数据库存储有不同的数据模型。
在得到目标业务对应的业务标签后，处理设备即可从模型数据库中预存的数据模型中，根据数据模型与业务标签之间的匹配关系，获取到在模型内容与目标业务的业务类型具有高关联性的第一数据模型。
步骤S105，处理设备在第一数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理，得到第二数据模型；
其中，第二数据模型用于分析以及管理目标业务。
在得到模型内容与目标业务的业务类型具有较高关联性的第一数据模型后，处理设备即可结合目标业务自身的业务数据以及用户数据，对第一数据模型进行模型的测试以及优化，从而可快速完成AI建模，得到目标业务相匹配的第二数据模型。
第二数据模型，可用于表征目标业务的发展特点、深度分析结果以及对应的管理策略，从而基于第二数据模型，可大大提高AI对于目标业务的分析以及管理的效果。
步骤S106，处理设备向UE下发第二数据模型。
在得到第二数据模型后，处理设备即可向UE反馈该第二数据模型。
从上述内容可看出，本申请数据模型的生成方法，在根据UE发起的模型生成请求触发目标业务的数据模型生成任务后，处理设备获取目标业务的业务数据以及用户数据，并以此根据识别分类算法对目标业务进行业务类别的AI识别，得到目标业务的业务标签，再从模型数据库中获取该业务标签相匹配的第一数据模型，在模型内容与目标业务的业务类型具有较高关联性的第一数据模型的基础上，结合目标业务自身的业务数据以及用户数据，进行模型的测试以及优化，从而可减少建模所需的处理工作量，快速完成AI建模，得到目标业务相匹配的第二数据模型，提高AI建模的处理效率。
在一种实施例中，在图1对应实施例执行步骤S103之前，本申请数据模型的生成方法，还可对目标业务的业务数据以及用户数据进行预处理，对应的，参阅图2示出的本申请数据模型的生成方法的又一种流程示意图，本申请数据模型的生成方法还可包括如下步骤：
步骤S201，处理设备获取目标业务对应的业务逻辑以及数据逻辑；
可以理解，在本申请中所进行的预处理，可结合不同业务的不同特征进行不同内容和/或不同强度的数据处理。
具体的，处理设备可从业务的业务逻辑以及数据逻辑角度，进行预处理的具体调整，对应的，处理设备可从目标业务的业务信息中获取其业务逻辑以及数据逻辑。
业务逻辑指的是业务层面的运行逻辑；数据逻辑指的是数据层面的运行逻辑，例如集中度、完整度或者相关度等。
步骤S202，处理设备根据业务逻辑以及数据逻辑，对业务数据以及用户数据进行预处理。
其中，预处理包括缺失记录删除处理、缺失值标识变量构造处理、缺失值替换处理、标准化处理、归一化处理、连续变量分箱处理以及数据对象拼接处理。
在得到目标业务的业务逻辑以及数据逻辑后，处理设备即可根据两者，对之前的业务数据以及用户数据进行预处理，去除数据中的异常数据，使其更加的完整、平滑，更便于数据的使用，具有更高的使用价值，为AI建模作数据支持。
在又一种实施例中，参阅图3示出的本申请数据模型的生成方法的又一种流程示意图，本申请数据模型的生成方法，还可包括如下步骤：
步骤S301，处理设备设置业务标签列表；
其中，业务标签列表记录有N种用于指示业务的业务类别的业务标签。
可以理解，处理设备除了可在本地配置模型数据库及其数据库中的数据模型，这些数据模型包括处理设备本地调用、使用或者存储过的数据模型，处理设备还可从设备外部主动获取相关的数据模型并进行存储。
因此，处理设备可预先设置一业务标签列表，该列表中确定了多种业务的业务标签。
步骤S302，处理设备根据业务标签列表，通过与目标服务器之间预设的API或者网络爬虫，获取目标服务器中的不同业务类别对应的数据模型，并存储于模型数据库。
接着，处理设备即可根据上述步骤S302设置的业务标签列表所确定的不同业务类别的不同业务，主动从目标服务器中获取对应的数据模型，并存储在模型数据库中。
该目标服务器，为预先向处理设备配置接口的服务器，或者也可以为向公众开放的服务器，比如百科词典网站的服务器等。
通过对外主动获取数据模型，不仅可大大丰富模型数据库中数据模型的种类以及数量，且还便于更新同一业务类别所对应的数据模型，提高模型数据库中数据模型的使用价值。
在又一种实施例中，目标业务的业务标签相匹配的第一数据模型可以为多个模型，即第一数据模型可包括多个待筛选数据模型，对应的，参阅图4示出的本申请数据模型的生成方法，图1对应实施例步骤S105还可包括如下步骤：
步骤S401，处理设备分别在多个待筛选数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理；
当第一数据模型为多个模型时，处理设备可基于拟合效果进行模型的筛选，因此，处理设备可在这些模型中加载业务数据以及用户数据，进行模型的运行测试处理。
在进行运行测试处理的过程中，或者进行运行测试处理后，还可对这些模型进行模型调整处理，优化模型。
步骤S402，处理设备从多个待筛选数据模型中筛选出模型拟合效果符合预设要求的数据模型作为第二数据模型。
在对上述多个的数据模型完成相应的运行测试处理以及模型调整处理后，处理设备即可根据目标业务的业务数据以及用户数据，检测这些数据模型的模型拟合效果，并将符合要求的数据模型作为第二数据模型。
当然，此时符合要求的第二数据模型可以为这些模型中模型拟合效果最优的模型，或者也可符合要求即可，即可以为多个模型，在该设置下，可促进第二数据模型的多元化设置，提供更多的操作空间。
在又一种实施例中，处理设备向UE反馈模型生成请求所需的第二数据模型，还可同时下发其他信息，例如，图1对应实施例步骤S105，可包括如下步骤：
处理设备向UE下发指示信息，指示信息包括第二数据模型，指示信息还包括第二数据模型在不同预设要求下的不同模型拟合效果。
可以理解，处理设备还可向UE下发第二数据模型在不同预设要求下的不同模型拟合效果，尤其是在第二数据模型包括多个数据模型时，可为UE侧提供目标业务更多相匹配或者可使用的数据模型的选择。
在又一种实施例中，图4对应实施例步骤S402的预设要求，具体可包括处理效率指标、通用性指标、易用性指标以及精确性指标中的至少一种。
在又一种实施例中，图1对应实施例步骤S105提及的模型调整处理包括变量重构处理、算法更换处理以及参数调整处理。
以上是本申请数据模型的生成方法的介绍，下面介绍本申请的数据模型的生成装置。
参照图5，图5为本申请数据模型的生成装置的一种结构示意图，本申请数据模型的生成装置，具体的，可包括如下结构：
接收单元501，用于接收UE发起的模型生成请求，模型生成请求用于请求建立目标业务的数据模型；
获取单元502，用于根据模型生成请求，获取目标业务的业务数据以及用户数据；
识别单元503，用于通过分类识别算法，对业务数据以及用户数据进行分类识别，得到指示目标业务的业务类别，并赋予用于指示业务类别的业务标签；
获取单元502，还用于从模型数据库中，获取与业务标签相匹配的第一数据模型，模型数据库设置有不同的数据模型与不同的业务标签之间的匹配关系，模型数据库存储有不同的数据模型；
处理单元504，用于在第一数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及模型调整处理，得到第二数据模型，第二数据模型用于分析以及管理目标业务；
下发单元505，用于向UE下发第二数据模型。
在一种实施例中，获取单元502，还用于获取目标业务对应的业务逻辑以及数据逻辑；
装置还包括：
预处理单元506，用于根据业务逻辑以及数据逻辑，对业务数据以及用户数据进行预处理，预处理包括缺失记录删除处理、缺失值标识变量构造处理、缺失值替换处理、标准化处理、归一化处理、连续变量分箱处理以及数据对象拼接处理。
在又一种实施例中，装置还包括：
设置单元507，用于设置业务标签列表，业务标签列表记录有N种用于指示业务的业务类别的业务标签；
获取单元502，还用于根据业务标签列表，通过与目标服务器之间预设的API或者网络爬虫，获取目标服务器中的不同业务类别对应的数据模型，并存储于模型数据库。
在又一种实施例中，第一数据模型包括多个待筛选数据模型，处理单元504，具体用于：
分别在多个待筛选数据模型中加载业务数据以及用户数据，进行模型的运行测试处理以及参数调整处理；
从多个待筛选数据模型中筛选出模型拟合效果符合预设要求的数据模型作为第二数据模型。
在又一种实施例中，下发单元505，具体用于：
向UE下发指示信息，指示信息包括第二数据模型，指示信息还包括第二数据模型在不同预设要求下的不同模型拟合效果。
在又一种实施例中，预设要求包括处理效率指标、通用性指标、易用性指标以及精确性指标中的至少一种。
在又一种实施例中，模型调整处理包括变量重构处理、算法更换处理以及参数调整处理。
可看出，以上内容是从模块化功能实体的角度介绍本申请的数据模型的生成装置的，以下则从硬件角度介绍本申请的处理设备，参阅图6所示的处理设备的一种结构示意图，处理设备包括：处理器601、存储器602，存储器602用于存储程序代码，处理器601用于调用存储器602中存储的程序代码来执行如图1至图4对应实施例中的数据模型的生成方法；或者，处理器601调用存储器602中存储的程序代码来执行上述图5对应实施例中各单元的功能。
处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个处理设备的各个部分。
存储器602可用于存储计算机程序和/或模块，处理器601通过运行或执行存储在存储器602内的计算机程序和/或模块，以及调用存储在存储器602内的数据，实现处理设备的各种功能。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据处理设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
存储器602可以集成在处理器601中，也可以与处理器601分开设置。
处理设备还可包括输入输出单元，处理器601、存储器602以及输入输出单元可通过总线连接。
输入输出单元也可以用输入单元和输出单元代替，可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为输入输出单元。该输入输出单元可以为收发器。
本申请还提供一种计算机存储介质，其上存储有计算机程序，当其在计算机上运行时，使得计算机执行如图1至图4对应实施例中的数据模型的生成方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发申请各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据模型的生成装置、处理设备及其单元的具体工作过程，可以参考图1至图4对应实施例中的数据模型的生成方法的说明，具体在此不再赘述。
综上所述，本申请提供的数据模型的生成方法、装置、设备以及计算机存储介质，在根据UE发起的模型生成请求触发目标业务的数据模型生成任务后，获取目标业务的业务数据以及用户数据，并以此根据识别分类算法对目标业务进行业务类别的AI识别，得到目标业务的业务标签，再从模型数据库中获取该业务标签相匹配的第一数据模型，在模型内容与目标业务的业务类型具有较高关联性的第一数据模型的基础上，结合目标业务自身的业务数据以及用户数据，进行模型的测试以及优化，从而可减少建模所需的处理工作量，快速完成AI建模，得到目标业务相匹配的第二数据模型，提高AI建模的处理效率。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。
Claims (7)
1.一种数据模型的生成方法，其特征在于，所述方法包括：
处理设备接收用户设备UE发起的模型生成请求，所述模型生成请求用于请求建立目标业务的数据模型；
所述处理设备根据所述模型生成请求，获取所述目标业务的业务数据以及用户数据；
所述处理设备设置业务标签列表，所述业务标签列表记录有N种用于指示业务的业务类别的业务标签；
所述处理设备根据所述业务标签列表，通过与目标服务器之间预设的应用程序编程接口API或者网络爬虫，获取所述目标服务器中的不同业务类别对应的数据模型，并存储于模型数据库；
所述处理设备通过分类识别算法，对所述业务数据以及所述用户数据进行分类识别，得到指示所述目标业务的业务类别，并赋予用于指示所述业务类别的业务标签；
所述处理设备从模型数据库中，获取与所述业务标签相匹配的第一数据模型，所述模型数据库设置有不同的数据模型与不同的业务标签之间的匹配关系，所述模型数据库存储有不同的数据模型，其中，所述第一数据模型包括多个待筛选数据模型；
所述处理设备分别在所述多个待筛选数据模型中加载所述业务数据以及所述用户数据，进行模型的运行测试处理以及模型调整处理；
所述处理设备从所述多个待筛选数据模型中筛选出模型拟合效果符合预设要求的数据模型作为第二数据模型，所述第二数据模型用于分析以及管理所述目标业务；
所述处理设备向所述UE下发指示信息，所述指示信息包括所述第二数据模型，所述指示信息还包括所述第二数据模型在不同预设要求下的不同模型拟合效果。
2.根据权利要求1所述的方法，其特征在于，所述处理设备通过分类算法，对所述业务数据以及所述用户数据进行分类识别之前，所述方法还包括：
所述处理设备获取所述目标业务对应的业务逻辑以及数据逻辑；
所述处理设备根据所述业务逻辑以及所述数据逻辑，对所述业务数据以及所述用户数据进行预处理，所述预处理包括缺失记录删除处理、缺失值标识变量构造处理、缺失值替换处理、标准化处理、归一化处理、连续变量分箱处理以及数据对象拼接处理。
3.根据权利要求1所述的方法，其特征在于，所述预设要求包括处理效率指标、通用性指标、易用性指标以及精确性指标中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述模型调整处理包括变量重构处理、算法更换处理以及参数调整处理。
5.一种数据模型的生成装置，其特征在于，所述装置包括：
接收单元，用于接收用户设备UE发起的模型生成请求，所述模型生成请求用于请求建立目标业务的数据模型；
获取单元，用于根据所述模型生成请求，获取所述目标业务的业务数据以及用户数据；
设置单元，用于设置业务标签列表，所述业务标签列表记录有N种用于指示业务的业务类别的业务标签；
预设单元，用于根据所述业务标签列表，通过与目标服务器之间预设的应用程序编程接口API或者网络爬虫，获取所述目标服务器中的不同业务类别对应的数据模型，并存储于模型数据库；
识别单元，用于通过分类识别算法，对所述业务数据以及所述用户数据进行分类识别，得到指示所述目标业务的业务类别，并赋予用于指示所述业务类别的业务标签；
所述获取单元，还用于从模型数据库中，获取与所述业务标签相匹配的第一数据模型，所述模型数据库设置有不同的数据模型与不同的业务标签之间的匹配关系，所述模型数据库存储有不同的数据模型，其中，所述第一数据模型包括多个待筛选数据模型；
处理单元，用于分别在所述多个待筛选数据模型中加载所述业务数据以及所述用户数据，进行模型的运行测试处理以及模型调整处理；从所述多个待筛选数据模型中筛选出模型拟合效果符合预设要求的数据模型作为第二数据模型，所述第二数据模型用于分析以及管理所述目标业务；
下发单元，用于向所述UE下发指示信息，所述指示信息包括所述第二数据模型，所述指示信息还包括所述第二数据模型在不同预设要求下的不同模型拟合效果。
6.一种处理设备，其特征在于，所述处理设备包括处理器以及存储器，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1至4中任一项所述的方法。
7.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968757.2A CN110956269B (zh) | 2019-10-12 | 2019-10-12 | 数据模型的生成方法、装置、设备以及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968757.2A CN110956269B (zh) | 2019-10-12 | 2019-10-12 | 数据模型的生成方法、装置、设备以及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110956269A CN110956269A (zh) | 2020-04-03 |
| CN110956269B true CN110956269B (zh) | 2024-05-10 |
Family
ID=69975657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910968757.2A Active CN110956269B (zh) | 2019-10-12 | 2019-10-12 | 数据模型的生成方法、装置、设备以及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956269B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783827A (zh) * | 2020-05-27 | 2020-10-16 | 中能瑞通（北京）科技有限公司 | 一种基于负荷数据的企业用户分类方法和装置 |
| CN112650528B (zh) * | 2020-12-31 | 2024-05-14 | 新奥数能科技有限公司 | 个性化算法生成方法、装置、电子设备和计算机可读介质 |
| CN114970654B (zh) * | 2021-05-21 | 2023-04-18 | 华为技术有限公司 | 数据处理方法、装置和终端 |
| CN113553159A (zh) * | 2021-07-29 | 2021-10-26 | 共达地创新技术(深圳)有限公司 | 基于可视化的模型调度方法、设备和存储介质 |
| CN116134852A (zh) * | 2021-09-14 | 2023-05-16 | 北京小米移动软件有限公司 | 一种基于用户设备ue能力的模型处理方法、装置、用户设备、基站及存储介质 |
| CN115408329B (zh) * | 2022-08-26 | 2023-07-25 | 上海玫克生储能科技有限公司 | 即插即用型边缘计算终端硬件系统架构 |
| CN115438128A (zh) * | 2022-09-16 | 2022-12-06 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636607A (zh) * | 2018-12-18 | 2019-04-16 | 平安科技（深圳）有限公司 | 基于模型部署的业务数据处理方法、装置和计算机设备 |
| CN109670852A (zh) * | 2018-09-26 | 2019-04-23 | 平安普惠企业管理有限公司 | 用户分类方法、装置、终端及存储介质 |
| CN110008226A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 数据模型的构建方法、装置、计算机设备和存储介质 |
-
2019
- 2019-10-12 CN CN201910968757.2A patent/CN110956269B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670852A (zh) * | 2018-09-26 | 2019-04-23 | 平安普惠企业管理有限公司 | 用户分类方法、装置、终端及存储介质 |
| CN109636607A (zh) * | 2018-12-18 | 2019-04-16 | 平安科技（深圳）有限公司 | 基于模型部署的业务数据处理方法、装置和计算机设备 |
| CN110008226A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 数据模型的构建方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110956269A (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956269B (zh) | 数据模型的生成方法、装置、设备以及计算机存储介质 | |
| US20210397541A1 (en) | System and method of handling complex experiments in a distributed system | |
| CN109062780B (zh) | 自动化测试用例的开发方法及终端设备 | |
| CN110428127B (zh) | 自动化分析方法、用户设备、存储介质及装置 | |
| CN108959059B (zh) | 一种测试方法以及测试平台 | |
| CN110688598B (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
| CN110554958B (zh) | 图数据库测试方法、系统、设备和存储介质 | |
| US10838941B2 (en) | Automated image-based record creation and related database systems | |
| US20130159529A1 (en) | Master data management system for monitoring cloud computing | |
| CN107862425B (zh) | 风控数据采集方法、设备、系统及可读存储介质 | |
| US10713070B2 (en) | Systems and methods for capturing and visualizing user interactions across devices | |
| CN105095059A (zh) | 一种自动化测试的方法和装置 | |
| CN111522728A (zh) | 自动化测试用例的生成方法、电子设备及可读存储介质 | |
| CN112732763A (zh) | 数据的聚合方法、装置、电子设备及介质 | |
| US9990348B2 (en) | System and method for managing data using a spreadsheet model | |
| CN109710827B (zh) | 图片属性管理方法、装置、图片服务端和业务处理端 | |
| CN111538754A (zh) | 一种数据归集管理系统、方法、装置、设备和存储介质 | |
| CN111046393B (zh) | 漏洞信息上传方法、装置、终端设备及存储介质 | |
| US8938520B2 (en) | Methods and systems for smart adapters in a social media content analytics environment | |
| CN111367500A (zh) | 数据的处理方法和装置 | |
| CN115984022A (zh) | 分布式支付系统统一对账方法和装置 | |
| CN113672497B (zh) | 无埋点事件的生成方法、装置、设备及存储介质 | |
| TWI760022B (zh) | 用於診斷虛擬伺服器及時表現資料的電腦實施系統以及方法 | |
| CN114237798A (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN109992614B (zh) | 数据获取方法、装置和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |