CN110807044A - 一种基于人工智能技术的模型维度管理方法 - Google Patents

Abstract

本发明公开了一种基于人工智能技术的模型维度管理方法，包括，依据业务数据分析类型，建立算法模型，定义算法模型名称，定义算法模型接入数据的接口数据类型；依据具体业务数据分析需求，建立业务模型，定义业务模型名称，为业务模型选择对应的算法模型，为对应算法模型的接口数据类型选择所需的数据维度；调用业务模型时，调用对应的算法模型，算法模型依据对应接口数据类型，调用接口数据类型所关联的数据维度，依据业务模型为对应数据维度预定义的SQL脚本规则将预先选择的基础数据转化为可用维度数据，将可用维度数据代入算法模型中进行运算处理，得出业务分析所需要的数据；依据具体业务特征对上述数据进行分析以得到最终的数据处理结果。

Description

一种基于人工智能技术的模型维度管理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于人工智能技术的模型维度管理方法。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。同时，人工智能技术需要足够的海量数据来支撑深度的机器学习。

而如何从海量数据源中提取并加工成与业务分析需求相关的、高质量的维度数据来进行机器学习，则是目前人工智能技术的一个瓶颈。想要开发出先进的机器学习技术，基础数据至关重要。

发明内容

为了解决现有技术中存在的难题，本发明的目的在于提供一种有效实用的基于人工智能技术的模型维度管理方法。

为实现上述目的，本发明采用如下方案。

一种基于人工智能技术的模型维度管理方法，包括：

依据业务数据分析类型，建立算法模型，定义算法模型名称，定义算法模型接入数据的接口数据类型；

依据具体业务数据分析需求，建立业务模型，定义业务模型名称，为业务模型选择对应的算法模型，为对应算法模型的接口数据类型选择所需的可用数据维度；

调用业务模型时，调用对应的算法模型，算法模型依据对应接口数据类型，调用接口数据类型所关联的可用数据维度，并依据业务模型为对应可用数据维度预定义的SQL脚本规则将预先选择的基础数据转化为可用维度数据，将可用维度数据代入算法模型中进行运算处理，得出业务分析所需要的数据；业务模型依据具体业务特征对上述数据进行分析以得到最终的数据处理结果。

作为优选实施例，为业务模型选择对应的算法模型时，选择一个或多个算法模型，多个算法模型是并列关系或者递进关系。

进一步地，当多个算法模型是并列关系时，多个算法模型的数据处理结果均作为业务模型分析所需要的数据，业务模型依据具体业务特征进行数据分析以得到最终的数据处理结果

进一步地，当多个算法模型是递进关系时，其中一个或多个算法模型的数据处理结果作为基础数据，依据业务模型预定义的SQL脚本规则，将基础数据转化为另外一个或多个算法模型的可用维度数据，代入递进关系的算法模型进行运算处理，得出业务分析所需要的数据，业务模型依据具体业务特征进行数据分析以得到最终的数据处理结果。

进一步地，还包括：将一个或多个算法模型的数据处理结果进行维度定义或者通过预定义的SQL脚本规则进行数据转化后进行维度定义，并与递进关系的算法模型的接口数据类型进行关联说明。

另外还包括：同时，其中一个或多个算法模型的数据处理结果还作为业务模型分析所需要的数据。

此外，还包括：

将各应用平台的数据表结构信息读取到数据平台，选择相应数据表和相应栏位，通过数据平台存储的对应于各应用平台的数据库的库名、登录账户和登录密码，登录到对应的数据库，读取相应数据表和相应栏位的具体信息并展示，进行基础数据的选择。

本发明的基于人工智能技术的模型维度管理方法可采用计算机程序自动实现，因此本发明还提供了一种计算机可读存储设备，存储有计算机程序，所述计算机程序被处理器执行以实现所述的模型维度管理方法。

同时，本发明还提供了相应的终端、系统来实现上述模型维度管理方法。

本发明的有益效果：本发明提供了一种基于人工智能技术的模型维度管理方法，可以作为人工智能技术的底层框架支撑技术，为平台人工智能技术的各种建模提供灵活的数据提取方法，同时，面对各种大数据数据源，本发明因其自定义和灵活性，也可以让用户根据具体的数据分析需求而有针对性、定制化地获取基础数据，进而为后续的建模运算提供强有力的有效支撑。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

本发明实施例提供了一种基于人工智能技术的模型维度管理方法，方法包括以下步骤。

首先，依据数据分析类型，建立各类算法模型；例如基于分析用户喜好的数据分析方向，建立喜好算法模型，并定义算法模型的接口数据类型。

不同的算法模型需要的数据类型也不同，例如：喜好算法模型需要用户基本特征类维度类型、用户行为特征类维度类型等等数据，所以需要预先定义算法模型接入数据的类型。

另外，可以预先在系统中提供人工智能技术应用所需的各种算法，例如：聚类算法、随机森林决策树算法、深度神经网络模型算法等等。

在建立算法模型时，依据数据分析方向，可以从系统中选择相应的算法，并定义算法模型名称和接口数据类型。

接着，根据具体的业务分析需求，定制建立业务模型；具体的，定义业务模型名称，为业务模型选择对应的算法模型(可以是一个或多个)，为不同的算法模型的对应接口数据类型定义可用数据维度，即：选择可用数据维度的基础数据，同时定义将基础数据转化成可用维度数据的SQL脚本规则，并与接口数据类型进行关联。也就是说，在模型创建时，需要定义可用数据维度并选择维度的基础数据，也就是将可用数据维度与基础数据做关联绑定，当调用可用数据维度时，即可获取到相关联的基础数据。

在本发明中，关键在于业务模型的建立。

算法模型一旦建立，模型里的算法就已经确定，它作为运行在底层的通用算法，在创建时需要定义好算法模型名称和接口数据类型，这样后续才能调用该算法模型。另外，算法模型只能识别、读取和运用预定格式的可用维度数据，因此，所有基础数据进入算法模型之前，都需要将基础数据通过一定规则转化为适应于该算法模型的可用维度数据，才能为该算法模型所识别，并代入算法模型进行运算。

而业务的需求是多种多样的，其对应需要的数据也是千变万化，其中存在很多类型的数据，针对不同类型的数据，其转化规则也相应不同；因此，在根据具体的业务分析需求来定制建立业务模型时，为业务模型选择对应的一个或多个算法模型的同时，需要为不同的算法模型选择可用数据维度，为可用数据维度选择基础数据和对应的接口数据类型，还需要在业务模型针对不同类型的数据定义存储相应的SQL脚本规则(数据转化规则)，以使得基础数据可以通过上述SQL脚本规则进行转化为可用维度数据，并通过预先选择的算法模型的接口数据类型，为算法模型识别和读取，并代入算法模型中进行运算。

在业务模型中，定义算法模型所需的可用数据维度，并选择基础数据(可以是从数据表管理模块中选择的对应的数据表和数据维度，也可以是前一算法模型输出的数据结果)，并定义基础数据转化为可用数据维度的SQL脚本规则，以及选择可用数据维度对应算法模型的一个或多个接口数据类型。

此外，业务模型根据业务特征还存储有自身的数据分析算法规则，对算法模型输出并导入到业务模型的数据进行分析或运算，最终得出业务分析所需要的数据结果。

作为本发明的另一实施例，业务模型还可以不用选择算法模型，直接应用从数据表管理模块中选择的基础数据(对应的数据表和可用数据维度)，进行数据分析或运算，最终得出业务分析所需要的数据结果。

另外，业务模型也可以直接从业务平台数据表获取基础数据，通过SQL脚本规则进行转化后，作为业务模型分析所需的数据。

维度是维度建模的基础。在维度建模中，将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。

具体到本发明实施例，维度是指特征的数量，体现在数据表中，则是数据表的各列，行则是样本数量。

基础数据则是指从业务平台的数据表里面直接获取的数据或者是算法模型输出的、提供给另一个算法模型的数据；进行SQL脚本规则转化前的数据均为基础数据。

可用数据维度是指可适用于模型、代入到模型进行运算的数据。

基础数据可以直接作为可用数据维度，或者经过SQL脚本规则转化为可用数据维度。可用数据维度可以作为算法模型的输入，也可以作为业务模型的输入。

具体到本发明实施例，当需要建立业务模型时，定义业务模型名称，为业务模型选择对应一个或多个算法模型，为对应算法模型的接口数据类型选择所需的可用数据维度。

然后，当调用业务模型时，调用对应的算法模型，算法模型依据对应接口数据类型，调用接口数据类型所关联的可用数据维度，然后依据可用数据维度的定义调用基础数据和SQL脚本规则，将基础数据通过SQL脚本规则进行转化后得到可用数据维度。

在本发明实施例中，定义可用数据维度，选择基础数据，具体包括：

数据平台读取各应用平台的数据表结构信息，将各应用平台的数据表表名、栏位名称等信息读取到数据平台的数据表管理模块，同时数据平台存储对应于各应用平台的数据库的库名、管理员登录账户(可相对用户而设置为隐藏)、登录密码(可相对用户而设置为隐藏)等信息，用户可选择相应数据表以及相应的栏位进行数据查询。

数据查询的处理过程为:当用户选择数据表以及相应的栏位点击查询时，数据平台采用存储的数据表对应的数据库的库名、管理员登录账户(隐藏)、登录密码(隐藏)等信息，登录到对应的数据库，读取数据库对应数据表栏位信息并展示，以便用户了解数据表具体的信息，进行基础数据的选择。并且，定义基础数据转化为可用数据维度的SQL脚本规则。

如果是对数据表结构的数据不了解的用户，可以按照上述数据查询过程来进行查询并选择基础数据；而如果是了解数据表结构的用户，可以直接选择基础数据。

另外，由于一些复杂业务平台数据存储的复杂性，无法依据栏位名称直接识别具体的数据信息以及确定数据转化规则(例如：某一栏位数据存储为十万级以上，由于算法模型数据的维度数据需求，需将这个栏位的数据缩小十万倍，则需要人工查询具体的数据情况来制定数据转化规则)，由机器自动识别数据的出错率会比较高；比如，业务平台存储的数据为经过一些复杂算法转化得到的数据，而机器无法真正读取数据含义，则此时需要人为根据实际业务场景来判断，并对数据进行转化后，作为可用数据维度。

比如用户需要选择数据库1中的数据表1的栏位1，同时选择数据库2中的数据表2的栏位2，作为某一维度提取的基础数据。则用户勾选数据库1中的数据表1的栏位1作为基础数据1，同时勾选数据库2中的数据表2的栏位2作为基础数据2，并依据维度提取需求，采用系统定义的SQL脚本规则进行栏位数据处理，例如需要对基础数据1和基础数据2做汇总统计后，再将汇总的数据进行相除等等，最终形成这一维度需要的数据处理结果，并将SQL脚本规则对应存储到业务模型的维度管理模块，同时用户根据业务模型所选的算法模型，将当前维度与算法模型的一个或多个接口数据类型相关联，以便算法模型在调用时，能根据接口数据类型有效地提取对应的维度数据。

也就是说，选择了接口数据类型，系统则会自动调取接口数据类型对应的可用维度数据。

业务模型建立好之后，可启动业务模型，在人工智能模块调用业务模型时，系统调用对应的算法模型，算法模型依据业务模型存储的对应该算法模型各接口数据类型调用对应的维度信息，通过维度信息中的基础数据对应的数据库库名、管理员登录账户(隐藏)、登录密码(隐藏)、数据表、栏位等信息，调用基础数据(比如说某数据表的栏位1～9)，并依据业务模型存储的对应SQL脚本规则将基础数据转化为可用维度数据(转化之后的可用维度数据可以是一个或多个，同时一个可用维度数据可对应多个接口数据类型，或者，多个可用维度数据对应一个接口数据类型；对此均不作限定)，算法模型读取有效可用的维度数据，进而将可用维度数据代入算法模型中进行运算处理，得出数据处理结果，该数据处理结果作为业务分析所需要的数据，然后业务模型依据具体业务特征进行数据分析以得到业务模型最终的数据处理结果。

亦或，当业务模型选择了多个算法模型时，第一算法模型的数据处理结果可以作为第二算法模型所需的基础数据，依据业务模型为对应可用数据维度预定义的SQL脚本规则，将上述基础数据转化为适用于第二算法模型的可用维度数据，代入第二算法模型中进行运算处理，得出业务分析所需要的数据，然后业务模型依据具体业务特征进行数据分析以得到业务模型最终的数据处理结果。

需要进一步说明的是，在为业务模型选择算法模型时，可以根据业务需求选择一个或多个算法模型，而这多个算法模型，可以是并行关系，也可以是递进关系。

为了让本领域技术人员更深入了解本发明，以下作进一步的举例说明。

例如，目前有个业务需求为分析用户的交易喜好并预测未来的交易行为，以便推送相关的产品给相应用户，从而达到针对性营销的目的。

那么，基于上述分析用户喜好的数据分析方向，建立喜好算法模型和深度神经网络用户行为预测算法模型，同时定义算法模型的接口数据类型(例如：喜好算法模型的用户基本维度数据类型、用户浏览数据类型、用户交易数据类型等等)，每个接口数据类型都可以对应一个或多个业务数据的维度，具体依据不同的业务分析情况自定义选择。

喜好模型的可用维度数据是依据关联到该模型的接口数据类型的维度进行模型分析之后的数据，比如，选择数据表中的用户性别、年龄、爱好兴趣、所在地区、历史浏览记录、历史交易订单等等数据，进行模型分析运算，获得数据处理结果1；随之，该数据处理结果1作为基础数据，可以直接作为深度神经网络用户行为预测算法模型的可用维度数据，或者经过预定义的SQL脚本规则进行数据转化后成为可用维度数据，之后，将上述可用维度数据与深度神经网络用户行为预测模型的接口数据类型进行关联说明，以便深度神经网络用户行为预测算法模型后续调用喜好算法模型获得的数据处理结果进行用户行为预测分析。即，深度神经网络用户行为预测算法模型是以喜好模型的数据处理结果或将其进行数据转化后作为可用维度数据；概言之，喜好算法模型的输出数据作为基础数据，可以直接成为可用维度数据，或者，经过SQL脚本规则进行数据转化后，成为深度神经网络用户行为预测算法模型的接口所需的可用维度数据。

上述两个算法模型为递进关系。

当然，业务模型选择的多个算法模型也有可以是并列关系，当是并列关系时，多个算法模型的输出结果不存在调用关系，都是业务模型进行业务分析所需要的数据。

综上，本发明的数据走向可以分为两大流向。

第一大流向为：1，从业务平台(数据表)获取的基础数据，直接作为可用维度数据进入算法模型，或者依据SQL脚本规则转化后成为可用维度数据进入算法模型；2，从算法模型输出的数据结果，亦可以作为基础数据，经SQL脚本规则转化成可用维度数据，可以作为另一算法模型的输入数据，也可以作为业务模型的输入数据。在这一数据流向中，业务模型需要为可用维度数据定义维度名称和定义将基础数据转化为可用维度数据的SQL脚本规则，并将可用维度数据与对应算法模型的接口数据类型相关联。这样才能使得业务模型在调用算法模型时，可以通过接口数据类型获取对应的可用维度数据，并依据可用维度数据的定义，调用基础数据，然后依据SQL脚本规则将基础数据转化为可用维度数据，之后可用维度数据进入算法模型进行运算。

第二大流向为：从业务平台(数据表)获取的基础数据，直接作为可用维度数据进入业务模型，作为业务分析所需的数据，依据业务数据分析规则进行分析或运算。

需要强调说明的是，上面所述数据流向并不是分开或独立的，其实，两者是并存融合于业务模型中的，上面的数据流向说明只是为了方便本领域技术人员更好地理解本发明的方案和发明要点。

本实施例提供的基于人工智能技术的模型维度管理方法，可以作为人工智能技术的底层框架支撑技术，为平台人工智能技术的各种建模提供灵活的数据提取方法，同时，面对各种大数据数据源，本发明因其自定义和灵活性，也可以让用户根据具体的数据分析需求而有针对性、定制化地获取基础数据，进而为后续的建模运算提供强有力的有效支撑。

并且，由于它的自定义属性和灵活性，它可以作为人工智能技术的底层框架支撑技术，因此，本发明方案可以对接于各种不同的系统平台，满足于不同的业务需求，从而使得有效地减少系统开发，避免不必要的浪费。

在采用本发明方案时，根据大的业务分析方向，创建算法模型并定义算法模型的接口数据类型，对于某一具体的业务，可以依据业务特征定制对应的业务分析模型，只需要读取各业务平台的数据结构，以便后续可便捷提取相关数据；具体应用时，即可根据不同的业务需求，建立不同的业务模型，选择不同的算法模型以及业务平台的基础数据，定义业务平台数据转化的SQL脚本规则以及转化后得到的可用维度，并为可用维度选择算法模型的接口数据类型，再调用相应的基础数据进行运算，最终得到业务分析所需的数据结果。

另外需要说明的是，本领域普通技术人员可以理解：实现上述方法实施的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序指令可以存储于一计算机可读取存储介质或存储设备中，该程序指令在执行时，执行上述基于人工智能技术的模型维度管理方法的步骤；而前述存储介质或存储设备包括但不限于：ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。

因此相应地，本发明实施例还提供了一种计算机可读存储设备，存储有计算机程序，所述计算机程序被处理器执行以实现上述基于人工智能技术的模型维度管理方法。

进一步地，本发明还配套提供了一种相应的移动终端、系统来实现上述基于人工智能技术的模型维度管理方法，具体为：

一种移动终端，包括：

处理器，适于执行程序指令；

存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述基于人工智能技术的模型维度管理方法。

一种基于人工智能技术的模型维度管理系统，包括服务器；服务器包括处理器和存储设备；

处理器，适于执行程序指令；

存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述基于人工智能技术的模型维度管理方法。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于人工智能技术的模型维度管理方法，其特征在于，包括：

依据业务数据分析类型，建立算法模型，定义算法模型名称，定义算法模型接入数据的接口数据类型；

依据具体业务数据分析需求，建立业务模型，定义业务模型名称，为业务模型选择对应的算法模型，为对应算法模型的接口数据类型选择所需的可用数据维度；

调用业务模型时，调用对应的算法模型，算法模型依据对应接口数据类型，调用接口数据类型所关联的可用数据维度，并依据业务模型为对应可用数据维度预定义的SQL脚本规则将预先选择的基础数据转化为可用维度数据，将可用维度数据代入算法模型中进行运算处理，得出业务分析所需要的数据；业务模型依据具体业务特征对上述数据进行分析以得到最终的数据处理结果。

2.根据权利要求1所述的基于人工智能技术的模型维度管理方法，其特征在于，为业务模型选择对应的算法模型时，选择一个或多个算法模型，多个算法模型是并列关系或者递进关系。

3.根据权利要求2所述的基于人工智能技术的模型维度管理方法，其特征在于，当多个算法模型是并列关系时，多个算法模型的数据处理结果均作为业务模型分析所需要的数据，业务模型依据具体业务特征进行数据分析以得到最终的数据处理结果。

4.根据权利要求2所述的基于人工智能技术的模型维度管理方法，其特征在于，当多个算法模型是递进关系时，其中一个或多个算法模型的数据处理结果作为基础数据，依据业务模型预定义的SQL脚本规则，将基础数据转化为另外一个或多个算法模型的可用维度数据，代入递进关系的算法模型进行运算处理，得出业务分析所需要的数据，业务模型依据具体业务特征进行数据分析以得到最终的数据处理结果。

5.根据权利要求4所述的基于人工智能技术的模型维度管理方法，其特征在于，还包括：。

将一个或多个算法模型的数据处理结果进行维度定义或者通过预定义的SQL脚本规则进行数据转化后进行维度定义，并与递进关系的算法模型的接口数据类型进行关联说明。

6.根据权利要求4所述的基于人工智能技术的模型维度管理方法，其特征在于，还包括：

同时，其中一个或多个算法模型的数据处理结果还作为业务模型分析所需要的数据。

7.根据权利要求1所述的基于人工智能技术的模型维度管理方法，其特征在于，还包括：

将各应用平台的数据表结构信息读取到数据平台，选择相应数据表和相应栏位，通过数据平台存储的对应于各应用平台的数据库的库名、登录账户和登录密码，登录到对应的数据库，读取相应数据表和相应栏位的具体信息并展示，进行基础数据的选择。

8.一种计算机可读存储设备，存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现权利要求1至7任意一项所述的基于人工智能技术的模型维度管理方法。

9.一种移动终端，其特征在于，包括：

处理器，适于执行程序指令；

存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现权利要求1至7任意一项所述的基于人工智能技术的模型维度管理方法。

10.一种基于人工智能技术的模型维度管理系统，其特征在于，包括服务器；

服务器包括处理器和存储设备；

处理器，适于执行程序指令；

存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现权利要求1至7任意一项所述的基于人工智能技术的模型维度管理方法。