CN111240866B - 一种业务数据处理方法及装置 - Google Patents

Abstract

本申请实施例公开了一种业务数据处理方法，包括：业务中台调用预先建立的第一数据中台；第一数据中台采集第一业务数据，并对第一业务数据进行处理；基于第一数据中台的反馈，业务中台根据处理后的业务数据的类型，调用第二数据中台或第三数据中台。本申请实施例先通过第一数据中台对第一业务数据的采集与处理，之后，业务中台基于第一数据中台的反馈，是否将处理后的第一业务数据转由第二数据中台或第三数据中台处理，繁复多变的业务数据可以由不同的数据中台进行处理。

Description

一种业务数据处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种业务数据处理方法及装置。

背景技术

目前企业的业务变得越来越繁杂，企业的业务数据也随之变得越来越大，业务数据的结构也变得越来越复杂。企业如果再想单凭传统的业务数据处理方法来处理现如今繁复多变的业务数据，将无法解决当下企业中所面临的问题。

发明内容

有鉴于此，本申请实施例提供了一种业务数据处理方法及装置，用于解决现有技术的业务数据处理方法无法适应复杂的业务数据的问题。

本申请实施例采用下述技术方案：

本申请实施例提供一种业务数据处理方法，所述方法包括：

业务中台调用预先建立的第一数据中台；

所述第一数据中台采集第一业务数据，并对所述第一业务数据进行处理；

基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台；

在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理；

在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

进一步的，所述第一数据中台采集第一业务数据，并对所述第一业务数据进行处理，具体包括：

第一数据中台的数据采集层根据业务数据的类型，对业务数据进行采集，得到第一业务数据；

所述数据采集层通过数据虚拟化技术对所述第一业务数据进行处理，以便于生成不同结构类型的第二业务数据，并将所述第二业务数据发送至所述第一数据中台的数据计算层；

所述数据计算层接收到所述第二业务数据后，将不同结构类型的第二业务数据进行规范化处理，生成对应结构类型的第三业务数据。

进一步的，第二业务数据的结构类型包括结构化业务数据以及非结构化业务数据。

进一步的，若第一数据中台的反馈为，通过所述第一数据中台处理所述处理后的业务数据；

所述生成对应结构类型的第三业务数据后，所述方法还包括：

第一数据中台的数据计算层根据需求对所述第三业务数据进行分析，得出业务分析数据；

所述数据计算层将所述业务分析数据发送至所述第一数据中台的数据服务层；

所述数据服务层根据第一预设条件在所述业务分析数据中提取出第一特征数据，并根据第二预设条件对所述第一特征数据进行筛选，得出第二特征数据；

所述数据服务层根据所述第二特征数据调用内置的固定计算模型，并在所述数据服务层设置与所述固定计算模型对应的接口以及显示界面，以便于所述业务中台通过所述接口以及显示界面进行调用。

进一步的，所述第一数据中台的数据计算层根据需求对所述第三业务数据进行分析，得出业务分析数据，具体包括：

第一数据中台的数据计算层根据业务需求，应用预先设定的分析模块对批量的第三业务数据实时进行分析，得出相应的业务分析数据。

进一步的，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，具体包括：

所述第二数据中台在所述第一数据中台采集的数据中选择出业务数据样本；

所述第二数据中台根据第三预设条件在所述业务数据样本中提取第三特征数据，并根据第四预设条件对所述第三特征数据进行筛选，得出第四特征数据；

所述第二数据中台根据第四特征数据调用所述第三数据中台中预存的神经网络算法，确定出初始的第一神经网络模型；

所述第二数据中台根据预先定义的标注规则对所述业务数据样本进行标注，确定出所需的第五特征数据；

所述第二数据中台根据所述第五特征数据对初始的第一神经网络模型进行训练，确定出符合条件的第一神经网络模型。

进一步的，所述确定出符合条件的第一神经网络模型后，所述方法还包括：

所述第二数据中台根据预先定义的第一神经网络模型评价指标，判断所述第一神经网络模型是否符合规定；

在所述第二数据中台判断出所述第一神经网络模型符合规定后，在所述第二数据中台设置与所述第一神经网络模型对应接口以及显示界面。

进一步的，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，具体包括：

所述第三数据中台接收所述处理后的业务数据，根据所述处理后的业务数据调用所述第三数据中台中预存的第二神经网络模型，并在所述三数据中台设置与所述第二神经网络模型对应的接口以及显示界面。

进一步的，所述生成对应结构类型的第三业务数据后，所述方法还包括：

所述数据计算层根据第三业务数据的结构类型存储至对应的存储模块中，生成所述第三业务数据的存储地址，并将所述第三业务数据的存储地址发送至业务分析层，以便于所述业务分析层通过所述第三业务数据的存储地址调用第三业务数据。

本申请实施例还提供一种业务数据处理装置，所述装置包括：

第一调用单元，用于业务中台调用预先建立的第一数据中台；

第一处理单元，用于所述第一数据中台采集第一业务数据，并对所述第一业务数据进行处理；

第二调用单元，用于基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台；

第二处理单元，用于在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理；

第三处理单元，用于在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例先通过第一数据中台对第一业务数据的采集与处理，之后，业务中台基于第一数据中台的反馈，是否将处理后的第一业务数据转由第二数据中台或第三数据中台处理，繁复多变的业务数据可以由不同的数据中台进行处理。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例一提供的一种业务数据处理方法的流程示意图；

图2为本说明书实施例三提供了一种业务数据处理装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书实施例一提供的一种业务数据处理方法的流程示意图，具体包括：

步骤S101，业务中台调用预先建立的第一数据中台。

步骤S102，第一数据中台采集第一业务数据，并对所述第一业务数据进行处理。

步骤S103，基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台。

步骤S104，在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理。

步骤S105，在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

本申请实施例先通过第一数据中台对第一业务数据的采集与处理，之后，业务中台基于第一数据中台的反馈，是否将处理后的第一业务数据转由第二数据中台或第三数据中台处理，繁复多变的业务数据可以由不同的数据中台进行处理。

与上述实施例一对应的，本说明书实施例二提供了一种业务数据处理方法，具体包括：

步骤S201，业务中台调用预先建立的第一数据中台。

步骤S202，第一数据中台采集第一业务数据，并对所述第一业务数据进行处理。

在本说明书实施例的步骤S202中，第一数据中台将处理的业务数据发送至所述第二数据中台，具体包括：

第一数据中台的数据采集层根据业务数据的类型，应用对应的采集方式对业务数据进行采集，得到第一业务数据，具体的，业务数据采集时可以根据不同的业务类型，配置不同的传感器，并支持千兆以太网端口、Wifi、USB、RS-232、RS-422、RS485、Sata、LCD、VGA、HDMI等接口协议，本实施例并不仅限于业务数据采集，也可以对文件采集，主要通过支持Samba、Rsync、NFS、SSH、FTP等协议对文件进行采集，此外还可以利用web技术对多终端进行数据采集；

数据采集层通过数据虚拟化技术对所述第一业务数据进行处理，以便于生成不同结构类型的第二业务数据，并将所述第二业务数据发送至所述第一数据中台的数据计算层，具体的，通过虚拟化技术对第一业务数据进行处理是实现数据标准化处理，以便于生成不同结构类型的第二业务数据，其中，第二业务数据的结构类型包括结构化业务数据、半结构化数据以及非结构化业务数据，结构化数据是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理，也称作行数据，一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的，半结构化数据，是结构化数据的一种形式，虽不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，也被称为自描述的结构，非结构化数据，是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、HTML、各类报表、图像和音频/视频信息等等；

所述数据计算层接收到所述第二业务数据后，将不同结构类型的第二业务数据进行规范化处理，生成对应结构类型的第三业务数据，具体的，规范化处理是负责保证数据的准确性，所以规范化处理需要将数据按照统一格式进行数据命名，数据也需要按照规范的流程进行管理，比如，可按业务时间+业务修饰词+业务+业务属性这类的流程规范化数据。

步骤S203，基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台。

在本说明书实施例的步骤S203中，若第一数据中台的反馈为，通过所述第一数据中台处理所述处理后的业务数据；

所述生成对应结构类型的第三业务数据后，所述方法还包括：

第一数据中台的数据计算层根据需求对所述第三业务数据进行分析，得出业务分析数据，具体的，第一数据中台的数据计算层根据业务需求，应用预先设定的分析模型对批量的第三业务数据实时进行分析，得出相应的业务分析数据，预先设定的分析模型可以为Apache Flink(弗林克)，其中，实时处理是通过Apache Flink调用DataStream(数据流)API实现对第三业务数据进行准实时计算，从而实现第一数据中台延时要求较高业务相关应用的实时分析、实时展示等，如设备健康数据实时感知与分析。大数据批处理则是指对第三业务数据通过Apache Flink中的DataSet(数据集)API实现批处理，处理完的第三业务数据一般用于没有延时要求业务分析，比如，产线故障分析、生产报表分析、设备健康分析等等，生产报表的数据分析为实时监控生产环节，更好地把控生产产品质量，有效减小库存积压，降低物料损耗，产线故障分析则是为工厂需要实时关注生产线有无故障，产生故障的原因，从而排除故障，设备健康分析为对设备高度依赖的工业企业提供实时感知设备数据，保证设备能持续为企业产生经济效益；

所述数据计算层将所述业务分析数据发送至所述第一数据中台的数据服务层；

所述数据服务层根据第一预设条件在所述业务分析数据中提取出第一特征数据，并根据第二预设条件对所述第一特征数据进行筛选，得出第二特征数据，具体的，第一预设条件可以为业务需求，比如，业务需求为产线故障分析，数据服务层根据该需求在业务分析数据中提取出有关产线故障分析的第一特征数据，第二预设条件可以为某一具体时间的业务需求，比如，某一具体时间的业务需求为2019年5月的产线故障分析，根据该条件对所述第一特征数据进行筛选，得出第二特征数据，数据服务层中包括资产地图、资产管理、资产分析。资产地图使用了基于OLAP的数据查询技术框架，旨在提升数据资源利用率，包含第三业务数据的存储地址，资产管理则是负责对固定计算模型和业务分析数据进行管理，资产分析则主要提供数据可视化分析的服务，通过可视化框架Redash提供技术支持，其中，Redash支持多数据源，功能实用，体现为Query Snippet很好地解决了查询片段的复用问题；Query Parameters可以为查询添加可定制参数，使数据可视化更为灵活，其中，固定计算模型可以用于处理具有结构化信息的，有明确的业务问题和业务条件描述的问题，其算法一般有固定的结构和参数(输入输出等)，如线性规划、二次规划、整数规划等；

所述数据服务层根据所述第二特征数据调用内置的固定计算模型，并在所述数据服务层设置与所述固定计算模型对应的接口以及显示界面，以便于所述业务中台通过所述接口以及显示界面进行调用。

步骤S204，在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理。

在本说明书实施例的步骤S204中，所述第二数据中台在所述第一数据中台采集的数据中选择出业务数据样本，具体的，按照业务需要在所述第一数据中台采集的数据中选择出业务数据样本，比如，需要针对衣服进行风格识别的业务需求时，业务数据样本可以是从第一数据中台中选取衣服相关的数据；

所述第二数据中台根据第三预设条件在所述业务数据样本中提取第三特征数据，并根据第四预设条件对所述第三特征数据进行筛选，得出第四特征数据，具体的，第三预设条件可以为业务需求，比如，业务需求为产线故障分析，数据服务层根据该需求在业务分析数据中提取出有关产线故障分析的第三特征数据，第四预设条件可以为某一具体时间的业务需求，比如，某一具体时间的业务需求为2019年5月的产线故障分析，根据该条件对所述第三特征数据进行筛选，得出第四特征数据；

所述第二数据中台根据第四特征数据调用所述第三数据中台中预存的神经网络算法，确定出初始的第一神经网络模型，具体的，神经网络算法包括SVD分解、协方差、数学期望等常用数学函数或者公式，为实现算法提供快速支持，并囊括了通用的机器学习与深度学习算法，比如，梯度下降、贝叶斯、KNN等；

所述第二数据中台根据预先定义的标注规则对所述业务数据样本进行标注，确定出所需的第五特征数据，具体的，预先定义的标注规则可以为预先定义需要标注的内容，标注所有属于业务指定类别的内容，若是预先定义需要标注内容的尺寸太小，或者预先定义需要标注内容的可见范围只有10％到25％，或者图片内预先定义需要标注内容过多，将无须进行标注，比如，业务需要识别小动物(主要为猫狗兔子之类)、识别人、还有车，然后需要标注的内容就是小动物、人与车，其中，若是图像数据中需要标注的内容太小，几乎识别不出来了，就不标注，或者是存在遮挡的情况，即整个图片可能只有人的一半能看到或者只有一只手看到的话，也就属于可见范围太小不标注，此外，对所述业务数据样本进行标注也可以进行人工标注；

所述第二数据中台根据所述第五特征数据对初始的第一神经网络模型进行训练，确定出符合条件的第一神经网络模型，具体的，对初始的第一神经网络模型进行训练可以采用迭代优化方法，可以逐渐调整第一神经网络模型的参数以获得最小的损失函数。

进一步的，在本说明书实施例的步骤S204中，确定出符合条件的第一神经网络模型后，所述方法还包括：

所述第二数据中台根据预先定义的第一神经网络模型评价指标，判断所述第一神经网络模型是否符合规定，具体的，预先定义的第一神经网络模型评价指标可以为根据不同业务数据需求定义的评价指标；

在所述第二数据中台判断出所述第一神经网络模型符合规定后，在所述第二数据中台设置与所述第一神经网络模型对应接口以及显示界面，具体的，在判断出所述第一神经网络模型符合规定后，还需要实现服务智能编排，服务智能编排可以实现针对不同的服务，采取不同的组合方式，智能调度资源，合理编排服务，从而做到迅速响应服务请求。

步骤S205，在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

在本说明书实施例的步骤S205中，第三数据中台接收所述处理后的业务数据，根据所述处理后的业务数据调用所述第三数据中台中预存的第二神经网络模型，并在所述三数据中台设置与所述第二神经网络模型对应的接口以及显示界面。

其中，第二神经网络模型则是根据常用业务沉淀出来的，主要有物体识别、目标跟踪、时间序列分析、实例分割、分类/聚类、回归预测等等模型，比如物体识别可用于监控电站前线工作人员的着装，检测是否佩戴安全帽，违禁区域入侵的实时安全警报等；分类/聚类则可用于时尚行业的服装图案分类，服装轮廓分类等；时间序列分析主要用于对具有按时间先后顺序发生特点的工业数据进行预测，如可以用于电力预测；回归预测则可以用来对设备状态预测，使得设备可以及时得到维护，保持高效运转，本实施例只是简单列举了其中一些常用模型的典型应用场景，但本申请实施例并不限于此。第三数据中台的工作主要是把机器学习与深度学习经常用到的数学工具、学习算法、模型提炼到第一神经网络模型中，这样针对通用的业务时就可以起到快速复用效果，从而加快响应业务速度。

需要说明的是，业务前台包括订单追溯、精益工时、设备完整性、产品生命周期追溯等工业业务，订单追溯业务一来可以让企业更好的分析合作企业的订单需求，二来是更好把控生产每一个环节的质量问题；精益工时则是针对工业制作业人员流动性大的特点，结合精益生产理论，为工厂提供全面、实时的智能工时管理解决方案，高度集成工时与考勤管理，此业务可以起到降低人力成本，提高作业效率，为数据提供实时决策的作用；设备完整性业务通过对机器设备进行实时异常检测，从而实现故障预测，进而排除生产可能存在的安全隐患，保证设备运转效率；产品生命周期追溯是指对人、机、料、法不同维度的追溯，主要实现质量追溯、物料追溯、责任人追溯。这些业务都是为了解决工业企业交付达成率低、产品质量波动、设备和工人效率低下、物料损耗严重、生产过程无法追溯等等问题。虽然在本实施例只是提及了这几个工业业务，但本申请实施例的业务利用范围并不限于此。简而言之，业务前台的工作是针对工业业务需求有根据地调用第一业务数据中台、第二业务数据中台以及第三业务数据中台中一个或多个。

目前企业的业务变得越来越繁杂，企业的业务数据也随之变得越来越大，业务数据的结构也变得越来越复杂。企业如果再想单凭传统的业务数据处理方法来处理现如今繁复多变的业务数据，将无法解决当下企业中所面临的问题。

首先是由于数据量变得巨大，结构变得复杂而造成的数据存储成本问题；其次是繁杂多变的业务需求所要求的敏捷开发与后台为控制成本需要保持结构稳定的冲突问题；再就是在数据庞杂情况下，快速响应用户个性化需求的问题；最后就是企业为了迅速响应业务需求不得不面对的数据治理问题。数据治理一般是解决企业业务繁杂多变而数据结构多样、数据量巨大、数据质量差的问题。这些问题在信息化参齐不齐的工业企业更为普遍。而要解决以上问题的话，就需要做好有价值的业务智能模型，而这又离不开高质量、高复用的、高可用的、全域的智能数据中台。然而现在国内的情况是除了一些互联网巨头公司以及数据处理相关公司根据自身业务情况构建了适合自身企业的数据中台，大多数企业还没有构建属于自己的数据中台，有些企业甚至连数据中台的概念都不是十分清晰。其实无论从国家战略层面来看，还是从企业自身发展战略来看，企业都需要构建一套属于自身的中台。

本申请实施例通过利用第一业务数据中台对业务数据进行处理之后，这就可以很好地解决业务数据存在的数据源多样化，协议不统一，时序性，闭环性，强关联性，实时性以及准确性要求更高的问题。

此外，本申请实施例是针对智能工业中台及构建方法方面的，但是由于把常用和通用的算法库统一提炼到第二业务数据中台，统一提供调用接口。这种结构在应用领域保留了很好的可移植性、可扩展性，可以迅速为其他领域构建适用的中台系统。这表明利用本申请实施例，不仅可以有针对性地构建适合本企业的中台，还可以帮助其他企业构建适合他们自身的企业，具备了输出中台能力。

本申请实施例先通过第一数据中台对第一业务数据的采集与处理，之后，业务中台基于第一数据中台的反馈，是否将处理后的第一业务数据转由第二数据中台或第三数据中台处理，繁复多变的业务数据可以由不同的数据中台进行处理。

与上述实施例二对应的，图2为本说明书实施例三提供了一种业务数据处理装置的结构示意图，具体包括：第一调用单元1、第一处理单元2、第二调用单元3、第二处理单元4、第三处理单元5。

第一调用单元1用于业务中台调用预先建立的第一数据中台。

第一处理单元2用于所述第一数据中台采集第一业务数据，并对所述第一业务数据进行处理。

第二调用单元3用于基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台。

第二处理单元4用于在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理。

第三处理单元5用于在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

本申请实施例先通过第一数据中台对第一业务数据的采集与处理，之后，业务中台基于第一数据中台的反馈，是否将处理后的第一业务数据转由第二数据中台或第三数据中台处理，繁复多变的业务数据可以由不同的数据中台进行处理。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种业务数据处理方法，其特征在于，所述方法包括：

业务中台调用预先建立的第一数据中台；

所述第一数据中台采集第一业务数据，并对所述第一业务数据进行处理，具体包括：

第一数据中台的数据采集层根据业务数据的类型，对业务数据进行采集，得到第一业务数据；

所述数据采集层通过数据虚拟化技术对所述第一业务数据进行处理，以便于生成不同结构类型的第二业务数据，并将所述第二业务数据发送至所述第一数据中台的数据计算层；

所述数据计算层接收到所述第二业务数据后，将不同结构类型的第二业务数据进行规范化处理，生成对应结构类型的第三业务数据；

若第一数据中台的反馈为，通过所述第一数据中台对处理后的业务数据进行处理；

所述生成对应结构类型的第三业务数据后，所述方法还包括：

第一数据中台的数据计算层根据需求对所述第三业务数据进行分析，得出业务分析数据；

所述数据计算层将所述业务分析数据发送至所述第一数据中台的数据服务层；

所述数据服务层根据第一预设条件在所述业务分析数据中提取出第一特征数据，并根据第二预设条件对所述第一特征数据进行筛选，得出第二特征数据；

所述数据服务层根据所述第二特征数据调用内置的固定计算模型，并在所述数据服务层设置与所述固定计算模型对应的接口以及显示界面，以便于所述业务中台通过所述接口以及显示界面进行调用；

基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台；

在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理；

在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

2.根据权利要求1所述的业务数据处理方法，其特征在于，第二业务数据的结构类型包括结构化业务数据以及非结构化业务数据。

3.根据权利要求1所述的业务数据处理方法，其特征在于，所述第一数据中台的数据计算层根据需求对所述第三业务数据进行分析，得出业务分析数据，具体包括：

第一数据中台的数据计算层根据业务需求，应用预先设定的分析模块对批量的第三业务数据实时进行分析，得出相应的业务分析数据。

4.根据权利要求1所述的业务数据处理方法，其特征在于，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，具体包括：

所述第二数据中台在所述第一数据中台采集的数据中选择出业务数据样本；

所述第二数据中台根据第三预设条件在所述业务数据样本中提取第三特征数据，并根据第四预设条件对所述第三特征数据进行筛选，得出第四特征数据；

所述第二数据中台根据第四特征数据调用所述第三数据中台中预存的神经网络算法，确定出初始的第一神经网络模型；

所述第二数据中台根据预先定义的标注规则对所述业务数据样本进行标注，确定出所需的第五特征数据；

所述第二数据中台根据所述第五特征数据对初始的第一神经网络模型进行训练，确定出符合条件的第一神经网络模型。

5.根据权利要求4所述的业务数据处理方法，其特征在于，所述确定出符合条件的第一神经网络模型后，所述方法还包括：

所述第二数据中台根据预先定义的第一神经网络模型评价指标，判断所述第一神经网络模型是否符合规定；

在所述第二数据中台判断出所述第一神经网络模型符合规定后，在所述第二数据中台设置与所述第一神经网络模型对应接口以及显示界面。

6.根据权利要求1所述的业务数据处理方法，其特征在于，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，具体包括：

所述第三数据中台接收所述处理后的业务数据，根据所述处理后的业务数据调用所述第三数据中台中预存的第二神经网络模型，并在所述三数据中台设置与所述第二神经网络模型对应的接口以及显示界面。

7.根据权利要求1所述的业务数据处理方法，其特征在于，所述生成对应结构类型的第三业务数据后，所述方法还包括：

所述数据计算层根据第三业务数据的结构类型存储至对应的存储模块中，生成所述第三业务数据的存储地址，并将所述第三业务数据的存储地址发送至业务分析层，以便于所述业务分析层通过所述第三业务数据的存储地址调用第三业务数据。

8.一种业务数据处理装置，其特征在于，所述装置包括：

第一调用单元，用于业务中台调用预先建立的第一数据中台；

第一处理单元，用于所述第一数据中台采集第一业务数据，并对所述第一业务数据进行处理，具体包括：第一数据中台的数据采集层根据业务数据的类型，对业务数据进行采集，得到第一业务数据；所述数据采集层通过数据虚拟化技术对所述第一业务数据进行处理，以便于生成不同结构类型的第二业务数据，并将所述第二业务数据发送至所述第一数据中台的数据计算层；所述数据计算层接收到所述第二业务数据后，将不同结构类型的第二业务数据进行规范化处理，生成对应结构类型的第三业务数据；若第一数据中台的反馈为，通过所述第一数据中台对处理后的业务数据进行处理；所述生成对应结构类型的第三业务数据后，还包括：第一数据中台的数据计算层根据需求对所述第三业务数据进行分析，得出业务分析数据；所述数据计算层将所述业务分析数据发送至所述第一数据中台的数据服务层；所述数据服务层根据第一预设条件在所述业务分析数据中提取出第一特征数据，并根据第二预设条件对所述第一特征数据进行筛选，得出第二特征数据；所述数据服务层根据所述第二特征数据调用内置的固定计算模型，并在所述数据服务层设置与所述固定计算模型对应的接口以及显示界面，以便于所述业务中台通过所述接口以及显示界面进行调用；

第二调用单元，用于基于第一数据中台的反馈，所述业务中台根据所述处理后的业务数据的类型，调用第二数据中台或第三数据中台；

第二处理单元，用于在调用所述第二数据中台的情况下，所述第二数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的神经网络算法，对来自所述第一数据中台采集的数据进行训练，得到训练好的第一神经网络模型，并由所述第一神经网络模型对所述处理后的业务数据进行处理；

第三处理单元，用于在调用所述第三数据中台的情况下，所述第三数据中台根据所述处理后的业务数据，调用所述第三数据中台中预存的第二神经网络模型，并由所述第二神经网络模型对所述处理后的业务数据进行处理。

Images