CN113282356A

CN113282356A - 一种实时执行本地分布式分析的方法、系统及存储介质

Info

Publication number: CN113282356A
Application number: CN202110666694.2A
Authority: CN
Inventors: 刘俊伟
Original assignee: Terra It Technology Beijing Co ltd
Current assignee: Terry Digital Technology Beijing Co ltd
Priority date: 2021-06-16
Filing date: 2021-06-16
Publication date: 2021-08-20
Anticipated expiration: 2041-06-16
Also published as: CN113282356B

Abstract

本发明公开了一种实时执行本地分布式分析的方法、系统及存储介质，第一步，对分布式数据处理环境中的设备进行控制操作，第二步，实现数据输入从满足分布式数据处理环境中的设备的数据模型到满足分布式数据处理环境中的数据处理模型的转换，第三步，对从分布式数据处理环境中的设备获取到的数据执行分布式计算，第四步，为分布式数据处理环境中的设备动态设置数据模型，第五步，分布式数据处理环境中的设备的数据模型进行自学习操作，第六步，对数据输入的异常情况进行响应，第七步，对分布式数据处理环境中的设备的数据模型进行参数更新。本发明可以解决分布式数据处理环境下数据源与数据处理模型不匹配的问题并提高实时数据处理的精度。

Description

一种实时执行本地分布式分析的方法、系统及存储介质

技术领域

本发明属于互联网技术领域，尤其是涉及一种实时执行本地分布式分析的方法、系统及存储介质。

背景技术

伴随着信息价值的不断增长，个人和企业也在不停地寻找合适的方法来处理和存储信息，其中一个方法就是借助信息处理系统。信息处理系统通常对信息进行处理、存储、传递，由此使用户能够利用信息的价值。由于实现技术和信息处理需求的差异，不同的信息处理系统在所处理的信息、处理信息的方式、对信息进行处理、存储、传递的速度和收费标准上都有不同。信息处理系统由多个可以对信息进行处理、存储、传递的硬件和软件组成，包括一个或多个计算机系统、数据存储系统和网络系统。

因为信息处理系统需要处理的数据量越来越大，用户对信息处理的速度要求越来越高，针对大数据的分布式信息处理系统应运而生，因此对在逻辑上位于信息和信息处理模型之间的数据验证的需求也在不断增加。举例说明，如果一个连接到了网关的传感器产生的数据流里包含浮点温度的数据和具有局部标准化日期时间戳的数据，而对该传感器产生的数据进行处理的模型对输入数据的类型和格式有特定的要求，此时数据源数据和数据处理模型不匹配的问题将导致处理模型将产生错误的结果。然而，当前针对大数据的分布式数据处理系统较多研究如何更好地管理实时的数据需求和数据的可扩展性问题，对数据验证则较少关注。

发明内容

针对以上所述的技术问题，本发明提供了一种实时执行本地分布式分析的方法、系统及存储介质，发明目的在于解决分布式数据处理环境下数据源数据与数据处理模型不匹配的问题。

为实现上述目的，本发明通过如下技术方案来实现：

一种实时执行本地分布式分析的方法，具体包括如下步骤：

S1、对分布式数据处理环境中的设备进行控制操作。

S2、实现数据输入从满足分布式数据处理环境中的设备的数据模型到满足分布式数据处理环境中的数据处理模型的转换。

具体的，S2包括如下步骤：

S21、通过设备的数据模型对从分布式数据处理环境下设备获取的输入数据进行处理；

S22、验证经上述S21处理得到的输入数据是否满足分布式数据处理环境下数据处理模型对输入数据的要求；

S23、对经步骤S21处理得到的输入数据进行转换处理以满足分布式数据处理环境下数据处理模型对输入数据的要求。

S3、对从分布式数据处理环境中的设备获取到的数据执行分布式计算。

具体的，S3包括如下步骤：

S31、确定要对从分布式数据处理环境中的设备获取到的数据执行的计算任务；

S32、把S31中所述计算任务分解成多个任务单元，并分别执行任务单元得到对应的计算结果；

S33、对S32中多个任务单元的计算结果进行合并操作，得到S31中所述计算任务的结果。

S4、为分布式数据处理环境中的设备动态设置数据模型。

S5、分布式数据处理环境中的设备的数据模型进行自学习。

具体的，S5包括如下步骤：

S51、分布式数据处理环境下设备的数据模型依靠分布式数据处理环境下从设备获取的数据进行模型参数的调节；

S52、对分布式数据处理环境下设备的数据模型进行优化操作；

S53、存储使分布式数据处理环境下数据处理模型取得最优结果所对应的设备的数据模型及参数。

S6、对数据输入的异常情况进行响应操作。

S7、对分布式数据处理环境中的设备的数据模型进行更新。

本发明还提供了一种实时执行本地分布式分析的系统，包括以下模块：

第一模块，用于实现信息处理系统，对分布式数据处理环境下的设备进行控制操作；

第二模块，用于从分布式数据处理环境下的各种设备获取数据；

第三模块，用于对从分布式数据处理环境下的各种设备获取到的数据进行处理和分布式计算，包括以下单元：

第一单元，用于实现数据输入从满足分布式数据处理环境中的设备的数据模型到满足分布式数据处理环境中的数据处理模型的转化；

第二单元，用于对从分布式数据处理环境中的设备获取到的数据执行分布式计算；

第三单元，用于为分布式数据处理环境中的设备动态设置数据模型、用于设备的数据模型进行自学习操作、用于对分布式数据处理环境中的设备的数据模型进行更新；

第四单元，用于响应数据输入的异常情况。

与现有技术相比，本发明的有益效果如下所述：

1、本发明公开的一种实时执行本地分布式分析的方法，通过对从分布式数据处理环境中的不同设备获取到的数据执行实时分布式计算，进而满足用户对信息处理的需求，同时能够提高信息处理系统实时数据处理的精度。

2、本发明公开的一种实时执行本地分布式分析的方法，根据分布式数据处理环境动态适应设备的数据模型到其对应的数据源数据，并对数据模型进行更新，可以解决数据源数据与数据处理模型不匹配的问题。

附图说明

图1为本发明提供的一种实时执行本地分布式分析的方法的流程图。

图2为本发明S2中，实现数据输入从满足分布式数据处理环境中的设备的数据模型到满足分布式数据处理环境中的数据处理模型的转化的流程图。

图3为本发明S3中，对从分布式数据处理环境中的设备获取到的数据执行分布式计算的流程图。

图4为本发明S5中，分布式数据处理环境中的设备的数据模型进行自学习操作的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，本发明提供的一种实时执行本地分布式分析的方法，具体包括如下步骤：

S1、对分布式数据处理环境中的设备进行控制操作；

S2、实现数据输入从满足分布式数据处理环境中的设备的数据模型到满足分布式数据处理环境中的数据处理模型的转换；

S3、对从分布式数据处理环境中的设备获取到的数据执行分布式计算；

S4、为分布式数据处理环境中的设备动态设置数据模型；

S5、分布式数据处理环境中的设备的数据模型进行自学习操作；

S6、对数据输入的异常情况进行响应操作；

S7、对分布式数据处理环境中的设备的数据模型进行更新。

进一步的，在步骤S1中，针对大数据的分布式信息处理系统通过网络与分布式数据处理环境下不同的设备相连且对这些设备发送控制信息，同时获取这些设备产生的数据。其中，针对大数据的分布式信息处理系统可以在包括计算机、平板电脑、手机、PDA等能展示用户操作界面的设备上实现，分布式数据处理环境下的设备可以包含以下各种设备中的任一种或几种：计算机、摄像头、投影仪、传感器等能够进行数据收集的设备。

进一步的，在步骤S2中，分布式数据处理环境下不同的数据源设备对应有不同的数据模型用来对数据源数据进行处理，例如在一个简单的连通家庭示例中，相关应用程序可以访问包括房间、楼层、设备位置、设备功能等的数据模型，但经这些数据模型处理后的数据源数据可能还不能直接满足分布式数据处理环境下数据处理模型对输入数据的要求，例如数据格式、数据类型不满足输入要求，或数据超过规定的取值范围，因此需要在该步骤对数据进行转换处理来实现数据输入从满足分布式数据处理环境中的设备的数据模型到满足分布式数据处理环境中的数据处理模型的转换。

具体的，参考图2，S2包括如下步骤：

S22、验证经S21处理得到的输入数据是否满足分布式数据处理环境下数据处理模型对输入数据的要求；

S23、对经步骤S21处理得到的输入数据进行转化操作以满足分布式数据处理环境下数据处理模型对输入数据的要求。

进一步的，在步骤S3中，该步骤对从分布式数据处理环境下不同设备采集到的数据进行分布式计算，以此来得到用户想要的计算结果同时实现分布式数据处理环境下数据的价值，分布式计算简单来说，是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算，然后再对各个小计算任务的结果进行汇总处理，其目的在于分析计算海量的数据，具体的，可以通过部署开源的分布式系统基础结构Hadoop，实现对从分布式数据处理环境下不同设备采集到的数据进行分布式存储和分布式计算，具有可靠性高、处理速度快、成本低廉等优点。

具体的，参看图3，S3包括如下步骤：

S32、把S31中计算任务分解成多个任务单元，并分别执行任务单元得到对应的计算结果；

S33、对S32中多个任务单元的计算结果进行合并操作，得到S31中计算任务的结果。

进一步的，在步骤S4中，分布式数据处理环境下的同一数据源设备可以匹配不只一个数据模型来对数据源数据进行处理，同一个数据模型也可以设置不同的模型参数，而当经过不同的数据模型处理后得到的数据源数据再次作为分布式数据处理环境下的数据处理模型的输入数据时，会得到不同的数据处理结果，因此为了寻找使分布式数据处理环境下的数据处理模型取得最优结果所对应的数据源设备的数据模型，本发明依据从数据源设备采集到的不同数据源数据为分布式数据处理环境下的数据源设备的数据模型设置不同的模型参数选择。

进一步的，在步骤S5中，上述设备的数据模型的自学习依靠分布式数据处理环境中的数据源数据进行数据模型参数的调节并进行模型参数的优化操作来实现，优化操作首先对同一设备选取不同数据模型、或同一数据模型选取不同参数的情况所对应的分布式数据处理环境下数据处理模型的结果进行评分，接着，取得较优结果的数据处理模型所对应的数据模型和参数将被记录下来以为将来处理相同或类似的数据源数据提供参考，即当分布式数据处理环境再次处理此类数据时选择对应的已经被记录的数据模型或数据模型参数会取得较优的数据处理结果。

具体的，参考图4，S5包括如下步骤：

S51、分布式数据处理环境下设备的数据模型依靠分布式数据处理环境下从设备获取的数据进行数据模型参数调节；

其中，对数据模型的优化操作可以通过例如支持向量机算法、K近邻算法、朴素贝叶斯优化算法等机器学习算法来实现，机器学习所研究的主要是关于在计算机上从数据中产生模型的算法，即学习算法，有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型，在面对新情况时，该模型会给我们提供相应的判断，下面通过举例的方式对数据模型的优化过程进行说明，假如对于分布式数据处理环境下的数据处理模型的数据处理结果只有好和坏两种情况，即机器学习算法要解决二分类的问题，首先依据分布式数据处理环境下海量的数据能够构造训练数据集，该训练数据集包括上述的数据模型的不同参数，以及与参数对应的数据处理模型的数据处理结果，接着通过该训练数据集对机器学习算法进行训练，使其学到数据模型的不同参数与数据处理模型的数据处理结果之间的内在联系，然后当数据模型选择新的参数时机器学习算法能够判断出数据处理模型的数据处理结果的好坏，最后将数据处理模型的数据处理结果是好的模型参数记录下来为将来处理相同或类似的数据源数据提供参考。

进一步的，在步骤S6中，在分布式数据处理环境下通过比较正确的输入选择和数据路由对数据输入错误进行响应。其中，数据输入错误包括数据丢失、数据改变、数据模型参数更新等。

进一步的，在步骤S7中，根据所述步骤S5中分布式数据处理环境下设备的数据模型自学习得到的结果对模型和参数进行更新，由此在将来处理相同或类似数据源数据时分布式数据处理环境下的数据处理模型会取得比较优的结果，提高分布式数据处理环境下数据处理的精度。

本发明还提供了一种实时执行本地分布式分析的系统，包括如下模块：

第四单元，用于响应数据输入的异常情况。

本发明还提供一种储存介质，其中储存有一种实时执行本地分布式分析的系统所述的系统可执行的指令，所述指令在由一种实时执行本地分布式分析的系统包括的处理器执行是用于实现如上任一项所述的一种实时执行本地分布式分析的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本领域内的技术人员应明白，本发明的前述方法实施例可实现为计算机程序产品。因此，本发明例如可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种实时执行本地分布式分析的方法，其特征在于，包括如下步骤：

S1、对分布式数据处理环境中的设备进行控制操作；

S4、为分布式数据处理环境中的设备动态设置数据模型；

S6、对数据输入的异常情况进行响应操作；

S7、对分布式数据处理环境中的设备的数据模型进行更新。

2.根据权利要求1所述的一种实时执行本地分布式分析的方法，其特征在于，S2包括如下步骤：

S23、对经上述S21处理得到的输入数据进行转换处理以满足分布式数据处理环境下数据处理模型对输入数据的要求。

3.根据权利要求1所述的一种实时执行本地分布式分析的方法，其特征在于，S3包括如下步骤：

4.根据权利要求1所述的一种实时执行本地分布式分析的方法，其特征在于，S5包括如下步骤：

S51、所述设备的数据模型依靠分布式数据处理环境下从设备获取的数据进行模型参数调节；

5.根据权利要求1所述的一种实时执行本地分布式分析的方法，其特征在于，S6所述数据输入的异常情况至少包括下列中的一种：数据丢失、数据调节、数据模型参数更新。

6.一种实时执行本地分布式分析的系统，其特征在于，包括如下模块：

第四单元，用于响应数据输入的异常情况。

7.一种存储介质，其中存储有权利要求6所述的系统可执行的指令，其特征在于，所述指令在由权利要求6所述的系统包括的处理器执行时用于实现如权利要求 1-5任一项所述的一种实时执行本地分布式分析的方法。