CN112052149A - 一种大数据信息采集系统及使用方法 - Google Patents

Abstract

本发明提供了一种大数据信息采集系统及使用方法，包括处理器、客户端、采集器和各个数据传感器，处理器配置为执行以下操作的指令：确定要在特定客户端上监视数据以指示事件；并响应于该确定：接收代表在特定客户端处收集的多个输入或数据传感器测量值的多个数据集；使用训练有素的机器学习模型处理多个数据集以生成与事件的预测风险相对应的结果，并在显示设备上输出结果。本发明通过将包括通信统计信息的输入数据集输入到训练后的机器学习模型，并基于结果确定满足警报条件，对特定数据或者传输规则进行报警，有效保证数据进行采集或者转换等功能时能够报警，实现对数据在传输的过程中能够有效的进行监管，提高整个传输过程的安全性。

Description

一种大数据信息采集系统及使用方法

技术领域

本发明涉及数据采集技术领域，尤其涉及一种大数据信息采集系统及使用方法。

背景技术

现阶段工业所使用的传输控制器或传输控制卡及其控制模式，只支持对执行机构进行信号输出或反馈接收的单闭环或开环的操作功能，即在一个命令的执行过程中，数据一旦产生到命令被实现后立刻消失，控制器没有提供保存和分析相关部件的传输数据的机制，不能对机器设备进行故障时间和发生概率的预测，同时也不支持与工业大数据中心的数据交互。

如CN109040203A现有技术公开了一种基于大数据的信息采集系统，在数据进行远程传输信息和监管服务，虽然降低了人力的投入，但是取法对数据的监管，使得所述数据在传输的过程中极易造成丢失，无法精准应对大量数据的传输的工作。另一种典型的如US20150120777A1的现有技术公开的一种使用触觉反馈挖掘数据的系统和方法；和再来看如WO2015061689A1的现有技术公开的一种使用信息反馈挖掘数据的系统和方法，传统的设备终端数据传输为单项传输，数据协议复杂，大量带宽被无意义的结构化数据信息占用，同时，有很多无用功浪费在研究与封装上面，还存在终端的数据无法实时采集，无法使得数据无法大量且快速的进行传输，还大量带宽被无意义的结构化数据信息占用。

为了解决本领域普遍存在无法实现数据的交互、极易造成数据的丢失、无法精准传输、无法处理大量的数据和缺乏监控等等问题，作出了本发明。

发明内容

本发明的目的在于，针对目前数据采集所存在的不足，提出了一种大数据信息采集系统及使用方法。

为了克服现有技术的不足，本发明采用如下技术方案：

一种大数据信息采集系统，包括处理器、客户端、采集器和各个数据传感器，所述处理器配置为执行以下操作的指令：确定要在特定客户端上监视数据以指示事件；并响应于该确定：接收代表在特定客户端处收集的多个输入或数据传感器测量值的多个数据集；使用训练有素的机器学习模型处理多个数据集以生成与事件的预测风险相对应的结果，并在所述显示设备上输出结果。

可选的，所述多个数据集包括标识特定所述客户端所位于的多个位置的位置数据，处理多个所述数据集包括：标识多个基础数据；特定客户端经常位于的位置区域；使用位置数据确定指示该特定客户端在多个基本位置区域之外的时间变量；并将包括时间变量的输入数据集输入到训练后的机器学习模型，处理多个所述数据集包括：使用所述多个数据集，确定表征与所述特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型。

可选的，所述采集器包括网络设备、云计算机、存储器和可执行指令，所述可执行指令存储在所述存储器中，所述处理器被配置为访问至少一个所述存储器并执行所述计算机可执行指令以：接收输入数据；以及至少部分地基于多个分类标准对输入数据进行分类以获得分类的输入数据；至少部分地基于以下至少一项来确定基于云的数据处理功能的第一部分，以从多个云计算机传输到网络设备中：分类的输入数据；多个网络特征；采集网络或网络路径中的多个设备特征；将基于云的数据处理功能的第一部分从多个云计算机传输到网络设备，以在网络设备获得传输的数据处理功能；在第一网络设备上，使用采集的数据处理功能处理输入数据的至少一个子集。

可选的，所述处理器被配置为通过执行所述计算机可执行指令以确定所述输入数据的量超过阈值来对所述输入数据进行分类，所述处理器被进一步配置为执行计算机可执行指令以：至少部分地响应于确定输入数据的数量超过阈值，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的一个子集发送到多个云计算机中以进行其他数据处理。

可选的，所述处理器还被配置为执行所述计算机可执行指令以：确定网络等待时间超过阈值等待时间；以及部分地响应于确定网络等待时间超过阈值等待时间，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的至少一个子集发送到多个云计算机中以进行数据的处理。可选的，

另外，本发明提供一种大数据信息使用方法，所述使用方法包括：使用多个所述数据集，确定表征与特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型；所述通信统计量包括：多个采集或多个外发采集的计数；以及多个采集的持续时间统计；多个外发采集的长度统计；与多个采集或多个传出采集正在与之通信的多个不同数据采集有关的子集多样性统计；多个所述数据集包括表征所述特定客户端的各个所述数据传感器的数据，处理多个所述数据集包括：基于所述数据传感器测量值，生成传输统计量代表特定客户端的持续时间、强度或移动频率；将包括通信统计信息的输入数据集输入到训练后的机器学习模型，基于结果确定满足警报条件；以及作为确定满足警报条件的结果，将结果发送到另一客户端。

可选的，所述使用方法还包括：所述客户端基于多个用户的数据来访问用户分类模型；以及其中确定要在特定客户端处监视数据以预测事件的步骤包括：由另一客户端使用用户分类模型将用户分类为用户组；另一客户端至少部分地基于对用户进行分类的用户组来选择训练有素的机器学习模型，由另一所述客户端在多个所述用户的数据的至少一部分上执行功能以产生组表达；以及所述另一客户端将所述组表达式映射到N维空间；所述另一客户端将所述组表达式所包围的区域分类为用户组。

本发明所取得的有益效果是：

1.通过将输入数据分为针对实时数据流的第一部分和针对非实时数据流的第二部分表示在网络上执行的多路径处理的形式，保证数据在传输或者采集的过程中，能够进行大量数据采集和存储，提高整个系统对大量数据的高效的采集；

2.通过确定输入数据的量超过阈值，阀值包括数据最多的阀值量，则这触发基于云的功能向存储器的迁移以及对基于云的功能的选择，输入数据的某些部分，使用迁移的功能在存储器进行处理；

3.通过在网络高延迟的情况下，使用迁移功能在存储器处理的输入数据可能是需要实时分析的数据，在采集网络中，执行迁移的功能的存储器设备可能比云计算机更靠近数据源，从而消除了如果将数据直接发送给高延迟会导致的处理延迟，由从采集网络迁移到存储器的功能执行的处理包括数据清理、数据过滤、数据标准化、数据转换、数据汇总、数据分析或任何其他合适形式的数据处理；

4.通过将包括通信统计信息的输入数据集输入到训练后的机器学习模型，并基于结果确定满足警报条件，使得使用者能够根据报警或者数据的采集或者传输的过程进行采集，对特定数据或者传输规则进行报警，有效保证数据进行采集或者转换等功能时能够报警，实现对数据在传输的过程中能够有效的进行监管，提高整个传输过程的安全性；

5.通过采用客户端在多个用户的数据的至少一部分上执行功能以产生组表达，保证各个客户端在进行数据传输或者采集的过程中，能够对各个客户端进行分配保证在进行采集的过程中，不会存在数据之间的传输进行相互的干扰，有效的提高与采集器进行连接的各个客户端的数据交互的高效。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1为所述采集装置的结构示意图。

图2为所述采集系统的应用场景示意图。

图3为所述采集系统的控制流程示意图。

图4为采集数据的控制流程示意图。

图5为所述采集器的控制流程示意图。

图6为所述处理器处理数据的控制流程示意图。

图7为所述采集网络的控制流程示意图。

附图标号说明：1-显示装置；2-输出端口；3-控住面板；4-采集端口；5-采集装置本体。

具体实施方式

为了使得本发明的目的.技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统.方法和/或特征将变得显而易见。旨在所有此类附加的系统.方法.特征和优点都包括在本说明书内.包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”.“下”.“左”.“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位.以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一：一种大数据信息采集系统，包括处理器、客户端、采集器和各个数据传感器，所述处理器配置为执行以下操作的指令：确定要在特定客户端上监视数据以指示事件；并响应于该确定：接收代表在特定客户端处收集的多个输入或数据传感器测量值的多个数据集；使用训练有素的机器学习模型处理多个数据集以生成与事件的预测风险相对应的结果，并在所述显示设备上输出结果；所述多个数据集包括标识特定所述客户端所位于的多个位置的位置数据，处理多个所述数据集包括：标识多个基础数据；特定客户端经常位于的位置区域；使用位置数据确定指示该特定客户端在多个基本位置区域之外的时间变量；并将包括时间变量的输入数据集输入到训练后的机器学习模型，处理多个所述数据集包括：使用所述多个数据集，确定表征与所述特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型；所述采集器包括网络设备、云计算机、存储器和可执行指令，所述可执行指令存储在所述存储器中，所述处理器被配置为访问至少一个所述存储器并执行所述计算机可执行指令以：接收输入数据；以及至少部分地基于多个分类标准对输入数据进行分类以获得分类的输入数据；至少部分地基于以下至少一项来确定基于云的数据处理功能的第一部分，以从多个云计算机传输到网络设备中：分类的输入数据；多个网络特征；采集网络或网络路径中的多个设备特征；将基于云的数据处理功能的第一部分从多个云计算机传输到网络设备，以在网络设备获得传输的数据处理功能；在第一网络设备上，使用采集的数据处理功能处理输入数据的至少一个子集；所述处理器被配置为通过执行所述计算机可执行指令以确定所述输入数据的量超过阈值来对所述输入数据进行分类，所述处理器被进一步配置为执行计算机可执行指令以：至少部分地响应于确定输入数据的数量超过阈值，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的一个子集发送到多个云计算机中以进行其他数据处理；所述处理器还被配置为执行所述计算机可执行指令以：确定网络等待时间超过阈值等待时间；以及部分地响应于确定网络等待时间超过阈值等待时间，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的至少一个子集发送到多个云计算机中以进行数据的处理；所述使用方法包括：使用多个所述数据集，确定表征与特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型；所述通信统计量包括：多个采集或多个外发采集的计数；以及多个采集的持续时间统计；多个外发采集的长度统计；与多个采集或多个传出采集正在与之通信的多个不同数据采集有关的子集多样性统计；多个所述数据集包括表征所述特定客户端的各个所述数据传感器的数据，处理多个所述数据集包括：基于所述数据传感器测量值，生成传输统计量代表特定客户端的持续时间、强度或移动频率；将包括通信统计信息的输入数据集输入到训练后的机器学习模型，基于结果确定满足警报条件；以及作为确定满足警报条件的结果，将结果发送到另一客户端；所述使用方法还包括：所述客户端基于多个用户的数据来访问用户分类模型；以及其中确定要在特定客户端处监视数据以预测事件的步骤包括：由另一客户端使用用户分类模型将用户分类为用户组；另一客户端至少部分地基于对用户进行分类的用户组来选择训练有素的机器学习模型，由另一所述客户端在多个所述用户的数据的至少一部分上执行功能以产生组表达；以及所述另一客户端将所述组表达式映射到N维空间；所述另一客户端将所述组表达式所包围的区域分类为用户组。

实施例二：本实施例应当理解为至少包含前述任一一个实施例的全部特征，并在其基础上进一步改进，具体的，提供一种大数据信息采集系统，包括处理器、客户端、采集器和各个数据传感器，所述处理器配置为执行以下操作的指令：确定要在特定客户端上监视数据以指示事件；并响应于该确定：接收代表在特定客户端处收集的多个输入或数据传感器测量值的多个数据集；使用训练有素的机器学习模型处理多个数据集以生成与事件的预测风险相对应的结果，并在所述显示设备上输出结果；具体的，所述采集器和各个所述数据采集传感器之间对所述数据进行采集的操作，保证所述数据在被采集的过程中，能够对大量所述数据进行收集并就通过所述客户端进行分发的操作；在本实施例中，所述客户端为数据终端，所述数据终端被用来对所述数据进行采集和传输的，另外，所述数据在进行采集的过程中，通过所述采集器与各个所述数据传感器进行配合使用，保证所述数据采集或者传输的过程中能够对整个采集装置的采集的过程高效的采集；在本实施例中，所述处理器对所述可执行指令进行运行，并完成在特定客户端上监视数据以指示事件，同时基于确定后的相应采集所述数据集或者接收所述数据传感器的数据集；在本实施例中，还通过利用所述机器学习模型对一个或者多个数据集进行风险的预测，并把预测的结果在显示设备上进行显示；在本实施例中，所述机器学习模型被配置为学习过的模型，能够对所述数据集进行采集或进行与数据有关的数据采集工作；

所述多个数据集包括标识特定所述客户端所位于的多个位置的位置数据，处理多个所述数据集包括：标识多个基础数据；特定客户端经常位于的位置区域；使用位置数据确定指示该特定客户端在多个基本位置区域之外的时间变量；并将包括时间变量的输入数据集输入到训练后的机器学习模型，处理多个所述数据集包括：使用所述多个数据集，确定表征与所述特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型；具体的，收集或者采集的数据通过应用程序的执行被处理以生成可预测用户是否正在经历事件的结果；在某些情况下，结果对应于推断采集过程或对用户的一个或多个大数据系统的评估，这能够预测采集的程度；所收集数据的处理扩展到使用简单或多个线性回归模型之外；更复杂的时间序列分析或统计学习技术确定通过简单特征无法检测到的预测特征；以前尚未报告过基于通过电子设备收集的被动监视数据估算结果的结果；这种方法改善监测工作并进一步了解事件的生理和行为决定因素以及与这些事件相关的因素；在本实施例中，基于被动监视的所述数据传感器数据来构造特定于受到采集的数据集的模型以估计预测的结果；所述特定的客户端在一段时间内被动地收集传感器数据，并且在一段时间内在一个或多个时间点收集输入；另外，还能够通过大量的训练所述机器学习模型以学习可用于将传感器数据转换为数据采集的高效的进行；在某些情况下，机器学习模型的输出包括或经过处理以生成分类值，本本实例中，处理采集到的数据输出以将打包或者加密的节点的方式分配给集群；在某些情况下，提供了仅基于经由电子设备收集的被动数据来推断事件，即：根据采集的被动数据进行分析进行传输过程或加密过程，在本实施例中，所述被动数据包括不经过所述电子设备进行加工的数据；；随着个人手持通信技术的迅速发展，在本实施例中还提供一中用于对手持客户端进行数据采集方法，所述方法包括从这些设备收集的数据提供高度合规的信号，从而深入了解位置和通信数据都可能对所述，并且通过电子设备收集的这些数据可用于评估数据传输的质量；所收集和存储的数据作为输入传递到机器学习模型，以产生预测数据采集或者传输的风险结果；所述结果显示在电子设备或远程服务器上；所述机器学习模型执行的结果被处理以确定是否满足警报条件，执行如警报条件指示当结果高于预定阈值时将要呈现警报；对警报条件可能还会触发设备操作的更改；改变所述数据传感器输出的被动监视采集数据的频率或改变所述数据传感器采集所述数据侧的频率；

所述采集器包括网络设备、云计算机、存储器和可执行指令，所述可执行指令存储在所述存储器中，所述处理器被配置为访问至少一个所述存储器并执行所述计算机可执行指令以：接收输入数据；以及至少部分地基于多个分类标准对输入数据进行分类以获得分类的输入数据；至少部分地基于以下至少一项来确定基于云的数据处理功能的第一部分，从多个云计算机传输到网络设备中：分类的输入数据；多个网络特征；采集网络或网络路径中的多个设备特征；将基于云的数据处理功能的第一部分从多个云计算机传输到网络设备，以在网络设备获得传输的数据处理功能；在第一网络设备上，使用采集的数据处理功能处理输入数据的至少一个子集；具体的，在本实施例中，在数据进行采集或者收集的过程中，需要对所述各个所述采集器进行采集网络的搭建，所述云网络包括云计算机，并从所述云网络中进行以下之一的采集操作：i)分类的输入数据；多个网络特征；iii)采集网络中或沿网络路径的多个设备特征，并将基于云的数据处理功能的第一部分从多个云计算机传输到网络设备，以在网络设备获得传输的数据处理功能；在第一网络设备上，使用采集的数据处理功能处理输入数据的至少一个子集；

所述处理器被配置为通过执行所述计算机可执行指令以确定所述输入数据的量超过阈值来对所述输入数据进行分类，所述处理器被进一步配置为执行计算机可执行指令以：至少部分地响应于确定输入数据的数量超过阈值，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的一个子集发送到多个云计算机中以进行其他数据处理；具体的，在本实施例中，用于对输入数据进行分类的分类标准包括输入数据的大小或者数量，对输入数据的实时处理的需求等等；如果确定输入数据的量超过阈值，所述阀值包括数据最多的阀值量，则这触发基于云的功能向存储器的迁移以及对基于云的功能的选择；输入数据的某些部分，使用迁移的功能在存储器进行处理；以这种方式，减少发送到采集网络以进行额外处理的数据量；在本实施例中，还与在存储器处对输入数据的某些部分的处理并行地将全部原始输入数据以潜在地压缩并成批地发送到采集网络；根据分类标准对输入数据进行分类包括评估输入数据的任何部分是否需要实时处理；输入数据的第一部分形成实时数据流的一部分，根据该实时数据流，使用迁移到边缘的功能来处理输入数据的第一部分，以便将实时响应提供给特定客户端；输入数据的第二部分形成非实时数据流的一部分，所述非实时数据流也选择使用迁移的功能进行处理，但可能并不表示需要实时响应，因此进行压缩和压缩；批量发送到采集网络以进行其他处理；输入数据的第二部分包括输入数据的整个第一部分，输入数据的第一部分的子集或与第一部分完全不同的一组输入数据；实时数据流对应于需要执行某种形式的实时分析的输入数据；相反，形成非实时数据流的一部分的输入数据可能不需要立即分析，而是包括与监管要求有关的数据、异步数据、需要近期或长期分析的数据等；将输入数据分为针对实时数据流的第一部分和针对非实时数据流的第二部分表示在网络上执行的多路径处理的形式，保证所述数据在传输或者采集的过程中，能够进行大量数据采集和存储，提高整个系统对大量数据的高效的采集；

所述处理器还被配置为执行所述计算机可执行指令以：确定网络等待时间超过阈值等待时间；以及部分地响应于确定网络等待时间超过阈值等待时间，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的至少一个子集发送到多个云计算机中以进行数据的处理；具体的，在本实施例中，确定网络等待时间的网络特征影响功能是否从采集网络迁移到存储器；如果网络等待时间特别高，如：超过阈值等待时间，则将基于云的功能的某些部分迁移到存储器，以允许至少一部分输入数据绕过高网络等待时间并使用迁移的功能在存储器进行处理；在网络高延迟的情况下，使用迁移功能在存储器处理的输入数据可能是需要实时分析的数据；在采集网络中，执行迁移的功能的存储器设备可能比云计算机更靠近数据源，从而消除了如果将数据直接发送给高延迟会导致的处理延迟；由从采集网络迁移到存储器的功能执行的处理包括数据清理、数据过滤、数据标准化、数据转换、数据汇总、数据分析或任何其他合适形式的数据处理；此外，从采集网络迁移到存储器的功能的类型是上下文或应用特定的；提供实时数据的短期分析的功能迁移到存储器，而提供更多长期分析的其他功能则保留在采集网络中；基于云的数据处理功能可包括数据分析数据过滤对过滤后的数据转换等；使用云数据库内的另一数据源对转换后的数据进行分析，出于审计目的而存储原始数据，并存储分析结果以立即使用；如果要考虑将大量数据传输到云或由于网络带宽而导致网络延迟，则将一些基于云的功能迁移到存储器，或更具体地说，迁移到沿任何地方的一个或多个设备网络路径，比如：过滤功能迁移到存储器；

所述使用方法包括：使用多个所述数据集，确定表征与特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型；所述通信统计量包括：多个采集或多个外发采集的计数；以及多个采集的持续时间统计；多个外发采集的长度统计；与多个采集或多个传出采集正在与之通信的多个不同数据采集有关的子集多样性统计；多个所述数据集包括表征所述特定客户端的各个所述数据传感器的数据，处理多个所述数据集包括：基于所述数据传感器测量值，生成传输统计量代表特定客户端的持续时间、强度或移动频率；将包括通信统计信息的输入数据集输入到训练后的机器学习模型，基于结果确定满足警报条件；以及作为确定满足警报条件的结果，将结果发送到另一客户端；使得使用者能够根据报警或者所述数据的采集或者传输的过程进行采集，另外，在实施例中，通过对特定数据或者传输规则进行报警，有效保证所述数据进行采集或者转换等功能时能够报警，实现对所述数据在传输的过程中能够有效的进行监管，提高整个传输过程的安全性；

所述使用方法还包括：所述客户端基于多个用户的数据来访问用户分类模型；以及其中确定要在特定客户端处监视数据以预测事件的步骤包括：由另一客户端使用用户分类模型将用户分类为用户组；另一客户端至少部分地基于对用户进行分类的用户组来选择训练有素的机器学习模型，由另一所述客户端在多个所述用户的数据的至少一部分上执行功能以产生组表达；以及所述另一客户端将所述组表达式映射到N维空间；所述另一客户端将所述组表达式所包围的区域分类为用户组；具体的，在本实施例中，通过所述客户端对多个用户的数据来对所述用户类型的分类，使得对用户进行针对性的实时的数据的传输或者推送的操作；在本实施例中，还通过由另一客户端使用用户分类模型将用户分类为用户组；另一客户端至少部分地基于对用户进行分类的用户组来选择训练有素的机器学习模型，由另一所述客户端在多个所述用户的数据的至少一部分上执行功能以产生组表达，保证各个所述客户端在进行数据传输或者采集的过程中，能够对各个客户端进行分配保证在进行采集的过程中，不会存在数据进行相互的干扰，有效的提高与所述采集器进行连接的各个所述客户端的数据交互的高效，不会存在占用或者相互之间的干扰；另外，各个所述客户端在进行数据传输的过程中，对所述数据侧标识通过产生的组表达进行标记，防止各个所述数据在使用的过程中，对对应的数据产生干扰或者影响；

实施例三：本实施例应当理解为至少包含前述任一一个实施例的全部特征，并在其基础上进一步改进，具体的，提供一种大数据信息采集系统，所述采集装置包括采集端口4、输出端口2、显示装置1和若干个数据传感器连接装置，所述采集装置与特定客户端配对联合使用，保证所述采集装置对数据的采集的过程中，能够根据实际的需要对各个所述数据连接通道的传输或者连接，具体的，所述采集端口4和所述输出端口2分别设置在采集装置本体5的两侧，且所述采集装置还包括控制面板3和数据分发装置，所述控制面板3设置与所述显示装置1同一侧，使得所述显示装置1能够针对所述显示装置1显示的画面或者显示的参数进行调整的操作，在本实施例中，所述采集端口4被构造为与各个所述特定客户端或者移动电子设备进行数据链路的连接，使得传输的所述数据或者采集的数据能够通过所述采集装置的采集的操作，进行实时的控制；所述数据分发装置被构造为对所述数据的传输之间进行数据的分发的操作，保证所述数据在进行采集或者分发的过程中能够根据实际的需要进行操作，有效保证所述数据采集或者传输的高效的进行；另外，在本实施例中，所述输出端口2还被配置为对所述存储器或者云服务器或者所述采集网络之间相互连接，行程数据的传输或者采集的通道；在本实施例中，还提供一种大数据信息采集系统的使用方法，所述使用方法包括：由节点集群的拥有节点确定并包括处理器的第一数据集，该第一数据集表示与该节点集群的拥有节点拥有的数据结构相对应的拥有块；由节点集群的拥有节点确定第二数据集，该第二数据集表示节点集群中正在使用的拥有块中的已使用拥有块；基于所述第一数据集与所述第二数据集的差，由所述节点簇的所属节点确定代表所述节点簇中未使用的所述拥有块的未使用的拥有块的第三数据集；然后基于第三数据集，由节点集群的拥有节点进行数据收集，以收集节点集群中未使用的未使用的拥有的块；确定表示所述节点集群中正在使用的所拥有块的第二数据集包括：确定与拥有节点正在使用的所使用的所拥有块相对应的第一组零个或多个标识符，获得第二组零个或多个标识符，它们对应于节点集群的一个或多个非拥有节点正在使用的其他已使用的拥有的块，并将第一组和第二组组合到第二数据集中；所述数据结构包括树，并且其中，确定与所述拥有节点正在使用的所使用的所拥有的块相对应的第一组零个或多个标识符包括遍历所述所有者的拥有节点所拥有的树；深度优先遍历的节点簇以定位零个或多个与正在使用的已使用拥有块相对应的块标识符；由所述节点集群的拥有节点维护代表使用中的所使用的所拥有的区块的最近添加的区块标识符的高速缓存，其中，确定第一组零或多个标识符对应于拥有节点正在使用的已使用拥有块包括访问高速缓存以消除遍历树期间位于使用中的重复块；将所述第一组和所述第二组组合到所述第二数据集中包括去除重复的标识符；获得与所述节点集群的一个或多个非拥有节点正在使用的所述其他使用过的拥有的大块相对应的第二组零个或多个标识符包括从所述一个或多个中的每个接收节点集群的更多非拥有节点，相应的数据结构包含零个或多个标识符，这些标识符对应于一个或多个非拥有节点正在使用的其他已使用拥有块；由所述节点集群的拥有节点持久存储来自所述节点集群中的所述一个或多个非拥有节点中的每一个的相应数据结构；由所述节点集群的所述拥有节点执行所述节点集群中的参考计数，以根据定义的充足性准则，通过数据传输来确定是否有足够数量的块潜在地可传输，并且响应确定足够数量的数据块被确定为可能可传输，并基于第三数据集，由节点群集的拥有节点调度数据传输操作，该操作包括数据传输未使用拥有的数据块节点集群；由所述节点集群的所述拥有节点确定第四数据集，所述第四数据集表示由所述拥有节点正在使用并且由所述节点集群的除了所述节点之外的其他节点所拥有的非拥有块。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

综上所述，本发明的一种大数据信息采集系统及使用方法，通过将输入数据分为针对实时数据流的第一部分和针对非实时数据流的第二部分表示在网络上执行的多路径处理的形式，保证数据在传输或者采集的过程中，能够进行大量数据采集和存储，提高整个系统对大量数据的高效的采集；通过确定输入数据的量超过阈值，阀值包括数据最多的阀值量，则这触发基于云的功能向存储器的迁移以及对基于云的功能的选择，输入数据的某些部分，使用迁移的功能在存储器进行处理；通过在网络高延迟的情况下，使用迁移功能在存储器处理的输入数据可能是需要实时分析的数据，在采集网络中，执行迁移的功能的存储器设备可能比云计算机更靠近数据源，从而消除了如果将数据直接发送给高延迟会导致的处理延迟，由从采集网络迁移到存储器的功能执行的处理包括数据清理、数据过滤、数据标准化、数据转换、数据汇总、数据分析或任何其他合适形式的数据处理；通过将包括通信统计信息的输入数据集输入到训练后的机器学习模型，并基于结果确定满足警报条件，使得使用者能够根据报警或者数据的采集或者传输的过程进行采集，对特定数据或者传输规则进行报警，有效保证数据进行采集或者转换等功能时能够报警，实现对数据在传输的过程中能够有效的进行监管，提高整个传输过程的安全性；通过采用客户端在多个用户的数据的至少一部分上执行功能以产生组表达，保证各个客户端在进行数据传输或者采集的过程中，能够对各个客户端进行分配保证在进行采集的过程中，不会存在数据进行相互的干扰，有效的提高与采集器进行连接的各个客户端的数据交互的高效，不会存在占用或者相互之间的干扰。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种大数据信息采集系统，其特征在于，包括处理器、客户端、采集器和各个数据传感器，所述处理器配置为执行以下操作的指令：确定要在特定客户端上监视数据以指示事件；并响应于该确定：接收代表在特定客户端处收集的多个输入或数据传感器测量值的多个数据集；使用训练有素的机器学习模型处理多个数据集以生成与事件的预测风险相对应的结果，并在显示设备上输出结果。

2.如权利要求1所述的一种大数据信息采集系统及使用方法，其特征在于，所述多个数据集包括标识特定所述客户端所位于的多个位置的位置数据，处理多个所述数据集包括：标识多个基础数据；特定客户端经常位于的位置区域；使用位置数据确定指示该特定客户端在多个基本位置区域之外的时间变量；并将包括时间变量的输入数据集输入到训练后的机器学习模型，处理多个所述数据集包括：使用所述多个数据集，确定表征与所述特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型。

3.如前述权利要求之一所述的一种大数据信息采集系统，其特征在于，所述采集器包括网络设备、云计算机、存储器和可执行指令，所述可执行指令存储在所述存储器中，所述处理器被配置为访问至少一个所述存储器并执行所述计算机可执行指令以：接收输入数据；以及至少部分地基于多个分类标准对输入数据进行分类以获得分类的输入数据；至少部分地基于以下至少一项来确定基于云的数据处理功能的第一部分，以从多个云计算机传输到网络设备中：分类的输入数据；多个网络特征；采集网络或网络路径中的多个设备特征；将基于云的数据处理功能的第一部分从多个云计算机传输到网络设备，以在网络设备获得传输的数据处理功能；在第一网络设备上，使用采集的数据处理功能处理输入数据的至少一个子集。

4.如前述权利要求之一所述的一种大数据信息采集系统，其特征在于，所述处理器被配置为通过执行所述计算机可执行指令以确定所述输入数据的量超过阈值来对所述输入数据进行分类，所述处理器被进一步配置为执行计算机可执行指令以：至少部分地响应于确定输入数据的数量超过阈值，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的一个子集发送到多个云计算机中以进行其他数据处理。

5.如前述权利要求之一所述的一种大数据信息采集系统，其特征在于，所述处理器还被配置为执行所述计算机可执行指令以：确定网络等待时间超过阈值等待时间；以及部分地响应于确定网络等待时间超过阈值等待时间，使用传输的数据处理功能选择输入数据的一个子集以进行处理；使用基于云的数据处理功能的第二部分，将处理后的输入数据的至少一个子集发送到多个云计算机中以进行数据的处理。

6.一种大数据信息使用方法，其特征在于，所述使用方法包括：使用多个所述数据集，确定表征与特定客户端相关联的最近采集历史或最近采集历史的通信统计；将包括通信统计信息的输入数据集输入到训练后的机器学习模型；所述通信统计量包括：多个采集或多个外发采集的计数；以及多个采集的持续时间统计；多个外发采集的长度统计；与多个采集或多个传出采集正在与之通信的多个不同数据采集有关的子集多样性统计；多个所述数据集包括表征所述特定客户端的各个所述数据传感器的数据，处理多个所述数据集包括：基于所述数据传感器测量值，生成传输统计量代表特定客户端的持续时间、强度或移动频率；将包括通信统计信息的输入数据集输入到训练后的机器学习模型，基于结果确定满足警报条件；以及作为确定满足警报条件的结果，将结果发送到另一客户端。

7.如权利要求6所述的一种大数据信息使用方法，其特征在于，所述使用方法还包括：所述客户端基于多个用户的数据来访问用户分类模型；以及其中确定要在特定客户端处监视数据以预测事件的步骤包括：由另一客户端使用用户分类模型将用户分类为用户组；另一客户端至少部分地基于对用户进行分类的用户组来选择训练有素的机器学习模型，由另一所述客户端在多个所述用户的数据的至少一部分上执行功能以产生组表达；以及所述另一客户端将所述组表达式映射到N维空间；所述另一客户端将所述组表达式所包围的区域分类为用户组。

Images