CN110244994A - 用于数据处理系统的数据模块管理 - Google Patents

Abstract

本公开的实施例涉及用于数据处理系统的数据模块管理。一种设备可以从数据源接收数据并且标识被包括在接收到的数据中的属性。设备可以向用户设备提供用户界面，用户界面提供用户界面元素，用户界面元素通过与用户界面元素的交互使得能够选择属性中的至少一个属性以供数据模块使用。另外，设备可以从用户设备接收标识数据模块的信息，数据模块：被配置为处理至少一个属性并且限定要由数据处理流水线执行的功能。进一步地，设备可以激活数据模块以供由设备实施的数据处理流水线使用，并且使用数据处理流水线和数据模块来对传入的数据执行动作。

Description

用于数据处理系统的数据模块管理

技术领域

本公开的实施例涉及用于数据处理系统的数据模块管理。

背景技术

流处理是在产生或者接收到数据时处理数据的计算机编程范例。流处理允许近实时地处理(例如，通过分析工具)潜在的大量数据。批处理涉及处理可能已经随时间被采集的数据，并且可以被用来(例如，通过分析工具)处理可能花费很长时间来处理和/或不必近实时地处理的非常大量的数据。

发明内容

根据一些实施方式，一种设备可以包括：一个或者多个存储器设备；以及一个或者多个处理器，该一个或者多个处理器被通信地连接至一个或者多个存储器设备以：从数据源接收数据；标识被包括在所接收到的数据中的属性；向用户设备提供用户界面，该用户界面提供用户界面元素，该用户界面元素通过与用户界面元素中的一个或者多个的交互使得能够选择属性中的至少一个属性以供数据模块使用；从用户设备接收标识数据模块的信息，数据模块：被配置为处理至少一个属性，并且限定要由数据处理流水线执行的功能；激活数据模块以供由设备实施的数据处理流水线使用；以及使用数据处理流水线和数据模块来对传入的数据执行动作。

根据一些实施方式，一种非瞬态计算机可读介质可以存储指令，该指令包括：一个或者多个指令，该一个或者多个指令在由一个或者多个处理器执行时使一个或者多个处理器：向用户设备提供用户界面，该用户界面提供用户界面元素，该用户界面元素通过与用户界面元素中的一个或者多个的交互，使得能够选择先前被标识为被包括在被提供至一个或者多个处理器的数据中的至少一个属性；从用户设备接收标识数据模块的信息，数据模块：包括至少一个属性的属性，并且限定要由数据处理流水线执行的功能；激活数据模块以供由一个或者多个处理器实施的数据处理流水线使用；以及使用数据处理流水线和数据模块来对传入的数据执行动作。

根据一些实施方式，一种方法可以包括：由设备向用户设备提供用户界面，该用户界面使得能够选择：先前被标识为被包括在被提供至设备的数据中的至少一个属性，以及要由数据处理流水线执行的至少一个功能；由设备从用户设备接收标识数据模块的信息，数据模块包括：至少一个功能的功能，以及至少一个属性的属性；由设备激活数据模块以供由设备实施的数据处理流水线使用；以及基于数据模块来执行动作。

附图说明

图1A至图1C是本文所描述的示例实施方式的概况的示意图；

图2是可以实施本文所描述的系统和/或方法的示例环境的示意图；

图3是图2的一个或者多个设备的示例组件的示意图；以及

图4是用于为数据处理系统提供数据模块管理的示例过程的流程图。

具体实施方式

以下对示例实施方式的详细描述参考附图。不同附图中的相同附图标记可以标识相同或者相似的元件。

数据处理系统(无论它们处理按照数据流和/或批量数据的形式接收的数据)使得能够执行各种功能。可以由数据处理系统执行的示例功能包括从数据导出有意义的信息和/或模式的分析功能、使得能够基于数据来对性能进行评估的关键性能指示符(KPI)功能、可以标识来自数据的潜在威胁的计算机和网络安全功能等。虽然数据处理系统能够执行各种有用功能，但是可以在从原始数据获得可用属性时以及在设计、配置和激活要由数据处理系统执行的功能时使用重要的人力资源和计算资源。

本文所描述的一些实施方式提供了一种能够标识与传入的批量数据和/或数据流相关联的数据属性并且使该数据属性可用于用户的数据处理平台。该数据处理平台可以向用户提供用于使得用户能够通过使用数据属性来限定数据模块(例如，限定可以被用来处理数据的功能、属性和/或条件的数据)的用户界面，并且数据处理平台可以使用数据模块来执行基于数据模块的动作，诸如，执行特定功能。通过示例，数据处理平台可以从数据源接收数据(例如，来自网络服务器的错误日志)并且标识被包括在所接收到的数据中的属性(例如，错误日志文件的每一行可以包括字符串，该字符串包括诸如时间戳、客户端标识符和错误代码等属性)。然后，数据处理平台可以向用户设备提供使用户设备的用户能够基于所标识到的属性来限定数据模块(例如，用户可以限定被设计为基于在特定时间段内发生阈值数目的与特定错误代码相匹配的错误而触发警报的数据模块)的用户界面。在从用户设备并且经由用户界面接收到数据模块之后，数据处理平台可以应用数据模块(例如，通过将数据模块存储在被应用于传入的批量错误日志和/或错误日志流的数据模块的数据库中)。然后，数据处理平台可以基于数据模块来执行动作，诸如，对传入的数据使用数据模块(例如，按照被设计为基于对传入的错误日志的分析在由数据模块指定的条件被满足的情况下产生警报的方式)。

通过在数据处理流水线中从传入的数据获得可用属性，将这些属性提供给用户，并且实现对数据模块的快速配置和激活，数据处理平台可以实现节省重要的人力资源和计算设备资源。例如，标识属性以及呈现用户界面可以使得非技术人员能够创建和激活数据模块，而不依赖于数据处理开发者或者其他技术专家。另外，可以节省可以被用来使能从传入的数据标识有用属性的计算资源，包括将以其它方式被用来存储和分析数据的处理资源和数据存储资源。获得由用户限定的数据模块并且直接将数据模块应用于数据处理流水线的能力可以消除对管理员或者开发者与数据处理平台的交互的需要。此外，快速应用数据模块并且执行由数据模块指定的功能的能力可以节省重要数据处理资源、网络资源和数据存储资源，其可以按照其它方式被用来开发针对应用数据模块和执行由数据模块指定的功能的解决方案。

图1A至图1C是本文所描述的示例实施方式100的概况的示意图。如在图1A中示出的，示例实施方式100可以包括能够对传入的数据、数据源(例如，能够向数据处理平台提供数据的任何计算设备，诸如，个人计算机、服务器计算机等)执行数据处理操作(例如，分析、KPI评估、网络安全功能等)的数据处理平台、以及在一些实施方式中，可以接收来自数据处理平台的输出的输出设备(例如，移动电话、个人计算机、服务器计算机等)。

如在图1A中进一步示出的，数据处理平台可以包括数据摄取部分102、数据映射和导出部分104、计算部分106、数据访问部分108和数据消费部分110。在一些实施方式中，数据处理平台可以实行数据处理流水线，在该数据处理流水线中，基于传入的数据和在数据模块中指定的要由数据处理平台执行的动作来执行各种动作。例如，数据映射和导出部分104可以基于从数据摄取部分102接收到的传入数据来执行动作，计算部分106可以基于从数据映射和导出部分104接收到的传入数据来执行动作，数据访问部分108可以基于从计算部分106接收到的传入数据来执行动作，并且数据消耗部分110可以基于从数据访问部分108接收到的传入数据来执行动作。

在一些实施方式中，数据处理平台流水线的数据摄取部分102负责从各种数据源接收数据。例如，数据摄取部分102可以按照流格式或者批量格式来接收数据。在一些实施方式中，数据可以包括数据处理平台可以用来执行某一动作(例如，分析、KPI评估、安全分析等)的基于文本的数据。例如，数据可以包括错误日志、网络流量数据、计算机安全日志、广告度量、销售信息等。

在一些实施方式中，数据映射和导出部分104负责对接收到的数据进行解析，标识被包括在接收到的数据中的属性，将部分接收到的数据映射至数据模块，并且在一些实施方式中，导出数据模型或者丰富数据。例如，接收到的数据可以包括文本行，并且数据处理平台可以对文本行进行解析以标识被包括在文本中的属性，诸如，错误代码、设备标识符、时间戳等。另外，属性可以被映射至在执行一个或者多个功能时利用属性的数据模块。在一些实施方式中，接收到的数据可以通过从第三方源获得相关信息而被丰富。例如，从一个源接收到的设备标识符可以与可从不同源获得的其它属性相关联，并且数据处理平台可以利用从不同源获得的属性来丰富原始数据集合(例如，设备标识符属性)，并且组合的属性可以被映射至一个或者多个数据模块。附加地或者备选地，数据处理平台可以基于一个或者多个其它数据模型来导出数据模型(例如，在存在可以被应用于多个数据模型的数据的情况下，数据模型可以通过根据功能组合现有数据模块被导出)。通过示例，数据处理平台可以标识接收到的数据可以被映射至其的多个模型，并且通过组合多个数据模型来导出单个数据模型。

在一些实施方式中，计算部分106负责执行与一个或者多个数据模块相关联的计算和/或其它功能。例如，计算部分106可以例如，根据在数据模块中指定的一个或者多个功能来执行分析、评估KPI、标识安全事件和异常等。通过示例，数据模块可以指定：对于传入的通信日志，通信延迟度量应该被平均，按照网络设备标识符被分组，并且按照平均延迟被分类；在该示例中，计算部分106可以负责对数据执行平均、分组和/或分类。

在一些实施方式中，数据访问部分108负责提供由数据处理平台使用和产生的数据的访问权限。例如，数据访问部分108可以使得能够访问由数据处理平台存储的原始输入数据，访问数据模块，访问计算结果(例如，由执行一个或者多个数据模块产生的数据)等。

在一些实施方式中，数据消费部分110负责在数据处理平台外部的通信。例如，数据消费部分110可以负责提供输出(例如，向输出设备)，包括报告和通知数据，从而实现实时监测等。

如在图1B中示出的，示例实施方式120可以包括数据处理平台、数据源和用户设备(例如，移动电话、个人计算机、服务器计算机等)。与示例实施方式100相似，数据处理平台能够对传入的数据执行数据处理操作(例如，分析、KPI评估、网络安全功能等)，并且数据源(例如，任何计算设备，诸如，个人计算机、服务器计算机等)能够向数据处理平台提供数据。如图所示，用户设备能够经由用户界面来与数据处理平台通信以创建和/或激活数据模块。

如在图1B中并且由附图标记122进一步示出的，数据处理平台可以从数据源接收数据。例如，数据可以包括错误日志、网络流量数据、计算机安全日志、广告度量、销售信息等。如由附图标记124示出的，数据处理平台可以对接收到的数据进行解析，以针对各种数据源标识被包括在由数据源提供的数据中的属性。例如，如图所示，数据处理平台可以标识与数据源1相关联的属性1、属性2和属性3，并且可以标识与数据源2相关联的属性2、属性4和属性5。

如在图1B中并且由附图标记126进一步示出的，数据处理平台可以提供用户界面以供用户设备使用。用户界面可以使用户设备显示各种信息，例如，按照被设计为使得用户设备的用户能够创建新的数据模块或者对现有数据模块进行操作以供数据处理平台使用的方式。例如，用户界面可以使得用户能够生成、编辑、删除、激活或者去激活数据模块，并且可以向用户提供标识与由各种数据源提供的数据相关联的多个属性的数据，从而使得用户能够基于属性和预先构建的功能来生成数据模块以用于处理数据。

如在图1B中并且由附图标记128进一步示出的，数据处理平台可以从用户设备接收数据模块。例如，数据模块可以包括一个或者多个属性、功能和/或条件，其可以由数据处理平台用于基于映射至数据模块的输入数据来产生某种形式的输出。

如在图1B中并且由附图标记130进一步示出的，数据处理平台可以使用从用户设备接收到的数据模块。例如，数据处理平台可以将数据模块存储在数据模块的数据库中，该数据模块在数据处理平台流水线中的映射部分期间被使用。通过使用数据模块，数据处理平台可以基于数据模块(诸如，执行数据模块)来执行一个或者多个动作，该一个或者多个动作可以包括：将输入数据映射至数据模块，基于数据模块执行计算，基于数据模块提供输出等。

如在图1C中示出的，示例实施方式140可以包括示例用户界面，该示例用户界面可以由数据处理平台提供以使得用户设备的用户能够创建和/或应用要由数据处理平台使用的数据模块。例如，示例实施方式140可以包括数据模块管理接口150，并且可以包括用于编辑数据模块170的界面。

如在图1C中并且由附图标记152进一步示出的，数据模块管理接口150可以包括使得用户能够管理数据模块的接口元件“数据模块”(被示出为所选择的)。如由附图标记154示出的，数据模块管理接口150可以包括使得用户能够添加新数据模块的按钮。如由附图标记156示出的，数据模块管理接口150可以包括使得用户能够将数据模块分类(例如，按照最近创建的、更新的或者激活的数据模块(如图所示)、按照最受欢迎的数据模块、按照数据模块的评级等)的下拉菜单。如由附图标记158示出的，数据模块管理接口150可以包括使得用户能够搜索数据模块(例如，通过名称、属性、相关联的用户等)的搜索框。如由附图标记160示出的，数据模块管理接口150可以包括能够显示与数据模块有关的各种信息(例如，数据模块的名称、与数据模块相关联的用户、指示数据模块被最后更新的时间的数据等)的可选数据模块列表。

如在图1C中进一步示出的以及如由附图标记162示出的，数据模块管理接口150可以包括使得用户能够管理导出的数据模块(例如，获得附加数据模块和/或通过功能组合现有数据模块)的界面元素“导出”。如由附图标记164示出的，数据模块管理接口150可以包括使得用户能够管理警报(例如，可以基于事件的发生而被触发的通知)的界面元素“警报(ALARMS)”。

如在图1C中并且由附图标记172进一步示出的，用于编辑数据模块170的界面可以包括针对数据属性的下拉菜单和选择器，从而使得能够选择要被包括在数据模块中的一个或者多个属性。如由附图标记174示出的，用于编辑数据模块170的界面可以包括用于功能的下拉菜单和选择器，从而使得能够选择要被包括在数据模块中的一个或者多个功能。如由附图标记176示出的，用于编辑数据模块170的界面可以包括使得用户能够手动提供数据模块信息的文本框。在该示例实施方式140中，文本框被示出为自动填充有表达式，该表达式可以指示该数据模块(例如，“DATA_MODULE_2”(“数据_模块_2”))将对具有与“404”相匹配的错误代码属性的传入数据执行计数功能。在一些实施方式中，数据模块信息可以通过用于属性的下拉菜单和选择器、用于功能的下拉菜单和选择器而被添加和/或手动地被输入/编辑。在一些实施方式中，用于数据属性的特定数据源还可以在用于编辑数据模块170的界面中可选择。

如在图1C中进一步示出的以及如附图标记178示出的，用于编辑数据模块170的界面可以包括使得能够选择应该应用数据模块的时间窗口(例如，15分钟、1小时和1天等)的时间窗口选择器。如由附图标记180示出的，用于编辑数据模块170的界面可以包括使得能够按照特定属性(例如，如图所示，接收方)将来自数据模块的输出数据分组的“分组依据”选择器。如由附图标记182示出的，用于编辑数据模块170的界面可以包括使得能够基于一个或者多个属性(例如，消费者类型、消费者区段等)来使输出分段/分离的区段选择器。如由附图标记184示出的，用于编辑数据模块170的界面可以包括按钮，该按钮在被选择时可以使数据处理平台验证数据模块(例如，针对错误检查语法，确保正在接收属性等)。如由附图标记186示出的，用于编辑数据模块170的界面可以包括按钮，该按钮在被选择时可以使数据处理平台保存并且应用数据模块。

按照这种方式，通过在数据处理流水线中从传入的数据获得可用属性，将这些属性提供给用户，并且实现对数据模块的快速配置和激活，数据处理平台可以实现节省重要的人力资源和计算设备资源。例如，标识属性以及呈现用户界面可以使得非技术人员能够创建和激活数据模块，而不依赖于数据处理开发者或者其他技术专家。另外，可以节省可以被用于使能从传入的数据标识有用属性的计算资源，包括将以其它方式被用于存储和分析数据的处理资源和数据存储资源。获得由用户限定的数据模块并且直接将数据模块应用于数据处理流水线的能力可以消除对管理员或者开发者与数据处理平台的交互的需要。此外，快速应用数据模块并且执行由数据模块指定的功能的能力可以节省重要数据处理资源、网络资源和数据存储资源，这些资源可以按照其它方式被用来开发用于应用数据模块和执行由数据模块指定的功能的解决方案。

如上面指示的，图1A至图1C仅仅作为示例而被提供。其它示例是可能的，并且可以与关于图1A至图1C所描述的示例不同。例如，关于图1A所示实施方式100所描述的数据处理流水线可以被不同地配置(例如，数据处理流水线的附加部分和/或不同部分可以被使用、不被使用、被组合等)；关于图1B所描述的实施方式120可以包括附加操作、更少的操作和/或不同操作；和/或关于图1C所示实施方式140所描述的用户界面可以被不同地配置(例如，处于不同布置中的附加的和/或不同用户界面元素等)。

图2是可以实施本文所描述的系统和/或方法的示例环境200的示意图。如在图2中示出的，环境200可以包括用户设备210、数据源220、数据处理平台230、计算资源235、云计算环境240和网络250。环境200的设备可以经由有线连接、无线连接或者有线连接和无线连接的组合相互连接。

用户设备210包括能够接收、生成、存储、处理和/或提供与数据模块相关联的信息的一个或者多个设备。例如，用户设备210可以包括通信和/或计算设备，诸如，移动电话(例如，智能电话、无线电话等)、膝上型计算机、平板计算机、手持式计算机、游戏设备、可穿戴通信设备(例如，智能腕表、一副智能眼镜等)或者相似类型的设备。用户设备可以包括被设计为使得用户设备210能够经由网络250来与数据处理平台230通信并且在用户设备210的显示器上呈现用户界面的一个或者多个应用，诸如，网络浏览应用、控制台应用、被设计为与数据处理平台230通信的应用等。

数据源220包括能够接收、生成、存储、处理和/或提供与数据(例如，包括批量数据和/或数据流)相关联的信息的一个或者多个设备。例如，数据源220可以包括通信和/或计算设备，诸如，台式计算机、服务器设备、一组服务器设备、云计算设备、网络设备、数据中心设备或者相似类型的设备。数据源220可能能够向数据处理平台230提供(例如，经由网络250)各种数据，从而使得数据处理平台230能够处理数据。

数据处理平台230包括能够接收、生成、存储、处理和/或提供与用户数据和数据模块相关联的信息的一个或者多个设备。例如，数据处理平台230可以包括服务器设备(例如，主机服务器、网络服务器、应用服务器等)、数据中心设备或者相似的设备。例如，数据处理平台230能够从数据源220接收数据，标识被包括在接收到的数据中的属性，向用户设备210提供指定属性的用户界面，从用户设备210接收有关数据模块的信息，以及基于数据模块来处理从数据源220接收到的数据。

在一些实施方式中，如图所示，数据处理平台230可以被托管在云计算环境240中。值得注意的是，虽然本文所描述的实施方式将数据处理平台230描述为被托管在云计算环境240中，但是在一些实施方式中，数据处理平台230可以不是基于云的(即，可以被实施在云计算环境之外)或者可以是部分基于云的。

云计算环境240包括递送计算作为服务的环境，由此共享资源、服务等可以被提供至数据处理平台230。云计算环境240可以提供计算、软件、数据访问、存储和/或不要求终端用户了解递送服务的系统和/或设备的物理位置和配置的其它服务。

计算资源235包括一个或者多个个人计算机、工作站计算机、服务器设备或者另一类型的计算和/或通信设备。在一些实施方式中，计算资源235可以托管数据处理平台230。云资源可以包括在计算资源235中执行的计算实例、被提供在计算资源235中的存储设备、由计算资源235提供的数据传输设备等。在一些实施方式中，计算资源235可以经由有线连接、无线连接或者有线连接和无线连接的组合来与其它计算资源235通信。

如在图2中进一步示出的，计算资源235可以包括一组云资源，诸如，一个或者多个应用(“APP”)235-1、一个或者多个虚拟机(“VM”)235-2、虚拟化存储装置(“VS”)235-3、一个或者多个管理程序(“HYP”)235-4等。

应用235-1包括可以被提供给用户设备210或者由用户设备210访问的一个或者多个软件应用。应用235-1可以消除在用户设备210上安装并且执行软件应用的需要。例如，应用235-1可以包括与数据处理平台230相关联的软件和/或能够经由云计算环境240被提供的任何其它软件。在一些实施方式中，一个应用235-1可以经由虚拟机235-2来向/从一个或者多个其它应用235-1发送/接收信息。

虚拟机235-2包括像物理机器一样执行程序的机器(例如，计算机)的软件实施方式。虚拟机235-2可以是系统虚拟机或者进程虚拟机，这取决于由虚拟机235-2对任何真实机器的使用以及与其对应程度。系统虚拟机可以提供支持执行完整的操作系统(“OS”)的完整系统平台。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方式中，虚拟机235-2可以代表用户(例如，用户设备210)进行执行，并且可以管理云计算环境240中的基础设施，诸如，数据管理、同步或者长持续时间数据传输。

虚拟化存储装置235-3包括在计算资源235的存储系统或者设备内使用虚拟化技术的一个或者多个存储系统和/或一个或者多个设备。在一些实施方式中，在存储系统的上下文中，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以是指物理存储中的逻辑存储的抽象化(或者分离)，使得可以访问存储系统，而无需考虑物理存储或者异构结构。该分离可以允许存储系统的管理员在管理员管理针对终端用户的存储的方式下具有灵活性。文件虚拟化可以消除在文件级下访问的数据与物理地存储文件的位置之间的依赖性。这可以实现优化存储使用、服务器整合和/或对非破坏性文件迁移的执行。

管理程序235-4提供允许多个操作系统(例如，“访客操作系统”)在主机计算机(例如，计算资源235)上同时进行执行的硬件虚拟化技术。管理程序235-4可以向访客操作系统呈现虚拟操作平台，并且可以管理访客操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。

网络250包括一个或者多个有线和/或无线网络。例如，网络250可以包括：蜂窝网络(例如，长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络、另一类型的下一代网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网(PSTN))、私用网络、自组织(ad hoc)网络、内联网、互联网、基于光纤的网络、云计算网络等和/或这些或者其它类型的网络的组合。

提供在图2中示出的数目的设备和网络及其布置作为示例。实际上，可能存在附加设备和/或网络、更少的设备和/或网络、不同的设备和/或网络或者与在图2中示出的那些设备和/或网络不同地布置的设备和/或网络。此外，在图2中示出的两个或者更多个设备可以被实施在单个设备内，或者在图2中示出的单个设备可以被实施为多个分布式设备。附加地或者备选地，环境200的设备集合(例如，一个或者多个设备)可以执行被描述为由环境200的设备的另一集合执行的一个或者多个功能。

图3是设备300的示例组件的示意图。设备300可以与用户设备210、数据源220、数据处理平台230和/或计算资源235对应。在一些实施方式中，用户设备210、数据源220、数据处理平台230和/或计算资源235可以包括一个或者多个设备300和/或设备300的一个或者多个组件。如在图3中示出的，设备300可以包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。

总线310包括允许设备300的组件中的通信的组件。处理器320被实施在硬件、固件或者硬件和软件的组合中。处理器320采用中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或者另一类型的处理组件。在一些实施方式中，处理器320包括能够被编程为执行功能的一个或者多个处理器。存储器330包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储信息和/或指令以供处理器320使用的另一类型的动态或者静态存储设备(例如，闪速存储器、磁存储器和/或光学存储器)。

存储组件340存储与操作和使用设备300有关的信息和/或软件。例如，存储组件340可以包括：硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字通用光盘(DVD)、软盘、磁带盒、磁带和/或另一类型的非瞬态计算机可读介质以及对应的驱动器。

输入组件350包括允许设备300接收信息的组件，诸如，经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)。附加地或者备选地，输入组件350可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速度计、陀螺仪和/或致动器)。输出组件360包括提供来自设备300的输出信息的组件，例如，显示器、扬声器和/或一个或者多个发光二极管(LED)。

通信接口370包括使得设备300能够与其它设备通信(诸如，经由有线连接、无线连接或者有线连接和无线连接的组合)的如同收发器的组件(例如，收发器和/或单独的接收器和发送器)。通信接口370可以允许设备300从另一设备接收信息和/或向另一设备提供信息。例如，通信接口370可以包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。

设备300可以执行本文所描述的一个或者多个过程。设备300可以基于处理器320执行由非瞬态计算机可读介质(诸如，存储器330和/或存储组件340)存储的软件指令来执行这些过程。计算机可读介质在本文中被限定为非瞬态存储器设备。存储器设备包括单个物理存储设备内的存储器空间或者在多个物理存储设备之间扩展的存储器空间。

软件指令可以经由通信接口370被从另一计算机可读介质或者从另一设备读取到存储器330和/或存储组件340中。被存储在存储器330和/或存储组件340中的软件指令在被执行时可以使处理器320执行本文所描述的一个或者多个过程。附加地或者备选地，代替用于执行本文所描述的一个或者多个过程的软件指令或者结合这些软件指令，可以使用硬连线电路。因此，本文所描述的实施方式不限于硬件电路和软件的任何特定组合。

提供在图3中示出的数目的组件及其布置作为示例。实际上，设备300可以包括附加组件、更少的组件、不同组件或者与在图3中示出的那些组件不同地布置的组件。附加地或者备选地，设备300的组件集合(例如，一个或者多个组件)可以执行被描述为由设备300的另一组件集合执行的一个或者多个功能。

图4是用于为数据处理系统提供数据模块管理的示例过程400的流程图。在一些实施方式中，图4的一个或者多个过程框可以由数据处理平台230执行。在一些实施方式中，图4的一个或者多个过程框可以由与数据处理平台230分离或者包括数据处理平台230的另一设备或者一组设备(诸如，用户设备210和/或数据源220)执行。

如在图4中示出的，过程400可以包括：从数据源接收数据(框410)。例如，数据处理平台230可以从网络数据源220接收(例如，经由输入组件350和/或通信接口370)网络数据。在一些实施方式中，数据可以按照批量形式(例如，可以包括多个数据记录或者与多个数据记录相关联的多个文本行的批量数据)和/或流形式(例如，可以被提供的文本流，例如，作为由数据源220产生的文本)被接收。在一些实施方式中，被包括在数据中的信息可以发生变化，并且可以取决于提供数据的数据源220。例如，数据可以包括错误日志、网络流量数据、计算机安全日志、广告度量、财务记录等。

在一些实施方式中，数据处理平台230可以基于被发送至数据源220或者与数据源220相关联的实体的请求来接收数据。例如，数据处理平台230可以向数据源220请求一批数据并且响应于该请求，接收所请求的批量数据。在一些实施方式中，数据处理平台230可以在不发送请求的情况下接收来自数据源220的数据(例如，被推送到数据处理平台230的数据)。例如，数据源220可以被配置为在数据源220接收到或者产生数据时(即，实时地或者近实时地)将数据流传输至数据处理平台230。

通过示例，数据处理平台230可以从数据源220接收数据(诸如，错误日志流)，该数据源220可以是为网络服务提供商管理错误日志的服务器设备。在这种情况下，错误日志流可以由数据处理平台230接收作为周期性和/或连续的文本流。继续该示例，文本可以表示各种信息。例如，在这种情况下，文本可以包括网络设备标识符、错误代码、延迟值、地理位置数据等。

按照这种方式，数据处理平台230可以从数据源接收数据，这可以使得数据处理平台230能够从接收到的数据标识属性。附加地，接收数据可以使得数据处理平台230能够将传入的数据映射至一个或者多个数据模块。

如在图4中示出的，过程400可以包括：从接收到的数据标识属性(框420)。例如，数据处理平台230可以(例如，通过使用计算资源235、处理器320、存储器330和/或存储组件340)从接收到的数据标识属性。在一些实施方式中，属性可以包括被包括在接收到的数据中的值，并且该值表示与接收到的数据相关联的特性。例如，由数据处理平台230接收的数据可以包括一个或多个文本字符串，并且数据处理平台230可以通过确定与文本的至少一部分相关联的特性来标识被包括在文本中的属性。在一些实施方式中，数据处理平台230可以标识被包括在接收到的数据中的属性，例如，通过使用由提供数据的数据源220提供的信息、与接收到的数据相关联的元数据和/或用于对接收到的数据进行解析的分析，并且可以将部分接收到的数据映射至其对应属性。

通过示例，由数据处理平台230接收的错误日志可以包括字符串，诸如，“123.456.78.90_404_010120180830EST_98.76.543.210”。在这种情况下，数据处理平台230可以对字符串进行解析，使部分文本分离(例如，通过本示例中的下划线)，并且可以将部分文本与对应的属性相关联。继续该示例，基于上述字符串，数据处理平台230可以生成以下属性：发送方的互联网协议(IP)地址、网络错误代码、时间戳和接收方IP地址。如上面提到的，数据处理平台230可以基于由数据源220提供的信息、被包括在数据中的元数据(例如，指定属性的报头数据)和/或分析(例如，基于模式的识别)来标识属性。

在一些实施方式中，数据处理平台230可以将从接收到的数据标识到的属性映射至一个或者多个数据模块。例如，数据模块可以利用属性中的一些或者所有属性(例如，“发送方的IP地址、网络错误代码、时间戳、接收方IP地址”)来执行一种或者多种计算和/或执行一个或者多个其它动作。作为特定示例，特定数据模块可以被配置为响应于与在来自单个接收方设备的特定时间窗口内发生的特定错误代码相关联的超过10个错误而触发警报。在这种情况下，数据处理平台230可以将上面示出的属性中的三个属性(例如，网络错误代码、时间戳和接收方IP地址)映射至特定数据模块。

在一些实施方式中，数据处理平台230可以将属性映射至多个数据模块。例如，多个数据模块可以利用相同或者相似的属性(例如，相同的属性可以被用于超过一个数据模块，从而实现基于相同输入数据的不同计算和/或不同输出)。另外，数据处理平台230可以将来自一个数据集合的不同属性映射至不同的数据模块(例如，错误代码可以转到一个数据模块，发送方的IP地址可以转到另一数据模块等)。

在一些实施方式中，数据处理平台230可以使用从一个或者多个其它数据源220接收到的数据来丰富被映射至数据模块的数据。通过示例，数据处理平台230可以接收日志(例如，诸如，上面描述的日志)，并且通过标识相关属性来丰富与这些日志相关联的属性，诸如，来自可以标识与发送方和/或接收方设备相关联的应用的不同源的数据。例如，可以丰富属性以供可以利用来自不同数据源的属性(例如，使用来自第一数据源的IP地址和错误代码的数据模块和来自第二数据源的应用标识符)的数据模块使用。

按照这种方式，数据处理平台230可以从接收到的数据标识属性，使得数据处理平台230能够将属性映射至数据模块，该数据处理平台230可以稍后用于基于数据模块来执行各种动作。另外，标识属性可以使得数据处理平台230能够经由用户界面来向用户设备210提供标识属性的数据，从而使得用户设备210的用户能够使用用户界面来配置数据模块。

如在图4中示出的，过程400可以包括：向用户设备提供用户界面，该用户界面使得能够选择所标识到的属性中的至少一个属性(框430)。例如，数据处理平台230可以(例如，经由计算资源235、处理器320、输出组件360和/或通信接口370)向用户设备210提供用户界面。在一些实施方式中，用户界面可以使得能够选择和/或修改所标识到的属性中的至少一个属性(例如，在框420中所标识到的属性)以创建更新的数据模块。用户界面可以按照各种方式被提供，并且可以取决于与数据处理平台230通信的用户设备210的类型。例如，用户界面可以是基于文本的控制台界面、图形用户界面、语音控制界面等。在一些实施方式中，数据处理平台230可以按照被设计为使得用户设备210的用户能够配置要由数据处理平台230使用和/或要由数据处理平台230执行的数据模块的方式来提供用户界面。

在一些实施方式中，用户界面可以提供现有数据模块的访问权限。例如，现有数据模块可以包括先前已经被配置并且用户(例如，经由用户界面)可以激活、去激活、编辑、复制、删除等的数据模块。作为特定示例，用户可以按照被设计为使数据处理平台230停止通过使用所选择的数据模块来执行数据处理的方式，来选择去激活数据模块。作为另一示例，用户界面可以提供复制数据模块的能力，从而使得能够更容易地创建新的数据模块(例如，通过编辑数据模块的副本而不是从头开始)。在一些实施方式中，数据处理平台230可以基于数据模块的寿命、按照数据源、按照所使用的属性、按照所使用的功能、按照最近应用/执行的数据模块等来对现有数据模块进行排序。例如，数据处理平台230可以包括现有数据模块列表中的现有数据模块，现有数据模块基于被包括在数据模块中的属性的数目而被排序。

在一些实施方式中，用户界面可以提供搜索现有数据模块和将现有数据模块分类的能力。例如，用户界面可以允许按照最近创建的模块、按照最旧的模块、按照数据源、按照所使用的属性、按照所使用的功能、按照最近应用/执行的模块等进行分类。例如，可以按照数据模块名称、与数据模块相关联的用户、在数据模块中所使用的属性、在数据模块中所使用的功能等来搜索数据模块。例如，这可以使得用户能够快速标识数据模块，从而节省可以按照其它方式被用于搜索特定数据模块的计算资源。另外，对数据模块进行过滤的能力可以节省将以其它方式被用于处理更大的数据模块集合的计算资源。

在一些实施方式中，用户界面可以提供使用用户界面来选择各种属性、功能等以编辑或者创建数据模块的能力。例如，用户界面可以为新的或者现有的数据模块提供各种可选属性、功能、时间窗口、分组等。在一些实施方式中，可选属性可以使得用户设备210的用户能够使用用户界面来选择哪个(哪些)属性可以被用于数据模块。在一些实施方式中，可选功能可以使得用户能够使用用户界面来选择在数据处理平台230使用数据模块处理数据时应该执行哪些功能(例如，分析功能、KPI功能、安全功能等)。在一些实施方式中，可选时间窗口可以使得用户能够选择一个或者多个时间窗口，在该一个或者多个时间窗口内，数据时间戳(例如，从数据源220接收到的时间戳和/或由数据处理平台230在接收到数据之后被应用于数据的时间戳)必须适合被包括在对数据模块的处理中(例如，对实时或者近实时接收到的数据执行数据模块，当接收到数据时，对时间窗口(诸如，5分钟时间窗口、15分钟时间窗口、1小时时间窗口等)执行数据模块)。在一些实施方式中，可选分组可以使得用户能够使用用户界面来选择由数据模块产生的输出数据可以被分组的方式(例如，按照一个或者多个特定属性、时间窗口等被分组)。按照这种方式，通过经由用户界面向用户提供用于配置数据模块的各种选项，数据处理平台230向用户提供使用用户设备210容易地管理可以由数据处理平台230应用和/或执行的能力。

通过示例，给定上述示例属性(例如，发送方的IP地址、网络错误代码、时间戳、接收方IP地址和接收方应用)，由数据处理平台230提供的用户界面可以使得用户能够(例如，经由用户设备210)创建用户模块，该用户模块可以被执行(例如，由数据处理平台230)以在5分钟的窗口内对特定类型的错误代码进行计数，并且输出按照接收方IP地址被分组的那些错误代码的计数。在该示例中，所使用的属性可以包括：用于确定错误代码是否与特定类型相匹配的各种错误代码、用于确定在所选择的时间窗口内发生的错误代码的时间戳和按照来对数据模块的输出进行分组的接收方IP地址。例如，按照上面描述的方式被配置的数据模块可以使数据处理平台230每5分钟提供按照接收方IP地址被分组的输出，该输出指示由数据处理平台230接收的包括特定错误代码的错误日志的数目的计数。

在一些实施方式中，由数据处理平台230提供的用户界面可以使能配置与一个或者多个数据模块相关联的一个或者多个警报。例如，警报可以被配置为基于发生特定事件(诸如，在数据模块中指定的一个或者多个条件被满足时)而警告特定实体(例如，特定用户设备210)。例如，在上面的示例数据模块中，可以配置警报响应于在5分钟的时间窗口内发生超过50个与单个接收方IP地址相关联的特定类型的错误而警告用户设备210。

在一些实施方式中，用户界面可以包括使得用户能够提供手动数据模块配置细节的文本输入部分。例如，文本输入部分可以使得用户能够提供自定义数据模块表达，包括属性、布尔表达式、条件表达式等。这可以使得用户能够提供可能以其它方式难以配置的自定义数据模块，或者可以使得用户能够按照会比使用用户界面的其它元素更快的方式来提供自定义数据模块(例如，在用户可能想要复制从另一源获得的数据模块并且将其粘贴到用户界面的文本输入部分中，而不是使用其它用户界面元素来构建数据模块的情况下)。

在一些实施方式中，用户界面可以包括针对数据处理平台230验证数据模块的选项。例如，在用户创建或者编辑数据模块的情况下，数据处理平台230可以按照被设计为确保数据模块没有错误并且可以被应用于数据处理流水线而没有问题的方式来验证数据模块。这可以包括：例如，检查数据模块语法、检查被包括在数据模块中的属性是否可从现有数据源获得、检查针对数据模块被选择的功能可用等。在验证失败的情况下，数据处理平台230可以提供向用户通知失败的数据(例如，经由用户界面)并且在一些实施方式中，建议校正(例如，语法校正、属性建议等)。在这种情况下，数据处理平台230可以节省可以按照其它方式被用于运行以及可能的重新运行故障数据模块的计算资源。

按照这种方式，数据处理平台230可以向用户设备210提供用户界面，从而使得数据处理平台230能够向一个或者多个用户提供快速并且容易地管理可以由数据处理平台230用于处理数据的数据模块的能力。

如在图4中示出的，过程400可以包括：从用户设备接收标识与所标识到的属性中的至少一个属性相关联的数据模块的信息(框440)。例如，数据处理平台230可以(例如，经由计算资源235、处理器320、输入组件350和/或通信接口370)从用户设备210接收标识数据模块的信息，诸如，针对新数据模块的信息、标识预先存在的数据模块的信息、标识预先存在的数据模块的修改版本的信息等。数据模块可以与所标识到的属性中的至少一个属性相关联(例如，在框420中所标识到的属性中的至少一个属性)。数据模块可以是新的数据模块(例如，由用户经由用户设备210创建的数据模块和由数据处理平台230提供的用户界面)或者预先存在的数据模块(例如，通过一个或者多个预先存在的数据模块激活或者编辑的数据模块)。

在一些实施方式中，标识数据模块的信息可以经由在框430处提供的用户界面被接收。例如，数据处理平台230可以提供基于网络的图形用户界面，用户设备210的用户使用基于网络的图形用户界面来经由用户界面向数据处理平台230提供标识数据模块。在一些实施方式中，标识数据模块的信息可以由数据处理平台230通过除了图形用户界面之外的信道接收。例如，标识数据模块的信息可以按照各种方式被提供至数据处理平台230(例如，被上传至用于存储数据模块的数据存储设备，经由命令行接口被提供、被提供在一批数据模块中等)。

在一些实施方式中，对数据模块的验证可以在接收到标识数据模块的信息之后(例如，在经由用户界面或者以其它方式提交至数据处理平台230之后)由数据处理平台230执行。在这种情况下，数据处理平台230可以经由用户界面或者按照另一方式(例如，电子邮件、控制台输出等)来向用户通知关于失败的验证。

按照这种方式，数据处理平台230可以从用户设备210接收包括所标识到的属性中的一个属性的数据模块，从而使得数据处理平台230能够将数据模块应用于数据处理流水线。

如在图4中示出的，过程400可以包括：激活数据模块以供数据处理流水线使用(框450)。例如，数据处理平台230可以(例如，经由计算资源235、处理器320、存储器330、存储组件340、输出组件360和/或通信接口370)激活数据模块以供数据处理流水线使用。例如，数据处理平台230可以将数据模块提供至实施数据处理流水线中的数据映射和导出部分(或者等效部分)的设备。数据处理流水线可以由数据处理平台230实施或者在一些实施方式中，由不同的数据处理服务或者平台实施。按照这种方式，通过将数据模块提供至与数据映射和导出相关联的设备，数据处理平台230可以使得能够将传入的数据映射至数据模块并且在一些实施方式中，使得能够执行数据模块(例如，通过数据处理平台230)。

在一些实施方式中，数据处理平台230可以通过将数据模块存储在由数据处理流水线中的数据映射和导出部分使用的数据库或者其它存储设备或者数据结构中来激活数据模块。例如，数据处理流水线中的数据映射和导出部分可以由被包括在数据处理平台230中的一个或者多个设备执行，至少一个设备负责从数据存储装置(例如，从数据库)获得数据模块。从数据存储装置获得数据模块可以基于数据模块数据库中的变化等被周期性地执行，并且可以按照被设计为确保由数据处理流水线的数据映射和导出部分(以及数据处理流水线中的其它部分)使用的数据模块是最新的的方式被执行。通过示例，数据处理平台230可以将数据模块存储在队列中并且周期性地在队列中搜索新的和/或更新的数据模块。响应于检测到新的和/或更新的数据模块，数据处理平台230可以激活新的和/或更新的数据模块。

在一些实施方式中，不是激活数据模块，数据处理平台230可以从数据处理流水线去除数据模块(例如，从数据模块数据库删除数据模块，去激活数据模块等)。例如，在用户设备210的用户去激活和/或删除数据模块(例如，经由用户界面)的情况下，数据处理平台230可以从数据模块的数据库删除数据模块和/或将数据模块标记为被去激活。

按照这种方式，数据处理平台230可以激活数据模块以供数据处理流水线使用，从而使得数据处理平台230能够基于数据模块来执行一个或者多个动作。

如在图4中示出的，过程400可以包括：基于数据模块来执行动作(框460)。例如，数据处理平台230可以(例如，经由计算资源235、处理器320、存储器330、存储组件340、输出组件360和/或通信接口370)基于数据模块来执行一个或者多个动作。例如，数据模块可以指定数据处理平台230应该按照来处理与数据模块相关联的传入数据的方式、数据处理平台230应该按照来存储与数据模块相关联的数据的方式、数据处理平台230应该按照来报告与数据模块相关联的信息的方式等。在这种情况下，数据处理平台230可以执行由数据模块指定的动作。

在一些实施方式中，数据处理平台230可以基于数据模块来处理传入的数据。例如，数据处理平台230可以基于数据模块来执行数据映射和/或导出。在这种情况下，数据处理流水线中的数据映射部分可以对接收到的数据进行解析，标识被包括在接收到的数据中的属性，以及基于由数据模块指定的属性来对部分接收到的数据进行映射。例如，如果数据模块需要三个属性，则数据映射部分可以(例如，从一个或者多个数据源220)获得具有指定属性的传入数据，并且将该传入数据映射至数据模块。

在一些实施方式中，数据处理平台230可以基于数据模块来执行一种或者多种计算。例如，数据处理平台230可以对被映射至数据模块的数据执行由数据模块指定的一个或者多个功能。在这种情况下，数据处理流水线中的计算部分可以执行由数据模块指定的功能。例如，计算部分可以执行分析功能、KPI功能、计算机安全功能等。通过使用上面的示例数据模块(例如，在框430中描述的)，数据处理平台230可以执行在5分钟的窗口内对特定类型的错误代码进行计数并且按照接收方IP地址对错误代码进行分组的功能。作为另一示例，数据处理平台可以执行被设计为从网络数据标识一个或者多个关键性能指示符的功能。

在一些实施方式中，数据处理平台230可以基于数据模块来存储信息。例如，数据处理平台230可以执行数据处理流水线中的数据访问部分以存储与数据模块相关联的数据。在这种情况下，数据处理平台230可以通过在数据处理流水线中的计算部分中执行数据模块(例如，输出数据，诸如，统计)来存储被用于执行计算的数据(例如，传入的数据)和/或输出数据。通过使用上面的示例数据模块，数据处理平台230可以存储被用作针对数据模块的输入的错误日志，并且存储按照接收方IP地址被分组的错误消息的计数。

在一些实施方式中，数据处理平台230可以基于数据模块来提供信息。例如，数据处理平台230可以执行数据处理流水线中的数据消耗部分，以基于使用数据模块处理数据的结果来提供信息。在这种情况下，数据处理流水线中的数据消耗部分可以使数据可用于用户设备210，可以通知用户设备210，可以向用户设备210发送警报等。作为示例，数据处理平台230可以提供使显示数据处理结果的视觉表示的数据(例如，在用户设备210处)。在数据处理平台230标识关键性能指示符的情况下，例如，数据处理平台230可以向用户设备210提供使关键性能指示符的视觉表示出现的数据(例如，经由网页、电子邮件通信等)。

在一些实施方式中，数据处理平台230可以基于数据模块来提供使设备执行动作的数据。例如，由数据处理平台230提供的数据可以使设备(例如，计算设备、安全设备、网络设备等)上电、启动、激活、去激活、掉电、执行程序等。例如，这可以使得数据处理平台230能够提供故障恢复服务的至少一部分，从而使用由数据处理流水线执行的数据模块来检测问题(例如，故障网络设备)，并且发送可以触发问题的解决方案(例如，激活网络设备以替换故障网络设备)的数据。

在一些实施方式中，数据处理平台230可以基于数据模块来终止执行数据处理流水线中的一个或者多个部分。例如，在数据模块被删除或者被去激活的情况下，数据处理平台230可以使用数据模块来停止处理传入的数据，基于数据模块来停止执行计算，基于数据模块来停止存储信息停止和/或基于数据模块来停止提供信息。

按照这种方式，数据处理平台230可以基于数据模块来执行一个或者多个动作，从而使得数据处理平台230能够使用数据模块基于数据模块执行关于处理数据的各种动作。

通过在数据处理流水线中从传入的数据获得可用属性，将这些属性提供给用户，并且实现对数据模块的快速配置和激活，数据处理平台230可以实现节省重要的人力资源和计算设备资源。例如，标识属性以及呈现用户界面可以使得非技术人员能够创建和激活数据模块，而不依赖于数据处理开发者或者其他技术专家。另外，可以被用于使能从传入的数据标识有用属性的计算资源可以被节省，包括将以其它方式被用来存储和分析数据的处理资源和数据存储资源。获得由用户限定的数据模块并且直接激活该数据模块以供数据处理流水线使用的能力可以消除对管理员或者开发者与数据处理平台230的交互的需要。此外，快速使用数据模块并且执行由数据模块指定的功能的能力可以节省重要数据处理资源、网络资源和数据存储资源，这些资源可以按照其它方式被用来开发针对使用数据模块和执行由数据模块指定的功能的解决方案。

前述公开内容提供了说明和描述，但是不旨在是详尽的或者将实施方式限于所公开的精确形式。鉴于上面的公开内容，修改和变化是可能的，或者可以从实施方式的实践中获得修改和变化。

如本文所使用的，术语“组件”旨在被广泛地解释为硬件、固件和/或硬件和软件的组合。

本文结合阈值描述了一些实施方式。如本文所使用的，满足阈值可以是指值大于阈值、多于阈值、高于阈值、大于或者等于阈值、小于阈值、少于阈值、低于阈值、小于或者等于阈值、等于阈值等。

本文已经描述了和/或在附图中示出了某些用户界面。用户界面可以包括图形用户界面、非图形用户界面、基于文本的用户界面等。用户界面可以提供用于显示的信息。在一些实施方式中，用户可以与信息进行交互，诸如，通过经由提供用户界面以用于显示的设备的输入组件提供输入。在一些实施方式中，用户界面可以由设备和/或用户可配置(例如，用户可以改变用户界面的大小、经由用户界面提供的信息、经由用户界面提供的信息的位置等)。附加地或者备选地，用户界面可以被预先配置成标准配置、基于显示用户界面的设备的类型的特定配置和/或基于与在其上显示用户界面的设备相关联的能力和/或规范的一组配置。

将明显的是，本文所描述的系统和/或方法可以按照不同形式的硬件、固件或者硬件和软件的组合被实施。被用来实施这些系统和/或方法的实际专用控制硬件或者软件代码不是对实施方式的限制。因此，本文描述了系统和/或方法的操作和行为，但是未参照特定软件代码—应该理解，软件和硬件可以被设计为基于本文的描述来实施系统和/或方法。

虽然在权利要求书中叙述了和/或在本说明书中公开了特征的特定组合，但是这些组合不旨在限制对可能实施方式的公开。实际上，这些特征中的许多特征可以按照未在权利要求书中具体叙述和/或在本说明书中公开的方式被组合。虽然下面列出的每个从属权利要求可以仅直接依赖于一个权利要求，但是对可能实施方式的公开包括每个从属权利要求以及权利要求集合中的每个其它权利要求。

本文所使用的元件、动作或者指令都不应该被解释为是关键的或者必要的，除非明确地如此描述。而且，如本文所使用的，冠词“一(a)”和“一个(an)”旨在包括一个或者多个项，并且可以与“一个或者多个”互换地使用。此外，如本文所使用的，术语“集合”旨在包括一个或者多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或者多个”互换使用。在预期仅一个项的情况下，使用术语“一个”或者类似的语言。而且，如本文所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。进一步地，短语“基于”旨在表示“至少部分地基于”，除非另有明确说明。

Claims (20)

1.一种设备，包括：

一个或者多个存储器设备；以及

一个或者多个处理器，所述一个或者多个处理器被通信地连接至所述一个或者多个存储器设备以：

从网络数据源接收网络数据；

标识被包括在接收的所述数据中的属性；

向用户设备提供用户界面，

所述用户界面提供用户界面元素，所述用户界面元素通过与所述用户界面元素中的一个或者多个用户界面元素的交互支持对所述属性中的至少一个属性的选择和/或修改，以创建更新的数据模块；

从所述用户设备接收标识所述更新的数据模块的信息，所述更新的数据模块：

被配置为处理所述至少一个属性，并且

限定要由数据处理流水线执行的功能；

将所述更新的数据模块存储在队列中；

定期地针对更新的数据模块搜索所述队列；

响应于更新的数据模块被存储在所述队列中，激活所述更新的数据模块以供由所述设备实施的所述数据处理流水线使用；以及

使用所述数据处理流水线和所述更新的数据模块来对传入的数据执行动作。

2.根据权利要求1所述的设备，其中接收的所述数据包括文本的至少一个字符串。

3.根据权利要求1所述的设备，其中：

所述数据源是流数据的源，并且

接收的所述数据被流传输至所述设备。

4.根据权利要求1所述的设备，其中：

所述数据源是批数据的源，并且

接收的所述数据作为一批数据而被接收，

所述一批数据包括多个数据记录。

5.根据权利要求1所述的设备，其中当标识被包括在接收的所述数据中的所述属性时，所述一个或者多个处理器用以：

基于先前由所述数据源提供至所述设备的信息来标识被包括在接收的所述数据中的所述属性。

6.根据权利要求1所述的设备，其中当标识被包括在接收的所述数据中的所述属性时，所述一个或者多个处理器用以：

基于被包括在接收的所述数据中的元数据来标识被包括在接收的所述数据中的所述属性。

7.根据权利要求1所述的设备，其中当标识被包括在接收的所述数据中的所述属性时，所述一个或者多个处理器用以：

基于对接收的所述数据执行的分析的结果来标识被包括在接收的所述数据中的所述属性。

8.根据权利要求1所述的设备，其中所述一个或者多个处理器还用以：

基于所述数据模块被配置为处理所述属性中的一个属性来将所述属性中的所述一个属性映射至所述数据模块。

9.一种存储指令的非瞬态计算机可读介质，所述指令包括：

一个或者多个指令，所述一个或者多个指令在由一个或者多个处理器执行时使所述一个或者多个处理器：

向用户设备提供用户界面，

所述用户界面提供用户界面元素，所述用户界面元素通过与所述用户界面元素中的一个或者多个用户界面元素的交互支持对至少一个属性的选择，所述至少一个属性先前被标识为被包括在被提供至所述一个或者多个处理器的数据中；

从所述用户设备接收标识数据模块的信息，所述数据模块：

包括所述至少一个属性的属性，并且

限定要由数据处理流水线执行的功能；

激活所述数据模块以供由所述一个或者多个处理器实施的所述数据处理流水线使用；以及

使用所述数据处理流水线和所述数据模块来对传入的数据执行动作。

10.根据权利要求9所述的非瞬态计算机可读介质，其中所述用户界面还支持对以下中的至少一项的选择：

要由所述数据处理流水线执行的一个或者多个功能，

与所述属性相关联的一个或者多个条件，

与所述一个或者多个功能的执行相关联的一个或者多个时间窗口，

与所述属性相关联的一个或者多个分组，或者

与所述属性相关联的一个或者多个区段。

11.根据权利要求9所述的非瞬态计算机可读介质，其中所述数据模块还限定以下中的一项或者多项：

与所述功能相关联的一个或者多个条件，

与所述功能相关联的一个或者多个时间窗口，

与所述功能相关联的一个或者多个分组，或者

与所述功能相关联的一个或者多个区段。

12.根据权利要求9所述的非瞬态计算机可读介质，其中使所述一个或者多个处理器执行所述动作的所述一个或者多个指令使所述一个或者多个处理器：

标识一个或者多个关键性能指示符。

13.根据权利要求12所述的非瞬态计算机可读介质，其中所述一个或者多个指令还使所述一个或者多个处理器：

提供所述一个或者多个关键性能指示符的视觉表示。

14.根据权利要求9所述的非瞬态计算机可读介质，其中所述一个或者多个指令在由所述一个或者多个处理器执行时还使所述一个或者多个处理器：

对所述数据模块的语法进行评估以确定所述数据模块是否有效；以及

向所述用户设备提供指示所述数据模块是否有效的通知。

15.一种方法，包括：

由设备向用户设备提供用户界面，

所述用户界面支持对以下的选择：

先前被标识为被包括在被提供至所述设备的数据中的至少一个属性，以及

要由数据处理流水线执行的至少一个功能；

由所述设备从所述用户设备接收标识数据模块的信息，所述数据模块包括：

所述至少一个功能的功能，以及

所述至少一个属性的属性；

由所述设备激活所述数据模块以供由所述设备实施的所述数据处理流水线使用；以及

基于所述数据模块来执行动作。

16.根据权利要求15所述的方法，其中执行所述动作包括：

基于所述数据模块来对由所述设备接收的数据进行映射，

所述数据包括所述属性。

17.根据权利要求15所述的方法，其中执行所述动作包括：

对由所述设备接收的数据执行所述数据模块。

18.根据权利要求16所述的方法，其中执行所述数据模块包括：

对由所述设备接收的所述数据执行所述数据模块中包括的所述功能。

19.根据权利要求15所述的方法，其中执行所述动作包括：

向分离的设备提供输出数据，所述输出数据是：

基于所述数据模块的执行，并且

由所述数据模块指定，

其中所述分离的设备由所述数据模块指定。

20.根据权利要求15所述的方法，进一步包括：

基于从所述用户界面接收的输入来去激活所述数据模块。