CN108037973A - 一种与数据处理工具交互的数据流建模和处理系统 - Google Patents

一种与数据处理工具交互的数据流建模和处理系统 Download PDF

Info

Publication number
CN108037973A
CN108037973A CN201711387689.8A CN201711387689A CN108037973A CN 108037973 A CN108037973 A CN 108037973A CN 201711387689 A CN201711387689 A CN 201711387689A CN 108037973 A CN108037973 A CN 108037973A
Authority
CN
China
Prior art keywords
data flow
data
user interface
tools
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711387689.8A
Other languages
English (en)
Other versions
CN108037973B (zh
Inventor
耐尔
屈朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Advanced Digital Technology Co ltd
Original Assignee
Suzhou Shengmei Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Shengmei Intelligent System Co Ltd filed Critical Suzhou Shengmei Intelligent System Co Ltd
Priority to CN201711387689.8A priority Critical patent/CN108037973B/zh
Publication of CN108037973A publication Critical patent/CN108037973A/zh
Application granted granted Critical
Publication of CN108037973B publication Critical patent/CN108037973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种与数据处理工具交互的数据流建模和处理系统，包括：图形用户界面，用于创建数据流图；界面服务器，连接于图形用户界面，接受图形用户界面的数据流图，并解析成命令函数；执行端，包括数据处理工具，所述执行端与界面服务器连接，接受其发送的命令函数进行操作，最终将结果通过界面服务器发送到图形用户界面，本发明通过图形用户界面与界面服务器让使用者可以通过简单的图形设计来完成对数据流图的设计和执行，增加了处理效率，降低了该工作的难度，增加了本系统的适用人群，并且能进行直观的操作并且反馈执行结果，在数据处理工具执行出现问题时，可及时发现并进行解决，避免了现有技术中要进行大量排查才能找到问题。

Description

一种与数据处理工具交互的数据流建模和处理系统
技术领域
本发明涉及一种与数据处理工具交互的数据流建模和处理系统，属于数据处理技术领域。
背景技术
云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加，推动人类社会迈入大数据时代。如今市场上有很多用于大数据处理的开源和闭源的处理系统、引擎和工具。例如，Hadoop生态系统中的所有工具，这些工具之间并不全部相互兼容。这些工具是通过不同的团队用不同的语言写成，具有不同的API和不同的功能。没有一个共同的方法能够轻松地将他们集成在一个计算环境中。这就导致每一次数据分析时，都需要大量的软件编程和集成工作。
在现有技术中，没有通用的方法将这些处理系统、引擎和工具集成在一起，开发人员只能为每一个模块编写定制化代码，用软件代码和脚本对他们进行集成。开发人员编写代码结束后，实施人员在生产环境中施行该代码。一旦有错误产生或者需要做出变更，开发人员需要核查几千行代码，才能找出错误所在，然后对代码进行更改。开源和闭源的数据处理系统、引擎和工具在数据流处理中扮演着不同的角色，通过写海量代码来将数据流处理中的这些定制化模块结合在一起，耗时耗力。例如，如果用另外一个模块替换其中一个模块，编程人员就要写好几百行的代码。现有技术还具有以下缺点：
1.没有标准的API来操作、管理和使用这些开源和闭源的数据处理系统、引擎和工具。开发人员必须为不同的API编写定制化代码。
2.不同种类的数据处理系统、引擎和工具之间没有共同的、标准的API来进行数据交换。同样地，开发人员需要为数据交换API编写定制化代码。
3.没有GUI界面，就不能轻松管理数据处理过程。如果需要进行一些操作，例如开始、暂停、停止等，开发人员需
要首先完成该操作的代码编写。用户不能轻松地操作或者做出变更。
4.没有共同的数据交换格式，数据流中的每一个模块都不相同，都有各自的交换格式，将他们结合在一个数据流处理方案中，不容易让它们顺畅地进行数据交换。需要开发人员为每一个交换环节开发出客制化代码。一旦完成数据流处理方案的设计，用户想要做出调整和改变将会十分困难。
5.现有技术需要固定的软件代码，实施过程也十分严格，不灵活。一旦软件代码完成编写，就不容易改变。在实施数据流处理方案时，不可能在生产环境中对组成数据流处理方案的每一个模块进行调整。因此，如果要修改，开发人员必须再次修改代码，修改完成后，再次在开发环境中实施。
6.与此前不同类型的数据产生后，需要客户反馈数据类型及其详细信息，然后数据分析人员做出分析，接着，开发人员根据分析开发相关处理程序，最终实施人员对原有方案进行更新和维护。这样使得整个开发周期变得十分漫长，在此期间，数据不能被使用，还有可能损失数据。
7.系统运行时，人们不能监控到数据流处理方案中的每一个处理环节的运行状态，如果其中有一个环节出现了拥堵状况，会导致整个系统速率变慢，难以满足大数据企业的需求。
8.在现有技术的数据流处理中，人们不能直观地完成处理环节的具体操作，例如对组件进行配置，需要首先由开发人员进行代码开发，然后实施人员来部署处理方案，复杂的实施步骤增加了维护难度。
9.很难支持复杂的数据行为，数据流单向流动，不支持数据重复操作，不能多方向接收或发送数据。
10.数据处理模型共享难度大(例如，从开发环境到生产环境)。软件代码或配置文件必须复制安装到目标环境中，而且需要重启整个项目程序。这样容易的操作方式会导致整个项目操作中断，或操作失败。
发明内容
本发明要解决的技术问题是：为克服上述问题，提供一种高效处理不同来源的海量流数据的数据流建模和处理系统。
本发明解决其技术问题所采用的技术方案是：
一种与数据处理工具交互的数据流建模和处理系统，包括：
图形用户界面，用于创建数据流图；
界面服务器，连接于图形用户界面，接受图形用户界面的数据流图，并解析成命令函数；
执行端，包括数据处理工具，所述执行端与界面服务器连接，接受其发送的命令函数进行操作，最终将结果通过界面服务器发送到图形用户界面。
优选地，所述图形用户界面包括多种用于建立数据流图的组件,每个组件模拟执行端的数据处理工具其中之一的功能，在图形用户界面中将组件组合在一起可创建数据流图。
优选地，所述界面服务器与图形用户界面之间的控制函数采用统一的源代码进行编译。
优选地，所述界面服务器还可以进行以下操作：
(1)编辑和运行数据处理工具中的脚本；
(2)从数据处理工具中调用预写的函数；
(3)将用户从图形用户界面发出的数据处理模型、查询和其他API命令翻译给数据处理工具；
(4)对数据处理工具进行定时自动操作；
(5)将数据处理工具的运行状态、操作状况及错误报告给图形用户界面。
优选地，所述数据处理工具包括日志采集系统、消息系统和分析处理平台、计算引擎、查询搜索和报告工具、存储工具、集群管理和监控和容器和缓存工具或商业智能工具。
优选地，所述查询搜索和报告工具包括Phoenix、Stinger、Presto、Spark SQL、Pig、Apache Impala、Apache Drill、Apache Tajo、Sqoop、Nutch、Lucene、SolrCloud、Solr、ElasticSearch、Sphinx、SenseiDB或Jaspersoft。
优选地，所述计算引擎包括以下四种：(1)流式数据计算引擎：Puma、Rainbird、Yahoo S4、Apache Storm、DataTorrent、Spark Streaming或Flink；(2)迭代计算引擎：Apache Hama、Apache Giraph、HaLoop或Twister；(3)离线批量计算引擎：HadoopMapReduce、Apache Spark、NoSQL databases、Column oriented databases或SQLdatabases；(4)机器学习引擎：Mahout、MLlib、DataMelt、KEEL、Orange、Rattle、SPMF、Weka或Hivemall。
优选地，所述日志采集系统包括Scribe、Flume、logstash、Chukwa或FluentD。
优选地，所述存储工具至少包括以下5种：(1)键值存储工具：LevelDB、RocksDB、HyperDex、TokyoCabinet、Voldemort、AmazonDynamo、Tair、Accumulo、Redis、LevelDB或SSTable；(2)表格存储工具：OceanBase、Amazon SimpleDB、Vertica、Cassandra、HyperTable、FoundationDB或Hadoop HIVE；(3)文件存储工具：CouchDB、MongoDB或HadoopHDFS；(4)关系型数据库工具：Oracle DB、MariaDB、PostgreSQL、IBM DB2、MS SQL Server、Pivotal Greenplum或Aerospike；(5)其他存储工具：Hibari、Neo4j、OrientDB、FlockDB、Riak、Blazegraph、TokuDB、Hadoop HBASE、RecordIO或InfoBright。
优选地，所述消息系统包括StormMQ、ZeroMQ、RabbitMQ、ActiveMQ、Jafka、ApacheKafka、Netty、Apache Avro、Thrift、Flat Buffers、Cap’n proto、Messagepack或ProtocolBuffers。
优选地，所述集群管理和监控和容器和缓存工具包括Nagios、Ganglia、ApacheAmbari、Oozie、Zookeeper、Consul、Dapper、Zipkin、Docker、Kubernetes、Lmctfy Linux、Ignite、Terracotta、Pivotal GemFire/Geode、GridGain或Infinispan。
优选地，商业智能工具包括HPCC、Pandas、REEF、OpenStack、Talend Open Studio、Jaspersoft、Pentaho、SpagoBI、KNIME、BIRT、Intelligent Miner、SPSS、PivotalGreenplum、RapidMiner或Disco。
本发明的有益效果是：本发明具有以下优点：
1.通过图形用户界面与界面服务器让使用者可以通过简单的图形设计来完成对数据流图的设计和执行，增加了处理效率，降低了该工作的难度，增加了本系统的适用人群。
2.本系统在设计数据流图和执行数据流图的过程中，都可以直观的操作和得到反馈执行结果，在某一数据处理工具执行出现问题时，可及时发现并进行解决，避免了现有技术中要进行大量排查才能找到问题。
3.界面服务器自行的将数据流图解析成命令函数发送到数据处理工具，用户可通过简单的操作获得复杂的数据处理行为，并且可以多次重复执行。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明一个实施例的结构框图；
图2是本发明另一个实施例的结构框图；
图3是本发明一个实施例的流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
如图1所示的本发明所述一种与数据处理工具交互的数据流建模和处理系统，包括：
图形用户界面(Graphical User Interface，简称GUI，又称图形用户接口)是指采用图形方式显示的计算机操作用户界面，用户可在图形用户界面中通过简单的操作来创建数据流图，给予用户一个简单实用的编辑平台；
界面服务器，连接于图形用户界面，接收图形用户界面的数据流图，并解析成命令函数，数据流图中包括数据的整体处理过程，其中会有在其中某个步骤需要相应的数据处理工具进行处理，界面服务器先将数据流图中需要的数据处理工具解析出，再解析出这些数据处理工具在对应的位置需要做出哪些数据处理，将每个数据处理工具要作出的数据处理转换成相应的命令函数，分布发送到相应的数据处理工具，如图2中所示，界面服务器可以设置多个，具体数量可根据需要设置；
执行端，即为数据处理的最终执行端，包括数据处理工具，所述执行端与界面服务器连接，接受其发送的命令函数进行操作，因为数据处理工具种类繁多，界面服务器在转换命令函数时对应每个数据处理工具进行分别编译，最终将结果通过界面服务器发送到图形用户界面，反馈后可让使用者实时的了解数据流图的执行情况及处理结果。
本发明通过以上设置具有以下优点：
1.通过图形用户界面与界面服务器让使用者可以通过简单的图形设计来完成对数据流图的设计和执行，不需要通过编写代码来开发(设计)模型和处理数据。只需要在GUI上拖拽组件就能开发(设计)模型。用于数据处理的算法会产生形成图形化界面的，而不是需要使用编程语言的编程步骤，降低了该工作的难度，增加了本系统的适用人群。
2.本系统在设计数据流图和执行数据流图的过程中，都可以直观的操作和得到反馈执行结果，在某一数据处理工具执行出现问题时，可及时发现并进行解决，避免了现有技术中要进行大量排查才能找到问题。
3.界面服务器自行的将数据流图解析成命令函数发送到数据处理工具，用户可通过简单的操作获得复杂的数据处理行为，并且可以多次重复执行。
4.可以使用样本数据进行数据建模实验这种方式开发数据处理模型。本系统中数据处理模型可以导出到文件夹中，然后共享，再导入到各自的系统中。并且开发完成后，该实验模型就能部署到生产环境之后，无需做任何修改。
5.以本发明开发数据处理方案时，由于组件和界面服务器都是提前测试好的，其中的bug很少。
在优选的实施方式中，所述图形用户界面包括多种用于建立数据流图的组件,每个组件模拟执行端的数据处理工具其中之一的功能，在图形用户界面中将组件组合在一起可创建数据流图，所述数据处理工具采用现有技术中已有的工具，在图形用户界面中可根据需要设置数据处理工具对应的组件，在实际使用中，组件可进行分类和规划，针对设计不同的数据流图设置不同的组件，如图2中所示，可将同类的组件对应一个界面服务器设置，也可以单独对应，以同类组件数量区别设置。
本发明使用时，先在图形用户界面上编辑数据流图，将需要的组件拖拽至编辑区进行编辑，编辑完成后，运行该数据流图，图形用户界面将数据流图的操作发送给界面服务器，比如开始、暂停、停止、输入、输出、发送等。图形用户界面将查询操作也发送给界面服务器，界面服务器将这些信息进行转化为多个命令函数，然后发送给执行端的对应的数据处理工具。数据处理工具收到这些命令函数后，就开始工作，然后给图形用户界面发送指示。
在优选的实施方式中，所述界面服务器与图形用户界面之间的控制函数采用统一的源代码进行编译，因界面服务器针对图形用户界面的操作进行相应处理，因此其之间的控制函数采用同一标准的源代码进行编译，可有效的增加效率，不需要在不同标准的代码之间进行转换。
在优选的实施方式中，所述界面服务器还可以进行以下操作：
(1)编辑和运行数据处理工具中的脚本；
(2)从处数据理工具库中调用预写的函数；
(3)将用户从图形用户界面发出的数据处理模型翻译给数据处理工具库、并向数据处理工具库发出查询命令和其他API命令发送，除了数据流图之外，用户还可以通过图形用户界面进行其他以上操作；
(4)对数据处理工具进行定时自动操作，控制方式更加多样化；
(5)将数据处理工具的运行状态、操作状况及错误报告给图形用户界面，及时反应数据处理情况，让用户及时作出对应。
在优选的实施方式中，所述数据处理工具包括日志采集系统、消息系统和分析处理平台、计算引擎、查询搜索和报告工具、存储工具、集群管理和监控和容器和缓存工具或商业智能工具，以上工具为本发明较优选的选择，但不限于此，还可根据需要选择其他现有的数据处理工具。
在优选的实施方式中，所述查询搜索和报告工具包括Phoenix、Stinger、Presto、Spark SQL、Pig、Apache Impala、Apache Drill、Apache Tajo、Sqoop、Nutch、Lucene、SolrCloud、Solr、ElasticSearch、Sphinx、SenseiDB或Jaspersoft，但不限于此，还可根据需要选择其他。
在优选的实施方式中，所述计算引擎包括以下四种：(1)流式数据计算引擎：Puma、Rainbird、Yahoo S4、Apache Storm、DataTorrent、Spark Streaming或Flink；(2)迭代计算引擎：Apache Hama、Apache Giraph、HaLoop或Twister；(3)离线批量计算引擎：HadoopMapReduce、Apache Spark、NoSQL databases、Column oriented databases或SQLdatabases；(4)机器学习引擎：Mahout、MLlib、DataMelt、KEEL、Orange、Rattle、SPMF、Weka或Hivemall，但不限于此，还可根据需要选择其他。
在优选的实施方式中，所述日志采集系统包括Scribe、Flume、logstash、Chukwa或FluentD，但不限于此，还可根据需要选择其他。
在优选的实施方式中，所述存储工具至少包括以下5种：(1)键值存储工具：LevelDB、RocksDB、HyperDex、TokyoCabinet、Voldemort、AmazonDynamo、Tair、Accumulo、Redis、LevelDB或SSTable；(2)表格存储工具：OceanBase、Amazon SimpleDB、Vertica、Cassandra、HyperTable、FoundationDB或Hadoop HIVE；(3)文件存储工具：CouchDB、MongoDB或Hadoop HDFS；(4)关系型数据库工具：Oracle DB、MariaDB、PostgreSQL、IBMDB2、MS SQL Server、Pivotal Greenplum或Aerospike；(5)其他存储工具：Hibari、Neo4j、OrientDB、FlockDB、Riak、Blazegraph、TokuDB、Hadoop HBASE、RecordIO或InfoBright，但不限于此，还可根据需要选择其他。
在优选的实施方式中，所述消息系统包括StormMQ、ZeroMQ、RabbitMQ、ActiveMQ、Jafka、Apache Kafka、Netty、Apache Avro、Thrift、Flat Buffers、Cap’n proto、Messagepack或Protocol Buffers，但不限于此，还可根据需要选择其他。
在优选的实施方式中，所述集群管理和监控和容器和缓存工具包括Nagios、Ganglia、Apache Ambari、Oozie、Zookeeper、Consul、Dapper、Zipkin、Docker、Kubernetes、Lmctfy Linux、Ignite、Terracotta、Pivotal GemFire/Geode、GridGain或Infinispan，但不限于此，还可根据需要选择其他。
在优选的实施方式中，商业智能工具包括HPCC、Pandas、REEF、OpenStack、TalendOpen Studio、Jaspersoft、Pentaho、SpagoBI、KNIME、BIRT、Intelligent Miner、SPSS、Pivotal Greenplum、RapidMiner或Disco，但不限于此，还可根据需要选择其他。
以上数据处理工具的具体类型为现有的工具，上述均为工具的英文名称或简称，均在现有技术中可查。
实施例2
在实施例1所述一种与数据处理工具交互的数据流建模和处理系统的基础上，本实施例提供一个具体实施的例子，图3描述了一个数据处理过程，包括SQLquery由用户定义，查询存储在HIVE表格中的数据，查询结果发送至计算引擎Spark中，Spark做进一步的计算和转化，然后将转化的数据输出给HIVE。这些数据再次存储在HIVE中的另一张表格中。为了实现上述数据处理目标，在本发明系统中，用户首先需要在图形用户界面上编辑数据流图，将对应SQLquery、Spark和HIVE的组件拖拽至编辑区进行编辑，按照图3进行编辑出相应的数据流图。编辑完成后，运行该数据流图，图形用户界面将数据流图的操作发送给界面服务器，界面服务器将这些信息进行转化成命令函数，然后发送给SQLquery、Spark和HIVE，执行完之后在将结果反馈给图形用户界面。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (12)

1.一种与数据处理工具交互的数据流建模和处理系统，其特征在于，包括：
图形用户界面，用于创建数据流图；
界面服务器，连接于图形用户界面，接受图形用户界面的数据流图，并解析成命令函数；
执行端，包括数据处理工具，所述执行端与界面服务器连接，接受其发送的命令函数进行操作，最终将结果通过界面服务器发送到图形用户界面。
2.如权利要求1所述的数据流建模和处理系统，其特征在于，所述图形用户界面包括多种用于建立数据流图的组件,每个组件模拟执行端的数据处理工具其中之一的功能，在图形用户界面中将组件组合在一起可创建数据流图。
3.如权利要求1或2所述的数据流建模和处理系统，其特征在于，所述界面服务器与图形用户界面之间的控制函数采用统一的源代码进行编译。
4.如权利要求1-3任一项所述的数据流建模和处理系统，其特征在于，所述界面服务器还可以进行以下操作：
(1)编辑和运行数据处理工具中的脚本；
(2)从数据处理工具中调用预写的函数；
(3)将用户从图形用户界面发出的数据处理模型、查询和其他API命令翻译给数据处理工具；
(4)对数据处理工具进行定时自动操作；
(5)将数据处理工具的运行状态、操作状况及错误报告给图形用户界面。
5.如权利要求1-4任一项所述的数据流建模和处理系统，其特征在于，所述数据处理工具包括日志采集系统、消息系统和分析处理平台、计算引擎、查询搜索和报告工具、存储工具、集群管理和监控和容器和缓存工具或商业智能工具。
6.如权利要求5所述的数据流建模和处理系统，其特征在于，所述查询搜索和报告工具包括Phoenix、Stinger、Presto、Spark SQL、Pig、Apache Impala、Apache Drill、ApacheTajo、Sqoop、Nutch、Lucene、SolrCloud、Solr、ElasticSearch、Sphinx、SenseiDB或Jaspersoft。
7.如权利要求5所述的数据流建模和处理系统，其特征在于，所述计算引擎包括以下四种：(1)流式数据计算引擎：Puma、Rainbird、Yahoo S4、Apache Storm、DataTorrent、SparkStreaming或Flink；(2)迭代计算引擎：Apache Hama、Apache Giraph、HaLoop或Twister；(3)离线批量计算引擎：Hadoop MapReduce、Apache Spark、NoSQL databases、Columnoriented databases或SQL databases；(4)机器学习引擎：Mahout、MLlib、DataMelt、KEEL、Orange、Rattle、SPMF、Weka或Hivemall。
8.如权利要求5所述的数据流建模和处理系统，其特征在于，所述日志采集系统包括Scribe、Flume、logstash、Chukwa或FluentD。
9.如权利要求5所述的数据流建模和处理系统，其特征在于，所述存储工具至少包括以下5种：(1)键值存储工具：LevelDB、RocksDB、HyperDex、TokyoCabinet、Voldemort、AmazonDynamo、Tair、Accumulo、Redis、LevelDB或SSTable；(2)表格存储工具：OceanBase、Amazon SimpleDB、Vertica、Cassandra、HyperTable、FoundationDB或Hadoop HIVE；(3)文件存储工具：CouchDB、MongoDB或Hadoop HDFS；(4)关系型数据库工具：Oracle DB、MariaDB、PostgreSQL、IBM DB2、MS SQL Server、Pivotal Greenplum或Aerospike；(5)其他存储工具：Hibari、Neo4j、OrientDB、FlockDB、Riak、Blazegraph、TokuDB、Hadoop HBASE、RecordIO或InfoBright。
10.如权利要求5所述的数据流建模和处理系统，其特征在于，所述消息系统包括StormMQ、ZeroMQ、RabbitMQ、ActiveMQ、Jafka、Apache Kafka、Netty、Apache Avro、Thrift、Flat Buffers、Cap’n proto、Messagepack或Protocol Buffers。
11.如权利要求5所述的数据流建模和处理系统，其特征在于，所述集群管理和监控和容器和缓存工具包括Nagios、Ganglia、Apache Ambari、Oozie、Zookeeper、Consul、Dapper、Zipkin、Docker、Kubernetes、Lmctfy Linux、Ignite、Terracotta、Pivotal GemFire/Geode、GridGain或Infinispan。
12.如权利要求5所述的数据流建模和处理系统，其特征在于，商业智能工具包括HPCC、Pandas、REEF、OpenStack、Talend Open Studio、Jaspersoft、Pentaho、SpagoBI、KNIME、BIRT、Intelligent Miner、SPSS、Pivotal Greenplum、RapidMiner或Disco。
CN201711387689.8A 2017-12-20 2017-12-20 一种与数据处理工具交互的数据流建模和处理系统 Active CN108037973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711387689.8A CN108037973B (zh) 2017-12-20 2017-12-20 一种与数据处理工具交互的数据流建模和处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711387689.8A CN108037973B (zh) 2017-12-20 2017-12-20 一种与数据处理工具交互的数据流建模和处理系统

Publications (2)

Publication Number Publication Date
CN108037973A true CN108037973A (zh) 2018-05-15
CN108037973B CN108037973B (zh) 2021-11-16

Family

ID=62100311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711387689.8A Active CN108037973B (zh) 2017-12-20 2017-12-20 一种与数据处理工具交互的数据流建模和处理系统

Country Status (1)

Country Link
CN (1) CN108037973B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681426A (zh) * 2018-05-25 2018-10-19 第四范式（北京）技术有限公司 用于针对数据执行特征处理的方法及系统
CN108846112A (zh) * 2018-06-22 2018-11-20 新华三大数据技术有限公司 绘制数据地图的方法及装置
CN109032658A (zh) * 2018-07-13 2018-12-18 深圳至宝网络科技有限公司 一种课程包自动生成的方法
CN109560989A (zh) * 2018-12-06 2019-04-02 深圳市递四方信息科技有限公司 一种链路监控系统
CN110134564A (zh) * 2019-03-29 2019-08-16 山东浪潮云信息技术有限公司 一种可视化的Kafka集群监控方法
CN110262941A (zh) * 2019-05-28 2019-09-20 深圳市汇川技术股份有限公司 应用程序容器集群报警实现方法、系统、设备及存储介质
WO2019223178A1 (zh) * 2018-05-21 2019-11-28 平安科技（深圳）有限公司 跨平台任务调度方法、系统、计算机设备和存储介质
CN110532060A (zh) * 2019-08-10 2019-12-03 佳都新太科技股份有限公司 一种混合网络环境数据采集方法及系统
CN111125207A (zh) * 2018-10-30 2020-05-08 亿度慧达教育科技（北京）有限公司 一种数据获取方法、装置、连接器及presto引擎
CN111190929A (zh) * 2019-12-27 2020-05-22 四川师范大学 数据存储查询方法、装置、电子设备及存储介质
CN111209309A (zh) * 2020-01-13 2020-05-29 腾讯科技（深圳）有限公司 数据流图处理结果确定方法、装置、设备及存储介质
CN111274223A (zh) * 2020-01-22 2020-06-12 清华大学 一种一键部署大数据和深度学习容器云平台及其构建方法
CN111324671A (zh) * 2020-03-02 2020-06-23 苏州工业园区洛加大先进技术研究院 基于大数据技术的生物医疗高速信息处理分析系统
CN112015846B (zh) * 2020-10-16 2021-01-08 中国气象局气象探测中心 一种基于数据业务平台的气象状态综合评估方法和系统
CN113010483A (zh) * 2020-11-20 2021-06-22 云智慧（北京）科技有限公司 一种海量日志管理方法和系统
CN113923212A (zh) * 2020-06-22 2022-01-11 大唐移动通信设备有限公司 一种网络数据包处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317911A (zh) * 2009-02-13 2012-01-11 起元技术有限责任公司 管理任务执行
US20120254259A1 (en) * 2011-03-28 2012-10-04 Microsoft Corporation Flexible order of authoring for data integration solutions
US20140172939A1 (en) * 2012-12-17 2014-06-19 Microsoft Corporation Reachability-Based Coordination for Cyclic Dataflow
CN106170762A (zh) * 2013-12-05 2016-11-30 起元技术有限责任公司 管理包括子图的数据流图所用的接口
CN107102848A (zh) * 2009-12-14 2017-08-29 起元技术有限责任公司 规定用户界面元素
CN107229520A (zh) * 2017-04-27 2017-10-03 北京数人科技有限公司 一种数据中心操作系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317911A (zh) * 2009-02-13 2012-01-11 起元技术有限责任公司 管理任务执行
CN107102848A (zh) * 2009-12-14 2017-08-29 起元技术有限责任公司 规定用户界面元素
US20120254259A1 (en) * 2011-03-28 2012-10-04 Microsoft Corporation Flexible order of authoring for data integration solutions
US20140172939A1 (en) * 2012-12-17 2014-06-19 Microsoft Corporation Reachability-Based Coordination for Cyclic Dataflow
CN106170762A (zh) * 2013-12-05 2016-11-30 起元技术有限责任公司 管理包括子图的数据流图所用的接口
CN107229520A (zh) * 2017-04-27 2017-10-03 北京数人科技有限公司 一种数据中心操作系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223178A1 (zh) * 2018-05-21 2019-11-28 平安科技（深圳）有限公司 跨平台任务调度方法、系统、计算机设备和存储介质
CN108681426B (zh) * 2018-05-25 2020-08-11 第四范式（北京）技术有限公司 用于针对数据执行特征处理的方法及系统
CN108681426A (zh) * 2018-05-25 2018-10-19 第四范式（北京）技术有限公司 用于针对数据执行特征处理的方法及系统
CN108846112A (zh) * 2018-06-22 2018-11-20 新华三大数据技术有限公司 绘制数据地图的方法及装置
CN108846112B (zh) * 2018-06-22 2021-04-27 新华三大数据技术有限公司 绘制数据地图的方法及装置
CN109032658A (zh) * 2018-07-13 2018-12-18 深圳至宝网络科技有限公司 一种课程包自动生成的方法
CN111125207A (zh) * 2018-10-30 2020-05-08 亿度慧达教育科技（北京）有限公司 一种数据获取方法、装置、连接器及presto引擎
CN111125207B (zh) * 2018-10-30 2021-03-12 亿度慧达教育科技（北京）有限公司 一种数据获取方法、装置、连接器及presto引擎
CN109560989A (zh) * 2018-12-06 2019-04-02 深圳市递四方信息科技有限公司 一种链路监控系统
CN110134564A (zh) * 2019-03-29 2019-08-16 山东浪潮云信息技术有限公司 一种可视化的Kafka集群监控方法
CN110134564B (zh) * 2019-03-29 2023-10-27 浪潮云信息技术股份公司 一种可视化的Kafka集群监控方法
CN110262941A (zh) * 2019-05-28 2019-09-20 深圳市汇川技术股份有限公司 应用程序容器集群报警实现方法、系统、设备及存储介质
CN110532060B (zh) * 2019-08-10 2022-05-03 佳都科技集团股份有限公司 一种混合网络环境数据采集方法及系统
CN110532060A (zh) * 2019-08-10 2019-12-03 佳都新太科技股份有限公司 一种混合网络环境数据采集方法及系统
CN111190929A (zh) * 2019-12-27 2020-05-22 四川师范大学 数据存储查询方法、装置、电子设备及存储介质
CN111190929B (zh) * 2019-12-27 2023-07-14 四川师范大学 数据存储查询方法、装置、电子设备及存储介质
CN111209309A (zh) * 2020-01-13 2020-05-29 腾讯科技（深圳）有限公司 数据流图处理结果确定方法、装置、设备及存储介质
CN111209309B (zh) * 2020-01-13 2023-03-10 腾讯科技（深圳）有限公司 数据流图处理结果确定方法、装置、设备及存储介质
CN111274223A (zh) * 2020-01-22 2020-06-12 清华大学 一种一键部署大数据和深度学习容器云平台及其构建方法
CN111324671A (zh) * 2020-03-02 2020-06-23 苏州工业园区洛加大先进技术研究院 基于大数据技术的生物医疗高速信息处理分析系统
CN113923212A (zh) * 2020-06-22 2022-01-11 大唐移动通信设备有限公司 一种网络数据包处理方法和装置
CN112015846B (zh) * 2020-10-16 2021-01-08 中国气象局气象探测中心 一种基于数据业务平台的气象状态综合评估方法和系统
CN113010483A (zh) * 2020-11-20 2021-06-22 云智慧（北京）科技有限公司 一种海量日志管理方法和系统

Also Published As

Publication number Publication date
CN108037973B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN108037973A (zh) 一种与数据处理工具交互的数据流建模和处理系统
AU2023200421B2 (en) Dataflow graph configuration
CN110989983B (zh) 一种零编码的应用软件快速构建系统
US10198422B2 (en) Information-processing equipment based on a spreadsheet
JP2017142798A (ja) 改善されたインターフェースを備えるステートマシンビルダー及び状態非依存イベントの処理
CN106164867A (zh) 数据的增量并行处理
CN111651431A (zh) 一种面向数据库服务的管理流程标准化方法
US10191881B2 (en) Modifications to a stream processing topology during processing of a data stream
CN111078094B (zh) 分布式机器学习可视化装置
US10614180B2 (en) System and method for concurrent multi-user CAx workflow
US20210397447A1 (en) Automated compliance and testing framework for software development
JP2021508389A (ja) データ処理システムにおけるジョブ管理
CN109800090A (zh) 一种数据集成系统及方法
WO2017097125A1 (zh) 一种执行代码生成方法及设备
Song et al. DADOS: a cloud-based data-driven design optimization system
CN103377076A (zh) 一种运行时调整任务执行计划的方法和系统
CN104850638B (zh) Etl过程并行决策方法及装置
CN106502842A (zh) 数据恢复方法及系统
Bala et al. Extracting-transforming-loading modeling approach for big data analytics
CN106599244B (zh) 通用的原始日志清洗装置及方法
EP3907602A1 (en) Trustworthy application integration
US11521089B2 (en) In-database predictive pipeline incremental engine
WO2022108461A1 (en) A system and method for managing and processing data in a dispersed environment with incompatible data storage sources
Schmid et al. Qrygraph: A graphical tool for big data analytics
Cardoso Framework for collecting and processing georeferencing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230427

Address after: Rooms 601-604, 6th Floor, Building 4, No. 1 Lanxiangou, Haidian District, Beijing, 100089

Patentee after: BEIJING ADVANCED DIGITAL TECHNOLOGY Co.,Ltd.

Address before: 215000, floor 6, building 2, complex building, No. 18, Kechuang Road, science and Technology City, high tech Zone, Suzhou, Jiangsu Province

Patentee before: SUZHOU YOSEMEI INTELLIGENT SYSTEM CO.,LTD.