CN104111983B - 一种开放式的多源数据采集系统及方法 - Google Patents
一种开放式的多源数据采集系统及方法 Download PDFInfo
- Publication number
- CN104111983B CN104111983B CN201410306336.0A CN201410306336A CN104111983B CN 104111983 B CN104111983 B CN 104111983B CN 201410306336 A CN201410306336 A CN 201410306336A CN 104111983 B CN104111983 B CN 104111983B
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- source
- acquisition tasks
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 37
- 238000007726 management method Methods 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims 1
- 238000011958 production data acquisition Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 12
- 238000013480 data collection Methods 0.000 description 6
- 241001269238 Data Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种开放式的多源数据采集系统及方法，包括用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则的任务管理模块；用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将接采集的数据按照统一格式进行封装，并发送给数据存储模块的任务执行模块；用于存储数据输出模块输出的数据的数据存储模块；本发明覆盖了比较全面的数据源采集类型，支持目前通用的数据采集方式，支持数据采集接口的动态扩展和多个数据源的并行采集，当有新的数据源接入时，只需要配置数据采集任务信息，不需要部署采集代理和数据模式转换工具即可轻松实现对新数据源的数据采集。
Description
技术领域
本发明涉及网络安全领域，尤其涉及一种开放式的多源数据采集系统及方法。
背景技术
随着计算机技术的飞速发展和信息化的推进，网络安全问题日趋突出，为了应对网络安全威胁，往往需要部署各种各样的安全产品，包括漏洞扫描系统、病毒防护系统、木马监测系统、入侵检测系统等。网络管理员对不同安全产品产生的日志报警进行数据采集和关联分析，可以得到网络中潜在的安全威胁。
不同的安全产品产生的日志报警在输出类型和数据格式上各不相同，网络安全管理系统需要从多分布、异构和自治的数据源中采集数据，还要保持数据的完整性和一致性。ETL技术是目前企业数据采集的主要解决方案，实现把不同来源、格式和特点的数据在逻辑上或物理上有机地集中。目前常用的ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Trinity、Data Stage、Repository Explorer、Bee load、Kettle、Data Spider等，这些工具通常针对一种或多种数据采集类型，实现对多源数据的采集。其中Kettle作为一种开源工具，应用很广，支持的数据源采集类型包括数据库、文本等，用户可以自定义采集数据的输出格式和输出位置。但是，它并不能覆盖目前所有的通用数据采集类型，如socket通信数据接收的方式；并且，采集数据的存储只能用户自己定义，当采集的数据量很大而且需要快速检索时，并不能提供一种利于海量数据检索的存储接口。
综上，已有的多源数据采集工具存在以下不足：(1)涵盖的数据采集方式不全面，只关注数据库和文本数据的主动采集，忽略了通信数据如socket数据的被动接收；(2)数据接口扩展维护不方便，当接入新数据接口时，需要部署采集代理或使用数据模式转换工具；(3)存储方式不能实现海量数据的高效存储及检索等操作。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种开放式的多源数据采集系统及方法，涵盖比较全面的数据采集类型，基于规则实现数据采集接口的扩展和维护，并支持对海量数据的统一存储。
本发明解决上述技术问题的技术方案如下：一种开放式的多源数据采集系统，包括任务管理模块、任务执行模块和数据存储模块；
所述任务管理模块，其用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；
所述任务执行模块，其用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将接采集的数据按照统一格式进行封装，并发送给数据存储模块；
所述数据存储模块，其用于存储数据输出模块输出的数据。
本发明的有益效果是：本发明覆盖了比较全面的数据源采集类型，支持目前通用的数据采集方式，支持数据采集接口的动态扩展和多个数据源的并行采集，当有新的数据源接入时，只需要配置数据采集任务信息，不需要部署采集代理和数据模式转换工具即可轻松实现对先数据源的数据采集。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述任务管理模块还用于通过配置和修改数据采集接口规则实现对采集任务的添加、更改、激活、锁定和删除；当有新的数据源接入时，只需要添加采集任务并配置采集任务信息，生成相应的数据采集接口规则。
采用上述进一步方案的有益效果：支持数据采集接口的动态扩展，当有新的数据源接入时，只需要添加采集任务并配置采集任务信息，不需要部署采集代理和数据模式转换工具即可轻松实现对于新数据源的数据采集。
进一步，所述任务执行模块采用多线程对多个数据源进行并行采集，每个线程包括初始化单元、任务执行单元和数据输出单元；
所述初始化单元，其用于加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；
所述任务执行单元，其用于获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集，并将采集的数据传送给数据输出单元；
所述数据输出单元，其用于将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储。
采用上述进一步方案的有益效果：支持多个数据源的并行采集，大大提高数据采集效率，便于实现数据采集接口的动态扩展；对采集数据的采用统一格式进行封装，并在分布式系统中统一存储，利于数据的高效存储和检索。
进一步，所述数据存储模块采用分布式开源系统Elastic Search，且ElasticSearch的服务器地址采用默认指定位置或用户自定义的存储位置。
采用上述进一步方案的有益效果：将数据存储到分布式开源系统Elastic Search中，ES是一个分布式的检索系统，用来存储数据，利于实现数据的高效检索和分析处理。
进一步，所述采集任务信息包括数据采集接口信息和任务状态信息；
所述数据采集接口信息包括数据源的名称、源数据存储方式和源数据存储格式；所述源数据存储方式指数据源的存储类型以及存储位置；所述源数据存储格式是指源数据本身的格式及采集内容；
所述任务状态信息包括激活状态和锁定状态。
采用上述进一步方案的有益效果：对采集任务信息进行配置，指定源数据的存储类型及存储位置以及源数据本身的格式及采集内容，创建相应的数据采集任务，实现快速高效数据采集。
进一步，所述数据源的类型包括数据库类型、文本类型和socket通信数据类型。
采用上述进一步方案的有益效果：支持三大类型的数据采集方式，数据库类型、文本类型和socket通信数据类型，比较全面地覆盖了当前通用数据源类型。
本发明解决上述技术问题的另一技术方案如下：一种开放式的多源数据采集方法，包括如下步骤：
步骤1：根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；
步骤2：加载数据采集接口规则，检测采集任务的任务状态，找出处于激活状态的采集任务，处于激活状态的采集任务对数据源进行监听，当有新数据时进行数据采集；
步骤3：将采集到的数据按照统一格式进行封装，并传输到数据存储模块进行存储，实现对采集数据的统一分布式存储。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，上述技术方案还包括根据需要添加、更改、激活、锁定和删除采集任务。
进一步，步骤2的具体实现为采用多线程实现对多个数据源的并行采集，每个线程的处理步骤如下：
步骤2.1：加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；
步骤2.2：获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集；
步骤2.3：将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储。
进一步，所述数据存储模块采用分布式开源系统Elastic Search，且ElasticSearch的服务器地址采用默认指定位置或用户通过数据存储规则自定义的存储位置。
采用上述进一步方案的有益效果：本系统提供一种利于海量数据检索的存储方式，与Elastic Search结合，实现对采集数据的分布式统一存储，利于数据的高效存储和检索。
进一步，所述采集任务信息包括数据采集接口信息和任务状态信息；
所述数据采集接口信息包括数据源的名称、源数据存储方式和源数据存储格式；所述源数据存储方式指数据源的存储类型以及存储位置，所述源数据存储格式是指数据本身的格式，以及采集内容；
所述任务状态信息包括激活状态和锁定状态。
进一步，所述数据源的类型包括数据库类型、文本类型和socket通信数据类型。
附图说明
图1为本发明一种开放式的多源数据采集系统框图；
图2为本发明所述任务执行模块执行任务流程示意图；
图3为本发明一种开放式的多源数据采集方法流程图；
图4为本发明步骤2的具体实现流程图。
附图中，各标号所代表的部件列表如下：
1、任务管理模块，2、任务执行模块，3、数据存储模块，21、初始化单元，22、任务执行单元，23、数据输出单元。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种开放式的多源数据采集系统，包括任务管理模块1、任务执行模块2和数据存储模块3；
所述任务管理模块1，其用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；
所述任务执行模块2，其用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将接采集的数据按照统一格式进行封装，并发送给数据存储模块；
所述数据存储模块3，其用于存储数据输出模块输出的数据。
任务管理模块1主要是对采集任务信息的一系列操作。用户在交互界面中配置采集任务信息，后台生成数据采集接口规则配置文件。菜单选项包括：任务添加、任务修改、任务删除、任务查询等。任务添加菜单，实现对新的采集任务的配置；任务修改菜单，实现对采集任务信息的修改，包括修改数据接口信息和任务状态；任务删除菜单，实现对已有采集任务的删除；任务查询菜单，显示当前已配置的所有采集任务或指定条件的采集任务。尤其当需要接入新的数据源时，通过修改数据采集接口配置规则来增加新的采集任务。用户还可以设置数据存储规则，如果用户设置了数据存储规则，采集的数据按照设置的存储规则进行存储；如果没有设置数据存储规则，则按照默认的存储位置存储。
所述任务执行模块2通过加载数据采集接口规则信息，监听激活状态的数据源采集任务，当发现有新数据产生时，获取新数据，实现对数据源的实时采集。对于不同类型的数据源，采集方式各不相同，该工具支持三大类型的数据采集方式：数据库类型、文本类型、socket通信数据，比较全面地覆盖了当前通用数据源类型。
其中，所述数据存储模块3采用分布式开源系统ES，且ES的服务器地址采用默认指定位置或用户自定义的存储位置。
所述采集任务信息包含两部分内容：任务状态信息和数据采集接口信息。
任务状态信息包括激活状态和锁定状态，启动时，执行激活状态的采集任务。
数据采集接口信息又包括数据源的名称、源数据存储方式和源数据存储格式。源数据存储方式是指数据源的存储类型以及存储位置，源数据存储格式是指数据本身的格式，以及采集内容。数据源的存储类型包括：数据库类型，如MySQL、Oracle等；文本类型，如txt、syslog等；socket通信数据。基本涵盖了目前通用的数据源采集类型。对于数据库类型的数据，需要指明数据库所在的主机IP地址、数据库名称、用户名、密码；对于文本类型，需要指明文件的存储路径；socket通信，需要指明协议域、socket类型、端口号、协议类型以及通信密钥等。数据存储格式信息，包含采集数据内容的存储格式：对于数据库数据，包括要读取的数据表名，字段名，主键信息；对于文本数据，则包括文件的名称，以及关键字信息。
如图2所示，所述任务执行模块2采用多线程对多个数据源进行并行采集，每个线程包括初始化单元21、任务执行单元22和数据输出单元23；
所述初始化单元21，其用于加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化，所述任务执行单元22，其用于获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集，并将采集的数据传送给数据输出单元23；所述数据输出单元23，其用于将采集的数据按照统一格式(默认状态下，采集到的数据按照用户定义字段和内容的格式转换为JSON格式，用户也可以指定其他数据格式)进行封装，并传输到数据存储模块进行存储。在默认的情况下，把采集数据存储到分布式系统Elastic Search(简称ES)中，ES是一个分布式的检索系统，用来存储数据，实现高效检索和分析处理。用户可以指定数据存储的服务器地址，也可以指定其他的存储方式。另外，如果用户配置了其他数据存储规则，则在初始化的时候需要加载数据存储规则，在输出数据时，按照数据存储规则进行存储。
如图3所示，一种开放式的多源数据采集方法，包括如下步骤：
步骤1：根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；
步骤2：加载数据采集接口规则，检测采集任务的任务状态，找出处于激活状态的采集任务，处于激活状态的采集任务对数据源进行监听，当有新数据时进行数据采集；
步骤3：将采集到的数据按照统一格式进行封装，并传输到数据存储模块进行存储，实现对采集数据的统一分布式存储。
步骤1的具体实现为用户在交互界面配置采集任务信息，并将配置完成的采集任务信息传递给服务器；服务器根据接收的采集任务信息生成数据采集接口规则。上述技术方案还包括根据需要添加、更改、激活、锁定和删除采集任务。
首先，添加采集任务，配置采集任务信息。配置信息包括：数据采集接口信息和采集任务状态信息。该工具比较全面的覆盖了目前通用的数据采集类型：数据库类型、文本类型和socket通信数据。对于数据库类型的数据源，需要配置的数据采集接口信息包括：数据源的名称、数据库连接方式和需要采集的数据表及字段。具体信息包括数据库所在服务器IP地址、数据库名称、用户名、密码、数据表和采集字段。对于文本类型的数据源，需要配置的数据采集接口信息包括：数据源的名称、文本文件的访问路径和文件名称。对于socket传输数据，需要配置数据采集接口信息包括协议域、socket类型、端口号、协议类型。对于以上三类数据还需要配置采集任务的状态信息，为激活状态或锁定状态。用户在交互界面配置好采集任务信息后，点击保存，在后台生成数据采集接口规则文件，以XML的格式存在。用户也可以直接编写配置文件，实现采集任务的添加。
采集任务信息保存之后，加载数据采集接口规则文件，这时，就可以通过工具对已配置的采集任务进行各种操作，包括添加、修改、删除；以及状态的控制。任务状态如果是激活，则表示启动后要执行此任务；任务状态如果是锁定，表示启动后不执行此任务。用户可以通过交互界面控制采集任务状态的更改。
启动之后，获取到了当前的采集任务列表。用户可以执行采集任务，工具获取激活状态的采集任务列表，对激活状态的数据源进行监听和数据获取。默认情况下，把采集到的数据封装为字段和内容格式的JSON格式。用户也可以自定义数据封装格式。
当需要接入新的数据源时，只需要在任务管理模块添加采集任务即可，该系统支持数据库类型、文本类型和socket通信类型的数据源，并且有自动加载功能，不需重启即可加载新接入的数据采集接口信息。
如图4所示，步骤2的具体实现为采用多线程实现对多个数据源的并行采集，每个线程的处理步骤如下：
步骤2.1：加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；
步骤2.2：获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集；
步骤2.3：将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种开放式的多源数据采集系统，其特征在于，包括任务管理模块、任务执行模块和数据存储模块；
所述任务管理模块，其用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；
用户在交互界面配置好采集任务信息后，点击保存，在后台生成数据采集接口规则文件，以XML的格式存在；
所述任务执行模块，其用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将采集的数据按照统一格式进行封装，并发送给数据存储模块；
所述任务执行模块采用多线程对多个数据源进行并行采集，每个线程包括初始化单元、任务执行单元和数据输出单元；
所述初始化单元，其用于加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；
所述任务执行单元，其用于获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集，并将采集的数据传送给数据输出单元；
所述数据输出单元，其用于将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储
所述数据存储模块，其用于存储数据输出模块输出的数据。
2.根据权利要求1所述一种开放式的多源数据采集系统，其特征在于，所述任务管理模块还用于通过配置和修改数据采集接口规则实现对采集任务的添加、更改、激活、锁定和删除；当有新的数据源接入时，只需要添加采集任务并配置采集任务信息，生成相应的数据采集接口规则。
3.根据权利要求1或2所述一种开放式的多源数据采集系统，其特征在于，所述数据存储模块采用分布式开源系统Elastic Search，且Elastic Search的服务器地址采用默认指定位置或用户通过数据存储规则自定义的存储位置。
4.根据权利要求1或2所述一种开放式的多源数据采集系统，其特征在于，所述采集任务信息包括数据采集接口信息和任务状态信息；
所述数据采集接口信息包括数据源的名称、源数据存储方式和源数据存储格式；所述源数据存储方式指数据源的存储类型以及存储位置；所述源数据存储格式是指源数据本身的格式及采集内容；
所述任务状态信息包括激活状态和锁定状态。
5.根据权利要求4所述一种开放式的多源数据采集系统，其特征在于，所述数据源的类型包括数据库类型、文本类型和socket通信数据类型。
6.一种开放式的多源数据采集方法，其特征在于，包括如下步骤：
步骤1：根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；用户在交互界面配置好采集任务信息后，点击保存，在后台生成数据采集接口规则文件，以XML的格式存在；
步骤2：加载数据采集接口规则，检测采集任务的任务状态，找出处于激活状态的采集任务，处于激活状态的采集任务对数据源进行监听，当有新数据时进行数据采集；
步骤2的具体实现为采用多线程实现对多个数据源的并行采集，每个线程的处理步骤如下：
步骤2.1：加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；
步骤2.2：获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集；
步骤2.3：将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储；
步骤3：将采集到的数据按照统一格式进行封装，并传输到数据存储模块进行存储，实现对采集数据的统一分布式存储。
7.根据权利要求6所述一种开放式的多源数据采集方法，其特征在于，上述技术方案还包括根据需要添加、更改、激活、锁定和删除采集任务。
8.根据权利要求6或7所述一种开放式的多源数据采集方法，其特征在于，所述数据存储模块采用分布式开源系统Elastic Search，且Elastic Search的服务器地址采用默认指定位置或用户自定义的存储位置。
9.根据权利要求6或7所述一种开放式的多源数据采集方法，其特征在于，所述采集任务信息包括数据采集接口信息和任务状态信息；
所述数据采集接口信息包括数据源的名称、源数据存储方式和源数据存储格式；所述源数据存储方式指数据源的存储类型以及存储位置，所述源数据存储格式是指数据本身的格式，以及采集内容；
所述任务状态信息包括激活状态和锁定状态。
10.根据权利要求9所述一种开放式的多源数据采集方法，其特征在于，所述数据源的类型包括数据库类型、文本类型和socket通信数据类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410306336.0A CN104111983B (zh) | 2014-06-30 | 2014-06-30 | 一种开放式的多源数据采集系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410306336.0A CN104111983B (zh) | 2014-06-30 | 2014-06-30 | 一种开放式的多源数据采集系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104111983A CN104111983A (zh) | 2014-10-22 |
| CN104111983B true CN104111983B (zh) | 2017-12-19 |
Family
ID=51708774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410306336.0A Expired - Fee Related CN104111983B (zh) | 2014-06-30 | 2014-06-30 | 一种开放式的多源数据采集系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104111983B (zh) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504006B (zh) * | 2014-12-11 | 2017-12-01 | 厦门市美亚柏科信息股份有限公司 | 对新闻客户端的数据采集及解析的方法及系统 |
| CN105071888A (zh) * | 2015-07-07 | 2015-11-18 | 上海电力学院 | 基于无线传感器网络的实时智能数据采集与处理系统 |
| CN105224613A (zh) * | 2015-09-17 | 2016-01-06 | 西安未来国际信息股份有限公司 | 基于数据联邦技术的异构数据源整合系统及其整合方法 |
| CN105512173B (zh) * | 2015-11-23 | 2019-02-01 | 国云科技股份有限公司 | 一种数据采集调查及统计模型实现方法 |
| CN105631006B (zh) * | 2015-12-28 | 2019-03-29 | 杭州东方通信软件技术有限公司 | 一种数据调度采集装置与方法 |
| CN105677858A (zh) * | 2016-01-06 | 2016-06-15 | 北京国电通网络技术有限公司 | 一种基于大数据技术框架的数据采集方法及装置 |
| CN105677853A (zh) * | 2016-01-06 | 2016-06-15 | 北京国电通网络技术有限公司 | 一种基于大数据技术框架的数据存储方法及装置 |
| CN106021528A (zh) * | 2016-05-25 | 2016-10-12 | 北京京东尚科信息技术有限公司 | 数据处理方法和装置 |
| CN107515863A (zh) * | 2016-06-15 | 2017-12-26 | 上海宽带技术及应用工程研究中心 | 一种基于分布式数据库的sdn集群实现的方法及系统 |
| CN106126554A (zh) * | 2016-06-16 | 2016-11-16 | 西安科技大市场有限公司 | 一种基于科技资源大数据的采集方法 |
| CN106250543B (zh) * | 2016-08-10 | 2019-09-10 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储方法 |
| CN108241528B (zh) * | 2017-01-19 | 2020-10-09 | 上海直真君智科技有限公司 | 一种用户自定义海量网络安全数据动态采集方法 |
| CN106844709B (zh) * | 2017-02-07 | 2020-11-03 | 上海众恒信息产业股份有限公司 | 多层级数据存储系统及存储方法 |
| GB201704710D0 (en) | 2017-03-24 | 2017-05-10 | Pixit Media Ltd | A data management system and method |
| CN107247721A (zh) * | 2017-04-24 | 2017-10-13 | 江苏曙光信息技术有限公司 | 可视化数据采集方法 |
| CN107040608A (zh) * | 2017-05-19 | 2017-08-11 | 宁波绮耘软件股份有限公司 | 一种数据处理方法及系统 |
| CN107943835A (zh) * | 2017-10-26 | 2018-04-20 | 中国南方电网有限责任公司 | 一种用于电力系统的报送数据自动分析与归类系统 |
| CN107918561B (zh) * | 2017-11-17 | 2021-03-26 | 东北大学 | 一种工业分布式数据采集系统中的任务分配方法 |
| CN110019227A (zh) * | 2017-12-22 | 2019-07-16 | 上海光辰信息技术有限公司 | 一种数据存储终端系统及其使用方法 |
| CN110083457A (zh) * | 2018-01-26 | 2019-08-02 | 北京京东尚科信息技术有限公司 | 一种数据获取方法、装置以及数据分析方法、装置 |
| CN108449407B (zh) * | 2018-03-14 | 2021-03-23 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
| CN110543507A (zh) * | 2018-05-29 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种异构数据接入方法和装置 |
| CN108769255A (zh) * | 2018-06-26 | 2018-11-06 | 铭阳数通科技（西安）有限公司 | 企业数据的采集和治理方法 |
| CN109284194B (zh) * | 2018-08-16 | 2024-05-24 | 平安科技（深圳）有限公司 | 数据采集方法、征信主体设备、计算机设备及存储介质 |
| CN109299181A (zh) * | 2018-10-30 | 2019-02-01 | 郑州市景安网络科技股份有限公司 | 一种基于人工辅助的数据源采集方法、装置及设备 |
| CN109657167B (zh) * | 2018-11-29 | 2023-11-21 | 彩讯科技股份有限公司 | 数据采集方法、装置、服务器及存储介质 |
| CN109582723B (zh) * | 2018-11-30 | 2021-08-17 | 深圳市思迪信息技术股份有限公司 | 分布式etl数据采集方法及装置 |
| CN109800259B (zh) * | 2018-12-11 | 2021-08-10 | 深圳市金证科技股份有限公司 | 数据采集方法、装置及终端设备 |
| CN109990769A (zh) * | 2019-04-08 | 2019-07-09 | 吉林大学 | 一种海洋水合物环境原位综合监测系统通信方法 |
| CN110162571A (zh) * | 2019-04-26 | 2019-08-23 | 厦门市美亚柏科信息股份有限公司 | 一种异构数据库之间数据同步的系统、方法、存储介质 |
| CN110084052B (zh) * | 2019-05-05 | 2021-02-09 | 黑龙江亿林网络股份有限公司 | 一种数据用多端口加密型采集系统 |
| CN110430158B (zh) * | 2019-06-13 | 2020-07-03 | 中国科学院信息工程研究所 | 采集代理部署方法及装置 |
| CN110716938A (zh) * | 2019-10-15 | 2020-01-21 | 北京明略软件系统有限公司 | 数据的汇聚方法及装置、存储介质和电子装置 |
| CN111309986A (zh) * | 2020-03-17 | 2020-06-19 | 广州佳航信息技术有限公司 | 大数据采集与共享系统 |
| CN111090268B (zh) * | 2020-03-24 | 2020-06-12 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
| CN111858726A (zh) * | 2020-06-04 | 2020-10-30 | 石化盈科信息技术有限责任公司 | 数据适配器数据处理方法、装置、计算机设备和存储介质 |
| CN111782906A (zh) * | 2020-06-29 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 数据对象汇聚方法、装置、电子设备及存储介质 |
| CN112015627B (zh) * | 2020-08-28 | 2023-04-28 | 深圳赛安特技术服务有限公司 | 一种数据采集方法及相关装置 |
| CN113918634A (zh) * | 2021-10-15 | 2022-01-11 | 国家电网有限公司大数据中心 | 一种用于数据交互的数据适配方法、适配器及存储介质 |
| CN115543584B (zh) * | 2022-11-25 | 2023-04-07 | 苏州魔视智能科技有限公司 | 一种数据处理方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101083656A (zh) * | 2007-07-05 | 2007-12-05 | 上海交通大学 | 基于数据流技术的多源异构数据集成系统 |
| CN103092840A (zh) * | 2011-10-28 | 2013-05-08 | 上海邮电设计咨询研究院有限公司 | 多源自增海量数据文件实时采集方法 |
| CN103200199A (zh) * | 2013-04-15 | 2013-07-10 | 北京搜狐新媒体信息技术有限公司 | 一种带外数据采集系统 |
| CN103763396A (zh) * | 2014-02-12 | 2014-04-30 | 浙江大学 | 基于多协议并行采集技术的能耗数据采集器及其采集方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7089306B2 (en) * | 2002-04-18 | 2006-08-08 | Bdna Corporation | Apparatus and method to automatically collect data regarding assets of a business entity |
-
2014
- 2014-06-30 CN CN201410306336.0A patent/CN104111983B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101083656A (zh) * | 2007-07-05 | 2007-12-05 | 上海交通大学 | 基于数据流技术的多源异构数据集成系统 |
| CN103092840A (zh) * | 2011-10-28 | 2013-05-08 | 上海邮电设计咨询研究院有限公司 | 多源自增海量数据文件实时采集方法 |
| CN103200199A (zh) * | 2013-04-15 | 2013-07-10 | 北京搜狐新媒体信息技术有限公司 | 一种带外数据采集系统 |
| CN103763396A (zh) * | 2014-02-12 | 2014-04-30 | 浙江大学 | 基于多协议并行采集技术的能耗数据采集器及其采集方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104111983A (zh) | 2014-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104111983B (zh) | 一种开放式的多源数据采集系统及方法 | |
| US11853294B2 (en) | Key name synthesis | |
| US11921791B2 (en) | Cardinality of time series | |
| US10999164B1 (en) | Securely executing custom playbook code in a hybrid execution environment | |
| US20210117251A1 (en) | Mobile application for an information technology (it) and security operations application | |
| Khare et al. | Big data in IoT | |
| US20170017708A1 (en) | Entity-relationship modeling with provenance linking for enhancing visual navigation of datasets | |
| US20190213206A1 (en) | Systems and methods for providing dynamic indexer discovery | |
| JP6490059B2 (ja) | データを処理するための方法、有形機械可読記録可能記憶媒体および装置、ならびにデータ・レコードから抽出された特徴をクエリするための方法、有形機械可読記録可能記憶媒体および装置 | |
| US8825581B2 (en) | Simplifying a graph of correlation rules while preserving semantic coverage | |
| US9703845B2 (en) | Representing identity data relationships using graphs | |
| WO2022231903A1 (en) | On-premises action execution agent for cloud-based information technology and security operations applications | |
| CN106796607A (zh) | 用于基于模型的搜索及网络数据检索的系统和方法 | |
| US11494381B1 (en) | Ingestion and processing of both cloud-based and non-cloud-based data by a data intake and query system | |
| Tovarňák et al. | Cloud native data platform for network telemetry and analytics | |
| Osorio et al. | Sensor network using power-over-ethernet | |
| US11921602B2 (en) | Edge-based data collection system for an observability pipeline system | |
| US20210156401A1 (en) | Vehicle with a Boom Comprising a Hydraulic Control Circuit with a Load Control Valve | |
| CN109597933A (zh) | 医疗关键词精确搜索的方法、系统、设备及存储介质 | |
| US20230376498A1 (en) | Enriching Search Results with Provenance Information in an Observability Pipeline System | |
| EP4383065A2 (en) | Computationally efficient traversal of virtual tables | |
| US20230376491A1 (en) | Targeting System State Context in a Search Process in an Observability Pipeline System | |
| KR20240085188A (ko) | 컴퓨팅 플랫폼에 대한 중앙 집중식 구성 및 변경 추적 | |
| Chien et al. | A genetic context interpreter for context-aware systems in pervasive computing environments | |
| Tao et al. | A management policy applying to Integrated Satellite Information Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171219 |