CN110688383A - 数据采集方法及系统 - Google Patents
数据采集方法及系统 Download PDFInfo
- Publication number
- CN110688383A CN110688383A CN201910916537.5A CN201910916537A CN110688383A CN 110688383 A CN110688383 A CN 110688383A CN 201910916537 A CN201910916537 A CN 201910916537A CN 110688383 A CN110688383 A CN 110688383A
- Authority
- CN
- China
- Prior art keywords
- data
- behavior data
- type
- behavior
- storage path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据采集方法及系统，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本发明在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。
Description
技术领域
本发明涉及数据处理技术领域，具体为一种数据采集方法及系统。
背景技术
通过大数据来指导运营策略、改善用户体验，同时也通过对数据半自动或者自动分析，来快速定位被监控系统的问题，是目前进行流量精细化运营的主要手段。其中，针对手机软件(Application，APP)，一般通过对APP进行数据采集，来获取后续分析用的大数据。
现有的数据采集方法，是对不同数据类型的目标数据开发相对应的数据接口，通过该数据接口进行目标数据的采集。然而从采集需求的提出到开发、测试、投产一般需要至少3个月的时间。目前的app中需要采集的数据类型多、范围广、埋点难度高、需求大，按照现有采集方法，需要消耗大量的时间成本和金钱成本。
发明内容
本发明提供了一种数据采集方法及系统，可以解决现有技术中由于需要对不同数据类型的目标数据开发相对应的数据接口进行数据采集，导致数据采集会消耗大量的时间成本和金钱成本的问题。
为达到上述目的，本发明提供了如下技术方案：
一种数据采集方法，包括：
采集目标软件的行为数据；
调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。
可选的，所述采集目标软件的行为数据，包括：
通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
可选的，所述预设配置表的建立过程，包括：
根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
可选的，所述根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统，包括：
调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
可选的，所述根据所述预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，包括：
根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
一种数据采集系统，包括：
采集单元，用于采集目标软件的行为数据；
写入单元，用于调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
抽取单元，用于根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。
可选的，所述采集单元，用于通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
可选的，所述数据采集系统，还包括：
设置单元，用于根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
建立单元，用于根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
可选的，所述写入单元，用于调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
可选的，所述抽取单元，用于根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
经由上述技术方案可知，本发明公开了一种数据采集方法及系统，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本发明在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据采集方法的流程图；
图2为为本发明实施例公开的数据采集方法的流程示意图；
图3为本发明实施例公开的一种数据采集系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由背景技术可知，现有的数据采集方法，是对不同数据类型的目标数据开发相对应的数据接口，通过该数据接口进行目标数据的采集。然而从采集需求的提出到开发、测试、投产一般需要至少3个月的时间。目前的app中需要采集的数据类型多、范围广、埋点难度高、需求大，按照现有采集方法，需要消耗大量的时间成本和金钱成本。
有鉴于此，本发明提供了一种数据采集方法及系统，可以解决现有技术中由于需要对不同数据类型的目标数据开发相对应的数据接口进行数据采集，导致数据采集会消耗大量的时间成本和金钱成本的问题。
如图1所示，本发明实施例公开了一种数据采集方法方法，包括以下步骤：
S101、采集标软件的行为数据。
需要说明的是，所述目标软件的行为数据可以是一个数据类型的行为数据，也可以是包括多个数据类型的行为数据，具体可以根据采集目标和需求决定，为了更好的对软件后续更新及改善用户体验作参考，一般为多个数据类型的行为数据。
可选的，所述采集目标软件的行为数据，包括：
通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
需要说明的是，JSON报文是用于传输和加密的报文格式，提高信息传输的安全性的传输速度。
S102、调用J2SE服务，根据预设配置表中行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统。
在步骤S101中，预设配置表包括行为数据的数据类型、Topic类和数据存储路径的对应关系，相同类型的行为数据写入Kafka系统中的同一个Topic类中。
需要说明的是，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。本发明就是利用Kafka系统的高吞吐量实现准实时采集效果。
其中，每条发布到Kafka系统的消息都有一个类别，这个类别被称为Topic。通过预设配置表建立行为数据的数据类型与Topic类的对应关系，将相对应的行为数据写入对应关系指定的Topic类中。
需要说明的是，J2SE服务是指:java2Standard edition，即java 2标准版功能，包括了构成Java语言核心的类，多用于数据库连接、接口定义、输入/输出、以及网络编程。
可选的，所述预设配置表的建立过程，包括：
根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径。
根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
需要说明的是，所述预设配置表是以数据表的形式进行存储的，在需要采集新数据类型的行为数据时，只需要修改配置表中的数据类型为新数据类型，然后对应修改新数据类型相对应的Topic类和数据存储路径，即可实现新数据类型的行为数据的采集。
可选的，所述根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统，包括：
调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
需要说明的是，调用J2SE服务先解密所述JSON报文，得到行为数据，然后将所有行为数据分别拆分成单独的行为数据，逐条按照行为数据的数据类别写入Kafka系统中对应的Topic类中。
S103、根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。
可选的，所述根据所述预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，包括：
根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
需要说明的是，所述固定时间间隔为秒级时间间隔，以达到准实时采集数据的效果，而具体时间间隔的设置可以参考数据存储方式来决定。
以Hive数据表进行数据存储为例，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的结构化查询语言(StructuredQuery Language，SQL)查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
由于Hive数据表对于单词写入数据的数据量和数据写入频率具有一定的限制，无法直接将采集到的所有行为数据直接写入Hive数据表中，因此采用Kafka系统和流式计算的方式作为缓冲和过滤，将需要的行为数据处理后实现稳定的写入Hive数据表中，其中Hive数据表的写入限制就是作为设定固定时间间隔的参考。
如图2所示，为本发明实施例公开的数据采集方法的流程示意图。
从图2中可以看到，在采集目标软件的行为数据后调用J2se服务，根据预设配置表将采集到的目标软件的行为数据写入Kafka系统，然后根据预设配置表，通过流式计算抽取Kafka系统系统中的目标软件的行为数据存入Hive数据表中。
本实施例公开的数据采集方法，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本发明在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。
基于上述本发明实施例公开的数据采集方法，图3具体公开了应用该数据采集方法的数据采集系统。
如图3所示，本发明另一实施例公开了一种数据采集系统，该系统包括：
采集单元301，用于采集目标软件的行为数据；
写入单元302，用于调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
抽取单元303，用于根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。
可选的，所述采集单元301，用于通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
可选的，所述数据采集系统，还包括：
设置单元，用于根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
建立单元，用于根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
可选的，所述写入单元302，用于调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
可选的，所述抽取单元303，用于根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
以上本发明实施例公开的装置中的采集单元301、写入单元302和抽取单元303的具体工作过程，可参见本发明上述实施例公开的方法中的对应内容，这里不再进行赘述。
本实施例公开的数据采集系统，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本发明在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据采集方法，其特征在于，包括：
采集目标软件的行为数据；
调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。
2.根据权利要求1所述的数据采集方法，其特征在于，所述采集目标软件的行为数据，包括：
通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
3.根据权利要求1所述的数据采集方法，其特征在于，所述预设配置表的建立过程，包括：
根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
4.根据权利要求2所述的数据采集方法，其特征在于，所述根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统，包括：
调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
5.根据权利要求1所述的数据采集方法，其特征在于，所述根据所述预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，包括：
根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
6.一种数据采集系统，其特征在于，包括：
采集单元，用于采集目标软件的行为数据；
写入单元，用于调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
抽取单元，用于根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。
7.根据权利要求6所述的数据采集系统，其特征在于，所述采集单元，用于通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
8.根据权利要求6所述的数据采集系统，其特征在于，还包括：
设置单元，用于根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
建立单元，用于根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
9.根据权利要求7所述的数据采集系统，其特征在于，所述写入单元，用于调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
10.根据权利要求6所述的数据采集系统，其特征在于，所述抽取单元，用于根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910916537.5A CN110688383A (zh) | 2019-09-26 | 2019-09-26 | 数据采集方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910916537.5A CN110688383A (zh) | 2019-09-26 | 2019-09-26 | 数据采集方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110688383A true CN110688383A (zh) | 2020-01-14 |
Family
ID=69110378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910916537.5A Pending CN110688383A (zh) | 2019-09-26 | 2019-09-26 | 数据采集方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110688383A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760201A (zh) * | 2022-03-30 | 2022-07-15 | 烽台科技（北京）有限公司 | 工控设备的数据采集方法、装置、设备及存储介质 |
| CN115913809A (zh) * | 2022-09-26 | 2023-04-04 | 重庆长安汽车股份有限公司 | 数据分发通信方法、系统、计算机设备及存储介质 |
| CN116049190A (zh) * | 2023-01-18 | 2023-05-02 | 中电金信软件有限公司 | 基于Kafka的数据处理方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197233A (zh) * | 2017-12-29 | 2018-06-22 | 飞狐信息技术（天津）有限公司 | 一种数据管理方法、中间件及数据管理系统 |
| CN108365971A (zh) * | 2018-01-10 | 2018-08-03 | 深圳市金立通信设备有限公司 | 日志解析方法、设备及计算机可读介质 |
| CN109684370A (zh) * | 2018-09-07 | 2019-04-26 | 平安普惠企业管理有限公司 | 日志数据处理方法、系统、设备及存储介质 |
| CN110245158A (zh) * | 2019-06-10 | 2019-09-17 | 上海理想信息产业（集团）有限公司 | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 |
-
2019
- 2019-09-26 CN CN201910916537.5A patent/CN110688383A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197233A (zh) * | 2017-12-29 | 2018-06-22 | 飞狐信息技术（天津）有限公司 | 一种数据管理方法、中间件及数据管理系统 |
| CN108365971A (zh) * | 2018-01-10 | 2018-08-03 | 深圳市金立通信设备有限公司 | 日志解析方法、设备及计算机可读介质 |
| CN109684370A (zh) * | 2018-09-07 | 2019-04-26 | 平安普惠企业管理有限公司 | 日志数据处理方法、系统、设备及存储介质 |
| CN110245158A (zh) * | 2019-06-10 | 2019-09-17 | 上海理想信息产业（集团）有限公司 | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760201A (zh) * | 2022-03-30 | 2022-07-15 | 烽台科技（北京）有限公司 | 工控设备的数据采集方法、装置、设备及存储介质 |
| CN114760201B (zh) * | 2022-03-30 | 2023-05-23 | 烽台科技（北京）有限公司 | 工控设备的数据采集方法、装置、设备及存储介质 |
| CN115913809A (zh) * | 2022-09-26 | 2023-04-04 | 重庆长安汽车股份有限公司 | 数据分发通信方法、系统、计算机设备及存储介质 |
| CN115913809B (zh) * | 2022-09-26 | 2024-05-03 | 重庆长安汽车股份有限公司 | 数据分发通信方法、系统、计算机设备及存储介质 |
| CN116049190A (zh) * | 2023-01-18 | 2023-05-02 | 中电金信软件有限公司 | 基于Kafka的数据处理方法、装置、计算机设备和存储介质 |
| CN116049190B (zh) * | 2023-01-18 | 2024-07-23 | 中电金信软件有限公司 | 基于Kafka的数据处理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
| EP3798846A1 (en) | Operation and maintenance system and method | |
| CN110688383A (zh) | 数据采集方法及系统 | |
| EP3617896A1 (en) | Method and apparatus for intelligent response | |
| CN103927314B (zh) | 一种数据批量处理的方法和装置 | |
| CN104899314A (zh) | 一种数据仓库的血统分析方法和装置 | |
| CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
| CN106293891B (zh) | 多维投资指标监督方法 | |
| CN109190025B (zh) | 信息监控方法、装置、系统和计算机可读存储介质 | |
| CN108228664B (zh) | 非结构化数据处理方法及装置 | |
| CN115033646B (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
| CN112464034A (zh) | 用户数据提取方法、装置、电子设备及计算机可读介质 | |
| CN113407617A (zh) | 基于大数据技术的实时与离线业务统一处理方法和装置 | |
| CN111382155A (zh) | 一种数据仓库的数据处理方法、电子设备及介质 | |
| CN105786941B (zh) | 一种信息挖掘方法和装置 | |
| CN114265883B (zh) | 一种实时数据治理的方法、设备、存储介质 | |
| CN111178701A (zh) | 一种基于特征衍生技术的风险控制方法方法、装置和电子设备 | |
| CN110727700A (zh) | 多源流式数据整合成事务型流数据的方法及系统 | |
| CN113779017A (zh) | 数据资产管理的方法和装置 | |
| KR20220074574A (ko) | 지식 그래프 기반 라이브스트림 실시간 채팅 내용 분석 방법 및 그 장치 | |
| CN111796993B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112667869B (zh) | 数据处理方法、设备、系统及存储介质 | |
| CN116521664A (zh) | 数据仓库的数据监控方法及装置、计算设备、存储介质 | |
| CN116028811A (zh) | 数据回溯方法、介质、装置和计算设备 | |
| CN111078905A (zh) | 一种数据处理方法、装置、介质以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200114 |
|
| RJ01 | Rejection of invention patent application after publication |