CN107332719A - 一种cdn系统内日志实时分析的方法 - Google Patents
一种cdn系统内日志实时分析的方法 Download PDFInfo
- Publication number
- CN107332719A CN107332719A CN201710703746.2A CN201710703746A CN107332719A CN 107332719 A CN107332719 A CN 107332719A CN 201710703746 A CN201710703746 A CN 201710703746A CN 107332719 A CN107332719 A CN 107332719A
- Authority
- CN
- China
- Prior art keywords
- message
- cdn
- real time
- data
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种CDN系统内日志实时分析的方法，在CDN中心节点上部署有中心日志分析系统，集中处理各节点汇总后数据的日志，基于分布式发布订阅消息系统进行实时分析,分布式发布订阅消息系统部署在各个CDN节点之上，由主题、分区、消息、生产商、消息和数据消费者、缓存代理组成，CDN各节点上的分布式发布订阅消息系统通过API接口的方式与中心日志分析系统进行数据的通讯；CDN各节点通过API接口将数据传递到中心日志分析系统，中心日志分析系统汇总、保存接收到的数据，并按数据的类型进行分类整理。
Description
技术领域
本发明涉及互联网技术领域，尤其是涉及一种CDN系统内日志实时分析的方法。
背景技术
CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定.通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上.其目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。
在大数据系统中特别是在CDN系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。目前在该技术领域，用的比较多的是spark、storm等实时计算框架，spark、storm因开源、成熟而且稳定等特点应用得比较广泛。
关于spark、storm两种计算框架的简要介绍如下：
Spark是专为大规模数据处理而设计的快速通用的计算引擎，支持交互式计算和复杂算法，因此它的计算速度计较快；此外，Spark是一个通用引擎，可用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等，而在Spark出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。
storm是一个分布式的、容错的实时计算系统，为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。应用领域，包括实时分析、在线机器学习、信息流处理(例如，可以使用Storm处理新的数据和快速更新数据库)、连续性的计算(例如，使用Storm连续查询，然后将结果返回给客户端，如将微博上的热门话题转发给用户)、分布式RPC(远过程调用协议，通过网络从远程计算机程序上请求服务)、ETL(Extraction Transformation Loading，数据抽取、转换和加载)等。
CDN作为一个典型的分布式应用场景，如果照搬这些框架会有一定的局限性，具体表现在如下几个方面：
1.使用spark/storm等，需要搭建一个庞大的服务器集群，前期投入非常大大。
2.spark/storm依赖的组件非常多，且组件之间是强耦合，再加上各个版本之间的兼容性问题，后期维护的成本较大。
在建设完成spark/storm集群后，后续就需要考虑如何将日志实时收集起来的问题。但是在CDN系统中，日志都是在各个节点中产生，而节点遍布全国，数量众多且网络环境复杂，因此日志的实时性并不能得到有效的保障。
发明内容
本发明的目的在于提供一种CDN系统内日志实时分析的方法，以解决上述背景技术中提出的问题和缺陷,用于处理活跃的流式数据，可提供一个分布式的，可划分的，冗余备份的持久性的日志服务。
为实现上述目的，本发明提供如下技术方案：
一种CDN系统内日志实时分析的方法，在CDN中心节点上部署有中心日志分析系统，集中处理各节点汇总后数据的日志，基于分布式发布订阅消息系统进行实时分析,分布式发布订阅消息系统部署在各个CDN节点之上，由主题、分区、消息、生产商、消息和数据消费者、缓存代理组成，为了均衡负载将主题分成多个分区，每个代理存储一或多个分区，多个生产者和消费者同时生产和获取消息分布式发布订阅消息系统，
CDN各节点上的分布式发布订阅消息系统通过API接口的方式与中心日志分析系统进行数据的通讯；CDN各节点通过API接口将数据传递到中心日志分析系统，中心日志分析系统汇总、保存接收到的数据，并按数据的类型进行分类整理。
在上述技术方案中，其中：
生产商、缓存代理、消息和数据消费者均有多个；
生产商、消息和数据消费者用于实现分布式发布订阅消息系统注册的接口，数据从生产商发送到缓存代理，再由缓存代理分发注册到系统中的消费者中。
在上述技术方案中，分布式发布订阅消息系统的各个组成部分具体为：
主题：特指本分布式发布订阅消息系统组件处理的消息源的不同分类；
分区：标题物理上的分组，一个主题分为多个分区，每个分区是一个有序的队列，分
区中的每条消息都会被分配一个有序的id；
消息：是通信的基本单位，每个生产商可以向一个主题发布一些消息；
生产商：消息和数据生产者，向本分布式发布订阅消息系统组件的一个主题发布消息的过程叫做生产；
消息和数据消费者：订阅主题并处理其发布的消息的过程叫做消费；
缓存代理：承担中间缓存和分发的作用，即活跃的数据和离线处理系统之间的缓存，
本分布式发布订阅消息系统组件的集群中的一台或多台服务器统称为代理。
作为上述技术方案的优选，首先是由分布式发布订阅消息系统完成对各自CDN节点数据的初步分析，然后将数据发送到中心日志分析系统，由中心日志分析系统完成对各个CDN节点的汇总分析，完整的工作周期为：分布式发布订阅消息系统的小集群采集本节点内各CDN节点的服务器的实时数据，并对数据进行实时分析，然后将实时分析的结果传递给中心日志分析系统，由中心日志分析系统对各分布式发布订阅消息系统的小集群发送过来的数据进行汇总分析。
在上述技术方案中，分布式发布订阅消息系统作为日志的聚合、缓存的组件。
作为上述技术方案的优选，分布式发布订阅消息系统提供三种模式来保障消息投递的可靠性：第一种生产商将消息发送出去就视为成功投递到缓存代理；第二种模型，针对主盘盘和从盘(Master Slave)模型，只有当主盘和所有从盘都接收到消息时，才算投递成功；第三种模型，针对主盘盘和从盘(Master Slave)模型，即只要主盘确认收到消息就算投递成功。
作为上述技术方案的优选，每个分区单独存在一个缓存代理上，消费者往任一个分区发送消息，以此实现生产的分布式，任一分区都可以被且只被一个消费者消费，以此实现消费的分布式。
作为上述技术方案的优选，一种CDN系统内日志实时分析的方法采用分布式实时计算方案，以分布式发布订阅消息系统为核心，分布到各个节点中，进行节点内的日志实时分析。
作为上述技术方案的优选，一种CDN系统内日志实时分析的方法采用直接使用页面缓存、线性的写入方式。
作为上述技术方案的优选，一种CDN系统内日志实时分析的方法采用以kafka为核心组件，基于kafka stream进行实时分析。
本发明的优点：
本发明实施例提供的一种CDN系统内日志实时分析的方法,架构简单清晰，维护方便，使得客户端和服务器端的通信是基于简单、高性能、且与编程语言无关的TCP协议，直接使用页面缓存、线性的写入方式，解决了节点上实时日志收集的问题，而且可靠性，可扩展性和性能都非常好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种CDN系统内日志实时分析的方法的分布式发布订阅消息系统的结构示意图。
图2为本发明的一种CDN系统内日志实时分析的方法的消息发送的工作示意图。
图3为本发明的一种CDN系统内日志实时分析的方法的进行节点内的日志实时分析的工作示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1展示了本发明的一种CDN系统内日志实时分析的方法的分布式发布订阅消息系统的结构示意图，整体架构非常简单，是显式分布式架构，生产商、缓存代理、消息和数据消费者都可以有多个。在这里，分布式发布订阅消息系统采用以kafka为核心组件，基于kafka stream进行实时分析，
Front End：前端：消息和数据生产的组件，并通过界面进行展示。
Push：推送：数据消费者将数据推送给分布式发布订阅消息系统。
Pull：拉取：分布式发布订阅消息系统从Hadoop集群、实时监控系统、其他服务、数据仓库中拉取数据。
ZOOKEEPER：是一个分布式的，开放源码的分布式应用程序协调服务。
图1中实线表示Consumer将数据推送给给Kafka以及Kafka从Hadoop Cluster、Realtime-monitoring、Other service、Data warehouse中拉取数据的进程。
图1中虚线表示：Kafka、Hadoop Cluster、Realtime-monitoring、Other service、Data warehouse上的数据由ZOOKEEPER完成运算。
Kafka：一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
Realtime-monitoring：实时监控系统。
Other service：其他服务
Data warehouse:数据仓库，用于集中存放数据。
图2展示了本发明的一种CDN系统内日志实时分析的方法的消息发送的工作示意图，数据从生产者发送到缓存代理，再由缓存代理分发注册到系统中的消费者上。图1是一个整体的数据流程图；图2展示的是分布式发布订阅消息系统的消息发送的流程。
从消息发送的流程可以看到，一个主题由一个或多个分区组成，每个分区可以单独存在一个缓存代理上，消费者可以往任一分区发送消息，以此实现生产的分布式，任一一个分区都可以被且只被一个消费者消息，以此实现消费的分布式；因此分区的设计提供了分布式的基础，从而使分布式发布订阅消息系统有了非常好的扩展性。
日志的收集与分析：CDN各节点通过API接口的方式与中心日志分析系统进行数据的通讯。这样CDN各节点可以通过API接口将数据传递到中心日志分析系统，数据传递的周期可按照需要进行设定，比如2小时、12小时、24小时等。中心日志分析系统汇总、保存接收到的数据，并按数据的类型进行分类整理。
图3展示了图3为本发明的一种CDN系统内日志实时分析的方法的进行节点内的日志实时分析的工作示意图，在这里采用分布式实时计算方案，以kafka为核心的群集，分布到各个节点如节点A、节点B…节点N中，进行节点内的日志实时分析。
作为上述技术方案的优选，中心日志分析系统分析的指标主要包括CDN的服务质量，比如带宽数、请求数、命中率、状态码、状态码明细、运营商区域带宽、运营商带宽、回源带宽、回源请求带宽、回源状态、源站可用性、平均请求文件大小，慢速比等指标。
以上所述仅为本发明的较佳实施方式作了详细说明，但是本发明并不限于上述实施方式，保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，本发明实施例还可以在不脱离本专利宗旨的前提下做出各种变化。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种CDN系统内日志实时分析的方法，其特征在于，在CDN中心节点上部署有中心日志分析系统，集中处理各节点汇总后数据的日志，基于分布式发布订阅消息系统进行实时分析,分布式发布订阅消息系统部署在各个CDN节点之上，由主题、分区、消息、生产商、消息和数据消费者、缓存代理组成，为了均衡负载将主题分成多个分区，每个代理存储一或多个分区，多个生产者和消费者同时生产和获取消息分布式发布订阅消息系统，
CDN各节点上的分布式发布订阅消息系统通过API接口的方式与中心日志分析系统进行数据的通讯；CDN各节点通过API接口将数据传递到中心日志分析系统，中心日志分析系统汇总、保存接收到的数据，并按数据的类型进行分类整理；
其中：
生产商、缓存代理、消息和数据消费者均有多个；
生产商、消息和数据消费者用于实现分布式发布订阅消息系统注册的接口，数据从生产商发送到缓存代理，再由缓存代理分发注册到系统中的消费者中。
2.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，分布式发布订阅消息系统的各个组成部分具体为：
主题：特指本分布式发布订阅消息系统组件处理的消息源的不同分类；
分区：标题物理上的分组，一个主题分为多个分区，每个分区是一个有序的队列，分区中的每条消息都会被分配一个有序的id；
消息：是通信的基本单位，每个生产商可以向一个主题发布一些消息；
生产商：消息和数据生产者，向本分布式发布订阅消息系统组件的一个主题发布消息的过程叫做生产；
消息和数据消费者：订阅主题并处理其发布的消息的过程叫做消费；
缓存代理：承担中间缓存和分发的作用，即活跃的数据和离线处理系统之间的缓存，
本分布式发布订阅消息系统组件的集群中的一台或多台服务器统称为代理。
3.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，首先是由分布式发布订阅消息系统完成对各自CDN节点数据的初步分析，然后将数据发送到中心日志分析系统，由中心日志分析系统完成对各个CDN节点的汇总分析，完整的工作周期为：分布式发布订阅消息系统的小集群采集本节点内各CDN节点的服务器的实时数据，并对数据进行实时分析，然后将实时分析的结果传递给中心日志分析系统，由中心日志分析系统对各分布式发布订阅消息系统的小集群发送过来的数据进行汇总分析。
4.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，分布式发布订阅消息系统作为日志的聚合、缓存的组件。
5.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，分布式发布订阅消息系统提供三种模式来保障消息投递的可靠性：第一种生产商将消息发送出去就视为成功投递到缓存代理；第二种模型，针对主盘盘和从盘(Master Slave)模型，只有当主盘和所有从盘都接收到消息时，才算投递成功；第三种模型，针对主盘盘和从盘(MasterSlave)模型，即只要主盘确认收到消息就算投递成功。
6.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，每个分区单独存在一个缓存代理上，消费者往任一个分区发送消息，以此实现生产的分布式，任一分区都可以被且只被一个消费者消费，以此实现消费的分布式。
7.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，一种CDN系统内日志实时分析的方法采用分布式实时计算方案，以分布式发布订阅消息系统为核心，分布到各个节点中，进行节点内的日志实时分析。
8.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，一种CDN系统内日志实时分析的方法采用直接使用页面缓存、线性的写入方式。
9.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，一种CDN系统内日志实时分析的方法采用以kafka为核心组件，基于kafka stream进行实时分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703746.2A CN107332719A (zh) | 2017-08-16 | 2017-08-16 | 一种cdn系统内日志实时分析的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703746.2A CN107332719A (zh) | 2017-08-16 | 2017-08-16 | 一种cdn系统内日志实时分析的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107332719A true CN107332719A (zh) | 2017-11-07 |
Family
ID=60201157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710703746.2A Pending CN107332719A (zh) | 2017-08-16 | 2017-08-16 | 一种cdn系统内日志实时分析的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107332719A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992617A (zh) * | 2017-12-20 | 2018-05-04 | 广东工业大学 | 一种注塑成型装备大数据采集系统及方法 |
| CN108093047A (zh) * | 2017-12-15 | 2018-05-29 | 北京小度信息科技有限公司 | 数据发送方法、装置、电子设备及中间件系统 |
| CN108234210A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 一种内容分发网络的日志处理方法和装置 |
| CN108600300A (zh) * | 2018-03-06 | 2018-09-28 | 北京思空科技有限公司 | 日志数据处理方法及装置 |
| CN108804585A (zh) * | 2018-05-25 | 2018-11-13 | 网宿科技股份有限公司 | 一种cdn系统中的数据处理方法和装置 |
| CN109257370A (zh) * | 2018-10-22 | 2019-01-22 | 武汉极意网络科技有限公司 | 验证请求的处理系统 |
| CN109684099A (zh) * | 2018-11-23 | 2019-04-26 | 新华三大数据技术有限公司 | 消息处理方法及装置 |
| CN109729130A (zh) * | 2018-04-04 | 2019-05-07 | 中国平安人寿保险股份有限公司 | 信息分析方法、业务服务器、存储介质及装置 |
| CN110019087A (zh) * | 2017-11-09 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
| CN112131198A (zh) * | 2020-09-23 | 2020-12-25 | 北京奇艺世纪科技有限公司 | 一种日志分析方法、装置及电子设备 |
| CN112132643A (zh) * | 2019-06-25 | 2020-12-25 | 北京京东尚科信息技术有限公司 | 商品上架的方法、装置、电子设备及可读介质 |
| CN112685375A (zh) * | 2019-10-18 | 2021-04-20 | 上海哔哩哔哩科技有限公司 | 基于cdn的日志分析方法及装置 |
| CN113076355A (zh) * | 2021-04-09 | 2021-07-06 | 国家计算机网络与信息安全管理中心 | 一种数据安全流动态势感知的方法 |
| CN113093994A (zh) * | 2021-04-08 | 2021-07-09 | 中国工商银行股份有限公司 | 一种数据处理方法及装置 |
| CN113556402A (zh) * | 2021-07-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 数据下载调度方法、装置及电子设备 |
| CN115277695A (zh) * | 2022-07-13 | 2022-11-01 | 浪潮云信息技术股份公司 | 一种实现跨区域生产和消费事件的方法 |
| CN115714718A (zh) * | 2022-09-23 | 2023-02-24 | 上海芯赛云计算科技有限公司 | 基于内存的日志预警方法、系统、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536972A (zh) * | 2014-12-03 | 2015-04-22 | 北京邮电大学 | 基于cdn的网页内容感知系统及方法 |
| US20150215334A1 (en) * | 2012-09-28 | 2015-07-30 | Level 3 Communications, Llc | Systems and methods for generating network threat intelligence |
| CN105429784A (zh) * | 2015-10-30 | 2016-03-23 | 上海帝联信息科技股份有限公司 | 中央收集服务器、日志文件处理方法及系统 |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
-
2017
- 2017-08-16 CN CN201710703746.2A patent/CN107332719A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150215334A1 (en) * | 2012-09-28 | 2015-07-30 | Level 3 Communications, Llc | Systems and methods for generating network threat intelligence |
| CN104536972A (zh) * | 2014-12-03 | 2015-04-22 | 北京邮电大学 | 基于cdn的网页内容感知系统及方法 |
| CN105429784A (zh) * | 2015-10-30 | 2016-03-23 | 上海帝联信息科技股份有限公司 | 中央收集服务器、日志文件处理方法及系统 |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王伟军: "《大数据分析》", 31 May 2017, 重庆大学出版社 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019087B (zh) * | 2017-11-09 | 2022-04-12 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
| CN110019087A (zh) * | 2017-11-09 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
| CN108093047A (zh) * | 2017-12-15 | 2018-05-29 | 北京小度信息科技有限公司 | 数据发送方法、装置、电子设备及中间件系统 |
| CN108093047B (zh) * | 2017-12-15 | 2021-07-27 | 北京星选科技有限公司 | 数据发送方法、装置、电子设备及中间件系统 |
| CN107992617A (zh) * | 2017-12-20 | 2018-05-04 | 广东工业大学 | 一种注塑成型装备大数据采集系统及方法 |
| CN108234210A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 一种内容分发网络的日志处理方法和装置 |
| CN108600300A (zh) * | 2018-03-06 | 2018-09-28 | 北京思空科技有限公司 | 日志数据处理方法及装置 |
| CN108600300B (zh) * | 2018-03-06 | 2021-11-12 | 北京思空科技有限公司 | 日志数据处理方法及装置 |
| CN109729130A (zh) * | 2018-04-04 | 2019-05-07 | 中国平安人寿保险股份有限公司 | 信息分析方法、业务服务器、存储介质及装置 |
| CN108804585A (zh) * | 2018-05-25 | 2018-11-13 | 网宿科技股份有限公司 | 一种cdn系统中的数据处理方法和装置 |
| CN108804585B (zh) * | 2018-05-25 | 2021-11-02 | 网宿科技股份有限公司 | 一种cdn系统中的数据处理方法和装置 |
| CN109257370A (zh) * | 2018-10-22 | 2019-01-22 | 武汉极意网络科技有限公司 | 验证请求的处理系统 |
| CN109257370B (zh) * | 2018-10-22 | 2020-11-03 | 武汉极意网络科技有限公司 | 验证请求的处理系统 |
| CN109684099A (zh) * | 2018-11-23 | 2019-04-26 | 新华三大数据技术有限公司 | 消息处理方法及装置 |
| CN109684099B (zh) * | 2018-11-23 | 2020-12-25 | 新华三大数据技术有限公司 | 消息处理方法及装置 |
| CN112132643A (zh) * | 2019-06-25 | 2020-12-25 | 北京京东尚科信息技术有限公司 | 商品上架的方法、装置、电子设备及可读介质 |
| CN112685375A (zh) * | 2019-10-18 | 2021-04-20 | 上海哔哩哔哩科技有限公司 | 基于cdn的日志分析方法及装置 |
| CN112131198A (zh) * | 2020-09-23 | 2020-12-25 | 北京奇艺世纪科技有限公司 | 一种日志分析方法、装置及电子设备 |
| CN112131198B (zh) * | 2020-09-23 | 2024-06-07 | 北京奇艺世纪科技有限公司 | 一种日志分析方法、装置及电子设备 |
| CN113093994A (zh) * | 2021-04-08 | 2021-07-09 | 中国工商银行股份有限公司 | 一种数据处理方法及装置 |
| CN113076355A (zh) * | 2021-04-09 | 2021-07-06 | 国家计算机网络与信息安全管理中心 | 一种数据安全流动态势感知的方法 |
| CN113556402A (zh) * | 2021-07-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 数据下载调度方法、装置及电子设备 |
| CN113556402B (zh) * | 2021-07-29 | 2024-03-19 | 北京百度网讯科技有限公司 | 数据下载调度方法、装置及电子设备 |
| CN115277695A (zh) * | 2022-07-13 | 2022-11-01 | 浪潮云信息技术股份公司 | 一种实现跨区域生产和消费事件的方法 |
| CN115714718A (zh) * | 2022-09-23 | 2023-02-24 | 上海芯赛云计算科技有限公司 | 基于内存的日志预警方法、系统、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107332719A (zh) | 一种cdn系统内日志实时分析的方法 | |
| CN108768826B (zh) | 基于MQTT和Kafka高并发场景下的消息路由方法 | |
| CN105224445B (zh) | 分布式跟踪系统 | |
| KR102082355B1 (ko) | 대용량 네트워크 데이터의 처리 기법 | |
| CN104967861B (zh) | Cdn网络中的视频缓存系统及方法 | |
| CN107704545A (zh) | 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 | |
| CN106709003A (zh) | 基于Hadoop的海量日志数据处理方法 | |
| CN106657394A (zh) | 一种基于物联网大数据的设备信息采集系统及方法 | |
| CN111459986B (zh) | 数据计算系统及方法 | |
| CN103761309A (zh) | 一种运营数据处理方法及系统 | |
| CN101902497B (zh) | 基于云计算的互联网信息监测系统及方法 | |
| CN105959347B (zh) | 一种基于p2p网络的全数字协同仿真系统通信方法 | |
| CN105930384A (zh) | 基于Hadoop体系的传感云数据存储系统及其实现方法 | |
| CN103260050A (zh) | 基于Google App Engine云平台的视频点播系统 | |
| CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
| CN103310087A (zh) | 业务数据统计分析方法和装置 | |
| CN110059829A (zh) | 一种异步参数服务器高效并行架构与方法 | |
| CN113033082A (zh) | 基于异构算力感知的去中心化联邦学习框架及建模方法 | |
| CN110213203A (zh) | 网络调度方法、装置及计算机存储介质 | |
| CN113163016A (zh) | 网络长连接服务集群化部署系统及控制流程 | |
| CN112132942A (zh) | 一种三维场景漫游实时渲染方法 | |
| CN107454009B (zh) | 面向数据中心的离线场景低带宽开销流量调度方案 | |
| CN114710571B (zh) | 数据包处理系统 | |
| Lohitha et al. | Integrated publish/subscribe and push-pull method for cloud based IoT framework for real time data processing | |
| CN108833294B (zh) | 面向数据中心广域网的低带宽开销的流量调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171107 |
|
| RJ01 | Rejection of invention patent application after publication |