CN105592151A - 数据处理方法及数据处理装置 - Google Patents

数据处理方法及数据处理装置 Download PDF

Info

Publication number
CN105592151A
CN105592151A CN201510958830.XA CN201510958830A CN105592151A CN 105592151 A CN105592151 A CN 105592151A CN 201510958830 A CN201510958830 A CN 201510958830A CN 105592151 A CN105592151 A CN 105592151A
Authority
CN
China
Prior art keywords
data
unit
message sink
formatted
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510958830.XA
Other languages
English (en)
Inventor
杨文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANJET INFORMATION TECHNOLOGY Co Ltd
Original Assignee
CHANJET INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANJET INFORMATION TECHNOLOGY Co Ltd filed Critical CHANJET INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510958830.XA priority Critical patent/CN105592151A/zh
Publication of CN105592151A publication Critical patent/CN105592151A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种数据处理方法及数据处理装置，其中，数据处理方法，包括：构建分布式的消息接收系统；通过所述分布式的消息接收系统接收客户端发送的数据；对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。本发明的技术方案提高了数据接收过程的可靠性，并且保证了数据接收过程的高性能要求，同时能够对接收到的数据质量进行监控。

Description

数据处理方法及数据处理装置
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法和一种数据处理装置。
背景技术
目前，移动端的数据采集有很多种方式，最常见的是消息总线的方式。但消息总线的方式存在以下几个问题：
1、数据量太大，导致数据收集服务器的压力过大；
2、由于大量的数据到达数据收集服务器，因此数据质量难以保证；
3、收集到的数据存在异常的情况，如数据量突增或突减；
4、无法保证实现攻击预防，可能会受到恶意攻击。
发明内容
本发明正是基于上述技术问题至少之一，提出了一种新的数据处理方案，提高了数据接收过程的可靠性，并保证了数据接收过程的高性能要求，同时能够对接收到的数据质量进行监控。
有鉴于此，根据本发明的第一方面，提出了一种数据处理方法，包括：构建分布式的消息接收系统；通过所述分布式的消息接收系统接收客户端发送的数据；对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。
在该技术方案中，通过构建分布式的消息接收系统，并通过分布式的消息接收系统接收客户端发送的数据，使得能够避免现有技术中通过单一的数据收集服务器来接收客户端发送的大量数据而导致数据收集服务器的压力过大的问题，提高了在数据接收过程中的可靠性，并保证了数据接收过程的高性能要求；通过对分布式的消息接收系统接收到的数据进行格式转换处理，使得能够便于后续对数据质量进行分析和监控处理；通过对格式化数据进行格式检测和数据量检测，使得能够保证接收到的数据的质量，并且避免接收到的数据出现数据量突增突减等问题。
在上述任一技术方案中，优选地，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控的步骤，具体包括：检测所述格式化数据的格式是否异常；确定所述格式化数据中格式异常的数据所占的比例；在所述比例大于或等于预定值时，确定所述客户端发送的数据出现异常，并进行报警提示。
在该技术方案中，通过在格式化数据中格式异常的数据所占的比例大于或等于预定值时，确定客户端发送的数据出现异常，使得数据处理装置能够在监控数据质量的前提下，具有一定的容错性能，即在格式化数据中格式异常的数据所占的比例小于预定值时，不进行报警提示。
在上述任一技术方案中，优选地，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控的步骤，具体还包括：统计对所述格式化数据的历史接收量；根据所述历史接收量，判断当前接收到的所述格式化数据的接收量变化率是否处于预定范围内；在判定当前接收到的所述格式化数据的接收量变化率未处于所述预定范围内时，进行报警提示。
在该技术方案中，通过根据历史接收量对当前接收到的格式化数据的接收量变化量是否处于预定范围内进行判断，使得能够在数据接收量发生异常时，及时进行报警提示。具体地，如在通过由Kafka(一种高吞吐量的分布式发布订阅消息系统)集群构成的分布式的消息接收系统来接收数据时，通过该技术方案，能够有效检测到由于Kafka原因导致的数据量骤降的问题；同时，也能够避免客户端重复上传重复的数据而导致接收到的数据量过高的问题。
在上述任一技术方案中，优选地，在通过所述分布式的消息接收系统接收客户端发送的数据的步骤之前，还包括：判断任一客户端在预定时间内发送的数据量是否超过数据量阈值，若是，则拒绝接收所述任一客户端发送的数据。
在该技术方案中，若任一客户端在预定时间内发送的数据量过大，则可能是恶意攻击，因此通过在判定任一客户端在预定时间内发送的数据量超过数据量阈值时，拒绝接收该客户端发送的数据，使得能够进行攻击预防，避免可能出现的恶性攻击问题，保证数据处理装置的正常稳定运行。
在上述任一技术方案中，优选地，通过Sparkstreaming(构建在Spark上处理Stream数据的框架)对所述分布式的消息接收系统接收到的数据进行格式转换处理；
所述构建分布式的消息接收系统的步骤，具体包括：构建Kafka集群，以构成所述分布式的消息接收系统。
根据本发明的第二方面，还提出了一种数据处理装置，包括：系统构建单元，用于构建分布式的消息接收系统；数据接收单元，用于通过所述分布式的消息接收系统接收客户端发送的数据；格式化单元，用于对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；质量监控单元，用于对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。
在该技术方案中，通过构建分布式的消息接收系统，并通过分布式的消息接收系统接收客户端发送的数据，使得能够避免现有技术中通过单一的数据收集服务器来接收客户端发送的大量数据而导致数据收集服务器的压力过大的问题，提高了在数据接收过程中的可靠性，并保证了数据接收过程的高性能要求；通过对分布式的消息接收系统接收到的数据进行格式转换处理，使得能够便于后续对数据质量进行分析和监控处理；通过对格式化数据进行格式检测和数据量检测，使得能够保证接收到的数据的质量，并且避免接收到的数据出现数据量突增突减等问题。
在上述技术方案中，优选地，所述质量监控单元包括：第一检测单元，用于检测所述格式化数据的格式是否异常；确定单元，用于确定所述格式化数据中格式异常的数据所占的比例；处理单元，用于在所述比例大于或等于预定值时，确定所述客户端发送的数据出现异常，并进行报警提示。
在该技术方案中，通过在格式化数据中格式异常的数据所占的比例大于或等于预定值时，确定客户端发送的数据出现异常，使得数据处理装置能够在监控数据质量的前提下，具有一定的容错性能，即在格式化数据中格式异常的数据所占的比例小于预定值时，不进行报警提示。
在上述任一技术方案中，优选地，所述质量监控单元还包括：统计单元，用于统计对所述格式化数据的历史接收量；第一判断单元，用于根据所述历史接收量，判断当前接收到的所述格式化数据的接收量变化率是否处于预定范围内；所述处理单元，还用于在所述第一判断单元判定当前接收到的所述格式化数据的接收量变化率未处于所述预定范围内时，进行报警提示。
在该技术方案中，通过根据历史接收量对当前接收到的格式化数据的接收量变化量是否处于预定范围内进行判断，使得能够在数据接收量发生异常时，及时进行报警提示。具体地，如在通过由Kafka集群构成的分布式的消息接收系统来接收数据时，通过该技术方案，能够有效检测到由于Kafka原因导致的数据量骤降的问题；同时，也能够避免客户端重复上传重复的数据而导致接收到的数据量过高的问题。
在上述任一技术方案中，优选地，还包括：第二判断单元，用于所述数据接收单元接收客户端发送的数据之前，判断任一客户端在预定时间内发送的数据量是否超过数据量阈值；所述数据接收单元还用于，在所述第二判断单元判定所述任一客户端在预定时间内发送的数据量是否超过所述数据量阈值时，拒绝接收所述任一客户端发送的数据。
在该技术方案中，若任一客户端在预定时间内发送的数据量过大，则可能是恶意攻击，因此通过在判定任一客户端在预定时间内发送的数据量超过数据量阈值时，拒绝接收该客户端发送的数据，使得能够进行攻击预防，避免可能出现的恶性攻击问题，保证数据处理装置的正常稳定运行。
在上述任一技术方案中，优选地，所述格式化单元具体用于，通过Sparkstreaming对所述分布式的消息接收系统接收到的数据进行格式转换处理；所述系统构建单元具体用于：构建Kafka集群，以构成所述分布式的消息接收系统。
通过以上技术方案，提高了数据接收过程的可靠性，并保证了数据接收过程的高性能要求，同时能够对接收到的数据质量进行监控，并且能够进行攻击预防，避免可能出现的恶性攻击问题，保证数据处理装置的正常稳定运行。
附图说明
图1示出了根据本发明的实施例的数据处理方法的示意流程图；
图2示出了根据本发明的实施例的数据处理装置的示意框图；
图3示出了根据本发明的实施例的数据质量监控系统的示意框图；
图4示出了根据本发明的一个实施例的数据收集与质量监控的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的数据处理方法的示意流程图。
如图1所示，根据本发明的实施例的数据处理方法，包括：
步骤102，构建分布式的消息接收系统；
步骤104，通过所述分布式的消息接收系统接收客户端发送的数据；
步骤106，对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；
步骤108，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。
在该技术方案中，通过构建分布式的消息接收系统，并通过分布式的消息接收系统接收客户端发送的数据，使得能够避免现有技术中通过单一的数据收集服务器来接收客户端发送的大量数据而导致数据收集服务器的压力过大的问题，提高了在数据接收过程中的可靠性，并保证了数据接收过程的高性能要求；通过对分布式的消息接收系统接收到的数据进行格式转换处理，使得能够便于后续对数据质量进行分析和监控处理；通过对格式化数据进行格式检测和数据量检测，使得能够保证接收到的数据的质量，并且避免接收到的数据出现数据量突增突减等问题。
在上述任一技术方案中，优选地，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控的步骤，具体包括：检测所述格式化数据的格式是否异常；确定所述格式化数据中格式异常的数据所占的比例；在所述比例大于或等于预定值时，确定所述客户端发送的数据出现异常，并进行报警提示。
在该技术方案中，通过在格式化数据中格式异常的数据所占的比例大于或等于预定值时，确定客户端发送的数据出现异常，使得数据处理装置能够在监控数据质量的前提下，具有一定的容错性能，即在格式化数据中格式异常的数据所占的比例小于预定值时，不进行报警提示。
在上述任一技术方案中，优选地，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控的步骤，具体还包括：统计对所述格式化数据的历史接收量；根据所述历史接收量，判断当前接收到的所述格式化数据的接收量变化率是否处于预定范围内；在判定当前接收到的所述格式化数据的接收量变化率未处于所述预定范围内时，进行报警提示。
在该技术方案中，通过根据历史接收量对当前接收到的格式化数据的接收量变化量是否处于预定范围内进行判断，使得能够在数据接收量发生异常时，及时进行报警提示。具体地，如在通过由Kafka集群构成的分布式的消息接收系统来接收数据时，通过该技术方案，能够有效检测到由于Kafka原因导致的数据量骤降的问题；同时，也能够避免客户端重复上传重复的数据而导致接收到的数据量过高的问题。
在上述任一技术方案中，优选地，在通过所述分布式的消息接收系统接收客户端发送的数据的步骤之前，还包括：判断任一客户端在预定时间内发送的数据量是否超过数据量阈值，若是，则拒绝接收所述任一客户端发送的数据。
在该技术方案中，若任一客户端在预定时间内发送的数据量过大，则可能是恶意攻击，因此通过在判定任一客户端在预定时间内发送的数据量超过数据量阈值时，拒绝接收该客户端发送的数据，使得能够进行攻击预防，避免可能出现的恶性攻击问题，保证数据处理装置的正常稳定运行。
在上述任一技术方案中，优选地，通过Sparkstreaming对所述分布式的消息接收系统接收到的数据进行格式转换处理；
所述构建分布式的消息接收系统的步骤，具体包括：构建Kafka集群，以构成所述分布式的消息接收系统。
图2示出了根据本发明的实施例的数据处理装置的示意框图。
如图2所示，根据本发明的实施例的数据处理装置200，包括：系统构建单元202、数据接收单元204、格式化单元206和质量监控单元208。
其中，系统构建单元202，用于构建分布式的消息接收系统；
数据接收单元204，用于通过所述分布式的消息接收系统接收客户端发送的数据；
格式化单元206，用于对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；
质量监控单元208，用于对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。
在该技术方案中，通过构建分布式的消息接收系统，并通过分布式的消息接收系统接收客户端发送的数据，使得能够避免现有技术中通过单一的数据收集服务器来接收客户端发送的大量数据而导致数据收集服务器的压力过大的问题，提高了在数据接收过程中的可靠性，并保证了数据接收过程的高性能要求；通过对分布式的消息接收系统接收到的数据进行格式转换处理，使得能够便于后续对数据质量进行分析和监控处理；通过对格式化数据进行格式检测和数据量检测，使得能够保证接收到的数据的质量，并且避免接收到的数据出现数据量突增突减等问题。
在上述技术方案中，优选地，所述质量监控单元208包括：第一检测单元208A，用于检测所述格式化数据的格式是否异常；确定单元208B，用于确定所述格式化数据中格式异常的数据所占的比例；处理单元208C，用于在所述比例大于或等于预定值时，确定所述客户端发送的数据出现异常，并进行报警提示。
在该技术方案中，通过在格式化数据中格式异常的数据所占的比例大于或等于预定值时，确定客户端发送的数据出现异常，使得数据处理装置能够在监控数据质量的前提下，具有一定的容错性能，即在格式化数据中格式异常的数据所占的比例小于预定值时，不进行报警提示。
在上述任一技术方案中，优选地，所述质量监控单元208还包括：统计单元208D，用于统计对所述格式化数据的历史接收量；第一判断单元208E，用于根据所述历史接收量，判断当前接收到的所述格式化数据的接收量变化率是否处于预定范围内；所述处理单元208C，还用于在所述第一判断单元208E判定当前接收到的所述格式化数据的接收量变化率未处于所述预定范围内时，进行报警提示。
在该技术方案中，通过根据历史接收量对当前接收到的格式化数据的接收量变化量是否处于预定范围内进行判断，使得能够在数据接收量发生异常时，及时进行报警提示。具体地，如在通过由Kafka集群构成的分布式的消息接收系统来接收数据时，通过该技术方案，能够有效检测到由于Kafka原因导致的数据量骤降的问题；同时，也能够避免客户端重复上传重复的数据而导致接收到的数据量过高的问题。
在上述任一技术方案中，优选地，还包括：第二判断单元210，用于所述数据接收单元204接收客户端发送的数据之前，判断任一客户端在预定时间内发送的数据量是否超过数据量阈值；所述数据接收单元204还用于，在所述第二判断单元210判定所述任一客户端在预定时间内发送的数据量是否超过所述数据量阈值时，拒绝接收所述任一客户端发送的数据。
在该技术方案中，若任一客户端在预定时间内发送的数据量过大，则可能是恶意攻击，因此通过在判定任一客户端在预定时间内发送的数据量超过数据量阈值时，拒绝接收该客户端发送的数据，使得能够进行攻击预防，避免可能出现的恶性攻击问题，保证数据处理装置的正常稳定运行。
在上述任一技术方案中，优选地，所述格式化单元206具体用于，通过Sparkstreaming对所述分布式的消息接收系统接收到的数据进行格式转换处理；所述系统构建单元202具体用于：构建Kafka集群，以构成所述分布式的消息接收系统。
图3示出了根据本发明的实施例的数据质量监控系统的示意框图。
如图3所示，根据本发明的实施例的数据质量监控系统300，包括：
数据收集模块302：用于对客户端(如手机App)产生的数据进行及时的收集；
数据质量监控模块304：用于监控数据量是否合理、手机app使用是否正常、服务器是否正常等。并及时对结果进行分析，做出对应的策略。
数据质量报警模块306：用户在数据质量不合理时，通过邮件或者短信等方式通知相应人员进行处理，保证手机App的正常使用。
质量分析模块308：用户收集App产生的错误数据，并进行分析，及时发现App的缺陷，为开发人员升级维护做出参考依据，从而提高App的用户体验。
如图4所示，根据本发明的一个实施例的数据收集与质量监控的流程，包括：
步骤402，Kafka集群收集App发送的消息。
步骤404，HDFS(HadoopDistributedFileSystem，分布式文件系统)存储Kafka集群收集的消息。
步骤406，根据HDFS中存储的数据进行产品质量分析。然后存储产品质量分析，并得到分析结果，即质量分析报表或在分析到数据异常时，进行报警(可通过邮件或短信等方式)。
步骤408，SparkStreaming对Kafka集群收集的数据进行分析，并存储至数据库，同时也得出质量分析报表。其中，TachYon是一种分布式内存文件系统。
在本发明的另一个实施例中，对数据进行收集和质量监控的流程包括：
1、启动一个单节点的zookeeper(是一个分布式的、开放源码的分布式应用程序协调服务)。
2、基于启动的zookeeper搭建Kafka集群。
3、创建topics(主题)。
4、启动consumer(消费者)&producer(生产者)，并进行订阅。
5、Sparkstreaming接收consumer订阅的topics消息。
6、通过sparkstreaming分析接收到的消息，并将分析后的结果保存到HDFS中。
7、质量监控：质量监控分为数据格式异常及数据量异常。数据格式异常可能由于传输或者其他特殊情况导致的，一般系统设置一个容忍值，即这种数据比例非常小就忽略不计。另一种是数据量异常，异常监测是基于历史数据，通过周期性的规律以及近几天的数据预测一个合理范围，当超出范围后会做出预警。在实践过程中通过上述方案发现了由于Kafka原因导致的数据量骤降，以及客户端重复上传导致的数据量太高的问题。
本发明上述实施例的技术方案通过Kafka和SparkStreaming技术实现了以下技术效果：
1、采用Kafka消息订阅模式来传送消息，保证分布式的高可靠性和高性能。并能具有一定的容错性；
2、采用SparkStreaming实现实时计算；
3、能够结合历史质量数据对当前的质量数据进行分析；
4、能够根据分析数据对用户行为做出进一步的分析；
5、可以根据分析结果，改进App，提高用户的粘性。
以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的数据处理方案，提高了数据接收过程的可靠性，保证了数据接收过程的高性能要求，同时能够对接收到的数据质量进行监控，并且能够进行攻击预防，避免可能出现的恶性攻击问题，保证数据处理装置的正常稳定运行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
构建分布式的消息接收系统；
通过所述分布式的消息接收系统接收客户端发送的数据；
对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；
对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。
2.根据权利要求1所述的数据处理方法，其特征在于，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控的步骤，具体包括：
检测所述格式化数据的格式是否异常；
确定所述格式化数据中格式异常的数据所占的比例；
在所述比例大于或等于预定值时，确定所述客户端发送的数据出现异常，并进行报警提示。
3.根据权利要求2所述的数据处理方法，其特征在于，对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控的步骤，具体还包括：
统计对所述格式化数据的历史接收量；
根据所述历史接收量，判断当前接收到的所述格式化数据的接收量变化率是否处于预定范围内；
在判定当前接收到的所述格式化数据的接收量变化率未处于所述预定范围内时，进行报警提示。
4.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，在通过所述分布式的消息接收系统接收客户端发送的数据的步骤之前，还包括：
判断任一客户端在预定时间内发送的数据量是否超过数据量阈值，若是，则拒绝接收所述任一客户端发送的数据。
5.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，通过Sparkstreaming对所述分布式的消息接收系统接收到的数据进行格式转换处理；
所述构建分布式的消息接收系统的步骤，具体包括：构建Kafka集群，以构成所述分布式的消息接收系统。
6.一种数据处理装置，其特征在于，包括：
系统构建单元，用于构建分布式的消息接收系统；
数据接收单元，用于通过所述分布式的消息接收系统接收客户端发送的数据；
格式化单元，用于对所述分布式的消息接收系统接收到的数据进行格式转换处理，以得到格式化数据；
质量监控单元，用于对所述格式化数据进行格式检测和数据量检测，以对所述客户端发送的数据进行质量监控。
7.根据权利要求6所述的数据处理装置，其特征在于，所述质量监控单元包括：
第一检测单元，用于检测所述格式化数据的格式是否异常；
确定单元，用于确定所述格式化数据中格式异常的数据所占的比例；
处理单元，用于在所述比例大于或等于预定值时，确定所述客户端发送的数据出现异常，并进行报警提示。
8.根据权利要求7所述的数据处理装置，其特征在于，所述质量监控单元还包括：
统计单元，用于统计对所述格式化数据的历史接收量；
第一判断单元，用于根据所述历史接收量，判断当前接收到的所述格式化数据的接收量变化率是否处于预定范围内；
所述处理单元，还用于在所述第一判断单元判定当前接收到的所述格式化数据的接收量变化率未处于所述预定范围内时，进行报警提示。
9.根据权利要求6至8中任一项所述的数据处理装置，其特征在于，还包括：
第二判断单元，用于所述数据接收单元接收客户端发送的数据之前，判断任一客户端在预定时间内发送的数据量是否超过数据量阈值；
所述数据接收单元还用于，在所述第二判断单元判定所述任一客户端在预定时间内发送的数据量是否超过所述数据量阈值时，拒绝接收所述任一客户端发送的数据。
10.根据权利要求6至8中任一项所述的数据处理装置，其特征在于，所述格式化单元具体用于，通过Sparkstreaming对所述分布式的消息接收系统接收到的数据进行格式转换处理；
所述系统构建单元具体用于：构建Kafka集群，以构成所述分布式的消息接收系统。
CN201510958830.XA 2015-12-18 2015-12-18 数据处理方法及数据处理装置 Pending CN105592151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510958830.XA CN105592151A (zh) 2015-12-18 2015-12-18 数据处理方法及数据处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510958830.XA CN105592151A (zh) 2015-12-18 2015-12-18 数据处理方法及数据处理装置

Publications (1)

Publication Number Publication Date
CN105592151A true CN105592151A (zh) 2016-05-18

Family

ID=55931355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510958830.XA Pending CN105592151A (zh) 2015-12-18 2015-12-18 数据处理方法及数据处理装置

Country Status (1)

Country Link
CN (1) CN105592151A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161085A (zh) * 2016-06-20 2016-11-23 深圳前海微众银行股份有限公司 消息总线的监控系统及方法
CN106487891A (zh) * 2016-10-11 2017-03-08 北京集奥聚合科技有限公司 一种基于kafka的处理消息的方法
CN106878431A (zh) * 2017-02-24 2017-06-20 深圳市中博睿存信息技术有限公司 一种转化分布式系统中节点通讯消息格式的方法和装置
CN107249019A (zh) * 2017-05-26 2017-10-13 北京小米移动软件有限公司 基于业务的数据处理系统、方法、装置和服务器
CN108282514A (zh) * 2017-12-12 2018-07-13 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN112860520A (zh) * 2021-02-23 2021-05-28 合肥大多数信息科技有限公司 一种基于人工智能的信息数据格式化组件

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483547A (zh) * 2009-02-12 2009-07-15 中国人民解放军信息工程大学 一种网络突发事件度量评估方法及系统
CN102364546A (zh) * 2011-10-19 2012-02-29 北京世纪高通科技有限公司 交通信息数据故障处理的方法及装置
CN103384252A (zh) * 2013-07-18 2013-11-06 北京星网锐捷网络技术有限公司 网络设备防攻击的方法和装置、网络设备
US20140250162A1 (en) * 2013-03-01 2014-09-04 Therasa Bell Data capturing and exchange method and system
CN104135395A (zh) * 2014-03-10 2014-11-05 腾讯科技（深圳）有限公司 Idc网络中数据传输质量监控方法和系统
CN104579823A (zh) * 2014-12-12 2015-04-29 国家电网公司 一种基于大数据流的网络流量异常检测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483547A (zh) * 2009-02-12 2009-07-15 中国人民解放军信息工程大学 一种网络突发事件度量评估方法及系统
CN102364546A (zh) * 2011-10-19 2012-02-29 北京世纪高通科技有限公司 交通信息数据故障处理的方法及装置
US20140250162A1 (en) * 2013-03-01 2014-09-04 Therasa Bell Data capturing and exchange method and system
CN103384252A (zh) * 2013-07-18 2013-11-06 北京星网锐捷网络技术有限公司 网络设备防攻击的方法和装置、网络设备
CN104135395A (zh) * 2014-03-10 2014-11-05 腾讯科技（深圳）有限公司 Idc网络中数据传输质量监控方法和系统
CN104579823A (zh) * 2014-12-12 2015-04-29 国家电网公司 一种基于大数据流的网络流量异常检测系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161085A (zh) * 2016-06-20 2016-11-23 深圳前海微众银行股份有限公司 消息总线的监控系统及方法
CN106161085B (zh) * 2016-06-20 2019-05-03 深圳前海微众银行股份有限公司 消息总线的监控系统及方法
CN106487891A (zh) * 2016-10-11 2017-03-08 北京集奥聚合科技有限公司 一种基于kafka的处理消息的方法
CN106487891B (zh) * 2016-10-11 2019-05-21 北京集奥聚合科技有限公司 一种基于kafka的处理消息的方法
CN106878431A (zh) * 2017-02-24 2017-06-20 深圳市中博睿存信息技术有限公司 一种转化分布式系统中节点通讯消息格式的方法和装置
CN106878431B (zh) * 2017-02-24 2020-06-02 北京同有飞骥科技股份有限公司 一种转化分布式系统中节点通讯消息格式的方法和装置
CN107249019A (zh) * 2017-05-26 2017-10-13 北京小米移动软件有限公司 基于业务的数据处理系统、方法、装置和服务器
CN108282514A (zh) * 2017-12-12 2018-07-13 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN108282514B (zh) * 2017-12-12 2020-11-27 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN112860520A (zh) * 2021-02-23 2021-05-28 合肥大多数信息科技有限公司 一种基于人工智能的信息数据格式化组件

Similar Documents

Publication Publication Date Title
CN105592151A (zh) 数据处理方法及数据处理装置
CN104598369B (zh) 在移动设备中实现的软件监控方法和装置
CN108259194B (zh) 网络故障预警方法及装置
KR20180120558A (ko) 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법
CN104574557B (zh) 一种基于告警的站点巡检方法、操控装置和系统
CN109347688B (zh) 一种在无线局域网中定位故障的方法和装置
CN103856339A (zh) 一种对告警信息进行压缩的方法和设备
CN103634149A (zh) 一种用于分布式系统的监测方法
CN102752123A (zh) 网络设备接口流量预测和容量配置方法及装置
CN110723166A (zh) 一种道岔监测方法及系统
CN106533791A (zh) 一种基于大数据平台的端到端业务质量优化装置及方法
CN107306200B (zh) 网络故障预警方法和用于网络故障预警的网关
CN116166499A (zh) 数据监测方法、装置、电子设备及非易失性存储介质
CN112135119A (zh) 实时音视频通信中网络状况的自动监测与告警方法及系统
CN112116511A (zh) 用于城市轨道交通系统的状态监控方法及装置
JP2006352387A (ja) トラブルチケットサービスシステム、監視装置及びそれらに用いるトラブルチケットサービス方法
CN102946506A (zh) 一种广播电视播出领域的全域化监控系统
CN108696371B (zh) 网络故障确定方法及系统
CN108039971A (zh) 一种告警方法及装置
CN106713492A (zh) 一种基于云计算的垃圾中转站监控系统及监控方法
CN109547271A (zh) 一种基于大数据的网络状态实时监控警报系统
CN101834749B (zh) 获取数据的方法及装置、业务服务质量监控方法及装置
CN110245120B (zh) 流式计算系统及流式计算系统的日志数据处理方法
CN116991677A (zh) 时序异常检测方法、装置、终端设备以及存储介质
CN110609761A (zh) 确定故障源的方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160518