CN110569178B - 基于大数据平台的接口预警方法和系统 - Google Patents

基于大数据平台的接口预警方法和系统 Download PDF

Info

Publication number
CN110569178B
CN110569178B CN201910863846.0A CN201910863846A CN110569178B CN 110569178 B CN110569178 B CN 110569178B CN 201910863846 A CN201910863846 A CN 201910863846A CN 110569178 B CN110569178 B CN 110569178B
Authority
CN
China
Prior art keywords
data
interface
early warning
source data
service end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910863846.0A
Other languages
English (en)
Other versions
CN110569178A (zh
Inventor
周道华
杨陈
曾俊
洪江
彭容
黄维
李武鸿
刘瑞东
张明娟
许江泽
吴婷婷
付志华
刘杰
詹飞
程武彬
杨眉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhongke Daqi Software Co ltd
Original Assignee
Chengdu Zhongke Daqi Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhongke Daqi Software Co ltd filed Critical Chengdu Zhongke Daqi Software Co ltd
Priority to CN201910863846.0A priority Critical patent/CN110569178B/zh
Publication of CN110569178A publication Critical patent/CN110569178A/zh
Application granted granted Critical
Publication of CN110569178B publication Critical patent/CN110569178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于大数据平台的接口预警方法和系统，方法包括如下步骤：服务端的服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建监听线程；监听线程对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；在判断源数据接口能访问成功后，创建对应于源数据接口的监听线程；监听线程轮训式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。本发明提供的接口预警，从服务端到业务端两层关卡，双向保障数据接口预警效果，无遗漏。

Description

基于大数据平台的接口预警方法和系统
技术领域
本发明涉及大数据领域，尤其涉及提供基于大数据平台的接口预警方法和系统。
背景技术
大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。
而在日常各类数据对接过程中，会采用数据接口进行服务端与业务端的交互，而当数据接口发生故障时，如若不进行相应预警，则会对整个大数据处理过程产生影响。因此，提供基于大数据平台的接口预警方法和系统是本领域亟待解决的问题。
公开于本发明背景技术部分的信息仅仅旨在加深对本公开的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于克服现有技术的不足，提供一种提供基于大数据平台的接口预警方法和系统。
本发明的目的是通过以下技术方案来实现的：
本发明的第一方面，提供基于大数据平台的接口预警方法，包括如下步骤：
服务端检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；
所述服务端的服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程；
所述第一监听线程对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；
在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；
所述第二监听线程轮训式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。
进一步地，所述的判断源数据接口是否能访问成功，具体包括：
通过http协议访问请求源数据接口，验证接口是否正常能调用。
进一步地，判断成功返回请求数据，具体包括：
采用http协议判断接口请求状态，并根据返回的协议状态码进行验证。
进一步地，所述的判断源数据接口接收到的返回的数据是否为有效数据，具体包括：
验证数据结构：接口请求成功后返回的数据结构是否满足业务需求；
验证每个数据项格式是否正确，包括字符、数字、汉字和长度在内的字符类型验证；
验证所有返回的数据项是否都是合法有效数据。
进一步地，所述验证当前数据是否有效存在，具体包括：
在业务端的数据库中以轮询式搜索日志记录的数据表中是否有新数据产生，具体采用任务调度器轮询式使用Tsql脚本语句搜索。
进一步地，所述源数据接口由服务端的任务调度模块进行调度分配，所述预警消息发送至任务调度模块；所述预警信息包括数据错误情况和源数据接口ID；
当在一段时间多次接收到同一源数据接口ID的预警信息时，将对应源数据接口挂起，自动断开业务端与服务端的连接，并分配新的源数据接口与业务端连接；之后，将挂起的源数据接口释放。
进一步地，所述数据错误情况包括数据错误类型和对应源数据的数据包名称；将所述数据包名称发送至业务端，以使所述业务端将未发送完成的数据包进行发送；
服务端对重分配接口的业务端的所有数据进行组合处理；其中，对于具有相同数据包名称的数据，自动丢弃数据大小不是最大的对应数据包名称的数据。
进一步地，所述预警信息还发送至显示装置，以使管理员获取各源数据接口的故障情况并进行相应处理。
进一步地，经挂起并释放后的源数据接口相较于未经挂起处理的源数据接口，在预设时间内具有低优先级；在预设时间后或者经管理员处理后恢复优先级。
本发明的第二方面，提供基于大数据平台的接口预警系统，包括服务端和业务端，其中：
所述服务端，用于检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；
所述服务端，用于在所述服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程；
所述第一监听线程，用于对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；
所述服务端或业务端，用于在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；
所述第二监听线程，用于轮训式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。
本发明的有益效果是：
(1)本发明提供的接口预警，其核心思想是从服务端到业务端两层关卡，双向保障数据接口预警效果，无遗漏：第一层是监听服务端源数据接口，第二层是监听业务端数据库日志记录。
同时，对于第二层监听的前提是第一层监听的基础，避免在服务端出现问题时仍然创建第二层监听浪费多余资源的问题。
(2)在本发明的一示例性实施例中，公开了判断源数据接口是否能访问成功、判断成功返回请求数据、判断源数据接口接收到的返回的数据是否为有效数据、验证当前数据是否有效存在的具体实现方式。
其效果有两个：A能充分从源数据接收端最大化摒弃掉无效数据，保证接收存储到的全部是有效数据；B能通过第一关卡验证接口是否正常，进行第一时间捕捉数据实时性故障，第一时间发现并预警告知。
(3)在本发明的一示例性实施例中，通过任务调度模块对源数据接口进行调度分配，当在一段时间多次接收到同一源数据接口ID的预警信息时，将对应源数据接口挂起，自动断开业务端与服务端的连接，并分配新的源数据接口与业务端连接；之后，将挂起的源数据接口释放。即通过重新分配接口的方式实现预警后的后处理。
(4)在本发明的示例性实施例中，通过数据包名称则可实现数据的继续发送。另外，由于为了避免错误判断继续发送的数据点，因此通过重新发送数据包即可解决该问题。
(5)在本发明的示例性实施例中，当管理员接收到包括源数据接口ID和数据错误情况在内的预警信息时，管理员即实时把控各源数据接口的故障情况，以便快速处理。同时为了避免出现问题源数据接口在未恢复前即开始使用，因此，采用下述方式进行解决：对于管理员处理后的源数据接口，立即恢复优先级，即认为该源数据接口已经恢复正常；而对于管理员未处理的源数据接口，仅在预设时间后自动恢复优先级，避免源数据接口在被挂起与释放后再次马上被调用再次出现问题的问题。
附图说明
图1为本发明方法流程图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1，图1示出了一示例性实施例的提供基于大数据平台的接口预警方法，包括如下步骤：
S1：服务端检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求。
其中，在一示例性实施例中，所述业务端用于向服务端进行对接，从而向服务端提供海量大数据(源数据)中的其中一部分，因此在该示例性实施例中会有大量业务端与服务端连接；而在又一示例性实施例中，所述业务端还用于获取服务端的部分源数据，从而进行计算与分析。
在一示例性实施例中，所述预定的接口可以是硬件接口，例如串口、USB接口，即对应的业务端可以是采集数据的实体数据设备；也可以是软件接口，例如应用程序编程API接口等等，即对应的业务端可以是具有软件数据的存储设备。
然而由于业务端的请求具有多种(其中一种即为源数据调取请求)，因此当业务端通过预定的接口接入至服务端时，所述服务端可与所述业务端建立连接；同时创建一服务线程，该服务线程用以获取并解析来自业务端的请求，尤其是识别源数据调取请求。
S2：所述服务端的服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程。
在一示例性实施例中，服务线程识别到业务端请求数据调取时，不仅建立业务端与源数据接口的连接，还会创建第一监听线程，即通过第一监听线程开始对服务端这一层的进行监听。
S3：所述第一监听线程对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送。
其中，在每次调取源数据接口时，都会进行双重验证：(1)判断源数据接口是否能访问成功并成功返回请求数据；(2)判断源数据接口接收到的返回的数据是否为有效数据；如果两者都满足则进行下一步，否则会生成预警信息并发送。
而在一示例性实施例中，所述的判断源数据接口是否能访问成功，具体包括：
通过http协议访问请求源数据接口，验证接口是否正常能调用。
而在又一示例性实施例中，判断成功返回请求数据，具体包括：
采用http协议判断接口请求状态，并根据返回的协议状态码进行验证。
而在又一示例性实施例中，所述的判断源数据接口接收到的返回的数据是否为有效数据，具体包括：
验证数据结构：接口请求成功后返回的数据结构是否满足业务需求；
验证每个数据项格式是否正确，包括字符、数字、汉字和长度在内的字符类型验证；
验证所有返回的数据项是否都是合法有效数据。
S4：在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程。
也就是说，当源数据接口能够访问后，创建第二监听线程，即通过第二监听线程开始对业务端这一层的进行监听。
并且该第二监听线程的创建前提是基于源数据接口访问成功，避免在服务端出现问题时仍然创建第二监听线程浪费多余资源的问题。
S5：所述第二监听线程轮训式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。
而在一示例性实施例中，所述验证当前数据是否有效存在，具体包括：
在业务端的数据库中以轮询式搜索日志记录的数据表中是否有新数据产生，具体采用任务调度器轮询式使用Tsql脚本语句搜索。
在一示例性实施例中，所述源数据接口由服务端的任务调度模块进行调度分配，所述预警消息发送至任务调度模块；所述预警信息包括数据错误情况和源数据接口ID。
即源数据接口具有多个，需要通过统一机制(即任务调度模块)实现调度分配，当生成了预警消息时该任务调度模块会根据实际情况对源数据接口进行调整，在一示例性实施例中，对于同一个源数据接口：(1)若在一段时间内，仅出现了一次(或者预设次数)的预警消息，则无需对该源数据接口进行处理；(2)而当在一段时间多次接收到同一源数据接口ID的预警信息时，此时则证明该源数据接口出现明显问题，此时该任务调度模块需要对该接口进行调整：具体地，调整方式为将对应源数据接口挂起，自动断开业务端与服务端的连接，并分配新的源数据接口与业务端连接；之后，将挂起的源数据接口释放。
即通过重新分配接口的方式实现预警后的后处理。
然而，如果产生预警信息、源数据接口被挂起时，数据有可能在整个数据包的中端发送即被中止，因此需要一解决方式解决该问题，具体地：
在一示例性实施例中，所述数据错误情况包括数据错误类型和对应源数据的数据包名称；将所述数据包名称发送至业务端，以使所述业务端将未发送完成的数据包进行发送。
其中，数据错误类型即包括上述的三次判断(服务端两次、业务端的数据库日志记录一次)，而通过数据包名称则可实现数据的继续发送。另外，由于为了避免错误判断继续发送的数据点，因此通过重新发送数据包即可解决该问题。
而为了避免重新发送数据包导致部分数据重复获取(导致大数据获取错误)，因此在一示例性实施例中，服务端对重分配接口的业务端的所有数据进行组合处理；其中，对于具有相同数据包名称的数据，自动丢弃数据大小不是最大的对应数据包名称的数据。
在一示例性实施例中，所述预警信息还发送至显示装置，以使管理员获取各源数据接口的故障情况并进行相应处理。
其中，该显示装置可以为管理员的移动终端、固定终端等，可以通过邮件/短信/APP的方式实现。当管理员接收到包括源数据接口ID和数据错误情况在内的预警信息时，管理员即实时把控各源数据接口的故障情况，以便快速处理。
为了避免出现问题源数据接口在未恢复前即开始使用，因此，在一示例性实施例中，采用下述方式进行解决：
经挂起并释放后的源数据接口相较于未经挂起处理的源数据接口，在预设时间内具有低优先级；在预设时间后或者经管理员处理后恢复优先级。
其中，对于管理员处理后的源数据接口，立即恢复优先级，即认为该源数据接口已经恢复正常；而对于管理员未处理的源数据接口，仅在预设时间后自动恢复优先级，避免源数据接口在被挂起与释放后再次马上被调用再次出现问题的问题。
而另一示例性实施例与上述任意一示例性实施例具有相同的技术启示，提供基于大数据平台的接口预警系统，包括服务端和业务端，其中：
所述服务端，用于检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；
所述服务端，用于在所述服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程；
所述第一监听线程，用于对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；
所述服务端或业务端，用于在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；
所述第二监听线程，用于轮训式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。
而该系统对应于所述方法的相同内容，则在此不进行赘述。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.基于大数据平台的接口预警方法，其特征在于：包括如下步骤：
服务端检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；
所述服务端的服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程；
所述第一监听线程对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；
在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；
所述第二监听线程轮询式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。
2.根据权利要求1所述的基于大数据平台的接口预警方法，其特征在于：所述的判断源数据接口是否能访问成功，具体包括：
通过http协议访问请求源数据接口，验证接口是否正常能调用。
3.根据权利要求1所述的基于大数据平台的接口预警方法，其特征在于：判断成功返回请求数据，具体包括：
采用http协议判断接口请求状态，并根据返回的协议状态码进行验证。
4.根据权利要求1所述的基于大数据平台的接口预警方法，其特征在于：所述的判断源数据接口接收到的返回的数据是否为有效数据，具体包括：
验证数据结构：接口请求成功后返回的数据结构是否满足业务需求；
验证每个数据项格式是否正确，包括字符、数字、汉字和长度在内的字符类型验证；
验证所有返回的数据项是否都是合法有效数据。
5.根据权利要求1所述的基于大数据平台的接口预警方法，其特征在于：所述验证当前数据是否有效存在，具体包括：
在业务端的数据库中以轮询式搜索日志记录的数据表中是否有新数据产生，具体采用任务调度器轮询式使用Tsql脚本语句搜索。
6.根据权利要求1所述的基于大数据平台的接口预警方法，其特征在于：所述源数据接口由服务端的任务调度模块进行调度分配，所述预警信息发送至任务调度模块；所述预警信息包括数据错误情况和源数据接口ID；
当在一段时间多次接收到同一源数据接口ID的预警信息时，将对应源数据接口挂起，自动断开业务端与服务端的连接，并分配新的源数据接口与业务端连接；之后，将挂起的源数据接口释放。
7.根据权利要求6所述的基于大数据平台的接口预警方法，其特征在于：所述数据错误情况包括数据错误类型和对应源数据的数据包名称；将所述数据包名称发送至业务端，以使所述业务端将未发送完成的数据包进行发送；
服务端对重分配接口的业务端的所有数据进行组合处理；其中，对于具有相同数据包名称的数据，自动丢弃数据大小不是最大的对应数据包名称的数据。
8.根据权利要求6所述的基于大数据平台的接口预警方法，其特征在于：所述预警信息还发送至显示装置，以使管理员获取各源数据接口的故障情况并进行相应处理。
9.根据权利要求8所述的基于大数据平台的接口预警方法，其特征在于：经挂起并释放后的源数据接口相较于未经挂起处理的源数据接口，在预设时间内具有低优先级；在预设时间后或者经管理员处理后恢复优先级。
10.基于大数据平台的接口预警系统，其特征在于：包括服务端和业务端，其中：
所述服务端，用于检测到业务端接入预定的接口时，建立与业务端的连接，并创建服务线程，以获取并解析来自业务端的请求；
所述服务端，用于在所述服务线程在解析到来自业务端的请求为源数据调取请求时，建立业务端与源数据接口的连接，并创建第一监听线程；
所述第一监听线程，用于对源数据调取过程进行监听，判断源数据接口是否能访问成功并成功返回请求数据，同时判断源数据接口接收到的返回的数据是否为有效数据；如果有任意一项不满足，则生成预警信息并发送；
所述服务端或业务端，用于在判断源数据接口能访问成功后，创建对应于所述源数据接口的第二监听线程；
所述第二监听线程，用于轮询式监听业务端的数据库日志记录，验证当前数据是否有效存在；如果不满足，则生成预警信息并发送。
CN201910863846.0A 2019-09-12 2019-09-12 基于大数据平台的接口预警方法和系统 Active CN110569178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863846.0A CN110569178B (zh) 2019-09-12 2019-09-12 基于大数据平台的接口预警方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863846.0A CN110569178B (zh) 2019-09-12 2019-09-12 基于大数据平台的接口预警方法和系统

Publications (2)

Publication Number Publication Date
CN110569178A CN110569178A (zh) 2019-12-13
CN110569178B true CN110569178B (zh) 2022-12-27

Family

ID=68779506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863846.0A Active CN110569178B (zh) 2019-09-12 2019-09-12 基于大数据平台的接口预警方法和系统

Country Status (1)

Country Link
CN (1) CN110569178B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138898B (zh) * 2021-04-26 2023-01-17 上海淇玥信息技术有限公司 对业务系统异常进行识别预警的方法、装置和电子设备
CN115333919B (zh) * 2022-08-09 2023-11-07 贵州多彩新媒体股份有限公司 一种旁挂式信息安全监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441896A (zh) * 2013-08-26 2013-12-11 苏州市吴江区人民政府国有资产监督管理办公室 一种业务数据监测预警平台及预警方法
CN203466878U (zh) * 2013-07-26 2014-03-05 广州史达泊雷网络科技有限公司 基于音频接口的智能终端与操控手柄之间的数据传输系统
CN104253792A (zh) * 2013-06-27 2014-12-31 鸿富锦精密工业（深圳）有限公司 基板管理控制器虚拟系统及方法
CN104899278A (zh) * 2015-05-29 2015-09-09 北京京东尚科信息技术有限公司 一种Hbase数据库数据操作日志的生成方法及装置
CN105703972A (zh) * 2016-03-07 2016-06-22 深圳前海微众银行股份有限公司 应用于审计的数据抓取方法及装置
CN106209819A (zh) * 2016-06-25 2016-12-07 郑州科技学院 一种物联网安全风险分布式评估方法
CN109062754A (zh) * 2018-06-26 2018-12-21 平安科技（深圳）有限公司 数据监控及告警方法、装置、存储介质及服务器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800762B (zh) * 2009-12-30 2014-03-19 中兴通讯股份有限公司 一种对多个业务进行融合的业务云系统及业务实现方法
CN107517131A (zh) * 2017-08-31 2017-12-26 四川长虹电器股份有限公司 一种基于日志采集的分析预警方法
CN109039787B (zh) * 2018-09-28 2022-02-11 新华三大数据技术有限公司 日志处理方法、装置及大数据集群

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253792A (zh) * 2013-06-27 2014-12-31 鸿富锦精密工业（深圳）有限公司 基板管理控制器虚拟系统及方法
CN203466878U (zh) * 2013-07-26 2014-03-05 广州史达泊雷网络科技有限公司 基于音频接口的智能终端与操控手柄之间的数据传输系统
CN103441896A (zh) * 2013-08-26 2013-12-11 苏州市吴江区人民政府国有资产监督管理办公室 一种业务数据监测预警平台及预警方法
CN104899278A (zh) * 2015-05-29 2015-09-09 北京京东尚科信息技术有限公司 一种Hbase数据库数据操作日志的生成方法及装置
CN105703972A (zh) * 2016-03-07 2016-06-22 深圳前海微众银行股份有限公司 应用于审计的数据抓取方法及装置
CN106209819A (zh) * 2016-06-25 2016-12-07 郑州科技学院 一种物联网安全风险分布式评估方法
CN109062754A (zh) * 2018-06-26 2018-12-21 平安科技（深圳）有限公司 数据监控及告警方法、装置、存储介质及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用信息技术完善应急预警体系;秦卿等;《中国安全生产科学技术》;20071015(第05期);全文 *

Also Published As

Publication number Publication date
CN110569178A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110062025B (zh) 数据采集的方法、装置、服务器及存储介质
CN107992398B (zh) 一种业务系统的监控方法和监控系统
WO2021008031A1 (zh) 基于微服务实现监控智能化的处理方法及电子装置
CN105357038B (zh) 监控虚拟机集群的方法和系统
CN110555019B (zh) 一种基于业务端的数据清洗方法
CN110445688B (zh) 基于数据收集的接口服务功能监测方法及系统
US20210036907A1 (en) Methods and apparatuses for pushing a message
CN106778260B (zh) 攻击检测方法和装置
US20070168757A1 (en) Systems, methods, and media for managing software defects
CN110569178B (zh) 基于大数据平台的接口预警方法和系统
WO2021169275A1 (zh) Sdn 网络设备访问方法、装置、计算机设备及存储介质
CN108200132A (zh) 资源获取方法、装置、设备及计算机可读存储介质
CN107613148A (zh) 一种适用于客户沟通的自动化实时数据监控方法及系统
CN112769876B (zh) 一种设备通道信息获取方法、装置、设备和介质
CN110569238B (zh) 一种基于大数据的数据治理方法、系统、存储介质和服务端
CN110430070A (zh) 一种服务状态分析方法、装置、服务器、数据分析设备及介质
CN110262955A (zh) 基于pinpoint的应用性能监控工具
CN112235300B (zh) 云虚拟网络漏洞检测方法、系统、装置及电子设备
WO2020006896A1 (zh) 余额监控方法、装置、计算机设备和存储介质
CN103731315A (zh) 一种服务器故障检测方法
CN111447273A (zh) 云处理系统及基于云处理系统的数据处理方法
CN111698301A (zh) 一种保证服务延续的服务管理方法、装置及存储介质
CN110807184A (zh) 一种智能录屏采集电脑及移动终端用户行为数据的方法
CN112818204B (zh) 一种业务的处理方法、装置、设备及存储介质
CN115065510A (zh) 登录方法、装置、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant