CN113507382A - 一种基于企业微信的数据预警监控方法及系统 - Google Patents

一种基于企业微信的数据预警监控方法及系统 Download PDF

Info

Publication number
CN113507382A
CN113507382A CN202011042586.XA CN202011042586A CN113507382A CN 113507382 A CN113507382 A CN 113507382A CN 202011042586 A CN202011042586 A CN 202011042586A CN 113507382 A CN113507382 A CN 113507382A
Authority
CN
China
Prior art keywords
early warning
module
monitoring
data
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011042586.XA
Other languages
English (en)
Inventor
陈博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Securities Co ltd
Original Assignee
Western Securities Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Securities Co ltd filed Critical Western Securities Co ltd
Priority to CN202011042586.XA priority Critical patent/CN113507382A/zh
Publication of CN113507382A publication Critical patent/CN113507382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0253—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using browsers or web-pages for accessing management information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于企业微信的数据预警监控方法及系统，涉及计算机软件开发领域，所述方法包括步骤1：通过企业微信终端登录预警监控web端进行可视化界面显示，通过可视化界面新建预警监控任务，配置元信息；步骤2：通过可视化界面对新建的预警监控任务进行规制配置，包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块；步骤3：通过可视化界面开启预警监控任务的规则配置状态，执行预警监控任务，如果预警监控任务被触发，则推送预警消息到企业微信终端。本发明解决了数据预警不及时、覆盖面不全、数据校验规则单一、预警逻辑不明确的问题。

Description

一种基于企业微信的数据预警监控方法及系统
技术领域
本发明涉及计算机软件开发领域，特别是涉及一种基于企业微信的数据预警监控方法及系统。
背景技术
随着金融科技的高速发展，在各个领域的分析研究中都需要大量的数据支撑，而数据来源更是多种多样。各种数据来自于集散中心、异地数据库、线上网站、手机app应用，而对于海量数据的每日增量进行监控则无法避免地需要重视。大多数金融公司的数据监控都是通过一些硬性的规则触发邮件来进行报警通知，但是邮件容易淹没在浩瀚的收件箱中，显然让开发者错过重要的报警是得不偿失的。因此，本发明融合了企业微信和校验中间件进行了数据的预警监控，解决了校验规则单一、报警不及时的问题，让开发者、产品相关人员第一时间了解数据增量的异常，并且及时进行相应的补救修复。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于企业微信的数据预警监控方法及系统，解决数据预警不及时、覆盖面不全、数据校验规则单一、预警逻辑不明确的问题；通过可视化界面进行预警任务的相关配置、校验逻辑的添加，结合全面的校验映射、校验中间件，使得不符合预期的数据增量、全量任务第一时间通知到开发、产品相关人员，让其进行最及时的处理补救，把数据缺失、异常的问题及时暴露，提高了效率，也降低了查错成本。
本发明提供一种基于企业微信的数据预警监控方法，所述方法包括以下步骤：
步骤1：通过企业微信终端登录预警监控web端进行可视化界面显示，通过可视化界面新建预警监控任务，配置元信息；
步骤2：通过可视化界面对新建的预警监控任务进行规则配置，包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块；
步骤3：通过可视化界面开启预警监控任务的规则配置状态，执行预警监控任务，如果预警监控任务被触发，则推送预警消息到企业微信终端。
于本发明的一实施例中，所述元信息包括任务名称、任务状态、任务监控时间、任务对应的预警消息。
于本发明的一实施例中，所述monitor_exist模块用于监控新数据；所述monitor_field模块用于监控新数据的字段缺失比例；所述count_data模块用于查看新数据的条数；所述empty_field模块用于查看新数据的字段缺失比例；所述sql_compare模块用于将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息。
本发明提供一种基于企业微信的数据预警监控系统，所述系统包括预警监控web端、校验中间件以及消息推送件；
所述预警监控web端用于可视化界面显示，并且通过可视化界面新建预警监控任务，配置元信息，配置预警监控任务规制，查看预警监控任务历史日志；
所述校验中间件用于监控新数据，监控新数据的字段缺失比例，查看新数据条数，将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息；
所述消息推送件用于将预警消息推送到预警监控web端。
于本发明的一实施例中，所述校验中间件包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块。
如上所述，本发明的一种基于企业微信的数据预警监控方法及系统具有以下有益效果：本发明通过可视化界面能够方便快捷的进行数据校验预警任务的配置，及时有效地将数据任务的成功与否通知到开发、产品相关人员，极大地提高了数据开发人员的效率，尽早地对异常进行处理。
附图说明
图1显示为本发明实施例中公开的基于企业微信的数据预警监控系统的结构框图。
图2显示为本发明实施例中公开的校验中间件的工作示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供一种基于企业微信的数据预警监控方法，所述方法包括以下步骤：
步骤1：通过企业微信终端使用账号登录预警监控web端，进行账号可视化界面显示；并且通过可视化界面新建预警监控任务，配置元信息，其中，所述元信息包括任务名称、任务状态、任务监控时间、任务对应的预警消息(成功是否发送通知信息，失败是否循环发送通知信息和备注信息)。
步骤2：通过可视化界面对新建的预警监控任务进行规则配置，包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块；
其中，所述monitor_exist模块用于监控最近时间段内是否有新数据；所述monitor_field模块用于监控新数据字段缺失比例；所述count_data模块用于按照时间段或者全表查看新数据的条数是否符合预期；所述empty_field模块用于查看最近时间段内或者全表新数据的字段缺失比例；所述sql_compare模块用于将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息。
步骤3：通过可视化界面开启预警监控任务的规则配置状态，执行预警监控任务，如果预警监控任务被触发，则推送预警消息到企业微信终端；与此同时，可以通过预警监控web端查看账户预警监控任务的相关日志，通过企业微信终端推送的预警信息中查看相关预警日志。
请参阅图1，本发明提供一种基于企业微信的数据预警监控系统，所述系统包括预警监控web端、校验中间件以及消息推送件；
所述预警监控web端用于可视化显示界面，并且通过可视化界面新建预警监控任务，配置元信息，配置预警监控任务规制，查看预警监控任务历史日志；
所述校验中间件用于监控新数据，监控新数据的字段缺失比例，查看新数据条数，将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息；
所述消息推送件用于预警消息推送到预警监控web端，即对于成功或者失败的任务，按照人员相关配置进行企业微信的预警消息推送，被推送人员可以在各自账号的企业微信终端看到相关任务的预警消息。
其中，所述校验中间件主要包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块。
具体的，所述校验中间件用于时间映射、时间过滤、专属ID映射、任务过滤、监控存在过滤、监控字段过滤、字段条数过滤、空字段过滤、自定义比较过滤、最终映射，请参阅图2。
综上所述，本发明解决了数据预警不及时、覆盖面不全、数据校验规则单一、报警逻辑不明确的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (5)

1.一种基于企业微信的数据预警监控方法，其特征在于，所述方法包括以下步骤：
步骤1：通过企业微信终端登录预警监控web端进行可视化界面显示，通过可视化界面新建预警监控任务，配置元信息；
步骤2：通过可视化界面对新建的预警监控任务进行规则配置，包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块；
步骤3：通过可视化界面开启预警监控任务的规则配置状态，执行预警监控任务，如果预警监控任务被触发，则推送预警消息到企业微信终端。
2.根据权利要求1所述的一种基于企业微信的数据预警监控方法，其特征在于：所述元信息包括任务名称、任务状态、任务监控时间、任务对应的预警消息。
3.根据权利要求1所述的一种基于企业微信的数据预警监控方法，其特征在于：所述monitor_exist模块用于监控新数据；所述monitor_field模块用于监控新数据的字段缺失比例；所述count_data模块用于查看新数据的条数；所述empty_field模块用于查看新数据的字段缺失比例；所述sql_compare模块用于将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息。
4.一种基于企业微信的数据预警监控系统，其特征在于：所述系统包括预警监控web端、校验中间件以及消息推送件；
所述预警监控web端用于可视化界面显示，并且通过可视化界面新建预警监控任务，配置元信息，配置预警监控任务规制，查看预警监控任务历史日志；
所述校验中间件用于监控新数据，监控新数据的字段缺失比例，查看新数据条数，将新数据条数、新数据的字段缺失比例与预设值进行比较，并且基于比较结果输出对应的预警信息；
所述消息推送件用于将预警消息推送到预警监控web端。
5.根据权利要求4所述的一种基于企业微信的数据预警监控系统，其特征在于：所述校验中间件包括monitor_exist模块、monitor_field模块、count_data模块、empty_field模块以及sql_compare模块。
CN202011042586.XA 2020-09-28 2020-09-28 一种基于企业微信的数据预警监控方法及系统 Pending CN113507382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011042586.XA CN113507382A (zh) 2020-09-28 2020-09-28 一种基于企业微信的数据预警监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011042586.XA CN113507382A (zh) 2020-09-28 2020-09-28 一种基于企业微信的数据预警监控方法及系统

Publications (1)

Publication Number Publication Date
CN113507382A true CN113507382A (zh) 2021-10-15

Family

ID=78008345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011042586.XA Pending CN113507382A (zh) 2020-09-28 2020-09-28 一种基于企业微信的数据预警监控方法及系统

Country Status (1)

Country Link
CN (1) CN113507382A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132390A (zh) * 2023-02-03 2023-05-16 上海九方云智能科技有限公司 基于阿里云DataWorks的预警触达系统及方法
CN116910231A (zh) * 2023-09-11 2023-10-20 社治无忧(成都)智慧科技有限公司 一种基于自然语言处理的微信群舆情预警方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100169472A1 (en) * 2005-12-15 2010-07-01 Keiichi Okamoto Web Access Monitoring Method and Associated Program
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统
CN109086894A (zh) * 2018-07-06 2018-12-25 西安热工研究院有限公司 一种面向区域发电公司的报警消息中心系统
CN111031059A (zh) * 2019-12-23 2020-04-17 河南派亚尼尔自动化设备有限公司 一种基于WebSocket的物联网大屏监控系统及方法
CN111382033A (zh) * 2020-03-09 2020-07-07 山东浪潮通软信息科技有限公司 一种通用的信息系统预警方法和预警工具
CN111640292A (zh) * 2020-05-08 2020-09-08 江苏中能赛创智能装备科技有限公司 电能采集云端监控分析系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100169472A1 (en) * 2005-12-15 2010-07-01 Keiichi Okamoto Web Access Monitoring Method and Associated Program
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统
CN109086894A (zh) * 2018-07-06 2018-12-25 西安热工研究院有限公司 一种面向区域发电公司的报警消息中心系统
CN111031059A (zh) * 2019-12-23 2020-04-17 河南派亚尼尔自动化设备有限公司 一种基于WebSocket的物联网大屏监控系统及方法
CN111382033A (zh) * 2020-03-09 2020-07-07 山东浪潮通软信息科技有限公司 一种通用的信息系统预警方法和预警工具
CN111640292A (zh) * 2020-05-08 2020-09-08 江苏中能赛创智能装备科技有限公司 电能采集云端监控分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张雷: "高速公路ETC门架主机监测预警系统设计与应用", 《中国交通信息化》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132390A (zh) * 2023-02-03 2023-05-16 上海九方云智能科技有限公司 基于阿里云DataWorks的预警触达系统及方法
CN116910231A (zh) * 2023-09-11 2023-10-20 社治无忧(成都)智慧科技有限公司 一种基于自然语言处理的微信群舆情预警方法和系统
CN116910231B (zh) * 2023-09-11 2023-11-17 社治无忧(成都)智慧科技有限公司 一种基于自然语言处理的微信群舆情预警方法和系统

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN109313739B (zh) 用于提供工作流程的可视化的系统和方法
US8667078B2 (en) Systems and methods of extracting, storing, and serving device definition file information
US11914566B2 (en) Indexing and relaying data to hot storage
CN112507027A (zh) 基于Kafka的增量数据同步方法、装置、设备及介质
CN112052111B (zh) 服务器异常预警的处理方法、装置、设备及存储介质
CN113507382A (zh) 一种基于企业微信的数据预警监控方法及系统
CN107844575B (zh) 一种用于互联网金融平台的个人数据共享系统和方法
CN103810060A (zh) 基于分布式数据库的数据备份方法及其系统
CN115408370B (zh) 数据库迁移评估方法和系统、计算机设备、存储介质
CN110505119A (zh) 一种测试方法、装置、系统及可读存储介质
CN107423620B (zh) 存储服务器服务进程的管理方法及装置
CN113760579A (zh) 一种故障排查方法及装置
US10924362B2 (en) Management of software bugs in a data processing system
WO2021032310A1 (en) Method and system for generating a digital representation of asset information in a cloud computing environment
CN110704462A (zh) 数据变更通知方法、电子装置、计算机设备及存储介质
CN111124841B (zh) 一种异常页面的报警方法、装置及计算机系统
CN114049036A (zh) 数据计算平台、方法、设备及存储介质
CN113505047A (zh) 集中管理监控各个分拨中心网点数据库的系统
CN115033445A (zh) 一种基于Siddhi的实时告警系统
CN105808348A (zh) 一种数据服务调度装置、系统和方法
CN112732471A (zh) 接口返回数据的纠错方法和纠错装置
CN114430411B (zh) 一种服务器标准作业程序批量下载方法及装置
CN111382945B (zh) 一种人工降雨作业安全隐患的分析方法
CN115328920A (zh) 批量数据异常处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211015