CN107979477A - 一种业务监控的方法及系统 - Google Patents
一种业务监控的方法及系统 Download PDFInfo
- Publication number
- CN107979477A CN107979477A CN201610921493.1A CN201610921493A CN107979477A CN 107979477 A CN107979477 A CN 107979477A CN 201610921493 A CN201610921493 A CN 201610921493A CN 107979477 A CN107979477 A CN 107979477A
- Authority
- CN
- China
- Prior art keywords
- business diary
- business
- operational indicator
- diary
- operation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种业务监控的方法及系统,涉及互联网技术领域,能够提高日志平台的实时性。本发明包括:从业务系统中提取业务日志,并根据所述业务日志打印业务日志;采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统;根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算;根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。本发明适用于通过日志监控分析业务异常的场景。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种业务监控的方法及系统。
背景技术
随着互联网技术的发展,诸如在线购物平台、订票系统等业务系统的规模愈发庞大,在对业务系统健康状况的诊断过程中,需要获取业务系统一些关键指标的监控数据。
目前,对应规模较为庞大的业务系统,对业务系统关键指标的监控,大都采用业务系统外的日志平台。需要基于日志平台与业务系统之间的传输方式,对业务系统的执行代码进行修改,以便实现业务系统向日志平台上报日志数据的功能,每当业务系统更新或者做出改动时,往往都需要同步地修改业务系统的执行代码,而随着业务系统更新愈来愈频繁,技术人员则需要更频繁地修改业务系统的执行代码,从而导致日志平台更加难以保障实时性。因此,日志平台采用离线处理的方式对业务系统的日志数据进行相关的统计分析,并在日志平台上提供统计后相关维度的计算指标。
由于日志平台的离线处理的方式难以与业务系统的在线业务同步,导致了当前大多数日志平台对指标的监控,存在延迟较高的问题,在实际应用中对业务系统关键指标的监控通常都是作为一种分析业务异常的手段,较高的延迟则限制了业务系统异常的解决速度,最终降低了业务系统的运行效率。
发明内容
本发明的实施例提供一种业务监控的方法及系统,能够提高日志平台的实时性。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明的实施例提供的方法,包括:
从业务系统中提取业务日志,并根据所述业务日志打印业务日志,所述打印业务日志的过程包括:将从业务系统中提取业务日志依据业务指标进行存储;
采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统;
根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算;
根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。
结合第一方面,在第一方面的第一种可能的实现方式中,所述根据所述业务日志打印业务日志,包括:
将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器;
所述采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统,包括:通过FLUME从所述可读公开服务器实时采集所述业务日志,并将采集的业务日志推送至所述分布式发布订阅消息系统。
结合第一方面,在第一方面的第二种可能的实现方式中,所述根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算,包括:
根据所述业务系统的业务指标,聚合对应同一类业务指标的业务日志;
并将对应同一类业务指标的业务日志读取至内存。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标,包括:
根据对应一类业务指标的业务日志,确定出现异常的业务数量;
若所述出现异常的业务数量超过阀值,则判定这一类业务指标发生异常。
结合第一方面的第一种可能的实现方式,在第四种可能的实现方式中,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至所述可读公开服务器,包括:
通过SPARK,从价格系统抽取对应价格指标的业务日志,并将所述对应价格指标的业务日志存储至可读公开服务器。
结合第一方面的第一种可能的实现方式,在第五种可能的实现方式中,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器,包括:
从购物车系统抽取对应各个用户操作接口的指标的业务日志,并将所述对应用户操作接口的指标的业务日志存储至所述可读公开服务器,其中,所述用户操作接口对应所述购物车系统的操作功能,所述操作功能包括:结算、快速购买、提交订单、配送和将商品增/减至购物车。
结合第一方面的第一种可能的实现方式,在第六种可能的实现方式中,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器,包括:
从库存系统抽取对应各个库存管理接口的指标的业务日志,并将所述对应库存管理接口的指标的业务日志存储至所述可读公开服务器。
结合第一方面的第一种可能的实现方式,在第七种可能的实现方式中,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器,包括:
从订单系统抽取对应各个订单监控指标的业务日志,并将所述对应订单监控指标的业务日志存储至所述可读公开服务器,其中,所述订单监控指标包括:支付异常、退换货统计和字段缺失。
第二方面,本发明的实施例提供的系统,包括:业务系统、与业务系统建立网络连接的日志管理系统,以及与日志管理系统建立网络连接的监控系统;
所述日志管理系统,用于从所述业务系统中提取业务日志,并根据所述业务日志打印业务日志,所述打印业务日志的过程包括:将从业务系统中提取业务日志依据业务指标进行存储;并采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统;
所述监控系统,用于根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算;并根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。
结合第二方面,在第二方面的第一种可能的实现方式中,所述日志管理系统,具体用于将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器;并通过FLUME从所述可读公开服务器实时采集所述业务日志,并将采集的业务日志推送至所述分布式发布订阅消息系统;
所述监控系统,具体用于根据所述业务系统的业务指标,聚合对应同一类业务指标的业务日志;并将对应同一类业务指标的业务日志读取至内存;
再根据对应一类业务指标的业务日志,确定出现异常的业务数量;若所述出现异常的业务数量超过阀值,则判定这一类业务指标发生异常。
结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述日志管理系统,具体用于通过SPARK,从价格系统抽取对应价格指标的业务日志,并将所述对应价格指标的业务日志存储至可读公开服务器;
或者,从购物车系统抽取对应各个用户操作接口的指标的业务日志,并将所述对应用户操作接口的指标的业务日志存储至所述可读公开服务器,其中,所述用户操作接口对应所述购物车系统的操作功能,所述操作功能包括:结算、快速购买、提交订单、配送和将商品增/减至购物车;
或者,从库存系统抽取对应各个库存管理接口的指标的业务日志,并将所述对应库存管理接口的指标的业务日志存储至所述可读公开服务器;
或者,从订单系统抽取对应各个订单监控指标的业务日志,并将所述对应订单监控指标的业务日志存储至所述可读公开服务器,其中,所述订单监控指标包括:支付异常、退换货统计和字段缺失。
本发明实施例提供的业务监控的方法及系统,对有关需要监控的指标的业务日志进行打印。监控系统不需等待业务系统而可以直接从可读公开服务器获取业务日志。并且在这过程中,需要占用的是业务系统与可读公开服务器之前的部分数据接口资源,而无需重大侵入业务系统的业务层代码,避免了频繁地修改业务系统的执行代码,提高了日志平台的实时性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的业务监控的系统的架构示意图;
图2为本发明实施例提供的业务监控的方法的流程示意图;
图3为本发明实施例提供的具体实例的示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本实施例中的方法流程,具体可以执行在一种如图1所示的系统中,其中包括:业务系统、与业务系统建立网络连接的日志管理系统,以及与日志管理系统建立网络连接的监控系统。在本实施例中,业务系统、日志管理系统和监控系统,可以各自做成单独的服务器设备,也可以是是由多个服务器组成的一种用于数据处理的服务器集群系统,具体可以采用常用的服务器系统的硬件架设方式,本实施例中并不限定。
其中,业务系统具体可以是用于在线交易业务、金融业务或者物流业务等业务系统,比如:可以包括但不限于商品的价格管理系统、寻源系统、库存系统、促销系统、购物车管理系统、会员管理系统、自营店系统和订单系统等。
日志管理系统具体可以包括Flume系统和分布式发布订阅消息系统(KAFAK)系统。Flume系统,具体是Cloudera提供的用于分布式的海量日志采集、聚合和传输的系统。Flume系统支持在日志系统中定制各类数据发送方,用于收集数据。同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Kafka系统,具体是一种高吞吐量的分布式发布订阅消息系统,用于处理消费者规模的网站中的所有动作(比如:网页浏览,搜索和其他用户的互动等)的流数据。在本实施例中,通过FLUME实时采集所述业务日志,并推送至分布式发布订阅消息系统(KAFAK),再进行聚合计算。
监控系统(比如CLM(Center Log Monitor,中台日志监控)系统),具体用于根据所设定的各类业务系统的指标,进行定制化的统计分析,并向监控中心或者技术人员的终端设备推送有关业务系统的指标数据。
本发明实施例提供一种业务监控的方法,如图2所示,包括:
S1、从业务系统中提取业务日志,并根据所述业务日志打印业务日志。
其中,所述打印业务日志的过程包括:将从业务系统中提取业务日志依据业务指标进行存储,比如将所提取的业务日志,按照来源的业务系统所设定的业务指标,并存储至可读公开服务器。由于从业务系统中提取业务日志通常为松散的、碎片化的日志数据,将松散的、碎片化的日志数据依据业务指标进行存储至可读公开服务器,以便于提高监控系统通过分布式发布订阅消息系统从日志管理系统中读取业务日志的效率。
业务指标具体可以理解为在业务系统的运行过程中,在对应各个业务环节所记录的数据进行统计后,对同一类型的数据的统计值即可作为业务指标的具体参数值。
S2、采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统。
其中,具体可以通过FLUME从所述可读公开服务器实时采集所述业务日志,并将采集的业务日志推送至所述分布式发布订阅消息系统(Kafka)。
S3、根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算。
S4、根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。
在现有方案中,日志平台在分析业务指标时,需要从业务系统中读取业务日志,但是为了优先保障业务系统的正常运行,日志平台读取业务系统的日志的进程的优先程度,远低于业务系统中所运行的各业务的进程,使得日志平台的实时性无法保证。
而在本实施例中,业务系统可将所设置的需要监控的指标告知CLM系统,并对有关需要监控的指标的业务日志进行打印。通过打印业务日志的方式,业务系统只需直接将业务日志复制到与之相连的可读公开服务器中存储即可。使得CLM系统不需等待业务系统而可以直接从可读公开服务器获取业务日志。并且在这过程中,占用的是业务系统与可读公开服务器之前的部分数据接口资源,而无需重大侵入业务系统的业务层代码,避免了频繁地修改业务系统的执行代码,提高了日志平台的实时性。
在本实施例中,所述根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标,包括:
根据对应一类业务指标的业务日志,确定出现异常的业务数量。若所述出现异常的业务数量超过阀值,则判定这一类业务指标发生异常。具体的,可以通过CLM系统后台运行的调度任务,实时扫描超过阀值的异常业务指标,并将告警信息发送/提示给告警人员。
业务系统可将自身所关注的业务指标告知CLM系统,并将关注的业务指标对应的业务日志打印到日志中。由CLM系统通过所打印的业务日志分别针对不同种类的业务系统,进行实时个性化的指标监控,从而将业务系统所关注的指标纳入监控范围。即可根据业务系统的自身要求定制个性化的监控方式。例如图3所示:
将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至所述可读公开服务器的具体方式,可以包括:若业务指标为价格指标,则可以通过SPARK,从价格系统抽取对应价格指标的业务日志,并将所述对应价格指标的业务日志存储至可读公开服务器。从而通过CLM系统实时监控商品的价格,若商品的价格超过设置的波动阀值则进行预警处理,实现了对于商品价格的快速排错,从而防止了由于人员误操作导致的异常价格长时间悬挂在购物页面上以至于给商户造成损失的情况。
再例如:将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至所述可读公开服务器的具体方式,可以包括:从购物车系统抽取对应各个用户操作接口的指标的业务日志,并将所述对应用户操作接口的指标的业务日志存储至所述可读公开服务器。
其中,所述用户操作接口对应所述购物车系统的操作功能,所述操作功能包括:结算、快速购买、提交订单、配送和将商品增/减至购物车。比如:CLM系统通过监控“去结算、立即购、提交订单、配送保存、商品加入购物车”等接口上的业务日志,实时获取接口报错的统计数据,以便于向技术人员提供对购物车系统进行进一步改造优化、升级所需的数据。并可以依据统计数据对异常的交易行为进行限制,如依据统计数据同时针对黄牛的“去结算/立即购”行为可进行限制,从而控制无效流量对系统的压力。
再例如:将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至所述可读公开服务器的具体方式,可以包括:从库存系统抽取对应各个库存管理接口的指标的业务日志,并将所述对应库存管理接口的指标的业务日志存储至所述可读公开服务器。
其中,所述库存管理接口可以采用,CIS(Commodity Inventory System,库存信息服务系统)和GAIA(一种库存系统)的接口。CLM系统通过监控CIS以及GAIA接口上的业务日志,实时获取接口调用次数以及平均耗时。如果接口的调用频率超过阀值或超时,则可以向技术人员发出报警,降低这种因为调用接口而造成的堵塞,同时也向技术人员提供对接口进行进一步改造优化、升级所需的数据。
再例如:将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至所述可读公开服务器的具体方式,可以包括:
从订单系统抽取对应各个订单监控指标的业务日志,并将所述对应订单监控指标的业务日志存储至所述可读公开服务器。
其中,所述订单监控指标包括:支付异常(比如:通过CLM系统获取支付系统中出现异常的业务指标和对应的业务日志,并进行处理,挽回因支付不了造成的损失)、退换货统计(比如:通过CLM系统获取超过阀值设定的退换货的会员,并通过持续监控或者限制权限、冻结账号等手段,减少恶意操作)和字段缺失(比如:根据CLM系统获取业务系统中存在缺失字段的业务环节,以便于优化业务系统、排除故障)。
进一步的,所述来源的业务系统还可以包括:促销系统、会员系统或其它类型的业务系统,比如:对于促销系统,实时监控每会员每天的领券、每订单用券数量、每订单用券金额等业务指标,超过设置的阀值则进行预警处理,防止会员通过非法途径获取券,以及用券数量和金额都做到了监控;对于会员系统,实时监控会员的云钻、券、预付款账户发放量、使用量情况等业务指标,超过设置的阀值则进行预警处理。
在本实施例中,所述根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算,包括:根据所述业务系统的业务指标,聚合对应同一类业务指标的业务日志,并将对应同一类业务指标的业务日志读取至内存。例如:如图3所示的,通过FLUME实时采集业务系统产生的业务日志,并导入KAFKA,以供STORM实时运算。其中,在KAFKA上采用strom,具体通过将KAFKA中的数据接入到STORM后,在Bolt中完成所述聚合计算(包括执行过滤、聚合等操作)。Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库,也是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。在实际应用中,在Storm中采用的是全内存实时计算,全内存实时计算的计算速度大于离线计算的计算速度,从而提高处理效率。进一步的,所述聚合计算可以通过SPARK执行,其中,SPARK指的是基于内存计算的开源的集群分布式计算系统,每个节点存储数据集,然后任务提交给节点,可以理解为SPARK是把计算过程传递给数据。Storm是一个分布式流计算引擎,每个节点实现一个基本的计算过程,而数据项在互相连接的网络节点中流进流出,可以理解为Storm是把数据传递给过程。
在本实施例中,通过CLM系统对业务系统关心的指标进行可定制化进行实时监控,经过业务系统通过打印日志~用FLUME将实时采集的数据放入KAFKA流中~数据实时的在STORM或SPARK中运算(全内存计算),将结果实时的推送给用户,提高处理效率。且由于采取的是业务打印日志的方法,通过FLUME实时采集放入到KAFKA流中供STORM或SPARK实时聚合运算,对业务系统的侵入程度很低,避免了频繁地修改业务系统的执行代码,提高了日志平台的实时性。
本发明实施例还提供一种业务监控的系统,如图1所示,包括:业务系统、与业务系统建立网络连接的日志管理系统,以及与日志管理系统建立网络连接的监控系统。
所述日志管理系统,用于从所述业务系统中提取业务日志,并根据所述业务日志打印业务日志。并采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统。
所述监控系统,用于根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算。并根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。
在本实施例中,业务系统可将所设置的需要监控的指标告知CLM系统,并对有关需要监控的指标的业务日志进行打印。通过打印业务日志的方式,业务系统只需直接将业务日志复制到与之相连的可读公开服务器中存储即可。使得CLM系统不需等待业务系统而可以直接从可读公开服务器获取业务日志。并且在这过程中,占用的是业务系统与可读公开服务器之前的部分数据接口资源,而无需重大侵入业务系统的业务层代码,避免了频繁地修改业务系统的执行代码,提高了日志平台的实时性。
其中,所述日志管理系统,具体用于将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器。并通过FLUME从所述可读公开服务器实时采集所述业务日志,并将采集的业务日志推送至所述分布式发布订阅消息系统。
所述监控系统,具体用于根据所述业务系统的业务指标,聚合对应同一类业务指标的业务日志。并将对应同一类业务指标的业务日志读取至内存。
再根据对应一类业务指标的业务日志,确定出现异常的业务数量。若所述出现异常的业务数量超过阀值,则判定这一类业务指标发生异常。
在本实施例中,所述日志管理系统,具体用于通过SPARK,从价格系统抽取对应价格指标的业务日志,并将所述对应价格指标的业务日志存储至可读公开服务器。
或者,从购物车系统抽取对应各个用户操作接口的指标的业务日志,并将所述对应用户操作接口的指标的业务日志存储至所述可读公开服务器,其中,所述用户操作接口对应所述购物车系统的操作功能,所述操作功能包括:结算、快速购买、提交订单、配送和将商品增/减至购物车。
或者,从库存系统抽取对应各个库存管理接口的指标的业务日志,并将所述对应库存管理接口的指标的业务日志存储至所述可读公开服务器,其中,所述库存管理接口包括:CIS和GAIA的接口。
或者,从订单系统抽取对应各个订单监控指标的业务日志,并将所述对应订单监控指标的业务日志存储至所述可读公开服务器,其中,所述订单监控指标包括:支付异常、退换货统计和字段缺失。
在本实施例中,通过CLM系统对业务系统关心的指标进行可定制化进行实时监控,经过业务系统通过打印日志~用FLUME将实时采集的数据放入KAFKA流中~数据实时的在STORM或SPARK中运算(全内存计算),将结果实时的推送给用户,提高处理效率。且由于采取的是业务打印日志的方法,通过FLUME实时采集放入到KAFKA流中供STORM或SPARK实时聚合运算,对业务系统的侵入程度很低,避免了频繁地修改业务系统的执行代码,提高了日志平台的实时性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (11)
1.一种业务监控的方法,其特征在于,包括:
从业务系统中提取业务日志,并根据所述业务日志打印业务日志,所述打印业务日志的过程包括:将从业务系统中提取业务日志依据业务指标进行存储;
采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统;
根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算;
根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。
2.根据权利要求1所述的方法,其特征在于,所述打印业务日志的过程包括:将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器;所述采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统,包括:通过FLUME从所述可读公开服务器实时采集所述业务日志,并将采集的业务日志推送至所述分布式发布订阅消息系统。
3.根据权利要求1所述的方法,其特征在于,所述根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算,包括:
根据所述业务系统的业务指标,聚合对应同一类业务指标的业务日志;
并将对应同一类业务指标的业务日志读取至内存。
4.根据权利要求3所述的方法,其特征在于,所述根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标,包括:
根据对应一类业务指标的业务日志,确定出现异常的业务数量;
若所述出现异常的业务数量超过阀值,则判定这一类业务指标发生异常。
5.根据权利要求2所述的方法,其特征在于,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至所述可读公开服务器,包括:
通过SPARK,从价格系统抽取对应价格指标的业务日志,并将所述对应价格指标的业务日志存储至可读公开服务器。
6.根据权利要求2所述的方法,其特征在于,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器,包括:
从购物车系统抽取对应各个用户操作接口的指标的业务日志,并将所述对应用户操作接口的指标的业务日志存储至所述可读公开服务器,其中,所述用户操作接口对应所述购物车系统的操作功能,所述操作功能包括:结算、快速购买、提交订单、配送和将商品增/减至购物车。
7.根据权利要求2所述的方法,其特征在于,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器,包括:
从库存系统抽取对应各个库存管理接口的指标的业务日志,并将所述对应库存管理接口的指标的业务日志存储至所述可读公开服务器。
8.根据权利要求2所述的方法,其特征在于,所述将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器,包括:
从订单系统抽取对应各个订单监控指标的业务日志,并将所述对应订单监控指标的业务日志存储至所述可读公开服务器,其中,所述订单监控指标包括:支付异常、退换货统计和字段缺失。
9.一种业务监控的系统,其特征在于,包括:业务系统、与业务系统建立网络连接的日志管理系统,以及与日志管理系统建立网络连接的监控系统;
所述日志管理系统,用于从所述业务系统中提取业务日志,并根据所述业务日志打印业务日志,所述打印业务日志的过程包括:将从业务系统中提取业务日志依据业务指标进行存储;并采集所打印的业务日志,并将所述业务日志推送至分布式发布订阅消息系统;
所述监控系统,用于根据所述业务系统的业务指标,通过所述分布式发布订阅消息系统提取业务日志,并进行聚合计算;并根据经过聚合计算后的业务日志,扫描得到发生异常的业务指标。
10.根据权利要求9所述的方法,其特征在于,所述日志管理系统,具体用于将所提取的业务日志,按照来源的业务系统所设定的业务指标,存储至可读公开服务器;并通过FLUME从所述可读公开服务器实时采集所述业务日志,并将采集的业务日志推送至所述分布式发布订阅消息系统;
所述监控系统,具体用于根据所述业务系统的业务指标,聚合对应同一类业务指标的业务日志;并将对应同一类业务指标的业务日志读取至内存;
再根据对应一类业务指标的业务日志,确定出现异常的业务数量;若所述出现异常的业务数量超过阀值,则判定这一类业务指标发生异常。
11.根据权利要求10所述的方法,其特征在于,所述日志管理系统,具体用于通过SPARK,从价格系统抽取对应价格指标的业务日志,并将所述对应价格指标的业务日志存储至可读公开服务器;
或者,从购物车系统抽取对应各个用户操作接口的指标的业务日志,并将所述对应用户操作接口的指标的业务日志存储至所述可读公开服务器,其中,所述用户操作接口对应所述购物车系统的操作功能,所述操作功能包括:结算、快速购买、提交订单、配送和将商品增/减至购物车;
或者,从库存系统抽取对应各个库存管理接口的指标的业务日志,并将所述对应库存管理接口的指标的业务日志存储至所述可读公开服务器;
或者,从订单系统抽取对应各个订单监控指标的业务日志,并将所述对应订单监控指标的业务日志存储至所述可读公开服务器,其中,所述订单监控指标包括:支付异常、退换货统计和字段缺失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610921493.1A CN107979477A (zh) | 2016-10-21 | 2016-10-21 | 一种业务监控的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610921493.1A CN107979477A (zh) | 2016-10-21 | 2016-10-21 | 一种业务监控的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107979477A true CN107979477A (zh) | 2018-05-01 |
Family
ID=62003874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610921493.1A Pending CN107979477A (zh) | 2016-10-21 | 2016-10-21 | 一种业务监控的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107979477A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376149A (zh) * | 2018-08-22 | 2019-02-22 | 中国平安人寿保险股份有限公司 | 将数据落地到数据平台的方法、设备和存储介质 |
CN110297746A (zh) * | 2019-07-05 | 2019-10-01 | 北京慧眼智行科技有限公司 | 一种数据处理方法及系统 |
CN110473097A (zh) * | 2019-08-06 | 2019-11-19 | 深圳证券交易所 | 交易监控方法、终端和计算机可读存储介质 |
CN110543375A (zh) * | 2019-07-22 | 2019-12-06 | 深圳壹账通智能科技有限公司 | 赔付事务异常处理方法、装置、计算机设备和存储介质 |
CN110765148A (zh) * | 2019-10-28 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种业务数据处理方法及装置 |
CN110971485A (zh) * | 2019-11-19 | 2020-04-07 | 网联清算有限公司 | 业务指标的监控系统及方法 |
CN111083686A (zh) * | 2019-02-27 | 2020-04-28 | 广东小天才科技有限公司 | 一种漫游业务处理方法及系统 |
CN111796993A (zh) * | 2019-10-17 | 2020-10-20 | 厦门雅基软件有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN112054915A (zh) * | 2019-06-06 | 2020-12-08 | 阿里巴巴集团控股有限公司 | 客户端异常预警的处理方法、装置、系统及计算设备 |
CN113312321A (zh) * | 2021-05-31 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务量的异常监测方法及相关设备 |
CN114140057A (zh) * | 2022-02-07 | 2022-03-04 | 浙江口碑网络技术有限公司 | 任务处理方法、装置及计算设备 |
CN117130965A (zh) * | 2023-02-24 | 2023-11-28 | 荣耀终端有限公司 | Sensor Hub数据管理方法及电子设备 |
CN117194179A (zh) * | 2023-11-08 | 2023-12-08 | 杭州星锐网讯科技有限公司 | 一种指标的确定方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102650938A (zh) * | 2011-02-28 | 2012-08-29 | 北京航空航天大学 | 日志系统管理方法及日志系统 |
CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和系统 |
CN103488558A (zh) * | 2013-09-17 | 2014-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于log4j日志框架自动采集应用异常的装置及方法 |
CN104618343A (zh) * | 2015-01-06 | 2015-05-13 | 中国科学院信息工程研究所 | 一种基于实时日志的网站威胁检测的方法及系统 |
CN105512336A (zh) * | 2015-12-29 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于Hadoop的海量数据处理方法和装置 |
-
2016
- 2016-10-21 CN CN201610921493.1A patent/CN107979477A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102650938A (zh) * | 2011-02-28 | 2012-08-29 | 北京航空航天大学 | 日志系统管理方法及日志系统 |
CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和系统 |
CN103488558A (zh) * | 2013-09-17 | 2014-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于log4j日志框架自动采集应用异常的装置及方法 |
CN104618343A (zh) * | 2015-01-06 | 2015-05-13 | 中国科学院信息工程研究所 | 一种基于实时日志的网站威胁检测的方法及系统 |
CN105512336A (zh) * | 2015-12-29 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于Hadoop的海量数据处理方法和装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376149A (zh) * | 2018-08-22 | 2019-02-22 | 中国平安人寿保险股份有限公司 | 将数据落地到数据平台的方法、设备和存储介质 |
CN111083686B (zh) * | 2019-02-27 | 2022-11-25 | 广东小天才科技有限公司 | 一种漫游业务处理方法及系统 |
CN111083686A (zh) * | 2019-02-27 | 2020-04-28 | 广东小天才科技有限公司 | 一种漫游业务处理方法及系统 |
CN112054915B (zh) * | 2019-06-06 | 2023-10-03 | 阿里巴巴(中国)网络技术有限公司 | 客户端异常预警的处理方法、装置、系统及计算设备 |
CN112054915A (zh) * | 2019-06-06 | 2020-12-08 | 阿里巴巴集团控股有限公司 | 客户端异常预警的处理方法、装置、系统及计算设备 |
CN110297746A (zh) * | 2019-07-05 | 2019-10-01 | 北京慧眼智行科技有限公司 | 一种数据处理方法及系统 |
CN110543375A (zh) * | 2019-07-22 | 2019-12-06 | 深圳壹账通智能科技有限公司 | 赔付事务异常处理方法、装置、计算机设备和存储介质 |
CN110543375B (zh) * | 2019-07-22 | 2023-03-10 | 深圳壹账通智能科技有限公司 | 赔付事务异常处理方法、装置、计算机设备和存储介质 |
CN110473097A (zh) * | 2019-08-06 | 2019-11-19 | 深圳证券交易所 | 交易监控方法、终端和计算机可读存储介质 |
CN110473097B (zh) * | 2019-08-06 | 2023-05-02 | 深圳证券交易所 | 交易监控方法、终端和计算机可读存储介质 |
CN111796993A (zh) * | 2019-10-17 | 2020-10-20 | 厦门雅基软件有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN111796993B (zh) * | 2019-10-17 | 2023-03-17 | 厦门雅基软件有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN110765148A (zh) * | 2019-10-28 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种业务数据处理方法及装置 |
CN110765148B (zh) * | 2019-10-28 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 一种业务数据处理方法及装置 |
CN110971485A (zh) * | 2019-11-19 | 2020-04-07 | 网联清算有限公司 | 业务指标的监控系统及方法 |
CN113312321A (zh) * | 2021-05-31 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务量的异常监测方法及相关设备 |
CN114140057A (zh) * | 2022-02-07 | 2022-03-04 | 浙江口碑网络技术有限公司 | 任务处理方法、装置及计算设备 |
CN117130965A (zh) * | 2023-02-24 | 2023-11-28 | 荣耀终端有限公司 | Sensor Hub数据管理方法及电子设备 |
CN117194179A (zh) * | 2023-11-08 | 2023-12-08 | 杭州星锐网讯科技有限公司 | 一种指标的确定方法、装置、电子设备及存储介质 |
CN117194179B (zh) * | 2023-11-08 | 2024-04-16 | 杭州星锐网讯科技有限公司 | 一种指标的确定方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107979477A (zh) | 一种业务监控的方法及系统 | |
US20050216241A1 (en) | Method and apparatus for gathering statistical measures | |
CN107067324A (zh) | 一种利用网络抓包数据实现交易风险控制的方法和系统 | |
CN110060118A (zh) | 一种订单履约全链路实时监控方法、装置及计算机设备 | |
US8156172B2 (en) | Monitoring and reporting enterprise data using a message-based data exchange | |
CN107729214A (zh) | 一种可视化的分布式系统实时监控运维方法及装置 | |
CN101957927B (zh) | 一种物联网中间件架构和基于soa架构的物联网 | |
US8396834B2 (en) | Real time web usage reporter using RAM | |
CN104866326B (zh) | 一种集成交换中间件及其实现方法 | |
CN109120429B (zh) | 一种风险识别方法及系统 | |
CN108833184A (zh) | 服务故障定位方法、装置、计算机设备及存储介质 | |
US20050281276A1 (en) | Data analysis and flow control system | |
CN104715268B (zh) | 基于数据标签的系统间数据交互平台及应用方法 | |
CN104392381A (zh) | 一种交易数据的风险监测方法和系统 | |
CA2367034C (en) | System for indexing pedestrian traffic | |
CN112130999A (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
CN109784759A (zh) | 一种基于区块链技术的企业内部审计系统 | |
CN110618911B (zh) | 数据监控方法、装置、存储介质和服务器 | |
CN110223146A (zh) | 客户购电服务全过程监控系统及方法 | |
CN102056351A (zh) | 一种推送服务系统及方法 | |
CN112364086A (zh) | 一种基于大数据平台的业务可视化方法及系统 | |
CN109345131A (zh) | 一种企业经营状况监控方法及系统 | |
CN110460591A (zh) | 基于改进分层时间记忆网络的cdn流量异常检测装置及方法 | |
CN107147527A (zh) | 一种Linux集群告警的系统及方法 | |
CN108182139A (zh) | 预警方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180501 |
|
RJ01 | Rejection of invention patent application after publication |