CN112052231B - 回传记录的监控方法和监控装置 - Google Patents

Abstract

本发明公开了回传记录的监控方法和监控装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收目标回传记录监控请求，并根据监控请求确定目标单表标识和异常监控语句；根据目标单表标识，从单表数据库中筛选出目标单表，并按照预设拉取规则从目标单表中拉取数据至本地数据库中；利用异常监控语句查询本地数据库，根据查询结果生成并返回异常回传记录。该实施方式能够从监控请求中获取到目标单表标识和异常监控语句，从对线上数据库进行同步生成的单表数据库中拉取数据到本地数据库中，这样可以通过查询本地数据库得到异常回传记录，从而达到实时的、可配置的实现监控回传记录的效果，减少了维护成本。

Description

回传记录的监控方法和监控装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种回传记录的监控方法和监控装置。

背景技术

智能化时代的来临，随着业务规模的不断发展，业务系统由单一的大型业务拆分成多个独立的业务，各业务选择独立的单表存储数据信息，但是对于同一个业务系统来说，各单表之间的数据信息是有关联的。因此，如何监控各单表数据之间的回传记录具有重要的意义。

现有技术中，利用ElasticSearch创建业务系统对应的宽表，然后按照监控逻辑编写SQL语句，接着通过查询宽表的结果来监控回传异常记录。其中，ElasticSearch是一种搜索服务器，提供了一个分布式多用户能力的全文搜索引擎；宽表指业务主题相关的指标、维度、属性关联在一起的一张数据库表；SQL是结构化查询语言Structured Query Language的简称，即一种数据库查询和程序设计语言。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：利用ElasticSearch创建宽表时配置信息繁琐；对于业务系统，监控数据回传需要关联多张单表，而ElasticSearch创建宽表时，对单表的个数有限制；监控SQL语句会随着业务的变更而改变，对应的宽表需要修改，导致维护宽表的成本增加。

发明内容

有鉴于此，本发明实施例提供一种回传记录的监控方法和监控装置，能够达到实时的、可配置的实现监控回传记录的效果，减少了维护成本。

为实现上述目的，根据本发明实施例的第一方面，提供了一种回传记录的监控方法。

本发明实施例的一种回传记录的监控方法，包括：接收目标回传记录监控请求，并根据所述监控请求确定目标单表标识和异常监控语句；其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中；根据所述目标单表标识，从所述单表数据库中筛选出目标单表，并按照预设拉取规则从所述目标单表中拉取数据至本地数据库中；利用所述异常监控语句查询所述本地数据库，根据查询结果生成并返回异常回传记录。

可选地，所述按照预设拉取规则从所述目标单表中拉取数据至本地数据库中，包括：定时生成拉取数据任务，并根据所述拉取数据任务的标识和定时时间周期，确定所述拉取数据任务对应的数据时间范围；其中，所述拉取数据任务的标识包括所述拉取数据任务的生成时间；根据所述拉取数据任务的标识和执行状态，从所述目标单表中拉取在所述数据时间范围内的数据至所述本地数据库中。

可选地，所述根据所述拉取数据任务的标识和执行状态，从所述目标单表中拉取在所述数据时间范围内的数据至所述本地数据库中，包括：根据所述执行状态，判断所述拉取数据任务是否已经执行，若否，则根据所述目标单表的个数创建至少一个线程；其中，所述线程用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；执行所述至少一个线程，并判断所述至少一个线程是否成功执行，若是，则确认成功执行所述拉取数据任务，若否，则发出数据拉取失败告警信息，并删除所述拉取数据任务对应的已拉取数据。

可选地，在定时生成拉取数据任务之前，所述方法还包括：生成所述拉取数据任务的标识，并判断所述本地数据库的拉取任务表中是否已经存在所述拉取数据任务的标识；若是，则确认所述拉取数据任务已存在，若否，则触发生成所述拉取数据任务。

可选地，在根据查询结果生成并返回异常回传记录之后，所述方法还包括：获取所述异常回传记录对应的异常记录告警信息和告警对象，并将所述异常记录告警信息发送至所述告警对象；以及将所述异常回传记录存储至所述本地数据库的监控表中，定时查询所述监控表，并对所述监控表中处于未告警状态的异常回传记录进行告警处理。

为实现上述目的，根据本发明实施例的第二方面，提供了一种回传记录的监控装置。

本发明实施例的一种回传记录的监控装置，包括：接收模块，用于接收目标回传记录监控请求，并根据所述监控请求确定目标单表标识和异常监控语句；其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中；拉取模块，用于根据所述目标单表标识，从所述单表数据库中筛选出目标单表，并按照预设拉取规则从所述目标单表中拉取数据至本地数据库中；查询模块，用于利用所述异常监控语句查询所述本地数据库，根据查询结果生成并返回异常回传记录。

可选地，所述拉取模块还用于：定时生成拉取数据任务，并根据所述拉取数据任务的标识和定时时间周期，确定所述拉取数据任务对应的数据时间范围；其中，所述拉取数据任务的标识包括所述拉取数据任务的生成时间；根据所述拉取数据任务的标识和执行状态，从所述目标单表中拉取在所述数据时间范围内的数据至所述本地数据库中。

可选地，所述拉取模块还用于：根据所述执行状态，判断所述拉取数据任务是否已经执行，若否，则根据所述目标单表的个数创建至少一个线程；其中，所述线程用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；执行所述至少一个线程，并判断所述至少一个线程是否成功执行，若是，则确认成功执行所述拉取数据任务，若否，则发出数据拉取失败告警信息，并删除所述拉取数据任务对应的已拉取数据。

可选地，所述拉取模块还用于：生成所述拉取数据任务的标识，并判断所述本地数据库的拉取任务表中是否已经存在所述拉取数据任务的标识；若是，则确认所述拉取数据任务已存在，若否，则触发生成所述拉取数据任务。

可选地，所述装置还包括告警模块，用于：获取所述异常回传记录对应的异常记录告警信息和告警对象，并将所述异常记录告警信息发送至所述告警对象；以及将所述异常回传记录存储至所述本地数据库的监控表中，定时查询所述监控表，并对所述监控表中处于未告警状态的异常回传记录进行告警处理。

为实现上述目的，根据本发明实施例的第三方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例的回传记录的监控方法。

为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例的回传记录的监控方法。

上述发明中的一个实施例具有如下优点或有益效果：根据监控请求确定目标单表标识和异常监控语句，接着按照预设的拉取规则，基于目标单表标识从对线上数据库进行同步生成的单表数据库中拉取监控请求对应的数据至本地数据库中，最后直接利用异常监控语句到本地数据中进行查询，得到异常回传记录，所以克服了现有技术中利用ElasticSearch创建宽表时配置繁琐和个数受限的技术问题，也避免了线上数据库发生变化时，花费大量成本维护宽表的问题，从而达到实时的、可配置的实现监控回传记录的效果，减少了维护成本。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的回传记录的监控方法的主要步骤的示意图；

图2是根据本发明实施例的回传记录的监控系统的结构示意图；

图3是根据本发明实施例的回传记录的监控方法的主要流程的示意图；

图4是根据本发明实施例的回传记录的监控装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

随着业务系统规模的不断扩大，当前采用分数据库分表的方式存储同一个业务系统中的数据，但是针对同一个业务系统，不同表之间的数据是相互关联的，需要保证不同表之间的回传记录的准确性。比如说，针对物流业务，物品的仓储信息和物品的订单信息分别存储在仓储表和订单表中。如果订单表中有物品A，那么就需要到仓储表中去查询是否还有物品A的库存，若有，则到仓库中拣选物品A，并且需要在仓储表中更改物品A的存储量。从上述例子可以看出，不同表之间的回传记录的重要性。

如果通过定时任务直接到线上数据库(即，业务系统对应的在线数据库)中查询数据，会增大线上数据库的压力，也会影响业务系统的正常业务。现有技术利用ElasticSearch创建宽表，然后通过查询宽表监控回传记录，但是由于利用ElasticSearch创建宽表时配置信息繁琐，对单表的个数有限制，并且维护宽表的成本比较高。因此，为了解决上述问题，本发明实施例提供一种回传记录的监控方法。图1是根据本发明实施例的回传记录的监控方法的主要步骤的示意图。作为本发明的一个可参考实施例，如图1所示，本发明实施例的回传记录的监控方法的主要步骤可以包括步骤S101、S102和S103。

步骤S101：接收目标回传记录监控请求，并根据监控请求确定目标单表标识和异常监控语句。

其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中。如果直接从线上数据库拉取数据，会对线上业务造成影响，因此本发明实施例中需要对线上数据库同步得到单表，然后将单表存储至单表数据库中，接着从单表数据库中拉取数据，进行回传记录的监控。考虑到ElasticSearch是集中式存储，可以将数据信息统一抽取到ElasticSearch上。因此，本发明实施例可以借助ElasticSearch将线上数据库中的数据抽取到ElasticSearch上，生成ElasticSearch单表库，具体实现方法可以为通过Kafka(即，一个开源流处理平)将线上数据库的binlog(即，二进制日志)抽取并解析到ElasticSearch上，以生成ElasticSearch单表库，当然本发明实施例中也可以其他方法对线上数据库同步生成单表，得到单表数据库，对此不做限定。综上所述，本发明实施例的单表数据库中存储至少一个单表，这些单表是对线上数据库进行同步生成的。

此外，针对一个业务系统，会有不同的回传记录，因此，本发明实施例中需要接收目标回传记录监控请求，然后根据接收的监控请求确定目标单表标识和异常监控语句。其中，目标单表可以是执行监控请求，需要拉取数据的单表，因此目标单表标识是目标单表的唯一标识。此处需要注意的是，目标单表标识可以是线上数据库中的基础表(即，线上数据库中存储的数据表)的唯一标识，也可以是单表数据库中目标单表的唯一标识。这是因为单表数据库是同步线上数据库生成的，因此线上数据库中的基础表的唯一标识与单表数据库中单表的唯一标识是相同的。异常监控语句是指执行该监控请求的异常监控语句，本发明实施例中可以预先创建异常监控语句，这样可以直接根据监控请求，快速查询到异常监控语句。本发明实施例中，异常监控语句可以是SQL语句，也可以是脚本语句，比如是JavaScript脚本或Python脚本等等，本发明实施例对比也不做限定。

步骤S102：根据目标单表标识，从单表数据库中筛选出目标单表，并按照预设拉取规则从目标单表中拉取数据至本地数据库中。

在步骤S101中获取到目标单表标识之后，本发明实施例中可以从单表数据库中筛选出目标单表，也就是根据目标单表标识确定拉取数据的单表。在步骤S101中已经解释了目标单表标识，此处不再累述。假设监控请求对应的目标单表标识为D1、D2和D3，那么就是选择单表数据库中的单表唯一标识是D1、D2或者D3的单表为目标单表。接着，按照预设拉取规则从目标单表中拉取数据至本地数据库中，也就是说按照一定频率从目标单表中将数据拉取到本地数据库中。此处的本地数据库可以是建立的新的数据库，也就是将数据本地化，这样做的好处是避免直接从线上数据库中进行查询数据，也可以解决利用ElasticSearch创建宽表的配置繁琐以及个数限制问题。

步骤S103：利用异常监控语句查询本地数据库，根据查询结果生成并返回异常回传记录。

步骤S101获取到监控请求对应的异常监控语句，步骤S102实现了数据本地化，那么在步骤S103中，可以直接利用异常监控语句查询本地数据库，然后根据查询结果可以确定监控请求对应的异常回传记录。假设异常监控语句是SQL监控语句，那么SQL监控语句可以采用case when方式编写，若记录数为0则说明无异常，大于0则说明发生异常。

本发明实施例在根据查询结果生成并返回异常回传记录之后，回传记录的监控方法还可以包括：获取异常回传记录对应的异常记录告警信息和告警对象，并将异常记录告警信息发送至告警对象；以及将异常回传记录存储至本地数据库的监控表中，定时查询监控表，并对监控表中处于未告警状态的异常回传记录进行告警处理。本发明实施例中将监控出来的异常回传记录存储到本地数据库中，存储字段可以包括异常记录告警信息和告警对象，例如异常记录告警信息可以为回传到调度系统异常，告警对象为该异常记录对应的运维人员。本地数据库中还可以存储异常回传记录对应的告警状态，该告警状态可以未告警和已告警。本发明实施例中还可以定时查询监控表，若监控表中有处于未告警状态的异常回传记录，也就是说有异常回传记录没有进行告警处理，则向告警对象发送异常记录告警信息，并处理该异常回传记录，比如说人工更改数据等。

通过上述对步骤S101至步骤S103的分析可知，按照预设拉取规则从目标单表中拉取数据至本地数据库中，也就是将数据本地化是本发明实施例的主要创新点。作为本发明的又一个可参考实施例，步骤S102中按照预设拉取规则从目标单表中拉取数据至本地数据库中，可以包括步骤S1021和S1022。

步骤S1021：定时生成拉取数据任务，并根据拉取数据任务的标识和定时时间周期，确定拉取数据任务对应的数据时间范围。其中，拉取数据任务的标识可以包括拉取数据任务的生成时间。本发明实施例中，在本地数据库中创建拉取任务表，该拉取任务表中主要字段可以包括version和status，其中version用于表示拉取数据任务的唯一标识，status用于表示拉取数据任务的执行状态，执行状态可以包括执行成功、执行失败和未执行。

作为本发明的再一个可参考实施例，在定时生成拉取数据任务之前，回传记录的监控方法还可以包括：生成拉取数据任务的标识，并判断本地数据库的拉取任务表中是否已经存在拉取数据任务的标识；若是，则确认拉取数据任务已存在，若否，则触发生成拉取数据任务。也就是说创建拉取数据任务，可以由Clover(即，一种分布式任务调度系统)触发拉取数据任务生成，当然也可以采用其他技术手段触发生成，对此亦不做限定。拉取数据任务生成规则可以为：当前时间到分钟向下五分钟(本发明实施例中可以但不限于是五分钟，对此不做限定)取整，如当前时间2019-03-25 21：06，则version生成为：201903252105，如果在拉取任务表已存在该version，则该拉取数据任务不生成。

在步骤S1021中，在生成拉取数据任务之后，可以根据拉取数据任务的标识和定时时间周期，确定拉取数据任务对应的数据时间范围。在上文中提到拉取数据任务的标识可以是根据当前时间设置的，因此可以根据该拉取数据任务的标识，确定拉取数据对应的起始时间，定时时间周期可以是拉取数据的周期，比如拉取5分钟的数据，这样就可以确定拉取数据的结束时间，因此可以根据该拉取数据任务的标识和定时时间周期，确定拉取数据任务对应的数据时间范围，比如说，拉取数据任务的唯一标识为201903252105，定时时间周期为5分钟，那么该拉取数据任务对应的起始时间可以是201903252100(即，2019-03-2521：00)，结束时间可以是201903252105(即，2019-03-25 21：05)，因此数据时间范围可以是201903252100至201903252105，当然也可以设置成其他时间范围，本发明对此也不做限定。

步骤S1022：根据拉取数据任务的标识和执行状态，从目标单表中拉取在数据时间范围内的数据至本地数据库中。本发明实施例中将目标单表中的数据拉取至本地数据库中，是在本地数据库中创建数据表，将拉取的数据存储至本地数据库中创建的数据表中。需要注意的是本地数据库中创建的数据表的表字段与目标单表相比，增加了version字段，也就是增加了拉取任务的唯一标识字段，这个version字段的作用是为了标记同一批拉取下来的数据，这样在监控时会按照此version字段进行分组，从而可以加快查询速度。例如，订单表、订单明细表、以及仓储表中的version字段值均为：201903252105，则认为此三个数据为同一批拉取下来的记录，在监控时会按照此字段进行分组。

作为本发明的再一个可参考实施例，从目标单表中拉取在数据时间范围内的数据至本地数据库中的具体过程可以包括：根据执行状态，判断拉取数据任务是否已经执行，若否，则根据目标单表的个数创建至少一个线程，其中线程用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；执行至少一个线程，并判断至少一个线程是否成功执行，若是，则确认成功执行拉取数据任务，若否，则发出数据拉取失败告警信息，并删除拉取数据任务对应的已拉取数据。在进行拉取数据时，也可以采用Clover调度，可以按照配置好的数据拉取语句到目标单表中进行数据拉取，其中，数据拉取语句中包括时间范围、目标单表以及拉取的数据属性等等。

此外，本发明实施例中可以按照目标单表的个数创建线程，由线程池统一管理，各个线程可以通过future的get方法进行判断是否所有线程全部执行完毕，如果有某个线程未完毕，则get方法会一直阻塞到线程结束，当前线程结束后再轮训其他线程直到所有线程执行完毕，若某个线程执行失败，则按照拉取数据任务的唯一标识，删除已经拉取的数据。举例说明，线上数据库有100个单表，目标单表的个数是10，那么依次从这10个目标单表上拉取数据，则建立10个线程，若有一个线程执行失败，则此次拉取数据任务对应的数据拉取不完整，则删除此次已经拉取的数据。

为了便于理解，提供一个具体的事例解释回传记录的监控系统，图2是根据本发明实施例的回传记录的监控系统的结构示意图。图2所示的事例中，业务系统是仓储系统，回传记录是将数据从仓储系统回传至ERP系统(即，企业资源计划Enterprise ResourcePlanning的简称，指建立在信息技术基础上，集信息技术与先进管理思想于一身，以系统化的管理思想，为企业员工及决策层提供决策手段的管理平台)中，将仓储系统中的数据同步至ElasticSearch上，然后从ElasticSearch上拉取数据，然后进行异常统计，并将异常统计结果本地数据库DB(即，DataBase)中，最后可以通过短信告警通知运维人员。

图3是根据本发明实施例的回传记录的监控方法的主要流程示意图。如图3所示，回传记录的监控方法的主要流程可以包括：

步骤S301：获取线上数据库对应的单表数据库，并获取目标回传记录监控请求对应的目标单表标识和异常监控语句；

步骤S302：根据目标单表标识，从单表数据库中筛选出至少一个目标单表；

步骤S303：定时生成拉取数据任务，并根据拉取数据任务的标识和定时时间周期，确定拉取数据任务对应的数据时间范围，其中，拉取数据任务的标识可以包括拉取数据任务的生成时间；

步骤S304：根据执行状态，判断该拉取数据任务是否已经执行，若是，则执行步骤S308，若否，则执行步骤S305：

步骤S305：根据至少一个目标单表的个数创建至少一个线程，其中创建的线程可以用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；

步骤S306：执行至少一个线程，并判断至少一个线程是否成功执行，若是，则执行步骤S308，若否，则执行步骤S307；

步骤S307：发出数据拉取失败告警信息，并删除该拉取数据任务对应的已拉取数据；

步骤S308：利用异常监控语句查询本地数据库，根据查询结果生成并返回异常回传记录；

步骤S309：获取异常回传记录对应的异常记录告警信息和告警对象，并将异常记录告警信息发送至告警对象；

步骤S310：将异常回传记录存储至本地数据库的监控表中。

需要注意的是，上述步骤S303在定时生成拉取数据任务之前，需要根据拉取数据任务的标识，判断本地数据库中是否已经具有该拉取数据任务的标识，若是，则认为该拉取数据认为已经生成，则进行接下来的步骤根据该拉取数据任务的标识和定时时间周期，确定拉取数据的时间范围。此外，在上述步骤S308中，在数据拉取失败之后，仍然到本地数据库中进行查询。这是考虑到查询语句并不是进针对一次拉取的数据进行查询，是对本地数据库进行查询，这样可以通过一次查询，获取到此次监控请求对应的所有异常回传记录。还有，在上述步骤S310将异常回传记录存储至监控表中之后，可以定时查询监控表，若监控表中存在处于未告警状态的异常回传记录，则可以将该异常回传记录对应的告警信息发送至告警对象，这样可以避免告警信息不被处理的情形。

根据本发明实施例的回传记录的监控技术方案，能够根据监控请求确定目标单表标识和异常监控语句，接着按照预设的拉取规则，基于目标单表标识从对线上数据库进行同步生成的单表数据库中拉取监控请求对应的数据至本地数据库中，最后直接利用异常监控语句到本地数据中进行查询，得到异常回传记录，所以克服了现有技术中利用ElasticSearch创建宽表时配置繁琐和个数受限的技术问题，也避免了线上数据库发生变化时，花费大量成本维护宽表的问题，从而达到实时的、可配置的实现监控回传记录的效果，减少了维护成本。

图4是根据本发明实施例的回传记录的监控装置的主要模块的示意图。如图4所示，本发明实施例的回传记录的监控装置400主要包括以下模块：接收模块401、拉取模块402和查询模块403。

其中，接收模块401可用于接收目标回传记录监控请求，并根据监控请求确定目标单表标识和异常监控语句。其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中。拉取模块402可用于根据目标单表标识，从单表数据库中筛选出目标单表，并按照预设拉取规则从目标单表中拉取数据至本地数据库中。查询模块403可用于利用异常监控语句查询本地数据库，根据查询结果生成并返回异常回传记录。

本发明实施例中，拉取模块402还可用于：定时生成拉取数据任务，并根据拉取数据任务的标识和定时时间周期，确定拉取数据任务对应的数据时间范围，其中，拉取数据任务的标识可以包括拉取数据任务的生成时间；根据拉取数据任务的标识和执行状态，从目标单表中拉取在数据时间范围内的数据至本地数据库中。

本发明实施例中，拉取模块402还可用于：根据执行状态，判断拉取数据任务是否已经执行，若否，则根据目标单表的个数创建至少一个线程，其中，线程用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；执行至少一个线程，并判断至少一个线程是否成功执行，若是，则确认成功执行拉取数据任务，若否，则发出数据拉取失败告警信息，并删除拉取数据任务对应的已拉取数据。

本发明实施例中，拉取模块402还可用于：生成拉取数据任务的标识，并判断本地数据库的拉取任务表中是否已经存在拉取数据任务的标识；若是，则确认拉取数据任务已存在，若否，则触发生成拉取数据任务。

本发明实施例中，回传记录的监控装置还可用包括告警模块(图中未示出)，该告警模块可用于：获取异常回传记录对应的异常记录告警信息和告警对象，并将异常记录告警信息发送至告警对象；以及将异常回传记录存储至本地数据库的监控表中，定时查询监控表，并对监控表中处于未告警状态的异常回传记录进行告警处理。

从以上描述可以看出，本发明实施例的回传记录的监控装置能够根据监控请求确定目标单表标识和异常监控语句，接着按照预设的拉取规则，基于目标单表标识从对线上数据库进行同步生成的单表数据库中拉取监控请求对应的数据至本地数据库中，最后直接利用异常监控语句到本地数据中进行查询，得到异常回传记录，所以克服了现有技术中利用ElasticSearch创建宽表时配置繁琐和个数受限的技术问题，也避免了线上数据库发生变化时，花费大量成本维护宽表的问题，从而达到实时的、可配置的实现监控回传记录的效果，减少了维护成本。

图5示出了可以应用本发明实施例的回传记录的监控方法或回传记录的监控装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的回传记录的监控方法一般由服务器505执行，相应地，回传记录的监控装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、拉取模块和查询模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块还可以被描述为“接收目标回传记录监控请求，并根据监控请求确定目标单表标识和异常监控语句的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收目标回传记录监控请求，并根据监控请求确定目标单表标识和异常监控语句，其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中；根据目标单表标识，从单表数据库中筛选出目标单表，并按照预设拉取规则从目标单表中拉取数据至本地数据库中；利用异常监控语句查询本地数据库，根据查询结果生成并返回异常回传记录。

根据本发明实施例的技术方案，能够根据监控请求确定目标单表标识和异常监控语句，接着按照预设的拉取规则，基于目标单表标识从对线上数据库进行同步生成的单表数据库中拉取监控请求对应的数据至本地数据库中，最后直接利用异常监控语句到本地数据中进行查询，得到异常回传记录，所以克服了现有技术中利用ElasticSearch创建宽表时配置繁琐和个数受限的技术问题，也避免了线上数据库发生变化时，花费大量成本维护宽表的问题，从而达到实时的、可配置的实现监控回传记录的效果，减少了维护成本。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种回传记录的监控方法，其特征在于，包括：

接收目标回传记录监控请求，并根据所述监控请求确定目标单表标识和异常监控语句；其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中；

根据所述目标单表标识，从所述单表数据库中筛选出目标单表，并按照预设拉取规则从所述目标单表中拉取数据至本地数据库中；

利用所述异常监控语句查询所述本地数据库，根据查询结果生成并返回异常回传记录；

所述按照预设拉取规则从所述目标单表中拉取数据至本地数据库中，包括：

定时生成拉取数据任务，并根据所述拉取数据任务的标识和定时时间周期，确定所述拉取数据任务对应的数据时间范围；

根据所述拉取数据任务的标识和执行状态，从所述目标单表中拉取在所述数据时间范围内的数据至所述本地数据库中。

2.根据权利要求1所述的监控方法，其特征在于，

所述拉取数据任务的标识包括所述拉取数据任务的生成时间。

3.根据权利要求1所述的监控方法，其特征在于，所述根据所述拉取数据任务的标识和执行状态，从所述目标单表中拉取在所述数据时间范围内的数据至所述本地数据库中，包括：

根据所述执行状态，判断所述拉取数据任务是否已经执行，若否，则根据所述目标单表的个数创建至少一个线程；其中，所述线程用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；

执行所述至少一个线程，并判断所述至少一个线程是否成功执行，若是，则确认成功执行所述拉取数据任务，若否，则发出数据拉取失败告警信息，并删除所述拉取数据任务对应的已拉取数据。

4.根据权利要求1所述的监控方法，其特征在于，在定时生成拉取数据任务之前，所述方法还包括：

生成所述拉取数据任务的标识，并判断所述本地数据库的拉取任务表中是否已经存在所述拉取数据任务的标识；

若是，则确认所述拉取数据任务已存在，若否，则触发生成所述拉取数据任务。

5. 根据权利要求1所述的监控方法，其特征在于，在根据查询结果生成并返回异常回传记录之后，所述方法还包括：

获取所述异常回传记录对应的异常记录告警信息和告警对象，并将所述异常记录告警信息发送至所述告警对象；以及

将所述异常回传记录存储至所述本地数据库的监控表中，定时查询所述监控表，并对所述监控表中处于未告警状态的异常回传记录进行告警处理。

6.一种回传记录的监控装置，其特征在于，包括：

接收模块，用于接收目标回传记录监控请求，并根据所述监控请求确定目标单表标识和异常监控语句；其中，单表是基于线上数据库的同步而生成，并存储在单表数据库中；

拉取模块，用于根据所述目标单表标识，从所述单表数据库中筛选出目标单表，并按照预设拉取规则从所述目标单表中拉取数据至本地数据库中；

查询模块，用于利用所述异常监控语句查询所述本地数据库，根据查询结果生成并返回异常回传记录；

所述拉取模块还用于：

定时生成拉取数据任务，并根据所述拉取数据任务的标识和定时时间周期，确定所述拉取数据任务对应的数据时间范围；

根据所述拉取数据任务的标识和执行状态，从所述目标单表中拉取在所述数据时间范围内的数据至所述本地数据库中。

7.根据权利要求6所述的监控装置，其特征在于，

所述拉取数据任务的标识包括所述拉取数据任务的生成时间。

8.根据权利要求6所述的监控装置，其特征在于，所述拉取模块还用于：

根据所述执行状态，判断所述拉取数据任务是否已经执行，若否，则根据所述目标单表的个数创建至少一个线程；其中，所述线程用于从目标单表中拉取在数据时间范围内的数据至本地数据库中；

执行所述至少一个线程，并判断所述至少一个线程是否成功执行，若是，则确认成功执行所述拉取数据任务，若否，则发出数据拉取失败告警信息，并删除所述拉取数据任务对应的已拉取数据。

9.根据权利要求6所述的监控装置，其特征在于，所述拉取模块还用于：

生成所述拉取数据任务的标识，并判断所述本地数据库的拉取任务表中是否已经存在所述拉取数据任务的标识；

若是，则确认所述拉取数据任务已存在，若否，则触发生成所述拉取数据任务。

10. 根据权利要求6所述的监控装置，其特征在于，所述装置还包括告警模块，用于：

获取所述异常回传记录对应的异常记录告警信息和告警对象，并将所述异常记录告警信息发送至所述告警对象；以及

将所述异常回传记录存储至所述本地数据库的监控表中，定时查询所述监控表，并对所述监控表中处于未告警状态的异常回传记录进行告警处理。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。