CN117743007A - 一种数据异常监控和自动分析处理的方法、装置及设备 - Google Patents

Abstract

本发明公开了一种数据异常监控和自动分析处理的方法、装置及设备，该方法包括：获取原始数据库的运行日志，对所述运行日志进行远程监控；对所述运行日志进行异常分析，并将异常信息推送至告警模块；基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。本发明解决了人工分析异常处理耗时长、效率低等问题。

Description

一种数据异常监控和自动分析处理的方法、装置及设备

技术领域

本发明涉及数据处理领域，尤其涉及一种数据异常监控和自动分析处理的方法、装置及设备。

背景技术

现有对数据库运行监控的方式比较单一，一般仅短信监控，且内容太少，无法获知脚本详细运行报错情况；

当出现异常时，人工分析异常处理耗时长、效率低，易导致数据发布时间延长风险。

发明内容

本发明提供了一种数据异常监控和自动分析处理的方法、装置及设备，解决了人工分析异常处理耗时长、效率低等问题。

一种数据异常监控和自动分析处理的方法，包括：

获取原始数据库的运行日志，对所述运行日志进行远程监控；

对所述运行日志进行异常分析，并将异常信息推送至告警模块；

基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；

根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。

在本发明的一种实施例中，所述获取原始数据库的运行日志，具体包括：配置数据库中的日志记录参数，基于所述数据库的日志模块收集并存储数据库自身的运行日志；将所述运行日志传输到远程监控模块，并对所述运行日志进行ETL处理，根据处理后的数据进行分析和监控；对所述运行日志进行定期备份，以防止数据丢失。

在本发明的一种实施例中，所述对所述运行日志进行异常分析，并将异常信息推送至告警模块，具体包括：对收集到的运行日志进行清洗、整理，统一数据格式；对预处理后的运行日志进行异常检测，根据异常检测的结果，对异常进行识别和分类；从识别和分类后的异常中提取关键信息，根据提取的关键信息生成告警信息；将生成的告警信息推送至告警模块。

在本发明的一种实施例中，所述基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果，具体包括：将接收到的告警信息与已知的异常类型和历史数据信息进行比对和分析；基于对比和分析的结果，调用专家系统或知识库来获取针对异常的解决方案；根据比对分析结果和解决方案，生成针对该异常的分析报告。

在本发明的一种实施例中，所述根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布，具体包括：根据分析结果确定要采取的处理措施，基于处理措施的处理将数据进行更新；将更新后的数据重新发布到数据库中；在数据发布后，继续监控数据库的运行状况，验证异常是否已被解决；若已得到解决，则记录处理流程到知识库中。

在本发明的一种实施例中，所述获取原始数据库的运行日志，具体包括：对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件；当对Informix数据库连接或查询时间过长时，关闭对应ETL进程后使用备份数据替换处理；将所述文本文件和所述备份数据进行ETL处理，将处理后的数据存储到Oracle数据库中；获取上述ETL处理过程中的运行日志。

在本发明的一种实施例中，所述对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件，具体包括：连接到Informix数据库，编写SQL查询语句，从相关的表中提取需要的数据；对提取的数据进行转换，以满足特定的要求；将转换后的数据加载到文本文件中。

一种数据异常监控和自动分析处理的装置，包括：

日志监控模块，用于获取原始数据库的运行日志，对所述运行日志进行远程监控；

日志分析模块，用于对所述运行日志进行异常分析，并将异常信息推送至告警模块；

异常处理模块，用于基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；

数据发布模块，用于根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。

一种数据异常监控和自动分析处理的设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通过总线通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行，以实现如上述各实施例任一项所述的方法。

一种非易失性存储介质，存储有计算机可执行指令，所述计算机可执行指令由处理器执行，以实现如上述各实施例任一项所述的方法。

本发明提供了一种数据异常监控和自动分析处理的方法、装置及设备，至少包括以下有益效果：

一、通过邮件、手机APP监控报表，使用短信+邮件+手机APP三重监控，监控内容更详细、更快捷，可以远程分析异常原因，还可以通过手机APP远程调用异常处理流程，大幅降低运维成本；

二、通过自动分析处理模块，常见ETL源数据系统查询报错情况可以实现自动分析、自动替换处理，并反馈处理结果，大幅降低人工运维次数和成本，减少数据发布时间延长的风险。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的一种数据异常监控和自动分析处理的方法步骤示意图；

图2为本发明实施例提供的数据库运行监控、异常自动分析处理、远程处理流程图；

图3为本发明实施例提供的一种数据异常监控和自动分析处理的装置示意图；

图4为本发明实施例提供的一种数据异常监控和自动分析处理的设备示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例对本发明进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本发明提出了一种数据异常监控和自动分析处理的方法、装置及设备。将所有ETL运行日志保存，通过分析日志中常见类型的数据库运行报错、业务系统(例如收付费系统)查询报错等异常情况，将不同类型的报错情况梳理，当发现部分分公司系统(如北京收付费系统)查询异常时，通过分析，使用备份数据自动替换报错机构数据；当发现部分脚本运行报错时，可以在移动端查看报错详细信息，远程分析报错详情，之后通过移动端调用正确的处理流程或重新运行。从而实现ETL运行的自动监控、分析和异常情况的远程处理，大幅降低运维成本和难度。下面进行具体说明。

图1为本发明实施例提供的一种数据异常监控和自动分析处理的方法的步骤示意图，可以包括以下步骤：

S110：获取原始数据库的运行日志，对运行日志进行远程监控。

在本发明的一种实施例中，获取原始数据库的运行日志，具体包括：配置数据库中的日志记录参数，基于数据库的日志模块收集并存储数据库自身的运行日志；将运行日志传输到远程监控模块，并对运行日志进行ETL处理，根据处理后的数据进行分析和监控；对运行日志进行定期备份，以防止数据丢失。

具体地，可通过以下方式实现对数据库运行的监控：

配置日志记录参数：设置数据库以记录详细的运行日志，包括但不限于数据库连接、查询、更新等操作的信息。

收集日志数据：通过数据库自身的日志系统或者第三方工具，收集并存储这些日志数据。

数据传输：将收集的日志数据传输到远程监控系统，可以通过网络传输，或者使用云服务进行数据上传。

数据解析和转换：在远程监控系统，对接收到的日志数据进行解析和转换，使其可以用于分析和监控。

监控和分析：使用适当的工具或软件对解析和转换后的数据进行实时监控和分析，包括异常检测、性能评估等。

报警和通知：如果发现任何异常或不符合预期的行为，监控系统可以发送警报或通知给相关的用户或管理员。

数据存储和备份：收集和监控的日志数据应该存储在可靠的存储设备上，并定期备份，以防止数据丢失。

数据报告和可视化：将监控和分析的结果以图表、报告等形式展示，帮助运维人员理解和评估数据库的运行状况。

S120：对运行日志进行异常分析，并将异常信息推送至告警模块。

在本发明的一种实施例中，对运行日志进行异常分析，并将异常信息推送至告警模块，具体包括：对收集到的运行日志进行清洗、整理，统一数据格式；对预处理后的运行日志进行异常检测，根据异常检测的结果，对异常进行识别和分类；从识别和分类后的异常中提取关键信息，根据提取的关键信息生成告警信息；将生成的告警信息推送至告警模块。

具体地，可通过以下方式对运行日志进行分析：

数据预处理：对收集到的运行日志数据进行清洗、整理，去除无关信息，统一数据格式，使得数据分析更加高效和准确。

异常检测：使用统计分析、模式识别、机器学习等方法对预处理后的日志数据进行异常检测，包括基于规则的异常检测、基于统计的异常检测、基于时间的序列分析等。

异常识别与分类：根据异常检测的结果，对异常进行识别和分类。这可能包括确定异常的性质(例如，是性能问题、安全问题还是其他问题)、严重程度以及可能的影响范围等。

信息提取：从识别和分类后的异常中提取关键信息，如异常发生的时间、涉及的数据库、具体的错误信息等。

告警信息生成：根据提取的关键信息，生成告警信息，包括告警级别、告警内容、告警通知对象等。

告警信息推送：将生成的告警信息通过短信、电话、邮件或者其他方式推送至相关的运维人员或管理员。

监控持续进行：在告警信息推送后，监控系统继续监控数据库的运行状况，观察是否有所改善或者出现新的异常。

S130：基于告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果。

在本发明的一种实施例中，基于告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果，具体包括：将接收到的告警信息与已知的异常类型和历史数据信息进行比对和分析；基于对比和分析的结果，调用专家系统或知识库来获取针对异常的解决方案；根据比对分析结果和解决方案，生成针对该异常的分析报告。

具体地，可通过以下方式实现对异常的分析：

接收告警信息：从告警模块中接收到的告警信息可能包括异常类型、异常发生时间、异常严重程度等信息。

信息比对和分析：将接收到的告警信息与已知的异常类型、历史数据等信息进行比对和分析，以确定异常的性质、可能的原因以及影响范围等。

调用专家系统或知识库：基于比对和分析的结果，调用专家系统或知识库来获取针对该异常的专业建议或解决方案。

生成分析报告：根据比对分析结果和专家建议，生成针对该异常的分析报告，包括异常的具体情况、可能原因、影响范围以及建议的解决方案等。

发布分析报告：将生成的分析报告发布给相关的运维人员或管理员，帮助他们了解异常情况并采取相应的措施。

持续监控和反馈：在发布分析报告后，继续监控数据库的运行状况，观察是否采取了相应的纠正措施并取得了预期效果。如果问题未得到解决或有新的异常出现，可能需要再次进行分析和报告。

S140：根据分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。

在本发明的一种实施例中，根据分析结果对异常信息进行处理，将处理后的结果重新进行数据发布，具体包括：根据分析结果确定要采取的处理措施，基于处理措施的处理将数据进行更新；将更新后的数据重新发布到数据库中；在数据发布后，继续监控数据库的运行状况，验证异常是否已被解决；若已得到解决，则记录处理流程到知识库中。

具体地，可通过以下方式实现数据的发布：

异常处理：根据分析结果，采取适当的处理措施，比如修复错误、优化性能、增加安全防护等。

数据更新：根据处理的结果，对数据库中的数据进行更新。如果错误被修复，那么受影响的记录或数据表可能需要被重新加载或更新。

数据发布：将更新后的数据重新发布到数据库中，包括将数据加载回数据库、更新索引、重新启动数据库服务等操作。

监控验证：在数据发布后，继续监控数据库的运行状况，验证异常是否已被解决，性能是否已提升，安全问题是否已得到解决等。

反馈和记录：如果问题已得到解决，那么可以将处理的结果和验证的结果反馈给相关的运维人员或管理员，并进行记录，以便将来参考或优化。如果问题未完全解决或有新的异常出现，则需要再次进行分析和处理。

在本发明的一种实施例中，获取原始数据库的运行日志，具体包括：对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件；当对Informix数据库连接或查询时间过长时，关闭对应ETL进程后使用备份数据替换处理；将文本文件和备份数据进行ETL处理，将处理后的数据存储到Oracle数据库中；获取上述ETL处理过程中的运行日志。

在本发明的一种实施例中，对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件，具体包括：连接到Informix数据库，编写SQL查询语句，从相关的表中提取需要的数据；对提取的数据进行转换，以满足特定的要求；将转换后的数据加载到文本文件中。

具体地，对数据进行ETL处理，一般包括以下步骤：

数据抽取：从各种数据源中汇总和收集需要的数据，为后续的数据转换做准备。可以根据各种数据源的特性以及实际业务需求，选择合适的抽取方式。

数据转换：将抽取到的各种数据，进行数据的清洗、格式的转换、缺失值填补、剔除重复等操作，得到一份格式统一、高度结构化、数据质量高、兼容性好的数据，为后续的分析决策提供可靠的数据支持。

数据加载：将处理好的数据加载到目的地，比如数据仓库中。通常的做法是将处理好的数据写成特定格式(如parquet、csv等)的文件，然后再把文件挂载到指定的表分区上。

如图2为本发明对数据库运行监控、分析、处理流程图，在图2中：

一、通过获取运行日志实现对数据库运行的监控：

1.1：改造原有数据库运行脚本，将运行日志保存并单独放置特定目录；

1.2：开发邮件发送功能；

1.3：开发手机端日志监控报表。

二、开发异常分析自动处理和远程处理模块：

开发日志异常分析功能，开发手机APP移动端远程处理模块，针对不同数据库的不同报错类型分别处理。

2.1对于从核心业务系统Informix库连接报错或中途SQL运行报错则使用备份数据替换处理；

2.2对于Informix数据库连接或查询时间过长则关闭对应进程后使用备份数据替换处理；

2.3对于Oracle脚本装载文本数据时，发生少量数据装载错误时发送短信和邮件警告；

2.4对于Oracle脚本日志中其他常见ORA-xxx运行错误，则发出错误预警，并发送短信、邮件，并将错误发生后对应脚本结果发布到手机端报表，供运维分析处理；

2.5运维人员发现上述错误后，通过查看短信、邮件和手机端报表，远程分析异常情况，查询可以解决报错问题的方式，通过手机端远程异常处理接口，调用服务器报错脚本对应的处理脚本，数据库连接错误、程序运行中断等错误通过重新运行解决，数据结构等问题则使用备份数据替换的方式解决。

本发明对ETL中Informix和Oracle运行日志的异常情况自动分析处理，对于从核心业务系统Informix库连接报错或中途SQL运行报错则使用备份数据替换处理；对于Informix数据库连接或查询时间过长的情况关闭对应进程后使用备份数据替换处理。

通过查看短信、邮件和手机端报表，远程分析异常情况，预判可以解决报错问题的方式，通过手机端远程异常处理接口，调用服务器报错脚本对应的处理脚本，数据库连接错误、程序运行中断等错误通过重新运行解决，数据结构等问题则使用备份数据替换的方式解决。

本发明通过开发邮件、手机APP报表监控报表，提升了远程监控、远程分析和远程处理能力；开发了异常分析、处理模块，实现了常见问题的自动分析处理能力，从而大幅提升了系统运维能力、降低了系统数据发布延迟的风险、提升了系统的稳定性。

以上为本发明实施例提供的一种数据异常监控和自动分析处理的方法，基于同样的发明思路，本发明实施例还提供了相应的一种数据异常监控和自动分析处理的装置，如图3所示。

日志监控模块302，用于获取原始数据库的运行日志，对运行日志进行远程监控；

日志分析模块304，用于对运行日志进行异常分析，并将异常信息推送至告警模块；

异常处理模块306，用于基于告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；

数据发布模块308，用于根据分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。

本发明实施例还提供了相应的一种数据异常监控和自动分析处理的设备，如图4所示，包括：

至少一个处理器402(processor)、通信接口404(Communications Interface)、存储器406(memory)和通信总线408；其中，处理器402，通信接口404，存储器406通过通信总线408完成相互间的通信；处理器402可以调用存储器406中存储的逻辑指令，以使至少一个处理器402执行上述各实施例的步骤。

基于同样的思路，本发明的一些实施例还提供了上述方法对应的介质。

本发明的一些实施例提供的一种存储介质，存储有计算机可执行指令，计算机可执行指令由处理器执行，以实现上述各实施例的步骤。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

另一方面，本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的一种数据异常监控和自动分析处理的方法的步骤。

本发明实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程方法商品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程方法商品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程方法商品或者方法中还存在另外的相同要素。

以上仅为本发明的实施例而已，并不用于限制本发明。虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种数据异常监控和自动分析处理的方法，其特征在于，包括：

获取原始数据库的运行日志，对所述运行日志进行远程监控；

对所述运行日志进行异常分析，并将异常信息推送至告警模块；

基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；

根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。

2.根据权利要求1所述的方法，其特征在于，所述获取原始数据库的运行日志，具体包括：

配置数据库中的日志记录参数，基于所述数据库的日志模块收集并存储数据库自身的运行日志；

将所述运行日志传输到远程监控模块，并对所述运行日志进行ETL处理，根据处理后的数据进行分析和监控；

对所述运行日志进行定期备份，以防止数据丢失。

3.根据权利要求1所述的方法，其特征在于，所述对所述运行日志进行异常分析，并将异常信息推送至告警模块，具体包括：

对收集到的运行日志进行清洗、整理，统一数据格式；

对预处理后的运行日志进行异常检测，根据异常检测的结果，对异常进行识别和分类；

从识别和分类后的异常中提取关键信息，根据提取的关键信息生成告警信息；

将生成的告警信息推送至告警模块。

4.根据权利要求1所述的方法，其特征在于，所述基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果，具体包括：

将接收到的告警信息与已知的异常类型和历史数据信息进行比对和分析；

基于对比和分析的结果，调用专家系统或知识库来获取针对异常的解决方案；

根据比对分析结果和解决方案，生成针对该异常的分析报告。

5.根据权利要求1所述的方法，其特征在于，所述根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布，具体包括：

根据分析结果确定要采取的处理措施，基于处理措施的处理将数据进行更新；

将更新后的数据重新发布到数据库中；

在数据发布后，继续监控数据库的运行状况，验证异常是否已被解决；

若已得到解决，则记录处理流程到知识库中。

6.根据权利要求1所述的方法，其特征在于，所述获取原始数据库的运行日志，具体包括：

对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件；

当对Informix数据库连接或查询时间过长时，关闭对应ETL进程后使用备份数据替换处理；

将所述文本文件和所述备份数据进行ETL处理，将处理后的数据存储到Oracle数据库中；

获取上述ETL处理过程中的运行日志。

7.根据权利要求6所述的方法，其特征在于，所述对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件，具体包括：

连接到Informix数据库，编写SQL查询语句，从相关的表中提取需要的数据；

对提取的数据进行转换，以满足特定的要求；

将转换后的数据加载到文本文件中。

8.一种数据异常监控和自动分析处理的装置，其特征在于，包括：

日志监控模块，用于获取原始数据库的运行日志，对所述运行日志进行远程监控；

日志分析模块，用于对所述运行日志进行异常分析，并将异常信息推送至告警模块；

异常处理模块，用于基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；

数据发布模块，用于根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。

9.一种数据异常监控和自动分析处理的设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通过总线通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行，以实现如权利要求1-7任一项所述的方法。

10.一种非易失性存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令由处理器执行，以实现如权利要求1-7任一项所述的方法。