CN116401132A - 一种日志排查方法、装置、设备以及存储介质 - Google Patents
一种日志排查方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN116401132A CN116401132A CN202310333472.8A CN202310333472A CN116401132A CN 116401132 A CN116401132 A CN 116401132A CN 202310333472 A CN202310333472 A CN 202310333472A CN 116401132 A CN116401132 A CN 116401132A
- Authority
- CN
- China
- Prior art keywords
- feedback
- log
- determining
- mode
- checking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000005856 abnormality Effects 0.000 claims abstract description 75
- 238000011835 investigation Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 238000012552 review Methods 0.000 claims description 3
- 238000012550 audit Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志排查方法、装置、设备以及存储介质。该方法包括：对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；所述目标方式为模型排查方式或还原排查方式；若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。本发明的技术方案，可以在业务系统反馈异常的情况下，根据反馈异常的次数，针对性的采用不同的排查方式进行日志排查，有助于后续确定出准确的系统报错原因，提高日志排查的效率。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种日志排查方法、装置、设备以及存储介质。
背景技术
随着计算机技术的发展，用户在对客的业务系统上操作以进行业务办理是常见的应用场景，例如银行的存取款业务系统等。
在用户进行操作的过程中，由于设备错误或用户操作失误等原因，业务系统会出现报错的情况，人工排查效率较低，如何自动化地对日志进行全面有效的分析，提高问题排查的效率，是目前亟待解决的问题。
发明内容
本发明提供了一种日志排查方法、装置、设备以及存储介质，可以针对性的采用不同的排查方式进行日志排查，有助于后续确定出准确的系统报错原因，提高日志排查的效率。
根据本发明的一方面，提供了一种日志排查方法，包括：
对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；
根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；所述目标方式为模型排查方式或还原排查方式；
若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
可选的，根据反馈异常的次数，确定进行日志排查的目标方式，包括：
若反馈异常的次数大于预设的次数阈值，则确定进行日志排查的方式为还原排查方式；
若反馈异常的次数小于或等于预设的次数阈值，则确定进行日志排查的方式为模型排查方式。
可选的，采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理，包括：
确定反馈异常前预设时间段的日志数据；
基于预设的特征提取算法，确定所述日志数据对应的哈希特征值；
根据所述哈希特征值，从至少两个候选场景模型中，确定所述日志数据对应的目标场景模型；
采用所述目标场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
可选的，上述方法还包括：
确定历史上业务系统反馈不同异常情况下记录的有效操作数据；
分别采用不同业务场景中不同异常情况下的记录的有效操作数据，进行模型训练，确定至少两个候选场景模型。
可选的，确定进行日志排查的目标方式之后，还包括：
若确定的目标方式为还原排查方式，则对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据；
根据还原数据，对反馈异常前预设时间段的日志数据进行排查处理。
可选的，对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据，包括：
基于数字孪生技术，将反馈异常前后预设时间段内业务系统的操作数据，复原为视频格式的影像文件，并确定所述影像文件为还原数据。
可选的，对反馈异常前预设时间段的日志数据进行排查处理之后，还包括：
根据排查处理的结果，确定业务系统反馈异常的原因；
将所述反馈异常的原因向业务系统发送，以指示业务系统提醒相关人员解决问题。
根据本发明的另一方面，提供了一种日志排查装置，包括：
记录模块，用于对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；
确定模块，用于根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；所述目标方式为模型排查方式或还原排查方式；
排查模块，用于若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的日志排查方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的日志排查方法。
本发明实施例的技术方案，对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。通过在业务系统反馈异常的情况下，根据反馈异常的次数，针对性的采用不同的排查方式进行日志排查，可以提高日志排查的全面性、准确性和丰富性，有助于后续确定出准确的系统报错原因，提高日志排查的效率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本发明实施例一提供的一种日志排查方法的流程图；
图1B是本发明实施例一提供的日志数据示意图；
图1C是本发明实施例一提供的目标场景模型确定流程示意图；
图2是本发明实施例二提供的一种日志排查方法的流程示意图；
图3是本发明实施例三提供的一种日志排查装置的结构框图；
图4是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”、“候选”、“备选”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1A是本发明实施例一提供的一种日志排查方法的流程图。图1B是本发明实施例一提供的日志数据示意图，图1C是本发明实施例一提供的目标场景模型确定流程示意图，本实施例可适用于在用户进行业务办理过程中业务系统报错时如何根据反馈异常的次数进行针对性地日志排查的情况，该方法可以由日志排查装置来执行，该日志排查装置可以采用硬件和/或软件的形式实现，该日志排查装置可配置于电子设备中，如银行的业务系统设备中，由日志排查系统执行，其中，日志排查系统可以包括日志记录模块、数字孪生模块以及AI(Artificial Intelligence，人工智能)判别模块。如图1A所示，该日志排查方法包括：
S101、对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况。
其中，业务系统是指面向客户，可以帮助客户办理业务的系统，业务系统例如可以是银行的对客系统。有效操作是指客户与业务系统交互过程中产生的有效操作，如用户登录了业务系统的某些模块、用户执行了某项操作、用户点击了业务系统界面相关理财按钮、用户点击查询或购买按钮等有效操作。业务系统的反馈情况表征用户执行相关有效操作发出指令之后业务系统的运行情况，反馈情况可以包括反馈正常和反馈异常。
可选的，日志排查系统可以利用日志记录模块，对客户与业务系统交互进行业务处理的过程中产生的数据进行监控，基于预设的规则，当检测到相关数据时，确定发生有效操作，记录该有效操作的相关数据，确定执行该有效操作之后业务系统的反馈数据，并根据反馈数据与预期数据的关系，确定业务系统的反馈情况属于反馈正常还是反馈异常。
示例性的，当业务系统是银行的相关业务系统时，可以采用日志记录模块，在用户通过手机银行在对客的业务系统上进行操作的过程中，捕捉用户每次的有效操作和系统反馈情况。
S102、根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式。
其中，目标方式为模型排查方式或还原排查方式。模型排查方式为采用预设的AI模型对日志进行排查的方式。还原排查方式为基于数字孪生技术将反馈异常前的场景复现从而进行日志排查的方式。数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，可以在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程的技术。
可选的，若反馈情况为反馈正常，则可以记录本次发生的有效操作的类别以及相关的数据信息，若反馈情况为反馈异常，则可以确定业务系统在当前时刻之前预设次数的反馈情况中反馈异常的次数。例如，可以统计前十次用户有效操作后业务系统的反馈情况。
可选的，根据反馈异常的次数，确定进行日志排查的目标方式，包括：若反馈异常的次数大于预设的次数阈值，则确定进行日志排查的方式为还原排查方式；若反馈异常的次数小于或等于预设的次数阈值，则确定进行日志排查的方式为模型排查方式。
其中，次数阈值为预设的可以表征反馈异常的次数是否过多，若反馈异常的次数超过预设的次数阈值，此时认为模型排查方式不能很好地排查出异常原因，可以采用更全面准确的还原排查方式进行日志排查。
需要说明的是，通过在检测到日志持续出现相同系统错误，则认为AI系统判断有误，此时由更全面准确的数字孪生模块进行排查，也就是还原排查方式进行日志排查，可以避免一开始就采用数字孪生模块进行排查造成的资源浪费，也可以保证日志排查的准确性，在反馈异常次数较少时采用预设模型进行排查的方式也可以有效提高日志排查的效率。
可选的，确定进行日志排查的目标方式之后，还包括：若确定的目标方式为还原排查方式，则对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据；根据还原数据，对反馈异常前预设时间段的日志数据进行排查处理。
其中，还原数据是指对反馈异常前预设时间段内业务系统与用户的交互场景进行还原的数据。还原数据例如可以是表征交互场景过程的影像文件，如MP4、gif以及AVI等格式的视频文件。还原数据还可以是动态图片等，本发明对此不做限制。
可选的，可以根据还原数据的记录时间，从还原数据中筛选出反馈异常前预设时间段的还原数据，基于预设的规则，将反馈异常前预设时间段的还原数据和日志数据进行对比分析，确定反馈异常可能的原因，即对反馈异常前预设时间段的日志数据进行排查处理；也可以将反馈异常前预设时间段的还原数据和日志数据输入预先训练好的模型，输出反馈异常的类别，即对反馈异常前预设时间段的日志数据进行排查处理。
可选的，确定还原数据之后，可以将还原数据和反馈异常前预设时间段的日志数据将还原数据提供给相关维修人员，并获取相关维修人员反馈的问题标注信息，实现对反馈异常前预设时间段日志数据的排查处理。
可选的，对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据，包括：基于数字孪生技术，将反馈异常前后预设时间段内业务系统的操作数据，复原为视频格式的影像文件，并确定影像文件为还原数据。
S103、若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
其中，预设的场景模型是指应用于不同场景的AI模型，预设的场景模型例如可以包括如下至少一种：转账模型、登录模型、理财模型以及查询模型。转账模型是指用户与业务系统交互进行转账操作下相关数据对应的模型。登录模型是指用户登录业务系统目标模块之后操作产生的相关数据对应的模型。理财模型和查询模型分别是指用户点击理财或查询按钮之后执行相关操作产生数据对应的模型。预设的场景模型例如可以是基于神经网络算法对不同场景下的数据进行训练得到的模型。预设的场景模型还可以是基于预设的无监督学习方法训练得到的模型，本发明对此不做限制。
可选的，采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理，包括：确定反馈异常前预设时间段的日志数据；基于预设的特征提取算法，确定日志数据对应的哈希特征值；根据哈希特征值，从至少两个候选场景模型中，确定日志数据对应的目标场景模型；采用目标场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
可选的，可以根据特征值的类型，从至少两个候选场景模型中，确定日志数据对应的目标场景模型，例如，若确定的日志数据对应的特征值为转账记录明细，则可以确定对应的目标场景模型为转账模型。
示例性的，日志数据可以是结构化的日志数据，参见图1B中的三条业务日志，每条日志之间具有时序关系，且结构相似，因此，可以基于logstash-Aggregate聚合处理技术，将多条具有关联性的日志整理为一个事件，也就是通过关联性(bizId)将多条日志串起来，得到日志数据。
示例性的，可以基于特征提取算法，从用户维度、设备维度、时间维度、网络维度以及事件维度，对日志数据进行特征提取，其中，用户维度的特征信息可以是用户姓名和手机号，时间维度的特征信息可以是用户执行手机操作的时间，网络维度可以是wifi接入、移动运营商接入(4GWAP，3GWAP等)或vpn接入，事件维度可以是理财购买、转账、查询、余额明细以及汇总等。
可选的，确定不同维度的特征值之后，可以采用预设的哈希算法，对特征处理结果进行哈希处理，得到哈希特征值。预设的哈希算法例如可以是SHA256算法。
示例性的，参见图1C，将日志数据从不同维度进行特征值提取并进行哈希处理之后，可以将得到的哈希特征值进一步进行融合处理，并根据融合处理结果，确定用户的操作场景，从而从至少两个候选场景模型中，确定日志数据对应的目标场景模型。
具体的，可以设置模型变量α，进行α＝SHA256(用户+设备+网络+操作)取值，即生成该用户的唯一数字指纹，考虑到时间戳永远是唯一值，剔除时间戳变量。根据数字指纹变量β，还可以生成另一组数据β＝SHA256(α+时间)，形成键值对(key-value)，即α-β。
相应的，对于模型排查方式，当一个用户在操作手机理财业务时，遇到业务异常那一时刻，可以将日志数据生成数字指纹βn，同时在异常发生前30秒生成数字指纹即(βn-30,βn-29…βn)，业务对应模型α，模型会记录该时刻前后30s数字指纹，即(βn-30,βn-29…βn..βn+29,βn+30)，通过判断α特征值是否与模型库的业务模型匹配，进行排查，匹配即可根据该用户历史业务模型进一步判断异常类型。
相应的，对于还原排查方式，可以通过数字孪生技术，进行三维数字建模。例如当客户遇到业务异常那一时刻，根据业务模型α，以及数字指纹(βn-30,βn-29…βn..βn+29,βn+30)找到对应的日志记录，然后将这些数据依托视频孪生(实时实景数字孪生)引擎，融合手机信息模型等技术反显客户操作异常的情况。
可选的，确定日志数据对应的目标场景模型之后，可以确定训练目标场景模型时的有效操作数据，进一步将该有效操作数据与反馈异常前预设时间段的日志数据进行对比分析，确定反馈异常的原因，即对反馈异常前预设时间段的日志数据进行排查处理。
可选的，确定日志数据对应的目标场景模型之后，可以从反馈异常前预设时间段的日志数据确定出有效操作数据，并将该有效操作数据输入确定的目标场景模型中，根据模型的输出结果，确定该反馈异常的异常类别，即对反馈异常前预设时间段的日志数据进行排查处理。
可选的，可以根据系统反馈正常情况下，在不同场景时，记录的用户有效操作，训练得到至少两个候选场景模型，具体的，确定候选场景模型的方式可以为：确定历史上业务系统反馈不同异常情况下记录的有效操作数据；分别采用不同业务场景中不同异常情况下的记录的有效操作数据，进行模型训练，确定至少两个候选场景模型。其中，不同异常情况是指不同异常类别情况。例如可以是网络异常、服务器异常、报文参数异常以及运营商异常等。候选场景模型例如可以是转账模型、登录模型、理财模型以及查询模型。
可选的，对反馈异常前预设时间段的日志数据进行排查处理之后，还包括：根据排查处理的结果，确定业务系统反馈异常的原因；将反馈异常的原因向业务系统发送，以指示业务系统提醒相关人员解决问题。
可选的，可以根据排查处理的结果中的异常类别，结合常见的异常类别对应的可能的异常原因，确定该异常类别对应的异常原因。进一步的，将反馈异常的原因向业务系统发送，反馈解决问题的提示给用户，以指示业务系统提醒相关人员解决问题。
示例性的，若确定的目标方式为还原排查方式时，可以复原用户日志报错前后预设时间段内的操作场景，通过数字孪生技术，将用户对日志系统的操作数据，还原成视频、动态图片等格式的文件，即生成用户历史操作图像或视频；将文件发送至系统管理员，以根据影像文件，进行影像排查，确定日志错误的原因。
本发明实施例的技术方案，对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。通过在业务系统反馈异常的情况下，根据反馈异常的次数，针对性的采用不同的排查方式进行日志排查，可以提高日志排查的全面性、准确性和丰富性，有助于后续确定出准确的系统报错原因，提高日志排查的效率。
实施例二
图2是本发明实施例二提供的一种日志排查方法的流程示意图；本实施例在上述实施例的基础上，提出了一种业务系统与日志排查系统的日志记录模块、数字孪生模块以及AI判别模块交互，进行日志排查并提醒用户的优选实例。如图2所述，该方法包括如下过程：
用户可以通过在手机端的个人网银、企业网银或手机银行模块，在业务系统上操作，实现与业务系统的交互，日志排查系统的日志记录模块，可以对用户与业务系统交互过程中产生的数据进行监控，实时的记录用户登录了xx、用户执行了xx、用户点击了理财、用户点击了购买以及日志错误等情况，根据业务系统反馈异常的情况，采用AI判别模块进行模型训练，生成转账模型、登录模型、理财模型以及查询模型等候选场景模型，在采用AI判别模块进行智能排查但仍多次反馈异常时，采用数字孪生模块加载数据，进行场景回访，还原操作现场，得到mp4、gif以及AVI等格式的视频文件，并根据视频文件进行影像排查。最后将排查的结果反馈至用户，以提醒用户更正错误。
本发明实施例的技术方案，对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。通过在业务系统反馈异常的情况下，根据反馈异常的次数，针对性的采用不同的排查方式进行日志排查，可以提高日志排查的全面性、准确性和丰富性，有助于后续确定出准确的系统报错原因，提高日志排查的效率。
实施例三
图3是本发明实施例三提供的一种日志排查装置的结构框图；本发明实施例所提供的一种日志排查装置可适用于在用户进行业务办理过程中业务系统报错时如何根据反馈异常的次数进行针对性地日志排查的情况，该日志排查装置可以采用硬件和/或软件的形式实现，并配置于具体日志排查功能的设备中，如图3所示，该装置具体包括：
记录模块301，用于对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；
确定模块302，用于根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；所述目标方式为模型排查方式或还原排查方式；
排查模块303，用于若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
本发明实施例的技术方案，对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。通过在业务系统反馈异常的情况下，根据反馈异常的次数，针对性的采用不同的排查方式进行日志排查，可以提高日志排查的全面性、准确性和丰富性，有助于后续确定出准确的系统报错原因，提高日志排查的效率。
进一步的，确定模块302具体用于：
若反馈异常的次数大于预设的次数阈值，则确定进行日志排查的方式为还原排查方式；
若反馈异常的次数小于或等于预设的次数阈值，则确定进行日志排查的方式为模型排查方式。
进一步的，排查模块303具体用于：
确定反馈异常前预设时间段的日志数据；
基于预设的特征提取算法，确定所述日志数据对应的特征值；
根据所述特征值，从至少两个候选场景模型中，确定所述日志数据对应的目标场景模型；
采用所述目标场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
进一步的，上述装置还用于：
确定历史上业务系统反馈不同异常情况下记录的有效操作数据；
分别采用不同业务场景中不同异常情况下的记录的有效操作数据，进行模型训练，确定至少两个候选场景模型。
进一步的，上述装置还包括：
还原数据确定模块，用于若确定的目标方式为还原排查方式，则对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据。
排查处理模块，用于根据还原数据，对反馈异常前预设时间段的日志数据进行排查处理。
进一步的，还原数据确定模块具体用于：
基于数字孪生技术，将反馈异常前后预设时间段内业务系统的操作数据，复原为视频格式的影像文件，并确定所述影像文件为还原数据。
进一步的，上述装置还用于：
根据排查处理的结果，确定业务系统反馈异常的原因；
将所述反馈异常的原因向业务系统发送，以指示业务系统提醒相关人员解决问题。
实施例四
图4是本发明实施例四提供的电子设备的结构示意图。图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志排查方法。
在一些实施例中，日志排查方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的日志排查方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志排查方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种日志排查方法，其特征在于，包括：
对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；
根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；所述目标方式为模型排查方式或还原排查方式；
若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
2.根据权利要求1所述的方法，其特征在于，根据反馈异常的次数，确定进行日志排查的目标方式，包括：
若反馈异常的次数大于预设的次数阈值，则确定进行日志排查的方式为还原排查方式；
若反馈异常的次数小于或等于预设的次数阈值，则确定进行日志排查的方式为模型排查方式。
3.根据权利要求1所述的方法，其特征在于，采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理，包括：
确定反馈异常前预设时间段的日志数据；
基于预设的特征提取算法，确定所述日志数据对应的哈希特征值；
根据所述哈希特征值，从至少两个候选场景模型中，确定所述日志数据对应的目标场景模型；
采用所述目标场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
4.根据权利要求3所述的方法，其特征在于，还包括：
确定历史上业务系统反馈不同异常情况下记录的有效操作数据；
分别采用不同业务场景中不同异常情况下的记录的有效操作数据，进行模型训练，确定至少两个候选场景模型。
5.根据权利要求1所述的方法，其特征在于，确定进行日志排查的目标方式之后，还包括：
若确定的目标方式为还原排查方式，则对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据；
根据还原数据，对反馈异常前预设时间段的日志数据进行排查处理。
6.根据权利要求5所述的方法，其特征在于，对反馈异常前预设时间段内业务系统的操作情况进行还原，确定还原数据，包括：
基于数字孪生技术，将反馈异常前后预设时间段内业务系统的操作数据，复原为视频格式的影像文件，并确定所述影像文件为还原数据。
7.根据权利要求1所述的方法，其特征在于，对反馈异常前预设时间段的日志数据进行排查处理之后，还包括：
根据排查处理的结果，确定业务系统反馈异常的原因；
将所述反馈异常的原因向业务系统发送，以指示业务系统提醒相关人员解决问题。
8.一种日志排查装置，其特征在于，包括：
记录模块，用于对业务系统进行业务处理的过程进行监控，并记录发生的有效操作和对应业务系统的反馈情况；
确定模块，用于根据业务系统的反馈情况，确定反馈异常的次数，并根据反馈异常的次数，确定进行日志排查的目标方式；所述目标方式为模型排查方式或还原排查方式；
排查模块，用于若确定的目标方式为模型排查方式，则采用预设的场景模型，对反馈异常前预设时间段的日志数据进行排查处理。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的日志排查方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志排查方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310333472.8A CN116401132A (zh) | 2023-03-28 | 2023-03-28 | 一种日志排查方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310333472.8A CN116401132A (zh) | 2023-03-28 | 2023-03-28 | 一种日志排查方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116401132A true CN116401132A (zh) | 2023-07-07 |
Family
ID=87008487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310333472.8A Pending CN116401132A (zh) | 2023-03-28 | 2023-03-28 | 一种日志排查方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116401132A (zh) |
-
2023
- 2023-03-28 CN CN202310333472.8A patent/CN116401132A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8516499B2 (en) | Assistance in performing action responsive to detected event | |
| CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理系统 | |
| CN110647447B (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
| CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
| CN116010220A (zh) | 一种告警诊断方法、装置、设备及存储介质 | |
| CN113298638A (zh) | 根因定位方法、电子设备及存储介质 | |
| CN109408361A (zh) | Monkey测试复原方法、装置、电子设备及计算机可读存储介质 | |
| CN111865673A (zh) | 一种自动化故障管理方法、装置及系统 | |
| CN115687406B (zh) | 一种调用链数据的采样方法、装置、设备及存储介质 | |
| CN116226644A (zh) | 设备故障类型的确定方法、装置、电子设备及存储介质 | |
| CN116401132A (zh) | 一种日志排查方法、装置、设备以及存储介质 | |
| CN115878400A (zh) | 测试方法、装置、计算机设备、存储介质和程序产品 | |
| CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 | |
| CN114693116A (zh) | 代码评审有效性的检测方法及装置、电子设备 | |
| CN111835566A (zh) | 一种系统故障管理方法、装置及系统 | |
| TWI778634B (zh) | 故障分類方法、電子設備及儲存介質 | |
| CN116909921A (zh) | 一种数据质量检测方法、设备、装置及存储介质 | |
| CN117608897A (zh) | 一种故障指标采集方法、装置、设备及存储介质 | |
| CN116823159A (zh) | 金融项目的工作量预估方法、装置及程序产品 | |
| CN116204442A (zh) | 一种系统测试方法、装置、电子设备和存储介质 | |
| CN117421311A (zh) | 基于人工智能的数据校验方法、装置、设备及存储介质 | |
| CN115391227A (zh) | 基于分布式系统的故障测试方法、装置、设备及介质 | |
| CN117194343A (zh) | 一种Zip文件的修改方法、装置、设备及存储介质 | |
| CN117667895A (zh) | 一种基于数据编织的数据处理方法、系统、设备及介质 | |
| CN117651000A (zh) | 应用于云上云下异构环境的混沌工程测试系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |