CN108509323B - 基于日志分析的业务处理方法、装置及计算机设备 - Google Patents

基于日志分析的业务处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN108509323B
CN108509323B CN201810089281.0A CN201810089281A CN108509323B CN 108509323 B CN108509323 B CN 108509323B CN 201810089281 A CN201810089281 A CN 201810089281A CN 108509323 B CN108509323 B CN 108509323B
Authority
CN
China
Prior art keywords
service
duration
preset
cache
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810089281.0A
Other languages
English (en)
Other versions
CN108509323A (zh
Inventor
陈百门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201810089281.0A priority Critical patent/CN108509323B/zh
Publication of CN108509323A publication Critical patent/CN108509323A/zh
Application granted granted Critical
Publication of CN108509323B publication Critical patent/CN108509323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G06F11/3423—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time where the assessed time is active or idle time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提出了一种基于日志分析的业务处理方法，该方法包括：获取预设时间段内的日志记录，根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率，获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长，根据所述目标缓存时长缓存与所述业务标识对应的业务数据。该基于日志分析的业务处理方法有利于提高服务器响应用户请求的速度，提高了用户访问的效率。此外，还提出了一种基于日志记录的业务处理装置、计算机设备及存储介质。

Description

基于日志分析的业务处理方法、装置及计算机设备
技术领域
本发明涉及计算机处理领域，特别是涉及一种基于日志分析的业务处理方法、装置、计算机设备及存储介质。
背景技术
日志记录无论是在程序开发阶段还是运行阶段亦或是在测试阶段都有着很重要的作用，其中一个最重要的作用是当出现异常时可以通过记录的日志来定位问题。传统的日志记录往往只是用来定位问题，没有将日志与具体的业务结合起来，没有对业务产生积极的反馈作用。
发明内容
基于此，有必要针对上述问题，提出一种可以提高业务数据响应速度的基于日志分析的业务处理方法、装置、计算机设备及存储介质。
一种基于日志分析的业务处理方法，所述方法包括：
获取预设时间段内的日志记录；
根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；
获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长；
根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
在其中一个实施例中，所述根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长的步骤包括：获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口；当所述目标业务标识对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长；当所述目标业务标识对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度。
在其中一个实施例中，所述方法还包括：根据所述日志记录统计出所述目标业务标识对应的业务数据更新频率；当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长。
在其中一个实施例中，所述方法还包括：当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有数据标识，指示所述缓存根据所述数据标识从数据库中获取相应的更新数据，更新到缓存中。
在其中一个实施例中，所述方法还包括：检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
在其中一个实施例中，所述方法还包括：获取每个业务接口对应的平均响应时长，将所述平均响应时长按照从大到小的顺序进行排序；获取前预设个数的平均响应时长，根据所述前预设个数的平均响应时长确定所述第一预设时长。
在其中一个实施例中，所述方法还包括：当所述业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
一种基于日志分析的业务处理装置，所述装置包括：
日志记录获取模块，用于获取预设时间段内的日志记录；
统计模块，用于根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；
调整模块，用于获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长；
缓存模块，用于根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
在其中一个实施例中，所述调整模块还用于获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口；当所述目标业务标识对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长；当所述目标业务标识对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度。
在其中一个实施例中，所述装置还包括：所述统计模块还用于根据所述日志记录统计出所述目标业务标识对应的业务数据更新频率；所述调整模块还用于当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长。
在其中一个实施例中，所述装置还包括：数据更新模块，用于当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有数据标识，指示所述缓存根据所述数据标识从数据库中获取相应的更新数据，更新到缓存中。
在其中一个实施例中，所述装置还包括：检测模块，用于检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
在其中一个实施例中，所述装置还包括：第一预设时长确定模块，用于获取每个业务接口对应的平均响应时长，将所述平均响应时长按照从大到小的顺序进行排序，获取前预设个数的平均响应时长，根据所述前预设个数的平均响应时长确定所述第一预设时长。
在其中一个实施例中，所述装置还包括：预警模块，用于当所述业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现上述的基于日志分析的业务处理方法。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于日志分析的业务处理方法。
上述基于日志分析的业务处理方法、装置、计算机设备及存储介质，通过对预设时间段内的日志记录进行分析，获取每个业务接口的平均响应时长和平均调用频率，然后根据每个业务接口的平均响应时长和平均调用频率调整业务标识对应的缓存时长，得到目标缓存时长，然后根据目标缓存时长缓存与业务标识对应的业务数据。上述基于日志分析的业务处理方法通过对日志记录分析，动态调整缓存时长，有利于提高服务器响应用户请求的速度，提高了用户访问的效率。
附图说明
图1为一个实施例中基于日志分析的业务处理方法流程图；
图2为一个实施例中调整业务标识对应的缓存时长得到目标缓存时长的方法流程图；
图3为另一个实施例中基于日志分析的业务处理方法流程图；
图4为一个实施例中基于日志分析的业务处理装置的结构框图；
图5为另一个实施例中基于日志分析的业务处理装置的结构框图；
图6为又一个实施例中基于日志分析的业务处理装置的结构框图；
图7为再一个实施例中基于日志分析的业务处理装置的结构框图；
图8为还一个实施例中基于日志分析的业务处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，在一个实施例中，提出了一种基于日志分析的业务处理方法，该方法包括：
步骤102，获取预设时间段内的日志记录。
其中，预设时间段可以根据需要自定义设置，比如，可以设置为1天、也可以设置为1个星期，还可以设置为1个月等。具体地，服务器定时统计预设时间段内的日志记录，日志记录中记载了各个业务接口每次被调用的响应时长以及每次被调用对应的时刻。
步骤104，根据日志记录统计每个业务接口的平均响应时长和平均调用频率。
其中，平均响应时长是指通过统计预设时间段内每次响应时长进行平均得到的。服务器的响应时长反映了用户的访问效率，响应时长越长，说明响应的速度越慢，效率越低。平均调用频率是指统计到的在预设时间段内业务接口平均每秒被调用的次数。业务接口的调用频率反映了业务的访问量的大小，调用频率越大，相应的访问量越大。
步骤106，获取每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整业务标识对应的缓存时长，得到目标缓存时长。
其中，缓存时长是指业务数据在缓存中停留的有效时长，如果超过了缓存时长，便会自动清除相应的业务数据。业务标识用于唯一标识一个业务。每个业务接口对应一个业务标识。统计每个业务接口的平均响应时长和平均调用频率。缓存时长的设置对用户的访问效率有直接影响。一般来说，如果缓存时长越长，越有利于提高用户的访问效率，但是缓存中的内存数据如果过多，会占用大量的内存，所以如何合理设置缓存时长显得尤为重要。为了既能够保证用户的访问速度又能够不过多的占用内存，根据业务接口对应的平均响应时长和平均调用频率来动态调整业务标识对应的缓存时长。便于后续采用调整后的目标缓存时长来缓存对应的业务数据。在一个实施例中，目标缓存时长与平均响应时长成正相关，与平均调用频率也成正相关。即如果平均响应时长比较长，说明当前响应速度太慢，那么将增大当前缓存时长，得到目标缓存时长。同样地，如果平均调用频率越大，说明业务接口的访问量比较大，适当增加缓存时长有利于提高相应的响应速度。
步骤108，根据目标缓存时长缓存与业务标识对应的业务数据。
其中，目标缓存时长是指动态调整后的缓存时长。根据目标缓存时长缓存与业务标识对应的业务数据，后续当服务器接收到用户的访问请求时，有利于提高相应用户访问请求的速度。
上述基于日志分析的业务处理方法，通过对预设时间段内的日志记录进行分析，获取每个业务接口的平均响应时长和平均调用频率，然后根据每个业务接口的平均响应时长和平均调用频率调整业务标识对应的缓存时长，得到目标缓存时长，然后根据目标缓存时长缓存与业务标识对应的业务数据。上述基于日志分析的业务处理方法通过对日志记录分析，动态调整缓存时长，有利于提高服务器响应用户请求的速度，提高了用户访问的效率。
如图2所示，在一个实施例中，根据每个业务接口的平均响应时长和平均调用频率调整业务标识对应的缓存时长，得到目标缓存时长的步骤106包括：
步骤106A，获取平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口，若是，则进入步骤106B，若否，则结束。
其中，平均响应时长是指统计得到的每次响应用户请求的平均时长。如果计算得到的平均响应时长小于第一预设时长，说明对应的业务接口的响应速度还是比较快的，不需要再去提高速度。如果平均响应时长大于第一预设时长，说明对应的业务接口响应的速度比较慢，需要去提高相应的响应速度。但是如果平均响应时长大于第二预设时长，则很可能是相应的业务接口出了问题，这时调整缓存时长并不会提高速度。所以只有平均响应时长大于第一预设时长且小于第二预设时长时，才需要去调整缓存时长来提高相应的访问速度。
步骤106B，判断目标业务接口对应的平均调用频率是否大于预设频率，若是，则进入步骤106C，若否，则进入步骤106D。
其中，获取到需要调整缓存时长的目标业务接口后，还需要判断目标业务接口对应的平均调用频率是否大于预设频率，如果大于预设频率，说明该业务接口被调用的频率较高，访问量比较大，后续调整缓存时长时可以多增加一点缓存时长，以便更好地提高该业务接口的响应速度。如果小于预设频率，少增加一点缓存时长即可实现提高业务接口响应速度的目的。
步骤106C，按照预设的第一调整幅度增加业务标识对应的当前缓存时长，得到目标缓存时长。
其中，第一调整幅度是预设的用于每次调整缓存时长的幅度。当目标业务接口对应的平均调用频率大于预设频率时，则按照第一调整幅度来增加当前缓存时长，得到目标缓存时长，目标缓存时长＝当前缓存时长+第一调整幅度。比如，假设当前缓存时长为50s，第一调整幅度为5s，那么调整后的目标缓存时长为55s。
步骤106D，按照预设的第二调整幅度增加业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度。
其中，第二调整幅度也是预设的用于每次调整缓存时长的幅度，第二调整幅度小于第一调整幅度。当目标业务接口对应的平均调用频率不大于预设频率时，则按照第二调整幅度来增加当前缓存时长，得到目标缓存时长，目标缓存时长＝当前缓存时长+第二调整幅度。比如，假设当前缓存时长为50s，第二调整幅度为3s，那么调整后的目标缓存时长为53s。
上述调整缓存的过程中，首先根据平均响应时长确定需要调整缓存时长的业务接口，即目标业务接口，然后根据平均调用频率来确定需要调整的缓存时长的幅度，从而可以更加合理地调整相应的缓存时长，继而根据调整后的目标缓存时长缓存相应的业务数据，从而达到提高响应速度的目的。
如图3所示，在一个实施例中，上述基于日志分析的业务处理方法还包括：
步骤110，根据日志记录统计出目标业务标识对应的业务数据更新频率。
其中，日志记录中记录了每次业务数据更新的时间。业务数据更新频率是指在单位时间内业务数据更新的次数。具体地，获取预设时间段内的日志记录，根据日志记录统计在预设时间段内业务数据更新的总次数，然后进行平均运算得到业务数据更新频率。比如，一天更新2次。
步骤112，判断业务数据更新频率是否小于预设更新频率，若是，则进入步骤113，若否，则结束。
其中，业务数据更新频率反映了业务数据的更新速度，如果业务数据的更新频率比较低，则可以进一步增加缓存时长，如果业务数据的更新频率比较高，则需要相应地减少缓存时长，这是因为业务数据如果更新快，而缓存时长比较长时，容易导致缓存中的数据与数据库中的数据不一致，导致在修改数据库中的数据时，还需要大量修改缓存中的数据，反而浪费了时间，影响用户的访问速度。所以通过判断业务数据更新频率是否小于预设更新频率，如果是，则可以适当增加缓存时长，若否，则不需要增加。在一个实施例，当业务数据更新频率不小于预设频率时，则根据业务数据更新频率和得到的目标缓存时长来确定是否减少缓存时长以及减少的幅度。
步骤113，判断目标缓存时长是否大于预设缓存时长，若否，则进入步骤114，若是，则结束。
其中，当前业务数据更新频率小于预设更新频率时，还需要判断之前得到的目标缓存时长是否大于预设缓存时长，若否，则将预设缓存时长作为最终的目标缓存时长，后续根据目标缓存时长来缓存相应的业务数据。
步骤114，将预设缓存时长作为目标缓存时长。
其中，若目标缓存时长不大于预设缓存时长，则将预设缓存作为目标缓存时长。通过设置预设缓存时长避免将目标缓存时长设置的过大，导致占用的内存过多。
在一个实施例中，上述基于日志分析的业务处理方法还包括：当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，更新消息中包含有数据标识，指示缓存根据数据标识从数据库中获取相应的更新数据，更新到缓存中。
其中，当业务数据发生改变时，为了能够及时将相应的业务数据更新到缓存中，可以单独开通一个线程用于监听数据库中的数据是否发生更新，若监听到数据库中的数据发生变更时，则发送一个更新消息给缓存，该更新消息中包含有数据标识，数据标识用于唯一标识一条数据，缓存接收到更新消息后，根据数据标识从数据库中获取相应的更新数据更新到缓存中。便于后续接收到调用请求时，及时将正确的数据返回给用户。
在一个实施例中，上述基于日志分析的业务处理方法还包括：检测当前时间是否为访问高峰期，若是，则获取与访问高峰期对应的高峰缓存时长，根据高峰缓存时长缓存业务标识对应的业务数据。
其中，访问高峰期是指在该段时间内调用该业务接口的次数很多。为了应对访问高峰期，可以预先在系统中设置哪些日期或时间段为高峰期，则当检测到当前时间为访问高峰期时，直接使用与访问高峰期对应的高峰缓存时长，然后根据高峰缓存时长缓存业务标识对应的业务数据，便于快速响应高峰期时的访问请求。
在一个实施例中，上述基于日志分析的业务处理方法还包括：获取每个业务接口对应的平均响应时长，将平均响应时长按照从大到小的顺序进行排序；获取前预设个数的平均响应时长，根据前预设个数的平均响应时长确定第一预设时长。
其中，为了避免同时将很多个业务接口都归为目标业务接口，导致大部分业务都需要调整缓存时长，进而导致服务器压力过大。所以要根据业务接口对应的平均响应时长来动态调整第一预设时长。具体地，通过日志记录统计每个业务接口对应的平均响应时长，然后将平均响应时长按照从大到小的顺序进行排列，获取前预设个数(比如，前10个)的平均响应时长，然后根据前预设个数的平均响应时长确定第一预设时长。在一个实施例中，将前预设个数的平均响应时长中最短的平均响应时长作为第一预设时长。
在一个实施例中，上述基于日志分析的业务处理方法还包括：当业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
其中，预先设置业务正常响应时长的范围，将最大值作为第二预设时长，如果超过这个第二预设时长则很可能是业务接口出了问题，为了避免影响后续的访问，则需要发出预警，以便通知相应的工作人员进行检修。
应该理解的是，虽然图1至图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图4所示，在一个实施例中，提出了一种基于日志分析的业务处理装置，该装置包括：
日志记录获取模块402，用于获取预设时间段内的日志记录；
统计模块404，用于根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；
调整模块406，用于获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长；
缓存模块408，用于根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
在其中一个实施例中，所述调整模块406还用于获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口，当所述目标业务标识对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，当所述目标业务标识对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度。
在其中一个实施例中，所述统计模块404还用于根据所述日志记录统计出所述目标业务标识对应的业务数据更新频率；所述调整模块还用于当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长。
如图5所示，在一个实施例中，基于日志分析的业务处理装置还包括：
数据更新模块410，用于当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有业务标识，指示所述缓存根据所述业务标识从数据库中获取相应的更新数据，更新到缓存中。
如图6所示，在一个实施例中，基于日志分析的业务处理装置还包括：
检测模块412，用于检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
如图7所示，在一个实施例中，基于日志分析的业务处理装置还包括：
第一预设时长确定模块414，用于获取每个业务接口对应的平均响应时长，将所述平均响应时长按照从大到小的顺序进行排序，获取前预设个数的平均响应时长，根据所述前预设个数的平均响应时长确定所述第一预设时长。
如图8所示，在一个实施例中，基于日志分析的业务处理装置还包括：
预警模块416，用于当所述业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
关于基于日志分析的业务处理装置的具体限定可以参见上文中对于基于日志分析的业务处理方法的限定，在此不再赘述。上述基于日志分析的业务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于日志分析的业务处理方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取预设时间段内的日志记录；根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长；根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
在一个实施例中，所述根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长的步骤包括：获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口；当所述目标业务接口对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长；当所述目标业务接口对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度。
在一个实施例中，上述处理器还用于执行以下步骤：根据所述日志记录统计出所述目标业务标识对应的业务数据更新频率；当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长。
在一个实施例中，上述处理器还用于执行以下步骤：当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有数据标识，指示所述缓存根据所述数据标识从数据库中获取相应的更新数据，更新到缓存中。
在一个实施例中，上述处理器还用于执行以下步骤：检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
在一个实施例中，上述处理器还用于执行以下步骤：获取每个业务接口对应的平均响应时长，将所述平均响应时长按照从大到小的顺序进行排序；获取前预设个数的平均响应时长，根据所述前预设个数的平均响应时长确定所述第一预设时长。
在一个实施例中，上述处理器还用于执行以下步骤：当所述业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取预设时间段内的日志记录；根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长；根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
在一个实施例中，所述根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长的步骤包括：获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口；当所述目标业务接口对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长；当所述目标业务接口对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度。
在一个实施例中，上述处理器还用于执行以下步骤：根据所述日志记录统计出所述目标业务标识对应的业务数据更新频率；当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长。
在一个实施例中，上述处理器还用于执行以下步骤：当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有数据标识，指示所述缓存根据所述数据标识从数据库中获取相应的更新数据，更新到缓存中。
在一个实施例中，上述处理器还用于执行以下步骤：检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
在一个实施例中，上述处理器还用于执行以下步骤：获取每个业务接口对应的平均响应时长，将所述平均响应时长按照从大到小的顺序进行排序；获取前预设个数的平均响应时长，根据所述前预设个数的平均响应时长确定所述第一预设时长。
在一个实施例中，上述处理器还用于执行以下步骤：当所述业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于日志分析的业务处理方法，其特征在于，所述方法包括：
获取预设时间段内的日志记录；
根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；
获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长，所述目标缓存时长与所述平均响应时长成正相关，且与所述平均调用频率也成正相关，包括：获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口；当所述目标业务接口对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长；当所述目标业务接口对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度；
根据所述日志记录统计所述目标业务标识对应的业务数据在所述业务时间段内更新的总次数，得到对应的业务数据更新频率；
当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长；
根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有数据标识，指示所述缓存根据所述数据标识从数据库中获取相应的更新数据，更新到缓存中。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取每个业务接口对应的平均响应时长，将所述平均响应时长按照从大到小的顺序进行排序；
获取前预设个数的平均响应时长，根据所述前预设个数的平均响应时长确定所述第一预设时长。
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
当所述业务接口对应的平均响应时长大于第二预设时长时，则发出预警。
6.一种基于日志分析的业务处理装置，其特征在于，所述装置包括：
日志记录获取模块，用于获取预设时间段内的日志记录；
统计模块，用于根据所述日志记录统计每个业务接口的平均响应时长和平均调用频率；
调整模块，用于获取所述每个业务接口对应的业务标识，根据每个业务接口的平均响应时长和平均调用频率调整所述业务标识对应的缓存时长，得到目标缓存时长，所述目标缓存时长与所述平均响应时长成正相关，且与所述平均调用频率也成正相关，包括：获取所述平均响应时长大于第一预设时长且小于第二预设时长的目标业务接口；当所述目标业务接口对应的平均调用频率大于预设频率时，则按照预设的第一调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长；当所述目标业务接口对应的平均调用频率不大于预设频率时，则按照预设的第二调整幅度增加所述业务标识对应的当前缓存时长，得到目标缓存时长，其中，第一调整幅度大于第二调整幅度；根据所述日志记录统计所述目标业务标识对应的业务数据在所述业务时间段内更新的总次数，得到对应的业务数据更新频率；当所述业务数据更新频率小于预设更新频率时，则判断所述目标缓存时长是否大于预设缓存时长，若否，则将所述预设缓存时长作为所述目标缓存时长；
缓存模块，用于根据所述目标缓存时长缓存与所述业务标识对应的业务数据。
7.根据权利要6所述的装置，其特征在于，所述装置还包括：
数据更新模块，用于当监听到数据库中的数据发生更新时，则发送一个更新消息给缓存，所述更新消息中包含有数据标识，指示所述缓存根据所述数据标识从数据库中获取相应的更新数据，更新到缓存中。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测当前日期是否为访问高峰期，若是，则获取与所述访问高峰期对应的高峰缓存时长，根据所述高峰缓存时长缓存所述业务标识对应的业务数据。
9.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5任意一项所述方法的步骤。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
CN201810089281.0A 2018-01-30 2018-01-30 基于日志分析的业务处理方法、装置及计算机设备 Active CN108509323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810089281.0A CN108509323B (zh) 2018-01-30 2018-01-30 基于日志分析的业务处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810089281.0A CN108509323B (zh) 2018-01-30 2018-01-30 基于日志分析的业务处理方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN108509323A CN108509323A (zh) 2018-09-07
CN108509323B true CN108509323B (zh) 2021-10-08

Family

ID=63374837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810089281.0A Active CN108509323B (zh) 2018-01-30 2018-01-30 基于日志分析的业务处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN108509323B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669982A (zh) * 2018-12-25 2019-04-23 钛马信息网络技术有限公司 平台接口被调用统计系统及方法
CN110162512B (zh) * 2019-05-05 2021-11-09 中国银行股份有限公司 一种日志检索方法、装置及存储介质
CN110266555B (zh) * 2019-05-09 2020-06-02 重庆八戒电子商务有限公司 用于分析网站服务请求的方法
CN110737545B (zh) * 2019-09-24 2021-12-17 华青融天(北京)软件股份有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111581225A (zh) * 2020-05-09 2020-08-25 深圳市铭数信息有限公司 一种数据库对账方法、系统、服务器和存储介质
CN113778909B (zh) * 2020-09-28 2023-12-05 北京京东振世信息技术有限公司 一种缓存数据的方法和装置
CN113760640A (zh) * 2020-11-13 2021-12-07 北京沃东天骏信息技术有限公司 监控日志处理方法、装置、设备及存储介质
CN112737972B (zh) * 2020-12-24 2023-05-26 北京珞安科技有限责任公司 一种数据传输频率确定方法、装置及计算机设备
CN113760529A (zh) * 2021-01-15 2021-12-07 北京沃东天骏信息技术有限公司 接口执行方法、装置、设备和可读存储介质
CN112988511B (zh) * 2021-03-12 2023-02-21 山东英信计算机技术有限公司 一种日志信息收集方法、系统、存储介质及设备
CN113064678A (zh) * 2021-03-25 2021-07-02 北京京东乾石科技有限公司 一种缓存配置方法和装置
CN113434135B (zh) * 2021-06-28 2023-06-16 青岛海尔科技有限公司 接口的调用重复度确定方法和装置、存储介质及电子装置
CN115065647B (zh) * 2022-06-20 2024-04-16 中银金融科技有限公司 一种数据计算方法、装置及电子设备
CN115278558B (zh) * 2022-07-27 2024-04-19 中国银行股份有限公司 一种消息发送方法及装置
US20240061490A1 (en) * 2022-08-19 2024-02-22 Qualcomm Incorporated SMART RESOURCE ALLOCATION FRAMEWORK FOR DYNAMIC ALLOCATION OF SYSTEM RESOURCES IN PERSONAL COMPUTING DEVICES (PCDs) THAT EMPLOY WIRELESS MODEMS

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848477A (zh) * 2009-03-24 2010-09-29 亚信科技（中国）有限公司 一种故障诊断方法及系统
CN104123238A (zh) * 2014-06-30 2014-10-29 海视云（北京）科技有限公司 数据存储方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330051B1 (en) * 2007-11-27 2016-05-03 Sprint Communications Company L.P. Collection of web server performance metrics to a centralized database for reporting and analysis
JP5373870B2 (ja) * 2010-10-25 2013-12-18 株式会社三菱東京Ｕｆｊ銀行 予測装置、予測方法、及び、プログラム
CN102055818B (zh) * 2010-12-30 2013-09-18 北京世纪互联宽带数据中心有限公司 分布式智能dns库系统
US8751184B2 (en) * 2011-03-31 2014-06-10 Infosys Limited Transaction based workload modeling for effective performance test strategies
CN104133880B (zh) * 2014-07-25 2018-04-20 广东睿江云计算股份有限公司 一种设置文件缓存时间的方法与装置
CN107608812B (zh) * 2017-09-08 2020-07-31 北京奇艺世纪科技有限公司 一种熔断方法和服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848477A (zh) * 2009-03-24 2010-09-29 亚信科技（中国）有限公司 一种故障诊断方法及系统
CN104123238A (zh) * 2014-06-30 2014-10-29 海视云（北京）科技有限公司 数据存储方法及装置

Also Published As

Publication number Publication date
CN108509323A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108509323B (zh) 基于日志分析的业务处理方法、装置及计算机设备
CN109194539B (zh) 数据管控方法、装置、计算机设备及存储介质
CN109039937B (zh) 动态限流方法、装置、计算机设备和存储介质
CN110309029B (zh) 异常数据的采集方法、装置、计算机设备和存储介质
CN109412852B (zh) 告警方法、装置、计算机设备及存储介质
CN108449237B (zh) 网络性能监测方法、装置、计算机设备和存储介质
CN108834086B (zh) 短信发送的方法、装置、计算机设备和存储介质
CN110995468A (zh) 待分析系统的系统故障处理方法、装置、设备和存储介质
CN110674149B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN108763046B (zh) 线程运行监控方法、装置、计算机设备和存储介质
CN113342603B (zh) 告警数据处理方法、装置、计算机设备和存储介质
CN111585837B (zh) 物联网数据链路监控方法、装置、计算机设备和存储介质
US20140330968A1 (en) Method and trend analyzer for analyzing data in a communication network
US20210232474A1 (en) Creating statistical analyses of data for transmission to servers
CN113723956A (zh) 异常监控方法、装置、设备及存储介质
CN111159233B (zh) 分布式缓存方法、系统、计算机设备以及存储介质
WO2015154568A1 (zh) 一种采集数据的优化方法、系统及服务器
CN110599080A (zh) 业务数据分发处理方法、装置、计算机设备和存储介质
CN111131290A (zh) 流量数据处理方法和装置
CN111224939A (zh) 任务请求的拦截方法、装置、计算机设备和存储介质
CN112132652B (zh) 订单信息获取方法、装置、计算机设备和存储介质
CN111309442B (zh) 微服务容器数量的调整方法、装置、系统、介质及设备
CN105893150B (zh) 接口调用频度控制、接口调用请求处理方法及装置
CN110177075B (zh) 异常访问拦截方法、装置、计算机设备及存储介质
CN109857344B (zh) 基于共享内存的心跳状态判断方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant