CN114064697A - 日志自动搜索方法及系统 - Google Patents

日志自动搜索方法及系统 Download PDF

Info

Publication number
CN114064697A
CN114064697A CN202111453381.5A CN202111453381A CN114064697A CN 114064697 A CN114064697 A CN 114064697A CN 202111453381 A CN202111453381 A CN 202111453381A CN 114064697 A CN114064697 A CN 114064697A
Authority
CN
China
Prior art keywords
log
search
downloading
information
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111453381.5A
Other languages
English (en)
Inventor
林芝峰
廖俊宇
孔永锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202111453381.5A priority Critical patent/CN114064697A/zh
Publication of CN114064697A publication Critical patent/CN114064697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24542—Plan optimisation
    • G06F16/24545—Selectivity estimation or determination

Abstract

一种日志自动搜索方法及系统，涉及软件开发和测试领域，可应用于金融领域和其他领域，所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。

Description

日志自动搜索方法及系统
技术领域
本发明涉及软件开发和测试领域，可应用于金融领域和其他领域，尤指一种日志自动搜索方法及系统。
背景技术
在软件系统的开发测试过程中，很多程序问题的发现和溯源都依赖于程序在执行过程中记录的日志。甚至于在生产环境中，很多生产问题的实时监控和报警都依赖于日志信息。
由于软件系统的请求量和并发度的不断提高，集中式架构的软件系统已经不足以支持正常的业务需求。现有大型软件系统大都使用分布式架构，或者在向分布式架构转型进程中。在分布式架构系统中，程序运行时的日志信息分散到了集群中的众多服务器中，如何在日志海洋中快速准确找到所需要日志信息，成为每个程序员的必修课。
现有日志搜索方法中，较多使用跟随服务全流程的流程ID(tranceId)进行相关日志搜索，将匹配到这个tranceId的日志信息认为是搜索命中的信息，这种方法虽然能命中全流程日志信息，但是一个服务全流程的日志信息过于冗余，开发测试的时候有时候只需要全流程中某个节点的日志信息，需要二次搜索，且这种方法日志量过大，会增加搜索和下载日志的时间消耗；在此基础上，也有一些搜索方法结合tranceId和事件编号(eventNo)搜索服务全流程中某个节点的信息，这种搜索方法需要服务中每个节点记录上游调用方传递过来的eventNo作为该节点的关联事件编号(relatedEventNo)，而该节点需要生成新的事件编号(eventNo′)，这种方式类似于双向链表，可以根据eventNo搜索到某个节点和其上下游的日志信息，这种方法能够较为精确地命中节点日志，与tranceId结合能从该节点的日志信息进行发散，搜索到需要的日志。
上述方法的搜索流程虽然能搜索到较为全面具体的日志信息，但是属于重复的认为动作，需要程序员由eventNo出发，搜索到所有分布式机器中带有该eventNo的日志，再从日志信息中的tranceId搜索全部的日志信息进行分析。这种搜索方法日志搜索的时间比较长，冗余的日志信息也增大了程序员分析日志查找问题的精力损耗。
发明内容
本发明目的在于提供一种日志自动搜索方法及系统，通过深度强化模型DQN(DeepQ-Learning)对日志搜索的操作进行学习，使用海量日志信息进行训练，使得该模型能自动对日志进行搜索，有效地降低了搜索日志过程中地搜索时间，降低搜索内容的冗余程度，解放人力，自动搜索到准确的日志信息。
为达上述目的，本发明所提供的日志自动搜索方法所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。
在上述日志自动搜索方法中，优选的，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。
在上述日志自动搜索方法中，优选的，获取待搜索日志信息包含：将服务器的日志文件下载并存储至预定的日志数据库。
在上述日志自动搜索方法中，优选的，将服务器的日志文件下载并存储至预定的日志数据库还包含：通过所述决策模型于多个预设的下载策略中确定当前应用的下载策略，根据确定的下载策略于所述服务器中下载日志文件。
在上述日志自动搜索方法中，优选的，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。
在上述日志自动搜索方法中，优选的，所述方法还包含：记录所述日志搜索信息及对应的所述目标日志，并持久化存储；将预定周期内搜索频率高于预定阈值的日志文件拉取至本地存储。
在上述日志自动搜索方法中，优选的，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型包含：根据搜索结果与所述日志搜索信息的匹配度通过预设模型计算获得的奖励值；通过所述决策模型在每一步日志筛选动作过后得到的奖励值获取到的经验值；通过所述经验值校正所述强化学习模型获得所述决策模型。
在上述日志自动搜索方法中，优选的，通过以下公式计算获得奖励值：
Q(s,a)＝λ×tf(w,D)+β×df(w,D)+χ×lf(w,D)-δt-εs；
通过以下公式计算获得经验值：
Figure BDA0003385772010000031
在上式中，λ,β,χ,δ,ε为权重参数，tf(w,D)为文档D中关键搜索信息w的词频；df(w,D)为w出现的文档频率；lf(w,D)为匹配行数；t为执行操作a的执行时间；ε为执行操作a的网络带宽占用量；st′,at′为执行完at之后下一时刻的状态和行为；α为学习率；γ是奖励性衰系数。
本发明还提供的一种日志自动搜索系统，所述系统包含输入输出模块、日志获取模块、日志筛选模块和决策模块；所述输入输出模块用于获取用户提供日志搜索信息；以及，将目标日志反馈至用户；所述日志获取模块与多个分布式服务器或集中日志管理平台相连，用于将服务器的日志文件下载并存储至预定的日志数据库；所述日志筛选模型用于根据所述日志搜索信息生成搜索动作指令，根据所述搜索动作指令通过所述决策模型于所述日志数据库中筛选获得对应的目标日志；所述决策模块用于根据所述日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略，根据所述搜索策略对所述日志数据库中日志文件进行筛选搜索，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型。
在上述日志自动搜索系统中，优选的，所述日志获取模块包含下载单元和处理单元；所述下载单元用于存放多个预设的下载策略，根据所述处理单元提供的下载指令，采用对应下载策略进行日志文件下载；所述处理单元用于通过所述决策模型确定下载策略，根据确定的下载策略生成下载指令并提供至所述下载单元。
在上述日志自动搜索系统中，优选的，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。
在上述日志自动搜索系统中，优选的，所述日志筛选模型包含搜索单元和策略单元；所述搜索单元用于存放搜索池，根据所述策略单元提供的搜索指令，通过对应搜索策略进行于所述日志数据库中筛选获得对应的目标日志；其中，所述搜索池包含多个预设的搜索策略；所述策略单元用于通过所述决策模型确定搜索策略，根据确定的搜索策略生成对应的搜索指令并提供至所述搜索单元。
在上述日志自动搜索系统中，优选的，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于：提出适用于文本信息处理奖励公式，使得对不同操作的结果进行评价成为可能；日志自动搜索模型可以解放人力，实现日志自动搜索，让机器代替频繁的日志搜索过程；日志自动搜索模型有效提高日志搜索的效率和命中关键信息的准确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1A为本发明一实施例所提供的日志自动搜索方法的流程示意图；
图1B为本发明一实施例所提供的日志自动搜索系统的结构示意图；
图2为本发明一实施例所提供的日志自动搜索系统的应用结构示意图；
图3为本发明一实施例所提供的日志获取模块的结构示意图；
图4为本发明一实施例所提供的日志筛选模型的结构示意图；
图5为本发明一实施例所提供的输入输出模块的结构示意图；
图6为本发明一实施例所提供的决策模块的原理逻辑示意图；
图7为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图1A所示，本发明还提供一种日志自动搜索方法，所述方法包含：
S101根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；
S102根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；
S103根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；
S104获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。
在上述实施例中，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。在本发明另一实施例中，获取待搜索日志信息包含：将服务器的日志文件下载并存储至预定的日志数据库。其中将服务器的日志文件下载并存储至预定的日志数据库还包含：通过所述决策模型于多个预设的下载策略中确定当前应用的下载策略，根据确定的下载策略于所述服务器中下载日志文件；其中，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件；具体实施方式将在后续实施例中详细说明，在此就不再一一详述。
在本发明一实施例中，所述方法还可包含：记录所述日志搜索信息及对应的所述目标日志，并持久化存储；将预定周期内搜索频率高于预定阈值的日志文件拉取至本地存储。具体的，实际工作中是将输入记录进行记录与对应输出进行数据库持久化，下次有相同的搜索可以按照相同的操作链进行操作，提高日志搜索的效率。同时日志数据库中数据可以用于分析热点搜索场景，模型将相关热点日志文件实时拉取到本地，避免每次进行搜索是都需要重新到日志平台或者对应容器中进行日志下载，增加时间消耗。
在本发明另一实施例中，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型包含：根据搜索结果与所述日志搜索信息的匹配度通过预设模型计算获得的奖励值；通过所述决策模型在每一步日志筛选动作过后得到的奖励值获取到的经验值；通过所述经验值校正所述强化学习模型获得所述决策模型。具体计算方式将在后续实施例中详细说明，在此就不再一一详述。
请参考图1B所示，本发明还提供一种日志自动搜索系统，所述系统包含输入输出模块、日志获取模块、日志筛选模块和决策模块；所述输入输出模块用于获取用户提供日志搜索信息；以及，将目标日志反馈至用户；所述日志获取模块与多个分布式服务器或集中日志管理平台相连，用于将服务器的日志文件下载并存储至预定的日志数据库；所述日志筛选模型用于根据所述日志搜索信息生成搜索动作指令，根据所述搜索动作指令通过所述决策模型于所述日志数据库中筛选获得对应的目标日志；所述决策模块用于根据所述日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略，根据所述搜索策略对所述日志数据库中日志文件进行筛选搜索，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型。在实际工作中，上述日志自动搜索系统可如图2所示，所述输入输出模块在具体应用时可分为输入模块和输出模块，其中输入模块主要将日志搜索模型使用的输入关键信息，主要包括eventNo、特定业务信息、服务名称等；日志获取模型与各分布式服务器连接或者与集中日志管理平台连接，负责将服务器的日志文件下载到模型中并解析，同时存储到日志数据库；日志筛选模型负责自动执行日志搜索的动作；输出模块将筛选过后的日志信息形成文件或者其他字节流，展现给日志搜索模块的使用者。而决策模块作为决策者，负责指挥以上4个模块，完成特定的动作。
请参考图3所示，在本发明一实施例中，所述日志获取模块可包含下载单元和处理单元；所述下载单元用于存放多个预设的下载策略，根据所述处理单元提供的下载指令，采用对应下载策略进行日志文件下载；所述处理单元用于通过所述决策模型确定下载策略，根据确定的下载策略生成下载指令并提供至所述下载单元。具体的，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。具体的，在实际工作中，日志获取模块主要负责日志文件的获取，其执行的操作也是由决策模型下达。在日志模块中，主要涉及的操作有：通过二分法下载日志，即只下载一半容器中的日志文件；全量日志下载，即下载所有容器中的日志文件；根据路由信息的hash信息进行对应容器日志下载，即通过计算路由信息得到该交易可能分配到哪个容器中进行处理，直接搜索对应容器中的日志即可；随机日志下载；根据业务类型下载不同类型日志等。不同场景下，如路由信息不明确的情况下，二分法可能会比较可行；但是最坏情况下，二分法搜索到了全部的日志，增加了网络连接次数，比直接下载全量日志的效果还要差。因此没有最有效率的操作，只有在当前场景下最合适的操作。
请参考图4所示，在本发明一实施例中，所述日志筛选模型可包含搜索单元和策略单元；所述搜索单元用于存放搜索池，根据所述策略单元提供的搜索指令，通过对应搜索策略进行于所述日志数据库中筛选获得对应的目标日志；其中，所述搜索池包含多个预设的搜索策略；所述策略单元用于通过所述决策模型确定搜索策略，根据确定的搜索策略生成对应的搜索指令并提供至所述搜索单元。具体的，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。具体的，在实际工作中，日志筛选模块主要负责将文件中的日志信息进一步提取，主要涉及的操作有：通过关键信息全局搜索文件；通过关键信息二分法进行搜索；通过多个关键信息进行链式搜索，即在包含关键信息1的日志中搜索关键信息2的信息；冗余搜索，即每次用一个关键信息搜索，将多个不同关键信息的搜索结果进行重合叠加，取到日志之间的交集等。
请参考图5所示，在本发明一实施例中，所述输入输出模块还包含记录单元和热点缓存单元；所述记录单元用于记录所述日志搜索信息及对应的所述目标日志，并持久化存储；所述热点缓存单元用于将预定周期内搜索频率高于预定阈值的日志文件拉取至本地存储。具体的，在实际工作中，输入输出模块主要进行信息解析整合，同时将使用自动日志搜索模型的程序员的输入记录进行记录与对应输出进行数据库持久化，下次有相同的搜索可以按照相同的操作链进行操作，提高日志搜索的效率。同时日志数据库中数据可以用于分析热点搜索场景，模型将相关热点日志文件实时拉取到本地，避免每次进行搜索是都需要重新到日志平台或者对应容器中进行日志下载，增加时间消耗。
在本发明一实施例中，所述决策模块还包含表格维护单元和计算单元；所述表格维护单元用于维护预设的奖励表格和经验表格；其中，所述奖励表格用于记录根据搜索策略和匹配度计算获得的奖励值；所述经验表格用于记录所述决策模型在每一步日志筛选动作过后，结合奖励值获取到的经验值；所述计算单元用于根据搜索策略和匹配度计算获得的奖励值；以及，根据所述奖励制计算所述经验值。
具体的，所述计算单元包含：通过以下公式计算获得奖励值：Q(s,a)＝λ×tf(w,D)+β×df(w,D)+χ×lf(w,D)-δt-εs；通过以下公式计算获得经验值：
Figure BDA0003385772010000081
在上式中，λ,β,χ,δ,ε为权重参数，tf(w,D)为文档D中关键搜索信息w的词频；df(w,D)为w出现的文档频率；lf(w,D)为匹配行数；t为执行操作a的执行时间；ε为执行操作a的网络带宽占用量；st′,at′为执行完at之后下一时刻的状态和行为；α为学习率；γ是奖励性衰系数。
在实际工作中，所述决策模块其原理可参考图6所示，决策机通过观测显示环境的状态，依照某个策略，选择执行动作。而该动作在现实环境执行之后，现实环境的状态会改变，且反馈一个奖励或者惩罚给决策机。决策机在现实环境中执行动作，收获环境的奖励或者惩罚，修正自身做出的决策，进而训练出能收获现实环境最大奖励的一系列动作。在日志自动搜索模型中，决策机就是决策模型，现实环境就是日志文件，动作at就是日志筛选动作，如全局搜索、正则搜索等操作，状态st就是执行完动作之后筛选到日志信息，而目标需要搜索到的日志信息和通过筛选动作之后的日志信息的匹配程度，可以量化成一个奖励值或者惩罚值rt。模型训练过后就可以自动执行特定的动作，准确搜索到日志。该决策模型则是基于Q-Learning构建的能处理文字信息的Q-Learning强化学习模型SQN(Str Q-Leanrning Network)。在该模型中，维护两张表Q-Table和Reward-Table。其中Reward-Table表示在某个状态下sk执行某个动作ak之后，能够收获到的奖励值rk，如表1所示。
表1
Figure BDA0003385772010000082
Figure BDA0003385772010000091
Q-Table表示某个状态下sk执行某个动作ak之后，能够计算出的Q值Qk，如表2所示。
表2
a<sub>1</sub> a<sub>2</sub> ... a<sub>n</sub>
s<sub>1</sub> Q<sub>11</sub> Q<sub>12</sub> ... Q<sub>1n</sub>
s<sub>2</sub> Q<sub>21</sub> Q<sub>22</sub> ... Q<sub>2n</sub>
... ... ... ... ...
s<sub>n</sub> Q<sub>n1</sub> Q<sub>n2</sub> ... Q<sub>nn</sub>
根据Q-Table和Reward-Table，当前状态下执行动作之后的Q值可以由如下公式计算得出:
Figure BDA0003385772010000092
其中，t为当前时刻，st′,at′为执行完at之后下一时刻的状态和行为。可以看出当前Q值包含执行完当前动作之后Q值。
在日志搜索场景中，对于不同的日志文件，执行筛选动作a的类型是有限的，但是执行完动作之后筛选到日志信息是不能s穷尽的，为了更好评估某一状态下的奖励值，本发明引入词频，文档频率、匹配行数、执行时间、带宽占用量等评估指标，所得奖励值计算公式如下：
Q(s,a)＝λ×tf(w,D)+β×df(w,D)+χ×lf(w,D)-δt-εs
其中，λ,β,χ,δ,ε是权重参数，tf(w,D)表示文档D中关键搜索信息w的词频，可以通过该该关键搜索信息出现的总次数除以该文档的总词数得到；df(w,D)表示w出现的文档频率，可以通过该次下载到日志文档的总数C除以包含该关键搜索信息w的数目的得到；lf(w,D)表示匹配行数，可以通过文档中包含该关键搜索信息的行数除以文档的总行数计算得到；t为执行操作a的执行时间，由系统计算时间差所得；ε为执行操作a的网络带宽占用量，所需得带宽越高，该惩罚项的值越大。
SQN模型训练过程，就是不断更新Q-Table的过程，Q值的时间差分法更新公式如下，其中，α为学习率，γ是奖励性衰系数。
Figure BDA0003385772010000101
在不断地进行日志搜索过程中，搜索到关键信息的准确程度也会随之提高，Q-Table最终能更新成为获取准确日志信息的操作链。为了模型在训练到一定程度后不再有提高，在实际工作中还可引入一个概率值，用来使得模型具有一定的概率不去执行Q值最大的操作。具体使用方式可根据实际需要选择设定，本发明在此并不做进一步限定。
本发明的有益技术效果在于：提出适用于文本信息处理奖励公式，使得对不同操作的结果进行评价成为可能；日志自动搜索模型可以解放人力，实现日志自动搜索，让机器代替频繁的日志搜索过程；日志自动搜索模型有效提高日志搜索的效率和命中关键信息的准确度。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图7所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图7中所示的所有部件；此外，电子设备600还可以包括图7中没有示出的部件，可以参考现有技术。
如图7所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种日志自动搜索方法，其特征在于，所述方法包含：
根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；
根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；
根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；
获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。
2.根据权利要求1所述的日志自动搜索方法，其特征在于，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。
3.根据权利要求1所述的日志自动搜索方法，其特征在于，获取待搜索日志信息包含：将服务器的日志文件下载并存储至预定的日志数据库。
4.根据权利要求3所述的日志自动搜索方法，其特征在于，将服务器的日志文件下载并存储至预定的日志数据库还包含：通过所述决策模型于多个预设的下载策略中确定当前应用的下载策略，根据确定的下载策略于所述服务器中下载日志文件。
5.根据权利要求4所述的日志自动搜索方法，其特征在于，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。
6.根据权利要求1所述的日志自动搜索方法，其特征在于，所述方法还包含：
记录所述日志搜索信息及对应的所述目标日志，并持久化存储；
将预定周期内搜索频率高于预定阈值的日志文件拉取至本地存储。
7.根据权利要求1所述的日志自动搜索方法，其特征在于，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型包含：
根据搜索结果与所述日志搜索信息的匹配度通过预设模型计算获得的奖励值；
通过所述决策模型在每一步日志筛选动作过后得到的奖励值获取到的经验值；
通过所述经验值校正所述强化学习模型获得所述决策模型。
8.根据权利要求7所述的日志自动搜索方法，其特征在于，通过以下公式计算获得奖励值：
Q(s,a)＝λ×tf(w,D)+β×df(w,D)+χ×lf(w,D)-δt-εs；
通过以下公式计算获得经验值：
Figure FDA0003385772000000021
在上式中，λ,β,χ,δ,ε为权重参数，tf(w,D)为文档D中关键搜索信息w的词频；df(w,D)为w出现的文档频率；lf(w,D)为匹配行数；t为执行操作a的执行时间；ε为执行操作a的网络带宽占用量；st′,at′为执行完at之后下一时刻的状态和行为；α为学习率；γ是奖励性衰系数。
9.一种日志自动搜索系统，其特征在于，所述系统包含输入输出模块、日志获取模块、日志筛选模块和决策模块；
所述输入输出模块用于获取用户提供日志搜索信息；以及，将目标日志反馈至用户；
所述日志获取模块与多个分布式服务器或集中日志管理平台相连，用于将服务器的日志文件下载并存储至预定的日志数据库；
所述日志筛选模型用于根据所述日志搜索信息生成搜索动作指令，根据所述搜索动作指令通过所述决策模型于所述日志数据库中筛选获得对应的目标日志；
所述决策模块用于根据所述日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略，根据所述搜索策略对所述日志数据库中日志文件进行筛选搜索，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型。
10.根据权利要求9所述的日志自动搜索系统，其特征在于，所述日志获取模块包含下载单元和处理单元；
所述下载单元用于存放多个预设的下载策略，根据所述处理单元提供的下载指令，采用对应下载策略进行日志文件下载；
所述处理单元用于通过所述决策模型确定下载策略，根据确定的下载策略生成下载指令并提供至所述下载单元。
11.根据权利要求10所述的日志自动搜索系统，其特征在于，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。
12.根据权利要求9所述的日志自动搜索系统，其特征在于，所述日志筛选模型包含搜索单元和策略单元；
所述搜索单元用于存放搜索池，根据所述策略单元提供的搜索指令，通过对应搜索策略进行于所述日志数据库中筛选获得对应的目标日志；其中，所述搜索池包含多个预设的搜索策略；
所述策略单元用于通过所述决策模型确定搜索策略，根据确定的搜索策略生成对应的搜索指令并提供至所述搜索单元。
13.根据权利要求12所述的日志自动搜索系统，其特征在于，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有由计算机执行权利要求1至8任一所述方法的计算机程序。
CN202111453381.5A 2021-11-30 2021-11-30 日志自动搜索方法及系统 Pending CN114064697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111453381.5A CN114064697A (zh) 2021-11-30 2021-11-30 日志自动搜索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111453381.5A CN114064697A (zh) 2021-11-30 2021-11-30 日志自动搜索方法及系统

Publications (1)

Publication Number Publication Date
CN114064697A true CN114064697A (zh) 2022-02-18

Family

ID=80228169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111453381.5A Pending CN114064697A (zh) 2021-11-30 2021-11-30 日志自动搜索方法及系统

Country Status (1)

Country Link
CN (1) CN114064697A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580543A (zh) * 2022-03-07 2022-06-03 北京百度网讯科技有限公司 模型训练方法、交互日志解析方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580543A (zh) * 2022-03-07 2022-06-03 北京百度网讯科技有限公司 模型训练方法、交互日志解析方法、装置、设备及介质
CN114580543B (zh) * 2022-03-07 2023-09-29 北京百度网讯科技有限公司 模型训练方法、交互日志解析方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11669744B2 (en) Regularized neural network architecture search
US8959504B2 (en) Update scanning
CN111783873B (zh) 基于增量朴素贝叶斯模型的用户画像方法及装置
CN112085541A (zh) 基于浏览消费时序数据的用户需求分析方法及装置
CN110134665B (zh) 基于流量镜像的数据库自学习优化方法及装置
CN109407997B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN112860902A (zh) 舆情情感热度计算方法及装置
CN114064697A (zh) 日志自动搜索方法及系统
CN113656432A (zh) 数据对比方法及装置
US11250080B2 (en) Method, apparatus, storage medium and electronic device for establishing question and answer system
CN112085595A (zh) 信用评分模型的监控方法及装置
CN115329746A (zh) 一种事件抽取方法、装置及设备
JP7341330B2 (ja) 日付切替データオフロード方法、装置、設備及び媒体
CN112800063A (zh) 基于数据结构的自动贯标方法及装置
CN111401551A (zh) 基于强化学习的弱监督自学习方法
CN115687050A (zh) 一种sql语句的性能分析方法及装置
CN115965456A (zh) 数据变动分析方法及装置
CN115098290A (zh) 基于自动更新的nlp模型的智能人工服务方法和装置
CN114840421A (zh) 日志数据处理方法及装置
CN113568888A (zh) 索引推荐方法及装置
US20230359928A1 (en) Transfer learning using decision tree based machine learning models
CN112905491B (zh) 一种软件测试有效性分析方法及装置
US20240046189A1 (en) Machine learning optimization of expert systems
CN112230984B (zh) 区块链智能合约模板的处理方法及装置
CN113254471A (zh) Sql语句检查方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination