CN113672488A - 日志文本处理方法及装置 - Google Patents

日志文本处理方法及装置 Download PDF

Info

Publication number
CN113672488A
CN113672488A CN202111036944.0A CN202111036944A CN113672488A CN 113672488 A CN113672488 A CN 113672488A CN 202111036944 A CN202111036944 A CN 202111036944A CN 113672488 A CN113672488 A CN 113672488A
Authority
CN
China
Prior art keywords
log
line
texts
text
log text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111036944.0A
Other languages
English (en)
Inventor
徐昌柏
颜冬
李勤
潘瑞温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinqing Technology Co ltd
Original Assignee
Yinqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yinqing Technology Co ltd filed Critical Yinqing Technology Co ltd
Priority to CN202111036944.0A priority Critical patent/CN113672488A/zh
Publication of CN113672488A publication Critical patent/CN113672488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种日志文本处理方法及装置，该方法包括：接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本；根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本；应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。本申请能够在保证日志检索的准确性的基础上，提高日志检索的效率。

Description

日志文本处理方法及装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种日志文本处理方法及装置。
背景技术
目前支付系统中的日志文本通常在日志文件中以多行存储，查询时通常以发起行号+接收行号+文本类型+文本标识号等多个关键字进行过滤，传统的shell脚本方式难以实现关键字在不同物理行并且返回完整报文的需求，即使通过复杂的shell脚本实现，由于shell脚本的执行效率和多次IO的原因，在日志文件数量较多和文件较大时检索速度也较慢，因此需要一种方式，能够实现支付系统的日志检索需求。
发明内容
针对现有技术中的问题，本申请提出了一种日志文本处理方法及装置，能够在保证日志检索的准确性的基础上，提高日志检索的效率。
为了解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种日志文本处理方法，包括：
接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本；
根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本；
应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
进一步地，在所述根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本之后，还包括：
判断所述多条逻辑行日志文本中是否存在占用空间大于占用空间阈值的异常日志文本，若是，输出所述异常日志文本对应的报警信息并中止当前操作。
进一步地，所述应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出，包括：
应用预设的shell脚本并发对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
进一步地，每条逻辑行日志文本的末尾为所述预设的换行符。
第二方面，本申请提供一种日志文本处理装置，包括：
接收模块，用于接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本；
分割模块，用于根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本；
查询模块，用于应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
进一步地，所述日志文本处理装置，还包括：
报警模块，用于判断所述多条逻辑行日志文本中是否存在占用空间大于占用空间阈值的异常日志文本，若是，输出所述异常日志文本对应的报警信息并中止当前操作。
进一步地，所述查询模块，包括：
并发单元，用于应用预设的shell脚本并发对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
进一步地，每条逻辑行日志文本的末尾为所述预设的换行符。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的日志文本处理方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述的日志文本处理方法。
由上述技术方案可知，本申请提供一种日志文本处理方法及装置。其中，该方法包括：接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本；根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本；应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出，能够在保证日志检索的准确性的基础上，提高日志检索的效率；具体地，能够保证输出日志文本的完整性，可以高效且准确的得到日志检索结果；可以日志检索结果，实现对交易过程的监控。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中日志文本处理方法的流程示意图；
图2是本申请另一实施例中日志文本处理方法的流程示意图；
图3是本申请实施例中日志文本处理装置的结构示意图；
图4是本申请另一实施例中日志文本处理装置的结构示意图；
图5为本申请实施例的电子设备的系统构成示意框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有技术中，通常通过shell脚本按行查询日志文件，通过grep的方式过滤关键字，按物理行获取日志信息，这种方式难以实现对关键字在不同物理行的日志数据进行检索，影响日志检索的效率。
基于此，为了在保证日志检索的准确性的基础上，提高日志检索的效率，本申请实施例提供一种日志文本处理装置，该装置可以是一服务器或客户端设备，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备和智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表和智能手环等。
在实际应用中，进行日志文本处理的部分可以在如上述内容所述的服务器侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
具体通过下述各个实施例进行说明。
为了在保证日志检索的准确性的基础上，提高日志检索的效率，本实施例提供一种执行主体是日志文本处理装置的日志文本处理方法，该日志文本处理装置包括但不限于服务器，如图1所示，该方法具体包含有如下内容：
步骤100：接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本。
具体地，所述日志文本处理请求可以包含有：交易日志文件的文件标识，该文件标识用于区分不同的交易日志文件，如，文件名；每条交易日志文本可以包含有：发起行号、接收行号、文本类型和文本标识号等；所述交易日志文件可以是交易过程中在支付系统中生成的xml文件。例如，在打开交易日志文件时，可以支持通配符检索如“/log/当前日期/”下的所有以console开头的文件，应用shell脚本将文件中符合检索条件的逻辑行整行返回；所述多行交易日志文本可以表示多行物理行对应的交易日志文本。
步骤200：根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本。
其中，可以以所述预设的换行符在所述交易日志文件中的位置，对所述多行交易日志文本进行分割；每条逻辑行日志文本的末尾为所述预设的换行符；所述预设的换行符可以根据实际需要进行设置，本申请对此不作限制，例如，</Document>或</Doc>等；各条逻辑行日志文本之间以所述预设的换行符划分；每条逻辑行日志文本可以包含有：发起行号、接收行号、文本类型和文本标识号等；每条逻辑行日志文本可以为一条完整的交易日志报文。
步骤300：应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
具体地，可以从所述多条逻辑行日志文本中筛选出包含有所述关键字的逻辑行日志文本，作为目标逻辑行日志文本输出；所述关键字查询可以支持“与”和“或”组合，即筛选条件中可以限定多个条件必须同时成立，也可以限定多个条件中的一个成立即可。例如，筛选条件包括：文本类型为hvps.111，发起行是A银行，接收行是B银行或C银行。
在一种举例中，所述预设的shell脚本可以包含有：
fmon-n 1"console":"hvps.111.01"&"A银行"&"B银行":"</Document>"
其中，fmon表示程序名称；-n 1表示从文件的第一行开始检索，实际如果参数为1，可以省略此部分；"console"表示文件名；"hvps.111.01"&"A银行"&"B银行"表示逻辑行中需要同时包含三个关键字，即逻辑与的检索条件，此处含义是检索A银行和B银行之间交互的hvps.111.01报文；也可以用“|”符号代替“&”，表示逻辑或的检索条件；"</Document>"为自定义的换行符。
在另一种举例中：所述预设的shell脚本可以包含有：
fmon-n 1"MainSvr.log":"Main0801"&"日终批处理业务"&"fail":"模块Main0801处理结束"
其中，fmon表示程序名称；-n 1表示从文件的第一行开始检索，实际如果参数为1，可以省略此部分；"MainSvr.log"表示文件名；"Main0801"&"日终批处理业务"&"fail"表示逻辑行中需要同时包含三个关键字，即逻辑与的检索条件，此处含义是检索Main0801模块处理批处理时失败的日志；也可以用“|”符号代替“&”，表示逻辑或的检索条件；"模块Main0801处理结束"为自定义的换行符。
为了在保证日志检索效率的基础上，提高日志检索的可靠性，参见图2，在本申请一个实施例中，在步骤200之后，还包括：
步骤201：判断所述多条逻辑行日志文本中是否存在占用空间大于占用空间阈值的异常日志文本，若是，输出所述异常日志文本对应的报警信息并中止当前操作。
具体地，所述异常日志文本可以表示占用空间大于占用空间阈值的逻辑行日志文本；当逻辑行日志文本超过占用空间阈值时，检索条件可能会失效，导致检索不到想要的结果，所述报警信息可以包含有所述异常日志文本的位置信息，可以将所述报警信息输出至所述日志文本处理装置的前端，便于用户及时定位异常原因；可以理解的是，若所述多条逻辑行日志文本中不存在占用空间大于占用空间阈值的异常日志文本，则应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。作为优选，可以设置占用空间阈值为4K，若需要更大的内存占用空间，该占用空间阈值的最大值不超过4M。
为了进一步提高日志文本处理的效率，在本申请一个实施例中，步骤300包括：
步骤301：应用预设的shell脚本并发对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
具体地，通过并发对所述多条逻辑行日志文本进行关键字查询，能够避免应用shell脚本进行多关键字检索时的多次读取，本方案仅需要对所述交易日志文件进行一次读取，能够提高执行效率。
为了进一步说明本方案，本申请提供一种日志文本处理方法的应用实例，具体描述如下：
S1：接收日志文本处理请求。
S2：根据所述日志文本处理请求，获得交易日志文件，该交易日志文件中的数据格式如下：
“<Document>1.从消息队列中获取到消息xx；
2.解析消息成功，其消息类型为yy；
3.根据配置，将该信息转发至zz；
4.消息转发成功；</Document>
<Document>1.从消息队列中获取到消息aa；
……”。
S3：根据预设的换行符，对交易日志文件进行分割，得到多条逻辑行日志报文。
具体地，对于应用产生的日志报文，大多是结构相同但是数据不同的循环输出；本应用实例中的一条报文对应4行物理行，以“</Document>”为换行符，可以将上述四行物理行，分割为一行逻辑行日志报文，即“<Document>1.从消息队列中获取到消息xx；2.解析消息成功，其消息类型为yy；3.根据配置，将该信息转发至zz；4.消息转发成功；</Document>”。
S4：应用预设的shell脚本对所述多条逻辑行日志报文进行关键字查询，得到目标逻辑行日志报文并输出。
由上述描述可知，本应用实例提供的日志文本处理方法，可以自定义换行符，以支付系统的XML报文检索，可以替代以往按照换行符分割文本，按行检索的模式，由于报文通常以</Document>结尾，因此可以设置换行符为</Document>，那么两个换行符之间的文本成为新逻辑上的一行，可以满足支付系统日志检索的需求，并且，由于只需要进行文件的一次读取，而不是shell脚本多关键字解析时的多次读取，可以提高执行效率。
从软件层面来说，为了在保证日志检索的准确性的基础上，提高日志检索的效率，本申请提供一种用于实现所述日志文本处理方法中全部或部分内容的日志文本处理装置的实施例，参见图3，所述日志文本处理装置具体包含有如下内容：
接收模块10，用于接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本。
分割模块20，用于根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本。
查询模块30，用于应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
进一步地，参见图4，所述日志文本处理装置，还包括：
报警模块40，用于判断所述多条逻辑行日志文本中是否存在占用空间大于占用空间阈值的异常日志文本，若是，输出所述异常日志文本对应的报警信息并中止当前操作。
进一步地，所述查询模块，包括：
并发单元，用于应用预设的shell脚本并发对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
其中，每条逻辑行日志文本的末尾为所述预设的换行符。
本说明书提供的日志文本处理装置的实施例具体可以用于执行上述日志文本处理方法的实施例的处理流程，其功能在此不再赘述，可以参照上述日志文本处理方法实施例的详细描述。
由上述描述可知，本申请提供的日志文本处理方法及装置，能够在保证日志检索的准确性的基础上，提高日志检索的效率；具体地，能够保证输出报文的完整性，可以高效且准确的得到日志检索结果。
从硬件层面来说，为了在保证日志检索的准确性的基础上，提高日志检索的效率，本申请提供一种用于实现所述日志文本处理方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现所述日志文本处理装置以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述日志文本处理方法的实施例及用于实现所述日志文本处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图5为本申请实施例的电子设备9600的系统构成的示意框图。如图5所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图5是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在本申请一个或多个实施例中，日志文本处理功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤100：接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本。
步骤200：根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本。
步骤300：应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
从上述描述可知，本申请的实施例提供的电子设备，能够在保证日志检索的准确性的基础上，提高日志检索的效率。
在另一个实施方式中，日志文本处理装置可以与中央处理器9100分开配置，例如可以将日志文本处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现日志文本处理功能。
如图5所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图5中所示的所有部件；此外，电子设备9600还可以包括图5中没有示出的部件，可以参考现有技术。
如图5所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
上述描述可知，本申请的实施例提供的电子设备，能够在保证日志检索的准确性的基础上，提高日志检索的效率。
本申请的实施例还提供能够实现上述实施例中的日志文本处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的日志文本处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本。
步骤200：根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本。
步骤300：应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
从上述描述可知，本申请实施例提供的计算机可读存储介质，能够在保证日志检索的准确性的基础上，提高日志检索的效率。
本申请中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种日志文本处理方法，其特征在于，包括：
接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本；
根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本；
应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
2.根据权利要求1所述的日志文本处理方法，其特征在于，在所述根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本之后，还包括：
判断所述多条逻辑行日志文本中是否存在占用空间大于占用空间阈值的异常日志文本，若是，输出所述异常日志文本对应的报警信息并中止当前操作。
3.根据权利要求1所述的日志文本处理方法，其特征在于，所述应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出，包括：
应用预设的shell脚本并发对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
4.根据权利要求1所述的日志文本处理方法，其特征在于，每条逻辑行日志文本的末尾为所述预设的换行符。
5.一种日志文本处理装置，其特征在于，包括：
接收模块，用于接收日志文本处理请求，并获得该日志文本处理请求对应的交易日志文件，该交易日志文件包括：多行交易日志文本；
分割模块，用于根据预设的换行符，对所述多行交易日志文本进行分割，得到多条逻辑行日志文本；
查询模块，用于应用预设的shell脚本对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
6.根据权利要求5所述的日志文本处理装置，其特征在于，还包括：
报警模块，用于判断所述多条逻辑行日志文本中是否存在占用空间大于占用空间阈值的异常日志文本，若是，输出所述异常日志文本对应的报警信息并中止当前操作。
7.根据权利要求5所述的日志文本处理装置，其特征在于，所述查询模块，包括：
并发单元，用于应用预设的shell脚本并发对所述多条逻辑行日志文本进行关键字查询，得到目标逻辑行日志文本并输出。
8.根据权利要求5所述的日志文本处理装置，其特征在于，每条逻辑行日志文本的末尾为所述预设的换行符。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的日志文本处理方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至4任一项所述的日志文本处理方法。
CN202111036944.0A 2021-09-06 2021-09-06 日志文本处理方法及装置 Pending CN113672488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111036944.0A CN113672488A (zh) 2021-09-06 2021-09-06 日志文本处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111036944.0A CN113672488A (zh) 2021-09-06 2021-09-06 日志文本处理方法及装置

Publications (1)

Publication Number Publication Date
CN113672488A true CN113672488A (zh) 2021-11-19

Family

ID=78548475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111036944.0A Pending CN113672488A (zh) 2021-09-06 2021-09-06 日志文本处理方法及装置

Country Status (1)

Country Link
CN (1) CN113672488A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089563A (zh) * 2022-07-28 2023-05-09 荣耀终端有限公司 日志处理方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947746A (zh) * 2017-10-26 2019-06-28 亿阳信通股份有限公司 一种基于etl流程的数据质量管控方法和系统
CN110032496A (zh) * 2019-04-19 2019-07-19 杭州玳数科技有限公司 一种支持多样化日志合并的日志采集方法及系统
CN112307191A (zh) * 2020-11-03 2021-02-02 平安普惠企业管理有限公司 多系统交互式日志查询方法、装置、设备及存储介质
CN112882994A (zh) * 2021-03-30 2021-06-01 中信银行股份有限公司 一种日志提取方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947746A (zh) * 2017-10-26 2019-06-28 亿阳信通股份有限公司 一种基于etl流程的数据质量管控方法和系统
CN110032496A (zh) * 2019-04-19 2019-07-19 杭州玳数科技有限公司 一种支持多样化日志合并的日志采集方法及系统
CN112307191A (zh) * 2020-11-03 2021-02-02 平安普惠企业管理有限公司 多系统交互式日志查询方法、装置、设备及存储介质
CN112882994A (zh) * 2021-03-30 2021-06-01 中信银行股份有限公司 一种日志提取方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089563A (zh) * 2022-07-28 2023-05-09 荣耀终端有限公司 日志处理方法及相关装置
CN116089563B (zh) * 2022-07-28 2024-03-26 荣耀终端有限公司 日志处理方法及相关装置

Similar Documents

Publication Publication Date Title
US20180365254A1 (en) Method and apparatus for processing information flow data
CN111782470B (zh) 分布式容器日志数据处理方法及装置
CN110297944B (zh) 分布式xml数据处理方法及系统
CN110764881A (zh) 分布式系统后台重试方法及装置
US20200204688A1 (en) Picture book sharing method and apparatus and system using the same
CN112615753A (zh) 一种链路异常追踪方法、第一节点、第二节点以及链路
CN108549586B (zh) 信息处理方法和装置
EP3506599B1 (en) Method for synchronizing contact information, apparatus and medium
CN113435989A (zh) 金融数据处理方法及装置
CN114257532B (zh) 服务端状态探测方法及装置
CN111078506A (zh) 业务数据跑批任务监控方法及装置
CN113672488A (zh) 日志文本处理方法及装置
CN110442439B (zh) 任务进程处理方法、装置和计算机设备
CN110442416B (zh) 用于展示信息的方法、电子设备和计算机可读介质
CN110545296A (zh) 一种日志数据获取方法、装置及其设备
CN113918436A (zh) 日志处理方法及装置
CN114238585A (zh) 基于5g消息的查询方法、装置、计算机设备和存储介质
CN111061518B (zh) 基于驱动节点的数据处理方法、系统、终端设备和存储介质
CN112612848A (zh) 数据实时同步的方法及装置、系统、电子设备、存储介质
CN112396511A (zh) 分布式风控变量数据处理方法、装置及系统
CN113760683B (zh) 日志采集方法及装置
CN110931014A (zh) 基于正则匹配规则的语音识别方法及装置
CN113342501B (zh) 系统故障处理方法及装置
US11531711B1 (en) Forensic criminal investigation digital data intersection
US20240152504A1 (en) Data interaction method, apparatus, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination