CN112346672A - 日志染色方法、装置、设备及存储介质 - Google Patents

日志染色方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112346672A
CN112346672A CN202011232185.0A CN202011232185A CN112346672A CN 112346672 A CN112346672 A CN 112346672A CN 202011232185 A CN202011232185 A CN 202011232185A CN 112346672 A CN112346672 A CN 112346672A
Authority
CN
China
Prior art keywords
log
dyeing
rule
memory database
uncolored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011232185.0A
Other languages
English (en)
Other versions
CN112346672B (zh
Inventor
钟涌
宋春光
杨德文
龙丁奋
皮碧虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tongxingzhe Technology Co ltd
Original Assignee
Shenzhen Tongxingzhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tongxingzhe Technology Co ltd filed Critical Shenzhen Tongxingzhe Technology Co ltd
Priority to CN202011232185.0A priority Critical patent/CN112346672B/zh
Publication of CN112346672A publication Critical patent/CN112346672A/zh
Application granted granted Critical
Publication of CN112346672B publication Critical patent/CN112346672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1284—Local printer device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理领域，公开了一种日志染色方法、装置、设备及存储介质。该方法包括：连接预置接口服务器，在接口服务器中获取待输出的日志数据集；读取预置内存数据库，判断内存数据库中是否存在待更新的染色规则；若存在待更新的染色规则，则读取内存数据库中的染色规则，并将染色规则更新至接口服务器中；若不存在待更新的染色规则，则读取接口服务器中的染色规则；根据染色规则，对日志数据集进行染色处理；提取日志数据集中未被染色的日志数据，生成未染色日志集，以及将未染色日志集传输到内存数据库中，以便预置日志服务器在内存数据库中获取未染色日志集，并将未染色日志集发送至预置MySQL库中。

Description

日志染色方法、装置、设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种日志染色方法、装置、设备及存储介质。
背景技术
由于程序运行的速度极快，人们无法得知程序的运行情况，因此在这种背景下产生了日志记录程序运行的情况。这种日志记录过程，一般来说将程序的所有过程进行记录，方便出现问题时能及时对问题进行排查。
目前最常见的网络日志解决方案中，并不能实现染色功能。在一些具有染色功能的日志中，则染色规则是固定的并且只能简单实现这种功能，并不能提供自定义染色功能。日志由于记录的属性，就会产生大量冗余日志。但是由于不同的需求，导致日志也有不同的打印需要，染色规则也因此需要进行调整。但是，目前染色规则的调整还需要进行程序代码修改才能实现这个功能。因此，在目前条件下需要一种不调整目标程序代码的日志染色规则调整方法。
发明内容
本发明的主要目的在于解决不更改程序代码情况下实现日志染色规则调整的技术问题。
本发明第一方面提供了一种日志染色方法，包括步骤：
连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集；
读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则；
若存在待更新的染色规则，则读取所述内存数据库中的染色规则，并将所述染色规则更新至所述接口服务器中；
若不存在待更新的染色规则，则读取所述接口服务器中的染色规则；
根据所述染色规则，对所述日志数据集进行染色处理；
提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中。
可选的，在本发明第一方面的第一种实现方式中，所述连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集包括：
连接预置接口服务器，读取所述接口服务器中的接口数据库；
将所述接口数据库中的接口名称与预置目标字符进行匹配，得到匹配接口名称；
在所述接口数据库中抓取所述匹配接口名称对应待输出的日志数据集。
可选的，在本发明第一方面的第二种实现方式中，所述根据所述染色规则，对所述日志数据集进行染色处理包括：
读取所述染色规则中的索引键、索引值和间隔染色数；
查询出所述日志数据集中所述索引键对应的地址；
根据所述索引值的大小，基于所述间隔染色数对所述日志数据集中的日志数据进行间隔染色。
可选的，在本发明第一方面的第三种实现方式中，所述根据所述索引值的大小，基于所述间隔染色数对所述日志数据集中的日志数据进行间隔染色包括：
根据所述索引值的大小，依次读取所述日志数据集中的日志数据；
基于所述间隔染色数查询所述日志数据中的日志记录，判断所述日志记录对应的行数是否为奇数；
若为奇数，则对所述日志记录进行染色；
若为偶数，则不对所述日志记录进行染色。
可选的，在本发明第一方面的第四种实现方式中，所述提取所述日志数据集中未被染色的日志数据，生成未染色日志集包括：
逐条读取所述日志数据集中的日志记录；
依次判断所述日志记录是否被染色；
若是未被染色，则对所述日志记录设置按顺序排列的标签数据；
根据所述日志记录的标签数据，按顺序从所述日志数据集中提取日志记录，将所有所述日志记录按所述标签数据的顺序合并生成未染色日志集。
可选的，在本发明第一方面的第五种实现方式中，所述提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中之后，还包括：
根据预置更新间隔时长，定时在所述MySQL库中获取染色规则表；
将所述染色规则表的数据结构转化为所述内存数据库对应的内存染色规则表；
将所述内存染色规则表传输至所述内存数据库中。
可选的，在本发明第一方面的第六种实现方式中，，所述读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则包括：
读取预置内存数据库；
判断所述内存数据库中是否存在所述内存染色规则表的特征字符；
若存在，则确认所述内存数据库存在待更新的染色规则；
若不存在，则确认所述内存数据库不存在待更新的染色规则。
本发明第二方面提供了一种日志染色装置，包括：
连接模块，用于连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集；
判断模块，用于读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则；
更新模块，用于若存在待更新的染色规则，则读取所述内存数据库中的染色规则，并将所述染色规则更新至所述接口服务器中；
读取模块，用于若不存在待更新的染色规则，则读取所述接口服务器中的染色规则；
染色模块，用于根据所述染色规则，对所述日志数据集进行染色处理；
传输模块，用于提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中。
本发明第三方面提供了一种日志染色设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述日志染色设备执行上述的日志染色方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的日志染色方法。
附图说明
图1为本发明实施例中日志染色方法的第一个实施例示意图；
图2为本发明实施例中日志染色方法的第二个实施例示意图；
图3为本发明实施例中日志染色方法的第三个实施例示意图；
图4为本发明实施例中日志染色装置的一个实施例示意图；
图5为本发明实施例中日志染色装置的另一个实施例示意图；
图6为本发明实施例中日志染色设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种日志染色方法、装置、设备及存储介质。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中日志染色方法的第一个实施例包括：
101、连接预置接口服务器，在接口服务器中获取待输出的日志数据集；
在本实施例中，调用接口服务器proc使用api获取日志数据集，日志数据集中具有不同模块的日志数据，每个日志数据中都有至少一条日志记录，日志数据可以有n条日志记录，n可以大于1。
102、读取预置内存数据库，判断内存数据库中是否存在待更新的染色规则；
在本实施例中，通过api服务器接口读取内存数据库shm，判断内存数据库shm中是否存在待更新的染色规则的特征字符串，如果存在特征字符串则说明存在待更新的染色规则，而不存在特征字符串则不存在待更新的染色规则。染色规则使用row、key、value、percent的Excel表格进行描述，加载Excel表格既可以更新染色规则，row是行数据，优先处理row数据较小的染色，key是索引的内容，而value是索引对应的值，percent是表示染色比率，即日志打印量，如30则每30条这个日志只有1条会被放行，其余的均被染色。
103、若存在待更新的染色规则，则读取内存数据库中的染色规则，并将染色规则更新至接口服务器中；
在本实施例中，如果存在染色规则，则获取内存数据库shm中带有染色规则的Excel表格，将Excel表格加载更新到接口服务器proc的数据中。
104、若不存在待更新的染色规则，则读取接口服务器中的染色规则；
在本实施例中，如果没有染色规则，就将接口服务器proc中带有染色规则的Excel表格读取，将Excel表格中的row、key、value、percent根据row和key/value/percent的科目的内容进行排序，进行格式转换。
105、根据染色规则，对日志数据集进行染色处理；
在本实施例中，将Excel表格中的row、key、value、percent根据row和key/value/percent的科目的内容进行排序。在进行格式转换后，根据转换后的格式依次通过索引确定染色的日志种类，索引值确定染色处理数据的位置，而percent间隔染色数，则控制染色的范围。如percent为30则认为每30条这个日志只有1条会被放行，其他日志将被染色。
106、提取日志数据集中未被染色的日志数据，生成未染色日志集，以及将未染色日志集传输到内存数据库中，以便预置日志服务器在内存数据库中获取未染色日志集，并将未染色日志集发送至预置MySQL库中。
在本实施例中，未被染色的日志将被打印出，但是日志数据是一条条出现的，且在不同日志数据中存在数量不同的日志记录如：{1ssx,2dsax,3pokn,4dsss，5lszl}和{1dpo，2jdjk，3dkm，4sqdf}两个不同日志数据中日志记录，每个日志记录都有头信息表明顺序，后面为日志数据，并且不同日志数据的容量不同，将不同日志数据中未被染色的日志记录提取出生成未染色日志集，将未染色日志集作为打印的日志将未染色日志集发送至日志服务器中，由日志服务器打印出未染色日志集，将未染色日志集发送至预置MySQL数据库中存储，其中，MySQL数据库是一个关系型数据库管理系统，使用的SQL语言是用于访问数据库的最常用标准化语言。
本发明实施例中，通过将打印日志存在MySQL数据库中，修改染色规则时，只需要维护特定格式的Excel表格，解决了不需修改程序代码即可完成染色规则的技术问题。
请参阅图2，本发明实施例中日志染色方法的第二个实施例包括：
201、连接预置接口服务器，读取接口服务器中的接口数据库；
在本实施例中，通过有线或无线连接接口服务器中的接口数据库具有很多接口端名称。
202、将接口数据库中的接口名称与预置目标字符进行匹配，得到匹配接口名称；
在本实施例中，接口数据库中{sd，dsads，skkk，pkgd，jnbx，jdkpog}共有6个数据库，而接口名称为“sd”进行名称字符匹配。
203、在接口数据库中抓取匹配接口名称对应待输出的日志数据集；
在本实施例中，{sd，dsads，skkk，pkgd，jnbx，jdkpog}中访问sd的接口，从sd接口读取日志数据集。
204、读取预置内存数据库，判断内存数据库中是否存在待更新的染色规则；
本实施例描述的方法实施例与第一个实施例类似，可以参考前述方法实施例中的对应过程，在此不再赘述。
205、若存在待更新的染色规则，则读取内存数据库中的染色规则，并将染色规则更新至接口服务器中；
本实施例描述的方法实施例与第一个实施例类似，可以参考前述方法实施例中的对应过程，在此不再赘述。
206、若不存在待更新的染色规则，则读取接口服务器中的染色规则；
本实施例描述的方法实施例与第一个实施例类似，可以参考前述方法实施例中的对应过程，在此不再赘述。
207、读取染色规则中的索引键、索引值和间隔染色数；
在本实施例中，索引键key表示key-1、key-2、key-3，则对应的索引值为val-1-1、val-2-1、val-3-1，间隔染色数percent为10、20、30分别为每10个不染色1个、每20个不染色1个、每30个不染色1个。
208、查询出日志数据集中索引键对应的地址；
在本实施例中，找到索引键key的数据存放地址，例如：紧急类型的日志和普通类型的日志并不会存放在同一个文件夹地址。
209、根据索引值的大小，依次读取日志数据集中的日志数据；
在本实施例中，索引值在索引键类型下的文件夹中找到对应排序的日志。例如，在普通类型的索引键下，索引值为40，则是找到第40个存储的数据。
210、基于间隔染色数查询日志数据中的日志记录，判断日志记录对应的行数是否为奇数；
在本实施例中，读取到第40个存储数据，从第40个存储数据开始执行间隔染色数percent为10的操作，读取到第10个染色日志的数据时，判断最开始的属性row属性是否为奇数
211、若为奇数，则对日志记录进行染色；
在本实施例中，如果开始属性row的属性为5，将这条日志记录染色。
212、若为偶数，则不对日志记录进行染色；
在本实施例中，如果开始属性row的属性为8，则不对这条已经被选中的染色日志染色。
213、逐条读取日志数据集中的日志记录；
在本实施例中，将日志数据集中所有的日志记录根据索引键排序，日志记录的排序进行读取。
214、依次判断日志记录是否被染色；
在本实施例中，读取的日志数据的属性，查看属性返回值是为0还是1，其中，0表示未染色，1表示染色。
215、若是未被染色，则对日志记录设置按顺序排列的标签数据；
在本实施例中，如果返回值为0，则按照顺序设置标签“V1”、“V2”、....、“VN”，有不同的标签数据。
216、根据日志记录的标签数据，按顺序从日志数据集中提取日志记录，将所有日志记录按标签数据的顺序合并生成未染色日志集；
在本实施例中，通过标签顺序“V1”、“V2”、....、“VN”提取日志记录，生成未染色日志集。
217、将未染色日志集传输到内存数据库中，以便预置日志服务器在内存数据库中获取未染色日志集，并将未染色日志集发送至预置MySQL库中。
本实施例描述的方法实施例与第一个实施例类似，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例中，通过将打印日志存在MySQL数据库中，修改染色规则时，只需要维护特定格式的Excel表格，解决了不需修改程序代码即可完成染色规则的技术问题。
请参阅图3，本发明实施例中日志染色方法的第三个实施例包括：
301、连接预置接口服务器，在接口服务器中获取待输出的日志数据集；
本实施例描述的方法实施例与第一个实施例类似，可以参考前述方法实施例中的对应过程，在此不再赘述。
302、读取预置内存数据库；
在本实施例中，读取内存数据库的名单{ss6，sdasd2，dsd，hf，jjds，dsvfv}。
303、判断内存数据库中是否存在内存染色规则表的特征字符；
在本实施例中，内存染色规则表的特征字符是“jjds”，正则匹配判断{ss6，sdasd2，dsd，hf，jjds，dsvfv}中是否存在“jjds”。
304、若存在，则确认内存数据库存在待更新的染色规则；
在本实施例中，存在“jjds”认定内存数据库shm中存在需要更新的染色规则。
305、若不存在，则确认内存数据库不存在待更新的染色规则；
在本实施例中，不存在“jjds”则认定内存数据库shm中不存在需要更新的染色规则。
306、若存在待更新的染色规则，则读取内存数据库中的染色规则，并将染色规则更新至接口服务器中；
307、若不存在待更新的染色规则，则读取接口服务器中的染色规则；
308、根据染色规则，对日志数据集进行染色处理；
309、提取日志数据集中未被染色的日志数据，生成未染色日志集，以及将未染色日志集传输到内存数据库中，以便预置日志服务器在内存数据库中获取未染色日志集，并将未染色日志集发送至预置MySQL库中；
306-309的描述的方法实施例与第一个实施例类似，可以参考前述方法实施例中的对应过程，在此不再赘述。
310、根据预置更新间隔时长，定时在MySQL库中获取染色规则表；
在本实施例中，更新间隔时长为10分钟，则每间隔10分钟就在MySQL库中读取染色规则表
311、将染色规则表的数据结构转化为内存数据库对应的内存染色规则表；
在本实施例中，将Excel表格中的row、key、value、percent根据row和key/value/percent的科目的内容进行排序，进行格式转换。
312、将内存染色规则表传输至内存数据库中。
在本实施例中，Excel表格中格式转换后的内存染色规则表，存储在内存数据库shm中，将内存数据库中原来的染色规则进行替换。
本发明实施例中，通过将打印日志存在MySQL数据库中，修改染色规则时，只需要维护特定格式的Excel表格，解决了不需修改程序代码即可完成染色规则的技术问题。
上面对本发明实施例中日志染色方法进行了描述，下面对本发明实施例中日志染色装置进行描述，请参阅图4，本发明实施例中日志染色装置一个实施例包括：
连接模块401，用于连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集；
判断模块402，用于读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则；
更新模块403，用于若存在待更新的染色规则，则读取所述内存数据库中的染色规则，并将所述染色规则更新至所述接口服务器中；
读取模块404，用于若不存在待更新的染色规则，则读取所述接口服务器中的染色规则；
染色模块405，用于根据所述染色规则，对所述日志数据集进行染色处理；
传输模块406，用于提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中。
本发明实施例中，通过将打印日志存在MySQL数据库中，修改染色规则时，只需要维护特定格式的Excel表格，解决了不需修改程序代码即可完成染色规则的技术问题。
请参阅图5，本发明实施例中日志染色装置的另一个实施例包括：
连接模块401，用于连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集；
判断模块402，用于读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则；
更新模块403，用于若存在待更新的染色规则，则读取所述内存数据库中的染色规则，并将所述染色规则更新至所述接口服务器中；
读取模块404，用于若不存在待更新的染色规则，则读取所述接口服务器中的染色规则；
染色模块405，用于根据所述染色规则，对所述日志数据集进行染色处理；
传输模块406，用于提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中。
其中，所述连接模块401具体用于：
连接预置接口服务器，读取所述接口服务器中的接口数据库；
将所述接口数据库中的接口名称与预置目标字符进行匹配，得到匹配接口名称；
在所述接口数据库中抓取所述匹配接口名称对应待输出的日志数据集。
其中，所述染色模块405包括：
读取单元4051，用于读取所述染色规则中的索引键、索引值和间隔染色数；
查询单元4052，用于查询出所述日志数据集中所述索引键对应的地址；
染色单元4053，用于根据所述索引值的大小，基于所述间隔染色数对所述日志数据集中的日志数据进行间隔染色。
其中，所述染色单元4053具体用于：
根据所述索引值的大小，依次读取所述日志数据集中的日志数据；
基于所述间隔染色数查询所述日志数据中的日志记录，判断所述日志记录对应的行数是否为奇数；
若为奇数，则对所述日志记录进行染色；
若为偶数，则不对所述日志记录进行染色。
其中，所述传输模块406具体用于：
逐条读取所述日志数据集中的日志记录；
依次判断所述日志记录是否被染色；
若是被染色，则对所述日志记录设置按顺序排列的标签数据；
根据所述日志记录的标签数据，按顺序从所述日志数据集中提取日志记录，将所有所述日志记录按所述标签数据的顺序合并生成未染色日志集。
其中，所述判断模块402具体用于：
读取预置内存数据库；
判断所述内存数据库中是否存在所述内存染色规则表的特征字符；
若存在，则确认所述内存数据库存在待更新的染色规则；
若不存在，则确认所述内存数据库不存在待更新的染色规则。
其中，所述日志染色装置还包括规则替换模块407，所述规则替换模块407具体用于：
根据预置更新间隔时长，定时在所述MySQL库中获取染色规则表；
将所述染色规则表的数据结构转化为所述内存数据库对应的内存染色规则表；
将所述内存染色规则表传输至所述内存数据库中。
本发明实施例中，通过将打印日志存在MySQL数据库中，修改染色规则时，只需要维护特定格式的Excel表格，解决了不需修改程序代码即可完成染色规则的技术问题。
上面图4和图5从模块化功能实体的角度对本发明实施例中的日志染色装置进行详细描述，下面从硬件处理的角度对本发明实施例中日志染色设备进行详细描述。
图6是本发明实施例提供的一种日志染色设备的结构示意图，该日志染色设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对日志染色设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在日志染色设备600上执行存储介质630中的一系列指令操作。
基于日志染色设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的日志染色设备结构并不构成对基于日志染色设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述日志染色方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种日志染色方法，其特征在于，包括步骤：
连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集；
读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则；
若存在待更新的染色规则，则读取所述内存数据库中的染色规则，并将所述染色规则更新至所述接口服务器中；
若不存在待更新的染色规则，则读取所述接口服务器中的染色规则；
根据所述染色规则，对所述日志数据集进行染色处理；
提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中。
2.根据权利要求1所述的日志染色方法，其特征在于，所述连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集包括：
连接预置接口服务器，读取所述接口服务器中的接口数据库；
将所述接口数据库中的接口名称与预置目标字符进行匹配，得到匹配接口名称；
在所述接口数据库中抓取所述匹配接口名称对应待输出的日志数据集。
3.根据权利要求1所述的日志染色方法，其特征在于，所述根据所述染色规则，对所述日志数据集进行染色处理包括：
读取所述染色规则中的索引键、索引值和间隔染色数；
查询出所述日志数据集中所述索引键对应的地址；
根据所述索引值的大小，基于所述间隔染色数对所述日志数据集中的日志数据进行间隔染色。
4.根据权利要求3所述的日志染色方法，其特征在于，所述根据所述索引值的大小，基于所述间隔染色数对所述日志数据集中的日志数据进行间隔染色包括：
根据所述索引值的大小，依次读取所述日志数据集中的日志数据；
基于所述间隔染色数查询所述日志数据中的日志记录，判断所述日志记录对应的行数是否为奇数；
若为奇数，则对所述日志记录进行染色；
若为偶数，则不对所述日志记录进行染色。
5.根据权利要求1所述的日志染色方法，其特征在于，所述提取所述日志数据集中未被染色的日志数据，生成未染色日志集包括：
逐条读取所述日志数据集中的日志记录；
依次判断所述日志记录是否被染色；
若是未被染色，则对所述日志记录设置按顺序排列的标签数据；
根据所述日志记录的标签数据，按顺序从所述日志数据集中提取日志记录，将所有所述日志记录按所述标签数据的顺序合并生成未染色日志集。
6.根据权利要求1所述的日志染色方法，其特征在于，所述提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中之后，还包括：
根据预置更新间隔时长，定时在所述MySQL库中获取染色规则表；
将所述染色规则表的数据结构转化为所述内存数据库对应的内存染色规则表；
将所述内存染色规则表传输至所述内存数据库中。
7.根据权利要求6所述的日志染色方法，其特征在于，所述读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则包括：
读取预置内存数据库；
判断所述内存数据库中是否存在所述内存染色规则表的特征字符；
若存在，则确认所述内存数据库存在待更新的染色规则；
若不存在，则确认所述内存数据库不存在待更新的染色规则。
8.一种日志染色装置，其特征在于，所述日志染色装置包括：
连接模块，用于连接预置接口服务器，在所述接口服务器中获取待输出的日志数据集；
判断模块，用于读取预置内存数据库，判断所述内存数据库中是否存在待更新的染色规则；
更新模块，用于若存在待更新的染色规则，则读取所述内存数据库中的染色规则，并将所述染色规则更新至所述接口服务器中；
读取模块，用于若不存在待更新的染色规则，则读取所述接口服务器中的染色规则；
染色模块，用于根据所述染色规则，对所述日志数据集进行染色处理；
传输模块，用于提取所述日志数据集中未被染色的日志数据，生成未染色日志集，以及将所述未染色日志集传输到所述内存数据库中，以便预置日志服务器在所述内存数据库中获取所述未染色日志集，并将所述未染色日志集发送至预置MySQL库中。
9.一种日志染色设备，其特征在于，所述日志染色设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述日志染色设备执行如权利要求1-7中任一项所述的日志染色方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的日志染色方法。
CN202011232185.0A 2020-11-06 2020-11-06 日志染色方法、装置、设备及存储介质 Active CN112346672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011232185.0A CN112346672B (zh) 2020-11-06 2020-11-06 日志染色方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011232185.0A CN112346672B (zh) 2020-11-06 2020-11-06 日志染色方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112346672A true CN112346672A (zh) 2021-02-09
CN112346672B CN112346672B (zh) 2023-01-03

Family

ID=74429256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011232185.0A Active CN112346672B (zh) 2020-11-06 2020-11-06 日志染色方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112346672B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356257A (zh) * 2022-03-04 2022-04-15 平安商业保理有限公司 日志打印方法、装置、计算机设备、存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387025A (zh) * 2010-09-03 2012-03-21 腾讯科技（深圳）有限公司 一种采集业务数据包日志信息的方法及业务逻辑处理系统
CN102480383A (zh) * 2010-11-23 2012-05-30 腾讯科技（深圳）有限公司 一种日志消息报文处理方法及装置
US20140188860A1 (en) * 2012-12-28 2014-07-03 Ge Medical Systems Global Technology Company, Llc Method and device for searching and displaying scattered logs
CN104298771A (zh) * 2014-10-30 2015-01-21 南京信息工程大学 一种海量web日志数据查询与分析方法
CN108733698A (zh) * 2017-04-19 2018-11-02 腾讯科技（深圳）有限公司 一种日志消息的处理方法及后台服务系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387025A (zh) * 2010-09-03 2012-03-21 腾讯科技（深圳）有限公司 一种采集业务数据包日志信息的方法及业务逻辑处理系统
CN102480383A (zh) * 2010-11-23 2012-05-30 腾讯科技（深圳）有限公司 一种日志消息报文处理方法及装置
US20140188860A1 (en) * 2012-12-28 2014-07-03 Ge Medical Systems Global Technology Company, Llc Method and device for searching and displaying scattered logs
CN104298771A (zh) * 2014-10-30 2015-01-21 南京信息工程大学 一种海量web日志数据查询与分析方法
CN108733698A (zh) * 2017-04-19 2018-11-02 腾讯科技（深圳）有限公司 一种日志消息的处理方法及后台服务系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356257A (zh) * 2022-03-04 2022-04-15 平安商业保理有限公司 日志打印方法、装置、计算机设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN112346672B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
US11599400B2 (en) Segmenting machine data into events based on source signatures
CN110908997B (zh) 数据血缘构建方法、装置、服务器及可读存储介质
CN112540923B (zh) 接口参数校验与转换方法、装置、设备及存储介质
US8782096B2 (en) Virtual repository management
EP1990740A1 (en) Schema matching for data migration
US9229971B2 (en) Matching data based on numeric difference
CN110659282B (zh) 数据路由的构建方法、装置、计算机设备和存储介质
CN111506621B (zh) 一种数据统计方法及装置
GB2362969A (en) Message transformation selection
US11494395B2 (en) Creating dashboards for viewing data in a data storage system based on natural language requests
US6513044B2 (en) External system interface method and system
CN112579610A (zh) 多数据源结构分析方法、系统、终端设备及存储介质
CN110674113A (zh) 数据的一键迁移方法、装置、电子设备及存储介质
KR970702523A (ko) 인터페이스 장치 및 방법(interface device and method)
US10901811B2 (en) Creating alerts associated with a data storage system based on natural language requests
CN111443901A (zh) 一种基于Java反射的业务扩展方法及装置
CN112346672B (zh) 日志染色方法、装置、设备及存储介质
US20090094229A1 (en) Method and apparatus for exploiting 'trace' function to support database integration
KR100906454B1 (ko) 데이터베이스 로그 정보 관리 장치 및 방법
US20200201834A1 (en) Systems and methods of efficient extensions of relational tables in a database
US11841852B2 (en) Tenant specific and global pretagging for natural language queries
CN113868138A (zh) 测试数据的获取方法、系统、设备及存储介质
CN114866627A (zh) 报文核对方法、装置、处理器及电子设备
CN113778348A (zh) 日志染色方法、装置、电子设备及计算机可读存储介质
CN112035471A (zh) 一种事务处理方法及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant