CN117971785A - 终端日志数据处理方法、装置、计算机设备和存储介质 - Google Patents
终端日志数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117971785A CN117971785A CN202311675537.3A CN202311675537A CN117971785A CN 117971785 A CN117971785 A CN 117971785A CN 202311675537 A CN202311675537 A CN 202311675537A CN 117971785 A CN117971785 A CN 117971785A
- Authority
- CN
- China
- Prior art keywords
- data table
- terminal
- service data
- log
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012795 verification Methods 0.000 claims description 41
- 238000007726 management method Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003780 insertion Methods 0.000 claims description 13
- 230000037431 insertion Effects 0.000 claims description 13
- 238000010200 validation analysis Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种终端日志数据处理方法、装置、计算机设备和存储介质。所述方法包括：首先，获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；之后，基于所述终端业务数据表名称确定对应的业务数据表；最后，基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。也就是说，通过藕合数据库基础操作，将不同的终端日志数据统一管理存储在统一格式的业务数据表中，相较于传统的由终端自行处理终端日志数据，不仅能够统筹管理终端日志，而且减少了终端日志在业务场景的堆积，降低了复杂度，更进一步的，统一格式管理大大提高了处理效率。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种终端日志数据处理方法、装置、计算机设备和存储介质。
背景技术
随着互联网的快速发展，近年来，对于终端的安全防护越来越受到人们重视，各式各样的终端安全管理产品应运而生。从传统的杀毒软件EPP到端点检测与响应EDR，再到可拓展威胁检测与响应XDR，以及终端一体化平台UES和云工作负载平台CWPP等终端安全管理产品，在实现功能的过程中，都不可避免的需要处理大量的日志。
相关技术中，通常是由终端安全管理产品自行处理不同的终端日志并上报数据管理中心或由数据管理中心统一处理所有的终端日志，然而由于日志场景的多样性、复杂性，处理方式也需要对应复杂变化，导致终端相关代码冗余复杂繁重的工作，大量待处理的终端日志堆积在业务场景中造成业务设计的复杂度成倍增加，堆积在数据管理中心中造成数据管理中心的工作倍增，效率低下。
因此，相关技术中亟需一种能够统筹管理终端日志、降低复杂度以及提高处理效率的方式。
发明内容
基于此，有必要针对上述技术问题，提供一种能够统筹管理终端日志、降低复杂度以及提高处理效率的终端日志数据处理方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种终端日志数据处理方法。所述方法包括：
获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；
基于所述终端业务数据表名称确定对应的业务数据表；
基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
可选的，在本申请的一个实施例中，所述获取终端日志数据之前包括：
获取终端业务配置文件；
基于所述终端业务配置文件创建日志数据存储文件；
基于所述日志数据存储文件创建所述终端业务配置文件对应的业务数据表；
填充预设字段到所述业务数据表。
可选的，在本申请的一个实施例中，所述日志类型包括数据追加类型，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据追加类型确定数据库操作指令为插入指令；
基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾。
可选的，在本申请的一个实施例中，所述日志类型包括数据更新类型，所述待处理字段内容包括关键索引、验证值，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据更新类型确定数据库操作指令为插入指令、删除指令和更新指令；
判断所述关键索引与所述业务数据表中的关键索引是否相同，基于所述删除指令将业务数据表中不相同的关键索引对应的字段内容删除，基于所述插入指令将业务数据表中不存在的关键索引对应的待处理字段内容添加至所述业务数据表末尾；
判断所述关键索引与业务数据表中关键索引相同的字段内容的验证值是否相同，若不相同，则基于所述更新指令将关键索引相同验证值不同的待处理字段内容添加至所述业务数据表。
可选的，在本申请的一个实施例中，所述日志类型包括数据更新追加类型，所述待处理字段内容包括关键索引和验证值，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据更新追加类型确定数据库操作指令为插入指令和更新指令；
查询所述业务数据表中是否存在相同的关键索引，若不存在，则基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾；
若存在，则判断对应的验证值与所述验证值是否相同，若不相同，则基于所述更新指令将所述待处理字段内容添加至所述业务数据表。
可选的，在本申请的一个实施例中，所述日志类型包括数据覆盖类型，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据覆盖类型确定数据库操作指令为插入指令和删除指令；
基于所述删除指令删除所述业务数据表中原有的字段内容，基于所述插入指令将所述待处理字段内容添加至所述业务数据表。
可选的，在本申请的一个实施例中，所述终端日志数据还包括终端业务优先级，所述方法还包括：
基于所述业务数据表创建游标管理表；
将所述业务数据表更新数据依据所述终端业务优先级上报给管理中心，并将上报状态记录在游标管理表中。
第二方面，本申请还提供了一种终端日志数据处理装置。所述装置包括：
数据获取模块，用于获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；
业务数据表确定模块，用于基于所述终端业务数据表名称确定对应的业务数据表；
终端日志数据处理模块，用于基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述各个实施例所述方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个实施例所述方法的步骤。
上述终端日志数据处理方法、装置、计算机设备和存储介质，首先，获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；之后，基于所述终端业务数据表名称确定对应的业务数据表；最后，基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。也就是说，通过藕合数据库基础操作，将不同的终端日志数据统一管理存储在统一格式的业务数据表中，相较于传统的由终端自行处理终端日志数据，不仅能够统筹管理终端日志，而且减少了终端日志在业务场景的堆积，降低了复杂度，更进一步的，统一格式管理大大提高了处理效率。
附图说明
图1为一个实施例中终端日志数据处理方法的应用环境图；
图2为一个实施例中终端日志数据处理方法的流程示意图；
图3为一个实施例中终端日志数据处理初始化的流程示意图；
图4为一个实施例中终端日志数据处理方法应用的流程示意图；
图5为一个实施例中终端日志数据处理方法具体实施的流程示意图；
图6为一个实施例中终端日志数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的终端日志数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种终端日志数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S201：获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容。
本申请实施例中，首先，获取终端日志数据，终端日志数据指各个终端安全管理业务例如杀毒、数据防泄漏、主机审计、端点检测与响应等在对终端进行安全管理的过程中所产生的日志数据，终端日志数据中至少包括终端业务数据表名称table、日志类型table_type、待处理字段内容fields，其中，终端业务数据表名称table指数据存储文件对应的数据库表名称，日志类型指数据的操作类型，不同类型的日志数据对应的操作不同，待处理字段内容即需要存储的数据，一般为数组类型。
S203：基于所述终端业务数据表名称确定对应的业务数据表。
本申请实施例中，获取终端日志数据之后，基于其中的终端业务数据表名称table确定对应的业务数据表，即待处理字段要存储的数据库表，具体应用中，业务数据表是根据不同的终端业务日志数据特点事先创建的表格，具有统一的格式，对应不同的终端业务场景，用于存储各终端业务产生的日志数据。
S205：基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
本申请实施例中，确定业务数据表之后，基于终端日志数据中的日志类型确定数据库操作指令，其中，数据库操作指令包括插入指令、更新指令、删除指令等，之后，基于确定的数据库操作指令将待处理字段内容添加到对应的业务数据表中。具体应用中，日志类型可以包括数据追加、数据更新、数据更新追加、数据覆盖等，不同的日志类型对应不同的数据库操作指令，例如数据追加就不需要进行数据比对，只需要将待处理字段直接插入业务数据表即可，同样的，数据覆盖也不需要进行数据比对，只需要删除原有业务数据表中的数据并将待处理字段直接插入业务数据表即可，对于数据更新和数据更新追加，还需要进行数据比对，只更新或只更新追加不同的数据至对应的业务数据表。
上述终端日志数据处理方法中，首先，获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；之后，基于所述终端业务数据表名称确定对应的业务数据表；最后，基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。也就是说，通过藕合数据库基础操作，将不同的终端日志数据统一管理存储在统一格式的业务数据表中，相较于传统的由终端自行处理终端日志数据，不仅能够统筹管理终端日志，而且减少了终端日志在业务场景的堆积，降低了复杂度，更进一步的，统一格式管理大大提高了处理效率。
在本申请的一个实施例中，所述获取终端日志数据之前包括：
S301：获取终端业务配置文件。
S303：基于所述终端业务配置文件创建日志数据存储文件。
S305：基于所述日志数据存储文件创建所述终端业务配置文件对应的业务数据表。
S307：填充预设字段到所述业务数据表。
在本申请的一个实施例中，在获取终端日志数据之前，需要进行初始化，首先，获取终端业务配置文件，终端业务配置文件是由各个终端结合自身业务特点，按照统一规定的格式，设计结合自身业务特点的数据库表规则，设计的数据库表规则统一存储在一个XDT文件中。之后，基于终端业务配置文件即XDT文件，创建日志数据存储文件，即存储所有日志数据的XDB文件，之后，基于日志数据存储文件，在日志数据存储文件XDB文件中，创建各个终端业务配置文件对应的业务数据表，用于存储各个终端业务的日志数据。最后，给业务数据表填充预设字段，预设字段指数据库表的必要字段要素，包括记录日志开始时间stm，记录日志结束时间ltm、数据库索引id、数据库对应的操作OP等。具体应用中，如图3所示，终端业务通过总线消息将设计的终端业务配置文件发送给可以进行终端日志数据处理的系统，由系统基于终端业务配置文件创建日志数据存储文件，并在日志数据存储文件中创建终端业务配置文件对应的业务数据表，并自动补充预设字段。
本实施例中，通过获取终端业务配置文件，基于终端业务配置文件创建日志数据存储文件，基于日志数据存储文件创建终端业务配置文件对应的业务数据表，填充预设字段到所述业务数据表，能够初始化终端日志数据处理流程，统一创建日志数据存储文件，提高了处理效率。
在本申请的一个实施例中，所述日志类型包括数据追加类型，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
S401：基于数据追加类型确定数据库操作指令为插入指令。
S403：基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾。
在本申请的一个实施例中，日志类型包括数据追加类型，即当日志类型table_type为数据追加类型append时，基于日志类型数据追加类型可以对应确定数据库操作指令为插入指令sql_insert，则基于插入指令将待处理字段内容添加到业务数据表末尾。具体的，日志类型为数据追加类型，说明不需要将待处理字段内容与业务数据表中已有的字段内容进行比较，直接采用数据库插入操作指令，将待处理字段内容直接插入到对应的业务数据表末尾即可。
本实施例中，通过基于数据追加类型确定数据库操作指令为插入指令，基于插入指令将待处理字段内容添加至业务数据表末尾，能够将数据追加类型的终端日志数据准确添加至对应的业务数据表中。
在本申请的一个实施例中，所述日志类型包括数据更新类型，所述待处理字段内容包括关键索引、验证值，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
S501：基于数据更新类型确定数据库操作指令为插入指令、删除指令和更新指令。
S503：判断所述关键索引与所述业务数据表中的关键索引是否相同，基于所述删除指令将业务数据表中不相同的关键索引对应的字段内容删除，基于所述插入指令将业务数据表中不存在的关键索引对应的待处理字段内容添加至所述业务数据表末尾。
S505：判断所述关键索引与业务数据表中关键索引相同的字段内容的验证值是否相同，若不相同，则基于所述更新指令将关键索引相同验证值不同的待处理字段内容添加至所述业务数据表。
在本申请的一个实施例中，日志类型包括数据更新类型，待处理字段内容中包括关键索引ukey和验证值uvalue，关键索引ukey为每个字段内容的唯一标识，验证值uvalue为一条记录多个字段的一个CRC值，均用于进行数据比对。当日志类型table_type为数据更新类型update时，基于数据更新类型update确定对应的数据库操作指令为插入指令sql_insert、删除指令sql_delete和更新指令sql_update。具体的，此时获取的终端日志数据通常为全量数据，首先，判断关键索引ukey和业务数据表中已存在的关键索引是否相同，即判断全量数据和业务数据表的数据是否不同，当出现业务数据表中有的关键索引而全量数据中没有时，采用删除指令sql_delete将业务数据表中不相同的关键索引对应的字段内容删除，当出现全量数据中有的关键索引而业务数据表中没有时，采用插入指令sql_insert将业务数据表中不存在的关键索引对应的待处理字段内容插入到业务数据表的末尾，对于全量数据的关键索引ukey和业务数据表中已存在的关键索引相同的待处理字段内容，需要进一步基于验证值uvalue判断是否相同，确定业务数据表中的数据是否需要更新，当验证值uvalue不相同时，采用更新指令sql_update将对应的关键索引ukey相同但验证值uvalue不同的待处理字段内容更新到业务数据表中。
本实施例中，通过基于数据更新类型确定数据库操作指令为插入指令、删除指令和更新指令，判断关键索引与业务数据表中的关键索引是否相同，基于删除指令将业务数据表中不相同的关键索引对应的字段内容删除，基于插入指令将业务数据表中不存在的关键索引对应的待处理字段内容添加至业务数据表末尾，判断关键索引与业务数据表中关键索引相同的字段内容的验证值是否相同，若不相同，则基于更新指令将关键索引相同验证值不同的待处理字段内容添加至业务数据表，能够将数据更新类型的终端日志数据准确添加至对应的业务数据表中。
在本申请的一个实施例中，所述日志类型包括数据更新追加类型，所述待处理字段内容包括关键索引和验证值，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
S601：基于数据更新追加类型确定数据库操作指令为插入指令和更新指令。
S603：查询所述业务数据表中是否存在相同的关键索引，若不存在，则基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾。
S605：若存在，则判断对应的验证值与所述验证值是否相同，若不相同，则基于所述更新指令将所述待处理字段内容添加至所述业务数据表。
在本申请的一个实施例中，日志类型包括数据更新追加类型，待处理字段内容中包括关键索引ukey和验证值uvalue，关键索引ukey为每个字段内容的唯一标识，验证值uvalue为一条记录多个字段的一个CRC值，均用于进行数据比对。当日志类型table_type为数据更新类型upappend时，基于数据更新类型upappend确定对应的数据库操作指令为插入指令sql_insert和更新指令sql_update。具体的，此时获取的终端日志数据通常为单条数据，首先，查询业务数据表中是否存在相同的关键索引，如果不存在，采用插入指令sql_insert直接将待处理字段内容插入到业务数据表的末尾即可，如果存在，则需要进一步判断字段内容是否需要更新追加，判断业务数据表中对应的验证值与验证值uvalue是否相同，如果不相同，说明字段内容需要更新追加，采用更新指令sql_update将待处理字段内容更新到业务数据表中对应的位置。
本实施例中，通过基于数据更新追加类型确定数据库操作指令为插入指令和更新指令，查询业务数据表中是否存在相同的关键索引，若不存在，则基于插入指令将待处理字段内容添加至业务数据表末尾，若存在，则判断对应的验证值与验证值是否相同，若不相同，则基于更新指令将待处理字段内容添加至业务数据表，能够将数据更新追加类型的终端日志数据准确添加至对应的业务数据表中。
在本申请的一个实施例中，所述日志类型包括数据覆盖类型，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
S701：基于数据覆盖类型确定数据库操作指令为插入指令和删除指令。
S703：基于所述删除指令删除所述业务数据表中原有的字段内容，基于所述插入指令将所述待处理字段内容添加至所述业务数据表。
在本申请的一个实施例中，日志类型包括数据覆盖类型，即当日志类型table_type为数据覆盖类型over时，基于数据覆盖类型可以对应确定数据库操作指令为插入指令sql_insert和删除指令sql_delete，则基于删除指令删除业务数据表中原有的字段内容，并基于插入指令将待处理字段内容添加至业务数据表。具体的，日志类型为数据覆盖类型，说明不需要将待处理字段内容与业务数据表中已有的字段内容进行比较，只要先采用数据库删除操作指令将业务数据表中的字段内容清空，之后再采用数据库插入操作指令将待处理字段内容全部插入到对应的业务数据表中即可。
本实施例中，通过基于数据覆盖类型确定数据库操作指令为插入指令和删除指令，基于删除指令删除业务数据表中原有的字段内容，基于插入指令将待处理字段内容添加至业务数据表，能够将数据覆盖类型的终端日志数据准确添加至对应的业务数据表中。
在本申请的一个实施例中，所述终端日志数据还包括终端业务优先级，所述方法还包括：
S801：基于所述业务数据表创建游标管理表。
S803：将所述业务数据表更新数据依据所述终端业务优先级上报给管理中心，并将上报状态记录在游标管理表中。
在本申请的一个实施例中，终端日志数据中还包括终端业务优先级level，用于表示终端日志数据的处理先后要求，在将待处理字段内容添加至对应的业务数据表之后，需要将业务数据表的更新内容上传至管理中心。首先，基于业务数据表创建游标管理表，用于记录业务数据表的更新状态和上报状态，当业务数据表更新之后，基于终端业务优先级，按照优先处理的规则顺序，将业务数据表更新数据上报给管理中心，并把上报状态即上报是否成功记录在游标管理表中。
本实施例中，通过基于业务数据表创建游标管理表，将业务数据表更新数据依据终端业务优先级上报给管理中心，并将上报状态记录在游标管理表中，能够针对不同日志的不同需求，通过日志等级优先级概念，降低了网络带宽负载。
下面以一个具体实施例说明本申请的终端日志数据处理方法的具体实施步骤。如图4所示，在本申请的一个实施例中，终端日志数据处理方法由终端日志数据处理系统执行，与各终端业务之间进行信息交互。首先，S901，获取终端业务配置文件，S903，基于所述终端业务配置文件创建日志数据存储文件，S905，基于所述日志数据存储文件创建所述终端业务配置文件对应的业务数据表，S907，填充预设字段到所述业务数据表。
之后，S909，获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容。S911，基于所述终端业务数据表名称确定对应的业务数据表。之后，S913，基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
具体的，如图5所示，S915-S917，所述日志类型包括数据追加类型，基于数据追加类型确定数据库操作指令为插入指令；基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾。S919-S923，所述日志类型包括数据更新类型，所述待处理字段内容包括关键索引、验证值，基于数据更新类型确定数据库操作指令为插入指令、删除指令和更新指令；判断所述关键索引与所述业务数据表中的关键索引是否相同，基于所述删除指令将业务数据表中不相同的关键索引对应的字段内容删除，基于所述插入指令将业务数据表中不存在的关键索引对应的待处理字段内容添加至所述业务数据表末尾；判断所述关键索引与业务数据表中关键索引相同的字段内容的验证值是否相同，若不相同，则基于所述更新指令将关键索引相同验证值不同的待处理字段内容添加至所述业务数据表。S925-S929，所述日志类型包括数据更新追加类型，所述待处理字段内容包括关键索引和验证值，基于数据更新追加类型确定数据库操作指令为插入指令和更新指令；查询所述业务数据表中是否存在相同的关键索引，若不存在，则基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾；若存在，则判断对应的验证值与所述验证值是否相同，若不相同，则基于所述更新指令将所述待处理字段内容添加至所述业务数据表。S931-S933，所述日志类型包括数据覆盖类型，基于数据覆盖类型确定数据库操作指令为插入指令和删除指令；基于所述删除指令删除所述业务数据表中原有的字段内容，基于所述插入指令将所述待处理字段内容添加至所述业务数据表。
最后，S935-S937，所述终端日志数据还包括终端业务优先级，基于所述业务数据表创建游标管理表；将所述业务数据表更新数据依据所述终端业务优先级上报给管理中心，并将上报状态记录在游标管理表中。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的终端日志数据处理方法的终端日志数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个终端日志数据处理装置实施例中的具体限定可以参见上文中对于终端日志数据处理方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种终端日志数据处理装置600，包括：数据获取模块601、业务数据表确定模块603和终端日志数据处理模块605，其中：
数据获取模块601，用于获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容。
业务数据表确定模块603，用于基于所述终端业务数据表名称确定对应的业务数据表。
终端日志数据处理模块605，用于基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
所述终端日志数据处理装置还包括初始化模块。在本申请的一个实施例中，所述初始化模块用于：
获取终端业务配置文件；
基于所述终端业务配置文件创建日志数据存储文件；
基于所述日志数据存储文件创建所述终端业务配置文件对应的业务数据表；
填充预设字段到所述业务数据表。
在本申请的一个实施例中，所述日志类型包括数据追加类型，所述终端日志数据处理模块还用于：
基于数据追加类型确定数据库操作指令为插入指令；
基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾。
在本申请的一个实施例中，所述日志类型包括数据更新类型，所述待处理字段内容包括关键索引、验证值，所述终端日志数据处理模块还用于：
基于数据更新类型确定数据库操作指令为插入指令、删除指令和更新指令；
判断所述关键索引与所述业务数据表中的关键索引是否相同，基于所述删除指令将业务数据表中不相同的关键索引对应的字段内容删除，基于所述插入指令将业务数据表中不存在的关键索引对应的待处理字段内容添加至所述业务数据表末尾；
判断所述关键索引与业务数据表中关键索引相同的字段内容的验证值是否相同，若不相同，则基于所述更新指令将关键索引相同验证值不同的待处理字段内容添加至所述业务数据表。
在本申请的一个实施例中，所述日志类型包括数据更新追加类型，所述待处理字段内容包括关键索引和验证值，所述终端日志数据处理模块还用于：
基于数据更新追加类型确定数据库操作指令为插入指令和更新指令；
查询所述业务数据表中是否存在相同的关键索引，若不存在，则基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾；
若存在，则判断对应的验证值与所述验证值是否相同，若不相同，则基于所述更新指令将所述待处理字段内容添加至所述业务数据表。
在本申请的一个实施例中，所述日志类型包括数据覆盖类型，所述终端日志数据处理模块还用于：
基于数据覆盖类型确定数据库操作指令为插入指令和删除指令；
基于所述删除指令删除所述业务数据表中原有的字段内容，基于所述插入指令将所述待处理字段内容添加至所述业务数据表。
所述终端日志数据处理装置还包括数据上传模块，在本申请的一个实施例中，所述终端日志数据还包括终端业务优先级，所述数据上传模块用于：
基于所述业务数据表创建游标管理表；
将所述业务数据表更新数据依据所述终端业务优先级上报给管理中心，并将上报状态记录在游标管理表中。
上述终端日志数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种终端日志数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种终端日志数据处理方法，其特征在于，所述方法包括：
获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；
基于所述终端业务数据表名称确定对应的业务数据表；
基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
2.根据权利要求1所述的方法，其特征在于，所述获取终端日志数据之前包括：
获取终端业务配置文件；
基于所述终端业务配置文件创建日志数据存储文件；
基于所述日志数据存储文件创建所述终端业务配置文件对应的业务数据表；
填充预设字段到所述业务数据表。
3.根据权利要求1所述的方法，其特征在于，所述日志类型包括数据追加类型，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据追加类型确定数据库操作指令为插入指令；
基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾。
4.根据权利要求1所述的方法，其特征在于，所述日志类型包括数据更新类型，所述待处理字段内容包括关键索引、验证值，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据更新类型确定数据库操作指令为插入指令、删除指令和更新指令；
判断所述关键索引与所述业务数据表中的关键索引是否相同，基于所述删除指令将业务数据表中不相同的关键索引对应的字段内容删除，基于所述插入指令将业务数据表中不存在的关键索引对应的待处理字段内容添加至所述业务数据表末尾；
判断所述关键索引与业务数据表中关键索引相同的字段内容的验证值是否相同，若不相同，则基于所述更新指令将关键索引相同验证值不同的待处理字段内容添加至所述业务数据表。
5.根据权利要求1所述的方法，其特征在于，所述日志类型包括数据更新追加类型，所述待处理字段内容包括关键索引和验证值，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据更新追加类型确定数据库操作指令为插入指令和更新指令；
查询所述业务数据表中是否存在相同的关键索引，若不存在，则基于所述插入指令将所述待处理字段内容添加至所述业务数据表末尾；
若存在，则判断对应的验证值与所述验证值是否相同，若不相同，则基于所述更新指令将所述待处理字段内容添加至所述业务数据表。
6.根据权利要求1所述的方法，其特征在于，所述日志类型包括数据覆盖类型，所述基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表包括：
基于数据覆盖类型确定数据库操作指令为插入指令和删除指令；
基于所述删除指令删除所述业务数据表中原有的字段内容，基于所述插入指令将所述待处理字段内容添加至所述业务数据表。
7.根据权利要求1所述的方法，其特征在于，所述终端日志数据还包括终端业务优先级，所述方法还包括：
基于所述业务数据表创建游标管理表；
将所述业务数据表更新数据依据所述终端业务优先级上报给管理中心，并将上报状态记录在游标管理表中。
8.一种终端日志数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取终端日志数据，所述终端日志数据包括终端业务数据表名称、日志类型、待处理字段内容；
业务数据表确定模块，用于基于所述终端业务数据表名称确定对应的业务数据表；
终端日志数据处理模块，用于基于所述日志类型确定数据库操作指令，基于所述数据库操作指令将所述待处理字段内容添加至所述业务数据表。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311675537.3A CN117971785A (zh) | 2023-12-07 | 2023-12-07 | 终端日志数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311675537.3A CN117971785A (zh) | 2023-12-07 | 2023-12-07 | 终端日志数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117971785A true CN117971785A (zh) | 2024-05-03 |
Family
ID=90865169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311675537.3A Pending CN117971785A (zh) | 2023-12-07 | 2023-12-07 | 终端日志数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117971785A (zh) |
-
2023
- 2023-12-07 CN CN202311675537.3A patent/CN117971785A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9817877B2 (en) | Optimizing data processing using dynamic schemas | |
| CN115544183B (zh) | 数据可视化方法、装置、计算机设备和存储介质 | |
| CN114756627B (zh) | 基于联盟链的数字资产处理方法、系统和存储介质 | |
| JP2021103584A (ja) | 磁気ディスクの管理方法、磁気ディスクの管理装置、電子機器、コンピュータプログラムおよびコンピュータ可読記憶媒体 | |
| CN116226202A (zh) | 多维数据库查询方法、装置、计算机设备和存储介质 | |
| US10831731B2 (en) | Method for storing and accessing data into an indexed key/value pair for offline access | |
| CN117971785A (zh) | 终端日志数据处理方法、装置、计算机设备和存储介质 | |
| CN114528045B (zh) | 插件操作方法、装置、计算机设备和存储介质 | |
| CN116166667A (zh) | 单据字段信息的携带方法、装置、设备和存储介质 | |
| CN116757176A (zh) | 不同版本业务单据对比方法及相关产品 | |
| CN117435589A (zh) | 数据转存方法、装置、计算机设备、存储介质 | |
| CN116756148A (zh) | 增量数据的获取方法、装置、设备、存储介质和程序产品 | |
| CN117435198A (zh) | 页面生成方法和装置 | |
| CN116737140A (zh) | 业务组件构建方法、装置、计算机设备及存储介质 | |
| CN116483532A (zh) | 排程处理方法、装置、计算机设备和存储介质 | |
| CN116258597A (zh) | 单据处理方法、装置、计算机设备和存储介质 | |
| CN117971952A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN116881388A (zh) | 词条数据库确定方法、装置、设备、存储介质和程序产品 | |
| CN117370328A (zh) | 数据清理方法、装置、计算机设备、存储介质和程序产品 | |
| CN116860576A (zh) | 操作日志的记录方法、装置、计算机设备和存储介质 | |
| CN118133331A (zh) | 芯片存储数据的隐私保护方法、装置和计算机设备 | |
| CN116708245A (zh) | 一种接口控制方法、装置、计算机设备 | |
| CN116304407A (zh) | 页面渲染方法、装置、计算机设备和存储介质 | |
| US20180210670A1 (en) | Storage management of metadata | |
| CN117834613A (zh) | 数据传输方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |