CN116089992A - 日志信息处理方法、装置、设备、存储介质和程序产品 - Google Patents

日志信息处理方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN116089992A
CN116089992A CN202111304056.2A CN202111304056A CN116089992A CN 116089992 A CN116089992 A CN 116089992A CN 202111304056 A CN202111304056 A CN 202111304056A CN 116089992 A CN116089992 A CN 116089992A
Authority
CN
China
Prior art keywords
log
target
determining
desensitization
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304056.2A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111304056.2A priority Critical patent/CN116089992A/zh
Priority to US17/585,434 priority patent/US11620179B1/en
Priority to EP22889101.6A priority patent/EP4290399A1/en
Priority to PCT/CN2022/125756 priority patent/WO2023078076A1/zh
Publication of CN116089992A publication Critical patent/CN116089992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0775—Content or structure details of the error report, e.g. specific table structure, specific error fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0769—Readable error formats, e.g. cross-platform generic formats, human understandable formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

根据本公开的实施例，提供了一种用于日志信息处理的方法、装置、设备、存储介质和程序产品。该方法包括：响应于日志查询请求，确定目标日志的来源，其中日志查询请求用于指示目标用户请求查询目标日志；确定与目标日志的来源对应的日志脱敏策略，日志脱敏策略是基于与来源相关联的日志注册信息而被确定的，日志注册信息用于指示目标日志中变量项的物理含义；以及根据目标用户的业务属性信息、日志脱敏策略以及业务权限信息，对目标日志中与目标用户相关的变量项进行脱敏处理，以用于向目标用户提供经脱敏处理的目标日志。根据本公开的事实，能够系统性地高效地兼容各种不同日志业务方需求，控制日志信息查询访问以规避敏感数据泄露。

Description

日志信息处理方法、装置、设备、存储介质和程序产品
技术领域
本公开的各实现方式涉及计算机领域，更具体地，涉及确定日志信息处理的方法、装置、设备和计算机存储介质。
背景技术
对于各类计算应用而言，日志信息是用于系统开发和维护的重要数据。通常，日志信息大多为非结构化数据，各种各类的信息可能被融合到一条日志条目中。
由于不同日志需求方会习惯于将各类数据导入到日志中，这就导致其中很可能会包含一些业务敏感数据，日志信息的传输就会导致这些敏感数据的泄露，因此在实际业务中需要考虑日志需求方对日志数据本身的需求，又需要考虑日志信息会携带敏感数据的问题，尤其在日志需求量比较大的情况下，如何系统性地高效地兼容各种不同日志业务方需求，控制日志信息查询访问以规避敏感数据泄露，是目前急需解决的技术问题。
发明内容
在本公开的第一方面，提供了一种用于日志信息处理的方法。该方法包括：接收日志查询请求，日志查询请求用于指示目标用户请求查询目标日志；响应于日志查询请求，确定目标日志的来源，目标日志为经由预置的日志软件开发工具包生成的具有预设结构化格式的日志，预设结构化格式通过预设结构标识符标识日志中的变量项；确定与目标日志的来源对应的日志脱敏策略，日志脱敏策略是基于与来源相关联的日志注册信息而被确定的，日志注册信息用于指示目标日志中变量项的物理含义；以及根据目标用户的业务属性信息、日志脱敏策略以及预配置的业务权限信息，对目标日志中与目标用户相关的变量项进行脱敏处理，以用于向目标用户提供经脱敏处理的目标日志。
在本公开的第二方面中，提供了一种用于日志信息处理的装置。该装置包括：接收模块，被配置为接收日志查询请求，日志查询请求用于指示目标用户请求查询目标日志；第一确定模块，被配置为响应于日志查询请求，确定目标日志的来源，目标日志为经由预置的日志软件开发工具包生成的具有预设结构化格式的日志，预设结构化格式通过预设结构标识符标识日志中的变量项；第二确定模块，被配置为确定与目标日志的来源对应的日志脱敏策略，日志脱敏策略是基于与来源相关联的日志注册信息而被确定的，日志注册信息用于指示目标日志中变量项的物理含义；以及处理模块，被配置为根据目标用户的业务属性信息、日志脱敏策略以及预配置的业务权限信息，对目标日志中与目标用户相关的变量项进行脱敏处理，以用于向目标用户提供经脱敏处理的目标日志。
在本公开的第三方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。
在本公开的第五方面，提供了一种计算机程序产品，其包括一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。
根据本公开的各种实施例，能够系统性地高效地兼容各种不同日志业务方需求，控制日志信息查询访问以规避敏感数据泄露。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的一些实施例的日志信息处理的示例过程的流程图；
图3示出了根据本公开的一些实施例的日志信息处理的装置的示意性结构框图；以及
图4示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所讨论的，在实际业务中需要考虑日志需求方对日志数据本身的需求，又需要考虑日志信息会携带敏感数据的问题，尤其在日志需求量比较大的情况下，如何系统性地高效地兼容各种不同日志业务方需求，控制日志信息查询访问以规避敏感数据泄露，是目前急需解决的技术问题。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的示例实施例提出了用于日志信息处理的方案。总体而言，根据在此描述的实施例，首先，接收日志查询请求，日志查询请求用于指示目标用户请求查询目标日志。响应于日志查询请求，可以确定目标日志的来源，其中目标日志为经由预置的日志软件开发工具包(Software Development Kit，SDK)生成的具有预设结构化格式的日志，并且预设结构化格式通过预设结构标识符标识日志中的变量项。相应地，可以确定与目标日志的来源对应的日志脱敏策略，日志脱敏策略是基于与来源相关联的日志注册信息而被确定的，日志注册信息用于指示目标日志中变量项的物理含义。进一步地，根据目标用户的业务属性信息、日志脱敏策略以及预配置的业务权限信息，对目标日志中与目标用户相关的变量项进行脱敏处理，以用于向目标用户提供经脱敏处理的目标日志。
根据本公开的各种实施例，通过利用日志SDK来管理结构化日志的生成，利用日志注册信息来确定日志脱敏策略，并基于用户业务属性信息、日志脱敏策略和敏感数据保护文件三者来执行日志脱敏操作，本公开的实施例能够系统性地高效地兼容各种不同日志业务方需求，控制日志信息查询访问以规避敏感数据泄露。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，日志处理设备120接收日志查询请求115，其可以指示目标用户110请求查看目标日志140。
在一些实施例中，目标用户110例如可以是应用的开发者或者维护者，其可以发起请求以查看程序代码在运行过程中或者调试过程中产生的各类型的日志。
如图1所示，目标日志140例如可以是由运行设备130在运行程序代码过程中所产生的。在一些实施例中，为了保证日志信息的安全性，由运行设备130所直接的产生的目标日志140例如是目标用户110无法直接访问的。
在一些实施例中，目标日志140例如可以是经由预置的日志软件开发工具包生成的具有预设结构化格式的日志，其中预设结构化格式通过预设结构标识符标识日志中的变量项。
示例性地，运行设备130例如可以被部署在受信技术合作伙伴的环境中，而使得目标用户110无法直接访问运行设备130所产生的目标日志。
在一些实施例中，受信技术伙伴例如还可以向目标用户110提供可以通过网络访问的日志处理设备120。日志处理设备120例如可以是由受信技术伙伴管理的网关设备。
如下文将详细介绍地，日志处理设备120可以确定目标日志140的来源，并获取与该来源所对应的日志脱敏策略150。在一些实施例中，日志脱敏策略150可以是基于与来源相关联的日志注册信息而被确定的，其中日志注册信息可以用于指示目标日志140中变量项的物理含义。
进一步地，日志处理设备120可以基于日志脱敏策略150来对目标日志140进行脱敏处理。示例性地，日志处理设备120可以向目标用户110提供经脱敏处理的目标日志160。
以下将结合图2来详细描述日志处理设备120管理日志的过程。图2示出了根据本公开的一些实施例的日志信息处理的示例过程200的流程图。该过程200例如可以在图1的日志处理设备120处实施。
如图2所示，在框210，日志处理设备120接收日志查询请求115，其中日志查询请求用于指示目标用户110请求查询目标日志140。
在一些实施例中，日志处理设备120可以例如经由专用的网关设设备而从目标用户110接收日志查询请求115。在一些实施例中，日志查询请求115例如可以保护目标用户110的用户标识。
在框220，日志处理设备120响应于日志查询请求115，确定目标日志140的来源，其中目标日志140为经由预置的日志软件开发工具包SDK生成的具有预设结构化格式的日志，并且预设结构化格式通过预设结构标识符标识日志140中的变量项。预设结构标识符可以包括用于指示对应日志内容为变量项的特定符号或字符。
在一些实施例中，目标日志140的来源用于指示生成该目标日志140的代码文件的归属。例如，一些产生日志的代码文件可以是来源于第三方底层框架，相应地，此类日志的来源可以被确定为特定的底层框架，例如Kite开发框架等。
作为另一示例，一些产生日志的代码文件可以是由业务方所开发的。相应地，此类日志的来源可以被确定为特定的业务方。
在一些实施例中，日志处理设备120可以基于与目标日志140相关联的编译路径，确定目标日志140的类型，其中类型指示目标日志属于框架类日志或业务类日志，框架类日志为底层框架代码运行产生的日志，业务类日志为业务逻辑代码运行产生的日志。
在一些实施例中，考虑到框架类代码文件与业务方代码文件的编译特点，产生目标日志的代码文件的编译路径能够指示这样的代码文件是属于框架类代码文件，或业务类代码文件。
具体地，日志处理设备120可以从目标日志140的内容中提取相应的编译路径，并进一步确定该目标日志是属于框架类日志或业务类日志。
进一步地，日志处理设备120可以基于所确定的类型来从目标日志140中确定目标日志的来源，其中来源指示产生目标日志140的底层框架或业务方。
具体地，响应于确定目标日志140为框架类日志，日志处理设备120可以从目标日志140的编译路径中确定框架标识，以作为目标日志140的来源。此外，响应于确定目标日志140为业务类日志，日志处理设备120可以从目标日志140中确定服务名，以作为目标日志140的来源。
在一些实施例中，为了提高日志信息处理的可靠性程度，在确定目标日志140的来源之前，日志处理设备120还可以执行各种类型的校验。
在一些实施例中，日志处理设备120可以确定目标日志的格式。只有在确定格式符合预定规范的情况，日志处理设备120才从目标日志140中确定目标日志140的来源。相反，如果确定目标日志140的格式不符合预定规范，则日志处理设备120可以认为该目标日志140不应当被透出，并拒绝提供目标日志140。
在一些实施例中，日志处理设备120可以响应于日志查询请求115，确定目标日志140的内容格式。进一步地，响应于确定目标日志140的内容格式符合预定格式规范，日志处理设备120可以确定目标日志的服务来源。在一些实施例中，预定格式规范可以指示日志内容包括服务名、编译路径、代码版本号和预设结构标识符。
在一些实施例中，日志处理设备120还可以确定目标日志140的版本信息。例如，日志处理设备120可以从目标日志140中确定代码版本号。如果确定版本信息指示目标日志140是利用预定的日志软件开发工具包而生成，则日志处理设备120可以进一步确定目标日志140的来源。
相反，如果确定版本信息指示目标日志140不是利用预定的日志SDK所生成，则日志处理设备120可以认为该目标日志140不应当被透出，并拒绝提供目标日志140。
在框230，日志处理设备120确定与目标日志140的来源对应的日志脱敏策略150，其中日志脱敏策略150是基于与来源相关联的日志注册信息而被确定的，日志注册信息用于指示目标日志140中变量项的物理含义。
示例性地，开发者或者运营者例如可以由受信技术合作方提供的日志注册平台来提交日志注册信息，以注册不同来源所产生的日志中可以被透出的内容，例如，变量或预定的字符串。进一步地，受信技术方例如可以对日志注册信息进行审核，以确定日志中可以被的内容，由此形成与该来源对应的日志脱敏策略150。
在一些实施例中，对于框架类日志和业务类日志，其允许被注册的变量项内容可能是不同的。示例性地，响应于确定类型指示目标日志140为框架类日志，则日志处理设备120可以基于来源指示的框架类来确定与底层框架对应的日志脱敏策略，其中日志脱敏策略至少指示目标日志中允许被透出的第一组变量项和关于第一组变量项的第一描述信息。
在一些实施例中，第一描述信息可以指示第一组变量项的第一变量项类型，第一变量项类型包括以下一项：字符型变量、布尔型变量、浮点型变量或整型变量。
在一些实施例中，日志注册信息可以是基于添加候选日志注册信息条目的注册请求而被生成的，其中注册请求至少指示与候选日志注册信息条目相对应的标识信息和描述信息。这样的描述信息例如可以包括变量项的类型和变量项的物理含义描述信息。
示例性地，开发者可以通过日志注册平台来提交针对Kite开发框架的添加候选日志注册信息条目请求。例如，开发者可以通过日志注册平台来提交申请透出的变量项名称、变量项类型和关于该变量项的物理含义描述信息。
考虑到框架类日志通常不会包括敏感类信息，当开发者注册框架类日志中允许被透出的变量项时，其可以指定的变量项类型例如可以不仅包括浮点型变量和整型变量，还可以包括字符型变量。由此，本公开的实施例可以在保证日志内容合规的情况下，为开发者提供更加丰富的信息。
在一些实施例中，考虑到业务方日志将有更大的概率来接触到敏感类数据，日志注册平台例如可以限制业务方日志中允许透出的变量项的类型。
示例性地，如果确定类型指示目标日志140为业务类日志，则日志处理设备120可以基于来源指示的业务方来确定与业务方对应的日志脱敏策略150。
在一些实施例中，与框架类日志类似地，日志脱敏策略150例如指示目标日志中允许被查看的第二组变量项和关于第二组变量项的第二描述信息。
在一些实施例中，框架类日志中允许被透出的变量项类型例如可以是受限的，以保证日志内容的合规性。具体地，第二描述信息例如指示第二组变量项的第二变量项类型，第二变量项类型包括以下一项：布尔型变量、浮点型变量或整型变量，而不包括字符型变量。
在一些实施例中，框架类日志的日志脱敏策略150例如还可以指示目标日志140中允许被透出的字符串样式(pattern)，其中字符串样式表示允许被透出的至少一组字符串。
考虑到开发者在使程序自动生成日志内容的过程中，往往希望获取更加丰富的语义信息，以方便对日志内容进行解读。相应地，日志注册平台例如还可以允许通过日志注册信息来提交关于字符串样式的注册请求。
例如，开发者可以在日志注册平台为特定业务方所产生的业务类日志创建诸如“AAA{{Code＝d％}}BBB”字符串样式。以例如可以使得日志中符合该样式的日志内容(例如，“AAA{{Code＝1}}BBB”)可以被透出。
在一些实施例中，在日志注册平台所提交的日志注册信息例如可以被提供给审核方进行审核，并且在审核通过后，而相应地更新与该来源对应的日志脱敏策略150。日志脱敏策略150由此可以管理何种来源所产生的日志中的何种内容可以按照何种方式被透出。
在一些实施例中，在确定日志脱敏策略150之前，日志处理设备120还可以确定该来源是否是允许透出日志的白名单。当确定来源属于允许透出日志的白名单时，日志处理设备120可以进一步确定与来源对应的日志脱敏策略150。相反，日志处理设备120可以认为该目标日志140不应当被透出，并拒绝提供目标日志140。
在框240，日志处理设备120根据目标用户110的业务属性信息、日志脱敏策略150以及预配置的业务权限信息，对目标日志140中与目标用户相关的变量项进行脱敏处理，以用于向目标用户110提供经脱敏处理的目标日志160。
在一些实施例中，如上文所讨论的，日志处理设备120可以要求目标日志140是利用预定的日志SDK所产生的。
在一些实施例中，基于该日志SDK所产生的目标日志140例如可以包括两个部分，即由日志SDK自身所产生的第一部分，以及由变成框架或业务方利用该日志SDK所生成的第二部分。
具体地，目标日志140为框架类日志时，目标日志140包括由日志软件开发工具包SDK自身产生的第一部分和由底层框架代码通过日志SDK生成的第二部分。当目标日志140为业务类日志时，目标日志包括由日志SDK自身产生的第一部分和由业务逻辑代码通过日志SDK生成的第二部分。
从日志内容来来看，第一部分是由日志SDK自身代码所生成，因此其将无法访问到真实的应用数据。在一些实施例中，日志处理设备120例如可以使得第一部分总是被提供，而无需考虑与该目标日志140所对应的日志注册信息150。
在一些实施例中，日志处理设备120还可以进一步基于第二部分中包括的数据类型而将第二部分进一步区分为文本类型日志内容和统计类型日志内容(也称为KVS，Key-Values)。统计类日志内容例如可以包括多个键值对。
在一些实施例中，日志SDK例如在生成统计类型日志内容时，总是要求这样的日志内容按照预定的格式被组织。示例性地，这样的内容可以表示为“{{key＝value}}”，也即通过两个括号来表示其中包括的是键值对信息。
相应地，日志处理设备120可以通过统计类日志的对应的格式来识别第二部分是否为统计类日志内容。如果是，则日志处理设备120可以根据目标用户110的业务属性信息和预配置的业务权限信息，来确定与目标用户110匹配的目标业务敏感数据。
在一些实施例中，业务权限信息可以指示不同业务属性的用户所能够访问的日志范围。示例性地，业务权限信息可以规定特定业务属性的用户所允许查看日志类型和/或日志中允许查看的具体变量项。由此，日志处理设备120可以基于业务权限信息和目标用户110的业务属性，来确定目标用户110所允许查看的日志和/或日志中允许查看的变量。
进一步地，日志处理设备120可以基于日志脱敏策略150来针对目标日志140中的目标业务敏感数据的变量项进行脱敏处理。具体地，日志处理设备120例如可以从目标日志140中确定与日志脱敏策略150匹配的一组目标变量项，并相应地提供经脱敏的目标日志160。
示例性地，如果日志脱敏策略150指示变量项“key1”已经被审核通过，则日志处理设备120可以从第二部分中查找变量项“key1”，并进一步判断其对应的取值是否符合日志脱敏策略150指示的变量项类型约束。如果满足，则日志处理设备120可以认为该变量项“key1”与日志脱敏策略150匹配，并且使得其对应的日志内容例如“{{key1＝value1}}”作为脱敏的日志内容而被提供给目标用户110。
此外，如果日志处理设备120确定第二部分为文本类型日志，则日志处理设备120例如可以先基于日志中记录变量项的内容的格式特点，而将对应的内容先从第二部分中剔除。
例如，如果目标日志中第二部分的内容为“AAA{{Code＝2}}BBB”，则日志处理设备120可以通过移除“{{Code＝2}}”来确定其对应的字符串样式为“AAA{{}}BBB”，进一步可以判断该字符串样式已经被注册，并且通过审核。相应地，日志处理设备120可以允许与该字符串样式对应的日志内容作为经脱敏的日志内容而被提供给目标用户110。
进一步地，对于文本类型日志中所包括的各个变量项，日志处理设备120可以基于上文所讨论的类似过程来分析各个变量项，来确定其是否与日志脱敏策略150匹配，从而控制各个变量项的脱敏处理。
应当理解，可以利用任何适当的方式来提供经脱敏处理的目标日志160，其示例可以包括但不限于图形用户界面或邮件来提供经脱敏处理的目标日志160。本公开不旨在对具体提供的方式进行限定。
基于上文所讨论的过程，通过利用日志SDK来管理结构化日志的生成，利用日志注册信息来确定日志脱敏策略，并基于用户业务属性信息、日志脱敏策略和敏感数据保护文件三者来执行日志脱敏操作，本公开的实施例能够系统性地高效地兼容各种不同日志业务方需求，控制日志信息查询访问以规避敏感数据泄露。
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图3示出了根据本公开的一些实施例的日志信息处理装置300的示意性结构框图。
如图3所示，装置300可以包括：接收模块310，被配置为接收日志查询请求，日志查询请求用于指示目标用户请求查询目标日志；第一确定模块320，被配置为响应于日志查询请求，确定目标日志的来源，目标日志为经由预置的日志软件开发工具包生成的具有预设结构化格式的日志，预设结构化格式通过预设结构标识符标识日志中的变量项；第二确定模块330，被配置为确定与目标日志的来源对应的日志脱敏策略，日志脱敏策略是基于与来源相关联的日志注册信息而被确定的，日志注册信息用于指示目标日志中变量项的物理含义；以及处理模块340，被配置为根据目标用户的业务属性信息、日志脱敏策略以及预配置的业务权限信息，对目标日志中与目标用户相关的变量项进行脱敏处理，以用于向目标用户提供经脱敏处理的目标日志。
在一些实施例中，第一确定模块320还被配置为基于与目标日志相关联的编译路径，确定目标日志的类型，类型指示目标日志属于框架类日志或业务类日志，框架类日志为底层框架代码运行产生的日志，业务类日志为业务逻辑代码运行产生的日志；响应于确定目标日志为框架类日志，从目标日志的编译路径中确定框架标识，以作为目标日志的来源；响应于确定目标日志为业务类日志，从目标日志中确定服务名，以作为目标日志的来源。
在一些实施例中，目标日志为框架类日志时，目标日志包括由日志软件开发工具包SDK自身产生的第一部分和由底层框架代码通过日志SDK生成的第二部分；或者目标日志为业务类日志时，目标日志包括由日志SDK自身产生的第一部分和由业务逻辑代码通过日志SDK生成的第二部分。
在一些实施例中，日志注册信息包括目标日志中的变量项的类型和变量项的物理含义描述信息；变量项包括以下类型：字符型变量、布尔型变量、浮点型变量或整型变量。
在一些实施例中，处理模块340还被配置为：根据目标用户的用户标识确定目标用户的业务属性信息；根据目标用户的业务属性信息和预配置的业务权限信息，确定与目标用户匹配的目标业务敏感数据；以及基于日志脱敏策略，针对目标日志中的目标业务敏感数据的变量项进行脱敏处理。
在一些实施例中，第一确定模块还被配置为：响应于日志查询请求，确定目标日志的内容格式；以及响应于确定目标日志的内容格式符合预定格式规范，确定目标日志的来源，其中，预定格式规范指示日志内容包括服务名、编译路径、代码版本号和预设结构标识符。
在一些实施例中，目标日志为业务类日志时，日志注册信息还包括目标日志中包括的一组字符串和一组字符串的物理含义描述信息。
图4示出了可以用来实施本公开内容的实施例的示例设备400的示意性框图。例如，根据本公开实施例的日志处理设备120和/或运行设备130可以由设备400来实施。如图所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。CPU 401、ROM402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程200，可由处理单元401执行。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序被加载到RAM 403并由CPU 401执行时，可以执行上文描述的过程200的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (11)

1.一种日志信息处理方法，其特征在于，所述方法包括：
接收日志查询请求，所述日志查询请求用于指示目标用户请求查询目标日志；
响应于所述日志查询请求，确定所述目标日志的来源，所述目标日志为经由预置的日志软件开发工具包生成的具有预设结构化格式的日志，所述预设结构化格式通过预设结构标识符标识日志中的变量项；
确定与所述目标日志的所述来源对应的日志脱敏策略，所述日志脱敏策略是基于与所述来源相关联的日志注册信息而被确定的，所述日志注册信息用于指示所述目标日志中变量项的物理含义；以及
根据所述目标用户的业务属性信息、所述日志脱敏策略以及预配置的业务权限信息，对所述目标日志中与所述目标用户相关的变量项进行脱敏处理，以用于向所述目标用户提供经脱敏处理的所述目标日志。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述日志查询请求，确定所述目标日志的来源，包括：
基于与所述目标日志相关联的编译路径，确定所述目标日志的类型，所述类型指示所述目标日志属于框架类日志或业务类日志，所述框架类日志为底层框架代码运行产生的日志，所述业务类日志为业务逻辑代码运行产生的日志；
响应于确定所述目标日志为框架类日志，从所述目标日志的所述编译路径中确定框架标识，以作为所述目标日志的来源；
响应于确定所述目标日志为业务类日志，从所述目标日志中确定服务名，以作为所述目标日志的来源。
3.根据权利要求1所述的方法，其特征在于，
所述目标日志为框架类日志时，所述目标日志包括由所述日志软件开发工具包SDK自身产生的第一部分和由底层框架代码通过所述日志SDK生成的第二部分；或
所述目标日志为业务类日志时，所述目标日志包括由所述日志SDK自身产生的第一部分和由业务逻辑代码通过所述日志SDK生成的第二部分。
4.根据权利要求1所述的方法，其特征在于，所述日志注册信息包括所述目标日志中的变量项的类型和所述变量项的物理含义描述信息；
所述变量项包括以下类型：字符型变量、布尔型变量、浮点型变量或整型变量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标用户的业务属性信息、所述日志脱敏策略以及预配置的业务权限信息，对所述目标日志中与所述目标用户相关的变量项进行脱敏处理包括：
根据所述目标用户的用户标识确定所述目标用户的业务属性信息；
根据所述目标用户的所述业务属性信息和所述预配置的业务权限信息，确定与所述目标用户匹配的目标业务敏感数据；以及
基于所述日志脱敏策略，针对所述目标日志中的所述目标业务敏感数据的变量项进行脱敏处理。
6.根据权利要求1所述的方法，其特征在于，所述响应于所述日志查询请求，确定所述目标日志的来源，包括：
响应于所述日志查询请求，确定所述目标日志的内容格式；以及
响应于确定所述目标日志的内容格式符合预定格式规范，确定所述目标日志的来源，其中，所述预定格式规范指示日志内容包括服务名、编译路径、代码版本号和所述预设结构标识符。
7.根据权利要求1所述的方法，其特征在于，
所述目标日志为业务类日志时，所述日志注册信息还包括所述目标日志中包括的一组字符串和所述一组字符串的物理含义描述信息。
8.一种用于日志信息处理的装置，其特征在于，包括：
接收模块，被配置为接收日志查询请求，所述日志查询请求用于指示目标用户请求查询目标日志；
第一确定模块，被配置为响应于所述日志查询请求，确定所述目标日志的来源，所述目标日志为经由预置的日志软件开发工具包生成的具有预设结构化格式的日志，所述预设结构化格式通过预设结构标识符标识日志中的变量项；
第二确定模块，被配置为确定与所述目标日志的所述来源对应的日志脱敏策略，所述日志脱敏策略是基于与所述来源相关联的日志注册信息而被确定的，所述日志注册信息用于指示所述目标日志中变量项的物理含义；以及
处理模块，被配置为根据所述目标用户的业务属性信息、所述日志脱敏策略以及预配置的业务权限信息，对所述目标日志中与所述目标用户相关的变量项进行脱敏处理，以用于向所述目标用户提供经脱敏处理的所述目标日志。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
其中所述存储器用于存储一条或多条计算机指令，其中所述一条或多条计算机指令被所述处理器执行以实现根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至7中任一项所述的方法。
11.一种计算机程序产品，其特征在于，包括一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至7中任一项所述的方法。
CN202111304056.2A 2021-11-05 2021-11-05 日志信息处理方法、装置、设备、存储介质和程序产品 Pending CN116089992A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111304056.2A CN116089992A (zh) 2021-11-05 2021-11-05 日志信息处理方法、装置、设备、存储介质和程序产品
US17/585,434 US11620179B1 (en) 2021-11-05 2022-01-26 Method, apparatus, device, storage medium and program product for log information processing
EP22889101.6A EP4290399A1 (en) 2021-11-05 2022-10-17 Log information processing method and apparatus, device, storage medium, and program product
PCT/CN2022/125756 WO2023078076A1 (zh) 2021-11-05 2022-10-17 日志信息处理方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304056.2A CN116089992A (zh) 2021-11-05 2021-11-05 日志信息处理方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN116089992A true CN116089992A (zh) 2023-05-09

Family

ID=85775694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304056.2A Pending CN116089992A (zh) 2021-11-05 2021-11-05 日志信息处理方法、装置、设备、存储介质和程序产品

Country Status (4)

Country Link
US (1) US11620179B1 (zh)
EP (1) EP4290399A1 (zh)
CN (1) CN116089992A (zh)
WO (1) WO2023078076A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117010022A (zh) * 2023-09-25 2023-11-07 北京众图识人科技有限公司 数据访问的控制方法、装置、终端设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230281342A1 (en) * 2022-03-01 2023-09-07 Microsoft Technology Licensing, Llc Granting entitlements to log data generated by a data privacy pipeline to facilitate debugging
CN116882724B (zh) * 2023-07-13 2024-06-11 北京优特捷信息技术有限公司 一种业务流程优化方案的生成方法、装置、设备及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873577B1 (en) * 2006-01-27 2011-01-18 Aspect Loss Prevention, LLC Sensitive data aliasing for transaction-card and other applications
WO2017117192A1 (en) * 2015-12-29 2017-07-06 United States Postal Service System and method using a database for enhanced user initiated requests of material or information
US10698756B1 (en) * 2017-12-15 2020-06-30 Palantir Technologies Inc. Linking related events for various devices and services in computer log files on a centralized server
CN110232290A (zh) 2018-03-05 2019-09-13 中兴通讯股份有限公司 日志脱敏方法、服务器及存储介质
US11080423B1 (en) * 2018-04-13 2021-08-03 Datavant, Inc. System for simulating a de-identified healthcare data set and creating simulated personal data while retaining profile of authentic data
US10936751B1 (en) * 2018-12-14 2021-03-02 StratoKey Pty Ltd. Selective anonymization of data maintained by third-party network services
US11227068B2 (en) * 2019-10-17 2022-01-18 Mentis Inc System and method for sensitive data retirement
US11645458B2 (en) * 2019-10-28 2023-05-09 Paypal, Inc. Systems and methods for automatically scrubbing sensitive data
US11526625B2 (en) * 2019-10-28 2022-12-13 Bank Of America Corporation Systems for sanitizing production data for use in testing and development environments
CN112835863A (zh) 2019-11-25 2021-05-25 北京京东尚科信息技术有限公司 操作日志的处理方法和处理装置
US20210200751A1 (en) 2019-12-31 2021-07-01 Capital One Services, Llc Monitoring and data validation of process log information imported from multiple diverse data sources
US11416521B2 (en) * 2020-01-09 2022-08-16 jSonar Inc. Data item classification and organization in large data sets
US11449674B2 (en) * 2020-04-28 2022-09-20 International Business Machines Corporation Utility-preserving text de-identification with privacy guarantees
US11841972B2 (en) * 2020-10-20 2023-12-12 Avaya Management L.P. System and method to safeguarding sensitive information in cobrowsing session
CN112685771A (zh) 2020-12-28 2021-04-20 平安普惠企业管理有限公司 日志脱敏方法、装置、设备及存储介质
US20220222372A1 (en) * 2021-01-14 2022-07-14 Capital One Services, Llc Automated data masking with false positive detection and avoidance
CN112784298A (zh) 2021-01-21 2021-05-11 平安普惠企业管理有限公司 日志脱敏方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117010022A (zh) * 2023-09-25 2023-11-07 北京众图识人科技有限公司 数据访问的控制方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US11620179B1 (en) 2023-04-04
EP4290399A1 (en) 2023-12-13
WO2023078076A1 (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
US11216256B2 (en) Determining based on static compiler analysis that execution of compiler code would result in unacceptable program behavior
US10614233B2 (en) Managing access to documents with a file monitor
CN116089992A (zh) 日志信息处理方法、装置、设备、存储介质和程序产品
US20220294797A1 (en) Website verification platform
US20200285716A1 (en) Detection and monitoring of software license terms and conditions
US11803657B2 (en) Generation of representative data to preserve membership privacy
CN115668147A (zh) 防止集群中的未授权封装部署
US11888872B2 (en) Protecting computer assets from malicious attacks
US20220309167A1 (en) Cluster security based on virtual machine content
CN110070360B (zh) 一种事务请求处理方法、装置、设备及存储介质
EP3631669B1 (en) Expression evaluation of database statements for restricted data
US11755717B2 (en) Security compliance for a secure landing zone
US20210089497A1 (en) Method, device, and computer program product for managing data object
US8112370B2 (en) Classification and policy management for software components
US20230169175A1 (en) Managing Zero-Day Vulnerabilities
US11785038B2 (en) Transfer learning platform for improved mobile enterprise security
US20230222288A1 (en) Smart text partitioning for detecting sensitive information
WO2023086145A1 (en) Privacy data management in distributed computing systems
CN115422578A (zh) 信息处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination