CN112738221B - 对象存储流量的审计方法及装置 - Google Patents

对象存储流量的审计方法及装置 Download PDF

Info

Publication number
CN112738221B
CN112738221B CN202011583684.4A CN202011583684A CN112738221B CN 112738221 B CN112738221 B CN 112738221B CN 202011583684 A CN202011583684 A CN 202011583684A CN 112738221 B CN112738221 B CN 112738221B
Authority
CN
China
Prior art keywords
object storage
flow information
log file
audited
auditing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011583684.4A
Other languages
English (en)
Other versions
CN112738221A (zh
Inventor
张浩森
谷亚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202011583684.4A priority Critical patent/CN112738221B/zh
Publication of CN112738221A publication Critical patent/CN112738221A/zh
Application granted granted Critical
Publication of CN112738221B publication Critical patent/CN112738221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种对象存储流量的审计方法及装置，该方法包括：响应于流量审计指令，实时检测是否接收到对象存储请求；当检测到对象存储请求时，采集对象存储请求的流量信息；将流量信息确定为待审计流量信息，并将待审计流量信息记录至日志文件；判断日志文件中记录的待审计流量信息是否满足审计条件；若日志文件中的待审计流量信息满足审计条件，则应用预设的日志分析引擎对日志文件进行分析，以确定日志文件的待审计流量信息对应的源网络域类型；基于待审计流量信息对应的源网络域类型对待审计流量信息进行流量审计。应用本发明提供的方法，能够基于流量信息对应的源网络域类型对流量信息进行审计，进而能够防止网络域中的敏感数据泄露。

Description

对象存储流量的审计方法及装置
技术领域
本发明涉及计算机技术领域，特别涉及一种对象存储流量的审计方法及装置。
背景技术
随着计算机科学技术的发展，云计算技术也得到了长足发展，公有云计算技术可以支撑各类IT业务的上云，从而提升了IT业务的敏捷性和高可用性，其中，对象存储作为一种公有云形态服务的分布式产品，也随着公有云计算技术的发展而得到了广泛的应用。
对象存储可以作为不同网络域之间的传输介质，即，可以通过对象存储服务实现不同网络域之间的数据交换；在使用对象存储服务进行各个网络域之间的数据交互过程中，目前还没有标准的技术手段和规范来限制和规避网络域敏感数据泄露的风险，由于一些网络域通常存储着大量的敏感数据，而另一些网络域通常与公网联通，因此，容易导致存储有敏感数据的网络域发生数据泄露。
发明内容
本发明所要解决的技术问题是提供一种对象存储流量的审计方法，能够基于流量信息对应的网络域类型对流量信息进行审计，进而能够防止网络域中的敏感数据泄露。
本发明还提供了一种对象存储流量的审计装置，用以保证上述方法在实际中的实现及应用。
一种对象存储流量的审计方法，包括：
响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；
当检测到所述对象存储请求时，采集所述对象存储请求的流量信息；
将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；
判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件；
若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的所述待审计流量信息对应的源网络域类型；
基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。
上述的方法，可选的，所述采集所述对象存储请求的流量信息，包括：
获取所述流量审计指令对应的配置文件；
基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息。
上述的方法，可选的，所述基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息，包括：
获取所述配置文件中包含的解析规则；
依据所述解析规则对所述对象存储请求进行解析，得到所述配置文件对应的各个目标字段；
由各个所述目标字段组成所述对象存储请求对应的流量信息。
上述的方法，可选的，所述判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件，包括：
判断是否当前是否已到达所述日志文件对应的审计时间节点，
若已到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息满足所述审计条件；
若未到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息未满足所述审计条件。
上述的方法，可选的，所述应用预设的日志分析引擎对所述日志文件进行分析之后，还包括：
获取所述日志分析引擎对所述日志文件进行分析所生成的日志信息；
将所述日志信息在预先设置的可视化页面上进行展示。
一种对象存储流量的审计装置，包括：
检测单元，响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；
采集单元，用于当检测到所述对象存储请求时，采集所述对象存储请求的流量信息；
执行单元，用于将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；
判断单元，用于判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件；
确定单元，用于若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的所述待审计流量信息对应的源网络域类型；
审计单元，用于基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。
上述的装置，可选的，所述采集单元，包括：
获取子单元，用于获取所述流量审计指令对应的配置文件；
解析子单元，用于基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息。
上述的装置，可选的，所述解析子单元，被配置为：
获取所述配置文件中包含的解析规则；
依据所述解析规则对所述对象存储请求进行解析，得到所述配置文件对应的各个目标字段；
由各个所述目标字段组成所述对象存储请求对应的流量信息。
上述的装置，可选的，所述判断单元，包括：
判断子单元，用于判断是否当前是否已到达所述日志文件对应的审计时间节点；
第一判定子单元，用于若已到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息满足所述审计条件；
第二判定子单元，用于若未到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息未满足所述审计条件。
上述的装置，可选的，还包括展示单元；
所述展示单元，用于获取所述日志分析引擎对所述日志文件进行分析所生成的日志信息；将所述日志信息在预先设置的可视化页面上进行展示。
与现有技术相比，本发明包括以下优点：
本发明提供了一种对象存储流量的审计方法及装置，该方法包括：响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；当检测到所述对象存储请求时，采集所述对象存储请求的流量信息；将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件；若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的待审计流量信息对应的源网络域类型；基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。应用本发明提供的对象存储流量的审计方法，能够基于流量信息对应的源网络域类型对流量信息进行审计，进而能够防止网络域中的敏感数据泄露。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种对象存储流量的审计方法的方法流程图；
图2为本发明提供的一种获得对象存储请求对应的流量信息的过程的流程图；
图3为本发明提供的一种分布式存储系统的接入层的架构示意图；
图4为本发明提供的一种对象存储流量的审计方法的示例图；
图5为本发明提供的一种对象存储流量的审计装置的结构示意图；
图6为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种对象存储流量的审计方法，该方法的执行主体可以为电子设备的处理器，该电子设备可以为服务器，该服务器可以为对象存储分布式集群的接入层的反向代理服务器，所述方法的方法流程图如图1所示，具体包括：
S101：响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务。
本发明实施例提供的方法中，该对象存储请求可以为当前需要对象存储服务的目标客户端发送的，该目标客户端可以为Overlay网络域中的客户端或者为Underlay网络域中的客户端，该客户端可以通过该方向代理服务器向对象存储分布式系统发送对象存储请求。
S102：当检测到所述对象存储请求时，采集所述对象存储请求的流量信息。
本发明实施例提供的方法中，可以基于预先设置的配置文件采集存储存储请求的流量信息。
可选的，该流量信息可以包括多个目标字段，每个目标字段中均包含一个流量参数。
S103：将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件。
本发明实施例提供的方法中，该日志文件可以用于记录待审计流量信息，具体的，该日志文件可以记录一个或多个待审计流量信息。
S104：判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件。
本发明实施例提供的方法中，该审计条件可以为日志文件中记录的待审计流量信息的数量满足预先设置的数量阈值，或者当前到达该日志文件对应的审计时间，或者该日志文件中的待审计流量信息的数量更新。
S105：若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的所述待审计流量信息对应的源网络域类型。
本发明实施例提供的方法中，通过日志分析引擎对所述日志文件进行分析，可以获得该待审计流量信息中包含的各个流量参数，基于流量参数可以确定日志文件中的每个所述待审计流量信息对应的网络域类型。
其中，待审计流量信息中包含的流量参数可以为客户端地址、请求类型、http请求参数和资源以及请求对象存储的服务域名等。
可选的，该请求类型为用户请求对象存储的http方式，例如，上传或下载。
具体的，该服务域名可以包括对象存储的通用域名和桶域名。
其中，可以基于待审计流量信息中的客户端IP地址，确定该待审计流量信息对应的源网络域类型。
具体的，可以判断待审计流量信息中是否存在VPCGW的客户端IP地址，以确定出该待审计流量信息对应的网络域类型，若该待审计流量信息中存在该VPCGW的客户端IP地址，则可以确定该待审计流量信息的源网络域类型为Overlay网络域类型，若该待审计流量信息中未存在VPCGW的客户端IP地址，则可以确定该待审计流量信息的源网络域类型为Underlay网络域类型。
其中，若所述日志文件中记录的待审计流量信息不满足该审计条件，则返回执行实时检测是否接收到对象存储请求的步骤。
S106：基于待审计流量信息对应的源网络域类型对待审计流量信息进行流量审计。
本发明实施例提供的方法中，可以为该待审计流量信息对应的存储桶分配与其源网络域类型对应的网络域标签。
具体的，若待审计流量信息对应的源网络域类型为Overlay网络域类型，则可以为该待审计流量信息对应的存储桶设置Overlay网络域标签；若待审计流量信息对应的源网络域类型为Underlay网络域类型，则可以为该待审计流量信息对应的存储桶设置Underlay网络域标签。
应用本发明实施例提供的对象存储流量的审计方法，能够基于流量信息对应的源网络域类型对流量信息进行审计，进而能够防止网络域中的敏感数据泄露。
本发明实施例提供的方法中，基于上述的实施过程，具体的，所述采集所述对象存储请求的流量信息，包括：
获取所述流量审计指令对应的配置文件；
基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息。
本发明实施例提供的方法中，该配置文件可以包括多个解析规则，每个解析规则可以用于指定一个待采集目标字段。
其中，该配置文件可以基于该流量审计指令获取；在一种可行的方式中，可以在该流量审计指令获取配置文件标识，可以通过该配置文件标识在预先建立的配置文件库中的多个备选配置文件中确定该配置文件；在另一种可行的方式中，可以对流量审计指令进行解析，得到指令信息，在指令信息中获取到该配置文件。
具体的，基于配置文件对该对象存储请求进行解析，可以得到包含各个目标字段的流量信息。
本发明实施例提供的方法中，基于上述的实施过程，具体的，所述基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息，如图2所示，具体包括：
S201：获取所述配置文件中包含的解析规则。
本发明实施例提供的方法中，该配置文件中可以包括一个或多个解析规则，每个解析规则可以指定一个或多个待采集目标字段。
S202：依据所述解析规则对所述对象存储请求进行解析，得到所述配置文件对应的各个目标字段。
本发明实施例提供的方法中，基于配置文件中的解析规则对该对象存储请求进行解析，可以获得该对象存储请求中的与该解析规则对应的目标字段。
S203：由各个所述目标字段组成所述对象存储请求对应的流量信息。
本发明实施例提供的方法中，可以按预先设置的组合方式对各个目标字段进行组合，得到该对象存储请求对应的流量信息。
本发明实施例提供的方法中，基于上述的实施过程，具体的，所述判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件的一种可行的方式为：
判断当前是否已到达所述日志文件对应的审计时间节点，
若已到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息满足所述审计条件；
若未到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息未满足所述审计条件。
本发明实施例提供的方法中，可以获取当前实际时间以及该日志文件对应的审计时间节点，将该当前实际时间与该审计时间节点进行比对，以判断当前是否已到达该日志文件对应的审计时间节点。
本发明实施例提供的方法中，判断日志文件中记录的待审计流量信息是否满足预先设置的审计条件的另一种可行的方式为：
判断该日志文件中记录的待审计流量信息的数量是否大于预先设置的数量阈值；
若该日志文件中记录的待审计流量信息的数量未大于预先设置的数量阈值，则判定该日志文件中记录的待审计流量信息未满足审计条件；
若该日志文件中记录的待审计流量信息的数量大于该数量阈值，则判定该日志文件中记录的待审计流量信息满足审计条件。
本发明实施例提供的方法中，判断日志文件中记录的待审计流量信息是否满足预先设置的审计条件的又一种可行的方式为：
判断日志文件中的待审计流量的数量是否更新；
若该日志文件中记录的待审计流量信息的数量已更新，则判定该日志文件中记录的待审计流量信息满足审计条件；
若该日志文件中记录的待审计流量新的数量未更新，则判定该日志文件中记录的待审计流量信息不满足审计条件。
本发明实施例提供的方法中，基于上述的实施过程，具体的，所述应用预设的日志分析引擎对所述日志文件进行分析之后，还包括：
获取所述日志分析引擎对所述日志文件进行分析所生成的日志信息；
将所述日志信息在预先设置的可视化页面上进行展示。
本发明实施例提供的方法中，该日志分析引擎可以为elasticsearch，可以基于kibana将日志信息在预先设置的可视化页面上进行展示。
本发明实施例提供的方法中，基于上述的实施过程，具体的，应用预设的日志分析引擎对日志文件进行分析之后，还包括：
当接收到用户发送的查询指令时，确定所述查询指令对应的日志信息；
将所述日志信息反馈至所述用户。
本发明实施例提供的对象存储流量的审计方法，可以应用于多个领域，例如，可以应用于银行系统中，下面进行详细说明：
可以在银行系统中的对象存储分布式集群的接入层部署一层nginx高性能web服务器做反向代理，通过此种方式提供接入服务的对象存储，其访问流量都记录在nginx的生产日志文件access日志中；可以通过编辑nginx高性能web服务器的配置文件，指定access日志的内容，使其记录请求对象存储的客户端以及网络包转发路径的ip，流量审计具体涉及以下日志文件的待审计流量信息的目标字段：
(1)、$remote_addr：记录访问网站的客户端地址。
(2)、$http_x_forwaeded_for：当前端也存在代理服务器时，设置此字段可记录客户端地址，但前提是客户端的代理服务器也要进行此参数的相关配置。
(3)、$verb：用户请求对象存储的http方式，例如PUT或者GET，即上传或者下载。
(4)、$request：记录用户的http请求参数以及资源。
(5)、$host：用户请求对象存储的服务域名，包括对象存储的通用域名和桶域名。
如图3所示，对象存储的接入节点之前安装一层nginx高性能web服务器，起到反向代理作用，因此所有客户端的请求，都会以包含上述日志内容的格式记录到nginx的access日志中。
具体的，nginx的access日志中最终会通过logstash上报到elasticsearch搜索引擎中，实现正则匹配和规则化过滤。
如图4所示，可以在反向代理服务器上，用logstash将有规则的nginx access日志通过正则匹配的方式切分成键值对的形式，然后上报至elasticsearch，通过kibana进行定制化的日志可视化分析。
其中，可以筛选VPCGW的客户端ip，在kibana中创建Overlay网络域和Underlay网络域的流量面板，并支持关键字搜索、规则化过滤和导出。
具体的，Underlay网络域中存储大量的敏感数据，而对象存储作为Underlay和Overlay网络域的一个公共服务，可作为传输介质，将Underlay网络域的重要数据传输到Overlay网络域，容易导致发生数据泄露事件；因此，流量审计需要区分来自Underlay网络域和Overlay网络域的流量；对于由Underlay网络域和Overlay网络域构成的公有云服务，VPCGW承担了Underlay网络域服务映射到Overlay网络域的功能；
在VPCGW和对象存储的接入层的反向代理之间不存在其他代理或者存在代理而没有隐藏ip的情况下，则在Overlay使用对象存储的客户端请求日志中会记录VPCGW的客户端ip，而此ip记录在所$remote_addr和$http_x_forwaeded_for字段中。
可以利用请求日志是否VPCGW的客户端ip可区分来自Underlay网络域和Overlay网络域的请求。
例如，在VPCGW网关的客户端ip为xx.xx.148.xx的情况下，则下述的Overlay流量和Underlay流量可通过是否包含xx.xx.148.xx来区分，具体如下：
本发明实施例提供的一种Overlay流量信息：
“2020-09-10T10:47:35+08:00xx.xx.xx.xx"GET/something HTTP/1.1"200339example-1255000000.object.storage.com"http://xxx.xxx.com/""Mozilla/5.0(Windows NT 6.1)AppleWebKit/537.36(KHTML,like Gecko)Chrome/70.0.3538.25Safari/537.36Core/1.70.3775.400 QQBrowser/10.6.4209.400""xx.xx.xx.xx xx.xx.148.xx"0.009 0.009 619 NWYxxxxxxxxxxxxxxxxxxxxxxxxxxx---”
本发明实施例提供的一种Underlay流量信息：
“2020-09-10T10:49:05+08:00xx.xx.xx.xx"GET/something HTTP/1.1"2001048600 example-1255000000.object.storage.com"-""aws-sdk-c(Compatible；s3；libs3 4.1；Linux x86_64)""-"0.038 0.038 361-NWY1OTxxxxxxxxxxxxxxxxxxxxxxxxxxxxx--”
其中，对于一个特定的存储桶，只能在Overlay网络域使用，或者只能在Underlay网络域使用，不允许跨网络域使用。
具体的，可以为存储桶附加相应的网络域标签，即可以得到Overlay存储桶或Underlay存储桶；其中，对于Overlay存储桶，不允许其在Underlay网络域向对象存储发起请求。对于Underlay存储桶，不允许其在Overlay向对象存储发起请求，若有特殊需求，可以一事一议。
与图1所述的方法相对应，本发明实施例还提供了一种对象存储流量的审计装置，用于对图1中方法的具体实现，本发明实施例提供的对象存储流量的审计装置可以应用于服务器中，其结构示意图如图5所示，具体包括：
检测单元501，响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；
采集单元502，用于当检测到所述对象存储请求时，采集所述对象存储请求的流量信息；
执行单元503，用于将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；
判断单元504，用于判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件；
确定单元505，用于若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的待审计流量信息对应的源网络域类型；
审计单元506，用于基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。
应用本发明实施例提供的对象存储流量的审计装置，能够基于流量信息对应的源网络域类型对流量信息进行审计，进而能够防止网络域中的敏感数据泄露。
在本发明提供的一实施例中，基于上述的方案，可选的，所述采集单元502，包括：
获取子单元，用于获取所述流量审计指令对应的配置文件；
解析子单元，用于基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息。
在本发明提供的一实施例中，基于上述的方案，可选的，所述解析子单元，被配置为：
获取所述配置文件中包含的解析规则；
依据所述解析规则对所述对象存储请求进行解析，得到所述配置文件对应的各个目标字段；
由各个所述目标字段组成所述对象存储请求对应的流量信息。
在本发明提供的一实施例中，基于上述的方案，可选的，所述判断单元504，包括：
判断子单元，用于判断是否当前是否已到达所述日志文件对应的审计时间节点；
第一判定子单元，用于若已到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息满足所述审计条件；
第二判定子单元，用于若未到达所述发送时间节点，则判定所述日志文件中记录的待审计流量信息未满足所述审计条件。
在本发明提供的一实施例中，基于上述的方案，可选的，所述对象存储流量的审计装置还包括展示单元；
所述展示单元，用于获取所述日志分析引擎对所述日志文件进行分析所生成的日志信息；将所述日志信息在预先设置的可视化页面上进行展示。
上述本发明实施例公开的对象存储流量的审计装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的对象存储流量的审计方法相同，可参见上述本发明实施例提供的对象存储流量的审计方法中相应的部分，这里不再进行赘述。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述对象存储流量的审计方法。
本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：
响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；
当检测到所述对象存储请求时，采集所述对象存储请求的流量信息；
将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；
判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件；
若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的所述待审计流量信息对应的源网络域类型；
基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种对象存储流量的审计方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种对象存储流量的审计方法，其特征在于，包括：
响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；
当检测到所述对象存储请求时，采集所述对象存储请求的流量信息，所述流量信息包含的流量参数包括：客户端地址、请求类型、http请求参数和资源以及请求对象存储的服务域名；
将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；
判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件，所述审计条件包括：所述日志文件中记录的待审计流量信息的数量满足预先设置的数量阈值，或者，当前到达所述日志文件对应的审计时间，或者，所述日志文件中的待审计流量信息的数量更新；
若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的待审计流量信息对应的源网络域类型；
基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。
2.根据权利要求1所述的方法，其特征在于，所述采集所述对象存储请求的流量信息，包括：
获取所述流量审计指令对应的配置文件；
基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息，包括：
获取所述配置文件中包含的解析规则；
依据所述解析规则对所述对象存储请求进行解析，得到所述配置文件对应的各个目标字段；
由各个所述目标字段组成所述对象存储请求对应的流量信息。
4.根据权利要求1所述的方法，其特征在于，所述判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件，包括：
判断是否当前是否已到达所述日志文件对应的审计时间节点，
若已到达所述审计时间节点，则判定所述日志文件中记录的待审计流量信息满足所述审计条件；
若未到达所述审计时间节点，则判定所述日志文件中记录的待审计流量信息未满足所述审计条件。
5.根据权利要求1所述的方法，其特征在于，所述应用预设的日志分析引擎对所述日志文件进行分析之后，还包括：
获取所述日志分析引擎对所述日志文件进行分析所生成的日志信息；
将所述日志信息在预先设置的可视化页面上进行展示。
6.一种对象存储流量的审计装置，其特征在于，包括：
检测单元，响应于流量审计指令，实时检测是否接收到对象存储请求；所述对象存储请求用于请求预设的对象存储分布式系统提供对象存储服务；
采集单元，用于当检测到所述对象存储请求时，采集所述对象存储请求的流量信息，所述流量信息包含的流量参数包括：客户端地址、请求类型、http请求参数和资源以及请求对象存储的服务域名；
执行单元，用于将所述流量信息确定为待审计流量信息，并将所述待审计流量信息记录至预先设置的日志文件；
判断单元，用于判断所述日志文件中记录的待审计流量信息是否满足预先设置的审计条件，所述审计条件包括：所述日志文件中记录的待审计流量信息的数量满足预先设置的数量阈值，或者，当前到达所述日志文件对应的审计时间，或者，所述日志文件中的待审计流量信息的数量更新；
确定单元，用于若所述日志文件中记录的待审计流量信息满足所述审计条件，则应用预设的日志分析引擎对所述日志文件进行分析，以确定所述日志文件中的待审计流量信息对应的源网络域类型；
审计单元，用于基于所述待审计流量信息对应的源网络域类型对所述待审计流量信息进行流量审计。
7.根据权利要求6所述的装置，其特征在于，所述采集单元，包括：
获取子单元，用于获取所述流量审计指令对应的配置文件；
解析子单元，用于基于所述配置文件对所述对象存储请求进行解析，获得所述对象存储请求对应的流量信息。
8.根据权利要求7所述的装置，其特征在于，所述解析子单元，被配置为：
获取所述配置文件中包含的解析规则；
依据所述解析规则对所述对象存储请求进行解析，得到所述配置文件对应的各个目标字段；
由各个所述目标字段组成所述对象存储请求对应的流量信息。
9.根据权利要求6所述的装置，其特征在于，所述判断单元，包括：
判断子单元，用于判断是否当前是否已到达所述日志文件对应的审计时间节点；
第一判定子单元，用于若已到达所述审计时间节点，则判定所述日志文件中记录的待审计流量信息满足所述审计条件；
第二判定子单元，用于若未到达所述审计时间节点，则判定所述日志文件中记录的待审计流量信息未满足所述审计条件。
10.根据权利要求6所述的装置，其特征在于，还包括展示单元；
所述展示单元，用于获取所述日志分析引擎对所述日志文件进行分析所生成的日志信息；将所述日志信息在预先设置的可视化页面上进行展示。
CN202011583684.4A 2020-12-28 2020-12-28 对象存储流量的审计方法及装置 Active CN112738221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011583684.4A CN112738221B (zh) 2020-12-28 2020-12-28 对象存储流量的审计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011583684.4A CN112738221B (zh) 2020-12-28 2020-12-28 对象存储流量的审计方法及装置

Publications (2)

Publication Number Publication Date
CN112738221A CN112738221A (zh) 2021-04-30
CN112738221B true CN112738221B (zh) 2022-05-27

Family

ID=75606697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011583684.4A Active CN112738221B (zh) 2020-12-28 2020-12-28 对象存储流量的审计方法及装置

Country Status (1)

Country Link
CN (1) CN112738221B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923192A (zh) * 2021-09-29 2022-01-11 深信服科技股份有限公司 一种流量审计方法、装置、系统、设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237326A (zh) * 2008-02-29 2008-08-06 华为技术有限公司 设备日志实时解析的方法、装置和系统
CN203057192U (zh) * 2012-12-10 2013-07-10 浙江省电力公司 一种跨平台安全审计装置
CN104144063A (zh) * 2013-05-08 2014-11-12 朱烨 基于日志分析和防火墙安全矩阵的网站安全监控报警系统
CN104703188A (zh) * 2015-03-04 2015-06-10 南京邮电大学 一种面向移动互联网的安全审计方法和系统
CN105721498A (zh) * 2016-04-07 2016-06-29 周文奇 一种工控网络安全预警系统
CN105812387A (zh) * 2016-05-09 2016-07-27 北京航天数控系统有限公司 一种单向数据安全交换设备
CN108270730A (zh) * 2016-12-30 2018-07-10 北京飞利信电子技术有限公司 一种扩展防火墙的应用层检测方法、装置及电子设备
CN110008695A (zh) * 2018-01-05 2019-07-12 中国信息通信研究院 一种基于分布式记账的混合型用户行为审计方法及系统
CN111556024A (zh) * 2020-03-31 2020-08-18 中国航天系统科学与工程研究院 一种反向接入控制系统及方法
CN112118252A (zh) * 2020-09-16 2020-12-22 安徽长泰信息安全服务有限公司 一种用于网络监测的网络日志审计系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627891B2 (en) * 2003-02-14 2009-12-01 Preventsys, Inc. Network audit and policy assurance system
US11343265B2 (en) * 2010-07-21 2022-05-24 Seculert Ltd. System and methods for malware detection using log analytics for channels and super channels
CN103260190B (zh) * 2013-02-27 2016-03-23 武汉虹信通信技术有限责任公司 基于lte长期演进系统网络的安全审计方法
CN103338260B (zh) * 2013-07-04 2016-05-25 武汉世纪金桥安全技术有限公司 网络审计中url日志的分布式分析系统及分析方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237326A (zh) * 2008-02-29 2008-08-06 华为技术有限公司 设备日志实时解析的方法、装置和系统
CN203057192U (zh) * 2012-12-10 2013-07-10 浙江省电力公司 一种跨平台安全审计装置
CN104144063A (zh) * 2013-05-08 2014-11-12 朱烨 基于日志分析和防火墙安全矩阵的网站安全监控报警系统
CN104703188A (zh) * 2015-03-04 2015-06-10 南京邮电大学 一种面向移动互联网的安全审计方法和系统
CN105721498A (zh) * 2016-04-07 2016-06-29 周文奇 一种工控网络安全预警系统
CN105812387A (zh) * 2016-05-09 2016-07-27 北京航天数控系统有限公司 一种单向数据安全交换设备
CN108270730A (zh) * 2016-12-30 2018-07-10 北京飞利信电子技术有限公司 一种扩展防火墙的应用层检测方法、装置及电子设备
CN110008695A (zh) * 2018-01-05 2019-07-12 中国信息通信研究院 一种基于分布式记账的混合型用户行为审计方法及系统
CN111556024A (zh) * 2020-03-31 2020-08-18 中国航天系统科学与工程研究院 一种反向接入控制系统及方法
CN112118252A (zh) * 2020-09-16 2020-12-22 安徽长泰信息安全服务有限公司 一种用于网络监测的网络日志审计系统

Also Published As

Publication number Publication date
CN112738221A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US10462002B2 (en) Automatically determining requirements for provisioning a hosted computing environment
CN110069463B (zh) 用户行为处理方法、装置电子设备及存储介质
US8140578B2 (en) Multilevel hierarchical associations between entities in a knowledge system
US11012339B2 (en) Web site reachability management for content browsing
Brunelle et al. The impact of JavaScript on archivability
Syer et al. Continuous validation of performance test workloads
US20190289085A1 (en) System and method for tracking online user behavior across browsers or devices
US20090100322A1 (en) Retrieving data relating to a web page prior to initiating viewing of the web page
WO2017136755A1 (en) Analyzing analytic element network traffic
CN110968560A (zh) 日志采集器的配置方法、装置及系统
CN112738221B (zh) 对象存储流量的审计方法及装置
US11016934B2 (en) Automated content-based and context-based file organizational structuring
US20210081265A1 (en) Intelligent cluster auto-scaler
CN112256984A (zh) 一种网页对应的接口托底截图的获取方法及设备
CN115051867B (zh) 一种非法外联行为的检测方法、装置、电子设备及介质
JP2023067815A (ja) 外部リンクによって参照される外部コンテンツに対する変更を検出するための方法、システム、およびコンピュータプログラム製品（コンテンツ管理システム）
CN114465926B (zh) 递归服务器监测方法、装置、设备及存储介质
US20170031803A1 (en) Automatic knowledge base generation for root cause in application performance management
CN111241547A (zh) 一种越权漏洞的检测方法、装置及系统
US8650548B2 (en) Method to derive software use and software data object use characteristics by analyzing attributes of related files
US8001100B2 (en) Leveraging multilevel hierarchical associations to find cross-boundary issues
JP2017517162A (ja) コンテンツのキャプチャによるアセット収集サービス
Ou et al. Viopolicy-detector: An automated approach to detecting GDPR suspected compliance violations in websites
WO2024105753A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN110874433A (zh) 信息处理方法及其系统、计算机系统及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant