CN104937886A - 日志分析装置、信息处理方法以及程序 - Google Patents

日志分析装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN104937886A
CN104937886A CN201480005638.2A CN201480005638A CN104937886A CN 104937886 A CN104937886 A CN 104937886A CN 201480005638 A CN201480005638 A CN 201480005638A CN 104937886 A CN104937886 A CN 104937886A
Authority
CN
China
Prior art keywords
information
log
log information
event
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480005638.2A
Other languages
English (en)
Other versions
CN104937886B (zh
Inventor
仓上弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN104937886A publication Critical patent/CN104937886A/zh
Application granted granted Critical
Publication of CN104937886B publication Critical patent/CN104937886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

具有：日志信息收集部，其收集从网络所包含的多个通信设备输出的日志信息和业务信息；标准化处理部，其对日志信息收集部收集到的日志信息和业务信息进行标准化；日志信息分析处理部，其从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问；以及事件信息通知部，其输出事件信息，该事件信息包含根据日志信息分析处理部所判定的结果而得到的、表示重要度的信息。

Description

日志分析装置、信息处理方法以及程序
技术领域
本发明涉及日志分析装置、信息处理方法以及程序，特别涉及对与网络安全相关的攻击进行检测的技术。
背景技术
在IP(Internet Protocol：互联网协议)网络中，为了对非法入侵进行检测而使用日志信息进行解析。在专利文献1中公开了这样的方法：针对记录网络上的异常访问的入侵检测装置所输出的大量的日志，根据考虑到了作为事件属性的事件种类或地址等的差异的事件之间的同时相关性，对多个事件进行分组，从而使监视或分析变得容易。
现有技术文献
专利文献
专利文献1：日本特开2005-038116号公报
发明内容
发明要解决的课题
但是，认为：如果没有根据入侵方法对多个日志信息关联起来进行分析，则仅通过对数据包的多个日志信息的分组化，难以检测出非法入侵。
本发明的目的在于提供一种日志分析装置、信息处理方法以及用于使计算机执行的程序，它们根据来自多个通信设备的日志信息和业务信息(traffic information)，能够综合性地判定是否存在非法访问。
通过本说明书的描述和附图，阐明了本发明的上述以及其他的目的和新的特征。
用于解决课题的手段
为了实现上述目的，本发明的日志分析装置构成为：进行网络的安全管理，其中，该日志分析装置具有：日志信息收集部，其收集从所述网络所包含的多个通信设备输出的日志信息和业务信息；标准化(normalization)处理部，其对所述日志信息收集部收集到的日志信息和业务信息进行标准化；日志信息分析处理部，其从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问；以及事件信息通知部，其输出事件信息，该事件信息包含根据所述日志信息分析处理部所判定的结果而得到的、表示重要度的信息。
此外，本发明的信息处理方法，其是进行网络的安全管理的日志分析装置的信息处理方法，其中，在该信息处理方法中，收集从所述网络所包含的多个通信设备输出的日志信息和业务信息，对所收集的日志信息和业务信息进行标准化，从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问，输出事件信息，该事件信息包含根据所述判定的结果而得到的、表示重要度的信息。
而且，本发明的程序，其使进行网络的安全管理的计算机执行下述步骤：收集从所述网络所包含的多个通信设备输出的日志信息和业务信息的步骤；对所收集的日志信息和业务信息进行标准化的步骤；从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问的步骤；以及输出事件信息的步骤，该事件信息包含根据所述判定的结果而得到的、表示重要度的信息。
发明效果
通过本发明，根据从网络内的多个通信设备输出的日志信息和业务信息，能够综合性地判定由非法访问的攻击造成的通信连接所引起的问题的重要度。
附图说明
图1是示出本实施方式的日志分析装置进行安全管理的网络的一个结构例的框图。
图2是示出本实施方式的日志分析装置的一个结构例的框图。
图3是示出日志格式的一例的图。
图4是示出本实施方式的日志分析装置的工作步骤的流程图。
具体实施方式
使用附图，对本发明的实施方式进行说明。此外，以下说明的实施方式并不对本发明的权利要求书中的范围的解释进行限定。
图1是示出本实施方式的日志分析装置进行安全管理的网络的一个结构例的框图。
如图1所示，用户IP网络30具有用户终端11、代理服务器(Proxy Server)12、DNS(Domain Name System：域名系统)服务器13、邮件服务器14、文件服务器15、Web服务器16、IPS(Intrusion Prevention System：入侵预防系统)17、防火墙18、交换机19以及路由器20。在本实施方式中，为了简化说明而对用户终端11为1台的情况进行说明，但也可以在用户IP网络30内设置多个用户终端。
代理服务器12、DNS(Domain Name System：域名系统)服务器13、邮件服务器14、文件服务器15、Web服务器16以及用户终端11与交换机19连接。交换机19经由IPS 17、防火墙18以及路由器20与互联网连接。IPS 17和防火墙18防止来自互联网侧的非法访问和病毒攻击。进行用户IP网络30的安全管理的日志分析装置10与路由器20连接。
作为非法访问，例如可考虑到如下这样的访问等：在用户终端11的情况下，没有使用权限的人员攻击用户终端11的安全上的弱点，非法使用用户终端11，或者篡改用户终端11内的数据，或者使用户终端11不能使用。
此外，与路由器20连接的互联网是外部网络的一例，外部网络不限于互联网。此外，用户IP网络30是作为安全管理对象的网络的一例，只要是能够按照IP传送数据的网络即可，例如是LAN(Local Area Network：局域网)。用户IP网络30所包含的信息通信设备不限于图1中所示的结构。
接下来，对本实施方式的日志分析装置的结构进行说明。图2是示出本实施方式的日志分析装置的一个结构例的框图。
日志分析装置10是具有控制部51和存储部52的结构。控制部51具有日志信息收集部100、标准化处理部101、日志信息分析处理部103、事件信息通知部104以及外部信息收集部102。
在控制部51中设置有按照程序执行处理的CPU(Central Processing Unit：中央处理单元)(未图示)以及存储程序的存储器(未图示)。CPU按照程序执行处理，由此，在日志分析装置10中虚拟地构成图2所示的日志信息收集部100、标准化处理部101、日志信息分析处理部103、事件信息通知部104以及外部信息收集部102。
日志信息收集部100从路由器20、交换机19、防火墙18、IPS 17、Web服务器16、文件服务器15、邮件服务器14、DNS服务器13以及代理服务器12接收到日志信息时，按照从日志信息中所获取的每个设备识别信息将日志信息保存在存储部52中。日志信息收集部100从用户终端11接收到日志信息时，在存储部52中与从日志信息中所获取的用户ID(Identifier：标识符)和设备识别信息对应地保存日志信息。用户ID是按用户终端的每个用户而不同的标识符。
此外，日志信息收集部100从路由器20和交换机19等接收到业务信息时，按照从业务信息中所获取的每个设备识别信息将业务信息保存在存储部52中。设备识别信息是用于识别作为日志信息或业务信息的发送源的通信设备的信息，是按每个通信设备而不同的信息。
标准化处理部101对存储部52中收集的日志信息和业务信息进行标准化，在该标准化中将这些信息统一地整理成日志信息分析处理部103容易检索和分析的数据形式。例如，有时路由器20所输出的业务信息的格式与交换机19所输出的业务信息的格式不同。
具体地说，标准化处理部101按照预先规定的公共类别规则，对日志信息和业务信息进行更新，以使日志信息和业务信息所包含的项目(例如发送源IP地址、目的地IP地址、发送源端口信息、目的地端口信息、协议信息、设备识别信息以及用户ID等)符合所有设备通用的格式。
此外，标准化处理部101对同一个IP连接的日志信息或业务信息赋予连接标识符且保存在存储部52中，该连接标识符是按每个连接而不同的标识符。作为是否为同一个IP连接的判别方法，例如，如果日志信息或业务信息在固定时间内的时间戳上用户ID、发送源IP地址、目的地IP地址、发送源端口信息、目的地端口信息以及协议信息相同，则即使设备识别信息不同也判定为同一个连接。作为连接识别信息的一例，可以计算出哈希值来使用。在图3中示出日志格式的一例。
为了在日志信息分析处理部103的通信方向(数据包的发送方向)的判定和攻击的分析中使用，外部信息收集部102从外部获取包含黑名单和用户IP地址的外部信息而保存在存储部52中，该黑名单列举了URL(Uniform Resource Locator：统一资源定位器)和IP地址作为表示恶意网站的网络地址。黑名单既可以存储于与互联网连接的服务器(未图示)中，也可以存储于用户IP网络30内的服务器中。用户IP地址可以从用户终端11获取。
日志信息分析处理部103根据预先规定的分析规则，对标准化后的日志信息和业务信息进行分析，求出多个分数(score)，且对多个分数的总和与预先规定的基准值进行比较，根据比较结果，判定是否存在非法访问，其中，分数是是否对用户构成威胁的重要度的指标。在分数的总和比基准值大的情况下，日志信息分析处理部103判定为存在构成威胁的非法访问。在本实施方式中，对根据2种分析规则进行的分数计算方法进行说明。
在第一个分析规则中，根据固定时间的时序的日志信息和业务信息，综合性地进行判定后赋予分数。
日志信息分析处理部103从时间戳的信息中提取且参照固定时间的时序的日志信息和业务信息，根据用户IP地址被描述在发送源IP地址和目的地IP地址的项目中的哪个项目，来判别通信方向。此外，也可以在日志信息和业务信息中包含通信方向的信息，在这种情况下，日志信息分析处理部103也可以使用该信息。
接着，日志信息分析处理部103根据分析规则，分析所提取出的日志信息和业务信息是否为指定事件，该指定事件是具有指定的特征的事件。分析的结果是检测出指定事件时，日志信息分析处理部103与指定事件在指定时间内发生的次数(发生频率)对应地赋予分数，根据指定事件的发生间隔赋予分数，根据多个指定事件发生的顺序和每个指定事件的发生间隔赋予分数，根据指定事件在指定时间内未发生的时间赋予分数，根据按多个指定的项目中的每个项目对指定时间内的总量进行比较的结果赋予分数。然后，日志信息分析处理部103求出这些分数的总和。
上述的赋予分数的方式是为了进行检测时不会遗漏各种非法访问所产生的现象而规定的方式，赋予分数的方式并不限于上述的5种现象。
在上述的赋予分数的方式中，指定事件的发生频率越高，则分数越高，指定事件的发生间隔越小，则分数越高。此外，多个指定事件的发生顺序和每个指定事件的发生间隔与预先规定的发生顺序和发生间隔越接近，则分数越高。在指定时间内未发生指定事件的时间越短，则分数越高。
参照图3，对根据按多个指定的项目中的每个项目对指定时间内的总量进行比较的结果而得到分数的一例进行说明。这里，设为图3所示的日志信息从用户终端11输出。假设多个指定的项目为发送字节数和接收字节数，则对发送字节量与接收字节量进行比较，其中，发送字节量是指定时间内的发送字节数的总量，接收字节量是指定时间内的接收字节数的总量。在发送字节量远远大于接收字节量的情况下，可认为正在发生从用户终端11大量地发送个人信息的现象，通过将分数设为较高，能够检测出这样的非法访问。
在第二个分析规则中，确定同一个连接的多个通信处理，且根据确定的多个通信处理，综合性地进行判定后赋予分数。
日志信息分析处理部103参照时间戳的信息来提取出固定时间的日志信息和业务信息，且参照对提取出的日志信息和业务信息所赋予的连接识别信息。然后，日志信息分析处理部103将所参照的连接识别信息一致的日志信息和业务信息辨认为因基于同一个连接的事件而产生的信息，且根据分析规则，对所辨认的日志信息和业务信息进行分析，由此，对每个通信设备赋予与是否检测到指定事件相应的分数，且求出多个通信设备的分数的总和。
具体地说，日志信息分析处理部103参照被辨认为同一个连接的日志信息和业务信息所包含的设备识别信息，按每个设备识别信息对日志信息或业务信息进行分析，如果分析的结果是检测出指定事件，则对与该设备识别信息对应的通信设备赋予分数，如果分析的结果是未检测出指定事件，则不赋予分数。
在第1个分析规则中，根据固定时间的时序，使作为分析对象的日志信息和业务信息相关联起来，在第2个分析规则中，根据同一个连接识别信息，使作为分析对象的日志信息和业务信息相关联起来。
此外，除了根据上述2种分析规则来赋予分数之外，日志信息分析处理部103判定日志信息和业务信息是否包含黑名单的URL或IP地址，当日志信息或业务信息包含了黑名单的URL或IP地址的情况下，在分数上加上规定的值。
事件信息通知部104根据日志信息分析处理部103的判定结果，输出事件信息，该事件信息包含分数的总和的信息作为表示与非法访问相关的重要度的信息。此外，如果日志信息分析处理部103判定为检测到非法访问，则事件信息通知部104为了通知安全管理员存在对非法访问预先设定的威胁度以上的危险性的情况，输出事件信息，在事件信息中附带了被判定为基于同一个连接的事件的、多个通信设备的日志信息和业务信息作为关联信息。
在安全管理员对日志分析装置10进行操作的情况下，事件信息通知部104为了向安全管理员发出警告，在与日志分析装置10连接的显示装置(未图示)上显示事件信息。
安全管理员通过参照向显示装置输出的事件信息，能够根据事件信息所包含的分数总和来判定是否存在非法访问的可能性的重要性。此外，在关联信息附加于事件信息中的情况下，安全管理员可辨认出检测到构成威胁的非法访问，并且可以对关联信息进行详细分析。
即使安全管理员不直接操作日志分析装置10，只要安全管理员可操作的信息终端(未图示)例如与互联网连接且该信息终端能够与日志分析装置10通信即可。在这种情况下，事件信息通知部104经由路由器20和互联网将事件信息发送给其信息终端即可。
此外，在本实施方式中，对通过CPU执行程序来虚拟地构成日志信息收集部100、标准化处理部101、日志信息分析处理部103、事件信息通知部104以及外部信息收集部102的情况进行了说明，但是，也可以利用与各功能对应的专用电路来构成这些结构的一部分或全部。
接下来，参照图1、图2以及图4，对本实施方式的日志分析装置的动作进行说明。图4是示出本实施方式的日志分析装置的工作步骤的流程图。
这里，设为显示装置(未图示)与日志分析装置10连接且安全管理员处于能够对日志分析装置10进行操作的状态。
在图1所示的框图中，防火墙18和IPS 17对通过的IP数据包进行监视，经由路由器20向日志分析装置10发送从IP数据包中所获取的日志信息。路由器20和交换机19向日志分析装置10发送要转发的IP数据包的信息作为Netflow、sFlow(注册商标)或IP数据包的业务信息。代理服务器12、DNS服务器13、邮件服务器14、文件服务器15、Web服务器16以及用户终端11向日志分析装置10发送与访问相关的日志信息。日志分析装置10的日志信息收集部100从用户IP网络30内的通信设备收集到日志信息和业务信息时，将这些信息存储在存储部52中(步骤201)。
假设目前用户终端11经由互联网从攻击者的信息终端受到攻击而被感染病毒，且处于受攻击者操纵的“Bot”状态。假设包含来自攻击者的指示的IP连接从互联网侧依次经由路由器20、防火墙18、IPS 17、交换机19以及代理服务器12而转发到用户终端11。此时，关于该IP连接，从路由器20和交换机19向日志分析装置10发送业务信息，从防火墙18、IPS 17、代理服务器12以及用户终端11向日志分析装置10发送日志信息。
在本实施方式中，由标准化处理部101对与包含来自攻击者的指示的IP连接相关的业务信息和日志信息附加用户终端11的用户ID以及该IP连接的连接识别信息(步骤202)。接着，日志信息分析处理部103针对在IPS 17中与具有特定攻击的可能性的特征相匹配的IP连接，提取出防火墙18和代理服务器12的日志信息，且根据分析规则，分析是否属于具有指定事件的特征的IP连接。如果判定为属于该IP连接，则日志信息分析处理部103赋予分数，如果判定为不属于该IP连接，则不赋予分数。
此外，关于与具有特定攻击的可能性的特征相匹配的IP连接，日志信息分析处理部103针对从路由器20和交换机19输出的业务信息，根据分析规则，对User-Agen(用户-代理)等HTTP(Hyper Text Transfer Protocol：超文本传输协议)数据包头异常等异常进行分析，如果判定为异常，则赋予分数。
然后，日志信息分析处理部103求出下述分数的总和：根据IPS 17的日志信息而得到的分数；根据防火墙18的日志信息而得到的分数；根据代理服务器12的日志信息而得到的分数；以及对从路由器20和交换机19输出的业务信息的分数。IP连接被判定为特定攻击可能性高的通信设备的数量越多，则分数的总和越高。
这样，关于与具有攻击的可能性的连接相关的威胁度，对根据从多个通信设备输出的日志信息和业务信息来判定的分数进行组合，由此，能够综合性地判断非法访问的可能性。
这里，在步骤203中，对其他分析规则的情况进行说明。
日志信息分析处理部103通过分析24小时或一周期间等固定时间内的时序的日志信息和业务信息，如下这样地赋予分数：与指定事件在指定时间内发生的次数对应地赋予分数；根据指定事件的发生间隔赋予分数；根据多个指定事件发生顺序和每个指定事件的发生间隔赋予分数；根据指定事件在指定时间内未发生的时间赋予分数；根据按多个指定项目中的每个项目对指定时间内的总量进行比较的结果赋予分数。接着，日志信息分析处理部103求出这些分数的总和。
虽然难以从单独的日志信息中检测出非法访问，但是通过这样从固定时间内的时序的日志信息和业务信息中提取出多个攻击连接的信息，能够检测出非法访问。
此外，虽然分别对上述2种分析规则的方法进行了说明，但是日志信息分析处理部103也可以分别根据这2种分析规则求出分数，将较大的一方作为步骤203的处理结果。
步骤203的处理之后，日志信息分析处理部103判定日志信息和业务信息是否包含黑名单的URL或IP地址(步骤204)。当日志信息或业务信息包含了黑名单的URL或IP地址的情况下，日志信息分析处理部103在分数上加上规定的值(步骤205)，当日志信息和业务信息没有包含黑名单的URL和IP地址的情况下，进入步骤206。
日志信息分析处理部103为了根据分数判定重要度，对分数的总和与预先规定的基准值进行比较，来判定分数的总和是否比基准值大(步骤206)。在分数的总和是基准值以下的情况下，日志信息分析处理部103不进行任何工作而结束处理。在步骤206的判定结果为分数的总和值是基准值以下的情况下，事件信息通知部104向显示装置(未图示)输出事件信息(步骤207)。在步骤206的判定结果为分数的总和值比基准值大的情况下，事件信息通知部104将关联信息与事件信息一起输出到显示装置(未图示)(步骤208)。日志分析装置10重复图4所示的步骤。
例如，在步骤203的处理中对固定时间内的时序的日志信息和业务信息进行分析的情况下，日志信息分析处理部103与一周期间的日志信息和业务信息所包含的发送源IP地址与目的地IP地址之间的发送接收量之差对应地赋予分数，提取出信息泄露的攻击连接候补。这是因为，如果发送源IP地址是用户IP地址时发送量远远大于接收量，则可认为从用户终端11向外部发生信息泄露。在这种情况下，分数的值变高。针对提取出的攻击连接候补，通过对相同的固定时间的多个通信设备的日志信息和业务信息进行同样的分析，能够输出表示威胁度的判定结果。
根据本实施方式，从网络内的多个通信设备输出的日志信息和业务信息中提取出关联的日志信息和业务信息，按照预先规定的分析规则，对多个日志信息和业务信息进行分析，由此，能够在不依赖于安全管理员的判断的情况下综合性地自动判定由非法访问的攻击造成的通信连接所引起的问题的重要度。
此外，也可以在计算机中安装描述有用于执行本发明的信息处理方法的步骤的程序，在计算机中执行本发明的信息处理方法。
标号说明：
10：日志分析装置；11：用户终端；12：代理服务器；13：DNS服务器；14：邮件服务器；15：文件服务器；16：Web服务器；17：IPS；18：防火墙；19：交换机；20：路由器；100：日志信息收集部；101：标准化处理部；102：外部信息收集部；103：日志信息分析处理部；104：事件信息通知部。

Claims (8)

1.一种日志分析装置，其进行网络的安全管理，其中，
该日志分析装置具有：
日志信息收集部，其收集从所述网络所包含的多个通信设备输出的日志信息和业务信息；
标准化处理部，其对所述日志信息收集部收集到的日志信息和业务信息进行标准化；
日志信息分析处理部，其从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问；以及
事件信息通知部，其输出事件信息，该事件信息包含根据所述日志信息分析处理部所判定的结果而得到的、表示重要度的信息。
2.根据权利要求1所述的日志分析装置，其中，
所述标准化处理部按照预先规定的公共类别规则，对所收集的所述日志信息和业务信息进行标准化，将标准化后的日志信息和业务信息所包含的多个项目中的规定的项目相同的日志信息和业务信息确定为同一个连接，对该日志信息和业务信息赋予连接识别信息，该连接识别信息是按每个连接而不同的标识符。
3.根据权利要求2所述的日志分析装置，其中，
所述日志信息分析处理部从所述标准化后的日志信息和业务信息中提取出在固定时间内收集到的日志信息和业务信息，参照对提取出的日志信息和业务信息所赋予的所述连接识别信息，将该连接识别信息一致的日志信息和业务信息辨认为因基于同一个连接的事件而产生的信息，且根据所述规则，对所辨认的日志信息和业务信息进行分析，由此，对每个所述通信设备赋予与是否检测到指定事件相应的分数，且求出所赋予的分数的总和，其中，该指定事件是具有指定的特征的事件。
4.根据权利要求1所述的日志分析装置，其中，
所述日志信息分析处理部从所述标准化后的日志信息和业务信息中提取出固定时间的时序的日志信息和业务信息，且根据所述规则，对提取出的日志信息和业务信息进行分析，如果检测出作为具有指定的特征的事件的指定事件，则求出至少下述分数的总和：与该指定事件在指定时间内发生的次数对应的分数；根据该指定事件的发生间隔而得到的分数；根据多个该指定事件的发生顺序和每个指定事件的发生间隔而得到的分数；根据该指定事件在指定时间内未发生的时间而得到的分数；以及根据按多个指定的项目中的每个项目对指定时间内的总量进行比较的结果而得到的分数。
5.根据权利要求3或4所述的日志分析装置，其中，
该日志分析装置还具有外部信息收集部，该外部信息收集部从外部获取黑名单，该黑名单列举了表示恶意网站的网络地址，
如果所述黑名单包含了所述日志信息或业务信息所包含的网络地址，则所述日志信息分析处理部在所述分数的总和上加上规定的值而更新所述分数的总和。
6.根据权利要求4所述的日志分析装置，其中，
所述日志信息分析处理部对所述分数的总和与预先规定的基准值进行比较，如果该分数的总和比该基准值大，则判定为存在非法访问，
所述事件信息通知部输出所述事件信息，所述事件信息包含所述分数的总和的信息作为所述表示重要度的信息，在所述日志信息分析处理部判定为存在非法访问的情况下，所述事件信息通知部将基于同一个事件的日志信息和业务信息作为关联信息与所述事件信息一起输出。
7.一种信息处理方法，其是进行网络的安全管理的日志分析装置的信息处理方法，其中，
在该信息处理方法中，
收集从所述网络所包含的多个通信设备输出的日志信息和业务信息，
对所收集的日志信息和业务信息进行标准化，
从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问，
输出事件信息，该事件信息包含根据所述判定的结果而得到的、表示重要度的信息。
8.一种程序，其使进行网络的安全管理的计算机执行下述步骤：
收集从所述网络所包含的多个通信设备输出的日志信息和业务信息的步骤；
对所收集的日志信息和业务信息进行标准化的步骤；
从标准化后的日志信息和业务信息中提取出关联的日志信息和业务信息，且按照预先规定的规则进行分析，判定是否存在非法访问的步骤；以及
输出事件信息的步骤，该事件信息包含根据所述判定的结果而得到的、表示重要度的信息。
CN201480005638.2A 2013-01-30 2014-01-30 日志分析装置、信息处理方法 Active CN104937886B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-015288 2013-01-30
JP2013015288 2013-01-30
PCT/JP2014/052134 WO2014119669A1 (ja) 2013-01-30 2014-01-30 ログ分析装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104937886A true CN104937886A (zh) 2015-09-23
CN104937886B CN104937886B (zh) 2017-10-24

Family

ID=51262378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005638.2A Active CN104937886B (zh) 2013-01-30 2014-01-30 日志分析装置、信息处理方法

Country Status (5)

Country Link
US (1) US9860278B2 (zh)
EP (1) EP2953298B1 (zh)
JP (1) JP6001689B2 (zh)
CN (1) CN104937886B (zh)
WO (1) WO2014119669A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095575A (zh) * 2016-06-14 2016-11-09 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法
CN106844495A (zh) * 2016-12-26 2017-06-13 北京五八信息技术有限公司 一种网站操作日志的获取方法及装置
CN107491457A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 一种用于业务数据标准化的方法与设备
CN107729225A (zh) * 2017-10-27 2018-02-23 上海斐讯数据通信技术有限公司 一种终端设备心率采集方法及系统
CN109076012A (zh) * 2016-12-06 2018-12-21 松下电器（美国）知识产权公司 信息处理装置以及信息处理方法
CN110073302A (zh) * 2017-01-31 2019-07-30 欧姆龙株式会社 信息处理装置、信息处理装置的控制方法以及控制程序
CN110178137A (zh) * 2017-01-20 2019-08-27 三菱电机株式会社 数据判定装置、数据判定方法以及数据判定程序
CN110297746A (zh) * 2019-07-05 2019-10-01 北京慧眼智行科技有限公司 一种数据处理方法及系统
CN111290928A (zh) * 2018-12-06 2020-06-16 中国移动通信集团陕西有限公司 一种原子业务重要性确定方法、装置、介质和设备
CN112654969A (zh) * 2018-10-11 2021-04-13 日本电信电话株式会社 信息处理装置、数据分析方法及程序
CN112912877A (zh) * 2018-09-03 2021-06-04 松下电器产业株式会社 日志输出装置、日志输出方法以及日志输出系统
CN113098852A (zh) * 2021-03-25 2021-07-09 绿盟科技集团股份有限公司 一种日志处理方法及装置
CN113272794A (zh) * 2019-01-10 2021-08-17 Ntt通信公司 车载型信息处理装置、用户终端、信息处理方法以及程序
CN114553731A (zh) * 2022-02-25 2022-05-27 深圳市普渡科技有限公司 数据日志采集系统、方法、设备及介质
CN115118582A (zh) * 2022-06-15 2022-09-27 合肥移瑞通信技术有限公司 日志分析的方法和装置

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9137205B2 (en) 2012-10-22 2015-09-15 Centripetal Networks, Inc. Methods and systems for protecting a secured network
US9565213B2 (en) 2012-10-22 2017-02-07 Centripetal Networks, Inc. Methods and systems for protecting a secured network
US9203806B2 (en) 2013-01-11 2015-12-01 Centripetal Networks, Inc. Rule swapping in a packet network
US9979739B2 (en) 2013-01-16 2018-05-22 Palo Alto Networks (Israel Analytics) Ltd. Automated forensics of computer systems using behavioral intelligence
US9124552B2 (en) 2013-03-12 2015-09-01 Centripetal Networks, Inc. Filtering network data transfers
US9094445B2 (en) 2013-03-15 2015-07-28 Centripetal Networks, Inc. Protecting networks from cyber attacks and overloading
JP5640166B1 (ja) * 2014-03-31 2014-12-10 株式会社ラック ログ分析システム
CN105791236B (zh) * 2014-12-23 2019-03-12 北京网御星云信息技术有限公司 一种木马通信通道检测方法及系统
US11863590B2 (en) 2014-12-29 2024-01-02 Guidewire Software, Inc. Inferential analysis using feedback for extracting and combining cyber risk information
US10341376B2 (en) 2014-12-29 2019-07-02 Guidewire Software, Inc. Diversity analysis with actionable feedback methodologies
US10050990B2 (en) 2014-12-29 2018-08-14 Guidewire Software, Inc. Disaster scenario based inferential analysis using feedback for extracting and combining cyber risk information
US11855768B2 (en) 2014-12-29 2023-12-26 Guidewire Software, Inc. Disaster scenario based inferential analysis using feedback for extracting and combining cyber risk information
US9699209B2 (en) 2014-12-29 2017-07-04 Cyence Inc. Cyber vulnerability scan analyses with actionable feedback
US10050989B2 (en) * 2014-12-29 2018-08-14 Guidewire Software, Inc. Inferential analysis using feedback for extracting and combining cyber risk information including proxy connection analyses
WO2017078986A1 (en) 2014-12-29 2017-05-11 Cyence Inc. Diversity analysis with actionable feedback methodologies
US9264370B1 (en) 2015-02-10 2016-02-16 Centripetal Networks, Inc. Correlating packets in communications networks
US10404748B2 (en) 2015-03-31 2019-09-03 Guidewire Software, Inc. Cyber risk analysis and remediation using network monitored sensors and methods of use
US9866576B2 (en) 2015-04-17 2018-01-09 Centripetal Networks, Inc. Rule-based network-threat detection
JP6524789B2 (ja) * 2015-05-13 2019-06-05 富士通株式会社 ネットワーク監視方法、ネットワーク監視プログラム及びネットワーク監視装置
JP6717578B2 (ja) * 2015-08-07 2020-07-01 株式会社三共 管理サーバ
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
JP5933797B1 (ja) * 2015-10-07 2016-06-15 株式会社ソリトンシステムズ ログ情報生成装置及びプログラム並びにログ情報抽出装置及びプログラム
US10291648B2 (en) * 2015-12-22 2019-05-14 At&T Intellectual Property I, L.P. System for distributing virtual entity behavior profiling in cloud deployments
US9917856B2 (en) 2015-12-23 2018-03-13 Centripetal Networks, Inc. Rule-based network-threat detection for encrypted communications
US11729144B2 (en) 2016-01-04 2023-08-15 Centripetal Networks, Llc Efficient packet capture for cyber threat analysis
US20190028997A1 (en) * 2016-01-29 2019-01-24 Seiko Epson Corporation Wearable device, control target device, short-range wireless communication network, communication system, control system, and remote control method
US10536476B2 (en) 2016-07-21 2020-01-14 Sap Se Realtime triggering framework
US10482241B2 (en) 2016-08-24 2019-11-19 Sap Se Visualization of data distributed in multiple dimensions
US10616279B2 (en) 2016-08-30 2020-04-07 Nicira, Inc. Adaptable network event monitoring configuration in datacenters
US10542016B2 (en) * 2016-08-31 2020-01-21 Sap Se Location enrichment in enterprise threat detection
US10630705B2 (en) 2016-09-23 2020-04-21 Sap Se Real-time push API for log events in enterprise threat detection
US10673879B2 (en) 2016-09-23 2020-06-02 Sap Se Snapshot of a forensic investigation for enterprise threat detection
US10534908B2 (en) 2016-12-06 2020-01-14 Sap Se Alerts based on entities in security information and event management products
US10291750B1 (en) * 2016-12-13 2019-05-14 Juniper Networks, Inc. Aggregating data sessions between autonomous systems
US10530792B2 (en) 2016-12-15 2020-01-07 Sap Se Using frequency analysis in enterprise threat detection to detect intrusions in a computer system
US10534907B2 (en) 2016-12-15 2020-01-14 Sap Se Providing semantic connectivity between a java application server and enterprise threat detection system using a J2EE data
US11470094B2 (en) 2016-12-16 2022-10-11 Sap Se Bi-directional content replication logic for enterprise threat detection
US10552605B2 (en) 2016-12-16 2020-02-04 Sap Se Anomaly detection in enterprise threat detection
US10764306B2 (en) 2016-12-19 2020-09-01 Sap Se Distributing cloud-computing platform content to enterprise threat detection systems
US10530794B2 (en) 2017-06-30 2020-01-07 Sap Se Pattern creation in enterprise threat detection
US10503899B2 (en) 2017-07-10 2019-12-10 Centripetal Networks, Inc. Cyberanalysis workflow acceleration
US10284526B2 (en) 2017-07-24 2019-05-07 Centripetal Networks, Inc. Efficient SSL/TLS proxy
US11233777B2 (en) 2017-07-24 2022-01-25 Centripetal Networks, Inc. Efficient SSL/TLS proxy
RU2666644C1 (ru) * 2017-08-10 2018-09-11 Акционерное общество "Лаборатория Касперского" Система и способ выявления потенциально опасных устройств при взаимодействии пользователя с банковскими сервисами
CN109845228B (zh) * 2017-09-28 2021-08-31 量子位安全有限公司 用于实时检测网络黑客攻击的网络流量记录系统及方法
US11184369B2 (en) * 2017-11-13 2021-11-23 Vectra Networks, Inc. Malicious relay and jump-system detection using behavioral indicators of actors
US20190166502A1 (en) * 2017-11-29 2019-05-30 Mojo Networks, LLC. Security monitoring for wireless sensor nodes
US10986111B2 (en) 2017-12-19 2021-04-20 Sap Se Displaying a series of events along a time axis in enterprise threat detection
US10681064B2 (en) 2017-12-19 2020-06-09 Sap Se Analysis of complex relationships among information technology security-relevant entities using a network graph
JP6719492B2 (ja) * 2018-02-26 2020-07-08 三菱電機株式会社 ルール生成装置およびルール生成プログラム
US10999304B2 (en) * 2018-04-11 2021-05-04 Palo Alto Networks (Israel Analytics) Ltd. Bind shell attack detection
US11108795B2 (en) 2018-05-25 2021-08-31 At&T Intellectual Property I, L.P. Intrusion detection using robust singular value decomposition
US10333898B1 (en) 2018-07-09 2019-06-25 Centripetal Networks, Inc. Methods and systems for efficient network protection
US10826926B2 (en) * 2018-07-17 2020-11-03 Sap Se Pattern creation based on an attack path
CN109299921A (zh) * 2018-09-30 2019-02-01 深圳市英威腾电动汽车驱动技术有限公司 一种技术评审数据处理方法及相关装置
US11184376B2 (en) 2019-01-30 2021-11-23 Palo Alto Networks (Israel Analytics) Ltd. Port scan detection using destination profiles
US11184377B2 (en) 2019-01-30 2021-11-23 Palo Alto Networks (Israel Analytics) Ltd. Malicious port scan detection using source profiles
US11184378B2 (en) 2019-01-30 2021-11-23 Palo Alto Networks (Israel Analytics) Ltd. Scanner probe detection
US11316872B2 (en) 2019-01-30 2022-04-26 Palo Alto Networks (Israel Analytics) Ltd. Malicious port scan detection using port profiles
US11070569B2 (en) 2019-01-30 2021-07-20 Palo Alto Networks (Israel Analytics) Ltd. Detecting outlier pairs of scanned ports
JP7081695B2 (ja) 2019-02-05 2022-06-07 日本電気株式会社 優先度判定装置、優先度判定方法、及び制御プログラム
WO2021021737A1 (en) * 2019-07-26 2021-02-04 Reliaquest Holdings, Llc Threat mitigation system and method
US11509680B2 (en) 2020-09-30 2022-11-22 Palo Alto Networks (Israel Analytics) Ltd. Classification of cyber-alerts into security incidents
US11362996B2 (en) 2020-10-27 2022-06-14 Centripetal Networks, Inc. Methods and systems for efficient adaptive logging of cyber threat incidents
US11159546B1 (en) 2021-04-20 2021-10-26 Centripetal Networks, Inc. Methods and systems for efficient threat context-aware packet filtering for network protection
US11829338B2 (en) 2021-12-07 2023-11-28 International Business Machines Corporation Unlabeled log anomaly continuous learning
US11799880B2 (en) 2022-01-10 2023-10-24 Palo Alto Networks (Israel Analytics) Ltd. Network adaptive alert prioritization system
US20230385405A1 (en) * 2022-05-27 2023-11-30 The Boeing Company System, method, and program for analyzing vehicle system logs
CN117118824B (zh) * 2023-10-20 2024-02-27 成都卓拙科技有限公司 一种日志数据收集方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7752665B1 (en) * 2002-07-12 2010-07-06 TCS Commercial, Inc. Detecting probes and scans over high-bandwidth, long-term, incomplete network traffic information using limited memory
CN102385549A (zh) * 2010-09-02 2012-03-21 北京无限立通通讯技术有限责任公司 日志处理系统、日志处理方法和日志存储子系统
CN102722553A (zh) * 2012-05-24 2012-10-10 浙江大学 基于用户日志分析的分布式倒排索引组织方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318734A (ja) * 2001-04-18 2002-10-31 Teamgia:Kk 通信ログ処理方法及びシステム
JP2004030286A (ja) 2002-06-26 2004-01-29 Ntt Data Corp 侵入検知システムおよび侵入検知プログラム
JP4129207B2 (ja) 2003-07-18 2008-08-06 株式会社日立製作所 不正侵入分析装置
JP4317420B2 (ja) * 2003-10-21 2009-08-19 安川情報システム株式会社 サーバ計算機および通信ログの処理方法
JP4104011B2 (ja) * 2005-03-03 2008-06-18 株式会社エヌ・ティ・ティ・ドコモ トラヒック制御システム、及び、トラヒック制御処理実行方法
US20080162202A1 (en) * 2006-12-29 2008-07-03 Richendra Khanna Detecting inappropriate activity by analysis of user interactions
US20090077663A1 (en) * 2007-09-17 2009-03-19 Alcatel Lucent Score-based intrusion prevention system
US9866426B2 (en) * 2009-11-17 2018-01-09 Hawk Network Defense, Inc. Methods and apparatus for analyzing system events
US20110191394A1 (en) * 2010-01-29 2011-08-04 Winteregg Joel Method of processing log files in an information system, and log file processing system
US8516595B2 (en) * 2010-12-28 2013-08-20 Caixa d'Estalvis I Pensions de Barcelona “La Caixa” Method and system for estimating the reliability of blacklists of botnet-infected computers
US20120246303A1 (en) * 2011-03-23 2012-09-27 LogRhythm Inc. Log collection, structuring and processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7752665B1 (en) * 2002-07-12 2010-07-06 TCS Commercial, Inc. Detecting probes and scans over high-bandwidth, long-term, incomplete network traffic information using limited memory
CN102385549A (zh) * 2010-09-02 2012-03-21 北京无限立通通讯技术有限责任公司 日志处理系统、日志处理方法和日志存储子系统
CN102722553A (zh) * 2012-05-24 2012-10-10 浙江大学 基于用户日志分析的分布式倒排索引组织方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAREN KENT 等: "Guide to Computer Security Log Management", 《NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY U.S. DEPARTMENT OF COMMERCE》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491457A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 一种用于业务数据标准化的方法与设备
CN106095575A (zh) * 2016-06-14 2016-11-09 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法
CN109076012B (zh) * 2016-12-06 2021-07-20 松下电器（美国）知识产权公司 信息处理装置以及信息处理方法
CN109076012A (zh) * 2016-12-06 2018-12-21 松下电器（美国）知识产权公司 信息处理装置以及信息处理方法
CN106844495A (zh) * 2016-12-26 2017-06-13 北京五八信息技术有限公司 一种网站操作日志的获取方法及装置
CN110178137A (zh) * 2017-01-20 2019-08-27 三菱电机株式会社 数据判定装置、数据判定方法以及数据判定程序
CN110073302A (zh) * 2017-01-31 2019-07-30 欧姆龙株式会社 信息处理装置、信息处理装置的控制方法以及控制程序
CN107729225A (zh) * 2017-10-27 2018-02-23 上海斐讯数据通信技术有限公司 一种终端设备心率采集方法及系统
CN112912877A (zh) * 2018-09-03 2021-06-04 松下电器产业株式会社 日志输出装置、日志输出方法以及日志输出系统
CN112912877B (zh) * 2018-09-03 2024-06-04 松下控股株式会社 日志输出装置、日志输出方法以及日志输出系统
CN112654969A (zh) * 2018-10-11 2021-04-13 日本电信电话株式会社 信息处理装置、数据分析方法及程序
CN111290928A (zh) * 2018-12-06 2020-06-16 中国移动通信集团陕西有限公司 一种原子业务重要性确定方法、装置、介质和设备
CN113272794A (zh) * 2019-01-10 2021-08-17 Ntt通信公司 车载型信息处理装置、用户终端、信息处理方法以及程序
CN110297746A (zh) * 2019-07-05 2019-10-01 北京慧眼智行科技有限公司 一种数据处理方法及系统
CN113098852A (zh) * 2021-03-25 2021-07-09 绿盟科技集团股份有限公司 一种日志处理方法及装置
CN114553731A (zh) * 2022-02-25 2022-05-27 深圳市普渡科技有限公司 数据日志采集系统、方法、设备及介质
CN115118582A (zh) * 2022-06-15 2022-09-27 合肥移瑞通信技术有限公司 日志分析的方法和装置
CN115118582B (zh) * 2022-06-15 2024-04-16 合肥移瑞通信技术有限公司 日志分析的方法和装置

Also Published As

Publication number Publication date
EP2953298A1 (en) 2015-12-09
US20150341389A1 (en) 2015-11-26
JP6001689B2 (ja) 2016-10-05
JPWO2014119669A1 (ja) 2017-01-26
EP2953298B1 (en) 2018-03-21
US9860278B2 (en) 2018-01-02
WO2014119669A1 (ja) 2014-08-07
EP2953298A4 (en) 2016-11-16
CN104937886B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN104937886A (zh) 日志分析装置、信息处理方法以及程序
CN112651006B (zh) 一种电网安全态势感知系统
US10104124B2 (en) Analysis rule adjustment device, analysis rule adjustment system, analysis rule adjustment method, and analysis rule adjustment program
KR100942456B1 (ko) 클라우드 컴퓨팅을 이용한 ＤＤｏＳ 공격 탐지 및 차단 방법 및 서버
EP2961111B1 (en) Network monitoring device, network monitoring method, and network monitoring program
CN107135093B (zh) 一种基于有限自动机的物联网入侵检测方法及检测系统
KR101538709B1 (ko) 산업제어 네트워크를 위한 비정상 행위 탐지 시스템 및 방법
CN102257787B (zh) 网络分析
CN107995179B (zh) 一种未知威胁感知方法、装置、设备及系统
KR101223931B1 (ko) Ｄｎｓ 패킷을 이용한 실시간 비정상 행위 탐지 방법
EP3242240B1 (en) Malicious communication pattern extraction device, malicious communication pattern extraction system, malicious communication pattern extraction method and malicious communication pattern extraction program
JP7005936B2 (ja) 評価プログラム、評価方法および情報処理装置
US20210306351A1 (en) Infection spread attack detection device, attack origin specification method, and program
EP3379772B1 (en) Analysis method, analysis device, and analysis program
KR101488271B1 (ko) Ids 오탐 검출 장치 및 방법
KR20070072835A (ko) 실시간 웹로그 수집을 통한 웹해킹 대응 방법
KR20140117217A (ko) 빅데이터 분석을 이용한 유해 정보 수집 방법 및 장치
KR101384618B1 (ko) 노드 분석 기법을 이용한 위험요소 추출 시스템
KR100977827B1 (ko) 악성 웹 서버 시스템의 접속탐지 장치 및 방법
KR101713907B1 (ko) 보안 네트워크에서 이벤트 발생 시점 기반 트래픽 상관 분석 서비스 제공 방법 및 시스템
KR101929522B1 (ko) Stix 변환 장치 및 방법
KR101573413B1 (ko) 주성분 분석을 기반으로 하는 침입 탐지 장치 및 그 방법
KR20180101868A (ko) 악성 행위 의심 정보 탐지 장치 및 방법
CN112769847A (zh) 物联网设备的安全防护方法、装置、设备及存储介质
KR20100127591A (ko) 응용프로그램의 네트워크 행동 시그니처 생성 장치, 수집 서버, 네트워크 행동 파악 시스템 및 네트워크 행동 시그니처 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant