CN104883365A - 一种安全日志存储和读取方法、装置及安全管控系统 - Google Patents
一种安全日志存储和读取方法、装置及安全管控系统 Download PDFInfo
- Publication number
- CN104883365A CN104883365A CN201510245972.1A CN201510245972A CN104883365A CN 104883365 A CN104883365 A CN 104883365A CN 201510245972 A CN201510245972 A CN 201510245972A CN 104883365 A CN104883365 A CN 104883365A
- Authority
- CN
- China
- Prior art keywords
- security log
- security
- event table
- log
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种安全日志存储和读取方法、装置及安全管控系统,该方法包括:在至少一个服务器中的每个服务器上部署一个数据库,根据所有安全日志的类型,在每个所述数据库中创建至少一个事件表,每个事件表对应一种安全日志类型,根据安全日志的类型,将待存储的安全日志分别存储到数据库内对应的事件表中,为每个存储到事件表中的安全日志定义时间戳,根据所述安全日志的时间戳,分别在对应的事件表中读取需要的安全日志。该装置包括:部署单元、创建单元、存储单元、定义单元及读取单元。安全管控系统包括:管理模块、采集模块、分析模块及安全日志存储和读取装置。本发明能够提高安全日志存储和读取的速度。
Description
技术领域
本发明涉及数据处理领域,特别涉及一种安全日志存储和读取方法、装置及安全管控系统。
背景技术
随着大数据、服务器等技术在计算机领域的应用和推广,计算机信息安全也越发重要,由于用户数量大、数据处理量大及当前的网络环境等因素,将产生海量的安全日志,并需要对各类安全日志进行深层次的分析,从而为计算机信息安全决策和整改提供依据,因此,现在面临的问题是如何解决海量安全日志的存储及读取问题。
目前,对于安全日志的存储和读取的方法主要包括:安全日志采用集中存储的方法,将所有安全日志存储于同一存储节点上,当需要对安全日志进行加工分析时,再从该节点上读取需要的安全日志。
目前安全日志存储和读取的方法,将所有安全日志存储于同一节点上,由于安全日志数据量很大,很短时间内将会填满存储空间,存储速度慢,当需要对安全日志进行加工、分析时,再通过这一个储存节点,从海量安全日志中寻找需要的安全日志进行读取,读取速度慢,因此,现有技术对安全日志的存储和读取存在读写速度慢、存储量小及不易进行加工分析等缺点。
发明内容
本发明提供一种安全日志存储和读取方法、装置及安全管控系统,能够提高安全日志存储和读取的速度。
本发明实施例提供了一种安全日志存储和读取方法,包括:
在至少一个服务器中的每个服务器上部署一个数据库;
根据所有安全日志的类型,在每个所述数据库中创建至少一个事件表,每个事件表对应一种安全日志类型;
根据安全日志的类型,将待存储的安全日志分别存储到数据库内对应的事件表中;
为每个存储到事件表中的安全日志定义时间戳;
根据所述安全日志的时间戳,分别在对应的事件表中读取需要的安全日志。
优选地,所述在每个所述数据库中创建至少一个事件表,每个事件表对应一种安全日志类型包括:建立的事件表涵盖所有安全日志的类型,不同事件表对应的安全日志类型相同或不同。
优选地,所述根据安全日志的类型,将待存储的安全日志分别存储到数据库内对应的事件表中包括:每经过一个设定的间隔时间,汇总一次安全日志,形成一个安全日志汇总表,根据所有安全日志的类型,将所述安全日志汇总表划分为至少一个安全日志分表,其中,每个所述安全日志分表对应一种安全日志类型,将所述安全日志分表发送至对应事件表所在的服务器,将安全日志分表中的安全日志分别存储到对应类型的事件表中。
优选地,所述根据所述安全日志的时间戳,分别在对应的事件表中读取需要的安全日志包括:将所述需要的安全日志根据安全日志的类型进行分类,在对应类型的事件表上,通过安全日志的时间戳进行筛选,同时读取各个事件表中需要的安全日志,将从各个事件表中读取的安全日志进行重组,并将重组后的安全日志返回。
优选地,所述数据库为非关系型数据库。
优选地,所述安全日志的类型包括:主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志中的一个或多个。
优选地,该方法进一步包括:根据不同安全日志类型的重要程度,设定各事件表对安全日志的存储时间,对于超出存储时间的安全日志则自动进行删除。
本发明实施例提供了一种安全日志存储和读取装置,包括:
部署单元,用于在至少一个服务器中的每个服务器上部署一个数据库;
创建单元,用于根据所有安全日志的类型,在所述部署单元部署的每个数据库中创建至少一个事件表,每个事件表对应一种安全日志类型;
存储单元,用于根据安全日志的类型,将待存储的安全日志分别存储到数据库内由所述创建单元创建的对应类型的事件表中;
定义单元,用于为每个由所述存储单元存储到事件表中的安全日志定义时间戳;
读取单元,用于根据由所述定义单元定义的安全日志的时间戳,分别在由所述创建单元创建的对应类型的事件表中读取需要的安全日志。
优选地,所述存储单元,用于每经过一个设定的间隔时间,汇总一次安全日志,形成一个安全日志汇总表,根据所有安全日志的类型,将所述安全日志汇总表划分为至少一个安全日志分表,其中,每个所述安全日志分表对应一种安全日志类型,将所述安全日志分表发送至对应事件表所在的服务器,将安全日志分表中的安全日志分别存储到对应类型的事件表中。
优选地,所述读取单元,用于将所述需要的安全日志根据安全日志的类型进行分类,在对应类型的事件表上,通过安全日志的时间戳进行筛选,同时读取各个事件表中需要的安全日志,将从各个事件表中读取的安全日志进行重组,并将重组后的安全日志返回。
优选地,该装置进一步包括:
设定单元,用于根据不同安全日志类型的重要程度,设定由所述创建单元创建的各事件表对安全日志的存储时间;
删除单元,用于根据所述设定单元设定的存储时间,对超出存储时间的安全日志进行删除。
本发明实施例还提供了安全管控系统,包括:管理模块、采集模块、分析模块及本发明实施例提供的任意一种安全日志存储和读取装置;
所述管理模块,用于以界面的形式供用户操作,接收用户的命令,对所述采集模块、分析模块及安全日志存储和读取装置进行配置;
所述采集模块,用于各类设备及系统安全事件的采集,并形成安全日志,将安全日志发送给所述安全日志存储和读取装置对安全日志进行存储;
所述分析模块,用于接收所述安全日志存储和读取装置发送来的各类安全日志,并根据所述管理模块发送来的规则,对接收到的安全日志进行加工和分析。
本发明实施例提供了一种安全日志存储和读取方法、装置及安全管控系统,通过在每个服务器上部署一个数据库,每个数据库中创建至少一个事件表,每个事件表对应一种安全日志的类型,将待存储的安全日志分别存储到对应类型的数据表中,实现安全日志的分类存储,并在存储的同事为每一个安全日志定义时间戳,当需要读取安全日志时,分别从对应的事件表中进行读取,并通过安全日志的时间戳进行快速筛选和定位,这样将提高安全日志存储和读取的速度。
附图说明
图1是本发明实施例提供的一种安全日志存储和读取方法流程图;
图2是本发明另一个实施例提供的一种安全日志存储方法流程图;
图3是本发明另一个实施例提供的一种安全日志读取方法流程图;
图4是本发明实施例提供的一种安全日志存储和读取装置示意图;
图5是本发明另一个实施例提供的一种安全日志存储和读取装置示意图;
图6是本发明实施例提供的安全管控系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明一个实施例提供了一种安全日志存储和读取方法,包括:
步骤101:在至少一个服务器中的每个服务器上部署一个数据库;
步骤102:根据所有安全日志的类型,在每个所述数据库中创建至少一个事件表,每个事件表对应一种安全日志类型;
步骤103:根据安全日志的类型,将待存储的安全日志分别存储到数据库内对应的事件表中;
步骤104:为每个存储到事件表中的安全日志定义时间戳;
步骤105:根据所述安全日志的时间戳,分别在对应的事件表中读取需要的安全日志。
本发明实施例提供了一种安全日志存储和读取方法,通过在每个服务器上部署一个数据库,每个数据库中创建至少一个事件表,每个事件表对应一种安全日志的类型,将待存储的安全日志分别存储到对应类型的数据表中,实现安全日志的分类存储,并在存储的同事为每一个安全日志定义时间戳,当需要读取安全日志时,分别从对应的事件表中进行读取,并通过安全日志的时间戳进行快速筛选和定位,这样将提高安全日志存储和读取的速度。
在本发明一个实施例中,建立的事件表涵盖所有安全日志的类型,确保每一类安全日志都有与之相对应的事件表进行存储,不同事件表对应的安全日志类型可以相同也可以不同,当一类安全日志的数据量很大时,可以在不同服务器的数据库中创建多个用于存储该类型安全日志的事件表,保证有足够的存储空间存储安全日志。
在本发明一个实施例中,设定一个间隔时间,每经过一个设定的间隔时间,汇总一次安全日志,形成一个安全日志汇总表,根据安全日志的类型,将汇总表划分为多个安全日志分表,每个安全日志分表对应一类安全日志,将不同种类的安全日志分表中的安全日志分别存储到与之类型相对应的事件表中,从而实现安全日志的分类存储,便于安全日志读取时寻址及同类安全日志的分析和管理。
在本发明一个实施例中,当需要读取安全日志时,首先对需要的安全日志根据安全日志的类型进行分类,然后分别在各个对应类型的事件表中,通过安全日志的时间戳进行筛选,同时读取各个事件表中需要的安全日志,然后将读取出的安全日志进行重组,并将重组后的安全日志返回至需要的模块,由于是在各个事件表中同时对需要的安全日志进行读取,这样将提高安全日志的读取速度。
在本发明一个实施例中,在服务器上部署的数据库其类型为非关系型数据库,非关系型数据库在设备性能及冗余等方面更加优异。
在本发明一个实施例中,安全日志的类型包括:主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志等中的一个或多个,可以实现多种异构安全日志的存储和读取。
在本发明一个实施例中,安全日志的类型不同,其重要程度也不同,需要存储的时间也不一致,可以设定各个事件表存储安全日志的时间,当事件表中的安全日志存储在该事件表中的时间超过设定的存储时间后,将自动删除该安全日志,这样将及时清除无用的安全日志,保证新安全日志有足够的存储空间进行存储,从而节省存储空间。
为使本发明的目的、技术方案和优点更加清楚,下面结合附图及具体实施例对本发明作进一步地详细描述。
如图2所示,本发明一个实施例提供了一种安全日志存储方法,该方法包括:
步骤201:在多个服务器上部署数据库,其中每个服务器上一个数据库。
在本发明一个实施例中,在多个服务器上部署数据库,且每个服务器上部署一个数据库,根据安全日志的数据量确定服务器的个数,确保有足够的存储空间存储安全日志。例如,根据安全日志的数据量确定需要8个服务器,则在8个服务器上部署8个性能更优越的非关系型数据库,分别为数据库1至数据库8。
步骤202:在每个数据库中创建至少一个事件表,每个事件表对应一种安全日志类型。
在本发明一个实施例中,根据安全日志的类型,在部署的数据库中创建事件表,每个数据库中至少包括一个事件表,每个事件表对应一种安全日志的类型,可以根据各类安全日志的数据量,确定针对一种安全日志类型所对应的事件表的个数。例如,安全日志包括主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志共7个类型,其中主机日志和网络设备日志数据量较少,在步骤201所述数据库1中创建两个事件表,分别为事件表1和事件表2,事件表1对应主机日志,事件表2对应网络设备日志;安全设备日志、操作系统日志及中间件日志数据量一般,分别在数据库2至4中各创建一个事件表,分别为事件表3至5,其中事件表3对应安全设备日志,事件表4对应操作系统日志,事件表5对应中间件日志;数据库日志和应用系统日志数据量较大,分别中数据库5至8中各创建一个事件表,分别为事件表6至9,其中,事件表6和事件表7对应数据库日志,事件表8和事件表9对应应用系统日志。本发明实施例中服务器、数据库及事件表与安全日志类型的对应关系参见表1。
表1
步骤203:设定间隔时间,每经过一个间隔时间,汇总一次安全日志,形成一个安全日志汇总表。
在本发明一个实施例中,设定汇总安全日志的间隔时间,每经过一个间隔时间,汇总来自各个设备或系统的安全日志,形成一个安全日志汇总表。例如,设定间隔时间为1小时,每隔1小时汇总一次安全日志,形成一个安全日志汇总表,该安全日志汇总表中包括主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志7类安全日志。
步骤204:根据安全日志的类型,将安全日志汇总表划分为多个不同类型的安全日志分表,每个安全日志分表对应一个安全日志类型。
在本发明一个实施例中,根据安全日志汇总表包括的安全日志的类型,将安全日志汇总表划分为多个安全日志分表,其中安全日志分表与安全日志的类型一一对应。例如,安全日志汇总表包括主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志7类安全日志,那么就将该安全日志汇总表划分为7个安全日志分表,分别为安全日志分表1至7,其中,安全日志分表1至7分别对应主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志,即安全日志分表1中全部为主机日志,安全日志分表2中全部为网络设备日志,以此类推,直至安全日志分表7中全部为应用系统日志。
步骤205:将安全日志分表发送至对应类型事件表所在的服务器。
在本发明一个实施例中,将各个安全日志分表发送至与之类型相对应的事件表所在的服务器上。例如,安全日志分表1至7分别对应主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志,将安全日志分表1至7分别发送至对应主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志的事件表所在的服务器上,如表1所示,即将安全日志分表1和安全日志分表2发送至服务器1,将安全日志分表3至5分别发送至服务器2至4,将安全日志分表6发送至服务器5,将安全日志分表7发送至服务器7,如果服务器5已满则将安全日志分表6发送至服务器6,同理,如果服务器7已满则将安全日志分表7发送至服务器8。
步骤206:将安全日志分表中的安全日志存储到对应类型的事件表中。
在本发明一个实施例中,将已发送至对应服务器上的各个类型的安全日志分表中的安全日志存储到对应类型的事件表中。例如,步骤205中发送至各个服务器上的安全日志分表,将安全日志分表1至6中的安全日志分别存储到事件表1至6中,安全日志分表7中的安全日志存储到事件表8中,如果事件表6已满,则将安全日志分表6中的安全日志存储到事件表7中,同理,如果事件表8已满,则将安全日志分表7中的安全日志存储到事件表9中。
步骤207:为每一个存储到事件表中的安全日志定义时间戳。
在本发明一个实施例中,在各个类型的事件表中,每存储一个安全日志,都会为该安全日志定义时间戳,用于记录该安全日志的存储时间。例如,安全日志1存储到事件表1中时,会对安全事件1定义一个时间戳,记录安全事件1是具体什么时间存储到事件表1中的。
需要说明的是,根据安全日志的种类不同,各类安全日志需要保存的时间也不尽相同,可以设定各类事件表保存安全日志的时间。例如,可以设定对应主机日志的事件表1的保存时间为1年,设定对应操作系统日志的事件表4的保存时间为半年,这样,存储到事件表1中的安全日志在保存时间超过1年后将自动删除,同理,存储到事件表4中的安全日志在保存时间超过半年后将自动删除。
如图3所示,本发明一个实施例提供了一种安全日志读取方法,该方法包括:
步骤301:接收需求模块发送的读取安全日志的命令。
在本发明一个实施例中,接收读取安全日志的命令,该命令指定需要的安全日志的类型和存储的时间。例如,接收到一个读取安全日志的命令,该命令为读取2015年5月12日8:00至12:00存储的主机日志和网络设备日志。
步骤302:根据安全日志的类型,将需要读取的安全日志进行分类。
在本发明一个实施例中,将读取安全日志命令中需要的安全日志根据安全日志的类型进行分类。例如,读取命令要求读取的是2015年5月12日8:00至12:00存储的主机日志和网络设备日志,那么就将需要的安全日志分为2015年5月12日8:00至12:00存储的主机日志和2015年5月12日8:00至12:00存储的网络设备日志两类。
步骤303:将分类后的安全日志读取命令分别发送至对应的事件表。
在本发明一个实施例中,将分类后的读取命令发送至对应的数据库的对应的事件表中。例如,如表1所示,将读取2015年5月12日8:00至12:00存储的主机日志的命令发送至事件表1,将读取2015年5月12日8:00至12:00存储的网络设备日志的命令发送至事件表2。
步骤304:通过安全日志的时间戳,同时从各个事件表中读取需要的安全日志。
在本发明一个实施例中,从各个事件表中读取需要的安全日志的过程可以通过之前定义的时间戳进行筛选。例如,从事件表1中读取需要的安全日志时,首先利用日志的时间戳,筛选出2015年5月12日8:00至12:00存储的主机日志并读取出来,同时,从事件表2中筛选出2015年5月12日8:00至12:00存储的网络设备日志并读取出来。
步骤305:将从各个事件表中读取的安全日志进行重组,并将重组后的安全日志返回至需求模块。
在本发明一个实施例中,将从各个事件表中读取的所需安全日志重组后返回给需求模块。例如,将从事件表1中读取的主机日志和从事件表2中读取的网络设备日志重新组合,并将组合后的安全体制发送给需求的模块。
如图4所示,本发明实施例提供了一种安全日志存储和读取装置,该装置包括:
部署单元401,用于在至少一个服务器中的每个服务器上部署一个数据库;
创建单元402,用于根据所有安全日志的类型,在所述部署单元部署的每个数据库中创建至少一个事件表,每个事件表对应一种安全日志类型;
存储单元403,用于根据安全日志的类型,将待存储的安全日志分别存储到数据库内由所述创建单元创建的对应类型的事件表中;
定义单元404,用于为每个由所述存储单元存储到事件表中的安全日志定义时间戳;
读取单元405,用于根据由所述定义单元定义的安全日志的时间戳,分别在由所述创建单元创建的对应类型的事件表中读取需要的安全日志。
在本发明一个实施例中,所述读取单元405,用于将所述需要的安全日志根据安全日志的类型进行分类,在对应类型的事件表上,通过安全日志的时间戳进行筛选,同时读取各个事件表中需要的安全日志,将从各个事件表中读取的安全日志进行重组,并将重组后的安全日志返回。
在本发明一个实施例中,如图5所示,该装置可以进一步包括:
设定单元501,用于根据不同安全日志类型的重要程度,设定由所述创建单元创建的各事件表对安全日志的存储时间;
删除单元502,用于根据所述设定单元设定的存储时间,对超出存储时间的安全日志进行删除。
如图6所示,本发明实施例还提供了安全管控系统,该系统包括:管理模块601、采集模块602、分析模块603及本发明实施例中提供的任意一种安全日志存储和读取装置604;
所述管理模块601,用于以界面的形式供用户操作,接收用户的命令,对所述采集模块、分析模块及安全日志存储和读取装置进行配置;
所述采集模块602,用于各类设备及系统安全事件的采集,并形成安全日志,将安全日志发送给所述安全日志存储和读取装置对安全日志进行存储;
所述分析模块603,用于接收所述安全日志存储和读取装置发送来的各类安全日志,并根据所述管理模块发送来的规则,对接收到的安全日志进行加工和分析。
根据上述方案,本发明的实施例所提供的一种安全日志存储和读取方法、装置及安全管控系统,至少具有如下有益效果:
1、本发明实施例中,通过在每个服务器上部署一个数据库,每个数据库中创建至少一个事件表,每个事件表对应一种安全日志的类型,将待存储的安全日志分别存储到对应类型的数据表中,实现安全日志的分类存储,并在存储的同事为每一个安全日志定义时间戳,当需要读取安全日志时,分别从对应的事件表中进行读取,并通过安全日志的时间戳进行快速筛选和定位,这样将提高安全日志存储和读取的速度。
2、在本发明实施例中,在服务器上部署数据库,在数据库中创建事件表,根据不同安全日志的类型的数据量的大小,确定所需服务器的数量及每个数据库中数据表的数量,当安全日志数据量较小时,可以将多个数据量较小的安全日志对应的事件表创建在同一个服务器的数据库中,当安全日志数据量很大时,可以在一个服务器的数据库中只创建一个数据量较大的安全日志对应的事件表,而且可以在多个服务器的数据库中创建针对同一安全日志类型的事件表,这样在保证有足够空间存储安全日志的同时,有能够节省存储空间。
3、本发明实施例中,设定间隔时间,每经过一个间隔时间汇总一次安全日志,将安全日志分类后存储到对应的事件表中,并定义时间戳,通过设定间隔时间,提高安全日志处理能力。
4、本发明实施例中,在读取安全日志时,将需要的安全日志进行分类,然后同时从对应的事件表中读取所需的安全日志,这样将提高安全日志的读取速度。
5、本发明实施例中,在服务器上部署的数据库为非关系型数据库,由其自身的结构特点决定其在设备性能及冗余等方面更加优异。
6、本发明实施例中,安全日志的类型不同,其重要程度也不同,需要存储的时间也不一致,可以设定各个事件表存储安全日志的时间,当事件表中的安全日志存储在该事件表中的时间超过设定的存储时间后,将自动删除该安全日志,这样将及时清除无用的安全日志,保证新安全日志有足够的存储空间进行存储,从而节省存储空间。
上述设备内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种安全日志存储和读取方法,其特征在于,包括:
在至少一个服务器中的每个服务器上部署一个数据库;
根据所有安全日志的类型,在每个所述数据库中创建至少一个事件表,每个事件表对应一种安全日志类型;
根据安全日志的类型,将待存储的安全日志分别存储到数据库内对应的事件表中;
为每个存储到事件表中的安全日志定义时间戳;
根据所述安全日志的时间戳,分别在对应的事件表中读取需要的安全日志。
2.根据权利要求1所述的方法,其特征在于,所述在每个所述数据库中创建至少一个事件表,每个事件表对应一种安全日志类型包括:建立的事件表涵盖所有安全日志的类型,不同事件表对应的安全日志类型相同或不同。
3.根据权利要求1所述的方法,其特征在于,
所述根据安全日志的类型,将待存储的安全日志分别存储到数据库内对应的事件表中包括:每经过一个设定的间隔时间,汇总一次安全日志,形成一个安全日志汇总表,根据所有安全日志的类型,将所述安全日志汇总表划分为至少一个安全日志分表,其中,每个所述安全日志分表对应一种安全日志类型,将所述安全日志分表发送至对应事件表所在的服务器,将安全日志分表中的安全日志分别存储到对应类型的事件表中。
4.根据权利要求1所述的方法,其特征在于,
所述根据所述安全日志的时间戳,分别在对应的事件表中读取需要的安全日志包括:将所述需要的安全日志根据安全日志的类型进行分类,在对应类型的事件表上,通过安全日志的时间戳进行筛选,同时读取各个事件表中需要的安全日志,将从各个事件表中读取的安全日志进行重组,并将重组后的安全日志返回。
5.根据权利要求1所述的方法,其特征在于,
所述数据库为非关系型数据库;
和/或,
所述安全日志的类型包括:主机日志、网络设备日志、安全设备日志、操作系统日志、中间件日志、数据库日志及应用系统日志中的一个或多个。
6.根据权利要求1至5中任一所述的方法,其特征在于,进一步包括:
根据不同安全日志类型的重要程度,设定各事件表对安全日志的存储时间,对于超出存储时间的安全日志则自动进行删除。
7.一种安全日志存储和读取装置,其特征在于,包括:
部署单元,用于在至少一个服务器中的每个服务器上部署一个数据库;
创建单元,用于根据所有安全日志的类型,在所述部署单元部署的每个数据库中创建至少一个事件表,每个事件表对应一种安全日志类型;
存储单元,用于根据安全日志的类型,将待存储的安全日志分别存储到数据库内由所述创建单元创建的对应类型的事件表中;
定义单元,用于为每个由所述存储单元存储到事件表中的安全日志定义时间戳;
读取单元,用于根据由所述定义单元定义的安全日志的时间戳,分别在由所述创建单元创建的对应类型的事件表中读取需要的安全日志。
8.根据权利要求7所述的装置,其特征在于,
所述存储单元,用于每经过一个设定的间隔时间,汇总一次安全日志,形成一个安全日志汇总表,根据所有安全日志的类型,将所述安全日志汇总表划分为至少一个安全日志分表,其中,每个所述安全日志分表对应一种安全日志类型,将所述安全日志分表发送至对应事件表所在的服务器,将安全日志分表中的安全日志分别存储到对应类型的事件表中;
和/或,
所述读取单元,用于将所述需要的安全日志根据安全日志的类型进行分类,在对应类型的事件表上,通过安全日志的时间戳进行筛选,同时读取各个事件表中需要的安全日志,将从各个事件表中读取的安全日志进行重组,并将重组后的安全日志返回。
9.根据权利要求7至8中任一所述的装置,其特征在于,进一步包括:
设定单元,用于根据不同安全日志类型的重要程度,设定由所述创建单元创建的各事件表对安全日志的存储时间;
删除单元,用于根据所述设定单元设定的存储时间,对超出存储时间的安全日志进行删除。
10.安全管控系统,其特征在于,包括:管理模块、采集模块、分析模块及权利要求7至9中任一所述的安全日志存储和读取装置;
所述管理模块,用于以界面的形式供用户操作,接收用户的命令,对所述采集模块、分析模块及安全日志存储和读取装置进行配置;
所述采集模块,用于各类设备及系统安全事件的采集,并形成安全日志,将安全日志发送给所述安全日志存储和读取装置对安全日志进行存储;
所述分析模块,用于接收所述安全日志存储和读取装置发送来的各类安全日志,并根据所述管理模块发送来的规则,对接收到的安全日志进行加工和分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510245972.1A CN104883365A (zh) | 2015-05-14 | 2015-05-14 | 一种安全日志存储和读取方法、装置及安全管控系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510245972.1A CN104883365A (zh) | 2015-05-14 | 2015-05-14 | 一种安全日志存储和读取方法、装置及安全管控系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104883365A true CN104883365A (zh) | 2015-09-02 |
Family
ID=53950699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510245972.1A Pending CN104883365A (zh) | 2015-05-14 | 2015-05-14 | 一种安全日志存储和读取方法、装置及安全管控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104883365A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681472A (zh) * | 2016-03-28 | 2016-06-15 | 微梦创科网络科技(中国)有限公司 | 一种日志传输方法及装置 |
CN105912587A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股(北京)有限公司 | 一种数据采集方法和系统 |
CN106202305A (zh) * | 2016-06-30 | 2016-12-07 | 北京北信源软件股份有限公司 | 一种日志处理方法、装置及数据库系统 |
CN106599121A (zh) * | 2016-11-30 | 2017-04-26 | 海尔优家智能科技(北京)有限公司 | 一种用于物联网的数据处理方法及系统 |
CN106649729A (zh) * | 2016-12-23 | 2017-05-10 | 深圳市金证科技股份有限公司 | 日志运行方法及系统、客户端和服务器 |
CN106790023A (zh) * | 2016-12-14 | 2017-05-31 | 平安科技(深圳)有限公司 | 网络安全联合防御方法和装置 |
CN106909559A (zh) * | 2015-12-23 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 堆栈日志处理方法及装置 |
CN107342888A (zh) * | 2016-12-02 | 2017-11-10 | 杭州迪普科技股份有限公司 | 日志报文的存储方法及装置 |
CN108197147A (zh) * | 2017-11-29 | 2018-06-22 | 中国联合网络通信集团有限公司 | 号卡数据库运维方法及装置 |
CN108616556A (zh) * | 2016-12-13 | 2018-10-02 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统 |
CN110569274A (zh) * | 2019-08-02 | 2019-12-13 | 福建星网智慧软件有限公司 | 一种分布式实时日志分析方法和计算机可读存储介质 |
CN111242759A (zh) * | 2019-12-25 | 2020-06-05 | 航天信息股份有限公司 | 一种基于网络的会计电子档案处理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753984A (zh) * | 2008-11-27 | 2010-06-23 | 北京中星微电子有限公司 | 视频监控系统日志的处理方法、系统和服务器 |
CN102624562A (zh) * | 2012-03-13 | 2012-08-01 | 网经科技(苏州)有限公司 | 网络管理系统中分布式syslog日志的安全管理方法 |
CN102937931A (zh) * | 2012-09-25 | 2013-02-20 | 北京奇虎科技有限公司 | 一种日志数据传输的方法和系统 |
-
2015
- 2015-05-14 CN CN201510245972.1A patent/CN104883365A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753984A (zh) * | 2008-11-27 | 2010-06-23 | 北京中星微电子有限公司 | 视频监控系统日志的处理方法、系统和服务器 |
CN102624562A (zh) * | 2012-03-13 | 2012-08-01 | 网经科技(苏州)有限公司 | 网络管理系统中分布式syslog日志的安全管理方法 |
CN102937931A (zh) * | 2012-09-25 | 2013-02-20 | 北京奇虎科技有限公司 | 一种日志数据传输的方法和系统 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909559A (zh) * | 2015-12-23 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 堆栈日志处理方法及装置 |
CN105681472A (zh) * | 2016-03-28 | 2016-06-15 | 微梦创科网络科技(中国)有限公司 | 一种日志传输方法及装置 |
CN105681472B (zh) * | 2016-03-28 | 2019-04-02 | 微梦创科网络科技(中国)有限公司 | 一种日志传输方法及装置 |
CN105912587A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股(北京)有限公司 | 一种数据采集方法和系统 |
WO2017166644A1 (zh) * | 2016-03-31 | 2017-10-05 | 乐视控股(北京)有限公司 | 一种数据采集方法和系统 |
CN106202305A (zh) * | 2016-06-30 | 2016-12-07 | 北京北信源软件股份有限公司 | 一种日志处理方法、装置及数据库系统 |
CN106599121A (zh) * | 2016-11-30 | 2017-04-26 | 海尔优家智能科技(北京)有限公司 | 一种用于物联网的数据处理方法及系统 |
CN106599121B (zh) * | 2016-11-30 | 2020-11-10 | 海尔优家智能科技(北京)有限公司 | 一种用于物联网的数据处理方法及系统 |
CN107342888A (zh) * | 2016-12-02 | 2017-11-10 | 杭州迪普科技股份有限公司 | 日志报文的存储方法及装置 |
CN108616556A (zh) * | 2016-12-13 | 2018-10-02 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统 |
CN108616556B (zh) * | 2016-12-13 | 2021-01-19 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统 |
CN106790023B (zh) * | 2016-12-14 | 2019-03-01 | 平安科技(深圳)有限公司 | 网络安全联合防御方法和装置 |
CN106790023A (zh) * | 2016-12-14 | 2017-05-31 | 平安科技(深圳)有限公司 | 网络安全联合防御方法和装置 |
CN106649729A (zh) * | 2016-12-23 | 2017-05-10 | 深圳市金证科技股份有限公司 | 日志运行方法及系统、客户端和服务器 |
CN108197147A (zh) * | 2017-11-29 | 2018-06-22 | 中国联合网络通信集团有限公司 | 号卡数据库运维方法及装置 |
CN110569274A (zh) * | 2019-08-02 | 2019-12-13 | 福建星网智慧软件有限公司 | 一种分布式实时日志分析方法和计算机可读存储介质 |
CN111242759A (zh) * | 2019-12-25 | 2020-06-05 | 航天信息股份有限公司 | 一种基于网络的会计电子档案处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104883365A (zh) | 一种安全日志存储和读取方法、装置及安全管控系统 | |
CN103064933B (zh) | 数据查询方法及系统 | |
CN109522290B (zh) | 一种HBase数据块恢复及数据记录提取方法 | |
CN104102737A (zh) | 一种历史数据存储方法和系统 | |
CN103793479A (zh) | 日志管理方法及系统 | |
CN102708158B (zh) | 一种PostgreSQL云存储归档调度系统 | |
CN102467521A (zh) | 一种易扩展的多级分类检索方法及系统 | |
CN103955530A (zh) | 一种在线重复数据删除系统的数据重建优化方法 | |
CN102722584B (zh) | 数据存储系统及方法 | |
CN104615785A (zh) | 一种基于TYKY cNosql数据库的数据存储方法及装置 | |
EP3788505B1 (en) | Storing data items and identifying stored data items | |
CN107506477A (zh) | 一种档案管理系统 | |
CN102779138A (zh) | 实时数据的硬盘存取方法 | |
CN112732680A (zh) | 一种数据仓库设计方法 | |
CN103678089B (zh) | 一种分布式软件系统的日志输出方法及系统 | |
CN108009290A (zh) | 一种轨道交通指挥中心线网大数据的数据建模和存储方法 | |
CN105843554B (zh) | 基于对象存储的数据迁移的方法及其系统 | |
CN112052121B (zh) | 一种硬盘数据的恢复方法及系统 | |
CN103473324A (zh) | 基于非结构化数据存储的多维业务属性检索装置及方法 | |
CN105787090A (zh) | 一种电力数据的olap系统的索引建立方法和系统 | |
CN111352982A (zh) | 一种基于大数据的人力抽取分析系统 | |
CN102937956A (zh) | 一种智能变电站中实时报文的存储方法及其装置 | |
CN108228616A (zh) | 日志信息处理方法、系统及装置 | |
CN103207916A (zh) | 元数据处理的方法和装置 | |
CN107220146A (zh) | 一种文件扫描恢复方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150902 |