CN111858831A - 一种基于APT分析的Elasticsearch索引方法、装置和计算机设备 - Google Patents
一种基于APT分析的Elasticsearch索引方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111858831A CN111858831A CN202010645653.0A CN202010645653A CN111858831A CN 111858831 A CN111858831 A CN 111858831A CN 202010645653 A CN202010645653 A CN 202010645653A CN 111858831 A CN111858831 A CN 111858831A
- Authority
- CN
- China
- Prior art keywords
- index
- instruction
- database
- apt
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种基于APT分析的Elasticsearch索引方法、装置和计算机设备,其中,该基于APT分析的Elasticsearch索引方法包括:相比于相关技术,本申请实施例提供的基于APT分析的Elasticsearch索引方法,通过获取待查询的指令,在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令,并确定索引结果;其中,所述数据库中创建有日期和IP段的索引,并根据IP池宽度确定所述IP段,且所述索引创建有文档,所述文档与攻击信息有关,解决了相关技术中基于日志的APT大数据分析使用时间轴,作为日志存储索引的基础,存在检索效率低的问题,提高了检索效率。
Description
技术领域
本申请涉及数据查询技术领域,特别是涉及一种基于APT分析的Elasticsearch索引方法、装置和计算机设备。
背景技术
Elasticsearch是一个开源的基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎。在大数据行业里,Elasticsearch的分布式检索功能便于数据多维度呈现、分析和预测,有利于发挥数据的价值。
在相关技术,APT攻击特点为:团队协同作战,攻击方式多样,攻击持续及间隔时间长。当对这种攻击进行分析时,需要对历史上的其他攻击进行联动分析,通过攻击方式,攻击习惯,攻击指纹等信息确认是否属于APT攻击。现有的基于日志的APT大数据分析平台均使用时间轴,作为日志存储索引的基础,但当通过其他非日期关键字查询数据时,需要遍历所有覆盖时间段的索引,进而存在检索效率低的问题。
目前针对相关技术中基于日志的APT大数据分析使用时间轴,作为日志存储索引的基础,存在检索效率低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于APT分析的Elasticsearch索引方法、装置和计算机设备,以至少解决相关技术中基于日志的APT大数据分析使用时间轴,作为日志存储索引的基础,存在检索效率低的问题。
第一方面,本申请实施例提供了一种基于APT分析的Elasticsearch索引方法,所述方法包括:
获取待查询的指令;
在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令,并确定索引结果;其中,所述数据库中创建有日期和IP段的索引,并根据IP池宽度确定所述IP段,且所述索引创建有文档,所述文档与攻击信息有关。
在其中一些实施例中,在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令之前,所述方法还包括:
根据所述索引对所述指令进行拆解,并判断所述数据库中是否包含有与拆解后的指令相对应的索引。
在其中一些实施例中,在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令之前,所述方法还包括:
启动与所述指令相对应的索引,并在确定所述索引结果之后,关闭所述索引。
在其中一些实施例中,所述启动与所述指令相对应的索引之后,所述方法还包括:
停止所述攻击信息接入所述数据库,通过本地缓存形式保存所述攻击信息,并在确定所述索引结果之后,所述攻击信息导入所述数据库。
在其中一些实施例中,所述索引下创建有文档,所述文档与攻击信息有关的情况下,所述文档包括至少以下之一:告警信息、流量信息、IP信息、地理位置信息、来源设备信息。
在其中一些实施例中,所述数据库中创建有日期和IP段的索引情况下,所述数据库中还创建有时间轴的索引,且按照时间排序关闭部分所述索引。
第二方面,本申请实施例提供了一种基于APT分析的Elasticsearch索引装置,所述装置包括:指令获取模块和索引查询模块;
所述指令获取模块,用于获取待查询的指令;
所述索引查询模块,用于在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令,并确定索引结果;其中,所述数据库中创建有日期和IP段的索引,并根据IP池宽度确定所述IP段,且所述索引创建有文档,所述文档与攻击信息有关。
在其中一些实施例中,所述装置还包括指令拆解模块;
在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令之前,所述令拆解模块用于根据所述索引对所述指令进行拆解,并判断所述数据库中是否包含有与拆解后的指令相对应的索引。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种基于APT分析的Elasticsearch索引方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种基于APT分析的Elasticsearch索引方法。
相比于相关技术,本申请实施例提供的基于APT分析的Elasticsearch索引方法,通过获取待查询的指令,在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令,并确定索引结果;其中,所述数据库中创建有日期和IP段的索引,并根据IP池宽度确定所述IP段,且所述索引创建有文档,所述文档与攻击信息有关,解决了相关技术中基于日志的APT大数据分析使用时间轴,作为日志存储索引的基础,存在检索效率低的问题,提高了检索效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图一;
图2是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图二;
图3是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图三;
图4是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图四;
图5是根据本申请实施例的基于APT分析的Elasticsearch索引装置的结构框图;
图6是根据本申请实施例的基于APT分析的Elasticsearch索引装置的优选结构框图;
图7是根据本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。
Elasticsearch是一种非关系型的分布式数据库,常见用于日志的海量存储,APT是指可持续威胁攻击,也称为定向威胁攻击,在通过elasticsearch进行安全大数据存储与分析时,现有的基于elasticsearch的其通用方案是以日期为单位建立索引,这种方式便于通过时间关系将数据进行整合,但实际使用中,为了系统性能方面考量,日期较久远的数据索引会被关闭,也就是当索引数据较多时,通过关闭前期数据索引来保障系统的高效运行,该方式有如下缺点:通过其他非日期关键字查询数据时,需要遍历所有覆盖时间段的索引;无法查询已经关闭的索引数据,必须查询前先进行启动;查询长期覆盖量大的数据时,系统需要负担超出设计预期的数量,运行效率底下,且有可能导致宕机。本申请的基于APT分析的Elasticsearch索引方法,主要用于针对APT攻击进行检索ElasticSearch海量数据中,本申请通过获取待查询的指令,并在数据库中包含有与指令相对应索引的情况下,在索引中查询指令,并确定索引结果;其中,数据库中创建有日期和IP段的索引,并根据IP池宽度确定IP段,且索引下创建有文档,文档与攻击信息有关。
本实施例提供了一种基于APT分析的Elasticsearch索引方法,图1是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图一,如图1所示,该流程包括如下步骤:
步骤S101,获取待查询的指令,其中,在进行大数据查询是,待查询的指令可以是由工作人员通过控制外部设备所输入的查询请求,也可以是根据查询请求自动生成的查询字段。
步骤S102,在数据库中包含有与指令相对应索引的情况下,在索引中查询指令,并确定索引结果;其中,数据库中创建有日期和IP段的索引,并根据IP池宽度确定IP段,且索引创建有文档,文档与攻击信息有关;
其中,数据库可以理解为是关系型数据库,数据库中创建有关于日期和IP段的索引,可以是日期+IP段进行创建,字段分别为:时间、IP段、组织架构、索引名称,例如,数据库中日期1月1日索引,可以为互联网10.1.X.X-1月1日索引;业务网络10.2.X.X-1月1日索引;办公网络10.3.X.X-1月1日索引,数据库网络10.4.X.X-1月1日索引。需要说明的是,在创建索引之前,整理现场IP池,也就是通过IP段对现有IP及对应的组织架构进行对应整理,对现场IP池宽度进行统计,可以作为索引及文档的创建基础。需要进一步说明的是,索引结果会被保存在缓存库中,等待所有索引结果汇总后统一返回给用户。
通过上述步骤S101至步骤S102,在数据库中创建有关于日期和IP段的索引,而且索引的目录下创建有文档,将数据库中所采集到的攻击信息按照该索引及目录进行存储,当获取到查询指令后,且在数据库中包含有与指令相对应索引的情况下,在对应的索引中进行检索,由于对应索引下还创建有攻击信息有关的文档,文档作为可以检索的最小单位,便于在对应索引下的对应文档检索数据,最终确定索引结果,因此针对性扩大查询时检索范围,提高检索效率,从而可以有效发现APT攻击,解决了相关技术中基于日志的APT大数据分析使用时间轴,作为日志存储索引的基础,存在检索效率低的问题,提高了检索效率。
在其中一些实施例中,图2是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图二,如图2所示,在数据库中包含有与指令相对应索引的情况下,在索引中查询指令之前,该方法还包括如下步骤:
步骤S201,根据索引对指令进行拆解,并判断数据库中是否包含有与拆解后的指令相对应的索引;需要说明的是,待查询的指令可以是查询字段,当获取到查询字段后,由于当前数据库中的索引是以IP段进行存储的,因此需要对获取到的查询字段进行拆解,也就拆解包含有IP段的查询字段。
通过步骤S201,对待查询的指令进行拆解,也就是拆解成包含有IP段的指令,进而便于快速判断数据库中是否包含有与指令相对应的索引,且精确度高。
在其中一些实施例中,图3是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图三,如图3所示,在数据库中包含有与指令相对应索引的情况下,在索引中查询指令之前,该方法还包括如下步骤:
步骤S301,启动与指令相对应的索引,并在确定索引结果之后,关闭索引;
需要说明的是,可以理解为日期和IP段形式的索引,在默认情况下,该索引是关闭状态,在数据库中包含有与指令相对应索引的情况下,该对应的索引启动,启动后在该索引下进行搜索。
通过步骤S301,日期和IP段形式的索引,在默认情况下,所有索引是关闭状态,在数据库中包含有与指令相对应索引的情况下,该对应的索引进行启动,进而在对应的索引下进行搜索,因此实现索引的动态化启停,避免计算机宕机的情况。
在其中一些实施例中,图4是根据本申请实施例的基于APT分析的Elasticsearch索引方法的流程图四,如图4所示,启动与指令相对应的索引之后,该方法还包括如下步骤:
步骤S401,停止攻击信息接入数据库,通过本地缓存形式保存攻击信息,并在确定索引结果之后,攻击信息导入数据库;
需要说明的是,在采用日期和时间段形式的索引下,并在数据库中检索信息的情况下,会停止当前的攻击信息接入到数据库中,当前所接入的攻击信息采用计算机本地缓存形式保存,并在确定检索结果后或者结束当前索引下,将采用计算机本地缓存形式保存的攻击信息导入到日期和时间段形式的索引中。
通过步骤S401,在采用日期和时间段形式的索引下,并在数据库中检索信息的情况下,会停止当前的攻击信息接入到数据库中,有效避免当前的攻击信息干扰到本次指令的索引搜索,进而提高索引搜索的效率。
在其中一些实施例中,索引下创建有文档,文档与攻击信息有关的情况下,文档包括至少以下之一:告警信息、流量信息、IP信息、地理位置信息、来源设备信息;
需要说明的是,文档位于索引下,是能够搜索到的最小单位,在数据库中包含有与指令相对应索引的情况下,可以在索引下的对应文档中搜索结果,例如,当前待查询的指令位于某索引下后,再根据该指令判断位于某索引下的具体哪个文档中,若确定该待查询的指令位于某索引下的某文档中,则直接在对应文档中搜索与该指令对应的数据,进一步缩小了需要查询的范围,有效提高搜索效率,以及所需数据的准确度。
在其中一些实施例中,数据库中创建有日期和IP段的索引情况下,数据库中还创建有时间轴的索引,且按照时间排序关闭部分索引;例如,可以理解为,在数据库中也就是关系数据库中,既有按照日期和IP段形式的索引,也有按照时间轴的索引,且以时间轴为核心的索引,在计算机系统性能方面的考虑下,时间较久远的数据索引会被关闭,因此在获取到待查询的指令后,可以先按照数据库中以时间轴的索引进行查询,也就是在近期未被关闭的时间轴索引,其次根据IP段索引进行检索,也可以理解为根据时间、IP段轮流启用对应的索引,并将检索到的结果保存到缓存库中,进而根据时间、IP段轮流启用对应的索引进行检索,实现有针对性的扩大检索范围,便于获得精确度高的索引结果,以有效对APT攻击进行分析。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于APT分析的Elasticsearch索引装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的基于APT分析的Elasticsearch索引装置的结构框图,如图5所示,该装置包括:指令获取模块50和索引查询模块51;
指令获取模块50,用于获取待查询的指令;
索引查询模块51,用于在数据库中包含有与指令相对应索引的情况下,在索引中查询指令,并确定索引结果;其中,数据库中创建有日期和IP段的索引,并根据IP池宽度确定IP段,且索引创建有文档,文档与攻击信息有关。
通过上述指令获取模块50和索引查询模块51,在数据库中创建有关于日期和IP段的索引,而且索引的目录下创建有文档,将数据库中所采集到的攻击信息按照该索引及目录进行存储,当获取到查询指令后,且在数据库中包含有与指令相对应索引的情况下,在对应的索引中进行检索,由于对应索引下还创建有攻击信息有关的文档,文档作为可以检索的最小单位,便于在对应索引下的对应文档检索数据,最终确定索引结果,因此针对性扩大查询时检索范围,提高检索效率,从而可以有效发现APT攻击,解决了相关技术中基于日志的APT大数据分析使用时间轴,作为日志存储索引的基础,存在检索效率低的问题,提高了检索效率。
图6是根据本申请实施例的基于APT分析的Elasticsearch索引装置的优选结构框图,如图6所示,该装置包括图5所示的所有模块,此外还包括指令拆解模块60;
在数据库中包含有与指令相对应索引的情况下,在索引中查询指令之前,令拆解模块60用于根据索引对指令进行拆解,并判断数据库中是否包含有与拆解后的指令相对应的索引。
通过上述指令拆解模块60,对待查询的指令进行拆解,也就是拆解成包含有IP段的指令,进而便于快速判断数据库中是否包含有与指令相对应的索引,且精确度高。
在其中一些实施例中,在数据库中包含有与指令相对应索引的情况下,在索引中查询指令之前,索引查询模块51还用于启动与指令相对应的索引,并在确定索引结果之后,关闭索引;可以理解为日期和IP段形式的索引,在默认情况下,该索引是关闭状态,在数据库中包含有与指令相对应索引的情况下,该对应的索引启动,启动后在该索引下进行搜索。
通过上述索引查询模块51,日期和IP段形式的索引,在默认情况下,所有索引是关闭状态,在数据库中包含有与指令相对应索引的情况下,该对应的索引进行启动,进而在对应的索引下进行搜索,因此实现索引的动态化启停,避免宕机情况。
在其中一些实施例中,数据库中创建有日期和IP段的索引情况下,数据库中还创建有时间轴的索引,且按照时间排序关闭部分索引;例如,可以理解为,在数据库中也就是关系数据库中,既有按照日期和IP段形式的索引,也有按照时间轴的索引,且以时间轴为核心的索引,在计算机系统性能方面的考虑下,时间较久远的数据索引会被关闭,因此在获取到待查询的指令后,可以先按照数据库中以时间轴的索引进行查询,也就是在近期未被关闭的时间轴索引,其次根据IP段索引进行检索,也可以理解为根据时间、IP段轮流启用对应的索引,并将检索到的结果保存到缓存库中,进而根据时间、IP段轮流启用对应的索引进行检索,实现有针对性的扩大检索范围,便于获得精确度高的索引结果,以有效对APT攻击进行分析。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图1描述的本申请实施例的基于APT分析的Elasticsearch索引方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地,上述处理器可以包括中央处理器(CPU),或者特定集成电路(ApplicationSpecific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器可在数据处理装置的内部或外部。在特定实施例中,存储器是非易失性(Non-Volatile)存储器。在特定实施例中,存储器包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random AccessMemory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令,以实现上述实施例中的任意一种基于APT分析的Elasticsearch索引方法。
在其中一些实施例中,计算机设备还可包括通信接口73和总线70,图7是根据本申请实施例的计算机设备的硬件结构示意图,如图7所示,处理器71、存储器72、通信接口73通过总线70连接并完成相互间的通信。
通信接口73用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口73还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线70包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线70包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线70可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽互连、低引脚数(LowPin Count,简称为LPC)总线、存储器总线、微信道架构(Micro Channel Architecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment,简称为SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线70可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的基于APT分析的Elasticsearch索引方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意基于APT分析的Elasticsearch索引方法。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于APT分析的Elasticsearch索引方法,其特征在于,所述方法包括:
获取待查询的指令;
在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令,并确定索引结果;其中,所述数据库中创建有日期和IP段的索引,并根据IP池宽度确定所述IP段,且所述索引创建有文档,所述文档与攻击信息有关。
2.根据权利要求1所述的方法,其特征在于,在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令之前,所述方法还包括:
根据所述索引对所述指令进行拆解,并判断所述数据库中是否包含有与拆解后的指令相对应的索引。
3.根据权利要求1所述的方法,其特征在于,在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令之前,所述方法还包括:
启动与所述指令相对应的索引,并在确定所述索引结果之后,关闭所述索引。
4.根据权利要求3所述的方法,其特征在于,所述启动与所述指令相对应的索引之后,所述方法还包括:
停止所述攻击信息接入所述数据库,通过本地缓存形式保存所述攻击信息,并在确定所述索引结果之后,所述攻击信息导入所述数据库。
5.根据权利要求1所述的方法,其特征在于,所述索引下创建有文档,所述文档与攻击信息有关的情况下,所述文档包括至少以下之一:告警信息、流量信息、IP信息、地理位置信息、来源设备信息。
6.根据权利要求1所述的方法,其特征在于,所述数据库中创建有日期和IP段的索引情况下,所述数据库中还创建有时间轴的索引,且按照时间排序关闭部分所述索引。
7.一种基于APT分析的Elasticsearch索引装置,其特征在于,所述装置包括:指令获取模块和索引查询模块;
所述指令获取模块,用于获取待查询的指令;
所述索引查询模块,用于在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令,并确定索引结果;其中,所述数据库中创建有日期和IP段的索引,并根据IP池宽度确定所述IP段,且所述索引创建有文档,所述文档与攻击信息有关。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括指令拆解模块;
在数据库中包含有与所述指令相对应索引的情况下,在所述索引中查询所述指令之前,所述令拆解模块用于根据所述索引对所述指令进行拆解,并判断所述数据库中是否包含有与拆解后的指令相对应的索引。
9.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的一种基于APT分析的Elasticsearch索引方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的一种基于APT分析的Elasticsearch索引方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010645653.0A CN111858831B (zh) | 2020-07-07 | 2020-07-07 | 一种基于APT分析的Elasticsearch索引方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010645653.0A CN111858831B (zh) | 2020-07-07 | 2020-07-07 | 一种基于APT分析的Elasticsearch索引方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111858831A true CN111858831A (zh) | 2020-10-30 |
CN111858831B CN111858831B (zh) | 2024-04-09 |
Family
ID=73153525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010645653.0A Active CN111858831B (zh) | 2020-07-07 | 2020-07-07 | 一种基于APT分析的Elasticsearch索引方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858831B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157734A (zh) * | 2021-04-20 | 2021-07-23 | 平安银行股份有限公司 | 基于搜索框架的数据处理方法、装置、设备及存储介质 |
CN113360706A (zh) * | 2021-06-20 | 2021-09-07 | 杭州登虹科技有限公司 | 一种基于对象存储与Elasticsearch的视频Timeline存储方法 |
CN113486138A (zh) * | 2021-07-20 | 2021-10-08 | 北京明略软件系统有限公司 | 基于Elasticsearch的检索方法、系统和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411580A (zh) * | 2010-09-20 | 2012-04-11 | 腾讯科技(深圳)有限公司 | 可扩展标记语言文档的检索方法及装置 |
CN108804642A (zh) * | 2018-06-05 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 检索方法、装置、计算机设备及存储介质 |
CN109086409A (zh) * | 2018-08-02 | 2018-12-25 | 泰康保险集团股份有限公司 | 微服务数据处理方法、装置、电子设备及计算机可读介质 |
CN110347722A (zh) * | 2019-07-11 | 2019-10-18 | 软通智慧科技有限公司 | 基于HBase的数据获取方法、装置、设备及存储介质 |
CN110532272A (zh) * | 2019-08-30 | 2019-12-03 | 北京东软望海科技有限公司 | 数据查询方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-07-07 CN CN202010645653.0A patent/CN111858831B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411580A (zh) * | 2010-09-20 | 2012-04-11 | 腾讯科技(深圳)有限公司 | 可扩展标记语言文档的检索方法及装置 |
CN108804642A (zh) * | 2018-06-05 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 检索方法、装置、计算机设备及存储介质 |
CN109086409A (zh) * | 2018-08-02 | 2018-12-25 | 泰康保险集团股份有限公司 | 微服务数据处理方法、装置、电子设备及计算机可读介质 |
CN110347722A (zh) * | 2019-07-11 | 2019-10-18 | 软通智慧科技有限公司 | 基于HBase的数据获取方法、装置、设备及存储介质 |
CN110532272A (zh) * | 2019-08-30 | 2019-12-03 | 北京东软望海科技有限公司 | 数据查询方法、装置、电子设备及计算机可读存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157734A (zh) * | 2021-04-20 | 2021-07-23 | 平安银行股份有限公司 | 基于搜索框架的数据处理方法、装置、设备及存储介质 |
CN113157734B (zh) * | 2021-04-20 | 2022-10-11 | 平安银行股份有限公司 | 基于搜索框架的数据处理方法、装置、设备及存储介质 |
CN113360706A (zh) * | 2021-06-20 | 2021-09-07 | 杭州登虹科技有限公司 | 一种基于对象存储与Elasticsearch的视频Timeline存储方法 |
CN113486138A (zh) * | 2021-07-20 | 2021-10-08 | 北京明略软件系统有限公司 | 基于Elasticsearch的检索方法、系统和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111858831B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111858831A (zh) | 一种基于APT分析的Elasticsearch索引方法、装置和计算机设备 | |
US11580168B2 (en) | Method and system for providing context based query suggestions | |
CN108197296B (zh) | 基于Elasticsearch索引的数据存储方法 | |
BRPI0714938A2 (pt) | funÇÕes de ordenaÇço usando um classificador de consulta naÏve bayesiano modificado incrementalmente atualizÁvel | |
US10678784B2 (en) | Dynamic column synopsis for analytical databases | |
WO2018040270A1 (zh) | 在Windows系统中加载Linux系统ELF文件的方法及装置 | |
US10255325B2 (en) | Extreme value computation | |
CN112463886A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
WO2017084557A1 (zh) | 文件扫描方法及装置 | |
US10331670B2 (en) | Value range synopsis in column-organized analytical databases | |
WO2014059848A1 (zh) | 一种网页搜索设备和方法 | |
CN111913913B (zh) | 访问请求的处理方法和装置 | |
CN108038253B (zh) | 一种日志查询的处理方法及装置 | |
CN117093579A (zh) | 数据查询、数据存储方法、装置、设备及存储介质 | |
CN112417175A (zh) | 面向维修工单的文档检索方法、系统、计算机及存储介质 | |
CN111625600A (zh) | 数据存储的处理方法、系统、计算机设备及存储介质 | |
WO2014059852A1 (zh) | 一种搜索服务器及搜索方法 | |
CN107798091B (zh) | 一种数据爬取的方法及其相关设备 | |
CN109495432B (zh) | 一种匿名账户的鉴权方法及服务器 | |
CN106446080B (zh) | 数据查询的方法、查询服务设备、客户端设备和数据系统 | |
CN113961730A (zh) | 图数据查询方法、系统、计算机设备和可读存储介质 | |
CN113536047A (zh) | 一种图数据库数据删除方法、系统、电子设备及存储介质 | |
CN110399451B (zh) | 一种基于非易失性内存的全文检索引擎缓存方法,系统,设备及可读存储介质 | |
CN111090670A (zh) | 一种数据预聚合的方法、系统、计算设备及存储介质 | |
JP6131646B2 (ja) | 検索システム、プログラム、記憶媒体及び検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |