CN112395254A - 情报数据导入方法、装置、电子设备、介质和程序产品 - Google Patents

情报数据导入方法、装置、电子设备、介质和程序产品 Download PDF

Info

Publication number
CN112395254A
CN112395254A CN202011351580.0A CN202011351580A CN112395254A CN 112395254 A CN112395254 A CN 112395254A CN 202011351580 A CN202011351580 A CN 202011351580A CN 112395254 A CN112395254 A CN 112395254A
Authority
CN
China
Prior art keywords
data
original information
information data
original
intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011351580.0A
Other languages
English (en)
Inventor
白敏�
万文杰
罗炳聪
齐向东
吴云坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Original Assignee
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxin Technology Group Co Ltd, Secworld Information Technology Beijing Co Ltd filed Critical Qianxin Technology Group Co Ltd
Priority to CN202011351580.0A priority Critical patent/CN112395254A/zh
Publication of CN112395254A publication Critical patent/CN112395254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2372Updates performed during offline database operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3322Query formulation using system suggestions
    • G06F16/3323Query formulation using system suggestions using document space presentation or visualization, e.g. category, hierarchy or range presentation and selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种情报数据导入方法,包括:获取外网的原始情报数据;将原始情报数据存储至与原始情报数据的类型对应的挂载目录位置;从挂载目录位置读取原始情报数据;以及根据与原始情报数据的类型对应的导入方式,将原始情报数据通过数据隔离装置导入内网。本公开还提供了一种情报数据导入装置、电子设备、介质和程序产品。

Description

情报数据导入方法、装置、电子设备、介质和程序产品
技术领域
本公开涉及计算机安全领域,更具体地,涉及一种情报数据导入方法、装置、电子设备和介质。
背景技术
威胁情报平台在进行威胁情报分析时需要使用不同的情报数据,这些情报数据需要定期进行更新。而在隔离网(内网)的环境中的威胁情报平台无法直接与外网进行数据交换,从而导致隔离网的环境中的威胁情报平台难以进行数据更新。
发明内容
本公开的一个方面提供了一种情报数据导入方法,包括:获取外网的原始情报数据;将所述原始情报数据存储至与所述原始情报数据的类型对应的挂载目录位置;从所述挂载目录位置读取原始情报数据;以及根据与所述原始情报数据的类型对应的导入方式,将所述原始情报数据通过数据隔离装置导入内网。
可选地,将获取的原始情报数据存储至与所述原始情报数据的类型对应的原始目录位置。
可选地,所述将所述原始情报数据存储至与所述原始情报数据的类型对应的挂载目录位置包括:将获取的原始情报数据中符合预设条件的原始情报数据复制到临时目录位置;判断所述临时目录位置的原始情报数据的数据量是否小于预设数据量,其中,所述预设数据量根据所述挂载目录的空间大小确定;以及在所述临时目录位置的原始情报数据小于预设数据量的情况下,将所述临时目录位置的原始情报数据复制到与所述原始情报数据的类型对应的挂载目录位置。
可选地,所述预设条件包括:创建时间或最近一次修改的时间处于预设时间范围内。
可选地,所述原始情报数据的类型包括传感器日志、安全通告、数据库文件和升级文件中的一种或多种;所述将获取的原始情报数据中符合预设条件的原始情报数据复制到临时目录位置,包括:在所述原始情报数据的类型为数据库文件的情况下,将所述数据库文件进行序列化,以得到序列化文件,将所述序列化文件复制到临时目录位置;以及在所述原始情报数据的类型为传感器日志、安全通告或升级文件的情况下,将所述传感器日志、安全通告或升级文件直接复制到临时目录位置。
可选地,所述根据与所述原始情报数据的类型对应的导入方式,将所述原始情报数据通过数据隔离装置导入内网,包括:通过数据隔离装置将数据摆渡到内网;在内网中根据所述原始情报数据的类型,对所述原始情报数据进行导入;以及在所述挂载目录位置处的原始情报数据已完成导入的情况下,删除所述原始情报数据。
可选地,所述根据所述原始情报数据的类型,对所述原始情报数据进行导入,包括:根据所述原始情报数据的类型,确定与所述原始情报数据对应的数据存储路径;以及将所述原始情报数据存储至所述数据存储路径所指示的存储位置,以完成所述原始情报数据的导入;和/或,在所述原始情报数据的类型为升级文件的情况下,获取校验信息;根据所述校验信息,对所述升级文件进行校验;在校验通过的情况下,将所述升级文存储至内网设备的第二存储位置,并将历史升级记录文件导入内网设备的数据库中;根据所述升级文件和所述历史升级记录文件,对所述数据库进行数据更新,以完成所述升级文件的导入。
可选地,所述方法还包括:对导入内网的原始情报数据进行分析处理,以得到分析结果;以及对所述分析结果进行可视化展示。
本公开的另一个方面提供了一种情报数据导入装置,包括:获取模块,用于获取外网的原始情报数据;存储模块,用于将所述原始情报数据存储至与所述原始情报数据的类型对应的挂载目录位置;读取模块,用于从所述挂载目录位置读取原始情报数据;以及导入模块,用于根据与所述原始情报数据的类型对应的导入方式,将所述原始情报数据通过数据隔离装置导入内网。
本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,当一个或多个计算机程序被一个或多个处理器执行时,使得一个或多个处理器实现根据本公开实施例所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现根据本公开实施例所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现根据本公开实施例所述的方法。
根据本公开的实施例,通过对不同类别的外网情报数据进行分类存储,并对不同类别的外网情报数据采用不同方式导入内网,实现了隔离网络环境下对内网情报数据的推送和更新,保证了隔离网络环境下情报数据的连贯性、及时性和有效性。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的可以应用情报数据导入方法的示例性系统架构;
图2示意性示出了根据本公开的实施例的情报数据导入方法的流程图;
图3示意性示出了根据本公开另一实施例的情报数据导入方法的流程图;
图4示意性示出了根据本公开的实施例的数据检测装置的框图;以及
图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种情报数据导入方法。该方法包括获取外网的原始情报数据;将原始情报数据存储至与原始情报数据的类型对应的挂载目录位置;从挂载目录读取原始情报数据;以及根据与原始情报数据的类型对应的导入方式,将原始情报数据通过数据隔离装置导入内网设备。
图1示意性示出了根据本公开实施例的可以应用情报数据导入方法的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括TIC(云端情报中心)101,外网TIP(威胁情报平台)102,前置机103、104,数据隔离装置105、106,内网设备和传感器111。内网设备例如可以包括后置机107、108,内网TIP 109和Sandbox(沙盒)110。
其中,外网TIP 102从TIC 101获取IOC(失信指标)库、安全通告、APT(高级持续性威胁)、威胁分析等外网数据,并对这些外网数据进行格式化、聚合等处理,得到原始情报数据。然后将原始情报数据根据其类型写入(write)相应的写入目录位置。
前置机103对外网TIP 102透明。前置机103用于挂载各类原始情报数据的写入目录,定期扫描各写入目录位置中的数据文件,并将这些数据复制到临时目录。具体地,读取挂载目录位置中的数据文件,通过数据隔离装置105摆渡至后置机107。
后置机107对内网TIP 109透明。后置机107用于根据不同的文件类型,将数据导入内网TIP 109。示例性地,本实施例中,对于数据库文件,例如notice、notice_select等,直接导入内网TIP 109的数据库中。对于升级包文件,将升级包文件复制到内网升级包的工作路径位置,然后将与升级包文件对应的历史升级记录文件导入到数据库中,并调用升级接口执行数据更新。对于升级成功的升级文件,将该升级文件的文件标识加入到历史升级记录文件中。根据历史升级记录文件,每次执行升级时会遍历升级包目录下的所有文件,只执行未记录的文件。当挂载目录中某个类型的文件导入处理完毕,则删除挂载目录上的这些文件。
传感器111例如可以用于收集防火墙、审计平台、大数据平台等各类安全设备的流量信息、行为日志、告警日志、还原日志等日志文件,例如dmp文件(内存转储文件)。然后将日志文件存放至特定目录位置,前置机104从该特定目录位置获取日志文件,通过数据隔离装置摆渡到后置机108。后置机108将数据通过上传接口发送至Sandbox 110,Sandbox 110用于对数据进行解析,以取出PB样本,并将PB样本投递至内网TIP 109。内网TIP 109可以根据PB样本进行情报二次生产创建IOC。
数据隔离装置105、106用于将外网的数据摆渡到内网设备,数据隔离装置105可以分别与前置机103和后置机107通信,数据隔离装置106可以分别与前置机104和后置机108通信。数据隔离装置105、106可以用于限制数据的流向,使数据只能单向传输,例如使数据只能从前置机103经过数据隔离装置105流向后置机107,又例如使数据只能从前置机104经过数据隔离装置106流向后置机108。数据隔离装置105、前置机103和后置机107可以为一体机,也可以分置,数据隔离装置106、前置机104和后置机108可以为一体机,也可以分置。数据隔离装置105还可以具有数据校验、故障预警、审计、光驱热备等功能。示例性地,本实施例中,数据隔离装置105、106例如可以为光盘塔。需要说明的是,在实际应用中,也可以采用除光盘塔之外的其他类型的数据隔离装置,本公开对此不作具体限定。
根据本公开的实施例,可以自定义摆渡计划,例如可以设置更新频率,按照更新频率将前置机103、104的数据通过数据隔离装置105、106摆渡至后置机107、108,或者,也可以按照数据量大小上限,每当前置机103、104接收的数据量达到数据量上限时,将前置机103、104的数据通过数据隔离装置105、106摆渡至后置机107、108。
图2示意性示出了根据本公开的实施例的情报数据导入方法的流程图。
如图2所示,该方法包括操作S210~S240。
在操作S210,获取外网的原始情报数据。
根据本公开的实施例,外网是与内网设备所处网络隔离的外部网络。原始情报数据的类型包括传感器日志、安全通告、数据库文件和升级文件中的一种或多种。需要说明的是,本实施例中,原始情报数据可以包括文本数据,也可以包括结构化数据。
其中,传感器日志可以通过传感器获取,安全通告、数据库文件和升级文件可以通过外网威胁情报平台获取。
根据本公开的实施例,外网的原始情报数据可以由云端和/或传感器产生,可以按照设定频率读取云端/或传感器新产生的情报数据,然后将这些情报数据根据分类存储到不同的原始目录位置,从而获取原始情报数据。其中,设定频率可以根据实际需要进行设置,例如设定频率可以为1小时/次。需要说明的是,上述设定频率仅为示例,本实施例中对设定频率不作具体的限定。
根据本公开的实施例,预先配置有不同的原始目录,用于存储从云端和/或传感器获取的数据,不同类型的情报数据存储在不同的原始目录位置。例如,本实施例中,配置有流量传感器日志目录、安全通告下载文件目录、数据库目录和升级文件目录,其中,传感器日志目录用于存储传感器日志,安全通告下载文件目录用于存储安全通告,数据库目录用于存储数据库文件,升级文件目录用于存储升级文件。
在操作S220,将原始情报数据存储至与原始情报数据的类型对应的挂载目录位置。
根据本公开的实施例,可以将原始目录位置处符合预设条件的原始情报数据复制到临时目录位置。接下来判断临时目录位置的原始情报数据的数据量是否小于预设数据量,在临时目录位置处的原始情报数据小于预设数据量的情况下,将临时目录位置的原始情报数据复制到与原始情报数据的类型对应的挂载目录位置。其中,挂载目录位置设置在前置机中。其中,所述预设数据量根据所述挂载目录的空间大小确定。示例性地,本实施例中,预设数据量可以在不超过挂载目录的空间大小的范围内根据需要进行设置。
根据本公开的实施例,通过将原始目录位置处符合预设条件的原始情报数据复制到临时目录位置,能够对写入挂载目录位置的数据进行缓冲,另外对临时目录位置处的原始情报数据的数据量进行检测,限定的数据量小于预设数据量的数据复制到挂载目录位置,能够保证复制到挂载目录的数据量不超过挂载目录的空间大小,避免写入错误。其中,预设条件例如可以包括:创建时间或最近一次修改的时间处于预设时间范围内。创建时间是指外网的原始情报数据首次存储至原始目录位置处的时间,最近一次修改的时间是指原始目录位置处的原始情报数据最近一次发生修改的时间。
示例性地,本实施例中,对于原始目录位置中没有发生过修改的原始情报数据,判断该原始情报数据的创建时间是否处于预设时间范围内,若创建时间处于预设时间范围内,则该原始情报数据符合预设条件,否则为不符合。对于原始目录位置中发生过修改的原始情报数据,判断该原始情报数据最近一次修改的时间是否处于预设时间范围内,若最近一次修改的时间处于预设时间范围内,则该原始情报数据符合预设条件,否则为不符合。
根据本公开的实施例,预设时间范围例如可以为最近n个小时,n>0。通过设置预设条件,只处理符合预设条件的原始情报数据,从而能够将原始情报数据分批处理,避免重复处理。根据本公开的实施例,在将临时目录位置的原始情报数据复制到与原始情报数据的类型对应的挂载目录位置的过程中,若原始情报数据的类型为数据库文件,则可以将数据库文件进行序列化,以得到序列化文件(例如JSON文件),将序列化文件复制到临时目录位置。若原始情报数据的类型为传感器日志、安全通告或升级文件,则可以将传感器日志、安全通告或升级文件直接复制到相应的临时目录位置,不作特殊处理。
根据本公开的实施例,根据传输数据业务场景的不同配置有不同的挂载目录,通过将临时目录位置的原始情报数据复制到与原始情报数据的类型对应的挂载目录位置,从而实现了不同业务模块数据的分层独立,并且当需要增加或删除业务模块时,方便根据欲接入或删除的数据类型进行无缝增删改。
在操作S230,从挂载目录位置读取原始情报数据。
在操作S240,根据与原始情报数据的类型对应的导入方式,将原始情报数据通过数据隔离装置导入内网。
根据本公开的实施例,可以通过数据隔离装置主动读取原始情报数据,然后摆渡到内网,也可以在其他模块获取外网数据后,由数据隔离装置被动接收推送数据,然后摆渡到内网。
示例性地,本实施例中,可以利用数据隔离装置按照预设频率读取挂载目录位置处的原始情报数据,然后将原始情报数据摆渡到内网设备。内网设备根据原始情报数据的类型,对原始情报数据进行导入。
根据本公开的实施例,对于不同类型的数据,导入处理方案也不同。
示例性地,本实施例中,在原始情报数据的类型为数据库文件的情况下,将原始情报数据直接导入内网设备的数据库中。
在原始情报的类型为安全通告的情况下,将原始情报数据直接复制至内网设备的第一存储位置。
在原始情报数据的类型为升级文件的情况下,可以获取校验信息,根据校验信息,对升级文件进行校验。在校验通过的情况下,将升级文存储至内网设备的第二存储位置,并将历史升级记录文件导入内网设备的数据库中。根据历史升级记录文件,每次执行升级时会遍历升级包目录下的所有文件,确定未记录在历史升级记录中的升级文件,然后根据该升级文件,调用升级接口对数据库进行数据更新。对于升级成功的升级文件,将该升级文件的文件标识加入到历史升级记录文件中。若校验未通过,则表示升级文件与推送的原始数据不一致,重新连接以获取文件内容。若导入不成功,会将在下次再次尝试导入。其中,校验信息例如可以为MD5码,MD5码由外网端(例如前置机)根据升级文件生成,与升级文件一起摆渡至内网端。
例如,从外网威胁情报平台的目录A位置读取情报数据,将情报数据摆渡至内网,根据时间戳存储在内网的目录A’位置中。又例如,对于传感器获取的大数据平台的日志文件,直接将日志文件汇总至大数据平台对应的B目录进行汇总写入。其中,日志文件例如包括(1)传输层协议(2)域名(3)流量(4)单次通信量(5)数据包长度(6)短包百分比(7)HTTP请求(8)HTTP流量平衡(9)HTTP防问量(10)COOKIE伪装(11)URL长度(12)URL格式(13)URL相似度等信息,分别将这些信息以文本方式写入,并通过数据同步机制进行更新至内网。
根据本公开的实施例,在挂载目录位置处的原始情报数据已完成导入的情况下,可以删除挂载目录位置处的原始情报数据,从而释放存储空间。
根据本公开的实施例,通过对不同类别的外网情报数据进行分类存储,并对不同类别的外网情报数据采用不同方式导入内网,实现了隔离网络环境下对内网情报数据的推送和更新,保证了隔离网络环境下情报数据的连贯性、及时性和有效性。
图3示意性示出了根据本公开另一实施例的情报数据导入方法的流程图。
如图3所示,除了操作S210~S240,该方法还可以包括操作S310~S320。
在操作S310,对导入内网的原始情报数据进行分析处理,以得到分析结果。
根据本公开的实施例,内网威胁情报平台可以对导入的原始情报数据进行数据整合、解析、上下文关联等分析处理操作,以得到分析结果。分析结果例如可以包括用户查询请求的数据、上下文关联字段信息、tag信息、可视化图形信息等。
在操作S320,对分析结果进行可视化展示。
根据本公开的实施例,可以通过key-value(键-值)的方式对分析结果进行存储及更新,并根据分析结果渲染生成前端页面,通过前端页面展示分析结果。
图4示意性示出了根据本公开的实施例的情报数据导入装置的框图。
如图4所示,情报数据导入装置400包括获取模块410、存储模块420、读取模块430和导入模块440。该数据检测装置400可以执行上面参考图2~图3描述的方法。
具体地,获取模块410,可以用于获取外网的原始情报数据。
存储模块420,可以用于将原始情报数据存储至与原始情报数据的类型对应的挂载目录位置。
读取模块430,可以用于从挂载目录读取原始情报数据。
导入模块440,可以用于根据与原始情报数据的类型对应的导入方式,将原始情报数据通过数据隔离装置导入内网设备。
根据本公开的实施例,通过对不同类别的外网情报数据进行分类存储,并对不同类别的外网情报数据采用不同方式导入内网,实现了隔离网络环境下对内网情报数据的推送和更新,保证了隔离网络环境下情报数据的连贯性、及时性和有效性。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,获取模块410、存储模块420、读取模块430和导入模块440中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获取模块410、存储模块420、读取模块430和导入模块440中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块410、存储模块420、读取模块430和导入模块440中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图5示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括处理器510以及计算机可读存储介质520。该计算机系统500可以执行根据本公开实施例的方法。
具体地,处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质520,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;等等。
计算机可读存储介质520可以包括计算机程序521,该计算机程序521可以包括代码/计算机可执行指令,其在由处理器510执行时使得处理器510执行根据本公开实施例的方法或其任何变形。
计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序521中的代码可以包括一个或多个程序模块,例如包括521A、模块521B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器510执行时,使得处理器510可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,获取模块410、存储模块420、读取模块430和导入模块440中的至少一个可以实现为参考图5描述的计算机程序模块,其在被处理器510执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (12)

1.一种情报数据导入方法,包括:
获取外网的原始情报数据;
将所述原始情报数据存储至与所述原始情报数据的类型对应的挂载目录位置;
从所述挂载目录位置读取原始情报数据;以及
根据与所述原始情报数据的类型对应的导入方式,将所述原始情报数据通过数据隔离装置导入内网。
2.根据权利要求1所述的方法,还包括:
将获取的原始情报数据存储至与所述原始情报数据的类型对应的原始目录位置。
3.根据权利要求1或2所述的方法,其中,所述将所述原始情报数据存储至与所述原始情报数据的类型对应的挂载目录位置包括:
将获取的原始情报数据中符合预设条件的原始情报数据复制到临时目录位置;
判断所述临时目录位置的原始情报数据的数据量是否小于预设数据量,其中,所述预设数据量根据所述挂载目录的空间大小确定;以及
在所述临时目录位置的原始情报数据小于预设数据量的情况下,将所述临时目录位置的原始情报数据复制到与所述原始情报数据的类型对应的挂载目录位置。
4.根据权利要求3所述的方法,其中,所述预设条件包括:创建时间或最近一次修改的时间处于预设时间范围内。
5.根据权利要求3所述的方法,其中,所述原始情报数据的类型包括传感器日志、安全通告、数据库文件和升级文件中的一种或多种;
所述将获取的原始情报数据中符合预设条件的原始情报数据复制到临时目录位置,包括:
在所述原始情报数据的类型为数据库文件的情况下,将所述数据库文件进行序列化,以得到序列化文件,将所述序列化文件复制到临时目录位置;以及
在所述原始情报数据的类型为传感器日志、安全通告或升级文件的情况下,将所述传感器日志、安全通告或升级文件直接复制到临时目录位置。
6.根据权利要求1所述的方法,其中,所述根据与所述原始情报数据的类型对应的导入方式,将所述原始情报数据通过数据隔离装置导入内网,包括:
通过数据隔离装置将数据摆渡到内网;
在内网中根据所述原始情报数据的类型,对所述原始情报数据进行导入;以及
在所述挂载目录位置处的原始情报数据已完成导入的情况下,删除所述原始情报数据。
7.根据权利要求6所述的方法,其中,所述根据所述原始情报数据的类型,对所述原始情报数据进行导入,包括:
根据所述原始情报数据的类型,确定与所述原始情报数据对应的数据存储路径;以及
将所述原始情报数据存储至所述数据存储路径所指示的存储位置,以完成所述原始情报数据的导入;和/或,
在所述原始情报数据的类型为升级文件的情况下,获取校验信息;
根据所述校验信息,对所述升级文件进行校验;
在校验通过的情况下,将所述升级文存储至内网设备的第二存储位置,并将历史升级记录文件导入内网设备的数据库中;
根据所述升级文件和所述历史升级记录文件,对所述数据库进行数据更新,以完成所述升级文件的导入。
8.根据权利要求1所述的方法,还包括:
利用内网设备对导入的原始情报数据进行分析处理,以得到分析结果;以及
对所述分析结果进行可视化展示。
9.一种情报数据导入装置,包括:
获取模块,用于获取外网的原始情报数据;
存储模块,用于将所述原始情报数据存储至与所述原始情报数据的类型对应的挂载目录位置;
读取模块,用于从所述挂载目录位置读取原始情报数据;以及
导入模块,用于根据与所述原始情报数据的类型对应的导入方式,将所述原始情报数据通过数据隔离装置导入内网。
10.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序,
其中,当一个或多个计算机程序被一个或多个处理器执行时,使得一个或多个处理器实现权利要求1至8中任一项的方法。
11.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至8中任一项的方法。
12.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现根据权利要求1~8中任一项所述的方法。
CN202011351580.0A 2020-11-26 2020-11-26 情报数据导入方法、装置、电子设备、介质和程序产品 Pending CN112395254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011351580.0A CN112395254A (zh) 2020-11-26 2020-11-26 情报数据导入方法、装置、电子设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011351580.0A CN112395254A (zh) 2020-11-26 2020-11-26 情报数据导入方法、装置、电子设备、介质和程序产品

Publications (1)

Publication Number Publication Date
CN112395254A true CN112395254A (zh) 2021-02-23

Family

ID=74605343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011351580.0A Pending CN112395254A (zh) 2020-11-26 2020-11-26 情报数据导入方法、装置、电子设备、介质和程序产品

Country Status (1)

Country Link
CN (1) CN112395254A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787430A (zh) * 2004-12-10 2006-06-14 深圳大学 在物理隔离网络间自动复制数据的方法
US20110029581A1 (en) * 2009-07-30 2011-02-03 Microsoft Corporation Load-Balancing and Scaling for Analytics Data
CN109768923A (zh) * 2018-12-26 2019-05-17 浪潮软件集团有限公司 一种安全隔离单向网闸及方法
CN110300120A (zh) * 2019-07-10 2019-10-01 国电南京自动化股份有限公司 一种物理隔离条件下反向数据的分级同步方法和系统
CN110716966A (zh) * 2019-10-16 2020-01-21 京东方科技集团股份有限公司 数据可视化处理方法及系统、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787430A (zh) * 2004-12-10 2006-06-14 深圳大学 在物理隔离网络间自动复制数据的方法
US20110029581A1 (en) * 2009-07-30 2011-02-03 Microsoft Corporation Load-Balancing and Scaling for Analytics Data
CN109768923A (zh) * 2018-12-26 2019-05-17 浪潮软件集团有限公司 一种安全隔离单向网闸及方法
CN110300120A (zh) * 2019-07-10 2019-10-01 国电南京自动化股份有限公司 一种物理隔离条件下反向数据的分级同步方法和系统
CN110716966A (zh) * 2019-10-16 2020-01-21 京东方科技集团股份有限公司 数据可视化处理方法及系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20080154977A1 (en) Content management system with improved performance
US20150261619A1 (en) Cascade ordering
US11336955B1 (en) Event information collection system
JP7146097B2 (ja) トンネル工事車両の出勤評価方法、コンピューター装置及びコンピューター読み取り可能な記憶媒体
US10970297B2 (en) Remote processing of memory and files residing on endpoint computing devices from a centralized device
EP4123618A1 (en) System and method for processing vehicle event data for journey analysis
US10802947B2 (en) Filter trace based on function level
Sumaila et al. Digital forensic analysis of mobile automotive maintenance applications
US11501423B2 (en) Dot-matrix product information encoding for food traceability
US20210012591A1 (en) Data storage device and non-transitory tangible computer readable storage medium
CN109981774B (zh) 数据缓存方法和数据缓存装置
CN110297811B (zh) 数据处理方法及装置、计算机系统和计算机可读存储介质
CN108427675B (zh) 构建索引的方法及设备
CN112395254A (zh) 情报数据导入方法、装置、电子设备、介质和程序产品
CN109697767B (zh) 数据处理方法、相关设备及计算机存储介质
Stathers et al. Digital data extraction for vehicles forensic investigation
CN110515803B (zh) 针对日志消息的处理方法、装置以及电子设备
US10986686B2 (en) Offline device management
US9569448B2 (en) Operating techniques for a storage network system
CN113448855A (zh) 数据库版本包检测方法及装置
CN110972109B (zh) 基于车载设备单元身份信息的处理方法、装置及系统
US9122637B1 (en) Systems and methods for enhancing electronic discovery searches
JP2020038409A (ja) 車載装置、データ収集システム、データ収集方法およびデータ収集装置
CN111225075A (zh) 物联网定向访问业务的配置方法及装置
Sack et al. Location tracking forensics on mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination