CN105763530A - 一种基于web的威胁情报采集系统及方法 - Google Patents

一种基于web的威胁情报采集系统及方法 Download PDF

Info

Publication number
CN105763530A
CN105763530A CN201510914125.XA CN201510914125A CN105763530A CN 105763530 A CN105763530 A CN 105763530A CN 201510914125 A CN201510914125 A CN 201510914125A CN 105763530 A CN105763530 A CN 105763530A
Authority
CN
China
Prior art keywords
information
unit
plug
layer
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201510914125.XA
Other languages
English (en)
Inventor
任洪伟
李柏松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Antiy Technology Co Ltd
Original Assignee
Harbin Antiy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Antiy Technology Co Ltd filed Critical Harbin Antiy Technology Co Ltd
Priority to CN201510914125.XA priority Critical patent/CN105763530A/zh
Publication of CN105763530A publication Critical patent/CN105763530A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于web的威胁情报采集系统及方法，包括：表示层、逻辑层和数据层；所述表示层，用于接收用户提交的待采集的情报信息、功能配置信息，并展示采集进度和采集结果；所述逻辑层，用于分析用户提交的待采集的情报信息和功能配置信息，并调用所需的功能模块；所述数据层，用于存储表示层或者逻辑层产生的中间数据和结果数据；其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。本发明所述技术方案克服了传统威胁情报采集方法比较耗时，并且信息整理过程较为复杂的问题。

Description

一种基于web的威胁情报采集系统及方法
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于web的威胁情报采集系统及方法。
背景技术
威胁情报采集是将处于分散状态的威胁情报收集起来，并从中汇总提取出所需信息的过程。通常，需要情报搜集人员或者分析人员尝试多个搜索引擎或者多个平台和网站进行相关信息的搜集；同时，需要使用或者根据需要多次更换检索关键词，对于检索到的结果也需要人工进行筛选和整理，最终生成威胁情报报告，整个过程非常的耗费时间和精力。
发明内容
基于上述技术问题，本发明所述技术方案提出了基于三层架构的威胁情报采集系统，包括：用于与用户进行交互设置的表示层、用于基于用户输入信息调用所需功能模块的逻辑层和用于保存表示层和逻辑层所产生数据的数据层。本发明所述技术方案能够根据用户需要检索所需平台的威胁相关信息，并且能以用户想要的方式展示采集结果，不仅给情报分析人员提供更好的数据支撑，并且有利于协助解决apt溯源问题。
本发明首先公开了一种基于web的威胁情报采集系统，包括：表示层、逻辑层和数据层；
所述表示层，用于接收用户提交的待采集的情报信息、功能配置信息，并展示采集进度和采集结果；
所述逻辑层，用于分析用户提交的待采集的情报信息和功能配置信息，并调用所需的功能模块；
所述数据层，用于存储表示层或者逻辑层产生的中间数据和结果数据；
其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。
进一步地，所述表示层采用web浏览器的形式进行交互。
进一步地，所述待采集的情报信息包括：域名信息、IP信息、邮件信息、hash值信息或者字符串信息。
进一步地，所述展示采集进度和采集结果为：对采集进度和采集结果进行汇总统计，并以页面、pdf或者csv形式展示。
进一步地，所述功能模块，包括：搜索引擎插件、社交网络插件、恶意代码检测结果插件、恶意域名/IP检测插件、域名/IP信息检索插件、社工库检索插件或者邮箱域信息插件。
更进一步地，所述功能模块，还包括：
重新采集单元，用于清除历史记录并重新进行情报信息采集；或者，
更新维护单元，用于对各功能模块进行规则库的更新及维护。
本发明其次公开了一种基于上述系统进行威胁情报采集的方法：
基于所述表示层提交待采集的情报信息和功能配置信息；
基于所述逻辑层分析所述待采集的情报信息和功能配置信息，并调用所需的功能模块来执行采集操作；
获取所述表示层和所述逻辑层产生的中间数据和结果数据，并存储于数据层中；
利用所述表示层对采集进度和采集结果进行展示；
其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。
进一步地，所述表示层采用web浏览器的形式进行交互。
进一步地，所述待采集的情报信息包括：域名信息、IP信息、邮件信息、hash值信息或者字符串信息。
进一步地，所述展示采集进度和采集结果为：对采集进度和采集结果进行汇总统计，并以页面、pdf或者csv形式展示。
进一步地，所述功能模块，包括：搜索引擎插件、社交网络插件、恶意代码检测结果插件、恶意域名/IP检测插件、域名/IP信息检索插件、社工库检索插件或者邮箱域信息插件。
更进一步地，所述功能模块，还包括：
重新采集单元，用于清除历史记录并重新进行情报信息采集；或者，
更新维护单元，用于对各功能模块进行规则库的更新及维护。
综上，本发明公开了一种基于web的威胁情报采集系统及方法，包括：表示层、逻辑层和数据层；所述表示层，允许用户提交待采集的情报信息和功能配置信息，所述功能配置信息包括：用户选择的待采集的平台类型和各平台类型下的采集配置信息；所述逻辑层会基于用户提交的待采集的情报信息和功能配置信息调用所需的功能模块，例如：各搜索引擎插件、社交网络插件或者恶意域名/IP检测插件等；所述数据层用于存储表示层或者逻辑层产生的数据，以便于后期根据需要导出或者展示。
有益效果为：本发明所述技术方案可以满足用户对单点或者多点情报信息进行自动化采集和整理，并且以web形式进行展示或者生成其他格式的情报信息采集报告。用户也可以根据需要开发新的功能插件，随时扩展新的领域的情报采集。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于web的威胁情报采集系统实施例结构示意图；
图2为本发明提供的一种基于web的威胁情报采集方法实施例流程图。
具体实施方式
本发明给出了一种基于web的威胁情报采集系统及方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：
如图1所示，本发明首先公开了一种基于web的威胁情报采集系统实施例，包括：表示层101、逻辑层102和数据层103；
所述表示层101，用于接收用户提交的待采集的情报信息、功能配置信息，并展示采集进度和采集结果；
所述逻辑层102，用于分析用户提交的待采集的情报信息和功能配置信息，并调用所需的功能模块；
所述数据层103，用于存储表示层或者逻辑层产生的中间数据和结果数据；
其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。
其中，所述数据层，包括但不仅限于：情报采集任务配置库、情报采集任务进度库、逻辑层各功能模块检测的结果信息库、恶意域名/IP库、情报信息数据统计库。
优选地，所述表示层采用web浏览器的形式进行交互。
优选地，所述待采集的情报信息包括：域名信息、IP信息、邮件信息、hash值信息或者字符串信息。
其中，所述hash值信息，包括但不限于：MD5、SHA1或者SHA256等。所述字符串信息，包括但不限于：人名、产品名或者特殊字符串等。
优选地，所述展示采集进度和采集结果为：对采集进度和采集结果进行汇总统计，并以页面、pdf或者csv形式展示。
优选地，所述功能模块，包括：搜索引擎插件、社交网络插件、恶意代码检测结果插件、恶意域名/IP检测插件、域名/IP信息检索插件、社工库检索插件或者邮箱域信息插件。
其中，所述搜索引擎插件，包括但不限于：百度搜索引擎模块、谷歌搜索引擎模块或者BING搜索引擎模块；若用户选择待采集的平台类型为搜索引擎，则逻辑层会调用所述搜索引擎插件，则该平台类型下的采集配置信息，包括：设置搜索引擎的结果页面数量，例如：20页；深度检索设置，设置是否对搜索引擎检索到的域名进行进一步检索，例如：检索该域名下包含的联系方式等；配置检索深度，例如：对该URL内容页面中的URL进行匹配，并进一步检索匹配的URL的内容中的关键字；
所述社交网络插件，包括但不限于：Twitter接口模块、Facebook接口模块、LinkedIn接口模块等；若用户选择待采集的平台类型为社交网络，则逻辑层会调用所述社交网络插件，则该平台类型下的采集配置信息，包括：设置社交网络检索的结果数量，例如：100条；
所述恶意代码检测结果插件，包括但不限于：VirusTotal的接口模块、Virscan的接口模块等；若用户选择待采集的平台类型为恶意代码检测结果，则逻辑层会调用所述恶意代码检测结果插件，则该平台类型下的采集配置信息，包括：获取哪些安全厂商的检测结果，例如：是否开启VirusTotal的接口和是否开启Virscan的接口；
所述恶意域名/IP检测插件，包括但不限于：域名/IP黑名单接口模块；若用户选择待采集的平台类型为恶意域名/IP检测，则逻辑层会调用所述恶意域名/IP检测插件，则该平台类型下的采集配置信息，包括：基于黑名单检测该域名/IP是否为恶意；是否对域名进行深度检测，例如：爬取该域名下的相关URL，进行对内容的检测；
所述域名/IP信息检索插件，包括但不限于：域名/IP状态信息模块、域名whois接口模块、IP反查接口模块、注册人查询接口（查询该注册人注册的域名/IP）、邮箱查询接口（查询该邮箱注册的域名/IP）等；若用户选择待采集的平台类型为域名/IP信息检索，则逻辑层会调用所述域名/IP信息检索插件，则该平台类型下的采集配置信息，包括：开启域名whois信息查询，获得IP及注册人信息、注册邮箱等（是否开启，True或False）；基于注册人信息及注册邮箱查询注册的其他域名（是否开启，True或False）；IP反查域名，获得该IP下指向的域名（是否开启，True或False）；
所述社工库检索插件，包括但不限于：社工库检索模块（包括类别为账号、密码、邮箱等）；若用户选择待采集的平台类型为社工库检索，则逻辑层会调用所述社工库检索插件，则该平台类型下的采集配置信息，包括：基于已有的社工库进行查询（查询邮箱、账号、密码）；基于其他社工库进行查询（查询邮箱、账号、密码）；
所述邮箱域信息插件，包括但不限于：邮箱域所属信息模块；若用户选择待采集的平台类型为邮箱域信息，则逻辑层会调用所述邮箱域信息插件，则该平台类型下的采集配置信息，包括：确定该邮箱域的所属信息公司或组织信息；检索该邮箱域下的其他邮箱账号；
更优选地，所述功能模块，还包括：
重新采集单元，用于清除历史记录并重新进行情报信息采集；或者，
更新维护单元，用于对各功能模块进行规则库的更新及维护。例如：所述更新维护模块包括：社工库更新维护模块，保障已有社工库检索插件中数据内容更新及对一些失效、错误的数据进行修改、删除等；页面数据更新维护模块，对于已经检索完成的任务进行汇总统计，并更新数据，页面输出。
如图2所示，本发明其次公开了一种基于上述系统进行威胁情报采集的方法，包括：
S201基于所述表示层提交待采集的情报信息和功能配置信息；
S202基于所述逻辑层分析所述待采集的情报信息和功能配置信息，并调用所需的功能模块来执行采集操作；
S203获取所述表示层和所述逻辑层产生的中间数据和结果数据，并存储于数据层中；
S204利用所述表示层对采集进度和采集结果进行展示；
其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。
优选地，所述表示层采用web浏览器的形式进行交互。
优选地，所述待采集的情报信息包括：域名信息、IP信息、邮件信息、hash值信息或者字符串信息。
优选地，所述展示采集进度和采集结果为：对采集进度和采集结果进行汇总统计，并以页面、pdf或者csv形式展示。
优选地，所述功能模块，包括：搜索引擎插件、社交网络插件、恶意代码检测结果插件、恶意域名/IP检测插件、域名/IP信息检索插件、社工库检索插件或者邮箱域信息插件。
更优选地，所述功能模块，还包括：
重新采集单元，用于清除历史记录并重新进行情报信息采集；或者，
更新维护单元，用于对各功能模块进行规则库的更新及维护。
综上，本发明所公开的上述实施例，通过设置三层架构的系统来实现威胁情报的采集和汇总输出，由机器自动化完成从输入待采集的情报信息到最终的威胁情报结果的汇总输出，不仅能够根据用户提交的功能配置信息灵活配置功能选项，并且可以根据需要开发新的功能模块。上述实施例可以有效地实现基于已知情报挖掘互联网上相关的其他情报信息，对于apt时间追溯及攻击组织判定也有一定的帮助，而且能够减少投入的人力成本。
以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于web的威胁情报采集系统，其特征在于，包括：表示层、逻辑层和数据层；
所述表示层，用于接收用户提交的待采集的情报信息、功能配置信息，并展示采集进度和采集结果；
所述逻辑层，用于分析用户提交的待采集的情报信息和功能配置信息，并调用所需的功能模块；
所述数据层，用于存储表示层或者逻辑层产生的中间数据和结果数据；
其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。
2.如权利要求1所述的系统，其特征在于，所述待采集的情报信息包括：域名信息、IP信息、邮件信息、hash值信息或者字符串信息。
3.如权利要求1所述的系统，其特征在于，所述展示采集进度和采集结果为：对采集进度和采集结果进行汇总统计，并以页面、pdf或者csv形式展示。
4.如权利要求1~3任一所述的系统，其特征在于，所述功能模块，包括：搜索引擎插件、社交网络插件、恶意代码检测结果插件、恶意域名/IP检测插件、域名/IP信息检索插件、社工库检索插件或者邮箱域信息插件。
5.如权利要求4所述的系统，其特征在于，所述功能模块，还包括：
重新采集单元，用于清除历史记录并重新进行情报信息采集；或者，
更新维护单元，用于对各功能模块进行规则库的更新及维护。
6.一种基于权利要求1所述系统进行威胁情报采集的方法，其特征在于：
基于所述表示层提交待采集的情报信息和功能配置信息；
基于所述逻辑层分析所述待采集的情报信息和功能配置信息，并调用所需的功能模块来执行采集操作；
获取所述表示层和所述逻辑层产生的中间数据和结果数据，并存储于数据层中；
利用所述表示层对采集进度和采集结果进行展示；
其中，所述功能配置信息为用户根据需要选择待采集的平台类型和各平台类型下的采集配置信息。
7.如权利要求6所述的方法，其特征在于，所述待采集的情报信息包括：域名信息、IP信息、邮件信息、hash值信息或者字符串信息。
8.如权利要求6所述的方法，其特征在于，所述展示采集进度和采集结果为：对采集进度和采集结果进行汇总统计，并以页面、pdf或者csv形式展示。
9.如权利要求6~8任一所述的方法，其特征在于，所述功能模块，包括：搜索引擎插件、社交网络插件、恶意代码检测结果插件、恶意域名/IP检测插件、域名/IP信息检索插件、社工库检索插件或者邮箱域信息插件。
10.如权利要求9所述的方法，其特征在于，所述功能模块，还包括：
重新采集单元，用于清除历史记录并重新进行情报信息采集；或者，
更新维护单元，用于对各功能模块进行规则库的更新及维护。
CN201510914125.XA 2015-12-12 2015-12-12 一种基于web的威胁情报采集系统及方法 Withdrawn CN105763530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510914125.XA CN105763530A (zh) 2015-12-12 2015-12-12 一种基于web的威胁情报采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510914125.XA CN105763530A (zh) 2015-12-12 2015-12-12 一种基于web的威胁情报采集系统及方法

Publications (1)

Publication Number Publication Date
CN105763530A true CN105763530A (zh) 2016-07-13

Family

ID=56342115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510914125.XA Withdrawn CN105763530A (zh) 2015-12-12 2015-12-12 一种基于web的威胁情报采集系统及方法

Country Status (1)

Country Link
CN (1) CN105763530A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685995A (zh) * 2017-02-23 2017-05-17 王锐 一种基于硬件加密的泄漏账号数据查询系统
CN107046543A (zh) * 2017-04-26 2017-08-15 国家电网公司 一种面向攻击溯源的威胁情报分析系统
CN110740117A (zh) * 2018-10-31 2020-01-31 哈尔滨安天科技集团股份有限公司 仿冒域名检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242279A (zh) * 2008-03-07 2008-08-13 北京邮电大学 用于web系统的自动化渗透性测试系统和方法
CN101808093A (zh) * 2010-03-15 2010-08-18 北京安天电子设备有限公司 一种对web安全进行自动化检测的系统和方法
CN103875222A (zh) * 2011-09-15 2014-06-18 迈可菲公司 用于实时定制的威胁防护的系统和方法
US20140194094A1 (en) * 2012-10-19 2014-07-10 Ratinder Paul Singh Ahuja Data loss prevention for mobile computing devices
CN104753946A (zh) * 2015-04-01 2015-07-01 浪潮电子信息产业股份有限公司 一种基于网络流量元数据的安全分析框架
CN105009137A (zh) * 2013-01-31 2015-10-28 惠普发展公司，有限责任合伙企业 定向安全警告

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242279A (zh) * 2008-03-07 2008-08-13 北京邮电大学 用于web系统的自动化渗透性测试系统和方法
CN101808093A (zh) * 2010-03-15 2010-08-18 北京安天电子设备有限公司 一种对web安全进行自动化检测的系统和方法
CN103875222A (zh) * 2011-09-15 2014-06-18 迈可菲公司 用于实时定制的威胁防护的系统和方法
US20140194094A1 (en) * 2012-10-19 2014-07-10 Ratinder Paul Singh Ahuja Data loss prevention for mobile computing devices
CN105009137A (zh) * 2013-01-31 2015-10-28 惠普发展公司，有限责任合伙企业 定向安全警告
CN104753946A (zh) * 2015-04-01 2015-07-01 浪潮电子信息产业股份有限公司 一种基于网络流量元数据的安全分析框架

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685995A (zh) * 2017-02-23 2017-05-17 王锐 一种基于硬件加密的泄漏账号数据查询系统
CN107046543A (zh) * 2017-04-26 2017-08-15 国家电网公司 一种面向攻击溯源的威胁情报分析系统
CN110740117A (zh) * 2018-10-31 2020-01-31 哈尔滨安天科技集团股份有限公司 仿冒域名检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Zawoad et al. Digital forensics in the age of big data: Challenges, approaches, and opportunities
CN103559235B (zh) 一种在线社交网络恶意网页检测识别方法
CN103067387B (zh) 一种反钓鱼监测系统和方法
CN103116635B (zh) 面向领域的暗网资源采集方法和系统
CN108197243A (zh) 一种基于用户身份的输入联想推荐方法及装置
CN107885873A (zh) 用于输出信息的方法和装置
CN102811207A (zh) 网络信息推送方法及系统
CN106407429A (zh) 文件追踪方法、装置及系统
CN103106573A (zh) 一种基于关系图的海量电子邮件分析方法及系统
CN102857572A (zh) 一种http访问请求处理方法、装置及网关设备
CN103177022A (zh) 一种恶意文件搜索方法及装置
CN104077392B (zh) 一种搜索建议提示方法及装置
CN110519263A (zh) 防刷量方法、装置、设备及计算机可读存储介质
CN105763530A (zh) 一种基于web的威胁情报采集系统及方法
CN106055546A (zh) 基于Lucene的光盘库全文检索系统
CN106156098A (zh) 一种纠错对挖掘方法及系统
CN104317857A (zh) 一种房屋信息采集服务系统
CN103745383A (zh) 基于运营商数据实现重定向服务的方法和系统
CN108399229A (zh) 一种基于大数据的数字图书馆数据库建设方法
CN108280102A (zh) 上网行为记录方法、装置及用户终端
CN103440454A (zh) 一种基于搜索引擎关键词的主动式蜜罐检测方法
CN105989176A (zh) 数据处理方法及装置
CN104572765A (zh) 一种基于用户账号行为分析的查找马甲账号的方法及系统
CN105516114B (zh) 一种基于网页哈希值扫描漏洞的方法、装置及电子设备
KR20050070955A (ko) 과학기술 정보분석 방법 및 그 방법에 대한 컴퓨터프로그램을 저장한 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20160713