CN109862021A - 威胁情报的获取方法及装置 - Google Patents
威胁情报的获取方法及装置 Download PDFInfo
- Publication number
- CN109862021A CN109862021A CN201910142597.6A CN201910142597A CN109862021A CN 109862021 A CN109862021 A CN 109862021A CN 201910142597 A CN201910142597 A CN 201910142597A CN 109862021 A CN109862021 A CN 109862021A
- Authority
- CN
- China
- Prior art keywords
- information
- web page
- page files
- threat
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种威胁情报的获取方法及装置，该方法包括：获取威胁情报的发布信息，发布信息用于指示威胁情报所属的网页文件和威胁情报在网页文件中的位置；根据发布信息，生成配置文件，配置文件包括页面配置信息和提取配置信息；接收情报提取请求，情报提取请求包括网页标识；根据网页标识，读取配置文件中的页面配置信息和提取配置信息；根据页面配置信息，获取网页文件；根据提取配置信息，提取网页文件中的威胁情报。本申请中，读取的配置信息不同，提取威胁情报的方式也不同。在提取多个网页文件的威胁情报时，无需运行多个提取程序，只需一个程序读取不同的配置信息，即可提取多个网页文件的威胁情报。因此，能够提高威胁情报的提取效率。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种威胁情报的获取方法及装置。
背景技术
随着网络的普及和网络技术的不断发展，网络安全越来越受到人们的重视。网络用户经常面临着网络黑客的网络攻击。随着网络黑客攻击方式的多样化，单独依靠防火墙、入侵防御系统和反病毒软件已经无法有效地阻止网络黑客的攻击。网络用户，特别是企业用户，需要收集有关网络黑客的威胁情报，来保证自己的网络安全。例如，恶意互联网协议(Internet Protocol，IP)地址，木马的统一资源定位符(Uniform Resource Locator，URL)和病毒的消息摘要算法(Message-Digest Algorithm，MD)值等等。
通常情况下，网络安全组织会将它们收集到威胁情报以网页文件的形式发布在网络上，以供用户使用来预防网络攻击。因为一个网页文件中的数据量通常较大，所以用户会使用程序或软件从网页文件中提取威胁情报。对于不同安全组织发布的网页文件，它们的文件格式和内容格式通常也不同。例如，安全组织A发布的网页文件是逗号分隔值(Comma-Separated Values，CSV)文件，该CSV文件中第2列和第4例的信息为威胁情报；安全组织B发布的网页文件是超级文本标记语言(Hyper Text Markup Language，HTML)文件，该HTML文件中第1行、第1例的信息为威胁情报。
现有技术中，通常针对不同格式的网页文件编写不同代码的提取程序来提取威胁情报。对于每一个网页文件，都需要一个单独的提取程序来从对应的网页文件中提取威胁情报。当网页文件数量过多时，需要同时运行多个提取程序来提取威胁情报，会占用终端大量的处理资源，导致威胁情报的提取效率降低。
发明内容
本申请提供一种威胁情报的获取方法及装置，可用于解决现有技术中，当网页文件数量过多时，需要同时运行多个提取程序来提取威胁情报，会占用终端大量的处理资源，导致威胁情报的提取效率降低的问题。
第一方面，本申请提供一种威胁情报的获取方法，所述方法包括：
获取威胁情报的发布信息，所述发布信息用于指示所述威胁情报所属的网页文件和所述威胁情报在网页文件中的位置；
根据所述发布信息，生成配置文件，所述配置文件包括页面配置信息和提取配置信息，所述页面配置信息用于指示终端获取网页文件，所述提取配置信息用于指示终端提取网页文件中的威胁情报；
接收情报提取请求，所述情报提取请求包括网页标识，所述网页标识用于唯一指示一网页文件；
根据所述网页标识，读取所述配置文件中的所述页面配置信息和所述提取配置信息；
根据所述页面配置信息，获取所述网页标识指示的网页文件；
根据所述提取配置信息，提取所述网页文件中的威胁情报。
可选地，所述页面配置信息包括：请求信息和所述网页文件对应的统一资源定位符URL；
所述获取所述网页文件，包括：
构造请求报文，所述请求报文包括所述URL、以及所述请求信息指示的请求方法和请求头；
向情报服务器发送所述请求报文，所述情报服务器用于存储所述网页文件；
接收所述情报服务器发送的所述网页文件。
可选地，所述提取配置信息包括：行分割符、列分割符和位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述提取所述网页文件中的威胁情报，包括：
根据所述行分割符和所述列分割符，分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
可选地，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述提取所述网页文件中的威胁情报，包括：
转义分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
可选地，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报对应标签的位置；
所述提取所述网页文件中的威胁情报，包括：
解析所述网页文件，得到所述网页文件的源代码；
根据所述位置信息，确定所述威胁情报对应的标签；
提取所述标签对应的威胁情报。
第二方面，本申请提供一种威胁情报的获取装置，所述装置包括：
信息获取模块，用于获取威胁情报的发布信息，所述发布信息用于指示所述威胁情报所属的网页文件和所述威胁情报在网页文件中的位置；
配置生成模块，用于根据所述发布信息，生成配置文件，所述配置文件包括页面配置信息和提取配置信息，所述页面配置信息用于指示终端获取网页文件，所述提取配置信息用于指示终端提取网页文件中的威胁情报；
请求接收模块，用于接收情报提取请求，所述情报提取请求包括网页标识，所述网页标识用于唯一指示一网页文件；
配置读取模块，用于根据所述网页标识，读取所述配置文件中的所述页面配置信息和所述提取配置信息；
文件获取模块，用于根据所述页面配置信息，获取所述网页标识指示的网页文件；
情报提取模块，用于根据所述提取配置信息，提取所述网页文件中的威胁情报。
可选地，所述页面配置信息包括：请求信息和所述网页文件对应的统一资源定位符URL；
所述文件获取模块，具体用于：
构造请求报文，所述请求报文包括所述URL、以及所述请求信息指示的请求方法和请求头；
向情报服务器发送所述请求报文，所述情报服务器用于存储所述网页文件；
接收所述情报服务器发送的所述网页文件。
可选地，所述提取配置信息包括：行分割符、列分割符和位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述情报提取模块，具体用于：
根据所述行分割符和所述列分割符，分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
可选地，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述情报提取模块，具体用于：
转义分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
可选地，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报对应标签的位置；
所述情报提取模块，具体用于：
解析所述网页文件，得到所述网页文件的源代码；
根据所述位置信息，确定所述威胁情报对应的标签；
提取所述标签对应的威胁情报。
在本申请中，当终端接收到情报提取请求后，根据不同的网页文件，终端读取不同的配置信息来提取威胁情报。终端读取的配置信息不同，提取威胁情报的方式也不同。因此，在提取多个网页文件的威胁情报时，终端无需分别运行多个提取程序，只需一个程序读取不同的配置信息，即可提取多个网页文件的威胁情报。因此，能够提高威胁情报的提取效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的威胁情报提取场景的示意图；
图2是根据一示例性实施例示出的一种威胁情报的获取方法的流程图；
图3是根据一示例性实施例示出的一种威胁情报的获取装置的框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作进一步详细的说明。
本申请实施例提供的方法，各步骤的执行主体可以是终端。可选地，各步骤的执行主体可以是终端中的运行的提取进程，该提取进程是指用于提取威胁情报的提取程序的进程。上述终端可以是手机、平板电脑、可穿戴设备、个人计算机和膝上型便携计算机等电子设备。
在对本申请实施例的技术方案说明之前，首先结合附图对本申请实施例的应用场景进行说明。请参考图1，其示出了威胁情报提取场景的示意图。
终端101是用于提取威胁情报的终端。终端101运行有于提取威胁情报的提取程序。当用户需要提取威胁情报时，终端101根据用户的提取请求获取包括威胁情报的网页文件，并从网页文件中提取用户需求的威胁情报。其中，包括威胁情报的网页文件存储在情报服务器102中。网络安全组织将威胁情报写入网页文件中，再将网页文件存储在情报服务器102中。不同的网络安全组织可以使用不同的情报服务器存储各自的网页文件。终端101与情报服务器102建立有通信连接，终端101可以向情报服务器102发送请求来请求获取上述网页文件。
在本申请中，对于不同格式的网页文件，终端101中用于提取威胁情报的提取程序为同一程序，即终端101可以通过一个提取程序从各个不同的网页文件中提取威胁情报。
请参考图2，其示出了本申请一个实施例提供的威胁情报获取方法的流程图。该方法可应用于图1所示的应用场景中。该方法可以包括如下几个步骤。
步骤201，获取威胁情报的发布信息。
当网络安全组织发布或更新一个网页文件时，终端获取对应威胁情报的发布信息。该发布信息用于指示威胁情报所属的网页文件和威胁情报在网页文件中的位置。具体地，发布信息包括指示网页文件的网页信息和指示威胁情报位置的位置信息。其中，网页信息包括网页文件的URL和格式标识。格式标识用于指示网页文件的文件格式，例如CSV、HTML等等。位置信息用于指示威胁情报在网页文件中的位置。由于网页文件的文件格式不同、内容格式不同，因此不同网页文件中的威胁情报的位置信息都不相同。示例性地，威胁情报A所属的网页文件a是CSV格式。威胁情报B所属的网页文件b是HTML格式。CSV格式是一种适合程序格式化输出数据的文件格式。对于CSV格式的网页文件，其中的数据信息是以列表的形式存储的。因此，对于网页文件a，其威胁情报的位置信息是指威胁情报在列表中的位置。对于HTML格式的网页文件b，其威胁情报的位置信息是指威胁情报对应的标签。
在一种可能的实施方式中，当网络安全组织发布或更新一个网页文件时，情报服务器向终端发送对应威胁情报的发布信息。相应地，终端获取到对应威胁情报的发布信息。
在另一种可能的实施方式中，终端获取的发布信息，由用户录入终端。当网络安全组织发布或更新一个网页文件时，用户根据该网页文件和威胁情报在网页文件中的位置，将对应的发布信息录入终端。
步骤202，根据发布信息，生成配置文件。
终端获取到发布信息之后，根据发布信息，生成相应的配置文件。配置文件包括页面配置信息和提取配置信息。其中，页面配置信息用于指示终端获取网页文件。例如，网页文件对应的URL。因此，终端可以根据页面配置信息获取相应的网页文件。提取配置信息用于指示终端提取网页文件中的威胁情报。根据网页文件的不同，以及威胁情报在网页文件中的位置不同，终端提取威胁情报的方式也不同。可选地，提取配置信息包括用于指示文件格式的格式标识以及用于指示威胁情报在网页文件中位置的位置信息。终端在获取提取配置信息后，可以根据格式标识采用对应的提取方式。在生成配置文件后，终端会相应地存储配置文件。
在一种可能的实施方式中，对于不同的网页文件，终端根据发布信息，生成不同的配置文件。每一个配置文件都对应于一个网页文件。
在另一种可能的实施方式中，对于不同的网页文件，终端根据发布信息，生成唯一的配置文件。但是，该配置文件中包括至少一组页面配置信息和提取配置信息。每一组页面配置信息和提取配置信息都对应于一个网页文件。
可选地，对于文件格式或内容格式发生变化的网页文件，终端根据网页文件的变化，修改配置文件中对应的提取配置信息。具体地，终端中配置文件的页面配置信息和提取配置信息可以由终端自动修改，也可以由技术人员手动修改。
步骤203，接收情报提取请求。
当需要获取威胁情报时，用户通过在终端中的操作触发情报提取请求。用户可以通过在终端中输入网页文件的URL，或者，选中网页文件对应选项等方式来触发情报提取请求。用户触发情报提取请求的操作实际是选取所要提取的威胁情报所属的网页文件。因此，情报提取请求包括网页标识。网页标识用于唯一指示一个网页文件，而配置文件中的每一组页面配置信息和提取配置信息也对应于一个网页文件，因此网页标识与每一组页面配置信息和提取配置信息也一一对应。情报提取请求包括的网页标识指示的是所要提取的威胁情报所属的网页文件。终端接收用户触发情报提取请求，并根据其中的网页标识确定一个网页文件。
步骤204，读取配置文件中的页面配置信息和提取配置信息。
终端在接收到情报提取请求后，根据网页标识，确定一个网页文件，并在配置文件中读取该网页文件对应的页面配置信息和提取配置信息。
步骤205，根据页面配置信息，获取网页文件。
终端获取页面配置信息和提取配置信息后，需要从网页标识所指示的网页文件中提取威胁情报。因此，终端需要先获取网页文件。终端根据页面配置信息获取对应的网页文件。具体地，页面配置信息包括请求信息和URL。终端实际是通过向情报服务器发送HTTP请求来获取网页文件。页面配置信息中的请求信息用于指示终端构建请求报文。该请求报文即为HTTP请求报文。该HTTP请求报文中包括请求方法，请求头和URL。请求方法是指HTTP中用于请求资源的方法，例如Get方法、Post方法等等。请求头包括终端与情报服务器传输资源时所需的验证信息，例如，端口号、可接收的资源类型、可接受的字符编码集、HTTP授权的授权证书等等。页面配置信息中的请求信息用于指示终端所构建的请求报文中的请求方法和请求头。请求方法和请求头可以由技术人员根据不同的资源服务器，或者，不同的网页文件预先设定。因此，终端根据上述发布信息确定网页文件后，根据预先设定的请求方法和请求头，确定页面配置信息所包括请求信息。终端生成请求报文后，向情报服务器发送该请求报文。情报服务器接收到该请求报文后，向终端发送其请求的网页文件。相应地，终端接收情报服务器发送的网页文件。
步骤206，根据提取配置信息，提取网页文件中的威胁情报。
在获取到网页文件后，终端根据提取配置信息，提取网页文件中的威胁情报。提取配置信息包括格式标识和威胁情报的位置信息。对于不同格式的网页文件，终端所使用的提取方式也不相同。终端使用网页文件对应的提取方式，根据位置信息从网页文件中提取威胁情报。
在一种可能的实施方式中，对于TXT格式的网页文件，提取配置信息还包括行分割符和列分割符。终端通过行列解析的方式提取威胁情报。TXT格式的网页文件中的内容是字符串文本。文本中的内容通常以特殊的字符进行分割。终端可以根据上述特殊的字符将文本中的内容分割转化为列表，再提取威胁情报。
示例性地，网页文件c为的格式为TXT格式。该网页文件c提供的威胁情报为恶意IP地址。网页文件c中的部分内容为：“64.95.103.181,IP used by bedep C&C,2019-02-2502:08,http://osint.bambenekconsulting.com/manual/bedep.txt\173.231.184.59,IP used by bedep C&C,2019-02-25 02:08，http://osint.bambenekconsulting.com/manual/bedep.txt\173.231.184.61,IP used by bedep C&C,2019-02-25 02:08,http://osint.bambenekconsulting.com/manual/bedep.txt\”。提取配置信息所指示的提取方式是行列解析，并且行分割符为“\”，列分割符为“，”，则终端转化出如下表-1：
表-1
网页文件c提供的威胁情报为恶意IP地址。提取配置信息中的位置信息为：第一列，终端提取表-1中第一列中的信息作为威胁情报。
在另一种可能的实施方式中，对于CSV格式的网页文件，终端通过转义分割的方式提取威胁情报。在CSV格式的网页文件的内容中，行与行之间以换行符分隔，而列与列之间以一种字符或字符串分割，例如以逗号分割。但是，用于分割列的字符本身具有其它含义，例如逗号本身就具备断句的含义。因此，需要对文件中用于分割列的字符进行转义处理，即注明本身具有其它含义且不是用于分割列的字符。转义分割是指对于CSV格式的网页文件的内容，在识别用于分割列的字符和转义处理过的字符之后，终端将文件分割转化为列表。最终，终端根据位置信息，在转化后列表中提取威胁情报。
示例性地，网页文件d为的格式为CSV格式。该网页文件d提供的威胁情报为恶意IP地址和恶意URL。终端在转义分割后，得到如下表-2：
表-2
提取配置信息中的位置信息为：第二列和第三列。如上述表-2所示，表中第二列中的内容为恶意URL，第三列中的内容为恶意IP地址。因此，终端根据位置信息可以提取出相应的恶意IP地址和恶意URL。需要说明的是，上述表-2仅仅是示例性和解释性的，表-2所示出的内容仅是网页文件的部分内容，并不用于限定本申请。
在又一种可能的实施方式中，对于HTML格式的网页文件，终端解析获取到的网页文件，得到该网页文件的源代码。提取配置信息中的位置信息所指示的位置实际是威胁情报在代码中对应的标签的位置。终端遍历解析得到的源代码，在源代码中确定位置信息所指示的标签，并提取该标签对应的信息。该信息即为威胁情报。具体地，终端可以层叠样式表(Cascading Style Sheets，CSS)选择器在查找标签并提取对应的威胁情报。
在本申请实施例中，当终端接收到情报提取请求后，根据不同的网页文件，终端读取不同的配置信息来提取威胁情报。终端读取的配置信息不同，提取威胁情报的方式也不同。因此，在提取多个网页文件的威胁情报时，终端无需分别运行多个提取程序，只需一个程序读取不同的配置信息，即可提取多个网页文件的威胁情报。因此，能够提高威胁情报的提取效率。
此外，因为终端提取威胁信息的方式是由配置文件中的信息决定的，因此，当网页文件的文件格式或内容格式变化导致提取的方式也发生变化时，只需要修改配置文件中的信息即可，无需修改维护程序代码，进一步提高了威胁情报的提取效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是根据一示例性实施例示出的一种威胁情报的获取装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：信息获取模块301、配置生成模块302、请求接收模块303、配置读取模块304、文件获取模块305和情报提取模块306。
信息获取模块301，用于获取威胁情报的发布信息，所述发布信息用于指示所述威胁情报所属的网页文件和所述威胁情报在网页文件中的位置。
配置生成模块302，用于根据所述发布信息，生成配置文件，所述配置文件包括页面配置信息和提取配置信息，所述页面配置信息用于指示终端获取网页文件，所述提取配置信息用于指示终端提取网页文件中的威胁情报。
请求接收模块303，用于接收情报提取请求，所述情报提取请求包括网页标识，所述网页标识用于唯一指示一网页文件。
配置读取模块304，用于根据所述网页标识，读取所述配置文件中的所述页面配置信息和所述提取配置信息。
文件获取模块305，用于根据所述页面配置信息，获取所述网页标识指示的网页文件。
情报提取模块306，用于根据所述提取配置信息，提取所述网页文件中的威胁情报。
在本申请提供的装置中，当终端接收到情报提取请求后，根据不同的网页文件，终端读取不同的配置信息来提取威胁情报。终端读取的配置信息不同，提取威胁情报的方式也不同。因此，在提取多个网页文件的威胁情报时，终端无需分别运行多个提取程序，只需一个程序读取不同的配置信息，即可提取多个网页文件的威胁情报。因此，能够提高威胁情报的提取效率。
可选地，所述页面配置信息包括：请求信息和所述网页文件对应的统一资源定位符URL；
所述文件获取模块305，具体用于：
构造请求报文，所述请求报文包括所述URL、以及所述请求信息指示的请求方法和请求头；向情报服务器发送所述请求报文，所述情报服务器用于存储所述网页文件；接收所述情报服务器发送的所述网页文件。
可选地，所述提取配置信息包括：行分割符、列分割符和位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述情报提取模块306，具体用于：根据所述行分割符和所述列分割符，分割所述网页文件；根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
可选地，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；所述情报提取模块306，具体用于：转义分割所述网页文件；根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
可选地，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报对应标签的位置；
所述情报提取模块306，具体用于：解析所述网页文件，得到所述网页文件的源代码；根据所述位置信息，确定所述威胁情报对应的标签；提取所述标签对应的威胁情报。
具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种威胁情报的获取方法，其特征在于，所述方法包括：
获取威胁情报的发布信息，所述发布信息用于指示所述威胁情报所属的网页文件和所述威胁情报在网页文件中的位置；
根据所述发布信息，生成配置文件，所述配置文件包括页面配置信息和提取配置信息，所述页面配置信息用于指示终端获取网页文件，所述提取配置信息用于指示终端提取网页文件中的威胁情报；
接收情报提取请求，所述情报提取请求包括网页标识，所述网页标识用于唯一指示一网页文件；
根据所述网页标识，读取所述配置文件中的所述页面配置信息和所述提取配置信息；
根据所述页面配置信息，获取所述网页标识指示的网页文件；
根据所述提取配置信息，提取所述网页文件中的威胁情报。
2.根据权利要求1所述的方法，其特征在于，所述页面配置信息包括：请求信息和所述网页文件对应的统一资源定位符URL；
所述获取所述网页文件，包括：
构造请求报文，所述请求报文包括所述URL、以及所述请求信息指示的请求方法和请求头；
向情报服务器发送所述请求报文，所述情报服务器用于存储所述网页文件；
接收所述情报服务器发送的所述网页文件。
3.根据权利要求1或2任一项所述的方法，其特征在于，所述提取配置信息包括：行分割符、列分割符和位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述提取所述网页文件中的威胁情报，包括：
根据所述行分割符和所述列分割符，分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
4.根据权利要求1或2任一项所述的方法，其特征在于，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述提取所述网页文件中的威胁情报，包括：
转义分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
5.根据权利要求1或2任一项所述的方法，其特征在于，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报对应标签的位置；
所述提取所述网页文件中的威胁情报，包括：
解析所述网页文件，得到所述网页文件的源代码；
根据所述位置信息，确定所述威胁情报对应的标签；
提取所述标签对应的威胁情报。
6.一种威胁情报的获取装置，其特征在于，所述装置包括：
信息获取模块，用于获取威胁情报的发布信息，所述发布信息用于指示所述威胁情报所属的网页文件和所述威胁情报在网页文件中的位置；
配置生成模块，用于根据所述发布信息，生成配置文件，所述配置文件包括页面配置信息和提取配置信息，所述页面配置信息用于指示终端获取网页文件，所述提取配置信息用于指示终端提取网页文件中的威胁情报；
请求接收模块，用于接收情报提取请求，所述情报提取请求包括网页标识，所述网页标识用于唯一指示一网页文件；
配置读取模块，用于根据所述网页标识，读取所述配置文件中的所述页面配置信息和所述提取配置信息；
文件获取模块，用于根据所述页面配置信息，获取所述网页标识指示的网页文件；
情报提取模块，用于根据所述提取配置信息，提取所述网页文件中的威胁情报。
7.根据权利要求6所述的装置，其特征在于，所述页面配置信息包括：请求信息和所述网页文件对应的统一资源定位符URL；
所述文件获取模块，具体用于：
构造请求报文，所述请求报文包括所述URL、以及所述请求信息指示的请求方法和请求头；
向情报服务器发送所述请求报文，所述情报服务器用于存储所述网页文件；
接收所述情报服务器发送的所述网页文件。
8.根据权利要求6或7任一项所述的装置，其特征在于，所述提取配置信息包括：行分割符、列分割符和位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述情报提取模块，具体用于：
根据所述行分割符和所述列分割符，分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
9.根据权利要求6或7任一项所述的装置，其特征在于，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报在所述网页文件中的位置；
所述情报提取模块，具体用于：
转义分割所述网页文件；
根据所述位置信息，从分割后的所述网页文件中提取所述威胁情报。
10.根据权利要求6或7任一项所述的装置，其特征在于，所述提取配置信息包括位置信息，所述位置信息用于指示所述威胁情报对应标签的位置；
所述情报提取模块，具体用于：
解析所述网页文件，得到所述网页文件的源代码；
根据所述位置信息，确定所述威胁情报对应的标签；
提取所述标签对应的威胁情报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910142597.6A CN109862021B (zh) | 2019-02-26 | 2019-02-26 | 威胁情报的获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910142597.6A CN109862021B (zh) | 2019-02-26 | 2019-02-26 | 威胁情报的获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109862021A true CN109862021A (zh) | 2019-06-07 |
| CN109862021B CN109862021B (zh) | 2021-08-17 |
Family
ID=66899032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910142597.6A Active CN109862021B (zh) | 2019-02-26 | 2019-02-26 | 威胁情报的获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109862021B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765334A (zh) * | 2019-09-10 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 数据抓取方法、系统、介质和电子设备 |
| CN110912889A (zh) * | 2019-11-22 | 2020-03-24 | 上海交通大学 | 一种基于智能化威胁情报的网络攻击检测系统和方法 |
| CN112148956A (zh) * | 2020-09-30 | 2020-12-29 | 上海交通大学 | 一种基于机器学习的暗网威胁情报挖掘系统和方法 |
| CN112395481A (zh) * | 2019-08-19 | 2021-02-23 | 四川大学 | 一种基于多层感知器的陷落指标自动提取方法 |
| CN114095204A (zh) * | 2021-10-14 | 2022-02-25 | 北京天融信网络安全技术有限公司 | 基于订阅机制的情报设备联动方法、防护中心及安全设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106060018A (zh) * | 2016-05-19 | 2016-10-26 | 中国电子科技网络信息安全有限公司 | 一种网络威胁情报共享模型 |
| CN106384048A (zh) * | 2016-08-30 | 2017-02-08 | 北京奇虎科技有限公司 | 一种威胁信息处理方法与装置 |
| US20170310686A1 (en) * | 2016-04-22 | 2017-10-26 | Sophos Limited | Labeling network flows according to source applications |
| CN107370763A (zh) * | 2017-09-04 | 2017-11-21 | 中国移动通信集团广东有限公司 | 基于外部威胁情报分析的资产安全预警方法及装置 |
| CN107784049A (zh) * | 2016-12-05 | 2018-03-09 | 上海壹账通金融科技有限公司 | 多格式文件解析的方法和装置 |
| US20180091559A1 (en) * | 2016-09-26 | 2018-03-29 | Splunk Inc. | Managing the collection of forensic data from endpoint devices |
| CN108399194A (zh) * | 2018-01-29 | 2018-08-14 | 中国科学院信息工程研究所 | 一种网络威胁情报生成方法及系统 |
-
2019
- 2019-02-26 CN CN201910142597.6A patent/CN109862021B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170310686A1 (en) * | 2016-04-22 | 2017-10-26 | Sophos Limited | Labeling network flows according to source applications |
| CN106060018A (zh) * | 2016-05-19 | 2016-10-26 | 中国电子科技网络信息安全有限公司 | 一种网络威胁情报共享模型 |
| CN106384048A (zh) * | 2016-08-30 | 2017-02-08 | 北京奇虎科技有限公司 | 一种威胁信息处理方法与装置 |
| US20180091559A1 (en) * | 2016-09-26 | 2018-03-29 | Splunk Inc. | Managing the collection of forensic data from endpoint devices |
| CN107784049A (zh) * | 2016-12-05 | 2018-03-09 | 上海壹账通金融科技有限公司 | 多格式文件解析的方法和装置 |
| CN107370763A (zh) * | 2017-09-04 | 2017-11-21 | 中国移动通信集团广东有限公司 | 基于外部威胁情报分析的资产安全预警方法及装置 |
| CN108399194A (zh) * | 2018-01-29 | 2018-08-14 | 中国科学院信息工程研究所 | 一种网络威胁情报生成方法及系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395481A (zh) * | 2019-08-19 | 2021-02-23 | 四川大学 | 一种基于多层感知器的陷落指标自动提取方法 |
| CN112395481B (zh) * | 2019-08-19 | 2022-08-09 | 四川大学 | 一种基于多层感知器的陷落指标自动提取方法 |
| CN110765334A (zh) * | 2019-09-10 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 数据抓取方法、系统、介质和电子设备 |
| CN110912889A (zh) * | 2019-11-22 | 2020-03-24 | 上海交通大学 | 一种基于智能化威胁情报的网络攻击检测系统和方法 |
| CN110912889B (zh) * | 2019-11-22 | 2021-08-20 | 上海交通大学 | 一种基于智能化威胁情报的网络攻击检测系统和方法 |
| CN112148956A (zh) * | 2020-09-30 | 2020-12-29 | 上海交通大学 | 一种基于机器学习的暗网威胁情报挖掘系统和方法 |
| CN114095204A (zh) * | 2021-10-14 | 2022-02-25 | 北京天融信网络安全技术有限公司 | 基于订阅机制的情报设备联动方法、防护中心及安全设备 |
| CN114095204B (zh) * | 2021-10-14 | 2024-03-15 | 北京天融信网络安全技术有限公司 | 基于订阅机制的情报设备联动方法、防护中心及安全设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109862021B (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109862021A (zh) | 威胁情报的获取方法及装置 | |
| CN102693272B (zh) | 从统一资源定位符(url)的关键字提取 | |
| CN101711470A (zh) | 一种用于在对等网络上创建共享信息列表的系统和方法 | |
| TWI584149B (zh) | Web page access request response method and device | |
| US20140164296A1 (en) | Chatbot system and method with entity-relevant content from entity | |
| US11079987B2 (en) | Creation of component templates | |
| KR102033416B1 (ko) | 문서로부터 추출되는 데이터를 생성하는 방법 및 그 장치 | |
| CN105589922A (zh) | 页面显示方法、装置、系统以及页面显示辅助方法、装置 | |
| US9043885B2 (en) | System for providing content or application and control method therefor, terminal and control method therefor, authentication device and control method therefor, program, and information storage medium | |
| JP2010102625A (ja) | ユニフォームリソースロケータ書換方法及び装置 | |
| US10574773B2 (en) | Method, device, terminal, server and storage medium of processing network request and response | |
| CN101127068A (zh) | 信息处理系统、信息处理器、信息处理方法和记录介质 | |
| CN107229653A (zh) | 伪静态网页生成方法和装置 | |
| WO2017165253A1 (en) | Modular communications | |
| CN107341375A (zh) | 一种基于网页图片暗记溯源攻击者的方法及系统 | |
| CN110866196A (zh) | 一种打印机网络信息采集方法、装置及电子设备 | |
| JP4786568B2 (ja) | 情報処理装置、通信制御処理関数追加方法、及び、通信制御処理関数追加プログラム | |
| JP5243452B2 (ja) | ブラウザプログラム及び端末装置 | |
| JP2009251655A (ja) | フィルタリング装置、フィルタリング方法、プログラムおよび記録媒体 | |
| CN111783006A (zh) | 页面的生成方法、装置、电子设备及计算机可读介质 | |
| CN111045614A (zh) | 流水报表打印方法、套打文件生成方法、客户端及服务器 | |
| CN109960531B (zh) | 一种页面显示方法和装置 | |
| CN112333455B (zh) | 信令下发方法、装置、服务器以及存储介质 | |
| KR20090116013A (ko) | 키워드 트리 제공 방법 및 시스템과 이를 위한 기록매체 | |
| CN113961292B (zh) | 一种安全产品生成方法、装置、电子设备及储存介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |