CN107454076A - 一种网站画像方法 - Google Patents

Abstract

一种网站画像方法涉及信息技术领域，尤其是网络管控方向的技术领域。本发明通过对爬虫数据、域名注册数据、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、黑名单及违法违规数据、网络安全事件数据、诈骗网站信息库、恶意网站信息库数据进行有效聚合，打破数据孤岛，提炼出网站在世界范围内的影响力排名、在中国范围内影响力排名、违规历史、网站年龄、备案状态、所属行业等属性，作为网站画像模型的输入，最后形成影响力指数、违规风险指数、所属行业等完整画像。

Description

一种网站画像方法

技术领域

本发明涉及信息技术领域，尤其是互联网管控方向的技术领域。

背景技术

目前，存在各种各样与网站相关的孤立数据源。如何整合这些数据源，进行聚合分析，建立网站画像模型，提炼出对网站的全方位画像，就成为行业监管部门关注的焦点。通过行业监管部门的现有系统或技术手段可以拿到爬虫数据、域名注册数据、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、违法违规及黑名单数据、网络安全事件数据、诈骗网站信息库数据、恶意网站信息库数据等。但各个数据源之间都是孤立的，存在数据孤岛问题。

本发明通过聚合多个数据源，打破数据孤岛，形成一个针对网站的360度视觉，包括他们行为和事件的实时分析，形成对网站的精准、丰富的画像。同时结合机器学习，对画像后的网站进行进一步分析与预测，为行业监管部门的工作提供重要参考。

本发明涉及的数据源说明：

爬虫数据：通过网络爬虫可以获取网站内容数据，并对内容进行分类，获取网站所属行业信息；

域名注册信息：获得域名注册信息，例如注册时间、过期时间、注册人等；

网站接入数据：获得网站接入IP、接入商、接入机房等信息；

域名权威解析数据：获得域名权威解析信息，例如IP地址、解析状态、托管开始时间等；

DNS日志数据：通过在DNS节点部署探针，对流量进行镜像，采集UDP协议的响应包，并从数据中提取DNS六元组（cname，源IP、目的IP、解析IP、domain，访问时间）信息；

网站备案数据：获得网站备案单位名称、地址、备案状态等信息；

违法违规及黑名单网站数据：获得违法违规及黑名单网站信息；

网络安全事件数据：获得存在网络安全问题的网站列表信息；

诈骗网站信息库：获得目前已知的诈骗网站列表；

恶意网站信息库：获得恶意网站信息列表。

检索网站画像的现有技术发现CN201610831737.7，基于网站画像的异常访问日志挖掘方法及装置的发明专利，CN201610831737.7的主要内容是包括以下步骤：从网站服务器或者CDN节点上收集目标网站的访问日志，清洗访问日志，获取正常的访问日志；分析正常的访问日志，构建目标网站的网站画像；使用已经构建的网站画像对未分析的网站访问日志进行分析，过滤出不在网站画像范围的访问日志，即为异常访问日志。本发明处理效率高、过滤出异常日志准确度较高、且可以覆盖未知漏洞。该发明仅针对网站画像的日志进行操作，与本申请目的不同，方法不同。

现有技术中主要存在的问题有以下两点：

第一点，各类与网站相关的数据源形成数据孤岛，没有充分挖掘多数据源之间的关联关系，无法对网站进行全面画像问题；

第二点，行业监管机构依赖于单一数据源进行决策，无法充分享受大数据和机器学习的分析与预警能力，无法有效预测网站可能出现的违规风险，全方位掌握网站基本情况。

发明内容

基于现有技术的不足，本发明给出一种网站画像方法通过对爬虫数据、域名注册数据、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、黑名单及违法违规数据、网络安全事件数据、诈骗网站信息库、恶意网站信息库数据进行有效聚合，打破数据孤岛，提炼出网站在世界范围内的影响力排名、在中国范围内影响力排名、违规历史、网站年龄、备案状态、所属行业等属性，作为网站画像模型的输入，最后形成影响力指数、违规风险指数、所属行业等完整画像。

一种网站画像方法主要包括三大步骤：

1）.数据源采集与融合

（1）采集爬虫数据：通过网络爬虫可以获取网站内容数据，并对内容进行分类，获取网站所属行业信息，并分析网站是否存在挂马；

（2）采集域名注册信息：获取域名注册信息，包括注册时间、过期时间、注册单位、地址、域名状态；

（3） 采集网站接入数据：获取网站接入IP、接入商、接入机房信息；

（4） 采集域名权威解析数据：获取域名权威解析信息，包括IP地址、解析状态、托管起止时间等；

（5）采集DNS日志数据：通过在DNS节点部署探针，对流量进行镜像，采集UDP协议的响应包，并从数据中提取DNS六元组，DNS六元组包括：别名记录CNAME、源IP、目的IP、解析IP、域Domain，访问时间；

（6） 采集网站备案数据：获取网站备案单位名称、地址、备案状态；

（7） 采集违法违规及黑名单网站数据：获取违法违规及黑名单网站信息；

（8）建立网络安全事件信息库：获取存在网络安全问题的网站列表信息；

（9）建立诈骗网站信息库：获取目前已知的诈骗网站列表；

（10）建立恶意网站信息库：获取恶意网站信息列表；

2）.数据挖掘

（1）综合爬虫数据、域名注册信息、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、违法违规及黑名单网站数据、网络安全事件信息库、诈骗网站信息库、恶意网站信息库形成完整的网站信息库；

（2）将完整的网站信息库中的数据进行核验比对，将核验存在问题的数据作为后续建模的参考依据；

（3）通过域名注册数据获知网站最新的状态，最新状态包括：正常状态、禁止解析状态、停止状态；

（4）通过域名注册数据获知网站年龄、域名，判别是否存在频繁更换域名注册服务商的现象；

（5）通过权威解析数据判别网站解析状态是否正常，判别域名是否频繁更换权威解析服务商；

（6）通过DNS日志数据，分析出网站访问量信息、网站流量异常信息、网站存活时间；

（7）通过备案数据获知网站备案状态，当网站处于未备案状态，判别为网站违规风险高；

（8）将违法违规及黑名单网站数据，与网站信息库进行比对，生成网站的违规历史记录，网站的违规历史记录空置说明网站无违规历史；

（9）通过将诈骗信息库与网站信息库比对，生成网站的诈骗行为记录，网站的诈骗行为记录空置说明网站无诈骗历史；

（10）通过将恶意网站库与网站信息库进行比对，生成网站的恶意行为记录，网站的恶意行为记录空置说明网站无恶意行为历史；

（11）通过网络安全时间信息库与网站信息库进行比对，生成网站安全事件记录，网站安全事件记录空置说明网站无安全事件历史；

（12）通过接入数据，了解网站的所在接入商、接入机房、接入IP等信息；

（13）通过爬虫数据对内容进行爬取，再结合网站分类技术，对网站所属行业进行归类，并分析网站是否存在挂马；

（14）根据网站状态、解析状态、网站年龄、网站注册商变化频度、网站接入商变化频度、网站权威解析商变化频度、网站备案状态、网站诈骗史、网站违规史、网站是否进入黑名单、网站是否存在恶意行为、网站接入信息和注册人信息真实性作为输入项进行建模，形成网站的综合信用指数；建模的方式由监管方决定，包括：加权平均方法，权重比例经验制定法，重点项否决法；

（15）对网站的访问量信息进行排名，同时结合网站存活时间、网站年龄等作为输入，形成网站的影响力指数；

3）.网站画像

（1）将步骤2）数据挖掘分析得到的结果，生成网站特征标签进行标记，得到网站的接入商、接入IP、接入机房、所属行业、网站状态、网站年龄、网站注册商变化轨迹、权威解析商变化轨迹、接入商变化轨迹、访问量信息、流量变化情况、流量是否存在异常、是否存在安全事件、网站备案状态、网站所属单位、是否存在诈骗、是否存在违规行为、是否进入黑名单、是否存在恶意行为等；

（2）综合网站特征标签以及综合信用指数、影响力指数，形成对网站的全方位画像。

有益效果

本发明通过聚合多个数据源，打破数据孤岛，形成一个针对网站的360度视觉，包括他们行为和事件的实时分析，形成对网站的精准、丰富的画像。结合机器学习，对画像后的网站进行进一步分析与预测，为行业监管部门的工作提供重要帮助。

附图说明

图1是本发明的总体流程图；

图2是数据源说明图。

具体实施方式

参考图1和图2，对本发明的一种网站画像方法进行具体说明，一种网站画像方法主要包括：数据源采集与融合S1，数据挖掘S2，网站画像S3；本发明通过对爬虫数据、域名注册数据、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、黑名单及违法违规数据、网络安全事件数据、诈骗网站信息库、恶意网站信息库数据进行有效聚合，打破数据孤岛，提炼出网站在世界范围内的影响力排名、在中国范围内影响力排名、违规历史、网站年龄、备案状态、所属行业等属性，作为网站画像模型的输入，最后形成影响力指数、违规风险指数、所属行业等完整画像。

一种网站画像方法实现的具体步骤如下：

步骤S1 数据源采集与融合：

1、爬虫数据：通过网络爬虫可以获取网站内容数据，并对内容进行分类，获取网站所属行业信息，例如新闻类、银行类、淫秽色情类等，并分析网站是否存在挂马；

2、域名注册信息：获得域名注册信息，例如注册时间、过期时间、注册单位、地址、域名状态等；

3、网站接入数据：获得网站接入IP、接入商、接入机房等信息；

4、域名权威解析数据：获得域名权威解析信息，例如IP地址、解析状态、托管起止时间等；

5、DNS日志数据：通过在DNS节点部署探针，对流量进行镜像，采集UDP协议的响应包，并从数据中提取DNS六元组（cname，源IP、目的IP、解析IP、domain，访问时间）信息；

6、网站备案数据：获得网站备案单位名称、地址、备案状态等信息；

7、违法违规及黑名单网站数据：获得违法违规及黑名单网站信息；

8、网络安全事件信息库：获得存在网络安全问题的网站列表信息；

9、诈骗网站信息库：获得目前已知的诈骗网站列表；

10、恶意网站信息库：获得恶意网站信息列表；

步骤S2数据挖掘：

1、将以上数据源得到的网站及属性进行融合，形成完整的网站信息库，具体数据源见图1所示；

2、将不同数据源进行核验比对，将核验存在问题的数据作为后续建模的参考依据。例如：将网址接入数据、权威解析数据、DNS日志数据进行核验，发现域名与IP关系存疑的数据，有可能存在被劫持或其他异常；将域名注册的单位信息与域名备案信息中的单位进行比对，发现注册人准确性存疑的网站；

3、通过域名注册数据获知网站最新的状态，是正常状态、禁止解析状态或者停止状态；

4、通过域名注册数据获知网站年龄、域名是否频繁更换域名注册服务商；

5、通过权威解析数据可以得知网站解析状态是否正常、域名是否频繁更换权威解析服务商；

6、通过DNS日志数据，可以分析出网站访问量信息、网站流量异常信息、网站存活时间；

7、通过备案数据获知网站备案状态，如果网站未备案，则违规风险较高；

8、违法违规及黑名单网站数据，与网站信息库进行比对，发现网站的违规历史记录；

9.通过将诈骗信息库与网站信息库比对，发现网站是否曾经存在诈骗行为；

10.通过将恶意网站库与网站信息库进行比对，发现网站是否存在恶意行为；

11、通过网络安全时间信息库与网站信息库进行比对，发现网站是否存在安全事件；

12、通过接入数据，了解网站的所在接入商、接入机房、接入IP等信息；

13、通过爬虫数据对内容进行爬取，再结合网站分类技术，对网站所属行业进行归类，并分析网站是否存在挂马；

14、根据网站状态、解析状态、网站年龄、网站注册商变化频度、网站接入商变化频度、网站权威解析商变化频度、网站备案状态、网站诈骗史、网站违规史、网站是否进入黑名单、网站是否存在恶意行为、网站接入信息和注册人信息真实性等作为输入进行建模，形成网站的综合信用指数；

15、对网站的访问量信息进行排名，同时结合网站存活时间、网站年龄等作为输入，形成网站的影响力指数；

步骤S3网站画像：

1、将上述挖掘分析得到的结果，作为网站特征标签进行标记。得到网站的接入商、接入IP、接入机房、所属行业、网站状态、网站年龄、网站注册商变化轨迹、权威解析商变化轨迹、接入商变化轨迹、访问量信息、流量变化情况、流量是否存在异常、是否存在安全事件、网站备案状态、网站所属单位、是否存在诈骗、是否存在违规行为、是否进入黑名单、是否存在恶意行为等；

2、综合以上各类特征标签以及综合信用指数、影响力指数，形成对网站的全方位画像。

Claims (1)

1.一种网站画像方法，其特征在于包括以下步骤：数据源采集与融合，数据挖掘，网站画像；数据源采集与融合步骤对爬虫数据、域名注册数据、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、黑名单及违法违规数据、网络安全事件数据、诈骗网站信息库、恶意网站信息库数据进行有效聚合，打破数据孤岛；数据挖掘步骤根据网站状态、解析状态、网站年龄、网站注册商变化频度、网站接入商变化频度、网站权威解析商变化频度、网站备案状态、网站诈骗史、网站违规史、网站是否进入黑名单、网站是否存在恶意行为、网站接入信息和注册人信息真实性作为输入项进行建模，形成网站的综合信用指数；数据挖掘步骤对网站的访问量信息进行排名，同时结合网站存活时间、网站年龄等作为输入，形成网站的影响力指数；网站画像步骤生成网站特征标签进行标记，综合网站特征标签以及综合信用指数、影响力指数，形成对网站的全方位画像；

一种网站画像方法，其具体实施步骤如下：

1）.数据源采集与融合

（1）采集爬虫数据：通过网络爬虫可以获取网站内容数据，并对内容进行分类，获取网站所属行业信息，并分析网站是否存在挂马；

（2）采集域名注册信息：获取域名注册信息，包括注册时间、过期时间、注册单位、地址、域名状态；

（3） 采集网站接入数据：获取网站接入IP、接入商、接入机房信息；

（4） 采集域名权威解析数据：获取域名权威解析信息，包括IP地址、解析状态、托管起止时间等；

（5）采集DNS日志数据：通过在DNS节点部署探针，对流量进行镜像，采集UDP协议的响应包，并从数据中提取DNS六元组，DNS六元组包括：别名记录CNAME、源IP、目的IP、解析IP、域Domain，访问时间；

（6） 采集网站备案数据：获取网站备案单位名称、地址、备案状态；

（7） 采集违法违规及黑名单网站数据：获取违法违规及黑名单网站信息；

（8）建立网络安全事件信息库：获取存在网络安全问题的网站列表信息；

（9）建立诈骗网站信息库：获取目前已知的诈骗网站列表；

（10）建立恶意网站信息库：获取恶意网站信息列表；

2）.数据挖掘

（1）综合爬虫数据、域名注册信息、网站接入数据、域名权威解析数据、DNS日志数据、网站备案数据、违法违规及黑名单网站数据、网络安全事件信息库、诈骗网站信息库、恶意网站信息库形成完整的网站信息库；

（2）将完整的网站信息库中的数据进行核验比对，将核验存在问题的数据作为后续建模的参考依据；

（3）通过域名注册数据获知网站最新的状态，最新状态包括：正常状态、禁止解析状态、停止状态；

（4）通过域名注册数据获知网站年龄、域名，判别是否存在频繁更换域名注册服务商的现象；

（5）通过权威解析数据判别网站解析状态是否正常，判别域名是否频繁更换权威解析服务商；

（6）通过DNS日志数据，分析出网站访问量信息、网站流量异常信息、网站存活时间；

（7）通过备案数据获知网站备案状态，当网站处于未备案状态，判别为网站违规风险高；

（8）将违法违规及黑名单网站数据，与网站信息库进行比对，生成网站的违规历史记录，网站的违规历史记录空置说明网站无违规历史；

（9）通过将诈骗信息库与网站信息库比对，生成网站的诈骗行为记录，网站的诈骗行为记录空置说明网站无诈骗历史；

（10）通过将恶意网站库与网站信息库进行比对，生成网站的恶意行为记录，网站的恶意行为记录空置说明网站无恶意行为历史；

（11）通过网络安全时间信息库与网站信息库进行比对，生成网站安全事件记录，网站安全事件记录空置说明网站无安全事件历史；

（12）通过接入数据，了解网站的所在接入商、接入机房、接入IP等信息；

（13）通过爬虫数据对内容进行爬取，再结合网站分类技术，对网站所属行业进行归类，并分析网站是否存在挂马；

（14）根据网站状态、解析状态、网站年龄、网站注册商变化频度、网站接入商变化频度、网站权威解析商变化频度、网站备案状态、网站诈骗史、网站违规史、网站是否进入黑名单、网站是否存在恶意行为、网站接入信息和注册人信息真实性作为输入项进行建模，形成网站的综合信用指数；建模的方式由监管方决定，包括：加权平均方法，权重比例经验制定法，重点项否决法；

（15）对网站的访问量信息进行排名，同时结合网站存活时间、网站年龄等作为输入，形成网站的影响力指数；

3）.网站画像

（1）将步骤2）数据挖掘分析得到的结果，生成网站特征标签进行标记，得到网站的接入商、接入IP、接入机房、所属行业、网站状态、网站年龄、网站注册商变化轨迹、权威解析商变化轨迹、接入商变化轨迹、访问量信息、流量变化情况、流量是否存在异常、是否存在安全事件、网站备案状态、网站所属单位、是否存在诈骗、是否存在违规行为、是否进入黑名单、是否存在恶意行为等；

（2）综合网站特征标签以及综合信用指数、影响力指数，形成对网站的全方位画像。