CN111431771B - 一种抗噪音干扰的城域网数据核验装置 - Google Patents

一种抗噪音干扰的城域网数据核验装置 Download PDF

Info

Publication number
CN111431771B
CN111431771B CN202010266268.5A CN202010266268A CN111431771B CN 111431771 B CN111431771 B CN 111431771B CN 202010266268 A CN202010266268 A CN 202010266268A CN 111431771 B CN111431771 B CN 111431771B
Authority
CN
China
Prior art keywords
address
data
domain
xdr
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010266268.5A
Other languages
English (en)
Other versions
CN111431771A (zh
Inventor
王林汝
蔡蓓蓓
李春雨
陈维
林飞
王钟
何涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Act Technology Development Co ltd
Jiangsu Internet Industry Management Service Center
Original Assignee
Beijing Act Technology Development Co ltd
Jiangsu Internet Industry Management Service Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Act Technology Development Co ltd, Jiangsu Internet Industry Management Service Center filed Critical Beijing Act Technology Development Co ltd
Priority to CN202010266268.5A priority Critical patent/CN111431771B/zh
Publication of CN111431771A publication Critical patent/CN111431771A/zh
Application granted granted Critical
Publication of CN111431771B publication Critical patent/CN111431771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/065—Generation of reports related to network devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/618—Details of network addresses
    • H04L2101/622—Layer-2 addresses, e.g. medium access control [MAC] addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种抗噪音干扰的城域网数据核验装置涉及信息技术领域。本发明由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；本发明通过抽离出有效数据，包括区域内外流向，可以更有效的利用流量数据对监管系统的数据覆盖度进行核验，可降低噪音数据在数据漏报发现中的影响。

Description

一种抗噪音干扰的城域网数据核验装置
技术领域
本发明涉及信息技术领域，特别是信息安全技术领域。
背景技术
DPI是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。DPI设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。
XDR数据是指基于全量数据进行处理后，生成的供信令监测平台和信令类应用使用的信令及业务的详细记录。
通过DPI设备和城域网核心路由分光及部署点，能够对城域网核心路由流量数据具有采集能力。通过DPI设备进行采集流量数据，可形成XDR流量数据。但目前大部分DPI采集点设备不能或不能准确的判断向域内、向域外流向，而且现在的采集数据中由于各种原因，大量DPI设备中存在数据噪音，影响后期研判。
目前，各个省市的通信行业相关部门及企业，通过在省市内的全部企业运营商处部署EU活跃流量采集设备，EU设备可以按照国家互联网监管的要求将采集到的流量中的http、https、ftp、pop3、smtp等等数据上报，以便国家通信监管部门进行数据监管，数据分析。但由于缺乏有效的核验方法，导致流量存在大量漏报情况。特别是针对链路在专线网络链路和特殊网络的漏覆盖检测，无法通过互联网通用手段或现行的监测系统方案去发现及核验，而城域网数据参与核验是一个比较有效的补充手段。
本发明的一种抗噪音干扰的城域网数据核验装置能够将目前DPI设备采集的城域网DPI流量数据进行多重去噪音处理，分析获取域内数据，并对EU采集的数据提供核验依据，发现EU设备采集数据的错漏情况。
发明内容
鉴于现有技术的不足，本发明提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；
XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；
重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；
第一次降噪模块对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；
由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据，常见的IP地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、IPIPNET；
由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP地址归属地的XDR数据；由流量归类模块根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块将域内IP地址对应的MAC地址划分为域内MAC地址，将域外IP地址对应的MAC地址划分为域外MAC地址；
由第二次降噪模块去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据，去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据，生成第二次降噪的XDR数据；
由IP地址归类模块读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址；由IP地址归类模块读取重复数据剥离器生成的去重的XDR数据，对比第三方IP地址数据接口获取的IP地址及所在地对应数据，找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址，生成待归类的IP地址；由IP地址归类模块根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址，由IP地址归类模块根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址；
由IP地址归类模块将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据。
有益效果
业内DPI设备采集的城域网数据虽然是高价值数据，但是由于数据噪音和无法有效低成本的分离有效数据，导致城域网高价值的流量数据不能更有效的使用在数据监管中。通过抽离出有效数据，包括区域内外流向，可以更有效的利用流量数据对监管系统的数据覆盖度进行核验。
本专利可降低噪音数据在数据漏报发现中的影响。本专利接受一定范围的噪音可以某种程度上降低采集DPI设备成本及后期处理性能成本，并通过采用低成本处理方式，可对常见的噪音一直处在抗干扰状态。
通过分析获得的DPI流量采集数据中的域内IP地址，能够有效的比对并发现目前管局IDC监管系统中漏覆盖的省内IP地址，能够有效的提升各省管局属地化管理本省数据。
附图说明
图1是本发明的系统结构图。
具体实施方式
参看图1实现本发明提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器1、重复数据剥离器2、第一次降噪模块3、第三方IP地址数据接口4、流量归类模块5、第二次降噪模块6和IP地址归类模块7组成；
XDR数据采集器1负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；
重复数据剥离器2负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；
第一次降噪模块3对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；
由第三方IP地址数据接口4获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据，常见的IP地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、IPIPNET；
由流量归类模块5根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP地址归属地的XDR数据；由流量归类模块5根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块5将域内IP地址对应的MAC地址划分为域内MAC地址，将域外IP地址对应的MAC地址划分为域外MAC地址；
由第二次降噪模块6去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据，去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据，生成第二次降噪的XDR数据；
由IP地址归类模块7读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址；由IP地址归类模块7读取重复数据剥离器2生成的去重的XDR数据，对比第三方IP地址数据接口4获取的IP地址及所在地对应数据，找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址，生成待归类的IP地址；由IP地址归类模块7根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址，由IP地址归类模块7根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址；
由IP地址归类模块7将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据71。

Claims (1)

1.一种抗噪音干扰的城域网数据核验装置，其特征在于，由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；
XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；
重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；
第一次降噪模块对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；
由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据；
由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP地址归属地的XDR数据；由流量归类模块根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块将域内IP地址对应的MAC地址划分为域内MAC地址，将域外IP地址对应的MAC地址划分为域外MAC地址；
由第二次降噪模块去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据，去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据，生成第二次降噪的XDR数据；
由IP地址归类模块读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址；由IP地址归类模块读取重复数据剥离器生成的去重的XDR数据，对比第三方IP地址数据接口获取的IP地址及所在地对应数据，找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址，生成待归类的IP地址；由IP地址归类模块根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址，由IP地址归类模块根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址；
由IP地址归类模块将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据。
CN202010266268.5A 2020-04-07 2020-04-07 一种抗噪音干扰的城域网数据核验装置 Active CN111431771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266268.5A CN111431771B (zh) 2020-04-07 2020-04-07 一种抗噪音干扰的城域网数据核验装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266268.5A CN111431771B (zh) 2020-04-07 2020-04-07 一种抗噪音干扰的城域网数据核验装置

Publications (2)

Publication Number Publication Date
CN111431771A CN111431771A (zh) 2020-07-17
CN111431771B true CN111431771B (zh) 2022-11-18

Family

ID=71555809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266268.5A Active CN111431771B (zh) 2020-04-07 2020-04-07 一种抗噪音干扰的城域网数据核验装置

Country Status (1)

Country Link
CN (1) CN111431771B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671952B (zh) * 2020-12-31 2022-12-13 恒安嘉新（北京）科技股份公司 一种ip检测的方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070788A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种识别ip地址的区域归属地信息的方法和装置
CN106452940A (zh) * 2016-08-22 2017-02-22 中国联合网络通信有限公司重庆市分公司 一种互联网业务流量归属的识别方法和装置
CN107579874A (zh) * 2017-09-01 2018-01-12 北京亚鸿世纪科技发展有限公司 一种检测流量采集设备数据采集漏报的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578488B (zh) * 2014-10-10 2020-10-16 南京中兴软件有限责任公司 网络数据采集系统及方法
CN107943973A (zh) * 2017-11-28 2018-04-20 上海云信留客信息科技有限公司 一种大数据智能清洗系统及云机器人智能清洗服务平台
CN109600317B (zh) * 2018-11-25 2022-05-17 北京亚鸿世纪科技发展有限公司 一种自动识别流量并提取应用规则的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070788A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种识别ip地址的区域归属地信息的方法和装置
CN106452940A (zh) * 2016-08-22 2017-02-22 中国联合网络通信有限公司重庆市分公司 一种互联网业务流量归属的识别方法和装置
CN107579874A (zh) * 2017-09-01 2018-01-12 北京亚鸿世纪科技发展有限公司 一种检测流量采集设备数据采集漏报的方法及装置

Also Published As

Publication number Publication date
CN111431771A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN109962903B (zh) 一种家庭网关安全监控方法、装置、系统和介质
CN103036733B (zh) 非常规网络接入行为的监测系统及监测方法
KR101391781B1 (ko) 웹 트랜잭션 밀집도 기반 에이치티티피 봇넷 탐지 장치 및 방법
CN102624706B (zh) 一种dns隐蔽信道的检测方法
CN101572701B (zh) 针对DNS服务器的抗DDoS安全网关系统
US20090282478A1 (en) Method and apparatus for processing network attack
CN101924757B (zh) 追溯僵尸网络的方法和系统
US20190124099A1 (en) Anomaly detection in a data stream
CN101800668B (zh) 日志归并方法和装置
Ganesh Kumar et al. Improved network traffic by attacking denial of service to protect resource using Z-test based 4-tier geomark traceback (Z4TGT)
KR100561628B1 (ko) 통계적 분석을 이용한 네트워크 수준에서의 이상 트래픽감지 방법
CN102882892B (zh) 一种保护dns服务器的方法及装置
CN107579874B (zh) 一种检测流量采集设备数据采集漏报的方法及装置
JP2018533897A5 (zh)
CN1415099A (zh) 在线阻挡有害信息的系统和方法及其计算机可读介质
CN101911614A (zh) 基于行为签名识别p2p应用的系统和方法
CN104683346A (zh) 基于流量分析的p2p僵尸网络检测装置及方法
CN110958231A (zh) 基于互联网的工控安全事件监测平台及其方法
CN110191004B (zh) 一种端口检测方法及系统
CN111431771B (zh) 一种抗噪音干扰的城域网数据核验装置
CN105007175A (zh) 一种基于openflow的流深度关联分析方法及系统
CN104486320A (zh) 基于蜜网技术的内网敏感信息泄露取证系统及方法
CN114339767B (zh) 一种信令检测方法、装置、电子设备及存储介质
CN111970233A (zh) 一种网络违规外联场景的分析识别方法
CN112217777A (zh) 攻击回溯方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant