CN108206769B - 过滤网络质量告警的方法、装置、设备和介质 - Google Patents

过滤网络质量告警的方法、装置、设备和介质 Download PDF

Info

Publication number
CN108206769B
CN108206769B CN201711436766.4A CN201711436766A CN108206769B CN 108206769 B CN108206769 B CN 108206769B CN 201711436766 A CN201711436766 A CN 201711436766A CN 108206769 B CN108206769 B CN 108206769B
Authority
CN
China
Prior art keywords
network quality
alarm
domain name
formal
hit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711436766.4A
Other languages
English (en)
Other versions
CN108206769A (zh
Inventor
张峰铭
沈瀚
倪鸣
尤佳劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Jiangsu Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201711436766.4A priority Critical patent/CN108206769B/zh
Publication of CN108206769A publication Critical patent/CN108206769A/zh
Application granted granted Critical
Publication of CN108206769B publication Critical patent/CN108206769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/026Capturing of monitoring data using flow identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring

Abstract

本发明公开了一种过滤网络质量告警的方法、装置、设备和介质。该方法包括:依据深度包检测DPI设备采集的用户全量流量生成话单;基于话单中的关键指标和第一预设阈值产生网络质量预告警;网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和匹配命中的网络质量预告警中的异常域名;主动拨测匹配命中的网络质量预告警中的异常域名;消除拨测结果小于第二预设阈值的匹配命中的网络质量预告警;将拨测结果大于等于第二预设阈值的匹配命中的网络质量预告警确定为网络质量正式告警。根据本发明实施例提供的过滤网络质量告警的方法、装置、设备和介质,能够降低网络质量告警的误报率。

Description

过滤网络质量告警的方法、装置、设备和介质
技术领域
本发明涉及计算机领域,尤其涉及一种过滤网络质量告警的方法、装置、设备和计算机可读存储介质。
背景技术
随着互联网业务的快速发展及用户的增加,对电信运营商的基础网络设施带来不断的冲击,同时给网络运维人员带来了更大的挑战。网络质量是通信企业的生命线,如何提高网络质量,改善用户感知成为运营商运维工作中的重要目标。
在日常的处理网络质量故障的过程中,常常依靠用户的投诉定位故障。通过梳理内容质量投诉数据,建立和管理典型、重点投诉处理案例,进而推动网络优化。但此时用户感知已经变差。如果能够智能高效主动的发现网络中存在的异常,先于大量用户发现故障,并及时处理故障将影响降低到最小,将极大的帮助电信运营商提升网络品质及用户体验。
利用现有技术监控网络质量,每日可产生上千甚至上万条网络质量告警。网络质量告警存在较多误报的情况,但海量的网络质量告警让运维人员无从下手。
综上,现有技术中存在以下技术问题:网络质量告警的误报率较高。
发明内容
本发明实施例提供了一种过滤网络质量告警的方法、装置、设备和计算机可读存储介质,能够降低网络质量告警的误报率。
根据本发明实施例的一方面,提供一种过滤网络质量告警的方法,包括:
依据深度包检测DPI设备采集的用户全量流量生成话单;
基于话单中的关键指标和第一预设阈值产生网络质量预告警;
网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和匹配命中的网络质量预告警的异常域名;
主动拨测匹配命中的网络质量预告警的异常域名;
消除拨测结果小于第二预设阈值的匹配命中的网络质量预告警;
将拨测结果大于等于第二预设阈值的匹配命中的网络质量预告警确定为网络质量正式告警。
在一个实施例中,预设资源包括依据访问量排名前N位的域名,N是预设阈值,N是自然数;网页元素是周期性更新的信息。
在一个实施例中,网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和匹配命中的网络质量预告警的异常域名,包括:
网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将网络质量预告警作为匹配命中的网络质量预告警;
按照匹配命中的网络质量预告警的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为匹配命中的网络质量预告警的异常域名。
在一个实施例中,将拨测结果大于等于第二预设阈值的匹配命中的网络质量预告警确定为网络质量正式告警之后,还包括:
针对网络质量正式告警的异常域名进行优化后,再次主动拨测网络质量正式告警的异常域名;
消除再次拨测结果小于第三预设阈值的网络质量正式告警;
将再次拨测结果大于等于第三预设阈值的网络质量正式告警确定为网络质量最终告警。
在一个实施例中,过滤网络质量告警的方法还包括:
网络质量正式告警按照综合权值进行排序,综合权值由网络质量正式告警的异常域名的热度权值和网络质量正式告警的异常域名的时间权值确定的权值。
在一个实施例中,热度权值是在预设周期内依据网络质量正式告警的异常域名的排名确定的权值;
时间权值是在预设周期内依据网络质量正式告警的异常域名的时间分布确定的权值。
根据本发明实施例的另一方面,提供一种过滤网络质量告警的装置,其特征在于,装置包括:
话单生成模块,用于依据深度包检测DPI设备采集的用户全量流量生成话单;
预告警产生模块,用于基于话单中的关键指标和第一预设阈值产生网络质量预告警;
获取模块,用于网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和匹配命中的网络质量预告警中的异常域名;
主动拨测模块,用于主动拨测匹配命中的网络质量预告警中的异常域名;
消除模块,用于消除拨测结果小于第二预设阈值的匹配命中的网络质量预告警;
正式告警确定模块,用于将拨测结果大于等于第二预设阈值的匹配命中的网络质量预告警确定为网络质量正式告警。
在一个实施例中,获取模块包括:
匹配单元,用于网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将网络质量预告警作为匹配命中的网络质量预告警;
反推单元,用于按照匹配命中的网络质量预告警的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为匹配命中的网络质量预告警的异常域名。
在一个实施例中,过滤网络质量告警的装置还包括:
再次主动拨测模块,用于针对网络质量正式告警的异常域名进行优化后,再次主动拨测网络质量正式告警的异常域名;
再次消除模块,用于消除再次拨测结果小于第三预设阈值的网络质量正式告警;
最终告警确定模块,用于将再次拨测结果大于等于第三预设阈值的网络质量正式告警确定为网络质量最终告警。
在一个实施例中,过滤网络质量告警的装置还包括:
排序模块,用于网络质量正式告警按照综合权值进行排序,综合权值由网络质量正式告警的异常域名的热度权值和网络质量正式告警的异常域名的时间权值确定的权值。
根据本发明实施例的再一方面,提供一种过滤网络质量告警的设备,其特征在于,设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现本发明实施例提供的过滤网络质量告警的方法。
根据本发明实施例的再一方面,提供一种计算机存储介质,其特征在于,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现本发明实施例提供的过滤网络质量告警的方法。
根据本发明实施例中的过滤网络质量告警的方法、装置、设备和计算机存储介质,通过利用主动拨测和被动监测相结合的技术,以及反推网络质量预告警中的异常域名,实现了对无关紧要和误报的网络质量预告警的过滤,降低了网络质量告警的误报率。
附图说明
从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中,相同或相似的附图标记表示相同或相似的特征。
图1示出根据本发明一实施例提供的过滤网络质量告警的方法的流程示意图;
图2示出根据本发明另一实施例提供的过滤网络质量告警的方法的流程示意图;
图3示出本发明一实施例提供的对网络质量正式告警进行排序方法的流程示意图;
图4示出根据本发明一实施例提供的过滤网络质量告警的装置的结构示意图;
图5示出根据本发明另一实施例提供的过滤网络质量告警的装置的结构示意图;
图6示出根据发明一实施例的过滤网络质量告警的设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
现有技术监控网络质量,每日可产生上千甚至上万条网络质量告警。网络质量告警存在较多无关紧要的告警信息和误报的告警信息,但海量的网络质量告警让运维人员无从下手。基于此,本发明实施例的过滤网络质量告警的方法、装置、设备和计算机存储介质,通过实时监测用户海量的真实上网流量,以大数据分析的思维,从中挖掘有效的网络质量告警信息,降低了网络质量告警的误报率。
为使本发明的目的、技术方案和优点表达得更加清楚明白,下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1示出根据本发明实施例提供的过滤网络质量告警的方法的流程示意图。如图1所示,本发明实施例中的过滤网络质量告警的方法100包括以下步骤:
步骤S110,依据深度包检测DPI设备采集的用户全量流量生成话单。
在本发明的实施例中,深度包检测(Deep Packet Inspection,DPI)设备是用于对网络所承载的业务进行采集、识别、流量分析统计和日志合成等的网络设备。DPI设备通过对网络的关键点处的流量和报文内容进行检测分析,可以根据事先定义的策略对检测流量进行过滤控制,能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。
在本发明的实施例中,DPI设备通过分光或镜像的方式采集用户全量流量,并对用户全量流量进行标记分类后送往采集服务器。由于DPI设备采集的原始数据无法进行分析和筛选,因此需要采集服务器对DPI设备标记分类后的数据流进行进一步清洗、抽取、转换操作后入库,形成原始话单。对原始话单进行关联回填和多种关键指标的预统计后,再将话单记录发送至Hadoop集群存储。
在本发明的实施例中,话单是记录每个用户访问互联网记录的最基础单元。话单按照约定的规范里包含了时间、账户、国际移动设备身份码(International MobileEquipment Identity,IMEI)、网络之间互连的协议(Internet Protocol,IP)、端口、业务类型、统一资源标识符(Uniform Resource Identifier,URI)等信息。
步骤S120,基于话单中的关键指标和第一预设阈值产生网络质量预告警。
在本发明的实施例中,话单中的关键指标是通过对DPI设备采集的用户全量流量进行分析提取所得到的,该关键指标可以准确地反映出全量用户使用互联网的真实质量。
其中,在网页浏览业务中,关键指标为应答成功率、应答响应时延、丢包重传率、应答超时率、指标下降比率或连接时长等等。针对这些关键指标,各关键指标均具有对应的预设阈值。当话单中的关键指标的数值超过该关键指标对应的预设阈值时,则会产生网络质量预告警。
其中,对于关键指标的种类和各关键指标对应的预设阈值,本发明实施例不做限制,可视具体应用场景而定。
步骤S130,网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和匹配命中的网络质量预告警中的异常域名。
在本发明的实施例中,步骤S130包括以下步骤:
步骤S1301,网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将网络质量预告警作为匹配命中的网络质量预告警。
在步骤S1301中,首先对预设资源进行网页元素爬取,以获取预设资源的网页元素URL信息。其中,网页元素爬取是指根据网页的链接地址从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。其中,考虑到资源有限,因此只针对预设资源进行网页元素爬取,而不会对互联网全量域名进行网页元素爬取。
在本发明的实施例中,预设资源包括依据访问量排名前N位的域名,N是预设阈值,N是自然数。预设资源也可以包括自行设置的重点网站对象的域名。其中,预设资源的网页元素是周期性更新的信息。
作为一个具体示例,预设资源为访问热点前1000的域名,并且考虑到网页元素的变化情况,每隔八小时自动更新一次网页元素清单。
在本发明的实施例中,获取预设资源的网页元素的URL信息后,将预设资源的网页元素的URL信息与步骤S120中产生的网络质量预告警中的URL信息进行匹配。若网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将该网络质量预告警作为匹配命中的网络质量预告警。
在本发明实施例中,通过利用网络质量预告警中的URL信息与预设资源的网页元素的URL信息进行匹配,可以筛选一部分无关紧要的网络质量预告警。
步骤S1302,按照匹配命中的网络质量预告警中的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为匹配命中的网络质量预告警的异常域名。
现有技术中,网络质量监控系统中每日可产生上千上万条告警,存在不少无关紧要的告警和误告警。
作为一个示例,www.163.com中的某个页面元素加载缓慢异常,根据系统原始规则匹配会产生一条预告警。但若该页面元素的加载并不会影响到用户对整个www.163.com网站的访问感知,则此时产生的是一条无关紧要的告警。
作为另一个示例,www.163.com中的页面元素img1.360buying.com/da/jfs/xxx/xxxx加载缓慢,且该页面元素影响到了用户对www.163.com的访问感知。那么根据系统原始规则会产生一条针对服务提供商(Service Provider,SP)的关于img1.360buying.com这个域名的网络质量预告警。因为该页面元素影响到的是用户对www.163.com页面的访问感知,而img1.360buying.com只是一个图片服务器,因此此时产生的是一条误告警。基于此,需要有一个匹配机制能够正确溯源到影响用户访问感知的站点。
其中,本发明实施例中的SP特指提供网站等业务的内容服务商的代号,例如腾讯的SP代号为qq,网易的SP代号为163。
在本发明的实施例中,通过利用匹配命中的网络质量预告警中的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为匹配命中的网络质量预告警的异常域名,可降低网络质量预告警的误报率。
作为一个示例,预设资源包括上述www.163.com,且www.163.com的网页元素库中一个元素的URL为img1.360buying.com/da/jfs/xxx/xxxx。若网络质量预告警中的URL信息与img1.360buying.com/da/jfs/xxx/xxxx相同,则该网络质量预告警为匹配命中的网络质量预告警。通过匹配命中的网络质量预告警中的URL信息可反推到用户实际访问的域名信息为www.163.com。则此时命中网络质量预告警中的异常域名不再是img1.360buying.com,而是变成了www.163.com。
步骤S140,主动拨测匹配命中的网络质量预告警中的异常域名。
在本发明的实施例中,主动拨测是通过在网络内部部署分布式探针,模拟用户终端环境对热门资源进行访问请求并记录访问质量。针对已经发现的问题,可在网络的不同位置分段进行主动拨测,分析其网络质量,快速定位网络质量问题。
通过对匹配命中的网络质量预告警中的异常域名进行主动拨测,来判断该条匹配命中的网络质量预告警中关键指标的异常是否影响用户对整个网站的访问感知,进而判断该匹配命中的网络质量预告警的有效性。
步骤S150,消除拨测结果小于第二预设阈值的匹配命中的网络质量预告警。
在本发明的实施例中,根据步骤S140中的主动拨测产生的拨测结果来判断匹配命中的网络质量预告警中的异常域名的综合网络质量。
其中,不同厂家的主动拨测系统对综合网络质量的判断条件不同,因此综合网络质量的判定方法可视具体应用场景而定,本发明实施例不做具体限制。
在本发明的实施例中,利用与用户操作相同或近似的方式进行主动拨测,以获得真实的用户体验数据。该实施例中的主动拨测通过对预设的多种性能指标采用加权、分档的评分方法来归一化性能指标。然后将主动拨测结果的数值与第二预设阈值来确定匹配命中的网络质量预告警中的异常域名的综合网络质量。若匹配命中的网络质量预告警中的异常域名的主动拨测结果小于第二预设阈值,则该异常域名具有高综合网络质量。
其中,性能指标包括图像质量、视频连续度、下载速度、缓冲时间、时延或抖动等等,这些性能指标能够反应用户对网络的体验质量。
在本发明的实施例中,性能指标种类的选取以及性能指标的归一化方法不做具体限制,可视具体的应用场景而定。
若匹配命中的网络质量预告警中的异常域名具有高综合网络质量,则认为该条网络质量预告警中的异常关键指标并不会影响用户对整个网站的主观访问,则将该匹配命中的网络质量预告警消除。
对于主动拨测的拨测系统和第二预设阈值,本发明实施例不做具体限制,可视具体应用场景而定。
其中,该步骤会过滤掉大量的不影响整个网站主观访问的匹配命中的网络质量预告警信息,从而降低网络质量告警的误报率。
步骤S160,将拨测结果大于等于第二预设阈值的匹配命中的网络质量预告警确定为网络质量正式告警。
在本发明的实施例中,若匹配命中的网络质量预告警中的异常域名的主动拨测结果大于等于第二预设阈值,则该异常域名具有低综合网络质量。也就是说该条网络质量预告警中的异常指标影响整个网站的主观访问,则将该网络质量预告警确定为网络质量正式告警,并生成正式告警条目。其中,正式告警条目中可以查看到该异常域名的原始网络质量预告警信息以及该异常域名的主动拨测结果。
本发明实施例提供的过滤网络质量告警的方法,通过利用被动检测和主动拨测相结合的告警优化技术,进一步过滤掉无效的网络质量预告警信息,降低了网络质量预告警的误报率,提高了网络质量的可维护性。
作为可选的实施例,本发明实施例中的过滤网络质量告警的方法100还可以包括以下步骤:
步骤S170,针对网络质量正式告警的异常域名进行优化后,再次主动拨测网络质量正式告警的异常域名。
在本发明的实施例中,网络质量正式告警会被自动推送到运营商的自动优化平台进行处理。运营商的自动优化平台将该网络质量正式告警的异常域名通过优质网络出口进行优化,可解决一部分访问质量不佳的问题。若自动优化平台判定网络质量正式告警中的一些异常域名在一些应用场景下无法进行自动优化,则将该网络质量正式告警呈现给运维人员进行人工处理,该应用场景为网络质量问题是由运营商网内服务器、调度服务器或通过边界网关协议引入的资源等引起的场景。
其中,优质网络出口是指在运营商之间非骨干网直连的一些互联通道,用来改善互联互通访问质量问题。
步骤S180,消除再次拨测结果小于第三预设阈值的网络质量正式告警。
在本发明的实施例中,对网络质量正式告警的异常域名再次进行主动拨测,以检测步骤S170中进行的自动优化是否有效。根据再次拨测结果判断网络质量正式告警中的异常域名的综合网络质量,若该异常域名的综合网络质量正常,则消除该异常域名对应的网络质量正式告警。
其中,在步骤S180中,利用再次拨测结果和第三预设阈值来判定网络质量正式告警中的异常域名的综合网络质量,具体判定方法与步骤S150中的方法相同。
步骤S190,将再次拨测结果大于等于第三预设阈值的网络质量正式告警确定为网络质量最终告警。
其中,若步骤S170中的再次拨测结果确定网络质量正式告警中的异常域名综合网络质量较差,则将该网络质量正式告警呈现在自动优化平台上,以方便运维人员人工判断并处理该网络质量最终告警。
对于主动拨测的拨测系统和第三预设阈值,本发明实施例不做具体限制,可视具体应用场景而定。
通过本发明实施例提供的过滤网络质量告警的方法,实现了对网络质量正式告警的自动优化,实现了对网络质量正式告警的进一步过滤,进一步提高了网络质量的可维护性。
现有技术中,默认的网络质量预告警是按照故障产生的时间顺序来进行排列呈现的,但是运维人员精力有限,一天通常只能处理10例左右故障。当网络质量预告警数量过多时,如何将更重要的故障优先呈现再前面是很有必要的。
基于此,在本发明的一些实施例中,通过利用网络质量正式告警的异常域名的点击热度和时间流量模型对网络质量正式告警进行智能梳理排序,优先将热点网站及业务高峰期的网络质量正式告警呈现在运维人员面前,从而避免重要的网络故障淹没在大量的网络质量预告警中。
为了便于理解,图2示出了本发明另一实施例提供的过滤网络质量告警的方法的流程图。图2与图1相同的步骤使用相同的编号。如图2所示,过滤网络质量告警的方法200基本相同于图1所示的过滤网络质量告警的方法100,不同之处在于,过滤网络质量告警的方法200还可以包括:
步骤S210,网络质量正式告警按照综合权值进行排序,综合权值由网络质量正式告警的异常域名的热度权值和网络质量正式告警的异常域名的时间权值确定的权值。
在本发明的实施例中,图3示出本发明一实施例提供的对网络质量正式告警进行排序方法300的流程示意图,如图3所示,步骤S210包括以下步骤:
步骤S310,根据预设周期内的热点资源判断网络质量正式告警是否为命中网络质量正式告警。
在本发明的实施例中,热点资源为依据访问量排名前M位的二级域名,M是预设阈值,M是自然数。
作为一个具体示例,预设周期为过去三天的时间。热点资源为过去三天中的每一天对应的用户访问热点前2000名的二级域名,其中前2000的二级域名基本已经可以涵盖85%以上的访问流量。
在步骤S160中产生网络质量正式告警之后,将网络质量正式告警中的URL信息与上述过去三日内每一天的前2000名的二级域名的网页元素的URL进行匹配。根据匹配结果,将URL信息与热点资源的网页元素的URL信息相同的网络质量正式告警确定为命中网络质量正式告警。
其中,预设周期以及热点资源的选取,本发明实施例不做具体限制,可视具体应用场景而定。
若网络质量正式告警为命中网络质量正式告警,则进入步骤S320,否则,进入步骤S340。
步骤S320,根据预设周期内热点资源的排名,确定命中网络质量正式告警的异常域名的热度权值。
其中,热度权值是在预设周期内依据网络质量正式告警的异常域名的排名确定的权值。
作为一个具体示例,对上述过去三日内每一天的前2000名的二级域名所确定的命中网络质量正式告警进行热度权重赋值,其中,热度权重V的计算公式如下:
Figure BDA0001525954980000131
其中,i代表过去三天中的任意一天,ni为命中网络质量正式告警的异常域名在过去三天内的每一天的前2000名的二级域名中的排名。也就是说,命中网络质量正式警告在预设周期内的热度权重等于命中网络质量正式警告在预设周期内的每一天的热度权重的和。
其中,由于网络质量正式告警中的URL信息只要与过去三天中任意一天内前2000名的二级域名的URL信息相匹配,则该网络质量正式告警即为命中网络质量正式告警。因此若命中网络质量正式告警的URL信息与过去三天内的某一天前2000名的二级域名的URL信息均不匹配,则该命中网络质量正式告警在该天的热度权重赋值为0。
步骤S330,获取预设周期内的热点资源的时间流量模型,并根据该时间流量模型确定命中网络质量正式告警的异常域名的时间权值。
其中,时间权值是在预设周期内依据网络质量正式告警的异常域名的时间分布的权值。根据获取的预设周期内的热点资源的时间流量模型以及命中网络质量正式告警的当前时间来确定命中网络质量正式告警的时间权重。
作为一个具体示例,参见表1,首先获取的过去三日的前2000名的二级域名可能具有的4种时间流量模型如表1所示。其中,将每一天分为三个时间段:T1(3:00—12:00)、T2(12:00-19:00)和T3(19:00—3:00)。第一时间流量模型代表每个时间段的流量基本均衡,第二时间流量模型代表流量依次集中在时间段T1和时间段T2,第三时间流量模型代表流量依次集中在时间段T2和时间段T3,第四时间流量模型代表流量依次集中在时间段T1和时间段T3。
表1
Figure BDA0001525954980000141
根据命中网络质量正式告警的当前时间以及获取的时间流量模型来判定该网络质量正式告警的时间权重。也就是说,若命中网络质量正式告警的当前时间处于时间段T1,则该命中网络质量正式告警的时间权重T=T1,若命中网络质量正式告警的当前时间处于时间段T2,则T=T2。
作为一个具体示例,若获取的前2000名的二级域名在过去三天的时间流量模型为第二时间流量模型,若产生命中网络质量正式告警的当前时间处于时间段T2,则该命中网络质量正式告警的时间权重T=1。
步骤S340,确定中网络质量正式告警的异常域名的综合权值,并对网络质量正式告警进行排序。
在本发明的实施例中,根据命中网络质量正式告警的异常域名的热度权值和网络质量正式告警的异常域名的时间权值确定综合权值W,W=V*70%+T*30%。若网络质量正式告警的异常域名未命中热点资源中的域名,则令W=0。
最后,按照获取的网络质量正式告警中的异常域名的综合权重对网络质量正式告警进行排序。
通过本实施例提供的方法,实现了将热点网站以及业务高峰期的网络质量正式告警排在前面让运维人员优先处理。
图4示出了根据本发明另一实施例提供的过滤网络质量告警的装置的结构示意图。如图4所示,过滤网络质量告警的装置400包括:
话单生成模块410,用于依据深度包检测DPI设备采集的用户全量流量生成话单;
预告警产生模块420,用于基于话单中的关键指标和第一预设阈值产生网络质量预告警;
获取模块430,用于网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和匹配命中的网络质量预告警中的异常域名;
主动拨测模块440,用于主动拨测匹配命中的网络质量预告警中的异常域名;
消除模块450,用于消除拨测结果小于第二预设阈值的匹配命中的网络质量预告警;
正式告警确定模块460,用于将拨测结果大于等于第二预设阈值的匹配命中的网络质量预告警确定为网络质量正式告警。
在本发明的实施例中,获取模块430包括:
匹配单元4301,用于网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将网络质量预告警作为匹配命中的网络质量预告警;
反推单元4302,用于按照匹配命中的网络质量预告警的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为匹配命中的网络质量预告警的异常域名。
在本发明的实施例中,预设资源包括依据访问量排名前N位的域名,N是预设阈值,N是自然数;网页元素是周期性更新的信息。
本发明实施例提供的过滤网络质量告警的装置,通过将主动拨测与被动监测相结合,过滤掉无关紧要和误报的网络质量预告警,降低了网络质量预告警的误报率。
作为可选的实施例,本发明实施例提供的过滤网络质量告警的装置400还可以包括:
再次主动拨测模块470,用于针对网络质量正式告警的异常域名进行优化后,再次主动拨测网络质量正式告警的异常域名;
再次消除模块480,用于消除再次拨测结果小于第三预设阈值的网络质量正式告警;
最终告警确定模块490,用于将再次拨测结果大于等于第三预设阈值的网络质量正式告警确定为网络质量最终告警。
本发明实施例提供的过滤网络质量告警的装置,通过对网络质量正式告警自动优化后进行再次主动拨测,解决了部分网络质量正式告警,减少了运维人员的工作量。
图5示出本发明另一实施例的过滤网络质量告警的装置500的结构示意图。图5与图4相同的模块或单元使用相同的编号,如图5所示,过滤网络质量告警的装置500基本相同于图4所示的过滤网络质量告警的装置400,不同之处在于,该过滤网络质量告警的装置500还包括:
排序模块510,用于网络质量正式告警按照综合权值进行排序,综合权值由网络质量正式告警的异常域名的热度权值和网络质量正式告警的异常域名的时间权值确定的权值。
在本发明的实施例中,热度权值是在预设周期内依据网络质量正式告警的异常域名的排名确定的权值;时间权值是在预设周期内依据网络质量正式告警的异常域名的时间分布的权值。
本发明实施例提供的过滤网络质量告警的装置,选取网络质量正式告警的异常域名的点击热度和时间流量模型两个维度赋予综合权值,并利用综合权值排序,优先将热点网站及业务高峰期的网络质量正式呈现在运维人员面前,提高网络资源质量。
根据本发明实施例的过滤网络质量告警的装置的其他细节与以上结合图1至图3描述的根据本发明实施例的过滤网络质量告警的方法类似,在此不再赘述。
图6是示出能够实现根据本发明实施例的过滤网络质量告警的方法和装置的过滤网络质量告警的设备600示例性硬件架构的结构图。
如图6所示,本实施例中的过滤网络质量告警的设备600包括:处理器601、存储器602、通信接口603和总线610,其中,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在过滤网络质量告警的设备600的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。在特定实施例中,存储器602包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
通信接口603,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将过滤网络质量告警的设备600的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
也就是说,图6所示的过滤网络质量告警的设备600可以被实现为包括:处理器601、存储器602、通信接口603和总线610。处理器601、存储器602和通信接口603通过总线610连接并完成相互间的通信。存储器602用于存储程序代码;处理器601通过读取存储器602中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行本发明任一实施例中的过滤网络质量告警的方法,从而实现结合图1至图5描述的过滤网络质量告警的方法和装置。
本发明实施例还提供一种计算机存储介质,该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现本发明实施例提供的过滤网络质量告警的方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种过滤网络质量告警的方法,其特征在于,包括:
依据深度包检测DPI设备采集的用户全量流量生成话单;
基于所述话单中的关键指标和第一预设阈值产生网络质量预告警;
所述网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和所述匹配命中的网络质量预告警的异常域名;
主动拨测所述匹配命中的网络质量预告警的异常域名;
消除拨测结果小于第二预设阈值的所述匹配命中的网络质量预告警;
将拨测结果大于等于所述第二预设阈值的所述匹配命中的网络质量预告警确定为网络质量正式告警。
2.根据权利要求1所述过滤网络质量告警的方法,其特征在于,所述预设资源包括依据访问量排名前N位的域名,N是预设阈值,N是自然数;所述网页元素是周期性更新的信息。
3.根据权利要求1所述过滤网络质量告警的方法,其特征在于,所述网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和所述匹配命中的网络质量预告警的异常域名,包括:
网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将所述网络质量预告警作为匹配命中的网络质量预告警;
按照所述匹配命中的网络质量预告警的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为所述匹配命中的网络质量预告警的异常域名。
4.根据权利要求1所述过滤网络质量告警的方法,其特征在于,所述将拨测结果大于等于所述第二预设阈值的所述匹配命中的网络质量预告警确定为网络质量正式告警之后,还包括:
针对所述网络质量正式告警的异常域名进行优化后,再次主动拨测所述网络质量正式告警的异常域名;
消除再次拨测结果小于第三预设阈值的所述网络质量正式告警;
将再次拨测结果大于等于所述第三预设阈值的所述网络质量正式告警确定为网络质量最终告警。
5.根据权利要求1所述过滤网络质量告警的方法,其特征在于,所述方法还包括:
所述网络质量正式告警按照综合权值进行排序,所述综合权值由所述网络质量正式告警的异常域名的热度权值和所述网络质量正式告警的异常域名的时间权值确定的权值,其中,所述热度权值是在预设周期内依据所述网络质量正式告警的异常域名的排名确定的权值;所述时间权值是在预设周期内依据所述网络质量正式告警的异常域名的时间分布确定的权值。
6.一种过滤网络质量告警的装置,其特征在于,所述装置包括:
话单生成模块,用于依据深度包检测DPI设备采集的用户全量流量生成话单;
预告警产生模块,用于基于所述话单中的关键指标和第一预设阈值产生网络质量预告警;
获取模块,用于所述网络质量预告警中的统一资源定位符URL信息匹配预设资源的网页元素的URL信息,获得匹配命中的网络质量预告警和所述匹配命中的网络质量预告警中的异常域名;
主动拨测模块,用于主动拨测所述匹配命中的网络质量预告警中的异常域名;
消除模块,用于消除拨测结果小于第二预设阈值的所述匹配命中的网络质量预告警;
正式告警确定模块,用于将拨测结果大于等于所述第二预设阈值的所述匹配命中的网络质量预告警确定为网络质量正式告警。
7.根据权利要求6所述过滤网络质量告警的装置,其特征在于,所述获取模块包括:
匹配单元,用于网络质量预告警中的URL信息与预设资源的网页元素的URL信息相同,则将所述网络质量预告警作为匹配命中的网络质量预告警;
反推单元,用于按照所述匹配命中的网络质量预告警的URL信息反推用户实际访问的域名信息,将反推得到的用户实际访问的域名信息作为所述匹配命中的网络质量预告警的异常域名。
8.根据权利要求6所述过滤网络质量告警的装置,其特征在于,所述装置还包括:
再次主动拨测模块,用于针对所述网络质量正式告警的异常域名进行优化后,再次主动拨测所述网络质量正式告警的异常域名;
再次消除模块,用于消除再次拨测结果小于第三预设阈值的所述网络质量正式告警;
最终告警确定模块,用于将再次拨测结果大于等于所述第三预设阈值的所述网络质量正式告警确定为网络质量最终告警。
9.根据权利要求6所述过滤网络质量告警的装置,其特征在于,所述装置还包括:
排序模块,用于所述网络质量正式告警按照综合权值进行排序,所述综合权值由所述网络质量正式告警的异常域名的热度权值和所述网络质量正式告警的异常域名的时间权值确定的权值,其中,所述热度权值是在预设周期内依据所述网络质量正式告警的异常域名的排名确定的权值;所述时间权值是在预设周期内依据所述网络质量正式告警的异常域名的时间分布确定的权值。
10.一种过滤网络质量告警的设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的过滤网络质量告警的方法。
11.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的过滤网络质量告警的方法。
CN201711436766.4A 2017-12-26 2017-12-26 过滤网络质量告警的方法、装置、设备和介质 Active CN108206769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711436766.4A CN108206769B (zh) 2017-12-26 2017-12-26 过滤网络质量告警的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711436766.4A CN108206769B (zh) 2017-12-26 2017-12-26 过滤网络质量告警的方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN108206769A CN108206769A (zh) 2018-06-26
CN108206769B true CN108206769B (zh) 2020-07-17

Family

ID=62605924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711436766.4A Active CN108206769B (zh) 2017-12-26 2017-12-26 过滤网络质量告警的方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN108206769B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651658A (zh) * 2020-06-05 2020-09-11 杭州安恒信息技术股份有限公司 一种基于深度学习的自动化识别网站的方法和计算机设备
CN112532481B (zh) * 2020-11-24 2022-01-11 四川泽上恒信科技有限公司 一种网络质量的监测分析方法、系统和存储介质
CN114765575A (zh) * 2021-01-04 2022-07-19 中国移动通信有限公司研究院 一种网络故障原因预测方法、装置及电子设备
CN112860509A (zh) * 2021-01-14 2021-05-28 金茂数字科技有限公司 拨测告警方法及装置
CN112819349A (zh) * 2021-02-06 2021-05-18 建信金融科技有限责任公司 应用于数据加工的监控方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741615A (zh) * 2009-12-14 2010-06-16 北京神州泰岳软件股份有限公司 基于服务器的告警过滤系统及方法
CN102347864A (zh) * 2011-11-02 2012-02-08 网宿科技股份有限公司 基于内容分发网络的服务质量监控系统
CN102546965A (zh) * 2012-01-11 2012-07-04 华为技术有限公司 话音业务质量关联分析方法、装置及系统
CN102938899A (zh) * 2012-04-19 2013-02-20 中通服网优技术有限公司 轨道交通站点无线网络通信的优化系统
CN104618132A (zh) * 2014-12-16 2015-05-13 北京神州绿盟信息安全科技股份有限公司 一种应用程序识别规则生成方法和装置
CN105119767A (zh) * 2015-06-29 2015-12-02 北京宇航时代科技发展有限公司 一种数据自检及自清理的软件运行状态监测方法及系统
US9258217B2 (en) * 2008-12-16 2016-02-09 At&T Intellectual Property I, L.P. Systems and methods for rule-based anomaly detection on IP network flow
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统
CN106844165A (zh) * 2016-12-16 2017-06-13 华为技术有限公司 告警方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606149B2 (en) * 2006-04-19 2009-10-20 Cisco Technology, Inc. Method and system for alert throttling in media quality monitoring
US10419458B2 (en) * 2016-01-21 2019-09-17 Cyiot Ltd Distributed techniques for detecting atypical or malicious wireless communications activity

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258217B2 (en) * 2008-12-16 2016-02-09 At&T Intellectual Property I, L.P. Systems and methods for rule-based anomaly detection on IP network flow
CN101741615A (zh) * 2009-12-14 2010-06-16 北京神州泰岳软件股份有限公司 基于服务器的告警过滤系统及方法
CN102347864A (zh) * 2011-11-02 2012-02-08 网宿科技股份有限公司 基于内容分发网络的服务质量监控系统
CN102546965A (zh) * 2012-01-11 2012-07-04 华为技术有限公司 话音业务质量关联分析方法、装置及系统
CN102938899A (zh) * 2012-04-19 2013-02-20 中通服网优技术有限公司 轨道交通站点无线网络通信的优化系统
CN104618132A (zh) * 2014-12-16 2015-05-13 北京神州绿盟信息安全科技股份有限公司 一种应用程序识别规则生成方法和装置
CN105119767A (zh) * 2015-06-29 2015-12-02 北京宇航时代科技发展有限公司 一种数据自检及自清理的软件运行状态监测方法及系统
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统
CN106844165A (zh) * 2016-12-16 2017-06-13 华为技术有限公司 告警方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Alert correlation framework for malware detection by anomaly-based packet payload analysis";Jorge Maestre Vidal,et al.,;《Journal of Network and Computer Applications》;20171101;第97卷(第11期);第11-22页 *
"DNS域名安全实时检测的研究";邓诗钊,;《中国优秀硕士学位论文全文数据库-信息科技辑》;20170515;全文 *

Also Published As

Publication number Publication date
CN108206769A (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN108206769B (zh) 过滤网络质量告警的方法、装置、设备和介质
CN109039987A (zh) 一种用户账户登录方法、装置、电子设备和存储介质
US9231982B2 (en) Data transfer for network interaction fraudulence detection
US10250465B2 (en) Network traffic monitoring and classification
CN108768921B (zh) 一种基于特征检测的恶意网页发现方法及系统
CN107294919A (zh) 一种水平权限漏洞的检测方法及装置
CN115134099B (zh) 基于全流量的网络攻击行为分析方法及装置
CN111327539B (zh) 一种业务调度的方法、装置及设备
CN109995555B (zh) 监控方法、装置、设备及介质
CN114244564B (zh) 攻击防御方法、装置、设备及可读存储介质
Aceto et al. Monitoring Internet censorship with UBICA
CN108804501B (zh) 一种检测有效信息的方法及装置
CN114301800A (zh) 一种网络设备质差分析方法及装置
CN107612946B (zh) Ip地址的检测方法、检测装置和电子设备
CN111526109A (zh) 自动检测web威胁识别防御系统的运行状态的方法及装置
CN111625700A (zh) 防抓取的方法、装置、设备及计算机存储介质
CN108255868B (zh) 检查网站中链接的方法和装置
CN115225455A (zh) 异常设备检测方法及装置、电子设备、存储介质
CN108268370B (zh) 基于Referer和模板库匹配的网站质量分析方法、装置和系统
CN114417198A (zh) 一种网络诈骗预警方法、装置、预警设备、系统
CN113810381A (zh) 一种爬虫检测方法、web应用云防火墙、装置和存储介质
CN109995731B (zh) 提高缓存吐出流量的方法、装置、计算设备及存储介质
CN115297037A (zh) 拨测方法、装置、设备及存储介质
CN110661677B (zh) 一种dns测试方法、装置和系统
CN113395268A (zh) 一种基于线上线下融合的网络爬虫拦截方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant