CN103442014A - 一种自动检测疑似仿冒网站的方法及系统 - Google Patents
一种自动检测疑似仿冒网站的方法及系统 Download PDFInfo
- Publication number
- CN103442014A CN103442014A CN2013103954290A CN201310395429A CN103442014A CN 103442014 A CN103442014 A CN 103442014A CN 2013103954290 A CN2013103954290 A CN 2013103954290A CN 201310395429 A CN201310395429 A CN 201310395429A CN 103442014 A CN103442014 A CN 103442014A
- Authority
- CN
- China
- Prior art keywords
- website
- module
- similarity
- white list
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种自动检测疑似仿冒网站的方法,包括以下步骤:1:接收多个网站地址;2:将一个网站地址与白名单相匹配,判断是否匹配,如匹配,允许访问并添加白名单标记,跳转至步骤6;否则,继续;3:将网站地址与黑名单相匹配,判断是否匹配,如匹配,则禁止访问并添加黑名单标记,跳转至步骤6;否则,继续;4:将当前网页内容与所有白名单网站的专属标识进行匹配,计算相似度,得到最大相似度值;5:判断最大相似度值是否大于预设的阈值,如是,为疑似仿冒网站;否则,为非疑似仿冒网站;步骤6:判断是否存在未添加标记的网站地址,如有,进行步骤2;否则,结束。本发明可在用户利益受到侵害之前检测出疑似仿冒网站,降低用户损失。
Description
技术领域
本发明涉及一种自动检测疑似仿冒网站的方法及系统。
背景技术
仿冒网站,是网络在线欺骗活动的一种方式,主要用来窃取用户的私密信息,如信用卡账号密码、电子商务网站帐号密码等。仿冒网站的欺骗形式包括:
1.社交网络中利用社交群体散布仿冒网站信息;
2.即时通讯(IM)工具中利用在线交易或电子商务来引导用户进入不法仿冒网站;
3.邮件链接导入不法仿冒网站;
4.论坛或虚拟社区中张贴仿冒网站链接。
这些网站通常是对真实网站域名进行细微篡改,或其网页在视觉上与被仿冒网页具有高仿真度,进而骗取用户信任,获取用户信息,损害用户利益。
目前,业界通常有如下共识:
仿冒网站:指网站地址的名称或网页在视觉上非常类似于正规的商业网站,且意图在于损害用户利益的网站。
白名单:指待保护的正规网站列表,一般来说这类需要保护的网站地址,是网络交易或者电子商务中高频度出现的网站,比如淘宝、Ebay、京东等电子商务网站,工商银行、中国银行等银行交易系统,“中国好声音”、“中国最强音”等大众娱乐网页,这些都是仿冒者攻击的目标。
黑名单:指已验证的仿冒网站列表,这类列表中的网站都是通过用户投诉、网上举报或者人工筛查获得,并经过相关管理部门确认的仿冒网站,这类列表中的网站通常已经对用户利益造成了损害。
现有的仿冒网站检测识别技术通常都是基于黑名单和白名单机制。给定待检测网站地址,通过查询白名单或者黑名单来判断所述待检测网站地址是否在名单之列,来识别正规网站或仿冒网站。但是,现有的黑白名单检测识别技术仅仅可以识别出黑名单中已有的仿冒网站,如果某仿冒网站不在黑名单内,则无法识别。然而,网络的变化性很大,不法分子可以通过重新申请新的网站地址的方式继续行骗,而现有的识别技术需要在收到举报或者事发后才能更新黑名单的数据库,无法做到事前检测识别,风险警示。
发明内容
本发明所要解决的技术问题是,针对现有技术无法事先识别仿冒网站的现状,提供一种达到事前识别,降低访问仿冒网站概率的目的的自动检测疑似仿冒网站的方法。
本发明解决上述技术问题的技术方案如下:一种自动检测疑似仿冒网站的方法,具体包括以下步骤:
步骤1:接收到多个网站地址,并将多个网站地址排列成网站地址列表;
步骤2:按照列表顺序将网站地址列表中的一个网站地址与预设的白名单相匹配,判断是否匹配,如果匹配,允许用户访问该网站地址并对该网站地址添加白名单标记,跳转至步骤6;否则,继续步骤3;
步骤3:将当前网站地址与预设的黑名单相匹配,判断是否匹配,如果匹配,则禁止用户访问该网站地址并对该网站地址添加黑名单标记,跳转至步骤6;否则,继续步骤4;
步骤4:将当前网站地址对应的网页内容与所有白名单网站中内设的专属标识LOGO图片进行匹配,并计算相似度,得到最大相似度值;
步骤5:判断最大相似度值是否大于预设的阈值,如果是,则判定当前网站地址为疑似仿冒网站并对该网站地址添加疑似仿冒标记;否则,判定当前网站地址为非疑似仿冒网站添加非疑似仿冒标记;
步骤6:判断网站地址列表中是否存在未添加标记的网站地址,如果有,进行步骤2;否则,结束。
本发明的有益效果是:本发明所述一种自动检测疑似仿冒网站的方法,可以在用户个人利益受到侵害之前检测出疑似仿冒网站,降低用户损失。与已公开的相关技术相比,本发明采用基于局部特征点的目标网站LOGO图片与待检测网站整体图片的匹配方法,在保证能够检测出视觉相似的仿冒网站的前提下,有效检测出与仿冒目标网站有视觉差异的仿冒网站。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述步骤4具体包括以下步骤:
步骤4.1:获取所有白名单网站的专属标识LOGO图片;
步骤4.2:采集当前网站地址的URL统一资源定位符,并通过网络下载得到当前网站地址对应的网页整体图像;
步骤4.3:将当前网站地址对应的网页整体图像与所有白名单网站的专属标识LOGO图片依次进行对比,并计算相似度得到多个相似度值;
步骤4.4:将多个相似度值按从大到小进行排序,得到最大相似度值。
进一步,所述步骤4.3具体包括以下步骤:
步骤4.3.1:对当前网站地址对应的网页整体图像提取特征点,构成待测特征点集;
步骤4.3.2:对所有白名单网站的专属标识LOGO图片分别提取特征点,分别构成多个对应的白名单特征点集;
步骤4.3.3:对待测特征点集计算SURF(Speeded Up Robust Features)待测局部特征描述子;对多个白名单特征点集分别计算SURF(Speeded UpRobust Features)白名单局部特征描述子;
步骤4.3.4:利用近邻检测快速工具包(FLANN,Fast Library forApproximate Nearest Neighbors)对待测局部特征描述子与多个白名单局部特征描述子间的快速匹配;
步骤4.3.5:将多个匹配结果换算为数值,得到多个相似度值。
所述步骤5中的阈值获取包括以下步骤:
步骤a:根据国家互联网权威管理部门提供的黑名单中仿冒网站(URL)统一资源定位符的集合,利用网络下载获得黑名单对应的整体图像,得到黑名单图像合集;
步骤b:将白名单中的一个白名单网站的专属标识LOGO图片依次与黑名单图像集合中的图像进行相似度计算,得到多个相似度值;
步骤c:对多个相似度值取平均值得到相似度均值;
步骤d:判断是否白名单中所有的白名单网站都已进行相似度计算,如果是,进行步骤e;否则,跳转至步骤b;
步骤e:将所有白名单网站计算得到的相似度均值按数值大小排序,得到最小相似度均值为阈值。
本发明所要解决的技术问题是,针对现有技术无法事先识别仿冒网站的现状,提供一种达到事前识别,降低访问仿冒网站概率的目的的自动检测疑似仿冒网站的系统。
本发明解决上述技术问题的技术方案如下:一种自动检测疑似仿冒网站的系统,包括接收模块、白名单匹配模块、黑名单匹配模块、相似度计算模块和判断模块;
所述接收模块接收到多个网站地址,并将多个网站地址排列成网站地址列表;
所述白名单匹配模块按照列表顺序将网站地址列表中的一个网站地址与预设的白名单相匹配,判断是否匹配,如果匹配,允许用户访问该网站地址并对该网站地址添加白名单标记;否则,将当前网站地址发送到黑名单匹配模块;
所述黑名单匹配模块将当前网站地址与预设的黑名单相匹配,判断是否匹配,如果匹配,则禁止用户访问该网站地址并对该网站地址添加黑名单标记;否则,将当前网站地址发送到相似度计算模块;
所述相似度计算模块将当前网站地址对应的网页内容与所有白名单网站中内设的专属标识LOGO图片进行匹配,并计算相似度,得到最大相似度值;
所述判断模块判断最大相似度值是否大于预设的阈值,如果是,则判定当前网站地址为疑似仿冒网站并对该网站地址添加疑似仿冒标记;否则,判定当前网站地址为非疑似仿冒网站。
本发明的有益效果是:本发明所述一种自动检测疑似仿冒网站的系统,可以在用户个人利益受到侵害之前检测出疑似仿冒网站,降低用户损失。与已公开的相关技术相比,本发明采用基于局部特征点的目标网站LOGO图片与待检测网站整体图片的匹配方法,在保证能够检测出视觉相似的仿冒网站的前提下,有效检测出与仿冒目标网站有视觉差异的仿冒网站。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述相似度计算模块包括提取标识模块、采集图像模块、相似度比对模块和排序模块;
所述提取标识模块获取所有白名单网站的专属标识LOGO图片;
所述采集图像模块采集当前网站地址的URL统一资源定位符,并通过网络下载得到当前网站地址对应的网页整体图像;
所述相似度比对模块将当前网站地址对应的网页整体图像与所有白名单网站的专属标识LOGO图片依次进行对比,并计算相似度得到多个相似度值;
所述排序模块将多个相似度值按从大到小进行排序,得到最大相似度值。
进一步,所述相似度比对模块包括特征点提取模块、计算描述子模块、匹配模块和数值转换模块;
所述特征点提取模块对当前网站地址对应的网页整体图像提取特征点,构成待测特征点集;所述特征点提取模块对所有白名单网站的专属标识LOGO图片分别提取特征点,分别构成多个对应的白名单特征点集;
所述计算描述子模块对待测特征点集计算SURF(Speeded Up RobustFeatures)待测局部特征描述子;并对多个白名单特征点集分别计算SURF(Speeded Up Robust Features)白名单局部特征描述子;
所述匹配模块利用近邻检测快速工具包(FLANN,Fast Library forApproximate Nearest Neighbors)对待测局部特征描述子与多个白名单局部特征描述子间的快速匹配;
所述数值转换模块将多个匹配结果换算为数值,得到多个相似度值。
进一步,还包括阈值获取模块,所述阈值获取模块与判断模块相连接,并将计算得到的阈值发送到判断模块。
进一步,所述阈值获取模块包括黑名单图像获取模块、白黑对比模块、均值计算模块和均值排序模块;
所述黑名单图像获取模块根据国家互联网权威管理部门提供的黑名单中仿冒网站(URL)统一资源定位符的集合,利用网络下载获得黑名单对应的整体图像,得到黑名单图像合集;
所述白黑对比模块将白名单中的一个白名单网站的专属标识LOGO图片依次与黑名单图像集合中的图像进行相似度计算,得到多个相似度值;
所述均值计算模块对多个相似度值取平均值得到相似度均值;
所述均值排序模块将所有白名单网站计算得到的相似度均值按数值大小排序,得到最小相似度均值为阈值。
附图说明
图1为本发明具体实施例1所述的一种自动检测疑似仿冒网站的方法流程图;
图2为本发明具体实施例2所述的一种自动检测疑似仿冒网站的方法流程图;
图3为本发明具体实施例2所述的一种自动检测疑似仿冒网站的方法流程图;
图4为本发明具体实施例1、2、3所述的一种自动检测疑似仿冒网站的方法中阈值获取流程图;
图5为本发明具体实施例1所述的一种自动检测疑似仿冒网站的系统框图;
图6为本发明具体实施例2所述的一种自动检测疑似仿冒网站的系统框图;
图7为本发明具体实施例2所述的一种自动检测疑似仿冒网站的系统框图;
图8为本发明具体实施例4所述的一种自动检测疑似仿冒网站的系统中阈值获取模块结构框图;
图9为本发明具体实施例5所述的一种自动检测疑似仿冒网站的方法流程图;
图10为本发明具体实施例5所述的一种自动检测疑似仿冒网站的方法中与白名单对比流程图;
图11为本发明具体实施例5所述的一种自动检测疑似仿冒网站的方法中相似度计算流程图;
图12为本发明具体实施例5所述的一种自动检测疑似仿冒网站的方法中阈值获取流程图。
附图中,各标号所代表的部件列表如下:
1、接收模块,2、白名单匹配模块,3、黑名单匹配模块,4、相似度计算模块,5、判断模块,6、阈值获取模块,41、提取标识模块,42、采集图像模块,43、相似度比对模块,44、排序模块,431、特征点提取模块,432、计算描述子模块,433、匹配模块,434、数值转换模块,61、黑名单图像获取模块,62、白黑对比模块,63、均值计算模块,64、均值排序模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,为本发明具体实施例1所述的一种自动检测疑似仿冒网站的方法,具体包括以下步骤:
步骤1:接收到多个网站地址,并将多个网站地址排列成网站地址列表;
步骤2:按照列表顺序将网站地址列表中的一个网站地址与预设的白名单相匹配,判断是否匹配,如果匹配,允许用户访问该网站地址并对该网站地址添加白名单标记,跳转至步骤6;否则,继续步骤3;
步骤3:将当前网站地址与预设的黑名单相匹配,判断是否匹配,如果匹配,则禁止用户访问该网站地址并对该网站地址添加黑名单标记,跳转至步骤6;否则,继续步骤4;
步骤4:将当前网站地址对应的网页内容与所有白名单网站中内设的专属标识LOGO图片进行匹配,并计算相似度,得到最大相似度值;
步骤5:判断最大相似度值是否大于预设的阈值,如果是,则判定当前网站地址为疑似仿冒网站并对该网站地址添加疑似仿冒标记;否则,判定当前网站地址为非疑似仿冒网站添加非疑似仿冒标记;
步骤6:判断网站地址列表中是否存在未添加标记的网站地址,如果有,进行步骤2;否则,结束。
如图2所示,为本发明具体实施例2所述的一种自动检测疑似仿冒网站的方法,实施例2在实施例1的基础上进一步细化,所述步骤4具体包括以下步骤:
步骤4.1:获取所有白名单网站的专属标识LOGO图片;
步骤4.2:采集当前网站地址的URL统一资源定位符,并通过网络下载得到当前网站地址对应的网页整体图像;
步骤4.3:将当前网站地址对应的网页整体图像与所有白名单网站的专属标识LOGO图片依次进行对比,并计算相似度得到多个相似度值;
步骤4.4:将多个相似度值按从大到小进行排序,得到最大相似度值。
如图3所示,为本发明具体实施例3所述的一种自动检测疑似仿冒网站的方法,实施例3在实施例2的基础上进一步细化,所述步骤4.3具体包括以下步骤:
步骤4.3.1:对当前网站地址对应的网页整体图像提取特征点,构成待测特征点集;
步骤4.3.2:对所有白名单网站的专属标识LOGO图片分别提取特征点,分别构成多个对应的白名单特征点集;
步骤4.3.3:对待测特征点集计算SURF(Speeded Up Robust Features)待测局部特征描述子;对多个白名单特征点集分别计算SURF(Speeded UpRobust Features)白名单局部特征描述子;
步骤4.3.4:利用近邻检测快速工具包(FLANN,Fast Library forApproximate Nearest Neighbors)对待测局部特征描述子与多个白名单局部特征描述子间的快速匹配;
步骤4.3.5:将多个匹配结果换算为数值,得到多个相似度值。
如图4所示,为本发明具体实施例1、2或3中的阈值获取的具体方法,阈值获取包括以下步骤:
步骤a:根据国家互联网权威管理部门提供的黑名单中仿冒网站(URL)统一资源定位符的集合,利用网络下载获得黑名单对应的整体图像,得到黑名单图像合集;
步骤b:将白名单中的一个白名单网站的专属标识LOGO图片依次与黑名单图像集合中的图像进行相似度计算,得到多个相似度值;
步骤c:对多个相似度值取平均值得到相似度均值;
步骤d:判断是否白名单中所有的白名单网站都已进行相似度计算,如果是,进行步骤e;否则,跳转至步骤b;
步骤e:将所有白名单网站计算得到的相似度均值按数值大小排序,得到最小相似度均值为阈值。
如图5所示,为本发明具体实施例1所述的一种自动检测疑似仿冒网站的系统,包括接收模块1、白名单匹配模块2、黑名单匹配模块3、相似度计算模块4和判断模块5;
所述接收模块1接收到多个网站地址,并将多个网站地址排列成网站地址列表;
所述白名单匹配模块2按照列表顺序将网站地址列表中的一个网站地址与预设的白名单相匹配,判断是否匹配,如果匹配,允许用户访问该网站地址并对该网站地址添加白名单标记;否则,将当前网站地址发送到黑名单匹配模块;
所述黑名单匹配模块3将当前网站地址与预设的黑名单相匹配,判断是否匹配,如果匹配,则禁止用户访问该网站地址并对该网站地址添加黑名单标记;否则,将当前网站地址发送到相似度计算模块;
所述相似度计算模块4将当前网站地址对应的网页内容与所有白名单网站中内设的专属标识LOGO图片进行匹配,并计算相似度,得到最大相似度值;
所述判断模块5判断最大相似度值是否大于预设的阈值,如果是,则判定当前网站地址为疑似仿冒网站并对该网站地址添加疑似仿冒标记;否则,判定当前网站地址为非疑似仿冒网站。
如图6所示,为本发明具体实施例2所述的一种自动检测疑似仿冒网站的系统,实施例2在实施例1的基础上进一步细化,所述相似度计算模块4包括提取标识模块41、采集图像模块42、相似度比对模块43和排序模块44;
所述提取标识模块41获取所有白名单网站的专属标识LOGO图片;
所述采集图像模块42采集当前网站地址的URL统一资源定位符,并通过网络下载得到当前网站地址对应的网页整体图像;
所述相似度比对模块43将当前网站地址对应的网页整体图像与所有白名单网站的专属标识LOGO图片依次进行对比,并计算相似度得到多个相似度值;
所述排序模块44将多个相似度值按从大到小进行排序,得到最大相似度值。
如图7所示,为本发明具体实施例3所述的一种自动检测疑似仿冒网站的系统,实施例3在实施例2的基础上进一步细化,所述相似度比对模块43包括特征点提取模块431、计算描述子模块432、匹配模块433和数值转换模块434;
所述特征点提取模块431对当前网站地址对应的网页整体图像提取特征点,构成待测特征点集;所述特征点提取模块对所有白名单网站的专属标识LOGO图片分别提取特征点,分别构成多个对应的白名单特征点集;
所述计算描述子模块432对待测特征点集计算SURF(Speeded Up RobustFeatures)待测局部特征描述子;并对多个白名单特征点集分别计算SURF(Speeded Up Robust Features)白名单局部特征描述子;
所述匹配模块433利用近邻检测快速工具包(FLANN,Fast Library forApproximate Nearest Neighbors)对待测局部特征描述子与多个白名单局部特征描述子间的快速匹配;
所述数值转换模块434将多个匹配结果换算为数值,得到多个相似度值。
如图8所示,为本发明具体实施例4所述一种自动检测疑似仿冒网站的系统,实施例4是实施例1、2或3所述的自动检测疑似仿冒网站的系统还包括阈值获取模块6,所述阈值获取模块6与判断模块5相连接,并将计算得到的阈值发送到判断模块5。
所述阈值获取模块6包括黑名单图像获取模块61、白黑对比模块62、均值计算模块63和均值排序模块64;
所述黑名单图像获取模块61根据国家互联网权威管理部门提供的黑名单中仿冒网站(URL)统一资源定位符的集合,利用网络下载获得黑名单对应的整体图像,得到黑名单图像合集;
所述白黑对比模块62将白名单中的一个白名单网站的专属标识LOGO图片依次与黑名单图像集合中的图像进行相似度计算,得到多个相似度值;
所述均值计算模块63对多个相似度值取平均值得到相似度均值;
所述均值排序模块64将所有白名单网站计算得到的相似度均值按数值大小排序,得到最小相似度均值为阈值。
参见图9,其是根据本申请实施例的一种检测疑似仿冒网站的方法流程图,本申请实施例既可以在用户终端侧执行,也可以在网络侧执行。
下面应用实例具体说明各个步骤的操作:
步骤101,获取待检测的网站地址;
本步骤主要是获得能够唯一表征网页地址的形式,本专利中选择的是URL地址。
仿冒网站往往通过4种方式传播:通过社交网络(微博、人人等)、垃圾邮件、即时通信(如QQ、MSN、阿里旺旺等)软件和网络社区等发送给用户。通过对4中传播方式进行分析可获得待检测的网络地址。
步骤102,判断所述网站地址是否在白名单内;
即判断所述待检测的网站地址是否在预设的待保护网站列表(即白名单)中,若不存在,则所述获取的待检测网站地址不属于正规网站;
步骤103,判断所述网站地址是否在黑名单内;
即判断所述待检测的网站地址是否在预设的仿冒网站列表(即黑名单)中,若不存在,则所述获取的待识别网站地址不属于仿冒网站。
其中,步骤102、步骤103主要是对待检测的网站地址的分类识别的预处理过程,以减少算法的复杂度,且两个步骤是并列关系,即处理的先后顺序不影响分类结果。白名单的构造形式主要是为应用对象服务的,即应用对象为银行系统时,那么本专利中的白名单中可以加入工商银行官方网址“http://www.icbc.com.cn/icbc/”,中国银行官方网址“http://www.boc.cn/”等;应用对象为大众娱乐网站时,那么本专利中的白名单中可以加入中国好声音官方网站“http://www.zjstv.com/voice/”,中国最强音官方网站“http://www.hunantv.com/v/2013/zgzqy/”。黑名单的构造形式主要根据白名单中列出正规网站所对应的多个已知仿冒网站,通常这些仿冒网站是由网络用户举报并经相关管理部门确认后产生的。
步骤104,利用所述待检测的网址、白名单对应网站特有标志LOGO,和疑似仿冒网站规则进行相似度计算;若相似度大于某一阈值,则判定所述待识别网站地址为疑似仿冒网站。
下面首先对网站LOGO的选择形式和标准作出解释:
其中,白名单对应网站特有的标志LOGO指的是,本专利中应用对象特有的标志:如工商银行的标志为一个隐性的方孔圆币,那么所述LOGO的个数即为白名单中应用对象网络地址的数量。
其中,仿冒网站的仿冒特性中最重要的一点是网站页面的视觉性欺骗,即页面中的大部分内容与真实正规网页中的内容相似性很高,有的可以达到以假乱真的程度。但是,统计多个仿冒网站后可以发现,网站地址的拼写形式,以及网站页面中标题栏或LOGO的形式是影响用户对网站真实性判断的最主要的依据。因此,选用正规网站和仿冒网站中相关性最大的标志LOGO作为相似度判断的标准是合理的。
该步骤具体的算法流程见图10。
1)步骤201,从所获得的待检测网站地址中提取主机统一资源定位符URL信息;
2)步骤202,根据提取的URL信息,利用Internet网络下载得到对应网页的整体图像;
3)步骤203,利用白名单对应网站特有的标志LOGO,依次与待检测网站的整体图像进行相似度计算;
4)步骤204,对得到的相似度序列按从大到小排序后取最大值。若最大相似度大于等于某一给定阈值T,则判定所述待识别网站地址为疑似仿冒网站;若最大相似度小于某一给定阈值T,则判定所述待识别网站地址为非疑似仿冒网站。
对于所述步骤203中的相似度计算方法,本专利中选取的是SURF特征匹配法,这样的可以有效的解决因正规网页与仿冒网页中LOGO位置、大小不同而产生的算法失效的问题。
上述步骤203中具体的算法流程见图11。
1)步骤2031,从白名单对应网站特有的某个标志LOGO和待检测网站的整体图像中分别提取特征点;
2)步骤2032,对提取的特征点集计算SURF局部特征描述子;
3)步骤2033,利用Flann方法进行特征描述子间的快速匹配。
对于所述步骤104中的阈值T的计算方法,本专利中选取的是统计方法,即统计多个相关样本的最大相似度,计算其中的最大相似度序列的最小值作为阈值,这种最大最小方法在统计学中的应用合理,可以保证待测试的网站网址所得的相似度可以得到很好的分类效果。但是,统计学中的方法通常要求样本足够多,这样才能满足算法的精度。
上述步骤104中具体的算法流程见图12。
1)步骤401,判断白名单对应网站的标志LOGO集合是否为空;
2)步骤402,找到所述LOGO对应黑名单中仿冒网站URL集合,利用Internet网络批量下载得到网页对应的整体图像的集合S;
3)步骤403,利用所述标志依次与集合S中的图像进行相似度计算,对获取的相似度序列取平均值;
4)步骤404,对上述所得的平均相似度序列排序后,取最小值,则令相似度阈值T为该最小平均相似度。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种自动检测疑似仿冒网站的方法,其特征在于,具体包括以下步骤:
步骤1:接收到多个网站地址,并将多个网站地址排列成网站地址列表;
步骤2:按照列表顺序将网站地址列表中的一个网站地址与预设的白名单相匹配,判断是否匹配,如果匹配,允许用户访问该网站地址并对该网站地址添加白名单标记,跳转至步骤6;否则,继续步骤3;
步骤3:将当前网站地址与预设的黑名单相匹配,判断是否匹配,如果匹配,则禁止用户访问该网站地址并对该网站地址添加黑名单标记,跳转至步骤6;否则,继续步骤4;
步骤4:将当前网站地址对应的网页内容与所有白名单网站中内设的专属标识LOGO图片进行匹配,并计算相似度,得到最大相似度值;
步骤5:判断最大相似度值是否大于预设的阈值,如果是,则判定当前网站地址为疑似仿冒网站并对该网站地址添加疑似仿冒标记;否则,判定当前网站地址为非疑似仿冒网站添加非疑似仿冒标记;
步骤6:判断网站地址列表中是否存在未添加标记的网站地址,如果有,进行步骤2;否则,结束。
2.根据权利要求1所述的一种自动检测疑似仿冒网站的方法,其特征在于,所述步骤4具体包括以下步骤:
步骤4.1:获取所有白名单网站的专属标识LOGO图片;
步骤4.2:采集当前网站地址的URL统一资源定位符,并通过网络下载得到当前网站地址对应的网页整体图像;
步骤4.3:将当前网站地址对应的网页整体图像与所有白名单网站的专属标识LOGO图片依次进行对比,并计算相似度得到多个相似度值;
步骤4.4:将多个相似度值按从大到小进行排序,得到最大相似度值。
3.根据权利要求2所述的一种自动检测疑似仿冒网站的方法,其特征在于,所述步骤4.3具体包括以下步骤:
步骤4.3.1:对当前网站地址对应的网页整体图像提取特征点,构成待测特征点集;
步骤4.3.2:对所有白名单网站的专属标识LOGO图片分别提取特征点,分别构成多个对应的白名单特征点集;
步骤4.3.3:对待测特征点集计算SURF(Speeded Up Robust Features)待测局部特征描述子;对多个白名单特征点集分别计算SURF(Speeded UpRobust Features)白名单局部特征描述子;
步骤4.3.4:利用近邻检测快速工具包(FLANN,Fast Library forApproximate Nearest Neighbors)对待测局部特征描述子与多个白名单局部特征描述子间的快速匹配;
步骤4.3.5:将多个匹配结果换算为数值,得到多个相似度值。
4.根据权利要求1至3任一项所述的一种自动检测疑似仿冒网站的系统,其特征在于,所述步骤5中的阈值获取包括以下步骤:
步骤a:根据国家互联网权威管理部门提供的黑名单中仿冒网站(URL)统一资源定位符的集合,利用网络下载获得黑名单对应的整体图像,得到黑名单图像合集;
步骤b:将白名单中的一个白名单网站的专属标识LOGO图片依次与黑名单图像集合中的图像进行相似度计算,得到多个相似度值;
步骤c:对多个相似度值取平均值得到相似度均值;
步骤d:判断是否白名单中所有的白名单网站都已进行相似度计算,如果是,进行步骤e;否则,跳转至步骤b;
步骤e:将所有白名单网站计算得到的相似度均值按数值大小排序,得到最小相似度均值为阈值。
5.一种自动检测疑似仿冒网站的系统,其特征在于,包括接收模块、白名单匹配模块、黑名单匹配模块、相似度计算模块和判断模块;
所述接收模块接收到多个网站地址,并将多个网站地址排列成网站地址列表;
所述白名单匹配模块按照列表顺序将网站地址列表中的一个网站地址与预设的白名单相匹配,判断是否匹配,如果匹配,允许用户访问该网站地址并对该网站地址添加白名单标记;否则,将当前网站地址发送到黑名单匹配模块;
所述黑名单匹配模块将当前网站地址与预设的黑名单相匹配,判断是否匹配,如果匹配,则禁止用户访问该网站地址并对该网站地址添加黑名单标记;否则,将当前网站地址发送到相似度计算模块;
所述相似度计算模块将当前网站地址对应的网页内容与所有白名单网站中内设的专属标识LOGO图片进行匹配,并计算相似度,得到最大相似度值;
所述判断模块判断最大相似度值是否大于预设的阈值,如果是,则判定当前网站地址为疑似仿冒网站并对该网站地址添加疑似仿冒标记;否则,判定当前网站地址为非疑似仿冒网站。
6.根据权利要求5所述的一种自动检测疑似仿冒网站的系统,其特征在于,所述相似度计算模块包括提取标识模块、采集图像模块、相似度比对模块和排序模块;
所述提取标识模块获取所有白名单网站的专属标识LOGO图片;
所述采集图像模块采集当前网站地址的URL统一资源定位符,并通过网络下载得到当前网站地址对应的网页整体图像;
所述相似度比对模块将当前网站地址对应的网页整体图像与所有白名单网站的专属标识LOGO图片依次进行对比,并计算相似度得到多个相似度值;
所述排序模块将多个相似度值按从大到小进行排序,得到最大相似度值。
7.根据权利要求6所述的一种自动检测疑似仿冒网站的系统,其特征在于,所述相似度比对模块包括特征点提取模块、计算描述子模块、匹配模块和数值转换模块;
所述特征点提取模块对当前网站地址对应的网页整体图像提取特征点,构成待测特征点集;所述特征点提取模块对所有白名单网站的专属标识LOGO图片分别提取特征点,分别构成多个对应的白名单特征点集;
所述计算描述子模块对待测特征点集计算SURF(Speeded Up RobustFeatures)待测局部特征描述子;并对多个白名单特征点集分别计算SURF(Speeded Up Robust Features)白名单局部特征描述子;
所述匹配模块利用近邻检测快速工具包(FLANN,Fast Library forApproximate Nearest Neighbors)对待测局部特征描述子与多个白名单局部特征描述子间的快速匹配;
所述数值转换模块将多个匹配结果换算为数值,得到多个相似度值。
8.根据权利要求5-7任一项所述的一种自动检测疑似仿冒网站的系统,其特征在于,还包括阈值获取模块,所述阈值获取模块与判断模块相连接,并将计算得到的阈值发送到判断模块。
9.根据权利要求8所述的一种自动检测疑似仿冒网站的系统,其特征在于,所述阈值获取模块包括黑名单图像获取模块、白黑对比模块、均值计算模块和均值排序模块;
所述黑名单图像获取模块根据国家互联网权威管理部门提供的黑名单中仿冒网站(URL)统一资源定位符的集合,利用网络下载获得黑名单对应的整体图像,得到黑名单图像合集;
所述白黑对比模块将白名单中的一个白名单网站的专属标识LOGO图片依次与黑名单图像集合中的图像进行相似度计算,得到多个相似度值;
所述均值计算模块对多个相似度值取平均值得到相似度均值;
所述均值排序模块将所有白名单网站计算得到的相似度均值按数值大小排序,得到最小相似度均值为阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013103954290A CN103442014A (zh) | 2013-09-03 | 2013-09-03 | 一种自动检测疑似仿冒网站的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013103954290A CN103442014A (zh) | 2013-09-03 | 2013-09-03 | 一种自动检测疑似仿冒网站的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103442014A true CN103442014A (zh) | 2013-12-11 |
Family
ID=49695679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013103954290A Pending CN103442014A (zh) | 2013-09-03 | 2013-09-03 | 一种自动检测疑似仿冒网站的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103442014A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069144A (zh) * | 2015-08-20 | 2015-11-18 | 华南理工大学 | 一种搜索相似图片的方法 |
CN105119909A (zh) * | 2015-07-22 | 2015-12-02 | 国家计算机网络与信息安全管理中心 | 一种基于页面视觉相似性的仿冒网站检测方法和系统 |
CN105426706A (zh) * | 2015-11-20 | 2016-03-23 | 北京奇虎科技有限公司 | 盗版应用检测方法和装置、系统 |
CN105681907A (zh) * | 2015-12-30 | 2016-06-15 | 中电长城网际系统应用有限公司 | 一种信息校验系统及其方法 |
CN105763543A (zh) * | 2016-02-03 | 2016-07-13 | 百度在线网络技术(北京)有限公司 | 一种识别钓鱼网站的方法及装置 |
CN105978850A (zh) * | 2016-04-08 | 2016-09-28 | 中国南方电网有限责任公司 | 一种基于图形匹配的仿冒网站检测系统及检测方法 |
CN106502879A (zh) * | 2015-09-07 | 2017-03-15 | 中国移动通信集团公司 | 一种实现应用程序安全性检测的方法及装置 |
CN108764191A (zh) * | 2018-06-04 | 2018-11-06 | 济南东朔微电子有限公司 | 一种基于视频图像的人体定位监护方法 |
CN108874802A (zh) * | 2017-05-09 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 网页检测方法和装置 |
CN110020075A (zh) * | 2017-10-20 | 2019-07-16 | 南京烽火软件科技有限公司 | 非法网站自动发掘装置 |
CN111180036A (zh) * | 2019-12-31 | 2020-05-19 | 重庆亚德科技股份有限公司 | 医疗处方流向监控系统及方法 |
CN111626751A (zh) * | 2020-05-15 | 2020-09-04 | 秦德玉 | 一种识别非售假网址的方法 |
CN111814643A (zh) * | 2020-06-30 | 2020-10-23 | 杭州科度科技有限公司 | 黑灰url识别方法、装置、电子设备及介质 |
CN111970310A (zh) * | 2020-10-20 | 2020-11-20 | 云盾智慧安全科技有限公司 | 网络防护方法及系统、电子设备、计算机可读存储介质 |
CN112084451A (zh) * | 2020-09-16 | 2020-12-15 | 哈尔滨工业大学 | 一种基于视觉分块的网页logo提取系统及方法 |
CN113688905A (zh) * | 2021-08-25 | 2021-11-23 | 中国互联网络信息中心 | 一种有害域名核验方法及装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534306A (zh) * | 2009-04-14 | 2009-09-16 | 深圳市腾讯计算机系统有限公司 | 一种钓鱼网站的检测方法及装置 |
CN102073822A (zh) * | 2011-01-30 | 2011-05-25 | 北京搜狗科技发展有限公司 | 防止用户信息泄漏的方法及系统 |
CN102082792A (zh) * | 2010-12-31 | 2011-06-01 | 成都市华为赛门铁克科技有限公司 | 钓鱼网页检测方法及设备 |
CN102170446A (zh) * | 2011-04-29 | 2011-08-31 | 南京邮电大学 | 一种基于空间布局与视觉特征的钓鱼网页检测方法 |
US20120011142A1 (en) * | 2010-07-08 | 2012-01-12 | Qualcomm Incorporated | Feedback to improve object recognition |
US20120011119A1 (en) * | 2010-07-08 | 2012-01-12 | Qualcomm Incorporated | Object recognition system with database pruning and querying |
CN102647408A (zh) * | 2012-02-27 | 2012-08-22 | 珠海市君天电子科技有限公司 | 一种基于内容分析的判断钓鱼网站的方法 |
CN102651856A (zh) * | 2011-02-23 | 2012-08-29 | 腾讯科技(深圳)有限公司 | 一种提高终端上网安全性的方法、系统和装置 |
CN102999638A (zh) * | 2013-01-05 | 2013-03-27 | 南京邮电大学 | 基于网络群挖掘的钓鱼网站检测方法 |
CN103136251A (zh) * | 2011-11-29 | 2013-06-05 | 星云融创(北京)科技有限公司 | 识别网页的方法和装置 |
CN103179095A (zh) * | 2011-12-22 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种检测钓鱼网站的方法及客户端装置 |
-
2013
- 2013-09-03 CN CN2013103954290A patent/CN103442014A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534306A (zh) * | 2009-04-14 | 2009-09-16 | 深圳市腾讯计算机系统有限公司 | 一种钓鱼网站的检测方法及装置 |
US20120011142A1 (en) * | 2010-07-08 | 2012-01-12 | Qualcomm Incorporated | Feedback to improve object recognition |
US20120011119A1 (en) * | 2010-07-08 | 2012-01-12 | Qualcomm Incorporated | Object recognition system with database pruning and querying |
CN102082792A (zh) * | 2010-12-31 | 2011-06-01 | 成都市华为赛门铁克科技有限公司 | 钓鱼网页检测方法及设备 |
CN102073822A (zh) * | 2011-01-30 | 2011-05-25 | 北京搜狗科技发展有限公司 | 防止用户信息泄漏的方法及系统 |
CN102651856A (zh) * | 2011-02-23 | 2012-08-29 | 腾讯科技(深圳)有限公司 | 一种提高终端上网安全性的方法、系统和装置 |
CN102170446A (zh) * | 2011-04-29 | 2011-08-31 | 南京邮电大学 | 一种基于空间布局与视觉特征的钓鱼网页检测方法 |
CN103136251A (zh) * | 2011-11-29 | 2013-06-05 | 星云融创(北京)科技有限公司 | 识别网页的方法和装置 |
CN103179095A (zh) * | 2011-12-22 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种检测钓鱼网站的方法及客户端装置 |
CN102647408A (zh) * | 2012-02-27 | 2012-08-22 | 珠海市君天电子科技有限公司 | 一种基于内容分析的判断钓鱼网站的方法 |
CN102999638A (zh) * | 2013-01-05 | 2013-03-27 | 南京邮电大学 | 基于网络群挖掘的钓鱼网站检测方法 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105119909B (zh) * | 2015-07-22 | 2019-02-19 | 国家计算机网络与信息安全管理中心 | 一种基于页面视觉相似性的仿冒网站检测方法和系统 |
CN105119909A (zh) * | 2015-07-22 | 2015-12-02 | 国家计算机网络与信息安全管理中心 | 一种基于页面视觉相似性的仿冒网站检测方法和系统 |
CN105069144A (zh) * | 2015-08-20 | 2015-11-18 | 华南理工大学 | 一种搜索相似图片的方法 |
CN106502879A (zh) * | 2015-09-07 | 2017-03-15 | 中国移动通信集团公司 | 一种实现应用程序安全性检测的方法及装置 |
CN105426706A (zh) * | 2015-11-20 | 2016-03-23 | 北京奇虎科技有限公司 | 盗版应用检测方法和装置、系统 |
CN105426706B (zh) * | 2015-11-20 | 2018-06-15 | 北京奇虎科技有限公司 | 盗版应用检测方法和装置、系统 |
CN105681907A (zh) * | 2015-12-30 | 2016-06-15 | 中电长城网际系统应用有限公司 | 一种信息校验系统及其方法 |
CN105763543A (zh) * | 2016-02-03 | 2016-07-13 | 百度在线网络技术(北京)有限公司 | 一种识别钓鱼网站的方法及装置 |
CN105763543B (zh) * | 2016-02-03 | 2019-08-30 | 百度在线网络技术(北京)有限公司 | 一种识别钓鱼网站的方法及装置 |
CN105978850A (zh) * | 2016-04-08 | 2016-09-28 | 中国南方电网有限责任公司 | 一种基于图形匹配的仿冒网站检测系统及检测方法 |
CN108874802A (zh) * | 2017-05-09 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 网页检测方法和装置 |
CN110020075A (zh) * | 2017-10-20 | 2019-07-16 | 南京烽火软件科技有限公司 | 非法网站自动发掘装置 |
CN108764191A (zh) * | 2018-06-04 | 2018-11-06 | 济南东朔微电子有限公司 | 一种基于视频图像的人体定位监护方法 |
CN108764191B (zh) * | 2018-06-04 | 2021-06-25 | 济南东朔微电子有限公司 | 一种基于视频图像的人体定位监护方法 |
CN111180036A (zh) * | 2019-12-31 | 2020-05-19 | 重庆亚德科技股份有限公司 | 医疗处方流向监控系统及方法 |
CN111626751A (zh) * | 2020-05-15 | 2020-09-04 | 秦德玉 | 一种识别非售假网址的方法 |
CN111814643A (zh) * | 2020-06-30 | 2020-10-23 | 杭州科度科技有限公司 | 黑灰url识别方法、装置、电子设备及介质 |
CN112084451A (zh) * | 2020-09-16 | 2020-12-15 | 哈尔滨工业大学 | 一种基于视觉分块的网页logo提取系统及方法 |
CN111970310A (zh) * | 2020-10-20 | 2020-11-20 | 云盾智慧安全科技有限公司 | 网络防护方法及系统、电子设备、计算机可读存储介质 |
CN113688905A (zh) * | 2021-08-25 | 2021-11-23 | 中国互联网络信息中心 | 一种有害域名核验方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103442014A (zh) | 一种自动检测疑似仿冒网站的方法及系统 | |
CN105119909B (zh) | 一种基于页面视觉相似性的仿冒网站检测方法和系统 | |
CN109510815B (zh) | 一种基于有监督学习的多级钓鱼网站检测方法及检测系统 | |
CN108471429A (zh) | 一种网络攻击告警方法及系统 | |
CN102638448A (zh) | 一种基于非内容分析的判断钓鱼网站的方法 | |
US20160063541A1 (en) | Method for detecting brand counterfeit websites based on webpage icon matching | |
CN110839216B (zh) | 识别通讯信息诈骗的方法和装置 | |
CN106713579B (zh) | 一种电话号码识别方法及装置 | |
CN104954372A (zh) | 一种钓鱼网站的取证与验证方法及系统 | |
CN105721416A (zh) | 一种apt事件攻击组织同源性分析方法及装置 | |
CN108418777A (zh) | 一种钓鱼邮件检测方法、装置及系统 | |
AU2012367397A1 (en) | System and methods for spam detection using frequency spectra of character strings | |
CN102622553A (zh) | 检测网页安全的方法及装置 | |
CN110784462B (zh) | 基于混合方法的三层钓鱼网站检测系统 | |
CN107155186B (zh) | 一种伪基站定位方法和装置 | |
Li et al. | Detection method of phishing email based on persuasion principle | |
CN104598595A (zh) | 欺诈网页检测方法及相应装置 | |
CN106102082B (zh) | 一种嫌疑号码确定方法、装置、系统 | |
CN111147490A (zh) | 一种定向钓鱼攻击事件发现方法及装置 | |
CN112751804B (zh) | 一种仿冒域名的识别方法、装置和设备 | |
CN113645173A (zh) | 一种恶意域名的识别方法、系统和设备 | |
CN113112323B (zh) | 基于数据分析的异常订单识别方法、装置、设备及介质 | |
CN101980477B (zh) | 检测影子用户的数目的方法和装置及网络设备 | |
CN105653941A (zh) | 一种启发式检测钓鱼网站的方法及系统 | |
CN113283906A (zh) | 基于设备指纹的支付购电风险监测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20131211 |
|
RJ01 | Rejection of invention patent application after publication |