CN112380508B

CN112380508B - 基于常识知识的人机验证方法

Info

Publication number: CN112380508B
Application number: CN202011277327.5A
Authority: CN
Inventors: 高海昌; 高艺鹏; 韦依儿; 毛文杰; 罗赛男; 资洋
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2020-11-16
Filing date: 2020-11-16
Publication date: 2022-10-21
Anticipated expiration: 2040-11-16
Also published as: CN112380508A

Abstract

本发明提出了一种基于常识知识的人机验证方法，在保证用户友好性的基础上提升验证码的安全性，从而有效提高人机验证的准确率，实现步骤为：1.构建图像数量列表和关键词列表；2.获取基于常识知识的验证码；3.生成人机验证系统的用户验证界面；4.获取用户的点击行为信息；5.获取人机验证结果。本发明利用人与机器对常识知识理解程度的差异，将常识知识应用到验证码的生成中，在人机验证系统对用户进行人机验证时增加了人工智能算法破解验证问题的难度，提升了验证码的安全性，从而有效提高了人机验证的准确率，降低了互联网在登陆、注册等网络场景下受到基于人工智能算法的恶意攻击的风险。

Description

基于常识知识的人机验证方法

技术领域

本发明属于安全防护技术领域，涉及一种人机验证方法，具体涉及一种基于常识知识的人机验证方法，可用于登陆、注册等网络场景下对用户进行人机验证。

背景技术

人机验证是一种通过全自动区分计算机和人类的图灵测试，其设计实现主要包括验证码、用户验证界面和人机判定系统。人机验证的难点在于保证人机验证结果的准确率，人机验证结果的准确率越高，互联网在登陆、注册等网络场景下受到基于人工智能算法的恶意攻击的风险越低，其中，表征人机验证准确率的重要指标为验证码的安全性。验证码作为一种标准的计算机安全机制，广泛应用于防御恶意计算机程序和僵尸程序，是网络应用中区分人机最重要的手段。目前，验证码主要分为以下几个基本类别：图像验证码、文本验证码和音频视频验证码。图像验证码作为验证码的主流方式之一，主要形式以显示一幅或多幅图像为主，其验证过程需要用户识别图像内容，并根据验证问题给出正确答案来完成人机验证。

随着人工智能领域的飞速发展，传统的图像验证码很容易被计算机视觉和深度学习技术中的图像分类网络自动识别，并以高准确率被破解，其安全性亟需提高。目前影响图像验证码的安全性的因素主要可以分为两个方面：(1)图像验证码中候选图像被图像分类网络正确识别的难易程度，候选图像越难被图像分类网络正确识别，图像验证码越不易被机器破解，安全性越高，但人类辨别候选图像内容的难度也随之提升，使得用户友好性下降；(2)图像验证码中验证问题的难易程度，验证问题越难，图像验证码越不易被机器破解，安全性越高，但人类自身通过图像验证码的难度也随之提升，使得用户友好性下降。

现有的图像验证码一般是通过改进验证问题的形式及内容来提高安全性的，包括设计一些新颖的基于逻辑认知的验证码，其主要利用不同物体之间的逻辑关系来构建验证码，从而提高人机验证的准确率，例如，申请公布号为CN109740334A，名称为“一种空间推理验证方法、服务器以及终端”的发明专利申请，公开了一种基于空间推理的人机验证方法，通过在3D场景中随机添加具有不同空间位置和属性关系的目标物体，并获取包含所述3D场景和所述目标物体的目标图片构建验证码的候选答案；又根据所述目标物体的属性信息以及所述目标物体与所述3D场景之间的关联信息，生成验证问题，将所述验证问题和所述目标图片发送给人机验证系统，以供人机验证系统对用户进行人机验证，从而使得传统图像识别方法在此类人机验证中难以得到验证码的候选答案，导致机器无法给出验证问题的正确答案。该方法存在的缺陷是，验证码的验证问题包含的逻辑属性关系简单，易于推理，且候选答案中的物体类别有限，不具备抵御对抗攻击的能力，容易被基于深度学习的图像识别方法识别，降低验证码的安全性，导致验证的准确率较低。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于常识知识的人机验证方法，用于解决现有技术中存在的验证码的安全性较低导致的验证准确率较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)构建图像数量列表和关键词列表：

(1a)从英语词库WordNet的名词体系中随机选取C个不重复且元素类型为字符串的独立起始概念，组成元素类型为字符串的名词类别列表，其中，1≤C≤25；

(1b)初始化长度均为s，且元素类型为字符串的关键词列表keywordList和元素类型为整数的图像数量列表numList，初始化相似度阈值α，随机生成图像的总数n，并令s＝0，其中，0≤α≤0.5，n>1；

(1c)随机生成图像数量m，并将m存入numList中，其中1≤m≤n；

(1d)随机选取名词类别列表中的一个名词，并采用wordnet.synsets()函数查找该名词在WordNet中的第一个词集objectSysnets，然后采用wordnet.hyponyms()函数在WordNet中查找objectSysnets的所有下位词，再将从查找结果中随机选取的一个下位词存入keywordList中；

(1e)判断s≥1是否成立，若是，采用wordnet.path_similarity()函数计算keywordList中的最后一个元素和第一个元素的相似度t，并执行步骤(1f)，否则，令s＝s+1，并执行步骤(1c)；

(1f)判断t＞α是否成立，若是，删除keywordList和numList中的最后一个元素，并执行步骤(1c)，否则，令s＝s+1，并执行步骤(1g)；

(1g)判断numList中所有元素的元素值之和h是否满足h<n，若是，执行步骤(1c)，否则，令n＝h，得到关键词列表keywordList和图像数量列表numList；

(2)获取基于常识知识的验证码：

(2a)获取基于常识知识的验证码的初始问题：

(2a1)通过从常识知识图谱ConceptNet中随机选取的R个语义关系，构建元素类型为字符串的语义关系列表，其中，1≤R≤34；

(2a2)将keywordList中的第一个元素作为目标关键词keyword，同时从语义关系列表中随机选取一个语义关系k，并利用超文本传输协议HTTP，向ConceptNet的在线语义关系查询接口发起查询ConceptNet中与keyword存在k的常识知识的请求；

(2a3)随机选取在线语义关系查询接口根据查询请求所查询的所有常识知识中一条值为“surfaceText”的键所对应的字符串，并将其作为基于常识知识的验证码的初始问题；

(2b)获取基于常识知识的验证码的候选图像集：

(2b1)初始化基于常识知识的验证码的候选图像集H和关键词索引i，令i＝0；

(2b2)利用HTTP，向图像搜索引擎发起搜索与关键词列表keywordList中的关键词keywordList[i]语义相关的图像地址的请求，并从图像搜索引擎根据搜索请求搜索到的图像地址中随机选取numList[i]个图像地址作为统一资源定位器URL库中的URL.Get()函数的输入，然后将利用URL.Get()函数在互联网中下载的所有图像存入H中；

(2b3)判断i≥1是否成立，若是，则执行步骤(2b6)，否则，执行步骤(2b4)；

(2b4)采用预训练好的图像分类网络依次对H中的每一张图像进行分类，得到H中所有图像的分类结果；

(2b5)判断H中所有图像的分类结果中不为keyword的图像的个数w与numList[i]是否满足w＜numlist[i]，若是，删除H中分类结果不为keyword的图像，并令numlist[i]＝numlist[i]-w，n＝n-w，执行步骤(2b6)，否则，执行步骤(2b2)；

(2b6)判断i＜s是否成立，若是，令i＝i+1，执行步骤(2b2)，否则，得到包含n幅图像的基于常识知识的验证码的候选图像集H，其中，H＝{H₁,...,H_j,...,H_n}，H_j表示第j幅基于常识知识的验证码的候选图像，1≤j≤n；

(2c)获取基于常识知识的验证码：

(2c1)利用字符串替换方法，将初始问题中的“[[”和“]]”都替换为空值None，同时将初始问题中的所有关键词之前的定冠词“the”、不定冠词“a”和“an”，以及定语“yours”均替换为空值None，并将初始问题中的keyword替换为疑问代词，得到基于常识知识的验证码的验证问题question；

(2c2)利用对抗攻击算法，通过H中的候选图像H_j的像素值计算H_j的对抗样本H_j′，得到对抗样本集合H′＝{H_j′|1≤j≤n}，并将H′作为基于常识知识的验证码的候选答案集answers；

(2c3)将验证问题question和候选答案集answers组合为基于常识知识的验证码；

(3)生成人机验证系统的用户验证界面：

将用户终端的屏幕划分成常识问题区域和候选图像区域，并将候选图像区域划分成n个子网格，将验证码包含的answers中的每幅H_j′随机不重复的显示在候选图像区域的网格内，并将验证码包含的question显示在常识问题区域，生成人机验证系统的用户验证界面；

(4)获取用户的点击行为信息：

(4a)构建长度为numList[0]且元素类型为整数的答案索引列表I，初始化长度l为且元素类型为整数的用户点击列表clickList，并令l＝0，其中I＝{I_g|0≤I_g≤numList[0]-1}；

(4b)获取用户终端检测到的用户在用户验证界面对H_j′的鼠标点击次数d_j，并将满足d_jmod 2＝1的l′个d_j对应的序号j依次存入clickList，并将这令l＝l′，得到用户点击列表clickList；

(4f)将用户每次点击用户验证界面的H_j′的时刻t_j、clickList和l作为用户的点击行为信息；

(5)获取人机验证结果：

(5a)根据用户的点击行为信息中时刻t_j，计算用户每次点击用户验证界面的图像的时间间隔Δt，并判断Δt与预先设置的阈值β是否满足||Δt||≥β，若是，执行步骤(5b)，否则判定用户为机器，其中0≤β≤1000，单位为毫秒；

(5b)记图像数量列表numList中的第一个元素的元素值为验证码的验证问题的答案个数ansNum，并判断ansNum与用户的点击行为信息中的l是否满足l＝ansNum，若是，执行步骤(5c)，否则判定用户为机器；

(5c)判断用户的点击行为信息中的clickList和答案索引列表I中的元素是否完全一致，若是，判定用户为人类，否则，判定用户为机器。

本发明与现有技术相比，具有如下优点：

1.本发明所采用的验证码是基于常识知识获取的，其中包含的验证问题是从常识知识图谱ConceptNet中获取的基于常识知识的初始问题，逻辑属性关系复杂，利用人与机器对常识知识理解程度的差异，使得机器对其难以推理；其中包含的候选答案是与从英语词库WordNet中获取的关键词有关的基于常识知识的图像并利用对抗攻击算法生成的对抗样本，物体类别丰富，具备抵御对抗攻击的能力，不易被基于深度学习的图像识别方法识别，并且人机验证的操作方式简单，用户只需要进行简单地点击操作就可以完成人机验证，在具有同等用户友好性的情况下，提升了验证码的安全性，与现有技术相比，有效提高了人机验证的准确率。

2.本发明的基于常识知识的验证码可以采用不同的常识知识图谱和不同的图像搜索引擎进行构建，这导致攻击者难以搜集具有代表性的验证码数据来训练人工智能算法对本发明的人机验证方法进行攻击，提升了验证码的安全性，从而进一步提高了人机验证的准确率。

附图说明

图1为本发明的实现流程图；

图2为本发明的人机验证系统的用户验证界面示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，本发明包括如下步骤：

步骤1)构建图像数量列表和关键词列表：

步骤1a)从英语词库WordNet的名词体系中随机选取C个不重复且元素类型为字符串的独立起始概念，组成元素类型为字符串的名词类别列表，其中，1≤C≤25。本实施例中，C＝14，选取的14独立起始概念具体包括：natural、food、animal、plant、naturalphenomenon、artifact、person、body、shape、location、quantity、event、group和substance。

步骤1b)初始化长度均为s，且元素类型为字符串的关键词列表keywordList和元素类型为整数的图像数量列表numList，初始化相似度阈值α，随机生成图像的总数n，并令s＝0，其中，0≤α≤0.5，n>1。本实施例中，α＝0.5，n＝12。

步骤1c)随机生成图像数量m，并将m存入numList中，其中1≤m≤n。

步骤1d)随机选取名词类别列表中的一个名词，并采用wordnet.synsets()函数查找该名词在WordNet中的第一个词集objectSysnets，然后采用wordnet.hyponyms()函数在WordNet中查找objectSysnets的所有下位词，再将从查找结果中随机选取的一个下位词存入keywordList中。

步骤1e)判断s≥1是否成立，若是，采用wordnet.path_similarity()函数计算keywordList中的最后一个元素和第一个元素的相似度t，并执行步骤(1f)，否则，令s＝s+1，并执行步骤(1c)。

步骤1f)判断t＞α是否成立，若是，删除keywordList和numList中的最后一个元素，并执行步骤(1c)，否则，令s＝s+1，并执行步骤(1g)。

步骤1g)判断numList中所有元素的元素值之和h是否满足h<n，若是，执行步骤(1c)，否则，令n＝h，得到关键词列表keywordList和图像数量列表numList。

步骤2)获取基于常识知识的验证码：

步骤2a)获取基于常识知识的验证码的初始问题：

步骤2a1)通过从常识知识图谱ConceptNet中随机选取的R个语义关系，构建元素类型为字符串的语义关系列表，其中，1≤R≤34。本实施例中，R＝8，选取的8语义关系具体包括：IsA、HasProperty、UsedFor、HasA、MadeOf、CapableOf、CreatedBy和PartOf。

步骤2a2)将keywordList中的第一个元素作为目标关键词keyword，同时从语义关系列表中随机选取一个语义关系k，并利用超文本传输协议HTTP，向ConceptNet的在线语义关系查询接口发起查询ConceptNet中与keyword存在k的常识知识的请求。本实施例中，k为IsA，具体使用python的requests库中的requests.get()方法，传入地址http://api.conceptnet.io/query？node＝/c/en/keyword&rel＝/r/IsA，返回得到ConceptNet中与keyword具有IsA语义关系的所有常识知识。ConceptNet中的常识知识表示为(开始结点、关系、结束节点)的三元组，其中开始结点和结束节点分别表示为star和end，或者均可以表示为结点node，语义关系表示为rel。在查询过程中，以目标关键词keyword作为node的参数值，以随机选择的常识关系k作为rel的参数值，此外，此接口还提供了几个可选参数：limit参数表示每页显示几条查询结果，offset参数表示显示第几页的查询结果，所有的参数之间用“&”连接，其中，取limit＝50，offset＝1。

步骤2a3)随机选取在线语义关系查询接口根据查询请求所查询的所有常识知识中一条值为“surfaceText”的键所对应的字符串，并将其作为基于常识知识的验证码的初始问题。其中，在线语义关系查询接口根据查询请求所查询的结果是以边“edge”的形式表示，每条边记录一条常识知识，包括该条记录的开始结点信息，结束结点信息，语义关系信息以及具体的常识知识信息，所有结果保存为json格式的文件，具体的常识知识名称为“surfaceText”，随机选取一条不为空的键值为surfaceText对应的字符串作为基于常识知识的验证码的初始问题。

步骤2b)获取基于常识知识的验证码的候选图像集：

步骤2b1)初始化基于常识知识的验证码的候选图像集H和关键词索引i，令i＝0。

步骤2b2)利用HTTP，向图像搜索引擎发起搜索与关键词列表keywordList中的关键词keywordList[i]语义相关的图像地址的请求，并从图像搜索引擎根据搜索请求搜索到的图像地址中随机选取numList[i]个图像地址作为统一资源定位器URL库中的URL.Get()函数的输入，然后将利用URL.Get()函数在互联网中下载的所有图像存入H中。

本实施例中，采用百度图片搜索引擎，使用python的requests库中的requests.get()函数，传入地址：http://image.baidu.com/search/index？tn＝baiduimage&ps＝1&ct＝201326592&lm＝-1&cl＝2&nc＝1&ie＝utf-8&word＝keyword[i]，传入参数keywordList[i]，表示当前需要下载的图像类别，传入可选参数pages，表示一共要下载的页数，取pages＝30，则requests.get()函数会返回与keywordList[i]相关的30张图像的URL地址。之后在这30张图像的URL地址中随机选择numList[i]个URL地址，调用URL库的URL.Get()函数，传入URL地址进行图像下载，并将下载的图像保存到H中。

步骤2b3)判断i≥1是否成立，若是，则执行步骤(2b6)，否则，执行步骤(2b4)。

步骤2b4)采用预训练好的图像分类网络依次对H中的每一张图像进行分类，得到H中所有图像的分类结果。本实施例中，采用预训练好的SeNet网络对图像进行分类。

步骤2b5)判断H中所有图像的分类结果中不为keyword的图像的个数w与numList[i]是否满足w＜numlist[i]，若是，删除H中分类结果不为keyword的图像，并令numlist[i]＝numlist[i]-w，n＝n-w，执行步骤(2b6)，否则，执行步骤(2b2)。

步骤2b6)判断i＜s是否成立，若是，令i＝i+1，执行步骤(2b2)，否则，得到包含n幅图像的基于常识知识的验证码的候选图像集H，其中，H＝{H₁,...,H_j,...,H_n}，H_j表示第j幅基于常识知识的验证码的候选图像，1≤j≤n。

步骤2c)获取基于常识知识的验证码：

步骤2c1)利用字符串替换方法，将初始问题中的“[[”和“]]”都替换为空值None，同时将初始问题中的所有关键词之前的定冠词“the”、不定冠词“a”和“an”，以及定语“yours”均替换为空值None，并将初始问题中的keyword替换为疑问代词“which one”，得到基于常识知识的验证码的验证问题question；本实施例中，使用python库中的字符串替换函数replace()对验证问题进行上述替换。

步骤2c2)利用对抗攻击算法中的快速梯度下降法FGSM，对H中的每幅候选图像H_j计算其相应的对抗样本H_j′，得到对抗样本集合H′＝{H_j′|1≤j≤n}，并H′将作为基于常识知识的验证码的候选答案集answers。其中，计算对样样本是为了使得验证码的候选答案集具有抵御对抗攻击的能力，计算公式为：

其中，ε为控制对抗扰动大小的参数，ε＝0.3，sign()为符号函数，

为L对于H_j的梯度，L()为交叉熵损失函数，θ为预训练好的SeNet网络的网络参数，y_j为H_j的真实概率分布，

为SeNet网络对H_j的预测概率分布，

步骤2c3)将验证问题question和候选答案集answers组合为基于常识知识的验证码。

步骤3)生成人机验证系统的用户验证界面：

将用户终端的屏幕划分成常识问题区域和候选图像区域，并将候选图像区域划分成n个子网格，将验证码包含的answers中的每幅H_j′随机不重复的显示在候选图像区域的网格内，并将验证码包含的question显示在常识问题区域，生成的人机验证系统的用户验证界面如图2所示。

步骤4)获取用户的点击行为信息：

步骤4a)构建长度为numList[0]且元素类型为整数的答案索引列表I，初始化长度l为且元素类型为整数的用户点击列表clickList，并令l＝0，其中I＝{I_g|0≤I_g≤numList[0]-1}。

步骤4b)获取用户终端的屏幕检测到的用户在用户验证界面对H_j′的鼠标点击次数d_j，当用户终端在某幅图像内检测到一次鼠标点击行为，则认为该图像被选中，，当再次在该图像内检测到鼠标点击行为，则认为该图像未被选中，将满足d_jmod 2＝1的l′个d_j对应的序号j依次存入clickList，并将这令l＝l′，得到用户点击列表clickList。

步骤4f)将用户每次点击用户验证界面的H_j′的时刻t_j、clickList和l作为用户的点击行为信息。

步骤5)获取人机验证结果：

步骤5a)根据用户的点击行为信息中时刻t_j，利用公式Δt＝t_j-t_j-1，计算用户每次点击用户验证界面的图像的时间间隔Δt，并判断Δt与预先设置的阈值β是否满足||Δt||≥β，若是，执行步骤(5b)，否则判定用户为机器，其中0≤β≤1000，单位为毫秒。本实施例中，β＝1000。

步骤5b)记图像数量列表numList中的第一个元素的元素值为验证码的验证问题的答案个数ansNum，并判断ansNum与用户的点击行为信息中的l是否满足l＝ansNum，若是，执行步骤(5c)，否则判定用户为机器。

步骤5c)判断用户的点击行为信息中的clickList和答案索引列表I中的元素是否完全一致，若是，判定用户为人类，否则，判定用户为机器。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。