HK1237490B - 一种基於活体检测的防作弊网络调研方法、装置及系统 - Google Patents

Description

一种基于活体检测的防作弊网络调研方法、装置及系统

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于活体检测的防作弊网络调研方法、装置及系统。

背景技术

目前，随着互联网的发展，网络调研已经成为目前市场调研获取数据的主要途径之一。如何在调研过程中鉴别用户的真实有效性，是判断网络调查获取的问卷数据样本是否有效的首要问题。现有网络问卷调研系统主要在用户注册环节进行有效性鉴别判断，如下发验证码让用户提交验证，基于判断问题回答的有效性从多角度向用户提问等方面。由于目前计算机模拟人类进行验证码识别并提交在技术上已十分成熟，且目前问卷被机器代替人类作答的情况也时有发生，大大降低了网络问卷调研样本数据的真实有效性。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于活体检测的防作弊网络调研方法，其能检验用户的真实性。

本发明的目的之二在于提供一种基于活体检测的防作弊网络调研装置，其能检验用户的真实性。

本发明的目的之三在于提供一种基于活体检测的防作弊网络调研系统，其能检验用户的真实性。

本发明的目的之一采用如下技术方案实现：

一种基于活体检测的防作弊网络调研方法，包括以下步骤：

模型建立步骤：建立动作识别模型库；

信息获取步骤：获取用户的动作识别信息，所述动作识别信息包括人面部的当前特征向量；

特征比对步骤：将用户的动作识别信息与动作识别模型库内的验证特征向量进行比对，如果比对结果一致，则通过验证。

进一步地，所述模型建立步骤具体包括以下子步骤：

动作获取步骤：获取验证动作信息，所述验证动作信息包括人面部的验证特征向量，所述验证特征向量为验证特征点的位移变化；

动作模型库建立步骤：根据验证动作信息和与之相对应的操作指令建立动作模型库。

进一步地，所述模型建立步骤还包括面部识别步骤：根据获取到的用户的面部识别信息构建面部识别模型库。

进一步地，所述特征比对步骤具体包括以下子步骤：

相似度判断步骤：判断动作识别信息与动作识别模型库中的验证动作信息的相似度是否大于预设值，如果是，则验证通过。

进一步地，所述特征比对步骤还包括面部比对步骤：将获取到的面部识别信息与面部识别模型库中的数据进行比对，如果比对结果一致，则执行相似度判断步骤。

本发明的目的之二采用如下技术方案实现：

一种基于活体检测的防作弊网络调研装置，包括以下模块：

模型建立模块：用于建立动作识别模型库；

信息获取模块：用于获取用户的动作识别信息，所述动作识别信息包括人面部的当前特征向量；

特征比对模块：用于将用户的动作识别信息与动作识别模型库内的验证特征向量进行比对，如果比对结果一致，则通过验证。

进一步地，所述模型建立模块具体包括以下子模块：

动作获取模块：用于获取验证动作信息，所述验证动作信息包括人面部的验证特征向量，所述验证特征向量为验证特征点的位移变化；

动作模型库建立模块：用于根据验证动作信息和与之相对应的操作指令建立动作模型库。

进一步地，所述模型建立模块还包括面部识别模块：用于根据获取到的用户的面部识别信息构建面部识别模型库。

进一步地，所述特征比对模块具体包括以下子模块：

相似度判断模块：用于判断动作识别信息与动作识别模型库中的验证动作信息的相似度是否大于预设值，如果是，则验证通过。

本发明的目的之三采用如下技术方案实现：

一种基于活体检测的防作弊网络调研系统，包括执行器，所述执行器用于执行如上述任意一项所描述的基于活体检测的防作弊网络调研方法。

相比现有技术，本发明的有益效果在于：

本发明在网络问卷调研系统中引入人脸识别进行活体检测，通过加入与活体检测技术结合的按提示完成面部动作的用户验证环节，提高问卷样本数据的有效性和真实性，避免利用机器欺骗性答题的大量无效问卷出现。

附图说明

图1为本发明的基于活体检测的防作弊网络调研方法的流程图；

图2为本发明的基于活体检测的防作弊网络调研装置的结构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

本发明的基于活体检测的防作弊网络调研系统主要包括：智能设备、摄像头、服务器。

智能设备：连接摄像头的电脑或带摄像头的移动终端，如手机。用户通过智能设备访问网络问卷，进行相关操作，如注册、登录、问卷设置、答题等。

摄像头：用于获取用户在使用问卷系统过程中的面部视频图像。

服务器设置有：用户管理模块、问卷模块、用户验证模块；服务器通过无线网或光缆与智能设备连接；

用户管理模块：获取管理用户数据及权限分配。包括注册、登录、用户权限管理3部分：

注册：通过注册流程，引导用户提交基本身份资料信息，设置密码、并提示用户通过摄像头做指定动作以获取注册用户面部视频图像数据，将上述信息发送到用户权限管理模块，对应建立各个用户的面部识别模型和基本资料信息并进行存储。

登录：通过登录流程，验证用户的身份信息，匹配用户基本资料数据，必要时进行用户验证，用户登录成功后将用户信息发送到用户权限管理模块，以便判断用户权限；

用户权限管理：存储、管理用户的基本资料信息及对应的面部识别模型信息、问卷设置管理权限或问卷答题权限；通过对用户注册时提交的资料信息和选择的账户类型信息，配置用户对应的问卷设置或答题权限，并在用户登录后进行权限判断和分配；通过用户注册时获取的面部视频建立对应该用户的面部模型用于验证用户的一致性；

问卷模块：包括问卷设置、网络问卷、问卷数据分析三部分；问卷设置：问卷管理用户通过问卷设置模块配置问卷内容、调研题型、匹配的用户类型，设置完成发布问卷。

网络问卷：用户通过网络问卷查看问题内容，并进行相应操作进行答题，提交信息；网络问卷包括问卷管理用户设置的调研问题和随机插入的用户验证问题。随机插入用户验证问题可以有效提高问卷数据的真实性。主要是在用户答题过程中，随机抽取一条识别验证模块配置好的面部动作指令，通过摄像头获取用户根据提示完成的面部指定动作视频，比对用户的面部模型验证用户的一致性，比对识别模型验证用户的真实性。

问卷数据：问卷数据分析模块获取用户提交的答题信息后，对答题信息进行分析处理，并将问卷数据结果展示给问卷管理用户查看。

用户验证模块：包括用户一致性验证和用户真实性验证。

用户一致性验证：抽取用户在问卷调研或登录验证时的面部视频图像的关键帧，进行用户面部特征提取，比对根据用户注册时提交的面部视频图像建立的用户面部特征模型，验证用户的一致性，当相似度大于80％，我们则认为是同一用户。

主要原理过程为：

分析用户注册时提交的面部视频图像，抽取关键帧，根据眼虹膜、鼻翼、嘴角等面像五官轮廓的形状、大小、位置、距离等属性构建面部各部位的72个关键点，然后再计算出它们的几何特征量，通过这些特征量形成描述该面像的特征向量，建立每个注册用户的面部特征向量集作为用户的面部特征模型，对应存储到用户权限管理模块，用于后期对用户的一致性验证时做模型比对；

当用户登录或答题过程中进行用户验证时，抽取验证过程的用户面部视频关键帧，将面部72个点的特征向量与对应用户的面部特征模型做比对，判断用户的一致性。

用户真实性验证包括：识别模型和真实性验证。利用建立好的识别模型对摄像头获取到的用户面部动作视频图像进行分析，提取用户面部动作变化的特征向量，对比识别模型验证用户的真实性。

识别模型：通过对面部视频图像抽取关键帧、构建面部关键点，对关键点进行特征提取；通过对大量用户的面部动作视频进行学习，根据用户面部动作变化时关键点的变化信息对应动作指令信息建立训练集模版库，作为用户真实性验证的识别模型。

如图1所示，本发明提供了一种基于活体检测的防作弊网络调研方法，包括以下步骤：

S1：建立动作识别模型库；所述模型建立步骤具体包括以下子步骤：

S11：根据获取到的用户的面部识别信息构建面部识别模型库；人的面部结构及五官形态组合在不同面部动作变化时具有显著变化特征。通过学习和不断校正，根据面部的眼虹膜、鼻翼、嘴角、颧骨等面部五官轮廓的形状、大小、位置、组合距离等属性查找出能够体现人的脸部动作变化、且在各种光线投射外部环境影响下、人脸各角度偏移时、稳定的72个关键点，基于72个关键点建立识别模型库；这一步主要是采集人的主要的面部信息用于进行后期的面部的识别验证；

S12：获取验证动作信息，所述验证动作信息包括人面部的验证特征向量，所述验证特征向量为验证特征点的位移变化；将用户验证动作分为点头、向左转动头部、向右转动头部、眨眼、张嘴5个指令，根据各个动作指令的面部72个点的坐标偏移向量建立识别模型；

S13：根据验证动作信息和与之相对应的操作指令建立动作模型库。通过机器学习训练、分析大量用户面部动作变化视频，统计72个关键点在不同面部动作变化时的点坐标信息变化数据，计算出它们在不同动作指令下的坐标偏移向量，形成各动作指令的人脸特征向量；将提取的人脸的验证特征向量，对应各动作指令模版库存储，从而建立用于用户验证的识别模型。训练过程需要通过不断比对识别结果修正各指令的向量集；这一步主要通过验证动作来识别是否是真实的人在进行作答；

S2：获取用户的动作识别信息，所述动作识别信息包括人面部的当前特征向量；此步骤主要是用来进行数据的采集，可以穿插设置于用户的登录时期或者穿插设置于用户的在进行问卷答题的过程中；

S3：将用户的动作识别信息与动作识别模型库内的验证特征向量进行比对，如果比对结果一致，则通过验证。所述特征比对步骤具体包括以下子步骤：

S31：将获取到的面部识别信息与面部识别模型库中的数据进行比对，如果比对结果一致，则执行相似度判断步骤。

S32：判断动作识别信息与动作识别模型库中的验证动作信息的相似度是否大于预设值，如果是，则验证通过；来对获取的信息进行验证。

本发明主要应用流程为：

用户在访问网络问卷调研系统时，点击注册，提交身份资料信息、账号类型(普通答题用户、问卷管理用户)相关信息，开始建立用户账号；

用户验证模块随机生成一组活体检测用户验证指令，通过摄像头获取用户按提示完成指定面部动作的面部视频图像；

提取视频图像中用户面部动作的特征向量与识别模型中对应动作的特征向量集做比对，相似度达到80％以上则通过验证；

提取用户的面部特征向量并存储，建立用户面部特征模型，对应用户提交的注册相关身份信息存储到用户管理模块。通过以上步骤完成用户注册。

注册后，用户在需要使用问卷调研系统时，开始登录流程。正常账号登录时，只需要验证用户账号密码即可完成登录。如遇到账号曾出现异常情况时(如多次输入错误的密码后成功通过密码验证)，则进入用户验证流程。

提示用户通过摄像头按指令完成相关面部动作，如张嘴、眨眼。用户验证模块获取用户面部视频后，提取视频中用户的面部特征向量，与系统中存储的对应用户的面部特征模型做比对判断用户的一致性，判断通过后进行指定动作一致性判断，验证用户真实性，全部验证通过则用户登录成功，进入问卷调研系统可进行相关操作。

用户进入问卷系统，进行答题时，问卷中会随机插入指定面部动作题型，以提高问卷样本的真实性。具体为，在完成普通问题的回答后，进入面部动作题。系统通过摄像头获取用户按提示完成的指定面部动作视频图像，提取视频中用户面部特征向量，比对用户面部特征模型进行用户一致性验证，比对识别模型中的对应动作特征向量集进行用户真实性验证，验证通过则完成该题作答，进入下一答题环节。

问卷数据分析模块获取用户提交的完整答题信息后，对答题信息进行分析处理，并将问卷数据结果展示给问卷管理用户查看。

上述的方法为本实施例最为优选的方案，还可以通过其他的方式来对其进行验证，比如在进行用户一致性判断时，用于验证用户在提交问卷或者其他相关操作时是否为用户本人，本步骤在指定人群样本数据获取时，可以提高问卷样本的用户基本信息匹配的准确性，可防止不符合特性的其他用户代替注册用户答题的情况出现。本步骤可以不进行判断，通过其他提问方式验证用户基本信息。用户真实性验证环节，也可以随机出一些是非题，让用户按照是点头，否摇头的方式作答，同时判断答案的正确性和用户面部动作视频图像的特征向量与识别模型的一致性，来完成真实用户验证。

如图2所示，本发明提供了一种基于活体检测的防作弊网络调研装置，包括以下模块：

模型建立模块：用于建立动作识别模型库；所述模型建立模块具体包括以下子模块：

面部识别模块：用于根据获取到的用户的面部识别信息构建面部识别模型库；

动作获取模块：用于获取验证动作信息，所述验证动作信息包括人面部的验证特征向量，所述验证特征向量为验证特征点的位移变化；

动作模型库建立模块：用于根据验证动作信息和与之相对应的操作指令建立动作模型库。

信息获取模块：用于获取用户的动作识别信息，所述动作识别信息包括人面部的当前特征向量；

特征比对模块：用于将用户的动作识别信息与动作识别模型库内的验证特征向量进行比对，如果比对结果一致，则通过验证。所述特征比对模块具体包括以下子模块；

面部比对模块：用于将获取到的面部识别信息与面部识别模型库中的数据进行比对，如果比对结果一致，则执行相似度判断模块；

相似度判断模块：用于判断动作识别信息与动作识别模型库中的验证动作信息的相似度是否大于预设值，如果是，则验证通过。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于活体检测的防作弊网络调研方法，其特征在于，包括以下步骤：

问卷设置步骤：问卷管理用户通过问卷设置模块配置问卷内容、调研题型、匹配的用户类型，设置完成发布问卷；其中，网络问卷为用户通过网络问卷查看问题内容，并进行相应操作进行答题，提交信息；网络问卷包括问卷管理用户设置的调研问题和随机插入的用户验证问题，或随机出是非题，让用户按照是点头，否摇头的方式作答；其中，用户验证问题为随机插入的指定面部动作题型；

提示步骤：加入与活体检测技术结合的按提示完成面部动作的用户验证环节，让用户根据提示完成的面部指定动作；

模型建立步骤：建立动作识别模型库；

信息获取步骤：获取用户的动作识别信息，所述动作识别信息包括人面部的当前特征向量；系统通过摄像头获取用户按提示完成的指定面部动作视频图像，提取视频中用户面部特征向量；

特征比对步骤：将用户的动作识别信息与动作识别模型库内的验证特征向量进行比对，即将提取到的视频中用户面部特征向量，与识别模型中的对应动作特征向量集进行比对，如果比对结果一致，则通过验证。

2.如权利要求1所述的基于活体检测的防作弊网络调研方法，其特征在于，所述模型建立步骤具体包括以下子步骤：

动作获取步骤：获取验证动作信息，所述验证动作信息包括人面部的验证特征向量，所述验证特征向量为验证特征点的位移变化；

动作模型库建立步骤：根据验证动作信息和与之相对应的操作指令建立动作模型库。

3.如权利要求2所述的基于活体检测的防作弊网络调研方法，其特征在于，所述模型建立步骤还包括面部识别步骤：根据获取到的用户的面部识别信息构建面部识别模型库。

4.如权利要求3所述的基于活体检测的防作弊网络调研方法，其特征在于，所述特征比对步骤具体包括以下子步骤：

相似度判断步骤：判断动作识别信息与动作识别模型库中的验证动作信息的相似度是否大于预设值，如果是，则验证通过。

5.如权利要求4所述的基于活体检测的防作弊网络调研方法，其特征在于，所述特征比对步骤还包括面部比对步骤：将获取到的面部识别信息与面部识别模型库中的数据进行比对，如果比对结果一致，则执行相似度判断步骤。

6.一种基于活体检测的防作弊网络调研装置，其特征在于，包括以下模块：

问卷设置模块：问卷管理用户通过问卷设置模块配置问卷内容、调研题型、匹配的用户类型，设置完成发布问卷；其中，网络问卷为用户通过网络问卷查看问题内容，并进行相应操作进行答题，提交信息；网络问卷包括问卷管理用户设置的调研问题和随机插入的用户验证问题，或随机出是非题，让用户按照是点头，否摇头的方式作答；其中，用户验证问题为随机插入的指定面部动作题型；

提示步骤：加入与活体检测技术结合的按提示完成面部动作的用户验证环节，让用户根据提示完成的面部指定动作；

模型建立模块：用于建立动作识别模型库；

信息获取模块：用于获取用户的动作识别信息，所述动作识别信息包括人面部的当前特征向量；系统通过摄像头获取用户按提示完成的指定面部动作视频图像，提取视频中用户面部特征向量；

特征比对模块：用于将用户的动作识别信息与动作识别模型库内的验证特征向量进行比对，即将提取到的视频中用户面部特征向量，与识别模型中的对应动作特征向量集进行比对，如果比对结果一致，则通过验证。

7.如权利要求6所述的基于活体检测的防作弊网络调研装置，其特征在于，所述模型建立模块具体包括以下子模块：

动作获取模块：用于获取验证动作信息，所述验证动作信息包括人面部的验证特征向量，所述验证特征向量为验证特征点的位移变化；

动作模型库建立模块：用于根据验证动作信息和与之相对应的操作指令建立动作模型库。

8.如权利要求7所述的基于活体检测的防作弊网络调研装置，其特征在于，所述模型建立模块还包括面部识别模块：用于根据获取到的用户的面部识别信息构建面部识别模型库。

9.如权利要求8所述的基于活体检测的防作弊网络调研装置，其特征在于，所述特征比对模块具体包括以下子模块：

相似度判断模块：用于判断动作识别信息与动作识别模型库中的验证动作信息的相似度是否大于预设值，如果是，则验证通过。

10.一种基于活体检测的防作弊网络调研系统，其特征在于，包括执行器，所述执行器用于执行如权利要求1-5中任意一项所述的基于活体检测的防作弊网络调研方法。