CN105225328A - 基于人脸特征识别的移动终端电子投票方法及系统 - Google Patents

Abstract

一种基于人脸特征识别的移动终端电子投票方法，包括以下步骤：(1)投票服务器SS数据的初始化(2)移动终端开始投票，投票人在投票过程中需要经过系统的交叉验证，过程如下：(2.1)第一次验证；在完成第一次验证后，跳转至登录界面开始登录验证，登录验证需要投票码T_codei、设备T_UUIDi、人脸照片T_pici，其中投票码T_codei由用户从邮箱T_maili中获取，从邮箱获取投票码是第二次验证；设备T_UUIDi由APP自动从设备中获取、人脸照片T_pici由APP摄像头进行拍摄；(2.2)第二次验证：输入从邮箱T_maili获得的投票码T_codei。(2.3)第三次验证；(2.4)投票。以及提供一种基于人脸特征识别的移动终端电子投票系统。本发明同时兼顾高安全性和高保密性、使用便捷。

Description

基于人脸特征识别的移动终端电子投票方法及系统

技术领域

本发明涉及电子投票技术领域，尤其是一种移动终端电子投票方法及系统。

背景技术

随着互联网技术的发展，基于互联网的电子投票在各个领域得到应用。互联网电子投票凭借其实时性、快捷性等优点被应用于许多投票环节之中，节省了大量时间、人力、物力。一般而言，需要便捷、安全、保密、抗否认特性的电子投票系统应具备以下几个特征：1)保密：投票人和投票内容是匿名并且安全的。2)合法：投票人是被授权，有权进行投票的本人。3)准确：系统能准确地记录并统计投票结果。4)便捷：投票人不受时间和地理位置的限制。5)可验证：投票人是否进行投票是可验证的。然而目前主流的电子投票系统不能完全满足上述5个特征，因此无法适用于高安全性、高保密性的投票场合，如人才选拔，由于牵扯相关利益较大，易受到攻击和内容篡改，目前大多采用现场投票方式。

国内外许多学者对电子投票系统进行了大量的研究，如中国专利公开的一种网上投票系统，专利号为201410105523.2，虽然可以远程操作不受地域和时间的限制，但很难避免刷票、伪造、抵赖、代投等问题，即无法满足保密，合法，可验证特征。

另一种手机投票方法以及用于该方法的投票系统，中国专利公开号为CN103065385A，其使用的安全性保障机制是限制访问IP，这能够适用于对安全性和保密性要求不高的投票场合，比如超女投票等，但对于需要高安全性和高保密性的投票场合其保障措施远远不够。

而一种采用单一无线网络，使用无线终端与上位机进行通信的投票系统，中国专利号为200810104708.6。虽然可以解决伪造和刷票的问题，并且安全性和保密性也得到了保证，但是极大受到时间，地域和操作上的限制并且无法精确地知道某一个投票人是否进行过投票，不满足便捷和可验证特征。

俞波(南通大学，2012)等人提出了一种基于数字签名的实用电子投票系统。该系统综合采用了盲签名、比特承诺、数字签名技术，较好地解决了中途退出、选票碰撞等问题，较好地保证了保密性、可验证性。但是它无法保证进行投票的投票人是合法的，即攻击者可以在注册选民ID时通过注册多个ID进行投票。

发明内容

为了克服已有电子投票方式的无法兼顾高安全性和高保密性、使用不便捷的不足，本发明提供一种同时兼顾高安全性和高保密性、使用便捷的基于人脸特征识别的移动终端电子投票方法及系统。

本发明解决其技术问题所采用的技术方案是：

一种基于人脸特征识别的移动终端电子投票方法，移动终端通过互联网或移动通讯网络访问投票服务器SS，投票服务器SS有三个子服务器，分别是图像处理子服务器SS_G、投票子服务器SS_T、验证子服务器SS_V，三个子服务器都可以访问数据库服务器SS_D，所述电子投票方法包括以下步骤：

(1)投票服务器SS数据的初始化

(1.1)投票子服务器SS_T对本次投票受评人信息进行管理，包括添加新的受评人，修改受评人信息和删除无效的受评人；

(1.2)投票子服务器SS_T对本次投票的投票人信息进行管理，包括添加新的投票人，修改投票人信息和删除无效的投票人，投票人信息包括预设邮箱T_maili和照片T_pici，照片T_pici用于人脸特征T_characi提取和验证，邮箱T_maili用于接收投票码T_codei；

(1.3)图像处理子服务器SS_G对步骤(1.2)中预设的所有照片T_pici进行图片预处理；

(1.4)图像处理子服务器SS_G将预处理过的照片T_pici进行人脸特征T_characi提取；

(1.5)投票子服务器SS_T将提取的人脸特征T_characi与对应投票人信息进行二元组绑定<T_idi，T_characi>；

(2)移动终端开始投票，投票人在投票过程中需要经过系统的交叉验证，过程如下：

(2.1)第一次验证

(2.1.1)自动启动移动终端的摄像头；

(2.1.2)用户进行选择是否上传照片，若选择不上传，则回到步骤(2.1.1)重新拍摄；

(2.1.3)拍摄的照片上传至投票服务器SS，由投票服务器SS将信息转发给验证子服务器SS_V进行人脸特征匹配验证；

(2.1.4)验证子服务器SS_V人脸特征匹配验证通过后，确定了投票人T_idi，投票子服务器SS_T随机生成投票码T_codei，并将该投票码与已确定的投票人信息绑定<T_idi，T_codei>；

(2.1.5)投票子服务器SS_T将生成的投票码T_codei发送至对应投票人T_idi的邮箱T_miali，并通知移动终端；

在完成第一次验证后，跳转至登录界面开始登录验证，登录验证需要投票码T_codei、设备T_UUIDi、人脸照片T_pici，其中投票码T_codei由用户从邮箱T_maili中获取，从邮箱获取投票码是第二次验证；设备T_UUIDi由APP自动从设备中获取、人脸照片T_pici由APP摄像头进行拍摄；

(2.2)第二次验证：输入从邮箱T_maili获得的投票码T_codei。

(2.3)第三次验证

(2.3.1)使用移动终端的摄像头拍摄照片，不能从本地相册中获取；

(2.3.2)确定是否提交，若是，则将填写的投票码T_codei、拍摄的照片T_pici、自动获取的移动终端T_UUIDi发送至投票服务器SS；若否，则回到登录开始页面，重新填写信息。

(2.3.3)投票服务器SS将验证请求转发至验证子服务器SS_V。验证子服务器SS_V获取图片T_pici、投票码T_codei、终端T_UUIDi，对图片T_pici预处理后进行特征T_characi提取；

(2.3.4)验证子服务器SS_V根据T_pici提取的人脸特征T_characi查询对应投票码T_codei，然后将该投票码与用户提交的投票码T_codei进行对比，若投票码不相同，则验证失败；若相同，则验证通过，验证子服务器记录设备的T_UUIDi为合法UUID，绑定投票码和T_UUIDi后跳转至投票页面；

(2.4)投票

(2.4.1)跳转至投票界面后，向投票服务器SS发送查看受评人信息请求；

(2.4.2)投票服务器将查看受评人信息请求转发给投票子服务器SS_T，投票子服务器SS_T从数据库服务器SS_D中查询受评人信息，将信息发送给移动终端；

(2.4.3)投票人在移动终端对受评人进行投票；

(2.4.4)投票完成后进行提交，在提交投票数据时会自动提交终端的T_UUIDi，提交的数据由投票服务器SS转发给验证子服务器SS_V进行验证。

进一步，所述投票方法还包括以下步骤：

(3)选票有效性验证

(3.1)验证子服务器SS_V获取APP端提交的投票码和T_UUIDi；

(3.2)验证子服务器SS_V查询该T_UUIDi是否存在于合法UUID队列中。若存在，则对T_UUIDi和投票码T_codei是否匹配进行验证，若匹配，则验证通过。否则，验证失败；

(3.3)验证子服务器SS_V对选票有效性验证通过后将选票内容转发给投票子服务器SS_T，投票子服务器SS_T根据选票内容进行计票；若有效性验证失败，作废票处理。

再进一步，所述投票方法还包括以下步骤：

(4)投票人信息盲化

计票完成后，投票子服务器SS_T向移动终端主动推送投票情况，并使用HmacMD5对投票人进行盲加密，并将投票人设为已投；

投票子服务器SS_T根据投票内容产生校验码vcode，在查询数据库数据时候会对校验码进行校验，若校验失败则表示数据被篡改。

所述步骤4)中，使用HmacMD5对投票人进行盲加密过程如下：

(4.1)将三元组{T_idi,T_codei,T_UUIDi}转换为比特数组；

(4.2)生成HmacMD5的密钥生成器；

(4.3)获取当前系统时间；

(4.4)以当前毫秒数为因子，使用密钥生成器产生密钥；

(4.5)通过密钥获得还原密钥；

(4.6)通过还原密钥初始化mac并执行盲化加密。

更进一步，所述投票方法还包括以下步骤：

(5)投票人对投票内容确定

投票人在投票结束后允许实时查看投票情况，在投票结束之前若对投票结果无异议，需要拍摄人脸照片并上传服务器，投票服务器对该照片进行验证后存档；若有异议通过移动终端进行提交，经投票举办方审核后进行处理。

进一步，投票完成后，系统根据当前时间毫秒数生成8位随机字符串并将其发送至投票人邮箱，投票人通过该8位随机字符串追溯和验证自己的投票结果。

所述步骤(2.1.2)中，在设定时间内拍摄三张人脸照片，分别是V1_pici1，V1_pici2，V1_pici3，所述步骤(2.1.3)中，人脸特征匹配验证的过程为：

(2.1.3.1)计算照片的HSV，通过局部亮点来判断是否使用了照片进行伪造。若有局部亮点，则系统判定非正常情况，验证失败。若验证通过，计算照片的RGB，将三张照片的RGB做差值运算。差值运算结果若为0，则表示3张照片完全一样，系统判定非正常情况，验证失败，否则，验证通过；

(2.1.3.2)验证子服务器SS_V将照片V1_pici转发至图像处理子服务器SS_G进行预处理；

(2.1.3.3)图像处理子服务器SS_G对预处理过的照片V1_pici进行人脸特征V1_characi提取，并将特征V1_characi转发至验证子服务器SS_V；

(2.1.3.4)验证子服务器SS_V使用提取的特征查找绑定的投票人T_idi，若能够找到对应的投票人，则表示匹配成功，即验证通过，否则匹配失败验证不通过。

一种基于人脸特征识别的移动终端电子投票系统，所述电子投票系统包括移动终端、投票服务器SS和数据库服务器SS_D，所述投票服务器SS有三个子服务器，分别是图像处理子服务器SS_G、投票子服务器SS_T、验证子服务器SS_V，移动终端通过互联网或移动通讯网络访问投票服务器SS，三个子服务器都可以访问数据库服务器SS_D；

所述移动终端包括：

拍照上传模块，用于通过摄像头拍摄照片上传到投票服务器，无法从相册中选取照片。杜绝盗用照片进行验证的可能性。

登录请求模块，用于向投票服务器发送登录请求，请求信息包括投票码T_codei、照片V3_pic3和终端T_UUIDi。投票码T_codei从邮箱T_maili获取，照片V3_pic3通过移动终端摄像头获取，终端T_UUIDi由APP自动从设备中获取。验证服务器对登录请求进行验证，验证通过后投票服务器会将终端T_UUIDi与投票人信息绑定<T_idi，T_UUIDi，T_codei>；

查看受评人信息模块，用于登录成功后，APP自动从投票服务器获取受评人信息并显示，供用户查看并进行投票；

提交投票数据模块，用于在完成投票后提交投票数据，投票服务器SS对投票的有效性进行验证，若验证通过则计票，验证不通过作废票处理；

实时查看投票情况模块，用于在完成投票数据的提交后，可实时查看投票情况，投票情况指各受评人选票的统计数据。

图像处理子服务器包括：

图像预处理模块，用于对图像库中的人脸进行预处理，预处理包括对图像大小裁剪、亮度增强、对比度增强；

人脸特征提取模块，用于对预处理过的图像进行人脸特征提取；

图像库管理模块，用于指对合法投票人的图像的管理，包括图像的增删改查；

投票子服务器包括：

受评人管理模块，用于进行受评人相关信息的增删改查。

投票人管理：用于进行投票人相关信息的增删改查，相关信息包括投票人的照片T_pici，姓名T_namei，邮箱T_maili。

计票模块，用于对提交的有效选票进行记录，盲化投票人信息后，并汇总至投票情况中。

投票码生成模块，用于随机生成8位投票码字符串T_codei，该投票码在APP端登录时使用。

发送投票码至邮箱模块，用于第一次验证后，系统将随机生成的投票码T_codei发送至对应投票人的邮箱T_maili中。

受评人信息查询模块，用于查询数据库服务器中受评人信息并发送至移动终端；

实时推送投票情况模块，用于在投票数据有变化时主动将投票数据推送至移动终端；

验证服务器包括：

人脸验证模块，用于对提交的照片进行验证，对APP提交的人脸照片进行特征提取并且与二元组<T_idi,T_characi>进行匹配；

登录请求验证模块，用于对提交的照片V3_pici和投票码T_codei进行验证，首先进行人脸验证之外，再验证人脸特征与投票码是否匹配，即通过V3_pici提取的特征V3_characi查找到与V3_characi匹配的T_charai对应的三元组<T_idi，T_characi，T_codei>，判断三元组中的T_codei与用户填写的T_codei是否匹配，若匹配则对T_UUIDi进行合法性授权；

选票有效性验证模块，用于对提交的选票进行有效性验证，验证提交选票的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配；

查询合法性验证模块，用于对提交的查询进行合法性验证，验证提交请求的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配。

进一步，所述移动终端还包括：实时查看投票情况模块，用于在完成投票数据的提交后，可实时查看投票情况，投票情况指各受评人选票的统计数据。

所述投票子服务器还包括：查询合法性验证模块，用于对提交的查询进行合法性验证，验证提交请求的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配。

本发明的技术构思为：通过结合移动终端和生物识别技术，高效灵活地解决了上述问题。本发明适用于高安全性和高保密性的投票场合，如干部考核、职称评审、重大项目选拔等。原有这类型的投票为保证其过程的安全性和保密性必须进行现场投票。通过本发明在保证投票过程安全保密的同时，投票人不再受时间和地理位置的限制，只需要一部能够接入互联网或移动通讯网的移动终端即可进行投票。该系统利用人脸特征识别技术来实现投票过程的合法性；利用移动终端搭载移动互联网实现投票过程的便捷性和准确性；利用盲加密方式实现投票过程的保密性和可验证性。解决了现有电子投票系统中的不足，使得电子投票适用于高保密性和高安全性的投票场合。

所述移动终端主要是指能够通过互联网或移动通讯网连入网络，并且有拍照功能的智能手机或平板电脑。受评人是被投票的对象，由投票主办方在投票开始之前确定。投票人是进行投票的对象，由投票主办方在投票开始之前确定，主办方需在投票开始之前在系统中设定投票人的照片、姓名以及邮箱地址。因为对于高安全性和高保密性的投票场合，有资格进行投票的投票人需由主办方在投票开始前选取。

UUID指的是通用唯一识别码，每一部移动终端都拥有一个全球唯一的UUID。APP指的是本发明的移动终端应用程序。

本发明包括1个APP客户端和1个投票服务器端SS。APP客户端安装于智能移动终端设备中。投票人通过APP客户端进行操作，投票服务器端SS根据客户端请求进行处理并返回结果。

本发明的投票服务器SS维护人脸库、投票人信息、受评人信息。投票服务器SS在投票开始之前需对本次投票的投票人进行预设，预设内容为四元组<T_idi，T_namei，T_pici，T_maili>分别表示投票人标识、投票人姓名、投票人人脸照片、投票人邮箱。SS需要对所有预设的人脸照片进行特征提取，提取的特征为T_characi，将提取的特征与投票人信息绑定为二元组<T_idi，T_characi>。文中提到的T_idi和T_characi保证唯一，即每个投票人的T_idi和T_characi都不相同。

本发明中投票人利用APP端进行人脸拍摄并实时上传，由投票服务器SS进行人脸特征验证。投票服务器SS的人脸特征验证通过后投票人从预设邮箱获取投票码T_codei，并使用投票码T_codei在APP端进行登录。投票人登录成功后在APP端查看受评人信息并进行投票。投票提交完成后通过APP实时查看投票情况。

本发明为了保证投票人的合法性，采用了交叉验证方式。投票服务器SS对APP提交的人脸V1_pici进行特征提取，得到人脸V1_pici1的特征V1_characi，并与投票前绑定的二元组<T_idi，T_characi>进行匹配，这是第一次验证。第一次验证通过之后，投票服务器SS发送随机生成的投票码T_codei至对应投票人T_idi的邮箱T_maili，至此，投票人的合法性有了双重验证，分别是邮箱验证和人脸特征验证，这是第二次验证。投票人使用投票码T_codei进行登录时需要再次拍摄人脸V3_pici并上传，投票服务器对该人脸V3_pici进行特征提取，得到V3_characi，最后判断与三元组<T_idi，，T_characi，T_codei>是否相匹配，这是第三次验证。以上3次交叉验证保证了投票的合法性和抗抵赖性。

3次交叉验证通过之后，投票服务器SS对提交请求的移动终端的T_UUIDi进行存档，移动终端的T_UUIDi会在APP进行登录时发送给投票服务器SS。在之后的流程中，只有合法的T_UUIDi才能进行投票的提交和实时投票情况的查看。另外，在投票服务器SS接收APP提交的投票信息时，根据T_UUIDi来查看对应的投票码并记录是否行过投票，用于投票回溯，投票回溯主要用来查看某个投票码T_codei是否进行过投票，保证投票过程的可验证性。

在记录投票内容时，利用HmacMD5加密算法，使用系统纳秒数作为盲化因子，将投票人的三元组<T_idi,T_codei,T_UUIDi>进行盲化，这保证系统只记录投票人是否进行过投票，而没有任何途径可以知道投票人所投的具体内容，实现了投票过程的保密性。此外，为了防止数据在传输过程中遭到篡改或窃取，使用了https这个安全的应用层传输协议，保证数据在传输过程的安全。

由于本发明涉及的移动互联网技术以及相关移动终端设备都较为普通，如iphone/ipad产品、各类android平板和手机，以及3G、4G等移动网络服务等均以广泛普及，因此，投票人只需利用移动终端设备即可随时随地进行投票操作，保证了投票的便捷。

本发明的有益效果主要表现在：

1、适用于高保密性和高安全性的投票场合，即使投票人不在场投票，也能保证投票人身份的合法性和投票内容的不可否认性。

2、提供了投票内容的可验证性，通过随机编号记录对应投票结果，投票人可通过唯一的随机编号追溯和验证自己的投票结果。

3、提供了投票方式的便利性，即参与投票者不受时间和地理位置的限制。

4、提高了投票效率，投票过程操作简单，投票统计准确高效。

5、投票结果高感知，投票服务器实时感知统计数据，当投票数据变化时，投票服务器主动推送投票数据至APP端，体现投票的公正，公开。

附图说明

图1是基于人脸特征识别的移动终端电子投票系统架构图。

图2是投票服务器数据初始化流程框图。

图3是交叉验证流程框图。

图4是人脸验证流程框图。

图5是人脸特征匹配流程框图。

图6是登录验证流程框图

图7是投票流程框图。

图8是选票有效性验证流程框图。

图9是系统功能模块图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图9，一种基于人脸特征识别的移动终端电子投票方法，用户使用装有APP的移动终端，通过互联网或移动通讯网络访问投票服务器SS，投票服务器SS有三个子服务器，分别是图像处理子服务器SS_G、投票子服务器SS_T、验证子服务器SS_V，三个子服务器都可以访问数据库服务器SS_D，具体投票过程如下：

在投票开始之前，首先要进行的是投票服务器SS数据的初始化，流程如图2所示。

(1)服务器初始化

(1.1)投票子服务器SS_T对本次投票受评人信息进行管理，包括添加新的受评人，修改受评人信息，删除无效的受评人等。

(1.2)投票子服务器SS_T对本次投票的投票人信息进行管理，包括添加新的投票人，修改投票人信息，删除无效的投票人等。投票人信息必须包括预设邮箱T_maili和照片T_pici，照片T_pici用于人脸特征T_characi提取和验证，邮箱T_maili用于接收投票码T_codei。

(1.3)图像处理子服务器SS_G对步骤(1.2)中预设的所有照片T_pici进行图片预处理。预处理包括大小裁剪，亮度增强，对比度增强。

(1.4)图像处理子服务器SS_G将预处理过的照片T_pici进行人脸特征T_characi提取。

(1.5)投票子服务器SS_T将提取的人脸特征T_characi与对应投票人信息进行二元组绑定<T_idi，T_characi>。

(2)投票服务器SS数据初始化完成之后，投票人持装有APP端的移动终端设备即可开始投票。投票人在投票过程中需要经过系统的交叉验证，其流程如图3所示。

首先要进行的是第一次验证，即人脸验证。其流程如图4所示。

(2.1)第一次验证

(2.1.1)APP启动后，自动启动设备摄像头，投票人可以选择进行拍摄或者退出APP。投票人无法从本地相册中选取照片。

(2.1.2)照片拍摄会在1秒之内拍摄3张，用户进行选择是否上传照片V1_pici1，V1_pici2，V1_pici3，若选择不上传，则回到步骤(2.1)重新拍摄。

(2.1.3)拍摄的照片组上传至投票服务器SS，由投票服务器SS将信息转发给验证子服务器SS_V进行人脸特征匹配验证。其验证流程如图5所示。

(2.1.4)验证子服务器SS_V人脸特征匹配验证通过后，确定了投票人T_idi。投票子服务器SS_T随机生成投票码T_codei，并将该投票码与已确定的投票人信息绑定<T_idi，T_codei>。

(2.1.5)投票子服务器SS_T将生成的投票码T_codei发送至对应投票人T_idi的邮箱T_miali，并通知APP端。

综上，完成了系统的第一次验证。在该过程中出现的人脸特征匹配验证如图5所示。

所述步骤(2.1.3)中，人脸特征匹配验证过程如下：

(2.1.3.1)验证子服务器SS_V获取由投票服务器转发来的人脸照片V1_pici，V1_pici2，V1_pici3。为防止用户使用合法投票人的照片伪造合法身份。系统会计算照片的HSV，通过局部亮点来判断是否使用了照片进行伪造。若有局部亮点，则系统判定非正常情况，验证失败。若验证通过，计算照片的RGB，将三张照片的RGB做差值运算。差值运算结果若为0，则表示3张照片完全一样，系统判定非正常情况，验证失败，否则，验证通过。

(2.1.3.2)验证子服务器SS_V将照片V1_pici转发至图像处理子服务器SS_G进行预处理。预处理包括大小裁剪，亮度增强，对比度增强。

(2.1.3.3)图像处理子服务器SS_G对预处理过的照片V1_pici进行人脸特征V1_characi提取，并将特征V1_characi转发至验证子服务器SS_V。

(2.1.3.4)验证子服务器SS_V使用提取的特征查找绑定的投票人T_idi。若能够找到对应的投票人，则表示匹配成功，即验证通过，否则匹配失败验证不通过。

用户在完成第一次验证后，APP跳转至登录界面开始登录验证。登录验证需要投票码T_codei、设备T_UUIDi、人脸照片T_pici。其中投票码T_codei由用户从邮箱T_maili中获取，从邮箱获取投票码是第二次验证。设备T_UUIDi由APP自动从设备中获取、人脸照片T_pici由APP摄像头进行拍摄。其流程如图6所示。

(2.2)第二次验证：输入从邮箱T_maili获得的投票码T_codei。

(2.3)第三次验证

(2.3.1)使用终端设备摄像头拍摄照片，不能从本地相册中获取。

(2.3.2)确定是否提交，若是，则将填写的投票码T_codei、拍摄的照片T_pici、自动获取的移动终端T_UUIDi发送至投票服务器SS；若否，则回到登录开始页面，重新填写信息。

(2.3.3)投票服务器SS将验证请求转发至验证子服务器SS_V。验证子服务器SS_V获取图片T_pici、投票码T_codei、终端T_UUIDi，对图片T_pici预处理后进行特征T_characi提取。

(2.3.4)验证子服务器SS_V根据T_pici提取的人脸特征T_characi查询对应投票码T_codei，然后将该投票码与用户提交的投票码T_codei进行对比，若投票码不相同，则验证失败；若相同，则验证通过，验证子服务器记录设备的T_UUIDi为合法UUID，绑定投票码和T_UUIDi后跳转至投票页面。这是第三次验证。

三次验证通过之后，进行投票。其流程如图7所示。

(2.4)投票

(2.4.1)APP跳转至投票界面后向投票服务器SS发送查看受评人信息请求。

(2.42)投票服务器将查看受评人信息请求转发给投票子服务器SS_T，投票子服务器SS_T从数据库服务器SS_D中查询受评人信息，将信息发送给APP端，APP整理信息并显示。

(2.4.3)投票人在APP端对受评人进行投票。

(2.4.4)投票完成后进行提交，APP在提交投票数据时会自动提交终端的T_UUIDi。提交的数据由投票服务器SS转发给验证子服务器SS_V进行验证。验证子服务器SS_V对选票有效性进行验证。其流程如图8所示。

所述电子投票方法还包括：(3)选票有效性验证

(3.1)验证子服务器SS_V获取APP端提交的投票码和T_UUIDi。

(3.2)验证子服务器SS_V查询该T_UUIDi是否存在于合法UUID队列中。若存在，则对T_UUIDi和投票码T_codei是否匹配进行验证，若匹配，则验证通过。否则，验证失败。

(3.3)验证子服务器SS_V对选票有效性验证通过后将选票内容转发给投票子服务器SS_T，投票子服务器SS_T根据选票内容进行计票。若有效性验证失败，作废票处理。

(4)投票人信息盲化：计票完成后，投票子服务器SS_T向APP端主动推送投票情况，并使用HmacMD5对投票人进行盲加密，并将投票人设为已投，过程如下：

(4.1)将三元组{T_idi,T_codei,T_UUIDi}转换为比特数组。

(4.2)生成HmacMD5的密钥生成器。

(4.3)获取当前系统时间。

(4.4)以当前毫秒数为因子，使用密钥生成器产生密钥

(4.5)通过密钥获得还原密钥

(4.6)通过还原密钥初始化mac并执行盲化加密。

投票子服务器SS_T根据投票内容产生校验码vcode，该校验码主要是为了验证数据库数据是否被篡改。投票系统在查询数据库数据时候会对校验码进行校验，若校验失败则表示数据被篡改。

(5)投票人对投票内容确定

(5.1)投票人在投票结束后可以实时查看投票情况，在投票结束之前若对投票结果无异议，需要拍摄人脸照片并上传服务器，投票服务器对该照片进行验证后存档；若有异议可通过APP进行提交，经投票举办方审核后进行处理。

(5.2)投票服务器在投票人完成投票后，根据当前系统时间生成8位随机字符串并将其发送至投票人邮箱。投票人可通过此随机编号查看投票结果。若有投票人对投票结果有异议，可向主办方申请现场确认。在现在确认中，所有投票人该持8位随机字符串查询自己的投票结果，由主办方进行不记名汇总后与投票系统的投票结果进行对比，若对比结果相同，则投票结果有效，否则，结果无效。该机制进一步保证了该投票系统的可验证性和正确性。

一种基于人脸特征识别的移动终端电子投票系统，流程参考投票方法的，系统主要功能模块如图9。其中，APP端功能：

拍照上传模块，用于限制移动终端只能通过摄像头拍摄照片上传到投票服务器，无法从相册中选取照片。杜绝盗用照片进行验证的可能性。

登录请求模块，用于供用户使用APP向投票服务器发送登录请求，请求信息包括投票码T_codei、照片V3_pic3和终端T_UUIDi。投票码T_codei从邮箱T_maili获取，照片V3_pic3通过移动终端摄像头获取，终端T_UUIDi由APP自动从设备中获取。验证服务器对登录请求进行验证，验证通过后投票服务器会将终端T_UUIDi与投票人信息绑定<T_idi，T_UUIDi，T_codei>。

查看受评人信息模块，用于供用户在APP端登录成功后，APP自动从投票服务器获取受评人信息并显示，供用户查看并进行投票。

提交投票数据模块，用户在APP端完成投票后提交投票数据。投票服务器SS对投票的有效性进行验证，若验证通过则计票，验证不通过作废票处理。有效性验证流程参考投票系统第一实施例。

实时查看投票情况模块，用户在APP端完成投票数据的提交后，可实时查看投票情况，投票情况指各受评人选票的统计数据。

投票服务器分为三个子服务器，分别是图像处理子服务器SS_G、投票子服务器SS_T、验证子服务器SS_V。

所述图像处理子服务器包括：

图像预处理模块，用于对图像库中的人脸进行预处理，预处理包括对图像大小裁剪、亮度增强、对比度增强。

人脸特征提取模块，用于对预处理过的图像进行人脸特征提取。具体方法参考实施例1。

图像库管理模块，用于指对合法投票人的图像的管理，包括图像的增删改查。

投票子服务器功能：

受评人管理模块，用于供受评人相关信息的增删改查。

投票人管理模块，用于进行投票人相关信息的增删改查。如投票人的照片T_pici，姓名T_namei，邮箱T_maili。

计票模块，用于对APP提交的有效选票进行记录，盲化投票人信息后，并汇总至投票情况中。

投票码生成模块，用于随机生成8位投票码字符串T_codei，该投票码在APP端登录时使用。

发送投票码至邮箱模块，投票人使用APP通过系统的第一次验证后，系统将随机生成的投票码T_codei发送至对应投票人的邮箱T_maili中。

受评人信息查询模块，查询数据库服务器中受评人信息并发送至APP端。

实时推送投票情况模块，在投票数据有变化时主动将投票数据推送至APP端。

所述验证服务器包括：

人脸验证模块，用于对APP提交的照片进行验证。主要是对APP提交的人脸照片进行特征提取并且与二元组<T_idi,T_characi>进行匹配。

登录请求验证模块，用于对APP提交的照片V3_pici和投票码T_codei进行验证。除了与功能(1)相同的人脸验证之外，还需要验证人脸特征与投票码是否匹配，即通过V3_pici提取的特征V3_characi查找到与V3_characi匹配的T_charai对应的三元组<T_idi，T_characi，T_codei>，判断三元组中的T_codei与用户填写的T_codei是否匹配，若匹配则对T_UUIDi进行合法性授权。

选票有效性验证模块，用于对APP提交的选票进行有效性验证。主要是验证提交选票的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配。

查询合法性验证模块，用于对APP提交的查询进行合法性验证，主要是验证提交请求的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配。

Claims (10)

1.一种基于人脸特征识别的移动终端电子投票方法，其特征在于：移动终端通过互联网或移动通讯网络访问投票服务器SS，投票服务器SS有三个子服务器，分别是图像处理子服务器SS_G、投票子服务器SS_T、验证子服务器SS_V，三个子服务器都可以访问数据库服务器SS_D，所述电子投票方法包括以下步骤：

(1)投票服务器SS数据的初始化

(1.1)投票子服务器SS_T对本次投票受评人信息进行管理，包括添加新的受评人，修改受评人信息和删除无效的受评人；

(1.2)投票子服务器SS_T对本次投票的投票人信息进行管理，包括添加新的投票人，修改投票人信息和删除无效的投票人，投票人信息包括预设邮箱T_maili和照片T_pici，照片T_pici用于人脸特征T_characi提取和验证，邮箱T_maili用于接收投票码T_codei；

(1.3)图像处理子服务器SS_G对步骤(1.2)中预设的所有照片T_pici进行图片预处理；

(1.4)图像处理子服务器SS_G将预处理过的照片T_pici进行人脸特征T_characi提取；

(1.5)投票子服务器SS_T将提取的人脸特征T_characi与对应投票人信息进行二元组绑定<T_idi，T_characi>；

(2)移动终端开始投票，投票人在投票过程中需要经过系统的交叉验证，过程如下：

(2.1)第一次验证

(2.1.1)自动启动移动终端的摄像头；

(2.1.2)用户进行选择是否上传照片，若选择不上传，则回到步骤(2.1.1)重新拍摄；

(2.1.3)拍摄的照片上传至投票服务器SS，由投票服务器SS将信息转发给验证子服务器SS_V进行人脸特征匹配验证；

(2.1.4)验证子服务器SS_V人脸特征匹配验证通过后，确定了投票人T_idi，投票子服务器SS_T随机生成投票码T_codei，并将该投票码与已确定的投票人信息绑定<T_idi，T_codei>；

(2.1.5)投票子服务器SS_T将生成的投票码T_codei发送至对应投票人T_idi的邮箱T_miali，并通知移动终端；

在完成第一次验证后，跳转至登录界面开始登录验证，登录验证需要投票码T_codei、设备T_UUIDi、人脸照片T_pici，其中投票码T_codei由用户从邮箱T_maili中获取，从邮箱获取投票码是第二次验证；设备T_UUIDi由APP自动从设备中获取、人脸照片T_pici由APP摄像头进行拍摄；

(2.2)第二次验证：输入从邮箱T_maili获得的投票码T_codei，

(2.3)第三次验证

(2.3.1)使用移动终端的摄像头拍摄照片，不能从本地相册中获取；

(2.3.2)确定是否提交，若是，则将填写的投票码T_codei、拍摄的照片T_pici、自动获取的移动终端T_UUIDi发送至投票服务器SS；若否，则回到登录开始页面，重新填写信息，

(2.3.3)投票服务器SS将验证请求转发至验证子服务器SS_V，验证子服务器SS_V获取图片T_pici、投票码T_codei、终端T_UUIDi，对图片T_pici预处理后进行特征T_characi提取；

(2.3.4)验证子服务器SS_V根据T_pici提取的人脸特征T_characi查询对应投票码T_codei，然后将该投票码与用户提交的投票码T_codei进行对比，若投票码不相同，则验证失败；若相同，则验证通过，验证子服务器记录设备的T_UUIDi为合法UUID，绑定投票码和T_UUIDi后跳转至投票页面；

(2.4)投票

(2.4.1)跳转至投票界面后，向投票服务器SS发送查看受评人信息请求；

(2.4.2)投票服务器将查看受评人信息请求转发给投票子服务器SS_T，投票子服务器SS_T从数据库服务器SS_D中查询受评人信息，将信息发送给移动终端；

(2.4.3)投票人在移动终端对受评人进行投票；

(2.4.4)投票完成后进行提交，在提交投票数据时会自动提交终端的T_UUIDi，提交的数据由投票服务器SS转发给验证子服务器SS_V进行验证。

2.如权利要求1所述的一种基于人脸特征识别的移动终端电子投票方法，其特征在于：所述投票方法还包括以下步骤：

(3)选票有效性验证

(3.1)验证子服务器SS_V获取APP端提交的投票码和T_UUIDi；

(3.2)验证子服务器SS_V查询该T_UUIDi是否存在于合法UUID队列中，若存在，则对T_UUIDi和投票码T_codei是否匹配进行验证，若匹配，则验证通过，否则，验证失败；

(3.3)验证子服务器SS_V对选票有效性验证通过后将选票内容转发给投票子服务器SS_T，投票子服务器SS_T根据选票内容进行计票；若有效性验证失败，作废票处理。

3.如权利要求2所述的一种基于人脸特征识别的移动终端电子投票方法，其特征在于：所述投票方法还包括以下步骤：

(4)投票人信息盲化

计票完成后，投票子服务器SS_T向移动终端主动推送投票情况，并使用HmacMD5对投票人进行盲加密，并将投票人设为已投；

投票子服务器SS_T根据投票内容产生校验码vcode，在查询数据库数据时候会对校验码进行校验，若校验失败则表示数据被篡改。

4.如权利要求3所述的一种基于人脸特征识别的移动终端电子投票方法，其特征在于：所述步骤4)中，使用HmacMD5对投票人进行盲加密过程如下：

(4.1)将三元组{T_idi,T_codei,T_UUIDi}转换为比特数组；

(4.2)生成HmacMD5的密钥生成器；

(4.3)获取当前系统时间；

(4.4)以当前毫秒数为因子，使用密钥生成器产生密钥；

(4.5)通过密钥获得还原密钥；

(4.6)通过还原密钥初始化mac并执行盲化加密。

5.如权利要求3所述的一种基于人脸特征识别的移动终端电子投票方法，其特征在于：所述投票方法还包括以下步骤：

(5)投票人对投票内容确定

投票人在投票结束后允许实时查看投票情况，在投票结束之前若对投票结果无异议，需要拍摄人脸照片并上传服务器，投票服务器对该照片进行验证后存档；若有异议通过移动终端进行提交，经投票举办方审核后进行处理。

6.如权利要求5所述的一种基于人脸特征识别的移动终端电子投票方法，其特征在于：所述步骤(5)中，投票完成后，系统根据当前时间毫秒数生成8位随机字符串并将其发送至投票人邮箱，投票人通过该8位随机字符串追溯和验证自己的投票结果。

7.如权利要求1～6之一所述的一种基于人脸特征识别的移动终端电子投票方法，其特征在于：所述步骤(2.1.2)中，在设定时间内拍摄三张人脸照片，分别是V1_pici1，V1_pici2，V1_pici3，所述步骤(2.1.3)中，人脸特征匹配验证的过程为：

(2.1.3.1)计算照片的HSV，通过局部亮点来判断是否使用了照片进行伪造。若有局部亮点，则系统判定非正常情况，验证失败。若验证通过，计算照片的RGB，将三张照片的RGB做差值运算。差值运算结果若为0，则表示3张照片完全一样，系统判定非正常情况，验证失败，否则，验证通过；

(2.1.3.2)验证子服务器SS_V将照片V1_pici转发至图像处理子服务器SS_G进行预处理；

(2.1.3.3)图像处理子服务器SS_G对预处理过的照片V1_pici进行人脸特征V1_characi提取，并将特征V1_characi转发至验证子服务器SS_V；

(2.1.3.4)验证子服务器SS_V使用提取的特征查找绑定的投票人T_idi，若能够找到对应的投票人，则表示匹配成功，即验证通过，否则匹配失败验证不通过。

8.一种实现如权利要求1所述的一种基于人脸特征识别的移动终端电子投票方法的电子投票系统，其特征在于：所述电子投票系统包括移动终端、投票服务器SS和数据库服务器SS_D，所述投票服务器SS有三个子服务器，分别是图像处理子服务器SS_G、投票子服务器SS_T、验证子服务器SS_V，移动终端通过互联网或移动通讯网络访问投票服务器SS，三个子服务器都可以访问数据库服务器SS_D；

所述移动终端包括：

拍照上传模块，用于通过摄像头拍摄照片上传到投票服务器，无法从相册中选取照片，杜绝盗用照片进行验证的可能性，

登录请求模块，用于向投票服务器发送登录请求，请求信息包括投票码T_codei、照片V3_pic3和终端T_UUIDi，投票码T_codei从邮箱T_maili获取，照片V3_pic3通过移动终端摄像头获取，终端T_UUIDi由APP自动从设备中获取，验证服务器对登录请求进行验证，验证通过后投票服务器会将终端T_UUIDi与投票人信息绑定<T_idi，T_UUIDi，T_codei>；

查看受评人信息模块，用于登录成功后，APP自动从投票服务器获取受评人信息并显示，供用户查看并进行投票；

提交投票数据模块，用于在完成投票后提交投票数据，投票服务器SS对投票的有效性进行验证，若验证通过则计票，验证不通过作废票处理；

实时查看投票情况模块，用于在完成投票数据的提交后，可实时查看投票情况，投票情况指各受评人选票的统计数据，

图像处理子服务器包括：

图像预处理模块，用于对图像库中的人脸进行预处理，预处理包括对图像大小裁剪、亮度增强、对比度增强；

人脸特征提取模块，用于对预处理过的图像进行人脸特征提取；

图像库管理模块，用于指对合法投票人的图像的管理，包括图像的增删改查；

投票子服务器包括：

受评人管理模块，用于进行受评人相关信息的增删改查，

投票人管理：用于进行投票人相关信息的增删改查，相关信息包括投票人的照片T_pici，姓名T_namei，邮箱T_maili，

计票模块，用于对提交的有效选票进行记录，盲化投票人信息后，并汇总至投票情况中，

投票码生成模块，用于随机生成8位投票码字符串T_codei，该投票码在APP端登录时使用，

发送投票码至邮箱模块，用于第一次验证后，系统将随机生成的投票码T_codei发送至对应投票人的邮箱T_maili中，

受评人信息查询模块，用于查询数据库服务器中受评人信息并发送至移动终端；

实时推送投票情况模块，用于在投票数据有变化时主动将投票数据推送至移动终端；

验证服务器包括：

人脸验证模块，用于对提交的照片进行验证，对APP提交的人脸照片进行特征提取并且与二元组<T_idi,T_characi>进行匹配；

登录请求验证模块，用于对提交的照片V3_pici和投票码T_codei进行验证，首先进行人脸验证之外，再验证人脸特征与投票码是否匹配，即通过V3_pici提取的特征V3_characi查找到与V3_characi匹配的T_charai对应的三元组<T_idi，T_characi，T_codei>，判断三元组中的T_codei与用户填写的T_codei是否匹配，若匹配则对T_UUIDi进行合法性授权；

选票有效性验证模块，用于对提交的选票进行有效性验证，验证提交选票的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配；

查询合法性验证模块，用于对提交的查询进行合法性验证，验证提交请求的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配。

9.如权利要求8所述的电子投票系统，其特征在于：所述移动终端还包括：实时查看投票情况模块，用于在完成投票数据的提交后，可实时查看投票情况，投票情况指各受评人选票的统计数据。

10.如权利要求8或9所述的电子投票系统，其特征在于：所述投票子服务器还包括：查询合法性验证模块，用于对提交的查询进行合法性验证，验证提交请求的终端T_UUIDi是否合法，以及T_UUIDi与投票码T_codei是否匹配。