CN109902780A - 基于多模态人脸识别的人证合一核验终端和系统及方法 - Google Patents
基于多模态人脸识别的人证合一核验终端和系统及方法 Download PDFInfo
- Publication number
- CN109902780A CN109902780A CN201910113611.XA CN201910113611A CN109902780A CN 109902780 A CN109902780 A CN 109902780A CN 201910113611 A CN201910113611 A CN 201910113611A CN 109902780 A CN109902780 A CN 109902780A
- Authority
- CN
- China
- Prior art keywords
- face
- testimony
- witness
- information
- verification terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012795 verification Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims description 42
- 238000004891 communication Methods 0.000 claims description 58
- 238000005286 illumination Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 31
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 238000012552 review Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000012797 qualification Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 17
- 230000001815 facial effect Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 230000002902 bimodal effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 4
- 238000003333 near-infrared imaging Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Abstract
本发明公开了基于多模态人脸识别的人证合一核验终端，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。本发明所述的基于多模态人脸识别的人证合一核验终端解决了目前生物识别技术需要识别对象配合方可进行识别，对于仿冒人员身份的识别也较为困难，不能联动管理的问题；提供了一种无需人员配合，可识别人员仿冒，可克服不良环境，可联动管理构建大型系统的核验终端。
Description
技术领域
本发明涉及人证合一核验领域，尤其涉及一种基于多模态人脸识别的人证合一核验终端和系统及方法。
背景技术
生物特征识别技术是计算机科学中，利用生物特征对人进行识别，并进行访问控制的学科。生物特征识识别技术的应用相当广泛，在计算机应用领域居重要地位。在计算机安全学中，生物特征识别是认证的重要手段，生物测定则被广泛地应用在安全防犯领域，国家安全公共安全领域中也有广泛的应用。生物特征识别技术，目前比较成熟并大规模使用的方式主要为，指纹、虹膜、脸、耳、掌纹、手章静脉等，此外近年，语音识别、脑电波识别、唾液提取DNA等研究也有突破，有望进入商用阶段。但目前的识别技术都需要识别对象刻意配合方可进行识别，并且对于仿冒人员身份的识别也较为困难，同时目前的生物识别往往是使用在单一设备上，不能对全部生物识别设备进行联动管理，对此，实际使用中需要一种识别跟为简单可靠，可以防仿冒可以联动管理的生物识别系统。
发明内容
本发明提供了基于多模态人脸识别的人证合一核验终端和系统及方法，旨在解决目前生物识别技术需要识别对象刻意配合方可进行识别，对于仿冒人员身份的识别也较为困难，不能对全部生物识别设备进行联动管理的问题。
为实现上述目的，本发明提供了基于多模态人脸识别的人证合一核验终端，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。
与现有技术相比，本发明公开的基于多模态人脸识别的人证合一核验终端通过客户端对待验证人员进行相关信息采集，所述相关信息包括用户证件信息和视频信息，服务端通过多模态人脸识别对比人脸图片与证件信息是否为同一人，对待验证人进行快速验证。该种基于多模态人脸识别的人证合一核验终端采用多模态人脸识别对人脸图片和证件信息进行验证，相比指纹、虹膜等生物识别技术，基于人脸识别的人证合一身份核验，通过摄像模块获取视频信息，待验证人员的人脸图片从视频信息中截取，无需待验证人员配合，更加便利且易于操作。而且，该核验终端同时采集可见光视频和红外光视频，由于红外光信息难以模块，可以实现防止仿冒，举例而言，如果有待验证人员利用他人照片妄图通过检测，可见光采集到的人脸图片是他人照片，但由于使用的是照片，红外光无法采集到正常的人脸图片，如此即可判断当前待验证人员遭遇他人仿冒(遭到“伪人脸”的攻击)，解决了其他生物识别技术对于仿冒人员身份的识别困难的问题。并且，由于客户端还设置有红外补光模块，利用近红外成像来弥补可见光成像的不足，通过分析可见光图像下人脸ROI区域(感兴趣区域)的光照均匀度，构建具有自检能力的场景评估器，对逆光、侧光、顶光、曝光不足、过度曝光等现象进行定性定量分析，当检测到光照异常时自适应启动近红外进行光照补偿，捕捉可见光和近红外的双模态图像，解决了非可控环境下的人脸识别受到光照、姿态、遮挡等影响。同时，该种基于多模态人脸识别的人证合一核验终端还支持HTTP通信模块，可以实现核验终端与远程控制设备的通信，远程控制设备可以通过HTTP通信模块与多个核验终端通信，实现多个核验终端进行联动管理，可以利用远程控制设备联动管理多核验终端而构成大型核验管理系统，解决目前的生物识别往往是使用在单一设备上，不能对全部生物识别设备进行联动管理的问题。该种基于多模态人脸识别的人证合一核验终端用多模态人脸识别验证技术，相比基于其他生物特征的识别技术操作更为简便，不需要识别对象刻意配合即可快速有效地核查对象的身份。同时，通过综合可见光与近红外双摄像头的多模态人脸数据，可实现防伪、防欺诈的人员身份认证，具有直观、准确、应用范围广、可扩展性强等优点。该种核验终端作为应用现场人脸图像的采集设备，核验终端将采集到的人脸图像信息经图像预处理、活体检测、图像质量评价、特征点标定、识别对比后，将异常的人脸图像信息和身份证信息(包括照片、姓名、身份证号码等)通过传输网络发送给远程控制设备。该核验终端具有以下特性：双模态人脸识别，增强金融业务安全性；环境适应性强，可应用于多种光照场景；工业级专业设计，高稳定性和可靠性；整体紧凑，可嵌入各类自助设备。本发明所述的基于多模态人脸识别的人证合一核验终端解决了目前生物识别技术需要识别对象刻意配合方可进行识别，对于仿冒人员身份的识别也较为困难，不能对全部生物识别设备进行联动管理的问题；提供了一种无需人员配合，可识别人员仿冒，可克服不良环境，可联动管理构建大型系统的核验终端。
附图说明
图1是本发明所述基于多模态人脸识别的人证合一核验终端的结构框图；
图2是本发明所述基于多模态人脸识别的人证合一核验系统的结构框图1；
图3是本发明所述基于多模态人脸识别的人证合一核验系统的结构框图2；
图4是本发明所述基于多模态人脸识别的人证合一核验方法的流程图1；
图5是本发明所述基于多模态人脸识别的人证合一核验方法的流程图2；
图6是本发明所述基于多模态人脸识别的人证合一核验方法的流程图3；
图7是本发明所述基于多模态人脸识别的人证合一核验方法的流程图4；
图8是本发明所述基于多模态人脸识别的人证合一核验方法的流程图5。
具体实施方式
如图1所示，本发明所述基于多模态人脸识别的人证合一核验终端，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。
与现有技术相比，本发明公开的基于多模态人脸识别的人证合一核验终端通过客户端对待验证人员进行相关信息采集，所述相关信息包括用户证件信息和视频信息，服务端通过多模态人脸识别对比人脸图片与证件信息是否为同一人，对待验证人进行快速验证。该种基于多模态人脸识别的人证合一核验终端采用多模态人脸识别对人脸图片和证件信息进行验证，相比指纹、虹膜等生物识别技术，基于人脸识别的人证合一身份核验，通过摄像模块获取视频信息，待验证人员的人脸图片从视频信息中截取，无需待验证人员配合，更加便利且易于操作。而且，该核验终端同时采集可见光视频和红外光视频，由于红外光信息难以模块，可以实现防止仿冒，举例而言，如果有待验证人员利用他人照片妄图通过检测，可见光采集到的人脸图片是他人照片，但由于使用的是照片，红外光无法采集到正常的人脸图片，如此即可判断当前待验证人员遭遇他人仿冒(遭到“伪人脸”的攻击)，解决了其他生物识别技术对于仿冒人员身份的识别困难的问题。并且，由于客户端还设置有红外补光模块，利用近红外成像来弥补可见光成像的不足，通过分析可见光图像下人脸ROI区域(感兴趣区域)的光照均匀度，构建具有自检能力的场景评估器，对逆光、侧光、顶光、曝光不足、过度曝光等现象进行定性定量分析，当检测到光照异常时自适应启动近红外进行光照补偿，捕捉可见光和近红外的双模态图像，解决了非可控环境下的人脸识别受到光照、姿态、遮挡等影响。同时，该种基于多模态人脸识别的人证合一核验终端还支持HTTP通信模块，可以实现核验终端与远程控制设备的通信，远程控制设备可以通过HTTP通信模块与多个核验终端通信，实现多个核验终端进行联动管理，可以利用远程控制设备联动管理多核验终端而构成大型核验管理系统，解决目前的生物识别往往是使用在单一设备上，不能对全部生物识别设备进行联动管理的问题。该种基于多模态人脸识别的人证合一核验终端用多模态人脸识别验证技术，相比基于其他生物特征的识别技术操作更为简便，不需要识别对象刻意配合即可快速有效地核查对象的身份。同时，通过综合可见光与近红外双摄像头的多模态人脸数据，可实现防伪、防欺诈的人员身份认证，具有直观、准确、应用范围广、可扩展性强等优点。该种核验终端作为应用现场人脸图像的采集设备，核验终端将采集到的人脸图像信息经图像预处理、活体检测、图像质量评价、特征点标定、识别对比后，将异常的人脸图像信息和身份证信息(包括照片、姓名、身份证号码等)通过传输网络发送给远程控制设备。该核验终端具有以下特性：双模态人脸识别，增强金融业务安全性；环境适应性强，可应用于多种光照场景；工业级专业设计，高稳定性和可靠性；整体紧凑，可嵌入各类自助设备。本发明所述的基于多模态人脸识别的人证合一核验终端解决了目前生物识别技术需要识别对象刻意配合方可进行识别，对于仿冒人员身份的识别也较为困难，不能对全部生物识别设备进行联动管理的问题；提供了一种无需人员配合，可识别人员仿冒，可克服不良环境，可联动管理构建大型系统的核验终端。
如图1所示，所述客户端包括客户模块，读卡模块，摄像模块和socket通信模块；所述客户模块与用户进行交互，向客户显示验证结果；所述读卡模块读取用户证件信息，并转发至通信模块；所述摄像模块包括可见光摄像头和红外光摄像头同时采集可见光视频和红外观视频，并转发至通信模块；所述socket通信模块在非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信，将接收到的信息整合为JSON数据结构信息并发送至服务端，接收服务端发送的JSON信息进行格式处理后转发至客户模块，传输结束后关闭socket通信。客户端是一个面向用户的单元，获取身份证信息，也是人证比对流程的开始。本发明由客户端获取视屏信息和证件信息，所示证件信息应当包含待验证人员的基本身份信息和证件照，本实施例中核验终端验证的证件是身份证，但该种核验终端不仅仅用于身份证的核验，对于其他满足条件的如驾驶证，社保证等等证件，本发明公开的核验终端同样可以进行核验。本实施例中，客户端需要获取的信息包括姓名、性别、出生日期等，但最重要的是身份证中PNG格式的证件照，这是人脸比对图片的其中1张。此实施例中，客户端工作流程可简述为：等待读取身份证，读取身份证信息，将身份证信息编辑为JSON格式，JSON发送，客户端等待结果，解析验证结果，在客户端页面显示。
如图1所示，所述客户端还包括红外补光模块，所述红外补光模块在检测到光照异常时启动红外补光。由于客户端还设置有红外补光模块，当检测到光照异常时自适应启动近红外进行光照补偿，解决了非可控环境下的人脸识别受到光照、姿态、遮挡等影响。具体而言，基于多模态融合的非可控光照鲁棒人脸表征在实际的人证合一应用场景中，可以通过调整设备的安装位置和方向引导用户正面朝向摄像头，从而捕捉到正面人脸图像，但外界非可控的光照环境则会随着场地的不同表现出显著的差异，对人脸识别的结果会造成极大的影响，尤其在强逆光的情况下，传统的基于可见光单摄像头的人脸验证设备往往只能获得低对比度的人脸图像，无法有效识别比对。为此，该核验终端采用近红外成像来弥补可见光成像的不足，通过分析可见光图像下人脸ROI区域(感兴趣区域)的光照均匀度，构建具有自检能力的场景评估器，对逆光、侧光、顶光、曝光不足、过度曝光等现象进行定性定量分析，当检测到光照异常时自适应启动近红外进行光照补偿，捕捉可见光和近红外的双模态图像。在此基础上，一方面可在特征域融合均匀光照的近红外图像与可见光图像的边缘特征，通过同一人脸在双模态下的内在关联增强人脸的信息表征能力；另一方面采用可见光与近红外的跨模态匹配，直接比对现实抓拍的近红外人像与读卡器读取的证件照，实现人员身份的跨模态验证。
如图1所示，所述服务端包括人证比对模块，数据库管理模块，socket通信模块；所述socket通信模块在非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信，接收或发送相关信息，传输结束后关闭socket通信；所述人证比对模块接收证件信息和摄像视频中截取的人脸图片，判断是否仅一个人脸，如果是则对当前人脸图片提取人脸特征向量，如果不是则重新截取视频中的人脸图片，提取三张最大的人脸特征向量，对比特征向量，用分数最高的与阈值对比，得到比对结果，该比对结果通过socket通信发送至客户端，对人证比对结果为人证合一的人脸图片和证件信息发送至数据库管理模块存储；所述数据库管理模块对人证比对模块发送的人脸图片和证件信息进行关联存储，更新或删除数据库内存储的信息。
本发明服务端采用socket短连接通信方式解决了目前的socket通信存在的问题。目前，大部分C/S架构的系统都使用1个Socket进行通信，他们在服务端创建1个Socket通信，通过bind函数绑定1个IP地址和端口号，最后用listen函数监听对这个Socket的连接即可。对于客户端而言，只要根据服务端Socket绑定的IP地址和端口号进行连接即搭起了2个程序之间通信的桥梁。这样的系统一旦其中1个程序关闭，另1端的程序也会由于连接断开报错无法正常运行，只能重新启动2端程序和重新建立Socket通信.在现实应用中这个问题带来很大的隐患，系统的稳定性和可靠性无法得到保障。本发明所述的socket通信模块，非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信。具体而言，当每次客户端或服务端发送信息时都需要重新创建1个通信的Socket，当信息传送完成后，就可以将这个通信用的Socket关闭，下次发送信息时会再次重新创建用于通信的Socket，由于此Socket的生命周期很短，因称之为Socket短连接通信方式.并且在客户端和服务端都设计了1个Socket短连接通信，2个Socket短连接之间无任何干扰.这种方法可保证客户端和服务端不受对方状态的影响，当对方程序关闭时，本方的程序还可以正常运行，避免了由于通信模块和误操作而造成系统死机。同时，由于是Socket短连接，在信息发送时才创建通信Socket，完毕后就立即断开连接，因此可以不用在程序中加入心跳程序判断对方程序的运行状态。
本发明服务端还包括人证比对模块，人证比对模块为本核验终端的核心模块，人证比对算法模块作为本系统的核心模块，算法利用卷积神经网络模板，提取身份证图片与视频流中当前帧图像的特征向量，通过特征向量的比对，计算比分并判定最终结果。当前基于深度学习的主流人脸识别算法在实际应用中表现出明显的优势，然而，这类算法采用复杂的网络模型，依赖于高性能服务器或GPU集群，而嵌入式设备的弱算力无法满足其计算需求。因此，针对移动端或FPGA等终端设备的新型构架，采取模型压缩、模型优化等显得十分重要。本核验终端基于深度网络模型压缩的角度，对现在的主流深度网络做了两方面改进，一是在现有的神经网络模型例如GoogleNet、VGG、ResNet上舍去参数量比例最大的全连接层，构造全卷积网络；二是采用最新的压缩机制如Fire模块、1x1卷积、Inception等对传统“conv+relu+pool”模块进行压缩优化，设计一个全新的轻量化全卷积神经网络模型。本发明所述的基于多模态人脸识别的人证合一核验终端，基于人证比对模块的设计，实现了面向弱算力终端的嵌入式人脸识别算法，对现有的高性能模型进行压缩优化，同时发展快速的人脸预处理方法，以适应嵌入式的平台要求。发展了适合弱算力的嵌入式人脸识别算法，将计算能力下沉到终端，实现离线工作，无需连接公安网访问证件大图也可以辨别证件真伪、判断持证人是否卡主本人，打破网络和中心服务器的限制，使得无网络访问下的离线人证验证成为可能。
并且，该人证比对模块还支持复杂环境下的人脸比对，即便一张人脸图片上有多个人脸也可以成功比对。具体而言，本发明的一个实例中，所述人证比对模块分别将从客户端传来的Base64格式的图片转换成mat格式和从视频帧中截取的mat格式的图片转化为数组，然后再转化为指针指向的数组，检测图片上所有的人脸目标.利用预先训练好的卷积神经网络模板将截取出的人脸转换为对应的特征向量对比身份证照片与当前帧图像中的人脸特征向量，计算比分，判定结果。但是，原有的人证比对方法，算法只截取出最大脸转换为对应的特征向量，但这种方法在乘客众多的机场是不太适用的。由于机场是排队过安检，因此视频帧中的人脸大多数情况下会不止1张，如子女搀扶老人过安检的特殊情况。在这种情况下只截取视频帧最大的人脸并不合理，会有后面乘客比前面比对乘客脸大的情况，算法会由此锁定为后面等待的乘客，而使本次比对无法通过。面对上述问题，本核验终端在原有的算法上进行了改进，在视频帧中截取最大的3张脸，对这3张脸分别利用预先训练好的卷积神经网络的模板将截取出的人脸转换为对应的特征向量对比身份证照片与当前帧图像中的3张脸特征向量，计算比分。最后取3个比分中的最高值与算法阈值比较，若高于阈值则判断为同一人，否则判断为非同一人。
如图1所示，所述服务端还包括HTTP通信模块，所述HTTP通信模块与远程控制设备通信，对于人证比对异常的人脸图片和证件信息通过HTTP通信模块发送至远程控制设备。由于服务单还包括HTTP通信模块，使得服务端支持HTTP通信模块，可以实现核验终端与远程控制设备的通信，远程控制设备可以通过HTTP通信模块与多个核验终端通信，实现多个核验终端进行联动管理，可以利用远程控制设备联动管理多核验终端而构成大型核验管理系统，解决目前的生物识别往往是使用在单一设备上，不能对全部生物识别设备进行联动管理的问题。
所述HTTP通信模块还包括黑名单存储器，所述黑名单存储器存储远程控制设备发送的黑名单信息，对人证比对模块接收的证件信息和人脸图片与黑名单信息进行比对得到是否黑名单人员结果和人员信息相似度结果，反馈是否黑名单人员结果和人员信息相似度结果至远程控制设备。核验终端在进行人证比对时同时比对当前待验证人员是否为黑名单人员，由于是在核验终端上同步验证，不会出现漏验证，避免了黑名单人员漏网，并且前端验证相对于后端验证可以大大提高验证速度，即便增加了黑名单验证也不会对验证效率有太大影响。
所述数据库管理模块还包括人脸信息对比器，对人证比对模块接收的人脸图片和数据库管理模块存储的人脸图片，如果当前人证比对模块接收的人脸图片的人员与数据库管理模块存储的人脸图片的人员为同一人，则直接反馈人证核验结果不再进行人证比对。该数据库管理模块设置人脸信息比对器，使得重复验证的人员可以直接在终端面前不验证通过，即重复验证人员为核验终端的白名单人员，可以不验证通过，减少验证步骤，缩短核验时间，适用于大人流验证的情况，对于曾经验证过的人员，只需在核验终端“刷脸”，通过与近期的过往人员进行小范围的1:N比对即可完成人脸验证，无需凭卡重新验证。
如图2所示，本发明还公开了基于多模态人脸识别的人证合一核验系统，包括核验终端，管理中心单元和复核中心单元，所述核验终端通视频专网与管理中心单元连接，管理中心单元通过专线与复核中心单元连接，所述核验终端为权利要求5所述的基于多模态人脸识别的人证合一核验终端，管理中心单元接收核验终端发送的人证比对异常的人脸图片和证件信息并转发至复核中心单元进行复核，接收复核中心单元发送的复核结果，复核结果为人证合一则转发结果至核验终端，复核结果为人证不合一则发出警报。该种人证合一核验系统采用多模态人脸识别验证技术，相比基于其他生物特征的识别技术操作更为简便，不需要识别对象刻意配合即可快速有效地核查对象的身份。同时，通过综合可见光与近红外双摄像头的多模态人脸数据，可实现防伪、防欺诈的人员身份认证，具有直观、准确、应用范围广、可扩展性强等优点。基于多模态人脸识别的人证合一核验系统由核验终端、管理中心单元和复核中心单元。所述核验终端即为基于多模态人脸识别的人证合一核验终端，已在前文详述，此处不再赘述。
所述核验终端、管理中心单元和复核中心单元之间，通过传输网络连接。由于系统的跨度较大，传输的距离较远，本系统的传输网络包括应用行业视频专网、专线、和公安专网共三大网络。各个应用场所的信息通过应用行业视频专网传输至管理中心单元。管理中心单元与复核中心单元通过专线进行信息的传输。本实施中的管理中心单元是设置于治安管理大队的监控管理中心的远程控制设备，可以远程通信控制核验终端和复核中心单元。所述复核中心单元是设置在人工复核中心的可以显示信息给复核人员，也可以接收复核人员复核结果并发送复核结果的远程控制设备，复核中心单元于管理中心单元通过专线连接，安全通信。
本发明公开了基于多模态人脸识别的人证合一核验系统，由于其使用的核验终端的服务端还包括数据库管理模块，所述数据库管理模块对人脸图片和证件信息进行关联存储。通过汇聚各个终端脱敏后获取的证件照、可见光人像、近红外人像，可形成“证件照—可见光—近红外”的多模态异质人脸关联库，对进一步研究基于证件照的人脸验证应用、探索可见光与近红外人脸的内在关联、挖掘可变光照环境下基于近红外图像的鲁棒人脸识别技术具有极大的科研价值和参考意义。同时，对于安防及其它安全相关部门，多模态数据库的构建有利于丰富重点关注人员的相关信息，扩宽关联分析的渠道，为安全事件的预防及事后追查提供更全面的线索。
进一步的，当前对海量图像数据的管理仍依赖于与之关联的结构化描述数据，如在人证合一的场景下，现场抓拍的人像将与读取的证件信息(如卡号、姓名、性别等)进行关联，在已知个人信息的前提下可快速查询相应的人像信息。但是，在现实应用中，往往需要使用抓拍的图像反查人员信息，因此需要用到1：N人像比对。当数据规模上升到某个程度时，高频次大批量的1:N人像比对会对系统造成极其沉重的负担，一种有效的思路是通过人脸图像的自动化标注技术将非结构化的图像数据进行结构化标识，生成许多相关属性，如肤色、发型、是否戴眼镜、是否留胡子、是否戴帽子等等，通过图像的结构化标识和存储，能为视频人脸的智能化管理及快速人像查询提供一套可行的解决思路。
如图3所示，所述管理中心单元包括管理中心模块和公安局搜索模块，所述管理中心模块通过公安专网与公安局搜索模块连接，管理中心模块接收人证比对异常的人脸图片和证件信息并转发至复核中心单元进行复核，接收复核结果并将异常的人脸图片和证件信息并转发至公安局搜索模块与在逃人员数据库比对，如果确认为在逃人员则发出警报。所述管理中心单元设置于治安管理大队的监控管理中心，监控管理中心主要是接收核验终端传输过来的异常图像信息和相应的身份证信息，然后将这些信息发送给复核中心单元，并接收复核后的信息，将异常图像发送至广州市公安局与在逃人员数据库比对，如确定是在逃人员，则在监控管理中心的大屏上进行告警显示，并通过短信平台将告警信息发送给相关人员，同时，监控管理中心的值班人员立即通知指挥中心安排出警处置。本实施例中，监控中心单元的后台框架基于J2EE开发，采用Spring MVC结构以及整合mybatis和quartz框架，适用于多种操作平台和操作数据库。具有高度的扩展性、稳定性和可靠性。
前述基于多模态人脸识别的人证合一核验系统，通过将管理中心模块与公安局搜索模块连接，是的管理中心可以判断当前验证者是否为在逃人员，但如此设置也存在一些缺点。具体而言，只有在人脸比对异常时，核验终端才会将人脸图片和证件信息发送至管理中心单元，如果人脸比对无异常，那么即便待验证人员时在逃人员，核验终端也不会将人脸图片和证件信息发送至管理中心单元，管理中心单元便不可能发现待验证人员为在逃人员，导致在逃人员漏网。并且，由于核对当前待验证人员是否在逃人员的工作放在了管理中心单元完成，会导致管理中心单元工作量增大，给管理中心单元的硬件设施提出了更高的要求，不利于降低系统成本，同时由于比对工作在后端完成，也会导致核验终端的验证速度下降，影响验证效率。面对以上种种问题，本发明提出了一种改进的基于多模态人脸识别的人证合一核验系统。
如图2所示，本发明还公开了基于多模态人脸识别的人证合一核验系统，包括核验终端，管理中心单元和复核中心单元，所述核验终端通视频专网与管理中心单元连接，管理中心单元通过专线与复核中心单元连接，所述核验终端为权利要求6所述的基于多模态人脸识别的人证合一核验终端，管理中心单元发送黑名单信息至核验终端，核验终端将采集的人脸图像和证件信息与黑名单信息进行比对，如果信息相似度高于阈值则确认为黑名单人员，将确认结果发送管理中心单元，如果信息相似度不高于阈值则发送人员信息相似度结果和人脸图像与证件信息至管理中心单元，管理中心单元转发接收的信息至复核中心单元，并接收复核结果。该种基于多模态人脸识别的人证合一核验系统在核验终端设置黑名单，核验终端在进行人证比对时同时比对当前待验证人员是否为黑名单人员，由于是在核验终端上同步验证，不会出现漏验证，避免了黑名单人员漏网，并且前端验证相对于后端验证可以大大提高验证速度，即便增加了黑名单验证也不会对验证效率有太大影响。同时，由于黑名单是管理中心单元发送至核验终端存储的，该黑名单可以是在逃人员名单信息，还可以是其他不良记录人员名单信息，管理中心单元可以控制更改黑名单信息，方便管理。
本发明所述的基于多模态人脸识别的人证合一核验系统的一个实施例为所述核验终端的HTTP通信模块还包括黑名单存储器，所述数据库管理模块还包括人脸信息对比器。有所述核验终端具有黑名单存储器和人脸信息对比器，即该核验终端具有“黑白名单”功能，基于该种具有“黑白名单”功能的核验终端构建的人证合一核验系统在大人流验证情况下具有明显优势。具体而言，随着客流量的增加，人证合一系统的前端设备会产生大批量的告警数据，当海量数据不加区别地向后台监控中心转送时，无疑会对系统和审核人员造成极大的压力。为此，有必要在系统功能上研究黑白名单策略，并对告警结果进行分级分类。首先，在人证合一系统智能前端实现人脸验证的同时，读取的证件信息和拍抓的人脸将与设备存储的黑名单信息进行碰撞，对于相似度超过某阈值的结果向后台推送，并根据相似程度定级；其次，对于黑名单以外的人员，只需验证其证件照片与抓拍人像的相似度，如相似度低于某阈值需要向监控中心推送结果，由审核人员复核；而对于曾经验证过的人员，只需在智能前端“刷脸”，通过与近期的过往人员进行小范围的1:N比对即可完成人脸验证，无需凭卡重新验证。
如图4所示，本发明还公开了一种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法，其特征在于包括以下步骤：S1，待验证人员在客户端上进行可见光视频，红外观视频和证件信息采集，并将采集的信息发送至服务端；S2，服务端开启socket通信接收可见光视频，红外观视频和证件信息采集，人证比对模块对接收的可见光视频进行人像质量评估，如果评估合格则进入S3步骤，如果评估不合格则服务端控制客户端开启红外补光灯并重复步骤S1；S3，对人像质量合格的视频进行人脸图片截取，所述人脸图片包括可见光人脸图片和红外光人脸图片，通过可见光人脸图片和红外光人脸图片判断当前待验证人员是否为人脸图片中的人员，如果是则进入步骤S4，如果不是则判断人证不合一结果，进入步骤S8；S4,人证比对模块判断人脸图片中的人脸个数是否为一，如果是则进入步骤S5,如果不是则进入步骤S6；S5，根据人脸图片采取主成分分析算法提取人脸特征，对于二维灰度模态，三维深度模态和三维灰度模态进行多模态融合，得到人脸特征向量；S6，在人像质量合格的视频截取三张人脸图片，分别提取三张最大人脸特征向量，对比特征向量计算比分，选择分数最高的作为人脸特征向量；S7，将人脸特征向量与算法阈值比较，若高于阈值则判断结果为人证合一，并将人证合一的可见光人脸图片，红外光人脸图片和证件信息发送至数据库管理模块进行关联存储，如果低于阈值则判断结果为人证不合一；S8，服务端将判断得到的结果返回客户端显示。
本发明所述的一种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法，全部验证步骤均在验证终端完成。本方法具有人像质量评估步骤，本实施例中提供一种具体的人像质量评估方法。当前对人脸图像尤其是监控视频环境下的人脸图像质量缺乏统一的评价指标，对于亮度、对比度等通用的图像的质量指标，因缺乏特定的先验知识描绘，使用该类指标进行图像质量的评断并不能满足实际应用的要求。视频抓拍人脸中影响质量的主要指标是光照、姿态、分辨率和运动模糊等，其中，光照变化和姿态的变化可以通过图像的对称性度量得来，而分辨率与运动模糊，也与图像矩阵的秩相关。并且，考虑到监控摄像头抓拍得到的连续视频人脸图像具有高度的相关性，其图像子空间具有低秩特性。因此，可通过对视频图像序列进行低秩分析，判断人脸图像的质量。具体而言，可通过鲁棒PCA等方法进行低秩矩阵分解，分离出低秩的正脸重建成分和稀疏噪声成分，进而通过对特定噪声的统计建模，得到具有噪声分析能力的分类器，以此来判断光照、姿态、分辨率、运动模糊等各种噪声的类型及强度，达到图像质量预测的目的。
该种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法在确定人像质量不合格时会开启红外补光。具体而言，基于多模态融合的非可控光照鲁棒人脸表征在实际的人证合一应用场景中，可以通过调整设备的安装位置和方向引导用户正面朝向摄像头，从而捕捉到正面人脸图像，但外界非可控的光照环境则会随着场地的不同表现出显著的差异，对人脸识别的结果会造成极大的影响，尤其在强逆光的情况下，传统的基于可见光单摄像头的人脸验证设备往往只能获得低对比度的人脸图像，无法有效识别比对。而该方法依赖于基于多模态人脸识别的人证合一核验终端采用近红外成像来弥补可见光成像的不足，通过分析可见光图像下人脸ROI区域(感兴趣区域)的光照均匀度，构建具有自检能力的场景评估器，对逆光、侧光、顶光、曝光不足、过度曝光等现象进行定性定量分析，当检测到光照异常时自适应启动近红外进行光照补偿，捕捉可见光和近红外的双模态图像。在此基础上，一方面可在特征域融合均匀光照的近红外图像与可见光图像的边缘特征，通过同一人脸在双模态下的内在关联增强人脸的信息表征能力；另一方面采用可见光与近红外的跨模态匹配，直接比对现实抓拍的近红外人像与读卡器读取的证件照，实现人员身份的跨模态验证。
并且，该种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法还具有人脸个数识别步骤，通过识别人脸图片中的人脸个数，确定需要进行比对的人脸，避免出现错误比对，满足了该种识别方法在复杂识别环境下的使用。具体而言，在乘客众多的机场是不太适用的.由于机场是排队过安检，因此视频帧中的人脸大多数情况下会不止1张，如子女搀扶老人过安检的特殊情况。在这种情况下只截取视频帧最大的人脸并不合理，会有后面乘客比前面比对乘客脸大的情况，算法会由此锁定为后面等待的乘客，而使本次比对无法通过。面对上述问题，本系统在原有的算法上进行了改进，在视频帧中截取最大的3张脸，对这3张脸分别利用预先训练好的卷积神经网络的模板将截取出的人脸转换为对应的特征向量对比身份证照片与当前帧图像中的3张脸特征向量，计算比分。最后取3个比分中的最高值与算法阈值比较，若高于阈值则判断为同一人，否则判断为非同一人。
本发明所述的一种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法具有多模态人脸识别步骤，本实施例中提供一种具体的多模态人脸方法。在本方法中提出了一种全新的多模态人脸识别。不仅包含了被广泛采用的二维灰度人脸模态和三维深度人脸模态，同时还包括了三维灰度人脸模态。在每个模态中，采用了主成分分析算法提取人脸特征，利用最近邻分类器计算匹配分数。每个模态的匹配分数通过加权求和准则进行融合，组成三模态人脸识别系统。对于二维灰度模态，通过手工标注获取到人眼位置，以此作为基准对人脸图像进行几何归一化。为了克服光照的影响，对几何归一化后的人脸图像进一步通过直方图均衡进行光照归一化。对于三维深度模态，首先我们通过鼻尖定位来确定每个三维点云中鼻尖部分的位置。然后以此作为基准点，通过ICP算法来实现三维人脸数据的配准。配准完成后，我们将配准后的三维点云对应的Z信息映射到对应的XY平面中(深度图像映射)。由于嘴部的三维信息比较容易受到表情变化的影响，因此，实验中我们只采用不包含嘴部的三维人脸深度图像。对于三维灰度人脸模态，我们采用与三维点云相同的配准算法。配准完成后，将三维点云的灰度信息映射到对应的XY平面中。为了克服光照变化对于数据造成的影响，此处仍使用直方图均衡进行人脸数据的光照归一化。采用主成分分析(PCA)算法。该方法通过对输入数据进行主成分分析，将原始高维数据投影到低维的主成分空间，在最小化数据重构误差的前提下，实现了数据的有效降维，其所得到的主成分分量也被称为“特征脸”。在融合阶段，首先使用最小最大原则对每个模态的分数进行归一化。对于单一模态的一系列分数值{Sk},k＝1,2,…n，其归一化分数如下：其中最小值min和最大值max可由预先获取的分数值集合计算获取。分数归一化之后，每个模态的归一化分数通过加权加法准则进行融合以实现多模态人脸识别[8]。假设{Sj1，Sj2，…，S jn}为一系列模态的匹配分数，j＝1,2,…,c。此处，c是待融合的模态数目，n是样本数。对于第i个样本，其融合分数为：
如图5所示，本发明还公开了一种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法，其特征在于包括以下步骤：S1，待验证人员在客户端上进行可见光视频和红外观视频，并将采集的信息发送至服务端；S2，服务端开启socket通信接收可见光视频和红外观视频，人证比对模块对接收的可见光视频进行人像质量评估，如果评估合格则进入S3步骤，如果评估不合格则服务端控制客户端开启红外补光灯并重复步骤S1；S3，对人像质量合格的视频进行人脸图片截取，所述人脸图片包括可见光人脸图片和红外光人脸图片，通过可见光人脸图片和红外光人脸图片判断当前待验证人员是否为人脸图片中的人员，如果是则进入步骤S4，如果不是则判断结果为人证不合一，进入步骤S9；S4,人证比对模块判断人脸图片中的人脸个数是否为一，如果不是则进入步骤S5，如果是则进入步骤S6；S5，在人像质量合格的视频截取三张人脸图片，分别提取三张最大人脸特征向量，对比特征向量计算比分，选择特征向量分数最高的一张作为人脸图片；S6，将当前人脸图片与数据库管理模块中存储的人脸图片进行对比，如果存在同一人的人脸图片，则确认判断结果为人证合一，进入步骤S9，如果不存在同一人的人脸图片则进入步骤S7；S7，服务端开启socket通信向客户端获取证件信息，根据人脸图片采取主成分分析算法提取人脸特征，对于二维灰度模态，三维深度模态和三维灰度模态进行多模态融合，得到人脸特征向量；S8，比对证件信息和人脸图片，将人脸特征向量与算法阈值比较，若高于阈值则判断结果为人证合一，并将人证合一的可见光人脸图片，红外光人脸图片和证件信息发送至数据库管理模块进行关联存储，如果低于阈值则判断结果为人证不合一；S9，服务端将判断得到的结果返回客户端显示。
该种采用基于多模态人脸识别的人证合一核验终端的人证合一核验方法依赖于具有“白名单”功能的基于多模态人脸识别的人证合一核验终端完成，该数据库管理模块设置人脸信息比对器，使得重复验证的人员可以直接在终端面前不验证通过，即重复验证人员为核验终端的白名单人员，可以不验证通过，减少验证步骤，缩短核验时间，适用于大人流验证的情况，对于曾经验证过的人员，只需在核验终端“刷脸”，通过与近期的过往人员进行小范围的1:N比对即可完成人脸验证，无需凭卡重新验证。
如图6所示，本发明还公开了一种采用基于多模态人脸识别的人证合一核验系统的人证合一核验方法，其特征在于包括以下步骤：S1，待验证人员在核验终端进行验证，核验终端判断是否人证合一，如果是人证合一则显示人证合一结果，如果人证比对异常则通过HTTP通信模块将异常的人脸图片和证件信息发送管理中心单元；S2，管理中心单元接收异常的人脸图片和证件信息并转发至复核中心单元；S3，复核中心单元对接收到的异常的人脸图片和证件信息进行再次比对，判断是否人证合一，并返回复核结果至管理中心单元；S4，管理中心单元接收复核结果并转发至核验终端进行显示。
该种采用基于多模态人脸识别的人证合一核验系统的人证合一核验方法依赖于基于多模态人脸识别的人证合一核验系统完成。该种人证合一核验系统采用多模态人脸识别验证技术，相比基于其他生物特征的识别技术操作更为简便，不需要识别对象刻意配合即可快速有效地核查对象的身份。同时，通过综合可见光与近红外双摄像头的多模态人脸数据，可实现防伪、防欺诈的人员身份认证，具有直观、准确、应用范围广、可扩展性强等优点。基于多模态人脸识别的人证合一核验系统由核验终端、管理中心单元和复核中心单元。所述核验终端即为基于多模态人脸识别的人证合一核验终端，已在前文详述，此处不再赘述。
如图7所示，本发明还公开了一种采用基于多模态人脸识别的人证合一核验系统的人证合一核验方法，其特征在于包括以下步骤：S1，待验证人员在核验终端进行验证，核验终端判断是否人证合一，如果是人证合一则显示人证合一结果，如果人证比对异常则通过HTTP通信模块将异常的人脸图片和证件信息发送管理中心单元；S2，管理中心单元接收异常的人脸图片和证件信息并转发至复核中心单元；S3，复核中心单元对接收到的异常的人脸图片和证件信息进行再次比对，判断是否人证合一，并返回复核结果至管理中心单元；S4，管理中心单元接收复核结果，对人证合一的异常人脸图片和证件信息与公安在逃人员数据库进行比对，如确认为在逃人员则发出警报，并发送当前待验证人员为在逃人员的信息至核验终端。
该种采用基于多模态人脸识别的人证合一核验系统的人证合一核验方法依赖于基于多模态人脸识别的人证合一核验系统完成。所述管理中心单元设置于治安管理大队的监控管理中心，监控管理中心主要是接收核验终端传输过来的异常图像信息和相应的身份证信息，然后将这些信息发送给复核中心单元，并接收复核后的信息，将异常图像发送至广州市公安局与在逃人员数据库比对，如确定是在逃人员，则在监控管理中心的大屏上进行告警显示，并通过短信平台将告警信息发送给相关人员，同时，监控管理中心的值班人员立即通知指挥中心安排出警处置。
如图8所示，本发明还公开了一种采用基于多模态人脸识别的人证合一核验系统的人证合一核验方法，其特征在于包括以下步骤：S1，待验证人员在核验终端进行验证，核验终端判断待验证人员与黑名单人员的相似度，相似度高于第一阈值则进入步骤S2，相似度不低于第二阈值则进入步骤S3，相似度低于第二阈值则进入步骤S5；S2，核验终端发送当前待验证人员为黑名单人员的信息至管理中心单元，并发送当前待验证人员的人脸图片及证件信息，管理中心单元确认黑名单人员并发出警报；S3，核验终端发送当前待验证人员与黑名单人员相似的信息至管理中心单元，并发送当前待验证人员的人脸图片及证件信息,管理中心单元接收异常的人脸图片和证件信息并转发至复核中心单元；S4，复核中心单元对接收到的异常的人脸图片和证件信息与黑名单信息进行再次比对，判断是为黑名单人员，并返回复核结果至管理中心单元，管理中心单元如确认为黑名单人员则发出警报，并发送当前待验证人员为黑名单人员的信息至核验终端；S5，核验终端确认当前待验证人员不是黑名单人员，核验终端判断是否人证合一，如果是人证合一则显示人证合一结果，如果人证比对异常则通过HTTP通信模块将异常的人脸图片和证件信息发送管理中心单元；S6，管理中心单元接收异常的人脸图片和证件信息并转发至复核中心单元；S7，复核中心单元对接收到的异常的人脸图片和证件信息进行再次比对，判断是否人证合一，并返回复核结果至管理中心单元；S8，管理中心单元接收复核结果并转发至核验终端进行显示。
该种采用基于多模态人脸识别的人证合一核验系统的人证合一核验方法依赖于基于多模态人脸识别的人证合一核验系统完成。核验终端在进行人证比对时同时比对当前待验证人员是否为黑名单人员，由于是在核验终端上同步验证，不会出现漏验证，避免了黑名单人员漏网，并且前端验证相对于后端验证可以大大提高验证速度，即便增加了黑名单验证也不会对验证效率有太大影响。同时，由于黑名单是管理中心单元发送至核验终端存储的，该黑名单可以是在逃人员名单信息，还可以是其他不良记录人员名单信息，管理中心单元可以控制更改黑名单信息，方便管理。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.基于多模态人脸识别的人证合一核验终端，其特征在于，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。
2.根据权利要求1所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述客户端包括客户模块，读卡模块，摄像模块和socket通信模块；
所述客户模块与用户进行交互，向客户显示验证结果；
所述读卡模块读取用户证件信息，并转发至通信模块；
所述摄像模块包括可见光摄像头和红外光摄像头同时采集可见光视频和红外观视频，并转发至通信模块；
所述socket通信模块在非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信，将接收到的信息整合为JSON数据结构信息并发送至服务端，接收服务端发送的JSON信息进行格式处理后转发至客户模块，传输结束后关闭socket通信。
3.根据权利要求2所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述客户端还包括红外补光模块，所述红外补光模块在检测到光照异常时启动红外补光。
4.根据权利要求1所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述服务端包括人证比对模块，数据库管理模块，socket通信模块；所述socket通信模块在非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信，接收或发送相关信息，传输结束后关闭socket通信；
所述人证比对模块接收证件信息和摄像视频中截取的人脸图片，判断是否仅一个人脸，如果是则对当前人脸图片提取人脸特征向量，如果不是则重新截取视频中的人脸图片，提取三张最大的人脸特征向量，对比特征向量，用分数最高的与阈值对比，得到比对结果，该比对结果通过socket通信发送至客户端，对人证比对结果为人证合一的人脸图片和证件信息发送至数据库管理模块存储；
所述数据库管理模块对人证比对模块发送的人脸图片和证件信息进行关联存储，更新或删除数据库内存储的信息。
5.根据权利要求1-4任一项所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述服务端还包括HTTP通信模块，所述HTTP通信模块与远程控制设备通信，对于人证比对异常的人脸图片和证件信息通过HTTP通信模块发送至远程控制设备。
6.基于多模态人脸识别的人证合一核验系统，其特征在于，包括核验终端，管理中心单元和复核中心单元，所述核验终端通视频专网与管理中心单元连接，管理中心单元通过专线与复核中心单元连接，所述核验终端为权利要求5所述的基于多模态人脸识别的人证合一核验终端，管理中心单元接收核验终端发送的人证比对异常的人脸图片和证件信息并转发至复核中心单元进行复核，接收复核中心单元发送的复核结果，复核结果为人证合一则转发结果至核验终端，复核结果为人证不合一则发出警报。
7.根据权利要求6所述的基于多模态人脸识别的人证合一核验系统，其特征在于，所述管理中心单元包括管理中心模块和公安局搜索模块，所述管理中心模块通过公安专网与公安局搜索模块连接，管理中心模块接收人证比对异常的人脸图片和证件信息并转发至复核中心单元进行复核，接收复核结果并将异常的人脸图片和证件信息并转发至公安局搜索模块与在逃人员数据库比对，如果确认为在逃人员则发出警报。
8.一种采用权利要求1所述基于多模态人脸识别的人证合一核验终端的人证合一核验方法，其特征在于包括以下步骤：
S1，待验证人员在客户端上进行可见光视频，红外观视频和证件信息采集，并将采集的信息发送至服务端；
S2，服务端开启socket通信接收可见光视频，红外观视频和证件信息采集，人证比对模块对接收的可见光视频进行人像质量评估，如果评估合格则进入S3步骤，如果评估不合格则服务端控制客户端开启红外补光灯并重复步骤S1；
S3，对人像质量合格的视频进行人脸图片截取，所述人脸图片包括可见光人脸图片和红外光人脸图片，通过可见光人脸图片和红外光人脸图片判断当前待验证人员是否为人脸图片中的人员，如果是则进入步骤S4，如果不是则判断人证不合一结果，进入步骤S8；
S4,人证比对模块判断人脸图片中的人脸个数是否为一，如果是则进入步骤S5,如果不是则进入步骤S6；
S5，根据人脸图片采取主成分分析算法提取人脸特征，对于二维灰度模态，三维深度模态和三维灰度模态进行多模态融合，得到人脸特征向量；
S6，在人像质量合格的视频截取三张人脸图片，分别提取三张最大人脸特征向量，对比特征向量计算比分，选择分数最高的作为人脸特征向量；
S7，将人脸特征向量与算法阈值比较，若高于阈值则判断结果为人证合一，并将人证合一的可见光人脸图片，红外光人脸图片和证件信息发送至数据库管理模块进行关联存储，如果低于阈值则判断结果为人证不合一；
S8，服务端将判断得到的结果返回客户端显示。
9.一种采用权利要求6所述基于多模态人脸识别的人证合一核验系统的人证合一核验方法，其特征在于包括以下步骤：
S1，待验证人员在核验终端进行验证，核验终端判断是否人证合一，如果是人证合一则显示人证合一结果，如果人证比对异常则通过HTTP通信模块将异常的人脸图片和证件信息发送管理中心单元；
S2，管理中心单元接收异常的人脸图片和证件信息并转发至复核中心单元；
S3，复核中心单元对接收到的异常的人脸图片和证件信息进行再次比对，判断是否人证合一，并返回复核结果至管理中心单元；
S4，管理中心单元接收复核结果并转发至核验终端进行显示。
10.一种采用权利要求7所述基于多模态人脸识别的人证合一核验系统的人证合一核验方法，其特征在于包括以下步骤：
S1，待验证人员在核验终端进行验证，核验终端判断是否人证合一，如果是人证合一则显示人证合一结果，如果人证比对异常则通过HTTP通信模块将异常的人脸图片和证件信息发送管理中心单元；
S2，管理中心单元接收异常的人脸图片和证件信息并转发至复核中心单元；
S3，复核中心单元对接收到的异常的人脸图片和证件信息进行再次比对，判断是否人证合一，并返回复核结果至管理中心单元；
S4，管理中心单元接收复核结果，对人证合一的异常人脸图片和证件信息与公安在逃人员数据库进行比对，如确认为在逃人员则发出警报，并发送当前待验证人员为在逃人员的信息至核验终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910113611.XA CN109902780A (zh) | 2019-02-14 | 2019-02-14 | 基于多模态人脸识别的人证合一核验终端和系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910113611.XA CN109902780A (zh) | 2019-02-14 | 2019-02-14 | 基于多模态人脸识别的人证合一核验终端和系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109902780A true CN109902780A (zh) | 2019-06-18 |
Family
ID=66944890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910113611.XA Pending CN109902780A (zh) | 2019-02-14 | 2019-02-14 | 基于多模态人脸识别的人证合一核验终端和系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109902780A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414454A (zh) * | 2019-07-31 | 2019-11-05 | 南充折衍智能光电科技有限公司 | 一种基于机器视觉的人证合一识别系统 |
| CN110738985A (zh) * | 2019-10-16 | 2020-01-31 | 江苏网进科技股份有限公司 | 基于语音信号的跨模态生物特征识别方法及系统 |
| CN110826460A (zh) * | 2019-10-31 | 2020-02-21 | 北京旷视科技有限公司 | 一种异常人证信息识别方法、装置和存储介质 |
| CN110853274A (zh) * | 2019-10-18 | 2020-02-28 | 合肥森弗卡电子科技有限公司 | 一种安全防范工程用报警系统 |
| CN110929068A (zh) * | 2019-11-15 | 2020-03-27 | 南威软件股份有限公司 | 一种基于终端设备的人脸搜索方法 |
| CN111192106A (zh) * | 2019-12-06 | 2020-05-22 | 中国平安财产保险股份有限公司 | 基于图片识别的信息获取方法、装置、计算机设备 |
| CN111539258A (zh) * | 2020-03-31 | 2020-08-14 | 北京万里红科技股份有限公司 | 虹膜图像识别方法、虹膜图像识别装置及存储介质 |
| CN112233349A (zh) * | 2020-09-08 | 2021-01-15 | 福建升腾资讯有限公司 | 一种智能刷脸终端语音报警方法、系统、设备和介质 |
| CN112364825A (zh) * | 2020-11-30 | 2021-02-12 | 支付宝(杭州)信息技术有限公司 | 用于人脸识别的方法、装置和计算机可读存储介质 |
| CN112507975A (zh) * | 2020-12-30 | 2021-03-16 | 广州博士信息技术研究院有限公司 | 一种基于科技成果数据库的人证识别数据处理方法及系统 |
| CN112948618A (zh) * | 2021-02-25 | 2021-06-11 | 成都旺小宝科技有限公司 | 一种用于售楼处的有效客户识别方法 |
| CN113806584A (zh) * | 2021-09-17 | 2021-12-17 | 河海大学 | 基于自监督跨模态感知损失的乐队指挥动作生成方法 |
| CN115470469A (zh) * | 2022-10-31 | 2022-12-13 | 河北远东通信系统工程有限公司 | 一种基于多模态特征识别和融合比对的安检方法及系统 |
| CN116386121A (zh) * | 2023-05-30 | 2023-07-04 | 湖北华中电力科技开发有限责任公司 | 一种基于电网安全生产的人员识别方法和装置 |
| CN117172783A (zh) * | 2023-07-17 | 2023-12-05 | 湖北盈嘉集团有限公司 | 一种应收账款确认债权债务交叉核验系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801528A (zh) * | 2012-08-17 | 2012-11-28 | 珠海市载舟软件技术有限公司 | 基于智能移动通讯设备的身份验证系统及其方法 |
| CN206193839U (zh) * | 2016-10-09 | 2017-05-24 | 汉王科技股份有限公司 | 人证识别装置和系统 |
| CN106778607A (zh) * | 2016-12-15 | 2017-05-31 | 国政通科技股份有限公司 | 一种基于人脸识别的人与身份证同一性认证装置及方法 |
| CN107680230A (zh) * | 2017-10-31 | 2018-02-09 | 华慧视科技（天津）有限公司 | 基于人脸识别的人证核验并黑名单复核的通关系统 |
| WO2018187959A1 (zh) * | 2017-04-12 | 2018-10-18 | 深圳华博高科光电技术有限公司 | 身份信息安全监控方法及系统 |
-
2019
- 2019-02-14 CN CN201910113611.XA patent/CN109902780A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801528A (zh) * | 2012-08-17 | 2012-11-28 | 珠海市载舟软件技术有限公司 | 基于智能移动通讯设备的身份验证系统及其方法 |
| CN206193839U (zh) * | 2016-10-09 | 2017-05-24 | 汉王科技股份有限公司 | 人证识别装置和系统 |
| CN106778607A (zh) * | 2016-12-15 | 2017-05-31 | 国政通科技股份有限公司 | 一种基于人脸识别的人与身份证同一性认证装置及方法 |
| WO2018187959A1 (zh) * | 2017-04-12 | 2018-10-18 | 深圳华博高科光电技术有限公司 | 身份信息安全监控方法及系统 |
| CN107680230A (zh) * | 2017-10-31 | 2018-02-09 | 华慧视科技（天津）有限公司 | 基于人脸识别的人证核验并黑名单复核的通关系统 |
Non-Patent Citations (1)
| Title |
|---|
| 科学技术部: "《这十年信息领域科技发展报告》", 31 July 2012 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414454A (zh) * | 2019-07-31 | 2019-11-05 | 南充折衍智能光电科技有限公司 | 一种基于机器视觉的人证合一识别系统 |
| CN110738985A (zh) * | 2019-10-16 | 2020-01-31 | 江苏网进科技股份有限公司 | 基于语音信号的跨模态生物特征识别方法及系统 |
| CN110853274A (zh) * | 2019-10-18 | 2020-02-28 | 合肥森弗卡电子科技有限公司 | 一种安全防范工程用报警系统 |
| CN110826460A (zh) * | 2019-10-31 | 2020-02-21 | 北京旷视科技有限公司 | 一种异常人证信息识别方法、装置和存储介质 |
| CN110929068A (zh) * | 2019-11-15 | 2020-03-27 | 南威软件股份有限公司 | 一种基于终端设备的人脸搜索方法 |
| CN110929068B (zh) * | 2019-11-15 | 2022-06-21 | 南威软件股份有限公司 | 一种基于终端设备的人脸搜索方法 |
| CN111192106A (zh) * | 2019-12-06 | 2020-05-22 | 中国平安财产保险股份有限公司 | 基于图片识别的信息获取方法、装置、计算机设备 |
| CN111192106B (zh) * | 2019-12-06 | 2023-08-08 | 中国平安财产保险股份有限公司 | 基于图片识别的信息获取方法、装置、计算机设备 |
| CN111539258A (zh) * | 2020-03-31 | 2020-08-14 | 北京万里红科技股份有限公司 | 虹膜图像识别方法、虹膜图像识别装置及存储介质 |
| CN111539258B (zh) * | 2020-03-31 | 2023-05-12 | 北京万里红科技有限公司 | 虹膜图像识别方法、虹膜图像识别装置及存储介质 |
| CN112233349A (zh) * | 2020-09-08 | 2021-01-15 | 福建升腾资讯有限公司 | 一种智能刷脸终端语音报警方法、系统、设备和介质 |
| CN112233349B (zh) * | 2020-09-08 | 2022-05-17 | 福建升腾资讯有限公司 | 一种智能刷脸终端语音报警方法、系统、设备和介质 |
| CN112364825A (zh) * | 2020-11-30 | 2021-02-12 | 支付宝(杭州)信息技术有限公司 | 用于人脸识别的方法、装置和计算机可读存储介质 |
| CN112507975A (zh) * | 2020-12-30 | 2021-03-16 | 广州博士信息技术研究院有限公司 | 一种基于科技成果数据库的人证识别数据处理方法及系统 |
| CN112948618A (zh) * | 2021-02-25 | 2021-06-11 | 成都旺小宝科技有限公司 | 一种用于售楼处的有效客户识别方法 |
| CN112948618B (zh) * | 2021-02-25 | 2023-03-24 | 成都旺小宝科技有限公司 | 一种用于售楼处的有效客户识别方法 |
| CN113806584A (zh) * | 2021-09-17 | 2021-12-17 | 河海大学 | 基于自监督跨模态感知损失的乐队指挥动作生成方法 |
| CN115470469A (zh) * | 2022-10-31 | 2022-12-13 | 河北远东通信系统工程有限公司 | 一种基于多模态特征识别和融合比对的安检方法及系统 |
| CN116386121A (zh) * | 2023-05-30 | 2023-07-04 | 湖北华中电力科技开发有限责任公司 | 一种基于电网安全生产的人员识别方法和装置 |
| CN116386121B (zh) * | 2023-05-30 | 2023-08-11 | 湖北华中电力科技开发有限责任公司 | 一种基于电网安全生产的人员识别方法和装置 |
| CN117172783A (zh) * | 2023-07-17 | 2023-12-05 | 湖北盈嘉集团有限公司 | 一种应收账款确认债权债务交叉核验系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902780A (zh) | 基于多模态人脸识别的人证合一核验终端和系统及方法 | |
| CN108549854B (zh) | 一种人脸活体检测方法 | |
| US9875392B2 (en) | System and method for face capture and matching | |
| KR102125379B1 (ko) | 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법 | |
| CN105956572A (zh) | 一种基于卷积神经网络的活体人脸检测方法 | |
| CN101669824B (zh) | 基于生物特征识别的人与身份证同一性检验装置 | |
| US8620036B2 (en) | System and method for controlling image quality | |
| CN110390229B (zh) | 一种人脸图片筛选方法、装置、电子设备及存储介质 | |
| CN110287813A (zh) | 身份识别方法及系统 | |
| CN108596110A (zh) | 图像识别方法及装置、电子设备、存储介质 | |
| CN111598132A (zh) | 一种人像识别算法性能评测方法和装置 | |
| CN114463828B (zh) | 基于人证统一的监考方法及系统、电子设备和存储介质 | |
| CN106022241A (zh) | 一种基于小波变换及稀疏表示的人脸识别方法 | |
| CN111862413A (zh) | 实现抗疫情非接触多维身份快速识别的方法及其系统 | |
| CN111062021B (zh) | 一种基于可穿戴设备进行身份认证的方法及装置 | |
| CN111723595A (zh) | 人员身份识别方法和系统 | |
| CN114241557A (zh) | 图像识别方法、装置及设备、智能门锁及介质 | |
| US11144773B2 (en) | System for characterizing biometric station metrics with genericized biometric information | |
| CN110532877A (zh) | 一种单摄像头人脸识别方案防欺骗方法、系统、设备及存储装置 | |
| Noyes et al. | Automatic recognition systems and human computer interaction in face matching | |
| CN114120509A (zh) | 基于融合识别技术的区域准入授权装置 | |
| CN109766814A (zh) | 人脸验证方法以及系统 | |
| CN109635860B (zh) | 图像分类方法及系统 | |
| IDRIS | Face Recognition Systems for Modern Way of Security | |
| Volner et al. | Multi-biometric techniques, standards activities and experimenting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190618 |