CN103150553A - 实现多模态身份特征识别的移动终端以及方法 - Google Patents

Abstract

本发明提供了一种能够实现多模态身份特征识别的移动终端以及多模态身份识别方法，该移动终端包括系统控制及数据处理模块，用于控制所述移动终端的各个模块的操作并控制在各个模块之间进行数据交换；通信模块，用于将所述移动终端收集的身份特征信息在系统控制及数据处理模块的控制下传送至远程数据管理中心进行验证，并接收来自远程数据管理中心的验证结果；数据存储模块，用于存储包含身份特征模版信息的数据信息；数据采集模块用于采集IC卡信息、指纹图像、人脸图像和虹膜图像中的至少一种；人机交互模块，提供用户与所述移动终端间的交互和系统的配置；供电模块，用于为移动终端中的所有模块供电，并通过交流电进行充电。

Description

实现多模态身份特征识别的移动终端以及方法

技术领域

本发明涉及身份特征识别和射频识别的技术领域，尤其涉及一种移动多模态身份特征识别方法和实现该方法的移动终端。

背景技术

传统的身份识别方法，普遍基于证件、用户名、密码等，存在易丢失、易伪造、易替代等安全漏洞问题，这些信息一旦被不法分子获取并冒用，将会给被冒用者带来重大的经济利益损失，严重时甚至会危害到他人及整个社会的安全。基于射频识别技术的身份识别方法最大的缺点是只能对IC卡进行识别而不能验证当前持卡人的身份是否就是IC卡主人，因此当IC卡被窃取或者伪造时，持卡人身份极易被冒用。另一方面，传统的身份识别方法需要投入大量的人力参与，人力成本高且工作效率低下，不能满足在大规模人群中快速、准确识别个体身份的需要。

随着科技的发展，整个社会的信息化程度日益提高，为了解决上述传统身份识别方法带来的缺陷，基于人体特有的生理特征或行为特征来识别个体的生物特征识别技术迅猛发展。生物特征识别技术安全、可靠，并且生物特征与人体形影不离，在目前的技术条件下已经能够高效识别，能与计算机系统、安全监控系统、身份管理系统等实现高度整合并进行自动化管理，有效提高了身份识别工作的工作效率及准确性，并且随着科技的发展，其自动化程度将会不断提高。从2013年起，中国第二代身份证将登记指纹信息以防范冒用他人居民身份证以及伪造、变更居民身份证等违法犯罪行为的发生。由此可见，基于生物特征的身份识别技术正在逐步代替传统的身份识别技术，具有广阔的应用前景和巨大的社会、经济效益，吸引了社会各领域的广泛关注和高度重视。

虽然生物特征识别技术已经取得了长足的发展，但是仍然存在一定问题。指纹识别技术研究历史最长，技术方案最成熟，目前的应用范围也最广，但是面临着疑难指纹、污损指纹难于采集与识别、指纹易于伪造等问题，使得指纹识别存在着较高的据真率；人脸识别技术利用可见光或红外光成像，图像采集方法自然、不易被人察觉，但是不同个体间人脸的结构相似性较高，且具有易变性(例如光照、角度、表情、遮挡、整容等都会改变面部特征)，给人脸识别技术实现精确识别带来了不小挑战；虹膜识别在现有生物特征识别技术中具备最高的精确度，具有非接触性、难于伪造等突出优势，但是虹膜图像采集系统的硬件配置要求很高，使得实现该技术的装置比较庞大。另外，现有的基于以上技术的身份识别设备多数都固定不动且不具备无线通信功能，当需要进行网络通信时只能通过有线局域网络，造成现有的身份识别方法应用范围窄，可移动性差。

总体来说，现有身份特征识别技术各有优缺点，而目前的身份识别方法大多只使用某一种生物特征识别技术。基于生物特征识别技术的身份识别方法虽然相比基于射频识别技术的身份识别方法要可靠很多，但是现有生物特征识别技术各有优缺点，如果单独使用其中某一种技术仍然会存在一定的风险，并且灵活度差。另一方面，现有的生物特征识别装置普遍采用固定装置，移动性差，应用场所受到很大限制。

针对上述生物特征识别领域存在的问题，需要一种能将若干种技术结合使用，实现多模态身份特征识别方法，从而有效提高身份识别的精确度和准确性。

发明内容

本发明的目的在于提供一种能够实现多模态身份特征识别的移动终端。所述移动终端包括系统控制及数据处理模块、通信模块、数据存储模块、数据采集模块、人机交互模块和供电模块，其中，所述系统控制及数据处理模块用于控制所述移动终端的各个模块的操作并控制在各个模块之间进行数据交换；所述通信模块包括无线通信模块和卫星通信模块，用于将所述移动终端收集的身份特征信息在系统控制及数据处理模块的控制下传送至远程数据管理中心进行验证，并接收来自远程数据管理中心的验证结果；所述数据存储模块用于存储包含身份特征模版信息的数据信息；所述数据采集模块用于采集IC卡信息、指纹图像、人脸图像和虹膜图像中的至少一种；所述人机交互模块提供用户与所述移动终端间的交互，包括用于输出系统状态、图像和识别结果信息的输出模块，用于使用户配置系统控制信息和设置配置文件的配置模块，以及用于向系统输入控制信息和交互信息的输入模块；所述供电模块用于为移动终端中的所有模块供电，并通过交流电进行充电。

优选地，所述移动终端还包括全球定位系统芯片，用于将所述移动终端的位置信息传递给所述远程数据管理中心。

优选地，所述配置模块设置为根据不同应用场合的安全级别，选取不同的身份特征识别信息进行识别和验证。

优选地，所述数据采集模块提取到的身份特征信息与所述数据存储模块中存储的模版信息进行比对，和/或通过所述通信模块发送到远程数据管理中心与其上存储的模版信息进行比对。

根据本发明的另一方面，提供了一种利用移动终端实现多模态身份特征识别的方法，所述移动终端包括系统控制及数据处理模块、通信模块、数据存储模块、数据采集模块、人机交互模块和供电模块，所述方法包括下列步骤：a)将所述移动设备进行初始化；b)通过所述人机交互模块提示用户是否采用已有的配置文件进行识别；c)如果用户在步骤b)中采用所述已有的配置文件，则所述移动设备读取所述配置文件，若不采用已有的配置文件，则允许用户自行定义需要识别的项目或顺序；d)根据所述配置文件的设置或用户的自行定义来采集并提取身份特征信息；e)将提取到的身份特征信息与所述数据存储模块中存储的模版信息进行比对，和/或通过所述通信模块发送到远程数据管理中心与其上存储的模版信息进行比对；f)根据所述比对结果，通过人机交互模块输出验证的结果。

优选地，所述步骤b)仅允许特定安全级别下的场合的特定用户执行。

优选地，所述身份特征信息包括IC卡信息、指纹图像、人脸图像和虹膜图像。

优选地，对在所述步骤e)中所提取到的身份特征信息与所述数据存储模块中存储的模版信息的比对结果与通过所述通信模块发送到远程数据管理中心与其上存储的模版信息的比对结果互相印证。

优选地，将所提取到的身份特征信息通过所述通信模块以加密的方式发送到所述远程数据管理中心。

优选地，在步骤d)中提取的身份特征信息存储在数据存储模块中或在完成比对后删除。

根据本发明的移动终端和方法可以将若干种身份特征识别技术灵活的结合使用，实现多模态身份特征识别方法，从而有效提高身份识别的精确度和准确性，适用场合灵活多样。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了多模态身份特征识别移动终端的核心架构图；

图2示出了移动终端各模块间的相互关系及其使用示意图；

图3示出了移动终端与远程数据管理中心的通信示意图；

图4示出了移动多模态身份特征识别终端实现方法的流程图；

图5示出了本发明的一个应用实施例，基于射频识别和指纹识别的移动身份识别方法的流程图；

图6示出了本发明的另一应用实施例，基于指纹识别和人脸识别的移动多模态身份特征识别方法的流程图。

图7示出了本发明的又一应用实施例，基于指纹识别的移动身份识别方法的流程图；

图8示出了本发明进一步的应用实施例，基于识别策略配置文件依次进行人脸、虹膜和指纹识别的移动多模态身份特征识别方法的流程图。

具体实施方式

下面结合附图以及实施例对本发明进行详细描述。

为了解决现有身份识别方法存在的问题，本发明提供了一种移动多模态身份特征识别方法及实现该方法的移动终端。本发明有效结合了射频识别、指纹识别、人脸识别和虹膜识别四种身份识别技术，使用者可以根据需要和应用场合(例如不同安全级别要求的环境)灵活选择其中一种或多种识别技术进行身份识别，也可以根据事先制订好并存储在移动终端上的识别策略配置文件进行身份识别，提高了身份识别方法的灵活性和准确性。本发明还具备无线通信功能、卫星通信功能和全球定位功能，能将识别结果和相关信息通过加密的无线通道实时传递给数据中心，实现设备与数据中心间的实时通信。

系统概述

本发明提供了一种实现多模态身份特征识别的移动终端100，其核心架构如图1所示。根据本发明的移动终端100主要包括12个核心模块：CPU101负责系统控制以及所有的数据计算和处理；可充电的电池模组102为整个移动终端进行供电；存储模块103用于存储已有数据信息，例如已注册IC卡信息、指纹特征模板、人脸特征模板、虹膜特征模板以及对应的身份信息，存储模块103可以用常规的存储器来实现，例如ROM、RAM、各种闪存卡等；输出模块104用于以声音、图像、文字等多种方式输出系统状态、摄像头采集到的图像、识别结果信息等内容，或提示人机交互信息；配置模块105用于配置系统控制信息和设置识别策略配置文件；输入模块106负责为用户提供输入接口向系统输入控制信息和交互信息，所述接口例如键盘、鼠标、触摸屏、触屏笔、语音等等；无线通信模块107负责日常的无线通信，支持Wi-Fi、GSM、GPRS和3G方式通信；卫星通信模块108利用卫星作为中继进行通信，负责特殊情况下的无线通信，扩大了通信范围；IC卡读取模块109负责读取IC卡信息；指纹采集模块110负责指纹图像采集；人脸采集模块111负责人脸图像采集；虹膜采集模块112负责虹膜图像采集。

图2示出了根据本发明的移动终端的各个功能模块间的相互关系以及数据走向示意图。供电模块201负责为移动终端其它所有模块供电，并可以通过交流电进行充电，可以利用图1所示的可充电的电池模组102来实现；系统控制及数据处理模块202为整个多模态身份特征识别方法的移动终端的中央控制系统，负责控制其它模块的操作并控制在各个模块之间进行数据交换，例如可以利用如图1所示的CPU101来实现中央控制的功能；通信模块203负责移动终端的通信功能，包括可以在日常通信状态下使用的无线通信模块和可以在特殊场合下使用的卫星通信模块，用于将移动终端收集的身份特征信息在系统控制及数据处理模块的控制下传送至远程数据管理中心进行验证，并接收来自远程数据管理中心的验证结果；数据存储模块204用于存储数据信息，包括图1所示的存储模块204，用来存储包含身份识别特征模版信息的数据信息；数据采集模块205负责各种身份信息数据的采集，根据本发明的移动终端可以实现四类信息的采集，即包括IC卡读取模块负责读取IC卡信息、指纹采集模块负责指纹图像采集、人脸采集模块负责人脸图像采集和虹膜采集模块负责虹膜图像采集；人机交互模块206负责用户与移动终端间的交互，包括输出模块用于输出系统状态、摄像头采集到的图像、识别结果信息等内容，配置模块用于使用户能够配置系统控制信息和设置识别策略配置文件等，以及输入模块负责输入控制信息和交互信息。

图3为根据本发明实现的多模态身份特征识别移动终端与远程数据管理中心的通信示意图。根据本发明的移动终端301具备了无线通信功能和卫星通信功能，因此可以通过基站303与远程数据管理中心302进行无线通信，也可以通过卫星304与远程数据管理中心进行卫星通信。远程数据管理中心302存储有身份识别特征模版信息的数据库并可以实现更大规模且更复杂的计算，移动终端301可以将其采集到的各种身份特征信息通过通信模块发送到远程数据管理中心进行比对以验证身份，或者可以将一部分的识别计算传输至远程数据管理中心进行。

根据本发明的身份特征识别移动终端提供了多模态的识别功能，即可以至少识别证件信息、指纹信息、人脸信息和虹膜信息中的任意一种，并可根据需要进行任意扩展和改变。根据不同应用场合的安全级别，可能选取不同的身份特征信息进行识别和验证，验证的项目和验证的顺序均可以事先通过对配置模块进行设定来实现，例如编写特定的配置文件。配置模块也可以通过人机交互模块中的输入模块来为用户提供开放自行设定配置模块和配置文件的权限，允许用户或设备的管理员根据需要自行设定验证的项目和顺序等条件，这为移动设备的应用带来了极大的灵活性，可使根据本发明的多模态身份特征识别移动终端在无需更改硬件的情况下适用于多种不同安全级别要求的场合。

图4示出了利用本发明所提供的多模态身份特征识别移动终端实现多模态身份特征识别的方法流程图，包括以下主要步骤：

S401：用户启动本移动终端，移动终端进行初始化，开始进行身份识别；

S402：通过人机交互模块提示用户，是否采用已有的配置文件进行识别。在某些安全级别要求比较高的场合，该步骤可以只对于特定的用户，例如管理员才允许执行该步骤，即可以让用户选择配置文件中定义的识别项目和顺序，也可以让用户自行设定识别项目和顺序。而对于非管理员的一般用户，移动设备可设置为默认直接让用户选择一种已有的配置文件而进行识别。

如果用户在步骤S402中选择了采用配置文件，则移动设备自行读取配置文件，进行后续的识别，即进入步骤S405；如果用户在步骤S402中选择不采用已有的配置文件，则进入步骤S403，允许用户自行定义需要识别的项目或顺序，例如只选择IC卡信息、指纹图像、人脸图像或虹膜图像中的一种或多种进行识别。进入步骤S405。

S405：根据配置文件的设置或用户的自行定义来采集并提取身份特征信息。根据本发明的多模态身份特征识别移动设备支持IC卡信息、指纹图像、人脸图像或虹膜图像的身份特征识别。如果获取的是IC卡信息，则通过IC卡读取模块，例如射频读卡器来读取用户的IC卡信息，读取后的信息直接或经处理作为用户的特征信息；如果是指纹图像、人脸图像或虹膜图像，则通过相应的指纹采集模块、人脸采集模块、虹膜采集模块将所采集到的图像生成相应的特征模板。

S406：将步骤S405中提取到的身份特征信息直接与移动终端上的数据存储模块中的数据库内容进行比对(即本地比对)，或者通过移动设备中的通信模块发送到远程数据管理中心与远程端存储的信息进行比对(即远程比对)。根据本发明，本地比对和远程对比可以单独进行也可以同时进行。优选地，本地对比也可以与远程比对的结果互相印证，以确保识别的准确性和安全性。例如，即使移动设备中的数据库内容被恶意篡改，只要通不过远程对比的认证，也可以防止非真实用户通过验证。提取到的身份特征信息既可以存储到数据存储模块中以便之后使用，也可以在完成比对后删除以防信息泄漏。

S407：根据比对结果，通过人机交互模块输出验证的结果。

根据本发明的所述各身份特征信息识别功能的详细实现方法如下。本领域技术人员可以理解的是，根据本发明的移动终端可采集的识别信息并不限于以上列出的IC卡信息、指纹图像、人脸图像或虹膜图像中的一种或多种，可以根据实际的需要任意设置实现数据采集的各个子功能模块。

1.射频识别功能

首先，本移动终端的操作者通过人机交互模块的输入功能或按照配置模块的设置选择射频识别功能，输出模块显示系统进入射频识别状态，输出模块还可以通过语音提示用户将IC卡靠近移动终端；

接着，用户将IC卡靠近本移动终端，IC卡读取模块自动读取IC卡信息；

然后，CPU将读取到的IC卡信息与已注册IC卡信息进行比对；如果已注册IC卡信息存储在本移动终端的存储模块，则比对在本移动终端进行；如果已注册IC卡信息存储在远程数据管理中心，则移动终端将读取到的IC卡信息通过无线通信模块或者卫星通信模块发送至远程数据管理中心比对，远程数据管理中心将比对结果发回至本移动终端；

最后，在通过本地或远程端进行比对后，通过人机交互模块的输出模块输出本次识别结果信息，并可以通过语音提示本次识别是否成功；本移动终端的操作者根据识别结果进行下一步操作，例如操作者可以选择是否启用别的身份特征识别功能再进行一次识别，或者直接认定用户身份合法。

2.指纹识别功能

首先，本移动终端的操作者通过人机交互模块的输入功能或按照配置模块的设置选择指纹识别功能，输出模块显示系统进入指纹识别状态，并发出语音提示用户将手指放置在指纹采集模块上；

接着，用户将曾经注册过指纹特征的手指放置在指纹采集模块上，指纹采集模块采集该手指的合格指纹图像，期间输出模块实时显示采集到的指纹图像；

然后，CPU将采集到的指纹图像转换成指纹特征模板，并与已注册的指纹特征模板进行比对；如果已注册指纹特征模板存储在本移动终端的存储模块，则比对在本移动终端进行；如果已注册指纹特征模板存储在远程数据管理中心，则移动终端将采集到的指纹特征模板通过无线通信模块或者卫星通信模块发送至远程数据管理中心比对，远程数据管理中心将比对结果发回至本移动终端；

最后，输出模块显示本次识别结果信息，并发出语音提示本次识别是否成功；本移动终端的操作者根据识别结果进行下一步操作，例如操作者可以选择是否启用别的身份特征识别功能再进行一次识别，或者直接认定用户身份合法。

3.人脸识别功能

首先，本移动终端的操作者通过人机交互模块的输入功能或按照配置模块的设置选择人脸识别功能，输出模块显示系统进入人脸识别状态，发出语音提示用户与移动终端保持一定距离，方便移动终端采集人脸图像；

接着，用户正面面对移动终端的人脸图像采集摄像头并保持一定距离，输出模块根据用户所处位置实时语音提示用户应该怎样移动以采集到合格人脸图像；

然后，CPU将采集到的人脸图像转换成人脸特征模板，并与已注册的人脸特征模板进行比对；如果已注册人脸特征模板存储在本移动终端的存储模块，则比对在本移动终端进行；如果已注册人脸特征模板存储在远程数据管理中心，则移动终端将采集到的人脸特征模板通过无线通信模块或者卫星通信模块发送至远程数据管理中心比对，远程数据管理中心将比对结果发回至本移动终端；

最后，输出模块显示本次识别结果信息，发出语音提示本次识别是否成功；本移动终端的操作者根据识别结果进行下一步操作，例如操作者可以选择是否启用别的身份特征识别功能再进行一次识别，或者直接认定用户身份合法。

4.虹膜识别功能

首先，本移动终端的操作者通过人机交互模块的输入功能或按照配置模块的设置选择虹膜识别功能，输出模块显示系统进入虹膜识别状态，发出语音提示用户正视移动终端的虹膜采集引导框；

接着，用户正视移动终端的虹膜图像采集引导框并根据输出模块的语音提示做出相应调整以便采集到合格虹膜图像；

然后，CPU将采集到的虹膜图像转换成虹膜特征模板，并与已注册的虹膜特征模板进行比对；如果已注册虹膜特征模板存储在本移动终端的存储模块，则比对在本移动终端进行；如果已注册虹膜特征模板存储在远程数据管理中心，则移动终端将采集到的虹膜特征模板加密后通过无线通信模块或者卫星通信模块发送至远程数据管理中心比对，远程数据管理中心将比对结果发回至本移动终端；

最后，输出模块显示本次识别结果信息，通过语音提示本次识别是否成功；本移动终端的操作者根据识别结果进行下一步操作，例如操作者可以选择是否启用别的身份特征识别功能再进行一次识别，或者直接认定用户身份合法。

优选地，可以将读取到的IC卡信息、指纹信息、人脸信息和虹膜信息通过加密的方式传送到远程数据管理中心，以确保数据传输的安全。

应用实施例

本发明有效结合了射频识别、指纹识别、人脸识别和虹膜识别至少四种身份识别技术，使用者可以根据需要灵活选择其中一种或多种识别技术进行身份识别，也可以根据事先制订好并存储在移动终端上的识别策略配置文件进行身份识别。例如对于安全要求较低的普通应用场合，使用者可以只通过验证持卡人的IC卡信息来识别身份；对于公安部门在密集人群进行的可疑人员身份排查工作，公安人员可以先验证可疑人员的二代身份证，再获取其指纹特征模板与其所持有身份证中存储的指纹特征进行比对，从而可以有效判断持证人与身份证登记人的身份是否一致；对于恐怖分子排查、通缉犯排查等安全要求性更高的场合，除了验证二代身份证、指纹外，还可以对其人脸、虹膜特征进行验证，以确保身份识别的准确性。以上应用场景中，如果没有事先制订识别策略配置文件，移动终端可允许用户自行设定并选取哪一种或哪几种技术进行识别，识别的顺序也可以完全由使用者根据需要制定，因此具有极大的灵活性；如果事先制订了识别策略配置文件并存储在移动终端上，则使用者可以根据识别策略配置文件规定的识别策略进行识别，对于不同级别的使用者可以强制要求必须使用配置文件规定的识别策略，因此增强了移动设备使用的安全性。

此外，以上描述的应用场景随时随地发生，并且很有可能发生在无电、无有线网络等条件艰苦的地区，以往的身份识别固定装置无法正常工作，而根据本发明的移动终端则可以由于以下配置可以适合于应用在多种复杂的工作场合。根据本发明的移动终端自带电源，可以不依赖外接电源工作，其配备的无线通信模块可以实现与数据管理中心的实时数据通信，并且可以支持卫星通信，即使在发生自然灾害或者爆发战争导致民用无线通信无法使用时，本移动终端仍然能够与数据管理中心正常通信。此外，本移动终端优选具有全球定位系统(GPS)芯片，具有全球定位功能，在需要的情况下可以实时将本移动终端的位置信息及时传递给远程数据管理中心，该功能对于及时准确定位本移动终端的位置信息非常有用。例如在战争状态下，前方作战部队通过配备本移动终端，可以安全且高效地与作战指挥中心联系，通过使用本移动终端具有的身份识别功能，可以确保信息是由具有合法身份的通讯员发出，本移动终端具有的卫星通信及全球定位功能则有助于指挥中心了解前方作战部队的实时位置信息，为指挥中心制定科学、可靠的支援和作战计划提供依据。

应用实施例1：

本实施例以公安人员在地铁、火车站等人员密集场合对可疑人员进行排查为例，结合根据本发明的移动终端，实现了一种基于射频识别和指纹识别的移动身份识别方法。

公安人员在地铁、火车站等人员密集场合对可疑人员实施排查是公安部门的一项重要工作，但是其强制性程度不高并且需要被排查人员的主动配合。以往在该场合下的身份识别方法一般是用二代身份证读卡器读取身份证信息，或者将身份证号输入电脑联网查询，这些方法的最大弊端是只能查验身份证，不能验证身份证持有人是否就是身份证所登记的公民本人。我国从2013年起，将对领取二代身份证的公民登记其指纹信息，基于此，本实施例所提出的移动身份识别方法将有效克服以往验证不验人的缺点，提高公安人员排查可疑人员工作的准确性和工作效率。

图5给出了本实施例下基于射频识别和指纹识别的移动身份识别方法的流程图。

步骤S501：当公安人员在地铁、火车站等人员密集场合对可疑人员进行排查时，公安人员发现可疑人员后向其出示工作证件并请可疑人员出示身份证。可疑人员回应是否携带有身份证，如果携带有身份证，则进入到步骤S502，否则进入到步骤S503。

步骤S502：公安人员将可疑人员的身份证靠近移动终端，移动终端自动读取身份证中存储的公民身份信息和其申领身份证时注册的指纹特征模板。

步骤S503：由于可疑人员没有携带身份证，公安人员向其询问例如姓名、身份证号等身份信息，并人工输入到移动终端中。

步骤S504：公安人员请可疑人员将曾经注册过指纹信息的手指放置在移动终端的指纹采集模块上，移动终端采集到可疑人员的合格指纹图像。

步骤S505：移动终端将采集到的指纹图像转换成指纹特征模板，并判断是否需要进行远程比对。如果移动设备的存储模块存储有身份信息数据库，或此时的安全级别不需要进行远程比对，则进入到步骤S506，否则进入到步骤S507。

步骤S506：在移动终端内部存储有身份信息数据库的情况下，可以在移动终端内部验证读取到的身份信息是否合法，比对采集到的指纹特征模板是否与证件上存储的注册指纹特征模板一致，并且将采集到的指纹特征模板和证件上存储的注册指纹特征模板分别与身份信息数据库中的指纹特征模板进行比对，以确保其合法性，下一步进入到步骤S509。

步骤S507：在移动终端内部没有存储身份信息数据库的情况下或除了本地比对还需要远程比对的结果相互印证的情况下，还可以使移动终端自动将读取到的身份信息和采集到的指纹特征模板加密后通过通信模块以无线通信方式或卫星通信发送到远程数据管理中心，下一步进入步骤S508。

步骤S508：远程数据管理中心收到移动终端发来的身份信息和指纹特征模板，验证身份信息是否合法，包括验证采集到的指纹特征模板是否与证件上存储的注册指纹特征模板一致，采集到的指纹特征模板、证件上存储的注册指纹特征模板是否与身份信息数据库中的指纹特征模板一致，并将比对结果加密后通过无线通信方式传给移动终端，下一步进入步骤S509。

步骤S509：移动终端将比对结果在输出模块上显示，并发出语音提示。优选地，移动终端可以先将远程比对的结果与本地比对的结果进行印证通过后再进行显示。

步骤S510：公安人员根据比对结果进行后续操作。

上述介绍的实施流程只是给出了一个简单的示例，具体到实际操作时公安人员可以有很大的灵活性，例如公安人员可以不验证可疑人员的身份证而是直接识别其指纹信息，因为指纹信息要比证件更可靠；对于特别可疑的排查对象，如果身份证和指纹信息没有可疑之处，公安人员还可以对其人脸进行识别，因为现在很多场所都有监视摄像头，可疑人员作案时可能被拍到了脸部特征。

应用实施例2：

本实施例以恐怖分子排查、通缉犯排查等场合下开展身份识别为例，实现了一种基于指纹识别和人脸识别的移动多模态身份特征识别方法。

对于恐怖分子和通缉犯等高危险性人员的排查，这些人员一般会以各种理由拒绝提供身份证件和身份号码，通过验证身份证来识别其身份变得非常困难。因此本实施例给出了一种不验证身份证而识别其身份的方法，实施步骤如图6所示。

步骤S601：当公安人员发现有重大犯罪嫌疑的嫌疑人时，对其出示工作证件并要求其配合开展身份排查工作。

步骤S602：公安人员要求嫌疑人与移动终端保持恰当距离并正面面对移动终端，移动终端采集嫌疑人的合格人脸图像。

步骤S603：移动终端将采集到的人脸图像转换成人脸特征模板。

步骤S604：嫌疑人轮流将各手指放置在移动终端的指纹采集模块上，移动终端采集到可疑人员所有手指的合格指纹图像。

步骤S605：移动终端将采集到的指纹图像转换成指纹特征模板，并判断是否需要对犯罪嫌疑人的身份特征信息进行远程比对。如果移动设备的存储模块存储有犯罪嫌疑人的身份特征信息数据库，或此时的安全级别不需要进行远程比对，则进入到步骤S606，否则进入到步骤S607。

步骤S606：在移动终端内部存储有需要比对的犯罪嫌疑人的身份特征信息数据库且无需远程比对时，在移动终端内部比对采集到的人脸特征模板和指纹特征模板，下一步进入到步骤S609。

步骤S607：在移动终端内部没有存储需要比对的犯罪嫌疑人的身份特征信息数据库或需要远程比对时，移动终端自动将采集到的人脸特征模板和指纹特征模板加密后通过无线通信模块发送到远程数据管理中心，下一步进入步骤S608。

步骤S608：远程数据管理中心收到移动终端发来的人脸特征模板和指纹特征模板，将这些信息与犯罪嫌疑人身份特征信息数据库中存储的人脸特征模板和指纹特征模板进行比对，并将比对结果加密后通过无线通信方式传给移动终端，下一步进入步骤S609。

步骤S609：移动终端将比对结果在输出模块上显示，并发出语音提示。优选地，移动终端可以先将远程比对的结果与本地比对的结果进行印证通过后再进行显示。

步骤S610：公安人员根据比对结果进行后续操作。

上述介绍的实施流程只是给出了一个简单的示例，考虑到虹膜信息作为身份特征识别信息应用尚不广泛，绝大多数公民目前都还没有采集虹膜信息，因此本实施例没有采用虹膜识别这一最精确的身份识别技术。随着对虹膜技术的进一步研究以及采集成本下降，虹膜信息将会逐步发展成像指纹信息一样成为每个公民都必须登记的身份信息，到那时在实际操作时公安人员将可以有更大的灵活性对嫌疑人进行排查并且提高准确性。

应用实施例3：

本实施例以发生重大自然灾害后对受灾群众进行身份识别为例，实现了一种基于指纹识别的移动身份识别方法。

在发生重大自然灾害后，很大一部分受灾群众的身份证和户口本都在灾害发生后遗失，因此无法对其身份进行准确识别，从而给统计损失伤亡情况、发放救济物资和补助金等灾后重建工作的顺利开展带来了很大的麻烦。本实施例给出了一种通过指纹识别快速识别受灾群众身份的方法，实施步骤如图7所示。

步骤S701：民政工作人员指导受灾群众将曾经注册过指纹信息的手指放置在移动终端的指纹采集模块上，移动终端采集到合格的指纹图像。

步骤S702：移动终端将采集到的指纹图像转换成指纹特征模板。并判断是否需要对被检人员的身份信息进行远程比对。如果移动设备的存储模块存储有被检人员的身份信息数据库，或此时的安全级别不需要进行远程比对，则进入到步骤S703，否则进入到步骤S704。

步骤S703：在移动终端内部存储有身份信息数据库或无需远程比对时，在移动终端内部将采集到的指纹特征模板与身份信息数据库中存储的指纹特征模板进行比对，下一步进入到步骤S706。

步骤S704：在移动终端内部没有存储身份信息数据库或需要远程比对时，移动终端自动将采集到的指纹特征模板加密后通过卫星通信模块发送到远程数据管理中心，该步骤中使用卫星通信模块而不是无线通信模块是因为发生重大自然灾害后，普通的民用无线通信已经不能正常使用并且需要较长时间才能修复。下一步进入步骤S705。

步骤S705：远程数据管理中心收到移动终端发来的指纹特征模板，将该指纹特征模板与身份信息数据库中的已注册指纹特征模板进行比对，并将比对结果加密后通过卫星通信方式传给移动终端，下一步进入步骤S706。

步骤S706：移动终端将比对结果在输出模块上显示，并发出语音提示。优选地，移动终端可以先将远程比对的结果与本地比对的结果进行印证通过后再进行显示。

步骤S707：民政工作人员根据比对结果进行后续操作，例如在确认受灾群众身份后为其制作临时身份证件，发放救灾物资、补助金等。

应用实施例4：

本实施例以战争时期作战部队与指挥中心通信时的身份验证为例，实现了一种高精度的基于指纹识别、人脸识别和虹膜识别的移动多模态身份特征识别方法。

战争时期的通信安全直接决定了现代战争的成败，如何有效保证通信的可靠性并且避免被敌军伪造起着至关重要的作用。由于战争时期通信对于通讯员身份验证工作的高精确性和高安全性要求，本实施例中在移动终端上预先设置了识别策略配置文件，识别策略配置文件规定通讯员必须进行指纹识别、人脸识别和虹膜识别来验证通讯员的身份，从而实现了一种基于指纹识别、人脸识别和虹膜识别的高精度移动多模态身份特征识别方法。其实施步骤如图8所示。

步骤S801：通讯员使用移动终端向指挥中心发起通信请求，移动终端可以设定为自动检测预先设定的识别策略配置文件。

步骤S802：移动终端按照识别策略配置文件制定的策略，提示通讯员依次采集身份特征信息。因为IC卡的安全程度最低并且容易丢失，因此本实施例中不使用IC卡作为通讯员身份识别所需的信息。本实施例同时使用了指纹、人脸、虹膜这三项身份特征信息作为身份识别依据，并依次对这三种身份特征信息进行识别并验证，对身份识别通过提出高要求的同时也提高了身份识别的可靠性。在实际使用中用户可以灵活制定策略，并不需要强制使用本实施例中使用的策略。

步骤S803：通讯员与移动终端保持恰当距离并正面面对移动终端，移动终端采集通讯员的合格人脸图像。

步骤S804：移动终端将采集到的人脸图像转换成人脸特征模板。

步骤S805：通讯员靠近移动终端的虹膜图像采集模块并正视虹膜图像采集摄像头，虹膜图像采集模块采集通讯员的合格虹膜图像。

步骤S806：移动终端将采集到的虹膜图像转换成虹膜特征模板。

步骤S807：通讯员将手指放置在移动终端的指纹采集模块上，移动终端采集到通讯员的合格指纹图像。

步骤S808：移动终端将采集到的指纹图像转换成指纹特征模板。

步骤S809：移动终端采集到人脸特征模板、虹膜特征模板和指纹特征模板后，将相关身份特征信息、移动终端信息(如移动终端编号等)、移动终端所处的位置信息等加密后通过卫星通信模块发送到指挥中心，发送完成后移动终端将相关身份特征信息从移动终端上彻底删除防止信息泄露。

步骤S810：指挥中心收到移动终端发送来的通信请求，将传来的身份特征模板与通讯员身份信息数据库中存储的身份特征模板进行比对。如果比对通过则下一步进入步骤S811，否则进入步骤S812。

步骤S811：指挥中心将比对成功的结果加密后发送至移动终端，并建立卫星通信连接。

步骤S812：指挥中心将比对失败的结果加密后发送至移动终端，并拒绝建立卫星通信连接。

需要注意的是，本实施例中通讯员的所有身份特征都不存储在移动终端的存储模块上，一旦完成身份特征采集并通过卫星通信模块上传后就从移动终端上彻底删除，避免敌方得到移动终端后从中获取通讯员的合法身份信息。

步骤S809中上传的移动终端信息和移动终端的位置信息对于作战指挥中心是非常有用的，例如当同一台移动终端连续发出若干次失败的通信请求后，指挥中心有理由怀疑该移动终端的使用者不再是我方人员并将该移动终端列入黑名单。移动终端的位置信息可以帮助指挥中心全面掌握作战部队的实时位置，为制定作战计划提供重要依据。

有益效果

本发明提供的移动多模态身份特征识别方法及实现该方法的移动终端具有以下优点：

1、本发明提供的移动多模态身份特征识别方法具有射频识别、指纹识别、人脸识别和虹膜识别四种先进的身份识别技术，提高了身份识别的准确性；

2、识别策略可以根据使用者需求灵活制定，也可以在移动终端中通过设置识别策略配置文件强制使用某种或某几种识别技术，提高了识别策略制定的灵活性；

3、根据本发明的移动终端小巧、轻便，配备有高容量电池，可以灵活、自如地在恶劣环境下正常工作；

4、根据本发明的移动终端自带CPU和存储单元，使得本发明提供的移动多模态身份特征识别方法可以在移动终端内实现注册和识别功能；

5、根据本发明的移动终端具备无线通信功能，支持Wi-Fi、GSM、3G等民用无线通信，使得本发明提供的移动多模态身份特征识别方法能将相关数据发送到远程数据管理中心进行处理，从而有效拓展了本移动终端的使用范围；

6、根据本发明的移动终端具备卫星通信功能，支持海事卫星通信系统(Inmarsat)、铱星通信系统(Iridium)、全球星通信系统(Globalstar)和北斗通信系统。在民用无线通信不能使用时，本移动终端通过卫星通信仍然能与远程数据管理中心联系，确保了本移动终端使用的稳定性；

7、根据本发明的移动终端具备全球定位功能，支持全球定位系统(GPS)、伽利略系统(GALILEO)、格洛纳斯系统(GLONASS)和北斗系统(CNSS)。移动终端可以实时获取位置信息并传递给远程数据管理中心，该信息在很多情况下都具有重要作用。

8、根据本发明的移动终端可以将本地的身份特征信息比对与远程的数据管理中心的身份特征信息比对以灵活的方式互相结合，以确保更高的安全性并满足不同安全级别要求的场合的需要。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是显而易见的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (10)

1.一种实现多模态身份特征识别的移动终端，所述移动终端包括系统控制及数据处理模块、通信模块、数据存储模块、数据采集模块、人机交互模块和供电模块，其中，

所述系统控制及数据处理模块用于控制所述移动终端的各个模块的操作并控制在各个模块之间进行数据交换；

所述通信模块包括无线通信模块和卫星通信模块，用于将所述移动终端收集的身份特征信息在系统控制及数据处理模块的控制下传送至远程数据管理中心进行验证，并接收来自远程数据管理中心的验证结果；

所述数据存储模块用于存储包含身份特征模版信息的数据信息；

所述数据采集模块用于采集IC卡信息、指纹图像、人脸图像和虹膜图像中的至少一种；

所述人机交互模块提供用户与所述移动终端间的交互，包括用于输出系统状态、图像和识别结果信息的输出模块，用于使用户配置系统控制信息和设置配置文件的配置模块，以及用于向系统输入控制信息和交互信息的输入模块；

所述供电模块用于为移动终端中的所有模块供电，并通过交流电进行充电。

2.如权利要求1所述的移动终端，还包括全球定位系统芯片，用于将所述移动终端的位置信息传递给所述远程数据管理中心。

3.如权利要求1所述的移动终端，其中所述配置模块设置为根据不同应用场合的安全级别，选取不同的身份特征识别信息进行识别和验证。

4.如权利要求1所述的移动终端，其中所述数据采集模块提取到的身份特征信息与所述数据存储模块中存储的模版信息进行比对，和/或通过所述通信模块发送到远程数据管理中心与其上存储的模版信息进行比对。

5.一种利用移动终端实现多模态身份特征识别的方法，所述移动终端包括系统控制及数据处理模块、通信模块、数据存储模块、数据采集模块、人机交互模块和供电模块，所述方法包括下列步骤：

a)将所述移动设备进行初始化；

b)通过所述人机交互模块提示用户是否采用已有的配置文件进行识别；

c)如果用户在步骤b)中采用所述已有的配置文件，则所述移动设备读取所述配置文件，若不采用已有的配置文件，则允许用户自行定义需要识别的项目或顺序；

d)根据所述配置文件的设置或用户的自行定义来采集并提取身份特征信息；

e)将提取到的身份特征信息与所述数据存储模块中存储的模版信息进行比对，和/或通过所述通信模块发送到远程数据管理中心与其上存储的模版信息进行比对；

f)根据所述比对结果，通过人机交互模块输出验证的结果。

6.如权利要求5所述的方法，其中所述步骤b)仅允许特定安全级别下的场合的特定用户执行。

7.如权利要求5所述的方法，其中所述身份特征信息包括IC卡信息、指纹图像、人脸图像和虹膜图像。

8.如权利要求5所述的方法，其中对在所述步骤e)中所提取到的身份特征信息与所述数据存储模块中存储的模版信息的比对结果与通过所述通信模块发送到远程数据管理中心与其上存储的模版信息的比对结果互相印证。

9.如权利要求5所述的方法，其中将所提取到的身份特征信息通过所述通信模块以加密的方式发送到所述远程数据管理中心。

10.如权利要求5所述的方法，其中在步骤d)中提取的身份特征信息存储在数据存储模块中或在完成比对后删除。

Images