CN105426849A - 多模态生物识别装置及其进行图像采集的方法 - Google Patents

Abstract

本发明公开了一种多模态生物识别装置及其进行图像采集的方法，属于生物识别领域，所述多模态生物识别装置，包括控制单元、内存和多个图像采集装置，还包括数据选择器，所述控制单元的数据端经所述数据选择器连接所述多个图像采集装置的数据端，所述控制单元的选通控制端连接所述数据选择器的选通控制端，所述内存中开辟有用于存储所述多个图像采集装置采集到的图像数据的缓存空间。与现有技术相比，本发明的多模态生物识别装置能够在控制单元的一个摄像头接口上连接多个图像采集装置，采集多路图像，节省控制单元的资源，并且降低功耗。

Description

多模态生物识别装置及其进行图像采集的方法

技术领域

本发明涉及生物识别领域，特别是指一种多模态生物识别装置及其进行图像采集的方法。

背景技术

生物识别技术主要是指通过人类生物特征进行身份认证的一种技术，人类的生物特征通常具有唯一性、可以测量或可自动识别和验证、遗传性或终身不变等特点，因此生物识别认证技术较传统认证技术存在较大的优势。用于生物识别的生物特征有手形、指纹、人脸、虹膜、视网膜、脉搏、耳廓等，人们已经发展了手形识别、指纹识别、人脸识别、虹膜识别等多种生物识别技术。

生物识别技术在各个领域得到了广泛的应用，出现了各种各样的生物识别装置，并且为了提高认证的准确率以及拓展适用范围，逐渐出现了使用多种生物特征进行组合认证的装置，本发明称其为多模态生物识别装置。

多模态生物识别装置需要采集多种生物特征。但是每个生物特征在采集时需要的条件不同，如环境的光照条件(包括光照强度和允许通过的光线波长范围等)不同，图像采集装置(这里的图像采集装置包括光学镜头、图像传感器和滤光器，以及它们的附属元件等)的焦距也不同，等等。如果使用一个图像采集装置采集多种生物特征的话，有两种工作模式，一种是分多次分别采集多种生物特征，另一种是一次采集一张全景图片，从全景图片上提取出多种生物特征，这样会对多模态生物识别装置的软件和硬件有很高的要求，具体为：

1、图像采集装置的硬件要求高(要求焦距可调、光照强度可调、允许通过的光线波长范围可调等)，这就势必会使得图像采集装置的结构复杂，各个元件的性能高。成本将会增加。

2、复杂的图像采集装置必然要求复杂的控制程序，需要很多算法，对控制单元的运算速率等有较高的要求。导致图像采集装置的采集效率低，而且会增加成本。

3、全景图片要求分辨率高，一张图片占的内存大，对内存要求高。使得多模态生物识别装置的运行速度慢，而且会增加成本。

因此，在多模态生物识别装置中，一般考虑用多个图像采集装置分别采集多种生物特征来解决上述问题。例如，在采用人脸特征和虹膜特征的多模态生物识别装置中，使用四个图像采集装置采集图像。一个用于采集人脸图像，一个用于拍摄场景，另外两个分别用于采集虹膜左眼和右眼图像。在多模态生物识别装置启动后，分别对四个图像采集装置进行相应的初始化配置，根据相应的驱动信号调用相应的图像采集装置工作。但是，每一个图像采集装置都需要连接控制单元的一个摄像头接口(CameraInterface)，如图1所示，有的控制单元的摄像头接口一般较少(一个或两个)，很难满足多个图像采集装置，而有多个摄像头接口的控制单元一般在其他的方面不尽如人意，很难满足多模态生物识别装置的要求。

发明内容

本发明提供一种多模态生物识别装置及其进行图像采集的方法，该装置能够在控制单元的一个摄像头接口上连接多个图像采集装置，采集多路图像，节省控制单元的资源，并且降低功耗。

为解决上述技术问题，本发明提供技术方案如下：

一种多模态生物识别装置，包括控制单元、内存和多个图像采集装置，还包括数据选择器，所述控制单元的数据端经所述数据选择器连接所述多个图像采集装置的数据端，所述控制单元的选通控制端连接所述数据选择器的选通控制端，所述内存中开辟有用于存储所述多个图像采集装置采集到的图像数据的缓存空间。

一种上述的多模态生物识别装置进行图像采集的方法，包括：

控制单元通过串行控制端发送串行控制信号，对所述多个图像采集装置进行初始化；

初始化控制单元的摄像头单元；

当需要采集图像数据时，控制单元判断当前接通的图像采集装置是否为希望使用的图像采集装置，若否，控制单元控制数据选择器接通希望使用的图像采集装置。

本发明具有以下有益效果：

本发明的数据选择器包括多组数据接口，其中一组作为输出端，连接控制单元的数据端，其他组作为输入端，分别连接多个图像采集装置的数据端；控制单元的选通控制端其实就是输出地址的管脚，数据选择器的选通控制端其实就是地址管脚，通过控制单元发出的地址，控制数据选择器的某一组数据接口导通，其他组数据接口断开，这一组数据接口连接的图像采集装置就能与控制单元进行数据传输。采集到的图像数据发送到内存中的缓存空间中，当图像数据发送完毕，从缓存空间中取走。

并且，一般的图像采集装置都有两种模式：休眠模式(低功耗)和正常运行模式。本发明还可以将未选通的图像采集装置设置为休眠模式，降低功耗。

本发明能够在控制单元的一个摄像头接口上连接多个图像采集装置，采集多路图像，节省控制单元的资源，并且降低功耗。

附图说明

图1为控制单元与图像采集装置的连接示意图；

图2为本发明的多模态生物识别装置一个实施例的示意图；

图3为本发明中的帧同步信号和行同步信号的一个实施例的示意图；

图4为本发明的多模态生物识别装置进行图像采集的方法的原理流程图；

图5为本发明的多模态生物识别装置进行图像采集的方法的一个实施例的总体流程图；

图6为本发明的多模态生物识别装置进行图像采集的方法的一个实施例中的虹膜识别流程图；

图7为本发明的多模态生物识别装置进行图像采集的方法的一个实施例中的人脸识别和场景图片保存流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明提供一种多模态生物识别装置，如图2所示，包括控制单元1、内存2和多个图像采集装置3，还包括数据选择器4，控制单元1(实际上是控制单元的摄像头接口，下同)的数据端经数据选择器4连接多个图像采集装置3的数据端，控制单元1的选通控制端连接数据选择器4的选通控制端，内存2中开辟有用于存储多个图像采集装置3采集到的图像数据的缓存空间。

本发明的控制单元一般为CPU或MCU，它包括有摄像头接口(CameraInterface)，摄像头接口连接的是控制单元中进行图像处理的部分，我们称之为摄像头单元(CameraUnit)；图像采集装置包含采集镜头和图像传感器，如图1所示，以及它们的附属机构；数据选择器(dataselector)有时也叫做多路选择器或多路调制器(multiplexer)，它能够根据给定的选择信号(实际上是地址代码)，从一组输入信号中选出指定的一个送至输出端的组合逻辑电路。

本发明的数据选择器包括多组数据接口，其中一组作为输出端，连接控制单元的数据端，其他组作为输入端，分别连接多个图像采集装置的数据端(数据选择器的输入端和输出端没有严格的定义，哪一组接到控制单元上，哪一组就是输出端，通过编程将其设为输出端，其他组设为输入端)；控制单元的选通控制端其实就是输出地址的管脚，数据选择器的选通控制端其实就是地址管脚，通过控制单元发出的地址，控制数据选择器的某一组数据接口导通，其他组数据接口断开，这一组数据接口连接的图像采集装置就能与控制单元进行数据传输。采集到的图像数据发送到内存中的缓存空间中，当图像数据发送完毕，从缓存空间中取走。

并且，一般的图像采集装置都有两种模式：休眠模式(低功耗)和正常运行模式。本发明还可以将未选通的图像采集装置设置为休眠模式，降低功耗。更进一步的，若某个或某几个图像采集装置需要频繁的切换，那么该图像采集装置在未选通时也可以不设置为休眠模式，简化操作。

本发明能够在控制单元的一个摄像头接口上连接多个图像采集装置，采集多路图像，节省控制单元的资源，并且降低功耗。

在进行图像数据传输时，需要用到帧同步信号和行同步信号，具体的，控制单元的帧同步信号端经数据选择器连接多个图像采集装置的帧同步信号端，控制单元的行同步信号端经数据选择器连接多个图像采集装置的行同步信号端。

在进行图像数据传输时，需要判断什么时候开始和结束整张图像的传输，这就需要帧同步信号，帧同步信号是控制单元发出的，图像采集装置在收到帧同步信号后，开始准备传输图像，再次收到帧同步信号后，结束图像的传输；进一步的，在一幅图像数据的传输过程中，需要判断什么时候开始图像某一行的传输，这就需要行同步信号，行同步信号是控制单元发出的，图像采集装置在收到行同步信号后(前提是已经收到了帧同步信号)，开始准备传输图像的一行像素，再次收到行同步信号后，传输图像的下一行像素。

帧同步信号和行同步信号能够避免图像传输的错误，而且能够通过帧同步信号判断图像是否传输完毕。

本发明在使用前或使用中，经常需要对图像采集装置进行设置和初始化等操作，这就需要用到串行控制总线(I2C或SPI)，具体的，控制单元的串行控制端经数据选择器连接多个图像采集装置的串行控制端，控制单元的复位端经数据选择器连接多个图像采集装置的复位端。这样能够方便的对各个图像采集装置进行设置和复位等。

控制单元需要对数据选择器和图像采集装置提时钟信号，具体的，控制单元的时钟信号端经数据选择器连接多个图像采集装置的时钟信号端。控制单元的时钟信号为数据选择器和图像采集装置提供工作时钟，或者数据选择器和图像采集装置根据该时钟信号生成自身的时钟。

常用的生物特征有人脸和虹膜，本发明的图像采集装置可以包括人脸图像采集装置、虹膜图像采集装置(进一步可以分为左眼虹膜图像采集装置和右眼虹膜图像采集装置)和场景图像采集装置中的一个或多个。本发明能够采集到人脸图像、虹膜图像和场景图像，方便后续的人脸识别和虹膜识别。

另外，本发明的数据选择器可以是各种类型，包括CPLD(复杂可编程逻辑器件)、PAL(可编程阵列逻辑)或GAL(通用阵列逻辑)，优选为CPLD。CPLD、PAL和GAL都是可编程的，能够方便的定义各个管脚的功能，因此前面所列的各个管脚只是它的一种编程方式，实际上还有其他方式。控制单元的内核可以为ARM-A8，体积较小且处理速度快。

优选的，数据选择器的型号可以为XC95144，控制单元的型号可以为三星S5PV210。

另一方面，本发明提供一种上述任一的多模态生物识别装置进行图像采集的方法，如图4所示，包括：

控制单元通过串行控制端发送串行控制信号，对多个图像采集装置进行初始化；控制单元通过轮询的方式初始化多个图像采集装置。

初始化控制单元的摄像头单元；配置相应的寄存器，产生帧同步信号和行同步信号，并将它们进行缓存。

当需要采集图像数据时，控制单元判断当前接通的图像采集装置是否为希望使用的图像采集装置，若否，控制单元控制数据选择器接通希望使用的图像采集装置。

初始化完毕后，当需要采集图像数据时，控制单元判断当前接通的图像采集装置是否为希望使用的图像采集装置，若否，控制单元控制数据选择器接通希望使用的图像采集装置；控制单元根据运行的程序判断是否需要采集图像数据，以及判断当前接通的图像采集装置是否为希望使用的图像采集装置，例如，当正在进行的是虹膜图像采集，然后程序运行到人脸图像采集的步骤，那么控制单元就会通过其选通控制端发出选通控制信号(其实就是人脸图像采集装置对应的地址信号)，数据选择器就会接通人脸图像采集装置。

本发明中，如果当前接通的图像采集装置不是希望使用的图像采集装置，就要进行切换，切换后即可通过图像采集装置采集图像。本发明实现了在控制单元的一个摄像头接口上连接多个图像采集装置，采集多路图像，节省了控制单元的资源。并且本发明只需控制数据选择器即可，不用二外配置其他的寄存器，提高了效率。

切换到需要的图像采集装置之后，就可以将图像采集装置采集的图像发送到缓存空间中，具体为：

清空缓存空间；由于多个图像采集装置共用一个缓存空间，因此切换图像采集装置后，缓存空间中可能已经存在前一幅图像的数据，如果直接继续向缓存空间中写入后一幅图像的数据，那么在缓存空间里面就有前一幅图像的数据和后一幅图像的数据。如果缓存空间中的数据存在完整的帧头，就会把这个混合数据当成一幅图片，这幅图片一半是前一幅图像，一半是后一幅图像(拼接图或者叠加图)。如果缓存空间中的数据不存在完整的帧头，会被认为这一串数据根本就不是一幅图片，造成黑图。因此需要清空缓存空间。

初始化控制单元的摄像头单元；由于图像数据传输中需要用到帧同步信号和行同步信号，而它们都是控制单元的摄像头单元发出的(帧同步信号和行同步信号是根据图像的大小预先设定的)，若切换图像采集装置后，控制单元继续发出之前未完成的帧缓冲信号和行缓冲信号，就会造成数据接收错误(即帧缓冲信号和行缓冲信号与接收的数据不匹配)，造成黑图和无图等情况，因此需要初始化控制单元的摄像头单元，具体为初始化控制单元的摄像头单元的帧同步信号和行同步信号，以及相关寄存器等。

本发明中，清空缓存空间和初始化控制单元的摄像头单元并没有严格的先后时间关系。

将当前接通的图像采集装置采集到的图像数据发送到缓存空间；图像采集装置切换完毕，并且缓存空间已清空，控制单元的帧同步信号和行同步信号已经初始化后，就可以进行图像数据的传输了。

本发明避免了图像数据传输错误的问题。

本发明中，将当前接通的图像采集装置采集到的图像数据发送到缓存空间的具体过程可以包括：

根据控制单元发出的帧同步信号开始准备发送图像数据；图像采集装置在收到帧同步信号后，开始准备一张图像数据的传输。

根据控制单元发出的行同步信号发送图像数据的各行；图像采集装置在收到帧同步信号后，又收到行同步信号，就会开始将图像中的一行数据进行传输(一行数据不是一次传输完毕的，也是按照时序一个个的传输)，传输完毕后，若再收到行同步信号，则进行下一行的传输，直到再次收到帧同步信号。

根据控制单元再次发出的帧同步信号结束对图像数据的发送；图像采集装置再次收到帧同步信号后，表示该张图像已经传输完毕，停止传输。

图3给出了帧同步信号和行同步信号的时序图，VSYNC一行中，两个高电平为帧同步信号，两个高电平之间表示一张图像；HREF一行中，各个低电平为行同步信号，两个低电平之间表示一行图像；HSYNC一行中，各个低电平为行同步信号，两个低电平之间表示一行图像；最后一行为数据。

本发明通过帧同步信号和行同步信号进行图像数据的传输，避免了图像传输的错误，而且能够通过帧同步信号判断图像是否传输完毕。

本发明中的缓存空间的大小可以与图像数据的大小相同；此时：

将当前接通的图像采集装置采集到的图像数据发送到缓存空间进一步为：通过DMA技术将当前接通的图像采集装置采集到的图像数据发送到缓存空间。

本发明实用DMA(直接内存存取)技术将图像数据直接发送到缓存空间中，速度快，进一步节省控制单元的资源。

当一张图像传输完毕后，从缓存空间中取走，用于后续的过程，然后清空缓存空间，为再次接收下一张图像做准备。

以上述提到的使用人脸特征和虹膜特征的多模态生物识别装置，其图像采集装置包括人脸图像采集装置、左眼虹膜图像采集装置、右眼虹膜图像采集装置和场景图像采集装置。在应用中可以设置不同的认证模式，例如单一人脸认证、单一虹膜认证、虹膜+人脸认证。下面使用虹膜+人脸认证方式进行详细说明。总流程见图5，虹膜识别详细过程如图6，人脸识别和场景图片保存详细过程如图7。

第一步：控制单元通过选择器轮训对每个图像采集装置通过I2C初始化参数，使每个图像采集装置都处于正常运行状态。此时图像采集装置将会把图像数据通过数据线传出。

第二步：虹膜的识别，依次切换左右眼图像采集，并以此在显示屏上显示(人机交互)。将采集的图像从缓存空间读出。采集完成后先识别左眼，再识别右眼。结果存在三种情况：1、两只眼睛同时识别通过，进入下一步骤。2、两只眼睛都没有通过将会重复虹膜识别过程。3、如果只有一只眼睛识别通过，另一只眼睛没有通过，会重复虹膜识别过程，但下一个流程将会跳过识别过的眼睛。详细流程图见虹膜识别详细过程，如图6。

第三步：当虹膜识别成功后，将进入人脸的识别过程。先是将图像采集装置切换到人脸图像采集装置，切换之后采集人脸图片，并显示在屏幕上。下一步识别人脸，识别通过会结束人脸识别流程。如果失败，不用切换只需重新采集人脸图片进行显示和识别即可。

详细过程见人脸识别和场景图片保存详细过程，如图7。

第四步：人脸识别成功后将会采集场景图片，先切换场景图像采集装置，然后采集场景图像(包括人脸及背景图)，保存场景图像。然后一个完整的过程就结束了。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种多模态生物识别装置，包括控制单元、内存和多个图像采集装置，其特征在于，还包括数据选择器，所述控制单元的数据端经所述数据选择器连接所述多个图像采集装置的数据端，所述控制单元的选通控制端连接所述数据选择器的选通控制端，所述内存中开辟有用于存储所述多个图像采集装置采集到的图像数据的缓存空间。

2.根据权利要求1所述的多模态生物识别装置，其特征在于，所述控制单元的帧同步信号端经所述数据选择器连接所述多个图像采集装置的帧同步信号端，所述控制单元的行同步信号端经所述数据选择器连接所述多个图像采集装置的行同步信号端。

3.根据权利要求2所述的多模态生物识别装置，其特征在于，所述控制单元的串行控制端经所述数据选择器连接所述多个图像采集装置的串行控制端，所述控制单元的复位端经所述数据选择器连接所述多个图像采集装置的复位端。

4.根据权利要求3所述的多模态生物识别装置，其特征在于，所述控制单元的时钟信号端经所述数据选择器连接所述多个图像采集装置的时钟信号端。

5.根据权利要求1-4任一所述的多模态生物识别装置，其特征在于，所述图像采集装置包括人脸图像采集装置、虹膜图像采集装置和场景图像采集装置中的一个或多个。

6.一种权利要求1-5任一所述的多模态生物识别装置进行图像采集的方法，其特征在于，包括：

控制单元通过串行控制端发送串行控制信号，对所述多个图像采集装置进行初始化；

初始化控制单元的摄像头单元；

当需要采集图像数据时，控制单元判断当前接通的图像采集装置是否为希望使用的图像采集装置，若否，控制单元控制数据选择器接通希望使用的图像采集装置。

7.根据权利要求6所述的方法，其特征在于，所述控制单元控制数据选择器接通希望使用的图像采集装置之后还包括：

清空缓存空间；

初始化控制单元的摄像头单元；

将当前接通的图像采集装置采集到的图像数据发送到所述缓存空间。

8.根据权利要求7所述的方法，其特征在于，所述将当前接通的图像采集装置采集到的图像数据发送到所述缓存空间包括：

根据控制单元发出的帧同步信号开始准备发送图像数据；

根据控制单元发出的行同步信号发送图像数据的各行；

根据控制单元再次发出的帧同步信号结束对图像数据的发送。

9.根据权利要求6至8任一所述的方法，其特征在于，所述缓存空间的大小与图像数据的大小相同；

所述将当前接通的图像采集装置采集到的图像数据发送到所述缓存空间进一步为：通过DMA技术将当前接通的图像采集装置采集到的图像数据发送到所述缓存空间。

10.根据权利要求6至8任一所述的方法，其特征在于，图像数据发送完毕后，还包括：

从缓存空间中取走图像数据，并清空所述缓存空间。