CN106845388A - 基于复杂场景的移动终端掌纹感兴趣区域的提取方法 - Google Patents

Abstract

本发明提供了基于复杂场景的移动终端掌纹感兴趣区域的提取方法。该方法包括：将移动终端中的相机拍摄的手掌图片作为待识别图像，得到待识别图像的YCbCr图像中的Cr信道分量；对Cr信道分量利用OTSU的阈值方法进行手掌分割，得到二值化图像；利用Suzuki的边缘追踪方法对二值化图像进行手掌轮廓提取，得到手掌轮廓图；利用Sklansky的凸壳查找方法在手掌轮廓图中查找手指自然伸展后形成的凸壳，利用凸壳提取出待识别图像中的感兴趣区域。本发明的方法通过选择Cr信道分量进行动态阈值化，消除了光照对图像分割的影响。通过采用Suzuki的方法可以提取到完整的手掌轮廓图。利用Sklansky的凸壳查找方法可以有效地完成图像分割手掌并提取感兴趣区，掌纹ROI的提取效果好，准确率高。

Description

基于复杂场景的移动终端掌纹感兴趣区域的提取方法

技术领域

本发明涉及生物特征识别技术领域，尤其涉及一种基于复杂场景的移动终端掌纹感兴趣区域的提取方法。

背景技术

随着信息技术的发展以及硬件制造工艺的精密化，人们越来越注重对私有信息的保护，过去人们多采用数字密码、指纹、智能卡等来进行访问控制和私有信息保护。目前，生物特征识别技术得到了广泛关注，生物特征识别技术具有稳定性、唯一性、普遍性，难以仿造和破解。常见的生物特征识别技术有：人脸识别、虹膜识别、掌纹识别、指纹识别、静脉识别。

随着移动终端设备的普及和智能化，手机支付功能给人类生活带来极大的便利。因此将生物特征识别技术移植到移动设备成为一种趋势，掌纹可作为密码用来进行手机解锁、手机购物、转账支付。

传统的方法关注的是单一背景、人为控制光照下的掌纹识别技术，与移动终端的使用场景并不相符，因为他们并未考虑光照的因素以及光照对图像分割的影响，因此传统的方法不能够解决手掌分割以及掌纹ROI(region of interest，感兴趣区域)的提取。

现有技术中的第一种图像中的手掌分割以及掌纹ROI方法的处理步骤为：将原图转化为灰度图；高斯滤波除噪后采用固定阈值方法进行手掌分割；边缘检测算子提取轮廓；谷点检测方法建立掌部坐标系进而提取掌纹ROI。

上述现有技术中的第一种手掌分割以及掌纹ROI方法的缺点为：此方法处理的是黑色背景、封闭状态下由相机拍摄的手掌图片，消除了绝大多数光照，处理过程当中未考虑光照对肤色分割的影响，因此不能实现实际应用场景下的手掌分割。

现有技术中的第二种手掌分割以及掌纹ROI方法的处理步骤为：将RGB图像转化为YCbCr图像；采用Cb-Cr肤色建模来判断每个像素为肤色的概率进行手掌分割；给出三个条件来进行关键点定位。

上述现有技术中的第二种手掌分割以及掌纹ROI方法的缺点为：此方法处理的是简单背景、半封闭状态下由相机拍摄的手掌图片，光照影响较小，与移动终端应用需求不相符，不能满足移动终端的掌纹ROI提取的需要。

发明内容

本发明的实施例提供了一种基于复杂场景的移动终端掌纹感兴趣区域的提取方法，以实现有效地进行手掌分割以及掌纹ROI方法。

为了实现上述目的，本发明采取了如下技术方案。

一种基于复杂场景的移动终端掌纹感兴趣区域的提取方法，包括：

将移动终端中的相机拍摄的手掌图片作为待识别图像，将所述待识别图像的RGB图像转换为YCbCr图像，对所述YCbCr图像进行通道分离，得到所述YCbCr图像中的Cr信道分量；

对所述Cr信道分量利用OTSU的阈值方法进行手掌分割，得到二值化图像；

利用Suzuki的边缘追踪方法对所述二值化图像进行手掌轮廓提取，得到手掌轮廓图；

利用Sklansky的凸壳查找方法在所述手掌轮廓图中查找手指自然伸展后形成的凸壳，利用所述凸壳提取出所述待识别图像中的感兴趣区域。

进一步地，所述的将移动终端中的相机拍摄的手掌图片作为待识别图像，包括：

将移动终端中的相机拍摄的手掌图片作为待识别图像，移动终端提取内部存储的手部图像模板，将手部图像模板在待识别图像中进行匹配，如果匹配成功，则判断图像当中有手的存在，执行后续处理步骤；如果匹配失败，则判断图像当中没有手的存在，流程结束。

进一步地，所述的将所述待识别图像的RGB图像转换为YCbCr图像，对所述YCbCr图像进行通道分离，得到所述YCbCr图像中的Cr信道分量，包括：

通过线性转换公式计算出所述待识别图像的RGB图像的Y亮度值，Cb蓝色色度分量和Cr红色色度分量，将所述待识别图像的RGB图像转换为YCbCr图像，将所述YCbCr图像分解为Y信道分量、Cb信道分量和Cr信道分量，提取其中的Cr信道分量作为图像分割的输入。

进一步地，所述的利用Suzuki的边缘追踪方法对所述二值化图像进行手掌轮廓提取，得到手掌轮廓图，包括：

所述二值化图像包括黑白两种颜色，外部边界指的是某个物体的最外层边界，孔边界指的是白色物体内部嵌套的黑色区域，用F＝{f_i,j}来表示输入的二值图像，(i,j)为像素点的坐标；

对所述二值图像进行按行顺时针光栅扫描，如果像素点满足条件1，则认为该像素点是外部边界的起点；如果像素点满足条件2，则认为该像素点是孔边界的起点；如果都满足，则认为该像素点是外部边界的起点；

f_i,j-1＝0 f_i,j＝1 条件1

f_i,j≥1,f_i,j+1＝0. 条件2

对所述二值图像按行扫描直到最右下角的像素点为止，根据扫描得到的外部边界的起点构成物体的轮廓，根据扫描得到的孔边界的起点构成孔的轮廓，通过预先设定的手掌轮廓的周长阈值范围对所有物体的轮廓和孔的轮廓进行筛选，筛选出手掌轮廓，得到手掌轮廓图。

进一步地，所述的利用Sklansky的凸壳查找方法在所述手掌轮廓图中查找手指自然伸展后形成的凸壳，包括：

得到手掌轮廓后，当手掌轮廓呈伸展状态时，手掌轮廓的各顶点连接起来之后会形成简单无交叉的多边形，该多边形为要查找的手掌轮廓的凸壳，查找所述手掌轮廓的凸壳的算法如下：

1、查找y坐标最小的手掌轮廓的顶点记作j；

2、从顶点j开始顺时针查找与其相邻的顶点，每三个相邻的点记作k,k+1,k+2，根据下述(a)-(f)判断是否将顶点保留，直到再次回到顶点j，查找结束，将所有保留的顶点连接起来，构成手掌轮廓的凸壳；

(a)S＝(y_k+1-y_k)(x_k+2-x_k+1)+(x_k-x_k+1)(y_k+2-y_k+1)

(b)If S＞0且k+2＝j，停止(c)If S＞0且向前移动一个点，回到(a)

(d)删除点k+1

(e)如果k≠j则向后移动一个点；否则向前移动一个点

(f)回到(a)。

进一步地，所述的利用所述凸壳提取出所述待识别图像中的感兴趣区域，包括：

手掌轮廓以及凸壳之间的部分为凸性缺陷，寻找凸性缺陷内距离凸壳最远的点，将该点作为两个手指之间的谷点；

以食指-中指之间的谷点和无名指-小指之间的谷点为参考点，计算两个参考点之间的距离L，并画两个参考点之间的线段，将此线段下移0.35L后，以L为边长画正方形，则正方形边界及内部即为所述待识别图像中的掌纹感兴趣区域。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法通过选择Cr信道分量进行动态阈值化，最大程度地消除了光照对图像分割的影响。通过采用Suzuki的方法可以提取到完整的手掌轮廓图。再利用Sklansky的凸壳查找方法可以有效地完成图像分割手掌并提取感兴趣区域，掌纹ROI的提取效果好，准确率高。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于复杂场景的移动终端掌纹感兴趣区域的提取方法的处理流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例提供的基于复杂场景的移动终端掌纹ROI提取方法使得图像对光照不敏感，实现有效的手掌分割。选择了Cr信道分量进行动态阈值化，最大程度的消除了光照对图像分割的影响，通过实验证明Cr信道分量的值对光照的变化最不敏感。该方法利用凸性知识来进行关键点定位比较准确，对有杂点或小轮廓干扰时表现出鲁棒性。

本发明实施例提供了一种基于复杂场景的移动终端掌纹ROI提取方法的处理流程如图1所示，包括如下的处理步骤：

步骤S110、首先需要在移动终端中进行肤色建模，在移动终端中存储手部图像模板。

将移动终端中的相机拍摄的手掌图片作为待识别图像，移动终端提取内部存储的手部图像模板模板，将手部图像模板在待识别图像中进行匹配，如果匹配成功，则判断图像当中有手的存在，执行后续处理过程；如果匹配失败，则判断图像当中没有手的存在，流程结束。

将待识别的RGB(Red红，Green绿，Blue蓝)图像转换为YCbCr图像。YCbCr是色彩空间的一种，YCbCr图像包括Y信道分量、Cb信道分量和Cr信道分量。

当前的移动图像采集设备获取图像时的默认颜色空间是RGB，且分为一通道Red,二通道Green和三通道Blue三个分量，而颜色空间转换指的是存在线性转换公式，可以计算Y(亮度),Cb(蓝色色度分量),Cr(红色色度分量)的值，且此线性公式不唯一。

光照对皮肤的色度值会产生影响，YCbCr颜色空间将光强和色度进行了信道分离，并且通过实验验证得知Cr信道对光照的变化最鲁棒、最不敏感。对上述YCbCr图像进行通道分离，保留Cr信道分量作为图像分割的输入。

步骤S120、对上述Cr信道分量利用OTSU的阈值方法进行手掌分割，得到二值化图像。OTSU算法是一种对图像进行二值化处理的高效算法。

步骤S130、利用Suzuki的边缘追踪方法对上述二值化图像进行手掌轮廓提取，得到手掌轮廓图。

轮廓提取之前，我们已将图像进行二值化操作，整幅图像只有黑白两种颜色。外部边界指的是某个物体的最外层边界，孔边界指的是白色物体内部嵌套的黑色区域。用F＝{f_i,j}来表示输入的二值图像，(i,j)为像素点的坐标。

假设图像的边框由零像素填充，并且在扫描过程中可以给像素赋任意整数值，可以对扫描到的边界像素指定任何整数值，通常外部边界指定正整数，孔边界指定负整数，以用来区分。由此，按行扫描直到最右下角的像素点为止。对二值图像进行按行顺时针光栅扫描，如果满足条件1，我们认为它是外部边界的起点，如果满足条件2，我们认为它是孔边界的起点，如果都满足，我们认为它是外部边界的起点。

f_i,j-1＝0,f_i,j＝1, (条件1)

f_i,j≥1,f_i,j+1＝0. (条件2)

当然，最终结果存在多个物体的轮廓和孔的轮廓，通过设定周长阈值，去除干扰的小轮廓或者过大轮廓，毕竟在整幅图像中手的轮廓周长是特别的。

根据扫描得到的外部边界的起点构成物体的轮廓，根据扫描得到的孔边界的起点构成孔的轮廓，通过预先设定的手掌轮廓的周长阈值范围对所有物体的轮廓和孔的轮廓进行筛选，筛选出手掌轮廓，得到手掌轮廓图。

因为是复杂场景下的待识别图像，不可避免背景当中有很多干扰的物体，上述手掌轮廓图有多余物体的轮廓，设置轮廓周长阈值，利用轮廓周长阈值对上述手掌轮廓图去除干扰轮廓。

步骤S140、利用Sklansky的凸壳查找方法在所述手掌轮廓图中查找手指自然伸展后形成的凸壳，利用所述凸壳提取出所述待识别图像中的感兴趣区域。

得到手掌轮廓后，我们查找此轮廓的凸壳(或凸包)。当手掌呈伸展状态时，它的各顶点连接起来之后会形成简单无交叉的多边形，也就是我们此处要查找的凸壳。算法如下：

(1)查找y坐标最小的顶点记作j；

(2)从顶点j开始顺时针查找与其相邻的顶点，每三个相邻的点记作k,k+1,k+2，根据下述(a)-(f)判断是否将顶点保留，直到再次回到顶点j，查找结束，将所有保留的顶点连接起来，构成手掌轮廓的凸壳；

(a)S＝(y_k+1-y_k)(x_k+2-x_k+1)+(x_k-x_k+1)(y_k+2-y_k+1)

(b)If S＞0且k+2＝j，停止(c)If S＞0且向前移动一个点，回到(a)

(d)删除点k+1

(e)如果k≠j则向后移动一个点；否则向前移动一个点

(f)回到(a)

上述方法可用于查找单调的、简单的、无交叉的多边形的凸壳。而我们的手掌自然伸展时正符合此前提，因此可实现手的凸壳查找。

手掌轮廓以及凸壳之间的部分叫做凸性缺陷，寻找凸性缺陷内距离凸壳最远的点，该点为指谷点，即两个手指之间的谷点。

以食指-中指间的谷点和无名指-小指之间的谷点为参考点，计算两个参考点之间的距离L，并画两个参考点之间的线段，将此线段下移0.35L后，以L为边长画正方形，则正方形边界及内部即为上述待识别图像中的掌纹ROI。

为了验证我们提出方法的可行性、有效性和优越性，我们建立了100人的掌纹数据库，图片均由智能手机(包括苹果、华为、小米、谷歌、努比亚等品牌)拍摄，男53：女47，将四种方法运用到数据库上，我们提出方法的效果和准确率要好于现有技术中的掌纹ROI识别方法。

综上所述，本发明实施例的方法通过选择Cr信道分量进行动态阈值化，最大程度地消除了光照对图像分割的影响。通过采用Suzuki的方法可以提取到完整的手掌轮廓图。再利用Sklansky的凸壳查找方法可以有效地完成图像分割手掌并提取感兴趣区，可以应用于复杂场景，掌纹ROI的提取效果好，准确率高。

利用本发明提出的方法，先提取掌纹感兴趣区域，再进行后面的匹配，进而实现移动端的掌纹识别功能。

掌纹识别主要分为两类：

(1)你说你是张三，现场采集你的掌纹图像，跟数据库里存储的张三的掌纹图像(模板)进行比对，来判断你到底是不是张三。

(2)你不告诉我你是谁，现场采集你的掌纹图像，跟数据库里所有的掌纹图像(模板)进行比对，来判断你是谁。

随着智能手机的普及，很多设计私密信息或商业交易的功能都通过手机来进行操作。传统智能手机的信息保护措施多为数字密码、图形密码。这些措施易攻破、易伪造因此生物特征识别可作为一种有效的信息保护措施。移动端的掌纹识别具有优越性，非接触式采集不会引起内心不适和卫生问题，也不需要借助外部辅助设备进行采集，手机内置摄像头足够。

智能手机的应用环境多为复杂场景、自然光照。在进行掌纹识别时，手掌分割是个具有挑战性的难题，因为光照和复杂场景都会引起手掌肤色的改变，普通的肤色建模方法不足以实现良好的手掌分割，更不必说感兴趣区提取。感兴趣区的设定是为了提取统一的、具有丰富纹理信息的手掌区域，而不需要将整个手掌作为输入进行特征提取和匹配，减少计算的复杂度。

本发明旨在提供一种稳健的、可行的移动端掌纹感兴趣区提取方法，在真实的应用场景中将掌纹的感兴趣区提取出来，为移动端掌纹识别系统的实现打下基础。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于复杂场景的移动终端掌纹感兴趣区域的提取方法，其特征在于，包括：

将移动终端中的相机拍摄的手掌图片作为待识别图像，将所述待识别图像的RGB图像转换为YCbCr图像，对所述YCbCr图像进行通道分离，得到所述YCbCr图像中的Cr信道分量；

对所述Cr信道分量利用OTSU的阈值方法进行手掌分割，得到二值化图像；

利用Suzuki的边缘追踪方法对所述二值化图像进行手掌轮廓提取，得到手掌轮廓图；

利用Sklansky的凸壳查找方法在所述手掌轮廓图中查找手指自然伸展后形成的凸壳，利用所述凸壳提取出所述待识别图像中的感兴趣区域。

2.根据权利要求1所述的基于复杂场景的移动终端掌纹感兴趣区域的提取方法，其特征在于，所述的将移动终端中的相机拍摄的手掌图片作为待识别图像，包括：

将移动终端中的相机拍摄的手掌图片作为待识别图像，移动终端提取内部存储的手部图像模板，将手部图像模板在待识别图像中进行匹配，如果匹配成功，则判断图像当中有手的存在，执行后续处理步骤；如果匹配失败，则判断图像当中没有手的存在，流程结束。

3.根据权利要求1所述的基于复杂场景的移动终端掌纹感兴趣区域的提取方法，其特征在于，所述的将所述待识别图像的RGB图像转换为YCbCr图像，对所述YCbCr图像进行通道分离，得到所述YCbCr图像中的Cr信道分量，包括：

通过线性转换公式计算出所述待识别图像的RGB图像的Y亮度值，Cb蓝色色度分量和Cr红色色度分量，将所述待识别图像的RGB图像转换为YCbCr图像，将所述YCbCr图像分解为Y信道分量、Cb信道分量和Cr信道分量，提取其中的Cr信道分量作为图像分割的输入。

4.根据权利要求1或2或3所述的基于复杂场景的移动终端掌纹感兴趣区域的提取方法，其特征在于，所述的利用Suzuki的边缘追踪方法对所述二值化图像进行手掌轮廓提取，得到手掌轮廓图，包括：

所述二值化图像包括黑白两种颜色，外部边界指的是某个物体的最外层边界，孔边界指的是白色物体内部嵌套的黑色区域，用F＝{f_i,j}来表示输入的二值图像，(i,j)为像素点的坐标；

对所述二值图像进行按行顺时针光栅扫描，如果像素点满足条件1，则认为该像素点是外部边界的起点；如果像素点满足条件2，则认为该像素点是孔边界的起点；如果都满足，则认为该像素点是外部边界的起点；

f_i,j-1＝0 f_i,j＝1 条件1

f_i,j≥1,f_i,j+1＝0. 条件2

对所述二值图像按行扫描直到最右下角的像素点为止，根据扫描得到的外部边界的起点构成物体的轮廓，根据扫描得到的孔边界的起点构成孔的轮廓，通过预先设定的手掌轮廓的周长阈值范围对所有物体的轮廓和孔的轮廓进行筛选，筛选出手掌轮廓，得到手掌轮廓图。

5.根据权利要求4所述的方法，其特征在于，所述的利用Sklansky的凸壳查找方法在所述手掌轮廓图中查找手指自然伸展后形成的凸壳，包括：

得到手掌轮廓后，当手掌轮廓呈伸展状态时，手掌轮廓的各顶点连接起来之后会形成简单无交叉的多边形，该多边形为要查找的手掌轮廓的凸壳，查找所述手掌轮廓的凸壳的算法如下：

1、查找y坐标最小的手掌轮廓的顶点记作j；

2、从顶点j开始顺时针查找与其相邻的顶点，每三个相邻的点记作k,k+1,k+2，根据下述(a)-(f)判断是否将顶点保留，直到再次回到顶点j，查找结束，将所有保留的顶点连接起来，构成手掌轮廓的凸壳；

(a)S＝(y_k+1-y_k)(x_k+2-x_k+1)+(x_k-x_k+1)(y_k+2-y_k+1)

(b)If S＞0且k+2＝j，停止(c)If S＞0且向前移动一个点，回到(a)

(d)删除点k+1

(e)如果k≠j则向后移动一个点；否则向前移动一个点

(f)回到(a)。

6.根据权利要求5所述的方法，其特征在于，所述的利用所述凸壳提取出所述待识别图像中的感兴趣区域，包括：

手掌轮廓以及凸壳之间的部分为凸性缺陷，寻找凸性缺陷内距离凸壳最远的点，将该点作为两个手指之间的谷点；

以食指-中指之间的谷点和无名指-小指之间的谷点为参考点，计算两个参考点之间的距离L，并画两个参考点之间的线段，将此线段下移0.35L后，以L为边长画正方形，则正方形边界及内部即为所述待识别图像中的掌纹感兴趣区域。