发明内容
考虑到上述背景,本发明的一个目的在于提供一种可产生用于手指触摸应用的高质量图像数据组的指纹传感器设备和相关的方法。
根据本发明的这一及其他目的、特点和优点可由以下的指纹传感器设备提供,其构成包括多个指纹图像感测阵列,用于生成基于指纹图像感测阵列上的指纹触摸移动的相应各多个指纹图像数据组;以及一个处理器,用于与指纹图像感测阵列配合来确定基于指纹图像数据组的手指移动和通过对基于所确定的手指移动的指纹图像数据组进行重采样而生成重采样的指纹图像数据组。此处理器还可以在生成重采样指纹图像数据组时对多个指纹图像数据组进行矫正。换言之,此处理器可考虑感测器在顺序读出从传感器的一侧开始并向另一侧前进的像素时累积的递增手指移动。此处理器也可以考虑手指与指纹图像感测阵列的垂直线形成一个角度的移动,并且可考虑此这一角度在触摸操作期间的改变。
此处理器可以扫描多个指纹图像感测阵列,其扫描速率足以使重采样指纹图像数据组确定此指纹图像数据组的超级采样指纹图像数据组。因此,此处理器也可以通过将超级采样的指纹图像数据组的数码率降低到所要求的分辨率进行采样生成重采样指纹图像数据组。此处理器也可以扫描每一个指纹图像感测阵列以使每个指纹图像数据组各确定一个完整的指纹图像数据组。
此处理器可在多个指纹图像数据组中的每一个之中确定基于识别和跟踪至少一个指纹特征的手指移动。比如,此处理器可以确定二维手指移动。
此处理器还可以确定基于重采样指纹图像数据组和存储的指纹图像数据组的指纹匹配。另外一种方案或在上述方案再加上此方案是此处理器也可以根据重采样指纹图像数据组在显示器上生成指纹图像。
指纹图像感测阵列中的每一个都可包含一个指纹图像感测像素的线性阵列。比如,每一个指纹图像感测像素都可包含一个集成电路指纹图像感测像素。
在一些实施方式中,此处理器可与感测像素一样与同一集成电路相连接,而在另一些实施方式中此处理器可以是包含此指纹感测阵列的电子装置的主处理器。在这些单独的处理器实施方式中,多路复用数据总线可连接在指纹图像感测阵列和此处理器中间。此外,至少指纹图像感测阵列的一些邻接阵列可以以非均匀间隔排列。正如上面所简单提及的,此指纹感测设备与具有机壳的便携式电子装置结合或为优选。
本发明的另一个方面指向指纹感测方法。此方法可包含生成基于指纹图像感测阵列上的手指触摸移动的相应各多个指纹图像数据组;用于与指纹图像感测阵列配合来确定基于指纹图像数据组的手指移动;以及通过对基于所确定的手指移动的指纹图像数据组进行重采样而生成重采样的指纹图像数据组。此外,生成重采样指纹图像数据组还可以包括矫正多个指纹图像数据组。
附图说明
图1为包含根据本发明的指纹感测设备的电子装置的示意图。
图2为图1所示的指纹感测设备的部分剖视的更详细的示意图。
图3为由图1所示的指纹感测设备执行的图像处理的示意图,其中为了清楚的显示而简化为只示出两个指纹感测阵列。
图4为进一步的图像处理的示意图,其中包含由图1所示的指纹感测设备执行的多路复用。
图5为图像处理的更详细的示意图,其中包含由图1所示的指纹感测设备执行的指纹移动判断。
图6为图像处理的更详细的示意图,其中包含由图1所示的指纹感测设备执行的重采样。
图7为在根据本发明的指纹感测设备的示例中指纹图像感测阵列的示意图。
图8-11为从图7的示例中的指纹感测设备得到的采样指纹图像。
图12为基于根据现有技术进行了处理的单个采样指纹图像的线性拉伸采样图像。
图13为基于图8-11的采样指纹图像并根据本发明进行了处理的采样完整图像。
具体实施方式
下面参照附图对本发明进行更全面的说明,其中示出本发明的优选实施方式。不过,本发明可以以很多不同的形式实现,并且其构建不应当局限于此处所示出的实施方式。当然,提供这些实施方式使这一公开变得彻底完整,并且可向专业人士全面传递本发明的范围。从头到尾同一编号表示相同的元件。
下面首先参考图1和图2。下面描述手机20形式的典型电子装置,其中包含根据本发明的指纹感测设备30。手机20包含一便携式机壳21,其上又载有指纹感测设备30。此外,此手机20直观示出包含有一显示屏22,并且机壳21上还具有输入键23。可充电电池36可对不同的电子元件供电,这一点将为技术人士所理解。显示屏22通过导线36与主机或装置处理器32相连接。装置处理器32也直观示出通过多路复用通信总线33与触摸指纹传感器31相连接,下面将对此进行更详细地描述。其他电子装置,如PDA、膝上计算机等等也可以使用此指纹感测设备30。
指纹感测设备30包含以集成电路形式直观示出的触摸指纹传感器31,该集成电路包含一集成电路衬底42并且其中具有三个线性指纹感测阵列45-47。此外,触摸指纹传感器31也直观示出其中包含任选的处理电路41,该处理电路41可执行一些或全部此处所描述的图像处理。在一些实施方式中,大部分或全部图像处理可由装置处理器32执行。装置处理器32可包含其自己的内嵌存储器或与外部存储器53相连接,如在例示的实施方式中所示。
技术人士可以理解,此装置处理器32,比如,用于手机或其他便携式电子装置的,通常具有可随时为此指纹感测设备30使用的附加的处理资源。当然,在其他实施方式中,全部图像处理可由集成的触摸指纹传感器31的板载处理电路41执行。技术人士也可理解,依赖用户的手指35和感测阵列之间的相对移动的其他类型的指纹传感器也可利用此处所描述的处理技术。
在例示的触摸指纹传感器31中提供三个线性指纹感测阵列45-47,并且这些阵列具有非均匀间隔。在其他实施方式中,这些阵列45-47可以是间隔均匀的,并且阵列的数目也可以是不同的。此外,线性指纹感测阵列45-47中的每一个也可以例示的线性的,并且也可以如图2最佳地示出,可包括多个集成电路指纹图像感测像素45a-47a。比如,此集成指纹图像感测像素45a-47a可以是电场感测像素,如在美国专利No.5963679和6259804中所公开的,此处援引其整个内容作为参考。在其他实施方式中,可以使用不同类型的集成指纹感测像素,如根据热、红外或光学感测。在另外一些实施方式中,也可以以集成电路形式以外的形式提供指纹感测阵列,这一点可为技术人士所理解。
此指纹感测设备30包含用于生成相应的多个基于触摸手指35在指纹图像感测阵列上移动的指纹图像数据组的指纹图像感测阵列45-47及与此指纹图像感测阵列配合的处理器。在例示的实施方式中,此处理器是单独的主机或装置处理器32形式。此处理器32通过配置或编程可用于确定基于指纹图像数据组的手指移动并用于通过对基于所确定的手指移动的指纹图像数据组进行重采样生成重采样指纹图像数据组。换言之,此装置处理器32可确定例示的手指移动判断器51以及在其下游连接的例示的重采样器52。正如下面将更详细说明的,处理器的此重采样器52也可在生成重采样指纹图像数据组时矫正指纹图像数据组来考虑手指35与指纹图像感测阵列45-47的垂直线形成一个角度的移动。
此处理器32可以扫描此指纹图像感测阵列45-47,其扫描速率足以使重采样指纹图像数据组确定多个指纹图像数据组的超级采样指纹图像数据组。因此,此处理器32也可以通过将超级采样的指纹图像数据组的数码率降低到所要求的分辨率进行采样生成重采样指纹图像数据组。此处理器32也可以扫描每一个指纹图像感测阵列以使每个指纹图像数据组各确定一个完整的指纹图像数据组。这与在扫描期间,比如,只收集部分图像和/或删除冗余数据的现有技术方法不同。
此处理器的手指移动判断器51可在指纹图像数据组中的每一个之中确定基于识别和跟踪至少一个指纹特征的手指移动,这将为技术人士所理解。更具体言之,此处理器32可以确定二维手指移动。
此处理器32还可以确定基于重采样指纹图像数据组和存储的指纹图像数据组的指纹匹配。例示的装置处理器32在示意图中还包含一指纹匹配器54,其作用可为技术人士所理解。另外一种方案或在上述方案再加上此方案是此处理器32也可以包含显示驱动器55根据重采样指纹图像数据组在显示器22上生成指纹图像。
本发明的另一个方面指向指纹感测方法。此方法可包含生成基于指纹图像感测阵列45-47上的手指触摸移动的相应各多个指纹图像数据组;用于确定基于指纹图像数据组的手指移动;以及通过对基于所确定的手指移动的指纹图像数据组进行重采样而生成重采样的指纹图像数据组。此外,生成重采样指纹图像数据组还可以包括矫正多个指纹图像数据组。
换言之,这一方法是在移动手指35的路径上设置数个感测阵列45-47,其中每一个阵列生成一个完整的指纹图像。结果产生的数据是同时但从以已知物理距离分开的不同的传感器位置对同一对象(指纹)获取的数个图像。由于在捕获过程期间手指速度可以大幅度变化,所以原始图像在手指移动方向上可具有不同的像素化。
此处理器32就使用这几个图像来计算手指相对时间的移动的轮廓,可以利用其执行对原始图像的最佳重采样而产生单个高质量的标准化的规律像素化的图像。最佳采样可同时修正由传感器的有限扫描速率引起的数据畸变和由变化的手指速度引起的像素化变化。这一方法在某些方面类似于将两个不同的图像结合成为单个结果图像的立体感。其一些特征也与从移动对象(如轿车中的手机)发出的单个无线电信号被位于延时不同的不同地点的数个不同天线捕获时所使用的信号处理相同。
指纹感测设备30包含多个线性像素阵列45-47,其排列方式可使手指在对其触摸时顺序通过阵列。线性阵列45-47可同时或至少互相间隔已知时间进行扫描。每个线性阵列45-47生成一个具有取决于手指的触摸速度的变化的垂直像素间距的完整手指表面的图像。手指速度轮廓估值的取得是通过求出所选择的特征在由线性阵列中的每一个生成的图像中的位置并使用阵列45-47的已知的物理间隔来计算此速度。可计算一维或二维移动。之后可使用手指速度轮廓来矫正线性阵列图像并对图像进行重采样使其成为标准固定采样速率图像。
指纹感测设备30和相关方法可提供大量优点。比如,指纹感测设备30在手指速度的大幅度变化范围之中具有精确性。即使在手指速度上存在大幅度变化时提供的精确成像也要求来自顺序扫描的传感器阵列的数据对在阵列中的不同位置的像素的扫描之间发生的延时进行调整。矫正过程可对这些延时进行补偿并可不依赖手指速度产生同样的最终图像。
指纹感测设备30和相关方法也可提供改进的效率。矫正和重采样可结合成为单个优化过程。这一方法可以应用于一维和二维运动,因而可有效地适应与线性阵列45-47不垂直的运动。感测设备30和相关方法通过对皮肤进行每次扫描都使用不同的线性阵列的数次扫描和将这些测量结合成为单个最优结果也可以降低图像噪声和人为图像失真。通过将更多测量加入到最终结果的计算,允许手指以较慢速度移动以便提高灵敏度,降低噪声和人为图像失真。通过使用较慢的手指移动,对利用原有的技术装置不能生成有用图像的弱成像指纹现在可以顺利地成像。
线性阵列45-47中间的间隔可能并不是关键,但对于不同目的可以一不同方式优化。比如,线性阵列45-47之间的不均匀间隔可改进系统配合手指移动同线性阵列法线方向形成不同角度时的能力。
下面再参考图3。进一步描述图像数据组处理的各个方面。为了清楚起见,示出的只有指纹图像感测阵列45、46之中的两个。每个阵列45、46产生不同的垂直像素间距图像60、61,据之可生成手指速度轮廓63。将其输入以产生高分辨率的经过矫正的稀疏矩阵图像65及最终的数码率降低的固定的垂直像素间距图像66。
下面再参考图4进一步说明指纹图像数据组的采集。三个线性阵列45-47同时运行,连续捕获数据。线性阵列45-47的扫描可任选地同步工作以简化其后的数据处理。来自阵列的数据可在有规律的时间基础上捕获,或者可具有时戳以便提供重采样算法所需要的时间参照数据。来自阵列45-47的像素数据可经多路复用成为单个数据流以便于从阵列传送到处理器,比如,板载处理器或装置处理器32,如上所述。之后就可以进行多路分解来恢复原始数据或每个阵列生成的图像60-62。
下面再参考图5,其中手指速度轮廓63是在触摸手指35出现期间的每个时间点的手指速度的估值。一种确定手指速度轮廓的示范的方法是在指纹顺序通过线性阵列45-47中的每一个时识别和跟踪指纹的特征。此速度可通过识别在每个原始图像60-62中的包含特征的一个区域60a-62a的位置而算出。在此实施例中y方向是优势手指运动方向,并且x方向是与线性传感器阵列平行的方向。在x和y两个方向上的速度都可以算出而容许接受手指的斜线运动。
手指35的特征可使用图像处理技术人士广泛了解的各种方法识别和跟踪通过来自感测阵列45-47的图像60-62进行识别和跟踪。由于原始图像60-62的垂直(y轴)像素化可以变化,由宽(x)而短(y)的区域60a-62a代表的特征可以更易于使用并可在更宽的手指速度范围内产生良好结果。在此场合,一个特征或许只不过是一个具有多种灰阶变化的区域。很清楚,速度轮廓63的估值的置信级的变化将取决于计算的曲线受到点数,并且对于具有多于两个线性阵列的传感器31取决于执行的速度计算中的冗余度。平滑处理、插值、曲线拟合及其他数据增强方法可以在适合时应用于速度轮廓,这为技术人士所理解。
低手指速度的特征由针对物理特征和像素尺寸实施过采样的原始图像60-62表征。在高手指速度时原始图像60-62可变为欠采样。在使用更大数目,如3或大于3,的线性阵列的实施例中,依然可以使用欠采样原始图像顺利执行重采样,只要加到一起的全部传感器阵列集合采样速率超过所关心的特征图像化所要求的基本采样速率,即根据奈奎斯特(Nyquist)标准。
下面再参照图6进一步描述基于手指速度的重采样。当手指35移动通过阵列45-47,这些阵列可以生成垂直分辨率随着手指的速度变化的手指的三个完整的图像60-62。例示的实施例使用一个使用缓慢开始通过阵列45-47并继续加速的手指35生成的管形速度轮廓63。
在矩阵65的大格栅上的画有斜线的地点示出将原始图像的像素值(灰阶)置于以示出的速度轮廓为根据的标准化图像上。在此例示的实施例中,标准化图像最初以超级采样显示表示,之后在全部原始像素业已安置来产生最终图像66之后欠采样。这一子像素化可使不然就会发生的重采样数字化错误减小到极小。也可以采用其他方法来控制访存不太密集的错误,这一点技术人士容易理解。
在每个画有斜线的像素内部的数字表示此数据来自原始图像的哪一扫描(或行)。比如,要置于画有向后斜线的包含零的像素中的灰阶数据全部来自画有向后斜线的原始图像62的第零行。由于这一示例中的手指35是向后滑动,在数据流(从而原始图像的上部)中看到的第一个数据是关于此手指的下部的数据。在此处示出的示例中,这一反演在原始图像60-62映射成为集成图像65的过程中受到矫正,所以最终图像66具有正确的取向和左右手习惯。可以看到,当手指35缓慢移动时,靠近图像底部和中间,多个测量结合而产生每个输出像素的最终值。当遇到较快的手指速度时,数据自动均匀地在输出像素间展开。在数据置于超级采样阵列65中之后,使用精通图像处理的人士众所周知的多个欠采样算法中的任何一个,对其实施欠采样以使其达到所要求的垂直和水平分辨率。借助对集成图像数据进行最优重采样,用于这一类图像的欠采样算法可以产生原像的最大似然估值,即使是在原始数据噪声大、微弱或质量变化时。
下面再参考图7-13对示范性的指纹图像数据的处理进行描述。更具体言之,在此示例中用来生成数据的指纹传感器70具有四个线性阵列71-74,每个具有196个像素,阵列间隔为a=50微米,b=300微米。在图8-11中分别由图像75-79示出线性阵列71-74中的每一个生成的整个指纹的可变垂直分辨率图像。这些图像75-79的显示就像它们包含具有相等的水平和垂直分辨率的固定分辨率数据。事实上,在手指触摸速度为此示例中使用的速度时,像素代表的图像区域在垂直和水平方向上更大。这一显示方法的结果是这些图像变得在垂直方向上被压扁。在图12中由图像81示出将单个阵列的图像线性拉宽的结果得到的图像的比较,而在图13中示出对此处所描述的四个可变垂直分辨率图像进行重采样和结合所得到的图像80。
指纹触摸滑动速度上的变化可以在来自单个阵列的图像81(图12)看出,其中峰线宽度和峰线方向角的弯曲方面的变化是明显的。此图像畸变在图13中的重采样图像80中受到校正。这是指纹触摸在传感器70上略微倾斜的结果。此指纹传感器设备检测小水平速度并在重采样期间进行补偿。此补偿具有标准化效果而容许更精确的模式匹配,这一点技术人士可以理解。
技术人士还可以理解,可以感测到多于一个的指纹生物特征,这一点,比如,在以标题“Multi-biometric finger sensor including electricfield sensing pixels and associated methods”发表并也转让给本发明的受让人的美国专利申请No.2005/0089202中公开,并且此处援引其整个内容作为参考。因此,从上述描述和附图中受益的技术人士可以想到本发明的多种改型和其他实施方式。因此,可以理解,本发明并不限定于公开的具体实施方式,并且改型和实施方式应该包括在下附的权利要求的范围之内。