CN107454963B - 指纹图像处理方法及光学指纹辨识系统 - Google Patents

Abstract

本申请提供了一种指纹图像处理方法，应用于一电子装置中的一光学指纹辨识系统，所述电子装置包括一显示像素阵列，所述光学指纹辨识系统包括一图像感测阵列，所述图像感测阵列设置于所述显示像素阵列的下方，所述指纹图像处理方法包括当使用者的手指未按压于所述显示屏时，取得一背景图像以及取得至少一干涉频点；当用户的手指按压于所述显示屏时，接收一接收图像；将所述接收图像与所述背景图像相减，以取得一相差图像；以及将所述相差图像于所述至少一干涉频点处进行滤波运算，以取得一运算结果。

Description

指纹图像处理方法及光学指纹辨识系统

技术领域

本申请涉及一种光学指纹辨识技术领域，尤其涉及一种可增进指纹辨识准确度的指纹图像处理方法、光学指纹辨识系统及电子装置。

背景技术

随着科技日新月异，移动电话、数字相机、平板计算机、笔记本电脑等越来越多携带型电子装置已经成为了人们生活中必备的工具。由于携带型电子装置一般为个人使用，而具有一定的隐私性，因此其内部储存的数据，例如电话簿、相片、个人信息等等为私人所有。若电子装置一旦丢失，则这些数据可能会被他人所利用，而造成不必要的损失。虽然目前已有利用密码保护的方式来避免电子装置为他人所使用，但密码容易泄露或遭到破解，具有较低的安全性。并且，用户需记住密码才能使用电子装置，若忘记密码，则会带给使用者许多不便。因此，目前发展出利用个人指纹识别系统的方式来达到身份认证的目的，以提升数据安全性。

另一方面，随着指纹辨识技术的进步，指纹辨识系统可设置于显示屏的下方，换句话说，用户可透过按压显示屏以进行指纹辨识。具体来说，可将指纹辨识系统的图像感测阵列设置于显示屏的显示像素阵列的下方，然而，对光学指纹辨识系统而言，其图像感测阵列所接收到的图像易受到显示像素阵列的影响，而无法精准地判读使用者的指纹。因此，现有技术实有改善之必要。

发明内容

因此，本申请的主要目的即在于提供一种可增进指纹辨识准确度的指纹图像处理方法、光学指纹辨识系统及电子装置。

为了解决上述技术问题，本申请提供了一种指纹图像处理方法，应用于一电子装置中的一光学指纹辨识系统，所述电子装置包括一显示屏，所述显示屏包括一显示像素阵列，所述光学指纹辨识系统包括一图像感测阵列，所述图像感测阵列设置于所述显示像素阵列的下方，所述指纹图像处理方法包括当使用者的手指未按压于所述显示屏时，取得一背景图像以及取得至少一干涉频点，其中所述背景图像中不包括指纹图像；当一用户的一手指按压于所述显示屏时，接收一接收图像；将所述接收图像与所述背景图像相减，以取得一相差图像；以及将所述相差图像于所述至少一干涉频点处进行滤波运算，以取得一运算结果；其中，所述光学指纹辨识系统根据所述运算结果，判断于所述接收图像中的指纹。

优选地，取得所述背景图像的步骤包括取得复数个第一图像，其中所述复数个第一图像不包括指纹图像；以及对所述复数个第一图像进行一平均运算，以取得对应于所述复数个第一图像的一第一背景图像。

优选地，取得所述至少一干涉频点的步骤包括取得一第二背景图像，其中所述第二背景图像中不包括指纹图像；对所述第一背景图像以及所述第二背景图像进行一相减运算以及一转频运算，以取得一差值图像频谱；以及对所述差值图像频谱进行一能量侦测运算，以取得所述至少一干涉频点。

优选地，取得所述至少一干涉频点的步骤包括取得复数个第二图像，其中所述复数个第二图像不包括指纹图像；以及对所述复数个第二图像进行一平均运算，以取得所述第二背景图像。

本申请另提供了一种光学指纹辨识系统，应用于一电子装置，所述电子装置包括一显示屏，所述显示屏包括一显示像素阵列，所述光学指纹辨识系统包括有一图像感测阵列，设置于所述显示像素阵列的下方，用来于一用户的一手指按压于所述显示屏时，接收一接收图像；一运算模块，耦接于所述图像感测阵列，用来执行以下步骤：当所述用户的所述手指未按压于所述显示屏时，取得一背景图像以及取得至少一干涉频点，其中所述背景图像中不包括指纹图像；将所述接收图像与所述背景图像相减，以取得一相差图像；以及将所述相差图像于所述至少一干涉频点处进行滤波运算，以取得一运算结果；以及一辨识模块，耦接于所述运算模块，用来根据所述运算结果，判断于所述接收图像中的指纹。

本申请另提供了一种电子装置，包括一显示屏，包括一显示像素阵列；以及一光学指纹辨识系统，包括一图像感测阵列，设置于所述显示像素阵列的下方，用来于一用户的一手指按压于所述显示屏时，接收一接收图像；一运算模块，耦接于所述图像感测阵列，用来执行以下步骤：当所述用户的所述手指未按压于所述显示屏时，取得一背景图像以及取得至少一干涉频点，其中所述背景图像中不包括指纹图像；将所述接收图像与所述背景图像相减，以取得一相差图像；以及将所述相差图像于所述至少一干涉频点处进行滤波运算，以取得一运算结果；以及一辨识模块，耦接于所述运算模块，用来根据所述运算结果，判断于所述接收图像中的指纹。

本申请适用于显示屏内指纹辨识，利用减去背景图像消除晶格干扰，并利用于干涉频点处进行滤波，将干涉部份滤除，即使指纹图像较为清晰，具有增进指纹辨识准确度的优点。

附图说明

图1为本申请实施例一电子装置的示意图。

图2为本申请实施例一接收图像的示意图。

图3为本申请实施例一指纹图像处理流程的示意图。

图4为本申请实施例一流程的示意图。

图5为本申请实施例一运算结果的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参考图1，图1为本申请实施例一电子装置10的示意图。电子装置10 可为一智能手机或一平板计算机等具有显示屏的电子装置，其包含有一显示屏 11以及一光学指纹辨识系统12，显示屏11包括一显示像素阵列DP_array以及一钝化层PSV，钝化层PSV可为蓝宝石或玻璃盖板，显示像素阵列DP_array 可由复数个显示像素单元所构成，该复数个显示像素单元排列成一阵列，其中可包括多个红光发元件、蓝光发元件以及绿发光发元件，显示屏11的显示像素阵列DP_array用来显示电子装置10欲显示的画面。光学指纹辨识系统12为设置于显示屏11或显示像素阵列DP_array之下的指纹辨识系统，即显示屏内指纹辨识(InDisplay Fingerprint Identification)系统，光学指纹辨识系统12包括一图像感测阵列SN_array、一运算模块14、一辨识模块16以及一发光单元18，图像感测阵列SN_array包含复数个图像感测像素单元排列成一阵列。当光学指纹辨识系统12欲辨识一手指FG的指纹时，发光单元18对手指FG发射入射光，入射光经手指FG反射之后，其反射光由图像感测阵列SN_array接收，也就是说，图像感测阵列SN_array根据该反射光而接收一接收图像RCV_IM。图像感测阵列SN_array接收到接收图像RCV_IM后，将接收图像RCV_IM输出至运算模块14。运算模块14可对接收图像RCV_IM进行一指纹图像处理运算，并将指纹图像处理运算的运算结果输出至辨识模块16，辨识模块16即可根据指纹图像处理运算的运算结果，判断手指FG的指纹。

需注意的是，显示像素阵列DP_array中显示像素单元的面积/大小(Size)与图像感测阵列SN_array中图像感测像素单元的面积/大小(Size)不一定相同(通常不相同)，另一方面，显示像素阵列DP_array与图像感测阵列SN_array不一定相互对齐(通常未对齐)，而导致图像感测阵列SN_array所接收到的图像 RCV_IM极容易受到显示像素阵列DP_array的影响，而无法精准地判读手指 FG的指纹。举例来说，请参考图2，图2为(设置于显示像素阵列DP_array 之下的)图像感测阵列SN_array所接收的接收图像RCV_IM的示意图，因受到显示像素阵列DP_array的影响，接收图像RCV_IM中具有多个亮点与暗点，而使辨识模块16不易根据图像RCV_IM精准地判断手指FG的指纹。

因此，为了排除显示像素阵列DP_array对图像RCV_IM造成的影响，运算模块14可对接收图像RCV_IM进行指纹图像处理运算。请参考图3，图3 为本申请实施例一指纹图像处理流程30的示意图。指纹图像处理流程30由光学指纹辨识系统12来执行，其包含以下步骤：

步骤302：当用户的手指FG未按压于显示屏11时，运算模块14取得一背景图像BG_IM以及取得干涉频点f_I,1～f_I,N，其中所述背景图像中不包括指纹图像。

步骤304：当用户的手指FG按压于显示屏11时，图像感测阵列SN_array 接收图像RCV_IM。

步骤306：运算模块14将接收图像RCV_IM与背景图像BG_IM相减，以取得一相差图像Diff_IM。

步骤308：运算模块14将相差图像Diff_IM于干涉频点f_I,1～f_I,N处进行滤波运算，以取得一运算结果OUT。

详细来说，于步骤302中，当使用者的手指FG未按压于显示屏11时，运算模块14取得背景图像BG_IM及干涉频点f_I,1～f_I,N。具体来说，当使用者尚未将其手指按压于显示屏11上时，运算模块14可于一第一时间取得复数个第一图像IM_1，并对复数个第一图像IM_1进行一平均运算，以取得对应于复数个第一图像IM_1的一第一背景图像BG_IM_1。其中，第一背景图像BG_IM_1 不包括指纹图像，但包括因显示像素阵列DP_array中显示像素单元与图像感测阵列SN_array中图像感测像素单元具有不同面积或因显示像素阵列DP_array 与图像感测阵列SN_array不对齐所造成的亮暗或暗点(以下简称晶格干扰)。另外，运算模块14另于一第二时间取得复数个第二图像IM_2，并对复数个第二图像IM_2进行一平均运算，以取得对应于复数个第二图像IM_2的一第二背景图像BG_IM_2。同样地，第二背景图像BG_IM_2不包括指纹图像但包括晶格干扰。其中，步骤302中所指的背景图像BG_IM可为第一背景图像BG_IM_1 或是第二背景图像BG_IM_2。

由于显示像素单元与图像感测像素单元的面积以及显示像素阵列DP_array 与图像感测阵列SN_array的排列方式(或显示像素阵列DP_array与图像感测阵列SN_array之间的夹角)并不随时间改变，因此，于第一背景图像BG_IM_1 的晶格干扰与于第二背景图像BG_IM_2的晶格干扰相同。运算模块14可将第一背景图像BG_IM_1以及第二背景图像BG_IM_2进行一相减运算以及一转频运算，以取得一差值图像频谱Diff_IM_SPM，具体来说，运算模块14可先将第一背景图像BG_IM_1以及第二背景图像BG_IM_2进行相减运算后，再将第一背景图像BG_IM_1与第二背景图像BG_IM_2的相减结果进行转频运算；或者，运算模块14可先将第一背景图像BG_IM_1以及第二背景图像BG_IM_2 进行转频运算，再将第一背景图像BG_IM_1的频谱与第二背景图像BG_IM_2 的频谱相减，皆属于本申请的范畴。于一实施例中，所述转频运算可为一快速傅立叶变换(Fast Fourier Transform，FFT)。

无论是先执行相减运算再执行转频运算或是先执行转频运算再执行相减运算，于第一背景图像BG_IM_1及第二背景图像BG_IM_2中的晶格干扰在执行相减运算时被消除，换句话说，差值图像频谱Diff_IM_SPM中不包括晶格干扰。另外，显示像素阵列DP_array与图像感测阵列SN_array的材质可能具有不同的膨胀系数，当电子装置10的外在温度随时间变化时，于第一时间及第二时间显示像素阵列DP_array与图像感测阵列SN_array的大小或相对位置可能会随之变化，进而对图像感测阵列SN_array所接收到的图像产生干涉的效果。其中，电子装置10于第一时间的外在温度与第二时间的外在温度不同。

另外，运算模块14可进行一能量侦测运算，以分析出较容易发生干涉的频点(简称干涉频点)。运算模块14进行能量侦测运算以取得干涉频点f_I,1～f_I,N的方式并未有所限，举例来说，运算模块14可根据差值图像频谱Diff_IM_SPM，挑选其频谱能量大于一特定值的频点为干涉频点f_I,1～f_I,N，或者，运算模块14 可将差值图像频谱Diff_IM_SPM于每一频点的能量进行统计分析，并挑选其频谱能量为前α％的频点为干涉频点f_I,1～f_I,N，其中α％可视实际状况而有所调整，其可为1％、3％或5％，而并未有所限。例如，α％可相关于一统计平均μ加若干个标准偏差σ，其中统计平均μ及标准偏差σ分别相关于差值图像频谱 Diff_IM_SPM于每一频点的能量的统计平均及标准偏差，于一实施例中，差值图像频谱Diff_IM_SPM于一频点的能量分布可假设为常态分布(Normal Distribution)。换句话说，相较于其他频点，差值图像频谱Diff_IM_SPM于干涉频点f_I,1～f_I,N具有较大的能量。另外，运算模块14不限于挑选多个干涉频点 f_I,1～f_I,N，运算模块14可根据差值图像频谱Diff_IM_SPM仅挑选一个干涉频点 f_I，亦属于本申请的范畴。

关于运算模块14取得背景图像BG_IM及干涉频点f_I,1～f_I,N--的操作，可进一步归纳为一流程40，如图4所示，流程40包含以下步骤：

步骤402：于第一时间取得复数个第一图像IM_1，并对复数个第一图像 IM_1进行平均运算后取得对应于复数个第一图像IM_1的第一背景图像 BG_IM_1。

步骤404：于第二时间取得复数个第二图像IM_2，并对复数个第二图像 IM_2进行平均运算后取得对应于复数个第二图像IM_2的第二背景图像 BG_IM_2。

步骤406：将第一背景图像BG_IM_1以及第二背景图像BG_IM_2进行相减运算以及转频运算，以取得差值图像频谱Diff_IM_SPM。

步骤408：对差值图像频谱Diff_IM_SPM进行能量侦测运算，以取得干涉频点f_I,1～f_I,N。

需注意的是，步骤302及流程40皆在用户的手指FG尚未按压显示屏11 的情况下执行，即在手指FG按压显示屏11以进行指纹辨识之前完成步骤302 及流程40的执行，以先取得背景图像BG_IM及干涉频点f_I,1～f_I,N，换句话说，步骤302及流程40属于离线(Offline)阶段的步骤。当用户的手指FG按压于显示屏11以进行指纹辨识时，于步骤304中，发光单元18发射入射光且图像感测阵列SN_array接收接收图像RCV_IM。

在图像感测阵列SN_array接收到接收图像RCV_IM后，于步骤306中，运算模块14将接收图像RCV_IM与背景图像BG_IM相减，以取得一相差图像 Diff_IM。其中，背景图像BG_IM可为第一背景图像BG_IM_1或是第二背景图像BG_IM_2，另外，运算模块14可将接收图像RCV_IM减去背景图像 BG_IM，或是将背景图像BG_IM减去接收图像RCV_IM，皆属于本申请的范畴。于步骤308中，运算模块14将相差图像Diff_IM于干涉频点f_I,1～f_I,N处进行滤波运算，即针对干涉频点f_I,1～f_I,N处将相差图像Diff_IM滤波运算，以将干涉的部份滤除，进而得到运算结果OUT。

运算模块14完成执行指纹图像处理流程30，即可将运算结果OUT输出至辨识模块16即可根据运算结果OUT，判断手指FG的指纹。请参考图5，图5 为运算结果OUT的示意图。由图2及图5可知，图5中运算结果OUT中的指纹图像较为明显(相较于图2的接收图像RCV_IM)，使得辨识模块16判读手指FG的指纹也较为准确。

由上述可知，本申请于离线阶段时先取得背景图像BG_IM及干涉频点f_I,1～ f_I,N，当光学指纹辨识系统12进入指纹辨识(on the flight)阶段时，运算模块 14只要将接收图像RCV_IM减去背景图像BG_IM，以消除晶格干扰；并于干涉频点f_I,1～f_I,N处进行滤波，以将干涉的部份滤除，即可取得指纹图像较为清晰的运算结果OUT，使得辨识模块16可精准地判读手指FG的指纹。

综上所述，本申请适用于显示屏内指纹辨识，利用减去背景图像消除晶格干扰，并利用于干涉频点处进行滤波，将干涉部份滤除，即可取得指纹图像较为清晰的图像，进而增进指纹辨识的准确度。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包括在本申请的保护范围之内。

Claims (4)

1.一种指纹图像处理方法，应用于一电子装置中的一光学指纹辨识系统，所述电子装置包括一显示屏，所述显示屏包括一显示像素阵列，所述光学指纹辨识系统包括一图像感测阵列，所述图像感测阵列设置于所述显示像素阵列的下方，其中，所述指纹图像处理方法包括：

当一用户的一手指未按压于所述显示屏时，取得一第一背景图像以及取得至少一干涉频点，其中所述第一背景图像中不包括指纹图像，所述至少一干涉频点相关于所述显示像素阵列与所述图像感测阵列具有不同膨胀系数所产生的干涉；

当所述用户的所述手指按压于所述显示屏时，接收一接收图像；

将所述接收图像与所述第一背景图像相减，以取得一相差图像；以及

将所述相差图像于所述至少一干涉频点处进行滤波运算将干涉的部份滤除，以取得一运算结果；

其中，所述光学指纹辨识系统根据所述运算结果，判断于所述接收图像中的指纹，

其中，取得所述至少一干涉频点的步骤包括：

取得复数个第二图像，其中所述复数个第二图像不包括指纹图像，其中，所述第一背景图像对应于复数个第一图像，所述复数个第一图像于一第一外在温度取得，所述复数个第二图像于一第二外在温度取得，所述第一外在温度与所述第二外在温度不同；以及

对所述复数个第二图像进行一平均运算，以取得一第二背景图像，其中所述第二背景图像中不包括指纹图像；

对所述第一背景图像以及所述第二背景图像进行一相减运算以及一转频运算，以取得一差值图像频谱；以及

对所述差值图像频谱进行一能量侦测运算，以取得所述至少一干涉频点。

2.如权利要求1所述的指纹图像处理方法，其中，取得所述第一背景图像的步骤包括：

取得所述复数个第一图像，其中所述复数个第一图像不包括指纹图像；以及

对所述复数个第一图像进行一平均运算，以取得对应于所述复数个第一图像的所述第一背景图像。

3.一种光学指纹辨识系统，应用于一电子装置，所述电子装置包括一显示屏，所述显示屏包括一显示像素阵列，其中，所述光学指纹辨识系统包括有：

一图像感测阵列，设置于所述显示像素阵列的下方，用来于一用户的一手指按压于所述显示屏时，接收一接收图像；

一运算模块，耦接于所述图像感测阵列，用来执行以下步骤：

当所述用户的所述手指未按压于所述显示屏时，取得一第一背景图像以及取得至少一干涉频点，其中所述第一背景图像中不包括指纹图像，所述至少一干涉频点相关于所述显示像素阵列与所述图像感测阵列具有不同膨胀系数所产生的干涉；

将所述接收图像与所述第一背景图像相减，以取得一相差图像；以及

将所述相差图像于所述至少一干涉频点处进行滤波运算将干涉的部份滤除，以取得一运算结果，

其中，所述运算模块另用来执行以下步骤，以取得所述至少一干涉频点：

取得复数个第二图像，其中所述复数个第二图像不包括指纹图像，其中，所述第一背景图像对应于复数个第一图像，所述复数个第一图像于一第一外在温度取得，所述复数个第二图像于一第二外在温度取得，所述第一外在温度与所述第二外在温度不同；以及

对所述复数个第二图像进行一平均运算，以取得一第二背景图像，其中所述第二背景图像中不包括指纹图像；

对所述第一背景图像以及所述第二背景图像进行一相减运算以及一转频运算，以取得一差值图像频谱；以及

对所述差值图像频谱进行一能量侦测运算，以取得所述至少一干涉频点；以及

一辨识模块，耦接于所述运算模块，用来根据所述运算结果，判断于所述接收图像中的指纹。

4.如权利要求3所述的光学指纹辨识系统，其中，所述运算模块另用来执行以下步骤，以取得所述第一背景图像：

取得所述复数个第一图像，其中所述复数个第一图像不包括指纹图像；以及

对所述复数个第一图像进行一平均运算，以取得对应于所述复数个第一图像的所述第一背景图像。

Images