CN108064386B - 背景去除方法、影像模块及光学指纹辨识系统 - Google Patents

背景去除方法、影像模块及光学指纹辨识系统 Download PDF

Info

Publication number
CN108064386B
CN108064386B CN201780001862.8A CN201780001862A CN108064386B CN 108064386 B CN108064386 B CN 108064386B CN 201780001862 A CN201780001862 A CN 201780001862A CN 108064386 B CN108064386 B CN 108064386B
Authority
CN
China
Prior art keywords
image
mask
background
multiplied
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780001862.8A
Other languages
English (en)
Other versions
CN108064386A (zh
Inventor
李宗德
罗介暐
许志隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN108064386A publication Critical patent/CN108064386A/zh
Application granted granted Critical
Publication of CN108064386B publication Critical patent/CN108064386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1324—Sensors therefor by using geometrical optics, e.g. using prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供了一种背景去除方法，包括取得对应于第一物件的第一背景影像，其中所述第一物件具有第一反射率；取得对应于第二物件的第二背景影像，其中所述第二物件具有第二反射率，所述第一反射率与所述第二反射率不同；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；取得目标影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像。

Description

背景去除方法、影像模块及光学指纹辨识系统
技术领域
本申请涉及一种背景去除方法、影像模块及光学指纹辨识系统，尤其涉及一种可有效消除干扰的背景去除方法、影像模块及光学指纹辨识系统。
背景技术
随着科技日新月异，移动电话、数字相机、平板计算机、笔记本电脑等越来越多携带型电子装置已经成为了人们生活中必备的工具。由于携带型电子装置一般为个人使用，而具有一定的隐私性，因此其内部储存的数据，例如电话簿、相片、个人信息等等为私人所有。若电子装置一旦丢失，则这些数据可能会被他人所利用，而造成不必要的损失。虽然目前已有利用密码保护的方式来避免电子装置为他人所使用，但密码容易泄露或遭到破解，具有较低的安全性。并且，用户需记住密码才能使用电子装置，若忘记密码，则会带给使用者许多不便。因此，目前发展出利用个人指纹识别系统的方式来达到身份认证的目的，以提升数据安全性。
另一方面，随着指纹辨识技术的进步，隐形指纹传感器(Invisible FingerprintSensor，IFS)已逐渐受到消费者的青睐。在隐形指纹传感技术中，光学指纹传感器可设置于触控屏幕的下方，即屏幕下(Under Display)指纹感测。换句话说，用户可透过按压触控屏幕以进行指纹辨识。
此外，现有技术已发展出背景去除(Background Subtraction)技术，其可将背景影像去除，使得有用信号的影像更加显著。然而，于光学指纹辨识的应用中，触控屏幕除了排列成阵列的显示元件(如有机发光二极管(OLED))之外，触控屏幕于显示元件之上还设置有氧化铟锡(ITO)透明导电膜、导电银胶、ITO基板、OCA(Optical Clear Adhesive)光学胶等相关于触控功能的元件或材质。由于指纹影像中纹蜂(Finger Ridge)与纹谷(FingerValley)之间的信号相当微小，而前述触控相关元件/材质对光的穿透率在每个像素位置皆不尽相同，再加上使用者手指对光的反射率与建立背景影像时的背景物件对光的反射率不同，导致在进行光学指纹辨识时对指纹影像造成干扰。换句话说，因使用者手指的反射率与建立背景影像时的背景物件的反射率不同，若仅使用现有的背景去除技术，无法有效消除干扰，而使光学指纹判断的精准度降低。
因此，如何有效消除干扰的背景去除技术，也就成为业界所努力的目标之一。
发明内容
因此，本申请部分实施例的目的即在于提供一种可有效消除干扰的背景去除方法、影像模块及光学指纹辨识系统，以改善现有技术的缺点。
为了解决上述技术问题，本申请实施例提供了一种背景去除方法，应用于背景去除模块，所述背景去除方法包括取得对应于第一物件的第一背景影像，其中所述第一物件具有均匀颜色且具有第一反射率；取得对应于第二物件的第二背景影像，其中所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；取得目标影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像。
例如，计算所述第一背景影像相对于所述第二背景影像的所述多个相对值，以取得所述遮罩影像的步骤包括将所述第一背景影像中多个第一像素值的一次方或多次方与所述第二背景影像中多个第二像素值的一次方或多次方相除，以取得所述多个相对值。
例如，根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算所述第二背景去除影像的步骤包括将所述第一背景去除影像与所述遮罩影像相乘，以取得第一遮罩相乘影像；根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算补偿系数；将所述第一遮罩相乘影像乘以所述补偿系数，以取得补偿影像；以及将所述第一背景去除影像加上所述补偿影像，以产生所述第二背景去除影像。
例如，根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算所述补偿系数的步骤包括将所述第一遮罩相乘影像与所述遮罩影像相乘，以取得第二遮罩相乘影像；根据所述遮罩影像，产生反遮罩影像；将所述第一背景去除影像与所述反遮罩影像相乘，以取得第一反遮罩相乘影像；将所述第一反遮罩相乘影像与所述反遮罩影像相乘，以取得第二反遮罩相乘影像；以及根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数。
例如，根据所述遮罩影像，产生所述反遮罩影像的步骤包括将全白影像减去所述遮罩影像，以产生所述反遮罩影像。
例如，所述多个相对值经过正规化运算后，使得所述遮罩影像中每个遮罩像素值介于0与1之间，所述全白影像中每一个像素值为1。
例如，根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数的步骤包括取得对应于所述第一遮罩相乘影像的第一遮罩平均值；取得对应于所述第一反遮罩相乘影像的第一反遮罩平均值；将所述第一遮罩平均值与所述第一反遮罩平均值相减，以产生第一相减结果；取得对应于所述第二遮罩相乘影像的第二遮罩平均值；取得对应于所述第二反遮罩相乘影像的第二反遮罩平均值；将所述第二遮罩平均值与所述第二反遮罩平均值相减，以产生第二相减结果；计算所述补偿系数正比于所述第一相减结果与所述第二相减结果的比值。
例如，所述背景去除模块设置于光学指纹辨识系统的触控屏幕之下。
为了解决上述技术问题，本申请实施例提供了一种影像模块，所述影像模块包括影像撷取单元，用来撷取第一物件的至少一第一影像、第二物件的至少一第二影像以及目标影像，其中所述第一物件具有均匀颜色且具有第一反射率，所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；背景去除单元，用来根据所述至少一第一影像，取得第一背景影像，并根据所述至少一第二影像，取得第二背景影像；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像。
为了解决上述技术问题，本申请实施例提供了一种光学指纹辨识系统，设置于电子装置中，所述光学指纹辨识系统包括指纹辨识模块以及影像模块，所述影像模块设置于所述电子装置的触控屏幕之下，耦接于所述指纹辨识模块，所述影像模块包括影像撷取单元，用来撷取第一物件的至少一第一影像、第二物件的至少一第二影像以及目标影像，其中所述第一物件具有均匀颜色且具有第一反射率，所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；背景去除单元，用来根据所述至少一第一影像，取得第一背景影像，并根据所述至少一第二影像，取得第二背景影像；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像；其中，所述指纹辨识模块接收所述第二背景去除影像，以根据所述第二背景去除影像进行指纹辨识。
本申请利用具有不同反射率/颜色的物件建立第一背景影像以及第二背景影像，并利用根据第一背景影像及第二背景影像所产生的遮罩影像，对第一阶段背景去除运算(现有背景去除技术)所产生的第一背景去除影像进一步地进行第二阶段背景去除运算。相较于现有技术，本申请可进一步消除影像上的干扰。
附图说明
图1为本申请实施例一光学指纹辨识系统的示意图；
图2为本申请实施例一影像模块的示意图；
图3为本申请实施例一背景去除流程的示意图；
图4为本申请实施例多个影像的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请说明书以及权利要求中，影像A与影像B之间进行加减乘除运算代表影像A及影像B进行元素与元素之间的加减乘除运算。详细来说，影像A乘以影像B(记为A*B)代表将影像A的第(i,j)个像素值ai,j乘以影像B的第(i,j)个像素值bi,j；影像A除以影像B(记为A/B)代表将影像A的第(i,j)个像素值ai,j除以影像B的第(i,j)个像素值bi,j；影像A加影像B(记为A+B)代表将影像A的第(i,j)个像素值ai,j加影像B的第(i,j)个像素值bi,j；影像A减影像B(记为A-B)代表将影像A的第(i,j)个像素值ai,j减影像B的第(i,j)个像素值bi,j。影像A的平均值代表对影像A所有的像素值行平均运算而得到的像素值。
请参考图1及图2，图1为本申请实施例一电子装置1的示意图，图2为本申请实施例一影像模块14的示意图。电子装置1包括光学指纹辨识系统10以及触控屏幕12，光学指纹辨识系统10包括影像模块14以及指纹辨识模块16，影像模块14包括影像撷取单元140及背景去除单元142。影像模块14设置于触控屏幕12之下，而耦接于指纹辨识模块16。光学指纹辨识系统10可进行屏幕下(Under Display)的指纹感测，即用户可透过按压触控屏幕14以进行指纹辨识。
详细来说，影像模块14的影像撷取单元140直接设置于触控屏幕12之下，而背景去除单元142可设置于影像撷取单元140的下方或其他位置(但仍在触控屏幕12之下)。影像撷取单元140可包括排列成阵列的多个感光元件(如感光二极管(Photo Diode，PD))，影像撷取单元140用来撷取触控屏幕12反射自区域RGN的光线而于该多个感光元件上形成的影像。背景去除单元142可由数字电路或数字信号处理器(Digital Signal Processor，DSP)实现，背景去除单元142接收影像撷取单元140所撷取的影像，并对影像撷取单元140所撷取的目标影像F进行背景影像去除(Background Subtraction)运算，以产生背景去除影像R，以消除目标影像F上的干扰，如此一来，指纹辨识模块16可针对背景去除影像R进行指纹辨识。其中，目标影像F上的干扰可能是由于触控屏幕12中触控相关元件/材质/电路(如氧化铟锡(ITO)透明导电膜、导电银胶、ITO基板、OCA(Optical Clear Adhesive)光学胶等)的穿透率在每个像素位置皆不尽相同，再加上使用者手指对光的反射率与建立背景影像时的背景物件对光的反射率不同，导致在进行光学指纹辨识时对指纹影像造成的干扰。
请参考图3，图3为本申请实施例一背景去除流程30的示意图，背景去除流程30可由影像模块14来执行，以产生背景去除影像R，背景去除流程30包括以下步骤：
步骤300：录制第一背景影像B1以及第二背景影像B2，其中第一背景影像B1及第二背景影像B2分别对应于第一物件及第二物件，第一物件及第二物件皆具有均匀颜色且分别具有第一反射率及第二反射率，第一反射率与第二反射率不同。
步骤302：计算第一背景影像B1相对于第二背景影像B2的多个相对值，以取得遮罩影像M。
步骤304：撷取目标影像F。
步骤306：将目标影像F与第二背景影像B2相减，以取得第一背景去除影像X。
步骤308：根据第一背景影像B1、第二背景影像B2、第一背景去除影像X以及遮罩影像M，计算并输出第二背景去除影像R。
于步骤300中，影像模块14录制对应于第一物件及第二物件的第一背景影像B1及第二背景影像B2。于一实施例中，电子装置1的操作人员可将第一物件(其可为颜色均匀的全黑色物件而具有第一反射率)覆盖于触控屏幕12上的指纹感测区(即影像模块14上方的区域RGN)，此时影像撷取单元140可撷取对应于第一物件/全黑色物件的至少一第一影像；另外，操作人员可将颜色均匀的第二物件(其可为颜色均匀的全白色物件而具有第二反射率)覆盖于触控屏幕12上的指纹感测区(即影像模块14上方的区域RGN)，此时影像撷取单元140可撷取对应于全白色物件/第二物件的至少一第二影像。影像撷取单元140撷取该至少一第一影像以及该至少一第二影像后，背景去除单元142可计算该至少一第一影像的平均，以去除第一影像中的噪声，而产生第一背景影像B1，另外，背景去除单元142计算该至少一第二影像的平均，以去除第二影像中的噪声，而产生第二背景影像B2。其中，第一背景影像B1及第二背景影像B2分别对应反射率不同(或物件颜色不同)的第一物件及第二物件，即第一反射率与第二反射率不同，而第一物件及第二物件可视为背景物件。
于步骤302中，背景去除单元142计算第一背景影像B1相对于第二背景影像B2的多个相对值，以取得遮罩影像M。于一实施例中，背景去除单元142可计算遮罩影像M为第一背景影像B1除以第二背景影像B2，遮罩影像M的第(i,j)个遮罩像素值mi,j即代表第一背景影像B1与第二背景影像B2于第(i,j)个像素位置的相对值，即mi,j＝b1i,j/b2i,j，其中b1i,j及b2i,j分别代表第一背景影像B1及第二背景影像B2的第(i,j)个像素值。遮罩影像M中多个像素值(即第一背景影像B1相对于第二背景影像B2的多个相对值)反映出不同背景物件反射率以及触控相关元件/材质于不同像素位置的不同穿透率的综合效果。于一实施例中，遮罩影像M可经过一正规化(Normalization)运算，使得遮罩影像M中每个遮罩像素值介于0与1之间。
于步骤304中，影像撷取单元140撷取目标影像F。于光学指纹辨识系统10进行光学指纹辨识时，用户将其手指按压于触控屏幕12上的指纹感测区(即影像模块14上方的区域RGN)，影像撷取单元140所撷取到的目标影像F包括指纹影像。
于步骤306中(其可视为第一阶段背景去除运算)，背景去除单元142将目标影像F与第二背景影像B2相减，以取得第一背景去除影像X，第一背景去除影像X可表示为X＝F-B2。
于步骤308中(其可视为第二阶段背景去除运算)，背景去除单元142根据第一背景影像B1、第二背景影像B2、第一背景去除影像X以及遮罩影像M，计算并输出第二背景去除影像R。详细来说，背景去除单元142将第一背景去除影像X乘以遮罩影像M，以取得第一遮罩相乘影像W(第一遮罩相乘影像W可表示为W＝X*M)，接着，背景去除单元142根据第一背景去除影像X以及第一遮罩相乘影像W，计算补偿影像C，最后，背景去除单元142将第一背景去除影像X加上补偿影像C，即为第二背景去除影像R，第二背景去除影像R可表示为R＝X+C。于一实施例中，补偿影像C可正比于第一遮罩相乘影像W，即补偿影像C可表示为C＝g*W，而背景去除单元142可根据第一背景去除影像X以及第一遮罩相乘影像W，计算补偿系数g，即可计算出补偿影像C。
详细来说，为了计算补偿影像C，背景去除单元142可根据遮罩影像M，产生反遮罩影像N，反遮罩影像N为遮罩影像M的反白影像，换句话说，若遮罩影像M在第(i,j)个像素位置很亮，则反遮罩影像N在第(i,j)个像素位置很暗，反之亦然。于一实施例中，背景去除单元142可将一均匀全白影像AWH减去遮罩影像M，以产生反遮罩影像N，反遮罩影像N可表示为N＝AWH-M。在遮罩影像M中每个遮罩像素值介于0与1之间的情况下，全白影像AWH中每一个中每一个像素值为1。背景去除单元142可将第一背景去除影像X乘以反遮罩影像N，以取得第一反遮罩相乘影像B(第一反遮罩相乘影像B可表示为B＝X*N)。于一实施例中，背景去除单元142可计算补偿影像C/补偿系数g，使得于影像R*M中任意区块的像素平均值为一固定值，或于影像R*N中任意区块的像素平均值为另一固定值。
为了达成此目的，背景去除单元142可将第一反遮罩相乘影像B再次乘以反遮罩影像N，以取得第二反遮罩相乘影像BN，第二反遮罩相乘影像BN可表示为BN＝B*N＝X*N*N，另一方面，背景去除单元142可将第一遮罩相乘影像W再次乘以遮罩影像M，以取得第二遮罩相乘影像WM，第二遮罩相乘影像WM可表示为WM＝W*M＝X*M*M。背景去除单元142可补偿系数g为公式1，即背景去除单元142根据第一遮罩相乘影像W、第二遮罩相乘影像WM、第一反遮罩相乘影像B以及第二反遮罩相乘影像BN，计算补偿系数g。其中，mean(W)、mean(B)、mean(WM)、mean(BN)分别代表对应于第一遮罩相乘影像W、第一反遮罩相乘影像B、第二遮罩相乘影像WM、第二反遮罩相乘影像BN的第一遮罩平均值、第一反遮罩平均值、第二遮罩平均值、第二反遮罩平均值。
Figure BDA0001494502840000121
如此一来，于背景去除单元142计算出补偿系数g后，背景去除单元142即可计算补偿影像C为C＝g*W，以及计算并输出第二背景去除影像R为R＝X+g*W＝X(1+g*M)。
请参考图4，图4为本申请实施例背景影像B1、B2、遮罩影像M、反遮罩影像N、目标影像F1、F2、第一背景去除影像X1、X2、第二背景去除影像R1、R2的示意图。其中，目标影像F1为当电子装置1的操作人员将一横条纹物件覆盖于触控屏幕12上的指纹感测区(区域RGN)时所撷取到的目标影像F，目标影像F2为操作人员实际将手指按压在指纹感测区(区域RGN)时所撷取到的目标影像F，第一背景去除影像X1、X2分别为对目标影像F1、F2执行步骤306的执行结果，第二背景去除影像R1、R2分别为对第一背景去除影像X1、X2执行步骤308的执行结果。
由图4可知，遮罩影像M及反遮罩影像N呈现菱形结构，其反映出触控相关元件/材质/电路所形成的影像，其中，遮罩影像M中某些像素位置较暗(其遮罩像素值较低)而某些像素位置较亮(其遮罩像素值较高)，反遮罩影像N于遮罩像素值较低的像素位置具有较高的反遮罩像素值，而于遮罩像素值较高的像素位置具有较低的反遮罩像素值。目标影像F1中具有微小的横纹信号，而目标影像F2中具有微小的指纹信号。第一背景去除影像X1包括菱形电路结构所成的影像与横纹信号的合成影像，而第一背景去除影像X2包括菱形电路结构所成的影像与指纹信号的合成影像。由第二背景去除影像R1、R2可知，影像模块14透过执行步骤308可有效地将第一背景去除影像X1、X2中对应于菱形电路结构的影像消除，使得第二背景去除影像R1仅具有横纹信号，而第二背景去除影像R2仅具有指纹信号。
另外，第一阶段背景去除运算所产生的第一背景去除影像X1、X2其实为现有背景去除技术的执行结果。本申请除了第一阶段背景去除运算之外，还进行第二阶段背景去除运算(即步骤308)，由图4可知，本申请第二阶段背景去除运算所产生的第二背景去除影像R1、R2相较于现有技术，可进一步消除影像上的干扰。
另外，为了增加使用便利性，影像模块14可于产品出厂前的校正阶段，先计算背景影像B1、B2、遮罩影像M以及反遮罩影像N并将其储存于存储单元(未绘示于图1)中，当出厂后使用者将手指按压在指纹感测区/区域RGN时，影像模块14可实时地撷取目标影像F，并计算第一背景去除影像X及第二背景去除影像R。
需注意的是，前述实施例用以说明本发明之概念，本领域具通常知识者当可据以做不同的修饰，而不限于此。举例来说，遮罩影像M不限于为第一背景影像B1与第二背景影像B2的相除结果，于一实施例中，遮罩影像M可为M＝(B1*B1)/(B2*B2)＝B12/B2 2，或是M＝B1n/B2n，其中B1n(B2n)代表B1(B2)的n次方，只要遮罩影像M中的遮照相素质可展现/代表算第一背景影像B1相对于第二背景影像B2的相对值，皆属于本申请的范畴。另外，在录制背景影像B1、B2时，影像模块14可先进行一温度补偿操作，以降低温度对背景影像B1、B2的影响。另外，为了考虑使用者并未将其手指按压在整个指纹感测区/区域RGN，影像模块14可先对影像撷取单元140所撷取的影像先进行影像分割(Segmentation)，分割后的影像及可成为目标影像F。另外，背景去除单元142可对遮罩影像M执行二值化(Binarization)运算，并利用二值化后的遮罩影像M，计算第二背景去除影像R，亦属于本申请的范畴。另外，第一物件及第二物件不限于黑白两色，其可为其他颜色，只要第一物件及第二物件对光具有不同反射率，即属于本申请的范畴。
综上所述，本申请利用具有不同反射率/颜色的物件建立第一背景影像以及第二背景影像，并利用根据第一背景影像及第二背景影像所产生的遮罩影像，对第一阶段背景去除运算(现有背景去除技术)所产生的第一背景去除影像进一步地进行第二阶段背景去除运算。相较于现有技术，本申请可进一步消除影像上的干扰。
以上所述仅为本申请的部分实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种背景去除方法，应用于背景去除模块，其特征在于，所述背景去除方法包括：
取得对应于第一物件的第一背景影像，其中所述第一物件具有均匀颜色且具有第一反射率；
取得对应于第二物件的第二背景影像，其中所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；
计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；
取得目标影像；
将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及
根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像；
其中根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像包括：
将所述第一背景去除影像与所述遮罩影像相乘，以取得第一遮罩相乘影像；
根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算补偿系数；
将所述第一遮罩相乘影像乘以所述补偿系数，以取得补偿影像；以及
将所述第一背景去除影像加上所述补偿影像，以产生所述第二背景去除影像。
2.如权利要求1所述的背景去除方法，其特征在于，计算所述第一背景影像相对于所述第二背景影像的所述多个相对值，以取得所述遮罩影像的步骤包括：
将所述第一背景影像中多个第一像素值的一次方或多次方与所述第二背景影像中多个第二像素值的一次方或多次方相除，以取得所述多个相对值。
3.如权利要求1所述的背景去除方法，其特征在于，根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算所述补偿系数的步骤包括：
将所述第一遮罩相乘影像与所述遮罩影像相乘，以取得第二遮罩相乘影像；
根据所述遮罩影像，产生反遮罩影像；
将所述第一背景去除影像与所述反遮罩影像相乘，以取得第一反遮罩相乘影像；
将所述第一反遮罩相乘影像与所述反遮罩影像相乘，以取得第二反遮罩相乘影像；以及
根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数。
4.如权利要求3所述的背景去除方法，其特征在于，根据所述遮罩影像，产生所述反遮罩影像的步骤包括：
将全白影像减去所述遮罩影像，以产生所述反遮罩影像，其特征在于，所述多个相对值经过正规化运算后使得所述遮罩影像中每个遮罩像素值介于0与1之间，所述全白影像中每一个像素值为1。
5.如权利要求3所述的背景去除方法，其特征在于，根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数的步骤包括：
取得对应于所述第一遮罩相乘影像的第一遮罩平均值；
取得对应于所述第一反遮罩相乘影像的第一反遮罩平均值；
将所述第一遮罩平均值与所述第一反遮罩平均值相减，以产生第一相减结果；
取得对应于所述第二遮罩相乘影像的第二遮罩平均值；
取得对应于所述第二反遮罩相乘影像的第二反遮罩平均值；
将所述第二遮罩平均值与所述第二反遮罩平均值相减，以产生第二相减结果；以及
计算所述第一相减结果与所述第二相减结果的比值，以取得所述补偿系数。
6.如权利要求1所述的背景去除方法，其特征在于，所述背景去除模块设置于光学指纹辨识系统的触控屏幕之下。
7.一种影像模块，其特征在于，所述影像模块包括：
影像撷取单元，用来撷取第一物件的至少一第一影像、第二物件的至少一第二影像以及目标影像，其中所述第一物件具有均匀颜色且具有第一反射率，所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；
背景去除单元，用来执行以下步骤：
根据所述至少一第一影像，取得第一背景影像，并根据所述至少一第二影像，取得第二背景影像；
计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；
将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；
根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像；
其中根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像包括：
将所述第一背景去除影像与所述遮罩影像相乘，以取得第一遮罩相乘影像；
根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算补偿系数；
将所述第一遮罩相乘影像乘以所述补偿系数，以取得补偿影像；以及
将所述第一背景去除影像加上所述补偿影像，以产生并输出所述第二背景去除影像。
8.如权利要求7所述的影像模块，其特征在于，所述背景去除单元另用来执行以下步骤，以计算所述第一背景影像相对于所述第二背景影像的所述多个相对值，以取得所述遮罩影像：
将所述第一背景影像中多个第一像素值的一次方或多次方与所述第二背景影像中多个第二像素值的一次方或多次方相除，以取得所述多个相对值。
9.如权利要求7所述的影像模块，其特征在于，所述背景去除单元另用来执行以下步骤，以根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算所述补偿系数：
将所述第一遮罩相乘影像与所述遮罩影像相乘，以取得第二遮罩相乘影像；
根据所述遮罩影像，产生反遮罩影像；
将所述第一背景去除影像与所述反遮罩影像相乘，以取得第一反遮罩相乘影像；
将所述第一反遮罩相乘影像与所述反遮罩影像相乘，以取得第二反遮罩相乘影像；以及
根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数。
10.如权利要求9所述的影像模块，其特征在于，所述背景去除单元另用来执行以下步骤，以根据所述遮罩影像，产生所述反遮罩影像：
将全白影像减去所述遮罩影像，以产生所述反遮罩影像，其中，所述多个相对值经过正规化运算后，使得所述遮罩影像中每个遮罩像素值介于0与1之间，所述全白影像的每个全白像素值为1。
11.如权利要求9所述的影像模块，其特征在于，所述背景去除单元另用来执行以下步骤，以根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数：
取得对应于所述第一遮罩相乘影像的第一遮罩平均值；
取得对应于所述第一反遮罩相乘影像的第一反遮罩平均值；
将所述第一遮罩平均值与所述第一反遮罩平均值相减，以产生第一相减结果；
取得对应于所述第二遮罩相乘影像的第二遮罩平均值；
取得对应于所述第二反遮罩相乘影像的第二反遮罩平均值；
将所述第二遮罩平均值与所述第二反遮罩平均值相减，以产生第二相减结果；以及
计算所述第一相减结果与所述第二相减结果的比值，以取得所述补偿系数。
12.一种光学指纹辨识系统，设置于电子装置中，其特征在于，所述光学指纹辨识系统包括：
指纹辨识模块；以及
影像模块，设置于所述电子装置的触控屏幕之下，耦接于所述指纹辨识模块，其中所述影像模块为权利要求7-11中任意一项所述的影像模块；
其中，所述指纹辨识模块接收所述第二背景去除影像，以根据所述第二背景去除影像进行指纹辨识。
CN201780001862.8A 2017-11-24 2017-11-24 背景去除方法、影像模块及光学指纹辨识系统 Active CN108064386B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/112868 WO2019100329A1 (zh) 2017-11-24 2017-11-24 背景去除方法、影像模块及光学指纹辨识系统

Publications (2)

Publication Number Publication Date
CN108064386A CN108064386A (zh) 2018-05-22
CN108064386B true CN108064386B (zh) 2022-04-05

Family

ID=62142038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780001862.8A Active CN108064386B (zh) 2017-11-24 2017-11-24 背景去除方法、影像模块及光学指纹辨识系统

Country Status (4)

Country Link
US (1) US11182586B2 (zh)
EP (1) EP3594846A4 (zh)
CN (1) CN108064386B (zh)
WO (1) WO2019100329A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10315222B2 (en) 2016-05-04 2019-06-11 Invensense, Inc. Two-dimensional array of CMOS control elements
US10445547B2 (en) 2016-05-04 2019-10-15 Invensense, Inc. Device mountable packaging of ultrasonic transducers
US10562070B2 (en) 2016-05-10 2020-02-18 Invensense, Inc. Receive operation of an ultrasonic sensor
US11673165B2 (en) 2016-05-10 2023-06-13 Invensense, Inc. Ultrasonic transducer operable in a surface acoustic wave (SAW) mode
US10706835B2 (en) 2016-05-10 2020-07-07 Invensense, Inc. Transmit beamforming of a two-dimensional array of ultrasonic transducers
US10452887B2 (en) 2016-05-10 2019-10-22 Invensense, Inc. Operating a fingerprint sensor comprised of ultrasonic transducers
US10539539B2 (en) 2016-05-10 2020-01-21 Invensense, Inc. Operation of an ultrasonic sensor
US10441975B2 (en) 2016-05-10 2019-10-15 Invensense, Inc. Supplemental sensor modes and systems for ultrasonic transducers
US10474862B2 (en) 2017-06-01 2019-11-12 Invensense, Inc. Image generation in an electronic device using ultrasonic transducers
WO2019100329A1 (zh) 2017-11-24 2019-05-31 深圳市汇顶科技股份有限公司 背景去除方法、影像模块及光学指纹辨识系统
WO2019109010A1 (en) 2017-12-01 2019-06-06 Invensense, Inc. Darkfield tracking
US10997388B2 (en) 2017-12-01 2021-05-04 Invensense, Inc. Darkfield contamination detection
US11151355B2 (en) 2018-01-24 2021-10-19 Invensense, Inc. Generation of an estimated fingerprint
CN109389071A (zh) * 2018-09-29 2019-02-26 京东方科技集团股份有限公司 指纹检测方法与指纹图像补偿方法及装置、电子装置
CN110543851B (zh) 2018-11-30 2022-10-21 神盾股份有限公司 具有指纹感测功能的电子装置以及指纹图像处理方法
CN111310517B (zh) * 2018-12-11 2024-01-19 上海耕岩智能科技有限公司 一种基于sim卡的认证方法、装置、系统
US10936843B2 (en) 2018-12-28 2021-03-02 Invensense, Inc. Segmented image acquisition
CN110097031B (zh) * 2019-05-14 2023-07-25 上海菲戈恩微电子科技有限公司 一种屏下光学指纹图像的校正方法和装置
WO2020263875A1 (en) 2019-06-24 2020-12-30 Invensense, Inc. Fake finger detection using ridge features
WO2020264046A1 (en) 2019-06-25 2020-12-30 Invensense, Inc. Fake finger detection based on transient features
US11216632B2 (en) 2019-07-17 2022-01-04 Invensense, Inc. Ultrasonic fingerprint sensor with a contact layer of non-uniform thickness
US11176345B2 (en) 2019-07-17 2021-11-16 Invensense, Inc. Ultrasonic fingerprint sensor with a contact layer of non-uniform thickness
CN110334694B (zh) * 2019-07-18 2023-05-09 上海菲戈恩微电子科技有限公司 一种基于偏振光的屏下光学指纹防攻击方法
US11232549B2 (en) 2019-08-23 2022-01-25 Invensense, Inc. Adapting a quality threshold for a fingerprint image
US11392789B2 (en) 2019-10-21 2022-07-19 Invensense, Inc. Fingerprint authentication using a synthetic enrollment image
KR20210047996A (ko) * 2019-10-22 2021-05-03 삼성디스플레이 주식회사 표시 장치
CN112101194A (zh) * 2020-01-21 2020-12-18 神盾股份有限公司 电子装置及其操作方法
CN211959311U (zh) * 2020-01-21 2020-11-17 神盾股份有限公司 图像扫描装置
WO2021183457A1 (en) 2020-03-09 2021-09-16 Invensense, Inc. Ultrasonic fingerprint sensor with a contact layer of non-uniform thickness
US11243300B2 (en) 2020-03-10 2022-02-08 Invensense, Inc. Operating a fingerprint sensor comprised of ultrasonic transducers and a presence sensor
KR20210128797A (ko) * 2020-04-17 2021-10-27 삼성전자주식회사 사용자의 지문을 인식하는 전자 장치 및 동작 방법
US11328165B2 (en) 2020-04-24 2022-05-10 Invensense, Inc. Pressure-based activation of fingerprint spoof detection
US11995909B2 (en) 2020-07-17 2024-05-28 Tdk Corporation Multipath reflection correction
US11790690B1 (en) * 2022-11-21 2023-10-17 Novatek Microelectronics Corp. Fingerprint recognition device, fingerprint recognition method and method of generating moire pattern image

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101210876A (zh) * 2007-12-25 2008-07-02 浙江大学 基于可见/近红外多光谱成像的水稻养分信息测量方法
CN101339613A (zh) * 2008-08-12 2009-01-07 中国地质科学院矿产资源研究所 一种遥感图像背景噪声减弱方法
CN102446034A (zh) * 2010-10-13 2012-05-09 原相科技股份有限公司 光学触控系统及其物件侦测方法
CN102999750A (zh) * 2012-12-31 2013-03-27 清华大学 一种去除背景干扰的现场指纹增强方法
CN106203365A (zh) * 2016-07-14 2016-12-07 浙江赢视科技有限公司 增益调节处理的指纹成像方法
CN106228123A (zh) * 2016-07-14 2016-12-14 浙江赢视科技有限公司 自动调整处理的指纹识别器及其识别方法
CN106940488A (zh) * 2017-04-27 2017-07-11 上海天马微电子有限公司 显示面板及显示装置
CN107085701A (zh) * 2016-01-27 2017-08-22 株式会社日本显示器 指纹检测装置、显示装置、以及显示设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125192A (en) * 1997-04-21 2000-09-26 Digital Persona, Inc. Fingerprint recognition system
EP2343633A4 (en) * 2008-10-21 2013-06-12 Sony Corp IMAGE CAPTURE DEVICE, IMAGE DISPLAY AND CAPTURE DEVICE, AND ELECTRONIC APPARATUS
NO329897B1 (no) * 2008-12-19 2011-01-24 Tandberg Telecom As Fremgangsmate for raskere ansiktsdeteksjon
JP2014182476A (ja) * 2013-03-18 2014-09-29 Fuji Xerox Co Ltd 操作履歴情報保存装置、画像処理装置、操作履歴情報保存制御プログラム
EP3254235B1 (en) * 2016-01-31 2023-07-12 Shenzhen Goodix Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
CN106949488B (zh) 2017-05-09 2022-10-21 江苏中科机械有限公司 具有高效密封旋转式换向阀的蓄热燃烧装置
EP3435280A4 (en) * 2017-06-16 2019-05-01 Shenzhen Goodix Technology Co., Ltd. DIGITAL FOOTPRINT IMAGE PROCESSING METHOD, DIGITAL FOOTPRINT OPTICAL RECOGNITION SYSTEM, AND ELECTRONIC DEVICE
WO2019100329A1 (zh) 2017-11-24 2019-05-31 深圳市汇顶科技股份有限公司 背景去除方法、影像模块及光学指纹辨识系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101210876A (zh) * 2007-12-25 2008-07-02 浙江大学 基于可见/近红外多光谱成像的水稻养分信息测量方法
CN101339613A (zh) * 2008-08-12 2009-01-07 中国地质科学院矿产资源研究所 一种遥感图像背景噪声减弱方法
CN102446034A (zh) * 2010-10-13 2012-05-09 原相科技股份有限公司 光学触控系统及其物件侦测方法
CN102999750A (zh) * 2012-12-31 2013-03-27 清华大学 一种去除背景干扰的现场指纹增强方法
CN107085701A (zh) * 2016-01-27 2017-08-22 株式会社日本显示器 指纹检测装置、显示装置、以及显示设备
CN106203365A (zh) * 2016-07-14 2016-12-07 浙江赢视科技有限公司 增益调节处理的指纹成像方法
CN106228123A (zh) * 2016-07-14 2016-12-14 浙江赢视科技有限公司 自动调整处理的指纹识别器及其识别方法
CN106940488A (zh) * 2017-04-27 2017-07-11 上海天马微电子有限公司 显示面板及显示装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Secure Fingerprint-based authentication and non-repudiation services for mobile learning systems;Foudil Belhadj 等;《2015 International Conference on Interactive Mobile Communication Technologies and Learning (IMCL)》;20151217;第200-204页 *
一种基于标准差的指纹图像分割算法;余兆钗;《闽江学院学报》;20140331;第88-90页 *

Also Published As

Publication number Publication date
US11182586B2 (en) 2021-11-23
EP3594846A1 (en) 2020-01-15
WO2019100329A1 (zh) 2019-05-31
CN108064386A (zh) 2018-05-22
EP3594846A4 (en) 2020-05-20
US20200050828A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN108064386B (zh) 背景去除方法、影像模块及光学指纹辨识系统
US11232546B2 (en) Texture detection method, texture image compensation method and device, and electronic device
CN107454963B (zh) 指纹图像处理方法及光学指纹辨识系统
CN107636686A (zh) 指纹采集的方法、装置、芯片和终端设备
WO2021083059A1 (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
CN111654594A (zh) 图像拍摄方法、图像拍摄装置、移动终端及存储介质
WO2019218308A1 (zh) 屏下指纹感测系统及电子装置
CN109118447B (zh) 一种图片处理方法、图片处理装置及终端设备
KR20150039205A (ko) 이미지 소자 휘도 조정
CN107820618B (zh) 传感像素单元及光学指纹传感器
US20220067330A1 (en) Calibration method, electronic device, and non-transitory computer-readable storage medium
CN110457963B (zh) 显示控制方法、装置、移动终端及计算机可读存储介质
CN108496184A (zh) 图像处理方法、装置和电子设备
US10977822B2 (en) Fingerprint image enhancement method and fingerprint image module
CN107133361B (zh) 手势识别方法、装置和终端设备
US9595082B2 (en) Image processor and non-transitory computer readable medium for generating a reproduction image which is reproduced so that visibility of an original image is enhanced
Shu et al. Face spoofing detection based on multi-scale color inversion dual-stream convolutional neural network
CN107360361B (zh) 一种逆光拍摄人物方法及装置
Treibitz et al. Resolution loss without imaging blur
Bernacki On robustness of camera identification algorithms
CN111242089A (zh) 基于空间频率移除背景噪声的电子装置及图像信号处理方法
EP4092567A1 (en) Fingerprint recognition method and apparatus, and electronic device
CN111754411A (zh) 图像降噪方法、图像降噪装置及终端设备
CN112565601B (zh) 图像处理方法、装置、移动终端及存储介质
CN111611881A (zh) 生物特征采集装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant