CN111242089A - 基于空间频率移除背景噪声的电子装置及图像信号处理方法 - Google Patents

基于空间频率移除背景噪声的电子装置及图像信号处理方法 Download PDF

Info

Publication number
CN111242089A
CN111242089A CN202010073777.6A CN202010073777A CN111242089A CN 111242089 A CN111242089 A CN 111242089A CN 202010073777 A CN202010073777 A CN 202010073777A CN 111242089 A CN111242089 A CN 111242089A
Authority
CN
China
Prior art keywords
frequency domain
background
image
noise
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010073777.6A
Other languages
English (en)
Inventor
郑裕国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Egis Technology Inc
Original Assignee
Egis Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Egis Technology Inc filed Critical Egis Technology Inc
Publication of CN111242089A publication Critical patent/CN111242089A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

本发明提供了一种基于空间频率移除背景噪声的电子装置及图像信号处理方法，该电子装置至少包含一图像感测器及一处理器。图像感测器感测物体的图像。处理器执行以下图像信号处理动作：接收图像感测器产生的复合图像；将复合图像从空间域转换到频率域，以获得复合频率域成分；从第二频率域成分扣除对应于频率域噪声位置的背景成分，以获得代表图像信号的清晰频率域成分；以及依据清晰频率域成分进行后续处理以产生图像信号供电子装置应用。

Description

基于空间频率移除背景噪声的电子装置及图像信号处理方法
技术领域
本发明是有关于一种电子装置及图像信号处理方法，且特别是有关于一种基于空间频率移除背景噪声的电子装置及图像信号处理方法。
背景技术
目前，譬如光学指纹感测器的光学生物感测器已经与譬如手机的行动装置整合，特别是整合于显示器屏幕的下方，以达到指纹感测的效果，并应用于身份识别等场合。譬如是超薄的光学指纹感测器或是含有透镜(lens)的光学指纹感测器可以设置在有机发光二极管(Organic Light Emitting Diode,OLED)屏幕、液晶显示器(Liquid CrystalDisplay,LCD)或其他显示器的下方。
这些显示器在设计时，都有一些固定的图案(pattern)，且为了要透光，显示器中会留下一个或多个透光区域，每个透光区域都会涵盖到一些显示器的电路、线路或其他结构。所以通过各个透光区域所感测到的指纹图像，都会存在有一些电路、线路或其他结构的痕迹，譬如说是井字形痕迹，称为背景噪声。当指纹图像与背景噪声结合时，所感测出来的图像信号含有背景噪声，背景噪声也被当作指纹来处理，所以处理出来的指纹图像会失真，影响后续图像处理及身份识别。譬如，特别是在LCD的应用例子中，有些指纹图像含有同心圆的痕迹。有些背景噪声是以细长的纹路出现，而切断掉指纹的纹路。亦即，显示器的图案也被纳入指纹图像中，影响感测结果。
发明内容
因此，本发明的一个目的是提供一种基于空间频率移除背景噪声的电子装置及图像信号处理方法，用于有效移除设置有图像感测器的电子装置所面临到的全域不均匀度、固定图案、高频噪声及感测器印迹的背景噪声。
为达上述目的，本发明提供一种电子装置，至少包含：一处理器；以及一图像感测器，直接或间接电连接至处理器，并且感测一物体的图像，其中处理器控制图像感测器执行图像感测以及以下动作：接收图像感测器产生的一复合图像，其中复合图像代表一复合背景与物体的组合，并且含有对应于复合背景的复合背景噪声以及代表物体的一图像信号；将复合图像从一空间域转换到一频率域，以获得复合频率域成分；从所述复合频率域成分扣除对应于频率域噪声位置的背景成分，以获得代表图像信号的清晰频率域成分；以及依据所述清晰频率域成分进行后续处理以产生图像信号供电子装置应用。
为达上述目的，本发明更提供一种电子装置，至少包含：一处理器；及一图像感测器，电连接至处理器，并且感测一物体的图像，其中处理器控制图像感测器执行图像感测，其中处理器更执行以下动作：接收图像感测器产生的一背景图像及一复合图像，其中背景图像代表一第一背景，并且含有对应于第一背景的第一背景噪声，复合图像代表一第二背景与物体的组合，并且含有对应于第二背景的第二背景噪声以及代表物体的一图像信号，第一背景噪声与第二背景噪声的分布位置相同或相近；分别将背景图像及复合图像从一空间域转换到一频率域，以获得第一频率域成分及第二频率域成分；分析所述第一频率域成分而获得代表第一背景噪声的频率域噪声位置；从所述第二频率域成分扣除对应于所述频率域噪声位置的背景成分，以获得代表图像信号的第三频率域成分；以及依据所述第三频率域成分进行后续处理以产生图像信号供电子装置应用。
本发明更提供一种图像信号处理方法，应用于一电子装置的一处理器中，并且至少包含以下步骤：接收一背景图像及一复合图像，其中背景图像代表一第一背景，并且含有对应于第一背景的第一背景噪声，复合图像代表一第二背景与一物体的组合，并且含有对应于第二背景的第二背景噪声以及代表物体的一图像信号，第一背景噪声与第二背景噪声的分布位置相同或相近；分别将背景图像及复合图像从一空间域转换到一频率域，以获得第一频率域成分及第二频率域成分；分析所述第一频率域成分而获得代表第一背景噪声的频率域噪声位置；从所述第二频率域成分扣除对应于所述频率域噪声位置的背景成分，以获得代表图像信号的第三频率域成分；以及依据所述第三频率域成分进行后续处理以产生图像信号供电子装置应用。
本发明又提供一种图像信号处理方法，应用于一电子装置的一处理器中，并且至少包含以下步骤：接收一复合图像，其中复合图像代表一复合背景与一物体的组合，并且含有对应于复合背景的复合背景噪声以及代表物体的一图像信号；将复合图像从一空间域转换到一频率域，以获得复合频率域成分；从所述复合频率域成分扣除对应于频率域噪声位置的背景成分，以获得代表图像信号的清晰频率域成分；以及依据所述清晰频率域成分进行后续处理以产生图像信号供电子装置应用。
通过上述实施例，可以有效去除背景噪声，以获得良好品质的感测图像，更能解决屏幕下方光学感测器所面临到的问题。再者，手指按压显示器时，不论显示器是否会变形，都可以有效去除大部分的噪声，使得经过图像信号处理后的图像信号可以被用来作登录或辨识的动作。由于电子装置具有固定的图像感测区域，所以可通过两次图像感测来达到降低背景噪声的功能。由于显示器可以含有触控的功能，使得显示器上面会因为手指碰触而产生脏污而造成背景噪声，利用本发明的图像信号处理机制，亦可有效解决此问题。
为让本发明的上述内容能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
图1显示应用依据本发明较佳实施例的图像信号处理方法的电子装置的俯视示意图。
图2显示图1的局部剖面图。
图3与图4A与4B显示依据本发明较佳实施例的图像信号处理方法的流程图。
图5显示处理器中的多个模块的方块图。
图6A显示图像感测器所获得的背景图像。
图6B显示图像感测器所获得的复合图像。
图6C显示复合图像减去背景图像的结果。
图6D显示利用基于空间频率移除背景噪声的图像信号处理方法的结果。
图6E至图6H显示分别对应于图6A至图6D的频率空间分布的第一种表现。
图6I至图6L显示分别对应于图6A至图6D的频率空间分布的第二种表现。
图7A至图7L显示分别对应于图6A至图6L的附加标注的图。
图8A与图8B显示图7A与图7B的放大图。
符号说明：
BG：背景图像
BG1：第一背景
BG2：第二背景
BN1：第一背景噪声
BN2：第二背景噪声
DG：差集图像
F：物体
FC1：第一频率域成分
FC2：第二频率域成分
FC2'：第二差集频率域成分
FC3：第三频率域成分
FC3'：第三差集频率域成分
FDP：频率域噪声位置
FG：复合图像
IS：图像信号
NFP1、NFP2：固定图案噪声
NGNU：全域不均匀度
NSF：感测器印迹
S10：步骤
S20：步骤
S21：步骤
S21'：步骤
S22：步骤
S31：步骤
S31'：步骤
SF：指纹信号
10：处理器
11：第一变换模块
11'：第二变换模块
12：分析模块
13：噪声移除模块
14：后续处理模块
30：显示器
50：图像感测器
100：电子装置
具体实施方式
于本案的研究过程中发现到，虽然可以采用强度相减的方法，来扣掉背景噪声，但是这种方法在屏下式指纹感测的场合，很容易将指纹的资讯也扣除，导致无法达成可以接受的感测结果。因此，本案提出一种基于空间频率移除背景噪声的图像信号处理方法，其不但适合应用于屏下式指纹感测场合，也可以适用于指纹、虹膜、脸型、拍照功能等各种屏幕下的图像感测(譬如光学式、电容式、压力式等图像感测)，或具有固定背景图案的图像感测场合。
图1显示应用依据本发明较佳实施例的图像信号处理方法的电子装置100的俯视示意图。如图1所示，电子装置100譬如是手机、平板电脑等移动装置，至少包含一处理器10、一显示器30及一图像感测器50。显示器30直接或间接电连接至处理器10。值得注意的是，虽然本实施例以显示器30做为一个造成背景噪声的元件来说明，但是电子装置100并非必要包含显示器，举凡有造成背景噪声的元件(包含但不限于图像感测器50的感测器印迹(Sensor Footprint)、电子装置100的机壳、内部框体、内部配线或内部元件)都适合利用本发明实施例的架构来去除背景。
图像感测器50位于显示器30的下方，并且直接或间接电连接至处理器10。图像感测器50可以是相机、指纹感测器、虹膜感测器、手指静脉感测器等。图像感测器50感测位于显示器30之上或上方的一物体F的图像。处理器10控制图像感测器50执行图像感测，并控制显示器30的显示动作，且对图像感测器50提供的图像信号进行处理。显示器30譬如是OLED屏幕或LCD，并且包含透光盖板来保护显示器30内部的元件。物体F包含手指、脸、虹膜或血管等等。
图2显示图1的局部剖面图。譬如手指的物体F放在显示器30上，图像感测器50通过显示器30感测物体F的图像。引起背景噪声的原因如下：图像感测器50位于显示器30的下方；或图像感测器50的光机结构(包含透镜)。虽然本实施例是以图像感测器50位于显示器30的下方作说明，但是并非将本发明限制于此。于其他实施例中，图像感测器50也可位于显示器30中或显示器30的上方，或是位于手机的背面。只要是背景含有空间频率的噪声，就可以利用本实施例的图像信号处理方法来去除背景噪声。因此，图像感测器50也不限于光学式，也可应用于电容式、压力式等。
本实施例提出一种图像信号处理方法，利用空间频率(Spacial/Spatialfrequency)的概念，通过譬如傅立叶变换(Fourier transform)等计算方式将空间频率分析出来，分析出空间频率落在哪里，分析出哪些部分是指纹的空间频率，哪些是属于背景的空间频率，并且去除属于背景的空间频率，只留下属于指纹的空间频率或者是频率域成分。
图3与图4A与图4B显示依据本发明较佳实施例的图像信号处理方法的流程图。图5显示处理器10中的多个模块的方块图。如图5所示，处理器10至少包含一第一变换模块11、一第二变换模块11'、一分析模块12、一噪声移除模块13及一后续处理模块14，用来执行以下步骤。这些模块是以软体、硬体或韧体的方式实施。如图3、图4A、图4B与图5所示，基于空间频率移除背景噪声的图像信号处理方法可以用于电子装置100的处理器10中，并且至少包含以下步骤S10至S40。第一变换模块11与第二变换模块11'可以分别以两个傅立叶变换模块来实施，或者也可以被整合成单一个傅立叶变换模块。
为了达成去除噪声的图像信号处理，处理器10更执行以下动作。首先，于步骤S10，处理器10接收图像感测器50产生的一背景图像BG及一复合图像FG。背景图像BG代表一第一背景BG1，并且含有对应于第一背景BG1的第一背景噪声BN1。复合图像FG代表一第二背景BG2与物体F的组合，并且含有对应于第二背景BG2的第二背景噪声BN2以及代表物体F的一图像信号IS。第一背景噪声BN1与第二背景噪声BN2的分布位置相同或相近。
于步骤S20，分析模块12依据背景图像BG求得频率域噪声位置FDP。于一例子中，分析模块12依据背景图像BG进行频率域的分级排列(ranking)，以分析出频率域噪声位置FDP。更详细来说，于步骤S21中，第一变换模块11将背景图像BG及复合图像FG从一空间域转换到一频率域，以获得第一频率域成分FC1及第二频率域成分FC2(又可称为复合频率域成分)。然后，于步骤S22中，利用分析模块12分析所述第一频率域成分FC1而获得代表第一背景噪声BN1的频率域噪声位置FDP。譬如，处理器10的分析模块12通过频率域的所述第一频率域成分FC1的离群值(outliers)来判断所述频率域噪声位置FDP。接着，于步骤S30，利用噪声移除模块13来从所述第二频率域成分FC2扣除对应于所述频率域噪声位置FDP的背景成分，以获得代表图像信号IS的第三频率域成分FC3(又可称为清晰频率域成分)(步骤S30的步骤S31)。于一例子中，处理器10将复合图像FG减去背景图像BG以获得差集图像DG。或者，于另一例子中，处理器10将复合图像FG减去电平偏移调整过的(level-shifted)背景图像BG以获得差集图像DG。值得注意的是，噪声移除模块13亦可另外执行低频陷波滤波(low-pass notch filtering)处理以让频率域的图像信号平滑化。于一例子中，执行频率域的低频陷波滤波(low-pass notch filtering)处理后，可以不执行空间域的平滑化处理或缩短空间域的平滑化处理时间，以加速整个图像信号处理流程。接着，于步骤S40，后续处理模块14依据所述第三频率域成分FC3进行后续处理以产生图像信号IS供电子装置应用。譬如，可以通过第二变换模块11'将所述第三频率域成分FC3从频率域转换成空间域并通过后续处理模块14进行空间域图像信号处理(ImageSignal Processing，ISP)，譬如让图像平滑化，以获得代表物体F的图像信号IS。接着，处理器10利用图像信号IS来进行生物特征登录或辨识比对动作，并于登录时或辨识比对通过后配合显示器30来与一使用者互动。上述模式可以称为是一标准模式。通过以上的架构，即可达成本发明的实施例的背景噪声的去除效果。以下将补充本发明实施例的其他非必要特征。
综上所述，本发明的实施例亦提供一种图像信号处理方法，应用于电子装置100的处理器10中，并且至少包含以下步骤。首先，接收背景图像BG及复合图像FG，其中背景图像BG代表第一背景BG1，并且含有对应于第一背景BG1的第一背景噪声BN1，复合图像FG代表第二背景BG2与物体F的组合，并且含有对应于第二背景BG2的第二背景噪声BN2以及代表物体F的图像信号IS，第一背景噪声BN1与第二背景噪声BN2的分布位置相同或相近。然后，分别将背景图像BG及复合图像FG从空间域转换到频率域，以获得第一频率域成分FC1及第二频率域成分FC2。接着，分析所述第一频率域成分FC1而获得代表第一背景噪声BN1的频率域噪声位置FDP。然后，从所述第二频率域成分FC2扣除对应于所述频率域噪声位置FDP的背景成分，以获得代表图像信号IS的第三频率域成分FC3。接着，依据所述第三频率域成分FC3进行后续处理以产生图像信号IS供电子装置100应用。
于一例子中，为了执行后续处理以产生图像信号IS供电子装置应用，处理器10的第二变换模块11'可以更将所述第三频率域成分FC3从频率域转换成空间域并进行空间域图像信号处理，以获得代表物体F的图像信号IS。
于一差集模式下，也可以从差集图像DG中剔除噪声频率成分。如图4B的步骤S21'所示，处理器10将背景图像BG从空间域转换到频率域，以获得第一频率域成分FC1，并将复合图像FG减去背景图像BG或减去电平偏移调整过的(level-shifted)背景图像BG以获得差集图像DG，并将差集图像DG转换成第二差集频率域成分FC2'，然后经过步骤S22以后，于步骤S31'，从所述第二差集频率域成分FC2'扣除对应于所述频率域噪声位置FDP的背景成分(噪声频率成分)，以获得代表图像信号IS的第三差集频率域成分FC3'。后续处理模块14依据所述第三差集频率域成分FC3'进行后续处理以产生图像信号IS供电子装置应用。处理器10也可以比对在两个模式下获得的图像信号IS，何者比较有利于特征点的萃取或比对，并输出较佳的图像信号IS。值得注意的是，扣除背景的方式有很多，因为差集图像DG与复合图像FG具有不同的平均值(mean)，所以可以将背景图像BG偏移一定预定值后再进行扣除背景，并将结果指定给差集图像DG(亦即，DG＝FG-Level-Shifted(BG))，然后以差集图像DG进行后续的处理。于另一例子中，DG＝FG-Level-Shifted(BG)的结果也可以直接给陷波滤波或空间域的图像信号处理。
当显示器30为一硬式显示器时，物体F按压于显示器30上并不会使显示器30变形，所以背景噪声在手指按压前与按压后是相同的。使得第一背景噪声BN1与第二背景噪声BN2完全相同。因此，这种硬式显示器提供固定的背景噪声，使得第一背景噪声BN1与第二背景噪声BN2完全相同，也使得背景成分代表第一背景噪声BN1的全部。
当显示器30为一非全硬式显示器时，物体F按压于显示器30上会使得显示器30些微变形，使得第一背景噪声BN1与第二背景噪声BN2相似但不完全相同。因此，这种显示器提供变动的背景噪声，使得第一背景噪声BN1与第二背景噪声BN2相似但不完全相同，也使得背景成分代表第二背景噪声BN2的一部分而非全部。因为第二背景噪声BN2与第一背景噪声BN1发生的位置非常相近，所以利用第一背景噪声BN1的位置来扣除第二背景噪声BN2，亦可以获得优良的图像。
于一个例子中，DG＝FG-BG可以依据“固定图案噪声(Fixed Pattern Noise，FPN)经过FG–BG后的“消减的程度”来决定。若FPN经过FG–BG后，已完全消除或大幅度的消除，则无需进入频率域进行后续处理。无论有无扣除背景图像BG，差集图像DG都可以进入频率域中进行影像处理。
上述第一背景噪声BN1或第二背景噪声BN2至少包含选自于由全域不均匀度(Global Non-Uniformity)、固定图案(Fixed Pattern)、高频噪声(High-FrequencyNoise)及感测器印迹(Sensor Footprint)所组成的群组。
在实际应用时，电子装置100执行指纹感测前，图像感测器50先撷取一张背景图像BG，背景图像BG可以在出厂前产生，也可在手机开机或重置时自动执行或定期自动执行。背景图像BG含有频率域的噪声或称空间频率，手机的处理器可以获得频率域的噪声的位置。背景图像BG对应于显示器30的结构图案、线路或电路结构。手机执行指纹感测时，使用者将手指放在显示器30的上方，图像感测器50进行感测而获得复合图像FG，处理器依据上述频率域的噪声的位置，从复合图像FG扣除上述位置的成分，而获得扣除背景的频率域的第三频率域成分FC3，依据第三频率域成分FC3作进一步处理，以获得最终的图像来输出或供手机进行指纹登录或辨识用。
因此，图像感测器50于物体F不位于图像感测器50的一感测范围内的情况下进行背景图像感测，以获得背景图像BG；以及图像感测器50于物体F位于图像感测器50的感测范围内的情况下进行复合图像感测，以获得复合图像FG。虽然上述背景图像感测是于复合图像感测以前执行，但于另一例子中，上述背景图像感测可以于复合图像感测以后执行，于此情况下，显示器30可以通知使用者将手指移离显示器30。
图6A显示图像感测器50所获得的背景图像BG。图6B显示图像感测器50所获得的复合图像FG。图6C显示复合图像FG减去背景图像BG的结果，可以发现品质不是很理想。图6D显示利用本发明的基于空间频率移除背景噪声的图像信号处理方法的结果，品质较为理想。图6E至图6H显示分别对应于图6A至图6D的频率空间分布的第一种表现，图6I至图6L显示分别对应于图6A至图6D的频率空间分布的第二种表现。
图7A至图7L显示分别对应于图6A至图6L的附加标注的图。图8A与图8B显示图7A与图7B的放大图。如图7A至图8B所示，背景图像BG中含有背景噪声(包含固定图案噪声NFP1与NFP2、全域不均匀度NGNU及感测器印迹NSF)，而复合图像FG中包含上述背景噪声(未标示)及指纹信号SF。通过频率域的分析，求出背景噪声的位置，再从复合图像FG的频率域中扣除背景噪声，可以获得图7L的频率域成分，其中留下指纹信号SF(实线框)，而感测器印迹NSF(虚线框)、全域不均匀度NGNU(虚线框)、固定图案噪声NFP1及NFP2(虚线框)的成分都已经被移除。转换成空间域图像后，可以进行进一步图像信号处理。
值得注意的是，虽然上述实施例为依据第一背景BG1的第一背景噪声BN1的频率域噪声位置FDP来从所述第二频率域成分FC2扣除对应于所述频率域噪声位置FDP的背景成分，以获得代表图像信号IS的第三频率域成分FC3，但是并未将本发明限制于此。于另一实施例中，处理器10可以分析复合图像FG的所述复合频率域成分FC2而获得频率域噪声位置FDP，并依据频率域噪声位置FDP来从复合图像FG的所述第二频率域成分FC2扣除对应于所述频率域噪声位置FDP的背景成分。此时不需要背景图像BG，只需要感测一张复合图像FG，仍可以达成移除背景噪声的功能。或者，频率域噪声位置FDP可以于出厂前进行测试时获得，而储存于电子装置100的储存器(未显示)中，处理器10只要直接抓取所储存的频率域噪声位置FDP即可达成移除背景噪声的效果。
因此，于此实施例中，提供一种电子装置100，至少包含处理器10以及图像感测器50。图像感测器50直接或间接电连接至处理器10，并且感测物体F的图像。处理器10控制图像感测器50执行图像感测以及以下动作：接收图像感测器50产生的复合图像FG，其中复合图像FG代表复合背景BG2与物体F的组合，并且含有对应于复合背景BG2的复合背景噪声BN2以及代表物体F的图像信号IS；将复合图像FG从空间域转换到频率域，以获得复合频率域成分FC2；从所述复合频率域成分FC2扣除对应于频率域噪声位置FDP的背景成分，以获得代表图像信号IS的清晰频率域成分FC3；以及依据所述清晰频率域成分FC3进行后续处理以产生图像信号IS供电子装置应用。
对应于上述不需背景图像的实施例，提供一种图像信号处理方法，应用于电子装置100的处理器10中，并且至少包含以下步骤：接收复合图像FG，其中复合图像FG代表复合背景BG2与物体F的组合，并且含有对应于复合背景BG2的复合背景噪声BN2以及代表物体F的图像信号IS；将复合图像FG从空间域转换到频率域，以获得复合频率域成分FC2；从所述复合频率域成分FC2扣除对应于频率域噪声位置FDP的背景成分，以获得代表图像信号IS的清晰频率域成分FC3；以及依据所述清晰频率域成分FC3进行后续处理以产生图像信号IS供电子装置100应用。
通过上述实施例，可以有效去除背景噪声，以获得良好品质的感测图像，更能解决屏幕下方光学感测器所面临到的问题。再者，手指按压显示器时，不论显示器是否会变形，都可以有效去除大部分的噪声，使得经过图像信号处理后的图像信号可以被用来作登录或辨识的动作。由于电子装置具有固定的图像感测区域，所以可通过两次图像感测来达到降低背景噪声的功能。由于显示器可以含有触控的功能，使得显示器上面会因为手指碰触而产生脏污而造成背景噪声，利用本发明的图像信号处理机制，亦可有效解决此问题。
在较佳实施例的详细说明中所提出的具体实施例仅用以方便说明本发明的技术内容，而非将本发明狭义地限制于上述实施例，在不超出本发明的精神及权利要求范围的情况下，所做的种种变化实施，皆属于本发明的范围。

Claims (31)

1.一种基于空间频率移除背景噪声的电子装置，其特征在于，至少包含：
一处理器；以及
一图像感测器，直接或间接电连接至所述处理器，并且感测一物体的图像，其中所述处理器控制所述图像感测器执行图像感测以及以下动作：
接收所述图像感测器产生的一复合图像，其中所述复合图像代表一复合背景与所述物体的组合，并且含有对应于所述复合背景的复合背景噪声以及代表所述物体的一图像信号；
将所述复合图像从一空间域转换到一频率域，以获得复合频率域成分；
从所述复合频率域成分扣除对应于频率域噪声位置的背景成分，以获得代表所述图像信号的清晰频率域成分；以及
依据所述清晰频率域成分进行后续处理以产生所述图像信号供所述电子装置应用。
2.根据权利要求1所述的电子装置，其特征在于，所述处理器分析所述复合频率域成分而获得所述频率域噪声位置。
3.根据权利要求1所述的电子装置，其特征在于：
所述处理器更接收所述图像感测器产生的一背景图像，所述背景图像代表一第一背景，并且含有对应于所述第一背景的第一背景噪声；
所述复合背景被定义为一第二背景，所述复合背景噪声被定义为一第二背景噪声，所述第一背景噪声与所述第二背景噪声的分布位置相同或相近；
所述复合频率域成分被定义为一第二频率域成分，所述清晰频率域成分被定义为一第三频率域成分；
所述处理器还将所述背景图像从所述空间域转换到所述频率域，以获得第一频率域成分；以及
所述处理器分析所述第一频率域成分而获得所述频率域噪声位置。
4.根据权利要求3所述的电子装置，其特征在于，所述处理器至少包含：
一变换模块，将所述背景图像及所述复合图像从所述空间域转换到所述频率域，并将所述第三频率域成分从所述频率域转换到所述空间域；
一分析模块，分析所述第一频率域成分而获得所述频率域噪声位置；以及
一噪声移除模块，从所述第二频率域成分扣除对应于所述频率域噪声位置的所述背景成分，以获得所述第三频率域成分。
5.根据权利要求3所述的电子装置，其特征在于，所述第一背景噪声与所述第二背景噪声完全相同。
6.根据权利要求5所述的电子装置，其特征在于，所述背景成分代表所述第一背景噪声的全部。
7.根据权利要求3所述的电子装置，其特征在于，所述第一背景噪声与所述第二背景噪声相似但不完全相同。
8.根据权利要求7所述的电子装置，其特征在于，所述背景成分代表所述第二背景噪声的一部分而非全部。
9.根据权利要求3所述的电子装置，其特征在于，所述第一背景噪声与所述第二背景噪声的每一个包含选自于由全域不均匀度、固定图案、高频噪声及感测器印迹所组成的群组。
10.根据权利要求3所述的电子装置，其特征在于，所述处理器更将所述第三频率域成分从所述频率域转换成所述空间域并进行空间域图像信号处理，以获得代表所述物体的所述图像信号。
11.根据权利要求3所述的电子装置，其特征在于，所述图像感测器于所述物体不位于所述图像感测器的一感测范围内的情况下进行背景图像感测，以获得所述背景图像；以及所述图像感测器于所述物体位于所述图像感测器的所述感测范围内的情况下进行复合图像感测，以获得所述复合图像。
12.根据权利要求11所述的电子装置，其特征在于，所述背景图像感测在所述电子装置出厂前、重置或重新开机时自动执行或定期自动执行。
13.根据权利要求11所述的电子装置，其特征在于，所述背景图像感测在所述复合图像感测以前执行。
14.根据权利要求1所述的电子装置，其特征在于，所述物体至少包含手指、脸、虹膜或血管。
15.根据权利要求3所述的电子装置，其特征在于，还包含一显示器，直接或间接电连接至所述处理器，其中所述图像感测器位于所述显示器的下方，并且感测位于所述显示器之上或上方的所述物体的所述图像，所述处理器更控制所述显示器的显示动作。
16.根据权利要求15所述的电子装置，其特征在于，所述显示器为一硬式显示器，所述物体按压于所述显示器上时，所述显示器不变形，使得所述第一背景噪声与所述第二背景噪声完全相同。
17.根据权利要求15所述的电子装置，其特征在于，所述显示器为一非全硬式显示器，所述物体按压于所述显示器上时，所述显示器些微变形，使得所述第一背景噪声与所述第二背景噪声相似但不完全相同。
18.根据权利要求15所述的电子装置，其特征在于，所述处理器利用所述图像信号来进行生物特征登录或辨识比对动作，并于登录时或辨识比对通过后配合所述显示器来与一使用者互动。
19.根据权利要求3所述的电子装置，其特征在于，所述处理器通过频率域的所述第一频率域成分的离群值来判断所述频率域噪声位置。
20.根据权利要求3所述的电子装置，其特征在于，在一差集模式下，所述处理器将所述复合图像减去所述背景图像或减去电平偏移调整过的所述背景图像以获得一差集图像，并将所述差集图像转换成第二差集频率域成分，然后从所述第二差集频率域成分扣除对应于所述频率域噪声位置的背景成分，以获得代表所述图像信号的一第三差集频率域成分，并依据所述第三差集频率域成分进行后续处理以产生所述图像信号供所述电子装置应用。
21.一种图像信号处理方法，其特征在于，应用于一电子装置的一处理器中，并且至少包含以下步骤：
接收一复合图像，其中所述复合图像代表一复合背景与一物体的组合，并且含有对应于所述复合背景的复合背景噪声以及代表所述物体的一图像信号；
将所述复合图像从一空间域转换到一频率域，以获得复合频率域成分；
从所述复合频率域成分扣除对应于频率域噪声位置的背景成分，以获得代表所述图像信号的清晰频率域成分；以及
依据所述清晰频率域成分进行后续处理以产生所述图像信号供所述电子装置应用。
22.根据权利要求21所述的图像信号处理方法，其特征在于，所述处理器分析所述复合频率域成分而获得所述频率域噪声位置。
23.根据权利要求21所述的图像信号处理方法，其特征在于，还至少包含以下步骤：
接收一背景图像，所述背景图像代表一第一背景，并且含有对应于所述第一背景的第一背景噪声，其中所述复合背景被定义为一第二背景，所述复合背景噪声被定义为一第二背景噪声，所述第一背景噪声与所述第二背景噪声的分布位置相同或相近，所述复合频率域成分被定义为一第二频率域成分，所述清晰频率域成分被定义为一第三频率域成分；
将所述背景图像从所述空间域转换到所述频率域，以获得第一频率域成分；以及
分析所述第一频率域成分而获得所述频率域噪声位置。
24.根据权利要求23所述的图像信号处理方法，其特征在于，所述第一背景噪声与所述第二背景噪声完全相同。
25.根据权利要求24所述的图像信号处理方法，其特征在于，所述背景成分代表所述第一背景噪声的全部。
26.根据权利要求23所述的图像信号处理方法，其特征在于，所述第一背景噪声与所述第二背景噪声相似但不完全相同。
27.根据权利要求26所述的图像信号处理方法，其特征在于，所述背景成分代表所述第二背景噪声的一部分而非全部。
28.根据权利要求23所述的图像信号处理方法，其特征在于，所述第一背景噪声与所述第二背景噪声的每一个包含选自于由全域不均匀度、固定图案、高频噪声及感测器印迹所组成的群组。
29.根据权利要求23所述的图像信号处理方法，其特征在于，还至少包含以下步骤：
将所述第三频率域成分从所述频率域转换成所述空间域并进行空间域图像信号处理，以获得代表所述物体的所述图像信号。
30.根据权利要求23所述的图像信号处理方法，其特征在于，还至少包含以下步骤：
使用所述电子装置的一图像感测器于所述物体不位于所述图像感测器的一感测范围内的情况下进行背景图像感测，以获得所述背景图像；以及
使用所述图像感测器于所述物体位于所述图像感测器的所述感测范围内的情况下进行复合图像感测，以获得所述复合图像。
31.根据权利要求23所述的图像信号处理方法，其特征在于，在一差集模式下，将所述复合图像减去所述背景图像或减去电平偏移调整过的所述背景图像以获得一差集图像，并将所述差集图像转换成第二差集频率域成分，然后从所述第二差集频率域成分扣除对应于所述频率域噪声位置的背景成分，以获得代表所述图像信号的一第三差集频率域成分，并依据所述第三差集频率域成分进行后续处理以产生所述图像信号供所述电子装置应用。
CN202010073777.6A 2019-09-23 2020-01-22 基于空间频率移除背景噪声的电子装置及图像信号处理方法 Pending CN111242089A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962904088P 2019-09-23 2019-09-23
US62/904,088 2019-09-23

Publications (1)

Publication Number Publication Date
CN111242089A true CN111242089A (zh) 2020-06-05

Family

ID=70865995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010073777.6A Pending CN111242089A (zh) 2019-09-23 2020-01-22 基于空间频率移除背景噪声的电子装置及图像信号处理方法

Country Status (4)

Country Link
US (1) US20220292644A1 (zh)
CN (1) CN111242089A (zh)
TW (1) TWI738191B (zh)
WO (1) WO2021056944A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061572A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 광학적 객체 인식을 위한 참조 영상 획득 방법, 이를 이용한 광학적 객체 인식 방법 및 이를 수행하는 전자 장치
TWI778839B (zh) * 2021-10-22 2022-09-21 映智科技股份有限公司 指紋訊號處理系統以及指紋訊號處理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592263A (zh) * 2011-01-05 2012-07-18 苏州巴米特信息科技有限公司 基于频域的图像增强方法
JP2012173353A (ja) * 2011-02-17 2012-09-10 Nikon Corp 信号処理装置、撮像装置、及びプログラム
CN107454963A (zh) * 2017-06-16 2017-12-08 深圳市汇顶科技股份有限公司 指纹图像处理方法、光学指纹辨识系统及电子装置
CN108875544A (zh) * 2018-04-11 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、系统和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2643806B2 (ja) * 1993-12-10 1997-08-20 日本電気株式会社 重畳画像の背景除去方法
MXPA06013614A (es) * 2006-11-24 2007-12-06 Global Sight S A De C V Sistemas de transmision de datos en forma remota y digital y localizacion satelital desde terminales moviles o fijas con camaras de vigilancia urbana para reconocimiento facial, detector de disparos, captura de personal de seguridad publica y persona
TWI494899B (zh) * 2012-12-19 2015-08-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
CN104376321A (zh) * 2014-11-14 2015-02-25 北京智慧眼科技发展有限公司 指纹图像预处理方法及装置
CN110232349B (zh) * 2019-06-10 2020-07-03 北京迈格威科技有限公司 屏下指纹去底纹方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592263A (zh) * 2011-01-05 2012-07-18 苏州巴米特信息科技有限公司 基于频域的图像增强方法
JP2012173353A (ja) * 2011-02-17 2012-09-10 Nikon Corp 信号処理装置、撮像装置、及びプログラム
CN107454963A (zh) * 2017-06-16 2017-12-08 深圳市汇顶科技股份有限公司 指纹图像处理方法、光学指纹辨识系统及电子装置
CN108875544A (zh) * 2018-04-11 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、系统和存储介质

Also Published As

Publication number Publication date
TW202113813A (zh) 2021-04-01
WO2021056944A1 (zh) 2021-04-01
TWI738191B (zh) 2021-09-01
US20220292644A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
CN107454963B (zh) 指纹图像处理方法及光学指纹辨识系统
CN107690653B (zh) 获取指纹图像的方法、装置和终端设备
CN108064386B (zh) 背景去除方法、影像模块及光学指纹辨识系统
US9865040B2 (en) Electronic device including sub-array based deblurring of a blurred finger image and related methods
WO2017156964A1 (zh) 一种终端解锁的方法及终端
CN111242089A (zh) 基于空间频率移除背景噪声的电子装置及图像信号处理方法
US11908227B2 (en) Method and device for reference imaging and optical object recognition
CN107091704A (zh) 压力检测方法和装置
US20220254185A1 (en) Fingerprint sensing device and operation method thereof
CN111126147B (zh) 图像处理方法、装置和电子系统
CN109711308B (zh) 指纹组件、电子设备及其指纹信号处理方法
CN107092852A (zh) 压力检测方法和装置
KR20150074646A (ko) 영상 인식 장치 및 방법
EP3598337B1 (en) Fingerprint image enhancement method and fingerprint image module
CN112507917A (zh) 一种光学指纹识别方法、装置、电子设备及存储介质
CN111639708A (zh) 图像处理方法、装置、存储介质及设备
Huang et al. Accurate and efficient pulse measurement from facial videos on smartphones
WO2022188141A1 (zh) 一种指纹图像处理方法、指纹芯片及电子设备
CN115035432A (zh) 一种异常视频的检测方法、装置、介质及设备
KR101470763B1 (ko) 영상에서 컬러 객체를 검출하는 방법 및 영상에서 컬러 객체를 검출하는 장치
TW202205147A (zh) 指紋感測模組以及指紋感測方法
CN113658118A (zh) 图像噪声程度估计方法、装置、电子设备及存储介质
WO2018185992A1 (ja) 生体認証装置、及び方法
KR102313568B1 (ko) 지문 영상 획득 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램
US11804067B1 (en) Fingerprint sensing device and wearable electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200605