CN107209581B - 利用选择导览子区域来估计手指移动的方法和系统 - Google Patents

利用选择导览子区域来估计手指移动的方法和系统 Download PDF

Info

Publication number
CN107209581B
CN107209581B CN201680006820.9A CN201680006820A CN107209581B CN 107209581 B CN107209581 B CN 107209581B CN 201680006820 A CN201680006820 A CN 201680006820A CN 107209581 B CN107209581 B CN 107209581B
Authority
CN
China
Prior art keywords
navigation
image
finger movement
candidate
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680006820.9A
Other languages
English (en)
Other versions
CN107209581A (zh
Inventor
埃里克·塞特贝里
大卫·卡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fingerprint kaana Kadun Intellectual Property Co.,Ltd.
Original Assignee
Fingerprint Cards AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fingerprint Cards AB filed Critical Fingerprint Cards AB
Publication of CN107209581A publication Critical patent/CN107209581A/zh
Application granted granted Critical
Publication of CN107209581B publication Critical patent/CN107209581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0338—Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种估计手指移动的方法，包括：从指纹传感器的至少三个导览子区域中的每一个获得导览估计图像；对于导览估计图像中的每一个，确定导览估计图像的导览相关特性；评估导览相关特性，以找出至少第一导览相关特性和第二导览相关特性的满足导览要求的组合；以及至少选择与第一导览相关特性有关的第一导览子区域以及与第二导览相关特性有关的第二导览子区域。然后利用使用第一导览子区域所获得的第一导览图像的序列以及使用第二导览子区域所获得的第二导览图像的序列，来估计手指移动。

Description

利用选择导览子区域来估计手指移动的方法和系统
技术领域
本发明关于一种利用指纹传感器来估计手指移动的方法及系统。
背景技术
指纹传感器有时被用作为"导览工具(navigation tools)"，例如用以在显示器上移动光标或指针、或是用以执行对呈现在显示器上的项目的选择等等。
为了能够将指纹传感器用于此种导览工具应用，以任何方式追踪用户的手指横跨该指纹传感器的移动是必要的。
根据一种在US6408087中所描述的方法，指纹的纹脊(ridge)以及毛孔(pore)被识别，并且该纹脊和毛孔在指纹的连续图像之间的运动被检测。
为了正确且快速的以指纹为基础的导览，提供导览图像的非常快速的读出(readout)将会是期望的。除非导览图像的尺寸被缩减，否则这将会导致电流消耗的增加，这对于各种重要应用而言是不可接受的。
然而，如果导览图像的尺寸被缩减，则如US6408087所建议的可靠地识别和追踪纹脊和毛孔可能是困难的，或甚至是不可能的。
因此需要一种利用指纹传感器的对手指移动的改进的估计，并且尤其是需要一种在较小的导览图像下良好运作的以指纹为基础的导览。
发明内容
考虑到现有技术的上述缺点及其它缺点，本发明的目的是提供一种利用指纹传感器的对手指移动的改进的估计，尤其是在使用较小的导览图像时。
根据本发明的第一方面，因此提出一种利用指纹传感器来估计手指移动的方法，该方法包括以下步骤：从该指纹传感器的至少三个导览子区域中的每一个获得导览评估图像；针对导览评估图像中的每一个，确定该导览评估图像的导览相关特性；评估导览评估图像中的每一个的导览相关特性，以找出至少第一导览评估图像的第一导览相关特性和第二导览评估图像的第二导览相关特性的满足导览要求的组合；针对手指移动的估计，至少选择用于获得第一导览评估图像的第一导览子区域以及用于获得第二导览评估图像的第二导览子区域；以及利用使用第一导览子区域所获得的第一导览图像的序列以及使用第二导览子区域所获得的第二导览图像的序列来估计手指移动。
"手指移动"应该被理解为手指移动方向以及手指速度中的至少一个。
该指纹传感器例如可以是电容性指纹传感器，其检测用于表示感测元件阵列中的每一个感测元件与触摸该指纹传感器表面的手指表面之间的电容性耦合的测量。相较于在对应于指纹中的纹谷(valley)的位置处的感测元件，在对应于指纹中的纹脊的位置处的感测元件将会呈现与手指的较强的电容性耦合。
然而，本发明的各种实施例并不限于特定的指纹感测技术，而是等同地可应用于例如光学指纹传感器、热指纹传感器或是压电指纹传感器等等。
有利的是，导览子区域可以是该指纹传感器的总感测区域的不同且相互间隔开的子区域。在某些实施例中，导览子区域可以分布在该指纹传感器的总感测区域上。每一个导览子区域的适当形状可以是矩形形状，但是其它形状也是可行的。
至少在根据本发明实施例的方法的最后步骤期间，在导览图像的第一序列中的导览图像仅利用第一导览子区域来获得，并且在导览图像的第二序列中的导览图像仅利用第二导览子区域来获得。通过仅利用指纹传感器的小区域以用于估计手指移动，电流消耗可被保持为低的，同时仍然以高的获得速率来获得导览图像，这有利于手指移动估计的性能。
由于每一个导览子区域的小尺寸(例如小于1mm2)，因此每一个导览图像典型地可能包含非常有限的有用的指纹信息。尤其，利用被手指的指纹图案的外围部分触摸的导览子区域所获得的导览图像可能只包含一个或几个基本上平行的指纹纹脊。仅根据此种导览图像，可能非常难以利用已知的技术来正确地估计在指纹纹脊的方向上的手指移动。导览子区域可以具有预定的尺寸和/或位置。
本发明基于以下实现：通过限定至少三个空间上分开的导览子区域，并且根据从所限定的导览子区域中的每一个获得并且评估导览评估图像来选择导览子区域中的至少两个以用于手指移动估计，这样即使利用非常小的导览图像，也可以正确地估计手指移动。
尤其，本发明人已经认识到导览子区域的可靠选择可以通过以下来实现：对于每一个导览评估图像确定导览相关特性，并且然后评估导览相关特性以找出可能允许在每一个预定的手指移动方向上估计手指移动的组合。
在手指移动估计方法的简单的实施方式中，首先可以确定哪些导览子区域当前被手指所覆盖，并且然后根据导览子区域之间的相互距离来选择第一和第二导览子区域。
然而，为了改善的性能，有利的是实际分析每一个导览评估图像，以确定该导览评估图像的导览相关特性，并且然后估计不同的导览评估图像的导览相关特性，以找出可能提供手指移动的准确估计的导览相关特性的组合。尤其，导览相关特性的不同组合可以被评估，以找出足够好的组合和/或所评估的组合中的最佳组合。
根据本发明的各种实施例，导览评估图像中的每一个的导览相关特性可以指示在导览评估图像与后续图像之间的预期相关性，其中利用用于获得该导览评估图像的导览子区域来获得所述后续图像。此种后续图像将对应于手指在不同的位移方向上的位移。
假设对第一导览评估图像的评估指示在某一方向上的手指移动将可能会导致第一导览评估图像与在该方向上的手指移动之后所取的后续图像之间的高相关性。在该情形中，第一导览相关特性指示已经获得了第一导览评估图像的第一导览子区域(当前)不适合于该方向上的手指移动的估计。
如果对利用第二导览子区域所获得的第二导览评估图像的评估指示与上述第一导览评估图像的可能的相关性模式(likely correlation pattern)互补的可能的相关性模式，则相关性模式的组合可以指示利用第一导览子区域获得的导览图像结合利用第二导览子区域获得的导览图像可以提供至少在每一个预定的手指移动方向上的准确的手指移动估计。
例如，可以针对每一个预定的手指移动方向来评估对于第一导览评估图像以及第二导览评估图像的最低的所估计的相关性。如果该最低的所估计的相关性针对每一个预定的手指移动方向低于预定的最大预期相关性，则第一和第二导览评估图像的预期相关性的组合可被确定为满足导览要求。替代地或组合地，例如针对所评估组合的任何方向产生最低的最大相关性的组合可被视为满足导览要求。
在各种的实施例中，对于导览评估图像中的每一个确定导览相关特性的步骤可包括估计该导览评估图像中的主取向的步骤。
导览相关特性例如可以是导览评估图像中的指纹纹脊的主取向的指示，其然后可以指出已经获得了导览评估图像的导览子区域当前不适于在该主取向上的手指移动的估计，但是很适合于在其它方向(例如垂直于该主取向等等)上的手指移动的估计。
对于图像处理领域中的普通技术人员而言有各种已知方式用于估计图像中的主取向。例如，可以在所评估的图像中的每一个像素处，利用两个简单的垂直边缘检测器(例如Prewitt或Sobel滤波器)并且然后进行平均，来计算主取向。
上述导览相关特性的评估然后可以包括要求第一导览评估图像中的第一主取向与第二导览评估图像中的第二主取向之间的最小差异。对于具有良好对比度的清楚的指纹图像而言，该图像中的取向通常将会由指纹纹脊的取向给出。
替代地或组合地，可以选择所评估的组合中的、呈现出第一主取向和第二主取向之间的最大差异的一个组合。
评估组合的直接方式的一个例子可以是对于成对的导览评估图像取取向向量(orientation vector)的标积(scalar product)。该标积越小，则主取向越是不同。在主取向上的大的差异使得导览子区域的组合当前可能适于在所有方向上的准确的手指移动估计。
有利的是，可以有用于选择的额外标准。例如，呈现良好限定的主取向的导览评估图像可能会由于差的对比度或低的信号噪声比而成为不合格的。
根据其它实施例，在确定哪些导览子区域将用于手指移动估计之前，可以利用导览评估图像来测试针对不同方向的相关性。
在这些实施例中，对于导览评估图像中的每一个来确定导览相关特性的步骤可包括以下步骤：将导览评估图像与多个第一部分指纹图像中的每一个进行相关，其中该多个第一部分指纹图像关于导览图像在不同的方向上移位；以及根据针对不同方向的相关性来确定导览相关特性。
上述的相关性可以以匹配参数值来表示，该匹配参数值可以是指示两个图像之间的相关性的任何适当的值。例如，对于以上提及的部分图像中的每一个而言，导览评估图像和部分图像的所有像素的绝对差异(偏差)的总和可被用作为该匹配参数值。低的偏差等同于高的相关性。
导览评估图像和部分指纹图像可以被同时获得。例如，导览评估图像可以只利用导览子区域的一部分来获得，并且部分指纹图像可以利用该导览子区域的其它重叠部分来获得。替选地，指纹传感器的稍微放大的部分可以仅被用于导览评估。此种放大的部分例如可以由导览子区域以及一圈感测元件组成，这圈感测元件就在该导览子区域之外一个感测元件宽的位置处。
再者，根据实施例，估计手指移动的步骤可包括以下步骤：在第一参考指纹图像获得时间处，利用第一导览子区域的至少一部分来获得第一参考指纹图像；在第二参考指纹图像获得时间处，利用第二导览子区域的至少一部分来获得第二参考指纹图像；在第一候选指纹图像获得时间的时间序列中的每一个第一候选指纹图像获得时间处，利用第一导览子区域的至少一部分来获得至少一个第一候选指纹图像；在第二候选指纹图像获得时间的时间序列中的每一个第二候选指纹图像获得时间处，利用第二导览子区域的至少一部分来获得至少一个第二候选指纹图像；对于第一候选指纹图像获得时间中的每一个，对于多个候选手指移动方向中的每一个确定第一匹配参数值，该第一匹配参数值指示对应于第一导览子区域的参考区域的参考指纹图像部分与对应于第一导览子区域的候选区域的第一候选指纹图像部分之间的相关性，该候选区域关于该参考区域在该候选手指移动方向上移位，以产生一组第一匹配参数值；对于第二候选指纹图像获得时间中的每一个，对于多个候选手指移动方向中的每一个确定第二匹配参数值，该第二匹配参数值指示对应于第二导览子区域的参考区域的参考指纹图像部分与对应于第二导览子区域的候选区域的第二候选指纹图像部分之间的相关性，该候选区域关于该参考区域在该候选手指移动方向上移位，以产生一组第二匹配参数值；以及根据第一组匹配参数值以及第二组匹配参数值来估计手指移动。
候选指纹图像总是在参考指纹图像的获得之后获得的。
利用来自罗盘的比拟，候选手指移动方向例如可以包括北、西北、西、西南等等。
对于候选指纹图像部分与参考指纹图像部分之间的较强的相关性(相似性)，指示候选指纹图像部分与参考指纹图像部分之间的相关性的匹配参数值是更高或是更低的。
为了在手指移动估计中进一步的改善，根据本发明的实施例的方法可以进一步包括以下步骤：对于候选手指移动方向中的每一个确定第一局部极值匹配参数值，其指示针对第一候选指纹图像获得时间的时间序列的最大相关性；对于候选手指移动方向中的每一个确定第二局部极值匹配参数值，其指示针对第二候选指纹图像获得时间的时间序列的最大相关性；其中根据对所确定的第一局部极值匹配参数以及第二局部极值匹配参数的评估来估计该手指移动。
根据一例子，匹配参数值可以是候选指纹图像部分与参考指纹图像部分之间的差异的测量。在该情形中，匹配参数值的较低值指示指纹图像部分之间的较强相关性，并且指示最大相关性的局部极值将会是局部最小值。类似地，匹配参数值可以是指纹图像部分之间的对应性或相似性的测量，并且在该情形中，指示最大相关性的局部极值将会是局部最大值。
根据实施例，针对各个候选手指移动方向在时间方面呈现出局部极值(其指示最大相关性)的至少两个候选手指移动方向可以被评估。
当手指移动横跨该指纹传感器的表面时，利用所选的至少第一和第二导览子区域所获得的部分指纹图像将会改变，使得对至少第一和第二导览子区域的另外选择可以提供更佳的手指移动估计。
根据本发明的实施例，该方法因此可以进一步包括以下的步骤：评估至少一个手指移动特性；并且当手指移动特性满足预定标准时，从指纹传感器的至少三个导览子区域中的每一个获得新的导览评估图像。
手指移动特性可以是指示从做成导览子区域的选择开始，手指已经移动多远的特性。于是，手指移动特性可以是手指移动距离、手指移动时间、来自所选的导览子区域的手指信号等等中的任一个或其组合。
因此，上述预定标准可以从包括以下的组中来选择：最大手指移动距离；最大手指移动时间；以及来自第一导览子区域和第二导览子区域中的至少一个的信号(例如平均信号强度或总信号强度)的劣化。手指信号的劣化可包括手指信号的部分损失或完全损失，或是该手指信号可能保持，但是导览评估图像的质量可能已经降低。例如，指示信号噪声比的测量可能已经下降到低于预定阈值。
当已经满足预定标准时，从所有导览子区域获得新的导览评估图像，并且如上所述的根据本发明实施例的选择过程被执行，以进行对导览子区域的新的选择，并且利用新选择的导览子区域来进行手指移动估计。
根据本发明的第二方面，提供了一种指纹感测系统，包括：指纹传感器，其具有包含至少三个不同的导览子区域的指纹传感器区域；以及处理电路，其用于：从该指纹传感器的至少三个导览子区域中的每一个获得导览评估图像；对于导览评估图像中的每一个确定该导览评估图像的导览相关特性；评估导览评估图像中的每一个的导览相关特性，以找出至少第一导览评估图像的第一导览相关特性和第二导览评估图像的第二导览相关特性的满足导览要求的组合；为了手指移动的估计，至少选择用于获得第一导览评估图像的第一导览子区域以及用于获得第二导览评估图像的第二导览子区域；以及利用使用第一导览子区域所获得的第一导览图像的序列以及使用第二导览子区域所获得的第二导览图像的序列来估计手指移动。
有利的是，该指纹感测系统可被配置为每秒获得至少3000个导览图像。
再者，根据各种实施例，指纹传感器以及处理电路可被提供为单个半导体构件。这提供了低成本的手指导览系统，非常小型而且具有低的功率消耗。
再者，为了高的指纹感测性能及鲁棒性，每一个感测元件可包括：将被手指触摸的保护性介电顶层；布置在该顶层下面的导电的感测结构；以及连接至该感测结构的电荷测量电路，以用于提供指示由感测结构携带的电荷的变化的感测信号，该电荷的变化由手指与感测结构之间的电位差的变化引起。电荷测量电路可包括电荷放大器。
本发明的此第二方面的进一步实施例、以及通过本发明的此第二方面所获得的效果大部分类似于上述针对本发明的第一方面所描述的。
总之，本发明关于一种估计手指移动的方法，其包括：从指纹传感器的至少三个导览子区域中的每一个获得导览评估图像；对于导览评估图像中的每一个确定该导览评估图像的导览相关特性；评估导览相关特性以找出至少第一导览相关特性和第二导览相关特性的满足导览要求的组合；以及至少选择与第一导览相关特性有关的第一导览子区域以及与第二导览相关特性有关的第二导览子区域。然后利用使用第一导览子区域所获得的第一导览图像的序列以及使用第二导览子区域所获得的第二导览图像的序列来估计手指移动。
附图说明
本发明的这些方面以及其它方面现在将会参考示出本发明的示例实施例的附图来更详细地加以描述，其中：
图1概要地示出根据本发明的实施例的指纹感测系统的示例应用，其具有用于电视机的遥控器的形式；
图2是包含在图1的遥控器中的指纹感测系统的概要框图；
图3a-c是利用在图1及图2中的指纹感测系统的指纹传感器所获得的指纹图像的示例图示；
图4是概要地描绘根据本发明的示例实施例的一种估计手指移动的方法的流程图；
图5a-b概要地描绘利用第一示例估计方法的导览评估图像的第一组合的评估；
图6a-b概要地描绘利用第一示例评估方法的导览评估图像的第二组合的评估；
图7概要地描绘第二示例评估方法、以及用于手指移动估计方法的示例过程；以及
图8概要地描绘利用所选的导览子区域的示例手指移动估计。
具体实施方式
在下文中，图1概要地示出根据本发明的实施例的指纹感测系统的示例应用，其具有遥控装置1的形式，该遥控装置1用于控制电视机2的操作。应注意的是，该遥控装置1只是示例应用，并且根据本发明的实施例的指纹感测系统同样可以良好地包含在其它电子装置中，例如移动电话或计算机等等。
参照图1，该遥控装置1包括指纹感测系统4、以及例如是红外LED(未显示在图1中)的无线发送器。该电视机2包括例如是光检测器(未显示)的无线接收器，以用于接收由该遥控装置1所发送的信号。根据所接收的信号，该电视机2可被控制来例如改变频道，或是如同在图1中概要地指出地，在菜单对话5中选择选项。
参照图2，其是包含在图1中的遥控装置1内的指纹感测系统的概要框图，该指纹感测系统4包括指纹传感器7以及处理电路8。该处理电路8在此被示出为包括该指纹传感器7中所包含的手指移动估计电路9、以及在该指纹传感器7之外的传感器控制器10。应了解的是，该传感器控制器10也可以包括在该指纹传感器构件7中。
如同概要地在图2中所示的，该指纹传感器7具有指纹传感器区域12，其在此例中包含九个不同的导览子区域13a-i。
如同在以上的发明内容部分中进一步说明的，所期望的是利用非常有限的图像数据来执行导览，以允许高的帧速率，同时仍然保持电流消耗是非常低的。同样所期望的是将整个指纹传感器7保持为小的，以使得构件成本保持为低的，并且有利于整合到各种电子产品内。
在图3a中提供了根据本发明的指纹感测系统的实施例中的指纹传感器区域12以及导览子区域13a-i的代表性尺寸的图示，其中利用整个指纹传感器区域12所获得的指纹图像14、以及利用各个导览子区域13a-i所获得的导览图像15a-i被与典型指纹17一起示出。
图3b是指纹图像14以及导览图像15a-i的放大，并且图3c是利用单个导览子区域13h所获得的示例导览图像15h的进一步放大视图。
如同可以从图3a-c所理解的，该指纹传感器区域12相对于该指纹17是相当小的，并且每一个导览子区域13a-i相对于指纹特征甚至是更小的。例如，考虑在图3c中的放大的导览图像15h，容易理解的是，可能会难以在该导览图像15h中准确地估计在以下方向上的手指移动：与指纹纹脊20的主取向19平行的方向。
该情况可以通过利用多于一个的导览图像15a-i来加以改善，但是导览子区域13a-i的选择对于手指移动估计的性能而言将会是重要的。例如，如果导览图像15h和15i被用于手指移动估计，则仍然会难以准确地估计在与上述主取向19平行的方向上的移动。
如同在此所述的，本发明的实施例提供了对手指移动方向的更准确的估计。
根据本发明的示例实施例的、利用图2中的指纹感测系统的一种估计手指移动方向的方法现在将会参考图4中的概要流程图、以及参考图5a-b、图6a-b、图7及图8中提供的图示来加以描述。
在第一步骤100中，通过处理电路8，从导览子区域13a-i中的每一个获得导览评估图像15a-i。例如，手指移动估计电路9可以获得导览评估图像15a-i，并且将该图像传递到传感器控制器10，或是该传感器控制器10可以直接获得该导览评估图像15a-i。
在后续的步骤101中，由该处理电路8确定所获得的导览评估图像15a-i中的每一个的导览相关特性。对于每一个导览评估图像15a-i确定导览相关特性的目的是为了改善对导览评估图像15a-i中的两个或更多个的选择。
对于具有相关技术中的普通技术的人员而言，将会明显的是，存在着用于处理导览评估图像15a-i以获得能够有助于选择过程的导览相关特性的若干种方式。
两种用于针对导览评估图像15a-i确定适当的导览相关特性的示例方式现在将参考图5a-b、图6a-b及图7来加以描述。
根据一个示例实施例，可以通过计算不同的导览评估图像15a-i中的主取向来确定针对在不同手指移动方向上的手指移动估计而言不同导览子区域13a-i的当前预期可用性。首先参考图5a-b，在导览评估图像15c和15e中的各个主取向被示出。
通过在导览评估图像中的每个像素处使用两个简单的垂直边缘检测器(例如众所周知的Prewitt或Sobel滤波器)并且接着进行平均，每一个像素的局部梯度取向可被确定。针对导览评估图像15c的局部梯度取向的示例直方图22a在图5a中被示出在图像15c之下，并且针对导览评估图像15e的局部梯度取向的示例直方图22b在图5b中被示出在图像15e之下。各个导览评估图像15c、15e的主取向由在直方图22a、22b下面的箭头来指示。
在图6a-b中，在具有直方图23a(与图5a中的直方图22a相同)的图5a中的导览评估图像15c中的取向与具有直方图23b的导览评估图像15h中的取向进行比较。如同在图5a-b中，各个导览评估图像15c、15h的主取向由在直方图23a、23b下面的箭头来指示。
在上述的第一实施例中，导览相关特性因此是在每一个导览相关图像15a-i中的主取向。
根据另一示例实施例，通过将每个导览评估图像与部分指纹图像直接进行相关，来确定针对不同手指移动方向上的手指移动估计而言不同导览子区域13a-i的当前预期可用性，其中所述部分指纹图像相关于导览评估图像被在不同的方向上移位。
图7概要地描绘代表性导览评估图像15(在图7的中心方形内的8×8像素的阴影区域)，以及八个另外的部分图像25a-h(阴影区域)，其代表手指在八个不同的方向上的位移，在此被标识为西北(nw)、北(n)、东北(ne)、西(w)、东(e)、西南(sw)、南(s)、以及东南(se)。
通过例如使用块匹配(block matching)来将导览评估图像15与不同的部分指纹图像25a-h中的每一个进行相关(correlate)，可以获得测量，该测量指示在导览评估图像与不同的部分指纹图像25a-h中的每一个之间的相似性(或是指示偏差的测量)。
在上述的第二实施例中，导览相关特性因此是在导览评估图像15与指出在不同方向上的位移的部分图像25a-h之间的相关性的测量。
回到在图4中的流程图，在步骤102中评估导览评估图像15a-i中的每一个的导览相关特性，以找出至少第一导览评估图像的第一导览相关特性以及第二导览评估图像的第二导览相关特性的组合，该组合满足导览要求。
根据一个实施例，步骤102的评估可以涉及将不同导览评估图像的主取向彼此相比较，并且确定主取向是否足够地不同，或是确定导览评估图像的哪个组合具有最不同的主取向。
首先参考图5a-b，可以看出导览取向图像15c和15e中的主取向是相当类似的，这意味着这些导览取向图像15c和15e的组合不太可能提供在以下方向上的准确的手指移动估计：基本上沿着这些导览取向图像15c和15e中的主取向的方向。导览评估图像15c以及导览评估图像15e的主取向对于进行组合以满足导览要求而言过于相似。
现在转向图6a-b，可以看出导览取向图像15c和15h中的主取向是非常不同的(基本上垂直的)，这意味着这些导览取向图像15c和15h的组合可能提供在所有方向上的准确的手指移动估计。取决于导览要求是否已经被预先定义为在主取向上的最小差异，或是具有在主取向上的最大差异的组合应被视为已经满足导览要求，导览评估图像15c以及导览评估图像15h的主取向可以满足该导览要求。
为了提供不同组合的有效率的评估，可以对于每一个组合来确定主取向的标积，并且产生最低的标积的(最接近正交的)组合可被视为满足导览要求。
根据另一实施例，如上参考图7所述的导览评估图像15a-i中的每一个与部分图像25a-h之间的相关性可被用以找出导览评估图像的组合，其中该组合对于所有方向具有足够低的相关性(或是最低的最大相关性)，其可被视为满足导览要求。
在下一个步骤103中，已被用来获得满足导览要求的导览评估图像的组合的导览子区域被选择，以用于手指移动估计。例如，在图3a-c的例子中，导览子区域13c和13h(被用来获得导览评估图像15c和15h)可被选择以用于手指移动估计。
之后，在步骤104中，利用使用第一导览子区域所获得的第一导览图像的序列以及使用第二导览子区域所获得的第二导览图像的序列，来估计手指移动。
可以利用适合于相对小的区域的任何估计来估计手指移动。例如，如以上参考图7简短描述的利用块匹配的相关(correlation)可以被使用。
第一导览图像的序列可包括第一参考图像以及针对每个方向的第一候选图像的序列，并且第二导览图像的序列可包括第二参考图像以及针对每个方向的第二候选图像的序列。第一参考图像以及第二参考图像可被当作为单个组合的参考图像，并且第一和第二候选图像的每个组也可被当作为单个组合的候选图像。
为了提供对手指移动的高度准确的估计，可以在手指移动与指纹传感器阵列12的一个像素相对应的距离所花的时间期间获得至少三个候选图像。接着，可以评估匹配参数值(相关性)的随时间的发展，以将手指移动的方向估计为以下方向：呈现出参考图像与候选图像的序列之间最强的最大相关性的方向。
匹配参数值可以是指示两个图像之间的相关性的任何适当的值。在目前所描绘的例子中，候选指纹图像部分和参考指纹图像部分的所有8×8像素的绝对差异(偏差)的总和被用作为匹配参数值。
针对不同候选手指移动方向的匹配参数值(在此例中为偏差)的随时间的发展的例子被示出在图8中，其中不同候选手指移动方向被表示为罗盘的不同的点，如同也在以上参考图7所述的。
在图8的例子中，针对方向西、西南、南、以及东南中的每一个确定偏差的局部最小值，并且可以根据这些方向的局部最小值来估计手指移动。在此例中，确定的是候选移动方向"南"在大约第16个候选指纹图像获得时间处呈现最佳的相关性。因此，手指移动被估计为在"南"方向上。
只要这些子区域可能提供准确的估计，则利用所选的至少第一和第二导览子区域来继续手指移动估计。这在步骤105中通过评估至少一个手指移动特性来确定，手指移动特性例如是在步骤103中选择导览子区域之后，从手指移动估计的开始起的手指移动距离，或是在步骤103中选择导览子区域之后，从手指移动估计的开始起的时间。如果手指尚未移动非常远，或是利用所选的导览子区域的手指移动估计尚未被执行"长的"时间，则该方法返回到步骤104，并且继续利用所选的导览子区域来估计手指移动。在另一方面，如果在步骤105中确定的是手指移动特性满足手指移动标准，则该方法返回到步骤100，其中获得新的导览评估图像。
本领域技术人员认识到本发明绝对不受限于上述的优选实施例。相反地，在所附权利要求的范围内，许多修改和变化是可能的。
在权利要求中，词语"包括"并不排除其它元件或步骤，并且不定冠词"一"或"一个"并不排除复数个。单个处理器或其它单元可以实现在权利要求中阐述的若干个项目的功能。在相互不同的从属权利要求中阐述某些手段的事实并不表示这些手段的组合无法被有利地使用。计算机程序可被存储/分布在适当的介质上，例如，与其它硬件一起提供的或是做为其它硬件的部分的光学存储介质或固态介质，但是计算机程序也可以以其它形式分布，例如经由因特网或是其它有线或无线电信系统。权利要求中的任何参考符号都不应被解释为限制范围。

Claims (13)

1.一种利用指纹传感器估计手指移动的方法，所述方法包括以下步骤：
从所述指纹传感器的至少三个导览子区域中的每一个获得导览评估图像；
对于所述导览评估图像中的每一个确定所述导览评估图像的导览相关特性；
评估所述导览评估图像中的每一个的所述导览相关特性，以找出至少第一导览评估图像的第一导览相关特性和第二导览评估图像的第二导览相关特性的组合，其中所述组合满足导览要求；
针对所述手指移动的估计，至少选择用于获得所述第一导览评估图像的第一导览子区域以及用于获得所述第二导览评估图像的第二导览子区域；以及
利用使用所述第一导览子区域获得的第一导览图像的序列以及使用所述第二导览子区域获得的第二导览图像的序列估计所述手指移动。
2.根据权利要求1所述的方法，其中：
所述导览评估图像中的每一个的所述导览相关特性指示所述导览评估图像和后续图像之间的预期相关性，其中所述后续图像是利用用于获得所述导览评估图像的导览子区域获得的，所述后续图像对应于所述手指在不同位移方向上的位移。
3.根据权利要求2所述的方法，其中所述导览相关特性的多个组合中的每一个组合被评估，并且对于多个预定的导览方向提供最低的最大预期相关性的所评估的组合被确定为满足所述导览要求。
4.根据前述权利要求中任一项所述的方法，其中：
针对所述导览评估图像中的每一个确定所述导览相关特性的步骤包括以下步骤：
在所述导览评估图像中估计主取向。
5.根据权利要求4所述的方法，其中所述导览要求包括针对第一主取向与第二主取向之间的最小差异的要求。
6.根据权利要求4所述的方法，其中所述导览要求包括对于在经评估的主取向的组合当中的第一主取向和第二主取向之间具有最大差异的要求。
7.根据权利要求1至3中任一项所述的方法，其中：
针对所述导览评估图像中的每一个确定所述导览相关特性的步骤包括以下步骤：
将所述导览评估图像与多个第一部分指纹图像中的每一个进行相关，其中所述多个第一部分指纹图像相对于所述导览评估图像在不同方向上移位；以及
根据针对所述不同方向的相关性来确定所述导览相关特性。
8.根据权利要求7所述的方法，其中：
所述导览评估图像和所述部分指纹图像被同时获得。
9.根据权利要求1至3中任一项所述的方法，其中估计所述手指移动的步骤包括以下步骤：
在第一参考指纹图像获得时间处，利用所述第一导览子区域的至少一部分来获得第一参考指纹图像；
在第二参考指纹图像获得时间处，利用所述第二导览子区域的至少一部分来获得第二参考指纹图像；
在第一候选指纹图像获得时间的时间序列中的每一个第一候选指纹图像获得时间处，利用所述第一导览子区域的至少一部分来获得至少一个第一候选指纹图像；
在第二候选指纹图像获得时间的时间序列中的每一个第二候选指纹图像获得时间处，利用所述第二导览子区域的至少一部分来获得至少一个第二候选指纹图像；
对于所述第一候选指纹图像获得时间中的每一个时间，针对多个候选手指移动方向中的每一个方向来确定第一匹配参数值，以产生一组第一匹配参数值，所述第一匹配参数值指示在对应于所述第一导览子区域的参考区域的参考指纹图像部分与对应于所述第一导览子区域的候选区域的第一候选指纹图像部分之间的相关性，所述候选区域相对于所述参考区域在所述候选手指移动方向上移位；
对于所述第二候选指纹图像获得时间中的每一个时间，针对多个候选手指移动方向中的每一个方向来确定第二匹配参数值，以产生一组第二匹配参数值，所述第二匹配参数值指示在对应于所述第二导览子区域的参考区域的参考指纹图像部分与对应于所述第二导览子区域的候选区域的第二候选指纹图像部分之间的相关性，所述候选区域相对于所述参考区域在所述候选手指移动方向上移位；以及
根据所述一组第一匹配参数值和所述一组第二匹配参数值来估计所述手指移动。
10.根据权利要求9所述的方法，进一步包括以下步骤：
对于所述候选手指移动方向中的每一个方向，确定第一局部极值匹配参数值，所述第一局部极值匹配参数值指示针对所述第一候选指纹图像获得时间的时间序列的最大相关性，
对于所述候选手指移动方向中的每一个方向，确定第二局部极值匹配参数值，所述第二局部极值匹配参数值指示针对所述第二候选指纹图像获得时间的时间序列的最大相关性，
其中，根据对所述确定的第一局部极值匹配参数和第二局部极值匹配参数的评估来估计所述手指移动。
11.根据权利要求1至3中任一项所述的方法，进一步包括以下步骤：
评估至少一个手指移动特性，所述至少一个手指移动特性指示从选择所述第一导览子区域和所述第二导览子区域开始手指已经移动多远；以及
当所述手指移动特性满足预定标准时，从所述指纹传感器的所述至少三个导览子区域中的每一个获得新的导览评估图像。
12.根据权利要求11所述的方法，其中所述预定标准是从包括以下的组中选择的：
最大手指移动距离；
最大手指移动时间；以及
来自所述第一导览子区域和所述第二导览子区域中的至少一个的手指信号的劣化。
13.一种指纹感测系统，包括：
指纹传感器，其具有包含至少三个不同导览子区域的指纹传感器区域；以及
处理电路，其用于：
从所述指纹传感器的所述至少三个导览子区域中的每一个获得导览评估图像；
对于所述导览评估图像中的每一个确定所述导览评估图像的导览相关特性；
评估所述导览评估图像中的每一个的所述导览相关特性，以找出至少第一导览评估图像的第一导览相关特性和第二导览评估图像的第二导览相关特性的组合，其中所述组合满足导览要求；
针对手指移动的估计，至少选择用于获得所述第一导览评估图像的第一导览子区域以及用于获得所述第二导览评估图像的第二导览子区域；以及
利用使用所述第一导览子区域获得的第一导览图像的序列以及使用所述第二导览子区域获得的第二导览图像的序列估计所述手指移动。
CN201680006820.9A 2015-12-10 2016-12-02 利用选择导览子区域来估计手指移动的方法和系统 Active CN107209581B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1551620A SE1551620A1 (en) 2015-12-10 2015-12-10 Method and system for estimating finger movement with selection of navigation subareas
SE1551620-6 2015-12-10
PCT/SE2016/051205 WO2017099653A1 (en) 2015-12-10 2016-12-02 Method and system for estimating finger movement with selection of navigation subareas

Publications (2)

Publication Number Publication Date
CN107209581A CN107209581A (zh) 2017-09-26
CN107209581B true CN107209581B (zh) 2020-03-24

Family

ID=59013794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006820.9A Active CN107209581B (zh) 2015-12-10 2016-12-02 利用选择导览子区域来估计手指移动的方法和系统

Country Status (6)

Country Link
US (1) US9971434B2 (zh)
EP (1) EP3387515B1 (zh)
CN (1) CN107209581B (zh)
SE (1) SE1551620A1 (zh)
TW (1) TWI711963B (zh)
WO (1) WO2017099653A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8485442B2 (en) 2009-07-02 2013-07-16 Biometric Payment Solutions Electronic transaction verification system with biometric authentication
WO2018160120A1 (en) * 2017-02-28 2018-09-07 Fingerprint Cards Ab Method of classifying a finger touch in respect of finger pressure and fingerprint sensing system
SE1850531A1 (en) 2018-05-04 2019-11-05 Fingerprint Cards Ab Fingerprint sensing system and method for providing user input on an electronic device using a fingerprint sensor
CN116665256B (zh) * 2023-06-05 2024-03-15 长春理工大学 一种基于指纹图像局部区域质量的指纹匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447282A (zh) * 2002-03-27 2003-10-08 富士通株式会社 手指移动检测方法及装置
CN101241545A (zh) * 2007-02-06 2008-08-13 西北工业大学 指纹数字图像处理中的相位移动模糊差分二值化方法
CN100518224C (zh) * 2002-06-26 2009-07-22 三星电子株式会社 在移动通信终端中基于指纹识别来实现导航键功能的方法
CN105993023A (zh) * 2014-02-14 2016-10-05 韩国科泰高科株式会社 包含极小感测区域的电子装置及其指纹信息处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408087B1 (en) * 1998-01-13 2002-06-18 Stmicroelectronics, Inc. Capacitive semiconductor user input device
ATE306213T1 (de) * 1998-12-23 2005-10-15 Nuvasive Inc Vorrichtungen zur kannulation und zur nervenüberwachung
US20030123714A1 (en) * 2001-11-06 2003-07-03 O'gorman Lawrence Method and system for capturing fingerprints from multiple swipe images
US7274808B2 (en) * 2003-04-18 2007-09-25 Avago Technologies Ecbu Ip (Singapore)Pte Ltd Imaging system and apparatus for combining finger recognition and finger navigation
US7460109B2 (en) * 2003-10-20 2008-12-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Navigation and fingerprint sensor
JP4462988B2 (ja) * 2004-04-13 2010-05-12 Ｎｅｃインフロンティア株式会社 指紋読取方法および指紋読取システム
US8447077B2 (en) * 2006-09-11 2013-05-21 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US9626099B2 (en) * 2010-08-20 2017-04-18 Avaya Inc. Multi-finger sliding detection using fingerprints to generate different events
EP2958052B1 (en) 2012-04-10 2020-10-07 Idex Asa Biometric sensing
CN102880869B (zh) * 2012-08-10 2015-10-28 西安电子科技大学 基于先验知识的马尔科夫随机场指纹方向场提取方法
US9898642B2 (en) * 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
TWI539318B (zh) * 2013-12-31 2016-06-21 茂丞科技股份有限公司 具有多功能感測器的電子裝置及運作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447282A (zh) * 2002-03-27 2003-10-08 富士通株式会社 手指移动检测方法及装置
CN1278277C (zh) * 2002-03-27 2006-10-04 富士通株式会社 手指移动检测方法及装置
CN100518224C (zh) * 2002-06-26 2009-07-22 三星电子株式会社 在移动通信终端中基于指纹识别来实现导航键功能的方法
CN101241545A (zh) * 2007-02-06 2008-08-13 西北工业大学 指纹数字图像处理中的相位移动模糊差分二值化方法
CN105993023A (zh) * 2014-02-14 2016-10-05 韩国科泰高科株式会社 包含极小感测区域的电子装置及其指纹信息处理方法

Also Published As

Publication number Publication date
TW201721395A (zh) 2017-06-16
EP3387515A1 (en) 2018-10-17
TWI711963B (zh) 2020-12-01
US9971434B2 (en) 2018-05-15
EP3387515A4 (en) 2019-08-07
WO2017099653A1 (en) 2017-06-15
EP3387515B1 (en) 2021-10-13
CN107209581A (zh) 2017-09-26
US20170168600A1 (en) 2017-06-15
SE1551620A1 (en) 2017-06-11

Similar Documents

Publication Publication Date Title
US9904841B2 (en) Method and system for estimating finger movement
US10638117B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
CN107209581B (zh) 利用选择导览子区域来估计手指移动的方法和系统
JP6195915B2 (ja) 画像計測装置
US8588512B2 (en) Localization method for a moving robot
CN100472418C (zh) 用于光学导航装置的检测影像中动作的方法及装置
KR20170133269A (ko) 영상 처리장치, 영상 처리방법 및 프로그램
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
CN104981680A (zh) 相机辅助的运动方向和速度估计
WO2010146580A1 (en) Finger-operated input device
JP5951043B2 (ja) 画像計測装置
CN104850219A (zh) 估计附着物体的人体姿势的设备和方法
US20150286313A1 (en) Large feature biometrics using capacitive touchscreens
US20120182229A1 (en) Device and method for interference avoidance in an input device
JP6766077B2 (ja) 適応指紋ベースのナビゲーション
US8970479B1 (en) Hand gesture detection
Jin et al. Robust plane detection using depth information from a consumer depth camera
US20150116253A1 (en) Ghost suppression using hybrid capacitive sensing
CN106792505B (zh) 一种目标追踪系统和方法
CN106123784B (zh) 一种测量长度的方法及装置
KR101536673B1 (ko) 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법
JP2014102183A (ja) 画像処理装置および画像処理システム
Minhas et al. Invariant feature set in convex hull for fast image registration
CN103810736A (zh) 触控系统及触控系统的绘图方法
US20160364038A1 (en) Optical sensing electronic device and optical sensing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211210

Address after: Gothenburg

Patentee after: Fingerprint kaana Kadun Intellectual Property Co.,Ltd.

Address before: Gothenburg

Patentee before: FINGERPRINT CARDS AB