CN109716348A - 独立地处理多个所关注的区域 - Google Patents

独立地处理多个所关注的区域 Download PDF

Info

Publication number
CN109716348A
CN109716348A CN201780057372.XA CN201780057372A CN109716348A CN 109716348 A CN109716348 A CN 109716348A CN 201780057372 A CN201780057372 A CN 201780057372A CN 109716348 A CN109716348 A CN 109716348A
Authority
CN
China
Prior art keywords
interest
image
area
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780057372.XA
Other languages
English (en)
Other versions
CN109716348B (zh
Inventor
罗伯特·W·香农
道格拉斯·斯科特·邓恩
格伦·E·卡斯纳
乔纳森·德尔·加里德
香农·D·斯科特
高塔姆·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN109716348A publication Critical patent/CN109716348A/zh
Application granted granted Critical
Publication of CN109716348B publication Critical patent/CN109716348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

在一些示例中，方法包括由计算装置确定图像的多个所关注的区域，以用于相对于所关注的平面独立地进行处理；针对所述多个所关注的区域中的各个所关注的区域，由所述计算装置确定从所述各个所关注的区域内的对象到所述所关注的平面的距离；以及独立地针对所述各个所关注的区域，由所述计算装置基于从所述对象到所述所关注的平面的所述确定的距离来处理所述图像的所述各个所关注的区域。

Description

独立地处理多个所关注的区域
技术领域
本公开涉及图像处理。
背景技术
各种政府、商业、住宅或工业实体可以使用指纹、掌纹或其他生物计量数据来验证个人的身份。示例应用包括在边境位置处识别个人，出于访问控制或认证的目的确认身份或在法医调查期间识别未知个人。在此类应用中，可以获得包含其他识别特征的摩擦脊数据或图像，并将其与现有样本进行比较。
可以以各种方式获得摩擦脊数据。在一个示例中，可以通过抵靠油墨源按压肢体(例如，手指)并且然后将肢体按压并滚动到一张纸上来捕获摩擦脊数据。在另一个示例中，可以通过将肢体抵靠硬表面(例如，玻璃、硅或聚合物)按压或滚动并利用传感器捕获肢体的图像来捕获摩擦脊数据。在又一个示例中，可以通过拍摄肢体的图像来捕获摩擦脊数据，这可以被称为非接触式印迹技术。
发明内容
本发明的技术包括独立地处理图像(诸如摩擦脊图像)的多个区域。例如，根据本公开的方面，计算装置可以确定摩擦脊图像的多个所关注的区域(ROI)，并且针对每个相应的ROI确定从ROI内的对象到所关注的平面(例如，由捕获图像的相机限定的图像平面或另一个固定平面)的代表性距离。计算装置还可以基于所确定的距离独立地处理ROI中的每个。例如，计算设备可以对图像的ROI重新缩放、进行透视校正或进行其他处理。以这种方式，如以下更详细所述，该技术可用于补偿捕获摩擦脊图像时的条件变化。
在一些示例中，方法包括由计算装置确定图像的多个所关注的区域，以用于相对于所关注的平面独立地进行处理；针对多个所关注的区域中的各个所关注的区域，由所述计算装置确定从各个所关注的区域内的对象到所关注的平面的距离；并且独立地针对各个所关注的区域，由所述计算装置基于从对象到所关注的平面的确定的距离来处理图像的各个所关注的区域。
在附图和下文的说明中将示出一个或多个示例的详情。根据具体实施方式和附图以及根据权利要求书，本发明的其他特征、目的和优点将显而易见。
附图说明
图1是根据本公开的方面的示出示例计算装置的框图，该计算装置被配置为独立地处理图像的多个所关注的区域。
图2是更详细地示出图1的示例计算装置的框图。
图3示出根据本公开的方面的示例图像捕获和处理系统。
图4是根据本公开的方面的示出视差图的示例和距离图的示例的概念图。
图5是根据本公开的方面的示出用于确定距离的示例技术的概念图。
图6是示出用于确定图像分辨率以用于重新缩放的示例技术的概念图。
图7是根据本公开的方面的示出用于独立地处理图像的多个所关注的区域的示例过程的流程图。
图8示出根据本公开的技术的示例指纹重新缩放流水线。
图9示出根据本公开的技术的用于创建将视差映射到深度的查找表的操作。
图10至图11示出根据本公开的技术的用于图像重新缩放的视差对深度查找表的使用。
图12示出根据本公开的技术的对应于生成深度对PPI表的操作。
具体实施方式
本公开的技术包括图像(诸如摩擦脊图像)的多个区域的独立处理。历史上，通过下述方法来手动获取指纹和掌纹：使个人将油墨放在其手指上并将其手指和手掌按压到一张纸上，从而产生摩擦脊图像。基于油墨的获取技术可既耗时又杂乱。例如，在获取过程期间，油墨可能在纸上渗出或变得模糊不清。另外，油墨太多或太少可损害获取的印迹的质量。
在一些示例中，可以数字地获取摩擦脊图像。例如，受试者可以将手指或手掌放在玻璃或其他透明表面上，并且可以通过玻璃或另一透明表面拍摄图像。然而，摩擦脊图像(例如，基于油墨的图像或数字图像)的接触获取可以具有许多限制。例如，基于接触的印迹技术可由于手放置不适当、皮肤变形、滑动和涂抹或表面涂层磨损引起的传感器噪声而产生部分图像或劣化的图像。进一步地，由于手压力的不可控制性和不均匀性，以及来自先前印迹可存在的残留物(例如，油、汗、污物)，基于接触的技术通常产生低质量的印迹。
已经开发了非接触技术，其以距固定平面(诸如压板)一定的距离拍摄手的图像。非接触图像获取装置可以使用一系列图像处理算法来从原始图像中提取和增强印迹，以用于与传统印迹(例如，基于接触的图像)进行比较。为了将非接触印迹精确地与传统印迹进行比较，非接触印迹必须具有与传统印迹相同的等级(例如，以像素/英寸(PPI)为单位)。
对于传统印迹，等级通常是一致的，因为仅沿垂直于成像器的平面获取印迹，其中皮肤与纸或压板物理接触。然而，对于非接触印迹，被成像(例如，诸如指纹、掌纹等)的对象在物理上不受约束于一个特定平面，对象在物理上也不受约束于垂直于成像器的取向。这些可变因素可以产生这样的图像，在该图像中被捕获的对象的区域以与对象的另一个区域不同的距离距成像器(例如，相机)定位。由于对象(或对象的部分)的距离潜在不同，因此不可以将一个缩放因子全局应用于图像以重新缩放对象，以用于与传统印迹匹配。
在一些实例中，本公开的技术可解决处理图像的技术问题，所述图像包括定位在距捕获图像的相机不同距离处的对象(或对象的部分)。例如，根据本公开的方面，计算装置可以确定摩擦脊图像内的多个所关注的区域(ROI)。如本文所述，所关注的区域通常可对应于图像的像素组，该像素组包括少于图像的所有像素。所关注的区域可以由图像的特定区部(例如，图像的像素块)限定。在一些实例中，可以独立于图像的其他区部处理所关注的区域。
根据本公开的方面，计算装置可以针对相应的ROI中的每个确定从ROI中的每个内的对象到所关注的平面(例如，由捕获图像的相机限定的图像平面或另一固定平面)的代表性距离。计算装置还可以基于所确定的距离独立地处理ROI中的每个。以这种方式，该技术可以是图像处理和/或非接触摩擦脊图像获取技术领域的改进。例如，通过独立地处理多个ROI，可以更精确地将所得的经处理图像与其他印迹或数字图像进行比较。
图1是根据本公开的方面的示出示例计算装置的框图，该计算装置被配置为独立地处理图像的多个所关注的区域。在图1的示例中，计算装置10包括处理器12、存储单元14、一个或多个相机16和所关注的区域(ROI)处理单元18。计算装置10可以被配置为通过确定多个所关注的区域(ROI)22A-22D(统称为ROI 22)并且独立地处理ROI 22来处理图像20。
计算装置10的功能可以以硬件或软件和硬件的组合来实现，其中可以提供必要的硬件来存储和执行软件指令。计算装置10可以包括用于处理和/或操纵数据的各种装置。在一个示例中，可以将计算装置10组装在用于捕获和/或处理摩擦脊图像的设备中(例如，如图3的示例中所示)。
尽管出于说明的目的而被示出为单个计算装置10，但应当理解，计算装置10可以包括多个单独部件。例如，可以将处理器12包括在与一个或多个相机16分离的装置中。此外，计算装置10的许多其他示例可以在其他实例中使用，并且可以包括示例计算装置10中所包括的部件的子集，或可以包括图1的示例计算装置10中未示出的附加部件。
在一个示例中，处理器12被配置为实现功能和/或处理用于在计算装置10内执行的指令。例如，处理器12可能够处理由存储单元14存储的指令。处理器12可以包括例如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效的离散或集成逻辑电路系统。
存储单元14可以包括计算机可读存储介质或计算机可读存储装置。在一些示例中，存储单元14包括短期存储器或长期存储器中的一者或多者。存储单元14可以包括例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、磁性硬盘、光盘、闪存存储器、或电可编程存储器(EPROM)或电可擦且可编程存储器(EEPROM)的形式。存储单元14还可以包括驻留在计算装置10外部的基于网络或云的数据库或服务器。
存储单元14可以存储控制计算装置10的部件的操作的操作系统(未示出)。例如，操作系统可以有利于ROI处理单元18与处理器12和存储单元14的通信。在一些示例中，存储单元14用于存储用于由处理器12执行的程序指令。存储单元14还可以被配置为在操作期间将信息存储在计算装置10内。存储单元14可以由软件或应用程序(例如，ROI处理单元18)使用以在程序执行期间临时存储信息，该软件或应用程序由计算装置10的处理器12执行。
一个或多个相机16可以包括图像传感器、图像处理器和/或用于捕获图像的任何其他部件。如以下更详细所述，在一些示例中，相机16可以包括用于从不同视角捕获图像20的至少两个相机。在一些实例中，可以部分地基于对所选择的波长的光的响应来选择相机16。例如，由于蓝色波长的特定响应，相机16可以包括五百万像素(5MP)图像传感器。
相机16可以被配置为捕获一个或多个摩擦脊表面的图像(例如，诸如图像20)。摩擦脊表面可以包括皮肤的任何区部，其具有持久形态特征或微小细节，包括独特的脊、皱纹、疤痕和毛孔。摩擦脊表面最常存在于人的手或脚上，并且具体地在指骨(趾骨)上、在人的脚掌或脚趾上、在手掌表面(包括手掌、手指、手指上两个关节之间的区部、两根手指之间的区部和指尖)上。微小细节可以包括例如脊末端(例如，脊的陡削端部)、脊分叉(例如，分成两个脊的单个脊)、短或独立的脊(例如，开始行进一小段距离且然后结束的脊)、岛(例如，未连接到所有其他脊的短脊或脊末端内部的单个小脊)、脊封闭体(例如，分叉并很快重聚且之后继续作为单个脊延伸的脊)、支线(例如，其中从较长脊分出短脊的分叉)、交叉或桥(例如，在两个平行的脊之间延伸的短脊)、三角脊(例如，Y形脊交汇)、核(例如，脊图案中的U形转弯)等。
在一些实例中，相机16可以被配置为最佳地拍摄或捕获用户的手的图像(如图1的图像20所示)。例如，相机16可以使用电子卷帘快门(ERS)或全局复位释放快门(GRRS)。GRRS和ERS在何时像素变得活跃以用于图像捕获的方面不同。GRRS同时开始所有像素行的曝光，然而，每行的总曝光时间比先前行的曝光时间长。ERS将每行像素曝光相同的持续时间，但每行在先前行开始之后开始此行的曝光。
在一些实例中，相机16可以使用GRRS而不是ERS，以便消除图像剪切的影响。图像剪切是由相邻行的非同时曝光引起的图像失真(例如，导致垂直线看起来倾斜)。手抖动产生可引起图像剪切的运动。因此，GRRS可以用于补偿手抖动和其他运动伪影。为了抵消GRRS可能出现的模糊，相机16可以包括照明遮蔽件或可以实现其他处理技术以减少环境光的影响。
如上所述，在其中相机16被配置为捕获图像20以用于非接触摩擦脊成像系统的实例中，被成像(例如，诸如指纹、掌纹等)的对象在物理上不受约束于一个特定平面，对象在物理上也不受约束于垂直于成像器的取向。这些可变因素可以引起被成像的对象以远离相机16的不同距离定位。由于从对象(或对象的部分，诸如手指、手掌的部分等)到相机16的距离潜在地不同，当将图像20(或图像20的部分)重新缩放以与其他印迹匹配时，可能无法将一个缩放因子应用于图像20。
根据本公开的方面，ROI处理单元18可以负责处理图像20，由此使得可以准确地将图像20的至少部分与使用基于接触或非接触的技术获得的其他图像进行比较。在一些实例中，ROI处理单元18可以包括由计算装置10的处理器12执行的指令，以进行归因于本文所述ROI处理单元18的功能。
ROI处理单元18可以确定图像20的ROI 22。ROI处理单元18还可以确定在ROI 22内的对象与所关注的平面(诸如相机16的图像平面或另一个固定平面，诸如包括计算装置10的设备的压板)之间的距离。ROI 22内的对象可以是由图像20表示的任何对象或对象的部分。例如，在其中图像20是摩擦脊图像的实例中，被成像的对象可以包括人的手或脚的至少一部分，并且具体地是指骨(趾骨)、人的脚掌或脚趾、手掌表面(包括手掌、手指、手指上两个关节之间的区部、两根手指之间的区部、指尖等)。因此，针对ROI 22中的每个内的对象确定的距离可以是用于图像20的ROI 22中表示的所有对象的代表性距离。即，尽管特定ROI22潜在地包括不止一个对象(例如，包括多个脊的指尖或指尖的部分)，但是ROI处理单元18可以确定表示在由特定ROI 22限定的图像20的区部内的所有对象和所关注的平面之间的距离的距离。
在一些示例中，ROI处理单元18可以使用相机16中的两个来确定在ROI 22的对象与所关注的平面之间的距离。例如，如本文中更详细所述，ROI处理单元18可以确定由相机16中的两个捕获的视角的视差，并使用所确定的视差来确定在ROI 22内的对象与所关注的平面之间的距离。然而，尽管本文关于立体相机描述了某些技术，但是应当理解，可以使用其他技术来确定在由图像20表示的对象与所关注的平面之间的距离。例如，下述各项可能够测量在由图像20表示的物体与所关注的平面之间的距离：红外(IR)相机、超声装置、使用结构化光的装置(包括LCD投影仪或图案化激光投影仪，以将图案投影在对象上)、调制光扫描仪(例如，用于确定条纹图案)、请求激光三角测量(包括确定从对象反射的点或曲线的位置)的设备、飞行时间(TOF)相机、使用与相机协作的机器可读界标图案的装置、IR距离传感器、IR光幕或各种其他装置。在此类示例中，可以将指示距离的数据映射到图像20，由此使得ROI处理单元18可以使用距离来独立地处理ROI 22。
然后，ROI处理单元18可以基于所确定的相应的距离独立地处理ROI 22。例如，ROI处理单元18可以将ROI中的每个重新缩放到以像素/英寸(PPI)为单位的常用等级。在一些示例中，ROI处理单元18可以将ROI22(以及更广泛地，图像20的其他区部)缩放到500 PPI或1000 PPI，因为许多政府机构或其他实体可以以500 PPI或1000 PPI存储可以与图像20比较的传统图像。在其他示例中，ROI处理单元18可以将ROI 22重新缩放到任何其他分辨率。在一些实例中，ROI处理单元18可以除此之外或作为另外一种选择进行ROI 22的透视校正。
图2是更详细地示出图1的示例计算装置的框图。图2所示的示例包括处理器12、存储单元14、一个或多个相机16、接口26和光源28。计算装置10的ROI处理单元18包括校准单元30、视差确定单元32、距离确定单元34、重新缩放单元36和透视校正单元38。
同样，图2中所示的计算装置10的架构仅出于示例性目的而示出。在其他示例中，计算装置10可以以各种其他方式配置为与图2所示的那些相比具有附加的、更少的或替代的部件。例如，在一些实例中，计算装置10可以包括多个附加部件，诸如电源、一个或多个显示器等。
如上所述，处理器12可以被配置为实现功能和/或处理用于在计算装置10内执行的指令，而存储单元14可以包括计算机可读存储介质或计算机可读存储装置。相机16可以被配置为捕获摩擦脊表面的图像(例如，图像20)。
计算装置10可以利用接口26经由一个或多个有线或无线连接与外部装置通信。接口26可以包括网络接口卡、通用串行总线(USB)接口、光学接口或能够通过特定通信标准发送和接收信息的任何其他类型的接口。网络接口的示例可以包括以太网、Wi-Fi或蓝牙无线电。
光源28可以包括发光二极管(LED)或用于在用相机16捕获对象的图像之前照射对象的其他部件。已经发现人类皮肤在可见光谱的绿色和蓝色部分具有较高的反射率，因此发射在可见光谱的蓝色和绿色部分的波长达到峰值的光可以有助于更清楚地照射用户的手的摩擦脊表面上的细节。因此，光源28可以包括LED，其发射蓝色波长(例如，在440到570纳米(nm)的范围内)达到峰值的光。
由光源28发射出的光可以具有不同的功率电平。在一些实例中，光源28可以与一个或多个光导配对，用于以均匀的方式引导光源28的输出。在一个实例中，光导由聚碳酸酯管制成，该聚碳酸酯管衬有增强的镜面反射器(ESR)膜和转向膜。在一些实例中，光导可以使发射的光准直，以使得每条光线平行，从而减少光散射和不期望的反射。
根据本公开的方面，如以上参照图1所述的，ROI处理单元18可以针对ROI 22中的每个确定在ROI 22内的对象与所关注的平面(例如，相机16的图像平面或另一个固定平面)之间的相应距离。在其中使用来自相机16的数据确定距离的实例中，校准单元30可以被配置为校准相机16。例如，校准单元30可以校准相机16中的每个并校正相机16的透镜内的失真。
在一些示例中，校准单元30可以通过在相机16中的每个的全视场上拍摄具有已知正方形尺寸的棋盘的多个图像来进行校准。校准单元30可以使用黑色和白色正方形的交点以在拍摄的图像中找到点。校准单元30可以使用所确定的点来计算相机内在特性以及透镜失真。校准单元30可以使用此类信息来使图像不失真。
在一些示例中，校准单元30还可以确定相机16的外在特性(例如，相机16之间的物理关系)。校准单元30可以通过同时用相机16中的每个对具有已知黑色和白色正方形尺寸的棋盘图案进行成像来确定外在特性，但是在不同距离处、在不同平面中并且相对于相机16采用不同的取向。校准单元30可以确定来自相机16中的每个的图像中的黑色和白色正方形的交点，并且计算相机16中的一个相对于相机16中的另一个的旋转和平移。在确定相机16的外在特性之后，校准单元图30可以修正由相机16捕获的图像，由此使得校准单元30可以在一维而不是二维上搜索图像中的对应关系。
根据一些方面，校准单元30可以使用OpenCV来校准相机16。例如，校准单元30可以应用OpenCV的校准相机功能来确定校准图案的若干视图的内在参数和外在参数。在其他示例中，校准单元30可以使用以下文献所述的一种或多种技术来校准相机16：“A Four-stepCamera Calibration Procedure with Implicit Image Correction，”by Heikkila etal，Infotech Oulu and Department of Electrical Engineering，June 1997(“具有隐式图像校正的四步相机校准程序”，由Heikkila等人编写，奥卢资讯科技和电气工程系，1997年6月)。
校准单元30可以被配置为以周期性间隔校准相机16。例如，校准单元30可以在安装容纳计算装置10的设备时校准相机16。在其他示例中，校准单元30可以按照特定的时间表(诸如每六个月、每年等)校准相机16。
根据本公开的方面，在校准相机16时，视差确定单元32可以确定由相机16捕获的视角之间的视差。例如，视差确定单元32可以初始地确定在由相机16的第一相机捕获的视角和由相机16的第二相机捕获的视角之间的视差。在一个示例中，视差确定单元32可以通过下述方法确定视差图：定位由第一相机和第二相机16中的每个拍摄的相同对象(例如手)的图像的对应特征点，并确定特征点之间的视差。
在一些实例中，视差确定单元32可以通过计算每个图像中相同特征点之间的像素空间的差值来确定距离图。在出于说明目的的示例中，视差确定单元32可以确定由相机16的第一相机捕获的图像的第一版本(诸如图1的图像20)中特征点(例如，像素块)的位置。例如，视差确定单元32可以使用笛卡尔坐标系或类似坐标系来确定位置。视差确定单元32还可以确定由相机16的第二相机捕获的图像的第二版本中相同特征点的位置。视差确定单元32可以将视差确定为在图像的第一版本中所确定的位置与图像的第二版本中所确定的位置之间的像素数量的差值。
在一些实例中，视差图的密度可以取决于在图像中的每个中可以识别的可靠匹配的特征点的数量。例如，视差确定单元32可以通过确定在第一图像的像素块与第二图像的像素块之间的绝对差之和(SAD)(或其他相似性度量)来初始地确定类似的特征点。在一些实例中，视差确定单元32可以仅针对具有小于特定阈值的差值的块确定视差。
在一些实例中，用于特征点的块尺寸和/或相似性阈值可以根据其中使用计算装置10的应用而变化。例如，在其中将经处理图像与相对高程度检查的另一图像进行比较的高安全性应用中，视差确定单元32可以针对相对小的像素块确定视差和/或设置相似性阈值，由此使得仅针对具有高度相似性的像素块确定视差。
视差确定单元32可以确定用于整个图像或图像中对象的子集的视差图。例如，在一些实例中，在确定视差之前，视差确定单元32或ROI处理单元18的另一单元可以将分割算法应用于图像以确定图像的特定区域，针对该特定区域确定视差。在另一个示例中，视差确定单元32可以针对图像的与另一图像的对象类似的任何对象确定视差。
根据本公开的方面，距离确定单元34可以针对图像的相应ROI(例如，诸如图1的ROI 22)确定在图像的ROI内表示的对象与所关注的平面(例如，诸如由相机16限定的图像平面或在对象和相机16之间的另一固定平面)之间的距离。距离可以是在对象(一个或多个)和所关注的平面之间的欧几里德距离。
在一些示例中，距离确定单元34或ROI处理单元18的另一部件可以负责在确定距离之前确定图像的ROI(例如，针对图像的区部以确定距离)。例如，距离确定单元34可以使用分割算法(例如，被设计为从图像的背景中分割皮肤的分割算法)来从图像中分割ROI。然后，距离确定单元34可以确定用于分割的ROI的距离。
在其他示例中，距离确定单元34可以初始地确定距离图，该距离图指示从由图像表示的对象到所关注的平面的距离。例如，如参照图5更详细所述，距离确定单元34可以确定用于由图像的部分表示的对象(例如，诸如像素块的像素组)的距离，并且在与图像对应的距离图中包括用于图像的部分的所确定的距离。然后，距离确定单元34可以从图像的部分中确定ROI，在距离图中所确定的距离已经针对该图像的部分被确定。
例如，根据一些方面，距离确定单元34可以从距离图中包括的图像的部分的全部或子集中确定ROI。在一些示例中，距离确定单元34可以应用分割算法或进行其他计算以从距离图确定ROI。在此类示例中，距离确定单元34可以通过合并距离图的一个或多个区部来确定ROI。
距离确定单元34可以基于距离图的对应区部的距离将距离分配给所确定的ROI。例如，在其中确定的ROI与距离图的特定区部(已经针对该特定区部确定了单个距离)对准的实例中，距离确定单元34可以将距离分配给ROI。在其中确定的ROI与距离图的不止一个区部(已经针对该不止一个区部确定了不止一个距离)对准的实例中，距离确定单元34可以应用平滑化函数(例如，诸如平均化函数)来确定用于ROI的代表性距离。以这种方式，距离确定单元34可以确定用于图像的ROI内的对象的代表性距离。
根据本公开的方面，在一些示例中，距离确定单元34可以基于相机16中的两个之间的视差(例如，如由视差确定单元32所确定的)来确定距离。然而，如上所述，虽然本文关于立体相机描述了某些技术，但是应当理解，距离确定单元34可以除此之外或作为另外一种选择使用其他技术来确定在图像中表示的对象与所关注的平面之间的距离。
在其中距离确定单元34使用相机16来确定距离的实例中，距离确定单元34可以基于视差(例如，如由视差确定单元32确定的)来确定距离。在一个示例中，距离确定单元34可以通过将相机16之间的相机间隔距离乘以相机16的焦距并除以确定的视差来确定距离。在其他示例中，距离确定单元34可以使用各种其他计算基于视差来确定距离。
在一些示例中，距离确定单元34可以从由视差确定单元32生成的视差图确定视差。例如，在一些实例中，在由视差确定单元32生成的视差图与由距离确定单元34确定的距离图之间可以存在1∶1对应关系。在该示例中，视差确定单元32可以确定包括用于图像的多个区部的视差的视差图。距离确定单元34可以确定包括用于视差图的图像的对应区部的距离的距离图。然后，距离确定单元34(或ROI处理单元18的另一部件)确定包括距离图的区部的全部或子集的ROI，并且基于来自距离图的距离将距离分配给ROI。
在其他示例中，距离确定单元34可以确定用于图像的区部的子集的距离图，该区部的子集比视差确定单元32所针对以确定视差图的区部小。在任一种情况下，距离确定单元34可以确定包括距离图的区部的全部或子集的ROI，并且基于来自距离图的距离将距离分配给ROI。
在确定用于ROI 22的相应的距离之后，重新缩放单元36和/或透视校正单元38可以独立地处理ROI中的每个。例如，重新缩放单元36可以基于所确定的距离来确定ROI中的每个的分辨率。在出于说明目的的示例中，重新缩放单元36可以通过将相机16的透镜的焦距除以从透镜到对象的距离与相机16的成像传感器的像素尺寸的乘积来确定分辨率。然后，重新缩放单元36可以将ROI中的每个的分辨率下调到特定分辨率。例如，重新缩放单元36可以应用任何种类的下调和/或下采样算法。例如，重新缩放单元36可以应用低通空间滤波器，然后去除点(概念性地)。在另一个示例中，重新缩放单元36可以使用局部插值函数来重新采样。在一些示例中，重新缩放单元36可以结合进行插值来应用低通或其他滤波器。可以由重新缩放单元36使用的示例滤波器可以包括双三次滤波器、sinc滤波器、Lanczos滤波器或各种其他滤波器。
除此之外或作为另外一种选择，透视校正单元38可以通过将ROI重新投影来处理ROI。例如，透视校正单元38可以改变ROI的部分的位置放大率以改变ROI的视角。因此，虽然重新缩放单元36可以应用将ROI重新缩放到单一分辨率的技术，但是透视校正单元38可以应用跨被处理的ROI线性改变的滤波和/或插值技术。在一些实例中，透视校正单元38可以应用关于重新缩放单元36所述技术中的任一种的变型，以便跨ROI改变分辨率。
ROI处理单元18可以输出经处理图像(或由ROI限定的图像的经处理部分)。例如，ROI处理单元18可以经由接口26将表示经处理图像的数据输出到另一外部装置。在其他示例中，ROI处理单元18可以将表示经处理图像的数据存储到存储单元14。
应当理解，图2中示出的ROI处理单元18的部件仅出于示例的目的而提供，并且其他示例可以相对于所示出的那些具有较多、较少或替代的部件布置。例如，如上所述，计算装置10可以使用除相机16之外的部件来确定距离。在此类示例中，ROI处理单元18可以不包括视差确定单元32。
图3示出根据本公开的方面的示例图像捕获和处理系统。例如，图3示出可以组装用于生成用户64的摩擦脊图像62的计算装置10的设备60的一个示例。如示例中所示，当捕获图像62时，用户64可以将手放置在设备60的上方某一距离。根据本公开的方面，如本文所述，该技术可以用于补偿用户64的手相对于设备62的位置的变化。
图4是根据本公开的方面的示出视差图的示例和距离图的示例的概念图。尽管关于计算装置10(图1和图2)进行了描述，但是应当理解，其他装置可以被配置为进行与图7的过程相同或类似的过程。
在图4的示例中，计算装置10的相机16从第一视角捕获第一图像80A，并且从第二视角捕获第二图像80B。为了便于说明，ROI处理单元18选择第一图像82A的部分和第二图像82B的部分，针对这些部分确定对应的视差图84。应当理解，在其他示例中，ROI处理单元18可以针对整个图像或图像的另一部分确定视差图84。
ROI处理单元18确定对应于第一图像80A和第二图像80B的区部的多个区部86的相应视差。在图4的示例中，视差图84的区部86是邻接的块尺寸式区部。然而，在其他示例中，区部86的尺寸和/或形状可以不同。区部86也不需要是邻接的。例如，在一些实例中，ROI处理单元18可以仅针对满足相似性阈值的区部86的子集确定视差。即，ROI处理单元18可以仅针对与第二图像80B的区部充分类似的第一图像80A的区部确定视差。在一些示例中，如以上参照图2所述，ROI处理单元18可以针对像素空间中的区部86中的每个确定相应视差。
根据本公开的方面，ROI处理单元18还可以确定视差图88。ROI处理单元18针对对象确定到所关注的平面的相应距离，该对象被包括在对应于第一图像80A和第二图像80B的图像的多个部分90内。在图4的示例中，距离图88的部分90的尺寸和形状通常对应于视差图84的区部86。然而，距离图88包括多个孔94，距离针对其不可用。在其他示例中，部分90的尺寸和/或形状可以不同、可以是邻接的或可以包括比所示的部分多或少的部分。
ROI处理单元18针对来自距离图88的部分90的多个ROI 92A-92D内表示的对象确定到所关注的平面的距离。在图4所示的示例中，ROI 92A-92D中的每个对应于部分90中的不止一个部分。因此，在该示例中，ROI处理单元18可以例如通过应用平滑化因子、将部分的距离平均化或以其他方式组合来进一步处理部分90的距离。即，ROI处理单元18可以合并部分90以针对ROI 92A-92D确定相应距离。
在其他示例中，ROI 92A-92D可以对应于距离图88的单个部分。在此类示例中，ROI处理单元18可以简单地将距离图88的各个部分的距离分配给对应的ROI。
根据本公开的方面，在一些示例中，可以基于距离图88确定ROI 92A-92D。即，ROI处理单元18可以通过识别距离图88的部分来确定ROI 92A-92D，距离图88的部分包括距所关注的平面大致相同距离的对象。在其他示例中，可以基于ROI 92A-92D确定距离图88的部分90。即，ROI处理单元18可以初始地将图像分割成ROI 92A-92D(例如，使用分割算法或基于视差图84)，并且基于由ROI 92A-92D限定的区部确定部分90的尺寸和形状(和用于部分90的距离)。
应当理解，图4的示例仅出于说明的目的而提供。即，ROI的数量、视差图的粒度(例如，块的尺寸)、距离图的粒度、用于合并距离图的部分的技术等可以全部是可变的，这取决于其中实现该技术的系统的特点。例如，相对高安全性的应用可需要相对高的精度(例如，小块尺寸、不合并或有限合并等)。较低安全性的应用(或需要高速率来处理图像的应用)可以允许相对较低的精度(例如，较大的块尺寸、合并距离等)。
图5是根据本公开的方面的示出用于基于相机之间的视差确定距离的示例技术的概念图。例如，图5示出第一图像102A和第二图像102B的图像平面100、在对象点106与第一图像102A的焦点之间的距离104、在捕获第一图像102A的第一相机与捕获图像102B的第二相机之间的间隔距离108、在相机中心和图像平面100之间的焦距110和在第一图像102A和第二图像102B之间的视差112。
根据本公开的一些方面，ROI处理单元18可以基于图5中所示的技术针对包括在相应ROI内的对象确定距离。例如，ROI处理单元18可以基于以下的等式(1)确定距离图(例如，距离图88)：
z＝bf/x (1)
其中z是在对象点106与第一图像102A的焦点之间的距离104，b是在捕获图像102A的第一图像相机与捕获图像102B的第二相机之间的间隔距离108，f是在相机中心与图像平面100之间的焦距110，并且x是在第一图像102A与第二图像102B之间的视差112。
图6是示出用于确定图像分辨率以用于重新缩放的示例技术的概念图。例如，为了将ROI适当地重新缩放，ROI处理单元18可以确定相应ROI的初始分辨率。ROI处理单元18可以基于下述各项来确定对象120的图像的分辨率：相机的传感器阵列上用于捕获图像的透镜的焦距122；对象120到用于捕获图像的透镜的距离124；和用于捕获图像的成像传感器的像素尺寸p。
在一些示例中，ROI处理单元18可以基于以下等式(2)确定特定ROI的分辨率：
R＝f/zp (2)
其中R是ROI的分辨率，f是相机的传感器阵列上用于捕获图像的透镜的焦距122，z是对象120到用于捕获图像的透镜的距离124，并且p是用于捕获图像的成像传感器的像素尺寸。然后，ROI处理单元18可以例如使用各种下调、滤波或插值算法将ROI中的每个的分辨率下调到特定分辨率。
图7是根据本公开的方面的示出用于独立地处理图像的多个所关注的区域的示例过程的流程图。尽管关于计算装置10(图1和图2)进行了描述，但是应当理解，其他装置可以被配置为进行与图7的过程相同或类似的过程。
在图7的示例中，ROI处理单元18校准负责捕获图像(诸如摩擦脊图像)的一个或多个相机(140)。在一些示例中，如以上关于校准单元30所述，ROI处理单元18可以校准相机以校正与相机的部件相关联的失真。ROI处理单元18还确定相机特点(142)。例如，ROI处理单元可以确定相机的外在特性，诸如相机之间的物理关系。
ROI处理单元18还确定图像的ROI(144)。例如，如上所述，ROI处理单元18可以将图像分割成多个ROI。ROI处理单元18还确定视差图(146)并且确定距离图(148)。在一些示例中，可以将图7中所示的步骤重新排序，由此使得步骤144在步骤148之后，因为ROI处理单元18可以基于在步骤148处确定的距离图来确定ROI。在任一种情况下，ROI处理单元18可以基于在由第一相机捕获的图像的对象与由第二相机捕获的另一图像的对应对象之间的视差来确定视差图(146)。然后，ROI处理单元18可以基于视差图确定距离图(148)。
然后，ROI处理单元18可以基于针对每个ROI的所确定的距离来处理相应的ROI(150)。例如，ROI处理单元可以重新缩放、重新投影或进行其他处理以产生图像的对象相对于所关注的平面的精确表示。
应当理解，参照图7所述技术出于说明性目的而提供，并且其他技术在本公开的范围内。例如，其他示例过程可以包括比图7的示例中所示的那些较多、较少或替代的步骤布置。
例如，图1至图7的技术描述针对所关注的区域的集合中的各个所关注的区域确定从各个所关注的区域内的对象到所关注的平面的距离，并且进一步独立地针对各个所关注的区域基于从对象到所关注的平面的确定的距离处理图像的各个所关注的区域。如图5所述，这些技术可以使用诸如z＝bf/x的等式；然而，如图8至图11所述，也可以使用其他技术。图8至11描述用于生成一个或多个查找表(例如，视差对深度表和/或深度对PPI表)并且拟合将视差映射到深度(例如，在相机和对象之间的距离)的多项式曲线的技术。这些技术可以包括(1)进行全局重新缩放；(2)进行指尖分割；和(3)将所关注的区域(例如，指尖)重新缩放。如本公开所述，进行重新缩放是因为捕获装置和对应的匹配部件可以需要图像具有某一X像素/英寸(PPI)的分辨率。立体摄影测量可以用于估计用户的指尖(或任何其他所关注的对象)距主相机的距离，并计算缩放因子以便改变指尖图像的尺寸，由此使得每个指尖图像具有X的PPI。每个指尖可以根据此指尖自身的缩放因子加以缩放，因为指尖可以驻留于与主相机不同的深度处。
图8示出根据本公开的技术的示例指纹重新缩放流水线200。流水线200可以包括各个阶段，其可以由一个或多个计算装置实现。图8至图11所述操作可以由一个或多个计算装置进行，该计算装置可以包括在图像捕获装置内或通信地联接到图像捕获装置。流水线200可以包括左图像的粗略重新缩放(802)、之后进行的左图像的分割(804)、全局缩放因子的计算(806)、将全局缩放因子应用于原始左图像(808)、左图像的分割(810)和所得手指图像的个性化重新缩放(812)。在一些示例中，流水线800的输出对于不同种类的主相机图像是不同的。由流水线产生的图像的计数可以与在主相机的视场中的手指的数量成比例。
图9示出根据本公开的技术的用于创建将视差映射到深度的查找表的操作。初始地，计算装置可以跨行进路径以已知距离收集左棋盘图像和右棋盘图像对的序列(902)。在一些示例中，行进路径可以是数十或数百毫米(例如，当运动控制器沿着z轴移动棋盘目标时，每0.5毫米收集一对图像)。
计算装置可以使用图像对来估计用于多个(例如，一对)立体相机的校准参数(904)。校准参数可以包括内在参数和/或外在参数。作为示例，内在参数可以描述透镜，并且外在参数可以描述相机在世界坐标中的位置和/或前进方向。在一些示例中，计算装置可以生成一个或多个修正矩阵(906)，其可以包括例如包含描述透镜的参数的本征矩阵。计算装置可以基于棋盘图像和修正矩阵运行修正码(908)。在此类示例中，计算装置可以将每个右相机图像修正到右相机图像的相应左相机图像的图像平面中。因此，修正可以特定于每个单独的相机的参数。计算装置可以针对每对棋盘图像计算视差。
计算装置可以通过在一个或多个棋盘图像中定位拐角来进行拐角检测(910)。作为示例，对于左图像中的每个棋盘拐角点，计算装置可以在经修正的右图像中定位对应点，并且计算点之间的视差(912)。计算装置可以创建表格，其将用于一对图像的视差映射到图像的已知深度(例如，如由控制棋盘目标的位置的运动控制器的编程运动所确定)(914)。
图10和图11示出根据本公开的技术的用于图像重新缩放的视差对深度查找表的使用。图10示出示例重新缩放流水线。由计算装置接收或生成的用于重新缩放流水线的输入可以包括主相机图像(1002)、一对立体相机图像(1006)、图9中产生的查找表(1004)和修正矩阵的集合(1008)。
在一些示例中，主相机在非接触指纹扫描仪的布局中具有中心位置。手或对象的图像将看起来大致位于主相机图像的中心。主相机图像可以是从其中提取指纹图像和指纹微小细节的图像。相反地，以其中从上方观看装置的角度来看，立体相机可以定位在主相机左侧和右侧大约半英寸和主相机下方大约一英寸处。左立体相机可以从装置的左侧捕获手的图像，这产生其中手看起来朝向视野的右侧部分的图像。相反地，右立体相机可以从装置的右侧捕获手的图像，这产生其中手看起来朝向视野的左侧部分的图像。
计算装置可以使用背景减除来从主相机图像去除无关内容，从而以最少的环境内容留下手掌和手指的图像(1010)。在一些示例中，利用修正矩阵处理立体图像，并且立体图像也可以经历背景减除(1012)。在1012中的该修正过程的输出可以是经修正的立体图像对。
计算装置可以计算在经修正的左相机图像和右相机图像之间的视差(1014)。计算装置可以进行作为3D深度计算的一部分的视差计算，并且可以涉及搜索左图像和右图像以寻找对应的界标。视差可以是在左图像和右图像中的对应界标之间的距离。本公开的技术可以将视差计算应用于非接触指纹扫描的问题。对于每对立体图像，计算装置可以确定多个视差。计算装置可以排除异常视差值，并且计算用于作为一对的左图像和右图像的任一平均(或中值)视差值(包括两个图像中的遍及手指的点之间的视差)。计算装置可以确定左图像和右图像对的平均视差连同查找表，以计算左图像和右图像中的手的平均(或中值)深度。该视差对深度查找表将视差值映射到深度值。
使用用于图像对的深度值，计算装置可以计算用于两个立体相机的缩放因子(1016)。该缩放因子的计算可以使用深度对PPI查找表，其将深度值映射到PPI(像素/英寸)图像分辨率值。通过使用T90或其他合适目标的一系列图像而不是棋盘目标，可以与视差对深度查找表类似地产生深度对PPI查找表。可以在装置制造时生成查找表中的一个或多个。计算装置可以补偿在立体相机的高度和主相机的高度之间的差值(例如，通过减去在制造时确定的已知值或通过其他手段)，并且计算一对全局缩放因子，计算装置可以将该一对全局缩放因子应用于主相机图像(1018)。该全局缩放因子意在以适用于指纹分割和/或指纹匹配的方式将主相机图像重新缩放。计算装置可以分割主相机图像，从而为每个指纹产生单独的图像(1020)。通过应用指纹图像的个性化重新缩放因子来将这些指纹图像中的每个重新缩放(1022)。在分割左相机图像之后计算各个重新缩放因子，并且针对左相机图像中的每个指尖计算个性化深度。另选地，在其他示例中，左相机图像可以被投影到右相机图像的图像平面中并被处理以分割右相机图像。如果指尖深度的标准偏差太大(例如，大于或等于阈值)，则流水线可以发出错误标记并且/或者要求使用新捕获的图像的集合重新开始该过程(1024)。如果指尖深度的标准偏差不是太大(例如，小于或等于阈值)，则可以由计算装置输出或以其他方式使用计算装置来缩放一个或多个指纹的图像，以用于认证特定人员。
在一些示例中，计算装置可以使用数据点的集合(由a)视差和b)深度组成的对)来拟合数学模型(例如，使用开源工具包sklearn)，并且使用此数学模型(例如，多项式模型)将视差值映射到深度值。在一些示例中，计算装置可以使用数据点的集合(由a)深度和b)PPI组成的对)来拟合数学模型(例如，使用开源工具包sklearn)，并且使用此数学模型(例如，多项式模型)将深度值映射到PPI值。因此，实现本公开的技术的计算装置可以生成表格，对表格值进行曲线拟合以生成多项式模型或其他模型，由此使得该模型可以从中间输入值生成中间输出值，该中间输入值可以不包括在表格中，但可基于由曲线拟合得到的模型重现。在一些示例中，出于创建一个或多个模型的目的而临时生成表格，但是当在操作中使用计算装置和/或图像捕获装置时，可以不保留表格。即，从表格生成的模型(例如，多项式模型)可以在操作中用于基于人员的指纹来认证该人员，但是该表格在操作中可以不用于实际认证。
图11示出根据本公开的技术的对应于计算全局深度和缩放因子的操作(1100)。图11的操作可以是包括图10中的操作1016的操作的集合。计算装置可以生成和/或接收1)一个或多个视差值的集合(1102)和2)视差值对深度值的查找表(1104)作为输入，如图8至图10所述。计算装置可以从左图像和右图像确定手的平均深度。在一些示例中，计算装置可以针对每个单独指尖确定平均深度值。在一些示例中，计算装置可以将左照片重新缩放(1108)。计算装置可以针对照片中的一个或多个手指分割左照片(1110)。计算装置可以针对从左图像分割的每个手指计算视差值和深度值(1112)。在一些示例中，计算装置可以输出每个手指的深度(1114)，其可以由计算装置用于本公开所述进一步操作。在一些示例中，计算装置可以确定全局缩放因子，其等于手指缩放因子的平均值(1116)。在一些示例中，计算装置可以输出全局缩放因子，以用于本公开所述的进一步操作(1118)。
图12示出根据本公开的技术的对应于生成深度对PPI表的操作(1200)。计算装置可以生成和/或接收左光栅图案和右光栅图案中的一个或多个作为输，其可以处于一个或多个已知距离处入(1202)。计算装置可以测量从第一个完整循环开始到最后一个完整循环结束的距离(1204)。计算装置可以通过检测下降沿或使用OpenCV轮廓来对多个循环进行计数(1206)。在一些示例中，计算装置可以将距离除以计数以生成平均循环宽度(1208)。在一些示例中，计算装置可以基于循环宽度和常数(诸如25.4)的乘积来生成PPI或分辨率值，该常数用于将毫米转换为英寸(1210)。在一些示例中，计算装置可以创建在已知深度与在1210中生成的分辨率之间的关联(1212)。计算装置可以生成深度对分辨率关联的集合，其可以被包括在将地面实况深度映射到计算的PPI或分辨率的表格或其他数据结构中(1214)。在一些示例中，计算装置可以进行曲线拟合以生成模型或函数，其可以用于生成在表格中包括的那些值之间的中间深度对PPI值。
在一个或多个示例中，所述的功能可在硬件、软件、固件或它们的任何组合中来实现。如果以软件实现，则所述功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输，且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质，其对应于有形介质，诸如数据存储介质；或通信介质，包括例如根据通信协议有利于将计算机程序从一处传送到另一处的任何介质。以该方式，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质；或(2)通信介质诸如信号或载波。数据存储介质可为任何可用介质，其可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开所述技术的指令、代码和/或数据结构。计算机程序产品可包括计算机可读介质。
作为示例而非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储装置、闪存或任何其它介质，任何其它介质为可用来以指令或数据结构的形式存储所需的程序代码并且可由计算机访问。而且，任何连接均被适当地称为计算机可读介质。例如，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它瞬态介质，而是针对非瞬态的有形存储介质。所使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光学盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁的方式再现数据，而光盘通过激光以光学方式再现数据。上述的组合也应当包括在计算机可读介质的范围内。
指令可由一个或多个处理器如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路系统执行。因此，所使用的术语“处理器”可指任何前述结构或适用于实现所述技术的任何其它结构。另外，在一些方面，所述功能可在专用硬件和/或软件模块内提供。而且，所述技术可完全在一个或多个电路或逻辑元件中实现。
本公开的技术可在包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)的各种各样的装置或设备中实现。在本公开中描述了各种部件、模块或单元以强调被构造成进行所公开的技术的装置的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，各种单元可在硬件单元中组合或者通过包括如上所述的一个或多个处理器的互操作硬件单元的集合、结合合适的软件和/或固件来提供。
应当认识到，根据示例，本文所述方法中的任一种的某些动作或事件可以不同的顺序进行，可一起添加、合并或省去(例如，不是所有所述动作或事件对于方法的实践都是必需的)。此外，在某些示例中，动作或事件可例如通过多线程处理、中断处理或多个处理器同时而不是顺序地进行。
在一些示例中，计算机可读存储介质包括非暂态介质。在一些示例中，术语“非暂态”指示存储介质没有在载波或传播信号中实施。在某些示例中，非暂态存储介质存储可随时间改变的数据(例如，在RAM或高速缓存中)。
已描述了各种示例。这些实施例以及其它实施例均在如下权利要求书的范围内。

Claims (29)

1.一种方法，包括：
由计算装置确定图像的多个所关注的区域，以用于相对于所关注的平面独立地进行处理；
针对所述多个所关注的区域中的各个所关注的区域，由所述计算装置确定从所述各个所关注的区域内的对象到所述所关注的平面的距离；以及
独立地针对所述各个所关注的区域，由所述计算装置基于从所述对象到所述所关注的平面的所述确定的距离来处理所述图像的所述各个所关注的区域。
2.根据权利要求1所述的方法，其中处理所述各个所关注的区域包括将所述各个所关注的区域中的至少一个重新缩放。
3.根据权利要求2所述的方法，其中将所述各个所关注的区域中的所述至少一个重新缩放包括将所述各个所关注的区域中的所述至少一个下调到预定分辨率。
4.根据权利要求3所述的方法，其中将所述各个所关注的区域中的所述至少一个下调到所述预定分辨率包括将所述各个所关注的区域中的所述至少一个下调到500像素/英寸或1000像素/英寸中的一者。
5.根据权利要求1所述的方法，其中处理所述各个所关注的区域包括针对所述各个所关注的区域中的至少一个进行透视校正。
6.根据权利要求1所述的方法，还包括：
在确定所述多个所关注的区域之前确定距离图，所述距离图包括用于所述图像的一个或多个部分的从所述一个或多个部分内的对象到所述所关注的平面的相应距离；
其中确定所述多个所关注的区域包括从所述距离图的所述一个或多个部分确定所述多个所关注的区域；并且
其中确定从所述各个所关注的区域内的所述对象到所述所关注的平面的所述距离包括基于用于所述图像的所述一个或多个部分的所述距离图的所述相应距离来确定所述距离。
7.根据权利要求6所述的方法，其中确定所述距离图包括将分割算法应用于所述图像的至少部分以确定所述一个或多个部分。
8.根据权利要求6所述的方法，其中确定所述距离图包括将所述一个或多个部分确定为所述图像的块尺寸式区部。
9.根据权利要求6所述的方法，其中确定所述距离图包括针对所述一个或多个部分的各个部分确定由所述各个部分限定的所述图像的区部到所述所关注的平面的平均距离。
10.根据权利要求6所述的方法，其中确定所述距离图包括：
确定用于所述图像的多个区部的距离；
合并所述图像的所述多个区部中的至少两个区部以形成所述一个或多个部分中的第一部分；以及
确定用于所述第一部分的代表性距离。
11.根据权利要求10所述的方法，其中确定所述代表性距离包括将平滑化因子应用于所述至少两个区部。
12.根据权利要求1所述的方法，还包括：
在确定所述距离图之前，确定表示在所述对象的第一视角和所述对象的第二视角之间的视差的视差图；并且
其中确定所述距离图包括基于在所述第一视角和所述第二视角之间的所述视差确定所述距离图。
13.根据权利要求12所述的方法，其中确定所述视差包括确定像素空间中的所述视差。
14.根据权利要求12所述的方法，其中确定所述视差图包括：
识别所述图像的一个或多个区部，以针对所述图像的所述一个或多个区部确定视差，所述识别基于来自所述第一视角的所述一个或多个区部与来自所述第二视角的所述一个或多个部分的相似性；以及
确定用于所述一个或多个区部的相应视差。
15.根据权利要求14所述的方法，其中基于所述视差确定所述距离图包括：
从所述视差图的所述一个或多个区部来确定所述图像的一个或多个部分，以针对所述图像的所述一个或多个部分确定距离；以及
基于所述视差确定所述图像的所述一个或多个部分到所述所关注的平面的相应距离。
16.根据权利要求14所述的方法，其中为所述视差图识别所述图像的所述一个或多个区部包括识别所述图像的像素块。
17.根据权利要求12所述的方法，其中基于所述视差确定所述距离图包括基于以下等式确定所述距离图：z＝bf/x，其中z是距离，b是在第一相机和第二相机之间的间隔距离，所述第一相机从所述第一视角捕获所述图像，所述第二相机从所述第二视角捕获所述图像，f是所述第一相机和所述第二相机的焦距，并且x是视差。
18.根据权利要求12所述的方法，还包括由第一相机捕获所述第一视角，并且由第二相机捕获所述第二视角。
19.根据权利要求1所述的方法，其中确定所述图像的所述多个所关注的区域包括在所述图像中的至少一个指纹内确定所述多个所关注的区域。
20.根据权利要求1所述的方法，其中确定所述图像的所述多个所关注的区域包括在所述图像中的掌纹内确定所述所关注的区域。
21.根据权利要求1所述的方法，其中所述所关注的平面包括由捕获所述图像的相机限定的图像平面。
22.根据权利要求1所述的方法，还包括：
确定一组视差，所述一组视差对应于相应的一组深度，所述深度是对象和图像捕获装置之间的；
将模型曲线拟合到对应于所述相应的一组深度的所述一组视差；并且
其中处理所述图像的所述各个所关注的区域至少部分地基于所述模型。
23.根据权利要求1所述的方法，还包括：
确定一组深度，所述一组深度对应于相应的一组分辨率；
将模型曲线拟合到对应于相应的所述一组分辨率的所述一组深度；并且
其中处理所述图像的所述各个所关注的区域至少部分地基于所述模型。
24.一种方法，包括根据权利要求1至23所述的方法的任何组合。
25.一种装置，包括：
存储器，所述存储器被配置为存储图像；和
一个或多个处理器，所述一个或多个处理器被配置为：
确定所述图像的多个所关注的区域，以用于相对于所关注的平面独立地进行处理；
针对所述多个所关注的区域中的各个所关注的区域确定从所述各个所关注的区域内的对象到所述所关注的平面的距离；以及
独立地针对所述各个所关注的区域，基于从所述对象到所述所关注的平面的所述确定的距离来处理所述图像的所述各个所关注的区域。
26.根据权利要求25所述的装置，其中所述一个或多个处理器还被配置为进行根据权利要求2至24所述的方法的任何组合。
27.根据权利要求25所述的装置，还包括至少一个相机，所述至少一个相机被配置为捕获所述图像。
28.一种装置，包括用于进行根据权利要求1至24所述的方法的任何组合的设施。
29.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的指令，所述指令在被执行时使一个或多个处理器进行根据权利要求1至24所述的方法的任何组合。
CN201780057372.XA 2016-08-12 2017-08-11 独立地处理多个所关注的区域 Active CN109716348B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662374572P 2016-08-12 2016-08-12
US62/374,572 2016-08-12
PCT/US2017/046529 WO2018031900A1 (en) 2016-08-12 2017-08-11 Independently processing plurality of regions of interest

Publications (2)

Publication Number Publication Date
CN109716348A true CN109716348A (zh) 2019-05-03
CN109716348B CN109716348B (zh) 2024-05-28

Family

ID=59684100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057372.XA Active CN109716348B (zh) 2016-08-12 2017-08-11 独立地处理多个所关注的区域

Country Status (5)

Country Link
US (1) US11023762B2 (zh)
EP (1) EP3497618B1 (zh)
JP (1) JP7269874B2 (zh)
CN (1) CN109716348B (zh)
WO (1) WO2018031900A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220284610A1 (en) * 2019-07-17 2022-09-08 Sony Group Corporation Information processing apparatus, information processing method, and information processing program

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT521935A1 (de) * 2018-12-05 2020-06-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erfassung von Fingerabdrücken
US11010581B2 (en) * 2019-06-04 2021-05-18 Novatek Microelectronics Corp. Fingerprint sensing apparatus and method having three-dimensional sensing mechanism
US11017198B2 (en) * 2019-07-01 2021-05-25 Gemalto Cogent Inc Slap segmentation of contactless fingerprint images
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
CN110969666B (zh) * 2019-11-15 2023-08-18 北京中科慧眼科技有限公司 双目相机深度标定方法、装置、系统和存储介质
US11354788B1 (en) * 2020-12-07 2022-06-07 Advanced Micro Devices, Inc. Overlapped curve mapping for histogram-based local tone and local contrast
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111705A1 (en) * 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US20120056998A1 (en) * 2010-09-08 2012-03-08 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN102821291A (zh) * 2011-06-08 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
US20160180142A1 (en) * 2014-12-17 2016-06-23 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016359A2 (en) 2004-08-09 2006-02-16 Classifeye Ltd. Non-contact optical means and method for 3d fingerprint recognition
EP2660773A4 (en) * 2010-12-28 2017-04-05 Fujitsu Limited Biometric authentication device, biometric authentication method, and biometric authentication program
CN102521795B (zh) 2011-12-15 2014-04-23 中国科学院自动化研究所 基于全局脊线距离的交叉匹配指纹图像缩放方法
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
US9948852B2 (en) * 2013-03-15 2018-04-17 Intuitive Surgical Operations, Inc. Intelligent manual adjustment of an image control element
JP6201379B2 (ja) * 2013-04-02 2017-09-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
US10264998B2 (en) * 2014-11-28 2019-04-23 Hitachi, Ltd. Blood vessel imaging apparatus and personal authentication system
US9547907B2 (en) * 2014-12-15 2017-01-17 Intel Corporation Image segmentation using color and depth information
WO2017044343A1 (en) 2015-09-09 2017-03-16 3M Innovative Properties Company Non-contact friction ridge capture device
JP6523925B2 (ja) * 2015-11-10 2019-06-05 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
JP2017220027A (ja) 2016-06-07 2017-12-14 富士通株式会社 電子機器、プロセッサ制御方法およびプロセッサ制御プログラム
WO2018165148A1 (en) 2017-03-06 2018-09-13 3M Innovative Properties Company Foreground object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111705A1 (en) * 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US20120056998A1 (en) * 2010-09-08 2012-03-08 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN102821291A (zh) * 2011-06-08 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
US20160180142A1 (en) * 2014-12-17 2016-06-23 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220284610A1 (en) * 2019-07-17 2022-09-08 Sony Group Corporation Information processing apparatus, information processing method, and information processing program

Also Published As

Publication number Publication date
WO2018031900A1 (en) 2018-02-15
US11023762B2 (en) 2021-06-01
EP3497618A1 (en) 2019-06-19
US20190180133A1 (en) 2019-06-13
EP3497618B1 (en) 2023-08-02
CN109716348B (zh) 2024-05-28
JP2019530059A (ja) 2019-10-17
JP7269874B2 (ja) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109716348A (zh) 独立地处理多个所关注的区域
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
KR102001678B1 (ko) Ｄｆｄ 이미징 시스템 및 방법
US9432655B2 (en) Three-dimensional scanner based on contours from shadow images
TWI509565B (zh) 基於樣式匹配及立體資訊的深度製圖
CN102713671A (zh) 点群数据处理装置、点群数据处理方法和点群数据处理程序
Son et al. Learning to remove multipath distortions in time-of-flight range images for a robotic arm setup
Silvester et al. A critical assessment of the potential for structure‐from‐motion photogrammetry to produce high fidelity 3D dental models
US20200074132A1 (en) Contactless rolled fingerprints
US11450140B2 (en) Independently processing plurality of regions of interest
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
Furferi et al. A RGB-D based instant body-scanning solution for compact box installation
Rodrigues et al. Structured light techniques for 3D surface reconstruction in robotic tasks
JP6531395B2 (ja) 三次元形状測定装置、三次元形状測定方法、及び、プログラム
Štolc et al. Depth and all-in-focus images obtained by multi-line-scan light-field approach
Song et al. Depth reconstruction of translucent objects from a single time-of-flight camera using deep residual networks
Calantropio et al. Evaluation of photogrammetric block orientation using quality descriptors from statistically filtered tie points
TWI518442B (zh) 立體掃描裝置
Liu Accuracy improvement of 3D measurement using digital fringe projection
Khosravani et al. Coregistration of kinect point clouds based on image and object space observations
CN115222826B (zh) 结构光和相机相对位姿可改变的三维重建方法和装置
Paar et al. Photogrammetric fingerprint unwrapping
JP2018063161A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Zeng et al. Calibration of a structured light measurement system using binary shape coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant