CN110443106A - 单像素传感器 - Google Patents

单像素传感器 Download PDF

Info

Publication number
CN110443106A
CN110443106A CN201910358001.6A CN201910358001A CN110443106A CN 110443106 A CN110443106 A CN 110443106A CN 201910358001 A CN201910358001 A CN 201910358001A CN 110443106 A CN110443106 A CN 110443106A
Authority
CN
China
Prior art keywords
reflection
dimensional
time
signal
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910358001.6A
Other languages
English (en)
Other versions
CN110443106B (zh
Inventor
M·泽基尼
P·奥素立凡
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Analog Devices Inc
Original Assignee
Analog Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Analog Devices Inc filed Critical Analog Devices Inc
Publication of CN110443106A publication Critical patent/CN110443106A/zh
Application granted granted Critical
Publication of CN110443106B publication Critical patent/CN110443106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及使用单像素传感器执行面部识别，该单像素传感器测量从受试者面部反射的光脉冲的时间特征。由于传感器位置与受试者的面部的不同部分之间的深度差异，来自受试者的面部的不同部分的短持续时间照射脉冲的反射将在不同时间返回传感器，从而提供时间基于个人受试者独有的一维签名。通过使用神经网络或主成分分析(PCA)分析反射签名，可以获得受试者的识别。另外，除了面部之外，相同的系统还可以用于识别或区分已知形状的任何其他对象，例如生产线上的制造产品等。

Description

单像素传感器
技术领域
本公开涉及一种单像素传感器，其测量从对象反射的漫射光脉冲的时间特征。由于传感器位置和对象的不同部分之间的深度差异，短持续时间照射脉冲的反射在不同时间到达传感器，从而提供对于个体对象唯一的基于时间的一维签名。
背景技术
面部识别系统通常使用视觉获取和算法来通过分析某些面部特征(例如鼻子、眼睛、颌和其他人的相对位置)并与数据库内的参考或样本进行比较来识别或认证人。它们最常使用图像或视频馈送结合执行识别算法的计算系统来实现。它们可以单独使用，也可以与其他生物识别技术一起使用，如视网膜/虹膜和指纹扫描。智能手机的趋势是将身份识别功能添加到身份验证功能中，作为个人识别码(PIN)代码和/或指纹的替代或补充。这样的系统通常使用二维(2D)相机来获取面部信息，但是仅2D系统很容易被静止图像击败。即使在使用增加的安全级别(例如，在识别期间要求使一只眼睛闪烁)时，这样的系统通常也不够健壮且足够安全以替换其他生物识别传感器。
发明内容
本公开涉及使用单像素传感器执行面部识别，该单像素传感器测量从受试者的面部反射的漫射光脉冲的时间特征。在一些例子中，可以一起使用少量这样的传感器，例如以获得要测量的场景的不同视角。由于传感器位置与受试者的面部的不同部分之间的深度差异，来自受试者的面部的不同部分的短持续时间照射脉冲将在不同时间返回传感器，因此，提供对于个体受试者而言唯一的基于时间的一维签名。通过使用主成分分析(PCA)或人工神经网络(ANN)等算法分析反射签名，可以获得受试者的识别。另外，除了面部之外，相同的系统还可以用于识别或区分已知形状的任何其他对象，例如生产线上的制造产品等。
鉴于以上所述，本公开的一个例子提供用于检测对象的传感器，所述传感器包括：光源，布置为发出短暂的光脉冲来照亮对象的面部；光电探测器，布置为检测来自所述对象的面部反射的光脉冲的光，以产生代表所述对象的面部属性的基于一维时间的反射信号；和处理器，布置为接收代表反射信号的信号，并根据其产生所述对象的基于时间的反射签名。利用这种布置，基于一维时间的反射信号用于允许生成反射签名，然后可以在许多应用中使用该反射签名，例如识别或验证对象。
例如，提供识别处理器，其中识别处理器布置为接收所述基于时间的反射签名，并根据反射签名来识别所述对象。对象的自动识别在许多场景中都很有用，包括在生产线上，以及出于安全目的。
在一个例子中，识别处理器利用机器学习技术以基于所述基于时间的反射签名来识别所述对象。例如，机器学习技术可包括下列至少一种：a)PCA和/或b)一个或多个神经网络。也可以使用能够执行对象的自动或辅助识别的其他人工智能技术。
在一个例子中，还提供参考信道组件，其中参考信道组件布置为直接从光源接收短暂的光脉冲的至少一部分以提供参考信号。然后处理器还可以被布置为根据参考信号对反射信号进行归一化以解释在照射脉冲中不需要的特性。这种布置允许自动补偿照射脉冲的不规则性，从而改善传感器的检测和识别性能。
在更详细的例子中，光源可具有振铃特性，并且参考信道组件包括布置为检测振铃特性的参考光电探测器。然后处理器还可布置为接收由所述参考光电探测器响应所述振铃特性产生的信号，并对反射信号进行归一化以除去由所述振铃引起的伪影。
在一个例子中，基于二维空间的识别系统也可以与一维(1D)传感器组合提供。基于二维空间的识别系统可以被布置成捕获对象的面部的二维图像并且依赖于其来进行对象的识别。然后，识别处理器可以使用二维图像和基于一维时间的反射信号，根据对象的识别来产生指示成功识别对象的输出信号。通过这样的布置，2D传感器和1D传感器可以协同地一起工作，使用2D传感器识别受试者，并且1D传感器验证被识别的场景也包含足够的深度，因此不仅仅是要识别的对象的照片或其他2D图像。
在一个例子中，对象是人受试者，并且对象的面部是人受试者的面部，就此而言，本公开的示例可以被特别设计用于识别人受试者的面部，并且特别是用于自动解锁诸如移动电话或平板设备等的便携式电子设备的目的。
在例子中，识别处理器可存储对象-特定的基于一维时间的信号轨迹数据(或相应的数学模板)，基于时间的反射签名(或相应的数学模板)与其比较以识别所述对象。特别地，对象特定的基于时间的信号轨迹数据可包括在训练阶段期间捕获的各个对象特定的基于时间的信号轨迹的各组样本，并且所述识别处理器在该组样本(例如采样数据点)之间进行插值以重新创建信号轨迹来进行匹配。
从另一方面来看，本公开的另一例子提供一种操作单像素传感器的方法，包括：使用短暂的光脉冲照射对象；在单像素传感器处检测来自所述对象反射的光脉冲的光，以获得代表从由所述光脉冲照射的对象的整个照射面反射的光的一维反射时间轨迹；比较所述一维反射时间轨迹与从已知对象获得的一维反射时间轨迹的存储表示；以及然后根据比较识别或验证所述对象作为存储的时间轨迹与获得的时间轨迹匹配的对象。
在一个例子中，识别包括利用机器学习技术以基于获得的时间轨迹来识别所述对象。例如，机器学习技术可包括下列至少一种：a)PCA和/或b)一个或多个神经网络。
在其他例子中，该方法还包括直接从光源接收短暂的光脉冲的至少一部分以提供参考信号，并且根据所述参考信号对反射时间轨迹进行归一化以解释在短暂的光脉冲中不需要的特性。特别地，短暂的光脉冲可具有振铃特性，并且该方法还包括检测振铃特性，并对反射时间轨迹进行归一化以除去由所述振铃引起的伪影。
在其他例子中，该方法还可以与2D传感器结合使用，以允许2D传感器验证1D传感器的发现，反之亦然。特别地，在一个例子中，该方法可以进一步包括捕获对象的面部的二维图像并且依赖于对象进行对象的识别。然后可以依赖于使用2D图像和1D时间轨迹识别对象来成功识别对象。
在一个例子中，该方法还包括存储对象-特定的基于一维时间的信号轨迹数据，所述一维时间轨迹与其比较以识别所述对象。特别地，在更详细的例子中，对象-特定的基于时间的信号轨迹数据包括在训练阶段期间捕获的各个对象特定的基于时间的信号轨迹的各组样本，该方法还包括在该组样本(例如采样数据点)之间进行插值以重新创建信号轨迹来进行匹配。
从又一方面，本公开的另一例子提供了传感器系统，包括：单像素传感器，布置为从短暂的照射脉冲中捕获与从受试者用户的面部反射的光相对应的一维反射轨迹；二维图像传感器，布置为捕获受试者用户的面部的二维图像；和一个或多个处理器，布置为根据捕获的二维图像和捕获的一维反射轨迹来验证受试者用户并控制装置，所述传感器系统形成所述装置的部件以根据所述验证来操作。利用这种布置，来自一维传感器的数据可用于确认基于二维图像数据进行的面部识别，例如确认二维传感器系统不受受试者用户的照片或其他图像的欺骗。
在本公开的其他例子中，可提供多个单像素传感器，被布置成捕获对应于从所述受试者用户的面部反射的光的相应的一维反射轨迹，并且一个或多个处理器还被布置为根据相应的一维反射轨迹来验证所述受试者用户。提供多个这样的单像素传感器允许传感器具有稍微不同的受试者用户视野，因此应该提高验证或识别用户的准确性，和/或减少捕获合适的反射轨迹样本所需的时间。
根据以下描述和所附权利要求，本公开的其他特征、示例和优点将显而易见。
附图说明
为了更完整地理解本发明及其特征和优点，结合附图参考以下说明，其中相同的附图标记表示相同的部分，其中：
图1是描述本公开的例子的操作的概念的图；
图2是描述从图1的例子衍生的信号的图；
图3是本公开的示例系统的框图；
图4是描述本公开的例子的系统的操作或部分的流程图；
图5是描述本公开的例子的系统的部分操作的另一流程图；
图6是描述本公开的例子的系统的操作或部分的流程图；
图7是本公开的另一例子的系统框图；
图8是描述在本公开的例子中使用的相关光电检测器响应的图；
图9、10和11是在本公开的理论例子中模拟响应和相关的确定形状；
图12是模拟带宽受限的脉冲响应，示出描述本公开的例子的操作的响应的接收和标准化版本。
图13是来自本公开的例子的模拟响应特性；
图14是在数字化之后从描述响应曲线的表征的本公开的例子的真实的响应特性；
图15是描述在本公开的例子中使用的识别过程的流程图；和
图16是列出用于本公开的例子的情况的表。
具体实施方式
本公开涉及一种用于感测诸如人脸之类的对象的形状的新型传感器。该传感器包括作为单像素传感器的单个光电探测器，以及用于利用短漫射照射脉冲临时照射待感测对象的照明闪光灯。然后，传感器记录从被照射对象的整个部分返回传感器的时间反射波形，然后可以将波形(或相应的数学模板)与对应于待识别对象的存储的特征波形(或模板)进行比较，以便进行对象识别。特别值得注意的是，单像素传感器不扫描对象从小部件采集样本(例如，光栅扫描穿过对象)，而是接收来自闪光灯照射的对象的整个照射面的反射，依赖于传感器反射光到达时间的时间差异，该传感器来自对象的不同部分，相对于传感器具有不同的深度。然后，通过观察所接收的时间波形并识别由于对象的反射部分的不同相对深度(相对于传感器)而导致的微小变化，可以表征和识别对象。
更详细地，本公开的示例基于分析来自由单个光电探测器(例如光电二极管(PD)、雪崩光电二极管(APD)、硅光电倍增管(SiPM)或单光子雪崩二极管(SPAD))接收的对象(例如面部)反射的漫射短激光脉冲的时间响应。所接收的电响应是激光脉冲与包含视场(FOV)内的深度的矢量的卷积。虽然通常不可能重建目标对象，但至少通过单次固定曝光，信号呈现可用于区分受试者并利用算法执行面部识别的签名。这样的系统可以在一些示例中结合2D成像器操作，与诸如结构光成像器的3D成像器相比，提供了更小、更低成本和更低功耗实现的潜在优势。
图1和2更详细地示出了本公开的示例的操作原理。首先参照图1，想象一下光发射器旁边有一个共同定位的光传感器。发射器和传感器的共同定位使得光以与来自发射器的光线的入射角几乎相同的角度α(α)从对象反射回传感器。接下来考虑具有表面的示例对象，该表面对从发射器入射在其上的光呈现多个深度D1至D5。发射器和传感器位于距对象后表面的参考深度DREF处，示例深度表示物体D1至D5的表面起伏全部可测量地小于DREF。
在操作中，发射器产生短的漫射光脉冲，通常具有几纳秒的量级，尽管在尽可能短的照明下获得了更好的结果，理想地在几皮秒内测量。光脉冲照射面向发射器的对象的表面，并且光从那些表面反射回到共同定位的传感器。如图2所示，来自具有相对于发射器的不同相对深度的不同表面的光在不同时间到达传感器。在图2中，发射器发出的光脉冲显示在顶部迹线上，底部迹线显示传感器检测来自对象的不同深度表面的光脉冲的反射光所花费的时间。因此，例如，来自距离D1更近发射器的表面的光在时间TD1被反射，而来自表面D2的更远离发射器的光在时间TD2反射回传感器。类似地，对于从表面D3、D4和D5反射的光，然后分别在时间TD3、TD4和TD5处在传感器处接收回来。因此，反射光的时间轨迹提供表示对象的不同深度表面的特征信号，并且能够充当反射光的特征时间轨迹，该反射光随后是对象的特征。如图2所示，利用传感器的理论无限带宽，可以在迹线内辨别来自不同深度的每个表面的不同脉冲。然而，在现实生活中，传感器的带宽有限，导致传感器响应入射光产生的信号有显着的上升和下降时间，因此签名轨迹将更像图2中虚线所示。然而，该特征迹线仍然是对象形状的特征，并且可以用于对象表征和识别。通过存储对应于多个对象的带宽受限签名轨迹的数据，然后将来自照明的测量轨迹与存储的签名轨迹进行比较，可以执行对象表征和识别。
现在将参照图3至图6描述本公开的示例传感器系统。在这方面，图3是示出本公开的单像素对象识别器(SPOR)的一个示例布置的框图，在此关于执行面部识别(并且因此在本文中通常称为单像素面部识别器(SPFR))的示例中，但是应当理解，可以通过所描述的系统在其他示例中进行其他对象形状确定和识别。此外，在该示例中，单像素传感器与诸如相机的2D图像传感器集成，但是应当理解，在其他示例中，单像素传感器可以单独使用。
如本例中的图3所示，SPOR(SPFR)系统由三个主要子系统组成：
1.深度签名处理器1测量面部照明部分的深度变化；
2.2D相机2，关联脸部的视觉图像；和
3.应用程序处理器3处理深度签名和视觉提示以验证用户。
深度签名处理器1的操作如下。SPFR处理器1.11通过向照明驱动器1.1发送激活信号来启动操作，照明驱动器1.1以尽可能短的脉冲和最佳功率电平驱动激光二极管(LD)或垂直腔面发射激光器(VCSEL)1.2以覆盖所需的区域。它还需要保证良好的光信号完整性。在最简单的形式中，照明驱动器1.1可以是具有无源电流限制的氮化镓场效应晶体管(GaN-FET)，而更复杂的实现将是快速高电流数模转换器(DAC)，它可以选择LD或垂直腔面发射激光器(VCSEL)峰值激活电流。由于快速di/dt，照明驱动器1.1和LD/VCSEL理想地是共同封装或使用直接键合以最小化寄生电感。
由LD/VCSEL1.2产生的光脉冲被分成两个路径，第一路径b1由波导1.13产生，并将用作由光电探测器1.7检测的信号参考，并由跨阻放大器(TIA)1.8放大。第二路径b2指向光漫射器1.3，光漫射器1.3以足够的角度发射光以覆盖受试者面部区域4.1。光漫射器1.3可以集成在LD/VCSEL中，或者发射特性使得不需要漫射器。
从照明区域4.1反射的光由诸如PD、APD的光电探测器1.5捕获并由TIA1.6放大，参考和测量信号被多路复用1.9，并且由SPFR处理器1.11选择的信号然后由快速模-数转换器(ADC)1.10(例如，高速ADC)数字化。
数字化信号最终由SPFR处理器1.11处理，该处理器1.11将波形样本存储在专用存储器1.12中。由于信号可变性，可以多次获取签名波形并在最终处理之前对其进行滤波。最终处理涉及计算对象标称距离、归一化参考和测量的数字化信号、时间对准和去卷积。结果是特定对象的深度签名。
为了额外的安全性，SPFR处理器1.11还可以加密发送到应用处理器3的深度签名数据。
2D相机2的操作如下。高分辨率成像传感器2.1流式传输所捕获的视频信息，并通过2D成像器处理和控制2.4发送到应用处理器3。在大多数情况下，该元件是计算系统(智能手机、平板电脑、笔记本电脑等)中已有的相机模块的一部分。在其他情况下，这可以是专用成像器，例如互补金属氧化物(CMOS)相机，其可以是红绿蓝(RGB)和/或红外(IR)敏感。
2D相机2可以具有由驱动器2.5和致动器2.2(例如，基于组合的压电、音圈马达(VCM)致动器)形成的图像稳定，以在执行认证过程时检测和校正抖动。此外，2D相机系统可以在低光条件下使用白色和/或IR照明器2.6和驱动器2.7。为了额外的安全性，2.4加密发送到应用处理器3的视频数据。
应用处理器3的操作是执行以下三个功能：
·控制面部认证过程和学习
·从深度签名处理器1收集深度签名样本，从2D摄像头2收集2D快照
·使用算法(例如机器学习算法)执行对象识别或认证
图4、5和6给出了在应用处理器3上运行的软件的操作的进一步细节，以帮助执行上述操作。
图4示出了应用处理器和其中的面部识别算法为了学习新受试者而进行的过程。首先，在4.2处，程序用于使得系统所部署的智能手机等在其显示屏幕上显示视觉提示，以便于获取目标受试者面部。然后，一旦受试者用户正在观看相机，则使用2D相机在4.4处捕获2D图像形式的面部数据。然后，应用处理器和面部识别算法内的软件使用已知的图像识别技术识别2D图像内的关键特征，例如眉毛、鼻子、嘴巴、眼睛瞳孔等。例如，通过对图像进行颜色阈值处理以寻找小的黑色圆圈，可以容易地从图像确定眼睛瞳孔。接下来，在4.8处，更新智能电话或其中包含系统的其他设备的显示，以示出检测特征和与检测的深度特征传感器区域匹配的目标检测区域。然后向用户显示提示以将头部定位在4.10处的所需位置，即通过告知用户是直接观看屏幕，还是抬高或降低他们的头部，或者从左向右移动头部。一旦用户正确地查看2D传感器和深度特征传感器，在4.12处捕获2D图像数据和深度数据用于假定的头部位置。在4.14，然后进行评估，以确定是否已经进行了需要捕获数据的所有期望的头部位置，并且如果没有处理返回到4.10，则其中提示用户假设头部位置稍微不同。重复该动作循环4.10、4.12和4.14，直到捕获了用户的所有期望的头部位置。
因此，在这个时间点，应用处理器已经通过2D相机和深度签名处理器捕获了与用户的面部相关的图像数据以及与用户的面部相关的深度签名数据，其对应于略微不同的头部角度和位置捕获两组数据。然后可以将该数据应用于参数提取过程以确定数据的关键参数，并且这些参数一旦在4.18验证，然后可以被加密并存储在4.20的数学模板中。如果无法提取有效参数，则该过程失败并向用户显示消息。从捕获的时间轨迹中提取参数以生成用户深度签名轨迹以供应用处理器用于匹配目的，稍后将参考图14更详细地描述。
假设已经进行了图4的学习过程，并且然后将与要检测的特定用户相对应的数据存储在应用处理器内，图5示出了使用图3的系统来识别或认证用户的整体用户认证过程。图5的第一部分是确定系统是否已经学习了任何面部数据，例如使用图4的过程。如果在应用处理器中没有存储面部数据或面部模板，则必须使用另一种认证模式，例如5.16的密码，然后确定它是否在5.18匹配。然而，如果应用处理器确实为用户存储面部数据(例如，以2D图像和深度签名时间轨迹的形式)，然后在5.4处，处理器控制诸如智能手机等的设备以在其屏幕上显示视觉提示以便于目标受试者面部获取。这些提示可以是在图4的学习过程的4.2中使用的相同视觉提示，以使用户相对于设备正确地定位他的面部。例如，设备可以在其屏幕上显示覆盖有参考标记的用户的图像，使得用户然后必须相对于设备定位他的头部，使得他的脸部的特定部分例如眼睛、鼻子或耳朵覆盖在标记上。然而，在其他示例中，可以不执行视觉提示的显示，而是该过程继续进行设备能够在任何情况下捕获的图像数据。
一旦受试者面部相对于捕获设备适当地定向，则然后使用2D相机在5.6处捕获面部图像数据。然后将该图像数据馈送到应用处理器，然后使用可能是常规的2D面部匹配算法来尝试和匹配面部。如果2D面部匹配算法不能返回肯定结果，即它不能识别用户的面部，则处理进行到5.14，其中评估用户尝试执行识别的次数。如果已获得最大重试次数，则使用5.16和5.18的备用认证机制，如果这些机制无法对用户进行认证，则认证过程将失败。相反，如果替代认证方法例如PIN码等能够验证用户，然后验证过程返回用户已被验证。
然而，返回到5.8，如果2D相机捕获的2D图像确实与用户的面部匹配，则需要确定用户的面部深度签名是否也匹配。因此，在5.10，然后使用深度签名处理器1捕获面部深度特征，然后将得到的基于时间的波形馈送到应用处理器并与存储在其中的深度特征(或相应的数学模板)匹配。如果应用程序处理器能够将捕获的面部深度签名与用户存储的深度签名匹配(高于某个匹配阈值)，然后，用户已经被2D图像捕获和深度签名处理器认证，因此可以被认证为真实的。如前所述，使用来自相机的2D图像和面部深度签名匹配来执行2D面部匹配的优点是可以获得更高的安全性，因为通过简单地向摄像机显示用户的照片，然后就不可能欺骗2D图像面部匹配处理。相反，因为深度签名信息也必须与用户的2D图像同时捕获，以便认证用户，必须存在具有三维面部的实际用户。或者，也可以使用用户的逼真掩模来尝试欺骗系统，但是应该理解，这比单纯的照片更难以再现。
图6中更详细地示出了图5的深度签名捕获过程5.10。特别地，图6示出了深度签名处理器1在获得深度签名信号轨迹以发送到应用处理器以进行识别时执行的步骤。图6的步骤由SPFR处理器1.11控制，该处理器1.11适当地控制深度签名处理器的其他组件。
转到图6，首先在6.2处，清除采集存储器1.12，然后深度签名处理器必须执行的第一步是获得激光二极管或VCSEL对其驱动信号的响应的参考测量。参考测量模式在6.4处选择，包括从照明驱动器1.1向激光二极管或VCSEL1.2发送照明脉冲，并使用快速ADC1.10进行采样。由激光二极管或VCSEL使用参考检测器1.7通过跨阻抗放大器1.8产生的光，其通过多路复用器(MUX)1.9馈入快速ADC。也就是说，在6.6处，照射脉冲经由照明驱动器1.1发送到激光二极管1.2，并且在6.8处，来自激光二极管的所得光脉冲由参考检测器1.7检测并且通过快速ADC1.10经由TIA1.8和MUX1.9采样。在6.10，SPFR处理器1.1然后从接收自ADC的信息中提取有用样本并更新参考波形存储器。然后，它执行关于是否已经获得所需数量的参考波形的评估，并且如果还需要其他参考波形，即还没有满足参考波形RMAX的数量，则处理返回到6.6，并且获取另外的参考波形。重复该过程，直到获得所需数量的参考波形RMAX并将其存储在参考波形存储器中。
关于参考波形的需要，由于传输光脉冲时的硬件限制，可能出现光信号失真，并且在出现这种失真的情况下，将其归一化可能是有帮助的。例如，参考波形如图8所示。这里，参考波形82表明激光二极管或VCSEL对其驱动脉冲的响应是非线性的，并且表现出大的振铃。这是因为激光二极管或VCSEL内的电流di/dt相对于时间的快速变化是由于激光二极管内的驱动脉冲和电路寄生效应。激光二极管或VCSEL对其驱动脉冲的响应振铃表现为激光二极管或VCSEL在脉冲持续时间内的光输出变化，因此有必要将此振铃记录在激光二极管或VCSEL输出中作为参考信号，使得它随后可用于归一化由光电检测器1.5收集的反射光信号。如果没有进行这种归一化，则几乎不可能使用来自照射脉冲的反射光来识别或表征受试者对象，因为由系统非线性引起的光振幅和脉冲形状的差异可能被误认为是由被照射对象的特征例如受试者用户的面部引起的。
回到图6，一旦收集了激光二极管或VCSEL响应的参考波形，就可以开始从受试者用户4收集反射波形。因此，在6.14，SPFR处理器选择信号测量模式，在6.16处，照射脉冲从照明驱动器1.1发送到激光二极管或VCSEL1.2，并且ADC再次开始采样。然而，这一次，ADC通过跨阻放大器1.6和MUX1.9对从光电检测器1.5接收的信号进行采样，因此，采样信号表示光电探测器1.5的输出响应于来自受试者面部的反射光响应于照射光脉冲的时间轨迹。在6.18，SPFR处理器通过TIA1.6、MUX1.9和ADC1.10从光电探测器1.5收集波形，然后提取有用的样本并在6.20更新信号波形存储器1.12。SPFR处理器还计算成功检测所需的最小距离，测量飞行时间信息，然后评估已获取的信号波形数是否等于所需数量SMAX，如果不是，控制深度签名处理器电路重复上述过程以获取更多样本。然而，一旦获得了所需数量的信号波形，则SPFR处理器1.11控制电路停止收集信号波形，然后继续分析已经收集并存储在存储器1.12中的波形。这是从6.24开始执行的。
更具体地说，在6.24处，SPFR处理器根据存储的波形计算波形是否包含足够的特征数据，即受试者是否足够接近。在这方面，通过测量飞行时间来计算到用户的距离，该飞行时间是参考波形的上升沿和接收脉冲的上升沿之间的时间差。如果确定存储的波形指示距离超出范围，则在6.28向受试者用户显示他必须更靠近设备的消息，然后可以重复信号收集。相反，如果参考波形指示受试者在范围内，则在6.30和6.32处，参考波形和接收信号波形被归一化，并且时间对准在6.34。在6.36处，参考波形然后从信号波形解卷积，其结果是从接收信号中消除激光二极管或VCSEL的系统非线性(或诸如先前描述的振铃响应的伪影)的贡献。图12示出了示例性模拟波形，图12的上部迹线1202示出了具有不同深度差异作为步骤的模拟表面的示例性矩形脉冲响应，而下部迹线1204显示相同的日期，但归一化以消除激光二极管或VCSEL的伪影的影响。
处理然后进行到6.38，其中对去卷积数据执行验证检查，并且如果数据看起来有效，则在6.42加密，然后在6.44发送到应用处理器以匹配用户。相反，如果数据无法验证，则在6.40，应用处理器被告知数据无效，并且不执行匹配过程。
因此，通过上述处理，深度特征处理器能够捕获特征在于反射光脉冲的受试者用户的面部形状的时间轨迹波形。为了容纳激光二极管内的伪像，这些脉冲相对于从激光二极管捕获的参考波形被归一化，使得波形的形状几乎仅取决于光脉冲已经反射的对象的形状而不是电路中引入的错误。这样，基于时间的波形轨迹然后可以由应用处理器用作受试者用户的识别信号。
为了验证该概念，基于现成的组件和仪器构建了测试设置。图7显示了此设置的框图。
如图7所示，LD脉冲发生由数字信号发生器712提供，产生短至1ns的脉冲。该信号被施加到LD板710，该LD板710包含以850nm或其他近红外(NIR)频率工作的驱动器和激光二极管。最大LD峰值电流由电阻器设定，可以通过施加到LD阳极的电压来控制，在我们的测试中，该电压设置为18V，对应于LD峰值电流8A(～5W光学峰值功率)。由于快速di/dt和不可避免的电路寄生，不可能产生干净的矩形脉冲，因此LD驱动信号具有大的振铃，如图8所示，并在上面讨论过。
离开LD模块708/710的光被透镜706准直，准直光束被704分光50/50，并且一个光束被引导到高速光电二极管DET08CL716，以用作在高速数字示波器714的CH1中获取的参考信号。来自分离器704的另一个光束通过20°漫射器705，该漫射器设置成覆盖放置在离发射器约30cm的受试者用户的脸部的一部分。然后，照明光从受试者的面部反射。
通过快速APD 718检测从受试者反射的光，并且在高速数字示波器714的CH2上获取来自快速APD 708的放大信号。该范围是GPIB连接到笔记本电脑，通过PC程序获取参考和测量波形，PC程序通过归一化、时间对齐和解卷积采集的信号处理数据，将结果存储在数据库中以及发布的原始波形数据处理。归一化、时间对准和去卷积如先前关于图7所描述的。然后执行从所获得的波形迹线识别受试者用户的处理。
图15以高级别示出了由应用处理器3执行的从反射时间轨迹识别或表征受试者4的过程。在15.2，从SPFR处理器1.11接收时间序列数据，然后在15.4，应用程序处理器用于将时间序列数据(或相应的模板)与先前存储的时间序列签名数据(或模板)进行比较，以用于尝试进行身份验证的被指定受试者用户，或替代地与已存储签名跟踪的所有受试者用户进行比较。如果与存储的时间序列数据匹配，则在15.6验证匹配所针对的受试者。当与2D图像传感器(例如相机模块)结合使用时，在15.8处，应用处理器也可以进行2D图像识别，然后处理器在SPFR传感器数据和2D图像数据匹配时对用户进行认证(高于系统管理员设置的阈值)。如果用户被认证，则应用处理器向其主机设备输出验证/识别信号。然后，主机设备接收到该验证或识别信号可以使设备执行动作，例如解锁以允许用户使用该设备。
就需要由应用处理器执行的时间轨迹匹配而言，如上所述，这是在由PD、APD或SPAD捕获的一维时间跟踪信号上执行的。为了更好地理解这一点，开发了一个数学模型来帮助理解从具有可变深度的对象反射的信号响应的复杂性。为了简化建模，将对象表面划分为m×n个元素，并假设每个元素的反射率和散射轮廓相同(R＝0.5，反射率)。考虑由每个元件的不同角度引起的距离差异，以及由每个元件的不同角度引起的反射幅度差异。然后，对照明的模拟也考虑可变脉冲宽度，以及来自理想源的带宽或在测试设置上测量的实际光学波形。最终结果是在幅度和时间方面整合了所有元素的响应。图9至图11示出了理想化(非带宽受限，皮秒脉冲)结果的示例，而图12和图13示出了纳秒脉冲的带宽受限和归一化结果。
首先简要地参考图9到11的理想模拟，虽然没有表示真实的响应，但这些说明了该技术的理论辨别能力。图9示出了平坦表面的理论响应，作为参考。从左图可以看出，具有无限带宽检测器和理想化皮秒照射脉冲的平坦响应给出了单个反射峰值，如预期的那样。图10然后示出了具有5cm阶梯差的理想化表面，从中可以看出5cm深度差导致在时间轨迹中相隔0.3ns的两个不同输出脉冲。图11显示了仅0.5cm步长的较小深度差，但同样，在理想模拟中，在迹线中可检测到两个峰，代表该步骤。然而，实际上，由于PD中的带宽限制，虽然图10的5cm步长可以是可检测的，但是由于带宽限制导致峰值合并，0.5cm步长通常将超出PD的分辨率。
然而，虽然上述内容适用于理想化模拟，但在实际使用中，不需要检测每个深度的差异，如针对理想化的皮秒脉冲情况所示。相反，来自具有不同深度的不同点的反射合并以形成单个波形。这在图13中示出，其中使用更逼真的5ns脉冲模拟多面表面。如将看到的，从多面表面，不同的反射轨迹有效地混合在一起成为单个迹线，然后可以将其用作对象的特征时间轨迹。
接下来的问题是如何表征时间轨迹。在这方面，问题在于不同对象的波形差异很小，并且主要反映在幅度上，幅度本身对于实际系统是不稳定的。同样，由于差异非常小，因此对数字转换器的要求非常高。然而，3GHz采样率应提供足够的数据点，并且在实际情况下，不同点的反射率和散射分布将是不同的，这应该提供更多差异。图14示出了采样和内插迹线，其中图13的迹线已经以3GHz采样(以每ns给出三个采样)。因此，示例性采样点在1404、1406、1408、1410、1412、1414和1416处示出，并且通过从采样点到采样点的线性插值在应用处理器3中重建波形以用于匹配目的。当然，在其他示例中，可以使用不同的插值技术来重建波形以进行匹配，将采样点作为输入。
鉴于上述情况，并返回图15，如15.6所述，应用处理器将时间轨迹(表示为一系列样本，如上所述)与特定注册用户的存储时间轨迹相匹配。就如何执行该匹配而言，概念证明系统已经实现了用于用户识别的机器学习算法，并且特别地，已经使用了两种特定类型的匹配算法：
1.ANN匹配算法-将时间序列数据直接映射到输入神经元、1个或多个隐藏层、以及输出层，以提供Go/NoGo身份验证或从数据集中识别个体
2.偏最小二乘判别分析(PLS-DA)算法-在实现回归之前，使用PCA降低时间序列数据的维数。提供与ANN示例类似的输出。
在32人的样本大小上进行测试时，初步结果表明系统可以轻松区分真实人与2D图片，并且神经网络匹配对数据集中的个体实现～99％的识别率，PLS-DA匹配略低。当然，在其他示例中，也可以使用不同的匹配算法，如预期的读者所知。
总之，本公开的示例提供了单像素传感器系统，其具有将伴随的2D系统的识别率提高多达100倍的潜力，尤其是在具有挑战性的条件下(例如，不良照明、化妆品改变等)，或者用作独立系统。此外，当与2-D传感器一起使用时，然后添加单像素传感器系统的3D深度感测功能使得整个系统不易于进行简单的欺骗(例如，通过使用用户受试者的照片或视频馈送来代替实际的人)。此外，单像素传感器系统比其他3D成像系统(例如结构光或飞行时间扫描仪)更简单且成本更低。
可以对上述实施例进行各种修改以提供进一步的实例。在另一个示例中，可以提供多个单像素传感器，其布置在一维线或二维阵列中。提供多个这样的传感器的优点不是可以使用它们对受试者成像，而是可以从相同的照射脉冲并行地获得多个测量。这将减少操作所需的校准和测量照明脉冲的数量。另外，多个传感器的每个单像素传感器将具有与受试者用户稍微不同的FOV，因为光线将从照明二极管到用户然后返回到阵列中的不同传感器。这将意味着阵列中的每个单像素传感器将捕获稍微不同的一维时间轨迹，该时间轨迹表示从其自身FOV反射回来的光。由此针对每个单独的照明闪光获得的同步时间轨迹集提供了受试者用户或对象的另一特征，该集合可用于增强对象的辨别或识别。
在其他例子中，其中发光二极管或VCSEL对其驱动信号具有干净且可预测的响应(即不表现出振铃或其他不可预测的伪影)，则可能没有必要包括参考信道组件，或进行上面例子中描述的参考标准化步骤。在可能的情况下排除这些特征将导致更简单且因此成本更低的实施。
在一些例子中，装置可包括用于实现/执行本文所述的任何一种方法的装置。
还必须注意，本文概述的所有规范、尺寸和关系(例如，处理器的数量、逻辑操作等)仅出于示例和教导的目的而提供。在不脱离本公开的精神或所附权利要求(如果有的话)或本文描述的示例的范围的情况下，可以显着地改变这样的信息。该说明书仅适用于一个非限制性示例，因此，它们应被解释为如此。在前面的描述中，已经参考特定处理器和/或组件布置描述了示例实施例。在不脱离所附权利要求(如果有的话)或本文所述的示例的范围的情况下，可以对这些实施例进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的。
注意，利用本文提供的众多示例，可以根据两个、三个、四个或更多个电子组件或部件来描述交互。然而，这仅出于清楚和示例的目的而进行。应该理解，系统可以以任何合适的方式合并。沿着类似的设计备选方案，图中所示的任何组件、模块、块和元件可以以各种可能的配置组合，所有这些配置都明显在本说明书的广泛范围内。在某些情况下，仅通过参考有限数量的电气元件来描述给定流程集的一个或多个功能可能更容易。应当理解，图及其教导的电路易于扩展，并且可以容纳大量部件，以及更复杂/复杂的布置和配置。因此，所提供的示例不应限制范围或抑制可能应用于无数其他架构的电路的广泛教导。
注意，在本说明书中，对“一个实施例”、“示例实施例”、“实施例”、“另一个实施例”、“一些实施例”、“各种实施例”、“其他实施例”、“替代实施例”等中包括的各种特征(例如，元件、结构、模块、组件、步骤、操作、特性等)的引用旨在表示任何这样的特征包括在本公开的一个或多个实施例中，但是可以或可以不必在相同的实施例中组合。同样重要的是要注意，这里描述的功能仅示出了可以由附图中所示的系统/电路执行或在其内执行的一些可能功能。在适当的情况下可以删除或移除这些操作中的一些，或者可以在不脱离本公开的范围的情况下显着地修改或改变这些操作。此外，这些操作的时间可能会大大改变。出于示例和讨论的目的提供了前述操作流程。本文描述的实施例提供了实质的灵活性，因为可以提供任何合适的布置、时间顺序、配置和定时机制而不脱离本公开的教导。本领域技术人员可以确定许多其他改变、替换、变化、替代和修改，并且本公开旨在涵盖落入所附权利要求(如果有的话)或本文描述的示例的范围内的所有这样的改变、替换、变化、替代和修改。注意，上述装置的所有可选特征也可以关于本文描述的方法或过程来实现，并且示例中的细节可以在一个或多个实施例中的任何地方使用。
可以对上述实施例进行各种进一步的修改，无论是通过添加、删除还是替换，以提供进一步的实施例，其任何和所有实施例均旨在由所附权利要求书涵盖。
这里的权利要求已经以适合于在USPTO提交的单一依赖格式呈现，但是应该理解，出于允许多次从属权利要求的那些管辖区的目的，每个权利要求可以取决于相同类型的任何前述权利要求，除非这显然在技术上是不可行的。

Claims (20)

1.用于检测对象的传感器，所述传感器包括：
光源，布置为发出光脉冲以照射所述对象的面部；
光电探测器，布置为检测来自所述对象的面部反射的光脉冲的光，以产生代表所述对象的面部属性的基于一维时间的反射信号；和
处理器，布置为接收代表所述基于一维时间的反射信号的信号，并根据其产生所述对象的基于时间的反射签名。
2.根据权利要求1所述的传感器，并且进一步包括识别处理器，布置为接收所述基于时间的反射签名，并根据所述基于时间的反射签名来识别所述对象。
3.根据权利要求2所述的传感器，其中所述识别处理器利用机器学习技术以基于所述基于时间的反射签名来识别所述对象。
4.根据权利要求3所述的传感器，其中所述机器学习技术包括下列至少一种：
a)主成分分析；和/或
b)一个或多个神经网络。
5.根据权利要求1所述的传感器，并且进一步包括参考信道组件，布置为直接从所述光源接收所述光脉冲的至少一部分以提供参考信号，所述处理器还被布置为根据所述参考信号对所述基于一维时间的反射信号进行归一化以解释在所述光脉冲中不需要的特性。
6.根据权利要求2所述的传感器，并且进一步包括基于二维空间的识别系统，布置为捕获所述对象的面部的二维图像并且根据其进行对象的识别，所述识别处理器使用所述二维图像和所述基于一维时间的反射信号产生表示根据所述对象的识别来成功识别所述对象的输出信号。
7.根据权利要求1所述的传感器，其中所述对象是人受试者，并且所述对象的面部是人受试者的面部。
8.根据权利要求2所述的传感器，其中所述识别处理器存储对象-特定的基于一维时间的信号轨迹数据或相应的数学模板，基于时间的反射签名或相应的模板与其比较以识别所述对象。
9.根据权利要求8所述的传感器，其中所述对象-特定的基于一维时间的信号轨迹数据包括在训练阶段期间捕获的各个对象特定的基于时间的信号轨迹的各组样本，并且所述识别处理器在该组样本之间进行插值以重新创建对象特定的基于时间的信号轨迹来进行匹配。
10.根据权利要求5所述的传感器，其中所述光源具有振铃特性，并且所述参考信道组件包括布置为检测所述振铃特性的参考光电探测器，所述处理器还被布置为接收由所述参考光电探测器响应所述振铃特性产生的信号，并对所述基于一维时间的反射信号进行归一化以除去由所述振铃引起的伪影。
11.一种操作单像素传感器的方法，包括：
使用光脉冲照射对象；
在单像素传感器处检测来自所述对象反射的光脉冲的光，以获得代表从由所述光脉冲照射的对象的整个照射面反射的光的一维反射时间轨迹；
比较所述一维反射时间轨迹与从已知对象获得的一维反射时间轨迹的存储表示；和
根据比较识别或验证所述对象作为存储的时间轨迹与获得的一维反射时间轨迹匹配的对象。
12.根据权利要求11所述的方法，其中识别包括利用机器学习技术以基于获得的一维反射时间轨迹来识别所述对象。
13.根据权利要求12所述的方法，其中所述机器学习技术包括下列至少一种：
a)主成分分析；和/或
b)一个或多个神经网络。
14.根据权利要求11所述的方法，并且进一步包括直接从光源接收所述光脉冲的至少一部分以提供参考信号，并且根据所述参考信号对所述一维反射时间轨迹进行归一化以解释在所述光脉冲中不需要的特性。
15.根据权利要求14所述的方法，其中所述光脉冲具有振铃特性，该方法还包括检测所述振铃特性，并对所述一维反射时间轨迹进行归一化以除去由所述振铃引起的伪影。
16.根据权利要求11所述的方法，并且进一步包括捕获所述对象的整个照射面的二维图像并且根据其进行所述对象的识别，使用二维图像和所述一维反射时间轨迹根据所述对象的识别来成功识别所述对象。
17.根据权利要求11所述的方法，还包括存储对象-特定的基于一维时间的信号轨迹数据，所述一维反射时间轨迹与其比较以识别所述对象。
18.根据权利要求17所述的方法，其中所述对象-特定的基于一维时间的信号轨迹数据包括在训练阶段期间捕获的各个对象特定的基于时间的信号轨迹的各组样本，该方法还包括在该组样本之间进行插值以重新创建对象特定的基于时间的信号轨迹来进行匹配。
19.传感器系统，包括：
单像素传感器，布置为从照射脉冲中捕获与从受试者用户的面部反射的光相对应的一维反射轨迹；
二维图像传感器，布置为捕获受试者用户的面部的二维图像；和
一个或多个处理器，布置为根据捕获的二维图像和捕获的一维反射轨迹来验证受试者用户并控制装置，所述传感器系统形成所述装置的部件以根据所述验证来操作。
20.根据权利要求19所述的传感器系统，并且进一步包括多个单像素传感器，被布置成捕获对应于从所述受试者用户的面部反射的光的相应的一维反射轨迹，所述一个或多个处理器还被布置为根据相应的一维反射轨迹来验证所述受试者用户。
CN201910358001.6A 2018-05-03 2019-04-30 单像素传感器 Active CN110443106B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/970,539 2018-05-03
US15/970,539 US10691926B2 (en) 2018-05-03 2018-05-03 Single-pixel sensor

Publications (2)

Publication Number Publication Date
CN110443106A true CN110443106A (zh) 2019-11-12
CN110443106B CN110443106B (zh) 2023-11-17

Family

ID=68384232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358001.6A Active CN110443106B (zh) 2018-05-03 2019-04-30 单像素传感器

Country Status (4)

Country Link
US (1) US10691926B2 (zh)
JP (1) JP6864030B2 (zh)
KR (1) KR102635069B1 (zh)
CN (1) CN110443106B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570651A (zh) * 2024-07-31 2024-08-30 南京理工大学 跨波段细节驱动增强的单像素光谱成像方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154408A (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
US10726246B1 (en) * 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
US10947103B2 (en) 2019-06-24 2021-03-16 Accenture Global Solutions Limited Beverage dispensing machine for achieving target pours for different beverages
EP3869395A1 (en) 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification
WO2021231139A1 (en) * 2020-05-09 2021-11-18 The Regents Of The University Of California Machine vision using diffractive spectral encoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130237800A1 (en) * 2012-03-08 2013-09-12 Canon Kabushiki Kaisha Object information acquiring apparatus
US20160231420A1 (en) * 2013-10-22 2016-08-11 Flir Systems, Inc. System and method for detecting an object or recess on a surface
US20180068206A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757018B1 (en) 1998-12-18 2004-06-29 Agilent Technologies, Inc. CMOS image sensor with pixel level gain control
JP2002160395A (ja) 2000-11-22 2002-06-04 Fuji Photo Film Co Ltd 画像記録方法および装置
KR20020075960A (ko) 2002-05-20 2002-10-09 주식회사 코난테크놀로지 신경회로망을 이용한 얼굴 영역 검출 방법
US6803998B2 (en) * 2002-08-20 2004-10-12 Applied Materials, Inc. Ultra low cost position and status monitoring using fiber optic delay lines
JP4874593B2 (ja) * 2005-07-25 2012-02-15 コニカミノルタオプト株式会社 映像表示装置およびヘッドマウントディスプレイ
US8295610B1 (en) 2010-01-06 2012-10-23 Apple Inc. Feature scaling for face detection
US9407833B2 (en) * 2010-01-22 2016-08-02 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for recording an image using an optical diffuser
JP2012060411A (ja) 2010-09-09 2012-03-22 Hamamatsu Metrix Kk マルチバンド１次元ラインセンサカメラ
KR101251836B1 (ko) * 2011-09-02 2013-04-09 현대자동차주식회사 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법
JP5950296B2 (ja) * 2012-01-27 2016-07-13 国立研究開発法人産業技術総合研究所 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
US8884229B2 (en) 2012-02-22 2014-11-11 Excelitas Technologies Singapore Pte. Ltd. Passive infrared range finding proximity detector
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
US8958005B1 (en) 2012-08-30 2015-02-17 Google Inc. Single pixel camera
JP5867355B2 (ja) * 2012-10-02 2016-02-24 株式会社デンソー 状態監視装置及び状態監視プログラム
US9532071B2 (en) 2012-10-02 2016-12-27 Mitsuo Hayashi Resampling apparatus, method, and recording medium having resampling program recorded therein for digital image
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR101422549B1 (ko) 2012-11-13 2014-07-24 재단법인대구경북과학기술원 얼굴 인식 방법 및 그 시스템
US20150085136A1 (en) 2013-09-26 2015-03-26 Xerox Corporation Hybrid single-pixel camera switching mode for spatial and spot/area measurements
KR102249824B1 (ko) * 2014-02-24 2021-05-10 삼성전자주식회사 신체 정보 감지장치 및 이의 신체 정보 감지방법
KR101649891B1 (ko) * 2014-05-08 2016-08-23 한국원자력연구원 단일 센서기반 스테레오 방식 방사선 영상 장치 및 이를 이용한 고속 방사선 영상 획득 방법
KR101653228B1 (ko) 2014-05-15 2016-09-01 주식회사 뷰웍스 Ｔｄｉ 라인 이미지 센서
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
EP3158498A4 (en) * 2014-11-15 2017-08-16 Beijing Kuangshi Technology Co. Ltd. Face detection using machine learning
JP6700575B2 (ja) * 2015-09-25 2020-05-27 株式会社リコー 回路装置、光検出器、物体検出装置、センシング装置、移動体装置、光検出方法、及び物体検出方法
EP3301476B1 (en) * 2016-09-28 2023-03-15 STMicroelectronics (Research & Development) Limited Apparatus having a camera and a time of flight single photon avalanche diode based range detecting module for controlling the camera and corresponding method
DE102016014141A1 (de) * 2016-11-25 2017-05-18 Daimler Ag Sensoreinrichtung
US10810912B2 (en) * 2017-03-15 2020-10-20 Aether Inc. Face recognition triggered digital assistant and LED light ring for a smart mirror
US10621838B2 (en) * 2017-12-15 2020-04-14 Google Llc External video clip distribution with metadata from a smart-home environment
US10699126B2 (en) * 2018-01-09 2020-06-30 Qualcomm Incorporated Adaptive object detection and recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130237800A1 (en) * 2012-03-08 2013-09-12 Canon Kabushiki Kaisha Object information acquiring apparatus
US20160231420A1 (en) * 2013-10-22 2016-08-11 Flir Systems, Inc. System and method for detecting an object or recess on a surface
US20180068206A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570651A (zh) * 2024-07-31 2024-08-30 南京理工大学 跨波段细节驱动增强的单像素光谱成像方法

Also Published As

Publication number Publication date
KR20190127566A (ko) 2019-11-13
CN110443106B (zh) 2023-11-17
JP2019194587A (ja) 2019-11-07
KR102635069B1 (ko) 2024-02-07
US10691926B2 (en) 2020-06-23
JP6864030B2 (ja) 2021-04-21
US20190340418A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
CN110443106A (zh) 单像素传感器
KR102587193B1 (ko) 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
Wang et al. Near-and far-infrared imaging for vein pattern biometrics
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
Buciu et al. Biometrics systems and technologies: A survey
CN110046564B (zh) 一种多光谱活体指纹识别设备及识别方法
US20080107309A1 (en) Method and apparatus for biometric identification
US9430627B2 (en) Method and system for enforced biometric authentication
EP3673406B1 (en) Laser speckle analysis for biometric authentication
JP2000146538A (ja) ３次元物体識別装置
JP2008257553A (ja) 生体認証装置及び生体認証方法
JP2007516525A (ja) 顔面イメージ取得と識別の方法及びシステム
CN1509153A (zh) 使用光谱学的个体的生物测定识别或者验证的装置和方法
KR20110063679A (ko) 정맥 패턴 인식 기반 생체인증 시스템 및 그 방법
EP2148295A1 (en) Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure
JP2012508423A (ja) ビデオ赤外線網膜像スキャナ
KR102679397B1 (ko) 생체 인증 장치 및 생체 인증 방법
CN109661668A (zh) 用于虹膜识别的图像处理方法和系统
Matey et al. Iris recognition in less constrained environments
KR20170070754A (ko) 초광대역 레이더를 이용한 보안 시스템 및 그를 이용한 보안 서비스 제공 방법
Furman et al. Contactless fingerprint devices usability test
KR101994609B1 (ko) 개인 인증 장치
EP3564850A1 (en) Single-pixel sensor
Dronky et al. A review on iris liveness detection techniques
Janes et al. A low cost system for Dorsal hand vein patterns recognition using curvelets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant