CN114600116A - 对象识别系统、对象识别系统的信号处理方法、以及电子装置 - Google Patents

对象识别系统、对象识别系统的信号处理方法、以及电子装置 Download PDF

Info

Publication number
CN114600116A
CN114600116A CN202080074125.2A CN202080074125A CN114600116A CN 114600116 A CN114600116 A CN 114600116A CN 202080074125 A CN202080074125 A CN 202080074125A CN 114600116 A CN114600116 A CN 114600116A
Authority
CN
China
Prior art keywords
event
pixels
recognition system
object recognition
detection sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080074125.2A
Other languages
English (en)
Inventor
远藤健太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114600116A publication Critical patent/CN114600116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Input (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开的对象识别系统包括：光源部，利用具有预定图案的点光照射被检体；事件检测传感器，接收由被检体反射的具有预定图案的点光并且将像素的亮度变化超过预定阈值的情况检测为事件；以及信号处理部，当在事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了事件时，执行将该事件作为噪音去除的处理。

Description

对象识别系统、对象识别系统的信号处理方法、以及电子装置
技术领域
本公开涉及一种对象识别系统、对象识别系统的信号处理方法、以及电子装置。
背景技术
已经提出了使用动态投影仪和动态视觉相机的结构光方案的技术作为用于获取三维(3D)图像(关于对象的表面的深度的信息/深度信息)并且测量到被检体的距离的系统(例如，见专利文献1)。在结构光方案中，将具有预定图案的点光从动态投影仪投射到测量目标/被检体上并且通过基于动态视觉相机的成像结果对图案的失真程度进行分析而获取深度信息/距离信息。
上述专利文献1公开了这样一种技术，即，使用垂直腔表面发射激光器(VCSEL：Vertical Cavity Surface Emitting Laser)作为动态投影仪(即，光源部)，并且使用被称为动态视觉传感器(DVS)的事件检测传感器作为动态视觉相机，即，光接收部。事件检测传感器指检测对入射光进行光电转换的像素的亮度变化超过预定阈值作为事件。
现有技术文献
专利文献
专利文献1：US 2019/0045173 A1
发明内容
本发明要解决的问题
顺便提及，在诸如太阳处于背景中的情况下，例如，在强烈的照明光下，易于出现诸如闪光的缺陷。因此，可能由于闪光等而在指定区域或较宽区域中出现噪音。因此，作为噪音事件，需要去除从事件检测传感器输出并且应用于被检体的具有预定图案的点光所推导的事件信息之外的信息(即，从闪光等产生的噪音)的处理。
本公开的目标是提供一种使得可以去除由于在强烈的照明光下所出现的闪光等而产生的噪音并且减少后期信号处理的负担的对象识别系统与对象识别系统的信号处理方法、以及包括对象识别系统的电子装置。
问题的解决方案
本公开中的对象识别系统实现了上述目标，包括：
光源部，利用具有预定图案的点光照射被检体；
事件检测传感器，接收由被检体反射的具有预定图案的点光并且将像素的亮度变化超过预定阈值检测为事件；以及
信号处理器，在事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了事件的情况下，执行将该事件作为噪音去除的处理。
此外，本公开中的对象识别系统的信号处理方法实现了上述目标，对象识别系统包括：
光源部，利用具有预定图案的点光照射被检体；
事件检测传感器，接收由被检体反射的具有预定图案的点光并且将像素的亮度变化超过预定阈值检测为事件；
信号处理方法包括：
在对象识别系统的信号处理中，在事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了事件的情况下，执行将该事件作为噪音去除的处理。
进一步地，实现上述目标的本公开的电子装置包括具有上述配置的对象识别系统。
附图说明
图1A是示出应用根据本公开的技术的对象识别系统的系统配置的示例的示意图，并且图1B是示出对象识别系统的电路配置的示例的框图。
图2A是示出本公开的对象识别系统中的垂直腔表面发射激光器的光源的阵列点布置的图，并且图2B是示出与阵列点布置相反的随机点布置的图。
图3是示出根据应用根据本公开的技术的对象识别系统的第一配置例的事件检测传感器的配置的示例的框图。
图4是示出根据第一配置例的事件检测传感器中的像素阵列部的配置的示例的框图。
图5是示出根据第一配置例的事件检测传感器中的像素的电路配置的示例的电路图。
图6是示出根据第一配置例的事件检测传感器中的地址事件检测器的第一配置例的框图。
图7是示出根据第一配置例的地址事件检测器中的电流-电压转换器的配置的示例的电路图。
图8是示出根据第一配置例的地址事件检测器中的减法器与量化器的配置的示例的电路图。
图9是示出根据第一配置例的事件检测传感器中的地址事件检测器的第二配置例的框图。
图10是示出根据应用根据本公开的技术的对象识别系统的第二配置例的事件检测传感器的配置的示例的框图。
图11是对象识别系统中的事件检测传感器的堆叠式芯片结构的轮廓的分解立体图。
图12是示出用于实现根据示例1的信号处理的电路配置的示例的框图，并且示出了其中将行方向上的五个连续像素视为检测噪音事件的单元的配置。
图13是示出将列方向上的五个连续像素视为检测噪音事件的单元的配置的框图。
图14是示出其中将对角线方向上的五个连续像素视为检测噪音事件的单元的配置的框图。
图15A是示意性地示出在太阳处于背景中的情况下由于闪光等而产生的噪音事件N1至N3的图，并且图15B是示出本公开的对象识别系统的信号处理方法的示例的流程图。
图16是示意性地示出诸如传感器噪音的极小噪音事件N11与基于由面部后面的背景反射的光斑的较大尺寸的噪音事件N12的图。
图17A是用于实现根据示例3的信号处理的信号处理器的功能框图，并且图17B是示出进入事件检测传感器的点光的尺寸之差与到被检体的距离之差的概念图。
图18是示出根据示例4的信号处理的示例的流程图。
图19是作为从正面观看时的本公开的电子装置的示例的智能手机的外部图。
具体实施方式
在下文中，将参考附图对用于完成本公开的技术的模式(以下被称为“实施方式”)进行详细描述。本公开中的技术并不局限于实施方式。在下列描述中，以相同的参考标号表示具有相同功能的一个或多个相同部件，并且省去冗余描述。应注意，按照下列顺序给出描述。
1.本公开中的对象识别系统和电子装置的整体描述
2.应用根据本公开的技术的对象识别系统
2-1.系统配置例
2-2.垂直腔表面发射激光器(VCSEL)
2-3.根据第一配置例的事件检测传感器(仲裁器系统)
2-3-1.像素阵列部的配置例
2-3-2.像素的电路配置例
2-3-3.地址事件检测器的第一示例
2-3-4.电流-电压转换器的配置例
2-3-5.减法器与量化器的配置例
2-3-6.地址事件检测器的第二配置例
2-4.根据第二配置例的事件检测传感器(扫描系统)
2-5.芯片结构的配置例
2-6.列处理器的配置例
2-7.关于噪音事件
3.根据本公开的实施方式的对象识别系统
3-1.示例1(将由于闪光等产生的噪音作为噪音事件去除的示例)
3-2.示例2(设置用于检测真事件的下限阈值和上限阈值的示例)
3-3.示例3(根据到被检体的距离来改变用于检测真事件的像素数量的下限阈值和上限阈值的示例)
3-4.示例4(在应用面部认证的情况下用于面部认证的处理示例)
4.变形例
5.应用例
6.本公开中的电子装置(智能手机的示例)
7.本公开中的可能配置
<本公开中的对象识别系统和电子装置的整体描述>
在本公开的对象识别系统和电子装置中，多个像素可以被配置为包括事件检测传感器的像素阵列部中的行方向、列方向、或对角线方向中的至少一个方向的一组连续像素。
在包括上述优选配置的本公开的对象识别系统和电子装置中，可以采用这样的配置，即，假设在事件检测传感器中，相互邻近的像素的第一数量是下限阈值并且大于像素的第一数量的相互邻近的像素的第二数量是上限阈值；在等于或大于像素的第一数量并且等于或小于像素的第二数量的各个相互邻近的像素在特定时段内检测发生事件的情况下，信号处理器读取事件作为从具有预定图案的点光所推导的事件信息。此外，在小于像素的第一数量的像素检测发生事件的情况下，信号处理器可以被配置为将事件作为噪音去除。
此外，在包括上述优选配置的本公开的对象识别系统和电子装置中，信号处理器可以被配置为根据到被检体的距离来改变像素数量的下限阈值(像素的第一数量)和上限阈值(像素的第二数量)中的每一者。此外，信号处理器可以被配置为具有测量到被检体的距离的距离测量功能并且通过该距离测量功能测量到被检体的距离、或可以被配置为利用近距离传感器测量到被检体的距离。
此外，在包括上述优选配置的本公开的对象识别系统和电子装置中，光源部被优选配置为包括表面发射半导体激光器，并且表面发射半导体激光器被优选配置为包括垂直腔表面发射激光器。
此外，在被检体是人的面部的情况下，包括上述优选配置的本公开的对象识别系统和电子装置可以被配置为用于面部认证。进一步地，可以采用这样的配置，即，在面部认证处理中，利用作为光源部的垂直腔表面发射激光器以及事件检测传感器在指定位置处执行面部检测，然后，对所检测的面部的特征执行识别处理，然后，对所识别的面部执行形状识别，并且最后，对已经识别了形状的面部执行认证处理。
<应用根据本公开的技术的对象识别系统>
应用根据本公开的技术的对象识别系统包括点光源组件、包括能够实现对点光源单元中的光发射/光不发射的控制的光源部与检测事件的事件检测传感器的组合、并且使用结构光方案的技术。进一步地，应用根据本公开的技术的对象识别系统具有获取三维(3D)图像的功能和测量到被检体的距离的功能。在结构光方案中，通过图案匹配识别点图像(点光)并且点光源从中投射点图像的坐标，由此获取三维图像。
应用根据本公开的技术的对象识别系统具有获取三维图像的功能并且因此可以被称为三维图像获取系统。应用根据本公开的技术的对象识别系统具有测量到被检体的距离的功能并且因此可以被称为距离测量系统。此外，例如，在其中被检体是人类面部的情况下，应用根据本公开的技术的对象识别系统还能够实现面部认证并且因此可以被称为面部认证系统。
[系统配置例]
图1A是示出应用根据本公开的技术的对象识别系统的系统配置的示例的示意图，并且图1B是示出对象识别系统的电路配置的示例的框图。
应用根据本公开的技术的对象识别系统1包括点光源组件并且使用表面发射半导体激光器(例如，垂直腔表面发射激光器(VCSEL：Vertical Cavity Surface EmittingLaser)10)作为利用具有预定图案的点光照射被检体的光源部、并且使用被称为动态视觉传感器(DVS)的事件检测传感器20作为光接收部。应注意，除垂直腔表面发射激光器(VCSEL)之外，利用具有预定图案的点光照射被检体的光源部的示例可以包括一般的边缘发射半导体激光器(LD)等。
垂直腔表面发射激光器10能够实现对点光源单元中的光发射/光不发射的控制、并且例如将具有预定图案的点光投射在被检体200上。事件检测传感器20具有红外(IR)灵敏度、并且接收由被检体200反射的点光、并且检测像素的亮度变化超过预定的阈值作为事件。事件检测传感器20是能够通过仅读取亮度发生变化的像素的信号来实现较高的速度、数据保存、以及较低的功耗的传感器。
除垂直腔表面发射激光器(VCSEL)10和事件检测传感器(DVS)20之外，应用根据本公开的技术的对象识别系统1包括系统控制器100、光源驱动部40、传感器控制器50、信号处理器60、光源侧光学系统70、以及相机侧光学系统80。后面对垂直腔表面发射激光器10和事件检测传感器20进行详细描述。
例如，系统控制器100包括处理器(CPU)并且通过光源驱动部40驱动垂直腔表面发射激光器10、并且通过传感器控制器50驱动事件检测传感器20。优选地，系统控制器100控制垂直腔表面发射激光器10与事件检测传感器20彼此同步地驱动。
[垂直腔表面发射激光器(VCSEL)]
给出垂直腔表面发射激光器10的点光源(点)11的布置的描述。如图2A中示出的，对于垂直腔表面发射激光器10的点光源11的布置，应用根据本公开的技术的对象识别系统1采用所谓的阵列点布置，在该阵列点布置中，点光源11以恒定的节距二维地布置成阵列形式(矩阵形式)。
在包括垂直腔表面发射激光器10和事件检测传感器20的组合的对象识别系统1中，通过依次开启垂直腔表面发射激光器10的点光源11并且参考由事件检测传感器20记录的事件的时间戳(即，指示发生事件的相对时间的时间信息(时态信息))可轻易地识别从哪一个点光源11投射图像。
此外，如图2B中示出的，在阵列点布置的情况下，可以将点光源11的数量增加到比所谓的随机点布置的情况下更多，所述随机点布置包括被不重复地布置成指定布置的点光源11并且在空间方向上具有一定特征；因此，存在可以提高通过点光源11的数量确定的距离图像的分辨率的优点。此处，“距离图像”指用于获取到被检体的距离信息的图像。
对于信息，在随机点布置的情况下，难以在维持点光源11的布置图案的特殊性的同时增加点光源11的数量；因此，无法提高通过点光源11的数量确定的距离图像的分辨率。然而，应用根据本公开的技术的对象识别系统1中的垂直腔表面发射激光器10的点光源11的布置并不局限于阵列点布置、并且可以是随机点布置。
垂直腔表面发射激光器10是能够在系统控制器100的控制下实现以点光源11为单位控制光发射/光不发射的表面发射光源。这使得垂直腔表面发射激光器10不仅可以利用光完全照射被检体，而且还可以通过点光源单元中的点照射、像素列单元中的行照射等利用具有所需图案的光局部地照射被检体。
对于信息，在结构光方案中，利用光从多个点光源11的不同角度照射被检体(距离测量对象)并且读取来自被检体的反射光，从而使得可以识别被检体的形状。
接着，给出检测像素的亮度变化超过预定阈值作为事件的事件检测传感器20的描述。
[根据第一配置例的事件检测传感器(仲裁器系统)]
图3是示出根据可用作对象识别系统1中的事件检测传感器20的第一配置例的事件检测传感器的配置的示例的框图。
如图3中示出的，根据第一配置例的事件检测传感器20是被称为DVS的异步事件检测传感器、并且被配置为包括像素阵列部21、驱动部22、仲裁器部(仲裁部)23、列处理器24、以及信号处理器25。
在具有上述配置的事件检测传感器20中，像素阵列部21包括二维地布置成矩阵形式(阵列形式)的多个像素30。垂直信号线VSL被布线至矩阵形式的像素布置中的每个像素列。
多个像素30各自生成与光电流相对应的电压的模拟信号作为像素信号。此外，多个像素30各自基于光电流的变化量是否超过预定阈值来检测地址事件的存在或缺少。一旦发生地址事件，像素30则向仲裁器部23输出请求。
驱动部22驱动多个像素30中的每个像素，以将由各个像素30生成的像素信号输出至列处理器24。
仲裁器部23对来自多个像素30中的每个像素的请求进行冲裁并且基于仲裁结果将响应发送至各个像素30。已经从仲裁器部23接收响应的像素30将指示检测结果的检测信号(地址事件检测信号)供应至驱动部22和信号处理器25。可通过从多行进行读取来执行从像素30读取检测信号。
例如，列处理器24包括模数转换器并且对像素阵列部21中的每个像素列执行处理，以将从列中的像素30输出的模拟像素信号转换成数字信号。然后，列处理器24将在模数转换之后获取的数字信号供应至信号处理器25。
信号处理器25对从列处理器24供应的数字信号执行诸如相关双采样(CDS)处理和图像识别处理的预定信号处理。然后，信号处理器25通过信号线14将指示处理结果的数据和从仲裁器部23供应的检测信号供应至记录部12(见图1)。
(像素阵列部的配置例)
图4是示出根据第一配置例的事件检测传感器20中的像素阵列部21的配置的示例的框图。
在包括二维地布置成矩阵形式的多个像素30的像素阵列部21中，多个像素30中的每个像素被配置为包括光接收部31、像素信号生成器32、以及地址事件检测器33。
在具有上述配置的像素30中，光接收部31对入射光进行光电转换，以生成光电流。然后，光接收部31根据驱动部22的控制将通过光电转换生成的光电流供应至像素信号生成器32和地址事件检测器33中的一个(见图3)。
像素信号生成器32生成与从光接收部31供应的光电流相对应的电压信号作为像素信号SIG并且通过垂直信号线VSL将所生成的像素信号SIG供应至列处理器24(见图3)。
地址事件检测器33基于来自各个光接收部31的光电流的变化量是否超过预定阈值来检测地址事件的存在或缺少。例如，地址事件包括指示光电流的变化量超过上限阈值的开启事件和指示变化量下降至下限阈值以下的关闭事件。此外，地址事件检测信号包括表示开启事件的检测结果的一个比特和表示关闭事件的检测结果的一个比特。应注意，地址事件检测器33还可以被配置为仅检测开启事件。
一旦发生地址事件，地址事件检测器33则将用于请求发送地址事件检测信号的请求供应至仲裁器部23(见图3)。然后，一旦收到对来自仲裁器部23的请求的响应，地址事件检测器33则将地址事件检测信号供应至驱动部22和信号处理器25。
(像素的电路配置例)
图5是示出根据第一配置例的事件检测传感器20中的像素30的电路配置的示例的电路图。如上所述，多个像素30中的每个像素被配置为包括光接收部31、像素信号生成器32、以及地址事件检测器33。
在具有上述配置的像素30中，光接收部31被配置为包括光接收元件(光电转换器)311、传输晶体管312、以及过流栅极(OFG)晶体管313。例如，作为传输晶体管312和OFG晶体管313，使用N型MOS(金属氧化物半导体)晶体管。传输晶体管312与OFG晶体管313彼此串联地耦接。
光接收元件311耦接在传输晶体管312与OFG晶体管313之间的共同耦接节点N1与地之间、并且对入射光进行光电转换，以生成具有与入射光的光量相对应的电荷量的电荷。
将传输信号TRG从图3中示出的驱动部22供应至传输晶体管312的栅电极。传输晶体管312响应于传输信号TRG，将通过光接收元件311中的经光电转换生成的电荷供应至像素信号生成器32。
将控制信号OFG从驱动部22供应至OFG晶体管313的栅电极。OFG晶体管313响应于控制信号OFG，将通过光接收元件311生成的电信号供应至地址事件检测器33。被供应至地址事件检测器33的电信号是包括电荷的光电流。
像素信号生成器32被配置为包括重置晶体管321、放大晶体管322、选择晶体管323、以及浮动扩散层324。例如，作为重置晶体管321、放大晶体管322、以及选择晶体管323，使用N型MOS晶体管。
由传输晶体管312将通过光接收元件311中的光电转换而生成的电荷从光接收部31供应至像素信号生成器32。将从光接收部31供应的电荷累积到浮动扩散层324中。浮动扩散层324生成电压值与所累积的电荷的量相对应的电压信号。即，浮动扩散层324将电荷转换成电压。
重置晶体管321耦接在电源电压VDD的电源线与浮动扩散层324之间。将重置信号RST从驱动部22供应至重置晶体管321的栅电极。重置晶体管321响应于重置信号RST，对浮动扩散层324的电荷量进行初始化(重置)。
放大晶体管322串联地耦接至在电源电压VDD的电源线与垂直信号线VSL之间的选择晶体管323。放大晶体管322对通过浮动扩散层324中的电荷-电压转换而生成的电压信号进行放大。
选择信号SEL从驱动部22供应至选择晶体管323的栅电极。选择晶体管323响应于选择信号SEL，将由放大晶体管322放大的电压信号作为像素信号SIG通过垂直信号线VSL输出至列处理器24(见图3)。
在根据包括包含具有上述配置的二维布置像素30的像素阵列部21的第一配置例的事件检测传感器20中，在由图1中示出的控制器13指示驱动部22开始检测地址事件的情况下，驱动部22将控制信号OFG供应至光接收部31的OFG晶体管313来驱动OFG晶体管313，由此致使OFG晶体管313将光电流供应至地址事件检测器33。
然后，在在特定的像素30中检测到地址事件的情况下，驱动部22关闭特定像素30的OFG晶体管313，以停止将光电流供应至地址事件检测器33。接着，驱动部22将传输信号TRG供应至传输晶体管312来驱动传输晶体管312，由此致使传输晶体管312将通过光接收元件311中的光电转换而生成的电荷转移至浮动扩散层324。
由此，根据包括包含具有上述配置的二维布置像素的像素阵列部21的第一配置例的事件检测传感器20仅将已经检测到地址事件的像素30的像素信号输出至列处理器24。与输出全部像素的像素信号的情况相比较，无论存在还是缺少地址事件，这都使得可以减少事件检测传感器20的功耗与图像处理的处理量。
应注意，此处所例证的像素30的配置仅是示例，并且像素30的配置并不局限于此。例如，可以采用不包括像素信号生成器32的像素配置。在该像素配置中，如果光接收部31不包括OFG发送器313并且传输晶体管312具有OFG晶体管313的功能，则足以。
(地址事件检测器的第一配置例)
图6是示出根据第一配置例的事件检测传感器20中的地址事件检测器33的第一配置例的框图。如图6中示出的，根据本配置例的地址事件检测器33被配置为包括电流-电压转换器331、缓冲器332、减法器333、量化器334、以及传输部335。
电流-电压转换器331将来自像素30的光接收部33的光电流转换成电压信号，即，光电流的对数。电流-电压转换器331将通过转换而获取的电压信号供应至缓冲器332。缓冲器332对从电流-电压转换器331供应的电压信号执行缓冲、并且将电压信号供应至减法器333。
将行驱动信号从驱动部22供应至减法器33。减法器33根据行驱动信号降低从缓冲器332供应的电压信号的电平。然后，减法器333将降低了电平的电压信号供应至量化器334。量化器334将从减法器333供应的电压信号量化成数字信号并且将数字信号作为地址事件检测信号输出至传输部335。
传输部335将从量化器334供应的地址事件检测信号转移至仲裁器部23等。传输部335在检测地址事件时将用于请求发送地址事件检测信号的请求供应至仲裁器部23。然后，一旦收到来自仲裁器部23的对请求的响应，传输部335则将地址事件检测信号供应至驱动部22和信号处理器25。
接着，给出地址事件检测器33中的电流-电压转换器331、减法器333、以及量化器334的配置例的描述。
(电流-电压转换器的配置例)
图7是示出根据第一配置例的地址事件检测器33中的电流-电压转换器331的配置的示例的电路图。如图7中示出的，根据本示例的电流-电压转换器331具有包括N型晶体管3311、P型晶体管3312、以及N型晶体管3313的电路配置。例如，作为这些晶体管3311至3313，使用MOS晶体管。
N型晶体管3311耦接在电源电压VDD的电源线与信号输入线3314之间。P型晶体管3312与N型晶体管3313在电源电压VDD的电源线与地之间串联地耦接至彼此。N型晶体管3311的栅电极和图6中示出的缓冲器332的输入端子耦接至P型晶体管3312与N型晶体管3313之间的共同耦接节点N2。
将预定偏置电压Vbias施加至P型晶体管3312的栅电极。这致使P型晶体管3312将恒定的电流供应至N型晶体管3313。通过信号输入线3314将光电流从光接收部31输入至N型晶体管3313的栅电极。
N型晶体管3311与N型晶体管3313的漏电极耦接在电源侧上，并且该电路被称为源极跟随器。通过在回路中耦接至彼此的这两个源极跟随器将来自光接收部31的光电流转换成电压信号，即，光电流的对数。
(减法器与量化器的配置例)
图8是示出根据第一配置例的地址事件检测器33中的减法器333和量化器334的配置的示例的电路图。
根据本示例的减法器333被配置为包括电容器元件3331、反相电路3332、电容器元件3333、以及开关元件3334。
电容器元件3331的一端耦接至图6中示出的缓冲器332的输出端子并且另一端耦接至反相电路3332的输入端子。电容器元件3333并联耦接至反相电路3332。开关元件3334耦接在电容器元件3333的两端之间。将行驱动信号作为开放/关闭控制信号从驱动部22供应至开关元件3334。开关元件3334根据行驱动信号而打开或关闭耦接电容器元件33333的两端的路径。反相电路3332使通过电容器元件3331输入的电压信号的极性反相。
在具有上述配置的加法器333中，在开启(关闭)开关元件3334的情况下，将电压信号Vinit输入至电容器元件3331中位于缓冲器332的一侧的端子，并且位于与端子相对的一侧的端子变成虚拟接地端子。出于方便之缘故，假设虚拟接地端子的电势是零。此时，由下列表达式(1)表示电容器元件3331中所累积的电荷Qinit，其中，C1是电容器元件3331的电容值。相反，电容器元件3333的两端发生短路；因此，其累积电荷是零。
Qinit＝C1×Vinit (1)
接着，在关闭(打开)开关元件3334并且电容器元件3331中位于缓冲器332的一侧的端子的电压变成Vafter的情况下，由下列表达式(2)表示电容器元件3331中所累积的电荷Qafter。
Qafter＝C1×Vafter (2)
相反，由下列表达式(3)表示电容器元件3333中所累积的电荷Q2，其中，C2是电容器元件3333的电容值并且Vout是输出电压。
Q2＝-C2×Vout (3)
此时，电容器元件3331与电容器元件3333的总电荷量不变；因此，下列表达式(4)成立。
Qinit＝Qafter+Q2 (4)
通过将表达式(1)至(3)替换成表达式(4)而获得下列表达式(5)。
Vout＝-(C1/C2)×(Vafter-Vinit) (5)
表达式(5)表示减去电压信号的操作，并且减法结果的增益是C1/C2。一般，希望使增益最大化；因此，优选为将C1设计得较大并且将C2设计得较小。相反，在C2太小的情况下，kTC噪音可能增加而使得噪音特征劣化；因此，C2的电容减少量局限于其中可接受噪音的范围。此外，将包括减法器333的地址事件检测器33安装在各个像素30上；因此，电容器元件3331与电容器元件3333的面积有限。基于这些事宜确定电容器元件3331和3333的电容值C1和C2。
在图8中，量化器334被配置为包括比较器3341。比较器3341接收反相电路3332的输出信号作为非反相(+)输入，即，来自减法器430的电压信号，并且接收预定的阈值电压Vth作为反相(-)输入。然后，比较器3341将来自减法器430的电压信号与预定的阈值电压Vth进行比较、并且将指示比较结果的信号作为地址事件检测信号输出至传输部335。
(地址事件检测器的第二配置例)
图9是示出根据第一配置例的事件检测传感器20中的地址事件检测器33的第二配置例的框图。如图9中示出的，除电流-电压转换器331、缓冲器332、减法器333、量化器334、以及传输部335之外，根据第二配置例的地址事件检测器33被配置为包括存储部336和控制器337。
存储部336设置在量化器334与传输部335之间、并且基于从控制器337供应的采样信号而累积量化器334的输出，即，比较器3341的比较结果。存储部336可以是诸如开关、塑料、以及电容器的采样电路、或可以是诸如锁存器和触发器的数字存储器电路。
控制器337将预定的阈值电压Vth供应至比较器3341的反相(-)输入端子。从控制器337供应至比较器3341的阈值电压Vth可以具有在时分方式上不同的电压值。例如，控制器337在不同的时刻供应与指示光电流的变化量超过上限阈值的开启事件相对应的阈值电压Vth1和与指示光电流的变化量下降至下限阈值以下的关闭事件相对应的阈值电压Vth2，这使得一个比较器3341可以检测多种类型的地址事件。
存储部336可以在将与关闭事件相对应的阈值电压Vth2从控制器337供应至比较器3341的反相(-)输入端子的时段内使用与开启事件对应的阈值电压Vth1累积比较器3341的比较结果。应注意，存储部336可以设置在像素30内、或可以设置在像素30之外。此外，存储部336不是地址事件检测器33的基本部件。即，可以不包括存储部336。
[根据第二配置例的事件检测传感器(扫描系统)]
根据上述第一配置例的事件检测传感器20是通过异步读取系统读取事件的异步事件检测传感器。然而，事件读取系统并不局限于异步读取系统、并且可以是同步读取系统。应用同步读取系统的事件检测传感器是与以预定的帧速率执行成像的一般成像设备相同的扫描系统事件检测传感器。
图10是示出根据第二配置例的事件检测传感器的配置的示例的框图，即，可用作应用根据本公开的技术的对象识别系统1中的事件检测传感器20的扫描系统事件检测传感器的配置。
如图10中示出的，根据第二配置例的事件检测传感器20被配置为包括像素阵列部21、驱动部22、信号处理器25、读取区域选择部27、以及信号生成器28。
像素阵列部21包括多个像素30。多个像素30各自响应于读取区域选择部27的选择信号而输出输出信号。例如，如图8中示出的，多个像素30中的每个像素可以被配置为将比较器包括在像素中。多个像素30各自输出与光的强度的变化量对应的输出信号。如图10中示出的，多个像素30可以二维地布置成矩阵。
驱动部22驱动多个像素30中的每个像素，以将由各个像素30生成的像素信号输出至信号处理器25。应注意，驱动部22和信号处理器25是用于获取灰度级信息的电路部分。相应地，在仅获取事件信息的情况下，可以不包括驱动部22和信号处理器25。
读取区域选择部27选择像素阵列部21所包括的多个像素30中的一些像素。具体地，读取区域选择部27响应于来自像素阵列部21中的每个像素30的请求而确定选择区域。例如，读取区域选择部27从与像素阵列部21相对应的二维矩阵配置所包括的行中选择一行或多行。读取区域选择部27根据预设的循环依次选择一行或多行。
信号生成器28基于选择像素的输出信号生成与有源像素相对应的事件信号，在有源像素中，在由读取区域选择部27选择的像素当中已经检测到了事件。该事件是指光的强度改变的事件。有源像素是指与输出信号相对应的光的强度的变化量超过预设阈值或下降至预设阈值以下的像素。例如，在输出信号大于或小于参考信号的情况下，信号生成器28将像素的输出信号与参考信号进行比较，以检测输出输出信号的有源像素，并且生成与有源像素相对应的事件信号。
例如，信号生成器28可以被配置为包括对进入信号生成器28的信号进行仲裁的列选择电路。此外，信号生成器28可以被配置为不仅输出已经检测到事件的有源像素的信息，而且还可以输出未检测到事件的无源像素的信息。
信号生成器28通过输出线15输出已经检测到事件的有源像素的地址信息以及时间戳信息(例如，(X,Y,T))。然而，从信号生成器28输出的数据不仅可以包括地址信息和时间戳信息，而且还可以包括帧格式信息(例如，(0、0、1、0、...))。
[芯片结构的配置例]
例如，作为根据上述第一配置例或第二配置例的事件检测传感器20的芯片(半导体集成电路)结构，可以采用堆叠式芯片结构。图11是事件检测传感器20的堆叠式芯片结构的概况的分解立体图。
如图11中示出的，堆叠式芯片结构，即，所谓的堆叠式结构指包括作为第一芯片的光接收芯片201和作为第二芯片的检测芯片202的至少两个芯片堆叠的结构。进一步地，在图5示出的像素30的电路配置中，各个光接收元件311设置在光接收芯片201上，并且除光接收元件311之外的全部元件、像素30的其他电路部分的元件等设置在检测芯片202上。光接收芯片201与检测芯片202通过诸如过孔(VIA)、Cu-Cu键合、以及凸块的耦接部而电耦接至彼此。
应注意，对光接收元件311设置在光接收芯片201上并且除光接收元件311之外的元件、像素30的其他电路部分的元件等设置在检测芯片202上的配置例进行了例证；然而，配置并不局限于此。
例如，在图5示出的像素30的电路配置中，可以采用这样的配置，即，其中，光接收部31中的各个元件设置在光接收芯片201上并且除光接收元件311之外的元件、像素30的其他电路部分的元件等设置在检测芯片202上。此外，可以采用这样的配置，即，像素信号生成器32中的光接收部31、重置晶体管321、以及浮动扩散层324中的每个元件设置在光接收芯片201上并且其他元件设置在检测芯片202上。进一步地，可以采用这样的配置，即，其中，地址事件检测器33中所包括的一些元件与光接收部31等中的各个元件一起设置在光接收芯片201上。
[关于噪音事件]
顺便提及，在结构光方案的对象识别系统1中，事件检测传感器20并不仅仅输出从具有预定图案的点光(以下可以被称为“点图案光”)所推导的事件信息(真事件)作为事件信息，利用点光从垂直腔表面发射激光器10照射被检体。
作为示例，在太阳下或在诸如事件地点和棒球球场的较高照明光下，往往出现诸如闪光的缺陷，并且闪光等可能致使在指定的区域或较宽的区域中产生噪音。相应地，在后一阶段，需要去除除从事件检测传感器输出并且从点图案光(利用点图案光从光源部照射被检体)推导的事件信息之外的信息的处理，即，从对后期信号处理施加负担的闪光等产生的噪音。
<根据本公开的实施方式的对象识别系统>
根据本公开的本实施方式的对象识别系统1能够去除除从点图案光(具有预定图案的点光)(利用点图案光从表面发射半导体激光器照射被检体，例如，作为光源部的垂直腔表面发射激光器10)推导的事件信息之外的信息，即，由于在强烈的照明光下出现闪光等而产生的噪音，并且减少后期信号处理的负担。
给出用于将在强烈的照明光下出现的闪光所产生的噪音作为噪音事件进行去除并且输出(读取)从点图案光(利用点图案光从垂直腔表面发射激光器10照射被检体)推导的事件信息(真事件)的本实施方式的具体示例的下列描述。
[示例1]
示例1是将由于在强烈的照明光下出现的闪光等产生的噪音作为噪音事件(假事件)进行去除的示例。在示例1中，在事件检测传感器20的像素阵列部21的情况下，等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生的事件，将该事件作为噪音事件(假事件)去除，并且读取利用从垂直腔表面发射激光器10照射被检体的点图案光推导出的事件信息作为真事件。
将根据示例1的信号处理作为图1B中示出的信号处理器60的一个信号处理而执行。相应地，信号处理器60具有将在强烈照明光下出现的闪光等所产生的噪音作为噪音事件进行去除的滤波功能。图12示出了用于实现根据示例1的信号处理的电路配置的示例。
如图12中示出的，在根据示例1的信号处理中，采用这样的配置，即，其中，将事件检测传感器20的像素阵列部21(即，矩阵形式的像素布置)的例如在行方向上五个连续像素视为一单元，其中，将在强烈照明光下出现的闪光等所产生的噪音检测为噪音事件，并且每个单元包括算术电路41。算术电路41在同一行的五个连续像素30中在特定时段内检测发生的事件。响应算术电路41的检测结果，信号处理器60执行将行方向上的五个连续像素中所发生的事件作为在强烈照明光下出现的闪光等所产生的噪音事件进行去除的处理。
应注意，此处，将一个像素行中的五个连续像素视为检测噪音事件的单元；然而，单元并不局限于五个像素，并且可以包括四个连续像素或六个或更多连续像素，或单元并不局限于一个像素行，并且可以是行方向上的多行中的一组连续像素。
此外，配置并不局限于这样的配置，即，在矩阵形式的像素布置中，将行方向上连续的像素视为单元，而是如图13中示出的，可以采用将列方向上连续的像素视为单元的配置。即使在这种情况下，连续像素的数量并不局限于五个像素，并且单元并不局限于一个像素列，并且可以是列方向上的多列中的一组连续像素。此外，如图14中示出的，可以采用将对角线方向上的一组连续的像素视为单元的配置。进一步地，可以采用将行方向、列方向、以及对角线方向上的一组连续像素视为单元的配置。即，在事件检测传感器20的像素阵列部21中，如果将行方向、列方向、或对角线方向中的至少一个方向上连续的一组像素视为单元，则足以。
如上所述，根据示例1的信号处理，可以去除在强烈照明光下出现的闪光等所产生的噪音事件并且读取利用其从垂直腔表面发射激光器10照射被检体的点图案光所推导的事件信息作为真事件，从而使得可以减少后期信号处理的负担。
图15A示意性地示出了在其中太阳处于背景中的情况下由于闪光等所产生的噪音事件N1至N3。可通过图12中示出的行方向上连续的一组像素检测在行方向上线性地发生的噪音事件N1。可通过图14中示出的对角线方向上连续的一组像素检测在对角线方向上线性地发生的噪音事件N2。可通过图13中示出的行方向上连续的一组像素检测在列方向上线性地发生的噪音事件N3。相应地，优选这样的配置，即，像素在行方向、列方向、以及对角线方向上是连续的，以检测在全部方向上线性地发生(线性形式)的噪音事件。
应注意，此处，由仅作为一个示例的硬件利用算术电路41确定事件信息是真还是假，并且该确定并不局限于使用算术电路41的信号处理的确定。例如，在特定时段的循环中，可以通过存储在特定时段内从事件检测传感器20的每个像素30输出的事件信息的软件而确定事件信息是真还是假。
图15B中的流程图示出了由软件执行的本公开的对象识别系统的信号处理方法的示例。在信号处理器60中，首先获取同一行中连续的五个像素30的输出(步骤S1)，并且然后，确定在特定时段内是否发生事件(步骤S2)。之后，在特定时段内发生了事件的情况下(在S2中，是)，将事件作为噪音事件去除(步骤S3)，并且在特定时段内未发生事件的情况下(在S2中，否)，将事件读取为从利用照射被检体的点图案光推导的事件信息(真事件)(步骤S4)。
此外，在根据示例1的信号处理中，假设线性地发生(线性形式)由于闪光等而产生的噪音事件N1至N3，并且采用这样的配置，即，在行方向、列方向、或对角线方向上线性地提供检测噪音事件的一组像素；然而，可以采用这样的配置，即，通过机器学习而学习由于闪光等而产生的噪音事件的形状，并且提供与学习结果对应的一组连续像素。
[示例2]
示例2是设置用于检测从利用其照射被检体的点图案光推导的真事件的下限阈值和上限阈值的示例。
噪音事件被视为在各个像素中独立地发生。相反，移动对象具有特定的尺寸。出于此原因，利用从垂直腔表面发射激光器10照射被检体的点图案光推导的事件信息在特定区域的像素中发生。
相应地，在示例2中，在事件检测传感器20中，将下限阈值和上限阈值设置为用于检测从利用照射被检体的点图案光推导的真事件的阈值。具体地，例如，假设到被检体的距离(即，被检体与事件检测传感器20之间的距离)是预定距离，则两个水平像素×两个垂直像素＝总共四个相互邻近的像素(像素的第一数量)是真事件检测的下限阈值。此外，例如，四个水平像素×四个垂直像素＝比像素的第一数量大的总共十六个相互邻近的像素(像素的第二数量)是真事件检测的上限阈值。
此处，例如，在假设使用根据本实施方式的对象识别系统1作为安装在智能手机上的面部认证系统的情况下，可以将智能手机与持有智能手机的人之间的平均距离例证为“预定距离”。
进一步地，在像素等于或大于下限阈值(像素的第一数量)并且等于或小于上限阈值(像素的第二数量)的情况下，例如，三个水平像素×三个垂直像素＝总共九个相互邻近的像素在特定时段内检测事件，将事件读取为从利用照射被检体的点图案光推导的事件信息，即，真事件。如图16中示出，除由于闪光等产生的线性噪音事件之外，噪音事件的示例可以包括由于传感器噪音等产生的极小噪音事件N11和基于由面部后面的背景所反射的光斑的大尺寸噪音事件N12。
例如，根据示例2的信号处理，设置用于检测从利用其照射被检体的点图案光所推导的真事件的下限阈值和上限阈值使得可以可靠地去除小于下限阈值、由于传感器噪音等产生的噪音事件N11以及大于上限阈值的噪音事件N12。进一步地，可以读取等于或大于下限阈值并且等于或小于上限阈值的事件信息作为从利用照射被检体的点图案光、推导的事件信息，即，真事件。
[示例3]
示例3是根据到被检体的距离(即，被检体与事件检测传感器20之间的距离)改变用于检测真事件的像素数量的下限阈值和上限阈值的示例。
根据本实施方式的对象识别系统1使用结构光方案的技术；因此，图1B中示出的信号处理器60具有测量到被检体的距离的功能。使用该距离测量功能使得可以测量被检体与事件检测传感器20之间的距离。
然而，被检体与事件检测传感器20之间的距离测量并不局限于使用信号处理器60的距离测量功能的测量，并且例如，还可以使用诸如飞行时间(ToF：time of flight oflight)的近距离传感器。
图17A示出了用于实现根据示例3的信号处理的信号处理器60的功能框图，并且图17B示出了示出进入事件检测传感器20的点光的尺寸(尺寸)之差与到被检体的距离之差的概念图。
由被检体反射利用从垂直腔表面发射激光器10照射被检体的点图案光，并且进入事件检测传感器20的点光的尺寸(size)随着到被检体的距离的减少而相对地变得更小并且随着到被检体的距离的增加而相对地变得更大。
如图17B中示出的，作为示例，在假设使用根据本实施方式的对象识别系统1作为安装在智能手机上的面部认证系统的情况下，由靠近智能手机的人面部所反射的光斑的尺寸相对较小，并且由面部后面的背景所反射的光斑的尺寸相对较大。由此，由利用进入事件检测传感器20的点图案光所照射的对象反射的光斑的尺寸根据从对象识别系统1至照射对象的距离而不同。
相反，例如，到被检体的距离，即，被检体与事件检测传感器20之间的距离并不局限于恒定的距离、并且根据使用智能手机的人而不同。相应地，在根据示例3的信号处理中，根据到被检体的距离而改变用于检测真事件的下限阈值和上限阈值。下限阈值与上限阈值可以是信号处理器60中进行滤波处理时的滤波器条件。
如图17A中示出的，用于执行根据示例3的信号处理的信号处理器60的功能部包括距离测量部61、滤波器条件设置部62、以及滤波处理器63。
距离测量部61包括对象识别系统1或诸如ToF传感器的近距离传感器的距离测量功能、并且测量到被检体的距离，即，被检体与事件检测传感器20之间的距离。
滤波器条件设置部62基于距离测量部61的测量结果检测滤波器条件作为真事件，即，从利用照射被检体的点图案光推导的事件信息，并且设置用于去除噪音事件的下限阈值和上限阈值。
滤波处理器63基于由滤波器条件设置部62设置的滤波器条件执行将从点图案光推导的事件信息读取为真事件的滤波处理并且去除作为噪音事件的其他信息。
如上所述，在根据示例3的信号处理中，根据到被检体的距离(即，被检体与事件检测传感器20之间的距离)来改变下限阈值和上限阈值。由此，即使改变到被检体的距离，也可以将从点图案光推导的事件信息可靠地读取为真事件并且可靠地去除作为噪音事件的其他信息。
应注意，此处，利用对象识别系统1或诸如ToF传感器的近距离传感器的距离测量功能测量到被检体的距离；然而，在对象识别系统1安装在智能手机上的情况下，可以在不直接测量距离的情况下通过人面部的平均尺寸而获知到面部的粗略距离。
由此，可以基于事件检测传感器20的输出来检测面部的形状并且基于面部的轮廓尺寸而设置滤波器条件。
[示例4]
例如，示例4是在对象识别系统1应用于面部认证的情况下用于面部认证的处理例。
图18是示出根据示例4的信号处理的示例的流程图，即，用于面部认证的处理。在其中由处理器实现图1B中示出的系统控制器100的功能的情况下，在系统控制器100中包括的处理器的控制下，在信号处理器60中执行该处理。
系统控制器100所包括的处理器(以下被简称为“处理器”)利用垂直腔表面发射激光器10和事件检测传感器20来执行指定位置处的对象检测，即，在该示例中，为人面部的检测(步骤S11)。
在该对象检测的处理中，人面部存在于射击范围内的有限区域中；因此，在垂直腔表面发射激光器10中，仅在像素阵列的指定区域中操作点光源11。响应于此，即使在事件检测传感器20中，也仅在像素阵列的指定区域中操作包括光接收元件311的像素30。
以这种方式局部操作垂直腔表面发射激光器10和事件检测传感器20使得可以在以低功耗进行对象检测时执行距离测量。应注意，可通过控制每个像素30的电源的开启/关闭来实现事件检测传感器20的低功耗操作。
例如，可通过使用利用三角测量方法测量到被检体的距离的已知三角测量系统实现利用垂直腔表面发射激光器10和事件检测传感器20的对象检测。
接着，处理器对通过对象检测而检测的面部的特征执行识别处理(步骤S12)。在该面部识别处理中，在垂直腔表面发射激光器10中，不执行局部照射，并且在广角区域中操作点光源11。相反，在事件检测传感器20中，在关注的指定区域中操作包括光接收元件311的像素30，即，关注(ROI，Region Of Interest)区域。然后，在面部识别处理中，在事件检测传感器20中，使用图5中示出的像素信号生成器32执行灰度级读取操作。该灰度级读取操作使得可以获取高清图像。
如上所述，在步骤S12的面部识别处理中，通过垂直腔表面发射激光器10的广角照射以及事件检测传感器20的灰度级读取操作获取由对象检测所检测的面部的高清图像。然后，基于高清图像提取面部等的特征点进行面部认证。
对于该面部识别，可以通过诸如神经网络的机器学习来使用图案识别技术，例如，通过将作为教师数据供应的面部的特征点与所捕捉的面部图像的特征点进行比较来执行识别处理的技术。
接着，处理器对所识别的面部执行形状识别(步骤S13)。在该形状识别处理中，通过使用结构光方案的距离测量系统来执行面部的形状识别。具体地，在能够实现对像素单元中的光发射/光不发射的控制的垂直腔表面发射激光器10中，利用具有时间序列图案的光通过点照射、线照射等而照射所识别的面部。
相反，在事件检测传感器20中，使用从图6或图9示出的地址事件检测器33输出的事件数据。事件数据包括时间戳(指示发生事件的相对时间的时间信息)。可以基于时间戳(时间信息)而指定事件的发生点。
如上所述，在步骤S13的形状识别处理中，通过使垂直腔表面发射激光器10与事件检测传感器20在时间序列、空间方向上高度准确地匹配来执行面部的形状识别，垂直腔表面发射激光器10能够实现对像素单元中的光发射/光不发射的控制，并且事件检测传感器20从时间戳(时间信息)中读取事件的发生点。
最后，处理器利用已知的面部认证技术对已经识别了形状的面部执行认证(步骤S14)。已知面部认证技术的示例可以包括这样的技术，即，通过提取所识别面部的面部图像的多个特征点并且使多个特征点与已经登记的特征点匹配而执行面部认证。
根据上述示例4的信号处理是用于对象识别系统1的面部认证的处理并且使用结构光方案的技术，对象识别系统1包括垂直腔表面发射激光器10与事件检测传感器20的组合。在该对象识别系统1中，可以去除噪音事件并且仅读取从利用其照射面部的点图案光所推导的事件信息。由此，根据示例4的信号处理，可以更可靠地执行面部认证处理。
<变形例>
尽管已经参考优选实施方式对本公开的技术进行了描述，然而，本公开的技术并不局限于实施方式。上面实施方式中所描述的对象识别系统的配置与结构是示出性的，并且可以进行适当地改造。
<应用例>
例如，上述本公开的对象识别系统可用作安装至具有面部认证功能的任意各种电子装置的面部认证系统。具有面部认证功能的电子装置的示例可以包括诸如智能手机、平板电脑、以及个人计算机的移动装置。
然而，能够使用本公开的对象识别系统作为面部认证系统的装置(系统)并不局限于移动装置，并且其示例可以包括除移动装置之外的通过面部认证而释放门锁的安全系统、汽车等。
<本公开的电子装置>
此处，能够使用本公开的对象识别系统的本公开的电子装置的示例是智能手机。图19示出了包括根据上述实施方式的对象识别系统作为从正面观看的面部认证系统的智能手机的外观图。
根据该示例的智能手机300包括位于壳体310的正面的显示部320。进一步地，包括根据上述实施方式的对象识别系统作为面部认证系统的智能手机300包括位于壳体310的正面的上部的发光部330和光接收部340。应注意，图19中示出的发光部330和光接收部340的设置示例仅是示例，并且发光部330和光接收部340的设置并不局限于此。
在作为具有上述配置的移动装置的示例的智能手机300中，可以使用上述对象识别系统1中的垂直腔表面发射激光器(VCSEL)10作为发光部330并且使用对象识别系统1中的事件检测传感器(DVS)20作为光接收部340。即，利用根据上述实施方式的对象识别系统1制造根据该示例的智能手机300作为具有面部认证功能的智能手机。
<本公开的可能配置>
应注意，本公开还可以具有下列配置。
《A.对象识别系统》
[A-1]一种对象识别系统，包括：
光源部，利用具有预定图案的点光照射被检体；
事件检测传感器，接收由被检体反射的具有预定图案的点光并且检测像素的亮度变化超过预定阈值作为事件；以及
信号处理器，在事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了事件的情况下，执行将事件作为噪音去除的处理。
[A-2]根据[A-1]所述的对象识别系统，其中，多个像素包括事件检测传感器的像素阵列部中在行方向、列方向、或对角线方向中的至少一个方向上连续的一组像素。
[A-3]根据[A-2]所述的对象识别系统，其中，
假设在事件检测传感器中，相互邻近的像素的第一数量是下限阈值并且大于像素的第一数量的相互邻近的像素的第二数量是上限阈值；
在等于或大于像素的第一数量并且等于或小于像素的第二数量的相互邻近的每一个像素在特定时段内检测到发生了事件的情况下，信号处理器读取事件，作为从具有预定图案的点光所推导的事件信息。
[A-4]根据[A-3]所述的对象识别系统，其中，在小于像素的第一数量的像素检测到发生了事件的情况下，信号处理器将事件作为噪音去除。
[A-5]根据[A-3]或[A-4]所述的对象识别系统，其中，信号处理器根据到被检体的距离来改变像素的数量的下限阈值和上限阈值中的每一者。
[A-6]根据[A-5]所述的对象识别系统，其中，信号处理器具有测量到被检体的距离的距离测量功能、并且通过该距离测量功能测量到被检体的距离。
[A-7]根据[A-5]所述的对象识别系统，其中，利用近距离传感器来测量到被检体的距离。
[A-8]根据[A-1]至[A-7]中任一项所述的对象识别系统，其中，光源部包括表面发射半导体激光器。
[A-9]根据[A-8]所述的对象识别系统，其中，表面发射半导体激光器包括垂直腔表面发射激光器。
[A-10]根据[A-1]至[A-9]中任一项所述的对象识别系统，其中，在被检体是人的面部的情况下，对象识别系统用于面部认证。
[A-11]根据[A-10]所述的对象识别系统，其中，在面部认证处理中，利用作为光源部的垂直腔表面发射激光器、和事件检测传感器来执行指定位置处的面部检测，然后，对所检测的面部的特征执行识别处理，然后，对所识别的面部执行形状识别，并且最后，对形状已被识别的面部执行认证处理。
《B.电子装置》
[B-1]一种设置有对象识别系统的电子装置，该对象识别系统包括：
光源部，利用具有预定图案的点光照射被检体；
事件检测传感器，接收由被检体反射的具有预定图案的点光并且将像素的亮度变化超过预定阈值检测为事件；以及
信号处理器，在事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了事件的情况下，执行将该事件作为噪音去除的处理，。
[B-2]根据[B-1]所述的电子装置，其中，多个像素包括事件检测传感器的像素阵列部中在行方向、列方向、或对角线方向中的至少一个方向上连续的一组像素。
[B-3]根据[B-2]所述的电子装置，其中，
假设在事件检测传感器中，相互邻近的像素的第一数量是下限阈值并且大于像素的第一数量的相互邻近的像素的第二数量是上限阈值；
在等于或大于像素的第一数量并且等于或小于像素的第二数量的相互邻近的每一个像素在特定时段内检测到发生了事件的情况下，信号处理器读取事件，作为从具有预定图案的点光推导的事件信息。
[B-4]根据[B-3]所述的电子装置，其中，在小于像素的第一数量的像素检测发生事件的情况下，信号处理器将事件作为噪音去除。
[B-5]根据[B-3]或[B-4]所述的电子装置，其中，信号处理器根据到被检体的距离来改变像素数量的下限阈值和上限阈值中的每一者。
[B-6]根据[B-5]所述的电子装置，其中，信号处理器具有测量到被检体的距离的距离测量功能、并且通过该距离测量功能测量到被检体的距离。
[B-7]根据[B-5]所述的电子装置，其中，利用近距离传感器来测量到被检体的距离。
[B-8]根据[B-1]至[B-7]中任一项所述的电子装置，其中，光源部包括表面发射半导体激光器。
[B-9]根据[B-8]所述的电子装置，其中，表面发射半导体激光器包括垂直腔表面发射激光器。
[B-10]根据[B-1]至[B-9]中任一项所述的电子装置，其中，在被检体是人的面部的情况下，对象识别系统用于面部认证。
[B-11]根据[B-10]所述的电子装置，其中，在面部认证处理中，利用作为光源部的垂直腔表面发射激光器、和事件检测传感器在指定位置处执行面部检测，然后，对所检测的面部的特征执行识别处理，然后，对所识别的面部执行形状识别，并且最后，对形状已被识别的面部执行认证处理。
参考标号列表
1：对象识别系统
10：垂直腔表面发射激光器(VCSEL)
11：点光源
20：事件检测传感器(DVS)
21：像素阵列部
22：驱动部
23：仲裁器部(仲裁部)
24：列处理器
25：信号处理器
30：像素
40：光源驱动部
50：传感器控制器
60：信号处理器
61：距离测量部
62：滤波器条件设置部
63：滤波处理器。

Claims (13)

1.一种对象识别系统，包括：
光源部，利用具有预定图案的点光照射被检体；
事件检测传感器，接收由所述被检体反射的具有所述预定图案的所述点光并且将像素的亮度变化超过预定阈值检测为事件；以及
信号处理器，在所述事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了所述事件的情况下，执行将所述事件作为噪音去除的处理。
2.根据权利要求1所述的对象识别系统，其中，所述多个像素包括所述事件检测传感器的所述像素阵列部中在行方向、列方向、以及对角线方向中的至少一个方向上连续的一组像素。
3.根据权利要求2所述的对象识别系统，其中，
假设在所述事件检测传感器中，相互邻近的像素的第一数量是下限阈值并且相互邻近的像素的第二数量是上限阈值，所述像素的第二数量大于所述像素的第一数量；
在等于或大于所述像素的第一数量并且等于或小于所述像素的第二数量的相互邻近的每一个像素在所述特定时段内检测到发生了所述事件的情况下，所述信号处理器读取所述事件，作为从具有所述预定图案的所述点光推导出的事件信息。
4.根据权利要求3所述的对象识别系统，其中，在小于所述像素的第一数量的像素检测到发生了所述事件的情况下，所述信号处理器将所述事件作为噪音去除。
5.根据权利要求3所述的对象识别系统，其中，所述信号处理器根据到所述被检体的距离来改变所述像素的数量的所述下限阈值和所述上限阈值中的每一者。
6.根据权利要求5所述的对象识别系统，其中，所述信号处理器具有测量到所述被检体的距离的距离测量功能、并且通过所述距离测量功能来测量到所述被检体的距离。
7.根据权利要求5所述的对象识别系统，其中，利用近距离传感器来测量到所述被检体的距离。
8.根据权利要求1所述的对象识别系统，其中，所述光源部包括表面发射半导体激光器。
9.根据权利要求8所述的对象识别系统，其中，所述表面发射半导体激光器包括垂直腔表面发射激光器。
10.根据权利要求1所述的对象识别系统，其中，在所述被检体是人的面部的情况下，所述对象识别系统用于面部认证。
11.根据权利要求10所述的对象识别系统，其中，在面部认证处理中，利用作为所述光源部的垂直腔表面发射激光器、和所述事件检测传感器来执行指定位置处的面部检测，然后，对所检测的面部的特征执行识别处理，然后，对所识别的面部执行形状识别，并且最后，对形状已被识别的面部执行认证处理。
12.一种对象识别系统的信号处理方法，所述对象识别系统包括：
光源部，利用具有预定图案的点光照射被检体；以及
事件检测传感器，接收由所述被检体反射的具有所述预定图案的所述点光并且将像素的亮度变化超过预定阈值检测为事件；
所述信号处理方法包括：
在所述对象识别系统的信号处理中，在所述事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了所述事件的情况下，执行将所述事件作为噪音去除的处理。
13.一种电子装置，设置有对象识别系统，所述对象识别系统包括：
光源部，利用具有预定图案的点光照射被检体；
事件检测传感器，接收由所述被检体反射的具有所述预定图案的所述点光并且将像素的亮度变化超过预定阈值检测为事件；以及
信号处理器，在所述事件检测传感器的像素阵列部中等于或大于预定的像素数量的连续的多个像素在特定时段内检测到发生了所述事件的情况下，执行将所述事件作为噪音去除的处理。
CN202080074125.2A 2019-10-30 2020-08-04 对象识别系统、对象识别系统的信号处理方法、以及电子装置 Pending CN114600116A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-197053 2019-10-30
JP2019197053 2019-10-30
PCT/JP2020/029804 WO2021084833A1 (ja) 2019-10-30 2020-08-04 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器

Publications (1)

Publication Number Publication Date
CN114600116A true CN114600116A (zh) 2022-06-07

Family

ID=75715062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080074125.2A Pending CN114600116A (zh) 2019-10-30 2020-08-04 对象识别系统、对象识别系统的信号处理方法、以及电子装置

Country Status (5)

Country Link
US (1) US11869273B2 (zh)
EP (1) EP4053500B1 (zh)
JP (1) JPWO2021084833A1 (zh)
CN (1) CN114600116A (zh)
WO (1) WO2021084833A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117479031A (zh) * 2023-12-22 2024-01-30 珠海燧景科技有限公司 一种事件传感器的像素排列结构及去噪方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021048554A (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
US20220196386A1 (en) * 2020-12-22 2022-06-23 Faro Technologies, Inc. Three-dimensional scanner with event camera
US11853473B2 (en) * 2021-08-18 2023-12-26 Meta Platforms Technologies, Llc Differential illumination for corneal glint detection
JPWO2023026880A1 (zh) * 2021-08-26 2023-03-02
WO2023112532A1 (ja) * 2021-12-15 2023-06-22 ソニーグループ株式会社 測定装置、測定方法、プログラム
WO2023189279A1 (ja) * 2022-03-29 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置および信号処理方法
WO2024070523A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165787A (ja) 2013-02-27 2014-09-08 Canon Inc 撮像装置およびその制御方法、プログラム、記憶媒体
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
WO2016109884A1 (en) * 2015-01-05 2016-07-14 Valorbec Limited Partnership Automated recommendation and virtualization systems and methods for e-commerce
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
US10242294B2 (en) * 2017-05-01 2019-03-26 Intel Corporation Target object classification using three-dimensional geometric filtering
US10516876B2 (en) * 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
JP2021044599A (ja) 2018-01-05 2021-03-18 株式会社ニコン 検出装置およびセンサ
WO2019145516A1 (en) * 2018-01-26 2019-08-01 Prophesee Method and apparatus of processing a signal from an event-based sensor
US20220129066A1 (en) * 2019-02-07 2022-04-28 Magic Leap, Inc. Lightweight and low power cross reality device with high temporal resolution
WO2021216479A1 (en) * 2020-04-22 2021-10-28 Apple Inc. Event sensor-based depth estimation
KR20220015964A (ko) * 2020-07-31 2022-02-08 삼성전자주식회사 시각적 주행 거리 측정 애플리케이션들을 위한 손실된 이미지 특징 복원을 위한 방법 및 시스템
US11843879B2 (en) * 2020-12-15 2023-12-12 Raytheon BBN Technologies, Corp. Systems, devices, and methods for pixel frequency filtering for an event camera
KR20230070091A (ko) * 2021-11-12 2023-05-22 삼성전자주식회사 다이나믹 비전 센서 시스템의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117479031A (zh) * 2023-12-22 2024-01-30 珠海燧景科技有限公司 一种事件传感器的像素排列结构及去噪方法

Also Published As

Publication number Publication date
US20220375256A1 (en) 2022-11-24
WO2021084833A1 (ja) 2021-05-06
EP4053500A1 (en) 2022-09-07
EP4053500A4 (en) 2022-12-28
EP4053500B1 (en) 2024-01-03
JPWO2021084833A1 (zh) 2021-05-06
US11869273B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
CN114600116A (zh) 对象识别系统、对象识别系统的信号处理方法、以及电子装置
JP6823815B2 (ja) 固体撮像装置、距離測定装置および距離測定方法
US9997551B2 (en) Spad array with pixel-level bias control
JP7451110B2 (ja) 測距システム及び電子機器
EP0702484B1 (en) Photoelectric converting apparatus
US20220291385A1 (en) Distance measurement system and electronic apparatus
WO2021084832A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US20050281440A1 (en) Iris feature detection and sensor-based edge detection
US20220253519A1 (en) Face authentication system and electronic apparatus
US20230154135A1 (en) Object recognition system and electronic apparatus
JP4306183B2 (ja) 固体撮像装置及びその駆動方法
WO2021157393A1 (ja) 測距装置および測距方法
JP2021050988A (ja) 測距装置及び電子機器
WO2021187127A1 (en) Imaging with ambient light subtraction
US11055548B1 (en) Motion sensor using temporal difference pixels and lift-up detection thereof
US20230209216A1 (en) Image sensor with in-pixel background subtraction and motion detection
WO2021106521A1 (ja) 光検出器、固体撮像装置、及び、距離測定装置
US20220247943A1 (en) Image sensor with in-pixel background subtraction and motion detection
WO2024002593A1 (en) Optoelectronic sensor for a time-of-flight measurement and method for a time-of-flight measurement
JP2021025810A (ja) 距離画像センサ、および距離画像測定装置
CN114930808A (zh) 固体摄像器件和摄像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination