CN116075847A - 固态成像装置和电子设备 - Google Patents
固态成像装置和电子设备 Download PDFInfo
- Publication number
- CN116075847A CN116075847A CN202180061770.5A CN202180061770A CN116075847A CN 116075847 A CN116075847 A CN 116075847A CN 202180061770 A CN202180061770 A CN 202180061770A CN 116075847 A CN116075847 A CN 116075847A
- Authority
- CN
- China
- Prior art keywords
- event
- solid
- state imaging
- imaging device
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1341—Sensing with light passing through the finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
- G06V40/145—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
[问题]实现更精确的认证。[解决方案]一种固态成像装置,设置有光接收单元和控制单元。光接收单元设置有用于基于阈值输出事件发生的事件驱动像素。控制单元控制光接收单元,使得为事件驱动像素设置第一阈值,并且如果已经检测到基于第一阈值的事件,则为事件驱动像素设置小于第一阈值的第二阈值。
Description
技术领域
本公开涉及固态成像装置和电子设备。
背景技术
目前,在电子设备的各种场景中使用指纹认证。该指纹传感器通过光接收元件获取指纹信息并由此实现认证。例如,在获取指纹信息时使用CMOS传感器。
然而,在使用CMOS传感器作为指纹传感器的情况下,暗处的性能、可能受到来自外部的光的影响的动态范围的狭窄、以及对移动对象的光接收性能等具有显著影响,并且需要对这些进行处理。
引用列表
专利文献
专利文献1:日本专利申请公开第2009-277054号。
专利文献2:国际公开第WO2018/012492号。
发明内容
本发明要解决的问题
在本公开的实施例中,提供了能够高精度认证的固态成像装置和电子设备。
问题的解决方案
根据实施例,固态成像装置包括光接收单元和控制单元。光接收单元包括基于阈值输出事件的发生的事件驱动像素。控制单元是控制光接收单元的控制单元,并且被配置为:为事件驱动像素设置第一阈值,以及在已经检测到基于第一阈值的事件的情况下,为事件驱动像素设置小于第一阈值的第二阈值。
在已经检测到基于第一阈值的事件的情况下,控制单元可以进一步在光接收单元中设置受关注区域(ROI);事件驱动像素检测ROI中的事件。
固态成像装置可以进一步包括信号处理单元,该信号处理单元被配置为处理事件驱动像素已经输出的信号。
信号处理单元可以通过对事件驱动像素已经输出的信号进行时间积分来生成认证图像。
固态成像装置可以进一步包括认证单元,该认证单元被配置为基于事件驱动像素已经输出的信号使用认证图像执行认证。
认证图像可以是指纹图像。
认证图像可以是静脉图像。
固态成像装置可以进一步包括光学系统,该光学系统被配置为使属于光接收单元的事件驱动像素中的每一个接收光。
光学系统可以包括针孔阵列。
光学系统可以包括微透镜阵列。
认证图像可以是指纹图像和静脉图像,并且事件驱动像素可以包括获取指纹图像的像素和获取静脉图像的像素。
获取指纹图像的像素和获取静脉图像的像素可以以方格图案布置。
光学系统可以将获取指纹图像的像素的焦点位置和获取静脉图像的像素的焦点位置调整为不同的位置。
电子设备可以包括根据上述任一种的固态成像装置。
电子设备可以进一步包括发光单元,该发光单元被配置为输出投影图像,并且光接收单元可以被设置为相对于对象比发光单元远。
附图说明
图1是示意性示出根据实施例的固态成像装置的示例的示图。
图2是示出根据实施例的固态成像装置的框图的位置示例的示图。
图3是示出根据实施例的认证装置的框图的示例的示图。
图4是示出由根据实施例的认证装置执行的处理的流程图。
图5是示出根据实施例的光接收单元的外观的示图。
图6是示出根据实施例的光接收单元的外观的示图。
图7是示出根据实施例的光接收单元的外观的示图。
图8是示出根据实施例的光接收单元的外观的示图。
图9是示出根据实施例的光接收单元的外观的示图。
图10是示意性地示出根据实施例的电子设备的示例的示图。
图11是示意性示出根据实施例的光学系统的示例的示图。
图12是示意性示出根据实施例的光学系统的示例的示图。
图13是示意性地示出根据实施例的电子设备的示例的示图。
图14是示意性地示出根据实施例的光学系统的示例的示图。
图15是示出根据实施例的光接收单元的框图的示例的示图。
图16是示出根据实施例的光接收单元的电路的位置示例的电路图。
具体实施方式
下面将参考附图描述本公开中的实施例。附图用于描述,在实际装置中的每个单元的部件的形状、尺寸或该尺寸与另一部件的尺寸的比率等不必如图所示。此外,以简化的方式描绘了附图,因此,除了附图中描绘的那些以外,需要安装的部件应适当地包括在单元中。
图1是示意性示出在包括根据实施例的成像装置的认证装置用作指纹认证传感器的情况下获取图像等的模块的示例的示图。认证装置10包括盖玻片12、光学系统14和光接收单元16作为信息获取部。
用户将他/她的手指放在认证装置10的盖玻片12上,从而识别指纹并且电子设备获取用于认证访问各个区域等的生物数据。
盖玻片12放置在认证装置10的光接收单元上方。认证装置10基于盖玻片12的一部分与手指接触的状况来获取用于各种认证(诸如指纹认证)的数据。
光学系统14被放置为使得从盖玻片12入射的光适当地进入包括在光接收单元16中的光接收像素。作为示例,光学系统14可以包括针孔或透镜。
光接收单元16包括光接收元件,并且光通过盖玻片12和光学系统14进入光接收单元16。光接收单元16包括事件驱动像素作为光接收元件。事件驱动像素被设置为异步检测入射光的亮度的变化并输出坐标和时间作为事件数据的传感器。通过使用事件驱动像素,可以高速、低延迟和高效率地获取信息。
当检测到亮度变化时,事件驱动像素输出具有亮度变化的像素的地址、发生变化的时间以及亮度变化的极性。该输出如上所述异步执行,因此,可以通过在时间方向上对来自事件驱动像素的输出进行积分来获取关于检测目标如何移动的信息。
因此,例如,在事件驱动像素已经获取指纹信息的情况下,通过对指纹信息(例如,图像或投影图像)进行时间积分,可以获取指纹信息。如稍后将描述的,所获取的信息不限于指纹信息,事件驱动像素可以获取其他信息,诸如可以用于认证的静脉信息。
通过使用事件驱动像素,即使在暗处的性能中(即,在手指被放置以覆盖要认证的像素的情况下),也可以精确地获取指纹等的信息。同时,如果暗处的灵敏度过度增强,则存在产生许多噪声的可能性。在本实施例中,在两个阶段设置阈值,从而针对移动的手指实现具有对暗处的性能的噪声抗扰性的认证。
图2是示出根据实施例的固态成像装置2的配置的框图。固态成像装置2包括光接收单元16、控制单元18、存储单元20、信号处理单元22、图像处理单元24和认证单元26。相应配置与后述的认证装置10的配置相同,并且因此将稍后描述。固态成像装置2基于所接收的光数据执行信号处理和图像处理,并且输出所获取的图像数据。
图3是示出根据实施例的认证装置10的配置的框图。认证装置10包括光接收单元16、控制单元18、存储单元20、信号处理单元22、图像处理单元24和认证单元26作为处理各种信号等的部件。即,认证装置10包括图2所示的固态成像装置2作为其配置的一部分。
光接收单元16是上述的光接收单元,并且包括事件驱动像素。
控制单元18基于来自信号处理单元22或图像处理单元24的信息控制光接收单元16。例如,针对光接收单元16的事件驱动像素中的每一个,控制单元18设置阈值,并且进一步设置受关注区域(ROI)。
在设置阈值的情况下,如果所接收的光的强度的变化超过阈值,则事件驱动像素检测事件的发生并输出信号。此外,在设置ROI的情况下,光接收单元16进行控制以使属于ROI的事件驱动像素检测所接收的光的强度。以这种方式,控制单元18控制光接收单元16中的事件驱动像素的行为。
存储单元20在其中存储各种处理所需的数据等。例如,存储个人认证所需的数据。此外,在通过硬件资源来具体实现通过软件进行的信息处理的情况下,认证装置10可以在其中存储与软件相关的程序等。在一些情况下,存储单元20可以被配置为设置在认证装置10的外部,即,不包括在认证装置10中。
信号处理单元22对光接收单元16输出的信号执行预定的信号处理。例如,信号处理单元22对光接收单元16的输出执行信号处理,从而将其转换为已经检测到运动的对象的图像信息等,并且输出该图像信息等。
图像处理单元24对由信号处理单元22转换的图像信息执行预定的图像处理。图像处理单元24例如执行去噪处理、各种滤波处理等,以将图像信息处理为适于认证单元26执行指纹等的认证的数据。
信号处理单元22和图像处理单元24可以将由光接收单元16获取的异步信息转换为同步数据。例如,信号处理单元22可以接收从光接收单元16输出的异步信号并且基于该异步信号获取图像信息。此外,作为另示例,信号处理单元22可以将异步信号顺序地输出至图像处理单元24,并且图像处理单元24可以获取适于认证的时间积分图像。
为了方便起见,信号处理单元22和图像处理单元24被描述为单独的单元,然而,信号处理单元22和图像处理单元24也可以被设置为一个信号处理单元。作为另一示例,对于每个处理,信号处理单元22和图像处理单元24可以不包括两个单元(电路),而是包括更精细分开的单元(电路)。信号处理单元22和/或图像处理单元24基于从事件驱动像素输出的信号生成认证图像。
认证单元26基于由图像处理单元24输出的图像信息(认证图像)和存储在存储单元20中的认证信息执行认证。如上所述,例如,图像处理单元24对所获取的信息进行时间积分,从而输出图像。在这种情况下,认证单元26通过将该图像与存储在存储单元20中的认证信息进行比较来执行认证。认证单元26通过任何印象方法执行认证,诸如使用特征点提取或神经网络模型的认证。
认证单元26将该认证的结果输出至外部。另一外部提供的电子设备基于该认证结果执行处理或允许处理。以这种方式,认证装置10基于通过事件驱动像素获取的图像来实现个人认证。
上述认证装置10的一些或所有相应单元可以各自由专用数字电路或模拟电路实现。在专用电路的情况下,上述认证装置10的一些或所有相应单元可以例如包括专用集成电路(ASIC)或现场可编程门阵列(FPGA)。此外,上述认证装置10的一些或所有相应单元可以由诸如中央处理单元(CPU)的通用处理电路来实现。
此外,在以上描述中,认证装置10通过包括固态成像装置2和认证单元26而构成,然而,不限于该配置。例如,固态成像装置2设置有认证单元26的配置可以被称为固态成像装置。
图4是示出由认证装置10执行的处理的流程图。随后,利用该图4描述由认证装置10执行的处理。
首先,光接收单元16的事件驱动像素设置有第一阈值,并且处于光接收单元16检测事件的待机状态(S100)。该第一阈值的设置可由控制单元18控制。例如,该第一阈值是用于检测手指已经放在盖玻片12上的状态的阈值。即,该第一阈值是用于检测在接收环境光的状态下通过放置手指等而被遮挡的这样的显著变化(高对比度变化)的阈值。
接下来,光接收单元16在上述待机状态下检测是否已经检测到事件(S102)。上述事件待机状态被维持直到已经检测到事件(S102:否)。
当已经检测到事件时(S102:是),接下来,控制单元18设置ROI(S104)。当设置ROI时,处理继续至光接收单元16使用属于ROI的事件驱动像素进行检测。换句话说,不属于ROI的事件驱动像素不执行事件的检测。以这种方式,从ROI内的像素改变为检测事件的模式。
例如,控制单元18可以将ROI设置在预定范围中。通过以这种方式预先确定设置ROI的范围,用户可以移动手指等以在ROI的位置执行认证。例如,可以在盖玻片12上适当地标记该位置。
作为另一示例,控制单元18可以确定在光接收单元16的哪个像素中已经发生事件,并且基于该像素的位置将ROI设置在适当的范围内。通过以这种方式基于已经检测到事件的位置设置ROI,当执行认证时,用户可以将手指等移动到存在光接收单元16的范围内的任意位置。
与该ROI的设置并行,光接收单元16的事件驱动像素被设置为具有第二阈值,并且进入待机状态,在待机状态下,在光接收单元16(更精确地,在光接收单元16的ROI内的事件驱动像素)中检测事件(S106)。该第二阈值的设置也可由控制单元18控制。该第二阈值是值至少小于第一阈值的阈值。通过检测具有小于第一阈值的第二阈值的事件,在具有较小亮度变化(低对比度变化)的像素中检测事件的发生。注意,这些步骤可以按相反的顺序执行。
然后,基于通过使用第二阈值执行控制而由光接收单元16获取的信号,信号处理单元22和图像处理单元24执行适当的信号处理和图像处理,并且认证单元26使用已经执行该适当处理的数据执行认证(S108)。
例如,通过从第一阈值改变到第二阈值,在ROI内发生噪声事件的概率增加。因此,信号处理单元22或图像处理单元24设置适当的积分时间,使得可以区分认证的对象和噪声。
参考附图描述以上每个步骤。在下面描述的附图中,填充的内部区域指示在事件检测(事件驱动)状态下的像素,而阴影区域指示在事件驱动关闭的状态下的像素。此外,认证装置10被描述为获取用于指纹认证的图像,然而,认证装置10可以类似地应用于获取其他信息的情况。
图5是示出上述S100中的待机状态的示图。包括在光接收单元16的光接收区域中的事件驱动像素用第一阈值等待事件的检测。例如,保持在等待某个种类的对象(诸如手指)被放在光接收区域上的状态。在该状态下,如上所述,检测高对比度事件。
图6是示出S104中的ROI的示图。虚线指示用户的手指,并且示出用第一阈值检测到事件的情况。虚线指示所设置的ROI。以这种方式,作为示例,在已经检测到手指的区域中设置可以适当地获取指纹信息的ROI。如上所述,当已经检测到事件时,还可以自动将预先设置的预定区域设置为ROI。
图7是示出S106中的事件检测待机状态的示图。如图7所示,属于除ROI之外的光接收区域的事件检测像素中的事件检测被置于停止状态。同时,用于属于ROI内的事件检测像素中的事件检测的阈值被设置为第二阈值,该第二阈值是小于第一阈值的阈值。通过以这种方式将阈值设置为第二阈值,如上所述,可以检测引起比第一阈值低的对比度亮度变化的事件。
图8是示出用第二阈值检测到事件的示例的示图。例如,与指纹信息一起,发生取决于低第二阈值的噪声事件。
图9是示出已经检测到在与图8中的时间不同的时间获取的事件的示例的示图。例如,在手指的位置移动的情况下,在与图8中的位置不同的位置处检测到指纹状事件,并且在不同的位置处发生噪声事件。
在跟踪检测到的事件时,信号处理单元22和/或图像处理单元24在时间方向上对事件进行积分。因此,可以抑制噪声的影响并且适当地获取指纹信息。
如上所述,根据本实施例,可以用第一阈值获取手指已放在盖玻片12上的信息,并设置ROI和第二阈值,并在噪声被抑制的情况下获取指纹信息。通过使用两个阈值并且以这种方式设置ROI,可以使用事件驱动像素获得指纹信息,并且无论同步信号如何,都可以获取该认证,并且因此可以实现高速和低延迟且可以降低用于去噪等的计算的高效率的认证。在两个阶段设置阈值,从而与在一个阶段确定用于事件检测的阈值的情况相比,可以获取更耐受噪声并且更适当地检测事件的发生的指纹信息等。
此外,使用事件驱动像素,因此可以以较小的运动模糊等的影响来获取移动手指的信息。即,可以认证手指,而不是手指静止在盖玻片12上用于认证,而是手指移动。此外,还可以基于事件驱动像素的特性来获取图像信息作为二值化信息,并且还可以省略这样的二值化处理等。
注意,在以上描述中,描述了包括认证单元26的认证装置,然而,也可以作为不包括认证单元26的固态成像装置来操作。在这种情况下,固态图像捕获装置基于上述相应操作来捕获并获取基于适当的区域和适当的亮度变化的图像。例如,所获取的图像可以存储在存储单元20中,或者可以输出至外部。以这种方式,可以设置为使用事件驱动像素作为固态成像装置进行操作的方面。
以上是对使用事件驱动像素的认证装置10的描述;随后,描述光学系统的一些实现示例。
图10是示出结合有认证装置10的电子设备1的示例的示图。除了作为认证装置10的盖玻片12、光学系统14和光接收单元16之外,电子设备1还包括发光单元28。
发光单元28例如设置在盖玻片12与光学系统14之间。该发光单元28可以进一步包括与光学系统14分开的用于发光的光学系统。盖玻片12不仅可以被设置为用于获取认证图像的光接收的盖玻片,而且可以用作用于将从发光元件发射的光适当地输出给用户的光发射的盖玻片。例如,发光单元28可以包括诸如有机发光二极管(OLED)或微型OLED的发光元件。如图所示,光接收单元16可以设置得比发光单元28更远。
该发光单元28例如用作输出投影图像、图像等的显示器。在这种情况下,例如,电子设备1可以是诸如智能电话、平板终端和膝上型计算机的终端装置。此外,认证装置10可以输出用于这些终端装置的访问的认证等的认证结果。
以这种方式,根据本公开所描述的方面,也可以将用于指纹等的认证装置10嵌入到各种移动终端和固定终端的显示器中。在这种情况下,也可以不用固定在显示器的预定点上的手指而是用手指在预定区域中移动来执行认证。例如,关于相对快速的运动(诸如滑动),高性能、高速和低延迟的认证可以通过事件驱动像素来实现。
在以上相应形式中,光学系统14可以例如包括微透镜阵列、透镜阵列等。作为另一示例,光学系统14可以被配置为不包括透镜(例如,包括针孔等)的形式。
图11是示出光学系统14包括针孔的示例的示图。例如,可以在光接收单元16的n×m个事件驱动像素上设置n×m个针孔30(针孔阵列)作为光学系统14。
如图所示,针孔30被设置在与像素的相应端点相距距离(dx1,dy1)、(dx2,dy2)、...、和(dxn,dym)的位置处。如图11所示,例如,可以被布置为满足dx1<dx2<...<dxn和dy1<dy2<...<dym。通过这样布置,可以进行控制,使得接收来自光接收单元16的外部的光。
事件驱动像素具有优异的暗处的性能,因此,可以减小针孔30的尺寸。通过以这种方式减小针孔30的尺寸,可以根据针孔30的位置更精确地实现光接收区域的调整。
图12是示出与图11中的针孔位置不同的针孔位置的示图。在图12中,通过具有满足dx1>dx2>...>dxn和dy1>dy2>...>dym的配置的这种配置,可以在光接收单元16的中间获取更精确的指纹图像。
图13是示出电子设备1捕获图像的位置的示例的示图。如上所述,本公开的内容不限于指纹认证。例如,认证装置10可根据手指静脉的位置来实现认证。在实现这种静脉认证的情况下,可以设置上述图11或图12所示的针孔的位置,使得在事件驱动像素中适当地获取从静脉位置反射和散射的光。例如,在静脉位于指纹位置上方2mm的情况下,针孔30可设置为聚焦在盖玻片12上方2mm的位置上。作为另一示例,可以将使其聚焦在盖玻片12上方2mm的位置上的微透镜阵列设置为光学系统14。2mm的距离作为示例给出,并且期望适当地设置距盖玻片12的距离。
图14是示出光学系统14的又一示例的示图。例如,光接收单元16可以包括获取指纹图像的像素和获取静脉图像的像素。在这种情况下,指纹图像获取像素和静脉图像获取像素可以以方格图案交替地布置。
此外,如图14所示,作为光学系统14,可在每个获取像素上设置使在存在指纹的表面上反射和散射的光到达事件驱动像素的针孔和使在存在静脉的表面上反射和散射的光到达事件驱动像素的针孔。例如,由斜线指示的部分是对应于静脉图像获取像素的针孔,并且以白色指示的部分是对应于指纹图像获取像素的针孔。
这些针孔的布置可以是图11和图12所示的布置。在这种情况下,对于与静脉图像和指纹图像相对应的相应像素,可以以不同的排列间距(诸如图11和图12中的dx1和dy1)设置针孔。如上所述,该针孔阵列可以被配置为获得根据微透镜阵列获取不同的深度的信息的相同的效果。
控制单元18可以将用于指纹的第二像素阈值和用于静脉的第二像素阈值设置为不同的阈值。
如上所述,对于光学系统14和光接收单元16,它们可具有各种配置。这些是作为示例给出的,并且它们不限于这些配置。
在上述所有形式中,事件驱动像素可基于阈值以高灵敏度检测所接收的光的亮度值的变化。通过该特性,如上所述,关于相对快速的运动(诸如滑动),可适当地执行认证。
在检测静脉的情况下,第一阈值和第二阈值可以被确定为使得可以从血流中检测事件的发生。例如,在静脉的情况下,手指可以是固定的;在这种情况下,为了获取足够小的亮度变化,相对于第二阈值,可以用小于用于指纹认证的第二阈值的第二阈值来执行第二阶段阈值的设置。
(光接收单元的实现示例)
举例描述在上述实施例中使用的光接收单元。注意,光接收单元16的形式不限于本形式,并且只要具有像素检测事件并且可以适当地获取与检测到事件的像素的坐标有关的信息的配置即可。
图15是示出光接收单元16的光接收像素的配置的示例的框图。光接收单元16包括光接收像素阵列160和仲裁器162。
光接收像素阵列160包括以多个阵列布置的事件驱动像素40。坐标的上述信息可被定义为该光接收像素阵列160内的事件驱动像素40的位置。
当已经从光接收像素阵列160内的事件驱动像素40中的每一个接收到请求信号时,仲裁器162将确认信号发送回事件驱动像素40。该仲裁器162可以例如包括沿着阵列中的像素的相应轴的多个仲裁器。例如,在附图中,可以包括对应于水平分量的坐标的x仲裁器和对应于垂直分量的坐标的y仲裁器。在这种情况下,事件驱动像素40通过连接在其自身与每个仲裁器之间的信号线,将指示已经检测到事件的信号作为请求信号输出到每个仲裁器。
事件驱动像素40包括事件检测单元400和传送单元410。
例如,事件检测单元400包括诸如光电二极管的光电转换元件。该光电二极管可以例如是能够获取光的强度而不管雪崩击穿的光电二极管。事件检测单元400操作为亮度变化检测单元,该亮度变化检测单元基于光电转换元件的输出检测由每个光电转换元件接收的光的强度(图像中的亮度)在正和负的每一个中改变多少。
传送单元410基于事件检测单元400的输出将请求信号输出至仲裁器162。基于该请求信号,仲裁器162向对应的事件驱动像素40的传送单元410发送确认信号,并且将来自传送单元410的信息传送通知给信号处理单元22。
接收到确认信号的转送单元410将指示自身的坐标的数据、已经检测到事件的时间以及事件的极性(亮度变化是正还是负)输出到信号处理单元22。与向该信号处理单元22输出一起,传送单元410向事件检测单元400输出复位事件检测单元400的光接收元件的信号。
以这种方式,当在事件驱动像素40中检测到事件时,光接收单元16将检测到事件的像素的坐标、时间和亮度变化的极性的信息输出到信号处理单元22。输出到信号处理单元22之后的处理如上所述。
图16是示出事件检测单元400的示例的电路图。事件检测单元400包括对数响应输出电路402、差分电压检测电路404和比较器406。对数响应输出电路402被设置为所谓的光接收像素的一部分,并且将从光接收元件输出的信号转换为对数并且输出该对数。差分电压检测电路404和比较器406一起用作亮度变化检测器。例如,基于从光接收像素输出的信号,该亮度变化检测器输出等于或大于预定量的由光接收元件接收的光的亮度变化以及正极性或负极性。
对数响应输出电路402包括作为光电转换元件的光电二极管PD和晶体管M1、M2和M3。
当光进入时,光电二极管PD通过光电转换生成电流并且输出该电流。如上所述,作为非限制性示例,该光电二极管PD可以是不使用雪崩击穿的光电二极管。光电二极管PD的阳极接地。
晶体管M1、M2、M3包括将从光电二极管PD输出的电流转换为对数转换后的电压的电路。
晶体管M1例如是n型MOSFET,其漏极连接到电源电压端,并且其源极连接到光电二极管PD的阴极。
晶体管M2例如是p型MOSFET,其源极连接到电源电压端子,其漏极连接到晶体管M1的栅极,并且预定偏置电压Vb施加到其栅极。
晶体管M3例如是n型MOSFET,其漏极连接到晶体管M2的漏极,其源极接地,并且其栅极连接到光电二极管PD的阴极。
对数响应输出电路402将晶体管M2的漏极与晶体管M3的漏极之间的连接点处的电压输出到差分电压检测电路404。通过控制偏置电压Vb,可以控制是否输出在像素中接收的光的信号。通过控制单元18控制偏置电压Vb来实现ROI的上述设置。
差分电压检测电路404包括电容器C1和C2、晶体管M4、开关SW和电流源I。差分电压检测电路404获取对数响应输出电路402的输出与参考电压之间的差分,并输出该差分。
电容器C1的一个端子连接到对数响应输出电路402的输出端。电容器C2的一端连接到电容器C1的另一端。差分电压检测电路404通过电容器C2的另一端输出与所获取的与基准电压的差分对应的电压。
晶体管M4例如是p型MOSFET,其源极连接电源电压端,并且其漏极连接电容器C2的另一端。
电流源I连接在晶体管M4的漏极与接地点之间,并且使预定电流从晶体管M4的漏极和电容器C2的另一端流到接地点。在上述配置中,该晶体管M4和该电流源I操作为基于施加到晶体管M4的栅极的电压生成反转电压并从晶体管M4的漏极输出反转电压的电路。
对应于通过电容器C1输入到差分电压检测电路404的电压与参考电压的差分的电压施加到晶体管M4的栅极。
开关SW连接到上述传送单元410,并且基于来自传送单元410的复位信号在接通与断开之间切换。当输入复位信号时,开关SW接通,以复位存储在电容器C2中的电荷。通过该复位操作,差分电压检测电路404的输出被复位为初始值。因此,从传送单元410输入复位信号,从而事件检测单元400基于从输入复位信号的定时开始的该定时的亮度来执行事件检测。
比较器406包括晶体管M5、M6、M7和M8。晶体管M5和M6的驱动端子连接到比较器406的输入端,并且比较器406从与晶体管M5和M6的连接点以及与晶体管M7和M8的连接点执行输出。
晶体管M5例如是p型MOSFET,其栅极连接到差分电压检测电路404的输出端,并且其源极连接到电源电压端子。
晶体管M6例如是n型MOSFET,其漏极连接到晶体管M5的漏极,其源极接地,并且预定的偏置电压Vh被施加到其栅极。如上所述,晶体管M5和M6的漏极连接到传输单元410并且执行输出。
预定的偏置电压Vh是指示正侧阈值的电压。在差分电压检测电路404的输出(即,对应于每单位时间接收的光的强度的变化量的电压)高于Vh的情况下,从接通(On)端子输出电流。
晶体管M7例如是p型MOSFET,其栅极连接到差分电压检测电路404的输出端,并且其源极连接到电源电压端子。
晶体管M8例如是n型MOSFET,其漏极连接到晶体管M7的漏极,其源极接地,并且预定的偏置电压Vl被施加到其栅极。如上所述,晶体管M7和M8的漏极连接到传输单元410并且执行输出。
预定的偏置电压Vl是指示负侧阈值的电压。在差分电压检测电路404的输出(即,对应于每单位时间接收的光的强度的变化量的电压)低于Vl的情况下,从断开(Off)端子输出电流。
以这种方式,在施加以Vh和Vl作为阈值的电压的情况下,比较器406输出对应于电压的电流。
在上述实施例中,在改变阈值电压的情况下,可以通过控制单元18控制偏置电压来实现。
上述实施例可以具有以下形式。
(1)
一种固态成像装置,包括:
光接收单元,包括基于阈值输出事件的发生的事件驱动像素;以及
控制单元,控制光接收单元,该控制单元被配置为:
为事件驱动像素设置第一阈值,以及
在已经检测到基于第一阈值的事件的情况下,为事件驱动像素设置小于第一阈值的第二阈值。
(2)
根据(1)的固态成像装置,其中,
在已经检测到基于第一阈值的事件的情况下,控制单元进一步在光接收单元中设置受关注区域(ROI),事件驱动像素检测ROI中的事件。
(3)
根据(1)或(2)的固态成像装置,进一步包括:
信号处理单元,被配置为处理事件驱动像素已经输出的信号。
(4)
根据(3)的固态成像装置,其中,
信号处理单元通过对事件驱动像素已经输出的信号进行时间积分来生成认证图像。
(5)
根据(4)的固态成像装置,进一步包括:
认证单元,被配置为基于事件驱动像素已经输出的信号使用认证图像执行认证。
(6)
根据(4)的固态成像装置,其中,
认证图像是指纹图像。
(7)
根据(4)的固态成像装置,其中,
认证图像是静脉图像。
(8)
根据(1)至(7)的固态成像装置,进一步包括:
光学系统,被配置为使属于光接收单元的事件驱动像素中的每一个接收光。
(9)
根据(8)的固态成像装置,其中,
光学系统包括针孔阵列。
(10)
根据(8)的固态成像装置,其中,
光学系统包括微透镜阵列。
(11)
根据(9)或(10)的固态成像装置,其中,
认证图像是指纹图像和静脉图像,以及
事件驱动像素包括获取指纹图像的像素和获取静脉图像的像素。
(12)
根据(11)的固态成像装置,其中,获取指纹图像的像素和获取静脉图像的像素以方格图案布置。
(13)
根据(12)的固态成像装置,其中,
光学系统将获取指纹图像的像素的焦点位置和获取静脉图像的像素的焦点位置调整为不同的位置。
(14)
一种电子设备,包括:
根据(1)至(13)中任一项的固态成像装置。
(15)
根据(14)的电子设备,进一步包括:发光单元,被配置为输出投影图像,
其中,光接收单元被设置为相对于对象比发光单元更远。
本公开的各方面不限于上述实施例,而是包括各种可设想的变形,并且本公开的效果不限于上述内容。相应实施例中的部件可以适当地组合和应用。即,在不脱离从权利要求及其等同物中限定的内容获得的本公开的概念构思和含义的情况下,可以进行各种添加、改变和部分删除。
参考标记列表
1电子设备
2固态成像装置
10认证装置
12盖玻片
14光学系统
16光接收单元
18控制单元
20存储单元
22信号处理单元
24图像处理单元
26认证单元
28发光单元
30针孔
40事件驱动像素
400事件检测单元
410传送单元
402对数响应输出电路
404差分电压检测电路
406比较器
M1、M2、M3、M4、M5、M6、M7、M8晶体管
PD光电二极管
C1、C2电容器
SW开关
I电流源。
Claims (15)
1.一种固态成像装置,包括:
光接收单元,包括基于阈值输出事件的发生的事件驱动像素;以及
控制单元,控制所述光接收单元,所述控制单元被配置为:
为所述事件驱动像素设置第一阈值,以及
在已经检测到基于所述第一阈值的事件的情况下,为所述事件驱动像素设置小于所述第一阈值的第二阈值。
2.根据权利要求1所述的固态成像装置,其中,
在已经检测到基于所述第一阈值的事件的情况下,所述控制单元进一步在所述光接收单元中设置受关注区域(ROI),所述事件驱动像素检测所述ROI中的事件。
3.根据权利要求1所述的固态成像装置,进一步包括:
信号处理单元,被配置为处理所述事件驱动像素已经输出的信号。
4.根据权利要求3所述的固态成像装置,其中,
所述信号处理单元通过对所述事件驱动像素已经输出的所述信号进行时间积分来生成认证图像。
5.根据权利要求4所述的固态成像装置,进一步包括:
认证单元,被配置为使用所述认证图像执行认证。
6.根据权利要求4所述的固态成像装置,其中,
所述认证图像是指纹图像。
7.根据权利要求4所述的固态成像装置,其中,
所述认证图像是静脉图像。
8.根据权利要求1所述的固态成像装置,进一步包括:
光学系统,被配置为使属于所述光接收单元的所述事件驱动像素中的每一个接收光。
9.根据权利要求8所述的固态成像装置,其中,
所述光学系统包括针孔阵列。
10.根据权利要求8所述的固态成像装置,其中,
所述光学系统包括微透镜阵列。
11.根据权利要求9所述的固态成像装置,其中,
通过对所述事件驱动像素已经输出的信号进行时间积分而获得的认证图像是指纹图像和静脉图像,以及
所述事件驱动像素包括获取所述指纹图像的像素和获取所述静脉图像的像素。
12.根据权利要求11所述的固态成像装置,其中,获取所述指纹图像的像素和获取所述静脉图像的像素以方格图案布置。
13.根据权利要求12所述的固态成像装置,其中,
所述光学系统将获取所述指纹图像的像素的焦点位置和获取所述静脉图像的像素的焦点位置调整为不同的位置。
14.一种电子设备,包括:
根据权利要求1所述的固态成像装置。
15.根据权利要求14所述的电子设备,进一步包括:发光单元,被配置为输出投影图像,
其中,所述光接收单元被设置为相对于对象比所述发光单元远。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154837 | 2020-09-15 | ||
JP2020-154837 | 2020-09-15 | ||
PCT/JP2021/032044 WO2022059481A1 (ja) | 2020-09-15 | 2021-09-01 | 固体撮像装置及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116075847A true CN116075847A (zh) | 2023-05-05 |
Family
ID=80775989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180061770.5A Pending CN116075847A (zh) | 2020-09-15 | 2021-09-01 | 固态成像装置和电子设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230336883A1 (zh) |
JP (1) | JPWO2022059481A1 (zh) |
CN (1) | CN116075847A (zh) |
DE (1) | DE112021004867T5 (zh) |
WO (1) | WO2022059481A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009277054A (ja) | 2008-05-15 | 2009-11-26 | Hitachi Maxell Ltd | 指静脈認証装置及び指静脈認証方法 |
US20190215473A1 (en) | 2016-07-13 | 2019-07-11 | Sony Corporation | Imaging apparatus, imaging device, and image processing apparatus |
JP2018186478A (ja) * | 2017-04-25 | 2018-11-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
JP2021044599A (ja) * | 2018-01-05 | 2021-03-18 | 株式会社ニコン | 検出装置およびセンサ |
JP2019134271A (ja) * | 2018-01-31 | 2019-08-08 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
JP2020088480A (ja) * | 2018-11-19 | 2020-06-04 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、および、撮像装置 |
-
2021
- 2021-09-01 CN CN202180061770.5A patent/CN116075847A/zh active Pending
- 2021-09-01 WO PCT/JP2021/032044 patent/WO2022059481A1/ja active Application Filing
- 2021-09-01 US US18/044,520 patent/US20230336883A1/en active Pending
- 2021-09-01 DE DE112021004867.8T patent/DE112021004867T5/de active Pending
- 2021-09-01 JP JP2022550445A patent/JPWO2022059481A1/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
DE112021004867T5 (de) | 2023-09-28 |
JPWO2022059481A1 (zh) | 2022-03-24 |
WO2022059481A1 (ja) | 2022-03-24 |
US20230336883A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI803506B (zh) | 像素及該像素的運作方法 | |
CN107346152B (zh) | 显示装置、显示屏以及终端 | |
CN108462844B (zh) | 用于像素合并和读出的方法和装置 | |
EP3563564B1 (en) | Dynamic vision sensor architecture | |
US10277827B2 (en) | Imaging apparatus and electronic apparatus | |
WO2021084833A1 (ja) | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 | |
US20040228508A1 (en) | Signal processing apparatus and controlling method | |
CN114127509A (zh) | 测距系统和电子设备 | |
CN109002218B (zh) | 一种显示面板及其驱动方法、显示装置 | |
CN115066886A (zh) | 传感器装置和读取方法 | |
WO2022254789A1 (ja) | 受信装置および送受信システム | |
JP6462189B2 (ja) | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 | |
US20220400213A1 (en) | Object recognition system and method of signal processing performed by object recognition system, and electronic apparatus | |
CN109584278B (zh) | 一种目标识别装置及方法 | |
US20190116329A1 (en) | Solid-state imaging device, signal processing method, and electronic device | |
CN116075847A (zh) | 固态成像装置和电子设备 | |
US10255687B2 (en) | Distance measurement system applicable to different reflecting surfaces and operating method thereof | |
CN114503544A (zh) | 人脸认证系统和电子设备 | |
JP5520562B2 (ja) | 立体形状測定システム及び立体形状測定方法 | |
US20210382175A1 (en) | Image sensing device and photographing device including the same | |
CN114035717B (zh) | 使用tof传感器的动作识别设备及其操作方法 | |
Oike et al. | Real-time and high-resolution 3D imaging system using light-section method and smart CMOS sensor | |
CN111476164A (zh) | 生物特征图像的采集装置及采集方法、智能设备 | |
US20200186739A1 (en) | Imaging device with switch circuit | |
US11928892B2 (en) | Motion recognition apparatus using ToF sensor and method for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |