CN115696076A - 成像降噪方法及成像装置、电子设备、存储介质 - Google Patents
成像降噪方法及成像装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN115696076A CN115696076A CN202211139449.7A CN202211139449A CN115696076A CN 115696076 A CN115696076 A CN 115696076A CN 202211139449 A CN202211139449 A CN 202211139449A CN 115696076 A CN115696076 A CN 115696076A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pulse
- determining
- counting
- spad
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请实施例提供了一种成像降噪方法及成像装置、电子设备、存储介质,成像装置包括由多个SPAD像素形成的像素阵列,该方法包括:确定成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定目标SPAD像素在像素阵列中的像素点分布信息;根据像素点分布信息,统计目标SPAD像素中位置不相邻的像素点的第一数量和目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;在像素阵列检测到光子并产生脉冲信号的情况下,对脉冲信号进行计数,得到脉冲计数数据;并利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
Description
技术领域
本申请涉及成像技术领域,尤其涉及一种成像降噪方法及成像装置、电子设备、存储介质。
背景技术
单光子雪崩二极管(Single Photon Avalanche Diode,SPAD)像素用于探测光子信息并对每个光子产生光子脉冲信号,通过对脉冲信号进行计数反映光强信息,从而能够对非常暗的场景进行成像;在利用SPAD像素进行单光子计数成像的过程中,1个光子能够对应百万电荷,使得光子增益能够达到106,同时提高成像的灵敏度,使得SPAD像素在成像领域有着非常大的影响。
由于SPAD像素存在暗计数噪声和串扰噪声,在利用SPAD像素进行单光子技术成像的过程中,暗计数噪声和串扰噪声会导致SPAD像素的光子计数值不准确,进而导致成像的准确性低的问题。
发明内容
本申请实施例提供一种成像降噪方法及成像装置、电子设备、存储介质,能够提高成像的准确性。
本申请的技术方案是这样实现的:
第一方面,本申请实施例提出一种成像降噪方法,应用于成像装置,所述成像装置包括由多个SPAD像素形成的像素阵列,所述方法包括:
确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定所述目标SPAD像素在所述像素阵列中的像素点分布信息;
根据所述像素点分布信息,统计所述目标SPAD像素中位置不相邻的像素点的第一数量和所述目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;
在所述像素阵列检测到光子并产生脉冲信号的情况下,对所述脉冲信号进行计数,得到脉冲计数数据;并利用所述第一数量和所述第二数量对所述脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
第二方面,本申请实施例提出一种成像装置,所述成像装置包括由多个SPAD像素形成的像素阵列,所述装置包括:
标定单元,用于确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;及用于确定所述目标SPAD像素在所述像素阵列中的像素点分布信息;
计数单元,用于根据所述像素点分布信息,统计所述目标SPAD像素中位置不相邻的像素点的第一数量和所述目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;
降噪单元,用于在所述像素阵列检测到光子并产生脉冲信号的情况下,对所述脉冲信号进行计数,得到脉冲计数数据;并利用所述第一数量和所述第二数量对所述脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
第三方面,本申请实施例提出一种成像装置,所述装置包括:由多个SPAD像素形成的像素阵列和处理器;所述像素阵列用于产生脉冲计数;所述处理器,用于从存储器中调用并运行计算机程序,使得安装有所述装置的电子设备执行上述成像降噪方法。
第四方面,本申请实施例提出一种电子设备,所述电子设备包括上述成像装置。
第五方面,本申请实施例提出一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述成像降噪方法。
本申请实施例提供了一种成像降噪方法及成像装置、电子设备、存储介质,应用于成像装置,成像装置包括由多个SPAD像素形成的像素阵列,该方法包括:确定成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定目标SPAD像素在像素阵列中的像素点分布信息;根据像素点分布信息,统计目标SPAD像素中位置不相邻的像素点的第一数量和目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;在像素阵列检测到光子并产生脉冲信号的情况下,对脉冲信号进行计数,得到脉冲计数数据;并利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。采用上述实现方案,在成像装置进行成像之前,先使得成像装置的感光区处于无光照射条件下,确定产生脉冲计数的目标SPAD像素,之后根据目标SPAD像素在像素阵列中的像素点分布信息,确定位置不相邻的像素点的第一数量和位置相邻的像素组的第二数量,这里的第一数量表征暗计数事件数量,第二数量表征串扰事件数量;之后,在成像装置进行成像时,利用第一数量和第二数量对脉冲计数数据进行降噪处理,能够降低暗计数噪声和串扰噪声对SPAD像素的光子计数值的影响,提高了SPAD像素的光子计数值的准确性,进而提高了成像的准确性。
附图说明
图1为一种SPAD像素对应的光子脉冲计数参考图;
图2为一种CIS像素对应的模拟幅值参考图;
图3为一种SPAD像素的等效原理图;
图4为一种SPAD像素对应的光子脉冲计数的示意图;
图5为一种次级光子传播到相邻微单元以引起串扰的各种方式的图示;
图6为一种传感器在黑暗中的输出的示波器图;
图7为本申请实施例提供的一种成像降噪方法的流程图;
图8为本申请实施例提供的一种示例性的4×4像素阵列的像素点分布信息的示意图;
图9为本申请实施例提供的一种示例性的4×4像素阵列的左右相邻的位置关系示意图;
图10为本申请实施例提供的一种示例性的4×4像素阵列的上下相邻的位置关系示意图;
图11为本申请实施例提供的一种示例性的4×4像素阵列的对角相邻的位置关系示意图;
图12为本申请实施例提供的一种示例性的4×4像素阵列的3个位置相邻的像素点的位置关系示意图;
图13为本申请实施例提供的一种成像装置的结构示意图一;
图14为本申请实施例提供的一种成像装置的结构示意图二;
图15为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。还需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
SPAD像素与目前的CIS像素相比,SPAD像素的灵敏度更高,光子增益更大,SPAD像素对每个光子产生脉冲,对脉冲计数即可反应光强信息,能够对非常暗的场景进行成像。具体的,SPAD像素用于实现单光子计数成像,而CIS像素用于实现电流信号采样成像;SPAD像素是直接对脉冲信号进行计数进而反映光强信息,即SPAD像素是进行数字信号直采,而CIS像素是模拟幅值来测量光强信息,即CIS像素是进行模拟信号转换,SPAD像素对应的光子脉冲计数可参考图1,CIS像素对应的模拟幅值可参考图2,可知SPAD像素的灵敏度高而CIS像素的灵敏度低;SPAD像素的一个光子对应百万电荷,即SPAD像素的光子增益能够达到106,而CIS像素的一个光子对应一个电路,即CIS像素的光子增益只能为1。
SPAD像素的等效原理图参见图3,包括SPAD、反相器、计数器和场效应管,其中,SPAD的一端与工作电压相连,SPAD的另一端与反相器的输入端相连,反相器的输出端与计数器的一端相连,场效应管分别与输入电压、反相器的输入端和接地端相连。
在固定曝光时间内,SPAD像素对应的光子脉冲计数的示意图如图4所示,包括高通量和低通量两种模式,针对每一种模式,其中的复位信号用于触发脉冲计数,每确定到一次光子脉冲,时钟信号就增一。由图4可以看出,针对光子脉冲而言,存在暗计数和光子计数,用于计数的时钟信号不仅统计光子计数的次数,还统计暗计数的次数,进而导致计数值的不准确。
需要说明的是,光子在发射到像素单元的过程中会引起串扰,参见图5,图5为次级光子传播到相邻微单元以引起串扰的各种方式的图示。具体的,在雪崩期间,高场区域中的加速载流子将发射光子,这些光子可以在相邻的微电池中引发二次雪崩。这些次级光子往往位于近红外(Near Infrared,NIR)区域,并且可以通过硅传播相当长的距离。在图5中,次级光子可以通过a、b、c三种路径传播到相邻的微单元,其中,a指向相邻的微单元,b是从传感器顶部的窗口材料(通常是环氧树脂或玻璃)反射,c是从硅衬底的底部反射,即N+基质底部。
串扰被定义为雪崩微蜂窝将在第二个微蜂窝中引起雪崩的概率。这个过程是瞬间发生的,因此,单个入射光子可能偶尔会产生相当于2或3个光子的信号,甚至更高。这种效果可以在图6中看到,图6显示了传感器在黑暗中的输出,因此所有信号脉冲都是由黑暗计数引起的。图6中所示的双高暗计数脉冲的脉冲高度是其他处于单光子水平的单高暗计数的两倍,因此将是由于串扰事件。光学串扰是通过测量第二个光子水平的计数率与单光子水平的计数率的比率来估计的。
需要说明的是,图5和图6对应的是SPAD微元构成的光电倍增管(SiliconPhotomultiplier,SiPM)阵列,而SiPM中的SPAD微元是并联连接,并合并电流信号输出,其信号读出点在并联阵列的两端,当SiPM中的SPAD微元存在串扰噪声时,仅能确定出读出的电流信号是来自哪组并联的SPAD微元,而无法区分出是哪个具体的SPAD微元。图6是以SiPM信号的串扰和暗计数信号距离,其判断依据是2倍信号高度,即2个微元同时雪崩,是无法分辨信号来源的具体位置的。
为解决暗计数噪声和串扰噪声导致SPAD像素的光子计数值不准确,进而导致成像的准确性低的问题,本申请实施例提供一种成像降噪方法,应用于成像装置,该成像装置可以为成像芯片,也可以为分离SPAD像素构成的阵列模组,具体的可以根据实际情况进行选择,本申请实施例不做具体的限定。该成像装置包括由多个SPAD像素形成的像素阵列,本申请提出的成像装置为光子计数成像装置,其中的SPAD像素是电压信号输出,信号读出点在SPAD与淬灭单元之间,能够获取每个脉冲所在的具体像素位置,从而实现图案的分辨。
如图7所示,该方法可以包括:
S101、确定成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定目标SPAD像素在像素阵列中的像素点分布信息。
在本申请实施例中,集成成像装置的电子设备可以为任何具备拍摄和存储功能的设备,例如:平板电脑、手机、个人计算机(Personal Computer,PC)、笔记本电脑、相机、可穿戴设备等设备。具体的根据实际情况进行选择,本申请实施例不做具体的限定。
在本申请实施例中,遮蔽成像装置感光区进光,使得成像装置的感光区处于无光照射条件下,此时像素阵列无法接收到光子,因此产生的计数都来自暗计数脉冲或串扰计数脉冲。在第一曝光时间内,确定各个SPAD像素的脉冲计数值,并从中确定出脉冲计数值不为0的目标SPAD像素。
需要说明的是,脉冲计数值为0表征对应的SPAD像素并未在第一曝光时间内产生脉冲计数。
在本申请实施例中,第一曝光时间的确定方式具体包括:确定初始曝光时间;对初始曝光时间调整,直至成像装置的感光区在无光照射条件下SPAD像素输出的最大计数数据小于或者等于预设计数阈值的情况下,将调整后的初始曝光时间确定为第一曝光时间。
需要说明的是,初始曝光时间可以根据两个脉冲信号之间的死时间进行设置。
在本申请实施例中,预设计数阈值可以为1、2、3等数值。需要说明的是,由于脉冲计数是从0跳到1,再从1跳到2,依次类推的;若预设计数阈值设置为2时,像素阵列会存在统计出0、1、2这三种类型的计数值,无法确定脉冲计数值是哪一次脉冲确定的,进而导致确定像素点分布信息的准确性低的问题,因此,优选的设置预设计数阈值为1。
在本申请实施例中,分别确定每个目标SPAD像素在像素阵列的位置信息,这些位置信息组成了SPAD像素在像素阵列的像素点分布信息。
在本申请实施例中,可以预先设置确定次数,以及每次确定的第一曝光时间。之后,分别在多个第一曝光时间内,多次确定成像装置的感光区在无光照射条件下产生脉冲计数的多组目标SPAD像素;并分别确定多组目标SPAD像素在像素阵列中的多组像素点分布信息。
需要说明的是,每次确定的第一曝光时间之间可以相同,也可以部分相同,也可以完全不同,具体的可以根据实际情况设置多个第一曝光时间,本申请实施例不做具体的限定。
在本申请实施例中,像素阵列为线阵像素或面阵像素,具体的可以根据实际情况进行选择,本申请实施例不做具体的限定。
S102、根据像素点分布信息,统计目标SPAD像素中位置不相邻的像素点的第一数量和目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点。
需需要说明的是,根据目标SPAD像素是否相邻作为暗计数和环绕的分类依据,位置不相邻为暗计数事件,位置相邻为串扰事件。
示例性的,像素阵列为4×4像素阵列,其中的像素点分布信息如图8所示,统计出存在两个脉冲计数值为1且位置不相邻的目标SPAD像素,此时,统计出目标SPAD像素中位置不相邻的像素点的第一数量为2,即存在2个暗计数事件。
在本申请实施例中,位置相邻包括以下至少一种:上下相邻、左右相邻和对角相邻。具体的根据实际情况进行选择,本申请实施例不做具体的限定。
需要说明的是,左右相邻的位置关系可如图9所示,上下相邻的位置关系可如图10所示,对角相邻的位置关系可如图11所示。
需要说明的是,针对于线阵像素,则其位置相邻仅为左右相邻或者上下相邻。如沿水平方向的线阵像素,其位置相邻为左右相邻;沿垂直方向的线阵像素,其位置相邻为上下相邻。
需要说明的是,位置相邻的一个像素组中可以包括位置相邻的两个像素点,也可以包括位置相邻的多个像素点。具体的可以根据实际情况进行确定,本申请实施例不做具体的限定。
示例性的,参见图12,在4×4像素阵列中,存在3个位置相邻的像素点,此时记为1个串扰事件。
需要说明的是,针对串扰事件对应的第二数量的统计,可以合并各类串扰情况进行统计,也可以针对每一种串扰情况进行分开统计;其中的一种串扰情况对应一种位置相邻且像素点数量相同的像素组,
在本申请实施例中,统计目标SPAD像素中位置相邻的像素组的第二数量,包括:针对目标SPAD像素中像素点数量相同的像素组,分别统计对应的多个数量;其中,多个数量之和为第二数量。
示例性的,分别统计2个像素点位置相邻的数量、3个像素点位置相邻的数量、4个像素点位置相邻的数量等。
需要说明的是,若执行多次确定成像装置的感光区在无光照射条件下产生脉冲技术的多组目标SPAD像素,则根据每组像素点分布信息,统计对应的一组目标SPAD像素中位置不相邻的一组像素点数量和对应的一组目标SPAD像素中位置相邻的一组像素组数量;将多组像素点分布信息对应的多组像素点数量确定为第一数量;将多组像素点分布信息对应的多组像素组数量确定为第二数量。
S103、在像素阵列检测到光子并产生脉冲信号的情况下,对脉冲信号进行计数,得到脉冲计数数据;并利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
在本申请实施例中,在统计出目标SPAD像素中位置不相邻的像素点的第一数量和目标SPAD像素中位置相邻的像素组的第二数量之后,就要利用成像装置实现成像过程了,此时,撤销遮蔽成像装置感光区进光,并进行成像。在成像过程中,若像素阵列检测光子并产生脉冲信号的情况下,对脉冲信号进行计数,得到脉冲计数数据;并利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
在本申请实施例中,利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据的过程,具体包括:确定第一数量随第一曝光时间的第一计数率,并确定第二数量占第一数量的第一比例;第一曝光时间为确定目标SPAD像素的曝光时间;获取像素阵列检测光子的第二曝光时间,并利用第二曝光时间和第一计数率,确定暗计数数据;利用脉冲计数数据和第一比例,确定串扰计数数据;从脉冲计数数据中,剔除暗计数数据和串扰计数数据,得到降噪后的脉冲计数数据。
需要说明的是,计算第一数量随第一曝光时间的第一计数率和第二数量占第一数量的第一比例的过程,可以是在统计出第一数量和第二数量之后就执行,也可以在实际成像过程中的噪声消除时执行,具体的可以根据实际情况进行选择,本申请实施例不做具体的限定。
示例性的,利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据可参考公式(1)。
cnt2=cnt1-DCR×T-cnt1×p_xtalk (1)
其中,T为第二曝光时间,DCR为第一计数率,p_xtalk为第一比例,cnt1为脉冲计数数据,cnt2为降噪后的脉冲计数数据。
需要说明的是,针对于确定出多个数量的场景而言,可以分开计算p_xtalk,具体的,分别确定多个数量占第一数量的多个比例;分别利用脉冲计数数据、多个比例和多个比例对应的像素组的像素点数量,确定多个比例对应的多个串扰计数数据;从脉冲计数数据中,剔除暗计数数据和多个串扰计数数据,得到降噪后的脉冲计数数据。
示例性的,针对利用脉冲计数数据、每个比例和对应的像素组的像素点数量,确定每个比例对应的串扰计数数据可参考公式(2)。
s=cnt1×p_xtalk×(n-1) (2)
其中,n为像素点数量,p_xtalk为对应的比例,s为串扰计数数据。
需要说明的是,若执行多次确定成像装置的感光区在无光照射条件下产生脉冲技术的多组目标SPAD像素,则确定第一数量随多个第一曝光时间之和的第一计数率;其中,一次确定一组目标SPAD像素时对应一个第一曝光时间。
需要说明的是,像素阵列可以用统一的第一计数率和第一比例,或者每个像素各自统计第一计数率和第一比例,具体的可以根据实际情况进行选择,本申请实施例不做具体的限定。
可以理解的是,在成像装置进行成像之前,先使得成像装置的感光区处于无光照射条件下,确定产生脉冲计数的目标SPAD像素,之后根据目标SPAD像素在像素阵列中的像素点分布信息,确定位置不相邻的像素点的第一数量和位置相邻的像素组的第二数量,这里的第一数量表征暗计数事件数量,第二数量表征串扰事件数量;之后,在成像装置进行成像时,利用第一数量和第二数量对脉冲计数数据进行降噪处理,能够降低暗计数噪声和串扰噪声对SPAD像素的光子计数值的影响,提高了SPAD像素的光子计数值的准确性,进而提高了成像的准确性。
基于上述实施例,本申请实施例提出一种成像装置1,成像装置包括由多个SPAD像素形成的像素阵列,如图13所示,该装置包括:
标定单元11,用于确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并用于确定所述目标SPAD像素在所述像素阵列中的像素点分布信息;
计数单元12,用于根据所述像素点分布信息,统计所述目标SPAD像素中位置不相邻的像素点的第一数量和所述目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;
降噪单元13,用于在所述像素阵列检测到光子并产生脉冲信号的情况下,对所述脉冲信号进行计数,得到脉冲计数数据;并利用所述第一数量和所述第二数量对所述脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
在本申请的一些实施例中,所述装置包括:获取单元和确定单元;
所述确定单元,用于确定所述第一数量随所述第一曝光时间的第一计数率,并确定所述第二数量占所述第一数量的第一比例;所述第一曝光时间为确定所述目标SPAD像素的曝光时间;利用所述脉冲计数数据和所述第一比例,确定串扰计数数据;
所述获取单元,用于获取所述像素阵列检测光子的第二曝光时间,并利用所述第二曝光时间和所述第一计数率,确定暗计数数据;
所述降噪单元13,还用于从所述脉冲计数数据中,剔除所述暗计数数据和所述串扰计数数据,得到所述降噪后的脉冲计数数据。
在本申请的一些实施例中,所述标定单元11,还用于多次确定所述成像装置的感光区在无光照射条件下产生脉冲计数的多组目标SPAD像素;并分别确定所述多组目标SPAD像素在所述像素阵列中的多组像素点分布信息;
所述计数单元12,还用于根据每组像素点分布信息,统计对应的一组目标SPAD像素中位置不相邻的一组像素点数量和对应的一组目标SPAD像素中位置相邻的一组像素组数量;
所述标定单元11,还用于将所述多组像素点分布信息对应的多组像素点数量确定为所述第一数量;将所述多组像素点分布信息对应的多组像素组数量确定为所述第二数量。
在本申请的一些实施例中,所述确定单元,还用于确定所述第一数量随多个第一曝光时间之和的第一计数率;其中,一次确定一组目标SPAD像素时对应一个第一曝光时间。
在本申请的一些实施例中,所述像素阵列为线阵像素或面阵像素。
在本申请的一些实施例中,所述位置相邻包括以下至少一种:
上下相邻、左右相邻和对角相邻。
在本申请的一些实施例中,所述计数单元12,还用于针对所述目标SPAD像素中像素点数量相同的像素组,分别统计对应的多个数量;其中,所述多个数量之和为所述第二数量。
在本申请的一些实施例中,所述确定单元,还用于分别确定所述多个数量占所述第一数量的多个比例;分别利用所述脉冲计数数据、所述多个比例和所述多个比例对应的像素组的像素点数量,确定多个比例对应的多个串扰计数数据;
所述降噪单元13,还用于从所述脉冲计数数据中,剔除所述暗计数数据和所述多个串扰计数数据,得到所述降噪后的脉冲计数数据。
在本申请的一些实施例中,所述装置还包括:调整单元;
所述确定单元,还用于确定初始曝光时间;
所述调整单元,用于对所述初始曝光时间调整,直至所述成像装置的感光区在无光照射条件下SPAD像素输出的最大计数数据小于或者等于预设计数阈值的情况下,将调整后的初始曝光时间确定为第一曝光时间;
所述标定单元11,还用于在所述第一曝光时间内,确定所述成像装置的感光区在无光照射条件下产生脉冲计数的所述目标SPAD像素。
本申请实施例提供的一种成像装置,确定成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定目标SPAD像素在像素阵列中的像素点分布信息;根据像素点分布信息,统计目标SPAD像素中位置不相邻的像素点的第一数量和目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;在像素阵列检测到光子并产生脉冲信号的情况下,对脉冲信号进行计数,得到脉冲计数数据;并利用第一数量和第二数量对脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。由此可见,本实施例提出的成像装置,在成像装置进行成像之前,先使得成像装置的感光区处于无光照射条件下,确定产生脉冲计数的目标SPAD像素,之后根据目标SPAD像素在像素阵列中的像素点分布信息,确定位置不相邻的像素点的第一数量和位置相邻的像素组的第二数量,这里的第一数量表征暗计数事件数量,第二数量表征串扰事件数量;之后,在成像装置进行成像时,利用第一数量和第二数量对脉冲计数数据进行降噪处理,能够降低暗计数噪声和串扰噪声对SPAD像素的光子计数值的影响,提高了SPAD像素的光子计数值的准确性,进而提高了成像的准确性。
图14为本申请实施例提供的一种成像装置1的组成结构示意图二,在实际应用中,基于上述实施例的同一公开构思下,如图14所示,本实施例的成像装置2包括:由多个SPAD像素形成的像素阵列20和处理器21;所述像素阵列20用于产生脉冲计数;所述处理器21,用于从存储器中调用并运行计算机程序,使得安装有所述装置的电子设备执行上述成像降噪方法。
上述处理器21可以为特定用途集成电路(ASIC,Application SpecificIntegrated Circuit)、数字信号处理器(DSP,Digital Signal Processor)、数字信号处理图像处理装置(DSPD,Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD,Programmable Logic Device)、现场可编程门阵列(FPGA,Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本实施例不作具体限定。
基于上述实施例,参考图15,本申请实施例提供一种电子设备3,所述电子设备3包括上述成像装置2。
基于上述实施例,本申请实施例提供一种存储介质,其上存储有计算机程序,上述计算机可读存储介质存储有一个或者多个程序,上述一个或者多个程序可被一个或者多个处理器执行,应用于终端中,该计算机程序实现如上述的成像降噪方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台图像显示设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本公开各个实施例所述的方法。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (13)
1.一种成像降噪方法,其特征在于,应用于成像装置,所述成像装置包括由多个单光子雪崩二极管SPAD像素形成的像素阵列,所述方法包括:
确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定所述目标SPAD像素在所述像素阵列中的像素点分布信息;
根据所述像素点分布信息,统计所述目标SPAD像素中位置不相邻的像素点的第一数量和所述目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;
在所述像素阵列检测到光子并产生脉冲信号的情况下,对所述脉冲信号进行计数,得到脉冲计数数据;并利用所述第一数量和所述第二数量对所述脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
2.根据权利要求1所述的方法,其特征在于,所述利用所述第一数量和所述第二数量对所述脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据,包括:
确定所述第一数量随第一曝光时间的第一计数率,并确定所述第二数量占所述第一数量的第一比例;所述第一曝光时间为确定所述目标SPAD像素的曝光时间;
获取所述像素阵列检测光子的第二曝光时间,并利用所述第二曝光时间和所述第一计数率,确定暗计数数据;
利用所述脉冲计数数据和所述第一比例,确定串扰计数数据;
从所述脉冲计数数据中,剔除所述暗计数数据和所述串扰计数数据,得到所述降噪后的脉冲计数数据。
3.根据权利要求1所述的方法,其特征在于,所述确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;并确定所述目标SPAD像素在所述像素阵列中的像素点分布信息,包括:
多次确定所述成像装置的感光区在无光照射条件下产生脉冲计数的多组目标SPAD像素;并分别确定所述多组目标SPAD像素在所述像素阵列中的多组像素点分布信息;
相应地,所述根据所述像素点分布信息,统计所述目标SPAD像素中位置不相邻的像素点的第一数量和所述目标SPAD像素中位置相邻的像素组的第二数量,包括:
根据每组像素点分布信息,统计对应的一组目标SPAD像素中位置不相邻的一组像素点数量和对应的一组目标SPAD像素中位置相邻的一组像素组数量;
将所述多组像素点分布信息对应的多组像素点数量确定为所述第一数量;
将所述多组像素点分布信息对应的多组像素组数量确定为所述第二数量。
4.根据权利要求3所述的方法,其特征在于,所述确定所述第一数量随第一曝光时间的第一计数率,包括:
确定所述第一数量随多个第一曝光时间之和的第一计数率;其中,每一次确定一组目标SPAD像素时对应一个第一曝光时间。
5.根据权利要求1所述的方法,其特征在于,所述像素阵列为线阵像素或面阵像素。
6.根据权利要求1所述的方法,其特征在于,所述位置相邻包括以下至少一种:
上下相邻、左右相邻和对角相邻。
7.根据权利要求2或6所述的方法,其特征在于,所述统计所述目标SPAD像素中位置相邻的像素组的第二数量,包括:
针对所述目标SPAD像素中像素点数量相同的像素组,分别统计对应的多个数量;其中,所述多个数量之和为所述第二数量。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
分别确定所述多个数量占所述第一数量的多个比例;
分别利用所述脉冲计数数据、所述多个比例和所述多个比例对应的像素组的像素点数量,确定多个比例对应的多个串扰计数数据;
从所述脉冲计数数据中,剔除所述暗计数数据和所述多个串扰计数数据,得到所述降噪后的脉冲计数数据。
9.根据权利要求1所述的方法,其特征在于,所述确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素之前,所述方法还包括:
确定初始曝光时间;
对所述初始曝光时间调整,直至所述成像装置的感光区在无光照射条件下SPAD像素输出的最大计数数据小于或者等于预设计数阈值的情况下,将调整后的初始曝光时间确定为第一曝光时间;
相应地,所述确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素,包括:
在所述第一曝光时间内,确定所述成像装置的感光区在无光照射条件下产生脉冲计数的所述目标SPAD像素。
10.一种成像装置,其特征在于,所述成像装置包括由多个SPAD像素形成的像素阵列,所述装置包括:
标定单元,用于确定所述成像装置的感光区在无光照射条件下产生脉冲计数的目标SPAD像素;及用于确定所述目标SPAD像素在所述像素阵列中的像素点分布信息;
计数单元,用于根据所述像素点分布信息,统计所述目标SPAD像素中位置不相邻的像素点的第一数量和所述目标SPAD像素中位置相邻的像素组的第二数量;其中,一个像素组包括位置相邻的至少两个像素点;
降噪单元,用于在所述像素阵列检测到光子并产生脉冲信号的情况下,对所述脉冲信号进行计数,得到脉冲计数数据;并利用所述第一数量和所述第二数量对所述脉冲计数数据进行降噪处理,得到降噪后的脉冲计数数据。
11.一种成像装置,其特征在于,所述装置包括:由多个SPAD像素形成的像素阵列和处理器;所述像素阵列用于产生脉冲计数;所述处理器,用于从存储器中调用并运行计算机程序,使得安装有所述装置的电子设备执行如权利要求1-9任一项所述的方法。
12.一种电子设备,其特征在于,所述电子设备包括权利要求11所述的成像装置。
13.一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211139449.7A CN115696076B (zh) | 2022-09-19 | 2022-09-19 | 成像降噪方法及成像装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211139449.7A CN115696076B (zh) | 2022-09-19 | 2022-09-19 | 成像降噪方法及成像装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115696076A true CN115696076A (zh) | 2023-02-03 |
CN115696076B CN115696076B (zh) | 2023-09-29 |
Family
ID=85063440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211139449.7A Active CN115696076B (zh) | 2022-09-19 | 2022-09-19 | 成像降噪方法及成像装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115696076B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180343406A1 (en) * | 2017-05-24 | 2018-11-29 | Canon Kabushiki Kaisha | Solid-state image pickup element, image pickup apparatus, and image pickup method |
CN109040607A (zh) * | 2018-08-13 | 2018-12-18 | Oppo广东移动通信有限公司 | 成像控制方法、装置、电子设备和计算机可读存储介质 |
CN109791205A (zh) * | 2016-10-03 | 2019-05-21 | 齐诺马蒂赛股份有限公司 | 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元 |
US20200036918A1 (en) * | 2018-07-27 | 2020-01-30 | Wisconsin Alumni Research Foundation | Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors |
CN114363478A (zh) * | 2022-01-04 | 2022-04-15 | 平头哥(上海)半导体技术有限公司 | 信号处理单元、方法、加速单元、电子设备和片上系统 |
US20220272286A1 (en) * | 2021-02-22 | 2022-08-25 | Microsoft Technology Licensing, Llc | Image acquisition techniques with reduced noise using single photon avalanche diodes |
-
2022
- 2022-09-19 CN CN202211139449.7A patent/CN115696076B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109791205A (zh) * | 2016-10-03 | 2019-05-21 | 齐诺马蒂赛股份有限公司 | 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元 |
US20180343406A1 (en) * | 2017-05-24 | 2018-11-29 | Canon Kabushiki Kaisha | Solid-state image pickup element, image pickup apparatus, and image pickup method |
US20200036918A1 (en) * | 2018-07-27 | 2020-01-30 | Wisconsin Alumni Research Foundation | Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors |
CN109040607A (zh) * | 2018-08-13 | 2018-12-18 | Oppo广东移动通信有限公司 | 成像控制方法、装置、电子设备和计算机可读存储介质 |
US20220272286A1 (en) * | 2021-02-22 | 2022-08-25 | Microsoft Technology Licensing, Llc | Image acquisition techniques with reduced noise using single photon avalanche diodes |
CN114363478A (zh) * | 2022-01-04 | 2022-04-15 | 平头哥(上海)半导体技术有限公司 | 信号处理单元、方法、加速单元、电子设备和片上系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115696076B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10616512B2 (en) | Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors | |
JP2890553B2 (ja) | X線像撮像装置 | |
CN110308451B (zh) | 适用于远程飞行时间应用的双模式堆叠光电倍增管 | |
EP3388858A1 (en) | Solid-state imaging device, distance measuring device, and distance measurement method | |
US12022211B1 (en) | Pixel collection circuit, optical flow sensor, and optical flow and image information collection system | |
US20240236516A1 (en) | Pixel collection circuit, optical flow sensor, and optical flow and image information collection system | |
EP1173972A1 (en) | Method and apparatus for obtaining high dynamic range images | |
JP2020003446A (ja) | 光測距装置 | |
CN113224090A (zh) | 成像系统 | |
CN102725659A (zh) | X射线探测器的校准方法 | |
US20200326414A1 (en) | Neuromorphic Single Photon Avalanche Detector (SPAD) Array Microchip | |
US20120318988A1 (en) | High resolution positron emission tomography | |
WO2018180660A1 (ja) | 固体撮像装置 | |
DE102019004031A1 (de) | Abstandsmessvorrichtung, die Genauigkeitsinformation ausgibt | |
US11134209B2 (en) | Light receiving device, control method, and electronic apparatus | |
US11381806B2 (en) | Detection device and detection method using avalanche diode array and calibration matrix generating method thereof | |
WO2022241942A1 (zh) | 一种深度相机及深度计算方法 | |
CN213278093U (zh) | 半导体器件 | |
CN115696076B (zh) | 成像降噪方法及成像装置、电子设备、存储介质 | |
US6512232B2 (en) | Method and apparatus for improving the sensitivity of a gamma camera | |
JPH095445A (ja) | 放射線像撮像装置 | |
IL48113A (en) | Nuclear camera with linear gates | |
US10616521B2 (en) | Imaging device for detecting sparse event information in a pixel array | |
CN114829970A (zh) | 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 | |
JP2021044782A (ja) | 撮像素子及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |