CN117221752A - 一种芯片、动态视觉传感器及输出像素信息的方法 - Google Patents

一种芯片、动态视觉传感器及输出像素信息的方法 Download PDF

Info

Publication number
CN117221752A
CN117221752A CN202210610044.0A CN202210610044A CN117221752A CN 117221752 A CN117221752 A CN 117221752A CN 202210610044 A CN202210610044 A CN 202210610044A CN 117221752 A CN117221752 A CN 117221752A
Authority
CN
China
Prior art keywords
pixel
signal
row
pixel group
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210610044.0A
Other languages
English (en)
Inventor
张子阳
王耀园
刘力源
康磊
廖健行
王瀛
黄鹤鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Institute of Semiconductors of CAS
Original Assignee
Huawei Technologies Co Ltd
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Institute of Semiconductors of CAS filed Critical Huawei Technologies Co Ltd
Priority to CN202210610044.0A priority Critical patent/CN117221752A/zh
Priority to PCT/CN2023/095785 priority patent/WO2023231838A1/zh
Publication of CN117221752A publication Critical patent/CN117221752A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Abstract

本申请提供一种芯片、动态视觉传感器及输出像素信息的方法,其中芯片包括像素阵列和处理电路,像素阵列中的每个像素行均包括至少两个像素组。在处理电路中基于第一像素组的至少一个像素的光强值发生变化,生成包含第一像素组在像素阵列中行位置信息的第一信号,以及生成包含第一像素组所在像素行的列位置信息的第二信号。通过将第一信号、第二信号发送给像素输出电路,使得像素输出电路可以准确输出像素阵列中光强值变化的第一像素组的位置信息。

Description

一种芯片、动态视觉传感器及输出像素信息的方法
技术领域
本申请涉及通信技术领域,尤其涉及一种芯片、动态视觉传感器及输出像素信息的方法。
背景技术
目前,动态视觉传感器(Dynamic Vision Sensor,DVS)的像素阵列接收光照信号进行成像后,将光强值发生变化的像素定义为激活像素,将光强值未发生变化的像素定义为未激活像素。针对输出激活像素的像素信息的DVS来说,一般包括行仲裁电路和列仲裁电路。
基于帧的DVS输出激活像素的方法是在行仲裁电路的时钟信号与列仲裁电路的时钟信号同步的情况下,DVS输出像素阵列中每个像素的像素信息,但是DVS的像素阵列中只有激活像素的像素信息输出后是有效信息,因此DVS采用基于帧的输出方法的输出结果数据量较大,输出结果不精确。
发明内容
有鉴于此,本申请提供一种芯片、动态视觉传感器及输出像素信息的方法,以便于准确输出像素阵列中光强值变化的像素的位置信息。
第一方面,本申请提供一种芯片,包括:像素阵列和处理电路;所述像素阵列中的每个像素行均包括至少两个像素组,每个像素组包含多个像素;所述处理电路,用于检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号;其中,所述第一信号包括所述第一像素组在所述像素阵列中的行位置信息;所述第一像素组为所述像素阵列中任一个像素组;所述处理电路,还用于生成第二信号;所述第二信号包括所述第一像素组所在像素行的列位置信息;将所述第一信号、所述第二信号发送给像素输出电路;所述第一信号、所述第二信号用于使所述像素输出电路输出所述像素阵列中光强值变化的第一像素组的位置信息。
相对于现有技术,本申请通过按照像素阵列中像素组方式输出发生光强值变化的像素,可以得到更准确的输出结果。
一种可能的设计中,通过如下方式确定所述像素阵列中的每个像素行包括的像素组的数量:针对每个预设的初始组数,基于所述像素阵列的列数、像素的位宽和所述像素阵列中所述第一像素组的个数,确定所述初始组数对应的像素数据量;确定各个像素数据量中最小像素数据量对应的初始组数为每个像素行包括的像素组的数量。本申请将最小像素数据量确定的初始组数作为每个像素行包括的像素组的数量,可以使得像素输出电路输出的像素组在像素阵列空间中位宽大小更合理,有利于恢复成帧格式。
一种可能的设计中,所述像素阵列包括M*N个像素,其中,M为所述像素阵列的行数,N为所述像素阵列的列数,M和N均为正整数。通过对像素阵列的行数和列数进行不同数值的设置,可以得到不同的像素阵列。
一种可能的设计中,所述处理电路,具体用于:所述第一像素组中像素变化的光强值大于预设阈值的情况下,确定所述像素的光强值发生变化,所述预设阈值为像素光强值的5%至像素光强值的30%中的任一数值。所述处理电路中的所述第一信号指示所述第一像素组的光强值发生变化。通过对预设阈值进行设置,使得处理电路中生成的第一信号更加准确,进一步的可以更准确的输出发生光强值变化的像素。
一种可能的设计中,所述处理电路,具体用于:通过所述第一信号或者所述第二信号将所述第一像素组中每个像素的光强值发送给所述像素输出电路,以使所述像素输出电路输出所述第一像素组中每个像素的光强值。通过第一像素组在像素阵列中的位置信息和第一像素组中每个像素的光强值信息结合,使得输出结果更准确。
一种可能的设计中,所述处理电路,具体用于:确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。通过第一像素组中每个像素的像素信号可以得到更加准确的第一信号,进一步的可以更准确的输出发生光强值变化的像素。
一种可能的设计中,所述处理电路,具体用于:将所述第一信号发送给像素输出电路之后,接收所述像素输出电路发送的所述第一信号的响应信号;基于所述第一信号的响应信号,将所述第二信号发送给所述像素输出电路。通过按照第一信号的响应信号发送第二信号,可以控制像素输出电路的输出速率。
一种可能的设计中,所述芯片还包括:行仲裁电路;所述行仲裁电路,用于根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;按照所述先后顺序对所述第一信号以及所述第三信号进行处理;所述第三信号用于指示所述第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同。
一种可能的设计中,所述行仲裁电路包括:子仲裁器、处理器;所述子仲裁器,用于根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;所述处理器,用于按照所述先后顺序对所述第一信号以及所述第三信号进行处理。
一种可能的设计中,所述芯片还包括:行仲裁电路;所述行仲裁电路,用于接收所述处理电路发送的所述第一信号以及至少一个第三信号;所述第三信号用于指示第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同;分别生成所述第一信号的响应信号、所述第三信号的响应信号;确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序;按照所述第一先后顺序向所述处理电路发送所述第一信号的响应信号、所述第三信号的响应信号,以使所述处理电路将所述第二信号发送给所述像素输出电路;以及将第四信号发送给所述像素输出电路;所述第四信号包括所述第二像素组所在像素行的列位置信息。
本申请通过芯片中的行仲裁电路确定第一信号和第三信号的执行顺序,使得处理电路按照执行顺序向像素输出电路发送第二信号和第四信号,进而可以控制像素输出电路的输出速率。
一种可能的设计中,所述行仲裁电路包括:子仲裁器、处理器;所述处理器,用于接收所述处理电路发送的所述第一信号以及所述至少一个第三信号;根据所述第一信号生成第一请求信号;根据所述第三信号生成第二请求信号;所述子仲裁器,用于根据所述处理器发送的所述第一请求信号和所述第二请求信号,确定向所述处理器发送所述第一请求信号的响应信号和所述第二请求信号的响应信号的第二先后顺序;按照所述第二先后顺序向所述处理器发送所述第一请求信号的响应信号、所述第二请求信号的响应信号;所述处理器,还用于接收所述子仲裁器发送的所述第一请求信号的响应信号后,对所述第一信号进行处理得到所述第一信号的响应信号;以及接收所述子仲裁器发送的所述第二请求信号的响应信号后,对所述第三信号进行处理得到所述第三信号的响应信号。
本申请通过对行仲裁电路的功能进一步划分得到子仲裁器和处理器。利用处理器接收第一信号和至少一个第三信号,利用子仲裁器确定第一信号和第三信号的执行顺序,进而提高了行仲裁电路的处理速率。
一种可能的设计中,所述行仲裁电路,具体用于:根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及所述第三信号中包括的所述第二像素组在所述像素阵列中的行位置信息,确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序。通过像素组在像素阵列中的行位置信息确定信号执行的先后顺序,可以使像素输出电路的输出结果在像素阵列中具有空间顺序。
第二方面,本申请还提供了一种动态视觉传感器,包括:如上第一方面及其部分设计中的芯片、像素输出电路;其中,所述行仲裁电路的时钟信号和所述像素输出电路的时钟信号同步。
第三方面,本申请还提供了一种动态视觉传感器,包括:如上第一方面及其部分设计中的芯片、像素输出电路;所述像素输出电路包括:行仲裁电路和列选择电路;其中,所述行仲裁电路的时钟信号和所述列选择电路的时钟信号同步;所述行仲裁电路,用于接收所述芯片中的处理电路发送的所述第一信号;根据所述第一信号确定所述第一像素组在所述像素阵列中的行位置信息;将所述第一像素组在所述像素阵列中的行位置信息发送给所述列选择电路;所述列选择电路,用于接收所述处理电路发送的所述第二信号,以及接收所述行仲裁电路发送的所述第一像素组在所述像素阵列中的行位置信息;根据所述第二信号确定所述第一像素组所在像素行的列位置信息;输出所述第一像素组在像素阵列中的位置信息。
本申请通过采用行仲裁电路的时钟信号与列选择电路的时钟信号同步,提高了输出速率。按照像素组方式的输出结果提高了动态视觉传感器一次输出像素的个数,具有更低的输出延迟,还可以准确输出光强值变化的像素所在像素组在像素阵列中的位置信息。
一种可能的设计中,所述行仲裁电路,还用于:接收所述处理电路发送的至少一个第三信号;其中,所述第三信号用于指示第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同;分别生成所述第一信号的响应信号、所述第三信号的响应信号;确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序;按照所述第一先后顺序向所述处理电路发送所述第一信号的响应信号、所述第三信号的响应信号;所述处理电路,还用于接收所述行仲裁电路发送的所述第一信号的响应信号后,将所述第二信号发送给所述列选择电路;以及接收所述行仲裁电路发送的所述第三信号的响应信号后,将第四信号发送给所述列选择电路;所述第四信号包括所述第二像素组所在像素行的列位置信息。
一种可能的设计中,所述行仲裁电路包括:子仲裁器、处理器;所述处理器,用于接收所述处理电路发送的所述第一信号以及所述至少一个第三信号;根据所述第一信号生成第一请求信号;根据所述第三信号生成第二请求信号;所述子仲裁器,用于根据所述处理器发送的所述第一请求信号和所述第二请求信号,确定向所述处理器发送所述第一请求信号的响应信号和所述第二请求信号的响应信号的第二先后顺序;按照所述第二先后顺序向所述处理器发送所述第一请求信号的响应信号、所述第二请求信号的响应信号;所述处理器,还用于接收所述子仲裁器发送的所述第一请求信号的响应信号后,对所述第一信号进行处理得到所述第一信号的响应信号;以及接收所述子仲裁器发送的所述第二请求信号的响应信号后,对所述第三信号进行处理得到所述第三信号的响应信号。
一种可能的设计中,所述行仲裁电路,具体用于:根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及所述第三信号中包括的所述第二像素组在所述像素阵列中的行位置信息,确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序。
一种可能的设计中,所述行仲裁电路,还用于:根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;按照所述先后顺序对所述第一信号以及所述第三信号进行处理;所述第三信号用于指示所述第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同。
一种可能的设计中,所述行仲裁电路包括:子仲裁器、处理器;所述子仲裁器,用于根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;所述处理器,用于按照所述先后顺序对所述第一信号以及所述第三信号进行处理。
一种可能的设计中,所述列选择电路包括:位置缓存模块;所述位置缓存模块,用于:对所述第一像素组在所述像素阵列中的行位置信息进行缓存;在所述位置缓存模块中的缓存空间小于所述第一像素组在所述像素阵列中的行位置信息的数据空间时,生成缓存失败信号;所述行仲裁电路,还用于:接收所述位置缓存模块发送的所述缓存失败信号;根据所述缓存失败信号确定信号传输速率;接收所述处理电路发送的多个第五信号,任一个第五信号用于指示所述像素阵列中的第三像素行的光强值发生变化;根据所述多个第五信号生成多个第五信号的响应信号;按照所述信号传输速率向所述处理电路发送所述多个第五信号的响应信号。
本申请通过列选择电路中的位置缓存模块生成缓存失败信号,使得行仲裁电路根据缓存失败信号控制向处理电路发送信号的速率。
一种可能的设计中,所述列选择电路,具体用于:输出所述像素阵列中光强值变化的第一像素组的位置信息时,输出所述第一像素组对应的时间戳,进而可以确定输出的像素阵列中光强值变化的像素的像素信息在空间顺序的准确度。
第四方面,本申请还提供了一种电子设备,包括:如上第二方面及其任一设计、第三方面及其任一设计中的动态视觉传感器。
第五方面,本申请还提供了一种动态视觉传感器输出像素信息的方法,应用于如第二方面及其任一设计、第三方面及其任一设计中的动态视觉传感器,所述方法包括:检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号和第二信号;其中,所述第一像素组为所述像素阵列中任一个像素组;根据所述第一信号确定所述第一像素组在所述像素阵列中的行位置信息;以及根据所述第二信号确定所述第一像素组所在像素行的列位置信息;基于所述第一像素组在所述像素阵列中的行位置信息和所述第一像素组所在像素行的列位置信息,输出所述第一像素组在像素阵列中的位置信息。
一种可能的设计中,所述生成第一信号和第二信号之后,所述方法还包括:根据所述第一信号或者所述第二信号确定所述第一像素组中每个像素的光强值,输出所述第一像素组中每个像素的光强值。
一种可能的设计中,所述方法还包括:检测到第二像素组中至少一个像素的光强值发生变化时,生成第三信号;其中,所述第二像素组和所述第一像素组所属的像素行不同;根据所述第三信号确定所述第二像素组在所述像素阵列中的行位置信息;基于所述第一像素组和所述第二像素组分别在所述像素阵列中的行位置信息,确定输出所述第一像素组和所述第二像素组的先后顺序。
一种可能的设计中,通过以下方法生成第一信号:确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。
一种可能的设计中,所述方法还包括:输出所述像素阵列中光强值变化的第一像素组的位置信息时,输出所述第一像素组对应的时间戳。
第六方面,本申请还提供了一种像素处理方法,应用于如第一方面及其任一设计中的芯片,所述方法包括:检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号;其中,所述第一信号包括所述第一像素组在所述像素阵列中的行位置信息;所述第一像素组为所述像素阵列中任一个像素组;生成第二信号;所述第二信号包括所述第一像素组所在像素行的列位置信息;将所述第一信号、所述第二信号发送给像素输出电路;所述第一信号、所述第二信号用于使所述像素输出电路输出所述像素阵列中光强值变化的第一像素组的位置信息。
一种可能的设计中,通过如下方式确定所述像素阵列中的每个像素行包括的像素组的数量:针对每个预设的初始组数,基于所述像素阵列的列数、像素数据的位宽和所述像素阵列中所述第一像素组的个数,确定所述初始组数对应的像素数据量;确定各个像素数据量中最小像素数据量对应的初始组数为每个像素行包括的像素组的数量。
一种可能的设计中,所述方法还包括:所述第一像素组中像素变化的光强值大于预设阈值的情况下,确定所述像素的光强值发生变化,所述预设阈值为像素光强值的5%至像素光强值的30%中的任一数值。
一种可能的设计中,所述方法还包括:通过所述第一信号或者所述第二信号将所述第一像素组中每个像素的光强值发送给所述像素输出电路,以使所述像素输出电路输出所述第一像素组中每个像素的光强值。
一种可能的设计中,所述生成第一信号,具体包括:确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。
一种可能的设计中,在将所述第二信号发送给像素输出电路之前,所述方法还包括:将所述第一信号发送给像素输出电路之后,接收所述像素输出电路发送的所述第一信号的响应信号;将所述第二信号发送给像素输出电路,具体包括:基于所述第一信号的响应信号,将所述第二信号发送给所述像素输出电路。
一种可能的设计中,所述方法还包括:根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;按照所述先后顺序对所述第一信号以及所述第三信号进行处理;所述第三信号用于指示所述第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同。
第七方面,本申请还提供了一种像素处理装置,所述装置包括:第一生成模块,用于检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号;其中,所述第一信号包括所述第一像素组在所述像素阵列中的行位置信息;所述第一像素组为所述像素阵列中任一个像素组;第二生成模块,用于生成第二信号;所述第二信号包括所述第一像素组所在像素行的列位置信息;发送模块,用于将所述第一信号、所述第二信号发送给像素输出电路;所述第一信号、所述第二信号用于使所述像素输出电路输出所述像素阵列中光强值变化的第一像素组的位置信息。
一种可能的设计中,通过如下方式确定所述像素阵列中的每个像素行包括的像素组的数量:针对每个预设的初始组数,基于所述像素阵列的列数、像素数据的位宽和所述像素阵列中所述第一像素组的个数,确定所述初始组数对应的像素数据量;确定各个像素数据量中最小像素数据量对应的初始组数为每个像素行包括的像素组的数量。
一种可能的设计中,所述第一生成模块具体用于:所述第一像素组中像素变化的光强值大于预设阈值的情况下,确定所述像素的光强值发生变化,所述预设阈值为像素光强值的5%至像素光强值的30%中的任一数值。
一种可能的设计中,所述发送模块还用于:通过所述第一信号或者所述第二信号将所述第一像素组中每个像素的光强值发送给所述像素输出电路,以使所述像素输出电路输出所述第一像素组中每个像素的光强值。
一种可能的设计中,所述第一生成模块具体用于:确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。
一种可能的设计中,所述发送模块具体用于:将所述第一信号发送给像素输出电路之后,接收所述像素输出电路发送的所述第一信号的响应信号;基于所述第一信号的响应信号,将所述第二信号发送给所述像素输出电路。
一种可能的设计中,所述装置还包括:根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;按照所述先后顺序对所述第一信号以及所述第三信号进行处理;所述第三信号用于指示所述第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同。
第八方面,本申请还提供了一种动态视觉传感器输出像素信息的装置,所述装置包括:
生成模块,用于检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号和第二信号;其中,所述第一像素组为所述像素阵列中任一个像素组;确定模块,用于根据所述第一信号确定所述第一像素组在所述像素阵列中的行位置信息;以及根据所述第二信号确定所述第一像素组所在像素行的列位置信息;输出模块,用于基于所述第一像素组在所述像素阵列中的行位置信息和所述第一像素组所在像素行的列位置信息,输出所述第一像素组在像素阵列中的位置信息。
一种可能的设计中,所述输出模块还用于:根据所述第一信号或者所述第二信号确定所述第一像素组中每个像素的光强值,输出所述第一像素组中每个像素的光强值。
一种可能的设计中,所述装置还包括:检测到第二像素组中至少一个像素的光强值发生变化时,生成第三信号;其中,所述第二像素组和所述第一像素组所属的像素行不同;根据所述第三信号确定所述第二像素组在所述像素阵列中的行位置信息;基于所述第一像素组和所述第二像素组分别在所述像素阵列中的行位置信息,确定输出所述第一像素组和所述第二像素组的先后顺序。
一种可能的设计中,所述生成模块具体用于:确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。
一种可能的设计中,所述输出模块还用于:输出所述像素阵列中光强值变化的第一像素组的位置信息时,输出所述第一像素组对应的时间戳。
第九方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被动态视觉传感器执行时,可以使得所述动态视觉传感器执行上述第五方面中任一设计的方法。
第十方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被芯片执行时,可以使得所述芯片执行上述第六方面中任一设计的方法。
第十一方面,本申请提供一种计算机程序产品,所述计算机程序产品包括计算机指令,当所述计算机指令被动态视觉传感器执行时,可以使得所述动态视觉传感器执行上述第五方面中任一设计的方法。
第十二方面,本申请提供一种计算机程序产品,所述计算机程序产品包括计算机指令,当所述计算机指令被芯片执行时,可以使得所述芯片执行上述第六方面中任一设计的方法。
上述第二方面至第十二方面中任一方面中的任一可能设计可以达到的技术效果,请参照上述第一方面中的任一可能设计可以达到的技术效果描述,这里不再重复赘述。
附图说明
图1为现有技术中基于帧的输出方法的输出结果示意图;
图2为本申请实施例提供的一种芯片的结构示意图;
图3为本申请实施例提供的像素的像素信号和第一信号示意图;
图4为本申请实施例提供的确定第一行信号过程示意图;
图5为本申请实施例提供的像素组的信号和对应的响应信号示意图;
图6为本申请实施例提供的确定第二信号过程示意图;
图7为本申请实施例提供的动态视觉传感器输出结果示意图;
图8为本申请实施例提供的时间戳信号示意图;
图9为本申请实施例提供的动态视觉传感器输出结果对比示意图;
图10为本申请实施例提供的横坐标为每行像素组数量,纵坐标为每个像素数据位宽情况下动态视觉传感器输出的像素数据量的示意图;
图11为本申请实施例提供的三个不同应用场景(圆、手掌、街道)分别在横坐标为每行像素组数量,纵坐标为输出像素组数情况下动态视觉传感器输出的像素数据量的示意图;
图12为本申请实施例提供的三个不同应用场景(圆、手掌、街道)分别在K取不同数值情况下动态视觉传感器输出的像素数据量的示意图;
图13为本申请实施例提供的动态视觉传感器按照固定帧率输出和按照不固定帧率输出示意图;
图14为本申请实施例提供的动态视觉传感器按照固定帧率输出和按照不固定帧率输出两种情况输出功耗对比示意图;
图15为本申请实施例提供的一种动态视觉传感器输出像素信息的方法的流程示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
目前,DVS的像素阵列接收光照信号进行成像后,将光强值发生变化的像素定义为激活像素,将光强值未发生变化的像素定义为未激活像素。针对输出激活像素的像素信息的DVS来说,一般包括行仲裁电路和列仲裁电路。
基于帧的DVS输出激活像素的方法是在行仲裁电路的时钟信号与列仲裁电路的时钟信号同步的情况下,DVS输出像素阵列中每个像素的像素信息,但是DVS的像素阵列中只有激活像素的像素信息输出后是有效信息,因此DVS采用基于帧的输出方法的输出结果数据量较大,输出结果不精确。例如,图1示出了基于帧的输出方法的输出结果示意图。假设图1中第三行第三列位置的像素、第五行第六列位置的像素和第七行第三列位置的像素为激活像素,且这三个像素被激活的时间先后顺序是:第五行第六列位置的像素(即图1中标号为1的像素)、第三行第三列位置的像素(即图1中标号为2的像素)、第七行第三列位置的像素(即图1中标号为3的像素)。那么虚线框表示实际输出的像素阵列中每个像素的像素信息,相对于实际上需要输出三个激活像素的输出结果来说,DVS采用基于帧的输出方法的输出结果数据量较大,输出结果不精确。
有鉴于此,本申请实施例提供一种芯片、动态视觉传感器及输出像素信息的方法。为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。
图2示出了本申请实施例提供的一种芯片的结构示意图。其中,芯片包括:像素阵列201-1和处理电路201-2。像素阵列201-1中每个像素行均划分为至少两个像素组,每个像素组包含多个像素。例如图2的像素阵列201-1中包含X个像素行,每个像素行的像素均划分为K个像素组(即像素组1、像素组2、…、像素组K),每个像素组包含n个像素,例如每个像素组1中均包含像素1、像素2、…、像素n。这里,X、K和n均为正整数。像素阵列中每个像素行的像素组的数量在后续详细介绍,在此不再赘述。
这里,像素阵列可以包括M*N个像素,其中,M为像素阵列的行数,N为像素阵列的列数,M和N均为正整数。例如,像素阵列201-1为一个8行9列的像素阵列。这里,M和N可以为同一数值,也可以为不同数值。
在像素阵列201-1接收光照信号照射的情况下,针对处理电路201-2来说,当第一像素组中至少一个像素的光强值发生变化时,生成第一像素组中每个像素的像素信号。其中,第一像素组为像素阵列201-1中任一个像素组,第一像素组中第一像素的像素信号可以指示第一像素的光强值是否发生变化,且第一像素为第一像素组中的任一个像素。然后处理电路201-2通过对第一像素组中每个像素的像素信号进行逻辑计算,得到第一信号。这里,第一信号可以指示第一像素组的光强值发生变化。
可选的,在第一像素组中像素变化的光强值大于预设阈值情况下,确定像素的光强值发生变化。例如预设阈值为像素光强值的5%至像素光强值的30%中的任一数值。
示例性的,假设第一像素组为图2的像素阵列201-1中第1像素行的像素组1,当n=4时,像素组1中包含4个像素,即像素1、像素2、像素3和像素4。若光照信号照射到像素组1时,像素2和像素4的光强值均发生变化,像素1和像素3的光强值均未发生变化,则处理电路201-2针对光强值发生变化的像素2和像素4,分别生成像素2的像素信号和像素4的像素信号。例如像素2的像素信号和像素4的像素信号如图3所示,以用来指示像素的光强值发生变化。处理电路201-2针对光强值未发生变化的像素1和像素3,分别生成像素1的像素信号和像素3的像素信号。例如像素1的像素信号和像素3的像素信号如图3所示,以用来指示像素的光强值未发生变化。
可选的,处理电路201-2通过对第一像素组中每个像素的像素信号分别进行或逻辑计算,得到第一信号,第一信号包括第一像素组在像素阵列201-1中的行位置信息。例如,如图4所示,对像素1的像素信号、像素2的像素信号、像素3的像素信号、像素4的像素信号进行或逻辑计算,得到第一信号,第一信号如图3所示。通过第一信号确定像素组1的光强值发生变化。这里,处理电路201-2在接收到第一行信号对应的第一行响应信号后,还可以将第一行响应信号、第一信号进行与逻辑计算,然后将计算结果发送给像素1。后续详细介绍第一行响应信号的确定过程,在此不再赘述。
处理电路201-2在确定第一像素组的第一信号后,通过对第一信号以及至少一个第二像素组的第三信号进行逻辑计算,得到第一行信号。这里,第一行信号可以指示第一像素行的光强值发生变化,任一个第二像素组的第三信号可以指示第二像素组的光强值是否发生变化,第一像素组和至少一个第二像素组所属同一像素行。可选的,将第一信号与至少一个第二像素组的第三信号进行或逻辑计算得到第一行信号。任一个第二像素组的第三信号生成过程可以参考第一像素组的第一信号生成过程,在此不再赘述。
示例性的,继续按照上述示例介绍,假设图2中像素阵列201-1第1像素行包含两个像素组(第一像素组和第二像素组),即K=2时,若第二像素组的第三信号如图3中的A信号所示,则第二像素组的第三信号指示第二像素组的光强值未发生变化。此时如图4所示,处理电路201-2将第一信号和A信号进行或逻辑计算得到C信号,那么C信号即为第一行信号。通过C信号确定第一行信号指示第一像素行的光强值发生变化,且第一像素组的光强值发生变化,第二像素组的光强值未发生变化。若第二像素组的第三信号如图3中的B信号所示,则第二像素组的第三信号指示第二像素组的光强值发生变化。此时如图4所示,处理电路201-2将第一信号和B信号进行或逻辑计算得到D信号,那么D信号即为第一行信号。通过D信号确定第一行信号指示第一像素行的光强值发生变化,且第一像素组的光强值发生变化,第二像素组的光强值也发生变化。
处理电路201-2在确定第一像素组的第一信号后,还可以继续生成第二信号。其中第二信号包括第一像素组所在像素行的列位置信息。通过将第一信号、第二信号发送给像素输出电路,使得像素输出电路可以准确输出像素阵列201-1中光强值变化的第一像素组的位置信息。
这里,第一行信号也可以包括第一像素组在像素阵列201-1中的行位置信息,处理电路201-2也可以将第一行信号发送给像素输出电路。
可选的,处理电路201-2还可以通过第一信号或者第二信号将第一像素组中每个像素的光强值发送给像素输出电路,以使像素输出电路还可以输出第一像素组中每个像素的光强值。通过第一像素组中每个像素的光强值与第一像素组在像素阵列201-1中的位置信息结合,可以得到更准确的输出结果。
一种可能的设计中,为了更准确的控制像素输出电路输出结果的速率,处理电路201-2通过以下两种方式中的任一种方式发送第二信号给像素输出电路:
X方式,处理电路201-2将第一信号发送给像素输出电路之后,接收像素输出电路发送的第一信号的响应信号,基于第一信号的响应信号,将第二信号发送给像素输出电路。
此种方式中的像素输出电路包含行仲裁电路,通过行仲裁电路确定第一信号的响应信号过程与下面芯片中包含的行仲裁电路确定第一信号的响应信号过程相同,在此不再赘述。
Y方式,处理电路201-2接收到芯片中包含的行仲裁电路发送的第一信号的响应信号后,基于第一信号的响应信号,将第二信号发送给像素输出电路。
此种方式中,如图2所示,芯片中包含的行仲裁电路202包括:子仲裁器202-1、至少两个处理器202-2(例如第一处理器、第二处理器、……、第m处理器),其中m为正整数。首先处理电路201-2将第一信号发送给至少两个处理器202-2中的第一处理器,还可以将第三信号发送给至少两个处理器202-2中的第二处理器。这里,第三信号指示第二像素组的光强值发生变化,且第二像素组和第一像素组所属的像素行不同。
这里,可以通过处理电路201-2确定像素阵列201-1中每个像素组对应的信号调度给至少两个处理器202-2中的指定处理器。
示例性的,假设像素阵列201-1由8*8矩阵的像素组成,每个像素行均划分为两个像素组。处理电路201-2将像素阵列201-1中行标识为第1像素行-第4像素行中像素组对应的信号均发送给第一处理器,将行标识为第5像素行-第8像素行中像素组对应的信号均发送给第二处理器。若行标识为第5像素行的像素组A和行标识为第3像素行的像素组B的光强值依序发生变化,则处理电路201-2可以将行标识为第3像素行的行信号或者像素组B的第一信号发送给第一处理器,将行标识为第5像素行的行信号或者像素组A的第三信号发送给第二处理器。
然后第一处理器根据第一信号生成第一请求信号,并将第一请求信号发送给子仲裁器202-1,第一请求信号指示对第一信号进行处理。同时,第二处理器根据第三信号生成第二请求信号,并将第二请求信号发送给子仲裁器202-1,第二请求信号指示对第三信号进行处理。子仲裁器202-1在接收到第一处理器发送的第一请求信号,以及接收到第二处理器发送的第二请求信号后,首先确定向第一处理器发送第一请求信号的响应信号以及向第二处理器发送第二请求信号的响应信号的先后顺序,然后按照先后顺序向第一处理器发送第一请求信号的响应信号以及向第二处理器发送第二请求信号的响应信号。
一种可能的实施例中,第一信号包括第一像素组在像素阵列201-1中的行位置信息,第三信号包括第二像素组在像素阵列201-1中的行位置信息。或者,第一请求信号包括第一像素组在像素阵列201-1中的行位置信息,第二请求信号包括第二像素组在像素阵列201-1中的行位置信息。
继续按照上述示例介绍,例如第一请求信号包括的行位置信息为第三像素行(行标识3),第二请求信号包括的行位置信息为第五像素行(行标识5),那么即使子仲裁器202-1先接收到第二请求信号,指定时间段内又接收到第一请求信号,但是子仲裁器202-1可以按照行标识从小到大的顺序确定第一请求信号和第二请求信号的先后顺序,也即子仲裁器202-1先向第一处理器发送第一请求信号的响应信号,再向第二处理器发送第二请求信号的响应信号。子仲裁器202-1向不同处理器发送响应信号的顺序即代表对请求信号处理的先后顺序,从而实现对多个像素组的信号的顺序处理。
第一处理器在接收到子仲裁器202-1发送的第一请求信号的响应信号后,对第一信号进行处理得到第一信号的响应信号,并将第一信号的响应信号发送给处理电路201-2。第二处理器在接收到子仲裁器202-1发送的第二请求信号的响应信号后,对第三信号进行处理得到第三信号的响应信号,并将第三信号的响应信号发送给处理电路201-2。例如,如图5所示,在行仲裁电路202的时钟信号作用下,第一处理器对信号1进行处理得到响应信号1,第二处理器对信号2进行处理得到响应信号2,第三处理器对信号3进行处理得到响应信号3。这里第一处理器既可以对信号1进行处理,还可以同时对信号2进行处理,在此仅是举例说明处理器对信号进行处理的过程。
处理电路201-2在接收到芯片中的行仲裁电路202中的第一处理器发送的第一信号的响应信号后,根据第一信号的响应信号生成第二信号。其中,第二信号包括第一像素组所在像素行的列位置信息和第一像素组中每个像素的光强值,将第二信号发送给像素输出电路,这里像素输出电路即为图2中的列选择电路203。
如图6所示,第一像素组中的像素1的光强值、高阻态以及第一信号的响应信号经过选择器的选择后得到第一组像素数据总线,同理,第一像素组中的像素2、…、像素n的光强值、高阻态以及第一信号的响应信号经过选择器的选择后也可以分别得到第二组像素数据总线、…、第n组像素数据总线。第一像素组的列位置信息、高阻态以及第一信号的响应信号经过选择器的选择后得到第一列位置信息总线。处理电路201-2将第一组像素数据总线、第二组像素数据总线、…、第n组像素数据总线以及第一列位置信息总线相互连接得到第二信号。同理,处理电路201-2还可以根据第三信号的响应信号生成第四信号,在此不再赘述。
可选的,处理电路201-2在生成第二信号后,还可以根据第一信号的响应信号将光强值发生变化的像素进行复位。
一种可能的实施例中,如图2所示,行仲裁电路202还包括:行位置信息生成模块202-3。行位置信息生成模块202-3根据第一请求信号确定第一像素组的行位置信息,将第一像素组的行位置信息发送给列选择电路203。这里,第一请求信号既可以是第一处理器发送的,也可以是子仲裁器202-1发送的。例如,第一请求信号包括行标识3时,行位置信息生成模块202-3根据第一请求信号确定第一像素组的行位置信息是第三像素行。
列选择电路203在接收到处理电路201-2发送的第二信号,以及接收到行仲裁电路202发送的第一像素组的行位置信息后,根据第二信号确定第一像素组的列位置信息。然后输出第二信号中第一像素组中每个像素的光强值,以及输出第一像素组在像素阵列中的位置信息,位置信息包含第一像素行的行位置信息以及第一像素组的列位置信息。
本申请通过按照像素阵列中像素组方式输出发生光强值变化的像素,可以得到更准确的输出结果。根据每个像素行分别在像素阵列中空间顺序的输出结果,容易恢复成像素阵列的帧形式,便于后续基于帧的处理算法对输出结果进行处理。通过像素组在像素阵列中的行位置信息确定的信号执行顺序,可以使像素输出电路的输出结果在像素阵列中具有空间顺序。
基于上述介绍的本申请提供的一种芯片,本申请的一实施例中还提供了一种动态视觉传感器,其中,动态视觉传感器包括:芯片和像素输出电路,芯片包括像素阵列、处理电路,像素输出电路包括行仲裁电路和列选择电路;且行仲裁电路的时钟信号和列选择电路的时钟信号同步。或者,动态视觉传感器包括:芯片和像素输出电路,芯片包括像素阵列、处理电路、行仲裁电路,像素输出电路包括列选择电路;且行仲裁电路的时钟信号和列选择电路的时钟信号同步。这里,由上述描述可知行仲裁电路实现的功能在两种动态视觉传感器中可以相同的。
接下来以动态视觉传感器包括:芯片和像素输出电路,芯片包括像素阵列、处理电路,像素输出电路包括行仲裁电路和列选择电路为例,介绍下像素输出电路中的列选择电路的功能实现过程。如图2所示,列选择电路203包括:位置缓存模块203-1、像素数据缓存模块203-2和位置处理模块203-3。其中,位置缓存模块203-1接收到行仲裁电路202发送的第一像素组的行位置信息后,对第一像素组的行位置信息进行缓存,并将第一像素组的行位置信息发送给位置处理模块203-3。像素数据缓存模块203-2接收到处理电路201-2发送的第二信号后,缓存并输出第二信号中第一像素组中每个像素的光强值;还可以根据第二信号确定第一像素组的列位置信息,并将第一像素组的列位置信息发送给位置处理模块203-3。通过位置处理模块203-3输出第一像素组在像素阵列中的位置信息,位置信息包含第一像素行的行位置信息以及第一像素组的列位置信息。
示例性的,假设行仲裁电路202发送第一像素组的行位置信息为第四像素行(行标识4),那么在位置缓存模块203-1中对第一像素组的行位置信息进行缓存。假设处理电路201-2发送的第二信号中包含第一像素组中像素1的光强值、像素2的光强值、像素3的光强值、像素4的光强值以及第一像素组的列位置信息为列标识4,那么在像素数据缓存模块203-2中对像素1的光强值、像素2的光强值、像素3的光强值以及像素4的光强值进行缓存。并且通过位置处理模块203-3输出第一像素组位于像素阵列201-1中的第四行第四列。
如图7所示,像素阵列201-1由8*8矩阵的像素组成,当像素阵列201-1接收光照信号照射后,第五行第六列的像素、第三行第三列的像素、第七行第三列的像素依序发生光强值变化。将像素阵列201-1中每个像素行均划分为两个像素组后,每个像素组包含四个像素。按照上面描述的信号传输过程可知,列选择电路203首先输出第三行第三列的像素所在的像素组(即图7中虚线框标号1所在的像素组)的位置信息以及像素组内每个像素的光强值,然后输出第五行第六列的像素所在的像素组(即图7中虚线框标号2所在的像素组)的位置信息以及像素组内每个像素的光强值,最后输出第七行第三列的像素所在的像素组(即图7中虚线框标号3所在的像素组)的位置信息以及像素组内每个像素的光强值。
通过子仲裁器确定至少两个处理器中请求信号的执行顺序,以及列选择电路按照像素组方式输出,使得动态视觉传感器的输出结果具有空间顺序,减少了输出的数据量。根据动态视觉传感器的输出结果也容易恢复成像素阵列的帧形式,便于后续采用同步时钟信号且基于帧的处理算法对动态视觉传感器的输出结果进行处理。
可选的,如图2所示,像素数据缓存模块203-2在输出像素组中每个像素的光强值之前,还可以经过选择器对数据进一步的筛选。
一种可能的实施例中,如图2所示,列选择电路203还包括:计时器203-4。在像素数据缓存模块203-2输出第二信号中第一像素组中每个像素的光强值时,通过计时器203-4输出第一像素组对应的时间戳。通过对输出的一个像素组设置一个时间戳,使得动态视觉传感器的输出结果具有较小的数据量。
如图8所示,在列选择电路203的时钟信号作用下,像素数据缓存模块203-2输出组数据、位置处理模块203-3输出位置信息时,表示开始输出像素组(即图8中的开始输出信号),此时计时器203-4输出对应的时间戳(即图8中的时间戳信号)。这里,列选择电路203的时钟信号与行仲裁电路202的时钟信号同步。表1示出了像素阵列201-1中包括行标识1-N的像素行,每个像素行包括K个像素组时,动态视觉传感器本次开始输出像素组情况下,计时器203-4输出对应的时间戳以及动态视觉传感器输出的每个像素组的位置信息和每个像素组内每个像素的光强值。
表1
一种可能的实施例中,行仲裁电路202还包括:控制模块202-4。当位置缓存模块203-1中的缓存空间小于第一像素组的行位置信息的数据空间时,位置缓存模块203-1还可以生成第一缓存失败信号,将第一缓存失败信号发送给控制模块202-4。和/或,当像素数据缓存模块203-2中的缓存空间小于第二信号中第一像素组中每个像素的光强值的数据空间时,像素数据缓存模块203-2还可以生成第二缓存失败信号,将第二缓存失败信号发送给控制模块202-4。
控制模块202-4在接收第一缓存失败信号和/或第二缓存失败信号后,首先根据第一缓存失败信号和/或第二缓存失败信号确定信号传输速率,然后接收到处理电路201-2发送的多个第五信号后,根据多个第五信号生成多个第五信号的响应信号。这里,任一个第五信号用于指示像素阵列中的第三像素行的光强值发生变化。最后按照信号传输速率向处理电路201-2发送多个第五信号的响应信号。可选的,信号传输速率可以是固定速率,也可以是不固定速率。当信号传输速率为固定速率时,本次信号传输结束后,可以通过等待指定时长后进行下次信号的传输。当信号传输速率为不固定速率时,本次信号传输结束后,可以直接进行下次信号的传输。
通过控制信号传输速率进而控制动态视觉传感器输出的数据量,解决了现有技术中动态视觉传感器输出数据稀疏的问题。
接下来介绍下像素阵列中每个像素行的像素组的数量的确定过程:假设动态视觉传感器的像素阵列201-1中每行像素数量是N=128个,每行包含K个像素组。如图9所示,将三个不同应用场景(圆、手掌、街道)的初始图像分别输入动态视觉传感器中,根据动态视觉传感器输出结果得到三个初始图像分别对应的三个恢复图像。图10示出了横坐标为每行像素组的数量,纵坐标为每个像素数据位宽情况下动态视觉传感器输出的像素数据量的示意图。假设每个像素数据位宽为W,像素组的行位置信息用log2 N表示,像素组的列位置信息用log2 K表示,像素组的数据位宽为(N/K)*W,那么第二信号的数据位宽用(log2 N+log2 K+(N/K)*W)表示。由图10可知,K越小,第二信号的数据位宽越大。图11示出了三个不同应用场景(圆、手掌、街道)分别在横坐标为每行像素组数量,纵坐标为输出像素组数情况下动态视觉传感器输出的像素数据量的示意图。由图11可知,K越小,动态视觉传感器输出的像素组数越少。且动态视觉传感器输出的数据量为动态视觉传感器输出的像素组数与每个像素组的第二信号的数据位宽的乘积。图12示出了三个不同应用场景(圆、手掌、街道)分别在K取不同数值情况下动态视觉传感器输出的像素数据量的示意图。由图12可知,当K取值为8、16、32、64中的任一个时,动态视觉传感器输出较少的像素数据量。其中,K取不同值时,从左到右依次显示的是街道、手掌和圆的动态视觉传感器输出的像素数据量的示意图。这里,可以通过将各个像素数据量中最小像素数据量对应的K确定为每个像素行包括的像素组的数量。
表2示出了不同像素阵列、行仲裁电路的时钟信号与列选择电路的时钟信号同步或者异步情况下,动态视觉传感器的输出带宽和输出延迟对比。其中,输出带宽由输出速率和动态视觉传感器一次输出像素组个数的乘积确定。通过采用行仲裁电路的时钟信号与列选择电路的时钟信号同步,提高了输出速率,通过按照像素组输出提高了动态视觉传感器一次输出像素组个数,因此具有更低的输出延迟。
表2
图13示出了多次激活动态视觉传感器的像素阵列中不同像素情况下,动态视觉传感器按照固定帧率输出和按照不固定帧率输出两种情况输出示意图。由图13可知,动态视觉传感器按照不固定帧率输出时,输出延迟较低。图14示出了动态视觉传感器按照固定帧率输出和按照不固定帧率输出两种情况输出功耗对比示意图。由图14可知,动态视觉传感器按照固定帧率输出时,功耗较低。通过控制信号传输速率进而控制动态视觉传感器的输出帧率,从而既可以实现按照固定帧率输出,也可以实现按照不固定帧率输出。
基于上述动态视觉传感器实施例,本申请实施例还提供一种电子设备,包括如上描述的任一设计的动态视觉传感器。
基于上述动态视觉传感器实施例,本申请实施例还提供一种动态视觉传感器输出像素信息的方法,该方法可以由动态视觉传感器执行。如图15所示,本申请提供的方法包括如下步骤:
S1501,检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号和第二信号;其中,第一像素组为像素阵列中任一个像素组;
S1502,根据第一信号确定第一像素组在像素阵列中的行位置信息;以及根据第二信号确定第一像素组所在像素行的列位置信息;
S1503,基于第一像素组在像素阵列中的行位置信息和第一像素组所在像素行的列位置信息,输出第一像素组在像素阵列中的位置信息。
一种可能的设计中,在步骤S1501中,生成第一信号和第二信号之后,方法还包括:
动态视觉传感器根据第一信号或者第二信号确定第一像素组中每个像素的光强值,输出第一像素组中每个像素的光强值。
一种可能的设计中,方法还包括:
动态视觉传感器检测到第二像素组中至少一个像素的光强值发生变化时,生成第三信号;其中,第二像素组和第一像素组所属的像素行不同;根据第三信号确定第二像素组在像素阵列中的行位置信息;基于第一像素组和第二像素组分别在像素阵列中的行位置信息,确定输出第一像素组和第二像素组的先后顺序。
一种可能的设计中,通过以下方法生成第一信号:
确定第一像素组中每个像素的像素信号;其中,第一像素组中第一像素的像素信号用于指示第一像素的光强值是否发生变化,第一像素为第一像素组中的任一个像素;对第一像素组中每个像素的像素信号进行逻辑计算,得到第一信号。
一种可能的设计中,方法还包括:
动态视觉传感器输出像素阵列中光强值变化的第一像素组的位置信息时,输出第一像素组对应的时间戳。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,当计算机指令被动态视觉传感器执行时,可以使得动态视觉传感器执行上述设计的动态视觉传感器输出像素信息的任一方法。
本申请实施例还提供一种计算机程序产品,包括计算机指令,当计算机指令被动态视觉传感器执行时,可以使得动态视觉传感器执行上述设计的动态视觉传感器输出像素信息的任一方法。
也就是说,本申请提供的动态视觉传感器执行上述设计的动态视觉传感器输出像素信息的任一方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序代码在计算机设备上或电路产品上运行时,程序代码用于使计算机设备执行本说明书上述描述的动态视觉传感器执行上述设计的动态视觉传感器输出像素信息的任一方法。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (28)

1.一种芯片,其特征在于,包括:像素阵列和处理电路;所述像素阵列中的每个像素行均包括至少两个像素组,每个像素组包含多个像素;
所述处理电路,用于检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号;其中,所述第一信号包括所述第一像素组在所述像素阵列中的行位置信息;所述第一像素组为所述像素阵列中任一个像素组;
所述处理电路,还用于生成第二信号;所述第二信号包括所述第一像素组所在像素行的列位置信息;
将所述第一信号、所述第二信号发送给像素输出电路;所述第一信号、所述第二信号用于使所述像素输出电路输出所述像素阵列中光强值变化的第一像素组的位置信息。
2.如权利要求1所述的芯片,其特征在于,通过如下方式确定所述像素阵列中的每个像素行包括的像素组的数量:
针对每个预设的初始组数,基于所述像素阵列的列数、像素数据的位宽和所述像素阵列中所述第一像素组的个数,确定所述初始组数对应的像素数据量;
确定各个像素数据量中最小像素数据量对应的初始组数为每个像素行包括的像素组的数量。
3.如权利要求1或2所述的芯片,其特征在于,所述像素阵列包括M*N个像素,其中,M为所述像素阵列的行数,N为所述像素阵列的列数,M和N均为正整数。
4.如权利要求1-3任一所述的芯片,其特征在于,所述处理电路,具体用于:
所述第一像素组中像素变化的光强值大于预设阈值的情况下,确定所述像素的光强值发生变化,所述预设阈值为像素光强值的5%至像素光强值的30%中的任一数值。
5.如权利要求1-4任一所述的芯片,其特征在于,所述处理电路中的所述第一信号指示所述第一像素组的光强值发生变化。
6.如权利要求1-5任一所述的芯片,其特征在于,所述处理电路,具体用于:
通过所述第一信号或者所述第二信号将所述第一像素组中每个像素的光强值发送给所述像素输出电路,以使所述像素输出电路输出所述第一像素组中每个像素的光强值。
7.如权利要求1-6任一所述的芯片,其特征在于,所述处理电路,具体用于:
确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;
对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。
8.如权利要求1-7任一所述的芯片,其特征在于,所述处理电路,具体用于:
将所述第一信号发送给像素输出电路之后,接收所述像素输出电路发送的所述第一信号的响应信号;
基于所述第一信号的响应信号,将所述第二信号发送给所述像素输出电路。
9.如权利要求1-8任一所述的芯片,其特征在于,所述芯片还包括:行仲裁电路;
所述行仲裁电路,用于根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;
按照所述先后顺序对所述第一信号以及所述第三信号进行处理;
所述第三信号用于指示所述第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同。
10.如权利要求9所述的芯片,其特征在于,所述行仲裁电路包括:子仲裁器、处理器;
所述子仲裁器,用于根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;
所述处理器,用于按照所述先后顺序对所述第一信号以及所述第三信号进行处理。
11.如权利要求1-8任一所述的芯片,其特征在于,所述芯片还包括:行仲裁电路;
所述行仲裁电路,用于接收所述处理电路发送的所述第一信号以及至少一个第三信号;所述第三信号用于指示第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同;
分别生成所述第一信号的响应信号、所述第三信号的响应信号;
确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序;
按照所述第一先后顺序向所述处理电路发送所述第一信号的响应信号、所述第三信号的响应信号,以使所述处理电路将所述第二信号发送给所述像素输出电路;以及将第四信号发送给所述像素输出电路;所述第四信号包括所述第二像素组所在像素行的列位置信息。
12.如权利要求11所述的芯片,其特征在于,所述行仲裁电路包括:子仲裁器、处理器;
所述处理器,用于接收所述处理电路发送的所述第一信号以及所述至少一个第三信号;根据所述第一信号生成第一请求信号;根据所述第三信号生成第二请求信号;
所述子仲裁器,用于根据所述处理器发送的所述第一请求信号和所述第二请求信号,确定向所述处理器发送所述第一请求信号的响应信号和所述第二请求信号的响应信号的第二先后顺序;按照所述第二先后顺序向所述处理器发送所述第一请求信号的响应信号、所述第二请求信号的响应信号;
所述处理器,还用于接收所述子仲裁器发送的所述第一请求信号的响应信号后,对所述第一信号进行处理得到所述第一信号的响应信号;以及接收所述子仲裁器发送的所述第二请求信号的响应信号后,对所述第三信号进行处理得到所述第三信号的响应信号。
13.如权利要求11或12所述的芯片,其特征在于,所述行仲裁电路,具体用于:
根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及所述第三信号中包括的所述第二像素组在所述像素阵列中的行位置信息,确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序。
14.一种动态视觉传感器,其特征在于,包括:如权利要求9-10或权利要求11-13任一所述的芯片和像素输出电路;其中,所述行仲裁电路的时钟信号和所述像素输出电路的时钟信号同步。
15.一种动态视觉传感器,其特征在于,包括:如权利要求1-8任一所述的芯片、像素输出电路;所述像素输出电路包括:行仲裁电路和列选择电路;其中,所述行仲裁电路的时钟信号和所述列选择电路的时钟信号同步;
所述行仲裁电路,用于接收所述芯片中的处理电路发送的所述第一信号;根据所述第一信号确定所述第一像素组在所述像素阵列中的行位置信息;将所述第一像素组在所述像素阵列中的行位置信息发送给所述列选择电路;
所述列选择电路,用于接收所述处理电路发送的所述第二信号,以及接收所述行仲裁电路发送的所述第一像素组在所述像素阵列中的行位置信息;根据所述第二信号确定所述第一像素组所在像素行的列位置信息;输出所述第一像素组在像素阵列中的位置信息。
16.如权利要求15所述的动态视觉传感器,其特征在于,
所述行仲裁电路,还用于:接收所述处理电路发送的至少一个第三信号;其中,所述第三信号用于指示第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同;分别生成所述第一信号的响应信号、所述第三信号的响应信号;确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序;按照所述第一先后顺序向所述处理电路发送所述第一信号的响应信号、所述第三信号的响应信号;
所述处理电路,还用于接收所述行仲裁电路发送的所述第一信号的响应信号后,将所述第二信号发送给所述列选择电路;以及接收所述行仲裁电路发送的所述第三信号的响应信号后,将第四信号发送给所述列选择电路;所述第四信号包括所述第二像素组所在像素行的列位置信息。
17.如权利要求15或16所述的动态视觉传感器,其特征在于,所述行仲裁电路包括:子仲裁器、处理器;
所述处理器,用于接收所述处理电路发送的所述第一信号以及所述至少一个第三信号;根据所述第一信号生成第一请求信号;根据所述第三信号生成第二请求信号;
所述子仲裁器,用于根据所述处理器发送的所述第一请求信号和所述第二请求信号,确定向所述处理器发送所述第一请求信号的响应信号和所述第二请求信号的响应信号的第二先后顺序;按照所述第二先后顺序向所述处理器发送所述第一请求信号的响应信号、所述第二请求信号的响应信号;
所述处理器,还用于接收所述子仲裁器发送的所述第一请求信号的响应信号后,对所述第一信号进行处理得到所述第一信号的响应信号;以及接收所述子仲裁器发送的所述第二请求信号的响应信号后,对所述第三信号进行处理得到所述第三信号的响应信号。
18.如权利要求16或17所述的动态视觉传感器,其特征在于,所述行仲裁电路,具体用于:
根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及所述第三信号中包括的所述第二像素组在所述像素阵列中的行位置信息,确定向所述处理电路发送所述第一信号的响应信号和所述第三信号的响应信号的第一先后顺序。
19.如权利要求15所述的动态视觉传感器,其特征在于,
所述行仲裁电路,还用于:根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;按照所述先后顺序对所述第一信号以及所述第三信号进行处理;所述第三信号用于指示所述第二像素组的光强值发生变化;所述第二像素组和所述第一像素组所属的像素行不同。
20.如权利要求19所述的动态视觉传感器,其特征在于,所述行仲裁电路包括:子仲裁器、处理器;
所述子仲裁器,用于根据所述第一信号中包括的所述第一像素组在所述像素阵列中的行位置信息,以及第三信号中包括的第二像素组在所述像素阵列中的行位置信息,确定对所述第一信号以及所述第三信号进行处理的先后顺序;
所述处理器,用于按照所述先后顺序对所述第一信号以及所述第三信号进行处理。
21.如权利要求15-18任一所述的动态视觉传感器,其特征在于,所述列选择电路包括:位置缓存模块;
所述位置缓存模块,用于:
对所述第一像素组在所述像素阵列中的行位置信息进行缓存;
在所述位置缓存模块中的缓存空间小于所述第一像素组在所述像素阵列中的行位置信息的数据空间时,生成缓存失败信号;
所述行仲裁电路,还用于:接收所述位置缓存模块发送的所述缓存失败信号;根据所述缓存失败信号确定信号传输速率;接收所述处理电路发送的多个第五信号,任一个第五信号用于指示所述像素阵列中的第三像素行的光强值发生变化;根据所述多个第五信号生成多个第五信号的响应信号;按照所述信号传输速率向所述处理电路发送所述多个第五信号的响应信号。
22.如权利要求15-18任一所述的动态视觉传感器,其特征在于,所述列选择电路,具体用于:
输出所述像素阵列中光强值变化的第一像素组的位置信息时,输出所述第一像素组对应的时间戳。
23.一种电子设备,其特征在于,包括:如权利要求14-22任一所述的动态视觉传感器。
24.一种动态视觉传感器输出像素信息的方法,其特征在于,应用于如权利要求14-22任一所述的动态视觉传感器,所述方法包括:
检测到第一像素组中至少一个像素的光强值发生变化时,生成第一信号和第二信号;其中,所述第一像素组为所述像素阵列中任一个像素组;
根据所述第一信号确定所述第一像素组在所述像素阵列中的行位置信息;以及根据所述第二信号确定所述第一像素组所在像素行的列位置信息;
基于所述第一像素组在所述像素阵列中的行位置信息和所述第一像素组所在像素行的列位置信息,输出所述第一像素组在像素阵列中的位置信息。
25.如权利要求24所述的方法,其特征在于,所述生成第一信号和第二信号之后,所述方法还包括:
根据所述第一信号或者所述第二信号确定所述第一像素组中每个像素的光强值,输出所述第一像素组中每个像素的光强值。
26.如权利要求24或25所述的方法,其特征在于,所述方法还包括:
检测到第二像素组中至少一个像素的光强值发生变化时,生成第三信号;其中,所述第二像素组和所述第一像素组所属的像素行不同;
根据所述第三信号确定所述第二像素组在所述像素阵列中的行位置信息;
基于所述第一像素组和所述第二像素组分别在所述像素阵列中的行位置信息,确定输出所述第一像素组和所述第二像素组的先后顺序。
27.如权利要求24-26任一所述的方法,其特征在于,通过以下方法生成第一信号:
确定所述第一像素组中每个像素的像素信号;其中,所述第一像素组中第一像素的像素信号用于指示所述第一像素的光强值是否发生变化,所述第一像素为所述第一像素组中的任一个像素;
对所述第一像素组中每个像素的像素信号进行逻辑计算,得到所述第一信号。
28.如权利要求24-27任一所述的方法,其特征在于,所述方法还包括:
输出所述像素阵列中光强值变化的第一像素组的位置信息时,输出所述第一像素组对应的时间戳。
CN202210610044.0A 2022-05-31 2022-05-31 一种芯片、动态视觉传感器及输出像素信息的方法 Pending CN117221752A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210610044.0A CN117221752A (zh) 2022-05-31 2022-05-31 一种芯片、动态视觉传感器及输出像素信息的方法
PCT/CN2023/095785 WO2023231838A1 (zh) 2022-05-31 2023-05-23 一种芯片、动态视觉传感器及输出像素信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210610044.0A CN117221752A (zh) 2022-05-31 2022-05-31 一种芯片、动态视觉传感器及输出像素信息的方法

Publications (1)

Publication Number Publication Date
CN117221752A true CN117221752A (zh) 2023-12-12

Family

ID=89026887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210610044.0A Pending CN117221752A (zh) 2022-05-31 2022-05-31 一种芯片、动态视觉传感器及输出像素信息的方法

Country Status (2)

Country Link
CN (1) CN117221752A (zh)
WO (1) WO2023231838A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4983359B2 (ja) * 2006-12-08 2012-07-25 カシオ計算機株式会社 撮像装置及び撮像方法
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
US11050964B1 (en) * 2020-01-21 2021-06-29 Bae Systems Information And Electronic Systems Integration Inc. Sensor readout with timestamp calibration
CN114071040A (zh) * 2020-07-31 2022-02-18 宁波飞芯电子科技有限公司 一种图像传感器和读出信号的方法

Also Published As

Publication number Publication date
WO2023231838A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
US11023391B2 (en) Apparatus for data processing, artificial intelligence chip and electronic device
EP2770477B1 (en) Dynamically reconfigurable pipelined pre-processor
US6329996B1 (en) Method and apparatus for synchronizing graphics pipelines
US20060161720A1 (en) Image data transmission method and system with DMAC
US8412864B2 (en) Information processing apparatus and information processing method
US9378533B2 (en) Central processing unit, GPU simulation method thereof, and computing system including the same
CN112100097B (zh) 多测试通道优先级自适应仲裁方法和存储器访问控制器
JPS6145369A (ja) デジタルイメ−ジフレ−ムプロセツサ
EP3270371A1 (en) Method and apparatus for managing graphics layers within a graphics display component
JP7273975B2 (ja) データ処理の方法、装置、機器及び記憶媒体
US20100026691A1 (en) Method and system for processing graphics data through a series of graphics processors
CN117221752A (zh) 一种芯片、动态视觉传感器及输出像素信息的方法
US20170046294A1 (en) Information processing apparatus and method of transferring data
CN102625086A (zh) 一种用于高清数字矩阵的ddr2存储方法和系统
CN114363478B (zh) 信号处理单元、方法、加速单元、电子设备和片上系统
CN114416010A (zh) 图像的显示方法及装置、电子设备、存储介质
CN112995559B (zh) 视频处理方法、装置及系统、显示控制器和显示控制系统
CN116916095B (zh) 一种云视频的平滑显示方法、装置、设备及存储介质
CN113672413B (zh) 独立显卡的数据流控制方法、装置和独立显卡
KR950012663B1 (ko) 크로스바 망을 이용한 화상 시스템 및 그 시스템의 엑세스 제어방법
WO1987000658A1 (en) Priority resolution system and video display apparatus
RU215288U1 (ru) Процессорный модуль для многофункциональных дисплеев
CN114339379B (zh) 多窗口超低延迟视频信号处理方法、装置、设备及介质
CN115885309A (zh) 一种显示系统及显示设备
CN117950827A (zh) 计算设备、计算任务处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination