CN112261297B - 动态视觉传感器的控制方法、装置和电子设备 - Google Patents
动态视觉传感器的控制方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112261297B CN112261297B CN202011138633.0A CN202011138633A CN112261297B CN 112261297 B CN112261297 B CN 112261297B CN 202011138633 A CN202011138633 A CN 202011138633A CN 112261297 B CN112261297 B CN 112261297B
- Authority
- CN
- China
- Prior art keywords
- pixel
- frame rate
- vision sensor
- dynamic vision
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000004913 activation Effects 0.000 claims abstract description 322
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 28
- 230000000694 effects Effects 0.000 abstract description 17
- 230000003287 optical effect Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种动态视觉传感器的控制方法、装置、电子设备和可读存储介质,属于传感器领域。该控制方法包括:获取动态视觉传感器的输出帧率;根据输出帧率,生成用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值的控制信号;向动态视觉传感器发送用于提高动态视觉传感器的输出帧率的控制信号。本发明实施例的技术方案,能够根据获取的输出帧率生成调整激活属性和/或像素激活电压的控制信号并发送至动态视觉传感器,提高了动态视觉传感器的输出帧率,进而提高动态视觉传感器的追踪效果和高速输出效果。
Description
技术领域
本发明属于传感器领域,具体涉及一种动态视觉传感器的控制方法、装置、电子设备和可读存储介质。
背景技术
动态视觉传感器(Dynamic Vision Sensors,DVS)是以事件驱动型(event-driven)的光电传感器。DVS的像素阵列中的各个像素均独立获取光信号并输出对应的像素激活事件的数据。DVS可用于检测手势识别,拍摄慢动作等。在实现本发明过程中,发明人发现现有技术中至少存在如下问题:当DVS的应用场景中出现大面积亮度变化时,DVS发生的像素激活事件数量较多,输出大量像素激活事件的数据耗时较长,导致DVS的功耗增加,输出帧率下降,冗余信息增加,降低了DVS的追踪效果和高速输出效果。
发明内容
本发明实施例的目的是提供一种动态视觉传感器的控制方法、装置、电子设备和可读存储介质,能够解决大面积亮度变化导致动态视觉传感器的帧率下降的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种动态视觉传感器的控制方法,该方法包括:
获取动态视觉传感器的输出帧率;
根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值;其中,激活属性包括允许被激活或不允许被激活;
向动态视觉传感器发送控制信号;
其中,控制信号用于提高动态视觉传感器的输出帧率。
第二方面,本发明实施例提供了一种动态视觉传感器的控制装置,该装置包括:
帧率获取模块,用于获取动态视觉传感器的输出帧率;
控制信号生成模块,用于根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值;其中,激活属性包括允许被激活或不允许被激活;
控制信号发送模块,用于向动态视觉传感器发送控制信号;其中,控制信号用于提高动态视觉传感器的输出帧率。
第三方面,本发明实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的动态视觉传感器的控制方法的步骤。
第四方面,本发明实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的动态视觉传感器的控制方法的步骤。
第五方面,本发明实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的动态视觉传感器的控制方法的步骤。
在本发明实施例中,首先,获取动态视觉传感器的输出帧率;接着,根据输出帧率,生成用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值的控制信号;最后,向动态视觉传感器发送用于提高动态视觉传感器的输出帧率的控制信号。通过本发明实施例,能够根据获取的输出帧率生成调整激活属性和/或像素激活电压的控制信号并发送至动态视觉传感器,提高了动态视觉传感器的输出帧率,进而提高动态视觉传感器的追踪效果和高速输出效果。
附图说明
图1是本发明一实施例提供的一种动态视觉传感器的控制方法的流程示意图;
图2是本发明一实施例提供的一种动态视觉传感器的控制装置的示意框图;
图3是本发明一实施例提供的调整动态视觉传感器的像素阵列中各个像素的激活属性的像素阵列示意图;
图4是本发明一实施例提供的调整动态视觉传感器的像素阵列中各个像素的激活电压阈值的电压示意图;
图5是本发明一实施例提供的动态视觉传感器的控制装置的示意框图;
图6是是本发明一实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本发明实施例提供的动态视觉传感器的控制方法进行详细地说明。
图1是本发明一实施例提供的一种动态视觉传感器的控制方法的流程示意图。
参照图1所示,步骤S102,获取动态视觉传感器的输出帧率。
本实施例中,动态视觉传感器包含且不限于:像素阵列,行编码模块,列编码模块,信号处理器,输出模式控制器,控制器等。
动态视觉传感器(Dynamic Vision Sensors,DVS)的像素阵列中各个像素独立获取光信号,将光信号转化为电压,光照强度发生变化时,电压也随之变化。动态视觉传感器根据电压的变化值与激活电压阈值,生成像素激活事件信号,该像素激活事件信号包括光增强事件信号(ON信号)和光减弱事件信号(OFF信号)。在各个像素输出像素激活事件信号后,动态视觉传感器生成该像素激活事件信号对应的像素激活事件的数据,包含且不限于:输出该像素激活事件信号的像素在像素阵列的物理坐标(x,y),该像素激活事件的极性信息P,该像素激活事件的发生时间t。其中,极性信息P用于表示该像素激活事件是光增强事件(例如,极性信息为1)还是光减弱事件(例如,极性信息为0)。
动态视觉传感器生成该像素激活事件信号对应的像素激活事件的数据的过程可通过如下方式实现:发送像素激活事件的像素向列编码输出模块发出请求(CR),列编码模块接受请求发出确认信号(ACK),并将相应像素的极性信息输入行编码模块,行编码模块可以生成行地址信息和时间戳;行编码模块控制reset信号,控制生成复位信号。
动态视觉传感器发生的像素激活事件的数据通过多路复用电路集中到一条复用通道上,该通道以像素激活事件为横坐标记录输出该像素激活事件的像素在像素阵列的物理坐标、该像素激活事件的极性以及发生时间;通过仲裁电路裁决发生时间冲突的各个像素激活事件的输出顺序,再通过多路分配电路输出。因此,动态视觉传感器在同一时间点发生的像素激活事件越多,输出的像素激活事件的数据越多,耗时越长,导致帧率越低。
根据动态视觉传感器输出的像素激活事件的数据,确定动态视觉传感器的输出帧率。具体地,通过动态视觉传感器输出的像素激活事件的数据,计算得到一帧的时间,再根据一帧的时间计算出输出帧率。
步骤S104,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值;其中,激活属性包括允许被激活或不允许被激活。
其中,激活属性为允许激活的像素能够发生像素激活事件并输出该像素激活事件的数据;激活属性为不允许激活的像素无法发生像素激活事件,进而也无法输出该像素激活事件的数据。激活电压阈值用于判断像素是否发生像素激活事件。针对动态视觉传感器的像素阵列中的每个像素,若该像素的像素电路结构的电压变化值超过激活电压阈值,则发生一个像素激活事件;若该像素的像素电路结构的电压变化值未超过激活电压阈值,则未发生像素激活事件。像素激活事件包括光增强事件和光减弱事件,当电压的增大值超过激活电压阈值时,则该增大值对应的像素激活事件为光增强事件,当电压的减小值超过激活电压阈值时,则该减小值对应的像素激活事件为光减弱事件。
需要注意的是,电子设备的处理器可以发送只用于调整动态视觉传感器的像素阵列中各个像素的激活属性的控制信号到动态视觉传感器,也可以发送只用于调整动态视觉传感器的像素阵列中各个像素的激活电压阈值的控制信号到动态视觉传感器,还可以将两种不同的控制信号一起发送到动态视觉传感器。
可选的,根据动态视觉传感器的输出帧率,生成控制信号,包括:在动态视觉传感器的输出帧率小于等于预设帧率阈值的情况下,生成控制信号。
电子设备的处理器判断动态视觉传感器的输出帧率与预设帧率阈值,若输出帧率小于等于预设帧率阈值,则生成控制信号;若输出帧率大于预设帧率阈值,则不进行任何控制操作。
若输出帧率小于等于预设帧率阈值,说明输出帧率过低,影响到动态视觉传感器的追踪效果和高速输出效果,有必要对动态视觉传感器进行控制。若输出帧率大于预设帧率阈值,说明输出帧率高,能够满足动态视觉传感器的使用者的需求,无需改变。
在一种可选的实施例中,动态视觉传感器的输出帧率为第一输出帧率,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性,包括:从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与第一输出帧率对应的第一目标像素的位置信息;根据第一目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第一目标像素的激活属性调整为不允许被激活。
前述的第一目标像素的位置信息用于表示在第一输出帧率下,动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置,可参照图3所示。具体地,该第一目标像素的位置关系如下所述:
动态视觉传感器的像素阵列被划分为至少一个像素区域;每个像素区域包含多个像素。动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置满足如下条件:每个像素区域均包含至少一个激活属性为允许激活的像素与至少一个激活属性为不允许激活的像素,且,每个像素区域中激活属性为不允许激活的像素在各个像素区域内的数量与位置相同。
例如,动态视觉传感器的像素阵列被划分为多个像素区域,每个像素区域均包括按照2行2列分布的4个像素,每个像素区域均包含一个激活属性为允许激活的像素与三个激活属性为不允许激活的像素。且,每个像素区域中激活属性为不允许激活的像素在各自的像素区域内的位置相同,都在该像素区域的左上区域、左下区域以及右上区域;每个像素区域中激活属性为允许激活的像素在各自的像素区域内的位置相同,都在该像素区域的右下区域。
在一个实施例中,电子设备的处理器在第一输出帧率小于等于预设帧率阈值的情况下,从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与第一输出帧率对应的第一目标像素的位置信息;根据第一目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第一目标像素的激活属性调整为不允许被激活。即,电子设备的处理器执行如下步骤:首先,判断第一输出帧率是否小于等于预设帧率阈值;接着,根据第一输出帧率确定第一目标像素的位置信息;最后,根据第一目标像素的位置信息,生成控制信号。
在另一实施例中,电子设备的处理器无需执行比较第一输出帧率与预设帧率阈值的步骤,直接执行从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与第一输出帧率对应的第一目标像素的位置信息;根据第一目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第一目标像素的激活属性调整为不允许被激活。该实施例中,输出帧率与像素的位置信息之间的对应关系中,例如,输出帧率1对应的像素的位置信息满足:像素阵列中不允许激活的像素为空,即各个像素的激活属性均为允许激活。若第一目标像素不存在,即第一目标像素的位置信息满足像素阵列中不允许激活的像素为空,则生成的控制信号为空,即无需发出控制信号。
可选的,从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与第一输出帧率对应的第一目标像素的位置信息,包括:从预设的多个帧率范围中确定第一输出帧率所属的第一帧率范围;在预先设置的帧率范围与像素的位置信息之间的对应关系中,通过第一帧率范围查询得到目标像素的位置信息;将目标像素的位置信息确定为与第一输出帧率对应的第一目标像素的位置信息。
从预设的多个帧率范围中确定第一输出帧率所属的第一帧率范围,例如,预先确定的多个帧率范围为:帧率范围1,大于0小于等于200帧/秒;帧率范围2,大于200小于等于400帧/秒;帧率范围3,大于400帧每秒。第一输出帧率为242帧/秒,则确定第一帧率范围帧率范围为帧率范围2(大于200小于等于400帧/秒)。
在预先设置的帧率范围与像素的位置信息之间的对应关系中,通过第一帧率范围查询得到目标像素的位置信息,包括:从预先设置的帧率范围与输出模式之间的对应关系中,通过第一帧率范围查询得到目标输出模式,目标输出模式包含目标像素的位置信息。
目标输出模式包含目标像素的位置信息,例如,输出模式1包含的位置信息,具体为:每2x2个像素组成的像素区域中仅一个像素可输出像素激活事件的数据,其他三个像素不可输出像素激活事件的数据,一个可输出像素激活事件的数据的像素位于该像素区域的右下区域,其他三个不可输出像素激活事件的数据的像素位于该像素区域的左上区域、左下区域以及右上区域,每个像素区域中不可输出像素激活事件的数据的3个像素在该像素区域内的位置相同。
又例如,输出模式2包含的位置信息,具体为:每2x3个像素组成的像素区域中仅一个像素可输出像素激活事件的数据,其他五个像素不可输出像素激活事件的数据,一个可输出像素激活事件的数据的像素位于该像素区域的左上区域,其他五个不可输出像素激活事件的数据的像素位于该像素区域的左中区域、左下区域、右上区域、右中区域以及右下区域,每个像素区域中不可输出像素激活事件的数据的5个像素在该像素区域内的位置相同。则与输出模式2对应的目标像素位置信息用于表示动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置为每个由2x3个像素组成的像素区域中的左中区域、左下区域、右上区域、右中区域以及右下区域。
输出模式可以是每2n个像素中仅1个像素可输出像素激活事件的数据,n为1,2,3,4,也可以是每n2个像素中仅1个像素可输出像素激活事件的数据,可以是每n x m个像素中仅一个像素可输出像素激活事件的数据(n和m为非零自然数),还可以是每a x b个像素中仅c个像素可输出像素激活事件的数据(a、b、c为非零自然数)。本发明不对输出模式的形式进行特殊限定。各个输出模式通常预先设置了动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置。
预先设置的帧率范围与输出模式之间的对应关系,例如,帧率范围1对应于输出模式1,帧率范围2对应于输出模式2,帧率范围3对应于输出模式3。则可根据第一帧率范围确定对应的输出模式,将确定的输出模式包含的目标像素的位置信息确定为与第一输出帧率对应的第一目标像素的位置信息。例如,由第一输出帧率242帧/秒确定帧率范围2,帧率范围2对应于输出模式2,输出模式2包含的目标像素的位置信息为与242帧/秒对应的第一目标像素的位置信息,具体为:像素阵列被划分为多个由2x3个像素组成的像素区域,其中,每个像素区域的左中区域、左下区域、右上区域、右中区域以及右下区域为不允许激活的像素的位置,左上区域为允许激活的像素的位置。
在另一实施例中,也可以不预先设置输出模式,而是直接设置帧率范围与像素位置信息之间的对应关系,再将第一帧率范围对应的目标像素的位置信息确定为第一输出帧率对应的第一目标像素的位置信息。例如,根据帧率范围2确定对应的目标像素的位置信息,具体为:像素阵列被划分为多个由2x3个像素组成的像素区域,其中,每个像素区域的左中区域、左下区域、右上区域、右中区域以及右下区域为不允许被激活的像素的位置。该位置信息为与242帧/秒对应的第一目标像素的位置信息。
根据第一目标像素的位置信息,生成控制信号,所述控制信号用于控制所述动态视觉传感器将所述第一目标像素的激活属性调整为不允许被激活,包括:根据第一目标像素的位置信息与动态视觉传感器的像素阵列中各个像素的激活属性,确定动态视觉传感器的像素阵列中的待调整像素、待调整像素的位置和待调整像素对应的激活状态调整方式;根据待调整像素的位置和待调整像素对应的激活状态调整方式,生成控制信号,激活状态调整方式包括,将激活属性从允许激活调整为不允许激活。根据目标像素位置信息与动态视觉传感器的像素阵列中各个像素的激活属性,确定动态视觉传感器的像素阵列中的待调整像素、待调整像素的位置和待调整像素对应的激活状态调整方式,例如,原本,动态视觉传感器的像素阵列中的各个像素的激活属性均为允许激活,而目标像素位置信息用于表示动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置为每个由2x3个像素组成的像素区域中的左中区域、左下区域、右上区域、右中区域以及右下区域,则动态视觉传感器的像素阵列中的待调整像素为各个由2x3个像素组成的像素区域中的左中区域、左下区域、右上区域、右中区域以及右下区域分别对应的5个像素,其调整方式为将该像素的激活属性从允许激活调整为不允许激活。
在另一示例中,激活状态调整方式除从允许激活调整为不允许激活外,还可以是将激活属性从不允许激活调整为允许激活。例如,原本,动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置为每个由2x2个像素组成的像素区域中的左上区域、左下区域以及右上区域,而目标像素位置信息用于表示动态视觉传感器的像素阵列中激活属性为不允许激活的像素的位置为每个由2x3个像素组成的像素区域中的左中区域、左下区域、右上区域、右中区域以及右下区域,则可确定动态视觉传感器的像素阵列中的待调整像素、待调整像素的位置和待调整像素对应的激活状态调整方式。其中,一部分待调整像素对应的激活状态调整方式为将该像素的激活属性从允许激活调整为不允许激活;另一部分待调整像素对应的激活状态调整方式为将该像素的激活属性从不允许激活调整为允许激活。
在一种可选的实施例中,动态视觉传感器的输出帧率为第二输出帧率,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活电压阈值,包括:从预先确定的输出帧率与激活电压阈值之间的对应关系中,查找与第二输出帧率对应的目标激活电压阈值;根据目标激活电压阈值,生成控制信号;控制信号用于控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值。
在本实施例中,从预先确定的输出帧率与激活电压阈值之间的对应关系中,查找与动态视觉传感器的输出帧率对应的目标激活电压阈值,包括:从预先确定的多个帧率范围中,确定动态视觉传感器的输出帧率所属的目标帧率范围;从预先确定的帧率范围与激活电压阈值之间的对应关系中,查找目标帧率范围对应的目标激活电压阈值;将目标帧率范围对应的目标激活电压阈值确定为动态视觉传感器的输出帧率对应的目标激活电压阈值。
预先确定的多个帧率范围,例如,帧率范围1,大于0小于等于200帧/秒;帧率范围2,大于200小于等于400帧/秒;帧率范围3,大于400帧每秒。动态视觉传感器的输出帧率为242帧/秒,则确定该输出帧率所属的目标帧率范围为帧率范围2(大于200小于等于400帧/秒)。
预先确定的帧率范围与激活电压阈值之间的对应关系,例如,帧率范围1对应20V,帧率范围2对应10V,帧率范围3对应5V。当目标帧率范围为帧率范围2,则将目标帧率范围对应的目标激活电压阈值,即帧率范围2对应的10V确定为输出帧率242帧/秒对应的目标激活电压阈值。
根据目标激活电压阈值,生成控制信号;控制信号用于控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值。例如,根据目标激活电压阈值10V,生成控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为10V的控制信号。
在一个实施例中,电子设备的处理器在第二输出帧率小于等于预设帧率阈值的情况下,从预先确定的输出帧率与激活电压阈值之间的对应关系中,查找与第二输出帧率对应的目标激活电压阈值;根据目标激活电压阈值,生成控制信号;控制信号用于控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值。即,电子设备的处理器执行如下步骤:首先,判断第二输出帧率是否小于等于预设帧率阈值;接着,根据第二输出帧率确定目标激活电压阈值;最后,根据目标激活电压阈值,生成控制信号。
在另一实施例中,电子设备的处理器无需执行比较第二输出帧率与预设帧率阈值的步骤,直接执行从预先确定的输出帧率与激活电压阈值之间的对应关系中,查找与第二输出帧率对应的目标激活电压阈值;根据目标激活电压阈值,生成控制信号;控制信号用于控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值。该实施例中,输出帧率与像素阵列中的像素数量之间的对应关系中,例如,输出帧率1对应的激活电压阈值为预设字符。若目标激活电压阈值为预设字符,则意味着激活电压阈值无需调整,故生成的控制信号为空,即无需发出控制信号。
在一种可选的实施例中,动态视觉传感器的输出帧率为第三输出帧率,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性,包括:从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与第三输出帧率对应的目标像素数量;其中,在第三输出帧率下,动态视觉传感器的像素阵列中,目标像素数量中仅存在一个允许被激活的像素;根据目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;第二目标像素的位置信息用于表示,以目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;根据第二目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第二目标像素的激活属性调整为不允许被激活。
在一个实施例中,电子设备的处理器在第三输出帧率小于等于预设帧率阈值的情况下,从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与第三输出帧率对应的目标像素数量;其中,在第三输出帧率下,动态视觉传感器的像素阵列中,目标像素数量中仅存在一个允许被激活的像素;根据目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;第二目标像素的位置信息用于表示,以目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;根据第二目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第二目标像素的激活属性调整为不允许被激活。即,电子设备的处理器执行如下步骤:首先,判断第三输出帧率是否小于等于预设帧率阈值;接着,根据第三输出帧率确定目标像素数量;再根据目标像素数量确定第二目标像素的位置信息;最后,根据第二目标像素的位置信息,生成控制信号。
在另一实施例中,电子设备的处理器无需执行比较第三输出帧率与预设帧率阈值的步骤,直接执行从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与第三输出帧率对应的目标像素数量;其中,在第三输出帧率下,动态视觉传感器的像素阵列中,目标像素数量中仅存在一个允许被激活的像素;根据目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;第二目标像素的位置信息用于表示,以目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;根据第二目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第二目标像素的激活属性调整为不允许被激活。该实施例中,输出帧率与像素阵列中的像素数量之间的对应关系中,例如,输出帧率1对应的像素数量为0。若目标像素数量为0,则意味着不存在不允许激活的像素,故生成的控制信号为空,即无需发出控制信号。
从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与第三输出帧率对应的目标像素数量,包括:从预设的多个帧率范围中确定第三输出帧率所属的第三帧率范围;在预先设置的帧率范围与像素数量的对应关系中,通过第三帧率范围查询得到目标像素数量。
例如,从预设的多个帧率范围中确定第三输出帧率所属的第三帧率范围,例如,预先确定的多个帧率范围为:帧率范围1,大于0小于等于200帧/秒;帧率范围2,大于200小于等于400帧/秒;帧率范围3,大于400帧每秒。第三输出帧率为242帧/秒,则确定第三帧率范围帧率范围为帧率范围2(大于200小于等于400帧/秒)。
预先设置的帧率范围与像素数量的对应关系,例如,帧率范围1对应像素数量4,帧率范围2对应像素数量9,帧率范围3对应像素数量16。则通过第三帧率范围为帧率范围2,可查询得到目标像素数量为9。目标像素数量为9指的是动态视觉传感器的像素阵列中,9个像素中仅存在一个允许被激活的像素。
根据目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息,例如,目标像素数量为9,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息,具体为,像素阵列被划分为多个由3x3个像素组成的像素区域,其中,每个像素区域的左中区域、左下区域、中上区域、中中区域、中下区域、右上区域、右中区域以及右下区域为不允许激活的像素的位置,左上区域为允许激活的像素的位置。
步骤S106,向动态视觉传感器发送控制信号;其中,控制信号用于提高动态视觉传感器的输出帧率。
步骤S106由电子设备的处理器执行。控制信号包含且不限于:
(a1)上述步骤S104中根据第一输出帧率生成的控制信号;
(a2)上述步骤S104中根据第二输出帧率生成的控制信号;
(a3)上述步骤S104中根据第三输出帧率生成的控制信号;
(a4)上述步骤S104中根据第一输出帧率生成的控制信号和根据第二输出帧率生成的控制信号;
(a5)上述步骤S104中根据第二输出帧率生成的控制信号和根据第三输出帧率生成的控制信号。
可选的,动态视觉传感器的控制方法还可以执行如下步骤:在像素阵列中第一目标像素的激活属性被调整为不允许被激活后,获取光信号;根据像素的激活电压阈值与像素阵列中激活属性为允许被激活的像素,确定光信号对应的像素激活数据;基于像素激活数据中的时间信息,确定动态视觉传感器的第一更新帧率。
在像素阵列中第一目标像素的激活属性被调整为不允许被激活后,当光线照射到动态视觉传感器上时,动态视觉传感器的芯片获取光信号,光信号通过芯片上各个像素的像素电路结构中的对数转换单元、变化检测单元以及比较器单元,输出光信号对应的像素激活数据,该像素激活数据中携带有像素激活事件的时间信息。根据该时间信息,生成动态视觉传感器的第一更新帧率。
若控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性,则向动态视觉传感器发送该控制信号,使调整后的像素阵列中激活属性为不允许激活的像素的位置与目标像素位置信息相匹配。调整后的动态视觉传感器的像素阵列中激活属性为:允许激活的像素数量变少,即便出现大面积亮度变化,激活属性为不允许激活的像素无法输出像素激活事件的数据,故动态视觉传感器输出的像素激活事件的数据的总体显然变少,与调整前相比耗时较少,有效提高了输出帧率。
例如,原本,动态视觉传感器的像素阵列中各个像素的激活属性均为允许激活,电子设备向动态视觉传感器发送控制信号,以调整像素阵列中待调整像素的激活属性,使得像素阵列中每2x2个像素组成的像素区域中仅有右下区域的像素的激活属性为允许激活,左上区域、左下区域、右上区域的像素的激活属性均为不允许激活,可参考图3所示。
又例如,原本,动态视觉传感器的像素阵列包括4行4列共16个像素,16个像素的激活属性均为允许激活,则当同一时间点,16个像素发生像素激活事件时,16个像素均输出像素激活事件的数据。电子设备向动态视觉传感器发送控制信号,以调整像素阵列中待调整像素的激活属性,使得像素阵列中每4个像素中仅有一个激活属性为允许激活的像素,其他三个像素的激活属性均为不允许激活。调整后,16个像素中只有在固定位置的4个像素能够输出像素激活事件的数据,其他12个像素均无法输出数据。同一时间点只有4个像素输出像素激活事件的数据,远远小于16个像素输出的像素激活事件的数据,能够有效提高帧率。
可选的,动态视觉传感器的控制方法还可以执行如下步骤:在像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值后,获取光信号;根据目标激活电压阈值与像素阵列中激活属性为允许被激活的像素,确定光信号对应的像素激活数据;基于像素激活数据中的时间信息,确定动态视觉传感器的第二更新帧率。
在像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值后,当光线照射到动态视觉传感器上时,动态视觉传感器的芯片获取光信号,光信号通过芯片上各个像素的像素电路结构中的对数转换单元、变化检测单元以及比较器单元,输出光信号对应的像素激活数据,该像素激活数据中携带有像素激活事件的时间信息。根据该时间信息,生成动态视觉传感器的第二更新帧率。
若控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活电压阈值,则向动态视觉传感器发送该控制信号,使调整后的像素阵列中各个像素的激活电压阈值为目标激活电压阈值。调整后的动态视觉传感器的像素阵列中各个像素的激活电压阈值与调整前相比更大,则在亮度变化相同的情况下,同一像素接收的光信号转换的电压的变化值对应的像素激活事件的数量减少,故动态视觉传感器输出的像素激活事件的数据的总体显然变少,与调整前相比耗时较少,有效提高了输出帧率。
例如,原本,动态视觉传感器的像素阵列中各个像素的激活电压阈值为5V,同一像素接收的光信号转换的电压从2V上升到14V,触发了2个像素激活事件;利用控制信号将动态视觉传感器的像素阵列中各个像素的激活电压阈值调整为10V后,同一像素接收的光信号转换的电压从2V上升到14V,只触发一个像素激活事件,可参考图4所示。由于同样的光信号转换的电压触发的像素激活事件减少,则一段时间内,各个像素的像素激活事件数量与调整前相比较少,进而在同一时间点像素阵列中多个像素发生的像素激活事件的总数减少,有效提高动态视觉传感器的输出帧率。
在如图1所示的实施例中,首先,获取动态视觉传感器的输出帧率;接着,根据输出帧率,生成用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值的控制信号;最后,向动态视觉传感器发送用于提高动态视觉传感器的输出帧率的控制信号。通过本发明实施例,能够根据获取的输出帧率生成调整激活属性和/或像素激活电压的控制信号并发送至动态视觉传感器,提高了动态视觉传感器的输出帧率,进而提高动态视觉传感器的追踪效果和高速输出效果。
图2是本发明一实施例提供的一种动态视觉传感器的控制装置的示意框图。
参照图2所示,信号处理模块202根据动态视觉传感器输出的像素激活事件数据,确定该动态视觉传感器在目标时间点的输出帧率。信号处理模块202将输出帧率发送到控制器204。控制器204获取输出帧率后,判断输出帧率是否小于等于预设帧率阈值。若输出帧率大于预设帧率阈值,则不生成调整信号。若输出帧率小于等于预设帧率阈值,则生成控制信号到输出模式控制器206,该控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值。控制输出模式控制器206根据接收到的控制信号生成对应的第二控制信号并发送到动态视觉传感器的像素阵列208。调整后的像素阵列208将发生的像素激活事件的数据发送到信号处理模块202。
其中,信号处理模块202还用于,像素校正、坏点处理以及多个像素打包。
本发明实施例提供的动态视觉传感器的控制方法能够实现前述方法实施例中动态视觉传感器的控制方法实现的各个过程,为避免重复,这里不再赘述。
图3是本发明一实施例提供的调整动态视觉传感器的像素阵列中各个像素的激活属性的像素阵列示意图。
参照图3所示,在像素阵列300中,如像素302所示的圆圈表示该像素的激活属性为允许激活,如像素304所示的交叉表示该像素的激活属性为不允许激活。像素阵列300被划分为如像素区域306所示的多个像素区域,每个像素区域均包括4个像素。
每个像素区域均包含一个激活属性为允许激活的像素与三个激活属性为不允许激活的像素,且,每个像素区域中激活属性为不允许激活的像素在各自的像素区域内的位置相同。
如图3所示,像素区域306包括4个像素,其位置分别是左上区域、右上区域、左下区域以及右下区域。其中,像素区域306中激活属性为不允许激活的像素在像素区域306内的位置分别为左上区域、右上区域以及左下区域。像素阵列300中的其他像素区域中激活属性为不允许激活的像素在各自的像素区域内的位置与像素区域306相同。
本发明实施例提供的动态视觉传感器的控制方法能够实现前述方法实施例中动态视觉传感器的控制方法实现的各个过程,为避免重复,这里不再赘述。
图4是本发明一实施例提供的调整动态视觉传感器的像素阵列中各个像素的激活电压阈值的电压示意图。
如图4所示,左侧的像素电压与对应的差分电压的电压示意图为电子设备发送控制信号前的电压示意图。右侧的像素电压与对应的差分电压的电压示意图为电子设备发送控制信号后的电压示意图。
在本实施例中,动态视觉传感器的像素阵列中的每个像素均包含像素对数转换单元、变化检测单元以及比较单元。其中,像素对数转换单元接收光信号,通过光电二极管把光电电子对数转换为电压像素对数转换单元输出像素电压到变化检测单元;变化检测单位对像素电压进行负反馈放大,输出差分电压到比较器单元,比较器单元对差分电压的变化值进行阈值判断。当差分电压变小且变化值超过目标电压阈值,即像素电压变大且变化值超过激活电压阈值时,比较器单元输出“ON”信号;当差分电压变大且变化值超过目标电压阈值,即像素电压变小且变化值超过激活电压阈值时,比较器单元输出“OFF”信号。
由于变化检测单位对像素电压进行负反馈放大,输出差分电压,故目标电压阈值与激活电压阈值之间存在对应关系,判断差分电压的变化值是否超过目标电压阈值,与判断像素电压的变化值是否超过激活电压阈值,结果相同。
在本实施例中,具体地,差分电压输入比较器单元,与目标阈值对比,当超过目标阈值时比较器发生翻转,外发出“ON”或“OFF”对应的请求信号,同时产生复位信息对变化检测单元的开关电容进行复位,将像素激活事件的数据向外输出。
如图4左侧所示,像素读取时间402为动态视觉传感器接收控制信号前,一个像素发生一个像素激活事件所用的时间。激活电压阈值404为动态视觉传感器接收到控制信号前的激活电压阈值。当电压每上升或下降的变化值到激活电压阈值404,则该像素发生一个像素激活事件,输出一个“ON”信号或“OFF”信号。“ON”信号对应光增强事件,“OFF”信号对应光减弱事件。光增强事件目标电压阈值410小于参考电压408小于光减弱事件目标电压阈值406。
如图4右侧所示,像素读取时间412为动态视觉传感器接收控制信号并调整激活电压阈值后,一个像素发生一个像素激活事件所用的时间。激活电压阈值414为动态视觉传感器接收到控制信号后的激活电压阈值。当电压每上升或下降的变化值到激活电压阈值414,则该像素发生一个像素激活事件,输出一个“ON”信号或“OFF”信号。“ON”信号对应光增强事件,“OFF”信号对应光减弱事件。光增强事件目标电压阈值420小于参考电压418小于光减弱事件目标电压阈值416。
比较图4的左右两侧的电压示意图可知,在激活电压阈值放大后,同一像素根据接收到的相同的光信号输出的像素激活事件的数量明显减少。
本发明实施例提供的动态视觉传感器的控制方法能够实现前述方法实施例中动态视觉传感器的控制方法实现的各个过程,为避免重复,这里不再赘述。
需要说明的是,本发明实施例提供的动态视觉传感器的控制方法,执行主体可以为动态视觉传感器的控制装置,或者该动态视觉传感器的控制装置中的用于执行加载动态视觉传感器的控制方法的控制模块。本发明实施例中以动态视觉传感器的控制装置执行加载动态视觉传感器的控制方法为例,说明本发明实施例提供的动态视觉传感器的控制方法。
图5是本发明一实施例提供的动态视觉传感器的控制装置的示意框图。
参照图5所示,动态视觉传感器的控制装置500包括:帧率获取模块502、控制信号生成模块504以及控制信号发送模块506。
其中,帧率获取模块502,用于获取动态视觉传感器的输出帧率;控制信号生成模块504,用于根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值;其中,激活属性包括允许被激活或不允许被激活;控制信号发送模块506,用于向动态视觉传感器发送控制信号;其中,控制信号用于提高动态视觉传感器的输出帧率。
在本发明的一些实施例中,基于上述方案,动态视觉传感器的输出帧率为第一输出帧率,控制信号生成模块504,包括:
目标位置查找单元,用于从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与第一输出帧率对应的第一目标像素的位置信息;
位置信号生成单元,用于根据第一目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第一目标像素的激活属性调整为不允许被激活。
在本发明的一些实施例中,基于上述方案,动态视觉传感器的输出帧率为第二输出帧率,控制信号生成模块504,具体用于:
从预先确定的输出帧率与激活电压阈值之间的对应关系中,查找与第二输出帧率对应的目标激活电压阈值;
根据目标激活电压阈值,生成控制信号;控制信号用于控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值。
在本发明的一些实施例中,基于上述方案,动态视觉传感器的输出帧率为第三输出帧率,控制信号生成模块504,具体用于:
从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与第三输出帧率对应的目标像素数量;其中,在第三输出帧率下,动态视觉传感器的像素阵列中,目标像素数量中仅存在一个允许被激活的像素;
根据目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;第二目标像素的位置信息用于表示,以目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;
根据第二目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第二目标像素的激活属性调整为不允许被激活。
本发明实施例中的动态视觉传感器的控制装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本发明实施例不作具体限定。
本发明实施例中的动态视觉传感器的控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本发明实施例不作具体限定。
本发明实施例提供的动态视觉传感器的控制装置能够实现图1至图4的方法实施例中动态视觉传感器的控制装置实现的各个过程,为避免重复,这里不再赘述。
在本发明实施例中,首先,获取动态视觉传感器的输出帧率;接着,根据输出帧率,生成用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值的控制信号;最后,向动态视觉传感器发送用于提高动态视觉传感器的输出帧率的控制信号。通过本发明实施例,能够根据获取的输出帧率生成调整激活属性和/或像素激活电压的控制信号并发送至动态视觉传感器,提高了动态视觉传感器的输出帧率,进而提高动态视觉传感器的追踪效果和高速输出效果。
可选的,本发明实施例还提供一种电子设备,包括处理器,存储器,存储在存储器上并可在处理器上运行的程序或指令,该程序或指令被处理器执行时实现上述动态视觉传感器的控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本发明实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图6是是本发明一实施例提供的电子设备的硬件结构示意图。
该电子设备600包括但不限于:射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。
本领域技术人员可以理解,电子设备600还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器610逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器610,用于获取动态视觉传感器的输出帧率;根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值;其中,激活属性包括允许被激活或不允许被激活;向动态视觉传感器发送控制信号;其中,控制信号用于提高动态视觉传感器的输出帧率。
在本发明实施例中,首先,获取动态视觉传感器的输出帧率;接着,根据输出帧率,生成用于调整动态视觉传感器的像素阵列中各个像素的激活属性和/或像素的激活电压阈值的控制信号;最后,向动态视觉传感器发送用于提高动态视觉传感器的输出帧率的控制信号。通过本发明实施例,能够根据获取的输出帧率生成调整激活属性和/或像素激活电压的控制信号并发送至动态视觉传感器,提高了动态视觉传感器的输出帧率,进而提高动态视觉传感器的追踪效果和高速输出效果。
可选的,处理器610,还用于,动态视觉传感器的输出帧率为第一输出帧率,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性,包括:
从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与第一输出帧率对应的第一目标像素的位置信息;
根据第一目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第一目标像素的激活属性调整为不允许被激活。
可选的,处理器610,还用于,动态视觉传感器的输出帧率为第二输出帧率,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活电压阈值,包括:
从预先确定的输出帧率与激活电压阈值之间的对应关系中,查找与第二输出帧率对应的目标激活电压阈值;
根据目标激活电压阈值,生成控制信号;控制信号用于控制动态视觉传感器将像素阵列中各个像素的激活电压阈值调整为目标激活电压阈值。
可选的,处理器610,还用于,动态视觉传感器的输出帧率为第三输出帧率,根据动态视觉传感器的输出帧率,生成控制信号,控制信号用于调整动态视觉传感器的像素阵列中各个像素的激活属性,包括:
从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与第三输出帧率对应的目标像素数量;其中,在第三输出帧率下,动态视觉传感器的像素阵列中,目标像素数量中仅存在一个允许被激活的像素;
根据目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;第二目标像素的位置信息用于表示,以目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;
根据第二目标像素的位置信息,生成控制信号;控制信号用于控制动态视觉传感器将第二目标像素的激活属性调整为不允许被激活。
可选的,处理器610,还用于根据动态视觉传感器的输出帧率,生成控制信号,包括:
在动态视觉传感器的输出帧率小于等于预设帧率阈值的情况下,生成控制信号。
本发明实施例中,确定与输出帧率对应的目标像素位置信息并生成控制信号,能够减少像素阵列中激活属性为不允许激活的像素的数量,从而减少动态视觉传感器整体输出的像素激活事件的数据,有效提高输出帧率;确定与输出帧率对应的目标激活电压阈值,能够减少同一像素接收的相同的光信号对应的像素激活事件的数量,从而减少动态视觉传感器整体输出的像素激活事件的数据,有效提高输出帧率。
本发明实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述动态视觉传感器的控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本发明实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述动态视觉传感器的控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本发明实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本发明实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (6)
1.一种动态视觉传感器的控制方法,其特征在于,包括:
获取所述动态视觉传感器的输出帧率;
根据所述动态视觉传感器的输出帧率,生成控制信号,所述控制信号用于调整所述动态视觉传感器的像素阵列中各个像素的激活属性;其中,所述激活属性包括允许被激活或不允许被激活;
向所述动态视觉传感器发送所述控制信号;
其中,所述控制信号用于提高所述动态视觉传感器的输出帧率;
所述动态视觉传感器的输出帧率为第一输出帧率,根据所述动态视觉传感器的输出帧率,生成控制信号,所述控制信号用于调整所述动态视觉传感器的像素阵列中各个像素的激活属性,包括:
从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与所述第一输出帧率对应的第一目标像素的位置信息;
根据所述第一目标像素的位置信息,生成控制信号;所述控制信号用于控制所述动态视觉传感器将所述第一目标像素的激活属性调整为不允许被激活;
或者,
所述动态视觉传感器的输出帧率为第三输出帧率,所述根据所述动态视觉传感器的输出帧率,生成控制信号,所述控制信号用于调整所述动态视觉传感器的像素阵列中各个像素的激活属性,包括:
从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与所述第三输出帧率对应的目标像素数量;其中,在所述第三输出帧率下,所述动态视觉传感器的像素阵列中,所述目标像素数量中仅存在一个允许被激活的像素;
根据所述目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;所述第二目标像素的位置信息用于表示,以所述目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;
根据所述第二目标像素的位置信息,生成控制信号;所述控制信号用于控制所述动态视觉传感器将所述第二目标像素的激活属性调整为不允许被激活。
2.根据权利要求1所述的控制方法,其特征在于,所述根据所述动态视觉传感器的输出帧率,生成控制信号,包括:
在所述动态视觉传感器的输出帧率小于等于预设帧率阈值的情况下,生成控制信号。
3.一种动态视觉传感器的控制装置,其特征在于,包括:
帧率获取模块,用于获取所述动态视觉传感器的输出帧率;
控制信号生成模块,用于根据所述动态视觉传感器的输出帧率,生成控制信号,所述控制信号用于调整所述动态视觉传感器的像素阵列中各个像素的激活属性;其中,所述激活属性包括允许被激活或不允许被激活;
控制信号发送模块,用于向所述动态视觉传感器发送所述控制信号;其中,所述控制信号用于提高所述动态视觉传感器的输出帧率;
所述动态视觉传感器的输出帧率为第一输出帧率,所述控制信号生成模块,包括:
目标位置查找单元,用于从预先确定的输出帧率与像素的位置信息之间的对应关系中,查找与所述第一输出帧率对应的第一目标像素的位置信息;
位置信号生成单元,用于根据所述第一目标像素的位置信息,生成控制信号;所述控制信号用于控制所述动态视觉传感器将所述第一目标像素的激活属性调整为不允许被激活;
或者,
所述动态视觉传感器的输出帧率为第三输出帧率,所述控制信号生成模块,具体用于:
从预先确定的输出帧率与像素阵列中的像素数量之间的对应关系中,查找与所述第三输出帧率对应的目标像素数量;其中,在所述第三输出帧率下,所述动态视觉传感器的像素阵列中,所述目标像素数量中仅存在一个允许被激活的像素;
根据所述目标像素数量,从预先确定的像素激活数量与像素的位置信息之间的对应关系中,查询得到第二目标像素的位置信息;所述第二目标像素的位置信息用于表示,以所述目标像素数量组成的像素阵列中不允许被激活的像素的位置信息;
根据所述第二目标像素的位置信息,生成控制信号;所述控制信号用于控制所述动态视觉传感器将所述第二目标像素的激活属性调整为不允许被激活。
4.根据权利要求3所述的控制装置,其特征在于,所述控制信号生成模块,具体用于:
在所述动态视觉传感器的输出帧率小于等于预设帧率阈值的情况下,生成控制信号。
5.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1或2所述的动态视觉传感器的控制方法的步骤。
6.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1或2所述的动态视觉传感器的控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011138633.0A CN112261297B (zh) | 2020-10-22 | 2020-10-22 | 动态视觉传感器的控制方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011138633.0A CN112261297B (zh) | 2020-10-22 | 2020-10-22 | 动态视觉传感器的控制方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112261297A CN112261297A (zh) | 2021-01-22 |
CN112261297B true CN112261297B (zh) | 2022-07-01 |
Family
ID=74263491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011138633.0A Active CN112261297B (zh) | 2020-10-22 | 2020-10-22 | 动态视觉传感器的控制方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112261297B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110192387A (zh) * | 2016-12-30 | 2019-08-30 | 因赛特内斯股份公司 | 用于基于事件的视觉传感器的数据速率控制 |
CN111510650A (zh) * | 2020-04-26 | 2020-08-07 | 上海芯仑光电科技有限公司 | 一种图像传感器 |
CN111630841A (zh) * | 2017-12-26 | 2020-09-04 | 普罗费塞公司 | 从基于事件的传感器输出信号的方法和使用此方法的基于事件的传感器 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190133465A (ko) * | 2018-05-23 | 2019-12-03 | 삼성전자주식회사 | 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치 |
US10887535B2 (en) * | 2018-07-18 | 2021-01-05 | The Regents Of The University Of California | Query driven image sensing |
-
2020
- 2020-10-22 CN CN202011138633.0A patent/CN112261297B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110192387A (zh) * | 2016-12-30 | 2019-08-30 | 因赛特内斯股份公司 | 用于基于事件的视觉传感器的数据速率控制 |
CN111630841A (zh) * | 2017-12-26 | 2020-09-04 | 普罗费塞公司 | 从基于事件的传感器输出信号的方法和使用此方法的基于事件的传感器 |
CN111510650A (zh) * | 2020-04-26 | 2020-08-07 | 上海芯仑光电科技有限公司 | 一种图像传感器 |
Also Published As
Publication number | Publication date |
---|---|
CN112261297A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3561765B1 (en) | Dynamic tone mapping method, mobile terminal, and computer readable storage medium | |
JP6466518B2 (ja) | タッチセンサデータの改善された処理のためのシステム及び方法 | |
US9697622B2 (en) | Interface adjustment method, apparatus, and terminal | |
US10915750B2 (en) | Method and device for searching stripe set | |
US20140372779A1 (en) | Control system and method for power shutdown of electronic device | |
CN108701365B (zh) | 光点识别方法、装置以及系统 | |
EP3349325B1 (en) | Charging method, charging device and terminal | |
CN109256095B (zh) | Led电流保护方法、显示器和存储介质 | |
CN110796157A (zh) | 一种图像差异识别方法、装置及存储介质 | |
CN104952045A (zh) | 除雾系统和除雾方法 | |
CN107223265B (zh) | 条纹集合查找方法、装置以及系统 | |
CN111212242A (zh) | 曝光方法和电子设备 | |
CN107249085B (zh) | 移动终端电量显示方法、移动终端及计算机可读存储介质 | |
CN110716803A (zh) | 电脑系统、资源分配方法及其影像辨识方法 | |
US10990216B2 (en) | Method for adjustment touch screen, touch chip, and electronic terminal | |
CN113835558A (zh) | 屏幕参数调整方法、装置及电子设备 | |
CN109343811B (zh) | 一种显示调整方法及终端设备 | |
CN112261297B (zh) | 动态视觉传感器的控制方法、装置和电子设备 | |
CN112445358A (zh) | 一种调整方法、终端及计算机存储介质 | |
CN114978207B (zh) | 天线调谐方法和电子设备 | |
CN112286429B (zh) | 电子设备的控制方法、控制装置和电子设备 | |
CN114089868A (zh) | 触控操作方法、装置和电子设备 | |
CN112216888A (zh) | 充电方法、装置和电子设备 | |
CN107589844B (zh) | 单手模式的切换方法及装置 | |
CN113190420A (zh) | 电量提示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |