CN115004677B - 视觉传感器芯片及其操作方法和电子设备 - Google Patents

Abstract

本公开的实施例涉及视觉传感器芯片及其操作方法和电子设备。该视觉传感器芯片包括：像素阵列电路，被配置为通过测量光强变化量来生成与其中的多个像素对应的多个数据信号，多个数据信号指示至少一个光强变化事件，至少一个光强变化事件表示像素阵列电路中的对应像素测量到的光强变化量超过预定阈值；以及读取电路，耦合到像素阵列电路并且被配置为：以第一读取模式从像素阵列电路读取多个数据信号中的至少一个数据信号，向控制电路提供至少一个数据信号，如果从控制电路接收到基于至少一个数据信号而生成的模式切换信号，将第一读取模式切换为第二读取模式。通过在第一和第二读取模式之间自适应地切换，视觉传感器芯片的传输和存储成本能够得到有效降低。

Description

视觉传感器芯片及其操作方法和电子设备

技术领域

本公开的示例实施例涉及视觉传感器领域，并且更加具体地，涉及一种视觉传感器芯片、用于操作视觉传感器芯片的方法以及电子设备。

背景技术

视觉传感技术在视频监控、数码相机、机器人导航、汽车自主导航、生物医学像素分析、人机界面、虚拟现实、工业控制、无线远距离传感、显微镜技术、科学仪器等诸多领域具有广泛用途。通过利用光学元件和成像装置，视觉传感器可以从外部环境获取图像信息，并实现图像处理、图像存储和图像输出等操作。图像的清晰和细腻程度取决于视觉传感器的分辨率，即，像素的数量。一般而言，一幅图像可以由256×256像素、512×512像素或1024×1024像素等来表示。

经过数十年的发展，已经出现了许多不同类型的视觉传感器。例如，对于仿生视觉传感器而言，其原理是利用集成电路对生物视网膜进行仿真，像素阵列电路中的每个像素模拟生物神经元，对光强度的变化以事件的形式进行表达。在实践中，视觉传感器通常具有两种用于读取事件数据的模式，分别是基于帧扫描的同步读取模式和基于事件流的异步读取模式。在基于帧扫描的同步读取模式中，视觉传感器按照扫描顺序扫描像素阵列电路中的所有像素并将像素生成的数据信号排列成一帧数据，继而以固定的速率读取每一帧数据。在基于事件流的异步读取模式中，视觉传感器通过扫描像素阵列电路确定发生光强变化事件的像素，并且只读取这部分像素输出的数据信号。目前由于硬件设计、芯片结构等因素，单个视觉传感器仅能使用一种数据读取模式。然而，采用单一读取模式的视觉传感器很难适应各种环境变化及运动状态，导致在某些应用场景下视觉传感器的性能较差。

发明内容

总体上，本公开的示例实施例提出了与视觉传感器芯片有关的方案。

在第一方面，提出了一种视觉传感器芯片。该视觉传感器芯片包括：像素阵列电路，被配置为通过测量光强变化量来生成与其中的多个像素对应的多个数据信号，多个数据信号指示至少一个光强变化事件，至少一个光强变化事件表示像素阵列电路中的对应像素测量到的光强变化量超过预定阈值；以及读取电路，耦合到像素阵列电路并且被配置为：以第一读取模式从像素阵列电路读取多个数据信号中的至少一个数据信号，向控制电路提供至少一个数据信号，以及如果从控制电路接收到基于至少一个数据信号而生成的模式切换信号，将第一读取模式切换为第二读取模式。

在第二方面，提出了一种用于操作视觉传感器芯片的方法。该方法包括：视觉传感器芯片的像素阵列电路通过测量光强变化量来生成与像素阵列电路中的多个像素对应的多个数据信号，多个数据信号指示至少一个光强变化事件，至少一个光强变化事件表示像素阵列电路中的对应像素测量到的光强变化量超过预定阈值；视觉传感器芯片的读取电路以第一读取模式从像素阵列电路读取多个数据信号中的至少一个数据信号；读取电路向控制电路提供至少一个数据信号；以及如果从控制电路接收到基于至少一个数据信号而生成的模式切换信号，读取电路将第一读取模式切换为第二读取模式。

在第三方面，提出了一种电子设备。该电子设备包括根据第一方面所述的视觉传感器芯片以及解析电路。该解析电路耦合到视觉传感器芯片，并且被配置为以与视觉传感器芯片的读取电路的读取模式相对应的解析模式，解析从读取电路接收的数据信号。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1A示出了在基于事件流的异步读取模式下读取的数据量随时间变化的示意图；

图1B示出了基于帧扫描的同步读取模式下读取数据量随时间变化的示意图；

图2示出了本公开的示例实施例可以在其中实施的示例视觉传感器的框图；

图3示出了本公开的示例实施例可以在其中实施的另一示例视觉传感器的框图；

图4示出了根据本公开的示例实施例的基于帧扫描的同步读取模式和基于事件流的异步读取模式的原理的示意图；

图5A示出了根据本公开的示例实施例的视觉传感器在基于帧扫描的读取模式下操作的示意图。

图5B示出了根据本公开的示例实施例的视觉传感器在基于事件流的读取模式下操作的示意图。

图6A示出了根据本公开的示例实施例的视觉传感器在基于事件流的读取模式下操作的示意图。

图6B示出了根据本公开的示例实施例的视觉传感器在基于帧扫描的读取模式下操作的示意图。

图7示出了根据本公开的示例实施例的用于操作视觉传感器芯片的方法的流程图；

图8示出了根据本公开的示例实施例的用于视觉传感器的控制电路的框图；

图9示出了根据本公开的示例实施例的电子设备的框图；以及

图10示出了根据本公开的示例实施例的在基于自适应读取模式下的数据量随时间变化的示意图。

具体实施方式

下面将参考附图描述一些示例实施例。虽然附图中显示了本公开的示例实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“示例实施例”和“某些实施例”表示“至少一个示例实施例”。下文还可能包括其他明确的和隐含的定义。

在传统技术中，视觉传感器普遍采用基于事件流的异步读取模式(下文也简称“基于事件流的读取模式”或“异步读取模式”)和基于帧扫描的同步读取模式(下文也简称“基于帧扫描的读取模式”或“同步读取模式”)。对于已经制造完成的视觉传感器，仅能够采用两种模式中的一种。根据具体的应用场景及运动状态，上述两种读取模式在单位时间内所需读取的信号数据量可能具有显著差异，进而输出读取数据所需的代价也不尽相同。图1A和图1B分别示出了基于事件流的异步读取模式和基于帧扫描的同步读取模式下读取数据量与时间的关系的示意图。

以现有仿生视觉传感器为例，因其具有对运动敏感的特性，而环境中的静态区域通常不产生光强变化事件(在本文在也被称为“事件”)，这类传感器几乎全部采用基于事件流的异步读取模式。具体而言，视觉传感器的像素阵列电路中的像素测量环境中的光强变化量。如果测量到的光强变化量超过预定阈值，则像素可以输出指示光强变化事件的数据信号。因此，在基于事件流的异步读取模式下，视觉传感器的像素被进一步区分为产生光强变化事件的像素和未产生光强变化事件的像素。光强变化事件可以通过产生事件的像素的坐标信息(x，y)、该像素处的光强变化信息以及光强变化信息被读取的时间t等来表征。坐标信息(x，y)可用于在像素阵列电路中惟一地标识像素，例如，x表示像素在像素阵列电路中所位于的行索引，y表示像素在像素阵列电路中所位于的列索引。通过标识与像素相关联的坐标和时间戳，能够唯一地确定发生光强变化事件的时空位置，继而可以将所有的事件按发生的先后顺序构成一个事件流。在异步读取模式下，只有产生光强变化事件的像素处的数据信号才会被读取。因而，对于仿生视觉传感器而言，所需读取的事件数据具有稀疏异步的特性。如图1A的曲线101所示，视觉传感器工作在基于事件流的异步读取模式下，当像素阵列电路中发生的光强变化事件的速率变化时，视觉传感器所需读取的数据量也随时间变化。在静态场景中产生的光强变化事件较少，因而视觉传感器所需读取的总数据量也较低。而在动态场景中，例如剧烈运动时，大量产生光强变化事件，视觉传感器所需读取的总数据量也随之上升。

另一方面，传统的视觉传感器，诸如手机摄像头、数字摄像机等通常采用基于帧扫描的同步读取模式。该读取模式并未对视觉传感器的像素是否产生光强变化事件进行区分。无论在某一像素处是否产生光强变化事件，该像素所生成的数据信号均被读取。在读取数据信号时，视觉传感器按照预定顺序扫描像素阵列电路，同步读取各个像素处的指示光强变化量的数据信号，并按照顺序输出为第1帧数据、第2帧数据等等。因而，如图1B的曲线102所示，在同步读取模式下，视觉传感器读取的每一帧数据量具有相同的大小，数据量随时间保持不变。例如，假定采用8比特来表示一个像素的光强度值，而视频传感器中的像素总数为66个，则一帧数据的数据量为528比特。通常，帧与帧之间按照相等的时间间隔输出，例如可以按照每秒30帧、每秒60帧、每秒120帧等速率输出。在视频传感器进行采样时，一帧内的像素值按照从左上到右下的顺序排列。同样，在解析一帧数据时，也采用相同的扫描顺序(即，从左上到右下)来获取每个像素位置处的光强度值，其中像素坐标(x，y)与该像素在一帧内的扫描序号一一对应。由于读取前后帧的时间间隔固定，基于帧扫描的同步读取模式不容易产生时域抖动的问题，因而像素的一致性较好。近年来在仿生视觉传感器中也开始借鉴传统摄像头的同步读取模式来输出事件数据。

如前所述，在不同应用场景以及运动状态下，采用两种模式的输出和存储代价可能具有显著的差异。例如，拍摄静态场景时，在一段时间内仅有少量像素产生光强变化事件。通过示例的方式，例如，在一次扫描中，像素阵列电路中只有三个像素处产生光强变化事件。在异步读取模式下只需读取这三个像素的坐标信息(x，y)、时间信息t以及光强变化量，就可以表征着三个光强变化事件。假定在异步读取模式中，针对一个像素的坐标、读取时间戳和光强变化量分别分配4、2、2、2个比特，则该读取模式下所需读取的总数据量为30比特。而在同步读取模式下，尽管仅有三个像素产生指示光强变化事件的有效数据信号，但是仍需读取整个阵列的所有像素输出的数据信号，以形成完整的一帧数据。假定在同步读取模式中，针对每个像素分配8比特，像素阵列电路的像素总数为66，则所需读取的总数据量为528比特。由此可见，即便像素阵列电路中存在大量未产生事件的像素，在同步读取模式中仍需分配如此之多的比特。从表示代价的角度来看是不经济的，并且增加了数据传输和存储方面的压力。因而，在这种情况下，采用异步读取模式更为经济。

在另一示例中，当场景内发生剧烈运动或者环境中的光强度发生剧烈变化时，诸如有大量人员走动、或突然开关灯等等，视觉传感器中有大量像素在短时间内测量到光强变化并产生指示光强变化事件的数据信号。由于在异步读取模式下表征单个事件的数据量多于在同步读取模式下表征单个事件的数据量，在这种情况下采用异步读取模式可能需要极大表示代价。具体而言，像素阵列电路中的每一行可能存在连续多个像素产生光强变化事件，对于每个事件均需传输坐标信息(x，y)、时间信息t以及光强变化信息a。这些事件之间的坐标变化往往只有一个单位的偏差，读取时间也基本相同。在这种情况下，异步读取模式对于坐标和时间信息的表示代价较大，会引起数据量激增。而在同步读取模式中，无论任一时刻在像素阵列电路中产生的光强变化事件的数目为多少，各个像素都输出仅指示光强变化量的数据信号，无需为每个像素的坐标信息和时间信息分配比特。因而，对于事件稠密的情形，采用同步读取模式更为经济。

鉴于此，本公开提出了一种用于自适应切换读取模式的方案。根据该方案，视觉传感器基于像素阵列电路产生的光强变化事件的统计结果，来比较两种读取模式下的数据量，从而可以切换至适合当前应用场景和运动状态的读取模式。以此方式，可以始终保持以具有较低成本的读取模式来从像素阵列电路读取数据，进而可以更好地满足图像传输和存储的需求。

以下结合图2至图10进一步描述本公开的示例实施例。图2示出了本公开的示例实施例可以在其中实施的示例视觉传感器200的框图。视觉传感器200可以被实现为视觉传感器芯片，并能够以至少基于帧扫描的读取模式和基于事件流的读取模式中的一种来读取指示光强变化事件的数据信号。如图2所示，视觉传感器200包括像素阵列电路210以及读取电路220。视觉传感器200与控制电路230相耦合。应当理解，图2所示的视觉传感器200仅用于示例性目的，而不暗示对于本公开的范围的任何限制。本公开的实施例还可以被体现在不同的传感器架构中。另外，还应当理解，视觉传感器200还可以包括用于实现图像采集、图像处理、图像传输等目的的其他元件或实体，为了便于描述未被示出，但不意味着本公开的实施例不具备这些元件或实体。

像素阵列电路210可以包括一个或多个像素阵列，并且每个像素阵列包括多个像素，每个像素具有用于唯一标识的位置信息，例如坐标(x，y)。像素阵列电路210可用于测量光强变化量，生成与多个像素对应的多个数据信号。在一些示例实施例中，每个像素被配置为独立地对环境中的光强变化做出响应。像素将所测量的光强变化量与预定阈值进行比较，如果测量到的光强变化量超过预定阈值，则该像素生成指示光强变化事件的第一数据信号，例如，+1或-1。在该示例中，第一数据信号可以指示对应像素处的光强变化趋势或光强度值。如果测量到的光强变化量未超过预定阈值，则该像素生成与第一数据信号不同的第二数据信号，例如0。在本公开的实施例中，数据信号可以指示包括，但不限于光强极性、绝对光强度值、光强度的变化值等等。光强极性可以表示光强变化的趋势，例如，增强或减弱，通常用+1和-1表示。绝对光强度值可以表示在当前时刻测量的光强度值。取决于传感器的结构、用途和种类，关于光强度或光强变化量可以具有不同的物理意义。本公开的范围在此方面不受限制。

读取电路220被耦合至像素阵列电路210和控制电路230，并且可以与二者通信。读取电路220可以被配置为按照预定顺序扫描像素阵列电路210中的像素，以读取对应像素生成的数据信号。在本公开的实施例中，读取电路220被配置为能够以多于一种信号读取模式来读取像素阵列电路210输出的数据信号。例如，读取电路220可以以第一读取模式和第二读取模式中的一者进行读取。在本文的上下文中，第一读取模式和第二读取模式分别对应于基于帧扫描的读取模式和基于事件流的读取模式中的一者，进一步地，第一读取模式可以指代读取电路220的当前读取模式，第二读取模式可以指代可切换的备选读取模式。

现在参考图4，其示出了根据本公开的示例实施例的基于帧扫描的同步读取模式和基于事件流的异步读取模式的原理的示意图。如图4的上半部分所示，黑色圆点表示产生光强变化事件的像素，白色圆点表示未产生光强变化事件的像素。左侧虚线方框表示基于帧扫描的同步读取模式，其中所有像素基于所接收的光信号生成的电压信号，继而经过模数转换后输出数据信号。在该模式下，读取电路220通过读取所有像素生成的数据信号来构成一帧数据。右侧虚线方框表示基于事件流的异步读取模式，在该模式下，当读取电路220扫描到产生光强变化事件的像素时，可以获取该像素的坐标信息(x，y)。然后，仅读取产生光强变化事件的像素所生成的指示光强变化量a的数据信号(即，第一数据忆)，并记录读取时间t。在像素阵列电路中存在多个产生光强变化事件的像素的情况下，读取电路220按照扫描顺序，依次读取多个像素生成的数据信号，并构成事件流作为输出。

图4的下半部分从表示代价(例如，所需读取的数据量)的角度来描述两种读取模式。如图4所示，在同步读取模式下，读取电路220每次读取的数据量是相同的，例如1帧数据。在图4中示出为第1帧数据401-1和第2帧数据401-2。根据表示单个像素的数据量(例如，比特数目B_p)和像素阵列电路中的像素总数M即可确定要读取的一帧数据量为M·B_p。在异步读取模式下，读取电路220读取指示光强变化事件的数据信号，继而将所有的事件按发生的先后顺序构成一个事件流402。在此情况下，读取电路220每次读取的数据量与用于表示单个事件的事件数据量B_ev(例如，表示产生事件的像素的坐标(x，y)、读取时间戳t以及光强变化量a的比特数目的总和)以及光强变化事件的数目N_ev有关。

继续参考图2，在一些示例实施例中，读取电路220可以被配置向控制电路230提供所读取的至少一个数据信号。例如，读取电路220可以向控制电路230提供在一段时间内读取的数据信号，以供控制电路230进行历史数据统计和分析。在当前采用的第一读取模式为基于帧扫描的读取模式的情况下，读取电路220以该模式下的预定帧速率f Hz扫描像素阵列电路210，以读取像素阵列电路210中的所有像素生成的数据信号。这些数据信号可以指示像素阵列电路210中的每个像素所测量的光强变化量a，并且可以包括第一数据信号和第二数据信号二者。通过示例的方式，在基于帧扫描的读取模式中，读取电路220所读取的每一帧数据量可以表示为M·B_p个比特，每秒读取的数据量为M·B_p·f比特/秒(bits/s)，即，读取电路220的读取数据速率为M·B_p·f bits/s，其中给定视觉传感器200中的像素总数为M，B_p为与基于帧扫描的读取模式下针对每个像素分配的像素数据量(例如，比特数目)。

在另一些示例实施例中，在当前采用的第一读取模式为基于事件流的读取模式的情况下，读取电路220读取像素阵列电路210中产生光强变化事件的像素生成的数据信号，为了描述方便，以下将这些数据信号也称为第一数据信号。具体而言，读取电路220通过扫描像素阵列电路210，确定与光强变化事件有关的像素的位置信息(x，y)。基于像素的位置信息(x，y)，读取电路220读取多个数据信号中的、由像素生成的第一数据信号，以获取该第一数据信号指示的光强变化量a和读取时间信息t。通过示例的方式，在基于事件流的读取模式中，读取电路220每秒读取的事件数据量可以表示为B_ev·N_ev个比特，即读取电路220的读取数据速率为B_ev·N_evbits/s，其中B_ev为基于事件流的读取模式下针对每个光强变化事件所分配的事件数据量(例如，比特数目)，其中前b_x和b_y个比特用于表示像素坐标(x，y)，接下来的b_t个比特用于表示数据信号被读取的时间戳t，最后b_a个比特用于表示数据信号所指示的光强变化量a，即B_ev＝b_x+b_y+b_t+b_a，N_ev为读取电路220基于一段时间内对像素阵列电路210中产生的光强变化事件的数目历史统计而得出的每秒产生的平均事件数目。

控制电路230耦合至读取电路220，并且被配置为控制读取电路220以特定读取模式来读取像素阵列电路210生成的数据信号。在一些示例实施例中，控制电路230可以从读取电路220获取至少一个数据信号，并至少基于该至少一个数据信号来判断当前读取模式和备选的读取模式中的哪一种更适合当前的应用场景和运动状态。进而，在一些实施例中，控制电路230可以基于该判断来指示读取电路220从当前数据读取模式切换到另一数据读取模式。

在一些示例实施例中，控制电路230可以基于对光强变化事件的历史统计来向读取电路220发送关于切换读取模式的指示。例如，控制电路230可以基于从读取电路220接收的至少一个数据信号，确定与至少一个光强变化事件有关的统计数据。如果统计数据被确定为满足预定切换条件，则控制电路230向读取电路220发送模式切换信号，以使读取电路220切换到第二读取模式。为了便于比较，统计数据可以分别用于衡量第一读取模式和第二读取模式的读取数据速率。

在一些实施例中，统计数据可以包括单位时间内像素阵列电路210测量到的事件数目的总数据量。如果读取电路220在第一读取模式下读取的光强变化事件的总数据量已经大于或等于第二读取模式的光强变化事件的总数据量，则表明读取电路220应当从第一读取模式切换至第二读取模式。在一些实施例中，给定第一读取模式为基于帧扫描的读取模式并且第二读取模式为基于事件流的读取模式。控制电路230可以基于像素阵列电路的像素数目M、帧速率f和像素数据量B_p来确定与第一读取模式下读取的光强变化事件的总数据量M·B_p·f。控制电路230可以基于光强变化事件的数目N_ev和与基于事件流的读取模式相关联的事件数据量B_ev，来确定光强变化事件的总数据量B_ev·N_ev，也即，在第二读取模式下读取的光强变化事件的总数据量B_ev·N_ev。在一些实施例中，可以利用切换参数来调节两个读取模式下的总数据量之间的关系，如以下公式(1)所示，第一读取模式下读取的光强变化事件的总数据量M·B_p·f大于或等于第二读取模式的光强变化事件的总数据量B_ev·N_ev，读取电路220应当切换到第二读取模式：

η·M·B_P·f≥B_ev·N_ev (1)

其中η为用于调节的切换参数。由以上公式(1)可以进一步得出，第一阈值数据量d₁＝M·B_p·f·η。即，如果光强变化事件的总数据量B_ev·N_ev小于或等于阈值数据量d₁，则表明第一读取模式下读取的光强变化事件的总数据量已经大于或等于第二读取模式的光强变化事件的总数据量，控制电路230可以确定光强变化事件的统计数据满足预定切换条件。在该实施例中，可以至少基于像素阵列电路的像素数目M、与基于帧扫描的读取模式相关联的帧速率f和像素数据量B_p来确定阈值数据量d₁。

作为上述实施例的备选实施方式中，第一读取模式下读取的光强变化事件的总数据量M·B_p·f大于或等于第二读取模式的光强变化事件的总数据量B_ev·N_ev可以如以下公式(2)所示：

M·B_P·f-B_ev·N_ev≥θ (2)

其中θ为用于调节的切换参数。由以上公式(2)可以进一步得出，第二阈值数据量

d₂＝M·B_p·f-θ

即，如果光强变化事件的总数据量B_ev·N_ev小于或等于第二阈值数据量d₂，则表明第一读取模式下读取的光强变化事件的总数据量已经大于或等于第二读取模式的光强变化事件的总数据量，控制电路230可以确定光强变化事件的统计数据满足预定切换条件。在该实施例中，可以至少基于像素阵列电路的像素数目M、与基于帧扫描的读取模式相关联的帧速率f和像素数据量B_p来确定阈值数据量d₂。

在一些实施例中，第一读取模式为基于事件流的读取模式并且第二读取模式为基于帧扫描的读取模式。由于在基于事件流的读取模式，读取电路220仅读取产生事件的像素生成的数据信号，即，第一数据信号。因而，控制电路的230基于读取电路220所提供的第一数据信号的数目可以直接确定像素阵列电路210中产生的光强变化事件的数目N_ev。控制电路230可以基于事件数目N_ev和与基于事件流的读取模式相关联的事件数据量B_ev，确定光强变化事件的总数据量，即第一读取模式下读取的事件的总数据量B_ev·N_ev。类似地，控制电路230还可以基于像素阵列电路的像素数目M、帧速率f和像素数据量B_p来确定与第二读取模式下读取的光强变化事件的总数据量M·B_p·f。如以下公式(3)所示，第一读取模式下读取的光强变化事件的总数据量B_ev·N_ev大于或等于第二读取模式的光强变化事件的总数据量M·B_p·f，读取电路220应当切换到第二读取模式：

B_ev·N_ev≥η·M·B_P·f (3)

其中η为用于调节的切换参数。由以上公式(3)可以进一步得出，第一阈值数据量d₁＝η·M·B_P·f。如果光强变化事件的总数据量B_ev·N_ev大于或等于阈值数据量d₁，则控制电路230确定光强变化事件的统计数据满足预定切换条件。在该实施例中，可以至少基于像素阵列电路的像素数目M、帧速率f和像素数据量B_p来确定阈值数据量d₁。

作为上述实施例的备选实施方式中，第一读取模式下读取的光强变化事件的总数据量B_ev·N_ev大于或等于第二读取模式的光强变化事件的总数据量M·B_p·f可以如以下公式(4)所示

M·B_P·f-B_ev·N_ev≤θ (4)

其中θ为用于调节的切换参数。由以上公式(4)可以进一步得出，第二阈值数据量d₂＝M·B_P·f-θ，如果光强变化事件的总数据量B_ev·N_ev大于或等于阈值数据量d₂，则控制电路230确定光强变化事件的统计数据满足预定切换条件。在该实施例中，可以至少基于像素阵列电路的像素数目M、帧速率f和像素数据量B_p来确定阈值数据量d₂。

在另一些实施例中，统计数据可以包括单位时间内像素阵列电路210测量到的事件数目N_ev。如果第一读取模式为基于帧扫描的读取模式并且第二读取模式为基于事件流的读取模式，控制电路230基于读取电路220提供的多个数据信号中的第一数据信号的数目，确定光强变化事件的数目N_ev。如果统计数据指示光强变化事件的数目N_ev小于第一阈值数目n₁，则控制电路230确定光强变化事件的统计数据满足预定切换条件可以至少基于像素阵列电路的像素数目M、与基于帧扫描的读取模式相关联的帧速率f和像素数据量B_p、以及与基于事件流的读取模式相关联的事件数据量B_ev来确定第一阈值数目n₁。例如，在前述实施例中，基于公式(1)可以进一步得到如下公式(5)：

即，第一阈值数目n₁可以被确定为

作为上述实施例的备选实施方式中，基于公式(2)可以进一步得到如下公式(6)：

相应地，第二阈值数目n₂可以被确定为

在又一些实施例中，如果第一读取模式为基于事件流的读取模式并且第二读取模式为基于帧扫描的读取模式，控制电路230基于读取电路220提供的至少一个数据信号的数目，可以直接确定光强变化事件的数目N_ev。如果统计数据指示光强变化事件的数目N_ev大于或等于第一阈值数目n₁，则控制电路230确定光强变化事件的统计数据满足预定切换条件。可以至少基于像素阵列电路210的像素数目M、与基于帧扫描的读取模式相关联的帧速率f和像素数据量B_p、以及与基于事件流的读取模式相关联的事件数据量B_ev来确定第一阈值数目n₁＝M·B_p·f/(η·B_ev)。例如，在前述实施例中，基于公式(3)可以进一步得到如下公式(7)：

即，第一阈值数目n₁可以被确定为

作为上述实施例的备选实施方式中，基于公式(4)可以进一步得到如下公式(8)：

相应地，第二阈值数目n₂可以被确定为

应当理解的是，以上给出的公式、切换条件及相关的计算方法仅仅是本公开的实施例的一种示例实现，其他合适的模式切换条件、切换策略及计算方法也可以被采用，本公开的范围在此方面不受限制。

根据本公开的示例实施例，控制电路230可以如图2所示的作为视觉传感器200外部的独立电路或芯片，通过接口连接到视觉传感器200。在另一些示例实施例中，控制电路230也可以作为视觉传感器内部的电路或芯片，与其中的像素阵列电路和读取电路集成在一起。图3示出了根据本公开的示例实施例的另一视觉传感器300的框图。视觉传感器300可以作为视觉传感器200的一种示例实现。

如图3所示，视觉传感器300包括像素阵列电路310、读取电路320和控制电路330。像素阵列电路310、读取电路320和控制电路330在功能上与图2所示的像素阵列电路210、读取电路220以及控制电路230相同，因而在此不再进行赘述。应当理解的是，视觉传感器300仅用于示例性目的，而不暗示对于本公开的范围的任何限制。本公开的实施例还可以被体现在不同的视觉传感器中。另外，还应当理解，视觉传感器300还可以包括其他元件、模块或实体，出于清楚的目的未被示出，但不意味着本公开的实施例不具备这些元件或实体。

图5A示出了根据本公开的实施例的视觉传感器在基于帧扫描的读取模式下操作的示意图。图5B示出了根据本公开的实施例的视觉传感器在基于事件流的读取模式下操作的示意图。如图5A所示，读取电路220或320当前以第一读取模式，即基于帧扫描的读取模式操作。由于控制电路230或330基于历史统计，确定当前像素阵列电路210或310中产生的事件数目较少，例如一帧数据中仅有四个有效数据，继而预测下一时间段内可能的事件产生速率较低。如果读取电路220或320继续采用基于帧扫描的读取模式进行读取，将需要重复地为生成事件的像素分配比特，从而产生大量冗余数据。在这种情况下，控制电路230或330向读取电路220或320发送模式切换信号，以使读取电路220或320从第一读取模式切换为第二读取模式。在切换后，图5B所示，读取电路220或320在第二读取模式下操作，仅读取有效的数据信号，从而避免了大量无效数据信号所占用的传输带宽和存储资源。

图6A示出了根据本公开的实施例的视觉传感器在基于事件流的读取模式下操作的示意图。图6B示出了根据本公开的实施例的视觉传感器在基于帧扫描的读取模式下操作的示意图。如图6A所示，读取电路220或320当前以第一读取模式，即基于事件流的读取模式操作。由于控制电路230或330基于历史统计，确定当前像素阵列电路210或310中产生的事件数目较多，例如，短时间内像素阵列电路210或310中的近乎所有像素均生成指示光强变化量高于阈值的数据信号。继而，读取电路220或320可以预测下一时间段内可能的事件产生速率较高。由于所读取的数据信号中存在大量冗余数据，例如，近乎相同的像素位置信息、读取时间戳等等，如果读取电路220或320继续采用基于事件流的读取模式进行读取，将造成读取数据量激增。因而，在这种情况下，控制电路230或330向读取电路220或320发送模式切换信号，以使读取电路220或320从第一读取模式切换为第二读取模式。在切换后，图6B所示，读取电路220或320在基于帧扫描的模式下操作，以单个像素的表示代价更小的读取模式来读取数据信号，缓解了存储和传输数据信号的压力。

在一些示例实施例中，视觉传感器200或300还可以包括解析电路，其可以被配置为针对读取电路220或320输出的数据信号进行解析。在一些示例实施例中，解析电路可以采用与读取电路220或320的当前数据读取模式相适应的解析模式来解析数据信号。这将在下面进行详细描述。

应当理解的是，其他现有的或未来待开发的数据读取模式、数据读取模式、数据解析模式等也适用于本公开的示例实施例，并且本公开的实施例中的所有数值均是说明性而非限制性的，例如，本公开的示例实施例可以在多于两种数据读取模式之间进行切换。

根据本公开的示例实施例，提供了一种视觉传感器芯片，能够根据对像素阵列电路中产生的光强变化事件的历史统计情况，自适应地在多种读取模式之间进行切换。这样，无论在动态场景还是静态场景中，视觉传感器芯片始终可以实现良好的读取和解析性能，避免冗余数据的产生，缓解了图像处理、传输和存储的压力。

图7示出了根据本公开的示例实施例的用于操作视觉传感器芯片的方法700的流程图。在一些示例实施例中，方法700可以在图2所示的视觉传感器200或者图3所示的视觉传感器300以及下文的图9所示的电子设备900中实现，或者也可以使用任意适当的设备来实现，包括目前已知的或将来待开发的各种设备。为了方便讨论，下面将结合图2所示的视觉传感器200来描述方法700。

如图7所示，在框701，像素阵列电路210通过测量光强变化量来生成与像素阵列电路210中的多个像素对应的多个数据信号。多个数据信号可以指示在对应像素处是否产生光强变化事件。在本文的上下文中，光强变化事件表示像素阵列电路210中的对应像素测量到的光强变化量超过预定阈值。在一些实施例中，如果像素阵列电路210中的像素测量到的光强变化量超过预定阈值，则生成指示光强变化事件的第一数据信号，例如+1或-1。如果像素阵列电路210中的像素测量到的光强变化量未超过预定阈值，则生成与第一数据信号不同的第二数据信号，例如，0。

在框702，读取电路220以第一读取模式从像素阵列电路210读取多个数据信号中的至少一个数据信号。数据信号可以指示光强变化量a，并且这些数据信号经读取之后在视觉传感器200内占用一定的存储和传输资源。取决于特定的读取模式，视觉传感器芯片200读取数据信号的方式可以不同。在一些示例实施例中，例如，在基于事件流的读取模式中，读取电路220通过扫描像素阵列电路210，确定与光强变化事件有关的像素的位置信息(x，y)。基于该位置信息，读取电路220可以读出多个数据信号中的第一数据信号。在该实施例中，读取电路220通过读取数据信号，获取光强变化量a、产生光强变化事件的像素的位置信息(x，y)、读取数据信号的时间戳t等。

在另一些示例实施例中，第一读取模式可以是基于帧扫描的读取模式。在该模式下，视觉传感器200以与基于帧扫描的读取模式相关联的帧频率扫描像素阵列电路210，来读取像素阵列电路210产生的所有数据信号。在该实施例中，读取电路220通过读取数据信号，获取光强变化量a。

在框703，读取电路220向控制电路230提供所读取的至少一个数据信号，以供控制电路230进行数据统计和分析。在一些实施例中，控制电路230可以基于该至少一个数据信号，确定与至少一个光强变化事件有关的统计数据。控制电路230可以利用切换策略模块来分析统计数据。如果确定统计数据满足预定切换条件，则控制电路230向读取电路220发送模式切换信号。

在第一读取模式为基于帧扫描的读取模式并且第二读取模式为基于事件流的读取模式的情况下，在一些实施例中，控制电路230可以基于多个数据信号中的第一数据信号的数目，确定至少一个光强变化事件的数目。进而，控制电路230将光强变化事件的数目与第一阈值数目比较。如果统计数据指示光强变化事件的数目小于或等于第一阈值数目，则控制电路230确定光强变化事件的统计数据满足预定切换条件，并发送模式切换信号。在该实施例中，控制电路230可以基于像素阵列电路的像素数目、与基于帧扫描的读取模式相关联的帧速率和像素数据量、以及与基于事件流的读取模式相关联的事件数据量来确定或调整第一阈值数目。

在第一读取模式为基于帧扫描的读取模式并且第二读取模式为基于事件流的读取模式的情况下，在另一些实施例中，控制电路230可以进一步基于光强变化事件的数目和与基于事件流的读取模式相关联的事件数据量，确定光强变化事件的总数据量。进而，控制电路230将光强变化事件的总数据量与第一阈值数据量进行比较。如果光强变化事件的总数据量未超过第一阈值数据量，则控制电路230确定光强变化事件的统计数据满足预定切换条件，并发送模式切换信号。在该实施例中，控制电路230可以基于像素阵列电路的像素数目、帧速率和像素数据量来确定或调整第一阈值数据量。

在第一读取模式为基于事件流的读取模式并且第二读取模式为基于帧扫描的读取模式的情况下，在一些实施例中，控制电路230可以基于从读取电路220接收的第一数据信号，确定与光强变化事件有关的统计数据。进而，控制电路230将光强变化事件的数目与第二阈值数目比较。如果光强变化事件的数目大于或等于第二阈值数目，则控制电路230确定光强变化事件的统计数据满足预定切换条件，并发送模式切换信号。在该实施例中，控制电路230可以基于像素阵列电路的像素数目、与基于帧扫描的读取模式相关联的帧速率和像素数据量、以及与基于事件流的读取模式相关联的事件数据量来确定或调整第二阈值数目。

与此不同，在第一读取模式为基于事件流的读取模式并且第二读取模式为基于帧扫描的读取模式的情况下，控制电路230可以进一步根据光强变化事件的数目和与基于事件流的读取模式相关联的事件数据量，确定光强变化事件的总数据量。进而，控制电路230将光强变化事件的总数据量与第二阈值数据量进行比较。如果光强变化事件的总数据量未超过第二阈值数据量，则控制电路230确定光强变化事件的统计数据满足预定切换条件，并发送模式切换信号。在该实施例中，控制电路230可以基于像素阵列电路的像素数目、帧速率和像素数据量来确定或调整第二阈值数据量。应当理解当切换策略配置有多种切换条件时，控制电路230可以根据需要，例如根据视觉传感器200的类型、光强变化事件的特性、外部环境的属性、运动状态等因素，从多个切换条件中选择一个用于分析和决策。在本公开的示例实施例中，其他合适的切换策略模块及切换条件或策略也可以被采用，本公开的范围在此方面不受限制。

在框704，读取电路220基于从控制电路220接收的模式切换信号，将第一读取模式切换为第二读取模式。进而，读取电路220以第二读取模式来读取像素阵列电路210生成的至少一个数据信号。控制电路230随后可以继续对像素阵列电路210产生的光强变化事件进行历史统计，当满足切换条件时，发送模式切换信号以使读取电路220从第二读取模式切换为第一读取模式。

根据本公开的示例实施例提供的方法，控制电路在整个读取和解析的过程中持续地对像素阵列电路中产生的光强变化事件进行历史统计和实时分析，一旦满足切换条件就发送模式切换信号，以使读取电路从当前读取模式切换为更为合适的备选切换模式。该自适应地切换过程不断重复，直至对所有数据信号的读取完成。

图8示出了根本公开的示例实施例的控制电路800的框图。控制电路800可以用于实现图2中的控制电路230、图3中的控制电路330等，也可以利用其他合适的设备来实现。应当理解的是，控制电路800仅用于示例性目的，而不暗示对于本公开的范围的任何限制。本公开的实施例还可以被体现在不同的控制电路中。另外，还应当理解，控制电路800还可以包括其他元件、模块或实体，出于清楚的目的未被示出，但不意味着本公开的实施例不具备这些元件或实体。

如图8所示，控制电路800包括至少一个处理器802、耦合到处理器802的至少一个存储器804以及耦合到处理器802的通信机制812。存储器804至少用于存储计算机程序以及从读取电路获取的数据信号。在处理器802上预配置有统计模型806和切换决策模块808。控制电路830可以通过通信机制812被通信耦合到如图2所示的视觉传感器200的读取电路220或者视觉传感器外部的读取电路，以对其实现控制功能。为了便于描述，下面参考图2中的读取电路220，但是本公开的实施例同样适用于外设读取电路的配置。

与图2所示的控制电路230类似，在一些示例实施例中，控制电路800可以被配置为控制读取电路220以特定数据读取模式(例如，基于帧扫描的同步读取模式、基于事件流的异步读取模式等)来读取像素阵列电路210生成的多个数据信号。另外，控制电路800可以被配置为从读取电路220获取数据信号，数据信号可以指示，但不限于光强极性、绝对光强度值、光强度的变化值等等。例如，光强极性可以表示光强变化的趋势，如增强或减弱，通常用+1/-1表示。绝对光强度值可以表示在当前时刻测量的光强度值。取决于传感器的结构、用途和种类，关于光强度或光强变化的信息可以具有不同的物理意义。

控制电路800基于从读取电路220获取数据信号，确定与至少一个光强变化事件有关的统计数据。在一些实施例中，控制电路800可以从读取电路220获取像素阵列电路210在一段时间内生成的数据信号，并将这些数据信号存储在存储器804中，以供历史统计和分析。在本公开的上下文中，第一读取模式和第二读取模式可以分别是基于事件流的异步读取模式和基于帧扫描的同步读取模式中的一者。但是应当注意，本文关于自适应地切换读取模式所描述的所有特征同样适用于其他目前已知的或将来开发的其他类型的传感器以及数据读取模式，以及多于两种数据读取模式之间的切换。

在一些示例实施例中，控制电路800可以利用预配置的一个或多个统计模型806，对由读取电路220提供的像素阵列电路210在一段时间内产生光强变化事件进行历史统计。统计模型806然后可以向切换决策模块808传输统计数据以作为输出。如前文所述，统计数据可以指示光强变化事件的数目，也可以指示光强变化事件的总数据量。应当理解，任何合适的统计模型、统计算法均可应用于本公开的示例实施例，本公开的范围在此方面不受限制。

由于统计数据是对视觉传感器在一段时间内产生光强变化事件的历史情况的统计结果，因而可供决策模块808分析和预测下一时间段内事件发生的速率切换决策模块808可以预配置有一个或多个切换决策。当存在多个切换决策时，控制电路800可以根据需要，例如根据视觉传感器200的类型、光强变化事件的特性、外部环境的属性、运动状态等因素，从多个切换决策中选择一个用于分析和决策。在本公开的示例实施例中，其他合适的切换决策模块及模式切换条件或策略也可以被采用，本公开的范围在此方面不受限制。

在一些实施例中，如果切换决策模块808确定统计数据满足模式切换条件，则向读取电路220输出关于切换读取模式的指示。在另一实施例中，如果切换决策模块808确定统计数据不满足模式切换条件，则不向读取电路220输出关于切换读取模式的指示。在一些实施例中，关于切换读取模式的指示可以如以上实施例所述的采用显式形式，例如以切换信号或标记位的形式通知读取电路220切换读取模式。

图9示出了根据本公开的示例实施例的电子设备900的框图。如图9所示，电子设备900包括视觉传感器芯片901、通信接口902和903、控制电路930、以及解析电路904。应当理解的是，电子设备900用于示例性目的，其可以利用任何合适的设备来实现，包括当前已知的和未来开发的各种传感器设备。本公开的实施例还可以被体现在不同的传感器系统中。另外，还应当理解，电子设备900还可以包括其他元件、模块或实体，出于清楚的目的未被示出，但不意味着本公开的实施例不具备这些元件、模块或实体。

如图9所示，视觉传感器901包括像素阵列电路910以及读取电路920，其中读取电路920的读取组件920-1和920-2分别经由通信接口902和903耦合至控制电路930。在本公开的实施例中，读取组件920-1和920-2可以分别利用独立的设备实现，也可以被集成在同一设备中。例如，图2所示的读取电路220是一种集成的示例实现。为了便于描述，读取组件920-1和920-2可以分别被配置为以基于帧扫描的读取模式和基于事件流的读取模式实现数据读取功能。

像素阵列电路910可以利用图2中的像素阵列电路210或图3中的像素阵列电路310来实现，也可以利用任何合适的其他设备来实现，本公开在这方面不受限制。关于像素阵列电路910的特征在此不再进行赘述。

读取电路920可以以特定的读取模式读取像素阵列电路910生成的数据信号。例如，在接通读取组件920-1并断开读取组件920-2的示例中，读取电路920初始采用基于帧扫描的读取模式读取数据信号。在接通读取组件920-2并断开读取组件920-1的示例中，读取电路920初始采用基于事件流的读取模式读取数据信号。读取电路920以利用图2中的读取电路220或图3中的读取电路320来实现，也可以利用任何合适的其他设备来实现，关于读取电路920的特征在此不再进行赘述。

在本公开的实施例中，控制电路930可以通过指示信号或标记位的方式指示读取电路920从第一读取模式切换到第二读取模式。在这种情况下，读取电路920可以从控制电路930接收关于切换读取模式的指示，例如，接通读取组件920-1并断开读取组件920-2，或接通读取组件920-2并断开读取组件920-1。

如前文所述，电子设备900还可以包括解析电路904。解析电路904可以被配置为解析由读取电路920读取的数据信号。在本公开的示例实施例中，解析电路可以采用与读取电路920的当前数据读取模式相适应的解析模式。作为示例，如果读取电路920初始以基于事件流的读取模式读取数据信号，则解析电路相应地基于与该读取模式相关联的第一数据量B_ev·N_ev来解析数据。当读取电路920基于控制电路930的指示从基于事件流的读取模式切换为基于帧扫描的读取模式时，解析电路开始按照第二数据量，即一帧数据大小M·B_p来解析数据信号，反之亦然。

在一些实施例中，解析电路904可以在无需显式切换信号或标记位的情况下实现解析电路的解析模式的切换。例如，解析电路904可以采用与控制电路930相同或相应的统计模型和切换策略，以对读取电路920提供的数据信号做出与控制电路930相同的统计分析并做出一致的切换预测。作为示例，如果读取电路920初始以基于事件流的读取模式读取数据信号，相应地，解析电路初始基于与该读取模式相关联的第一数据量B_ev·N_ev来解析数据。例如，解析电路解析出的前b_x个比特指示像素的坐标x，接下来b_y个比特指示像素的坐标y，其后的b_t个比特指示读取时间，最后取b_a个比特指示光强变化量。解析电路从读取电路920获取至少一个数据信号，并确定与至少一个光强变化事件有关的统计数据。如果解析电路904确定该统计数据满足切换条件，则切换至与基于帧扫描的读取模式相对应的解析模式，以帧数据大小M·B_p来解析数据信号。

作为另一示例，如果读取电路920初始以基于帧扫描的读取模式读取数据信号，则解析电路904以与该读取模式相对应的解析模式，按照每B_p比特依次取出帧内的每个像素位置的值，其中未产生光强变化事件的像素位置的值为0。解析电路904基于数据信号可以统计出一帧内的非0个数，即该帧内的光强变化事件的数目。

在一些示例实施例中，解析电路904从读取电路920获取至少一个数据信号，并至少基于该至少一个数据信号来判断当前解析模式和备选的解析模式中的哪一种与读取电路920的读取模式相对应。进而，在一些实施例中，解析电路904可以基于该判断来从当前解析模式切换到另一解析模式。

在一些示例实施例中，解析电路904可以基于对光强变化事件的历史统计来确定是否切换解析模式。例如，解析电路904可以基于从读取电路920接收的至少一个数据信号，确定与至少一个光强变化事件有关的统计数据。如果统计数据被确定为满足切换条件，则解析电路904从当前解析模式切换到备选的解析模式。为了便于比较，统计数据可以分别用于衡量读取电路920的第一读取模式和第二读取模式的读取数据速率。

在一些实施例中，统计数据可以包括单位时间内像素阵列电路910测量到的事件数目的总数据量。如果解析电路904基于至少一个数据信号确定读取电路920在第一读取模式下读取的光强变化事件的总数据量已经大于或等于其第二读取模式的光强变化事件的总数据量，则表明读取电路220已从第一读取模式切换至第二读取模式。这种情况下，解析电路904应当相应地切换至与当前读取模式相对应的解析模式。

在一些实施例中，给定第一读取模式为基于帧扫描的读取模式并且第二读取模式为基于事件流的读取模式。在该实施例中，解析电路904初始以与第一读取模式相对应的、基于帧的解析模式来解析从读取电路920获取的数据信号。解析电路904可以基于像素阵列电路910的像素数目M、帧速率f和像素数据量B_p来确定读取电路920在第一读取模式下读取的光强变化事件的总数据量M·B_p·f。解析电路904可以基于光强变化事件的数目N_ev和与基于事件流的读取模式相关联的事件数据量B_ev，来确定读取电路920在第二读取模式下读取的光强变化事件的总数据量B_ev·N_ev。在一些实施例中，可以利用切换参数来调节两个读取模式下的总数据量之间的关系。进而，解析电路904可以根据，例如，上文中的公式(1)来确定读取电路920在第一读取模式下读取的光强变化事件的总数据量M·B_p·f是否大于或等于第二读取模式的光强变化事件的总数据量B_ev·N_ev。如果是，则解析电路904确定读取电路920已切换至基于事件流的读取模式，并相应地从基于帧的解析模式切换到基于事件流的解析模式。

作为上述实施例的备选实施方式中，解析电路904可以根据上文中的公式(2)来确定读取电路920在第一读取模式下读取的光强变化事件的总数据量M·B_p·f是否大于或等于其在第二读取模式下读取的光强变化事件的总数据量B_ev·N_ev。类似地，在确定读取电路920在第一读取模式下读取的光强变化事件的总数据量M·B_p·f大于或等于第二读取模式的光强变化事件的总数据量B_ev·N_ev的情况下，解析电路904确定读取电路920已切换至基于事件流的读取模式，并相应地从基于帧的解析模式切换到基于事件流的解析模式。

在一些实施例中，第一读取模式为基于事件流的读取模式并且第二读取模式为基于帧扫描的读取模式。在该实施例中，解析电路904初始以与第一读取模式相对应的、基于事件流的解析模式来解析从读取电路920获取的数据信号。如前所述，解析电路904基于读取电路220所提供的第一数据信号的数目可以直接确定像素阵列电路910中产生的光强变化事件的数目N_ev。解析电路904可以基于事件数目N_ev和与基于事件流的读取模式相关联的事件数据量B_ev，确定读取电路920在第一读取模式下读取的事件的总数据量B_ev·N_ev。类似地，解析电路904还可以基于像素阵列电路的像素数目M、帧速率f和像素数据量B_p来确定读取电路920在第二读取模式下读取的光强变化事件的总数据量M·B_p·f。然后，解析电路904可以，例如，根据上文中的公式(3)来确定第一读取模式下读取的光强变化事件的总数据量B_ev·N_ev是否大于或等于第二读取模式的光强变化事件的总数据量M·B_p·f。类似地，当解析电路904确定读取电路920在第一读取模式下读取的光强变化事件的总数据量B_ev·N_ev大于或等于第二读取模式的光强变化事件的总数据量M·B_p·f时，解析电路904确定读取电路920已切换至基于帧扫描的读取模式，并相应地从基于事件流的解析模式切换到基于帧的解析模式。

作为上述实施例的备选实施方式中，解析电路904可以根据上文中的公式(4)来确定读取电路920在第一读取模式下读取的光强变化事件的总数据量B_ev·N_ev是否大于或等于其在第二读取模式下读取的光强变化事件的总数据量M·B_p·f。类似地，在确定读取电路920在第一读取模式下读取的光强变化事件的总数据量B_ev·N_ev大于或等于第二读取模式的光强变化事件的总数据量M·B_p·f的情况下，解析电路904确定读取电路920已切换至基于帧扫描的读取模式，并相应地从基于事件流的解析模式切换到基于帧扫描的解析模式。

对于基于帧扫描的读取模式下事件的读取时间t，默认同一帧内的所有事件均具有相同的读取时间t。在对事件读取时间的精度要求较高的情况下，可以进一步通过如下方式来确定每个事件的读取时间。以上述实施例为例，在基于帧扫描的读取模式下，读取电路920扫描像素阵列电路的频率为f Hz，则读取相邻两帧数据的时间间隔为S＝1/f，并且给定每一帧的起始时间为：

T_k＝T₀+kS (9)

其中T₀为第一帧的起始时间，k为帧序号，则针对M个像素中的一个像素进行数模转换所需的时间可由如下公式(10)来确定：

第k帧中的第i个像素处产生光强变化事件的时间可由如下公式(11)来确定：

其中i为正整数。如当前读取模式为同步读取模式，则切换为异步读取模式，按照每个事件B_ev比特解析数据。在上述实施例中，解析模式的切换可以在没有显式切换信号或标记位的情况下实现。对于其他目前已知或未来开发的数据读取模式，解析电路也可采用类似的与数据读取模式相适应的方式解析数据，在此不再赘述。

根据本公开的示例实施例，提出了一种具有多种数据读取模式的视觉传感器。视觉传感器能够自适应地在多种数据读取模式之间切换，使得读取数据速率始终保持未超过预定的读取数据速率阈值，从而降低了视觉传感器的数据传输、解析和存储的代价，显著提高了传感器的性能。另外，这样的视觉传感器可以对一段时间内产生的事件进行数据统计以用于预测下一时间段内可能的事件产生速率，因而能够选出更加适合当前外部环境、应用场景和运动状态的读取模式。

图10示出了单一数据读取模式与根据本公开的示例实施例的自适应切换读取模式的数据量随时间变化的示意图。图10的左半部分描绘了单纯采用同步读取模式或异步读模式的传统的视觉传感器或传感器系统的读取数据量随时间变化的示意图。在单纯采用同步读取模式的情形中，如曲线1001所示，由于每帧具有固定的数据量，读取的数据量随时间保持不变，即，读取数据速率(单位时间内读取的数据量)稳定。如前所述，当像素阵列电路中产生大量事件时，采用基于帧扫描的读取模式来读取数据信号较为合理，帧数据中绝大部分为表示产生事件的有效数据，存在的冗余较少。而当像素阵列电路中产生的事件较少时，一帧中存在大量表示并产生事件的无效数据，此时仍以帧数据结构表示和读取像素处的光强度信息将产生冗余，浪费传输带宽和存储资源。

在单纯采用异步读取模式的情形中，如曲线1002所示，读取的数据量随事件产生的速率而发生变化，因而读取数据速率不是固定的。当像素阵列电路中产生的事件较少时，仅需要为少量事件分配用于表示像素的坐标信息(x，y)、数据信号被读取的时间戳t和光强变化量a的比特，所需读取的总数据量较小，在这种情况下采用异步读取模式较为合理。当短时间内在像素阵列电路中产生大量事件时，需要分配大量用于表示这些事件的比特。然而，这些像素坐标几乎相邻，数据信号的读取时间也几乎相同。换言之，读取的事件数据中存在大量重复的数据，因而在异步读取模式中同样存在冗余的问题，在这种情况下的读取数据速率甚至超过同步读取模式下的读取数据速率，如果仍旧采用异步读取模式是不合理的。

图10的右半部分描绘了根据本公开的示例实施例的自适应数据读取模式下的数据量随时间变化的示意图。自适应数据读取模式可以利用图2所示的视觉传感器200、图3所示的视觉传感器300或者图9所示的电子设备900来实现，或者传统的视觉传感器或传感器系统可以通过利用图8所示的控制电路800来实现自适应的数据读取模式。为了便于描述，下面参照图2所示的视觉传感器200来描述关于自适应数据读取模式的特征。如曲线1003所示，视觉传感器200在初始化状态下选择例如异步读取模式。由于该模式下用于表示每个事件的比特数目B_ev是预定的(例如，B_ev＝b_x+b_y+b_t+b_a)，随着事件的产生和读取，视觉传感器200可以统计出当前模式下的读取数据速率。另一方面，同步读取模式中用于表示每一帧的每个像素的比特数目B_p也是预定的，因此可以计算出在该段时间内使用同步读取模式的读取数据速率。视觉传感器200然后可以确定两种读取模式下的数据速率之间的关系是否满足模式切换条件。例如，视觉传感器200可以基于预定义的阈值比较两种读取模式中哪种模式的读取数据速率更小。一旦确定满足模式切换条件，则视觉传感器200切换为另一种读取模式，例如从初始的异步读取模式切换为同步读取模式。上述步骤在数据信号的读取和解析的过程中持续进行，直至完成所有数据的输出。如曲线1003所示，视觉传感器200在整个数据读取过程中自适应地选择最优的读取模式，两种读取模式交替出现，使得视觉传感器200的读取数据速率始终保持未超过同步读取模式的读取数据速率，从而降低了视觉传感器的数据传输、解析和存储的代价。

另外，根据本公开的实施例所提出的自适应数据读取方式，视觉传感器200可以对事件进行历史数据统计以预测下一时间段内可能的事件产生速率，因此能够选出更加适合应用场景和运动状态的读取模式。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制电路、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制电路或其他计算设备，或其某些组合中实施。

而且，流程图中的各框可以被看作是方法步骤，和/或计算机程序代码的操作生成的操作，和/或理解为执行相关功能的多个耦合的逻辑电路元件。例如，本公开的实施例包括计算机程序产品，该计算机程序产品包括有形地实现在机器可读介质上的计算机程序，该计算机程序包含被配置为实现上文描述方法的程序代码。

在公开的上下文内，机器可读介质可以是包含或存储用于或有关于指令执行系统、装置或设备的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子的、磁的、光学的、电磁的、红外的或半导体系统、装置或设备，或其任意合适的组合。机器可读存储介质的更详细示例包括带有一根或多根导线的电气连接、便携式计算机磁盘、硬盘、随机存储存取器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光存储设备、磁存储设备，或其任意合适的组合。

用于实现本公开的方法的计算机程序代码可以用一种或多种编程语言编写。这些计算机程序代码可以提供给通用计算机、专用计算机或其他可编程的数据处理装置的处理器，使得程序代码在被计算机或其他可编程的数据处理装置执行的时候，引起在流程图和/或框图中规定的功能/操作被实施。程序代码可以完全在计算机上、部分在计算机上、作为独立的软件包、部分在计算机上且部分在远程计算机上或完全在远程计算机或服务器上执行。

另外，尽管操作以特定顺序被描绘，但这并不应当理解为要求此类操作以示出的特定顺序或以相继顺序完成，或者执行所有图示的操作以获取期望结果。在某些情况下，多任务或并行处理会是有益的。同样地，尽管上述讨论包含了某些特定的实施细节，但这并不应解释为限制任何发明或权利要求的范围，而应解释为对可以针对特定发明的特定实施例的描述。本说明书中在分开的实施例的上下文中描述的某些特征也可以整合实施在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以分离地在多个实施例或在任意合适的子组合中实施。

针对前述本公开的示例实施例的各种修改、改变将在连同附图查看前述描述时对相关技术领域的技术人员变得明显。任何及所有修改将仍落入非限制的和本公开的示例实施例范围。此外，前述说明书和附图存在启发的益处，涉及本公开的这些实施例的技术领域的技术人员将会想到此处阐明的本公开的其他实施例。

将会理解，本公开的实施例不限于所公开的特定实施例，并且修改和其他实施例都应当包含于所附的权利要求范围内。尽管此处使用了特定的术语，但是它们仅在通用和描述的意义上使用，而并不用于限制目的。

Claims (19)

1.一种视觉传感器芯片，其特征在于，包括：

像素阵列电路，被配置为通过测量光强变化量来生成与所述像素阵列电路中的多个像素对应的多个数据信号，所述多个数据信号指示至少一个光强变化事件，所述至少一个光强变化事件表示所述像素阵列电路中的对应像素测量到的光强变化量超过预定阈值；以及

读取电路，耦合到所述像素阵列电路并且被配置为：

以第一读取模式从所述像素阵列电路读取所述多个数据信号中的至少一个数据信号；

向控制电路提供所述至少一个数据信号；

以及所述控制电路被配置为：

基于从所述读取电路接收的所述至少一个数据信号，确定与所述至少一个光强变化事件有关的统计数据；其中，所述统计数据包括单位时间内所述像素阵列电路测量到的所述光强变化事件的总数据量，所述统计数据用于衡量所述第一读取模式和第二读取模式的读取数据速率；

如果确定所述统计数据满足预定切换条件，向所述读取电路发送模式切换信号；

以及所述读取电路还被配置为：

如果从所述控制电路接收到基于所述至少一个数据信号而生成的模式切换信号，将所述第一读取模式切换为第二读取模式。

2.根据权利要求1所述的视觉传感器芯片，其特征在于，所述像素阵列电路还被配置为：

如果所述像素阵列电路中的像素测量到的光强变化量超过所述预定阈值，生成指示所述光强变化事件的第一数据信号；以及

如果所述像素阵列电路中的像素测量到的光强变化量未超过所述预定阈值，生成与所述第一数据信号不同的第二数据信号。

3.根据权利要求1所述的视觉传感器芯片，其特征在于，所述第一读取模式为基于帧扫描的读取模式并且所述第二读取模式为基于事件流的读取模式，并且其中所述读取电路被配置为通过以下方式来读取所述多个数据信号中的所述至少一个数据信号：

通过以与所述基于帧扫描的读取模式相关联的帧频率扫描所述像素阵列电路，来读取所述多个数据信号中的所有数据信号；并且

其中所述读取电路被配置为通过以下方式来提供所述至少一个数据信号：

向所述控制电路提供所述所有数据信号。

4.根据权利要求1所述的视觉传感器芯片，其特征在于，所述第一读取模式为基于事件流的读取模式并且所述第二读取模式为基于帧扫描的读取模式，并且所述读取电路被配置为通过以下方式来读取所述多个数据信号中的所述至少一个数据信号：

通过扫描所述像素阵列电路，确定与所述光强变化事件有关的像素的位置信息；以及

基于所述位置信息，读取所述多个数据信号中的、由所述像素生成的所述至少一个数据信号。

5.根据权利要求1所述的视觉传感器芯片，其特征在于，所述第一读取模式为基于帧扫描的读取模式并且所述第二读取模式为基于事件流的读取模式，并且其中所述控制电路被配置为通过以下方式来确定所述统计数据：

基于所述多个数据信号中的第一数据信号的数目，确定所述至少一个光强变化事件的数目，每个第一数据信号指示所述像素阵列电路中的相应像素测量到的光强变化量超过预定阈值。

6.根据权利要求1所述的视觉传感器芯片，其特征在于，所述第一读取模式为基于事件流的读取模式并且所述第二读取模式为基于帧扫描的读取模式，并且其中所述控制电路被配置为通过以下方式来确定所述统计数据：

基于所述至少一个数据信号的数目，确定所述至少一个光强变化事件的数目，所述至少一个数据信号中的每个数据信号指示所述像素阵列电路中的相应像素测量到的光强变化量超过预定阈值。

7.根据权利要求5或6所述的视觉传感器芯片，其特征在于，所述控制电路还被配置为通过以下方式来确定所述统计数据：

基于所述光强变化事件的数目和与所述基于事件流的读取模式相关联的事件数据量，确定所述光强变化事件的总数据量。

8.根据权利要求5所述的视觉传感器芯片，其特征在于，所述控制电路还被配置为：

如果所述统计数据指示所述光强变化事件的数目未超过第一阈值数目，确定所述光强变化事件的统计数据满足所述预定切换条件，所述第一阈值数目至少基于所述像素阵列电路的像素数目、与所述基于帧扫描的读取模式相关联的帧速率和像素数据量、以及与所述基于事件流的读取模式相关联的事件数据量被确定；以及

如果所述统计数据指示所述光强变化事件的总数据量未超过阈值数据量，确定所述光强变化事件的统计数据满足所述预定切换条件，所述阈值数据量至少基于所述像素阵列电路的像素数目、所述帧速率和所述像素数据量被确定。

9.根据权利要求6所述的视觉传感器芯片，其特征在于，所述控制电路还被配置为：

如果所述统计数据指示所述光强变化事件的数目不低于第二阈值数目，确定所述光强变化事件的统计数据满足所述预定切换条件，所述第二阈值数目至少基于所述像素阵列电路的像素数目、与所述基于帧扫描的读取模式相关联的帧速率和像素数据量、以及与所述基于事件流的读取模式相关联的事件数据量被确定；以及

如果所述统计数据指示所述光强变化事件的总数据量不低于阈值数据量，确定所述光强变化事件的统计数据满足所述预定切换条件，所述阈值数据量至少基于所述像素阵列电路的像素数目、所述帧速率和所述像素数据量被确定。

10.一种用于操作视觉传感器芯片的方法，其特征在于，包括：

所述视觉传感器芯片的像素阵列电路通过测量光强变化量来生成与所述像素阵列电路中的多个像素对应的多个数据信号，所述多个数据信号指示至少一个光强变化事件，所述至少一个光强变化事件表示所述像素阵列电路中的对应像素测量到的光强变化量超过预定阈值；

所述视觉传感器芯片的读取电路以第一读取模式从所述像素阵列电路读取所述多个数据信号中的至少一个数据信号；

所述读取电路向所述视觉传感器芯片的控制电路提供所述至少一个数据信号；

所述控制电路基于从所述读取电路接收的所述至少一个数据信号，确定与所述至少一个光强变化事件有关的统计数据；其中，所述统计数据包括单位时间内所述像素阵列电路测量到的所述光强变化事件的总数据量，所述统计数据用于衡量所述第一读取模式和第二读取模式的读取数据速率；

如果所述控制电路确定所述统计数据满足预定切换条件，所述控制电路向所述读取电路发送模式切换信号；如果所述读取电路从所述控制电路接收到基于所述至少一个数据信号而生成的模式切换信号，所述读取电路将所述第一读取模式切换为第二读取模式。

11.根据权利要求10所述的方法，其特征在于，生成所述多个数据信号包括：

如果所述像素阵列电路中的像素测量到的光强变化量超过所述预定阈值，生成指示所述光强变化事件的第一数据信号；以及

如果所述像素阵列电路中的像素测量到的光强变化量未超过所述预定阈值，生成与所述第一数据信号不同的第二数据信号。

12.根据权利要求10所述的方法，其特征在于，所述第一读取模式为基于帧扫描的读取模式并且所述第二读取模式为基于事件流的读取模式，并且其中读取所述至少一个数据信号包括：

所述读取电路通过以与所述基于帧扫描的读取模式相关联的帧频率扫描所述像素阵列电路，来读取所述多个数据信号，以及

其中提供所述至少一个数据信号包括：所述读取电路向所述控制电路提供所述多个数据信号。

13.根据权利要求10所述的方法，其特征在于，所述第一读取模式为基于事件流的读取模式并且所述第二读取模式为基于帧扫描的读取模式，并且以所述第一读取模式来读取所述至少一个数据信号包括：

所述读取电路通过扫描所述像素阵列电路，确定与所述光强变化事件有关的像素的位置信息；以及

所述读取电路基于所述位置信息，读取所述多个数据信号中的、由所述像素生成的所述至少一个数据信号。

14.根据权利要求10所述的方法，其特征在于，所述第一读取模式为基于帧扫描的读取模式并且所述第二读取模式为基于事件流的读取模式，并且确定所述光强变化事件的统计数据包括：

所述控制电路基于所述多个数据信号中的第一数据信号的数目，确定所述至少一个光强变化事件的数目，每个第一数据信号指示所述像素阵列电路中的相应像素测量到的光强变化量超过预定阈值。

15.根据权利要求10所述的方法，其特征在于，所述第一读取模式为基于事件流的读取模式并且所述第二读取模式为基于帧扫描的读取模式，并且其中确定所述光强变化事件的统计数据包括：

所述控制电路基于所述至少一个数据信号的数目，确定所述至少一个光强变化事件的数目，所述至少一个数据信号中的每个数据信号指示所述像素阵列电路中的相应像素测量到的光强变化量超过预定阈值。

16.根据权利要求14或15所述的方法，其特征在于，确定所述光强变化事件的统计数据还包括：

所述控制电路基于所述光强变化事件的数目和与所述基于事件流的读取模式相关联的事件数据量，确定所述光强变化事件的总数据量。

17.根据权利要求14所述的方法，其特征在于，还包括：

如果所述统计数据指示所述光强变化事件的数目未超过第一阈值数目，所述控制电路确定所述光强变化事件的统计数据满足所述预定切换条件，所述第一阈值数目至少基于所述像素阵列电路的像素数目、与所述基于帧扫描的读取模式相关联的帧速率和像素数据量、以及与所述基于事件流的读取模式相关联的事件数据量被确定；以及

如果所述统计数据指示所述光强变化事件的总数据量未超过阈值数据量，所述控制电路确定所述光强变化事件的统计数据满足所述预定切换条件，所述阈值数据量至少基于所述像素阵列电路的像素数目、所述帧速率和所述像素数据量被确定。

18.根据权利要求15所述的方法，其特征在于，还包括：

如果所述统计数据指示所述光强变化事件的数目不低于第二阈值数目，所述控制电路确定所述光强变化事件的统计数据满足所述预定切换条件，所述第二阈值数目至少基于所述像素阵列电路的像素数目、与所述基于帧扫描的读取模式相关联的帧速率和像素数据量、以及与所述基于事件流的读取模式相关联的事件数据量被确定；以及

如果所述统计数据指示所述光强变化事件的总数据量不低于阈值数据量，所述控制电路确定所述光强变化事件的统计数据满足所述预定切换条件，所述阈值数据量至少基于所述像素阵列电路的像素数目、所述帧速率和所述像素数据量被确定。

19.一种电子设备，其特征在于，包括：

根据权利要求1至9中任一项所述的视觉传感器芯片；以及

解析器，耦合到所述视觉传感器芯片，并且被配置为：以与所述视觉传感器芯片的读取电路的读取模式相对应的解析模式，解析从所述读取电路接收的数据信号。