CN111247801A - 用于事件相机数据处理的系统和方法 - Google Patents

用于事件相机数据处理的系统和方法 Download PDF

Info

Publication number
CN111247801A
CN111247801A CN201880062948.6A CN201880062948A CN111247801A CN 111247801 A CN111247801 A CN 111247801A CN 201880062948 A CN201880062948 A CN 201880062948A CN 111247801 A CN111247801 A CN 111247801A
Authority
CN
China
Prior art keywords
pixel
event
sub
tile
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062948.6A
Other languages
English (en)
Other versions
CN111247801B (zh
Inventor
A·M·莫夫施为奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210690221.0A priority Critical patent/CN115052141B/zh
Publication of CN111247801A publication Critical patent/CN111247801A/zh
Application granted granted Critical
Publication of CN111247801B publication Critical patent/CN111247801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

在一些实施方案中，在具有处理器、非暂态存储器和包括分布在区域上的像素传感器的事件相机的设备处执行一种方法。该方法包括通过将第一时间段分成子时段以及对事件流的像素事件进行合并而将在第一时间段内来自像素传感器的事件流转换为事件帧，其中子时段中的每个子时段与帧子时段标识符相关联。该方法还包括通过将区域细分为图块来对像素传感器进行寻址，其中每个图块包括像素传感器的分组，并且特定像素传感器的图块地址为图块标识符和特定像素传感器的位置定位符的组合。该方法还包括根据图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码。

Description

用于事件相机数据处理的系统和方法
相关申请的交叉引用
本申请要求于2017年9月28日提交的美国临时专利申请No.62/564,818的优先权，该申请据此全文以引用方式并入。
技术领域
本公开整体涉及数字图像处理领域，并且更具体地涉及由事件相机捕获的事件数据的编码。
背景技术
强度帧相机使用钟控图像传感器从场景采集视觉信息。通过使用所有图像传感器，不管特定像素处的信息是否在上次拍摄图像后已改变，强度帧相机以预设帧速率拍摄图像。在各种情况下，这导致冗余。随着图像传感器发展至更高的空间分辨率和时间分辨率，冗余的量增加。因此，后处理所需的硬件的容量、复杂性和成本增加。进一步的功率消耗上升到可在电池供电的移动设备中禁止使用的水平。
事件相机在传感器平面处直接执行视觉信息的预处理。事件相机包括仿生视觉传感器，其输出像素级亮度变化而非标准强度帧。输出生成是受事件控制的，并且仅在检测到场景中的一个或多个变化时发生。例如，通过使用事件相机传感器，所记录的相关信息包括由各个自主操作像素接收的照明强度的变化。不感测其视场变化的像素不产生输出。因此，在由像素事件传感器递送的数据流内仅包括关于可变对象的信息，并且不存在关于均匀表面或无运动背景的信息(例如，无灰度级信息形式的强度帧图像数据)。
与强度帧相机相比，事件相机具有显著的优点，即高动态范围和低延迟(例如，大约微秒)。然而，在具有快速运动的纹理化场景中，每秒生成数百万个事件。为了处理此类繁忙场景，现有事件过程可能需要大量并行计算。
发明内容
因此，本文描述了由事件相机进行高效数据处理的系统和方法。此类系统和方法在时间段内累积事件以便产生事件帧。与由强度帧相机生成的帧不同，本文所公开的每个事件帧表示两个限定时间戳之间的事件的聚合。通过聚合帧中的事件并将帧头与相应子时段标识符相关联，减少了在单个事件中具有时间戳的开销。在一些实施方案中，事件帧被划分为图块。根据每个图块中的事件的数量，对包含高于阈值量的多个事件的繁忙图块被编码，以进一步降低对每个单独像素进行寻址的开销。此类系统和方法因此导致事件数据的减少并且使得能够以低延迟进行有效的事件相机数据处理。
根据一些实施方案，在具有一个或多个处理器、非暂态存储器和包括分布在第一区域上的多个像素传感器的事件相机的设备处执行一种方法。该方法包括：通过将第一时间段分成多个子时段以及基于多个子时段和像素事件的相应时间戳对事件流的像素事件进行合并而将第一时间段内来自像素传感器的事件流转换为事件帧，其中多个子时段中的每个子时段与对应的帧子时段标识符相关联。该方法还包括通过将第一区域细分为图块来对多个像素传感器进行寻址，其中所述图块中的每个图块包括多个像素传感器的相应分组，其中特定像素传感器的图块地址为相应图块标识符和与相应图块标识符相关联的特定像素传感器的位置定位符的组合。该方法另外包括根据相应图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码。
根据一些实施方案，设备包括事件相机、事件成帧器、分块器和编码器。该事件相机还包括分布在第一区域上的多个像素传感器。事件成帧器通过将第一时间段分成多个子时段并基于多个子时段和像素事件的相应时间戳对相应事件流中的像素事件进行合并而将在第一时间段期间从多个像素传感器中相应的一个像素传感器输出的相应事件流转换为事件帧。分块器通过将第一区域细分为图块来对多个像素传感器进行寻址，其中图块中的每个图块包括多个像素传感器的分组，其中特定像素传感器的图块地址为相应图块标识符和与相应图块标识符相关联的特定像素传感器的位置定位符的组合。编码器根据相应图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码。
根据一些实施方案，在具有一个或多个处理器、非暂态存储器和包括分布在第一区域上的多个像素传感器的事件相机的设备处执行一种方法。该方法包括：通过将第一时间段分成多个子时段以及基于多个子时段和像素事件的相应时间戳对相应事件流的像素事件进行合并而将第一时间段内来自多个像素传感器中对应的一个或多个像素传感器的一个或多个事件流转换为事件帧，其中多个子时段中的每个子时段与对应的帧子时段标识符相关联。该方法还包括响应于确定第一区域内的像素事件的数量在特定子时段内打破了阈值量而根据第一编码过程使用该第一编码过程来对特定子时段的第一区域的像素事件进行编码。该方法另外包括响应于确定第一区域内的像素事件的数量在特定子时段内未打破阈值量而使用第二编码过程来对特定子时段的第一区域的像素事件进行编码(例如针对非繁忙或平静图块的单个事件编码)。
根据一些实施方案，设备包括事件相机、事件成帧器和编码控制器。该事件相机还包括分布在第一区域上的多个像素传感器。事件成帧器通过将第一时间段分成多个子时段并基于多个子时段和像素事件的相应时间戳对相应事件流中的像素事件进行合并而将在第一时间段期间从多个像素传感器中相应的一个像素传感器输出的相应事件流转换为事件帧。编码控制器基于第一区域内的像素事件的数量是否在特定子时段内打破阈值量来选择编码器，并触发所选择的编码器以对特定子时段的第一区域的像素事件进行编码。
根据一些实施方案，设备包括一个或多个处理器、非暂态存储器和一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些实施方案，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。
附图说明
为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。
图1为示出了根据一些实施方案的简化的电子设备的框图。
图2示出了根据一些实施方案的示例性事件曲线。
图3为示出了根据一些实施方案的事件成帧的方法的流程图。
图4示出了根据一些实施方案的示例性事件帧。
图5为示出了根据一些实施方案的事件编码的方法的流程图。
图6示出了根据一些实施方案的用于事件编码的示例性数据结构。
图7为示出了根据一些实施方案的简化的多功能设备的框图。
具体实施方式
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”(“a”、“an”)和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意思是“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的
Figure BDA0002427972210000051
iPod
Figure BDA0002427972210000052
和
Figure BDA0002427972210000053
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触控板)的台式计算机。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
参见图1，其示出了根据一些实施方案的电子设备100的简化框图。在一些实施方案中，电子设备100是多功能设备的一部分，多功能设备诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备或包括图像处理设备的任何其他电子设备。在一些实施方案中，尽管图1中未示出，但是电子设备100经由网络连接到其他网络设备，诸如其他移动设备、平板设备、台式设备以及网络存储设备，包括服务器等。
在一些实施方案中，电子设备100包括中央处理单元(CPU)130和设备传感器175(例如，接近传感器/环境光传感器、加速度计和/或陀螺仪等)。在一些实施方案中，处理器130是片上系统，并且包括一个或多个专用图形处理单元(GPU)。此外，在一些实施方案中，处理器130包括相同类型或不同类型的多个处理器。
在一些实施方案中，电子设备100包括一个或多个相机，包括事件相机110，该事件相机还包括多个事件相机传感器112(也称为像素传感器或像素元件)。像素传感器112被布置(例如，作为二维阵列)在事件相机110的第一区域上以接收光的反射。在一些实施方案中，第一区域是事件相机110的可操作区域。在一些实施方案中，第一区域是事件相机110的子部分。
在一些实施方案中，像素传感器112中的每个像素传感器是集成电路，其响应于入射光强度而由光电二极管生成光电流。在该集成电路中，光敏光电二极管可与积聚电荷的电容器集成。当积聚电荷超过某个阈值时，从电容器读出电压，并且电响应的电压指示反射光的亮度。在一些实施方案中，亮度指示符值包括多个离散阈值水平值中的一个值。例如，在一些实施方案中，多个离散阈值水平值包括分别指示相应像素更亮或更暗的正水平值和负水平值。在一些实施方案中，多个离散阈值水平值包括各自对应于电压幅值范围的多个水平值。
例如，在图2中，响应于作为阶跃函数的闪光事件，电荷在事件传感器电路中积聚。当电容电压打破比较器阈值1时，生成由图2中的点所指示的事件210、220和230。事件210由像素元件在与亮像素(下文称为“亮像素元件”)对应的位置(X1,Y1)处生成；事件220由像素元件在与暗像素(下文称为“暗像素元件”)对应的位置(X2,Y2)处生成；并且事件230由像素元件在与更暗像素(下文称为“更暗像素元件”)对应的位置(X3,Y3)处生成。在打破时间处，例如t1、t1-暗和t1-更暗，电阈值为th1，其指示在相应位置处检测到的反射光的亮度。
在图2中，事件曲线表示由像素元件作为响应于光的时间的函数输出的电平，例如，理想的事件曲线表示由理想的像素元件相对于时间输出的电平，亮像素元件曲线表示由亮像素元件相对于时间输出的电平等。当理想的事件曲线响应于阶跃函数闪光时间而达到稳态时，稳态电压大约与闪光事件电压相同，指示理想的像素元件检测到来自闪光事件的最大量的反射光BM。对于亮像素元件，Bbright低于BM，指示在位置(X1,Y1)处检测到反射光的不太理想的亮度。同样，在位置(X3,Y3)处的Bdarker<在位置(X2,Y2)处的Bdark<在位置(X1,Y1)处的Bbright指示位置(X3,Y3)处的亮度小于位置(X2,Y2)并且进一步小于位置(X1,Y1)。
重新参见图1，在一些实施方案中，电子设备100包括存储器140。存储器140包括用于结合处理器130执行设备功能的一种或多种类型的存储器。在一些实施方案中，存储器140包括高速缓存、ROM和/或RAM。在一些实施方案中，存储器140在执行期间存储各种编程模块，并且充当用于存储基于由事件相机110输出的事件而生成的一个或多个图像的缓冲器。在一些实施方案中，各种编程模块包括事件成帧器142、事件分块器144、编码控制器146和/或一个或多个编码器148。
在一些实施方案中，事件成帧器142在第一时间段期间接收从像素传感器112输出的一个或多个事件流。事件成帧器142通过将第一时间段分成多个子时段以及基于多个子时段和像素事件的相应时间戳对相应事件流中的像素事件进行合并而将每个事件流转换为事件帧。下文结合图3和图4进一步解释事件的合并和事件的成帧。
在一些实施方案中，事件分块器144通过将第一区域细分为图块并分配像素传感器112的图块地址来对多个像素传感器112进行寻址。通过包括对多个像素传感器112的分组来执行对第一区域的划分。在一些实施方案中，特定像素传感器112的图块地址为相应图块标识符和与相应图块标识符相关联的特定像素传感器112的位置定位符的组合。以下结合图5和图6进一步描述图块寻址。
在一些实施方案中，编码控制器146基于第一区域内的像素事件的数量是否在特定子时段内打破阈值量来从一个或多个编码器148选择编码器，并且触发所选择的编码器148以对特定子时段的第一区域的像素事件进行编码。下面结合图5和图6进一步描述编码器选择和编码过程。
图3为示出了根据一些实施方案的事件成帧的方法300的流程图。在一些实施方案中，方法300在具有处理器(例如，处理器130，图1)和非暂态存储器(例如，存储器140，图1)的图像处理设备(例如，电子设备100，图1)处执行。在一些实施方案中，图像处理设备还包括事件相机(例如，事件相机110，图1)，其具有分布在第一区域上的多个像素传感器(例如，事件相机传感器112，图1)，该多个像素传感器被布置为在第一时间段期间接收光的反射并且在检测到亮度变化时输出事件。在一些实施方案中，第一区域是事件相机的可操作区域。在一些实施方案中，第一区域是可操作区域的子部分，例如，从分布在事件相机的可操作区域的子部分上的事件传感器获得事件。在一些实施方案中，图像处理设备包括用于通过将第一时间段分成子时段而将事件流转换为事件帧的事件成帧器(例如，事件成帧器142，图1)、用于对事件图块进行寻址的事件分块器(例如，事件分块器144，图1)和用于根据相应的图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码的编码器(例如，编码器148)。
在一些实施方案中，方法300由处理逻辑部件，包括硬件、固件、软件或其组合执行。在一些实施方案中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
方法300在框310处开始，其中设备(例如，事件成帧器142，图1)将在第一时间段期间来自像素传感器的事件流转换为事件帧。在框312处通过将第一时间段分成多个子时段以及在框314处基于多个子时段和像素事件的相应时间戳来对事件流的像素事件进行合并，设备执行转换，其中多个子时段中的每个子时段与对应的帧子时段标识符相关联。在一些实施方案中，在框316处，在多个子时段中的子时段内，设备用较新的像素事件覆盖较旧的像素事件。
例如，图4示出了根据一些实施方案的由事件成帧器142生成的示例性事件帧402。在位置(x,y)处从像素传感器输出的事件流包括在时间段(例如，0至T2)期间的多个像素事件。事件成帧器142将时间段分成多个子时段，并且将帧子时段标识符与对应的子时段相关联，例如，将与子时段(T1,T2)对应的时间戳与事件帧402-2相关联，并且使用该时间戳作为事件帧402-2的帧子时段标识符。在一些实施方案中，子时段在持续时间上相等。在此类实施方案中，规则间隔的时间戳限定事件帧的序列。
对于子时段(T1,T2)，合并了多个事件，例如时间t1处的事件1，其具有亮度指示符B1、时间t2处的事件2，其具有亮度指示符B2、…时间tn处的事件n，其具有亮度指示符Bn。如上文结合图2所述，事件可表示为对在特定时间点处与像素传感器对应的位置处(例如，二维像素阵列中的x坐标和y坐标)的亮度的指示(或对亮度变化的指示)，例如，图4中的事件1..n可由以下数据表示：
([x,y],B1,t1),([x,y],B2,t2)...([x,y],Bn,tn)。
在一些实施方案中，事件被合并，使得子时段内的较旧的事件被较新的事件覆盖，例如事件1被事件2覆盖，并且事件1和事件2被事件n覆盖等。因此，在子时段(T1,T2)结束时，生成了事件帧402-2，该事件帧包括来自针对位置(x,y)的在tn处的事件的事件数据，例如([x,y],Bn)。换句话讲，根据一些实施方案，事件帧402-2包括表示与事件帧相关联的子时段的时间戳，后跟针对每个像素的以([x,y],B)的格式的事件数据。因此，通过引入子时段的帧头并且在帧内的每个像素事件中不具有时间戳，每帧的位数减少。
重新参见图3，在框318处，在一些实施方案中，该转换包括将根据第一协议创建的事件流转换为不同于第一协议的第二协议。例如，由不同供应商制造的事件传感器可根据不同的协议输出事件流，例如，事件由不同的数据格式表示。在转换为事件帧之前，从此类事件流中提取事件。根据一些实施方案，所提取的事件随后用于事件帧生成。
在框320处，设备(例如，图1的分块器144)通过将第一区域细分为图块来对多个像素传感器进行寻址，使得图块中的每个图块包括多个像素传感器的相应分组，特定像素传感器的图块地址为相应图块标识符和与相应图块标识符相关联的特定像素传感器的位置定位符的组合。在一些实施方案中，特定像素传感器的位置定位符包括特定像素传感器的二维坐标(例如，如图4所示的像素传感器的x坐标和y坐标)。在一些实施方案中，在框322处的划分后的图块的尺寸相等并且均匀地分布在第一区域上。在一些其他实施方案中，在框324处，第一组一个或多个图块中的每个图块具有大于第二组一个或多个图块中的每个图块的面积。例如，在图6中，边缘周围的事件图块620-a属于第一组，并且中心处的事件图块620-m属于第二组。事件图块620-m小于事件图块620-a，使得较小图块的数据中呈现更多的粒度。当例如靠近事件相机的中心的活动被认为更重要时，例如，眼睛相机旨在跟踪虹膜活动时，此类实施方案是有用的。
在框326处，在一些实施方案中，寻址包括通过将相应帧子时段标识符与特定事件帧相关联来生成特定事件帧的帧头。例如，在图4中，事件成帧器142可将与子时段(T1，T2)对应的时间戳与事件帧402-2相关联，并且使用时间戳作为事件帧402-2的帧子时段标识符。在框328处，在一些实施方案中，寻址包括通过将相应的图块标识符与特定图块相关联来生成特定图块的图块头。例如，在图6中，分块器144生成包括用于事件图块620-a的图块索引“a”的图块头。使用该图块索引，事件图块620可位于事件帧内。
在框330处，设备根据相应图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码。在一些实施方案中，在框332处，对于繁忙图块(例如，图块内的像素事件的数量在子时段内打破了阈值量)，设备使用第一编码过程对像素事件进行编码。在一些实施方案中，在框334处，对于平静图块(例如，图块内的像素事件的数量未打破子时段内的阈值量)，设备使用不同于第一编码过程的第二编码过程来对像素事件进行编码。下文结合图5进一步描述第一编码过程和第二编码过程。
在一些实施方案中，执行上述步骤310-334以处理一个事件流中的事件。在一些实施方案中，对每个事件流中的事件执行这些步骤310-334，例如，在第一时间段期间从多个像素传感器中的每个像素传感器获取相应的事件流，并对如上所述的每个事件流的像素事件进行合并，然后进行上述寻址过程和编码过程。
转到图5，图5为示出了根据一些实施方案的事件编码方法500的流程图。在一些实施方案中，方法500在具有处理器(例如，处理器130，图1)和非暂态存储器(例如，存储器140，图1)的图像处理设备(例如，电子设备100，图1)处执行。在一些实施方案中，图像处理设备还包括事件相机(例如，事件相机110，图1)，其具有分布在第一区域上的多个像素传感器(例如，事件相机传感器112，图1)，该多个像素传感器被布置为在第一时间段期间接收光的反射并且在检测到亮度变化时输出事件。在一些实施方案中，图像处理设备包括用于通过将第一时间段分成子时段而将事件流转换为事件帧的事件成帧器(例如，事件成帧器142，图1)和用于选择编码器(例如，编码器148)并触发所选择的编码器以对特定子时段的第一区域的像素事件进行编码的编码控制器(例如，编码控制器146，图1)。在一些实施方案中，图像处理设备还包括用于将第一区域分成图块并对图块进行寻址的事件分块器。
在一些实施方案中，方法500由处理逻辑部件，包括硬件、固件、软件或其组合执行。在一些实施方案中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
方法500在框510处开始，其中设备(例如，事件成帧器142，图1)将在第一时间段期间来自像素传感器的事件流转换为事件帧。在框512处，如上文结合图3所述，在一些实施方案中，设备通过将第一时间段分成多个子时段以及基于多个子时段和像素事件的相应时间戳对事件流的像素事件进行合并而执行转换，其中多个子时段中的每个子时段与对应的帧子时段标识符相关联。
在框514处，在一些实施方案中，第一区域是事件相机的可操作区域。在此类实施方案中，事件成帧器(例如，事件成帧器142，图1)将第一区域中的多个像素传感器一起寻址为事件帧。通过对事件帧中的事件进行寻址(包括生成帧头)来对事件帧执行事件编码。例如，在图4中，事件成帧器142将与子时段(T1,T2)对应的时间戳与事件帧402-2相关联，并且使用时间戳作为事件帧402-2的帧子时段标识符。通过引入子时段的帧头并且在帧内的每个像素事件中不具有时间戳，每帧的位数减少。
在框516处，在一些实施方案中，第一区域是事件相机的可操作区域的子部分。在此类实施方案中，分块器将第一区域中的多个像素传感器寻址为图块。例如，在图6中，事件分块器144将地址分配给事件相机的可操作区域的子部分即图块中的像素传感器。分块器144生成包括图块标识符(例如，事件帧内的图块索引)的图块头。在每个图块内，在一些实施方案中，图块内的特定像素传感器的图块地址为相应图块标识符(例如，图块索引)和特定像素传感器的位置定位符的组合。例如，在图6中，事件图块620-k与具有图块索引k的图块头相关联。产生事件610的特定像素传感器的图块地址是图块索引k和特定像素传感器的位置定位符(例如，特定像素传感器的x坐标和y坐标)的组合。因此，可通过图块索引和像素传感器的二维坐标的组合来识别事件的位置。
在框520处，在一些实施方案中，设备(例如，编码控制器146，图1)确定第一区域内的像素事件的数量在特定子时段内是否打破了阈值量并因此选择编码器(例如，编码器148)。在一些实施方案中，阈值量是与图块相关联的区域上的像素事件的数量的函数。例如，分块器将第一区域细分成多个图块，并且每个图块包括N个像素传感器的分组。例如，当图块上的像素事件的数量打破N/8时，图块可被认为是繁忙图块。另一方面，例如，当图块上的像素事件的数量小于N/8时，图块可被认为是非繁忙或平静图块。
在框540处，响应于确定第一区域内的像素事件的数量在特定子时段内打破了阈值量，所选择的编码器根据第一编码过程对该特定子时段的第一区域的像素事件进行编码。另一方面，在框550处，响应于确定第一区域内的像素事件的数量在特定子时段内未打破阈值量，所选择的编码器根据第二编码过程对该特定子时段的第一区域的像素事件进行编码。换句话讲，设备根据一个编码过程对平静图块进行编码，并且设备根据另一编码过程对繁忙图块进行编码，以进一步减少表示每个繁忙图块的位数。
对于繁忙图块，在一些实施方案中，在框542处，第一编码过程包括生成代码序列，该代码序列单独地表示与第一区域中的相应像素传感器对应的像素的相应亮度指示符值。在此类实施方案中，根据一些实施方案，每个像素在代码序列中可由2位表示。例如，在图6中，为事件图块620-n生成代码序列。2位用于对每个像素进行编码，例如：
2b’00-无事件
2b’01-正事件，例如像素更亮
2b’10-负事件，例如像素更暗
2b’11-保留
通过按顺序排列像素来生成代码序列，例如，像素0的2位代码、像素1的2位代码、像素2的2位代码…像素N的2位代码。
在一些实施方案中，在框544处，第一编码过程包括生成事件量指示符，该事件量指示符指示第一区域内的像素事件的数量在特定子时段内打破了阈值量，以及提供特定子时段内第一区域内的像素事件的数量的聚合表示。例如，在图6中，图块头包括编码字段，例如，0表示图块为平静图块，并且图块包括下文结合框552所述的单个事件编码；1表示图块为繁忙图块，并且图块包括如上文针对框542所述的像素编码。编码字段是事件量指示符，使得当其为开时，其指示图块内的像素事件的数量已超过阈值量。整个图块可具有聚合表示，例如，2位代码的序列。
在一些实施方案中，在框552处，针对特定像素事件的第二编码过程包括合成元组，该元组包括：与特定像素事件对应的像素的相应亮度指示符值；以及捕获特定像素事件的像素传感器的二维坐标。例如，在图6中，图块620-k在图块头中具有值为0的事件量指示符，这指示该图块为平静图块。因此，该设备通过合成元组例如(开/关，Y，X)来对图块620-k进行编码。
本文所述的方法500通过生成代码序列并通过提供繁忙区域的聚合表示来减少密集区域所需的位数。另一方面，当事件在第一区域中较稀疏时，执行单个事件编码来提高效率。因此，根据本文所述的实施方案的系统和方法降低了开销并提高了事件相机数据处理的效率。
现在参见图7，其示出了根据一些实施方案的例示性多功能设备700的简化功能框图。在一些实施方案中，多功能电子设备700包括处理器705、显示器710、用户界面715、图形硬件720、设备传感器725(例如，接近传感器/环境光传感器、加速度计和/或陀螺仪)、麦克风730、一个或多个音频编解码器735、一个或多个扬声器740、通信电路745、数字图像捕获电路750(例如，包括相机系统100)、视频编解码器755(例如，支持数字图像捕获单元750)、存储器760、存储设备765和通信总线770。在一些实施方案中，多功能电子设备700是数字相机或个人电子设备，诸如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。
在一些实施方案中，处理器705执行必要的指令以执行或控制设备700执行的很多功能的操作(例如，如本文所公开的生成和/或处理图像)。例如，处理器705驱动显示器710并从用户界面715接收用户输入。在一些实施方案中，用户界面715允许用户与设备700交互。例如，用户界面715可呈现多种形式诸如按钮、小键盘、拨号盘、点击式触摸转盘、键盘、显示屏和/或触摸屏。处理器705也可例如为片上系统，诸如存在于移动设备中的那些，并且包括专用图形处理单元(GPU)。在一些实施方案中，处理器705基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理核心。在一些实施方案中，图形硬件720是用于处理图形或辅助处理器705处理图形信息的专用计算硬件。在一些实施方案中，图形硬件720包括可编程GPU。
在一些实施方案中，通过透镜754，图像捕获电路750使用传感器(或像素传感器，或传感器元件或像素元件)752来捕获图像和/或事件。至少部分地通过以下设备处理来自图像捕获电路750的输出：一个或多个视频编解码器765和/或处理器705和/或图形硬件720和/或结合在电路765内的专用图像处理单元或管线。由此捕获的图像被存储在存储器760和/或存储装置755中。
在一些实施方案中，根据本文公开的方法，至少部分地通过以下设备处理由传感器752和相机电路750捕获的图像：一个或多个视频编解码器755和/或处理器705和/或图形硬件720和/或结合在电路750内的专用图像处理单元。由此捕获和/或处理的图像被存储在存储器760或存储装置765中。存储器760包括由处理器705和图形硬件720用来执行设备功能的一个或多个不同类型的介质。例如，存储器760可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置765可存储媒体(如，音频、图像和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。在一些实施方案中，存储装置765包括一个或多个非暂态存储介质，包括例如磁盘(固定盘、软盘和可移除盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))，以及半导体存储器设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。在一些实施方案中，存储器760和存储装置765用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言写成的计算机程序指令或代码。例如，在由处理器705执行时，此类计算机程序代码实现本文所述的方法中的一种或多种。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (72)

1.一种方法，包括：
在具有一个或多个处理器、非暂态存储器和包括分布在第一区域上的多个像素传感器的事件相机的设备处：
通过将第一时间段分成多个子时段以及基于所述多个子时段和像素事件的相应时间戳对事件流的所述像素事件进行合并而将所述第一时间段内来自像素传感器的所述事件流转换为事件帧，其中所述多个子时段中的每个子时段与对应的帧子时段标识符相关联；
通过将所述第一区域细分为图块来对所述多个像素传感器进行寻址，其中所述图块中的每个图块包括所述多个像素传感器的相应分组，其中特定像素传感器的图块地址为相应图块标识符和与所述相应图块标识符相关联的所述特定像素传感器的位置定位符的组合；以及
根据相应图块地址、帧子时段标识符和亮度指示符值对所述像素事件进行编码。
2.根据权利要求1所述的方法，其中所述亮度指示符值包括多个离散阈值水平值中的一个。
3.根据权利要求1所述的方法，其中对所述像素事件进行合并包括在所述多个子时段中的一个特定子时段内用较新的像素事件覆盖较旧的像素事件。
4.根据权利要求1-2中任一项所述的方法，其中所述图块的尺寸相等并且均匀分布在所述第一区域上。
5.根据权利要求1-3中任一项所述的方法，其中第一组一个或多个所述图块中的每个图块具有大于第二组一个或多个图块中的每个图块的面积。
6.根据权利要求1-4中任一项所述的方法，其中所述特定像素传感器的所述位置定位符包括所述特定像素传感器的二维坐标。
7.根据权利要求1-5中任一项所述的方法，其中对所述多个像素传感器进行寻址包括通过将相应帧子时段标识符与特定事件帧相关联来生成所述特定事件帧的帧头。
8.根据权利要求1-6中任一项所述的方法，其中对所述多个像素传感器进行寻址包括通过将相应图块标识符与特定图块相关联来生成所述特定图块的图块头。
9.根据权利要求1-7中任一项所述的方法，还包括：
在所述第一时间段内从所述多个像素传感器中的每个像素传感器获得相应的事件流；以及
对每个事件流的像素事件进行合并。
10.根据权利要求1-8中任一项所述的方法，其中转换所述事件流包括将根据第一协议创建的所述事件流转换为不同于所述第一协议的第二协议。
11.根据权利要求1-9中任一项所述的方法，其中根据所述相应图块地址、所述帧子时段标识符和所述亮度指示符值对所述像素事件进行编码包括：
确定与所述相应图块地址相关联的相应图块内的像素事件的数量在与所述子时段标识符相关联的子时段内突破了阈值量；以及
响应于确定所述阈值量被突破，根据第一编码过程来对所述相应图块中的所述像素事件进行编码。
12.根据权利要求1-10中任一项所述的方法，其中根据所述相应图块地址、所述帧子时段标识符和所述亮度指示符值对所述像素事件进行编码包括：
确定与所述相应图块地址相关联的相应图块内的像素事件的数量在与所述子时段标识符相关联的子时段内未突破阈值量；以及
响应于确定未突破所述阈值量，根据第二编码过程来对所述相应图块中的所述像素事件进行编码。
13.一种设备，包括：
事件相机，所述事件相机包括分布在第一区域上的多个像素传感器；
事件成帧器，所述事件成帧器通过将第一时间段分成多个子时段并基于所述多个子时段和像素事件的相应时间戳对相应事件流中的像素事件进行合并而将在所述第一时间段期间从所述多个像素传感器中的一个相应像素传感器输出的所述相应事件流转换为事件帧；
分块器，所述分块器通过将所述第一区域细分为图块来对所述多个像素传感器进行寻址，其中所述图块中的每个图块包括所述多个像素传感器的分组，其中特定像素传感器的图块地址为相应图块标识符和与所述相应图块标识符相关联的所述特定像素传感器的位置定位符的组合；和
编码器，所述编码器根据相应图块地址、帧子时段标识符和亮度指示符值对所述像素事件进行编码。
14.根据权利要求13所述的设备，其中所述事件成帧器用较新的像素事件覆盖较旧的像素事件。
15.根据权利要求13-14中任一项所述的设备，其中所述图块的尺寸相等并且均匀分布在所述第一区域上。
16.根据权利要求13-15中任一项所述的设备，其中第一组一个或多个所述图块中的每个图块具有大于第二组一个或多个图块中的每个图块的面积。
17.根据权利要求13-16中任一项所述的设备，其中所述特定像素传感器的所述位置定位符包括所述特定像素传感器的二维坐标。
18.根据权利要求13-17中任一项所述的设备，其中所述分块器还通过将相应帧子时段标识符与特定事件帧相关联来生成所述特定事件帧的帧头。
19.根据权利要求13-18中任一项所述的设备，其中所述分块器还通过将相应图块标识符与特定图块相关联来生成所述特定图块的图块头。
20.根据权利要求13-19中任一项所述的设备，还包括用于将根据第一协议创建的所述相应事件流转换为不同于所述第一协议的第二协议的转换器。
21.根据权利要求13-20中任一项所述的设备，其中响应于确定与所述相应图块地址相关联的相应图块内的像素事件的数量在与所述子时段标识符相关联的子时段内突破了阈值量，所述编码器生成代码序列，所述代码序列单独地表示与所述第一区域中的相应像素传感器对应的像素的相应亮度指示符值。
22.根据权利要求13-21中任一项所述的设备，其中针对特定像素事件，所述编码器合成元组，所述元组包括：
与所述特定像素事件对应的像素的相应亮度指示符值；以及
捕获所述特定像素事件的像素传感器的二维坐标。
23.根据权利要求13-22中任一项所述的设备，其中所述编码器基于特定图块的阈值量来确定是使用第一编码过程还是第二编码过程。
24.一种非暂态计算机可读存储介质，其中存储有指令，所述指令在由具有包括分布在第一区域上的多个像素传感器的事件相机的图像处理设备的一个或多个处理器执行时，使得所述图像处理设备：
通过将第一时间段分成多个子时段以及基于所述多个子时段和像素事件的相应时间戳对事件流的像素事件进行合并而将所述第一时间段内来自像素传感器的所述事件流转换为事件帧，其中所述多个子时段中的每个子时段与对应的帧子时段标识符相关联；
通过将所述第一区域细分为图块来对所述多个像素传感器进行寻址，其中所述图块中的每个图块包括所述多个像素传感器的相应分组，其中特定像素传感器的图块地址为相应图块标识符和与所述相应图块标识符相关联的所述特定像素传感器的位置定位符的组合；以及
根据相应图块地址、帧子时段标识符和亮度指示符值对所述像素事件进行编码。
25.根据权利要求24所述的非暂态计算机可读存储介质，其中对所述像素事件进行合并包括在所述多个子时段中的一个特定子时段内用较新的像素事件覆盖较旧的像素事件。
26.根据权利要求24-25中任一项所述的非暂态计算机可读存储介质，其中所述图块的尺寸相等并且均匀分布在所述第一区域上。
27.根据权利要求24-26中任一项所述的方法，其中第一组一个或多个所述图块中的每个图块具有大于第二组一个或多个图块中的每个图块的面积。
28.根据权利要求24-27中任一项所述的非暂态计算机可读存储介质，其中所述特定像素传感器的所述位置定位符包括所述特定像素传感器的二维坐标。
29.根据权利要求24-28中任一项所述的非暂态计算机可读存储介质，其中对所述多个像素传感器进行寻址包括通过将相应帧子时段标识符与特定事件帧相关联来生成所述特定事件帧的帧头。
30.根据权利要求24-29中任一项所述的非暂态计算机可读存储介质，其中对所述多个像素传感器进行寻址包括通过将相应图块标识符与特定图块相关联来生成所述特定图块的图块头。
31.根据权利要求24-30中任一项所述的非暂态计算机可读存储介质，其中所述指令还使得所述图像处理设备：
在所述第一时间段内从所述多个像素传感器中的每个像素传感器获得相应的事件流；以及
对每个事件流的像素事件进行合并。
32.根据权利要求24-31中任一项所述的非暂态计算机可读存储介质，其中转换所述事件流包括将根据第一协议创建的所述事件流转换为不同于所述第一协议的第二协议。
33.根据权利要求24-32中任一项所述的非暂态计算机可读存储介质，其中根据所述相应图块地址、所述帧子时段标识符和所述亮度指示符值对所述像素事件进行编码包括：
确定与所述相应图块地址相关联的相应图块内的像素事件的数量在与所述子时段标识符相关联的子时段内突破了阈值量；以及
响应于确定所述阈值量被突破，根据第一编码过程来对所述相应图块中的所述像素事件进行编码。
34.根据权利要求24-33中任一项所述的非暂态计算机可读存储介质，其中根据所述相应图块地址、所述帧子时段标识符和所述亮度指示符值对所述像素事件进行编码包括：
确定与所述相应图块地址相关联的相应图块内的像素事件的数量在与所述子时段标识符相关联的子时段内未突破阈值量；以及
响应于确定未突破所述阈值量，根据第二编码过程来对所述相应图块中的所述像素事件进行编码。
35.一种方法，包括：
在具有一个或多个处理器、非暂态存储器和包括分布在第一区域上的多个像素传感器的事件相机的设备处：
通过将第一时间段分成多个子时段以及基于所述多个子时段和像素事件的相应时间戳对相应事件流的像素事件进行合并而将所述第一时间段内来自所述多个像素传感器中对应的一个或多个像素传感器的一个或多个事件流转换为事件帧，其中所述多个子时段中的每个子时段与对应的帧子时段标识符相关联；
响应于确定所述第一区域内的像素事件的数量在特定子时段内突破了阈值量而根据第一编码过程使用第一编码过程来对所述特定子时段的所述第一区域的所述像素事件进行编码；以及
响应于确定所述第一区域内的像素事件的所述数量在所述特定子时段内未突破所述阈值量而使用第二编码过程对所述特定子时段的所述第一区域的所述像素事件进行编码。
36.根据权利要求35所述的方法，其中所述第一编码过程包括生成事件量指示符，所述事件量指示符指示所述第一区域内的像素事件的数量在所述特定子时段内突破了所述阈值量，以及提供所述特定子时段内所述第一区域内的像素事件的所述数量的聚合表示。
37.根据权利要求35-36中任一项所述的方法，其中所述第一编码过程包括生成代码序列，所述代码序列单独地表示与所述第一区域中的相应像素传感器对应的像素的相应亮度指示符值。
38.根据权利要求37所述的方法，其中每个像素在所述代码序列中由2位表示。
39.根据权利要求35-38中任一项所述的方法，其中针对特定像素事件，所述第二编码过程包括合成元组，所述元组包括：
与所述特定像素事件对应的像素的相应亮度指示符值；以及
捕获所述特定像素事件的像素传感器的二维坐标。
40.根据权利要求35-39中任一项所述的方法，其中所述阈值量是所述第一区域上的像素事件的所述数量的函数。
41.根据权利要求35-40中任一项所述的方法，其中所述第一区域是所述事件相机的可操作传感器区域。
42.根据权利要求41所述的方法，还包括将所述第一区域中的所述多个像素传感器作为事件帧进行寻址，其中所述事件帧的帧头与相应帧子时段标识符相关联。
43.根据权利要求35-40中任一项所述的方法，其中所述第一区域是所述事件相机的可操作区域的子部分。
44.根据权利要求43所述的方法，还包括将所述第一区域中的所述多个像素传感器作为图块进行寻址，其中特定像素传感器的图块地址是相应图块标识符和与所述相应图块标识符相关联的所述特定像素传感器的位置定位符的组合。
45.根据权利要求35-44中任一项所述的方法，还包括：
在所述第一时间段内从所述事件相机的所述多个像素传感器中的每个像素传感器获得相应事件流，其中每个事件流包括由相应的亮度指示符值和时间戳表征的一个或多个事件；以及
对每个事件流的像素事件进行合并。
46.根据权利要求45所述的方法，其中所述相应的亮度指示符值包括多个离散的电阈值水平值中的一个。
47.根据权利要求35-46中任一项所述的方法，还包括确定所述第一区域内的像素事件的所述数量是否在所述特定子时段内突破了所述阈值量。
48.一种设备，包括：
事件相机，所述事件相机包括分布在第一区域上的多个像素传感器；
事件成帧器，所述事件成帧器通过将第一时间段分成多个子时段并基于所述多个子时段和像素事件的相应时间戳对相应事件流中的像素事件进行合并而将在所述第一时间段期间从所述多个像素传感器中的一个相应像素传感器输出的所述相应事件流转换为事件帧；和
编码控制器，所述编码控制器基于所述第一区域内的像素事件的数量是否在特定子时段内突破了阈值量来选择编码器，并触发所选择的编码器以对所述特定子时段的所述第一区域的所述像素事件进行编码。
49.根据权利要求48所述的设备，其中所述编码器生成事件量指示符，所述事件量指示符指示所述第一区域内的像素事件的数量在所述特定子时段内突破了所述阈值量，以及提供所述特定子时段内所述第一区域内的像素事件的所述数量的聚合表示。
50.根据权利要求48-49中任一项所述的设备，其中所述编码器生成代码序列，所述代码序列单独地表示与所述第一区域中的相应像素传感器对应的像素的相应亮度指示符值。
51.根据权利要求50所述的设备，其中每个像素在所述代码序列中由2位表示。
52.根据权利要求48-51中任一项所述的设备，其中针对特定像素事件，所述编码器合成元组，所述元组包括：
与所述特定像素事件对应的像素的相应亮度指示符值；以及
捕获所述特定像素事件的像素传感器的二维坐标。
53.根据权利要求48-52中任一项所述的设备，其中所述阈值量是所述第一区域上的像素事件的所述数量的函数。
54.根据权利要求48-53中任一项所述的设备，其中所述第一区域是所述事件相机的可操作传感器区域。
55.根据权利要求54所述的设备，其中所述事件成帧器将所述第一区域中的所述多个像素传感器作为事件帧进行寻址，所述事件帧的帧头与相应帧子时段标识符相关联。
56.根据权利要求48-53中任一项所述的设备，其中所述第一区域是所述事件相机的可操作区域的子部分。
57.根据权利要求56所述的设备，其中所述分块器将所述第一区域中的所述多个像素传感器作为图块进行寻址，特定像素传感器的图块地址是相应图块标识符和与所述相应图块标识符相关联的所述特定像素传感器的位置定位符的组合。
58.根据权利要求48-57中任一项所述的设备，其中所述事件成帧器：
在所述第一时间段内从所述事件相机的所述多个像素传感器中的每个像素传感器获得相应事件流，其中每个事件流包括由相应的亮度指示符值和时间戳表征的一个或多个事件；以及
对每个事件流的像素事件进行合并。
59.根据权利要求58所述的设备，其中所述相应的亮度指示符值包括多个离散的电阈值水平值中的一个。
60.一种非暂态计算机可读存储介质，其中存储有指令，所述指令在由具有包括分布在第一区域上的多个像素传感器的事件相机的图像处理设备的一个或多个处理器执行时，使得所述图像处理设备：
通过将第一时间段分成多个子时段以及基于所述多个子时段和像素事件的相应时间戳对相应事件流的像素事件进行合并而将所述第一时间段内来自所述多个像素传感器中对应的一个或多个像素传感器的一个或多个事件流转换为事件帧，其中所述多个子时段中的每个子时段与对应的帧子时段标识符相关联；
响应于确定所述第一区域内的像素事件的数量在特定子时段内突破了阈值量而根据第一编码过程使用第一编码过程来对所述特定子时段的所述第一区域的所述像素事件进行编码；以及
响应于确定所述第一区域内的像素事件的所述数量在所述特定子时段内未突破所述阈值量而使用第二编码过程对所述特定子时段的所述第一区域的所述像素事件进行编码。
61.根据权利要求60所述的非暂态计算机可读存储介质，其中所述第一编码过程包括生成事件量指示符，所述事件量指示符指示所述第一区域内的像素事件的数量在所述特定子时段内突破了所述阈值量，以及提供所述特定子时段内所述第一区域内的像素事件的所述数量的聚合表示。
62.根据权利要求60-61中任一项所述的非暂态计算机可读存储介质，其中所述第一编码过程包括生成代码序列，所述代码序列单独地表示与所述第一区域中的相应像素传感器对应的像素的相应亮度指示符值。
63.根据权利要求62所述的非暂态计算机可读存储介质，其中每个像素在所述代码序列中由2位表示。
64.根据权利要求60-63中任一项所述的非暂态计算机可读存储介质，其中针对特定像素事件，所述第二编码过程包括合成元组，所述元组包括：
与所述特定像素事件对应的像素的相应亮度指示符值；以及
捕获所述特定像素事件的像素传感器的二维坐标。
65.根据权利要求60-64中任一项所述的非暂态计算机可读存储介质，其中所述阈值量是所述第一区域上的像素事件的所述数量的函数。
66.根据权利要求60-65中任一项所述的非暂态计算机可读存储介质，其中所述第一区域是所述事件相机的可操作传感器区域。
67.根据权利要求66所述的非暂态计算机可读存储介质，其中所述指令还使得所述图像处理设备将所述第一区域中的所述多个像素传感器作为事件帧进行寻址，其中所述事件帧的帧头与相应帧子时段标识符相关联。
68.根据权利要求60-65中任一项所述的非暂态计算机可读存储介质，其中所述第一区域是所述事件相机的可操作区域的子部分。
69.根据权利要求68所述的非暂态计算机可读存储介质，其中所述指令还使得所述图像处理设备将所述第一区域中的所述多个像素传感器作为图块进行寻址，其中特定像素传感器的图块地址是相应图块标识符和与所述相应图块标识符相关联的所述特定像素传感器的位置定位符的组合。
70.根据权利要求60-69中任一项所述的非暂态计算机可读存储介质，还包括：
在所述第一时间段内从所述事件相机的所述多个像素传感器中的每个像素传感器获得相应事件流，其中每个事件流包括由相应的亮度指示符值和时间戳表征的一个或多个事件；以及
对每个事件流的像素事件进行合并。
71.根据权利要求70所述的非暂态计算机可读存储介质，其中所述相应的亮度指示符值包括多个离散的电阈值水平值中的一个。
72.根据权利要求60-71中任一项所述的非暂态计算机可读存储介质，其中所述指令还使得所述图像处理设备确定所述第一区域内的像素事件的所述数量是否在所述特定子时段内突破了所述阈值量。
CN201880062948.6A 2017-09-28 2018-09-27 用于事件相机数据处理的系统和方法 Active CN111247801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210690221.0A CN115052141B (zh) 2017-09-28 2018-09-27 用于事件相机数据处理的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564818P 2017-09-28 2017-09-28
US62/564,818 2017-09-28
PCT/US2018/053145 WO2019067732A1 (en) 2017-09-28 2018-09-27 SYSTEM AND METHOD FOR PROCESSING EVENT CAMERA DATA

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210690221.0A Division CN115052141B (zh) 2017-09-28 2018-09-27 用于事件相机数据处理的系统和方法

Publications (2)

Publication Number Publication Date
CN111247801A true CN111247801A (zh) 2020-06-05
CN111247801B CN111247801B (zh) 2022-06-14

Family

ID=63915366

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880062948.6A Active CN111247801B (zh) 2017-09-28 2018-09-27 用于事件相机数据处理的系统和方法
CN202210690221.0A Active CN115052141B (zh) 2017-09-28 2018-09-27 用于事件相机数据处理的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210690221.0A Active CN115052141B (zh) 2017-09-28 2018-09-27 用于事件相机数据处理的系统和方法

Country Status (4)

Country Link
US (3) US10992887B2 (zh)
KR (2) KR102373261B1 (zh)
CN (2) CN111247801B (zh)
WO (1) WO2019067732A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695681A (zh) * 2020-06-16 2020-09-22 清华大学 一种高分辨率动态视觉观测方法及装置
CN112712170A (zh) * 2021-01-08 2021-04-27 西安交通大学 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN113572998A (zh) * 2021-09-22 2021-10-29 中科南京智能技术研究院 一种基于事件相机的数据集采集方法及系统
CN114519017A (zh) * 2020-11-18 2022-05-20 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102453118B1 (ko) 2017-10-30 2022-10-07 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자
CN112740275A (zh) * 2018-09-28 2021-04-30 索尼半导体解决方案公司 数据处理装置、数据处理方法和程序
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
CN112131991B (zh) * 2020-09-15 2024-01-23 厦门大学 一种基于事件相机的数据关联方法
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN114140656B (zh) * 2022-02-07 2022-07-12 中船（浙江）海洋科技有限公司 一种基于事件相机的海上船舶目标识别方法
CN117897956A (zh) * 2022-02-24 2024-04-16 华为技术有限公司 基于上下文的事件相机无损图像压缩
WO2024012685A1 (en) * 2022-07-14 2024-01-18 Huawei Technologies Co., Ltd. Event frame lossless compression frameworks, and memory-efficient representations for random access to event frame pixels

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080030304A (ko) * 2006-09-29 2008-04-04 (주)로그시스 감시 카메라의 이벤트 검출 촬영시스템
CN101313592A (zh) * 2005-09-27 2008-11-26 高通股份有限公司 用于与时域边界进行数据对准的方法和装置
CN102770874A (zh) * 2010-02-23 2012-11-07 伊斯曼柯达公司 用户图像集中的自适应事件时间线
CN103824454A (zh) * 2014-02-21 2014-05-28 南京莱斯信息技术股份有限公司 基于视频事件检测的多区域违法自动抓拍方法
JP2015177481A (ja) * 2014-03-18 2015-10-05 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
KR20150120124A (ko) * 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
CN106716449A (zh) * 2014-09-16 2017-05-24 高通股份有限公司 将基于事件的系统与基于帧的处理系统对接

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0878007B1 (en) 1996-01-22 2005-05-11 California Institute Of Technology Active pixel sensor array with electronic shuttering
DE102009006560B4 (de) * 2009-01-27 2011-06-16 Freie Universität Berlin Verfahren und Sensornetz zur Merkmalsauswahl für eine Ereigniserkennung
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9883122B2 (en) * 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
JP2018528720A (ja) * 2015-09-25 2018-09-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオ処理のためのシステムおよび方法
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
WO2018152214A1 (en) * 2017-02-14 2018-08-23 The Trustees Of The University Of Pennsylvania Event-based feature tracking
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313592A (zh) * 2005-09-27 2008-11-26 高通股份有限公司 用于与时域边界进行数据对准的方法和装置
KR20080030304A (ko) * 2006-09-29 2008-04-04 (주)로그시스 감시 카메라의 이벤트 검출 촬영시스템
CN102770874A (zh) * 2010-02-23 2012-11-07 伊斯曼柯达公司 用户图像集中的自适应事件时间线
CN103824454A (zh) * 2014-02-21 2014-05-28 南京莱斯信息技术股份有限公司 基于视频事件检测的多区域违法自动抓拍方法
JP2015177481A (ja) * 2014-03-18 2015-10-05 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
KR20150120124A (ko) * 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
CN106716449A (zh) * 2014-09-16 2017-05-24 高通股份有限公司 将基于事件的系统与基于帧的处理系统对接
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695681A (zh) * 2020-06-16 2020-09-22 清华大学 一种高分辨率动态视觉观测方法及装置
CN111695681B (zh) * 2020-06-16 2022-10-11 清华大学 一种高分辨率动态视觉观测方法及装置
CN114519017A (zh) * 2020-11-18 2022-05-20 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
CN112712170A (zh) * 2021-01-08 2021-04-27 西安交通大学 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN113572998A (zh) * 2021-09-22 2021-10-29 中科南京智能技术研究院 一种基于事件相机的数据集采集方法及系统

Also Published As

Publication number Publication date
WO2019067732A1 (en) 2019-04-04
US20200260022A1 (en) 2020-08-13
CN115052141B (zh) 2023-10-03
KR102423565B1 (ko) 2022-07-20
CN115052141A (zh) 2022-09-13
US11190715B2 (en) 2021-11-30
US10992887B2 (en) 2021-04-27
KR20200068654A (ko) 2020-06-15
US11611715B2 (en) 2023-03-21
US20210211592A1 (en) 2021-07-08
KR20220031750A (ko) 2022-03-11
CN111247801B (zh) 2022-06-14
KR102373261B1 (ko) 2022-03-10
US20220046191A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
CN111247801B (zh) 用于事件相机数据处理的系统和方法
AU2020201023B2 (en) Adaptive transfer function for video encoding and decoding
KR101796481B1 (ko) 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
US20190364230A1 (en) Method of processing data for dynamic vision sensor, dynamic vision sensor performing the same and electronic device including the same
KR20200011000A (ko) 증강 현실 프리뷰 및 위치 추적을 위한 장치 및 방법
JP7418569B2 (ja) 異種プラットフォームでのハードウェアアクセラレーションによるタスクのスケジューリング及び負荷分散のための送信及び同期技術
US20100053326A1 (en) Image sensor, the operating method and usage thereof
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
US11206415B1 (en) Selectable transcode engine systems and methods
US20220166899A1 (en) Image reception apparatus, image transmission apparatus, method, and recording medium
WO2024001970A1 (zh) 一种事件数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant