CN114363540B - 带有pwm激活、分帧自刷新、dram以降低待机功耗的相机系统 - Google Patents

Abstract

提供了一种低功率图像捕获装置和一种捕获图像序列的方法。该装置包括在SRAM中的第一图像缓冲器和第二图像缓冲器，第一图像缓冲器被耦接以从图像传感器接收图像，并且第二图像缓冲器接收从第一图像缓冲器以分帧传输的图像，第二图像缓冲器在PASR DRAM中实现，图像缓冲器一起作为先进先出(FIFO)缓冲器操作。装置包括激活检测器。当从第一个图像缓冲器接收图像分帧时且当图像捕获装置处于激活模式时PASR DRAM通电；否则处于超低功率PASR模式。该方法包括将图像捕获到第一图像缓冲器，将图像以分帧传输到PASR DRAM中的第二图像缓冲器中，在以分帧接收图像时PASR DRAM通电，PASR DRAM在其他情况下处于超低功率PASR模式；并且在激活后，图像处理器将从第二图像缓冲器接收图像。

Description

带有PWM激活、分帧自刷新、DRAM以降低待机功耗的相机系统

技术领域

本发明涉及一种低功率图像捕获装置和一种捕获图像序列的方法。

背景技术

快门延迟 — 从触发事件到捕获照片或开始视频录制的时间 — 在许多相机中足够长以阻止捕获到有趣的事件。特别是对于安全相机，它可能还需要捕获预览，有时称为预卷视频，包括至少一些在触发事件前一秒或更久发生的事件视频，而不仅仅是触发事件之后的事件视频。一种解决方案是持续运行至少一部分相机系统，在低功率循环缓冲器中捕获视频，并在触发事件发生时唤醒相机系统的其余部分以执行附加的处理和存储功能。

至少一部分相机系统的持续运行也可用于检测触发事件，例如通过检测视频中可能出现的运动对象。例如，安全相机可能在检测到低分辨率视频中的运动后录制高分辨率视频。

其他可能需要持续运行至少一部分相机系统的应用包括一些面部识别和指纹识别系统以及警察随身摄像头。

持续运行的相机系统消耗电力。绿色节能要求常通的系统平均耗电量少，要求激活之间的低功耗。在电池供电系统中，持续运行硬件的可用电力经常受到电池大小、重量和再充电间隔考虑因素的严格限制。

为了保持低功耗，低功率循环或先进先出图像缓冲器已在静态随机存取存储器（static random-access memory，SRAM）中实现，其中图像缓冲器保存预览帧直至激活事件发生并且处理器被唤醒以压缩或以其他方式处理它们。然而，SRAM是昂贵的；这样的系统经常在低帧速率下将预览内存限制在几秒钟的存储时间内。

某些JEDEC标准动态随机存取存储器（dynamic random-access memory，DRAM）存储装置，包括LPDDR3存储器，旨在用于来自包括Elpida Memory、Winbond ElectronicsCorporation（华邦电子有限公司）、Micron Technologies（美光科技）等的公司的移动、低功率、计算应用，具有提供用于定时和生成刷新地址的内部刷新计数器的自刷新模式，以及允许使用这些内部生成的刷新地址进行刷新操作同时忽略外部地址输入的电路。许多这些自刷新DRAM装置具有局部阵列自刷新（partial-array self-refresh，PASR）模式。PASR模式允许使用DRAM装置的仅一个或两个库而不是所有库的内部生成的地址进行刷新。仅刷新PASR DRAM的一个或两个库，典型地比刷新整个DRAM装置所需消耗的电力要少。

发明内容

本发明提供了一种低功率图像捕获装置和一种捕获图像序列的方法。

在第一方面，一种低功率图像捕获装置包括图像传感器；第一图像缓冲器，其被耦接以从图像传感器接收图像，第一图像缓冲器在静态随机存取存储器（SRAM）中实现；和第二图像缓冲器，其被耦接以接收从第一图像缓冲器以分帧传输的图像，第二图像缓冲器在局部阵列自刷新（PASR）动态随机存取存储器（DRAM）中实现，第一图像缓冲器与第二图像缓冲器一起作为先进先出（first-in, first-out，FIFO）图像帧缓冲器操作。该装置还包括激活检测器，其被耦接以使图像捕获装置进入激活模式。当从所述第一图像缓冲器接收图像分帧（burst，或称为脉冲或脉冲串）时并且当所述图像捕获装置处于激活模式时，所述PASRDRAM被配置为通电；并且在其他情况下处于超低功率PASR模式。

在一些实施例中，所述激活检测器执行运动检测。

在一些实施例中，所述低功率图像捕获装置进一步包括图像处理器，当所述图像捕获装置处于所述激活模式时，所述图像处理器处于激活状态，所述图像处理器被耦接以从所述FIFO图像帧缓冲器接收图像。

在一些实施例中，所述低功率图像捕获装置进一步包括脉冲宽度调制器（PWM），所述PWM被耦接以向所述PASR DRAM提供电力并触发从所述第一图像缓冲器到所述第二图像缓冲器的分帧传输。

在第二方面，一种捕获图像序列的方法包括在图像处理器处于非激活状态的低功率模式下，将图像捕获到在静态随机存取存储器（SRAM）中实现的第一图像缓冲器中，将图像以分帧传输到在局部阵列自刷新动态随机存取存储器（PASR DRAM）中实现的第二图像缓冲器中，当以分帧接收图像时，PASR DRAM通电，并且在其他情况下处于超低功率PASR模式；以及检测激活触发信号（trigger，或称为触发脉冲），激活触发信号触发高功率模式。在高功率模式下，PASR DRAM通电，图像处理器处于激活状态，图像处理器从第二图像缓冲器接收图像。

在一些实施例中，在所述低功率模式下使用脉冲宽度调制器（PWM）来控制所述PASR DRAM的功率。

在一些实施例中，所述图像处理包括将所述图像格式化为带有预卷的视频，所述预卷包括来自所述第二图像缓冲器并在所述激活触发信号之前由所述图像传感器获得的图像，并且包括在所述激活触发信号之后由所述图像传感器获得的图像。

在一些实施例中，所述方法进一步包括在闪速存储器中录制所述视频。

附图说明

图1是低功率图像传感和处理系统的一个实施方案的框图。

图2是低功率图像传感和处理系统的另一个实施方案的框图。

图3是一个时序图，其图示了图像从图像传感器传输到SRAM的时序，其中图像从SRAM到PASR DRAM分帧传输直至检测到激活信号，并且在激活后完全操作。

图4是捕获图像序列并形成包括预激活图像的压缩视频的方法的流程图。

具体实施方式

在低功率图像传感和处理系统100中，低功率域102包括图像传感器104。图像传感器104通过图像压缩106逻辑将图像传送到作为先进先出图像缓冲器操作的静态随机存取存储器（SRAM）110中。在使用来自图像传感器104的图像用于运动检测激活的实施方案中，图像传感器104还将图像传送到激活检测108，在一个实施方案中，激活检测108是运动检测逻辑，激活检测逻辑108还可能接收来自SRAM 110中的图像缓冲器的先前图像，因此它可以将这些先前图像与来自图像传感器104的新检测图像进行比较。在由其他传感器（诸如红外运动检测器）激活的实施方案中，激活检测108逻辑可以省略。在面部、指纹或手印识别系统中，激活检测逻辑108是粗识别单元，其检测面部、手指或手的存在而不识别适用于特定人群的细节。低功率域102还包含低功率处理器112。在一些实施方案中，低功率域102包括在低功率处理器112控制下操作的脉冲宽度调制器114，脉冲宽度调制器114被耦接以打开脉冲功率域120的电源开关118。

低功率域102被耦接以将图像传送到脉冲功率域120中，其中在分帧写入控制器126的控制下，图像存储在局部阵列自刷新（PASR）动态RAM（DRAM）122中的第二级图像缓冲器124中。

在检测到感兴趣的事件，例如由激活检测逻辑108的运动检测器检测到的运动或由激活检测逻辑108的面部检测器检测到的面部粗略轮廓的存在后，低功率域102的处理器112可能唤醒全功率域140的睡眠图像和控制处理器142。当低功率域102和脉冲功率域120运行时，全功率域140绝大多数时间处于睡眠状态，全功率域140在必要时运行。

在一个实施方案中，全功率域140包括网络接口144。

在本实施方案的安全相机实现方式中，在激活后，图像和控制处理器142将脉冲功率域120完全地“打开”，开始从图像传感器104读取全分辨率视频到它的工作存储器，从第一级图像缓冲器110和第二级图像缓冲器124读取预览视频，并将该视频压缩和格式化为安全记录。图像和控制处理器142然后使用网络接口144将该视频发送到服务器。在特定的实施方案中，全功率域140包括闪存视频存储装置146，其可能包括全尺寸或微小尺寸的“SD”存储卡。在一个替代实施方案中，网络接口144被省略并且安全记录被录制在闪存视频存储装置146上。

在本实施方案的面部识别实施方案中，在通过激活检测逻辑108激活图像和控制处理器142后，图像和控制处理器142从图像传感器104读取全分辨率图像并处理这些图像以从图像中提取面部特征。在一个特定的实施方案中，图像和控制处理器142将那些面部特征与面部特征数据库的条目进行比较。在另一个实施方案中，图像和控制处理器142使用网络接口144将面部特征通过网络发送到主处理器。

在一个实施方案中，当图像和控制处理器142处于非激活状态时，PASR DRAM 122中不能自我刷新的一部分专用于用作图像和控制处理器的部分或全部工作存储装置。在一个替代的实施方案中，提供附加动态RAM 148以用作系统的部分或全部工作存储装置。

SRAM 110中的第一级图像缓冲器与PASR DRAM中的第二级图像缓冲器124一起作为具有比SRAM 110更大容量的图像帧的先进先出（FIFO）图像帧缓冲器操作。

此处描述的实施方案相比典型的已存在系统的主要优点是能够录制比已存在系统更多帧的更高分辨率预览或预卷视频，而无需扩展昂贵的SRAM，并且可能具有较小的SRAM。

图像传感系统的另一个实施方案200在图2中示出。该系统包括常通电源域202，该电源域202包括在图像控制器206的控制下录制图像的一个或多个（图示了四个）图像传感器204。在低功率模式期间，直至系统完全激活，图像通过低功率图像传感器接口208从图像传感器204读取到第一级图像缓冲器210中。在特定实施方案中，来自图像传感器204的图像在写入图像缓冲器210之前通过压缩编码器212被压缩，并被传送到激活检测器。在特定实施方案中，激活检测器是运动检测器214。图像可能从第一级图像缓冲器分帧复制到第二级图像缓冲器216中。第二级图像缓冲器216在PASR DRAM中，如参考图1中的PASR DRAM 122所描述的，并且具有脉冲功率，使得它在第二级图像缓冲器216被写入时和刷新操作期间具有电力，并且在其他情况下被断电。低功率模式在低功率微控制器218的控制下操作。当激活检测器识别到激活条件时，图像处理器220在断电域221中被激活。图像处理器220可能从第一级和第二级图像缓冲器210、216或通过高速图像接口222直接从图像传感器204读取所存储的图像，并根据系统需要对图像执行附加的图像处理；图像处理器可根据需要使用任何提供的附加任选的压缩编码器224、CPU 226、加速器228和存储器230来执行系统的功能。

在操作图1的系统时，图像周期性地（在一个实施方案中每秒五次）从图像传感器104（图1）读取302、T1、T2（图3）并写入在SRAM中的第一级图像缓冲器110。由于这个SRAM的容量有限，它会被填满；因此，在分帧写入控制器126的控制器下，周期性地T2、T4将脉冲功率域120通电，并将多个图像从SRAM中的第一级图像缓冲器110以分帧复制到PASR DRAM122中的第二级图像缓冲器124。由于PASR DRAM 122中的存储节点随时间丢失电荷，因此PASR DRAM至少对包含第二级图像缓冲器124的动态RAM库进行自刷新。

当激活检测单元108在T5时检测到激活事件时，脉冲功率域120完全地通电，在一个实施方案中，通过图像和控制处理器142能够刷新整个DRAM 122并使用DRAM 122的附加部分，例如工作存储器128，以及第二级图像缓冲器124。然后图像和控制处理器可能会导致图像捕获以更快的帧速率发生，如T6时所示，从第二级图像缓冲器124读取并重新压缩图像为符合通用视频标准的视频，并确定应录制多长时间的全速率、全分辨率视频。在T7时结束全速率、全分辨率视频的捕获后，图像和控制处理器142可能完成视频压缩并通过网络接口144发送视频或在T10时将视频写入闪速存储器，除了在T8时第二级图像缓冲器124需要持续的局部阵列刷新外，脉冲功率域120断电，并在T9时关闭自身。

在实施方案中，视频压缩可能包括标准运动图像专家组（Motion PictureExperts Group，MPEG）压缩、压缩数据、确定图像中面部的特征图、确定图像中手印上指纹的特征图、或其他压缩和处理操作。

在一个特定实施方案中，当由脉冲宽度调制器114产生的脉冲触发电源开关118使脉冲功率域120通电时，从SRAM中的第一级图像缓冲器110到PASR DRAM中的第二级图像缓冲器124的图像的分帧读取发生。在该实施方案中，只有当PWM输出信号高或感测到激活时，二级存储器和所有相关计时器才能被打开。否则，它保持在局部阵列DRAM自刷新的深度睡眠模式。PWM_CYCLE周期是基于可用于缓存图像的第一级图像缓冲器的数量来设置的，并且PWM_HIGH_TIME被设置为将第一级图像缓冲器复制到第二级图像缓冲器124所需的最小值。

在使用LPDDR3 DRAM作为PASR DRAM 122的特定实施方案中，PWM_CYCLE被设置为500 us，并且PWM_HIGH_TIME被设置为15 us，用于3%的占空比。4 × 720 p图像传感器以5fps捕获数据，500 us在第一级图像缓冲器中累积约10 KB的数据。在每个15 us的PWM_HIGH_TIME期间，累积的10 KB数据传输到第二级图像缓冲器，需要10 KB/15 us的可用带宽= 683 MBps，32位LPDDR3在333 MHz下可实现。第二级图像缓冲器功耗估算为(2mW (局部阵列自刷新) × 97%) + (150mW (激活的) × 3%) = 6.5 mW，低于全功率DRAM操作所需的30 mW。

在一些实施方案中，可能有多于一个的图像传感器104，其中每个图像传感器104在低功率操作期间以720 p分辨率录制图像，并且当全功率域140被激活时，可能任选地以更高的分辨率录制图像。在一个特定的实施方案中，在从SRAM中的第一级图像缓冲器110分帧复制到第二级图像缓冲器124的期间，低功率处理器112可执行图像裁剪。

在一个特定的实施方案中，激活检测108由低功率处理器112的固件执行。在另一个实施方案中，激活检测108由专用单元执行。

根据图4的方法400或其他类似的方法操作低功率图像传感器。在低功率模式下，图像从图像传感器104（图1）逐帧读取402并存储在第一级图像缓冲器110中，在一些实施方案中，在被写入第一级图像缓冲器110之前，图像可能通过颜色去除、分辨率降低或数字图像处理领域中已知的其他方法进行压缩。一旦多个图像在第一级图像缓冲器110中，这些图像以分帧传输404到在PASR DRAM 122中实现的第二图像缓冲器124。PASR DRAM 122在以分帧接收图像时通电，并且PASR DRAM 122在其他情况下处于超低功率PASR模式。PASR DRAM122中的第二级图像缓冲器根据需要周期性地刷新406，并且在录制新图像时，超出预定预卷或预览图像容量的图像将被删除，例如，四个图像传感器中的每一个以每秒五帧的速度进行10秒，产生200幅图像，保存在两个图像缓冲器中实现的FIFO存储器中。然后该方法等待激活触发信号被检测到，激活触发信号触发高功率模式，于是整个PASR DRAM通电，并且如果PASR DRAM的任一部分被用作工作存储器128，则整个PASR DRAM阵列被刷新。在高功率模式下，图像处理器142通电并处于激活状态，图像处理器142从第二图像缓冲器124读取图像412。在实施方案中，图像处理器还直接从图像传感器110和第一图像缓冲器110读取图像，并且可能比在低功率模式下更高的帧速率、带颜色和/或更高的分辨率操作传感器和缓冲器。图像处理器将这些图像格式化并重新压缩414为视频，然后在闪速存储器中录制416或将视频发送到服务器；图像处理器还可能触发警报或执行其他任务。一旦视频被存储并且其他高功率的活动完成，通过关闭图像处理器、使任一附加存储器断电、关掉对不用于第二图像缓冲器124的PASR DRAM部分的刷新以及以其他方式节省电力，系统返回418到低功率模式。

组合

此处描述的节能概念可能以各种方式组合，包括：

一种指定为A的低功率图像捕获装置，包括图像传感器；第一图像缓冲器，其被耦接以从图像传感器接收图像，第一图像缓冲器在静态随机存取存储器（SRAM）中实现；以及第二图像缓冲器，其被耦接以接收从第一图像缓冲器以分帧传输的图像，第二图像缓冲器在局部阵列自刷新（PASR）动态随机存取存储器（DRAM）中实现，第一图像缓冲器和第二图像缓冲器一起作为先进先出（FIFO）图像帧缓冲器操作。该装置还包括激活检测器，其被耦接以使图像捕获装置进入激活模式。当从第一图像缓冲器接收图像分帧时并且当图像捕获装置处于激活模式时，PASR DRAM被配置为通电；并且在其他情况下处于超低功率PASR模式。

一种指定为AA的低功率图像捕获装置，包括指定为A的低功率图像捕获装置，其中激活检测器执行运动检测。

一种指定为AA的低功率图像捕获装置，包括指定为A或AA的低功率图像捕获装置，进一步包括图像处理器，当图像捕获装置处于激活模式时图像处理器处于激活状态，该图像处理器被耦接以从FIFO图像帧缓冲器接收图像。

一种指定为AA的低功率图像捕获装置，包括指定为A、AA或AB的低功率图像捕获装置，进一步包括脉冲宽度调制器（PWM），该PWM被耦接以向PASR DRAM提供电力并触发从第一图像缓冲器到第二图像缓冲器的分帧传输。

一种指定为B的捕获图像序列的方法，包括在图像处理器处于非激活状态的低功率模式下，将图像捕获到在静态随机存取存储器（SRAM）中实现的第一图像缓冲器中，将图像以分帧传输到在局部阵列自刷新动态随机存取存储器（PASR DRAM）中实现的第二图像缓冲器中，PASR DRAM在以分帧接收图像时通电，否则PASR DRAM处于超低功率PASR模式；以及检测激活触发信号，激活触发信号触发高功率模式。在高功率模式下，PASR DRAM通电并且图像处理器处于激活状态，图像处理器从第二图像缓冲器接收图像。

一种指定为BA的捕获图像序列的方法，包括指定为B的方法，其中脉冲宽度调制器用于在低功率模式下控制PASR DRAM的功率。

一种指定为BB的捕获图像序列的方法，包括指定为B或BA的方法，其中图像处理包括将图像格式化为带有预卷的视频，预卷包括来自第二图像缓冲器并且在激活触发信号前由图像传感器获得的图像，并且包括在激活触发信号后由图像传感器获得的图像。

一种指定为BB的捕获图像序列的方法，包括指定为BB的方法，进一步包括在闪速存储器中录制视频。

在不脱离本文范围的情况下，可以对以上系统和方法进行改变。因此应注意，在以上说明书中包含的内容以及附图所示的内容应理解为说明性的而非限制性的。以下权利要求旨在覆盖本文描述的所有通用和特定特征，以及本发明系统和方法范围的所有陈述，就语言而言，可以说其是介于两者之间。

Claims (8)

1.一种低功率图像捕获装置，包括：

图像传感器；

第一图像缓冲器，其被耦接以从所述图像传感器接收图像，所述第一图像缓冲器在静态随机存取存储器(SRAM)中实现；

第二图像缓冲器，其被耦接以接收从所述第一图像缓冲器以分帧传输的图像，所述第二图像缓冲器在局部阵列自刷新(PASR)动态随机存取存储器(DRAM)中实现；

所述第一图像缓冲器与所述第二图像缓冲器一起作为先进先出(FIFO)图像帧缓冲器操作；

激活检测器，其被耦接以使所述图像捕获装置进入激活模式；以及

其中，当从所述第一图像缓冲器接收图像分帧时并且当所述图像捕获装置处于所述激活模式时，所述PASR DRAM被配置为通电；并且在其他情况下处于超低功率PASR模式。

2.根据权利要求1所述的低功率图像捕获装置，其中所述激活检测器执行运动检测。

3.根据权利要求2所述的低功率图像捕获装置，进一步包括图像处理器，当所述图像捕获装置处于所述激活模式时，所述图像处理器处于激活状态，所述图像处理器被耦接以从所述FIFO图像帧缓冲器接收图像。

4.根据权利要求2所述的低功率图像捕获装置，进一步包括脉冲宽度调制器(PWM)，所述PWM被耦接以向所述PASR DRAM提供电力并触发从所述第一图像缓冲器到所述第二图像缓冲器的分帧传输。

5.一种捕获图像序列的方法，包括：

在图像处理器处于非激活状态的低功率模式下，

将图像捕获到静态随机存取存储器(SRAM)中实现的第一图像缓冲器，

将所述图像以分帧传输到局部阵列自刷新动态随机存取存储器(PASR DRAM)中实现的第二图像缓冲器中，当以分帧接收所述图像时，所述PASR DRAM通电，并且在其他情况下所述PASR DRAM处于超低功率PASR模式；

检测激活触发信号，所述激活触发信号触发高功率模式；

在所述高功率模式下，所述PASR DRAM通电并且所述图像处理器处于激活状态，所述图像处理器从所述第二图像缓冲器接收图像以在其上执行图像处理。

6.根据权利要求5所述的方法，其中在所述低功率模式下使用脉冲宽度调制器(PWM)来控制所述PASR DRAM的功率。

7.根据权利要求5所述的方法，其中所述图像处理包括将所述图像格式化为带有预卷的视频，所述预卷包括来自所述第二图像缓冲器并在所述激活触发信号之前由所述图像传感器获得的图像，并且包括在所述激活触发信号之后由所述图像传感器获得的图像。

8.根据权利要求7所述的方法，进一步包括在闪速存储器中录制所述视频。

Images