CN112425158A - 一种监视相机系统及降低监视相机系统功耗的方法 - Google Patents

Abstract

本发明公开了一种监视相机系统。所述监视相机系统可包括第一相机、第二相机和处理器。所述第一相机包括第一采集模块以及第一压缩模块，其中，所述第一采集模块被配置为以第一分辨率采集第一多组原始像素值，所述第一压缩模块被配置为将所述第一多组原始像素值压缩成的第一多个整数。所述处理器被配置为基于所述第一多个整数激活第二相机。所述第二相机包括第二采集模块，所述第二采集模块以第二分辨率采集第二多组原始像素值，且所述第二分辨率高于所述第一分辨率。

Description

一种监视相机系统及降低监视相机系统功耗的方法

相关申请的交叉引用

本申请是2018年11月22日递交的PCT申请PCT/CN2018/117040的继续申请，要求2018年6月11日递交的美国临时申请62/683293(代理人案号：3034-010PR1)的优先权。

技术领域

本发明涉及一种监视相机系统，及降低监视相机系统功耗的方法，特别涉及一种可疑运动检测或可疑对象检测监视相机系统。

背景技术

相机的一般功能是将光学数据转换成压缩的连续电信号，以便传输或存储信息。

随着对计算功耗越来越多的关注，需要一种降低相机功耗的方法。在传统相机中，由于产生可视化图像要使用所有的像素，因此每个像素都必须经过处理。在典型的应用中，在分析高分辨率组分之前，先以压缩或低分辨率格式分析场景。由于许多像素可能永远不会被观察到，所以延迟图像处理直至知道哪些像素需要分析，这样可能更有效。

工作功率是相机像素容量的关键限制。传统相机由焦平面和“片上系统”图像处理平台组成。图像信号处理(ISP)芯片实现各种图像处理功能，如解马赛克、非均匀性校正等，以及图像压缩。

虽然通常在硬件应用电路中实现标准压缩算法，以提高功率效率和速度，但这些算法仍然需要大量的功率和内存资源。此外，ISP芯片通常实现色彩解马赛克及其他图像处理算法，这些算法也要求功耗和芯片面积。考虑到在这些处理中每像素需要多个数字化步数，ISP芯片通常要比图像传感器采集和读出使用更多的功率。

压缩感知是一种大幅度降低相机头部功率的机制。如专利US20060038705A1压缩感知和信号推断及后续专利中所公开的，压缩感知使用物理层编码将图像数据投射到编码图案上，该图案可通过逆向计算来恢复成初始的图像。这样的方法可用于如US7336353B2所公开的光谱成像中，或可用于时域成像中，比如Llull，P.，Liao，X.，Yuan，X.，Yang，J.，Kittle，D.，Carin，L……及Brady,D.J.在光学快报(Optics express)21(9)，10526-10545上发表的编码孔径压缩时域成像(2013年)。

相机的物理层压缩感知的缺点包括(1)只有非负权重可用于光强度的复用感知，(2)如上所述的压缩感知系统需要中继光学器件，这大大增加了系统的尺寸和复杂性。

在某些情况下，监视相机系统可包括多个相机，这意味着两个或多个相机可能同时工作，因此有必要降低其功耗。可能有两个或多个相机(两个相邻的相机)监视几乎相同的区域或者它们的监视区域有很多重叠，这意味着我们可以部署高分辨率相机和低分辨率相机，以在不同的条件下监视同一个区域。

发明内容

本发明的一个方面涉及一种监视相机系统。该监视相机系统可包括第一相机、第二相机和处理器，其中，所述第一相机包括：第一采集模块，其中，所述第一采集模块被配置为以第一分辨率采集第一多组原始像素值；第一压缩模块，其中，所述第一压缩模块被配置为将所述第一多组原始像素值压缩成第一多个整数；其中，所述处理器被配置为基于所述第一多个整数激活第二相机；其中，所述第二相机包括第二采集模块，所述第二采集模块以第二分辨率采集第二多组原始像素值，且所述第二分辨率高于所述第一分辨率。

在一些实施例中，所述第一相机的视场与所述第二相机的视场可覆盖共同区域。

在一些实施例中，所述处理器可被配置为通过将所述第一多个整数输入到神经网络中来检测可疑运动或可疑对象，且所述处理器可进一步被配置为在检测到至少一个可疑运动或至少一个可疑对象时，传递指示所述第二相机的激活的激活信号。

在一些实施例中，所述第二相机可进一步包括第二压缩模块，被配置为将所述第二多组原始像素值压缩成第二多个整数。

在一些实施例中，所述第一压缩模块可被配置为以第一压缩权重张量将所述第一多组原始像素值中的每组原始像素值压缩成整数，来将所述第一多组原始像素值压缩成第一多个整数，且所述第二压缩模块可被配置为以第二压缩权重张量将所述第二多组原始像素值中的每组原始像素值压缩成整数，来将所述第二多组原始像素值压缩成第二多个整数。

在一些实施例中，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是整数。

在一些实施例中，所述第一压缩权重张量或所述第二压缩权重张量中元素的位长可为12位、8位、6位、4位或2位，其中，所述整数是2位二进制时，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是-1/+1，或0/1。

在一些实施例中，所述处理器可进一步被配置为以第二解压缩权重张量将所述第二多个整数解压缩成多组PQI输出像素值，其中，所述第二解压缩权重张量可具有与所述第二压缩权重张量相同的尺寸。

在一些实施例中，所述处理器可进一步被配置为通过将所述多组PQI输出像素值输入到QINN来确定多组输出像素值。

在一些实施例中，所述处理器可进一步被配置为对由所述多组输出像素值组成的图像进行解马赛克处理。

本发明的另一方面涉及一种降低监视相机系统功耗的方法，所述方法可包括以下操作中的一个或多个：可接收第一多个整数，其中，所述第一多个整数可为第一相机从第一多组原始像素值压缩得到的；可将所述第一多个整数输入到神经网络，以检测可疑运动或可疑对象；检测到至少一个可疑运动或至少一个可疑对象时，可传递指示第二相机激活的激活信号。在一些实施例中，所述第一相机可被配置为以第一分辨率采集所述第一多组原始像素值，以及将所述第一多组原始像素值压缩成所述第一多个整数。在一些实施例中，所述第二相机被配置为以第二分辨率采集所述第二多组原始像素值。在一些实施例中，所述第二分辨率高于所述第一分辨率。

在一些实施例中，所述第一相机的视场与所述第二相机的视场可覆盖共同区域。

在一些实施例中，所述第二相机可进一步被配置为将所述第二多组原始像素值压缩成第二多个整数。

在一些实施例中，所述第一多组原始像素值中的每组是通过用第一压缩权重张量压缩成整数的，且所述第二多组原始像素组中的每个组可以是通过用第二压缩权重张量压缩成整数的。

在一些实施例中，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素可以是整数。

在一些实施例中，所述第一压缩权重张量或所述第二压缩权重张量中元素的位长为12位、8位、6位、4位或2位，其中，所述整数是2位二进制时，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是-1/+1，或0/1。

在一些实施例中，所述方法可进一步包括：用第二解压缩权重张量将所述第二多个整数解压缩成多组PQI输出像素值；其中，所述第二解压缩权重张量具有与所述第二压缩权重张量相同的尺寸。

在一些实施例中，所述方法可进一步包括：通过将所述多组PQI输出像素值输入到QINN中，确定多组输出像素值。

在一些实施例中，所述方法可进一步包括：对由所述多组输出像素值组成的图像进行解马赛克处理。

其他特征将有部分在下面的说明书中阐述，还有部分则对看了下文及附图的本领域技术人员来说是显而易见的，或者可通过制作或操作的示例来了解。本发明的特征可以通过实践或使用下文讨论的详细示例中所述的方法、工具和组合的各个方面来实现和获得。

附图说明

本发明将在示例性实施例中做进一步描述。这些示例性实施例会参照附图详细描述。这些实施例是非限制的示例性实施例，其中，相同的附图标记表示贯穿于附图的多个视图中的类似结构。其中：

图1是根据一些实施例的监视相机系统的示例性原理图；

图2示出了根据本发明一些实施例的帧的像素排列；

图3说明了根据本发明一些实施例的盲压缩采样方法；

图4示出了根据本发明一些实施例的降低功耗的方法；

图5说明了根据发明一些实施例如304中描述的压缩处理的帧策略一；

图6示出了根据本发明一些实施例如304中描述的卷积处理；

图7是根据本发明一些实施例的原始拜耳数据单层卷积2D压缩过程中的四个权重张量的一种示例；

图8是根据本发明一些实施例的初始及重建的原始拜耳图片的一种示例；

图9是根据本发明一些实施例的图8中所示的输入像素值压缩后[256,480,4]形状的整数数组(右方块)；

图10示出了根据本发明一些实施例的源自初始的原始拜耳图片和重建的原始拜耳图片的解马赛克的RGB图片；

图11示出了根据本发明一些实施例的对压缩处理后的多个整数进行解压缩的方法；

图12说明了根据本发明一些实施例的训练浮点数权重张量的方法；以及

图13示出了根据本发明一些实施例的训练解压缩权重张量中的参数和QINN中的参数的方法。

具体实施方式

在下面的详细描述中，通过示例阐述了许多具体细节，以提供对相关公开的透彻理解。然而，对于本领域技术人员显而易见的是，本发明可以在没有这些细节的情况下实施。在其他实例中，为了避免不必要地模糊本发明的各个方面，已经相对较高的层次地描述了公知的方法、过程、系统、组件和/或电路，而没有详细说明。对所公开实施例的各种修改对于本领域的技术人员来说是显而易见的，并且在不脱离本发明的精神和范围的情况下，本文所定义的一般原理可以应用于其他实施例和应用。因此，本发明不限于所示的实施例，而是被赋予与权利要求一致的最广泛的范围。

应当理解，本文使用的术语“系统”、“引擎”、“单元”、“模块”和/或“块”是按升序区分不同级别的不同组件、元件、部件、零件或组装件的一种方法。然而，如果可以达到同样的目的，这些术语可被其他表达方式取代。

一般而言，如本文所使用的词“模块”、“单元”或“块”是指硬件或固件中包含的逻辑、或软件指令的集合。本文所述的模块、单元或块可以实现为软件和/或硬件，并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，软件模块/单元/块可以被编译并链接到可执行程序中。应当理解的是，软件模块可以从其他模块/单元/块或自身调用，和/或可以响应于检测到的事件或中断而被调用。配置用于在计算设备上执行的软件模块/单元/块可以设置在计算机可读介质上，例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质上，或者作为数字下载(并且可以最初以需要安装的压缩或可安装格式存储、解压、或在执行前解密)。这种软件代码可以部分或全部存储在执行计算设备的存储设备上，以供计算设备执行。诸如EPROM这样的软件可以包含在固件中。还应当理解的是，硬件模块/单元/块可以包括在连接的逻辑组件中，例如门和触发器，和/或可以包括可编程单元，例如可编程门阵列或处理器。本文描述的模块/单元/块或计算设备功能可以实现为软件模块/单元/块，但是可以用硬件或固件表示。一般而言，本文所述的模块/单元/块是指可以与其他模块/单元/块组合或被划分为子模块/子单元/子块的逻辑模块/单元/块，尽管它们具有物理组织或存储。该描述可适用于系统、引擎或其一部分。

应当理解，当单元、引擎、模块或块被称为“在另一个单元、引擎、模块或块上”、“连接到”或“耦合到”另一个单元、引擎、模块或块时，它可以直接位于、连接或耦合到另一个单元、引擎、模块或块或中间单元、引擎、模块，或块可能存在，除非上下文中另有明确指示。如本文所使用的，术语“和/或”包括一个或多个相关的所列事务的任何和所有组合。

本发明的这些特征和其他特征，以及结构的相关元件的操作方法和功能，以及部件的组合和制造经济性，在参考附图考虑以下描述后可能更加明显，所有这些都是构成本公开的一部分。然而，应明确理解，附图仅用于说明和描述，并且无意限制本公开的范围。据悉，附图没有按比例绘制。

本文中使用的术语仅用于描述特定示例和实施例，目的不在于限制。如本文所使用的，单数形式的“一”、“该”也可以意欲包括复数形式，除非上下文清楚地另有指示。应进一步理解，术语“包括”在本公开中使用时，规定了整数、设备、行为、所述特征、步骤、元素、操作和/或组件的存在，但不排除存在或添加一个或多个其他整数、设备、行为、特征、步骤，元件、操作、组件和/或其组。

本发明在此公开提供的涉及一种监视相机系统，该系统采用了一种盲压缩采样方法。将在下面的实施例中做详细的描述。

图1是根据本发明一些实施例的监视相机系统的一种示例性原理图。如图1所示，监视相机系统可包括第一相机110、第二相机120以及处理器130。

在一些实施例中，第一相机110和第二相机120可监视几乎相同的区域，或者它们的监视区域有很多重叠。第一相机可包括第一采集模块111和第一压缩模块112。第一采集模块111可以以第一分辨率采集第一多组原始像素值。然后，第一压缩模块111可用第一压缩权重张量将第一多组原始像素值压缩成第一多个整数。

第二相机可包括第二采集模块121和第二压缩模块122。第二采集模块121可被配置为以第二分辨率采集第二多组原始像素值。然后，第二压缩模块121可用第二压缩权重张量将第二多组原始像素值压缩成第二多个整数。

压缩权重张量的示例如图7所示。第一分辨率可以低于第二分辨率，这意味着对于每单位监视区域，第一相机可以比第二相机采集更少量的像素。图3中可说明第一压缩模块或第二压缩模块的压缩过程。

通常，具有较低分辨率的第一相机110可以保持工作，处理器130可以在必要时激活第二相机120。例如，处理器130可以处理从第一相机110接收到的第一多个整数，且处理器130可以执行可疑运动检测或可疑对象检测，并可在检测到一个或多个可疑运动时，或者检测到一个或多个可疑对象时，生成指示第二相机120激活的触发信号。

对于第一或第二相机，相机可接收与图像场中的场景对应的光。相机接收到的光可以通过图像信号处理(ISP)芯片作为原始拜耳数据读出。在一些实施例中，使用如图2所示的并行或串行流从相机读出原始拜耳数据。图2示出了根据本发明一些实施例的帧的像素排列。如图2所示，帧可以包括49个像素，并且每个像素可具有对应的像素值。原始像素值可以是从相机的焦平面按顺序读出的。从焦平面读出的数据可以是光栅格式，这意味着按顺序读出行。按照x_1,j(j从1到7)，然后x_2,j等的顺序读出像素值x_i,j。典型的焦平面可能不止49个像素，而且i和j通常可以扩展到几千个。除了逐行的空间读出结构之外，应当注意的是，帧也按时间顺序读出，因此通常像素值按三个值索引x_i,j,k，k对应于帧号。

像素也对应于不同的颜色，通常是红色、绿色和蓝色，但是颜色值通常可以镶嵌在传感器上，使得给定像素对应于给定的已知颜色。传统相机中的像素值可以被缓冲以用于解马赛克、图像处理(非均匀性校正、颜色空间变换、去噪、锐化、白平衡和黑电平调整等)和压缩。由于压缩被实现为二维转换，必须缓冲多行(通常为8行)，并且每个像素值必须累积在多个转换缓冲区中。此外，必须在每个图像块上实现通过量化矩阵和压缩(Huffman)编码来分割像素值。

本发明提供了一种以最小处理量立即压缩原始拜耳数据流的方法/策略。通过最小化采集时每像素的操作，可以将相机头部(第一相机或第二相机)中的总功率降低到与传感器读出功率相当的水平。这可以通过最小化缓冲像素值的数量并对每个像素执行简单的数字操作来实现。

目前的压缩/编码方法/策略可以应用紧凑的内核卷积和编码。这些方法构成“盲压缩”或“压缩采样”，因为读出信号立即复用到像素数据的线性变换中，而无需分析像素数据的内容。压缩采样具有最常用的基于凸优化的解压缩策略，但最近基于神经网络的解压缩推理已被证明是有效的，例如Mousavi、Ali、Ankit B.Patel和Richard G.Baraniuk在IEEE 2015年第53届Allerton年会的《通信、控制和计算》(Allerton)上发表的“结构化信号恢复的深度学习方法”讨论的。

本发明中描述的这些方法与常见的图像压缩策略(例如，在JPEG2000、MPEG、h.264等中实现的)相反。这些标准将图像数据立方体中的局部空间、光谱和/或时间块转换为稀疏基。例如，JPEG2000由基于块的离散余弦变换，结合系数阈值和量化，然后进行无损序列压缩构成。视频标准在这种方法中加入了时域帧差分分析，JPEG2000通过对静态局部基的多尺度变换对该方法进行了扩展。这些方法基于这样一个事实，即局部区域内的像素包含相关数据，这使得压缩成为可能。这样的像素映射可以通过转换到不同的基础上来稀疏地表示。

JPEG2000与现有的压缩/编码方法/策略(盲压缩采样方法)之间的区别可以解释如下。首先，考虑A和B这两个数。在A或B的传递中，根据每个数隐含的概率熵来传送一定量的信息。如果A和B的互信息不为零，则A+B的传递可能传输与A-B不同的信息量。JPEG2000压缩依赖于这一事实来传输信息，因为在图像中，如果A和B是相邻的像素，A+B几乎总是比A-B包含更多的信息。在边缘，A-B可以传递更多，因此JPEG2000只在A-B值较大时发送A-B的值。其次，相比之下，盲压缩采样将一维(1D)或2D形状的像素值与预先设置的压缩权重张量组合成数字数组。压缩过程也可以看作是执行卷积神经网络中使用的卷积运算。在一些实施例中，权重张量的分量/值/元素可以限制为整数，以便于使用诸如FPGA的硬件应用。压缩比可以计算为数字数组的总比特数与输入像素值的比。预先设定的解压缩权重张量和预先设定的深度神经网络可用于将压缩过程中的数字数组解压缩回原始数据(与初始的数据相比，质量有所下降)。在一些实施例中，解压缩的原始数据可以进一步经过必要的处理，包括为了人们观看目的对一般的RGB或YUV图片或视频帧的解马赛克。具体地，相比之下，码分多址涉及在信号之间没有互信息的情况下的信号总和的传递。如果只发送两个信号值，并且A和B的互信息为零，则A+B的传递所涉及的信息量与A-B完全相同。但是，如果从一个可压缩信号发送值A和B，并且如果从第二个可压缩信号发送值C和D，则g1＝A+C和g2＝B-D的传递可以是传输关于第一信号和第二信号的压缩信息的有用机制。如果A+B和C+D预计较大，而A-B和C-D预计较小，则g1+g2主要通知A+B的值，而g1-g2则主要通知与C+D相关的值。如果不是(D上的负号)码，两个信号就都是两个通道的简单和，就没有区分A+B和C+D的机制。通过解压缩推理，这种基本策略使用更复杂和更长的编码序列，根据对其可能特征的先验知识来分离两个不相关的信号。

图3说明了根据本发明一些实施例的盲压缩采样方法。在一些实施例中，压缩方法可由相机头(第一相机110或第二相机120)或处理器130来实现。

在302中，可以从相机(第一照相机或第二相机)的焦平面依次读出多组原始像素值。在一些实施例中，可以按顺序读出原始像素值作为原始拜耳数据。每个像素值可对应于像素，并且像素值可以用二进制的形式发送。可以使用下面描述的一个帧策略压缩多组原始像素值。

在304中，可使用压缩权重张量将每组原始像素值压缩成整数。在一些实施例中，每组原始像素值对应于由相机(第一相机或第二相机)采集的帧的部分。在一些实施例中，压缩权重张量中的元素可以是整数，以便于在诸如FPGA的硬件上应用。例如，压缩权重张量中的元素可以是二进制，并且元素的位长可以是12位、10位、8位、6位、4位或2位。此外，当元素是2位二进制时，元素可以是-1或+1；或者元素可以是0或1。

帧策略一

在一些实施例中，一组原始像素值可对应于帧的2D块(patch)中的像素，并且压缩权重张量可以是2D内核。2D块和2D内核可能具有相同的尺寸。例如，2D内核可有尺寸[k_x,k_y]，[N_x,N_y,1]形状的帧可以分成[N_x/k_x,N_y/k_y]个块。与某个具有[k_x,k_y,1]形状的块中的像素对应的像素值可以乘以具有[k_x,k_y,1,ncomp]形状的2D内核，并且可以将2D块中的像素值压缩成ncomp个数(ncomp是手动定义的预置整数)。结果，帧的输入像素值可以压缩成ncomp个数字的数组(整数数组)。压缩过程可以是如下等式(1)所描述的2D卷积运算：

其中，指数i和j分别遍历k_x和k_y，指数k从1遍历到ncomp。

不考虑输入像素值的位长(原始像素值通常为8位或10位)与压缩后的数字数组的位长(8位)之间的差异的压缩比可以表示为ncomp/(k_x*k_y)。在一些实施例中，可以通过使用各种[k_x,k_y,ncomp]设置来实现不同的压缩比。例如，像1/16,1/16/1/32和1/256这样的不同的压缩比可以分别用2D内核[16,16,16]、[8,8,4]、[16,16,8]和[16,16,1]实现。

帧策略二

在一些实施例中，一组原始像素值可对应于帧的1D段中的像素。当按顺序发送帧中的像素时，与帧对应的像素序列可以被分割成多个段。权重张量可以使与段具有同样尺寸的整数向量，压缩过程可为1D卷积运算：用1D内核或1D整数向量将帧的1D段中的像素组合成整数。

在一些实施例中，整数向量中的每个元素可以是-1或+1。在一些实施例中，整数向量中的每个元素可以是0或1。例如，可以使用长度为16的整数向量[0,1,0,0,1,0,...1]将16个传入像素值组合成一个数。作为另一示例，可以使用长度为16的整数向量[-1,1,-1,-1,1,-1,...1]将16个传入像素值组合成一个数。

具体地，序列可以被逐行分割。各种1D内核或1D整数向量已经被开发出来，包括[128,1,4]、[32,1,4]。原始拜耳数据中不同行的不同卷积1D内核的组合可用于控制图片/帧的总压缩比。

像素序列的这种分割(帧策略二)使用的缓冲区大小小于2D块分割(帧策略一)，因为不需要缓冲来自不同行/段的像素值，而传入的像素值可以作为片段进行处理。

应当注意的是，提供压缩过程只是为了说明目的，而不是为了限制本发明的范围。对于本领域的普通技术人员，根据本发明的教导可以进行多种变化和修改。然而，这些变化和修改并不脱离本发明的范围。例如，还可将具有其他位长的压缩权重张量用来压缩原始像素值。

这些帧策略可以是自适应采样策略，这意味着可以在压缩过程中实现帧内容分析。例如，在压缩过程中使用的内核可适合于图像内容。与传统的方法相比，可以通过分析一个或多个帧的盲压缩数据来实现这种自适应。与传统方法相比，与压缩比和自适应率(每次自适应考虑的帧数)成比例地降低了每像素的数据负载和计算复杂度。以这样的方式，可以以少得多的计算和功耗来执行帧内容分析，并且可以进一步减小压缩数据的大小和/或提高解压缩的质量。

在压缩处理之后，可以将一个或多个帧的像素值压缩成整数数组。对于一个或多个帧，可以通过分析与多个帧对应的多个整数数组(压缩数据)来执行可疑运动或可疑对象分析。

图4示出了根据本发明一些实施例的降低功耗的方法。在一些实施例中，该方法可以由监视相机系统100的处理器130执行，其中，监视相机系统100可包括多个相机和处理器。在一些实施例中，处理器可以远离多个相机或者集成到多个相机中。

在402中，处理器130可接收第一多个整数。在一些实施例中，可通过使用第一压缩权重张量压缩第一多组原始像素值来获得第一多个整数。第一多组原始像素值可由第一相机110以第一分辨率采集。在一些实施例中，压缩可由第一压缩模块111实现。

在404中，可将第一多个整数输入到神经网络，以检测可疑运动或可疑对象。在一些实施例中，神经网络可以是分类神经网络。

在406中，一旦检测到至少一个可疑运动或至少一个可疑对象，处理器130可发送指示第二相机120激活的激活信号。一旦第二相机120接收到激活信号，第二相机120就可以激活，以第二分辨率采集第二多组原始像素值。第二分辨率可比第一分辨率高。然后，可以通过用第二压缩权重张量将第二多组原始像素值中的每组原始像素值压缩成整数来获得第二多个整数，且可以通过第二压缩模块121来实现压缩。可以使用帧策略一或帧策略二获得第一多个整数或第二多个整数。

在一些实施例中，当某人想要查看包括检测到的可疑运动或检测到的可疑对象的帧时，可用第二解压缩权重张量将第二多个整数解压回重建的原始拜耳图片，其中，第二解压缩权重张量可以具有与第二压缩权重张量相同的尺寸。在一些实施例中，需要将重建的原始拜耳图片解马赛克为一般的RGB或YUV格式，并且可以在解压缩之后进行解马赛克步骤。

图5说明了根据本发明一些实施例的如304中描述的帧策略一的压缩处理。如图5所示，可以逐块压缩帧。在一些实施例中，可由诸如FPGA之类的硬件处理帧，卷积内核应用于像素的每个块，并且没有重叠或间隙地移动到下一块，直到最后一块。块1表示已处理的块，块2表示正在处理的块。

图6示出了根据本发明一些实施例的如304中描述的卷积处理。如图6所示，可用压缩权重张量将尺寸为4*4的像素阵列压缩为整数。压缩权重张量也可具有4*4的尺寸。

在一些实施例中，压缩的数据可以量化为8位整数以存储和/或传输。本发明中的量化处理比JPEG2000的量化处理更简单。卷积运算的输出结果可以缩放(减少位长)至适合8位整数的范围。虽然熵编码不需要复杂的计算来减少质量损失，且量化损失直接影响压缩/解压缩的整体质量，但是压缩/解压缩过程保持了与JPEG2000相似的整体质量。

虽然已经简化压缩过程，但是它可提供一种减少必要的缓冲区大小的方法，如304所示。将具有[4,4,1]尺寸的卷积-2D内核应用到[4,4]形状的像素块上，不需要将所有像素(总共16个)放入缓冲区，并进行一次元素积与求和运算。替代地，当像素被读入时，可以使用适当的内核权重元素逐行处理像素，并将输出值(数字数组)放入缓冲区，直到完成一次卷积运算。在每次卷积运算后，缓冲的数字可以输出到存储器，并且可以清除缓冲器。

对于由尺寸[k_x,k_y,ncomp]的卷积-2D内核处理尺寸[N_x,N_y]的传入原始拜耳图片，执行图3中的压缩方法时，必要的缓冲区大小是[k_x,k_y,ncomp*N_x/k_x]。

图7是根据本发明一些实施例的在原始拜耳数据的单层卷积2D压缩过程中的四个权重张量的示例。可以实现单层卷积2D运算来压缩[N_x,N_y]个像素的原始拜耳数据。权重张量是[k_x,k_y,ncomp]＝[8,8,4]形状的，从训练的浮点权重神经网络整数化到[-7,7]范围中的4位有符号整数。权重张量如图4所示，四个块呈现的是[8,8]矩阵中的每个。每个块显示张量的[8,8,i](i＝1,2,3)部分中的一部分。

图8是根据本发明一些实施例的初始和重建的原始拜耳图片的示例。图的顶部示出了峰值信噪比(PSNR)和结构相似度(SSIM)的度量。

输入像素值(原始拜耳数据/图片)和重建的原始拜耳图片(两者具有形状[2048,3840])分别呈现在图8的下部和上部的方块中。在一些实施例中，[2048,3840]初始的原始拜耳图片压缩成[256,480,4]形状的整数数组，这将在图8中描述。在这样的示例中，压缩比是1/16(不考虑由于位长减少而产生的额外压缩)。如图8所示，下部的方块呈现初始的原始拜耳图片(由输入像素值组成)，上面的方块呈现源自经过压缩和解压缩处理的输入像素值的重建的原始拜耳图片。解压缩过程将在图11中讨论。

图9是根据本发明一些实施例的图8示出的输入像素值压缩后的[256,480,4]形状的整数数组(右方块)。可用图7中示出的压缩权重张量来实现压缩。第i个方块显示矩阵[256,480,i]，其中，指数i＝0,1,2,3。图10示出了根据本发明一些实施例的源自初始的原始拜耳图片和重建的原始拜耳图片的解马赛克的RGB图片。底部的方块呈现的是初始的原始拜耳图片的解马赛克的RGB图片，上面的方块呈现的是重建的原始拜耳图片的解马赛克的RGB图片。如图10所示，用单色图像讨论初始的原始拜耳图片和重建的原始拜耳图片的解马赛克RGB图片。

图11说明了根据本发明一些实施例的在压缩处理之后的多个整数的解压缩方法。在一些实施例中，当人要查看检测到的可疑运动或检测到的可疑对象时，可以对第二多个整数进行解压缩。

在1102中，可以将多个整数解压缩为多组预质量改进(PQI)输出像素值。在一些实施例中，解压缩处理可以使用解压缩权重张量来实现，其中，解压缩权重张量可具有与压缩权重张量相同的尺寸。在一些实施例中，可以基于机器学习调整解压缩权重张量中的参数。结果，可以将第二多个整数解压缩回第二多组预质量改进(PQI)输出像素值。

在1104中，可通过将多组PQI输出像素值输入到质量改进神经网络(QINN)来确定多组输出像素值。多组输出像素值可对应于图8中的重建的原始拜耳图片中的像素。在一些实施例中，质量改进神经网络可以是深度卷积神经网络。QINN可由三部分组成：先inception模块、inception模块和后inception模块。先inception模块可使用两个不同的内核并行地执行卷积运算，而不改变输入数据的尺寸[N_x,N_y]，但是将像素间的信息组合成维度[N_x,N_y,NC]的3D实体。在我们的默认设置中，NC＝96。inception模块可组合两个不同的卷积内核，并且可以用于进一步混合由先inception模块提供的信息。卷积运算可产生与输入相同尺寸的3D实体。该3D实体可以以元素方式添加到输入，以形成剩余网络，进而产生输出。inception模块的输入和输出都可以是[N_x,N_y,NC]维度的，由于这种设计，可以将多个inception模块堆叠在一起形成深度神经网络，但同时，由于剩余网络的设计，保持了易于训练的良好特性。后inception模块可使用卷积运算来组合最后的inception模块的输出和先inception模块的输出。另一个卷积运算可以放在最后，使最终输出的形状[N_x,N_y,NC]如原始拜耳图片那样。在一些实施例中，为了质量改进的目的，我们可以在先和后inception模块之外堆叠8个inception模块，以形成QINN。

在一些实施例中，可以训练解压缩权重张量/QINN中的参数(或值)。样本训练方法也如图12-13所示。

在一些实施例中，可通过诸如Matlab中的“demosaic”函数之类的传统方法对多组输出像素值进行进一步解马赛克。另一个QINN可以用于解马赛克的RGB图像，从而优化最终RGB输出的质量。此RGB图片的QINN的输入和输出是[N_x,N_y,3]维的。

压缩质量是通过直接将初始的原始拜耳数据与多组输出像素值(经过压缩和解压缩之后)进行比较，并比较从它们输出的RGB来测量的。已使用根据本发明的RGB输出的PSNR和SSIM量以及在相同压缩比下使用JPEG2000的RGB输出(使用非压缩的RGB输出作为基础值)测试了质量比较，并且已发现，本发明的帧策略一在1/16压缩下具有接近于JPEG2000的质量(根据本发明的PSNR和SSIM比JPEG2000相对低不超过1％)。帧策略二的质量约为2.5％(逐行)或5％(用随机数目的像素值分段)，均低于帧策略一(相对而言)。

由于使用本发明的压缩的计算仅涉及将权重张量的整数乘以输入像素，并对某些组进行求和，因此它比JPEG2000必须经历的过程(即解马赛克、傅立叶离散余弦变换熵编码和JPEG2000特定量化)简单得多。因此，与JPEG2000相比，本发明用于压缩的功耗要小得多。本发明中的不同策略涉及不同的计算量，但它们的功耗都比JPEG2000的低得多。

应当注意的是，提供解压缩过程只是为了说明目的，而不是为了限制本发明的范围。对于本领域的普通技术人员，根据本发明的教导可以进行多种变化和修改。然而，这些变化和修改并不脱离本发明的范围。例如，对于不同的压缩权重张量，可以基于机器学习来获得具有不同参数/值的解压缩权重张量。

在一些实施例中，多组像素值可对应于由第一相机采集的一个或多个帧，并且所述一个或多个帧可包括特定内容(可疑运动或可疑对象)。对于特定的内容，可以调整解压缩权重张量和QINN。在一些实施例中，可与解压缩权重张量和QINN一起调整压缩权重张量。可以有包括多组压缩/解压缩设置的数据库，其中，每组压缩/解压缩设置可对应于一种内容，并且每组压缩/解压缩设置可包括压缩权重张量、压缩张量、以及专门针对相应类型/内容培训的QINN。例如，当确定内容时，可确定第二相机的压缩权重张量、解压缩权重张量和QINN。此外，所确定的减压重量张量和QINN可仅用于人类观看目的。

如上所述，可基于机器学习来训练压缩/解压缩权重张量和QINN。在一些实施例中，压缩权重张量可以首先训练成浮点数权重张量。图12说明了根据本发明一些实施例的训练浮点数权重张量的方法。

在1202中，可以顺序地读出多组样本像素值。在一些实施例中，一组样本像素值可对应于帧的2D块或1D段中的像素。

在1204中，可通过使用压缩权重张量压缩每组样本像素值来确定多个样本浮点数。通过该步骤，可以用一定的压缩比将帧中的2D块或1D段中的像素值压缩成浮点数像素值。在一些实施例中，压缩权重张量可以是2D内核，或者一个或多个1D内核，其中，2D内核中的元素或者一个或多个1D内核中的元素是浮点数。

在1206中，可通过对具有解压缩权重张量的多个样本浮点数执行反向运算来确定第二多组PQI输出像素值。在一些实施例中，解压缩权重张量可具有与压缩权重张量相同的维度。

在1208中，通过最小化多组样本像素值与多组PQI输出像素值之间的质量损失，通过基于机器学习调整压缩权重张量中的参数，可将压缩权重张量调整为浮点数权重张量。在一些实施例中，质量损失可定义为多组样本像素值与多组PQI输出像素值之间的均方差。

图13示出了根据本发明一些实施例的训练解压缩权重张量中的参数和QINN中的参数的方法。

在1302中，可通过对浮点数权重张量中的参数/值进行整数化来确定整数化的压缩权重张量。在一些实施例中，权重张量可包括2D内核，或一个或多个1D内核。2D内核或一个或多个一D内核中元素的值可以被整数化以获得整数化的压缩权重张量。在一些实施例中，整数化压缩权重张量可为帧中像素值的压缩块或段可用的压缩帧，并且整数化压缩权重张量可以在FPGA上实现。在1304中，可通过使用整数化的压缩权重张量将每组样本像素值压缩成整数来确定多个样本整数。

在1306中，可通过对具有解压缩权重张量的多个样本整数执行反向运算来确定多组PQI输出像素值。解压缩权重张量可与1206中使用的相同。

在1308中，可通过将多组PQI输出像素值输入到QINN来确定多组输出像素值。

在1310中，通过最小化多组样本像素值和多组输出像素值之间的质量损失，可以基于机器学习来调整解压缩权重张量中的参数和QINN中的参数。在一些实施例中，质量损失可定义为多组样本像素值与多组输出像素值之间的均方差。在一些实施例中，训练的解压缩权重张量和训练的QINN可以与整数化的压缩权重张量一起应用。

应注意的是，解压缩过程仅用于说明目的，并不旨在限制本发明的范围。对于本领域的普通技术人员，根据本发明的教导可以进行多种变化和修改。然而，这些变化和修改并不脱离本发明的范围。例如，可以用任何已知的整数化方法来整数化浮点数权重张量中的参数/值进行积分。

在这样描述了基本概念之后，对于本领域的技术人员来说，在阅读本详细公开之后，可能相当明显的是，上述详细公开旨在仅以示例的方式呈现，而不是限制性的。对于本领域的技术人员来说，可进行各种变更、改进和修改，尽管本文没有明确说明。这些改变、改进和修改旨在由本发明提出，并且在本公开的示例性实施例的精神和范围内。

此外，某些术语已用于描述本发明的实施例。例如，术语“一个实施例”、“一种实施例”和/或“一些实施例”表示结合该实施例描述的特定特征、结构或特征包括在本发明的至少一个实施例中。因此，应强调并应理解，本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或多个引用不一定都指同一实施例。此外，在本发明的一个或多个实施例中，可以将特定特征、结构或特征组合在一起。

此外，本领域的技术人员将理解，本发明的各个方面可以在许多可申请专利的类别或上下文中的任何一个中说明和描述，包括任何新的和有用的工艺、机器、制造或物质的组成，或其任何新的和有用的改进。因此，本发明的各个方面可以完全硬件实现、完全软件(包括固件、驻留软件、微代码等)实现或结合软件和硬件实现，这些实现在本文中通常被称为“块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本发明的各个方面可以采取计算机程序产品的形式，该计算机程序产品体现在一个或多个计算机可读介质中，其中包含计算机可读程序代码。

此外，所述的处理元件或序列的顺序，或因此而使用的数字、字母或其他名称，并不意在将所要求保护的处理和方法限制为除权利要求中可能指定的以外的任何顺序。尽管上述公开通过各种示例讨论了当前被认为是本发明的各种有用实施例的内容，但是应当理解，这样的细节仅用于此目的，并且所附权利要求不限于所公开的实施例，相反，所附权利要求旨在涵盖落在所公开的实施例的精神和范围内的修改和等同。例如，尽管上述各种组件的实现可以包含于硬件设备中，但也可以作为仅软件的解决方案来实现，例如，在现有处理设备或移动设备上的安装。

同样，应当理解，在本发明的实施例的上述描述中，有时在单个实施例、附图、或为了有助于理解各种创造性实施例中的一个或多个而简化公开的目的所做的描述中，将各种特征组合在一起。然而，本发明方法不应被解释为反映出所要求保护的主题需要比每个权利要求中明确叙述的更多的特征的意图。相反，创造性实施例存在于少于上述单个公开实施例的所有特征。

Claims (19)

1.一种监视相机系统，包括：

第一相机，其中，所述第一相机包括：

第一采集模块，其中，所述第一采集模块被配置为以第一分辨率采集第一多组原始像素值；

第一压缩模块，其中，所述第一压缩模块被配置为将所述第一多组原始像素值压缩成第一多个整数；

处理器，其中，所述处理器被配置为基于所述第一多个整数激活第二相机；

其中，所述第二相机包括第二采集模块，所述第二采集模块以第二分辨率采集第二多组原始像素值，且所述第二分辨率高于所述第一分辨率。

2.根据权利要求1所述的监视相机系统，其中，所述第一相机的视场与所述第二相机的视场覆盖共同区域。

3.根据权利要求1所述的监视相机系统，其中，所述处理器被配置为通过将所述第一多个整数输入到神经网络中来检测可疑运动或可疑对象，且所述处理器进一步被配置为在检测到至少一个可疑运动或至少一个可疑对象时，传递指示所述第二相机激活的激活信号。

4.根据权利要求3所述的监视相机系统，其中，所述第二相机进一步包括第二压缩模块，被配置为将所述第二多组原始像素值压缩成第二多个整数。

5.根据权利要求4所述的监视相机系统，其中，所述第一压缩模块被配置为以第一压缩权重张量将所述第一多组原始像素值中的每组原始像素值压缩成整数，来将所述第一多组原始像素值压缩成第一多个整数，且所述第二压缩模块被配置为以第二压缩权重张量将所述第二多组原始像素值中的每组原始像素值压缩成整数，来将所述第二多组原始像素值压缩成第二多个整数。

6.根据权利要求5所述的监视相机系统，其中，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是整数。

7.根据权利要求6所述的监视相机系统，所述第一压缩权重张量或所述第二压缩权重张量中元素的位长为12位、8位、6位、4位或2位，其中，所述整数是2位二进制时，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是-1/+1，或0/1。

8.根据权利要求5所述的监视相机系统，其中，所述处理器进一步被配置为以第二解压缩权重张量将所述第二多个整数解压缩成多组PQI输出像素值，其中，所述第二解压缩权重张量具有与所述第二压缩权重张量相同的尺寸。

9.根据权利要求8所述的监视相机系统，其中，所述处理器进一步被配置为通过将所述多组PQI输出像素值输入到QINN来确定多组输出像素值。

10.根据权利要求9所述的监视相机系统，其中，所述处理器进一步被配置为对由所述多组输出像素值组成的图像进行解马赛克处理。

11.一种降低监视相机系统功耗的方法，包括：

接收从第一相机采集的第一多组原始像素值压缩得到的第一多个整数；

将所述第一多个整数输入到神经网络，以检测可疑运动或可疑对象；

检测到至少一个可疑运动或至少一个可疑对象时，传递指示第二相机激活的激活信号；

其中，所述第一相机被配置为以第一分辨率采集所述第一多组原始像素值，以及将所述第一多组原始像素值压缩成所述第一多个整数；

其中，所述第二相机被配置为以第二分辨率采集所述第二多组原始像素值；

其中，所述第二分辨率高于所述第一分辨率。

12.根据权利要求11所述的方法，其中，所述第一相机的视场与所述第二相机的视场覆盖共同区域。

13.根据权利要求11所述的方法，其中，所述第二相机进一步被配置为将所述第二多组原始像素值压缩成第二多个整数。

14.根据权利要求13所述的方法，其中，所述第一多组原始像素值中的每组是通过用第一压缩权重张量压缩成整数的，且所述第二多组原始像素组中的每组是通过用第二压缩权重张量压缩成整数的。

15.根据权利要求14所述的方法，其中，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是整数。

16.根据权利要求15所述的方法，所述第一压缩权重张量或所述第二压缩权重张量中元素的位长为12位、8位、6位、4位或2位，其中，所述整数是2位二进制时，所述第一压缩权重张量或所述第二压缩权重张量中的每个元素是-1/+1，或0/1。

17.根据权利要求16所述的方法，其中，所述方法进一步包括：

用第二解压缩权重张量将所述第二多个整数解压缩成多组PQI输出像素值；

其中，所述第二解压缩权重张量具有与所述第二压缩权重张量相同的尺寸。

18.根据权利要求17所述的方法，其中，所述方法进一步包括：

通过将所述多组PQI输出像素值输入到QINN来确定多组输出像素值。

19.根据权利要求18所述的方法，其中，所述方法进一步包括：

对由所述多组输出像素值组成的图像进行解马赛克处理。

Images