CN112470472B - 盲压缩采样方法、装置及成像系统 - Google Patents

盲压缩采样方法、装置及成像系统 Download PDF

Info

Publication number
CN112470472B
CN112470472B CN201880094416.0A CN201880094416A CN112470472B CN 112470472 B CN112470472 B CN 112470472B CN 201880094416 A CN201880094416 A CN 201880094416A CN 112470472 B CN112470472 B CN 112470472B
Authority
CN
China
Prior art keywords
pixel values
compression
weight tensor
sets
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880094416.0A
Other languages
English (en)
Other versions
CN112470472A (zh
Inventor
戴维·J·白瑞迪
严雪飞
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Ankedi Intelligent Technology Co ltd
Original Assignee
Wuxi Ankedi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Ankedi Intelligent Technology Co ltd filed Critical Wuxi Ankedi Intelligent Technology Co ltd
Publication of CN112470472A publication Critical patent/CN112470472A/zh
Application granted granted Critical
Publication of CN112470472B publication Critical patent/CN112470472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Abstract

本发明披露了一种盲压缩采样方法、装置及成像方法和系统。所述盲压缩采样方法包括：从一个或多个图像传感器阵列中顺序读取多组原始像素值；利用压缩权重张量将每组原始像素值压缩为一个整数值；存储所述多组原始像素值对应的多个整数值；其中，每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分；其中，所述多个整数值用于重建所述一帧或多帧图像。

Description

盲压缩采样方法、装置及成像系统
本申请要求申请日为2018年6月11日、代理人案号为3034-010PR1、申请号为62/683293的美国临时申请的优先权，该临时申请披露的内容已被本申请引用并记载在参考文献中。
技术领域
本发明涉及一种盲压缩采样方法、装置及一种成像方法和系统，具体涉及一种低功耗成像方法。
背景技术
相机的通用功能是将并行的光学数据转换成压缩的连续电信号，所述电信号可用于数据传输或存储。
阵列相机(包括多个相机)可以利用多个焦平面并行采集数据，并可以并行处理采集的数据，这使其近年来越来越流行。阵列相机中的每个相机采集一个视场中的不同区域、不同颜色、不同曝光度或不同的焦点范围。单平面相机仅能采集包含1-20兆像素的图像，而阵列相机可以采集包含100-1000兆像素的图像。这样大的数据传输速率会给系统通信、数据处理和存储带来相当大的负担。在现有相机系统中，在视频流中的焦平面操作每采集一个像素点会消耗 1纳焦。而每个像素的数据处理(以产生读出压缩数据流)通常需要5-10倍于像素采集的能量，例如，每个像素点约10纳焦。
在传统的相机中，每个像素点必须被处理，因为所有的像素点对于成像都是有用的。不同的是，在阵列相机中，原始图像显示和分析并不涉及显示每个采集的像素点。典型的做法是，在进行高分辨率成像前，先在压缩的或低分辨率的场景版本下进行数据分析。由于很多像素点可能并不会被观测到，因此在图像处理前先确定哪些像素点需要进行分析会更有效率。
能耗是相机像素采集能力的另一个重要限制因素。通常相机由一个焦平面和一个片上系统(SoC)组成。图像信号处理(image signal processing,ISP)芯片能够实现多种图像处理功能，例如，解马赛克、非均匀性校正、图像压缩等。
尽管为了提高能量效率和计算速度，标准压缩算法经常被配置到硬件电路上，但这些标准压缩算法仍会消耗大量的能量和存储资源。另外，用于解马赛克和其他图像处理算法的ISP芯片也会耗能并占用片上空间。鉴于每个像素点在这些处理过程涉及多个步骤，ISP芯片通常比图像传感器的采集和读出过程更耗能。
特别是对于高分辨率阵列(摄)相机，传统的ISP处理和压缩效率很低，因为很多的像素点并不会被人观察到。尤其在安防或机器视觉应用场景下，传感器数据被分析以供控制所需或目标特征提取，仅特定重要的像素点或区域被用于处理或显示。很多场景下的视频分析仅需在压缩数据上执行，而不需对压缩数据进行解马赛克或更复杂的其他处理。
压缩是一种能实质上减少相机耗能的方法。如US20060038705A1及其续案专利中披露的压缩方法和信号理论，压缩方法利用物理层编码以将图像数据映射为编码图案，编码图案能够反向计算以恢复为初始图像。如US7336353B2中所述，这些方法可以用于光谱成像，或如论文(Llull，P.，Liao，X.，Yuan， X.，Yang，J.，Kittle，D.，Carin，L……及Brady,D.J.(2013年)在光学快报(Optics express)21(9)，10526-10545上发表的“编码孔径压缩时域成像”)中所述，这些方法可用于时域成像。
相机物理层压缩方法的缺点在于：(1)仅非负权重可以应用于光强度的多路测量；(2)上述压缩方法需要依赖于光学器件，会大大增加系统尺寸和复杂度。
发明内容
本申请的第一方面披露了一种盲压缩采样方法。所述盲压缩采样方法可以包括下述操作中的一个或多个：从一个或多个图像传感器阵列中顺序读取多组原始像素值。利用压缩权重张量将每组原始像素值压缩为一个整数值。存储所述多组原始像素值对应的多个整数值。每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分，并且所述多个整数值用于重建所述一帧或多帧图像。
在一些实施例中，所述权重张量中的每个元素均为一个整数。
在一些实施例中，所述权重张量中元素的比特长度为12比特、8比特、6 比特、4比特或2比特，当所述整数值为2比特的二进制数时，所述权重张量中的每个元素为-1/+1，或0/1。
在一些实施例中，每组原始像素值对应一帧图像的一个二维像素块中的像素值。
在一些实施例中，所述利用压缩权重张量将每组原始像素值压缩为一个整数值，包括：利用二维卷积核对组中的像素值执行二维卷积操作。
在一些实施例中，每组原始像素值对应一帧图像的一个一维像素段中的像素值。
在一些实施例中，所述利用压缩权重张量将每组原始像素值压缩为一个整数值，包括：利用一个或多个一维卷积核对组中的像素值执行一维卷积操作。
在一些实施例中，每组原始像素值对应来自多帧图像的多个像素点，每个像素点来自所述多帧图像的同一位置。
在一些实施例中，所述利用压缩权重张量将每组原始像素值压缩为一个整数值，包括：对所述每组原始像素值执行加权和操作。
在一些实施例中，所述多帧图像中一帧图像的不同位置的权值对应于一维卷积核或二维卷积核，所述多帧图像的多个一维卷积核或二维卷积核相互正交或准正交。
在一些实施例中，所述多帧图像由阵列相机采集，每帧图像由阵列相机中的一个相机采集。
在一些实施例中，所述方法还包括以下操作中一个或多个：利用解压权重张量将所述多个整数值解压为多组PQI输出像素值，其中，所述解压权重张量与所述压缩权重张量的尺寸相同。通过将多组PQI输出像素值输入至QINN，获得多组输出像素值。
在一些实施例中，所述解压权重张量和QINN的参数基于样本训练确定，所述训练过程可包括以下操作：从一个或多个图像传感器阵列中顺序读取多组样本像素值。利用第一压缩权重张量将每组样本像素值压缩为一个整数值，确定第一多个样本整数值。利用第一解压权重张量对所述第一多个样本整数值执行反卷积，确定第一多组PQI输出像素值。将所述第一多组PQI输出像素值输入至第一QINN，确定第一多组输出像素值。基于机器学习，通过使所述多组样本像素值和所述第一多组输出像素值之间的品质损失最小化，来调整所述第一解压权重张量和所述第一QINN的参数。
在一些实施例中，所述第一压缩权重张量为Gold码、准正交码或准随机码。
在一些实施例中，所述压缩权重张量的参数与所述解压权重张量的参数、 QINN的参数一并基于样本训练确定，所述训练可包括以下操作：从一个或多个图像传感器阵列中顺序读取多组样本像素值。利用第二压缩权重张量将每组样本像素值压缩为一个整数值，确定第一多个样本浮点数。利用第二解压权重张量对所述第一多个样本浮点数执行反卷积，确定第二多组PQI输出像素值。基于机器学习，通过使所述多组样本像素值和所述第二多组PQI输出像素值之间的品质损失最小化，来调整所述第二压缩权重张量为浮点数权重张量。
在一些实施例中，所述方法还包括以下操作：将所述浮点数权重张量的参数整数化，确定整数化的压缩权重张量。利用所述整数化的压缩权重张量将每组样本像素值压缩为一个整数值，确定第二多个样本整数值。利用所述第二解压权重张量对所述第二多个样本整数值执行反卷积，确定第三多组PQI输出像素值。将所述第三多组PQI输出像素值输入至第二QINN，确定第二多组输出像素值。基于机器学习，通过使所述多组样本像素值和所述第二多组输出像素值之间的品质损失最小化，来调整所述第二解压权重张量的参数、第二QINN 的参数。
在一些实施例中，所述最小化品质损失可包括以下操作中的一个：最小化所述多组样本像素值和所述第一多组输出像素值的均方差；最小化所述多组样本像素值和所述第二多组PQI输出像素值的均方差；或者最小化所述多组样本像素值和所述第二多组输出像素值的均方差。
在一些实施例中，每组原始像素值对应由一个图像传感器阵列按时间顺序依次采集的多帧图像的一部分，所述多帧图像中的一帧图像上的像素被压缩权重张量按照一个压缩比进行压缩。
在一些实施例中，所述多帧图像中的像素按照同一压缩比进行压缩。
在一些实施例中，所述多帧图像中第一帧和最后一帧的像素按照第一压缩比进行压缩，位于第一帧和最后一帧之间的一帧或多帧图像的像素按照第二压缩比进行压缩，所述第一压缩比大于所述第二压缩比。
在一些实施例中，所述方法还可包括以下操作：通过将一个3D实体输入至视频QINN中来调整所述3D实体中的像素值，所述3D实体通过将对应于多帧图像的多组输出像素值堆叠在一起而获取。
本申请的另一方面披露了一种盲压缩采样装置，包括：读出单元，所述读出单元被配置为从一个或多个图像传感器阵列中顺序读取多组原始像素值；压缩单元，所述压缩单元被配置为利用压缩权重张量将每组原始像素值压缩为一个整数值；存储单元，所述存储单元被配置为存储所述多组原始像素值对应的多个整数值。每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分，且所述多个整数值用于重建所述一帧或多帧图像。
在一些实施例中，所述权重张量中的每个元素均为一个整数。
在一些实施例中，所述权重张量中元素的比特长度为12比特、8比特、6 比特、4比特或2比特，当所述整数值为2比特的二进制数时，所述权重张量中的每个元素为-1/+1，或0/1。
在一些实施例中，每组原始像素值对应一帧图像的一个二维像素块中的像素值，所述压缩单元被配置为利用二维卷积核对组中的像素值执行二维卷积操作。
在一些实施例中，每组原始像素值对应一帧图像的一个一维像素段中的像素值，所述压缩单元用于利用一个或多个一维卷积核对组中的像素值执行一维卷积操作。
在一些实施例中，每组原始像素值对应来自多帧图像的多个像素点，每个像素点来自所述多帧图像的同一位置，所述压缩单元用于对所述每组原始像素值执行加权和操作。
在一些实施例中，所述多帧图像中一帧图像的不同位置的权值对应于一维卷积核或二维卷积核，所述多帧图像的多个一维卷积核或二维卷积核相互正交或准正交。
在一些实施例中，所述多帧图像由阵列相机采集，每帧图像由阵列相机中的一个相机采集。
本申请的再一方面披露了一种成像系统，包括被配置为将来自于一个或多个图像传感器的多组原始像素值压缩为多个整数值的压缩模块，和被配置为将所述多个整数值解压为多组输出像素值的解压模块。所述压缩模块可包括：被配置为从一个或多个图像传感器阵列中顺序读取多组原始像素值的读出单元；被配置为利用压缩权重张量将每组原始像素值压缩为一个整数值的压缩单元；以及被配置为存储所述多组原始像素值对应的多个整数值的存储单元。每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分；且所述多个整数值用于重建所述一帧或多帧图像。
附加特征将在后续描述中部分地阐述，并且本领域技术人员通过检查后续描述及其附图的方式将会是显而易见的，或者可以通过实施本申请的实施例来理解本申请。本申请的特征可以通过实施下述的详细示例中阐述的方法，手段及其组合来实现和获得。
附图说明
以示例性实施例的方式对本申请进一步描述。这些示例性实施例具体参照附图进行描述。这些实施例是非限制性实施例，其中类似的参考标号在附图的不同视图中代表类似结构，并且其中：
图1A是一个阵列相机示意图；
图1B示出了根据本申请的一些实施例所示的一帧图像中的像素点分布示意图；
图2是根据本申请的一些实施例所示的盲压缩采样方法；
图3A示出了根据本申请的一些实施例所示的步骤204所述的卷积过程；
图3B是根据本申请的一些实施例所示的步骤204中所述的帧策略一的压缩过程；
图4是根据本申请的一些实施例所示的对来自阵列相机的原始拜耳数据进行单层二维压缩所采用的四个权重张量；
图5是根据本申请的一些实施例所示的一个初始的重建的原始拜耳图像；
图6是根据本申请的一些实施例所示的将图5中的输入像素压缩后的、形状为[256,480,4]的整数值阵列示意图；
图7是根据本申请的一些实施例所示的将图5中的初始的原始拜耳图像和重建的原始拜耳图像进行解马赛克后的RGB图像示意图；
图8是根据本申请的一些实施例所示的压缩过程后的对所述多个整数值的解压方法流程图；
图9是根据本申请的一些实施例所示的基于图2所述的帧策略三将两帧图像压缩后的示例帧；
图10A-D是根据本申请的一些实施例所示的将图9所示的压缩后的一帧图像拆解为两帧图像的过程示意图；
图11是根据本申请的一些实施例所示的训练解压权重张量和QINN的方法流程图；
图12是根据本申请的一些实施例所示的训练浮点数权重张量的方法流程图；
图13是根据本申请的一些实施例所示的训练解压权重张量和QINN中的参数的方法流程图；
图14是根据本申请的一些实施例所示的视频压缩策略和现有的H.265视频压缩策略对照图；
图15是根据本申请的一些实施例所示的盲压缩采样装置示意图；以及
图16是根据本申请的一些实施例所示的成像系统示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。在其他情况下，本申请中的公知的方法、过程、系统、组件和/或电路已经在别处以相对高的级别进行了描述，本申请中对此没有详细地描述，以避免不必要地重复。对于本申请的实施例的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神和范围的情况下，本申请定义的一般原理可以应用于其他实施例和应用场景。因此，本申请不限于本申请中提及的实施例，而是与符合权利要求的最广范围相一致。
应当理解的是，本申请中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
通常，如本申请所使用的“模块”、“单元”或“块”是指以硬件或固件或软件指令的集合体现的逻辑。本申请描述的模块、单元或块可以在软件和/或硬件上被执行，并且可以被存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，软件模块、单元、块可以被编译并连接到可执行程序中。应当理解的是，软件模块可以从其他模块、单元、块或其自身调用和/ 或可以响应于检测到的事件或中断而被调用。配置用于在计算设备上执行的软件模块/单元/块可以被提供在计算机可读介质上，诸如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质或作为数字下载(并且可以原始地以压缩或可安装的格式存储，在执行之前需要安装、解压缩或解密)。软件代码可以部分或全部存储在执行计算设备的存储设备上供计算设备执行。软件指令可以被嵌入到固件当中，例如EPROM。应当理解的是，硬件模块、单元或块可以包括在连接的逻辑组件中，例如门和触发器和/或可以包括在诸如可编程门阵列或处理器之类的可编程单元中。本申请描述的模块、单元、块或计算设备功能可以被实现为软件模块/单元/块，但是可以用硬件或固件来表示。通常，这里描述的模块、单元、块是指可以与其他模块、单元、块组合或者分成子模块、子单元、子块的逻辑模块、单元、块，尽管它们的物理组织或存储。所述描述可以适用于系统、引擎或其一部分。
应当理解的是，当单元、引擎、模块或块被称为“在……上”、“连接到”或“耦合到”另一单元、引擎、模块或块时，其可以直接与另一单元、引擎、模块或块通信，或者可以存在中间单元、引擎、模块或块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本申请提到的这些特征或其他特征，以及操作方法、相关构造元素的功能及这些部分的组合，再结合以下的描述及附图，会是显然的。需要清楚地认识到这些附图仅用于说明和描述，并不用于限定本申请的保护范围。这些附图不是按比例绘制的。
本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅指定包括已明确标识的整体、器件、行为、指定特征、步骤、元素、操作和/或组件，而该类表述并不构成一个排它性的罗列，其他整体、器件、行为、指定特征、步骤、元素、操作、组件和/或它们的组合也可以包含在内。
本申请涉及一种盲压缩采样方法、装置和成像系统。下述的实施例会进行详细介绍。
图1A是一个阵列相机示意图。如图1A所示，阵列相机的阵列由多个相机排列而成，所述多个相机接收一个图像域的一个场景对应的光信号。所述多个相机接收的光信号被图1A中所示的图像信号处理(image signal processing,ISP) 芯片读出为原始拜耳数据。如图1A所示，相机阵列由大量的微型相机组成。图中的每个圆柱形物体对应一个微型相机(包括一个镜头和一个电子传感阵列)。在阵列相机中，多个微型相机指向不同的方向，且观察不同的视角。在一些实施例中，可以对所述多个微型相机进行多种不同的排布。例如，环形排布可以实现360度的视场，这对于3D视角、不同的感色灵敏度或不同的时间采样(如M.Shankar,N.P.Pitsianis,及D.J.Brady发表的论文“Compressive video sensors usingmultichannel imagers,”Appl.Opt.49(10),B9–B17,(2010).)也同样是受欢迎的。又例如，多个微型相机可以采集不同的区域或通过设置不同的焦距实现不同的焦深。在任何情况下，原始拜耳数据(如图1B所示)均需要被从阵列相机中读出，读出方式可以是并行或串行。图1B示出了根据本申请的一些实施例所示的一帧图像中的像素点分布示意图。如图1B所示，一帧图像包括49个像素点且每个像素点具有一个相应的像素值，像素值在被相机采集后顺序读出。
对于每个电子传感阵列，来自一个焦平面的读出数据可以是网格格式，意味着行与行是依次读取的。例如，像素值(表示为xi,j)的第一行x1,j按照j从1 到7依次读取，然后读取第二行x2,j，…。典型的焦平面具有的像素点远超49 个，i和j通常到几千。除了逐行读取的方式，也可以采用按时间顺序读取，所以像素值通常编为三个索引，xi,j,k，k表示帧号即第几帧。像素点也对应不同的颜色，例如，红、绿、蓝，但颜色值通常在传感器上被马赛克化，因此一个像素点对应一个已知的颜色。
传统相机中的像素值需要被缓存，以对其进行解马赛克、图像处理(非均匀校正、色空间转换、去燥、锐化、白平衡和黑标准调整)和压缩。由于压缩类似二维转换，因此多行(通常为8行)必须一起缓存，且每个像素值必须在多个转换过程中缓存。另外，每个量化矩阵的像素值除法和霍夫变换必须在每个图像块中执行。
本申请提出了一种原始拜耳数据的即时压缩方法/策略，其具有最小的处理。通过对采集的每个像素的操作最小化，相机(或微型相机)的总功率可以被降低到与传感器的读出功率相当。本方法通过降低缓存的像素值数量并执行简单的数值运算而实现。
现有的压缩/编码方法/策略采用压缩卷积和编码。这些方法包括盲压缩或压缩采样，在其中读出信号被立即被多路进行像素数据线性变换，而没有进行像素数据的分析。压缩采样通常具有基于凸规划的解压策略，但近来基于神经网络的解压方法已经被证明是有效的，正如论文(Mousavi、Ali、Ankit B.Patel 和Richard G.Baraniuk在IEEE2015年第53届Allerton年会的《通信、控制和计算》(Allerton)上发表的“结构化信号恢复的深度学习方法”)所讨论的。
这些现有图像压缩策略(例如JPEG2000,MPEG,h.264等)均是作为对比而在本申请中进行描述的。这些标准将局部空间域、光谱域和/或时域的图像数据块转换为稀疏的。例如，JPEG2000包含基于阈值系数的离散余弦变换、量化，随后是无损序列压缩。视频标准只是将时域帧微分法加入到原标准JPEG2000 中，JPEG2000通过在静止的局部基础上使用多尺度转换来将帧处理扩展到视频流处理。这些方法均是基于局部区域的像素点包含相关数据的事实，这一事实也使得压缩成为可能。压缩得更稀疏的像素点集能够代表原像素点图。
JPEG2000与盲压缩采样方法的区别可作如下解释。首先，假设两个数字A 和B，在A和B通信过程中，基于每个数字中隐含的概率熵变率确定的一定量的信息被传输。如果A和B间的共有信息非零，那么通信中A+B比A-B传输更多的信息。JPEG2000压缩基于这样一个事实，即在传输信息时，如果A和B 是相邻像素点，则A+B几乎总是比A-B携带更多的信息。仅在极端情形下， A-B可能传输更多的信息，因此JPEG2000仅在值较大时采用A-B进行传输。其次，作为对比，盲压缩采样采用预设的压缩权重张量将一个一维或二维像素值阵列压缩为一些整数值。所述压缩过程可以被视为(如神经网络中那样)执行卷积操作。在一些实施例中，为便于在如FPGA的硬件上应用，所述压缩权重张量中的元素被限定为整数值。所述压缩比可以被计算为所述压缩后的多个整数的比特数和来自阵列相机的输入像素值的比特数之比。预设的解压权重张量和预设的神经网络可以被用于将所述多个压缩后的整数值解压还原为原始数据(与原始数据相比会有一定的品质损失)。在一些实施例中，解压后的原始数据可以进一步经过必要的处理(如解马赛克)将图像转化为RGB或YUV图像，或视频帧。特别地，作为对比，码分多址方式，是多个信号间无共有信息的通信。当两个信号值A和B间无共有信息时，则A+B和A-B传输同等量的信息。然而，当传输的信号值A和B可被压缩，且另一信号值C和D也可被压缩时，则传输g1＝A+C和g2＝B-D可以作为一种传输两个压缩信号值的有效机制。如果A+B和C+D的值很大，且A-B、C-D的值很小，则g1+g2很大程度上可以代表A+B，g1-g2很大程度上代表C+D。若不考虑符号(D前的符号)，两个信号是简单的两个信道的和，则无法区分开A+B和C+D。通过解压，现有策略会更复杂，且耗费更长的编码序列来分开两个不相关的信号。
图2是是根据本申请的一些实施例所示的盲压缩采样方法。在一些实施例中，所述压缩方法可以应用到相机中。
在202中，多组原始像素值从一个或多个图像传感器阵列中被顺序读出。在一些实施例中，所述原始像素值被逐个读出为原始拜耳数据。例如，相机可以采集一帧图像，所述一帧图像包括大量像素点。每个像素点对应一个像素值。所述像素值可以被以二进制数的形式传输。在一些实施例中，图像传感器阵列可以是一个电子传感器阵列，且所述原始像素值可以是图1A中所述的输入像素值。所述多组原始像素值可以以如下所述的三个帧策略进行压缩。
在204中，可以用一个压缩权重张量将每组原始像素值压缩为一个整数值。在一些实施例中，每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分。在一些实施例中，为了便于在如FPGA的硬件上应用，压缩权重张量中的元素可以是整数。例如，压缩权重张量中的元素可以是二进制数，且所述元素的比特长度可以是12比特、10比特、8比特、6比特、4比特或2比特。进一步地，当所述元素为2比特二进制数时，所述元素取值-1或 +1；或者所述元素取值0或1。
帧策略一
在一些实施例中，每组原始像素值对应一帧图像的一个二维像素块中的像素值，且所述压缩权重张量为二维卷积核。所述二维像素块和所述二维卷积核具有相同的尺寸。例如，所述二维卷积核的尺寸为[kx，ky]，一帧图像的形状为 [Nx，Ny，1]，所述一帧图像可以被划分为[Nx/kx，Ny/ky]个二维像素块。每个二维像素块中像素点对应的像素值(形状为[kx，ky，1])可以被二维卷积核(形状为[kx，ky，1，ncomp])进行卷积乘法，进而被压缩为ncomp(ncomp是人为预设的整数)个整数值。所述卷积过程可以被表示为一个卷积操作，如公式(1)所示：
Output(k)＝sumi，j(pixeli，j，weighti，j，k) (1)
其中，i从1至kx遍历，j从1至ky遍历，k从1至ncomp。
所述输入像素值的比特长度(通常为8比特或10比特的原始像素值)和所述压缩后的整数值的比特长度(8比特)间的压缩比可以表示为ncomp/(kx*ky)。在一些实施例中，可以通过采用不同配置的[kx，ky，ncomp]，实现不同的压缩比。例如，分别采用二维卷积核[16，16，16]、[8，8，4]、[16，16，8]和[16，16，1]，可以实现1/16、1/16、1/32和1/256的压缩比。
帧策略二
在一些实施例中，一组原始像素值对应一帧图像的一个一维段中的像素值。一帧图像中的像素点是逐个进行传输的，因此所述一帧图像对应的像素序列可以被划分为多个段。此时，所述压缩权重张量是与所述段相同尺寸的整数向量，且所述压缩过程可以是利用一维卷积核或一维整数向量将帧图像的一维段中像素合并为一个整数的一维卷积操作。
在一些实施例中，所述整数向量中的每个元素的值可以是-1或+1。在一些实施例中，所述整数向量中的每个元素的值可以是0或1。例如，可以利用长度为16的整数向量[0，1，0，0，1，0，…1]将16个输入的像素值合并一起为一个数。又例如，可以利用长度为16的整数向量[-1，1，-1，-1，1，-1，…1]将16个输入的像素值合并一起为一个数。
特别地，所述像素序列可以被逐行划分。不同的一维卷积核或一维整数向量被预先设置好，形状可以是[128，1，4]或[32，1，4]。对应于原始拜耳数据中不同行的像素的多个不同的一维卷积核可以被用于控制一帧图像的整体压缩比。
这种像素序列的划分方式比二维像素块的划分方式使用更少的缓存，因为当输入像素值可以用段的形式进行压缩时，不同行或段的像素值不需要缓存。
帧策略三
在一些实施例中，每组原始像素值对应来自多帧图像的像素点，且每个像素来自所述多帧图像的同一位置。例如，假设有三帧图像，且每帧图像的尺寸为[16，16，1]，每帧图像有第一、第二、第三......第十六个位置。对应于每帧图像的每个像素位置，设定一个权重值。对应于一帧图像中的像素位置的权重值组成一个一维卷积核或一个二维卷积核。在一些实施例中，对应于所述多帧图像的所述一维或二维卷积核是相互正交或准正交的。
至于如图1B所示的像素排布，在一个时刻k，阵列相机中的多个微型相机采集几帧或多帧图像，设xijk l表述时刻k来自第l个(lth)微型相机采集的ijth空间的一个像素点的像素值。所述压缩过程可以包括使用压缩权重张量c进行压缩：
gijk＝suml(xijk l，cijk l) (2)
其中，cijk l为第l个(lth)微型相机在k时刻第ijth个空间像素值对应的权重，且cijk l通常为+1或-1。在一些实施例中，其他权重值也可以考虑。例如，cijk l可以是0或1。又例如，cijk l可以是12比特、10比特、8比特、6比特或4比特的二进制数。一个微型相机的权重值序列可以设定为与其他微型相机的权重值序列正交或准正交，例如，采用CDMA中常用的Gold码(准随机码或其他码也可以)。利用所述权重张量，所述多帧图像可以被压缩为一帧图像。在一些实施例中，所述多帧图像xijk l可以利用一个解压权重张量和一个深度学习神经网络从gijk中恢复。所述解压权重张量的尺寸与压缩权重张量相同。所述解压权重张量和深度学习神经网络的具体细节见图8和图14-16。
阵列相机的基本数学结构有很多优势。上述针对高光谱相机和微型相机的压缩方法可以被视为直接序列码分多址的一种形式。不同的频域或时域平面被前述的码相乘，所述码能够通过运算使多帧图像分离并能重建出来。能够将多帧图像进行数位编码使得后续分离/还原出这些帧图像更加容易处理，尽管所述多帧图像包含不相关的数据，这使得高压缩率难以达到。
需要说明的是，手机演变得通常带有1至3个相机模组。通常，由于手机系统的处理功率和信息容量的限制，每个时刻仅有一个相机模组工作。所述帧策略三使得手机中的微型相机个数进一步增多成为可能。
在一些实施例中，帧策略三可以用于处理阵列相机中的多个微型相机在同一时刻采集的多帧图像，而帧策略一或帧策略二可以用于连续时刻采集的多帧图像的原始像素值的压缩。所述帧策略三可以与帧策略一或帧策略二一并使用，以实现压缩视频流中的帧图像。视频策略也会在本申请的后续内容中讨论。
在206中，存储所述多组原始像素值对应的多个整数值。如204中所述，每组原始像素值可以被压缩为一个整数值，则多组原始像素值可被压缩为多个整数值。在压缩或解压过程中，所述多个整数值被存储或缓存。
值得说明的是，所述压缩过程仅作为示例，并不用于限定本申请的保护范围。对于本领域的普通技术人员，可以基于本申请做出多种变型。然而，这些变型与本申请并不是相背离的。例如，其他比特长度的权重因子也可以用于压缩所述原始像素值。
图3A示出了根据本申请的一些实施例所示的步骤204所述的卷积过程。如图3A所示，利用一个权重张量，尺寸为4*4的像素阵列可以被压缩为一个整数值。所述权重张量的尺寸也为4*4。
在一些实施例中，所述压缩后的数据可以被量化为8比特的整数值以进行存储或数据传输。本申请中的量化过程相比于JPEG2000更为简便。所述卷积操作的输出结果可以被调整(降低比特长度)为8比特整数。对于熵编码(以降低品质损失)没有复杂的计算，且由于量化损失直接影响压缩和解压的整体品质，因此所述压缩/解压过程能够达到如JPEG2000的整体质量。
如204中所述，所述压缩过程已经相对简单，提供了降低必要缓存大小的方法。将一个尺寸为[4，4，1]的二维卷积核应用于形状为[4，4]的像素块，无需将所有像素点(16个)进行缓存，并执行元素的乘法及求和。相反，只需像所述像素序列逐行读取一样，利用合适的卷积核对每行像素进行逐行处理，并将输出值(数字阵列)缓存，直至一次卷积操作完成即可。每次卷积操作后，缓存的数字输出并存储，所述缓存被清空。
例如，输入的尺寸为[Nx，Ny]的原始像素图像，被尺寸为[kx，ky，ncomp]的二维卷积核进行处理，上述方法对应的必要缓存大小为[kx，ky，ncomp*Nx/kx]。
图3B是根据本申请的一些实施例所示的步骤204中所述的帧策略一的压缩过程。如图3B所示，一帧图像可以被逐块压缩。在一些实施例中，所述帧可以在如FPGA的硬件中处理，所述卷积核应用于每个像素块，且一个卷积操作完成后，无间隔地移至下一个像素块，直至该帧图像的最后一个像素块压缩完成。图3B中的块1(patch 1)代表了已经被处理的块，块2(patch 2)代表了正在被处理的块。
图4是根据本申请的一些实施例所示的对来自阵列相机的原始拜耳数据进行单层二维压缩所采用的四个权重张量。单层二维卷积操作可以被执行以实现 [Nx，Ny]像素的原始拜耳数据的压缩。所述权重张量的形状为[kx，ky，ncomp]＝ [8，8，4]，所述权重张量是将一个经过神经网络训练后的浮点权重张量进行整数化至4比特长度(范围-7至7)得到。所述权重张量如图4所示，且示出了四个[8，8]的矩阵。每个矩阵表示权重张量[8，8，i]中的一个，i＝0，1，2，3。
图5是根据本申请的一些实施例所示的一个初始的和重建的原始拜耳图像。峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度(Structural Similarity，SSIM)如图5顶部所示。
输入像素(原始拜耳数据)和重建的原始拜耳图像(形状均为[2048，3840]) 分别是图5中的下图和上图。在一些实施例中，[2048，3840]的初始的原始拜耳图像被压缩为形状为[256，480，4]的整数值阵列(如图6中所示)。在这个示例中，压缩比为1/16(不考虑由于比特长度下降产生的额外压缩)。如图5所示，下图为初始的原始拜耳图像(由输入像素值组成)，上图为重建的原始拜耳图像，即输入像素值执行了压缩和解压过程后的图像。解压过程如图8所示。值得说明的是，所述重建的原始拜耳图像必须经过解马赛克处理得到通常的RGB或 YUV格式，所述解马赛克步骤可以在所述解压操作之后。
图6是根据本申请的一些实施例所示的将图5中的输入像素值(下图)压缩后的、形状为[256,480,4]的整数值阵列示意图。所述压缩可以采用如图4中所述的权重张量。第i个(ith)子图表示为[256,480,i]，其中，i＝0,1,2,3。图 7是根据本申请的一些实施例所示的将图5中的初始的原始拜耳图像和重建的原始拜耳图像进行解马赛克后的RGB图像示意图。下方子图表示初始的原始拜耳图像进行解马赛克后的RGB图像，上方子图表示重建的原始拜耳图像进行解马赛克后的RGB图像。两个解马赛克后的RGB图像均以黑白色的图像展示在图7中。
图8是根据本申请的一些实施例所示的压缩过程后的对所述多个整数值的解压方法流程图。在一些实施例中，所述解压方法可以在相机中或其远程服务器中执行。
在802中，将所述多个整数解压为多组PQI(Pre-Quality-Improvement)输出像素值。在一些实施例中，所述解压过程可以利用一个解压权重张量完成，所述解压权重张量与所述压缩权重张量的尺寸相同。在一些实施例中，解压权重张量中的参数可以基于机器学习进行调整。
在804中，将所述多组PQI输出像素值输入至QINN(neural network for qualityimprovements)，获得多组输出像素值。所述多组输出像素值对应如图5 中所示的重建原始拜耳图像。在一些实施例中，所述QINN可以是深度卷积神经网络。所述QINN可由三部分组成：预启动模块、启动模块和后启动模块。所述预启动模块并行使用两个不同的卷积核，以在不改变输入数据尺寸[Nx,Ny] 的前提下执行卷积操作，而将整数像素信息合并为尺寸为[Nx,Ny,NC]的3D实体。默认设置NC＝96。所述启动模块可以将两个不同的卷积核合并，并将来自预启动模块的数据合并。一个尺寸与输入相同的3D实体在启动模块中产生。该3D实体可以以一种元素智能的形式与输入的3D实体相加，以形成残差网络来产生输出。所述启动模块的输入和输出的尺寸均为[Nx,Ny,NC]，由于这种设计，多个启动模块可以被堆叠在一起形成一个深度神经网络，且同时由于残差网络的设计，其是易训练的。后启动模块可以通过卷积操作合并来自启动模块的最终输出和预启动模块的输出。另一个卷积操作可以在最后执行以使得最终的输出的形状和原始拜耳图像相同([Nx,Ny])。在一些实施例中，为提高品质，除了前述的预启动模块和后启动模块，我们设置8个启动模块来构建QINN。
在一些实施例中，所述解压权重张量和/或所述QINN的参数可以被训练。样本训练方法也可如图11-13所示。
在一些实施例中，所述多组输出像素值可以进一步地以传统方法进行解马赛克，例如Matlab中的解马赛克函数。可以对解马赛克后的RGB图像使用另一个QINN来优化最终的RGB输出图像。所述RGB图像对应的QINN的输入和输出的尺寸为[Nx,Ny,3]。
压缩品质可以直接地比较初始的原始拜耳数据和所述多组输出像素值(经过压缩和解压处理之后)，并比较它们的RGB输出图像。将基于本申请的压缩方法的RGB输出图像的PSNR和SSIM和基于JPEG2000在同等压缩比下的 RGB输出图像的PSNR和SSIM进行对比(使用未压缩的RGB输出图像作为真实数据)，结果显示本申请中的帧策略一在1/16压缩比下与JPEG2000的品质接近(基于本申请的压缩方法的RGB输出图像的PSNR和SSIM比JPEG2000 的RGB输出图像的PSNR和SSIM低1％)。帧策略二RGB输出图像的PSNR 和SSIM比JPEG2000的RGB输出图像的PSNR和SSIM低2.5％(逐行压缩) 和5％(任意长度的像素段)，二者均低于帧策略一(相对地)。
与JPEG2000方法必须经过解马赛克、傅里叶离散余弦变换、熵编码和 JPEG2000特定量化相比，本申请中采用的压缩方法仅涉及用权重张量中的整数值乘以输入像素，并对特定的组求和，要简单的多。因此，本申请的方法比JPEG2000压缩耗费更少的能量。本申请中不同的帧策略耗费的能量不同，但均比JPEG2000压缩方法节能得多。
值得说明的是，所述解压方法仅作为示例，并不用于限定本申请的范围。对于本领域普通技术人员，多种变型可以在本申请的教导下做出。然而，这些变型并不背离本申请的范围。例如，对应于不同的压缩权重张量，解压权重张量中的参数值可以基于机器学习确定。
图9是根据本申请的一些实施例所示的基于图2所述的帧策略三将两帧图像压缩后的示例帧。
作为本申请中的方法的一种示例，可以分析一下来自MNIST(Modified NationalInstitute of Standards and Technology)数据库的基于CDMA的帧分离/ 重建方法。每帧图像有28*28个像素。两个成对的帧图像中的一帧被一个准随机码序列相乘，所述准随机码序列中的值为+1或-1，随后两帧图像进行叠加。
所述多路图像使用一个4层神经网络进行分离，所述4层神经网络代码如下：
Figure GDA0002919812050000191
第一层是一个稠密的网，用以将2幅28*28的输入转化为叠加的一幅28*28 的压缩帧。三个卷积网络层随后用于将两帧图像恢复。
图10A-D是根据本申请的一些实施例所示的将图9所示的压缩后的一帧图像拆解为两帧图像的过程示意图。左上图是解压系统接收的压缩后的多路叠加图。最后侧的两幅图为来自MNIST数据集的原始图。可以用更深的网络进行压缩，更多的图像可以被叠加在一起，图10A-D的分离过程展示了所述压缩采样方法的功能性。
图11是根据本申请的一些实施例所示的训练解压权重张量和QINN的方法流程图。在一些实施例中，训练后的解压权重张量和训练后的QINN可以用于 CDMA压缩/解压过程。
在1102中，从一个或多个图像传感器阵列中顺序读取多组样本像素值。在一些实施例中，每组样本像素值对应多帧图像的像素点，且每个像素点来自所述多帧图像不同帧的同一位置。所述多组样本像素值对应所述多帧图像不同帧的每个位置的像素。
在1104中，利用第一压缩权重张量将每组样本像素值压缩为一个整数值，确定第一多个样本整数值。在本步骤中，所述多帧图像可以被压缩为或被表示为一帧图像。压缩后的一帧图像的每个位置的像素值是多帧图像的不同帧在此位置的多个像素值的加权和。对于多帧图像中每一帧中的每个位置，可以对应有一个权重值，对应于一帧图像的所有位置，所述权重值可以对应一维卷积核或二维卷积核。在一些实施例中，所述多帧图像的多个一维卷积核或多个二维卷积核是彼此正交或准正交的。在一些实施例中，所述第一压缩权重张量可以是一维卷积核或二维卷积核。所述第一压缩权重张量可以是CDMA中常用的 Gold码，或者准随机等其他码也是可用的。
在1106中，利用第一解压权重张量对所述第一多个样本整数值执行反卷积，确定第一多组PQI输出像素值。在一些实施例中，所述第一解压权重张量与所述第一压缩权重张量的尺寸相同，所述第一解压权重张量的参数可以训练得到。
在1108中，将所述第一多组PQI输出像素值输入至第一QINN，确定第一多组输出像素值。在一些实施例中，所述第一QINN可以是一个深度卷积神经网络，且其参数可以训练得到。
在1110中，基于机器学习，通过使所述多组样本像素值和所述第一多组输出像素值之间的品质损失最小化，来调整所述第一解压权重张量和所述第一 QINN的参数。特别地，所述品质损失可以定义为所述多组样本像素值和所述第一多组输出像素值的均方差。
值得说明的是，所述解压过程仅作为示例，并不用于限定本申请的范围。对于本领域的普通技术人员，多种变型可以在本申请的教导下做出。然而，这些变型并不背离本申请的范围。例如，对应于不同的压缩权重张量，解压权重张量中的参数值可以基于机器学习确定。
图12是根据本申请的一些实施例所示的训练浮点数权重张量的方法流程图。
在1202中，从一个或多个图像传感器阵列中顺序读取多组样本像素值。在一些实施例中，一组样本像素值对应一帧图像中的二维像素块或一维像素段的像素值。如204中的帧策略所述，所述多组样本像素值可以与图11中所述的多组样本像素值不同，例如图12中的多组样本像素值可以对应阵列相机中的一个相机模块按时间顺序采集的多帧图像，而图11中的多组样本像素值可以对应阵列相机中的相机模组们在同一时刻采集的多帧图像。
在1204中，利用第二压缩权重张量将每组样本像素值压缩，确定多个第一样本浮点数。在本步骤中，一帧图像中的二维像素块或一维像素段的像素值可以以一定的压缩比被压缩为一个浮点数像素值。在一些实施例中，所述第二压缩权重张量可以是一个二维卷积核或一个或多个一维卷积核，所述二维卷积核或一个或多个一维卷积核中的元素为浮点数。
在1206中，利用第二解压权重张量对所述多个第一样本浮点数执行反卷积，确定第二多组PQI输出像素值。在一些实施例中，所述第二解压权重张量与所述第二压缩权重张量的尺寸相同。
在1208中，基于机器学习，通过使所述多组样本像素值和所述第二多组PQI输出像素值之间的品质损失最小化，来调整所述第二压缩权重张量为浮点数权重张量。在一些实施例中，所述品质损失可以定义为所述多组样本像素值和所述第二多组PQI输出像素值的均方差。
图13是根据本申请的一些实施例所示的训练解压权重张量和QINN中的参数的方法流程图。
在1302中，将所述浮点数权重张量的参数/值整数化，确定整数化的压缩权重张量。在一些实施例中，所述权重张量可以包括一个二维卷积核，或一个或多个一维卷积核。所述一个二维卷积核，或一个或多个一维卷积核中的元素值被整数化，以获得所述整数化的权重张量。
在1304中，利用所述整数化的压缩权重张量将每组样本像素值压缩为一个整数值，确定第二多个样本整数值。在一些实施例中，所述整数化的压缩权重张量可以在FPGA中被使用。
在1306中，利用所述第二解压权重张量对所述第二多个样本整数值执行反卷积，确定第三多组PQI输出像素值。所述第二解压权重张量可以是1204中的解压权重张量。
在1308中，将所述第三多组PQI输出像素值输入至第二QINN，确定第二多组输出像素值。在一些实施例中，所述第二QINN可以与图11中所述的第一 QINN不同，因为所述第一QINN是专门为CDMA解压过程设计的。
在1310中，基于机器学习，通过使所述多组样本像素值和所述第二多组输出像素值之间的品质损失最小化，来调整所述第二解压权重张量的参数、第二 QINN的参数。在一些实施例中，所述品质损失可以定义为所述多组样本像素值和所述第二多组输出像素值的均方差。在一些实施例中，所述训练后的第二解压权重张量和所述训练后的第二QINN可以与所述整数化的压缩权重张量一起使用。
值得说明的是，所述解压过程仅作为示例，并不用于限定本申请的范围。对于本领域的普通技术人员，多种变型可以在本申请的教导下做出。然而，这些变型并不背离本申请的范围。例如，所述浮点数权重张量中的参数的整数化过程可以使用任何现有的整数化方法。
如204和1202中所述，所述帧策略三可以与帧策略一或帧策略二一并使用，以实现压缩视频流中的帧图像。在一些实施例中，可以在视频流中采用同一个帧策略但采用不同的压缩比。由于一个图像传感阵列仅能捕捉一个固定视角，仅需要讨论帧策略一或帧策略二。
视频策略一
对于一个图像传感阵列采集的多帧图像，一组原始像素值对应一个图像传感阵列按时间顺序采集的多帧图像的一部分。在一些实施例中，所述一组原始像素值对应所述多帧图像中的一帧图像的一部分。例如，所述一组原始像素值对应所述多帧图像中一帧图像的一个二维像素块或一维像素段的像素值。对于不同的帧图像，压缩比可以是不同的。
由于所述多帧图像是按时间顺序采集的，多帧图像中的第一帧和最后一帧的像素以第一压缩比进行压缩，在第一帧和最后一帧之间的其他帧以第二压缩比进行压缩，其中，所述第一压缩比大于所述第二压缩比。仅作为示例，所述多帧图像的数目为10。在帧策略一种，第一帧和第十帧可以采用一个不很低的压缩比(例如1/16)，第二帧-第九帧可以采用一个更低的压缩比(例如1/256)。
所述多帧图像中的每帧可以采用帧策略一或帧策略二，在使用相应的解压权重张量进行解压缩后，所述重建的多帧图像可以输入至一个视频QINN。例如，所述10帧图像可以堆叠在一起作为一个3D实体，所述3D实体可以被一个后处理神经网络进行调整，以提高解压质量。在此过程中，第一帧和最后一帧以外的中间帧的可以利用相邻帧的信息来提高其品质。
由于相邻的两组多帧图像可共用一个采用不很低压缩比(如1/16)的帧(即第一帧图像或最后一帧图像)，一个完整视频流在本策略下的平均压缩比可被计算为1/96。例如，对于第一组，第一帧图像压缩比为1/16，第二帧图像至第九帧图像的压缩比为1/256，第十帧图像的压缩比为1/16，第十帧图像可以看作第二组的第一帧图像，因此第一组的第十帧图像的信息可以在第一组和第二组中同时使用。每个1/16帧(除了第一组的第一帧图像和最后一组的第十帧图像) 可以被两个相邻组使用，因此对于每个组，仅需计算一个帧为1/16的帧图像和 8个帧为1/256。则9帧的平均计算为1/96。
视频策略二
仅作为示例，多帧图像的数目设为10。在本策略中，使用第一和第十帧的运动插值信息被与2-9帧的压缩信息合并。本策略的其他内容与视频策略一相同。
视频策略三
在视频策略三中，所述多帧图像中的每一帧可用相同压缩比被压缩，以替代不同帧采用不同的压缩比。本策略其他内容与视频策略一相同。
在一些实施例中，所述帧策略三也可应用于视频策略中，以压缩/解压由微型相机按时间顺序采集的多帧图像。
这些帧策略是自适应的采样策略，即可以在压缩过程中执行帧图像内容的分析。例如，压缩过程中采用的卷积核可以适应于媒体类型或图像内容。与传统的卷积方法对比，所谓的适应可以指的是分析所述多帧图像中的一帧或多帧的盲压缩数据。每个像素的数据加载和计算复杂度相比于传统方法是下降的，下降程度与压缩比和适应度(单位适应的帧数)成正比的。以这种方式，帧内容分析策略可以在更低计算量和能量消耗下执行，且能够进一步降低压缩数据的大小并提高解压质量。
在一些实施例中，所述多组样本像素值可以对应一个或多个样本帧图像，且所述一个或多个样本帧图像可以对应一个特定的类型或包含特定的内容。对于特定的类型/内容，解压权重张量和QINN可以是调整的。在一些实施例中，压缩权重张量和所述解压权重张量、QINN一并调整。可以预设一个包含多组数据的数据库，每组数据包含压缩/解压参数配置，每组压缩/解压权重张量参数配置对应一个特定的帧图像类型或内容，每组压缩/解压参数配置包括一个压缩权重张量、一个解压权重张量和一个QINN，该组的压缩权重张量、解压权重张量和QINN是针对该组对应的帧图像类型/内容专门训练的。
在压缩过程中，多帧图像中的每一帧图像的所有像素值可以首先通过一个通用压缩权重张量被盲压缩为一个整数值阵列，并且所述多帧图像中的像素值可被压缩为整数值的多阵列。多帧图像对应的整数值的多阵列中的至少一个可以被一个分类神经网络分析，以识别多帧图像中场景的类型/内容。
压缩帧内容策略一
在识别和分类出所述多帧图像和/或多帧图像的一部分的类别/内容后，压缩权重张量、解压权重张量和QINN可以从与所述类别/内容相对应的数据库中确定出来，所述压缩权重张量、解压权重张量和QINN可特定用于压缩/解压所述多帧图像。因此，所述多帧图像的像素值可以分别被通用的压缩权重张量和类型特定的特定压缩权重张量进行两次压缩，意味着多帧图像的像素值可以在识别所述多帧图像的类型/内容后使用类别/内容特定的压缩权重张量被进行再次压缩。然后类别/内容特定的解压权重和QINN可用于解压所述整数值的多阵列，所述整数值的多阵列由所述特定压缩权重张量压缩得到。
压缩帧内容策略二
在识别出所述多帧图像和/或多帧图像的一部分的类别/内容后，解压权重张量和QINN可以从与所述类别/内容相对应的数据库中确定出来，所述解压权重张量和QINN可特定用于压缩/解压由通用压缩权重张量压缩得到的所述整数值的多阵列。与所述压缩帧策略一相比，压缩帧策略二仅对所述多帧图像进行一次压缩。
帧间运动分析策略
在一些实施例中，所述重建的原始拜耳图像需要进行解马赛克操作而转换为常规RGB或YUV格式，所述解马赛克步骤可以在所述解压过程之后执行。所述运动分析可以在解马赛克后的图像中执行。传统的运动分析可以针对RGB 格式的图像的像素点进行，且需花费大量计算量和能量。
本申请中的帧间运动分析可以针对所述压缩帧内容策略后的压缩数据中进行。这可以大大降低需存储的信息量。
在压缩/解压过程中，一帧图像的所有像素值可以被压缩为一个整数值阵列。对于多帧图像，运动分析可以是分析所述多帧图像对应的整数值(压缩数据) 多阵列。
在一些实施例中，当所述多帧图像对应的整数值多阵列的分析结果是包含同一内容且具有特定的运动时，所述内容的细节仅需要在第一帧或最后一帧或中间的某一帧进行存储，并存储其他帧的一系列的运动向量和内容残差量。存储一帧(第一帧、最后帧或中间帧)内容细节一次，其他帧的运动向量和残差量会远比存储每一帧的所有内容占用更少的空间。当在整数值(压缩数据)多阵列中执行所述运动分析时，存储量减少的特性将被保持、以及计算量和能量消耗可显著减少。
图14是根据本申请的一些实施例所示的视频压缩策略和现有的H.265视频压缩策略对照图。在一些实施例中，图2中的一个帧策略和图13中的一个视频策略可以应用于此处描述的视频压缩策略中。
图14的上图是传统的视频压缩策略H.265的示意图。如图14的上图所示，视频源可以输入至编码/解码过程中。在一些实施例中，所述视频源可以是在对原始拜耳数据执行解马赛克后的RGB数据，所述原始拜耳图像对应由阵列相机按时间顺序采集的多帧图像。分割partition步骤将所述多帧图像中的每一帧划分为多个编码块，预测(去除)predict(subtract)步骤执行帧间差分。变换transform步骤在稀疏基上进行分析，随后压缩的HEVC视频(压缩后视频见图14的上图所示)可在熵编码entropy encode步骤后传输。视频输出可以在熵解码entropy decode步骤、逆变换inverse transform步骤、预测(添加)predict(add)步骤和重建reconstruct 步骤后得到。
图14的下图是根据本申请的一些实施例所示的视频压缩策略。如图14的下图所示，与视频策略H.265相比，我们的视频压缩策略可以在分割partition步骤和预测 (去除)predict(subtract)步骤间插入一个压缩采样步骤。在一些实施例中，一个图2中的所述的帧策略可应用在所述压缩采样步骤中。进一步地，一个图13 中所述的视频策略也可以与所述帧策略一起应用在所述压缩采样步骤。所述预测(去除)predict(subtract)步骤可以执行帧间差分。变换transform步骤可以对稀疏基进行分析，随后压缩的HEVC视频(压缩后视频见图14的下图所示)可在熵编码entropy encode步骤后传输。视频输出可以在熵解码entropy decode步骤、逆变换inverse transform步骤、预测(添加)predict(add)步骤和神经重建步骤后得到。在实践中，预测(添加)predict(add)步骤可以是一个预测神经网络，且可以与神经重建步骤合并。由于对视频源进行压缩采样，后续编码/解码过程中的数据加载和能量会被大大降低。
图15是根据本申请的一些实施例所示的盲压缩采样装置示意图。如图15 所示，所述盲压缩采样装置可以包括读出单元1510、压缩单元1520和存储单元1530。在一些实施例中，所述盲压缩采样装置1500可以配置为压缩来自压缩阵列相机的焦平面(传感器阵列)的原始拜耳数据。
所述读出单元1510可以被配置为从一个或多个图像传感器阵列中顺序读取多组原始像素值。在一些实施例中，每组原始像素值对应所述一个或多个图像传感阵列采集的一帧或多帧图像的一部分。例如，一组原始像素值对应一帧图像的一个二维像素块或一个一维像素段中的像素值。又例如，一组原始像素值对应多帧图像中的多个像素点，且每个像素点来自所述多帧图像中每一帧图像的同一位置。在一些实施例中，所述多帧图像由阵列相机中的多个相机模块按时间顺序采集得到。
所述压缩单元1520被配置为利用压缩权重张量将每组原始像素值压缩为一个整数值。在一些实施例中，所述压缩权重张量可以是一个二维卷积核或一个或多个一维卷积核。所述压缩权重张量中的每个元素为一个整数。在一些实施例中，所述权重张量中的元素的比特长度为12比特、8比特、6比特、4比特或2比特。特别地，当所述整数值为2比特的二进制数时，所述权重张量中的每个元素为-1/+1，或者0/1。例如，可以利用长度为16的整数向量 [0,1,0,0,1,0,…1]将16个输入的像素值合并一起为一个整数。又例如，可以利用长度为16的整数向量[-1,1,-1,-1,1,-1,…1]将16个输入的像素值合并一起为一个整数。在一些实施例中，将一组像素值压缩为一个数值可以是一个卷积操作。在一些实施例中，将一组像素值压缩为一个数值可以一个加权和操作。所述多帧图像中的一帧图像的不同位置的权重值对应一个一维卷积核，且所述多帧图像对应的多个一维卷积核可以是彼此正交或准正交的。
存储单元1530被配置为存储所述多组原始像素值对应的多个整数值。在一些实施例中，所述多个整数值可以用于重建所述一帧或多帧图像。
图16是根据本申请的一些实施例所示的成像系统示意图。所述成像系统 1600可以包括压缩模块1610和解压模块1620。
所述压缩模块1610被配置为将来自于一个或多个图像传感器的多组原始像素值压缩为多个整数值，所述压缩模块1610可以与所述盲压缩采样装置1500 具有相同的功能。所述压缩模块1610可以包括读出单元1611、压缩单元1612 和存储单元1613。所述读出单元1611被配置为从一个或多个图像传感器阵列中顺序读取多组原始像素值，所述压缩单元1612被配置为利用压缩权重张量将每组原始像素值压缩为一个整数值，所述存储单元1613被配置为存储所述多组原始像素值对应的多个整数值。在一些实施例中，每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分。
所述解压模块1620被配置为将所述多个整数值解压为多组输出像素值。在一些实施例中，所述解压模块1620执行如图8所述的解压方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“子模块”、“引擎”、“单元”、“子单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (30)

1.一种盲压缩采样方法，包括：
从一个或多个图像传感器阵列中顺序读取多组原始像素值；
利用压缩权重张量将每组原始像素值压缩为一个整数值，所述压缩权重张量包括：一维卷积核以及二维卷积核，所述压缩权重张量用于表征所述每组原始像素值对应的压缩权重关系；
存储所述多组原始像素值对应的多个整数值；
其中，每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分；
其中，所述多个整数值用于重建所述一帧或多帧图像。
2.根据权利要求1所述的方法，所述权重张量中的每个元素均为一个整数。
3.根据权利要求2所述的方法，所述权重张量中元素的比特长度为12比特、8比特、6比特、4比特或2比特，当所述整数值为2比特的二进制数时，所述权重张量中的每个元素为-1/+1，或0/1。
4.根据权利要求2或3所述的方法，每组原始像素值对应一帧图像的一个二维像素块中的像素值。
5.根据权利要求4所述的方法，所述利用压缩权重张量将每组原始像素值压缩为一个整数值，包括：
利用二维卷积核对组中的像素值执行二维卷积操作。
6.根据权利要求2或3所述的方法，每组原始像素值对应一帧图像的一个一维像素段中的像素值。
7.根据权利要求6所述的方法，所述利用压缩权重张量将每组原始像素值压缩为一个整数值，包括：
利用一个或多个一维卷积核对组中的像素值执行一维卷积操作。
8.根据权利要求2或3所述的方法，每组原始像素值对应来自多帧图像的多个像素点，每个像素点来自所述多帧图像的同一位置。
9.根据权利要求8所述的方法，所述利用压缩权重张量将每组原始像素值压缩为一个整数值，包括：
对所述每组原始像素值执行加权和操作。
10.根据权利要求8所述的方法，所述多帧图像中一帧图像的不同位置的权值对应于一维卷积核或二维卷积核，所述多帧图像的多个一维卷积核或二维卷积核相互正交或准正交。
11.根据权利要求8所述的方法，所述多帧图像由阵列相机采集，每帧图像由阵列相机中的一个相机采集。
12.根据权利要求1所述的方法，所述方法还包括：
利用解压权重张量将所述多个整数值解压为多组PQI输出像素值，其中，所述解压权重张量与所述压缩权重张量的尺寸相同；
将多组PQI输出像素值输入至QINN，获得多组输出像素值。
13.根据权利要求12所述的方法，所述解压权重张量和QINN的参数基于样本训练确定，所述训练包括：
从一个或多个图像传感器阵列中顺序读取多组样本像素值；
利用第一压缩权重张量将每组样本像素值压缩为一个整数值，确定第一多个样本整数值；
利用第一解压权重张量对所述第一多个样本整数值执行反卷积，确定第一多组PQI输出像素值；
将所述第一多组PQI输出像素值输入至第一QINN，确定第一多组输出像素值；
基于机器学习，通过使所述多组样本像素值和所述第一多组输出像素值之间的品质损失最小化，来调整所述第一解压权重张量和所述第一QINN的参数。
14.根据权利要求13所述的方法，所述第一压缩权重张量为Gold码、准正交码或准随机码。
15.根据权利要求12所述的方法，所述压缩权重张量的参数与所述解压权重张量的参数、QINN的参数一并基于样本训练确定，所述训练包括：
从一个或多个图像传感器阵列中顺序读取多组样本像素值；
利用第二压缩权重张量将每组样本像素值压缩为一个整数值，确定第一多个样本浮点数；
利用第二解压权重张量对所述第一多个样本浮点数执行反卷积，确定第二多组PQI输出像素值；
基于机器学习，通过使所述多组样本像素值和所述第二多组PQI输出像素值之间的品质损失最小化，来调整所述第二压缩权重张量为浮点数权重张量。
16.根据权利要求15所述的方法，所述方法还包括：
将所述浮点数权重张量的参数整数化，确定整数化的压缩权重张量；
利用所述整数化的压缩权重张量将每组样本像素值压缩为一个整数值，确定第二多个样本整数值；
利用所述第二解压权重张量对所述第二多个样本整数值执行反卷积，确定第三多组PQI输出像素值；
将所述第三多组PQI输出像素值输入至第二QINN，确定第二多组输出像素值；
基于机器学习，通过使所述多组样本像素值和所述第二多组输出像素值之间的品质损失最小化，来调整所述第二解压权重张量的参数、第二QINN的参数。
17.根据权利要求13、15或16所述的方法，最小化品质损失，包括：
最小化所述多组样本像素值和所述第一多组输出像素值的均方差；
或者最小化所述多组样本像素值和所述第二多组PQI输出像素值的均方差；
或者最小化所述多组样本像素值和所述第二多组输出像素值的均方差。
18.根据权利要求12所述的方法，每组原始像素值对应由一个图像传感器阵列按时间顺序依次采集的多帧图像的一部分，所述多帧图像中的一帧图像上的像素被压缩权重张量按照一个压缩比进行压缩。
19.根据权利要求18所述的方法，所述多帧图像中的像素按照同一压缩比进行压缩。
20.根据权利要求18所述的方法，所述多帧图像中第一帧和最后一帧的像素按照第一压缩比进行压缩，位于第一帧和最后一帧之间的一帧或多帧图像的像素按照第二压缩比进行压缩，所述第一压缩比大于所述第二压缩比。
21.根据权利要求19或20所述的方法，所述将多组PQI输出像素值输入至QINN，获得多组输出像素值，可以替换为：
通过将一个3D实体输入至视频QINN中来调整所述3D实体中的像素值，所述3D实体通过将对应于多帧图像的多组输出像素值堆叠在一起而获取。
22.一种盲压缩采样装置，包括：
读出单元，所述读出单元被配置为从一个或多个图像传感器阵列中顺序读取多组原始像素值；
压缩单元，所述压缩单元被配置为利用压缩权重张量将每组原始像素值压缩为一个整数值，所述压缩权重张量包括：一维卷积核以及二维卷积核，所述压缩权重张量用于表征所述每组原始像素值对应的压缩权重关系；
存储单元，所述存储单元被配置为存储所述多组原始像素值对应的多个整数值；
其中，每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分；
其中，所述多个整数值用于重建所述一帧或多帧图像。
23.根据权利要求22所述的装置，所述权重张量中的每个元素均为一个整数。
24.根据权利要求23所述的装置，所述权重张量中元素的比特长度为12比特、8比特、6比特、4比特或2比特，当所述整数值为2比特的二进制数时，所述权重张量中的每个元素为-1/+1，或0/1。
25.根据权利要求23或24所述的装置，每组原始像素值对应一帧图像的一个二维像素块中的像素值，所述压缩单元被配置为利用二维卷积核对组中的像素值执行二维卷积操作。
26.根据权利要求23或24所述的装置，每组原始像素值对应一帧图像的一个一维像素段中的像素值，所述压缩单元用于利用一个或多个一维卷积核对组中的像素值执行一维卷积操作。
27.根据权利要求23或24所述的装置，每组原始像素值对应来自多帧图像的多个像素点，每个像素点来自所述多帧图像的同一位置，所述压缩单元用于对所述每组原始像素值执行加权和操作。
28.根据权利要求27所述的装置，所述多帧图像中一帧图像的不同位置的权值对应于一维卷积核或二维卷积核，所述多帧图像的多个一维卷积核或二维卷积核相互正交或准正交。
29.根据权利要求27所述的装置，所述多帧图像由阵列相机采集，每帧图像由阵列相机中的一个相机采集。
30.一种成像系统，包括：
压缩模块，所述压缩模块被配置为将来自于一个或多个图像传感器的多组原始像素值压缩为多个整数值，所述压缩模块包括：
读出单元，所述读出单元被配置为从一个或多个图像传感器阵列中顺序读取多组原始像素值；
压缩单元，所述压缩单元被配置为利用压缩权重张量将每组原始像素值压缩为一个整数值，所述压缩权重张量包括：一维卷积核以及二维卷积核，所述压缩权重张量用于表征所述每组原始像素值对应的压缩权重关系；
存储单元，所述存储单元被配置为存储所述多组原始像素值对应的多个整数值；
其中，每组原始像素值对应由所述一个或多个图像传感器采集的一帧或多帧图像的一部分；
其中，所述多个整数值用于重建所述一帧或多帧图像；
解压模块，所述解压模块被配置为将所述多个整数值解压为多组输出像素值。
CN201880094416.0A 2018-06-11 2018-11-22 盲压缩采样方法、装置及成像系统 Active CN112470472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862683293P 2018-06-11 2018-06-11
US62/683,293 2018-06-11
PCT/CN2018/117040 WO2019237659A1 (en) 2018-06-11 2018-11-22 Blind compressive sampling method, apparatus and imaging system

Publications (2)

Publication Number Publication Date
CN112470472A CN112470472A (zh) 2021-03-09
CN112470472B true CN112470472B (zh) 2023-03-24

Family

ID=68764362

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880094416.0A Active CN112470472B (zh) 2018-06-11 2018-11-22 盲压缩采样方法、装置及成像系统
CN201980038408.9A Active CN112425158B (zh) 2018-06-11 2019-01-29 一种监视相机系统及降低监视相机系统功耗的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980038408.9A Active CN112425158B (zh) 2018-06-11 2019-01-29 一种监视相机系统及降低监视相机系统功耗的方法

Country Status (3)

Country Link
US (1) US10944923B2 (zh)
CN (2) CN112470472B (zh)
WO (3) WO2019237659A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3997863B1 (en) * 2019-07-12 2023-09-06 University College Cork-National University of Ireland Cork A method and system for performing high speed optical image detection
CN111432169B (zh) * 2019-12-25 2021-11-30 杭州海康威视数字技术股份有限公司 视频传输方法、装置、设备和系统
CN115660971B (zh) * 2022-10-08 2024-02-23 镕铭微电子(济南)有限公司 一种基于深度学习硬件加速器实现usm锐化的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155110A (zh) * 2017-06-14 2017-09-12 福建帝视信息科技有限公司 一种基于超分辨率技术的图片压缩方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9317604D0 (en) 1993-08-24 1993-10-06 Philips Electronics Uk Ltd Receiver for ds-cdma signals
US5896368A (en) 1995-05-01 1999-04-20 Telefonaktiebolaget Lm Ericsson Multi-code compressed mode DS-CDMA systems and methods
JP3901514B2 (ja) * 2001-12-27 2007-04-04 富士通株式会社 画像圧縮方法、その復元方法及びそのプログラム
US7283231B2 (en) 2004-07-20 2007-10-16 Duke University Compressive sampling and signal inference
US8059720B2 (en) * 2004-11-30 2011-11-15 Humax Co., Ltd. Image down-sampling transcoding method and device
US7336353B2 (en) 2005-10-17 2008-02-26 Duke University Coding and modulation for hyperspectral imaging
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US20080123750A1 (en) * 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
US20090160970A1 (en) * 2007-12-20 2009-06-25 Fredlund John R Remote determination of image-acquisition settings and opportunities
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩／디코딩 장치 및 인코딩／디코딩 방법
CN101710993B (zh) * 2009-11-30 2012-04-11 北京大学 基于块的自适应超分辨率视频处理方法及系统
CN102104768A (zh) * 2009-12-22 2011-06-22 乐金电子(中国)研究开发中心有限公司 图像监控方法、主控装置及系统
US8254646B2 (en) * 2010-01-25 2012-08-28 Apple Inc. Image preprocessing
CN102238366A (zh) * 2010-04-26 2011-11-09 鸿富锦精密工业（深圳）有限公司 实现影像追踪监控的摄影机及方法
CN102271251B (zh) * 2010-06-02 2013-01-16 华晶科技股份有限公司 无失真的图像压缩方法
CN102447884A (zh) * 2010-10-14 2012-05-09 鸿富锦精密工业（深圳）有限公司 网络摄像机解析度自动调整系统及方法
CN103700074B (zh) * 2013-12-23 2016-04-20 电子科技大学 基于离散余弦变换系数分布的自适应压缩感知采样方法
US9686560B2 (en) * 2015-02-23 2017-06-20 Teledyne Dalsa, Inc. Lossless data compression and decompression apparatus, system, and method
CN106254879B (zh) * 2016-08-31 2019-11-08 广东精点数据科技股份有限公司 一种应用自编码神经网络的有损图像压缩方法
CN106454229A (zh) * 2016-09-27 2017-02-22 成都理想境界科技有限公司 一种监测方法、摄像装置和图像处理设备和监测系统
CN107197260B (zh) * 2017-06-12 2019-09-13 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107995494B (zh) * 2017-12-12 2019-11-22 珠海全志科技股份有限公司 视频图像数据的压缩方法与解压方法、计算机装置、计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155110A (zh) * 2017-06-14 2017-09-12 福建帝视信息科技有限公司 一种基于超分辨率技术的图片压缩方法

Also Published As

Publication number Publication date
CN112425158A (zh) 2021-02-26
CN112470472A (zh) 2021-03-09
US10944923B2 (en) 2021-03-09
WO2019237753A1 (en) 2019-12-19
WO2019241285A1 (en) 2019-12-19
CN112425158B (zh) 2023-05-23
US20190379845A1 (en) 2019-12-12
WO2019237659A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
US11025907B2 (en) Receptive-field-conforming convolution models for video coding
US9906764B2 (en) Resolution based formatting of compressed image data
JP4559622B2 (ja) 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
CN112470472B (zh) 盲压缩采样方法、装置及成像系统
US8675984B2 (en) Merging multiple exposed images in transform domain
JP2008533787A (ja) 圧縮済領域における静止画像を処理するための方法、コンピュータプログラムプロダクト、および装置
US10032252B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer readable storage medium
US9398273B2 (en) Imaging system, imaging apparatus, and imaging method
EP3743855A1 (en) Receptive-field-conforming convolution models for video coding
CN116547969A (zh) 基于机器学习的图像译码中色度子采样格式的处理方法
CN113079378A (zh) 图像处理方法、装置和电子设备
CN101903893B (zh) 使用内核融合的数字信号模式检测和分类
CN108156461B (zh) 一种Bayer图像压缩方法及装置
US20200252652A1 (en) Encoding device, decoding device, encoding method, and decoding method
Mafijur Rahman et al. A low complexity lossless Bayer CFA image compression
Yan et al. Compressive sampling for array cameras
CN109819251B (zh) 一种脉冲阵列信号的编解码方法
WO2022266955A1 (zh) 图像解码及处理方法、装置及设备
Trifan et al. A survey on lossless compression of Bayer color filter array images
Ayyoubzadeh et al. Lossless compression of mosaic images with convolutional neural network prediction
US20210375003A1 (en) Image processing apparatus and method
Mohebbian et al. CFA image compression using an efficient cascaded overlapping color transformation
Mishourovsky Visually Lossless Colour Compression Technology
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
CN113170160B (zh) 用于计算机视觉分析的ics帧变换方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Blind compression sampling method, device, and imaging system

Effective date of registration: 20230817

Granted publication date: 20230324

Pledgee: Jiangsu Jiangyin Rural Commercial Bank Co.,Ltd. Wuxi Branch

Pledgor: Wuxi ankedi Intelligent Technology Co.,Ltd.

Registration number: Y2023980052623