CN108475420B - 多分辨率压缩感知图像处理 - Google Patents

多分辨率压缩感知图像处理 Download PDF

Info

Publication number
CN108475420B
CN108475420B CN201680066675.3A CN201680066675A CN108475420B CN 108475420 B CN108475420 B CN 108475420B CN 201680066675 A CN201680066675 A CN 201680066675A CN 108475420 B CN108475420 B CN 108475420B
Authority
CN
China
Prior art keywords
resolution
regions
image
region
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680066675.3A
Other languages
English (en)
Other versions
CN108475420A (zh
Inventor
A·冈萨雷斯
H·蒋
G·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Alcatel Lucent USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent USA Inc filed Critical Alcatel Lucent USA Inc
Publication of CN108475420A publication Critical patent/CN108475420A/zh
Application granted granted Critical
Publication of CN108475420B publication Critical patent/CN108475420B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062—Compressive sampling or sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供了用于从表示单个原生分辨率图像的压缩版本的一组压缩测量构建多分辨率图像的系统和方法。在一方面，取回使用压缩感知矩阵生成并表示场景的单个原生分辨率图像的压缩版本的压缩感知测量。确定期望二维多分辨率图像的大小，并分配多个区域，每个所分配区域具有各自的分辨率。定义扩展矩阵以将每个所分配区域的分辨率映射到原生分辨率，并且使用所述压缩感知测量、所述压缩感知矩阵、以及所定义的扩展矩阵，构建所述场景的多分辨率图像。在各个方面，全分辨率或其它多分辨率图像可从相同的压缩测量构建而不生成新的压缩测量。

Description

多分辨率压缩感知图像处理
技术领域
本公开涉及用于压缩感知图像(compressive sense image)处理的系统和方法。更具体地说，本公开涉及从表示单一分辨率图像的压缩测量来构建多分辨率图像。
背景技术
本节介绍可有助于更好地理解本文所公开的系统和方法的方面。因此，本节的陈述应从这个角度阅读，而不应理解或解释为对现有技术中包含或不包含的内容的认可。
数字图像/视频摄像机获取并处理使用压缩缩减的大量原始数据。在传统摄像机中，首先捕获表示场景的每个N像素图像的原始数据，然后通常使用合适的压缩算法压缩原始数据以便存储和/或传输。尽管捕获高分辨率N像素图像之后的压缩通常很有用，但它需要大量计算资源和时间。此外，获取图像原始数据之后的压缩并不总是导致有意义的压缩。
一种较新的方法(本领域中称为压缩感知成像)直接获取场景的N像素图像(或视频情况下的图像)的压缩数据。压缩感知成像使用算法实现，这些算法利用随机或稀疏投影来直接生成压缩测量，以便稍后在不收集图像本身的常规原始数据的情况下构建场景的N像素图像。由于与先获取期望N像素图像的每个N像素值的原始数据，然后再压缩原始数据的更传统方法相比，直接获取了数量减少的压缩测量，因此压缩感知显著消除或减少了完全获取图像之后执行压缩所需的资源。场景的N像素图像从压缩测量来构建，以便在显示器上呈现或用作其它用途。
发明内容
在各个方面，提供了用于压缩感知图像处理的系统和方法。
一个方面包括：取回使用M×N压缩感知矩阵生成的M个压缩感知测量，所述压缩感知测量表示场景的单个原生分辨率的N像素图像的压缩版本；确定要从所述压缩感知测量重构的期望二维多分辨率图像的大小；基于所确定的大小，将多个区域分配给所述期望二维多分辨率图像，其中所分配的多个区域中的每一者具有等于或小于所述单个原生分辨率图像的原生分辨率的确定像素分辨率；针对每个相应的所分配区域定义扩展矩阵，每个扩展矩阵的维度基于所分配区域的确定像素分辨率，针对每个相应的所分配区域来确定；以及使用所述压缩感知测量、所述压缩感知矩阵、以及所定义的扩展矩阵，生成所述场景的多分辨率重构图像。
一个方面包括：在取回所述压缩测量之后分配所述多个区域。
一个方面包括：分配具有比其它所分配区域高的确定像素分辨率的至少一个关注区域。
一个方面包括：通过改变所分配的关注区域中的一者或通过添加额外的关注区域，重新配置所分配的关注区域。
一个方面包括：基于手动输入生成至少一个关注区域。
一个方面包括：自动生成至少一个关注区域。
一个方面包括：在显示器上显示生成所述场景的多分辨率重构图像。
附图说明
图1示出了根据本公开的各个方面的压缩感知成像系统的示例；
图2示出了根据本公开的各个方面的用于使用重构基础矩阵，从压缩测量重构对象的图像的示例过程；
图3示出了根据本公开的各个方面的将区域分配给图像的示例步骤；
图4示出了根据本公开的各个方面的确定所分配区域的分辨率的示例步骤；
图5示出了根据本公开的各个方面的定义扩展矩阵的示例步骤；
图6示出了用于实现本公开的各个方面的示例装置。
具体实施方式
下面参考附图描述本公开的各个方面，其中在整个附图的描述中，相同的参考标号指代相同的元件。说明书和附图仅仅例示了本公开的原理。将理解，本领域的技术人员能够设计体现这些原理并且被包括在本公开的精神和范围内各种布置，尽管这些布置在这里没有明确地描述或示出。
如本文所使用的，术语“或”指非排他的，除非另有说明(例如，“或其它”或“或在备选方案”中)。此外，如本文所使用的，用于描述元件之间的关系的词语应被广义地解释为包括直接关系或包括中间元件的存在，除非另有说明。例如，当元件被称为“连接”或“耦合”到另一元件时，该元件可以直接连接或耦合到另一元件，也可以存在中间元件。相比之下，当元件被称为“直接连接”或“直接耦合”到另一元件时，不存在中间元件。类似地，诸如“之间”、“相邻”等之类的词语应以类似的方式解释。
压缩感知(也被称为压缩式采样、压缩式感知或压缩采样)是一种公知的数据采样技术，与传统的奈奎斯特采样相比，其展现出提高的效率。压缩采样允许使用远少于奈奎斯特样本数量的样本来表示和重构稀疏信号。当信号具有稀疏表示时，可以根据来自适当基础上的线性投影的少量测量来重构信号。此外，当使用随机采样矩阵时，重构具有很高的成功概率。
压缩感知通常在数学上被表征为用N维信号向量乘以M×N维采样或感知矩阵
Figure BDA0001660981040000031
以产生M维压缩测量向量，其中M通常远小于N(即，对于压缩M≤N)。如果信号向量在与该信号向量线性相关的域中是稀疏的，则可以使用感知矩阵
Figure BDA0001660981040000032
从M维压缩测量向量重构(即，近似)N维信号向量。
关于压缩采样的常规方面的其它细节可以在例如以下文献中找到：E.J.Candès和M.B.Wakin所著的“An Introduction to Compressive Sampling(压缩采样简介，发表于IEEE Signal Processing Magazine，第25卷，第2章，2008年3月)”；E.J.Candès所著的“Compressive Sampling(压缩采样，发表于Proceedings of the InternationalCongress of Mathematicians，西班牙马德里，2006年)；以及E.J.Candès等人所著的“Robust uncertainty principles:Exact signal reconstruction from highlyincomplete frequency information(鲁棒不确定性原理：根据高度不完整频率信息的准确信号重构，发表于IEEE Trans.on Information Theory，第52卷，第2章，489-509页，2006年2月)”。
在成像系统中，由压缩感知成像设备获取的用于表示场景的N像素图像x（x1,x2,x3…xN)的一维表示压缩版本的压缩测量或样本yk（k∈[1…M])之间的关系可以以矩阵形式表示为y＝Ax(如下所示)，其中A(也被称为
Figure BDA0001660981040000042
)是压缩成像设备为了获取压缩样本向量y而实现的M×N采样或感知矩阵。
Figure BDA0001660981040000041
应该理解，向量x（x1,x2,x3…xN)本身是二维(例如，行和列)原生图像的一维表示，可以使用诸如将二维图像的行或列串接成单个列向量之类的已知方法在数学上将具有已知大小的二维图像表示为一维向量，或者反之亦然。上面示出的矩阵A也被称为最大长度感知或采样矩阵，因为每行(也被称为基向量)具有与场景的全分辨率N像素期望图像x的重构对应的N个值。
需要指出，本公开的重点不在于生成压缩测量yk（k∈[1…M])，并且这里假设压缩测量提供给或接收自常规压缩感知设备。然而，下面在图1中提供有关生成压缩测量的简要描述。
相反，本公开的重点在于从压缩样本重构期望图像，具体是指从压缩测量得出的多分辨率图像的构造。换句话说，本公开的各方面涉及从压缩测量yk（k∈[1…M])重构期望多分辨率图像，该压缩测量使用M×N最大长度感知矩阵A获得，以表示单个原生分辨率图像的压缩版本。
本文公开的系统和方法能够有利地用于诸如医学成像、对象识别或安全之类的应用中，或者能用于其中从压缩测量生成全原生分辨率图像并非总是必需的或者可能消耗比预期更多资源的其它应用中。需要指出，这里公开的系统和方法并不排除能够从所获取的压缩样本生成全原生分辨率图像(如果需要或有必要这样做)。
现在参考附图在下面更详细地描述本发明的这些和其它方面。
图1示出了根据本公开的各方面的压缩成像重构系统100(“系统100”)的示意性示例。从场景104反射出的入射光(其可以在可见光谱或不可见光谱中)102由压缩感知摄像机设备106接收，该压缩感知摄像机设备106使用预定的最大长度感知或采样矩阵A来生成压缩测量yk（k∈[1…M])的向量y，其中M≤N。本领域的普通技术人员将理解，压缩测量yk（k∈[1…M])表示场景104的单个原生分辨率N像素图像x（x1,x2,x3…xN)(例如使用二维图像的行串接表示为二维图像的一维表示)的压缩版本。
例如，从场景104反射出的入射光102可以在摄像机设备106处被接收，在摄像机设备106处，光被选择性地允许通过、部分地通过、或者不通过可单独选择的光圈元件的N元件阵列(例如N个微镜)，并且照射到光子探测器。可以使用压缩感知矩阵A以编程方式控制部分启用或完全启用N个单独光圈元件中的哪一个以便允许(或阻挡)光在任何特定时间穿过并照射到探测器。在此假设压缩感知矩阵A是预定的最大长度矩阵。这种矩阵的一个示例是随机或伪随机地生成的M×N沃尔什-哈达玛(Walsh-Hadamard)矩阵。在其它实施例中，矩阵A可以是适合用于压缩感知的任何类型的稀疏矩阵，其具有压缩感知理论中的某些公知的特性(例如，正交矩阵的随机行选择)。
本领域的普通技术人员将很容易理解，压缩感知摄像机设备106可以周期性地处理(例如，积分、滤波、数字化等)光子探测器的输出以使用压缩感知矩阵A的压缩基向量a1,a2,…aM中相应压缩基向量，在相应的时间t1,t2,….tM上产生一组M个压缩测量yk（k∈[1…M])。如进一步理解的，压缩测量yk（k∈[1…M])共同表示场景104的压缩图像。实际上，所生成的M个压缩测量表示期望压缩水平与可以使用M个压缩测量重构的全分辨率N像素图像的期望原生分辨率之间的预定平衡。压缩感知设备106可以基于此平衡来配置。
表示对象110的压缩N像素图像x1,x2,x3…xN的压缩测量y1,y2,….yM的向量y可以由压缩感知设备106通过网络108发送到多分辨率重构设备110。
如上所述，根据本公开的各方面，重构设备110被配置为从所述压缩测量生成多分辨率图像。具体地，并且如下面详细描述的，重构设备110被配置为从所述压缩测量生成图像，其中该图像的一些部分的分辨率高于该图像的其它部分。例如，由重构设备110生成的图像可以具有可能以全分辨率(即，获取压缩测量所基于的单个恒定原生分辨率)生成的一个或多个关注区域，以及以低于关注区域的分辨率的分辨率生成的至少一个或多个其它区域。
尽管这些设备或单元为了便于理解而在图1中单独示出，但是在一些实施例中，这些设备可以被组合成单个单元或设备。例如，在一个实施例中，单个处理设备可以被配置为提供既生成压缩测量又重构期望图像的功能。单个处理设备可以包括(如在设备分离的情况下)存储一个或多个指令的存储器，以及用于执行所述一个或多个指令的处理器，当被执行时，这些指令可以配置所述处理器以提供在此描述的功能。单个处理设备可以包括通常在计算设备中找到的其它组件，诸如用于向处理设备输入信息或从处理设备输出信息的一个或多个输入/输出组件，其中包括摄像机、显示器、键盘、鼠标、网络适配器等。网络108可以是内联网、因特网，或任何类型的一个或多个有线或无线网络或一个或多个有线或无线网络的组合。
现在结合图2所示的处理200来描述用于从压缩样本生成多分辨率图像的重构设备110的详细操作。
在步骤202，重构设备110接收或取回压缩测量yk（k∈[1…M])，所述压缩测量表示由压缩感知设备106使用M×N压缩感知矩阵生成的场景的单个原生分辨率N像素图像x的压缩版本。除了压缩测量之外，在一个实施例中，重构设备110还从压缩感知设备106接收M×N压缩感知矩阵A或用于生成由压缩感知设备用来产生压缩测量的M×N压缩感知矩阵A的信息。例如，所述感知矩阵可以由重构设备基于所接收的种子值(压缩感知成像设备使用所述种子值来生成所述感知矩阵)生成。在其它实施例中，由于压缩感知设备106用于获取压缩测量的压缩感知矩阵A通常不变，因此压缩感知设备106可以在获取压缩测量(例如在压缩感知设备的初始化时)之前将压缩感知矩阵A发送到重构单元。在又一实施例中，重构矩阵可以提前已知，或者可以由重构设备110生成。
在步骤204，重构设备110确定将要从压缩感知测量重构的期望二维多分辨率图像的大小。重构设备110可以将所述大小表示为与使用感知矩阵生成其压缩测量的一维N像素图像x的二维表示的行和列大小相对应的行和列大小，其中行数乘以列数等于N。将二维图像表示为一维向量或将一维向量表示为二维图像是本领域的普通技术人员所理解的。例如，当生成压缩感知矩阵和压缩测量时，可以使用预定的行串接在压缩感知成像设备处将二维原生分辨率图像映射成一维向量x，并且重构设备可以使用相同的预定串接方法确定与二维原生分辨率图像的大小相对应的期望二维多分辨率图像的大小。在其它实施例中，二维原生分辨率图像的大小可以是已知的，或可以提前预定。
在步骤206，重构单元将多个区域分配给待重构的期望多分辨率二维图像。换句话说，这也可以被理解为将二维图像分成多个区域。分配多个区域包括分配在分辨率方面被认为比其它区域更重要的至少一个关注区域(ROI)。
图3示出了将四个区域分配给二维单个原生分辨率图像302的具体示例。如图中所示，二维图像被分割、划分或分配成四个区域304、306、308和310，其中为实现示例的目的，假设与被表示为x2、x3和x4的区域(这些区域是低分辨率区域，不是ROI的一部分)相比，被表示为x1的区域是所分配的关注区域。更一般地说，区域的分配可以表示为x＝x1+...+xp，其中P(在该示例中为4)是区域的数量。
在步骤208，将所分配的多个区域(也被称为块)中的每一者作为具有期望的相应分辨率的对应区域分配到期望多分辨率图像，其中被分配给期望多分辨率图像的每个区域的相应分辨率小于或等于由压缩测量y（y1,y2,….yM)表示的压缩图像的单个原生分辨率。
图4示出了图3的具体示例的步骤208，其中分配了四个区域。如图4所示，图像402是由所取回的压缩测量表示的二维单个原生分辨率图像，并且图像402内的精细网格在此用于例示单个原生分辨率。图像404是要从压缩测量构建的期望多分辨率图像。图像404示出了根据前面的步骤分配的相应四个区域x1、x2、x3和x4。此外，在图像404的四个区域中的每个区域内示出了网格，以例示相应分辨率到四个块中每一者的分配。
从图像404中所示的网格可以看出，被定义为关注区域的区域xi被分配有等于原生分辨率的分辨率，并且与其它区域相比具有最高分辨率。由于还示出了网格，因此其它区域x2、x3和x4分别被分配有不同的分辨率(以降序排列)，这些分辨率都小于原生分辨率(并且小于所确定的关注区域的分辨率)。
更一般地，P个区域中的一个给定区域的单个原生分辨率可以表示为|xi|＝Ni，并且每个区域的分辨率可以被分配为：
Figure BDA0001660981040000081
其中
Figure BDA0001660981040000082
是具有期望分辨率的期望多分辨率图像
Figure BDA0001660981040000083
的区域i，qi是在步骤206被分配给单个原生分辨率图像的P个区域中的每个区域xi的每个维度(水平和垂直)的缩减采样系数(down sampling factor)。
在步骤210，重构设备110针对每个相应的所分配区域定义扩展矩阵，以便执行多分辨率区域和单个原生分辨率图像之间的映射。通常，对于每个区域，扩展矩阵表示为
Figure BDA0001660981040000084
其中xi是单个原生分辨率图像中的给定分配区域，
Figure BDA0001660981040000085
是期望多分辨率图像中的对应区域，并且其中Ei是所述给定区域的扩展矩阵。图5示出了关于图3和图4所示的区域x4的具体示例的该步骤。因此，在步骤210，完整单个原生分辨率图像x，扩展矩阵E1、E2….EP......，以及被分配有期望多分辨率图像的分辨率的区域
Figure BDA0001660981040000086
之间的关系由
Figure BDA0001660981040000087
给出。例如，如果区域
Figure BDA0001660981040000088
被分配有与原生分辨率相同的分辨率，则相应的扩展矩阵E1将是满足
Figure BDA0001660981040000091
的单位矩阵。
在步骤212，所述重构单元使用所分配区域、扩展矩阵、所接收的压缩感知测量、以及压缩感知矩阵，生成场景的多分辨率重构图像。
在该步骤，用于从压缩测量生成期望图像的一般重构步骤被从y＝Ax修改为
Figure BDA0001660981040000092
该修改用于重构期望多分辨率图像的每个块。实质上，该步骤涉及迭代地求解：
Figure BDA0001660981040000093
在上面的等式中，每个
Figure BDA0001660981040000094
是多分辨率图像的重构区域之一。αi,i＝1,...,P是考虑区域xi,i＝1,...,P的面积的缩放系数，fi,i＝1,...,P是促进区块结构的正则化函数(例如，L1-范数)。
Figure BDA0001660981040000095
是具有要重构的期望分辨率的多分辨率图像的所分配区域。g是表征测量和采集模型之间的距离的函数(例如，L2范数)。y是一组已接收的压缩测量。A是用于生成y的感知矩阵。Ei是针对具有期望分辨率的所分配区域定义的扩展矩阵。一旦期望多分辨率图像的每个区域
Figure BDA0001660981040000096
被求解并获得，就可以获得完整或整体期望多分辨率图像x*，如
Figure BDA0001660981040000097
所生成的场景的多分辨率重构图像可以以二维格式在显示设备上显示为场景的多分辨率重构图像。
本文公开的系统和方法允许基于处理表示单个原生分辨率图像的压缩版本的一组压缩测量，重构或生成适合于在显示设备上显示的多分辨率图像。与更传统的方法相比，考虑到公开的内容，相信会产生许多优点。本文所示的处理允许基于表示单个原生分辨率图像的压缩版本的一组压缩测量，重构多分辨率图像。因此，本公开允许在不必重新捕获或重新生成新的压缩测量以支持不同的期望分辨率的情况下，从同一组压缩测量构建具有不同期望分辨率的不同图像。此外，由于多分辨率图像的重构是基于并使用表示原生图像的压缩版本的相同压缩测量而发生的，因此如果需要，也可以构建全原生分辨率的重构图像，而不必重新捕获场景来生成用于不同分辨率的新压缩测量。
此外，在生成用于以不同的分辨率重构不同图像的压缩测量之后，关注区域(多个)、区域的数量(以及分配给区域的分辨率)可能发生变化，但是不必生成适合于这样的变化的新压缩测量。此外，这也意味着重构多分辨率图像的处理可能发生在压缩感知图像捕获设备之外的设备中，因此，缓解了如果图像捕获设备必须基于不同期望分辨率重新配置感知矩阵并重新捕获图像所需的大部分计算资源。有利地，这样降低了压缩感知图像捕获设备的成本，并且适合大规模部署，而不必考虑在处理期间可能需要的不同区域或不同分辨率，并且不必针对不同的情况以不同的方式重新配置压缩感知成像设备。
本文描述的区域(包括具有比其它区域更高的分辨率的关注区域)可以以多种方式确定。例如，在一个实施例中，关注区域(和其它区域)可以基于到重构设备的手动输入来确定。在一些实施例中，可以构造极低分辨率预览图像以识别包括关注区域的一个或多个区域，然后可以基于该预览图像构建期望的多分辨率图像。在另一实施例中，关注区域可以自动被确定，诸如基于被捕获的场景的已知或确定的特征(例如，安全应用中的门)，并且图像的其余部分可以被视为低分辨率区域。在又一些实施例中，可以确定关注区域，使得图像的中心区域被分配有更高分辨率，随后是作为具有较低分辨率(以降序排列)或相同分辨率的其它区域被分配的一个或多个周围区域。本领域的技术人员将理解，还可以使用确定关注区域的其它传统方法，诸如基于捕获场景的多个摄像机的视图来确定重叠的覆盖区域，并将该重叠的区域确定为关注区域。尽管上面的示例示出了四个区域，但是应当理解，可以存在具有被单独分配的分辨率的更少或更多区域。在一个实施例中，可以存在具有较高分辨率(例如，原生分辨率)的一个关注区域，并且图像的其余部分可被视为具有比关注区域更低的分辨率的第二区域。
在此针对每个区域公开的扩展矩阵(E)允许相应的较低分辨率区域
Figure BDA0001660981040000101
与原始的原生分辨率区域xi之间的映射。一般而言，获得原始分辨率矩阵或区域(d)包括以大小为q×q的块重复低分辨率矩阵或区域
Figure BDA0001660981040000102
的元素，其中
Figure BDA0001660981040000111
作为一个特定示例，可以使用扩展矩阵12×2将四元素低分辨率矩阵或区域
Figure BDA0001660981040000112
映射到原生分辨率的16元素矩阵或区域d，如下所示：
Figure BDA0001660981040000113
换句话说，从原始的原生分辨率区域(d)获得低分辨率矩阵或区域(
Figure BDA0001660981040000115
)涉及将位于大小为q×q的块(Bq×q)内的原始分辨率矩阵(d)的元素求和为：
Figure BDA0001660981040000114
图6示出了适合于实施本公开的各方面(例如，处理200的一个或多个步骤)的计算装置600的高级框图。虽然以单个框示出，但是在其它实施例中，装置600也可以使用并行和分布式架构来实现。因此，例如，具有上述图1的架构100的各种单元中的一个或多个，以及此处公开的其它组件可以使用装置200来实现。而且，可以使用装置600顺序地，并行地或以基于特定实现的不同顺序来执行诸如在处理200的示例中示出的各个步骤。示例性装置600包括处理器602(例如中央处理单元(CPU))，其与各种输入/输出设备604和存储器606通信地互连。
处理器602可以是任何类型的处理器，诸如通用中央处理单元(“CPU”)或诸如嵌入式微控制器之类的专用微处理器或数字信号处理器(“DSP”)。输入/输出设备604可以是在处理器602的控制下操作并被配置为将数据输入到装置600或从装置600输出数据的任何外围设备，例如网络适配器、数据端口和各种用户接口设备(如键盘、小键盘、鼠标或显示器)。
存储器606可以是适合于存储和访问电子信息的任何类型的存储器或它们的组合，诸如暂时性随机存取存储器(RAM)或非暂时性存储器，如只读存储器(ROM)、硬盘驱动器存储器、数据库存储器、光盘驱动器存储器、光存储器等。存储器606可以包括数据和指令，当由处理器602执行时，所述指令可以配置或使得装置600执行或实施上文描述的功能或方面(例如，处理200的一个或多个步骤)。另外，装置600还可以包括通常在计算系统中找到的其它组件，诸如存储在存储器606中并由处理器602执行的操作系统、队列管理器、设备驱动程序、数据库驱动程序或一个或多个网络协议。
虽然图6示出了装置600的一个特定实施例，但是根据本公开的各个方面还可以使用一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或专用或可编程硬件的任何其它组合来实现。
尽管已经参考特定实施例描述了本文的各个方面，但是应该理解，这些实施例仅仅是对本公开的原理和应用的例示。因此应该理解，可以对说明性实施例做出许多修改，并且在不偏离本公开的精神和范围的情况下，可以设计其它布置。

Claims (19)

1.一种用于处理压缩感知图像的装置，所述装置包括：
存储器，其用于存储指令和数据；以及
处理器，其在通信上与所述存储器耦合并被配置为访问所述数据和所述指令，所述指令当由所述处理器执行时配置所述处理器以：
取回使用M×N压缩感知矩阵生成的M个压缩感知测量，所述压缩感知测量表示场景的单个原生分辨率的N像素图像的压缩版本；
确定要从所述压缩感知测量重构的期望二维多分辨率图像的大小；
基于所确定的大小，将多个区域分配给所述期望二维多分辨率图像，其中所分配的多个区域中的每一者具有等于或小于所述单个原生分辨率图像的原生分辨率的确定像素分辨率；
针对每个相应的所分配区域定义扩展矩阵，每个扩展矩阵的维度基于所分配区域的确定像素分辨率，针对每个相应的所分配区域来确定；以及
使用所述压缩感知测量、所述压缩感知矩阵、以及所定义的扩展矩阵，生成所述场景的多分辨率重构图像。
2.根据权利要求1所述的装置，其中，所述处理器进一步被配置为：在取回所述压缩感知测量之后分配所述多个区域。
3.根据权利要求1所述的装置，其中，所述处理器进一步被配置为：分配具有比其它所分配区域高的确定像素分辨率的至少一个关注区域。
4.根据权利要求3所述的装置，其中，所述处理器进一步被配置为：通过改变所分配的关注区域中的一者或通过添加额外的关注区域，重新配置所分配的关注区域。
5.根据权利要求3所述的装置，其中，所述处理器进一步被配置为：基于手动输入生成至少一个关注区域。
6.根据权利要求3所述的装置，其中，所述处理器进一步被配置为：自动生成至少一个关注区域。
7.一种用于处理压缩感知图像的计算机实现的方法，所述方法包括：
取回使用M×N压缩感知矩阵生成的M个压缩感知测量，所述压缩感知测量表示场景的单个原生分辨率的N像素图像的压缩版本；
确定要从所述压缩感知测量重构的期望二维多分辨率图像的大小；
基于所确定的大小，将多个区域分配给所述期望二维多分辨率图像，其中所分配的多个区域中的每一者具有等于或小于所述单个原生分辨率图像的原生分辨率的确定像素分辨率；
针对每个相应的所分配区域定义扩展矩阵，每个扩展矩阵的维度基于所分配区域的确定像素分辨率，针对每个相应的所分配区域来确定；以及
使用所述压缩感知测量、所述压缩感知矩阵、以及所定义的扩展矩阵，生成所述场景的多分辨率重构图像。
8.根据权利要求7所述的计算机实现的方法，进一步包括：在取回所述压缩感知测量之后分配所述多个区域。
9.根据权利要求7所述的计算机实现的方法，分配具有比其它所分配区域高的确定像素分辨率的至少一个关注区域。
10.根据权利要求9所述的计算机实现的方法，进一步包括：通过改变所分配的关注区域中的一者或通过添加额外的关注区域，重新配置所分配的关注区域。
11.根据权利要求9所述的计算机实现的方法，进一步包括：基于手动输入生成至少一个关注区域。
12.根据权利要求9所述的计算机实现的方法，进一步包括：自动生成至少一个关注区域。
13.根据权利要求7所述的计算机实现的方法，进一步包括：在显示器上显示所述场景的所生成的多分辨率重构图像。
14.一种非暂时性计算机可读介质，包括用于配置处理器以执行以下操作的一个或多个指令：
取回使用M×N压缩感知矩阵生成的M个压缩感知测量，所述压缩感知测量表示场景的单个原生分辨率的N像素图像的压缩版本；
确定要从所述压缩感知测量重构的期望二维多分辨率图像的大小；
基于所确定的大小，将多个区域分配给所述期望二维多分辨率图像，其中所分配的多个区域中的每一者具有等于或小于所述单个原生分辨率图像的原生分辨率的确定像素分辨率；
针对每个相应的所分配区域定义扩展矩阵，每个扩展矩阵的维度基于所分配区域的确定像素分辨率，针对每个相应的所分配区域来确定；以及
使用所述压缩感知测量、所述压缩感知矩阵、以及所定义的扩展矩阵，生成所述场景的多分辨率重构图像。
15.根据权利要求14所述的非暂时性计算机可读介质，进一步包括用于配置所述处理器以执行以下操作的一个或多个指令：在取回所述压缩感知测量之后分配所述多个区域。
16.根据权利要求15所述的非暂时性计算机可读介质，进一步包括用于配置所述处理器以执行以下操作的一个或多个指令：分配具有比其它所分配区域高的确定像素分辨率的至少一个关注区域。
17.根据权利要求16所述的非暂时性计算机可读介质，进一步包括用于配置所述处理器以执行以下操作的一个或多个指令：通过改变所分配的关注区域中的一者或通过添加额外的关注区域，重新配置所分配的关注区域。
18.根据权利要求16所述的非暂时性计算机可读介质，进一步包括用于配置所述处理器以执行以下操作的一个或多个指令：基于手动输入生成至少一个关注区域。
19.根据权利要求16所述的非暂时性计算机可读介质，进一步包括用于配置所述处理器以执行以下操作的一个或多个指令：自动生成至少一个关注区域。
CN201680066675.3A 2015-11-16 2016-11-07 多分辨率压缩感知图像处理 Expired - Fee Related CN108475420B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/942,020 2015-11-16
US14/942,020 US9615024B1 (en) 2015-11-16 2015-11-16 Multi-resolution compressive sensing image processing
PCT/US2016/060769 WO2017087194A1 (en) 2015-11-16 2016-11-07 Multi-resolution compressive sensing image processing

Publications (2)

Publication Number Publication Date
CN108475420A CN108475420A (zh) 2018-08-31
CN108475420B true CN108475420B (zh) 2022-04-08

Family

ID=57321461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066675.3A Expired - Fee Related CN108475420B (zh) 2015-11-16 2016-11-07 多分辨率压缩感知图像处理

Country Status (6)

Country Link
US (1) US9615024B1 (zh)
EP (1) EP3378035A1 (zh)
JP (1) JP6689379B2 (zh)
KR (1) KR102096767B1 (zh)
CN (1) CN108475420B (zh)
WO (1) WO2017087194A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170105327A (ko) * 2016-03-09 2017-09-19 한국전자통신연구원 이종 사물 인터넷 플랫폼 기반 정보 수집장치, 정보 분석장치 및 정보 전달방법
CN109194923B (zh) * 2018-10-18 2023-08-29 眸芯科技（上海）有限公司 基于局部非均匀分辨率的视频图像处理设备、系统及方法
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632341A (zh) * 2013-08-30 2014-03-12 王勇 一种塔式分解和字典学习的带噪cs-mri重构方法
CN103985145A (zh) * 2014-03-04 2014-08-13 西安电子科技大学 一种基于联合稀疏和先验约束的压缩感知图像重构方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006116134A2 (en) 2005-04-21 2006-11-02 William Marsh Rice University Method and apparatus for compressive imaging device
JP2010527523A (ja) * 2007-04-18 2010-08-12 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー タイムコンシステントな３次元メッシュシーケンスのスケーラブルな圧縮方法
US8515171B2 (en) * 2009-01-09 2013-08-20 Rochester Institute Of Technology Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof
US8478029B2 (en) * 2009-05-26 2013-07-02 Tandent Vision Science, Inc. Multi-resolution analysis in image segregation
US8340415B2 (en) * 2010-04-05 2012-12-25 Microsoft Corporation Generation of multi-resolution image pyramids
US9634690B2 (en) * 2010-09-30 2017-04-25 Alcatel Lucent Method and apparatus for arbitrary resolution video coding using compressive sampling measurements
US9084036B2 (en) 2011-05-17 2015-07-14 Alcatel Lucent Signal source localization using compressive measurements
DE102012205847A1 (de) * 2012-04-11 2013-10-17 Siemens Aktiengesellschaft Bilderzeugung mit Mehrfachauflösung
KR101452984B1 (ko) * 2012-06-22 2014-10-21 재단법인대구경북과학기술원 터치스크린을 이용한 영상 제어 방법
US9552658B2 (en) * 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US9070218B2 (en) 2013-07-01 2015-06-30 Xerox Corporation Reconstructing an image of a scene captured using a compressed sensing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632341A (zh) * 2013-08-30 2014-03-12 王勇 一种塔式分解和字典学习的带噪cs-mri重构方法
CN103985145A (zh) * 2014-03-04 2014-08-13 西安电子科技大学 一种基于联合稀疏和先验约束的压缩感知图像重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Arbitrary Resolution Video Coding using Compressive Sensing;Hong Jiang et al.;《Workshop on Picture Coding and Image Processing, PCSJ2010/IMPS2010》;20101231;全文 *

Also Published As

Publication number Publication date
JP2019503105A (ja) 2019-01-31
US9615024B1 (en) 2017-04-04
EP3378035A1 (en) 2018-09-26
WO2017087194A1 (en) 2017-05-26
JP6689379B2 (ja) 2020-04-28
KR102096767B1 (ko) 2020-04-06
KR20180070653A (ko) 2018-06-26
CN108475420A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
US11493675B2 (en) Single-sensor hyperspectral imaging device
CN110136056B (zh) 图像超分辨率重建的方法和装置
JP6652510B2 (ja) 圧縮センシング撮像のためのシステムおよび方法
CN108475420B (zh) 多分辨率压缩感知图像处理
CN104065891A (zh) 机器视觉3d线扫描图像获取及处理
EP3172698A1 (en) Compact multifunctional system for imaging spectroscopy
US20150003738A1 (en) Adaptive quality image reconstruction via a compressed sensing framework
CN106683174B (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
US20180160071A1 (en) Feature Detection In Compressive Imaging
US8704886B2 (en) Methods and apparatus to form a wavelet representation of a pathology slide having glass and tissue regions
JP2017069948A (ja) 信号観測装置及び信号観測方法
JP6128745B2 (ja) 放射線撮影制御装置、放射線撮影装置、ｃアーム撮影装置及び放射線撮影の制御方法
JP2017069947A (ja) 信号観測装置及び信号観測方法
EP3162072A1 (en) Systems and methods for compressive sense imaging
JP6202725B2 (ja) 画像差分量算出装置、画像符号化装置及びプログラム
WO2019122426A1 (en) Apparatus and method
US8977049B2 (en) System and method for estimating signal-dependent noise of an image
JP6475269B2 (ja) 圧縮センシング撮像
JP2017521942A5 (zh)
Abraham Sundar et al. Multi-frame super-resolution using adaptive normalized convolution
CN107657610B (zh) 一种基于计盒方法的ct扫描结果分析方法
Larcom et al. Foveated image formation through compressive sensing
US10091441B1 (en) Image capture at multiple resolutions
Thouvenin et al. Parallel faceted imaging in radio interferometry via proximal splitting (Faceted HyperSARA): when precision meets scalability
CN106408516B (zh) 一种定向遥感的数据采集和重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220408

CF01 Termination of patent right due to non-payment of annual fee