CN105225207B - 一种基于观测矩阵的压缩感知成像及图像重建方法 - Google Patents

Abstract

本发明提供一种基于观测矩阵的压缩感知成像方法，包括：1)在待感知图像中划分为显著性区域和非显著性区域；2)设置观测矩阵的孔径，所述观测矩阵中，对应于显著性区域的像素尺寸小于其余区域的像素尺寸；3)生成满足有限等距特性的矩阵，将所生成的矩阵各个像素的像素值依序填充到步骤2)设置的观测矩阵中，得到孔径可变观测矩阵；4)基于所述孔径可变观测矩阵获取并记录待感知图像的观测值。本发明能够在保证图像质量的前提下大幅减少压缩感知成像的数据量；能够在保证图像质量的前提下显著减少采样次数，节省采样时间；另外，本发明可直接应用于相机的成像系统，从而在图像采集阶段直接降低采集数据量。

Description

一种基于观测矩阵的压缩感知成像及图像重建方法

技术领域

本发明涉及计算机图像采集和处理领域，具体地说，本发明涉及一种基于观测矩阵的压缩感知成像及图像重建方法。

背景技术

根据经典的Nyquist采样定律，信号的采样频率需要至少是信号带宽的2倍，才能无失真的从数字信号中恢复出原始信号。近些年来，人们利用压缩感知的方法，对稀疏信号进行了大幅度的压缩，在稀疏信号上突破了Nyquist采样定律，使得图像采集设备成本大大降低，同时降低了数据的存储空间，能够利用少量的采样数据便可以恢复出高质量的图像。

下面对压缩感知技术做简要介绍。在现实世界中，人们经常需要对信号进行观测，例如医学图像成像、CT断层扫描等，以期通过观测信息对原始的信号进行重建。由于计算机的数据是离散化存储的，因此可将需重建的信号A抽象为一N维向量，将对信号A的观测抽象为用一n*N的矩阵X与信号A进行乘积，得到一个观测值B。其公式如下：

AX＝B

那么为了重建信号A，理论上需要进行n次观测。根据线性代数的知识，为了使方程能够有唯一的解，要满足n≥N，也就是至少需要N次的观测。那么放在图像采集领域，要在现实中采集得到一幅128*128的图像，即原始信号A抽象为N＝128*128的向量，通过一组观测矩阵n*N进行观测，得到n个观测值，为了能够唯一地重建128*128的图像，需要n＝128*128(即16384)次观测。

然而在现实世界中的自然信号通常都具有一定的规律性，即将自然信号通过某种变换得到的信号是稀疏的，这种稀疏性是指：信号变换后大多数系数都近似于0。例如，自然图像用小波基底展开后，一般而言，其展开系数大多数绝对值很小，这也就是图像能够进行压缩的原理。基于这样的原理，就可以设计一组特殊的观测矩阵，得到原始图像在某一变换基底下的采样，并且这种采样只需要少量的数据就能够通过恢复算法得到原始图像。因此，基于压缩感知技术，能够突破了Nyquist采样定律，使得图像采集设备成本大大降低，同时降低了数据的存储空间。然而，随着计算机技术的发展，人们对于图像信息的需求也日益强烈，高质量高分辨率的图像也不断刷新着分辨率的记录。即便采用了现有的压缩感知成像方案，仍然难以很好地满足信息的存储空间越来越大的需求，成像设备的制造也越来越难。

因此，当前迫切需要一种能够进一步提高图像压缩效率的压缩感知成像解决方案。

发明内容

本发明的任务是提供一种能够进一步提高图像压缩效率的压缩感知成像解决方案。

根据本发明的一个方面，提供了一种基于观测矩阵的压缩感知成像方法，包括下列步骤：

1)在待感知图像中划分为显著性区域和非显著性区域；

2)设置观测矩阵的孔径，所述观测矩阵中，对应于显著性区域的像素尺寸小于其余区域的像素尺寸；

3)生成满足有限等距特性的矩阵，将所生成的矩阵各个像素的像素值依序填充到步骤2)设置的观测矩阵中，得到孔径可变观测矩阵；

4)基于所述孔径可变观测矩阵获取并记录待感知图像的观测值。

其中，所述步骤3)中，所述满足有限等距特性的观测矩阵包括但不仅限于：高斯随机矩阵或者贝努利矩阵(例如哈达玛矩阵)等。

其中，所述像素的形状均为方形。

其中，所述步骤3)还包括：对步骤2)设置的观测矩阵中的所有像素从左至右、从上至下依次编号；在编号过程中，从非显著性区域进入显著性区域时，像素尺寸缩小，此时从显著性区域左上角开始继续编号，完成显著性区域右下角编号后，从显著性区域回到非显著性区域，继续对非显著性区域的像素进行编号，直至对观测矩阵的所有像素编号完毕。

其中，所述步骤1)中，对于显著性区域，进一步划分至少两个显著性级别；

所述步骤2)中，所述观测矩阵中，高显著性级别的区域的像素尺寸小于低显著性级别的区域的像素尺寸。

根据本发明的另一个方面，还提供了一种基于上述基于观测矩阵的压缩感知成像方法的压缩感知图像重建方法，包括下列步骤：

a)根据所述待感知图像的观测值，基于对应于的压缩感知重建算法，得到原始重建图像；所述对应于的压缩感知重建算法是所述步骤3)中生成满足RIP特性的矩阵所对应的压缩感知重建算法；

b)将原始重建图像各个像素的值依序填充到所述步骤2)所设置的观测矩阵中，得到修正后的重建图像。

其中，所述步骤a)中，所述满足RIP特性的矩阵所对应的压缩感知重建算法是斯随机矩阵或者贝努利矩阵(例如哈达玛矩阵)所对应的压缩感知重建算法。

其中，所述步骤b)中，在将原始重建图像各个像素的值依序填充时，被填充的观测矩阵的各个像素编号方法如下：所有像素从左至右、从上至下依次编号；在编号过程中，从非显著性区域进入显著性区域时，像素尺寸缩小，此时从显著性区域左上角开始继续编号，完成显著性区域右下角编号后，从显著性区域回到非显著性区域，继续对非显著性区域的像素进行编号，直至对观测矩阵的所有像素编号完毕。

与现有技术相比，本发明具有下列技术效果：

1、本发明能够在保证图像质量的前提下大幅减少压缩感知成像的数据量。

2、本发明能够在保证图像质量的前提下显著减少采样次数，节省采样时间。

3、本发明可直接应用于相机的成像系统，在图像采集阶段直接降低采集数据量。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了一幅128*128的观测矩阵的示例；

图2示出了图1的观测矩阵叠加一幅图像后的示例；

图3示出了本发明一个实施例中对待感知图像显著性区域划分的示例；

图4示出了本发明一个实施例中所生成的观测矩阵的示例；

图5示出了本发明一个实施例所采用的压缩感知成像系统的示意图；

图6示出了本发明一个实施例的重建图像示例；

图7示出了传统的压缩感知成像方案的重建图像示例；

图8示出了待压缩感知图像的一个简单示例；

图9示出了一个用图像形象化表示的传统观测矩阵示例；

图10示出了一个对传统观测矩阵各像素编号的示例；

图11示出了用传统观测矩阵对原始待感知图像进行观测的示意图；

图12示出了基于图9的传统观测矩阵的观测值重建的图像；

图13示出了本发明一个实施例中对原始图像进行分块的示意图；

图14示出了本发明一个实施例中对孔径可变观测矩阵各个像素进行编号的示例；

图15示出了本发明一个实施例中对孔径可变观测矩阵各个像素填充0、1数值后的示意图；

图16示出了图15的孔径可变观测矩阵叠加到待感知图像的示意图；

图17示出了对本发明一个实施例的观测值按传统方法重建的原始重建图；

图18示出了按图14所示的像素尺寸和位置，基于编号顺序对原始重建图像进行修正后的正确重建图。

具体实施方式

发明人对现有的感知成像技术进行了深入分析。在现有采用压缩感知成像技术来进行图像采集的方案中，首先根据算法的要求设计一组测量矩阵，该测量矩阵用于图像数据的观测和图像的重建。实际测量中需要使用这组测量矩阵来观测数据，通常的做法是将矩阵显示在专用设备(例如液晶空间光调制器，DMD等)上，然后通过一定的光路设计，使得在成像过程中成像对象的反射光先通过写入观测矩阵的专用设备，然后再照射到CCD上，从而使得图像与显示的观测矩阵叠加在一起，得到相应观测矩阵下的观测值。图1示出了一幅128*128的观测矩阵的示例，图2示出了图1的观测矩阵叠加一幅图像后的示例。

参考图1，现有压缩感知成像方案中，图像重建质量平均。即压缩感知成像利用的观测矩阵在实际采样过程中使用的是等大小的孔径，也就是说观测矩阵的像素大小是一致的，这样对原始图像的每一个像素都是公平对待，最后原始图像的每一个像素的重建质量是一样的，并没有结合图像的特点。而现实中的绝大多数图像都是突出显示的目标的，也就是说图像是有显著性区域的，通常作为图像的边界或者轮廓的地方需要重点清晰的显示，而平滑过渡的地方不需要，例如图2中的花朵需要重点显示的是花瓣的轮廓和细节，而图像的绝大部分都是平滑的背景，并不需要清晰的显示，这样现有技术的压缩感知成像方案的平均采样就会浪费较多的带宽，对不必要的区域做出一些无谓的采样，而不能明显提升整体图像的效果。

基于上述分析，根据本发明的一个实施例提出了一种非平均采样的基于观测矩阵的压缩感知成像方法，包括下列步骤：

步骤101：识别待感知图像中的显著性区域。如前文所述，通常作为图像的边界或者轮廓的地方需要重点清晰的显示，将其作为显著性区域，而平滑过渡的地方不需要重点显示，因此作为非显著性区域。显著性区域的识别方法有多种，例如:IT方法、MZ方法等(可参考文献：魏昱，图像显著性区域监测方法及应用研究，山东大学，计算机应用技术，2012，博士)。

步骤102：构建像素尺寸不均匀的观测矩阵。观测矩阵中，对应于图像显著性区域的部分使用尺寸较小的像素，对应于非显著性区域的部分使用尺寸较大的像素。在本文中，也将像素尺寸不均匀的观测矩阵称为孔径可变观测矩阵。

以图2对应的原始待感知图像为例进行说明。首先根据待感知图像的特点将图像划分为显著性区域和非显著性区域。本实施例将该花朵图像划分为如图3所示的两个区域。其中待感知图像总大小为256*256，将图像中花朵部分分割出来作为显著性区域，其大小为112*116，由于在花朵部分存在较多的图像细节，这部分需要重点采集和显示，因此将像素大小(也就是实际采样中的孔径大小)设置为1*1单位，其中单位1代表用于生成观测矩阵的专用设备的原始像素大小，它是该设备的最小显示单元。对于图像的其它区域，由于属于背景区域，没有图像的太多细节，因此将其作为非显著性区域，本实施例中将其像素大小设置为4*4单位，也就是其像素面积是中间区域的4倍，然后利用传统的压缩感知观测矩阵(例如：高斯随机矩阵、贝努利矩阵矩阵等)生成观测矩阵的值，依照设置的像素依序进行填充，得到的其中一个观测矩阵如图4所示，它是128*128个测量矩阵中的一个，仅作为示例示出。

为更加便于理解，再以图8对应的待感知图像为例进行说明。假设待压缩感知图像如图8所示，对原始图像进行分块，分块的结果如图13所示。分块后分别对每一块进行显著性信息监测，显然中间两个圆的区域包含的图像细节更多，将这两个区域作为显著性区域，其余区域作为非显著性区域。采用0、1相间形式的8*8的观测矩阵。在构建观测矩阵时，对于显著性区域尽可能的分配较多的像素(采用较小的孔径)进行采样，细节较少的区域分配较少的像素(采用较大的孔径)，最终尽可能的使用8*8矩阵中的所有像素。在这个例子中，分配结果如图14所示，使用观测矩阵中的共46个有效像素。其中每个显著性区域各有16个像素，其余非显著性区域12个像素。显著性区域的像素尺寸(孔径)采用液晶光阀的最小孔径，即1*1单位，非显著性区域的像素尺寸采用4*4单位。对观测矩阵的大小像素统一进行编号，如图14所示，编号从左至右，从上至下依次进行。在编号过程中，从非显著性区域进入显著性区域时，像素尺寸缩小，此时从显著性区域左上角开始继续编号，完成显著性区域右下角编号后，从显著性区域回到非显著性区域，继续对非显著性区域的像素进行编号，直至对观测矩阵的所有像素编号完毕。这样观测矩阵的每个位置都对应唯一的一个编号。此时按照前文所述的0、1相间形式生成8*8共64个0、1值组成的序列，然后按照编号顺序依次填充到图14所示的各个像素中，得到图15所示的观测矩阵。这种像素尺寸不均的观测矩阵的构建方法也可以理解为：首先按传统方法生成原始观测矩阵，然后基于显著性区域的划分确定新观测矩阵的像素大小和位置，然后对新观测矩阵的像素进行统一编号，再从原始观测矩阵的每个像素处于依次读取0、1数值，把这些数值按照编号依次填充到新的像素大小不均的观测矩阵中，在填充过程中，原始观测矩阵中多余的像素值直接舍去即可。

步骤103：在压缩感知成像系统中，将步骤102所生成的观测矩阵输入到专用设备中，使得光线在通过观测矩阵的叠加后再被采集器所采集，得到并存储所采集到的图像测量值。需注意的是，本步骤中，由于观测矩阵有多个，因此需要进行相应次数的采集，才能得到重建被感知图像所需的观测值。

图5示出了本实施例所采用的压缩感知成像系统，其中控制传输板构建上述步骤102所述的像素尺寸不均匀的观测矩阵，然后将其输入到LCD控制板中，再由LCD控制板控制专用设备1中各个像素的亮度，从而在专用设备1显示出所需的观测矩阵。在成像过程中，光线进入成像系统后，先经过专用设备1，沿着同轴光路2传输，最后由采集器3接收，采集器3所接收的信号经放大器、滤波电路和模数转换模块后传输至控制传输板，再由传输板传输到LCD显示模块以及数据加速预览处理模块。经过基于多个观测矩阵的多次采集，即可获得重建被感知图像所需的观测值。

仍然以图8对应的待感知图像为例，图16示出了图15的观测矩阵叠加到待感知图像的示意图。通过这种叠加可以得到待感知图像(如图8所示)相应的观测值。

相应地，根据本发明的另一个实施例，还提供了一种基于观测矩阵的压缩感知成像图像重建方法，包括下列步骤：

步骤201：根据压缩感知成像算法，基于所得到的观测值计算出图像的一系列像素的重建值；

步骤202：将像素的重建值按照观测矩阵的像素位置和尺寸填充到重建图像的相应位置处，从而得到重建图像。

图6示出了以图2为待感知图像的本实施例的重建图像示例，图7则示出了传统的压缩感知成像方案的重建图像示例。对比图6和图7，可以看出本实施例的方案很好地恢复了原始待感知图像，并且显著性区域的显示效果优于传统的压缩感知成像方案。与此同时，本实施例的方案还显著地降低了重建图像所需的像素数目，减少了重建图像所需的观测次数，进而极大地降低了图像的数据量。另外，针对同一重建算法，由于采样次数直接影响到了图像的重建质量，如果要提升图像的分辨率和细节显示，就需要提高采样次数，平均采样想要达到对局部细节的精确描述，就需要更多次数的采样。如果设计不同尺寸的像素大小，也就是在图像局部细节处设计较小的像素大小，而背景设计较大的像素大小，这样图像的整体像素数量下降，采样次数也就下降，节省了采样时间。

再以图8对应的原始待感知图像为例，如果对观测值用传统的压缩感知重建方案进行重建，会得到如图17所示的重建图。对图17进行分析，可以看出其图像的后18个值都是0，也就是黑色。这主要原因是在采样的时候没有用到后18个值，也就是假定后面18个值都是0。但是这样的图像并不是所需要的原始图像。接下来将重建结果的图像的各个像素的值按照图14所示的像素尺寸不均匀的观测矩阵依编号顺序一一填充，就可以得到正确的重建图像，该修正后的正确重建图像如图18所示。需注意的是，在填充时，只用到了原重建图像的前46个像素值。从图18可以看出，按照本实施例的压缩感知成像及重建方法，可以获得信息损失较小的重建图像。需要说明的是，上述以0、1相间形式生成的观测矩阵仅仅是一个示例，在实际压缩感知成像时，使用的是高斯随机矩阵、贝努利矩阵等满足RIP特性的矩阵，并且对一幅待感知图像进行观测时，往往需要用多个观测矩阵进行多次观测，以获得足够的观测值来重建图像。

与传统的方案进行对比，假设待压缩感知图像如图8所示，计算机需要对这幅图像进行离散的采样才能够存储，假设离散的采样分辨率为8*8，即64个像素。按照传统的采样方法，如果需要重建8*8的图像，需要n＝64次采样，形象的来说，需要知道每一个像素的亮度值才能够恢复8*8的图像，这也是传统相机采样的原理。

而在传统的压缩感知采样中，设计观测矩阵，来对原始信号进行观测，这种观测实际上是对原始图像进行一种特殊的变换后的采样，观测矩阵的生成方法有多种，只要满足有限等距特性(Restricted Isometry Property,简称RIP)的矩阵都能够来做观测和重建，例如高斯随机矩阵、贝努利矩阵等。假设某一个观测矩阵0、1相间的值，用图像形象化的表示如图9所示(图9仅仅只是为了便于理解而给出的示例，并不是真实实验所采用的观测矩阵)。图10示出了对图9中各个像素进行编号后的结果，如图10所示，图9的矩阵一共包含64个像素。用上述均匀分布的观测矩阵对原始待感知图像进行观测，即两者进行叠加求和，如图11所示。通过一次观测可得到一个观测值，通过多次观测将得到n组观测值，n最大为64，也就是100％采样，当然压缩感知算法通常不需要100％的采样就能够恢复出完整的图像。然而在图11的例子中，由于观测矩阵的分辨率仅为8*8，因此其重建结果并不理想，重建结果如图12所示，可以看出由于采样分辨率较低，原始图像中的两个圆将变成两个灰色的方块，失真较大。

而本发明的基于压缩感知的可变孔径测量与重建方法，利用了图像显著性，减少采样次数，能够最大限度利用空间光调制器的刷新速度，提升图像重建质量，做到感知层面的图像压缩，图像质量高于一般压缩感知采集重建方法。

进一步地，在本发明的另一实施例中，还可以采用多尺度孔径，孔径不仅仅有两种。例如可以设置多个(大于2)显著性级别，孔径的大小跟图像区域的显著性级别对应，根据图像显著性设置相应的孔径大小。这样可以更加有效地减少采样次数，提升图像重建质量。

进一步地，在本发明的又一实施例中，图像区域分割和孔径不是正方形，而是根据图像的实际情况分割成不同形状的区域，同时根据不同的区域形状安排不同的孔径形状，从而以更细粒度利用图像显著性和图像的局部相关性，进一步减少采样次数。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (8)

1.一种基于观测矩阵的压缩感知成像方法，包括下列步骤：

1)在待感知图像中划分为显著性区域和非显著性区域；

2)设置观测矩阵的孔径，所述观测矩阵中，对应于显著性区域的像素尺寸小于其余区域的像素尺寸；

3)生成满足有限等距特性的矩阵，将所生成的矩阵各个像素的像素值依序填充到步骤2)设置的观测矩阵中，得到孔径可变观测矩阵；

4)基于所述孔径可变观测矩阵获取并记录待感知图像的观测值。

2.根据权利要求1所述的基于观测矩阵的压缩感知成像方法，其特征在于，所述步骤3)中，所述满足有限等距特性的观测矩阵包括：高斯随机矩阵或者贝努利矩阵。

3.根据权利要求1或2所述的基于观测矩阵的压缩感知成像方法，其特征在于，所述像素的形状均为方形。

4.根据权利要求3所述的基于观测矩阵的压缩感知成像方法，其特征在于，所述步骤3)还包括：对步骤2)设置的观测矩阵中的所有像素从左至右、从上至下依次编号；在编号过程中，从非显著性区域进入显著性区域时，像素尺寸缩小，此时从显著性区域左上角开始继续编号，完成显著性区域右下角编号后，从显著性区域回到非显著性区域，继续对非显著性区域的像素进行编号，直至对观测矩阵的所有像素编号完毕。

5.根据权利要求1所述的基于观测矩阵的压缩感知成像方法，其特征在于，所述步骤1)中，对于显著性区域，进一步划分至少两个显著性级别；

所述步骤2)中，所述观测矩阵中，高显著性级别的区域的像素尺寸小于低显著性级别的区域的像素尺寸。

6.一种基于权利要求1所述的基于观测矩阵的压缩感知成像方法的图像重建方法，其特征在于，包括下列步骤：

a)根据所述待感知图像的观测值，基于对应于的压缩感知重建算法，得到原始重建图像；所述对应于的压缩感知重建算法是所述步骤3)中生成满足有限等距特性的矩阵所对应的压缩感知重建算法；

b)将原始重建图像各个像素的值依序填充到所述步骤2)所设置的观测矩阵中，得到修正后的重建图像。

7.根据权利要求6所述的图像重建方法，其特征在于，所述步骤a)中，所述满足有限等距特性的矩阵所对应的压缩感知重建算法是高斯随机矩阵或者贝努利矩阵所对应的压缩感知重建算法。

8.根据权利要求6所述的图像重建方法，其特征在于，所述步骤b)中，在将原始重建图像各个像素的值依序填充时，被填充的观测矩阵的各个像素编号方法如下：所有像素从左至右、从上至下依次编号；在编号过程中，从非显著性区域进入显著性区域时，像素尺寸缩小，此时从显著性区域左上角开始继续编号，完成显著性区域右下角编号后，从显著性区域回到非显著性区域，继续对非显著性区域的像素进行编号，直至对观测矩阵的所有像素编号完毕。