CN106780638A - 一种高速相机压缩图像快速重建方法 - Google Patents

Abstract

本发明公开了一种高速相机压缩图像快速重建方法，首先，根据高速相机图像压缩标记矩阵，将已知像素填充到对应像素位置；然后，进行迭代循环，以未填充像素位置邻域内已知像素的最大值填充未填充像素位置，以未填充像素位置邻域内已知像素的最小值填充未填充像素位置，直到所有未填充像素被填充为止；最后，根据高速相机图像压缩标记矩阵，以未知像素邻域内所有像素的均值作为未知像素估计值，得到高速相机压缩图像重建图像。仿真试验结果表明本发明方法可有效提升高速相机压缩图像重建质量、速度。

Description

一种高速相机压缩图像快速重建方法

技术领域

本发明涉及高速成像技术领域，特指一种高速相机压缩图像快速重建方法。

背景技术

在空气动力学、流体力学、爆炸力学等诸多学科研究领域中，通常需要使用高速摄像机观测快速变化的物理或化学现象。在实际应用中，受相机数据传输接口带宽限制，高速相机拍摄的海量图像数据只能存储于相机内存中。高速相机在极短时间内产生海量图像数据，通常高达10GB，而高速相机内存容量有限，难以实现大容量图像数据存储，从而导致无法长时间拍摄高分辨率视频。

目前，在实际应用中，通常采取循环录制方式进行拍摄，这种拍摄方式会覆盖已拍摄图像，而产生信息丢失问题。为实现高速相机长时间拍摄，高速相机厂商提供了“thin-out”拍摄模式，通过降低成像分辨率或帧率，以减小相同拍摄时间内图像数据、增加录像时间。但是，这种以牺牲成像分辨率或帧率，来延长拍摄时间的“thin-out”模式，带来的直接后果是：当分辨率过低时，不能满足定量或定性分析需求；当帧率过低时，无法完整地捕捉快速变化对象。因此，从延长高速相机拍摄时长角度，非常有必要对高速相机拍摄图像进行压缩后，再存储或传输。

图像数据是高度冗余的，这决定了其具有可压缩性。通过图像压缩，可以在保证一定信息量前提下，大大降低图像数据量，有利于图像存储和传输。现有的图像压缩方法，多采用JPEG、MPEG、H.264、H.265等压缩算法或标准，这些算法或标准的优点是能够极大降低图像数据量，缺点是算法复杂非常高，即便采用专用硬件也只能实现低帧率视频（1920*1080,120fps）压缩，难以应用于帧率为1000fps以上的高速相机中。

近期，申请号为201510717618.4的发明专利《一种延长高速相机拍摄时长的方法》提出了一种可在FPGA上进行高速相机图像实时压缩以延长高速相机拍摄时长的方法。该方法为解决高速相机图像压缩提供了一条新思路。其基本方法是：如图1所示，在摄像机端进行图像压缩(a)、在计算机端进行图像重建(b)。

具体步骤如下：

1）在摄像机端，设置1个标记矩阵F，如图2所示，标记矩阵F大小为w*h，元素取值为0或1，w是采集图像宽度、h是采集图像高度；根据标记矩阵F中元素取值，对输入图像I_o进行压缩：当F(u,v)=0时，不采集像素p(u,v,q)，当F(u,v)=1时，采集像素p(u,v,q)，得到压缩图像I_c，下标c表示I_c为压缩图像， (u,v)是标记矩阵坐标，也是图像像素坐标；如图1所示，I_o上画“X”的像素被丢弃、不采集，未画“X”的像素被采集，I_o中的下标o表示I_o为输入图像；

2）在计算机端，创建大小为w*h的空白图像I，根据标记矩阵F，构建图3所示查找表L；根据查找表L将压缩图像I_c中像素填充到空白图像I对应像素位置，得到重排序图像I_s，下标s表示I_s为重排序图像；在重排序图像I_s中，已填充的像素来源于压缩图像I_c，未填充的像素是需要估计其像素值的；通过开关中值滤波估计未填充像素的像素值，完成压缩图像重建，得到重建图像I_r。

《一种延长高速相机拍摄时长的方法》专利中的仿真试验证明了上述方法的有效性，但是，该专利的图像重建算法，在图像重建质量、速度方面，还需进一步提升。特别是，当压缩率较高时，比如等于99%时，该专利的图像重建算法需要选择较大的图像滤波窗口，才能保证所有未采集像素被恢复出来。然而，较大尺寸滤波窗口，不但引起图像模糊问题、导致重建图像质量下降，而且明显增加图像重建时间。

为提升高速相机压缩图像重建质量和效率，本发明公开一种高速相机压缩图像快速重建方法。仿真试验结果表明：本发明方法，在压缩图像重建质量和速度两个方面，均明显优于《一种延长高速相机拍摄时长的方法》专利中方法。

发明内容

本发明的目的是提供一种高速相机压缩图像快速重建方法，用于提升高速相机压缩图像重建质量、速度。

为达到上述目的，本发明采用的技术方案是：首先，根据高速相机图像压缩标记矩阵，将已知像素填充到对应像素位置；然后，进行迭代循环，以未填充像素位置邻域内已知像素的最大值填充未填充像素位置，以未填充像素位置邻域内已知像素的最小值填充未填充像素位置，直到所有未填充像素被填充为止；最后，根据高速相机图像压缩标记矩阵，以未知像素邻域内所有像素的均值作为未知像素估计值，得到高速相机压缩图像重建图像，具体操作步骤如下：

第一步：根据高速相机图像压缩标记矩阵F，对压缩图像I_c进行像素重排序，得到重排序图像I_s；

第1.1步：根据相机拍摄图像宽度w、高度h、像素深度b，w、h的单位为像素，取值范围为（0~10000000），b的单位为bits，取值范围为（1~100），生成一幅宽度为w、高度为h、像素深度为b的空白图像I，I中任意像素可表示为p(u,v,q)，u、v分别为像素在图像中的行坐标、列坐标, q为像素值，q的取值范围为（0~2^b-1）；

第1.2步：从图像压缩标记矩阵F左上角开始，按“Z”字型扫描，当F(u,v)=1时，在查找表L中记录F(u,v)的行坐标u、列坐标v，得到大小为2*K的查找表L，K为图像压缩过程中保留的像素数量，K的取值范围为（0~w*h）；

第1.3步，根据查找表L中第i个元素的取值(u,v)，以压缩图像I_c中第i个像素的像素值q，填充空白图像I中(u,v)位置处像素，依次遍历整个查找表L和压缩图像I_c，得到重排序图像I_s；

第二步：将重排序图像I_s中像素划分为已知像素集T、未知像素集E：

遍历重排序图像I_s中像素p(u,v,q)，当F(u,v)=1时，标记为已知像素t；当F(u,v)=0时，标记为未知像素e；K个已知像素t构成已知像素集T={t₁,...,t_k}，w*h-K个未知像素e构成未知像素集E={e₁,...}，其中*是乘法操作；

第三步：使用已知像素集T快速估计未知像素E的取值，进行压缩图像重建，得到重建图像I_r，下标r表示I_r是重建图像， 使用已知像素集T快速估计未知像素E取值的方法是：

定义未填充的未知像素e为e'、已填充的未知像素为e''；

定义操作为：遍历所有未填充的未知像素e'，利用未填充的未知像素e'的邻域N内所有已知像素t和所有已填充的未知像素e''构成像素集J，取像素集J的最大值q_x填充e', 下标x表示q_x是最大值；

定义操作b为：遍历所有未填充的未知像素e'，利用未填充的未知像素e'的邻域N内所有已知像素t和所有已填充的未知像素e''构成像素集J，取像素集J的最小值q_y填充e', 下标y表示q_y是最小值；

执行操作a和操作b共n次，n取值范围为(1~100)，当重排序图像I_s中不存在未填充的未知像素e'时，根据图像压缩标记矩阵F，遍历所有未知像素E，取未知像素e的邻域N内像素的均值q_m作为未知像素e的估计值，下标m表示q_m是均值，完成压缩图像重建，得到重建图像I_r；

具体实现如下：

第3.1步：构建填充标记矩阵F'，令F'=F，F'中元素取值为0或1；当F'(u,v)=0时，表示p(u,v,q)为未填充的未知像素e'；当F'(u,v)=1时，表示p(u,v,q)是已知像素t或已填充的未知像素e''；

第3.2步：计算F'中所有元素和S=sum(F')，sum是求和操作，当S=w*h时，转入第3.3步，当S<w*h时，执行如下操作：

第3.2.1步：遍历填充标记矩阵F'，当F'(u,v)=0时，取重排序图像I_s中像素p(u,v,q)的邻域N内、对应标记F'(u',v')=1的所有像素p'(u',v',q')构成像素集J，计算像素集J的最大值q_x，用最大值q_x代替像素p(u,v,q)，即：q=q_x，并使F'(u,v)=1；

第3.2.2步：遍历填充标记矩阵F'，当F'(u,v)=0时，取重排序图像中像素p(u,v,q)的邻域N内、对应标记F'(u',v')=1的所有像素p'(u',v',q')构成像素集J，计算像素集J的最小值q_y，用最小值q_y填充当前像素p(u,v,q)，即：q=q_y，并使F'(u,v)=1；

第3.2.3步：返回第3.2步；

第3.3步：遍历压缩图像标记矩阵F，当F(u,v)=0时，取重排序图像I_s中像素p(u,v,q)邻域N内像素的均值q_m代替像素p(u,v,q)的像素值q，即：q=q_m；当F(u,v)=1时，不处理；得到压缩重建图像I_r；

其中，第3.2.1步和第3.2.2步的执行顺序可交换，(u',v')是邻域N内像素的位置坐标，第3.3步中的均值q_m可由邻域N内包括像素p(u,v,q)在内的所有像素计算，也可由邻域N内、除像素p(u,v,q)之外的所有像素计算；邻域N可选择4连通、8连通邻域，邻域N尺寸为b*g，b、g的取值范围为：（1~100）；为提升重建速度，邻域尺寸优先为3*3个像素，其中*表示乘法操作。

本发明的有益效果是：

（1）提升了高速相机压缩图像重建质量：图像具有局部平滑特性，在《一种延长高速相机拍摄时长的方法》专利中，图像重建方法采用开关中值滤波估计未知像素的像素值，这里的未知像素也就是重排序图像中未填充的像素。开关中值滤波是一种非线性估计方法，难以有效保证图像局部平滑性。特别地，当压缩率较高、已知像素较少时，中值滤波估计结果容易使图像内容产生突变。本发明方法，是通过邻域内已知像素的最大值、最小值来限定未知像素的取值范围，再以最大值、最小值和已知像素的均值作为估计值，该估计值又可近似为邻域内已知像素取值的中位数与已知像素均值的平均。邻域内已知像素取值的中位数与已知像素均值的平均，相比邻域内已知像素的中值更接近于未知像素的真值，且与邻近像素保持良好相似性，可有效避免图像内容产生较大突变，保持图像局部平滑特性。从图5的重建效果、图6~图9的定量分析对比结果，也可以看出本发明重建方法优于《一种延长高速相机拍摄时长的方法》。

（2）提升了高速相机压缩图像重建速度：在《一种延长高速相机拍摄时长的方法》专利中，采用开关中值滤波方法用于图像重建，当图像压缩率较高时，需要采用较大邻域尺寸，比如15*15像素，较大邻域尺寸，所需处理的数据量大，处理速度慢，并且还会引起图像模糊问题，如图5中3、4、5所示，产生了明显的图像模糊现象。本发明，采用3*3像素邻域尺寸，通过多次迭代完成所有未知像素填充。3*3像素邻域尺寸，所需处理的数据量小、速度快。实验表明：在压缩率为99%时，相比《一种延长高速相机拍摄时长的方法》专利，本发明方法处理速度可提升2.3倍。

附图说明

图1是高速压缩图像压缩及重建处理流程.

图中，I_o是输入图像，方格中数值为图像像素值，I_c是压缩图像，F是图像压缩标记矩阵，I_s是重排序图像，L是重排序用查找表，I_r是重建图像，I_o图像上画“X”的像素被丢弃、不被采集，未画“X”的像素被采集。

图2是标记矩阵F示意图。

图中，方格表示矩阵F中元素，取值为1表示在图像压缩过程中当前位置像素被保留；取值为0表示在图像压缩过程中当前位置像素被丢弃，“……”是省略符。

图3是查找表L示意图。

图中，第一行为F中取值为1的元素的行坐标，第二行为F中取值为1的元素的列坐标，“……”是省略符。

图4是划分已知像素、未知像素示意图。

图中，t为已知像素，e为未知像素。

图5是压缩图像重建效果对比。

图中，1是Lena原始图像，2是《一种延长高速相机拍摄时长的方法》在压缩率为60%时重建效果，3是《一种延长高速相机拍摄时长的方法》在压缩率为90%时重建效果，4是《一种延长高速相机拍摄时长的方法》在压缩率为95%时重建效果，5是《一种延长高速相机拍摄时长的方法》在压缩率为99%时重建效果，6是本发明方法在压缩率为60%时重建效果，7是本发明方法在压缩率为90%时重建效果，8是本发明方法在压缩率为95%时重建效果，9是本发明方法在压缩率为99%时重建效果。

图6是压缩率10%~90%时PSNR对比结果。

图中，纵轴为PSNR ，横轴为压缩率，线条A为《一种延长高速相机拍摄时长的方法》重建结果，线条B是本发明方法重建结果。

图7是压缩率10%~90%时SSIM对比结果。

图中，纵轴为SSIM，横轴为压缩率，线条A为《一种延长高速相机拍摄时长的方法》重建结果，线条B是本发明方法重建结果。

图8是压缩率91%~99%时PSNR对比结果。

图中，纵轴为PSNR ，横轴为压缩率，线条A为《一种延长高速相机拍摄时长的方法》重建结果，线条B是本发明方法重建结果。

图9是压缩率91%~99%时SSIM对比结果。

图中，纵轴为SSIM，横轴为压缩率，线条A为《一种延长高速相机拍摄时长的方法》重建结果，线条B是本发明方法重建结果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

对1024*1024像素，像素深度为8bits的压缩图像I_c进行重建处理，压缩率为90%，压缩标记矩阵F大小为1024*1024，其中104858个元素取值为1。

第一步：根据高速相机图像压缩标记矩阵F，对压缩图像进行像素重排序，得到重排序图像：

第1.1步：生成一幅1024*1024像素的空白图像I，像素深度为8bits；

第1.2步：从左上角开始，对压缩标记矩阵F，按“Z”字型扫描，当F(u,v)=1时，在查找表L中记录F(u,v)的行坐标u、列坐标v，得到大小为2*104858的查找表L；

第1.3步，根据查找表L，把压缩图像中像素写入空白图像I对应位置，得到重排序图像I_s；

第二步：将重排序图像中像素划分为已知像素集T、未知像素集E： 根据压缩标记矩阵F，将重排序图像中，像素p(u,v,q)的标记F(u,v)=1的像素标记为已知像素t，104858个已知像素构成已知像素集T，像素p(u,v,q)的标记F(u,v)=0的像素标记为未知像素e，943718个未知像素构成未知像素集E；

第三步：使用已知像素集T快速估计未知像素E的取值，进行压缩图像重建，得到重建图像I_r，像素邻域N取3*3像素8连通邻域；

第3.1步：构建填充标记矩阵F'，令F'=F；

第3.2步：计算F'中所有元素和S=sum(F')，当S=w*h时，转入第3.3步，当S<w*h时，执行如下操作：

第3.2.1步：遍历填充标记矩阵F'，当F'(u,v)=0时，取重排序图像I_r中像素p(u,v,q)的邻域N内、对应标记F'(u',v')=1的所有像素p(u',v',q')构成像素集J，计算像素集J的最大值q_x，用最大值q_x代替像素p(u,v,q)，并使F'(u,v)=1；

第3.2.2步：遍历填充标记矩阵F'，当F'(u,v)=0时，取重排序图像中像素p(u,v,q)的邻域N内、对应标记F'(u',v')=1的所有像素p(u',v',q')构成像素集J，计算像素集J的最小值q_y，用最小值q_y填充当前像素p(u,v,q)，并使F'(u,v)=1；

第3.2.3步：返回第3.2步；

第3.3步：遍历压缩图像标记矩阵F，当F(u,v)=0时，取重排序图像中像素p(u,v,q)邻域N内所有像素的均值q_m代替像素p(u,v,q)的像素值；当F(u,v)=1时，不处理；得到压缩重建图像I_r。

实施例2

实施例1 中第二步中第a步和第b步，交换顺序执行。

实施例3

实施例1中的均值q_m由像素p(u,v,q)的邻域N内除像素p(u,v,q)之外的所有像素计算。

实施例4

选用Lena图像进行评估测试，图像大小为1024*1024，像素深度为8bits，按照《一种延长高速相机拍摄时长的方法》中方法对图像进行压缩，图像压缩率分别设定为：10%-90%、步长10%，91%~99%、步长为1%。采用峰值信噪比（PSNR）、图像结构相似性(SSIM)，对压缩图像重建质量进行评估。

图5给出了压缩率为30%、90%、95%、99%时，本发明方法与《一种延长高速相机拍摄时长的方法》专利重建对比结果。在图5中，1是Lena原始图像，2是《一种延长高速相机拍摄时长的方法》在压缩率为60%时重建效果，3是“一种延长高速相机拍摄时长的方法”在压缩率为90%时重建效果，4是“一种延长高速相机拍摄时长的方法”在压缩率为95%时重建效果，5是“一种延长高速相机拍摄时长的方法”在压缩率为99%时重建效果，6是本发明方法在压缩率为60%时重建效果，7是本发明方法在压缩率为90%时重建效果，8是本发明方法在压缩率为95%时重建效果，9是本发明方法在压缩率为95%时重建效果。

从图5对比结果可以看出：《一种延长高速相机拍摄时长的方法》重建图像存在明显图像模糊问题，比如3、4、5；而本发明方法重建效果，在图像细节上明显优于《一种延长高速相机拍摄时长的方法》。

图6~图9，给出了不同压缩率情况下，重建结果定量分析对比结果。图中，横轴为压缩率，线条A为《一种延长高速相机拍摄时长的方法》重建结果，线条B是本发明方法重建结果。图6给出了10%-90%压缩率情况下PSNR对比结果，纵轴为PSNR；图7给出了10%-90%压缩率情况下SSIM对比结果，纵轴为SSIM；图8给出了10%-90%压缩率情况下PSNR对比结果，纵轴为PSNR；图9给出了91%-99%压缩率情况下SSIM对比结果，纵轴为SSIM。从图6~图9的定量对比结果可以看出：本发明方法重建图像质量优于《一种延长高速相机拍摄时长的方法》专利的方法。

实施例5

在不同压缩率水平下，测试第三步中的迭代次数n，实验结果如表1所示。可以看出经过10次以内迭代，即可完成最高99%压缩率情况下，高速相机压缩图像重建。此外，由于所采用的邻域N尺寸较小，为3*3个像素，因此，本发明算法的计算效率高。实验结果表明，本发明方法图像重建速度是《一种延长高速相机拍摄时长的方法》专利的2.3倍。

表1 不同压缩率情况下第三步迭代次数统计结果

压缩率(单位：%)	10	20	30	40	50	60	70	80	90
										迭代次数n	2	2	2	2	2	3	3	3	4
压缩率（单位：%）	0.91	0.92	0.93	0.94	0.95	0.96	0.97	0.98	0.99
										迭代次数n	4	4	5	5	6	7	8	9	10

Claims (1)

1.一种高速相机压缩图像快速重建方法，其特征是：首先，根据高速相机图像压缩标记矩阵，将已知像素填充到对应像素位置；然后，进行迭代循环，以未填充像素位置邻域内已知像素的最大值填充未填充像素位置，以未填充像素位置邻域内已知像素的最小值填充未填充像素位置，直到所有未填充像素被填充为止；最后，根据高速相机图像压缩标记矩阵，以未知像素邻域内所有像素的均值作为未知像素估计值，得到高速相机压缩图像重建图像，具体操作步骤如下：

第一步：根据高速相机图像压缩标记矩阵F，对压缩图像I_c进行像素重排序，得到重排序图像I_s；

第1.1步：根据相机拍摄图像宽度w、高度h、像素深度b，w、h的单位为像素，取值范围为（0~10000000），b的单位为bits，取值范围为（1~100），生成一幅宽度为w、高度为h、像素深度为b的空白图像I，I中任意像素可表示为p(u,v,q)，u、v分别为像素在图像中的行坐标、列坐标, q为像素值，q的取值范围为（0~2^b-1）；

第1.2步：从图像压缩标记矩阵F左上角开始，按“Z”字型扫描，当F(u,v)=1时，在查找表L中记录F(u,v)的行坐标u、列坐标v，得到大小为2*K的查找表L，K为图像压缩过程中保留的像素数量，K的取值范围为（0~w*h）；

第1.3步，根据查找表L中第i个元素的取值(u,v)，以压缩图像I_c中第i个像素的像素值q，填充空白图像I中(u,v)位置处像素，依次遍历整个查找表L和压缩图像I_c，得到重排序图像I_s；

第二步：将重排序图像I_s中像素划分为已知像素集T、未知像素集E：

遍历重排序图像I_s中像素p(u,v,q)，当F(u,v)=1时，标记为已知像素t；当F(u,v)=0时，标记为未知像素e；K个已知像素t构成已知像素集T={t₁,...,t_k}，w*h-K个未知像素e构成未知像素集E={e₁,...}，其中*是乘法操作；

第三步：使用已知像素集T快速估计未知像素E的取值，进行压缩图像重建，得到重建图像I_r，下标r表示I_r是重建图像， 使用已知像素集T快速估计未知像素E取值的方法是：

定义未填充的未知像素e为e'、定义已填充的未知像素定义为e''；

定义操作a为：遍历所有未填充的未知像素e'，利用未填充的未知像素e'的邻域N内所有已知像素t和所有已填充的未知像素e''构成像素集J，取像素集J的最大值q_x填充e', 下标x表示q_x是最大值；

定义操作b为：遍历所有未填充的未知像素e'，利用未填充的未知像素e'的邻域N内所有已知像素t和所有已填充的未知像素e''构成像素集J，取像素集J的最小值q_y填充e', 下标y表示q_y是最小值；

执行操作a和操作b共n次，n取值范围为(1~100)，当重排序图像I_s中不存在未填充的未知像素e'时，根据图像压缩标记矩阵F，遍历所有未知像素e，取未知像素e的邻域N内像素的均值q_m作为未知像素e的估计值，下标m表示q_m是均值，完成压缩图像重建，得到重建图像I_r；

具体实现如下：

第3.1步：构建填充标记矩阵F'，令F'=F，F'中元素取值为0或1；当F'(u,v)=0时，表示p(u,v,q)为未填充的未知像素e'；当F'(u,v)=1时，表示p(u,v,q)是已知像素t或已填充的未知像素e''；

第3.2步：计算F'中所有元素和S=sum(F')，sum是求和操作，当S=w*h时，转入第3.3步，当S<w*h时，执行如下操作：

第3.2.1步：遍历填充标记矩阵F'，当F'(u,v)=0时，取重排序图像I_s中像素p(u,v,q)的邻域N内、对应标记F'(u',v')=1的所有像素p'(u',v',q')构成像素集J，计算像素集J的最大值q_x，用最大值q_x代替像素p(u,v,q)，即：q=q_x，并使F'(u,v)=1；

第3.2.2步：遍历填充标记矩阵F'，当F'(u,v)=0时，取重排序图像中像素p(u,v,q)的邻域N内、对应标记F'(u',v')=1的所有像素p'(u',v',q')构成像素集J，计算像素集J的最小值q_y，用最小值q_y填充当前像素p(u,v,q)，即：q=q_y，并使F'(u,v)=1；

第3.2.3步：返回第3.2步；

第3.3步：遍历压缩图像标记矩阵F，当F(u,v)=0时，取重排序图像I_s中像素p(u,v,q)邻域N内像素的均值q_m代替像素p(u,v,q)的像素值q，即：q=q_m；当F(u,v)=1时，不处理；得到压缩重建图像I_r；

其中，第3.2.1步和第3.2.2步的执行顺序可交换，(u',v')是邻域N内像素的位置坐标，第3.3步中的均值q_m可由邻域N内包括像素p(u,v,q)在内的所有像素计算，也可由邻域N内、除像素p(u,v,q)之外的所有像素计算；邻域N可选择4连通、8连通邻域，邻域N尺寸为b*g，b、g的取值范围为：（1~100）；为提升重建速度，邻域尺寸优先为3*3个像素，其中*表示乘法操作。