CN106851322A - 一种分块最小二乘回归高速相机压缩图像重建方法 - Google Patents

Abstract

为进一步提升高速相机压缩图像重建质量，本发明公开一种分块最小二乘回归高速相机压缩图像重建方法。将图像看着一个2D线性系统，以压缩图像中已知像素训练线性系统参数，以未知像素的坐标作为输入，在最小二乘框架下恢复未知像素，并通过图像分块策略，加速重建过程，提升了压缩图像重建质量和速度。

Description

一种分块最小二乘回归高速相机压缩图像重建方法

技术领域

本发明涉及高速成像技术领域，特指一种分块最小二乘回归高速相机压缩图像重建方法。

背景技术

在空气动力学、流体力学、爆炸力学等诸多学科研究领域中，通常需要使用高速摄像机观测快速变化的物理或化学现象。在实际应用中，受相机数据传输接口带宽限制，高速相机拍摄的海量图像数据只能存储于相机内存中。高速相机在极短时间内产生海量图像数据，通常高达10GB，而高速相机内存容量有限，难以实现大容量图像数据存储，从而导致无法长时间拍摄高分辨率视频。

目前，在实际应用中，通常采取循环录制方式进行拍摄，这种拍摄方式会覆盖已拍摄图像，而产生信息丢失问题。为实现高速相机长时间拍摄，高速相机厂商提供了“thin-out”拍摄模式，通过降低成像分辨率或帧率，以减小相同拍摄时间内图像数据、增加录像时间。但是，这种以牺牲成像分辨率或帧率，来延长拍摄时间的“thin-out”模式，带来的直接后果是：当分辨率过低时，不能满足定量或定性分析需求；当帧率过低时，无法完整地捕捉快速变化对象。因此，从延长高速相机拍摄时长角度，非常有必要对高速相机拍摄图像进行压缩后，再存储或传输。

图像数据是高度冗余的，这决定了其具有可压缩性。通过图像压缩，可以在保证一定信息量前提下，大大降低图像数据量，有利于图像存储和传输。现有的图像压缩方法，多采用JPEG、MPEG、H.264、H.265等压缩算法或标准，这些算法或标准的优点是能够极大降低图像数据量，缺点是算法复杂非常高，即便采用专用硬件也只能实现低帧率视频（1920*1080,120@fps）压缩，难以应用于帧率为1000fps以上的高速相机中。

近期，申请号为201510717618.4的发明专利《一种延长高速相机拍摄时长的方法》”提出了一种可在FPGA上进行高速相机图像实时压缩以延长高速相机拍摄时长的方法。该方法为解决高速相机图像压缩提供了一条新思路。其基本方法是：如图1所示，在摄像机端进行图像压缩(a)、在计算机端进行图像重建(b)。

具体步骤如下：

1）在摄像机端，设置1个标记矩阵F，如图2所示，标记矩阵F大小为w*h，元素取值为0或1，w是采集图像宽度、h是采集图像高度；根据标记矩阵F中元素取值，对输入图像I_o进行压缩：当F(u,v)=0时，不采集像素p(u,v,q)，当F(u,v)=1时，采集像素p(u,v,q)，得到压缩图像I_c，下标c表示I_c为压缩图像， (u,v)是标记矩阵坐标，也是图像像素坐标；如图1所示，I_o上画“X”的像素被丢弃、不采集，未画“X”的像素被采集，I_o中的下标o表示I_o为输入图像；

2）在计算机端，创建大小为w*h的空白图像I，根据标记矩阵F，构建图3所示查找表L；根据查找表L将压缩图像I_c中像素填充到空白图像I对应像素位置，得到重排序图像I_s，下标s表示I_s为重排序图像；在重排序图像I_s中，已填充的像素来源于压缩图像I_c，未填充的像素是需要估计其像素值的；通过开关中值滤波估计未填充像素的像素值，完成压缩图像重建，得到重建图像I_r。

《一种延长高速相机拍摄时长的方法》专利中的仿真试验证明了上述方法的有效性，但是，该专利的图像重建算法，在图像重建质量、速度方面，还需进一步提升。特别是，当压缩率较高时，比如等于99%时，该专利的图像重建算法需要选择较大的图像滤波窗口，才能保证所有未采集像素被恢复出来。然而，较大尺寸滤波窗口，不但引起图像模糊问题、导致重建图像质量下降，而且明显增加图像重建时间。

为提升高速相机压缩图像重建质量，本发明公开一种分块最小二乘回归高速相机压缩图像重建方法。试验结果表明，该方法的压缩图像重建质量明显优于《一种延长高速相机拍摄时长的方法》专利方法。

发明内容

本发明的目的是提供一种高质量、快速的高速相机压缩图像重建方法，用于提升高速相机压缩图像重建质量。本发明采用的技术方案是，对图像进行分块处理后，利用已知像素构建最小二乘回归模型，估计未知像素取值，具体操作步骤如下：

第一步：根据压缩标记矩阵F，对压缩图像I_c进行像素重排序，得到重排序图像I_s

第1.1步：根据相机拍摄图像宽度w、高度h、像素深度b，图像宽度、高度单位为像素，取值范围为（0,10000000），像素深度b单位为bits，取值范围为（1~100），生成一幅空白图像I，空白图像I的宽度为w、高度为h、像素深度为b，空白图像I中任意像素可表示为p(u,v,q)，u、v分别为像素行坐标、列坐标, q为像素值，q的取值范围为(0~2^b-1)；

第1.2步：从压缩标记矩阵F左上角开始，按“Z”字型扫描F中元素，当F(u,v)=1时，在查找表L中记录F(u,v)的行坐标u、列坐标v，得到大小为2*K的查找表L；

第1.3步，根据查找表L，把压缩图像I_c中像素填充到空白图像I对应位置，得到重排序图像I_s；

第二步：对重排序图像I_s进行分块

把重排序图像I_s划分为M*N个、大小为s'*l的图像块，s'、l的单位为像素，取值范围为[0~1000000000]，M=[h/s'+0.4999999999]，N=[w/l+0.4999999999]，其中“/”表示除法操作，“[]”表示按四舍五入取准则进行取整数操作；优选地，s'、l的取值关系，满足s'/l=h/w，且使h/s'、w/l可整除；

第三步：以图像块为单位，采用最小二乘回归方法估计重排序图像I_s内未知像素，得到重建图像I_r

第3.1步：以图像块为单位，在重排序图像I_s中，以第(m,n)个图像块为中心，取(2*a+1)*(2*a+1)个图像块构成大尺寸图像块，其中a的取值范围为0~50，此时，位于中心；其中m、n分别是图像块的横、纵坐标，m取值范围为1~M，n取值范围为1~N；

第3.2步：将大尺寸图像块中已填充像素标记为已知像素t、内未填充像素标记为未知像素e，所有已知像素构成已知像素集、像素值为，所有未知像素集构成未知像素集，T中元素个数为x，E中元素个数为y；

第3.3步，计算已知像素之间的图像坐标欧式距离矩阵：

（1）

其中，是像素与像素之间的图像坐标欧式距离，i,j是已知像素的标号，取值范围为[1~x]；

令，其中是矩阵转置操作，是矩阵取逆操作；

第3.4步，计算图像块中未知像素E与大尺寸图像块中已知像素T的图像坐标欧式距离：

（2）

其中，是第y个未知像素与第x个已知像素的图像坐标欧式距离；

第3.5步，计算 （3）

其中，Q^e中元素即为图像块中y个未知像素的像素估计值Q^e；将Q^e写回重排序图像I_s中对应像素位置；

以图像块为处理单位，重复步骤第3.1~3.5步，遍历重排序图像I_s中图像块，完成所有未知像素估计，得到重建图像I_r。

在本发明第三步中，采用最小二乘回归方法估计未知像素取值的原理是：如图5所示，可以把图像看着一个2维线性系统，像素坐标(u,v)是线性系统的输入，像素值q是线性系统输出。给定一组已知像素，根据未知像素与已知像素之间的位置关系，可通过线性系统预测未知像素的像素值。

根据图像的局部平滑性，在已知像素集T中，任意一个像素p，可由其邻近像素G={g₁,...,g_k}线性表示：

(4)

其中，q_p是像素p的像素值，是第i个邻近像素g_i的像素值，是像素p与第i个邻近像素g_i的图像空间距离，w_i是与第i个邻近像素g_i的加权权重；

加权权重w_i与邻近像素g_i对应，可将两者乘积看作线性回归系数，那么式（4）可重新写为下面的线性方程：

(5)

根据式（5），当线性回归系数a_i已知时，利用已知像素t与未知像素e之间的图像空间距离，即可估计出未知像素的像素值q^e：

(6)

其中，a_i是与第i个已知素t_i对应的线性回归系数，是未知像素e与第i个已知像素t_i的图像空间距离；

采用最小二乘回归方法进行压缩图像重建的具体操作步骤如下：

第3.1步：根据已知像素集T，估计最小二乘回归系数A

回归系数可由n个已知像素学习得到，n个已知像素t的线性回归方程可表示为：

(7)

式（7）写成矩阵形式为：

(8)

其中，，

Q和D已知，需要估计回归系数A，最优回归系数应使已知像素的线性回归误差最小，即满足最小二乘条件：

(9)

式（9）的解为：

(10)

给定未知像素集E的图像坐标，计算未知像素集E与已知像素集T的图像距离矩阵后，通过式（3）的线性预测模型，即可估计出未知像素集E的像素值。

本发明的有益效果：

1）如图5所示，将图像看着一个二维线性系统，通过线性回归预测方法，利用已知像素与未知像素间距离，在最小平方误差准则，通过线性回归方法估计未知像素取值，可显著提升压缩图像重建质量。如图7所示，以Lena图像为例，与“一种延长高速相机拍摄时长的方法”重建结果对比，其中A是原始输入图像，B、C是压缩率为90%、99%时，《一种延长高速相机拍摄时长的方法》重建结果；D、E是压缩率为90%、99%时，本发明方法在图像块尺寸为s'=32、l=32、a=0时重建结果；F、G是压缩率为90%、99%时，本发明方法在图像块尺寸为s'=32、l=32、a=1时重建结果。从B、C与F、G对比结果可以看出，本发明方法优于《一种延长高速相机拍摄时长的方法》。

2）通过图像分块重建，可显著提高图像重建速度，相比直接对整幅图像进行最小二乘回归估计，计算速度可以提高5倍。

3）通过扩展最小二乘回归训练中参考邻域尺寸，增加已知像素数量，可提升重建质量，增加重建图像块之间的平滑性，减少图像块边界处突兀，可有效消除图像分块产生的块效应。从D、E与F、G对比结果可以看出，通过扩展参考邻域，可以有效消除块效应。比如D中Lena的右眼处存在明显块效应，E中整幅图像存在块效应，而F、G重建结果，整体平滑。

附图说明

图1是高速压缩图像压缩及重建处理流程。

图中，I_o是输入图像，方格中数值为图像像素值，I_c是压缩图像，F是图像压缩标记矩阵，I_s是重排序图像，L是重排序用查找表，I_r是重建图像，I_o图像上画“x”的像素被丢弃、不被采集，未画“x”的像素被采集。

图2是标记矩阵F示意图。

图中，方格表示矩阵F中元素，取值为1表示在图像压缩过程中当前位置像素被保留；取值为0表示在图像压缩过程中当前位置像素被丢弃，“……”是省略符。

图3是查找表L示意图。

图中，第一行为F中取值为1的元素的行坐标，第二行为F中取值为1的元素的列坐标，“……”是省略符。

图4是划分已知像素、未知像素示意图。

图中，t为已知像素，e为未知像素。

图5 图像线性系统示意图。

图6 参考邻域构建示意图。

图7 图像重建结果对比。

图中，A是原始输入图像，B、C分别是压缩率为90%、99%时，“一种延长高速相机拍摄时长的方法”重建结果；D、E分别是压缩率为90%、99%时，本发明方法在图像块尺寸为s'=32、l=32、a=0时重建结果；F、G分别是压缩率为90%、99%时，本发明方法在图像块尺寸为s'=32、l=32、a=1时重建结果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

给定分辨率为1024*1024、深度为b=8bits的Lena图像，先按照《一种延长高速相机拍摄时长的方法》中方法，对Lena图像进行压缩，压缩率为90%，得到压缩图像I_c、和标记矩阵F。

第一步：根据压缩图像Ic、压缩图像标记矩阵F，构建待重建图像I_r

第1.1步：生成一幅空白图像I，大小为1024*1024，像素深度b=8bits；

第1.2步：从压缩标记矩阵F左上角开始，按“Z”字型扫描，当F(u,v)=1时，在查找表L中记录F(u,v)的行坐标u、列坐标v，得到大小为2*K的查找表L；

第1.3步，根据查找表L，把压缩图像I_c中像素填充到空白图像I对应位置，得到重排序图像I_s。

第二步：对重排序图像I_s进行分块

设定图像块尺寸为：s'=32、l=32，把重排序图像I_s划分为大小为s'*l的图像块。

第三步：以图像块为单位，采用最小二乘回归方法估计重排序图像I_s内未知像素，得到重建图像I_r

第3.1步：设定a=1，以图像块为单位，在重排序图像I_s中，如图6所示，以第(m,n)个图像块为中心，取(2*a+1)*(2*a+1)个图像块构成大尺寸图像块作为参考邻域，此时，位于参考邻域中心；其中m、n分别是图像块的横、纵坐标；

第3.2步：将参考邻域中已填充像素标记为已知像素t，构成已知像素集，像素值为，将图像块内未填充像素标记为未知像素e，构成未知像素集，T中元素个数为x，E中元素个数为y；

第3.3步，计算已知像素之间的图像坐标欧式距离矩阵 ，其中，，是像素与像素之间的图像坐标欧式距离，i,j是已知像素的标号，取值范围为[1~x]，令，其中是矩阵转置操作，是矩阵取逆操作；

第3.4步，计算图像块中未知像素E与大尺寸图像块中已知像素T的图像坐标欧式距离： ，其中，是第y个未知像素与第x个已知像素的图像坐标欧式距离；

第3.5步，计算，Q^e中元素即为图像块中y个未知像素的像素估计值Q^e，将Q^e写回重排序图像I_s中对应像素位置；

以图像块为处理单位，重复步骤第3.1~3.5步，遍历重排序图像I_s中图像块，完成所有未知像素估计，得到重建图像I_r。

实施例2

与实施例1不同之处为，图像压缩率设定为95%。

实施例3

与实施例1不同之处为，图像压缩率设定为99%。

实施例4

与实施例1不同之处为，图像深度为12bits。

实施例5

与实施例1不同之处为，图像深度为16bits。

实施例6

与实施例1不同之处为，图像深度为24bits。

实施例7

与实施例1不同之处为，图像块大小为：s'=32、l=32。

实施例8

与实施例1不同之处为，图像块大小为：s'=64、l=64。

实施例9

与实施例1不同之处为，图像块大小为：s'=128、l=128。

实施例10

与实施例1不同之处为，图像块大小为：s'=128、l=128，a=2。

实施例11

与实施例1不同之处为，图像块大小为：s'=128、l=128，a=3。

Claims (1)

1.一种分块最小二乘回归高速相机压缩图像重建方法，其特征是，包括以下操作步骤：

第一步：根据压缩标记矩阵F，对压缩图像I_c进行像素重排序，得到重排序图像I_s

第1.1步：根据相机拍摄图像宽度w、高度h、像素深度b，图像宽度、高度单位为像素，取值范围为（0,10000000），像素深度b单位为bits，取值范围为（1~100），生成一幅空白图像I，空白图像I的宽度为w、高度为h、像素深度为b，空白图像I中任意像素可表示为p(u,v,q)，u、v分别为像素行坐标、列坐标, q为像素值，q的取值范围为(0~2^b-1)；

第1.2步：从压缩标记矩阵F左上角开始，按“Z”字型扫描F中元素，当F(u,v)=1时，在查找表L中记录F(u,v)的行坐标u、列坐标v，得到大小为2*K的查找表L；

第1.3步，根据查找表L，把压缩图像I_c中像素填充到空白图像I对应位置，得到重排序图像I_s；

第二步：对重排序图像I_s进行分块

把重排序图像I_s划分为M*N个、大小为s'*l的图像块，s'、l的单位为像素，取值范围为[0~1000000000]，M=[h/s'+0.4999999999]，N=[w/l+0.4999999999]，其中“/”表示除法操作，“[]”表示按四舍五入取准则进行取整数操作；优选地，s'、l的取值关系，满足s'/l=h/w，且使h/s'、w/l可整除；

第三步：以图像块为单位，采用最小二乘回归方法估计重排序图像I_s内未知像素，得到重建图像I_r

第3.1步：以图像块为单位，在重排序图像I_s中，以第(m,n)个图像块为中心，取(2*a+1)*(2*a+1)个图像块构成大尺寸图像块，其中a的取值范围为0~50，此时，位于中心；其中m、n分别是图像块的横、纵坐标，m取值范围为1~M，n取值范围为1~N；

第3.2步：将大尺寸图像块中已填充像素标记为已知像素t、内未填充像素标记为未知像素e，所有已知像素构成已知像素集、像素值为，所有未知像素集构成未知像素集，T中元素个数为x，E中元素个数为y；

第3.3步，计算已知像素之间的图像坐标欧式距离矩阵：

（1）

其中是像素与像素之间的图像坐标欧式距离，i,j是已知像素的标号，取值范围为[1~x]；

令，其中是矩阵转置操作，是矩阵取逆操作；

第3.4步，计算图像块中未知像素E与大尺寸图像块中已知像素T的图像坐标欧式距离：

（2）

其中，是第y个未知像素与第x个已知像素的图像坐标欧式距离；

第3.5步，计算，Q^e中元素即为图像块中y个未知像素的像素估计值Q^e；将Q^e写回重排序图像I_s中对应像素位置；

以图像块为处理单位，重复步骤第3.1~3.5步，遍历重排序图像I_s中图像块，完成所有未知像素估计，得到重建图像I_r。