CN111010505A - 一种瞬态场景重构算法及装置 - Google Patents

Abstract

本申请公开了一种瞬态场景重构算法及装置，所述算法包括：对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的尺寸相同；对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式；对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。本申请为了便于矩阵算子的计算，将对源图片大小进行修改，确定并简化强度累加矩阵，有效地降低迭代算法过程的计算量；本申请对迭代算法行标准化，确保了在迭代过程中算法收敛。

Description

一种瞬态场景重构算法及装置

技术领域

本申请涉及信息重建算法技术领域，具体涉及一种压缩超快摄影系统的瞬态场景重构算法及装置。

背景技术

以高速成像技术捕捉超快的动态场景是科学家长期的梦想，因为它能够发现新的物理现象和开发新的光学成像技术。CCD(电荷耦合设备)以及CMOS(互补金属氧化物半导体)是用于捕获动态场景比较完善的工具，但是目前CCD和CMOS最大的帧速率只有107帧/s，这个速率并不能使科学家发现的新的物理现象以及开发新的光学成像技术。最近，压缩超快摄影(Compressed Ultrafast Photography，CUP)技术把成像的最大帧速率提高到1014帧/s，目前CUP技术已经应用于捕获激光脉冲的反射与折射、光子在两种介质中的运动以及空间调制脉冲激光斑等。在现有CUP技术中，所采用的重构算法的初始值以及的参数的选择严重影响图像重构的质量，甚至会导致迭代过程不能收敛。并且，由于强度累加矩阵为一个复杂的矩阵，在进行迭代过程中，计算量大。

发明内容

本申请的目的是提供一种瞬态场景重构算法及装置，用以克服现有重构算法计算量大、难以保证收敛的问题。

为了实现上述任务，本申请采用以下技术方案：

第一方面，本申请提供了一种瞬态场景重构算法，包括：

对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的尺寸相同；

对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式；

对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。

进一步地，所述对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像尺寸相同，包括：

记源图像大小为(N_x，N_y，k)，CCD成像的大小为(m，n，k)，对源图像的坐标进行如下变换：

其中，m、N_x分别表示源图像、CCD成像的水平方向的像素个数，n、N_y分别表示源图像、CCD成像的垂直方向的像素个数，k表示源图像中的第k张图像，x，y为源图像的坐标值，k_x，k_y为缩放倍数，u，v为源图像缩放后的坐标值；缩放后使得m、n满足以下关系式：

m＝N_x

n＝N_y+k-1。

进一步地，所述对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式，其中所述线性等式表示为：

E_q＝M_q×rS_r×rC_r×rI_r 式1

上式中，E_q为CCD成像的光能向量，M_q×r为强度累加矩阵，用于对源图像进行强度累加，q满足q＝m×n；S_r×r为剪切算子，用于对源图像进行剪切；C_r×r为伪随机二进制编码矩阵，用于对源图像进行伪随机二进制编码；I_r表示尺寸调整后的源图像所有像素的向量，r＝m×n×k。

进一步地，所述强度累加矩阵由k个单位矩阵构成。

进一步地，所述对所述线性等式进行标准化，包括：

对所述线性等式进行变换，得到以下等式：

y＝AX 式2

其中，y＝E_q，A＝M_q×rS_r×rC_r×r，X＝I_r；

定义K＝A，将上述等式进行变化，得到以下等式：

K^Ty＝K^TKX 式3

对K^TK进行标准化，标准化公式如下：

式中l为K^TK的最大特征值；

将标准化后得到的

替换式3中的K^TK，得到标准化后的线性等式：

进一步地，所述对标准化后的线性等式求解，包括：

1)初始化X，记为X₀；

2)根据X₀计算X的第一次迭代值，记为X₁：

式中C为对角矩阵，且正定；

3)建立X的通用的迭代式，如下：

式中X_t为X第t次迭代值，α满足α＝ρ²+1，其中：

β＝2α/(λ₁+λ_m)，μ＝λ₁/λ_m，λ₁、λ_m为

的最小与最大的特征值，Ψ_λ为非线性去噪算子；

4)将X_t+1的值作为X代入式5，计算y，然后判断y的均方根误差是否小于预设误差，如小于预设误差，则输出X＝X_t+1，否则将迭代次数t的值加1，重复步骤3)和步骤4)；

由于X＝I_r，因此通过对标准化后的线性等式求解，得到了表示尺寸调整后的源图像所有像素的向量的值。

进一步地，所述非线性去噪算子的表达式为：

Ψ_λ(x)＝x-P(x)

式中P(x)表示对向量x进行正交投影。

进一步地，所述对源图像进行重构，包括：

根据对标准化后的线性等式求解得到的X，将X转化为k个m×n的大小的矩阵，代表重构图像的k张图像。

第二方面，本申请提供了一种瞬态场景重构装置，包括：

获取与调整模块，用于对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的图的尺寸相同；

等式建立模块，用于对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立重构图像的光能向量的线性等式；

标准化及重构模块，用于对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。

第三方面，本申请提供了一种终端设备，包括包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述第一方面的瞬态场景重构算法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述第一方面的瞬态场景重构算法的步骤。

本申请具有以下技术特点：

1.本申请为了便于矩阵算子的计算，将对源图片大小进行修改，确定并简化强度累加矩阵，有效地降低迭代算法过程的计算量。

2.本申请对迭代算法行标准化，确保了在迭代过程中算法收敛。

附图说明

图1为本申请一实施例提供的瞬态场景重构算法的流程示意图；

图2为本申请的仿真实验中源图像的第一张图像的示意图；

图3为本申请的仿真实验中利用源图像进行CCD成像后的图像；

图4的(a)为源图像中的第一张图像的重构图像，(b)为源图像中的第一张图像的重构图像；

图5为本申请一实施例提供的瞬态场景重构装置的结构示意图。

图6为本申请一实施例提供的终端设备的结构示意图。

具体实施方式

如图1所示，本申请的第一方面公开了一种瞬态场景重构算法，包括：

S101，对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的图的尺寸相同。

在该步骤中，从数字微镜设备获取源图像，其中源图像中包含多张图像。对源图像进行缩放处理使其尺寸与利用源图像进行CCD成像尺寸相同。其中CCD成像是通过源图像的多张图像组合得到的。处理过程为：

记源图像大小为(N_x，N_y，k)，CCD成像的的大小为(m，n，k)，对源图像的坐标进行如下变换：

其中，m、N_x分别表示源图像、CCD成像的水平方向的像素个数，n、N_y分别表示源图像、CCD成像的垂直方向的像素个数，k表示源图像中的第k张图像，x，y为源图像的坐标值，k_x，k_y为缩放倍数，u，v为源图像缩放后的坐标值；缩放后使得m、n满足以下关系式：

m＝N_x

n＝N_y+k-1。

S102，对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式。

利用CUP技术，分别采用伪随机二进制编码矩阵、剪切算子、强度累加矩阵对调整后的源图像进行处理，从而建立建立CCD成像的光能向量的线性等式：

E_q＝M_q×rS_r×rC_r×rI_r 式1

上式中，E_q为CCD成像的光能向量，C_r×r为伪随机二进制编码矩阵，用于对源图像进行伪随机二进制编码。

M_q×r为强度累加矩阵，用于对源图像进行强度累加，q满足q＝m×n；由于源图像缩放后大小与CCD成像的大小一致，所以强度累加矩阵为k个单位矩阵组成，即：

M_q＝[I，I…，I]

S_r×r为剪切算子，用于对源图像进行剪切，表示为：

其中S_i(i＝1，2，...，k)为m×n矩阵，它的作用为将第i张图片的前vi列像素置0，v为剪切速度，则S_i可表示为：

I_r表示尺寸调整后的源图像所有像素的向量：

其中r＝m×n×k，I_i(i＝1，2，...，k)为以第i张图片所有像素为元素的向量，其大小为m×n。

S103，对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。

S1031，对线性等式进行标准化。

S1031-1，对所述线性等式进行变换，得到以下等式：

y＝AX 式2

其中，y＝E_q，A＝M_q×rS_r×rC_r×r，X＝I_r；

S1031-2，定义K＝A，将上述等式进行变化，得到以下等式：

K^Ty＝K^TKX 式3

S1031-3，在下面的步骤S1032中，通过迭代法对标准化后的线性等式求解，则等式收敛的充要条件为K^TK的谱半径小于1。因此，为了保证迭代收敛，对K^TK进行标准化，标准化公式如下：

式中l为K^TK的最大特征值；

S1031-4，将标准化后得到的

替换式3中的K^TK，得到标准化后的线性等式：

相对于现有的算法，本方案将线性矩阵进行标准化保证了迭代算法的收敛。

S1032，对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值。

本方案的迭代算法中，由于保证了线性矩阵的谱半径小于1，从而使得算法在求解过程中确保迭代收敛。本方案中求解所采用的迭代算法如下：

1)初始化X，记为X₀；其中，X₀可设为元素全为0的向量，也可以通过下式计算：

2)根据X₀计算X的第一次迭代值，记为X₁：

式中C为对角矩阵，且正定，可设为单位矩阵。

3)建立X的通用的迭代式，如下：

式中X_t为X第t次迭代值，α满足α＝ρ²+1，其中：

β＝2α/(λ₁+λ_m)，μ＝λ₁/λ_m，λ₁、λ_m为

的最小与最大的特征值，Ψ_λ为非线性去噪算子，常用去噪算子有1次齐次正则化，表达式为：

Ψ_λ(x)＝x-P(x)

式中P(x)表示对向量x进行正交投影。

4)将X_t+1的值作为X代入式5，计算y，然后判断y的均方根误差是否小于预设误差，预设误差一般设为10^-1。如小于预设误差，则输出X＝X_t+1，否则将迭代次数t的值加1，即t＝t+1，重复步骤3)和步骤4)，直至满足预设误差。

由于X＝I_r，因此通过对标准化后的线性等式求解，得到了表示尺寸调整后的源图像所有像素的向量的值。

S1033，对源图像进行重构。

根据S1032输出的对标准化后的线性等式求解得到的X，由于CCD成像的大小为(m，n，k)，因此将X转化为k个m×n的大小的矩阵，代表重构图像的k张图像。

仿真实验：

采用一个由10张图像组成的源图像，每张图像的大小为40×53，最后CCD成像的大小为40×62，所以有r＝40×62×10。q＝40×62。源图像中的第一张图像如图2所示，利用源图像生成的CCD成像如图3所示。利用本申请方法对图像进行重构，结果如图4所示，其中(a)为源图像中的第一张图像的重构图像，(b)为源图像中的第一张图像的重构图像，根据结果图可看出，本方法方法可以能有效地重构源图像。

根据本申请的另一方面，提供了一种瞬态场景重构装置1，如图5所示，包括：

获取与调整模块11，用于对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的尺寸相同；

等式建立模块12，用于对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式；

标准化及重构模块13，用于对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。

需要说明的，上述各模块具体的执行步骤与前述方法实施例中对应的步骤相同，在此不赘述。

请参阅图6，本申请实施例进一步提供一种终端设备2，该终端设备2可以为计算机、服务器；包括存储器22、处理器21以及存储在存储器22中并可在处理器上运行的计算机程序23，处理器21执行计算机程序23时实现上述瞬态场景重构算法的步骤，例如，图1所示的S101至S103。

计算机程序23也可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器22中，并由处理器21执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序23在终端设备2中的执行过程，例如，计算机程序23可以被分割为获取模块、识别模块、显示模块，各模块的功能参见前述装置中的描述，不再赘述。

本申请的实施提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述瞬态场景重构算法的步骤，例如，图1所示的S101至S103。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种瞬态场景重构算法，其特征在于，包括：

对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的尺寸相同；

对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式；

对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。

2.如权利要求1所述的瞬态场景重构算法，其特征在于，所述对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像尺寸相同，包括：

记源图像大小为(N_x，N_y，k)，CCD成像的大小为(m，n，k)，对源图像的坐标进行如下变换：

其中，m、N_x分别表示源图像、CCD成像的水平方向的像素个数，n、N_y分别表示源图像、CCD成像的垂直方向的像素个数，k表示源图像中的第k张图像，x，y为源图像的坐标值，k_x，k_y为缩放倍数，u，v为源图像缩放后的坐标值；缩放后使得m、n满足以下关系式：

m＝N_x

n＝N_y+k-1。

3.如权利要求1所述的瞬态场景重构算法，其特征在于，所述对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立CCD成像的光能向量的线性等式，其中所述线性等式表示为：

E_q＝M_q×rS_r×rC_r×rI_r 式1

上式中，E_q为CCD成像的光能向量，M_q×r为强度累加矩阵，用于对源图像进行强度累加，q满足q＝m×n；S_r×r为剪切算子，用于对源图像进行剪切；C_r×r为伪随机二进制编码矩阵，用于对源图像进行伪随机二进制编码；I_r表示尺寸调整后的源图像所有像素的向量，r＝m×n×k。

4.如权利要求3所述的瞬态场景重构算法，其特征在于，进一步地，所述对所述线性等式进行标准化，包括：

对所述线性等式进行变换，得到以下等式：

y＝AX 式2

其中，y＝E_q，A＝M_q×rS_r×rC_r×r，X＝I_r；

定义K＝A，将上述等式进行变化，得到以下等式：

K^Ty＝K^TKX 式3

对K^TK进行标准化，标准化公式如下：

式中l为K^TK的最大特征值；

将标准化后得到的

替换式3中的K^TK，得到标准化后的线性等式：

5.如权利要求4所述的瞬态场景重构算法，其特征在于，所述对标准化后的线性等式求解，包括：

1)初始化X，记为X₀；

2)根据X₀计算X的第一次迭代值，记为X₁：

式中C为对角矩阵，且正定；

3)建立X的通用的迭代式，如下：

式中X_t为X第t次迭代值，α满足α＝ρ²+1，其中：

β＝2α/(λ₁+λ_m)，μ＝λ₁/λ_m，λ₁、λ_m为

的最小与最大的特征值，Ψ_λ为非线性去噪算子；

4)将X_t+1的值作为X代入式5，计算y，然后判断y的均方根误差是否小于预设误差，如小于预设误差，则输出X＝X_t+1，否则将迭代次数t的值加1，重复步骤3)和步骤4)；

由于X＝I_r，因此通过对标准化后的线性等式求解，得到了表示尺寸调整后的源图像所有像素的向量的值。

6.如权利要求5所述的瞬态场景重构算法，其特征在于，所述非线性去噪算子的表达式为：

Ψ_λ(x)＝x-P(x)

式中P(x)表示对向量x进行正交投影。

7.如权利要求1所述的瞬态场景重构算法，其特征在于，所述对源图像进行重构，包括：

根据对标准化后的线性等式求解得到的X，将X转化为k个m×n的大小的矩阵，代表重构图像的k张图像。

8.一种瞬态场景重构装置，其特征在于，包括：

获取与调整模块，用于对获取的源图像的尺寸进行调整，使源图像的尺寸与CCD成像的图的尺寸相同；

等式建立模块，用于对尺寸调整后的源图像进行伪随机二进制编码、剪切、强度累加，建立重构图像的光能向量的线性等式；

标准化及重构模块，用于对所述线性等式进行标准化，并对标准化后的线性等式求解，得到表示尺寸调整后的源图像所有像素的向量的值，并对源图像进行重构。

9.一种终端设备，包括包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1至7中任一权利要求所述方法的步骤。

10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1至7中任一权利要求所述方法的步骤。

Images