CN102270339B

CN102270339B - 一种空间各异模糊核三维运动去模糊的方法及系统

Info

Publication number: CN102270339B
Application number: CN2011102055895A
Authority: CN
Inventors: 刘烨斌; 武迪; 戴琼海
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2011-07-21
Filing date: 2011-07-21
Publication date: 2012-11-14
Anticipated expiration: 2031-07-21
Also published as: CN102270339A

Abstract

本发明公开了一种空间各异模糊核三维运动去模糊的方法及系统。该方法包括：步骤1，根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为N倍的运动模型集合，N为相机个数；步骤2，通过插值算法计算出运动模型集合各顶点的连续运动路径；步骤3，统计每个时刻运动模型集合各顶点中的可见顶点；步骤4，计算每个时刻可见的面片集合；步骤5，将计算各可见面片在成像平面上的点扩散函数；步骤6，求解方程Ax＝b，其中待求变量x为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的点扩散函数，b为实际采集的图像。本发明能够针对包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题。

Description

一种空间各异模糊核三维运动去模糊的方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种空间各异模糊核三维运动去模糊的方法及系统。

背景技术

在经典成像模型下相机具有一些固有局限性，如受限于帧率。常规视频摄像机的帧率仅有30帧每秒，这将极大的限制对高速运动场景的采集。因而，研究基于相机阵列的计算传感机制，突破单相机的低帧率局限性，以实现高时间分辨率的动态场景采集在计算摄像学中具有重要研究意义。Wilburn等人首创搭建了52个紧密排列相机组成的大规模相机阵列。所有相机在时间轴上进行间插短曝光采集，从而近似一个单视角的高速相机。该工作是基于低速相机阵列研究高质量场景采集的先驱性研究，N个相机组成的相机阵列能够将时间采样率提高到原来低速相机的N倍。但其受限于如下三点：（1）单视角，（2）短曝光，这要求强场景光照，否则采集图像的信噪比将受到极大影响，（3）受限于不同相机的视角视差校正算法，仅适用于小景深近似平面场景或者远距离近似平面场景。

Agrawal等人提出了基于多相机编码曝光采样的计算传感方法来克服上述研究的短曝光局限性，其使用N个相机同样能够将时间采样率提高N倍，但同时能够获得上述相机阵列方法N/2倍的进光量。此外，该研究的问题求解化归为一个适定的线性系统求解，并且每个相机的求解是独立的。但是该采集系统主要是针对平面高速运动的物体，不适用于在深度维上有运动的物体。

计算传感对入射到相机采集系统内的光线进行调制，能够实现高质量的运动场景去模糊，能够实现高帧率采集系统，但是目前这类设计的缺点是只能解决单视角直线运动，或者单视角远距离平面场景的高时间分辨率成像问题，无法同时获取场景的多视角高空间分辨信息。

发明内容

针对现有技术中存在的上述问题，本发明提供了一种空间各异模糊核三维运动去模糊的方法及系统。

本发明提供了一种空间各异模糊核三维运动去模糊的方法，包括：

步骤1，根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为N倍的运动模型集合，N为相机个数；

步骤2，通过插值算法计算出运动模型集合各顶点的连续运动路径；

步骤3，统计每个时刻运动模型集合各顶点中的可见顶点；

步骤4，计算每个时刻可见的面片集合；

步骤5，计算各可见面片在成像平面上的点扩散函数；

步骤6，求解方程Ax=b，其中待求变量x为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的扩散函数，b为实际采集的图像。

在一个示例中，步骤2中，进行插值计算时，以运动模型上每个顶点在各时刻的位置作为插值约束。

在一个示例中，插值算法为样条函数插值算法。

在一个示例中，步骤2中，进行分段插值并对插值的结果进行时间上的平滑滤波。

在一个示例中，步骤3中，对运动模型每个顶点渲染不同的颜色，将运动模型投影到成像平面上，若成像平面上出现对应颜色，则该顶点可见。

在一个示例中，步骤4中，面片为三角面片，三角面片的一个顶点可见，则该三角面片可见。

在一个示例中，计算各可见面片内的能量累积，得到各可见面片在成像平面上的点扩散函数。

在一个示例中，步骤5中，对二维成像平面上的每个像素进行子像素采集，计算各可见面片内的投影能量，根据各时刻在各可见面片内的能量累积得到各可见面片在成像平面上的点扩散函数。

在一个示例中，步骤5中，求解方程Ax=b时，增加约束条件，使方程Ax=b变形为：A^TAx+λ₁x+λ₂D^TDx+λ₃x＝A^Tb+λ₃x₀，其中λ₁,λ₂,λ₃为预设值，D为微分算子，x₀为静态模型的静态纹理。

本发明提供了一种空间各异模糊核三维运动去模糊的系统，包括：

运动模型集合获取模块，用于根据三维运动跟踪的结果，在成像曝光时间内得到时域上帧率为N倍的运动模型集合，N为相机个数；

运动路径计算模块，用于通过插值算法计算出运动模型集合各顶点的连续运动路径；

可见顶点计算模块，用于统计每个时刻运动模型集合各顶点中的可见顶点；

可见面片集合计算模块，用于计算每个时刻可见的面片集合；

点扩散函数计算模块，用于计算各可见面片在成像平面上的点扩散函数；

纹理颜色求解模块，用于求解方程Ax=b，其中待求变量x为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的点扩散函数，b为实际采集的图像。

本发明能够针对包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题，实现清晰场景的计算重构，有效解决复杂运动复杂场景下的运动模糊。

附图说明

下面结合附图来对本发明作进一步详细说明，其中：

图1a-图1d为基于图像和基于模型去模糊算法的原理示意图;

图2a-图2b为高速运动模型跟踪结果示意图;

图3a-图3h为场景运动高时间分辨率连续插值示意图以及时间平滑示意图;

图4a-图4c为模型顶点可见性判断结果示意图;

图5为模型面片可见性判断原理示意图;

图6a-图6f为各种不同约束下去模糊求解结果比较;

图7a-图7d为采集模糊图像的曝光时间内三个不同短曝光时刻的去模糊结果;

图8为空间各异模糊核三维运动去模糊的方法流程图。

具体实施方式

本发明提供的空间各异模糊核三维运动去模糊的方法能够针对包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题，实现清晰场景的计算重构。该方法包括：基于运动跟踪的时间高分辨率运动插值，基于模型三维运动轨迹的成像点扩散函数（PSF）计算，基于成像模型的线性系统优化目标的建立，以及多约束下进一步优化的方法。

基于三维运动跟踪结果，在原来一个长曝光时间内得到时域上帧率为N倍的高速运动模型集合，运动跟踪算法要求保证模型的拓扑不变性。高速运动模型可以是在时间解耦框架下，基于时空间插曝光采集方法，在时空求交一致性的核心理论下，获取高速运动的可视外壳（VH），并反投影到各采集视角获取跟踪轮廓约束计算得到，也可以是其他方法获得。这里所需的是能够表征场景纹理本质频率下的高速运动模型结果，并不需要纹理信息。解耦的高速运动模型的帧率达到时域上运动场景的本质频率，从而能够基于高速运动模型计算重构模糊纹理。

基于高速运动模型集合，取出高速运动模型上每个顶点（模型拓扑不变）在各个时刻的高速运动模型上对应的位置作为插值约束，计算得到对应的连续运动轨迹，也即对模型在时域密集采样点基础上进行连续的时间插值，以进一步的高时间分辨率插值。插值方法为样条函数插值算法，对模型每个顶点在采集曝光时间内高速跟踪模型上的位置作为样条函数的插值约束点，插值时采用分段的方法，保证平滑性、连续性和准确性。同时要求保证场景运动跟踪得到的高速模型结果能够准确表征场景运动的高频信息。为了克服运动跟踪的不准确性，对插值结果进一步进行时间平滑处理，获得时间上平稳鲁棒的运动模型，使用的方法为以时间窗口为滤波器对模型进行时间上的平滑滤波。

计算时间插值连续高速模型各个时刻的模型可见性，统计各个插值时刻的场景模型可见点集合，并取各个时刻可见集合的并集作为该长曝光时间内场景的可见顶点集合。具体方法为，对模型每个顶点渲染不同的颜色，按照深度（场景上某个顶点到相机中心的距离）大小（考虑遮挡），将模型投影到成像平面上，若成像平面上出现对应颜色，那么该顶点即可见，同时考虑到成像平面像素为单位的精度问题，采用多次迭代上述结果的方法进行实现，直到成像平面没有新增的可见顶点。

在考虑遮挡问题及顶点可见性的基础上，计算场景组成面片的可见性，确定求解变量集合。场景面片可见性与顶点可见性具有如下关系：三角面片有一个顶点可见，该面片可见；三角面片有2个顶点可见，该面片可见；三角面片有3个顶点可见，该面片可见；三角面片有0个顶点可见，该面片不可见。

为了解决现有显示设备的有限精度问题，对上述渲染-投影-可见判断的过程进行多次循环，每次循环结束后判断为可见的顶点在下一次渲染中将不被赋予颜色，也即不进入下一次循环，这样使得多次迭代之后的结果能够消除精度不足带来的误差。

计算各可见面片在成像平面上的点扩散函数PSF，实现准确的成像过程映射。其中，为了考虑遮挡等问题，按照场景上每个面片距离成像平面的深度进行3D运动估计至2D成像计算。对于成像平面上每一个像素，累积通过该像素的模型面片能量。成像计算过程中，三维面片投影到二维成像平面上，对成像平面上每个像素进行子像素采样，确定当前三维面片对该像素的成像贡献：将每个像素分成多个子像素，计算落在在二维成像平面上的三角形内的子像素，并根据子像素计算出该像素位于该三角形内的投影能量，统计在所有时刻该三角形内的投影能量累积。对模型上每个面片统计曝光时间内各个时刻（将原来长曝光分为N个等份的短曝光时间，对于每个短曝光时间，可以得到对应的运动跟踪的模型结果）其投影到二维成像平面的能量值（也即投影像素及该像素的能量）。对三维运动轨迹上的每一个面片都进行该操作，对每个像素得到的投影能量进行累加，得到运动模型（拓扑不变，每个顶点只是改变空间位置，整体的拓扑是不会改变的）的顶点在二维图像上的运动模糊核。

依据成像过程建立线性系统描述成像过程Ax=b，其中待求变量x为该成像曝光时间T内所有可见的面片的颜色纹理，系数矩阵A为各面片的PSF表示，b为实际采集图像。

加入Thikonov约束、平滑性约束及静态相似性约束进一步提交求解准确性。

如图1a-图1d所示，基于图像的去模糊算法要求场景为平面场景且没有遮挡发生，也即在曝光时间内场景各处的可见性都没有发生变换，图1c为图1a中的顶点可见性分析，图1d为图1b中的顶点可见性分析。如图1a所示，成像结果即为各个时刻的积分结果，各个成像瞬间均可以用其它时刻的结果进行几何变换得到。而基于模型的方法，适用于任意复杂场景，任意复杂运动，因为其真实刻画了成像过程，待求解变量为曝光时间内场景所有可见面片的集合，在曝光时间内不同时刻的可见性可能发生变化，从而无法用其它时刻的成像瞬间经过几何变换得到当前时刻的成像结果，这种情况下，基于图像的方法失效，而基于模型的方法能很好的解决这一难题。

在时间解耦框架下，基于时空间插曝光采集方法，在时空求交一致性的核心理论下，获取高速运动的VH，并以其为约束进行高速运动捕捉。图2a为曝光时间内三个时刻的模型叠加显示，图2b为解耦后20个时刻的模型在某一视角的投影结果，可以很清楚的看到曝光时间内场景的运动s1-s20被很好的捕捉到。

对利用多视角三维重建技术获得的模型上每个顶点（模型拓扑不变）在各个时刻对应的位置作为插值约束，计算得到对应的连续运动轨迹，也即对模型在时域密集采样点基础上进行连续的时间插值，以便进一步的高时间分辨率插值，如图3a所示。为了克服运动跟踪的不准确性，对插值结果进一步进行时间平滑处理，获得时间上平稳鲁棒的运动模型，使用的方法为以时间窗口为滤波器对模型进行时间上的平滑滤波，如图3b所示。图3c和图3d分别对应为用图3a和图3b的时间插值结果进行虚拟blur效果示意图，可见使用平滑处理后的blur效果与真实blur非常接近。图3e，图3f及图3g，图3h分别为放大示意图。

如图4a-图4c所示，为模型点可见性示意图，绿色为当前图4a对应视角的可见顶点，灰色为不可见顶点。

如图5所示，在考虑遮挡问题及顶点可见性的基础上，计算场景组成面片的可见性，确定求解变量集合。场景面片可见性与顶点可见性具有如下关系：三角面片有一个顶点可见，该面片可见；三角面片有2个顶点可见，该面片可见；三角面片有3个顶点可见，该面片可见；三角面片有0个顶点可见，该面片不可见。

如图6a-图6f所示，描述场景模型每个面片实际运动轨迹及其在成像平面上贡献的矩阵为A，模型每个面片的颜色为x，在曝光时间采集到的模糊图像为b，如公式（1）所示，当运动跟踪结果完全准确且不考虑方程求解的数值精度问题，那么式（1）完全成立。

但在实际求解中，由于运动跟踪本身存在误差，大型线性系统求解的固有误差存在，必须对上述求解问题进行约束，以获得鲁棒、精确的求解结果。其中式（2）约束为广义约束项，目的是消除解的震荡性，得到稳定的解；式（3）约束为平滑约束项，目的是得到平滑解，减少噪声；式（4）为静态约束项，目的是在运动跟踪误差较大的区域以静态模型纹理作为求解约束，得到更好的求解结果。式（5）是考虑了上述三种约束的总体优化目标。在实验中λ₁,λ₂,λ₃的经验值为0.02，0.1，1.0.

Ax＝b，A^TAx＝A^Tb, (1)

λ₁‖x‖² (2)

λ₂D^TDx (3)

λ₃‖x-x₀‖² (4)

A^TAx+λ₁x+λ₂D^TDx+λ₃x＝A^Tb+λ₃x₀(5)

其中x₀是多视角三维重建获取静态模型时所得到的静态纹理，其是静止时刻及静态采集光照下的纹理。D是微分算子。

图6a为采集到的运动模糊图像，图6b为静态纹理贴图的结果，图6c为无约束直接求解Ax=b的计算重构效果，图6d为Thikonov约束下重构结果，图6e为Thikonov约束加上平滑约束下的重构结果，图6e为Thikonov约束加上平滑约束以及静态纹理约束下的重构结果。

如图7a-图7d所示，其中图7a为采集到的运动模糊图像，图7b、图7c、图7d分别为长曝光起始时刻，中间时刻及结束时刻的去模糊结果。对应与一个采集图像的曝光时间内，可以计算重构出任意短曝光时刻的清晰图像。

图8显示了空间各异模糊核三维运动去模糊的方法流程图，首先需要将曝光时间T解耦为N个短曝光[t1,t2，……,ti,……，tN]；接着对顶点运动路径时间插值，将顶点[V₁,V₂，……,V_i，……,V_N]插值为[V₁ ^intp,V₂ ^intp，……,V_i·s ^intp，……,V_N·s ^intp]；基于顶点插值结果，获取对应的高时间分辨率下的面片集合[P₁ ^intp,P₂ ^intp，……,V_i·s ^intp，……,V_N·s ^intp]，及对应的高时间分辨率三维模型[M₁ ^intp,M₂ ^intp，……,M_i·s ^intp，……,M_N·s ^intp]；紧接着计算各个时刻高速运动模型所有的可见面片集合，并计算模型面片运动在成像平面上的PSF表示；最后获得基于成像模型的优化模型，并加入约束项进行优化求解。

以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims

1.一种空间各异模糊核三维运动去模糊的方法，其特征在于，包括：

步骤3，统计每个时刻运动模型集合各顶点中的可见顶点；

步骤4，计算每个时刻可见的面片集合；

步骤5，计算各可见面片在成像平面上的点扩散函数；

步骤6，求解方程Ax＝b，其中待求变量x为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的点扩散函数，b为实际采集的图像。

2.如权利要求1所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤2中，进行插值计算时，以运动模型上每个顶点在各时刻的位置作为插值约束。

3.如权利要求2所述的空间各异模糊核三维运动去模糊的方法，其特征在于，插值算法为样条函数插值算法。

4.如权利要求3所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤2中，进行分段插值并对插值的结果进行时间上的平滑滤波。

5.如权利要求1所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤3中，对运动模型每个顶点渲染不同的颜色，将运动模型投影到成像平面上，若成像平面上出现对应颜色，则该顶点可见。

6.如权利要求1所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤4中，面片为三角面片，三角面片的一个顶点可见，则该三角面片可见。

7.如权利要求1所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤5中，计算各可见面片内的能量累积，得到各可见面片在成像平面上的点扩散函数。

8.如权利要求7所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤5中，对二维成像平面上的每个像素进行子像素采集，计算各可见面片内的投影能量，根据各时刻在各可见面片内的能量累积得到各可见面片在成像平面上的点扩散函数。

9.如权利要求1所述的空间各异模糊核三维运动去模糊的方法，其特征在于，步骤5中，求解方程Ax＝b时，增加约束条件，使方程Ax＝b变形为：A^TAx+λ₁x+λ₂D^TDx+λ₃x＝A^Tb+λ₃x₀，其中λ₁，λ₂，λ₃为预设值，D为微分算子，x₀为静态模型的静态纹理。

10.一种空间各异模糊核三维运动去模糊的系统，其特征在于，包括：

纹理颜色求解模块，用于求解方程Ax＝b，其中待求变量x为该成像曝光时间内所有可见的面片的纹理颜色，矩阵A为可见面片的扩散函数，b为实际采集的图像。