CN113409200B - 用于车辆中图像去模糊的系统和方法 - Google Patents

Abstract

公开了用于车辆中的图像去模糊的方法和系统。该方法和系统包括基于从车辆运动传感器和深度传感器接收的车辆运动数据和深度图来确定点扩散函数。基于点扩散函数计算去模糊矩阵。从成像设备接收的模糊的输入图像基于去模糊矩阵被去模糊，从而提供去模糊的输出图像。基于去模糊的输出图像来控制车辆的功能。

Description

用于车辆中图像去模糊的系统和方法

技术领域

本公开总体上涉及车辆中的非盲图像去模糊，更具体地，涉及用于从车辆的成像设备捕获的图像中去除运动引起的模糊的方法和系统。

背景技术

由摄像机捕获的图像可能由于多种原因而模糊。例如，摄像机在图像捕获期间可能一直在移动或晃动。图像模糊也可能是由光学像差引起的。色度模糊也很普遍，由此不同波长的折射程度不同。非盲去卷积(deconvolution)技术是已知的，通过该技术对模糊的输入图像进行处理，以便获得更清晰、去模糊的输出图像。根据这样的去卷积技术，利用模糊矩阵以将模糊的输入图像变换为去模糊的输出图像。可以从代表预期模糊效果的性质的点扩散函数确定模糊矩阵。在将摄像机安装到行驶车辆的情况下，基于车辆运动的知识来得出点扩散函数，并且基于点扩散函数来确定去模糊核。即，模糊源在成像中通常是众所周知的，并且可以使用直接测量或从模糊物理学的知识得出的点扩散函数(PSF)很好地对模糊过程进行建模。

运动引起的模糊是影响包括自动车辆系统在内的各种应用中的感知、定位和其他算法的性能的常见伪像。当成像设备相对于要捕获的真实场景运动时，尤其是在增加摄像机曝光时间时，会出现运动模糊。可以延长曝光时间，以改善所捕获图像的信噪比，例如在低光照条件下。

光流是由成像设备和场景之间的相对运动引起的视觉场景中的对象、表面和边缘的视在运动的模式。光流代表将包含在场景的捕获图像中的运动模糊。由于各种原因，运动引起的模糊已被证明很难通过适当的PSF来建模。在车辆环境中，虽然已知车辆运动，但由于该车辆运动而导致的运动模糊对于真实世界场景中的所有对象而言都不相同。

因此，期望提供可以在处理资源方面准确且有效地对运动引起的模糊进行去模糊的系统和方法。此外，结合附图以及前述技术领域和背景技术，根据随后的详细描述和所附其他内容，本发明的其他期望特征和特性将变得显而易见。

发明内容

根据示例性实施例，提供了一种车辆中的图像去模糊的方法。该方法包括经由处理器从成像设备接收模糊的输入图像、从一个或多个车辆运动传感器接收车辆运动数据以及从深度传感器接收与模糊的输入图像相对应的深度图。处理器基于车辆运动数据和深度图确定点扩散函数，基于点扩散函数计算去模糊矩阵，并且基于去模糊矩阵和模糊的输入图像对模糊的输入图像进行去模糊，从而提供去模糊输出图像。基于去模糊的输出图像来控制车辆的功能。

在实施例中，该方法包括基于点扩散函数来计算模糊矩阵；以及基于模糊矩阵并使用去卷积函数来计算与去模糊矩阵相对应的正则化去模糊矩阵。在一个实施例中，去卷积函数是吉洪诺夫(Tikhonov)正则化的去卷积函数。

在实施例中，点扩散函数表示由于车辆运动导致的真实世界场景相对于成像设备的运动引起的模糊输入图像的每个像素在图像空间中的拖尾程度。模糊的输入图像的二维图像空间中的每个像素在真实世界场景中具有一个或多个相应位置。车辆运动由车辆运动数据定义。模糊的输入图像的每个像素在图像空间中的拖尾程度与真实世界空间中一个或多个相应位置的深度成反比。真实世界空间中的深度由深度图定义。

在一个实施例中，成像设备是车辆的侧视摄像机。在平移车辆运动的情况下，该方法包括以下处理器步骤：基于深度图和车辆运动数据估计光流线的量值；根据光流线的量值确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；基于所述正则化去模糊矩阵和所述模糊输入图像对所述模糊输入图像进行去模糊处理，从而提供所述去模糊输出图像。

在一个实施例中，成像设备是车辆的前视或后视摄像机。在平移车辆运动的情况下，该方法包括以下处理器步骤：将模糊的输入图像和深度图重新采样到会聚在成像设备的扩展焦点处的极坐标；基于重新采样的深度图和车辆运动数据估计光流线的量值；根据光流线的量值确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；基于正则化去模糊矩阵和重新采样的模糊输入图像对模糊的输入图像进行去模糊，从而提供极坐标去模糊图像；以及将极坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

在一个实施例中，该方法包括基于深度图和车辆运动经由处理器来估计笛卡尔坐标中的光流线的量值和方向，从而估计光流。沿光流线从笛卡尔坐标重新采样光流。沿光流线从笛卡尔坐标重新采样模糊的输入图像。基于车辆运动和重新采样的光流确定点扩散函数。基于点扩散函数计算模糊矩阵。基于模糊矩阵并使用去卷积函数来计算正则化的去模糊矩阵。该方法包括基于正则化的去模糊矩阵和重新采样的模糊输入图像经由处理器对模糊的输入图像进行去模糊，从而提供光流坐标去模糊的图像。将光流坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

在实施例中，确定点扩散函数、计算去模糊矩阵和对模糊的输入图像去模糊的步骤是在模糊输入图像的单行上并针对每一行执行的。

在另一个实施例中，提供了一种用于车辆中的图像去模糊的系统。该系统包括成像设备、车辆控制器、深度传感器和被配置为执行程序指令的处理器。程序指令被配置为使处理器从成像设备接收模糊的输入图像，接收车辆运动数据，从深度传感器接收与模糊的输入图像相对应的深度图，基于车辆运动数据和深度图确定点扩散函数，基于点扩散函数计算去模糊矩阵，以及基于去模糊矩阵和模糊的输入图像对模糊的输入图像进行去模糊，从而提供去模糊的输出图像。车辆控制器被配置为基于去模糊的输出图像来控制车辆的功能。

在实施例中，程序指令被配置为使处理器基于点扩散函数来计算模糊矩阵，并基于模糊矩阵并使用去卷积函数来计算与去模糊矩阵相对应的正则化去模糊矩阵。在一个实施例中，去卷积函数是Tikhonov正则化的去卷积函数。

在实施例中，点扩散函数表示由于车辆运动导致的真实世界场景相对于成像设备的运动导致的模糊输入图像的每个像素在图像空间中的拖尾程度。模糊的输入图像的二维图像空间中的每个像素在真实世界场景中具有一个或多个相应位置。车辆运动由车辆运动数据定义。模糊的输入图像的每个像素在图像空间中的拖尾程度与真实世界空间中一个或多个相应位置的深度成反比。真实世界空间中的深度由深度图定义。

在一个实施例中，成像设备是车辆的侧视摄像机。程序指令被配置为使得处理器在平移车辆运动的情况下执行以下步骤：基于深度图和车辆运动数据来估计光流线的量值；以及基于光流线的量值确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；以及基于所述正则化去模糊矩阵和所述模糊输入图像对所述模糊的输入图像进行去模糊，从而提供所述去模糊的输出图像。

在一个实施例中，成像设备是车辆的前视或后视摄像机。程序指令被配置为使得处理器在平移车辆运动的情况下执行以下步骤：将模糊的输入图像和深度图重新采样到会聚在成像设备的扩展焦点处的极坐标；基于重新采样的深度图和车辆运动数据估计光流线；基于光流线的量值确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；基于正则化去模糊矩阵和重新采样的模糊输入图像对模糊的输入图像进行去模糊，从而提供极坐标去模糊图像；以及将极坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

在一实施例中，程序指令被配置为使处理器：基于深度图和车辆运动来估计笛卡尔坐标中的光流线的量值和方向，从而估计光流；从笛卡尔坐标沿光流线重新采样光流；从笛卡尔坐标沿光流线重新采样模糊的输入图像；基于车辆运动和重新采样的光流确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；基于正则化去模糊矩阵和重新采样的模糊输入图像对模糊的输入图像进行去模糊，从而提供光流坐标去模糊图像；以及将光流坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

在实施例中，确定点扩散函数、计算去模糊矩阵和去模糊该模糊的输入图像的步骤是在模糊输入图像的单行上并针对每一行执行的。

在另一个实施例中，提供了一种车辆。该车辆包括成像设备；车辆控制器；车辆执行器；深度传感器；一个或多个车辆运动传感器；以及处理器，其被配置为执行程序指令。该程序指令被配置为使处理器：从成像设备接收模糊的输入图像；以及从一个或多个车辆运动传感器接收车辆运动数据；从深度传感器接收与模糊的输入图像相对应的深度图；基于车辆运动数据和深度图确定点扩散函数；基于点扩散函数计算去模糊矩阵；以及基于所述去模糊矩阵和所述模糊的输入图像对所述模糊的输入图像进行去模糊，从而提供去模糊的输出图像。车辆控制器被配置为基于去模糊的输出图像经由车辆致动器来控制车辆的功能。

在实施例中，程序指令被配置为使处理器基于点扩散函数来计算模糊矩阵，并基于模糊矩阵并使用去卷积函数来计算与去模糊矩阵相对应的正则化去模糊矩阵。

在实施例中，程序指令被配置为使处理器：基于深度图和车辆运动来估计笛卡尔坐标中的光流线的量值和方向，从而估计光流；从笛卡尔坐标沿光流线重新采样所述光流；从笛卡尔坐标沿光流线重新采样模糊的输入图像；基于车辆运动和重新采样的光流确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；基于正则化去模糊矩阵和重新采样的模糊输入图像对模糊的输入图像进行去模糊，从而提供光流坐标去模糊图像；以及将光流坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

在实施例中，确定点扩散函数、计算去模糊矩阵以及对模糊的输入图像进行去模糊处理的步骤是在模糊的输入图像的单行上并针对每一行执行的。

附图说明

下文将结合以下附图描述本公开，其中相同的附图标记表示相同的元件，并且在附图中:

图1是根据示例性实施例的用于非盲图像去模糊的系统的功能框图；

图2是根据示例性实施例的正则化去卷积子模块中的数据处理的功能框图；

图3是根据示例性实施例的在线性运动和侧视成像设备的情况下用于运动伪影图像去模糊的方法中的数据处理的功能框图；

图4是根据示例性实施例的在线性运动和前视或后视成像设备的情况下用于运动伪影图像去模糊的方法中的数据处理的功能框图；

图5是根据示例性实施例的用于一般情况下的运动伪影图像去模糊的方法中的数据处理的功能框图；

图6示出了根据示例性实施例的在侧视摄像机的情况下的在运动伪影去模糊的模拟期间的图像变换；和

图7示出了根据示例性实施例的在前视或后视摄像机的情况下的在运动伪影去模糊的模拟期间的图像变换。

具体实施方式

以下详细描述本质上仅仅是示例性的，并不旨在限制本公开或其应用和用途。此外，不旨在受前面背景技术或下面详细描述中提出的任何理论的约束。

如本文所使用的，术语“模块”是指任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，单独地或以任何组合，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。

这里可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应当理解，可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现这样的块组件。例如，本公开的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。另外，本领域技术人员将理解，可以结合任何数量的系统来实践本公开的实施例，并且本文描述的系统仅仅是本公开的示例性实施例。

为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作组件)有关的常规技术在这里可能没有详细描述。此外，本文包含的各个附图中所示的连接线旨在表示各个元件之间的示例性功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。

本文描述了用于运动模糊去除的系统和方法，其中利用来自一个或多个深度传感器的深度图来估计由成像设备捕获的图像中的光流。深度图为图像中捕获的特征提供深度信息，从而允许至少估计光流的量值，使得可以进行精确的运动伪像去模糊。本文公开的去模糊系统和方法部分地基于对运动引起的模糊取决于图像深度的认识。在曝光过程中，距离成像设备较近的对象在图像空间中的移动将比距离较远的对象移动得更多(具有较大的光流量值)。因此，较远的对象将遭受较低的光流或运动模糊。本文描述的系统和方法考虑到所捕获图像的深度信息，以便执行深度可变运动去模糊处理。在本文所述的一些实施例中，将模糊的输入图像馈送到去卷积算法中。去卷积算法基于深度图使用深度相关的点扩散函数(PSF)。在一些实施例中，在去卷积之前，沿着光流线对模糊的输入图像进行重新采样。

在本文描述的实施例中，成像设备被安装到车辆。自主车辆(AV)系统和/或高级驾驶员辅助系统(ADAS)使用去模糊的输出图像作为车辆控制器的一部分。由于去模糊后的输出图像将比当前系统更清晰，因此车辆控制器可以基于更好的源信息进行决策，从而有可能允许更安全的操作。

图1示出了用于图像去模糊(非盲)的系统10。系统10包括车辆12、安装到车辆12的成像设备14、车辆运动传感器16、一个或多个深度传感器92、车辆控制器18、车辆致动器96和图像处理系统26。

系统10是在车辆12的背景下(例如，包括在其中)示出的，特别是汽车。然而，系统10在诸如飞机、海船等的其他车辆环境中是有用的。系统10可在包括任何电子设备(诸如移动电话、摄像机和平板电脑设备)的车辆环境之外应用，其捕获容易引起运动模糊的图像。本公开特别但非排他地涉及由于车辆12在夜间或延长曝光时间时的其他时间的运动而导致的模糊。

在各种实施例中，车辆12是自主车辆，并且系统10被结合到自主车辆12中。然而，系统10可用于包括成像设备14的任何种类的车辆(自主的或其他的)，该成像设备14产生经受运动引起的模糊的图像。自主车辆12例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。车辆12在所示实施例中被描绘为乘用车，但是应当理解，任何其他车辆包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等，也可以使用。在示例性实施例中，自主车辆12是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是自动驾驶系统在动态驾驶任务的所有方面的特定驾驶模式性能，即使驾驶人员没有对干预请求做出适当响应。五级系统表示“完全自动化”，指的是自动驾驶系统在驾驶人员可以管理的所有道路和环境条件下对动态驾驶任务各个方面的全时表现。

在实施例中，车辆12包括车辆控制器18，该车辆控制器18基于来自成像设备14的图像来控制一个或多个车辆功能。车辆控制器18可包括一个或多个高级驾驶员辅助系统，其基于来自于成像设备14的图像提供电子驾驶员辅助。车辆控制器18可以包括自主驾驶员或半自主驾驶员，该自主驾驶员或半自主驾驶员基于来自成像设备14的成像输入，通过一个或多个车辆致动器96(例如，推进、制动和转向系统的致动器)来控制车辆12。在实施例中，车辆控制器18包括控制模块，该控制模块从图像处理系统26接收去模糊的输出图像20(例如，作为视频的帧或作为静止图像)，以便确定要应用于车辆致动器96的控制指令90。车辆控制器18的控制模块可以运行定位和环境感知算法，该定位和环境感知算法处理去模糊的输出图像20以确定控制指令90。去模糊的输出图像20通过使用去模糊矩阵来去除或大大改善自我运动引起的模糊，该去模糊矩阵已经被计算以考虑给定输入图像的车辆运动、曝光时间和深度信息，如这里将进一步描述的。在所有这些实施例中，更好的去模糊图像将允许车辆控制器18更安全地控制车辆12。

根据各种实施例，系统10包括成像设备14(前部、后部或侧面安装的摄像机)或多个这样的成像设备14。成像设备14是产生图像的任何合适的摄像机或视频设备。为了本公开的目的，由于车辆12的运动导致真实世界场景和成像设备14之间的相对运动而导致的运动模糊，图像被假定为包括模糊(因此被标记为模糊输入图像24)。成像设备14可以是彩色成像设备或灰度成像设备。成像设备14可以在可见和/或红外光谱中操作。成像设备14可以产生用作模糊输入图像24的一维、二维或三维(1D、2D或3D)图像。

车辆运动传感器16包括由车辆控制器18使用的各种传感器，以控制车辆12的操作。与本公开特别相关的是速度传感器，例如车轮速度传感器、加速度传感器，例如加速度计和/或陀螺仪，以及提供代表所感测的车辆运动的参数的车辆运动数据22的其他车辆运动传感器16。如本文中进一步描述的，图像处理系统26使用车辆运动数据22以确定PSF。在一些实施例中，车辆运动数据22可以从其他数据源估计，而不是直接感测到的。例如，可以基于车辆12的感知能力来估计车辆运动数据22。

一个或多个深度传感器92提供用于模糊输入图像24的深度通道，使得可获得用于模糊输入图像中的特征的三维位置信息。深度传感器92因此产生与模糊的输入图像24相对应的深度图94。深度传感器92可以是包括立体摄像机系统、激光雷达设备、飞行时间(TOF)摄像机、雷达设备、超声设备和激光测距仪的多种类型中的任何一种，并且可以与适当的处理能力相关联，以允许获得深度或范围信息。尽管在图1中深度传感器92和成像设备14被示为单独的设备，但是，它们可以是集成设备，例如带有增强型CCD摄像机。

继续参考图1，图像处理系统26包括至少一个处理器70、存储器72等。处理器70可以执行存储在存储器74中的程序指令74。处理器70可以指代中央处理器(CPU)、图形处理单元(GPU)或专用处理器，在其上执行根据本发明的方法和功能。存储器72可以由易失性存储介质和/或非易失性存储介质组成。例如，存储器72可以包括只读存储器(ROM)和/或随机存取存储器(RAM)。存储器72存储由处理器70执行的至少一个指令，以便实现本文描述的框、模块和方法步骤。由图像处理系统26实现的模块包括点扩散函数(PSF)模块28、模糊矩阵计算模块30、去模糊模块34和正则化去卷积子模块36。尽管模块28、30、34和36(在下文中进一步描述)与处理器70、存储器72和编程指令74分开示出，这纯粹是为了可视化。实际上，模块28、30、34和36由存储在存储器74上并且可由图像处理系统26的一个或多个处理器70执行的编程指令74来体现。

图像处理系统26被配置为通过在处理器70上执行的编程指令74(如下文进一步所述)，从成像设备14接收模糊的输入图像24，从一个或多个深度传感器92接收深度图94以及从车辆运动传感器16接收车辆运动数据22。图像处理系统26不仅基于车辆运动数据22(例如，移动速度)和摄像机数据76(例如，曝光时间)，而且还基于针对模糊的输入图像24的深度信息以便考虑到与较近的对象相比，较远的对象运动引起的模糊量较少的事实，来确定PSF。图像处理系统26通过去卷积处理基于点扩散函数来计算去模糊矩阵。通过对模糊输入图像24上的去模糊矩阵的操作，图像处理系统26提供去模糊输出图像20。

输入图像的模糊可以通过以下等式在数学上表示：

I_B＝I×K_B (等式1)

其中I_B是模糊输入图像24，I是与去模糊输出图像20对应的未知、未模糊图像，K_B是对描述模糊输入图像24中的模糊性质的PSF进行建模的模糊矩阵。由于本公开涉及非盲去模糊，假设PSF是已知的，因此可以从PSF导出模糊矩阵K_B。用于所有模糊方式的PSF在本领域中是已知的，包括由曝光期间由成像设备14的运动引起的模糊。理论上，可以将模糊矩阵的逆(该逆由表示)乘以模糊输入图像24来解析未模糊的图像I。但是，模糊输入图像24中的噪声使得简单的去卷积是不切实际的。在去卷积处理期间，噪声分量将以不受控制的方式放大，这可能导致比原始模糊输入图像24清晰(或更模糊)的去卷积图像。该噪声放大问题的一种解决方案是使用模糊矩阵的正则化逆来对模糊的输入图像24进行去模糊。这样的正则化去卷积函数在本领域中是已知的。正则化去卷积函数依赖于正则化参数λ来减轻噪声的影响。参照图1，正则化去卷积子模块36接收模糊的输入图像24，并在其上操作正则化去卷积函数44。

图像处理系统26包括PSF模块28，其接收至少包括速度数据的车辆运动数据22并接收深度图数据94。这些输入由PSF模块28处理以确定代表PSF函数的PSF数据31。在PSF模块28的操作过程期间，光流线被隐式或显式估计，如将在本文中进一步描述的。PSF数据31可根据车辆运动(例如，车辆越快，由PSF定义的扩展或模糊越大)和代表从成像设备14获得的相关摄像机参数的摄像机数据76(例如，曝光时间，从而曝光时间越长，假设车速恒定，则模糊越大)变化。PSF数据31由点扩散函数模块28确定，该点扩散函数模块28包括光流建模函数，用于基于车辆运动数据22和摄像机数据76确定预期的PSF。在一个实施例中，假设车辆12的平移运动，成像设备14指向垂直于速度矢量的方向(侧视成像设备14)，点扩散函数模块28基于以下来确定点扩散函数数据31:

其中u和v是二维图像空间中的坐标，X、Y和Z是三维真实世界空间中的坐标，f是成像设备14的焦距并且是针对特定系统10预先确定的，V是车辆12的速度，其从车辆运动数据22得出，t对应于成像设备14的曝光时间，其是从摄像机数据76中得出的。假定成像设备14的平移运动，成像设备14指向垂直于速度矢量的方向(侧视成像设备14)，预期拖尾仅沿u轴发生，并且预期拖尾程度为：

其中D是以深度图数据94定义的深度图：

D(u,v)＝Z(u(X),v(Y)) (等式4)

光流是由成像设备14和真实世界场景之间的相对运动引起的图像场景中对象、表面和边缘的视在运动的模式。在看成像设备14的沿y方向和x方向的平移运动的示例中，光流线仅沿一维发生-沿着图像空间中的u方向发生，该u方向对应于真实世界空间中的x方向。这样，通过等式3估计光流线。PSF模块基于根据等式3隐式估计的光流线定义PSF数据31。

如从等式2和3可以理解的，在曝光时间期间图像空间中的图像的移动量与真实世界空间中被成像对象的深度成反比。本公开提出在确定PSF数据31时使用深度图数据94来考虑深度信息，从而确定允许精确的运动伪影去模糊的深度自适应点扩散函数。

模糊矩阵计算模块30将PSF数据31中定义的PSF转换为矩阵形式，并输出相应的模糊矩阵32。模糊矩阵32可以采用以下形式：

等式5中的PSF是从PSF数据31获得的，其中L是根据等式3得出的，如下：

正则化去卷积子模块36接收表示模糊矩阵K_B的模糊矩阵32，并利用其在模糊输入图像24上进行正则化去卷积，以生成去卷积图像40。

图2示出了由正则化去卷积子模块36使用的正则化去卷积函数44的示例性数据流程图。在这种情况下，正则化去卷积函数44是Tikhonov正则化去卷积函数。如图2所示，PSF模块28生成表示PSF的PSF数据31，该PSF数据31被转换成由模糊矩阵32定义的模糊矩阵K_B，如上所述的。对模糊矩阵32进行单值分解(SVD)，以便根据等式7生成USV分解矩阵：

K_B＝USV^T (等式7)

发现正则化模糊矩阵的逆为：

其中I(模糊的输入图像24的未模糊版本)是：

I_B是模糊的输入图像24。

继续参考图2，由于对模糊矩阵K_B的SVD和反演运算，正则去卷积函数44由逆分解矩阵80、82、84组成。矩阵82是正则化参数λ78的函数，其形式为S(S²+λ²I)^-1。对于特定系统10，正则化参数78可以是常数。将模糊输入图像24乘以分解矩阵80、82、84作为正则化的Tikhonov去卷积函数44的一部分，从而提供去卷积图像40。其他去卷积函数已知并且可以适用，例如维纳正则化去卷积函数。

返回来参考图1，作为正则化去卷积处理的固有结果，去卷积图像40可能具有图像伪影。由于这个原因，去模糊模块34可以包括卷积神经网络(CNN)子模块(未示出)或一些其他的伪像去除子模块，其去除经去卷积的图像40中的任何图像伪像。在任何进一步的图像伪像去除处理之后，去模糊模块34基于去卷积图像40输出去模糊输出图像20。

现在参考图3至图5，并继续参考图1和图2，流程图示出了根据本公开的可以由图1的图像处理系统26执行的方法。如根据本公开可以理解的，该方法内的操作顺序不限于如图3至图5所示的顺序执行，而是可以按照适用且根据本公开以一个或多个变化顺序来执行。在各种实施例中，该方法可以调度为基于一个或多个预定事件来运行，和/或可以在自主车辆12的操作期间连续地运行。

图3是根据实施例的在线性运动和侧视成像设备14的情况下用于运动伪影图像去模糊的方法中的数据处理300的功能框图。当图像处理系统26基于车辆运动数据22确定车辆12在y方向(其中成像设备14的面向的方向在x方向)上平移时，数据处理300可以被激活。在处理302中，通过侧视成像设备14获得模糊的输入图像24。在处理304中，通过车辆运动传感器16获得车辆运动数据22。在处理306中，通过深度传感器92获得深度图数据94。在处理308中，估计光流线。由于当前情况是纯粹的平移运动，所以光流线是直线，与成像对象的深度无关，并且沿y方向延伸。因此，等式3的结果体现在PSF数据31中，其隐式估计模糊的输入图像24的光流线的量值。处理308通过基于车速、曝光时间和深度图计算等式3的结果来估计光流线。处理310根据上面的等式5计算模糊矩阵32。处理312使用去卷积函数44将模糊矩阵32去卷积为正则化的去模糊矩阵。在处理314中，将来自处理312的正则化的去模糊矩阵应用于来自处理302的模糊输入图像，从而在处理316中输出去模糊的输出图像20。

在实施例中，一些处理300被逐行执行，从而有助于简化的一维图像处理。也就是说，针对每一行执行框320中的数据处理310、312和314。从模糊的输入图像24(行和列是二维的)中读取单行图像数据。在步骤310、312中，基于针对模糊输入图像24的单行的深度信息，在一维(例如，针对单行)中计算模糊矩阵和正则化去模糊矩阵。通过这种方式，上述一维Tikhonov正则化去卷积函数44在处理312中使用。来自处理312的正则化的去模糊矩阵被应用于模糊的输入图像的图像数据的单行，以便产生单行的输出数据。对于模糊的输入图像24的每一行重复处理310、312和314。在处理316中，将成行的去模糊的输出图像数据进行组合并输出，从而提供去模糊的输出图像20。

图6示出了根据示例性实施例的在侧视摄像机和平移运动的情况下根据图3的数据处理在运动伪影去模糊的模拟期间产生的图像600。模糊的输入图像602包括在图像空间的u方向上的模糊，其对应于车辆12的平移运动的方向。图像600包括深度图604，深度图604(在尺寸和位置上)对应于模糊的输入图像602。根据图3的处理300，使用深度图604的各行为模糊输入图像602的每一行计算PSF，从而根据处理308隐式地估计行或u方向上的光流线的量值。根据PSF，使用PSF以及处理310和312计算正则化的去模糊矩阵，将其应用于处理314中的模糊输入图像602的行之一。重复这些处理310、312和314以产生去模糊的输出图像606。图像608示出了地面真实性，目的是与去模糊的输出图像606进行比较。如通过比较图6中的模糊的输入图像602和去模糊的输出图像606可以看到的，已使用有效的一维图像处理步骤来形成清晰图像。

图4是根据实施例的在线性运动和前视或后视成像设备14的情况下用于运动伪影图像去模糊的方法中的数据处理400的功能框图。当图像处理系统26基于车辆运动数据22确定车辆12在y方向上平移时(其中成像设备14的面向的方向也在y方向上)，可以激活数据处理400。在平移向前或向后运动中并且使用与车辆12的平移运动对准的向前或向后成像设备14，光流与会聚在成像设备14的扩展焦点(FOE)处的一组直线对准。FOE可以但不一定与成像设备14捕获的图像的中心重合。位置取决于成像设备14相对于车辆运动的取向。

在处理402中，通过前视或后视成像设备14获得模糊的输入图像24。在处理404中，通过车辆运动传感器16获得车辆运动数据22。在处理406中，通过深度传感器92获得深度图数据94。在处理410中，将模糊的输入图像24从笛卡尔坐标重新采样为以FOE为中心的极坐标。在本示例中，运动引起的模糊仅沿着在成像设备14的FOE处会聚的线在径向方向上(沿恒定的θ的线)发生。通过将模糊的输入图像转换成极坐标，运动模糊沿着图像空间中的u方向对准，使得上述等式2至9仍然适用。即，通过对模糊的输入图像24进行重新采样，已经通过前述的一维方法使使用深度信息的运动去模糊的问题变得可解决。在处理412中，出于与以上概述的原因类似的原因，由深度图数据94定义的深度图被重新采样到以FOE为中心的极坐标。

在处理408中，估计光流线。由于当前情况仅是平移运动，所以光流线是直线，而与成像对象的深度无关，并且沿径向方向延伸。因此，等式3的结果体现在PSF数据31中，该PSF数据31隐含地估计模糊输入图像24的光流线的量值。处理408通过基于车速、曝光时间和深度图计算等式3的结果来估计光流线。处理410根据上面的等式5计算模糊矩阵32。根据处理410，相对于重新采样深度图来定义PSF。即，PSF在重新采样深度图的每个坐标[m，n](或像素数)处使用重新采样深度图的值。作为重新采样处理的结果，深度图和模糊输入图像24中的u和v坐标与r(径向范围)和θ(极角)对准。处理412使用去卷积函数44将模糊矩阵32去卷积为正则化的去模糊矩阵。在处理414中，将来自处理412的正则化的去模糊矩阵应用于来自处理410的重新采样的输入图像，以产生极坐标去模糊的输出图像。在处理420中，将对极坐标去模糊的输出图像重新采样或转换为笛卡尔坐标，使得在处理422中输出去模糊的输出图像20。

类似于关于图3和图4描述的处理，一些处理400被逐行执行，从而有助于简化的一维图像处理。也就是说，对于来自处理410的重新采样的输入图像的每个单行和来自处理412的重新采样的深度图的每个单行，重复框430中的数据处理414、416和418。

图7示出了根据示例性实施例的在前视或后视摄像机以及平移运动的情况下根据图4的数据处理在运动伪影去模糊的模拟期间产生的图像700。模糊的输入图像702包括沿着会聚在成像设备14的FOE处的恒定θ的线在图像空间的r方向上去模糊。图像700包括深度图704，该深度图704对应于(在尺寸、位置和FOE方面)模糊的输入图像702。

根据图4的处理410和412，将模糊的输入图像702和深度图704重新采样到极坐标中，以便产生图7所示的重新采样的输入图像706和重新采样的深度图708。在处理408和414中，重新采样的深度图704的值用于确定点扩散函数和模糊矩阵，其隐式地估计光流线的量值。在处理416中，将来自处理416的模糊矩阵应用于模糊的输入图像702的行之一。在处理416中，基于深度图704的行之一，逐行计算正则化的去模糊矩阵，然后其在处理414、416和418中被应用于模糊的输入图像702的相应单行。对输入图像702和深度图704的所有行重复这些处理414、416和418，以产生极坐标坐标去模糊的输出图像，其然后在处理420中被重新采样为笛卡尔坐标以产生去模糊的输出图像710。图像712示出了地面真实图像，并且清晰度与去模糊的输出图像710紧密对应。如通过比较图7中的模糊的输入图像702和去模糊的输出图像710，已经使用了有效的一维图像处理步骤来形成清晰的图像，基本上没有运动引起的模糊。

图3和图4分别描述了根据示例性实施例的用于侧视和前视/后视摄像机的平移运动的特定示例中的运动伪影图像去模糊的数据处理。图3和图4的实施例本身是实用的，并且涵盖了车辆的广泛使用情况场景。但是，可以从不依赖于有关平移运动和特定摄影机取向的假设的相同原理中得出更通用的方法。图5示出了根据更一般的示例性实施例的用于图像去模糊的方法的数据处理500。图5的数据处理适用于车辆12的混合(旋转加平移)运动。当车辆12进行混合运动时，光流线的方向和光流的量值取决于深度并将在整个模糊的输入图像24中局部地变化。这与车辆12的平移运动的情况形成对比，在车辆12的平移运动的情况下，光流线的方向通过模糊的输入图像24是一致的，并且仅其量值根据深度而变化。

当图像处理系统26基于车辆运动数据22确定车辆12平移和旋转地具有重要的运动贡献时，可以激活数据处理500。应当注意，对于纯旋转运动，光流不取决于深度，因此不需要通过本文所述的深度自适应运动去模糊系统和方法来校正。

在处理502中，通过成像设备14获得模糊的输入图像24。在处理504中，通过车辆运动传感器16获得车辆运动数据22。在本实施例中，车辆运动数据包括三维速度和加速度信息。在处理506中，由深度传感器92获得深度图数据94。在处理508中，估计光流。与图3和图4的处理相反，光流被显式地估计，而不是该步骤被隐式地执行。光流可以通过以下方式确定：

其中x和y代表真实世界中图像特征的归一化三维坐标：

X、Y和Z是真实世界中图像特征的规则三维坐标，V_x、V_y、V_z是沿x、y和z轴中的每个轴的速度矢量分量，并且：

Ω＝(Ω_X Ω_Y Ω_Z)^T (等式11).

Ω是角速度矢量，其是从车辆运动数据22，特别是从包括在车辆运动传感器16中的惯性测量单元(IMU)获得的加速度数据获得的。

处理508提供光流图，其包括在每个坐标处的光流线的量值和方向。在整个光流图中，光流可能会局部变化。在处理510中，基于在处理508中获得的估计的光流，沿着光流线从笛卡尔坐标中对模糊的输入图像24进行重新采样。该重新采样步骤包括根据模糊的输入图像的每个像素处的光流线重新采样到局部坐标系。在处理512中，已经在处理508中获得的光流(光流图)本身沿着光流线被重新采样。

处理514根据上面的等式5计算模糊矩阵32。根据处理514，相对于从处理512获得的重新采样光流图来定义PSF。也就是说，PSF使用在其每个坐标[m，n](或像素数)处的重新采样光流图的值。重新采样处理使模糊的输入图像24和光流图中的复杂光流能够一维对准(在图像空间的u方向上)，使得使上述一维去模糊等式保持为可操作的。处理516使用去卷积函数44将模糊矩阵32去卷积为正则化的去模糊矩阵。在处理518中，将来自处理516的正则化的去模糊矩阵应用于来自处理510的重新采样的输入图像以产生极坐标去模糊的输出图像。在处理520中，将光流坐标去模糊的输出图像重新采样到笛卡尔坐标，使得在处理522中输出去模糊的输出图像20。

类似于关于图3和图4所描述的，一些处理500被逐行执行，从而有助于简化的一维图像处理。也就是说，针对来自处理510的重新采样的输入图像的每个单行和来自处理512的重新采样的光流图，重复框530中的数据处理514、516和518。

因此，对于最一般的情况，使用上述等式10和11在笛卡尔坐标中计算光流。然后，光流本身沿光流线重新采样。以这种方式，光流与重新采样的输入图像对准，并且对于重新采样的图像的每一行可以独立地进行去模糊。由于在本文参照图3至图5描述的实施例中，去模糊周期逐行进行，因此可以在一个以上的处理器70上有效地并行化去模糊周期。

在本公开的实施例中，去模糊的输出图像20由图像处理系统26输出并由车辆控制器18接收。车辆控制器18基于去模糊的输出图像生成控制指令90。该控制指令90被输出到车辆致动器96，以控制车辆12的一种或多种功能，例如转向、制动和推进。

应当理解，所公开的方法、系统和车辆可以与图中所示和本文所述的方法、系统和车辆不同。例如，车辆12和图像处理系统26和/或其各种组件可以与图1和图2所示以及结合图1和图2描述的不同。另外，将认识到，该方法的某些步骤可以与图3至图5所示的步骤不同。应当类似地认识到，上述方法的某些步骤可以同时发生或以与图3到5所示的不同的顺序发生。

尽管在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离本申请及其合法等同物的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种车辆中的图像去模糊的方法，该方法包括：

经由至少一个处理器，从成像设备接收模糊的输入图像；

经由至少一个处理器，从至少一个车辆运动传感器接收车辆运动数据；

经由至少一个处理器，从深度传感器接收与模糊的输入图像相对应的深度图；

经由至少一个处理器，基于车辆运动数据和深度图确定点扩散函数；

经由至少一个处理器，基于点扩散函数计算去模糊矩阵；

经由至少一个处理器，基于去模糊矩阵和模糊的输入图像对模糊的输入图像进行去模糊，从而提供去模糊的输出图像；和

经由至少一个处理器，基于去模糊的输出图像来控制车辆的功能。

2.根据权利要求1所述的方法，包括基于所述点扩散函数来计算模糊矩阵；以及基于所述模糊矩阵并且使用去卷积函数来计算与所述去模糊矩阵相对应的正则化的去模糊矩阵。

3.根据权利要求2所述的方法，其中，所述去卷积函数是Tikhonov正则化的去卷积函数。

4.根据权利要求1所述的方法，其中，所述点扩散函数表示由于车辆运动导致的真实世界场景相对于所述成像设备的运动引起的模糊的输入图像的每个像素在图像空间中的拖尾程度，其中，模糊的输入图像的二维图像空间中的每个像素在真实世界场景中具有至少一个对应的位置，其中，所述车辆运动由所述车辆运动数据定义，其中，模糊的输入图像的每个像素在图像空间中的拖尾程度与真实世界空间中的至少一个对应位置的深度成反比，其中真实世界空间中的深度由深度图定义。

5.根据权利要求1所述的方法，其中，所述成像设备是车辆的侧视摄像机，

该方法进一步包括，在平移车辆运动的情况下：

经由至少一个处理器，基于深度图和车辆运动数据估计光流线的量值；

经由至少一个处理器，基于光流线的量值确定点扩散函数；

经由至少一个处理器，基于点扩散函数计算模糊矩阵；

经由至少一个处理器，基于所述模糊矩阵并使用去卷积函数来计算正则化的去模糊矩阵；和

经由至少一个处理器，基于正则化的去模糊矩阵和模糊的输入图像对模糊的输入图像进行去模糊，从而提供去模糊的输出图像。

6.根据权利要求1所述的方法，其中，所述成像设备是所述车辆的前视或后视摄像机，

该方法进一步包括，在平移车辆运动的情况下：

经由至少一个处理器，将模糊的输入图像和深度图重新采样到会聚在成像设备的扩展焦点处的极坐标；

经由至少一个处理器，基于车辆运动数据估计光流线的量值；

经由至少一个处理器，基于光流线的量值确定点扩散函数；

经由至少一个处理器，基于点扩散函数和重新采样的深度图计算模糊矩阵；

经由至少一个处理器，基于所述模糊矩阵并使用去卷积函数来计算正则化的去模糊矩阵；

经由至少一个处理器，基于正则化的去模糊矩阵和重新采样的模糊的输入图像对模糊的输入图像进行去模糊，从而提供极坐标去模糊的图像；和

将极坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

7.根据权利要求1所述的方法，包括：

经由至少一个处理器，基于深度图和车辆运动来估计笛卡尔坐标中的光流线的量值和方向，从而估计光流；

经由至少一个处理器，从笛卡尔坐标沿光流线对光流进行重新采样；

经由至少一个处理器，从笛卡尔坐标沿着光流线对模糊的输入图像进行重新采样；

经由至少一个处理器，基于车辆运动和重新采样的光流，确定点扩散函数；

经由至少一个处理器，基于点扩散函数计算模糊矩阵；

经由至少一个处理器，基于所述模糊矩阵并使用去卷积函数来计算正则化的去模糊矩阵；

经由至少一个处理器，基于正则化的去模糊矩阵和重新采样的模糊的输入图像对模糊的输入图像进行去模糊，从而提供光流坐标去模糊的图像；和

经由至少一个处理器，将光流坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。

8.根据权利要求1所述的方法，其中，确定点扩散函数、计算去模糊矩阵和对模糊的输入图像进行去模糊的步骤是在模糊的输入图像的单行上且针对每一行执行的。

9.一种车辆，包括：

成像设备；

车辆控制器；

车辆致动器；

至少一个车辆运动传感器；

深度传感器；和

至少一个处理器，配置为执行程序指令，其中，该程序指令被配置为使所述至少一个处理器：

从成像设备接收模糊的输入图像；

从至少一个车辆运动传感器接收车辆运动数据；

从深度传感器接收与模糊的输入图像相对应的深度图；

基于车辆运动数据和深度图确定点扩散函数；

基于点扩散函数计算去模糊矩阵；和

基于去模糊矩阵和模糊的输入图像对该模糊的输入图像进行去模糊，从而提供去模糊的输出图像；

其中，车辆控制器被配置为基于去模糊的输出图像经由车辆致动器来控制车辆的功能。

10.根据权利要求9所述的车辆，其中，所述程序指令被配置为使所述至少一个处理器：

基于深度图和车辆运动来估计笛卡尔坐标中的光流线的量值和方向，从而估计光流；

从笛卡尔坐标沿光流线对该光流进行重新采样；

从笛卡尔坐标沿光流线对模糊的输入图像进行重新采样；

基于车辆运动和重新采样的光流确定点扩散函数；

基于点扩散函数计算模糊矩阵；

基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；

基于正则化的去模糊矩阵和重新采样的模糊输入图像对模糊的输入图像进行去模糊，从而提供光流坐标去模糊的图像；和

将光流坐标去模糊的图像重新采样到笛卡尔坐标，从而提供去模糊的输出图像。