CN113344800B - 用于训练非盲图像去模糊模块的系统和方法 - Google Patents

用于训练非盲图像去模糊模块的系统和方法 Download PDF

Info

Publication number
CN113344800B
CN113344800B CN202110230767.3A CN202110230767A CN113344800B CN 113344800 B CN113344800 B CN 113344800B CN 202110230767 A CN202110230767 A CN 202110230767A CN 113344800 B CN113344800 B CN 113344800B
Authority
CN
China
Prior art keywords
image
module
regularization
deconvolution
blurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110230767.3A
Other languages
English (en)
Other versions
CN113344800A (zh
Inventor
M.斯卢茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN113344800A publication Critical patent/CN113344800A/zh
Application granted granted Critical
Publication of CN113344800B publication Critical patent/CN113344800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

公开了用于训练非盲去模糊模块的方法和系统。接收未模糊的测试图像和模糊的测试图像，其中每个模糊的测试图像通过模糊核项和噪声项与对应的未模糊的测试图像之一相关。通过调整正则化去卷积函数的正则化参数和卷积神经网络的权重来共同训练正则化去卷积子模块和卷积神经网络，以便最小化代表每个去模糊输出图像和相应的未模糊的测试图像之一之间的差异的成本函数。

Description

用于训练非盲图像去模糊模块的系统和方法
技术领域
本公开总体上涉及非盲图像去模糊，并且更具体地涉及用于训练非盲图像去模糊模块的方法和系统。
背景技术
摄像机捕获的图像可能由于多种原因而模糊。例如，摄像机在图像捕获过程中可能一直在移动或晃动。图像模糊也可能是由光学像差引起的。色度模糊也很普遍，由此不同波长的折射程度不同。非盲去卷积(deconvolution)技术是已知的，由此通过处理模糊的输入图像以获得更清晰、去模糊的输出图像。根据这样的去卷积技术，利用模糊核将模糊的输入图像变换为去模糊的输出图像。可以从表示预期模糊效果的性质的点扩展函数来确定模糊核。在将摄像机安装到行驶中的车辆的情况下，基于车辆运动的知识来推导点扩展函数，并且基于点扩展函数来确定去模糊核。即，模糊源在成像中通常是众所周知的，并且可以使用直接测量或从模糊物理学的知识得出的点扩展函数(PSF)很好地对模糊过程进行建模。
大多数模糊图像包括噪声以及模糊。噪声进一步使去模糊问题复杂化。典型技术通常会消除模糊，但会增加其他瑕疵。深度神经网络的蛮力直接应用可能会成功，但仅适用于相对较弱的模糊。此外，由于去卷积方法根据噪声的影响和模糊核的变化而大大改变，因此使用深度学习技术的方法的准确性和计算速度受到限制。
使用模糊核通常可以将图像去模糊简化为去卷积。去卷积是一不适定的逆问题。因此，它应该正则化。正则化参数增加了解决方案的稳定性。但是，优化正则化参数是一项艰巨的任务。如果稳定性过高，可能会导致模糊输出，而稳定性过低可能会导致噪声放大。
因此，期望提供非盲图像去模糊的系统和方法，该系统和方法通过使用正则化去卷积技术来有效地操作，从而有效且最优地选择了正则化参数以改善去模糊图像的输出。此外，结合附图以及前述技术领域和背景技术，根据随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。
发明内容
根据示例性实施例，提供了一种训练非盲去模糊模块的方法。非盲去模糊模块包括正则化去卷积子模块和卷积神经网络子模块。正则化去卷积子模块被配置为对模糊的输入图像执行正则化去卷积函数，以产生可能具有图像伪像的去卷积图像。卷积神经网络子模块被配置为接收去卷积图像作为卷积神经网络的输入并去除图像伪像，从而提供去模糊的输出图像。该方法包括经由至少一个处理器接收未模糊的测试图像和模糊的测试图像。每个模糊的测试图像通过模糊核项和噪声项与相应的未模糊的测试图像之一相关。该方法包括经由至少一个处理器共同训练正则化去卷积子模块和卷积神经网络。共同训练包括调整正则化去卷积函数的正则化参数和卷积神经网络的权重，以最小化代表每个去模糊输出图像与对应的未模糊的测试图像之一之间的差异的成本函数，从而提供训练后的正则化参数、训练后的权重和训练后的非盲去模糊模块。该方法还包括：经由所述至少一个处理器从成像设备接收模糊的输入图像；经由所述至少一个处理器使用训练的非盲去模糊模块对所述模糊的输入图像进行去模糊；以及经由至少一个处理器，输出去模糊的输出图像。
在实施例中，去卷积函数是维纳去卷积函数。在实施例中，去卷积函数是Tikhonov-正则化的去卷积函数。
在实施例中，该方法包括使用训练的非盲去模糊模块来对模糊的输入图像去模糊，从而产生去模糊的输出图像。正则化去卷积子模块在模糊的输入图像上执行正则化去卷积函数以产生可能具有图像伪像的去卷积图像，正则化去卷积函数包括训练后的正则化参数，并且卷积神经网络子模块通过卷积神经网络处理去卷积的图像以去除图像伪像，卷积神经网络包括经过训练的权重。
在实施例中，卷积神经网络输出残差，并且训练后的非盲去模糊模块将残差添加到去卷积图像，从而产生去模糊的输出图像。
在实施例中，该方法包括使用反向传播算法经由至少一个处理器来调整正则化参数和权重。在实施例中，反向传播算法基于已经从CNN反馈的梯度和可能具有相对于正则化参数的图像伪影的去卷积图像的导数来调整正则化参数。
在实施例中，至少一个处理器接收未模糊的测试图像，并使用模糊核函数和噪声函数在未模糊的测试图像上人工生成模糊的测试图像。
在实施例中，从安装到车辆的成像设备接收模糊的输入图像。
在实施例中，车辆包括车辆控制器。该方法包括车辆控制器基于去模糊的输出图像来控制至少一种车辆功能。
根据另一个示例性实施例，提供了一种用于训练非盲去模糊模块的系统。该系统包括非盲去模糊模块，该非盲去模糊模块包括正则化去卷积子模块和卷积神经网络子模块。正则化去卷积子模块被配置为对模糊的输入图像执行正则化去卷积函数，以产生可能具有图像伪像的去卷积图像。卷积神经网络子模块被配置为接收去卷积图像作为卷积神经网络的输入并去除图像伪像，从而提供去模糊的输出图像。该系统包括被配置为执行程序指令的至少一个处理器。程序指令被配置为使至少一个处理器接收未模糊的测试图像和模糊的测试图像。每个模糊的测试图像通过模糊核项和噪声项与相应的未模糊的测试图像之一相关。程序指令被配置为通过调整正则化去卷积函数的正则化参数和卷积神经网络的权重来使至少一个处理器共同训练正则化去卷积子模块和卷积神经网络，以使成本函数最小化。成本函数代表每个去模糊的输出图像和相应的未模糊的测试图像之一之间的差异，从而提供训练后的正则化参数、训练后的权重和训练后的非盲去模糊模块。所述程序指令还使所述至少一个处理器：从所述成像设备接收模糊的输入图像，使用训练后的非盲去模糊模块对所述模糊的输入图像进行去模糊，并输出去模糊的输出图像。
在实施例中，去卷积函数是维纳去卷积函数。在实施例中，去卷积函数是Tikhonov-正则化的去卷积函数。
在实施例中，训练的非盲去模糊模块被配置为对模糊的输入图像去模糊，从而产生去模糊的输出图像。正则化去卷积子模块被配置为对模糊的输入图像执行正则化去卷积函数，以使用训练后的正则化参数产生可能具有图像伪影的去卷积图像。卷积神经网络子模块配置为通过卷积神经网络处理去卷积图像，以使用训练后的权重去除图像伪影。
在实施例中，卷积神经网络被配置为输出残差，并且训练后的非盲去模糊模块被配置为将残差添加到去卷积图像，从而产生去模糊的输出图像。
程序指令被配置为使至少一个处理器使用反向传播算法来调整正则化参数和权重。在实施例中，程序指令被配置为使至少一个处理器基于已经从CNN反馈的梯度和可能具有关于正则化参数的图像伪像的去卷积图像的导数，调整正则化参数。
在实施例中，程序指令被配置为使至少一个处理器接收未模糊的测试图像，并使用模糊核函数和噪声函数在未模糊的测试图像上人工生成模糊的测试图像。
在实施例中，系统包括车辆。该车辆包括摄像机和非盲去模糊模块。非盲去模糊模块被配置为从摄像机接收模糊的输入图像。
在实施例中，车辆包括配置为基于去模糊的输出图像来控制至少一种车辆功能的控制模块。
附图说明
在下文中，将结合以下附图描述本公开，其中，相同的附图标记表示相同的元件，并且在附图中：
图1是根据示例性实施例的用于非盲去模糊的系统的功能框图；
图2是根据示例性实施例的在正则化去卷积子模块中的数据处理的功能框图；
图3是根据示例性实施例的另一正则化去卷积子模块中的数据处理的功能框图；
图4是根据示例性实施例的用于训练非盲去模糊模块的系统的功能框图；
图5是根据示例性实施例的表示在非盲去模糊模块中处理的数据变换的功能框图；
图6是根据示例性实施例的训练和使用非盲去模糊模块的方法的流程图；和
图7示出了根据示例性实施例的根据图1的系统的使用的模糊输入图像、去卷积图像和去模糊输出图像。
具体实施方式
以下详细描述本质上仅是示例性的，并且无意于限制本公开或其应用和使用。此外，无意受到在先前背景或以下详细描述中提出的任何理论的束缚。
如本文中所使用的，术语模块是指任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，单独地或以任何组合，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或成组)和存储器、组合逻辑电路和/或提供所描述功能的其他合适组件。
在此可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应当理解，可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现这样的块组件。例如，本公开的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。另外，本领域技术人员将理解，可以结合任何数量的系统来实践本公开的实施例，并且本文描述的系统仅仅是本公开的示例性实施例。
为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作组件)有关的常规技术在本文中可能不会被详细描述。此外，本文包含的各个附图中所示的连接线旨在表示各个元件之间的示例性功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
本文描述的是基于使用经典的正则化去卷积模块和卷积神经网络(CNN)的混合系统的非盲图像去模糊的系统和方法。通过共同训练程序，将正则化模块的参数与CNN权重一起确定。训练数据包括任何相关的图像数据库以及系统生成的模糊和噪点图像。已经发现这里公开的系统和方法即使对于输入图像中几乎任意强的模糊也可以产生无伪影的图像去模糊。本文公开的系统和方法与多种感测场景有关-高曝光时间运动模糊、色差等。
图1示出了用于非盲图像去模糊的系统10。系统10包括车辆12、安装到车辆12的成像设备14、车辆传感器16、车辆控制器、车辆控制器18和使用处理系统26。使用处理系统26包括由处理器70执行的非盲去模糊模块34和存储在存储器72中的计算机程序指令74。在实施例中，成像设备14被配置为捕获图像作为模糊输入图像24，其使用正则化去卷积函数44和卷积神经网络、包括在非盲去模糊模块中的CNN 42来去模糊，从而产生去模糊的输出图像20。去模糊的输出图像被车辆控制器18使用以控制车辆12的一个或多个功能。
系统10是在车辆12(尤其是汽车)的环境下示出的(例如，包含在其中)。然而，系统10在诸如飞机、海船等的其他交通工具环境中是有用的。系统10可应用于包括任何电子设备(诸如移动电话、摄像机和平板设备)的交通工具环境之外，其拍摄容易模糊的图像。本公开特别但非排他地涉及由于运动而引起的模糊(其通常在车辆环境中发生，特别是在夜间或延长曝光时间的其他时间)。系统10对于运动以外的其他模糊源是有用的，例如由光学像差或彩色滤波引起的那些模糊源。
在各种实施例中，车辆12是自主车辆，并且系统10被并入自主车辆12。然而，系统10在包括产生容易模糊的图像的成像设备14的任何类型的车辆(自主的或其他的)中是有用的。自主车辆12例如是自动控制以将乘客从一个位置运送到另一位置的车辆。车辆12在所示实施例中被描述为乘用车，但是应当理解，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、轮船、飞机等的任何其他车辆也可以使用。在示例性实施例中，自主车辆12是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，是指自动驾驶系统对动态驾驶任务的所有方面进行的驾驶模式特定性能，即使驾驶人员没有适当地响应干预要求。五级系统表示“完全自动化”，是指自动驾驶系统在可由驾驶人员管理的所有道路和环境条件下动态驾驶任务的所有方面的全时性能。
在实施例中，车辆12包括被配置为基于来自成像设备14的图像来控制一个或多个车辆功能的车辆控制器18。车辆控制器18可包括被配置为基于来自成像设备14的图像提供电子驾驶辅助的一个或多个高级驾驶员辅助系统。车辆控制器18可以包括自主驱动器或半自主驱动器，其被配置为基于来自成像设备14的输入的图像通过一个或多个致动系统(例如，推进、制动和转向系统)来控制车辆12。在所有这样的实施例中，更好的去模糊输入图像将允许车辆控制器18更安全地控制车辆12。
根据各个实施例，系统10包括成像设备14(例如，前置、后置或侧面安装的摄像机)、车辆传感器16、车辆控制器18和使用处理系统26。使用处理系统26被配置通过对在处理器70上执行的指令74进行编程(如下文进一步所述)，以从成像设备14接收模糊的输入图像24，并对依赖于正则化参数的模糊的输入图像执行正则化去卷积函数44。所得的去卷积图像40通过卷积神经网络(CNN)42，以便去除从去卷积函数44产生的任何图像伪像。根据本公开，CNN 42的权重和去卷积函数44的正则化参数被共同训练。也就是说，当训练CNN 42时，正则化参数是反向传播链的一部分。共同训练的网络层包括CNN 42的层和去卷积层。
继续参考图1，使用处理系统26包括至少一个处理器70、存储器72等。处理器70可以执行存储在存储器72中的程序指令74。处理器70可以指的是中央处理单元(CPU)、图形处理单元(GPU)或专用处理器，在其上根据本公开的方法和功能被执行。存储器72可以由易失性存储介质和/或非易失性存储介质构成。例如，存储器72可以包括只读存储器(ROM)和/或随机存取存储器(RAM)。存储器72存储由处理器70执行的至少一个指令，以实现本文描述的框、模块和方法步骤。尽管模块28、30和34与处理器70、存储器72和编程指令74分开示出，但这纯粹是为了可视化。实际上，模块28、30和34由存储在存储器72上并且可由使用处理系统26的一个或多个处理器70执行的编程指令74来实施。
成像设备14是产生图像的任何合适的摄像机或视频设备。出于本公开的目的，由于运动模糊或其他类型的模糊源，假定图像包括模糊(并且因此被标记为模糊输入图像24)。成像设备14可以是彩色成像设备或灰度成像设备。成像设备14可以在可见光谱和/或红外光谱中操作。成像设备14可以产生用作模糊输入图像24的一维、二维或三维(1D、2D或3D)图像。
车辆传感器16包括由车辆控制器18使用的各种传感器，以便控制车辆12的操作。与本公开特别相关的是速度(例如，轮速传感器)、加速度(加速度计和陀螺仪)和提供表示车辆运动的感测参数的数据22的其他车辆传感器16。如本文中进一步描述的，由使用参数处理系统26使用运动参数数据22以便确定点扩展函数(PSF)。由使用处理系统确定的点扩展函数在去卷积函数44中用于对模糊的输入图像24进行模糊处理。尽管本公开内容的大部分是根据基于运动参数数据22动态地确定的PSF进行描述的，只要已知模糊模型，所公开的系统和方法就可应用于其他应用。有时，模糊在成像设备14本身中是固有的，并且可以校准成像设备以直接测量PSF，而无需参考外部感测数据。本公开也可以在那些应用中找到用途。
输入图像的模糊可以通过以下等式进行数学表示：
IB＝I×KB (等式1)
其中IB是模糊的输入图像24，I是与模糊的输入图像24对应的未知、不模糊的图像，KB是矩阵或模糊核，其对描述模糊输入图像24中的模糊性质的点扩展函数(PSF)进行建模。由于本公开涉及非盲去模糊，因此假设PSF是已知的，并且因此模糊核KB可以从PSF导出。用于所有模糊方式的PSF在本领域中是已知的，包括由曝光期间成像设备14的运动引起的模糊。从理论上讲，可以将模糊核或矩阵的逆(该逆由表示)乘以模糊的输入图像24来解析未模糊的图像I。但是，模糊的输入图像24中的噪声使得这样直接的去卷积是不切实际的。在去卷积过程中，噪声分量将以不受控制的方式放大，这可能导致不如原始模糊的输入图像24清晰(或更模糊)的去卷积图像。该噪声放大问题的一种解决方案是使用模糊核的正则化逆来对模糊的输入图像24进行去模糊处理。
这样的正则化去卷积函数在本领域中是已知的，并且下面将提供两个示例。正则化去卷积函数依赖于正则化参数λ来减轻噪声的影响。正则化参数λ对去模糊的质量有很大的影响。如果正则化参数λ太低，则噪声可能会对输出图像产生重大影响。如果正则化参数λ太高，则在输出图像中会放大模糊。根据本公开，将正则化参数λ确定为针对CNN 42的CNN权重的共同训练过程的一部分。
参照图1，正则化去卷积子模块36接收模糊的输入图像24，并在其上操作正则化去卷积函数44。正则化去卷积函数44包括逆正则化模糊核或矩阵，其根据训练后的正则化参数λ确定。使用处理系统26包括点扩展函数模块28，该点扩展函数模块28接收运动参数数据22，该运动参数数据至少包括速度和可选地包括加速度数据，以确定代表PSF函数的点扩展函数(PSF)数据30。Psf数据31可根据车辆运动(例如，车辆越快，由PSF限定的扩展或模糊越大)和代表从成像设备14获得的相关摄像机参数(例如，曝光时间)的摄像机数据76而变化。Psf数据31由点扩展函数模块28确定，该点扩展函数模块包括用于基于运动参数数据22和摄像机数据76确定预期PSF的建模功能。模糊核确定模块30将Psf数据31中定义的PSF转换为矩阵形式并输出相应的模糊核数据32。在运动引起的模糊不是模糊源的情况下，则不必以这种方式确定PSF。
正则化去卷积子模块36接收代表模糊核K_B的模糊核数据32，并在对模糊的输入图像24进行正则化去卷积以生成去卷积图像40时利用它。应当理解，取决于模糊源的性质，可以使用许多种PSF及其确定方法。尽管在运动模糊方面以及与车辆应用相关联地很大程度上描述了本公开，但是根据应用，可以将其他模糊源以及因此确定PSF的其他方式并入本公开中。因此，点扩展函数模块28不必依赖于运动参数数据22或摄像机数据76(具体地，曝光时间)。例如，当在宽范围的波长(例如，一种以上的颜色)上成像时，由于多个波长带中的每一个都被成像设备14的光学器件折射到不同的程度，所以合并的图像经常会模糊。可以定义点扩展函数来逆转这种色模糊。
图2示出了在一维运动模糊的情况下由正则化去卷积子模块36使用的正则化去卷积函数44的示例性数据流程图。在这种情况下，正规化去卷积函数44是Tikhonov正规化去卷积函数。在图2之后，PSF模块28生成表示PSF的Psf数据31，其被转换成由模糊核数据32定义的模糊核KB。对模糊核进行奇异值分解(SVD)以便根据等式2生成USV分解矩阵：
KB＝USVT (等式2)
发现正则化模糊核的逆函数是：
其中I(模糊输入图像24的未模糊版本)是：
以及IB是模糊的输入图像24。
继续参考图2，由于对模糊核KB的SVD和反演(inversion)操作，正则化去卷积函数44由逆分解矩阵80、82、84组成。矩阵82是训练后的正则化参数λ78的函数，其形式为S(S2+λ2I)-1。模糊的输入图像24乘以分解矩阵80、82、84作为正则化的Tikhonov去卷积函数44的一部分，从而提供去卷积的图像40。
图3示出了在2D运动模糊的情况下，由正则化去卷积子模块36使用的正则化去卷积函数44的示例性数据流程图。在这种情况下，正规化去卷积函数44是维纳(Wiener)正规化去卷积函数。维纳正则化去卷积函数由以下方程式定义：
在图3之后，PSF模块28生成代表PSF的Psf数据31，其被转换成由模糊核数据32定义的模糊核KB。模糊核KB经受如由等式7所要求的第一快速傅里叶变换(FFT)操作88。类似地，使模糊的输入图像24经受第二FFT操作90，然后在操作92处由正则化模糊核的逆操作，其由表示并且是训练后的正则化参数λ78的函数。维纳正则化去卷积函数还包括用于操作92的输出的逆FFT操作94。这样，通过正则化去卷积子模块36输出去卷积的图像40。
去卷积图像40通常将具有伪像，这是正规化去卷积处理的固有结果。由于该原因，非盲去模糊模块34包括CNN子模块38，该CNN子模块38具有CNN 42，该CNN 42被配置为通过训练以去除去卷积图像40中的任何图像伪影。在一个实施例中，CNN 42是残余的U网。训练CNN 42去除伪像，同时训练正则化去卷积子模块36以确定最佳正则化参数λ。
图4提供了根据示例性实施例的用于训练非盲去模糊模块34的训练处理系统50的功能框图。训练处理系统50包括用作未模糊的测试图像60的源的图像数据库56。点扩展函数生成模块52生成包含在人工PSF数据54中的人工PSF。人工PSF被生成为类似于在非盲去模糊模块34的使用期间将发生的PSF。例如，在车辆应用的情况下，基于曝光时间和在车辆12的操作期间会遇到的运动参数，生成代表1D或2D去模糊的随机化的PSF。噪声生成模块62提供代表要施加到未模糊的测试图像60的噪声的人工噪声数据64。噪声生成模块62可以利用高斯函数。模糊图像生成模块58接收未模糊的测试图像60、人工PSF数据54和人工噪声数据64，并生成与未模糊的测试图像60相对应的模糊的测试图像66但包括基于人工PSF数据54的模糊和基于人工噪声数据64的噪声。
训练处理系统50包括处理器91和存储编程指令95的存储器93。处理器91执行编程指令95以促进训练过程，如将要描述的，以及训练处理系统50的各个模块。在训练过程期间，正则化去卷积子模块36被配置为接收模糊的测试图像66并且将模糊的测试图像66去卷积(如本文中其他地方所述)为清晰(sharp)的但潜在的伪影缠结的去卷积图像40。示例性伪影包括强边缘附近出现令人不快的振铃(ringing)伪影。CNN子模块38被配置为接收去卷积图像并且在使去卷积图像经过CNN 42的层之后生成输出残差48。残差48表示在训练了CNN 42之后的图像伪像。残差48和去卷积图像40在求和函数46处组合，以产生去模糊的输出图像20。由训练处理系统50执行的训练过程调整CNN 42的权重和正则化参数λ，以便使得去模糊的输出图像20尽可能接近地与未模糊的测试图像60匹配。也就是说，成本函数模块96实施成本函数100以生成代表去模糊的输出图像20和未模糊的测试图像60之间的差异的成本数据98。
训练处理系统50在重复过程中共同调整CNN 42的权重和正则化去卷积子模块36的正则化参数λ，以便最小化成本数据98。在实施例中，训练处理系统50利用反向传播算法。反向传播算法针对未模糊的测试图像60和去模糊的输出图像20计算成本函数100相对于CNN 42的权重的梯度以及成本函数100相对于正则化参数λ的梯度。这样的梯度方法共同训练CNN 42的层和正则化去卷积层，并更新权重和正则化参数λ以最小化成本函数100(例如，最小化由成本数据98定义的成本值)。反向传播算法通过链式规则计算每成本函数100相对于每个权重和正则化参数λ的梯度，一次计算一层梯度，从CNN 42的最后一层向后迭代(最接近该输出)到CNN 42的第一层，并以规则化去卷积层结束。
图5中示出了非盲去模糊模块34的训练的基于层的构思。模糊的测试图像66通过正则化的去卷积层102以产生去卷积的图像40，该去卷积的图像40随后通过CNN42的层，以产生残差48，其被添加到去卷积图像40以提供去模糊的输出图像20。根据本公开，通过在相同的反向传播过程期间调整CNN层104的权重和正则化去卷积层102的正则化参数λ来训练CNN层104和正则化去卷积层102。
在基于标准梯度的成本函数优化方案(例如SGD优化)中，任何神经网络(NN)参数θ(从步骤n-1到步骤n)的更新关系为：
其中L是神经网络的成本函数，η是学习率。通常，由于成本函数对任何神经网络参数θ的依赖性是通过链状依赖性方案来表现出来的，因此所需的梯度是通过反向传播算法来计算的。
具体地，如果：
L＝g0(g1(g2(...(gN(θ))))) (等式10)
那么
关于本公开，由成本函数模块96计算的总成本作为正则化参数λ的函数为：
L＝L(JDB(λ)) (等式12)
即，成本函数100是去卷积图像JDB40的函数，其本身是正则化参数λ的函数。为了确定如由等式9所要求的成本L相对于正规化参数λ的导数，有：
代表来自CNN42的反向传播，并代表通过CNN层104进行反向传播计算的逐层导数的累加。输入梯度/>从CNN 42反馈，并代表成本函数100相对于去卷积图像JDB的变化的变化。该项乘以/>其代表去卷积图像JDB40相对于正则化参数λ的变化的变化。
在Tikhonov正则化去卷积的情况下，
其可以从等式3得出。正则化参数的更新方案为：
其可以从等式9和等式14的组合得出。
在正则化的维纳去卷积的情况下，
对于等式15和16二者，通过CNN 42的反向传播获得的梯度允许计算其乘以去卷积图像40相对于正则化参数变化的变化，从而提供训练处理系统50的当前步骤或迭代的正则化参数的值。训练处理系统50重复这样的步骤，以便使成本函数100相对于CNN权重和正则化参数二者最小。训练处理系统26输出具有在CNN 42中加载的已训练CNN权重106和在去卷积函数44中已加载的经过训练的正则化参数78的非盲去模糊模块34。
图6是根据示例性实施例的用于训练和使用非盲去模糊模块34的方法200的流程图。根据示例性实施例，方法200可以结合图1的车辆12以及图1和4的使用和训练处理系统26、50来实现。
方法200包括接收模糊输入图像24的步骤210。在使用中，模糊输入图像24从成像设备14接收，该成像设备可以与车辆12相关联但也可以与另一设备或装置相关联。在训练中，模糊输入图像66可以由模糊图像生成模块58人工生成，以将噪声数据64和人工PSF数据54合并到未模糊的测试图像60中。进一步设想到，未模糊的测试图像60和模糊的测试图像66被接收为模糊的和相应的未模糊图像的一部分，而无需人工生成模糊图像。
在步骤220中，通过施加去卷积函数44的正则化去卷积子模块36对模糊的输入图像24、66进行去卷积，从而提供去卷积图像40。去卷积函数44包括正则化参数λ，该参数在训练期间尚未优化，但其在使用期间会根据本文所述的训练方法进行最佳选择。
在步骤230中，去卷积图像40被卷积神经网络子模块38接收并经过CNN 42，以确定要去除的伪像。CNN 42的权重在训练期间处于优化过程中，并在使用期间已得到优化和稳定。
在步骤240中，由非盲去模糊模块34输出去模糊的图像。CNN42生成残差48，其被添加到去卷积图像40上以便生成去模糊的输出图像20。
使用步骤250包括基于去模糊的输出图像20通过车辆控制器18控制车辆功能。针对当前公开的非盲去模糊技术设想了其他非车辆应用。
根据步骤260，在训练期间，由成本函数模块96基于未模糊的测试图像60和去模糊的输出图像20之间的差异来评估成本函数100。在步骤270中，训练处理系统50共同调整CNN42和去卷积函数44的正则化参数的权重，以便最小化由成本函数100计算出的成本(由成本数据98定义)。在实施例中，方法200包括逐步迭代调整正则化参数λ，以便使成本最小化，其中，每次迭代包括将经过CNN的每一层的反向传播梯度乘以去卷积图像40相对于正则化参数λ的导数。反向传播的梯度代表成本函数相对于去卷积图像40的导数。
根据本文所述的系统和方法，可以训练正则化参数λ，以便以处理有效的方式提供对输入图像的增强的去模糊。根据本文所述的共同训练方案确定的CNN权重和正则化参数λ的非盲去模糊模块34的示例结果示出在图7中。第1行示出了具有2D运动模糊的三个不同的模糊输入图像A1、B1和C1。这些图像由去卷积函数44(正规化的维纳去卷积)及其相关的训练后的正则化参数λ进行操作。生成的去卷积图像A2、B2和C2示出在第2行中。这些图像更清晰、更清楚，但包含一些伪像。在图像C3中尤其可以看到振铃伪影。在通过CNN 42之后，提供了清楚、清晰和无伪影的去模糊输出图像A3、B3和C3。这些输出图像可用于进一步处理步骤，例如在用户界面上显示或在机器视觉控制功能中显示。机器视觉控制功能将能够基于第3行的去模糊输出图像更好地识别特征，其基于第1行的模糊输入图像则是不可行的。这在车辆控制系统中特别有用，在该系统中，随着去模糊的改善，安全性也得到改善。
将理解的是，所公开的方法、系统和车辆可以与图中所描绘的和本文所描述的那些不同。例如，车辆12、使用和训练处理26、50和系统10和/或其各种部件可以与图1-5中所描绘的以及结合其进行描述的那些不同。另外，将认识到，方法200的某些步骤可以与图6所示的步骤不同。将类似地认识到，上述方法的某些步骤可以与图6所示的同时地或以不同的顺序发生。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施方式仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其合法等同物的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种训练非盲去模糊模块的方法，
其中所述非盲去模糊模块包括正则化去卷积子模块和卷积神经网络子模块，
所述正则化去卷积子模块被配置为对模糊的输入图像执行正则化去卷积函数，以产生可能具有图像伪像的去卷积图像，以及所述卷积神经网络子模块被配置为接收去卷积图像作为卷积神经网络的输入并去除图像伪像，从而提供去模糊的输出图像，
该方法包括：
经由至少一个处理器接收未模糊的测试图像和模糊的测试图像，其中每个模糊的测试图像通过模糊核项和噪声项与相应的未模糊的测试图像之一相关；
通过调整正则化去卷积函数的正则化参数和卷积神经网络的权重，经由至少一个处理器共同训练正则化去卷积子模块和卷积神经网络，以便最小化代表每个去模糊输出图像与对应的未模糊的测试图像之一之间的差异的成本函数，从而提供训练后的正则化参数、训练后的权重和训练后的非盲去模糊模块；
经由所述至少一个处理器从成像设备接收模糊的输入图像；
经由所述至少一个处理器使用训练的非盲去模糊模块对所述模糊的输入图像进行去模糊；和
经由至少一个处理器，输出去模糊的输出图像。
2.根据权利要求1所述的方法，其中，所述去卷积函数是维纳去卷积函数。
3.根据权利要求1所述的方法，其中，所述去卷积函数是Tikhonov-正则化的去卷积函数。
4.根据权利要求1所述的方法，其中，经由所述至少一个处理器来调整所述正则化参数和所述权重使用反向传播算法。
5.根据权利要求4所述的方法，其中，所述反向传播算法基于已经从CNN反馈的梯度和可能具有相对于正则化参数的图像伪影的去卷积图像的导数来调整正则化参数。
6.根据权利要求1所述的方法，其中，所述至少一个处理器接收所述未模糊的测试图像，并使用模糊核函数和噪声函数对所述未模糊的测试图像人工地生成该模糊的测试图像。
7.根据权利要求1所述的方法，其中，所述模糊的输入图像是从安装到车辆上的成像设备接收的。
8.根据权利要求7所述的方法，其中，所述车辆包括车辆控制器，并且所述方法包括基于去模糊的输出图像来控制至少一种车辆功能。
9.一种用于训练非盲去模糊模块的系统，包括：
非盲去模糊模块，该非盲去模糊模块包括正则化去卷积子模块和卷积神经网络子模块，其中正则化去卷积子模块被配置为对模糊的输入图像执行正则化去卷积函数，以产生可能具有图像伪像的去卷积图像，和
其中卷积神经网络子模块被配置为接收去卷积图像作为卷积神经网络的输入并去除图像伪像，从而提供去模糊的输出图像；
成像设备；和
至少一个处理器，被配置为执行程序指令，其中该程序指令被配置为使至少一个处理器：
接收未模糊的测试图像和模糊的测试图像，其中每个模糊的测试图像通过模糊核项和噪声项与相应的未模糊的测试图像之一相关；
通过调整正则化去卷积函数的正则化参数和卷积神经网络的权重来共同训练正则化去卷积子模块和卷积神经网络，以使代表每个去模糊的输出图像和相应的未模糊的测试图像之一之间的差异的成本函数最小化，从而提供训练后的正则化参数、训练后的权重和训练后的非盲去模糊模块；
从所述成像设备接收模糊的输入图像；
使用训练后的非盲去模糊模块对模糊的输入图像进行去模糊；和
输出去模糊的输出图像。
10.根据权利要求9所述的系统，其中，所述程序指令被配置为使所述至少一个处理器使用反向传播算法来调整所述正则化参数和权重。
CN202110230767.3A 2020-03-02 2021-03-02 用于训练非盲图像去模糊模块的系统和方法 Active CN113344800B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/806,135 2020-03-02
US16/806,135 US11354784B2 (en) 2020-03-02 2020-03-02 Systems and methods for training a non-blind image deblurring module

Publications (2)

Publication Number Publication Date
CN113344800A CN113344800A (zh) 2021-09-03
CN113344800B true CN113344800B (zh) 2023-09-29

Family

ID=77270921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110230767.3A Active CN113344800B (zh) 2020-03-02 2021-03-02 用于训练非盲图像去模糊模块的系统和方法

Country Status (3)

Country Link
US (1) US11354784B2 (zh)
CN (1) CN113344800B (zh)
DE (1) DE102021102663A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354784B2 (en) * 2020-03-02 2022-06-07 GM Global Technology Operations LLC Systems and methods for training a non-blind image deblurring module
CN114549361B (zh) * 2022-02-28 2023-06-30 齐齐哈尔大学 一种基于改进U-Net模型的去图像运动模糊方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106282A1 (en) * 2007-02-28 2008-09-04 Microsoft Corporation Image deblurring with blurred/noisy image pairs
WO2016183716A1 (zh) * 2015-05-15 2016-11-24 北京大学深圳研究生院 图像去模糊方法及系统
KR101871098B1 (ko) * 2017-01-12 2018-06-25 포항공과대학교 산학협력단 이미지 처리 방법 및 장치
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN109345474A (zh) * 2018-05-22 2019-02-15 南京信息工程大学 基于梯度域和深度学习的图像运动模糊盲去除方法
CN110490822A (zh) * 2019-08-11 2019-11-22 浙江大学 图像去运动模糊的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法
WO2019168765A1 (en) * 2018-02-27 2019-09-06 Portland State University Context-aware synthesis for video frame interpolation
CN108876833A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
US11257191B2 (en) * 2019-08-16 2022-02-22 GE Precision Healthcare LLC Systems and methods for deblurring medical images using deep neural network
WO2021118270A1 (en) * 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
US11354784B2 (en) * 2020-03-02 2022-06-07 GM Global Technology Operations LLC Systems and methods for training a non-blind image deblurring module

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106282A1 (en) * 2007-02-28 2008-09-04 Microsoft Corporation Image deblurring with blurred/noisy image pairs
WO2016183716A1 (zh) * 2015-05-15 2016-11-24 北京大学深圳研究生院 图像去模糊方法及系统
KR101871098B1 (ko) * 2017-01-12 2018-06-25 포항공과대학교 산학협력단 이미지 처리 방법 및 장치
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN109345474A (zh) * 2018-05-22 2019-02-15 南京信息工程大学 基于梯度域和深度学习的图像运动模糊盲去除方法
CN110490822A (zh) * 2019-08-11 2019-11-22 浙江大学 图像去运动模糊的方法和装置

Also Published As

Publication number Publication date
CN113344800A (zh) 2021-09-03
US20210272248A1 (en) 2021-09-02
DE102021102663A1 (de) 2021-09-02
US11354784B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
CN113409200B (zh) 用于车辆中图像去模糊的系统和方法
CN113344800B (zh) 用于训练非盲图像去模糊模块的系统和方法
US11188777B2 (en) Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
JP7079445B2 (ja) モデルパラメータ学習装置、制御装置及びモデルパラメータ学習方法
JP2019028616A (ja) 識別装置
JP4152398B2 (ja) 手ぶれ補正装置
US9071754B2 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US9336574B2 (en) Image super-resolution for dynamic rearview mirror
CN112541386B (zh) 用于眼睛的位置识别的图像处理
JP2023530762A (ja) ３ｄバウンディングボックスからの単眼深度管理
US10902622B2 (en) Method and device for generating a view around a vehicle for a vehicle
US11263773B2 (en) Object detection apparatus, object detection method, computer program product, and moving object
US20200065622A1 (en) System for assessing an image, operating assistance method, control unit for a working device, and working device
WO2016012288A1 (en) Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
JP6567381B2 (ja) 演算装置、方法及びプログラム
CN110555805A (zh) 图像处理的方法、装置、设备及存储介质
EP1943626B1 (en) Enhancement of images
JP6923362B2 (ja) 操舵角決定装置、自動運転車
US20220156892A1 (en) Noise-adaptive non-blind image deblurring
CN115761672A (zh) 用于车辆摄像头上污物的检测方法、检测系统和检测装置
JP2022049261A (ja) 情報処理装置及び情報処理方法
Lahouli et al. Accelerating existing non-blind image deblurring techniques through a strap-on limited-memory switched Broyden method
JP6748003B2 (ja) 画像処理装置
KR20220013290A (ko) 오토포커스를 보상하는 방법 및 오토포커스를 보상하는 전자 장치
EP3719702A1 (en) Training of a neural network for segmantic segmentation using additional transformed images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant