CN110678899A - 成像系统和图像处理方法 - Google Patents

成像系统和图像处理方法 Download PDF

Info

Publication number
CN110678899A
CN110678899A CN201880034968.2A CN201880034968A CN110678899A CN 110678899 A CN110678899 A CN 110678899A CN 201880034968 A CN201880034968 A CN 201880034968A CN 110678899 A CN110678899 A CN 110678899A
Authority
CN
China
Prior art keywords
matrix
convolution
image
modality
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880034968.2A
Other languages
English (en)
Other versions
CN110678899B (zh
Inventor
U·卡米洛夫
K·德格洛克斯
P·T·布福诺斯
刘德红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Corp
Original Assignee
Mitsubishi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Corp filed Critical Mitsubishi Corp
Publication of CN110678899A publication Critical patent/CN110678899A/zh
Application granted granted Critical
Publication of CN110678899B publication Critical patent/CN110678899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

用于成像系统的系统和方法包括第一传感器，其获取第一模态的图像序列。存储器存储第一卷积存储器矩阵。其中，该第一卷积存储器矩阵的各个元素是第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，并且存储包括第一模态的图像的原子的第一字典矩阵。处理器将由第一传感器获取的场景的第一图像变换成第一字典矩阵和第一系数矩阵的卷积，利用第一系数矩阵的对应位置的非零元素的卷积函数来更新第一卷积存储器矩阵的元素，并利用经更新的第一卷积存储器矩阵来更新字典矩阵。

Description

成像系统和图像处理方法
技术领域
本公开涉及用于稀疏编码的系统和方法，更具体地，涉及使用卷积稀疏编码来更新图像的原子的字典的在线卷积字典学习。
背景技术
在信号处理中，要测量的信号以及测量过程本身可包含噪声，以及促成一定量的噪声。噪声影响信号处理，因此最好消除噪声以获得更好的信号处理结果，例如更锐利的图像。通常，信号测量的过程需要大量的处理时间，这对于如今需要更少处理时间和给定结果质量的技术应用而言会是一个挑战。
例如，如果所测量的信号要被传送至某一其它位置，则发送所测量的信号的一些优点可包括尽可能减少发送的数据量以降低所需带宽。发送所测量的信号的另一优点可包括增加发送所测量的信号(完成测量)的速率，例如视频信号传输的帧率。
信号的稀疏表示是无法稀疏地表示的噪声可被滤除的信号处理技术。可从少量测量估计给定信号的稀疏表示，其中少是与信号的维度相比。另外，稀疏表示通常意指数据被压缩。
存在本领域中已知的众多稀疏表示学习算法，其用于广泛的信号和/或图像处理应用。例如，稀疏表示可用于标记图像中的对象以标识和分类存在哪些对象。给定信号和字典矩阵D，稀疏编码是仅利用很少的非零条目来寻找稀疏表示x的逆问题，使得Dx≈s。达到这些标识的过程需要用于学习字典矩阵D的技术，本文中称为字典学习。此外，对于一些应用，使用稀疏表示来学习字典矩阵可能是有益的。然而，离线学习将字典矩阵限制为仅表示用于训练的图像。因此，对于可实时考虑的各种图像，离线学习的字典缺乏灵活性和适应性。
另外，这些稀疏表示学习算法无法扩展到大数据维度输入，传统上被认为不适合于一些技术应用。
存在用于在大的数据集合上操作的已知硬件设计，例如大矩阵乘法和神经网络仿真。神经网络仿真器是已知的，其通常使用混合的模数信号，但是这些使得更难扩大硬件。另外，在数字信号操作中，数据可被下载到硬件的带宽限制了硬件的实际大小。
因此，需要适合于使用多个不同的感测模态来获取对象的测量的系统和方法。其中，从传感器获取的数据可被联合处理以改进一个或更多个所获取的模态下的成像质量。这可导致提供关于对象的补充信息源，克服硬件限制，或者减小由于各个单独的传感器导致的数据不确定性。
发明内容
本公开的实施方式提供了用于稀疏编码的系统和方法，更具体地，涉及使用卷积稀疏编码来更新图像的原子字典的在线卷积字典学习。
多模态成像中的重要步骤是在多个模态下标识可用于改进多模态成像的质量的相关特征。具体地，使用多个不同的感测模态来获取特征的多个测量，并且从传感器获取的数据被联合处理以改进一个或更多个所获取的模态下的成像质量。然而，从多模态测量标识和提取那些特征具有挑战性。
本公开的实施方式基于这样的认识：可利用变量分裂技术来重新规划卷积字典学习，然后允许将所有系数矩阵聚合为足够用于卷积字典学习的单个卷积存储器矩阵。
然而，发现出于许多原因，修改CDL已被证明具有挑战性。例如，CDL将图像表示为字典和系数矩阵的卷积，旨在从表示对应图像集合的系数矩阵集合学习字典。系数矩阵是对应图像的稀疏表示。然而，用于CDL的多个系数矩阵需要足够大，这意味着分配用于CDL的大量存储器资源，即，使用稀疏表示需要大量存储器。并非所有装置均可将如此多存储器资源专用于这些学习方法。此外，CDL难以扩展至非常大的数据集(例如，流多模态视频序列)，因为学习成本与数据条目的数量(例如，视频帧的数量)成比例地扩大。例如，学习一百万像素帧的25fps的一分钟视频的字典矩阵所需的数据可占用约715GB的存储器。这意味着CDL方法仅可与小数据集一起使用，这限制了其对多模态传感器融合的适用性。目前，CDL仅可离线使用，并且不适合于实时融合。为此，我们需要克服上述限制以使得我们可使用CDL。
我们发现，可通过利用变量分裂技术重新规划卷积学习来修改CDL，其然后允许将所有系数矩阵(在没有聚合的情况下对于1百万像素图像，715GB)聚合为足够用于学习的单个卷积存储器矩阵(1KB)。通过将图像的卷积表示的系数矩阵的对应位置的元素加性卷积来构造卷积存储器矩阵。
例如，代替对系数矩阵集合(在一个示例中可花费高达715GB的存储器)执行CDL，我们确定得到单个卷积存储器矩阵(在对应示例中可花费一个KB的存储器)的那些系数矩阵的加性卷积并基于该卷积存储器矩阵学习字典矩阵。使用卷积存储器矩阵可显著减少分配用于CDL的存储器的量，并且可使得CDL适合于在线应用。例如，现在由于卷积学习的存储器效率，本公开的大规模CDL方法使得可利用联合卷积稀疏编码直接从流数据学习相关特征，这导致融合的数据的质量改进。
本公开的规划的附加益处在于，其允许包含附加去噪机制以直接用于原始传感器数据。具体地，传统CDL的应用需要在无噪声图像或具有非常少量的噪声的图像上学习。这是因为学习算法试图将字典直接与图像相配，这意味着当图像有噪声时，算法以学习噪声结束。然而，本公开的规划通过使得可按照允许直接用于通常包含测量噪声的传感器数据的总变差(total variation)进一步调整解决方案来规避此(传统应用)。
为此，一些实施方式公开了一种存储字典矩阵的成像系统，该字典矩阵包括第一模态的图像原子。卷积存储器矩阵的各个元素是图像的卷积表示的系数矩阵的对应位置的元素的卷积函数。
为了更好地理解本公开，我们提供了可用于实现本公开的至少一种方法。该方法可包括在操作上连接到存储器的处理器，其被编码为将场景的图像变换成字典矩阵与第一系数矩阵的卷积。可以想到，所应用的图像可以是二维图像，或者具体地，三维图像(例如，CT扫描)。还要注意的是本公开的方法可用于语音处理等。
例如，处理器可使用卷积稀疏编码来变换第一图像。接下来，处理器可利用第一系数矩阵的对应位置的非零元素的卷积函数来更新卷积存储器矩阵的元素，并且可使用经更新的卷积存储器矩阵来更新字典矩阵。以这种方式，利用从图像学习的信息来更新字典矩阵，而不会增加卷积存储器矩阵的大小。
此外，成像系统可针对传感器所获取的图像序列中的不同图像迭代地执行卷积存储器矩阵和字典矩阵的更新。例如，在基于第一图像更新卷积存储器矩阵和字典矩阵之后，基于传感器所获取的第二图像进一步更新卷积存储器矩阵和字典矩阵。
具体地，处理器将第二图像变换成经更新的字典矩阵和第二系数矩阵的卷积，并且利用第二系数矩阵的对应位置的非零元素的卷积函数进一步更新卷积存储器矩阵的元素。接下来，处理器使用经更新的卷积存储器矩阵来进一步更新经更新的字典矩阵。以这种方式，利用从第二图像学习的信息进一步更新字典矩阵，而不会增加卷积存储器矩阵的大小。
一些实施方式基于另一认识：字典原子中的字典更新的线性允许将所有过去的系数矩阵聚合为紧凑卷积存储器矩阵。例如，通过将图像的卷积表示的系数矩阵的对应位置的元素加性卷积来构造卷积存储器矩阵。例如，可使用系数矩阵的对应位置的元素的卷积函数来迭代地更新卷积存储器矩阵。在各种实施方式中，卷积函数包括从卷积和的选择。例如，在一个实施方式中，卷积函数基于
Figure BDA0002290711250000041
其中S是选择算子，是系数矩阵xm的翻转版本。
在线卷积字典学习可用于多个不同的应用，例如图像压缩、图像融合、数据融合、去噪和修复。例如，融合系统可使用多个不同的感测模态获取场景的多个测量。从传感器获取的数据被联合处理以改进一个或更多个所获取的模态下的成像质量。这些成像方法具有允许感测系统中的新能力的潜力，例如提供关于场景中的对象的补充信息源、克服硬件限制、或者减小由于各个单独的传感器导致的数据不确定性。
本公开的一些实施方式基于另一认识：对于数据融合，同现特征不应强加，而是应从测量学习，因为不同场景的多模态图像可能具有不同类型的同现特征。我们发现从测量强加的同现特征(即，一个模态下的图像特征在其它模态下以某种形式复制)导致许多问题，例如，作为非限制性示例，质量差的图像。许多原因当中质量差的图像的至少一个原因是由于场景中的变化性大，那些手工特征(即，复制的特征)可导致融合的图像中的伪影(当假设特征不存在于场景中时)。
通过在学习期间对系数强加联合稀疏性约束，卷积字典学习可用于学习相关特征。然而，为了进行卷积字典学习，字典矩阵应该反映为数据融合感测的当前图像。换言之，对于数据融合，需要在线(即，与融合数据同时)执行卷积字典学习。
为此，一些实施方式在不同模态下获取图像并利用为第一模态下的图像学习的第一字典矩阵以及为第二模态下的图像学习的第二字典矩阵使用联合卷积稀疏编码变换第一模态和第二模态下的场景的对应图像。联合卷积稀疏编码为信息源的特征级融合提供有效工具。代替在不同模态的图像上强加同现特征，联合卷积稀疏编码鼓励在不同模态的图像之间共享信息。以这种方式，一个模态下的一个图像中的信息被传播到另一模态下的另一图像中，而无需预先知道该信息的类型。
因此，一些实施方式在不同模态的对应图像上使用联合卷积稀疏编码以生成表示第一模态下的场景的第一图像的第一系数矩阵以及表示第二模态下的场景的第二图像的第二系数矩阵。那些系数矩阵可用于提供融合的输出图像。例如，一个实施方式使用第一系数矩阵和第一字典矩阵的卷积来确定第一模态下的第一输出图像，并且使用第二系数矩阵和第二字典矩阵的卷积来确定第二模态下的第二输出图像。
根据本公开的实施方式，一种成像系统包括第一传感器，该第一传感器获取第一模态的图像序列。存储器存储第一卷积存储器矩阵。其中，第一卷积存储器矩阵的各个元素是第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，并且存储器存储包括第一模态的图像的原子的第一字典矩阵。处理器将第一传感器所获取的场景的第一图像变换成第一字典矩阵和第一系数矩阵的卷积，利用第一系数矩阵的对应位置的非零元素的卷积函数更新第一卷积存储器矩阵的元素，并使用经更新的第一卷积存储器矩阵更新字典矩阵。
根据本公开的实施方式，提供了一种图像处理方法。该方法使用处理器，该处理器联接到存储第一卷积存储器矩阵的存储器。其中，第一卷积存储器矩阵的各个元素是第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，存储器存储包括第一模态的图像的原子的第一字典矩阵。其中，处理器与所存储的实现该方法的指令结合，其中，所述指令在由处理器执行时实现该方法的至少一些步骤。该方法包括以下步骤：将第一模态下的场景的第一图像变换成第一字典矩阵和第一系数矩阵的卷积。利用第一系数矩阵的对应位置的非零元素的卷积函数更新第一卷积存储器矩阵的元素。最后，使用经更新的第一卷积存储器矩阵来更新第一字典矩阵，其中，经更新的字典矩阵帮助例如利用去噪以及利用数据融合改进成像处理。
根据本公开的另一实施方式，一种非暂时性计算机可读存储介质上具体实现有可由计算机执行以执行一种方法的程序。该方法包括利用为第一模态下的图像学习的第一字典矩阵使用联合卷积稀疏编码变换第一模态和第二模态下的场景的对应图像。为第二模态下的图像学习的第二字典矩阵，以生成表示第一模态下的场景的第一图像的第一系数矩阵以及表示第二模态下的场景的第二图像的第二系数矩阵。使用第一系数矩阵和第一字典矩阵的卷积确定第一模态下的第一输出图像。使用第二系数矩阵和第二字典矩阵的卷积确定第二模态下的第二输出图像。利用第一系数矩阵的对应位置的非零元素的卷积函数来更新第一卷积存储器矩阵。利用第二系数矩阵的对应位置的非零元素的卷积函数来更新第二卷积存储器矩阵。利用第一系数矩阵和第一卷积存储器矩阵的卷积来更新第一字典矩阵。最后，利用第二系数矩阵和第二卷积存储器矩阵的卷积来更新第二字典矩阵。
当结合附图时，另外的特征和优点将从以下详细描述变得更易于显而易见。
当前公开的实施方式将参照附图进一步说明。所示的附图未必按比例，相反通常着重于示出当前公开的实施方式的原理。
附图说明
[图1A]图1A是根据本公开的一些实施方式的从输入图像序列进行在线卷积字典学习(OCDL)的计算机系统的框图。
[图1B]图1B是根据本公开的一些实施方式的从输入图像序列进行在线卷积字典学习(OCDL)的另选计算机系统的框图。
[图1C]图1C是根据本公开的一些实施方式的使用OCDL的深度图像上采样的示意图。
[图1D]图1D是根据本公开的一个实施方式的使用OCDL进行图像处理的计算机实现的方法的框图。
[图1E]图1E是根据本公开的一个实施方式的用于实现OCDL的伪代码。
[图2A]图2A是根据本公开的一个实施方式的卷积函数的框图。
[图2B]图2B是根据本公开的一个实施方式为卷积存储器矩阵计算更新的方法的框图。
[图3A]图3A是根据本公开的一个实施方式的用于实现卷积稀疏编码的伪代码。
[图3B]图3B是根据本公开的一个实施方式的SoftThreshold函数的示意图。
[图4]图4是根据本公开的一个实施方式的用于实现字典更新的伪代码。
[图5A]图5A是根据本公开的一些实施方式的使用OCDL处理不同模态的两个图像的示意图。
[图5B]图5B是根据本公开的一个实施方式的使用OCDL处理不同模态的两个图像的计算机实现的方法的框图。
[图6]图6是示出根据本公开的实施方式的可使用另选计算机或控制器实现的图1A的方法的框图。
具体实施方式
尽管上面标识的附图阐述了当前公开的实施方式，但是如讨论中指出的，也可以想到其它实施方式。本公开作为表示而非限制呈现了例示性实施方式。本领域技术人员可以设计出落入当前公开的实施方式的原理的范围和精神内的众多其它修改和实施方式。
以下描述仅提供了示例性实施方式，而非旨在限制本公开的范围、适用性或配置。相反，示例性实施方式的以下描述将向本领域技术人员提供允许实现一个或更多个示例性实施方式的描述。在不脱离如所附权利要求中阐述的所公开的主题的精神和范围的情况下，可以想到可在元件的功能和布置方面进行的各种改变。在以下描述中给出具体细节以提供对实施方式的彻底理解。然而，本领域普通技术人员可理解，实施方式可在没有这些具体细节的情况下实践。例如，所公开的主题中的系统、过程和其它元件可作为组件以框图形式示出，以免在不必要的细节方面使实施方式模糊。在其它情况下，熟知过程、结构和技术可在没有不必要的细节的情况下示出，以避免使实施方式模糊。此外，各种附图中的相似标号和指代指示相似的元件。
另外，各个实施方式可作为过程描述，其被描绘为流程图、数据流程图、结构图或框图。尽管流程图可将操作描述为顺序过程，但许多操作可并行或同时执行。另外，操作次序可重新布置。过程在其操作完成时可终止，但是可具有未讨论或附图中未包括的附加步骤。此外，并非任何具体描述的过程中的所有操作可出现在所有实施方式中。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，函数的终止可对应于函数返回到调用函数或主函数。
此外，所公开的主题的实施方式可至少部分地手动或自动实现。可通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实现。当以软件、固件、中间件或微码实现时，执行所需任务的程序代码或代码段可被存储在机器可读介质中。处理器可执行所需任务。
概述
本公开的实施方式提供了用于稀疏编码的系统和方法，更具体地，涉及使用卷积稀疏编码来更新图像的原子字典的在线卷积字典学习。
多模态成像中的重要步骤是在多个模态下标识可用于改进多模态成像的质量的相关特征。具体地，使用多个不同的感测模态来获取特征的多个测量，并且从传感器获取的数据被联合处理以改进一个或更多个所获取的模态下的成像质量。然而，从多模态测量标识和提取那些特征具有挑战性。
本公开的实施方式基于这样的认识：可利用变量分裂技术来重新规划卷积字典学习，然后允许将所有系数矩阵聚合为足够用于卷积字典学习的单个卷积存储器矩阵。
然而，发现出于许多原因，修改CDL已被证明具有挑战性。例如，CDL将图像表示为字典和系数矩阵的卷积，旨在从表示对应图像集合的系数矩阵集合学习字典。系数矩阵是对应图像的稀疏表示。然而，用于CDL的多个系数矩阵需要足够大，这意味着分配用于CDL的大量存储器资源，即，使用稀疏表示需要大量存储器。并非所有装置均可将如此多存储器资源专用于这些学习方法。此外，CDL难以扩展至非常大的数据集(例如，流多模态视频序列)，因为学习成本与数据条目的数量(例如，视频帧的数量)成比例地扩大。例如，学习一百万像素帧的25fps的一分钟视频的字典矩阵所需的数据可占用约715GB的存储器。这意味着CDL方法仅可与小数据集一起使用，这限制了其对多模态传感器融合的适用性。目前，CDL仅可离线使用，并且不适合于实时融合。为此，我们需要克服上述限制以使得我们可使用CDL。
我们发现，可通过利用变量分裂技术重新规划卷积学习来修改CDL，其然后允许将所有系数矩阵(在没有聚合的情况下对于1百万像素图像，715GB)聚合为足够用于学习的单个卷积存储器矩阵(1KB)。通过将图像的卷积表示的系数矩阵的对应位置的元素加性卷积来构造卷积存储器矩阵。
例如，代替对系数矩阵集合(在一个示例中可花费高达715GB的存储器)执行CDL，我们确定得到单个卷积存储器矩阵(在对应示例中可花费一个KB的存储器)的那些系数矩阵的加性卷积并基于该卷积存储器矩阵学习字典矩阵。使用卷积存储器矩阵可显著减少分配用于CDL的存储器的量，并且可使得CDL适合于在线应用。例如，现在由于卷积学习的存储器效率，本公开的大规模CDL方法使得可利用联合卷积稀疏编码直接从流数据学习相关特征，这导致融合的数据的质量改进。
本公开的规划的附加益处在于，其允许包含附加去噪机制以直接用于原始传感器数据。具体地，传统CDL的应用需要在无噪声图像或具有非常少量的噪声的图像上学习。这是因为学习算法试图将字典直接与图像相配，这意味着当图像有噪声时，算法以学习噪声结束。然而，本公开的规划通过使得可按照允许直接用于通常包含测量噪声的传感器数据的总变差进一步调整解决方案来规避此(传统应用)。
为此，一些实施方式公开了一种存储字典矩阵的成像系统，该字典矩阵包括第一模态的图像原子。卷积存储器矩阵的各个元素是图像的卷积表示的系数矩阵的对应位置的元素的卷积函数。
为了更好地理解本公开，我们提供了可用于实现本公开的至少一种方法。该方法可包括在操作上连接到存储器的处理器，其被编码为将场景的图像变换成字典矩阵与第一系数矩阵的卷积。
例如，处理器可使用卷积稀疏编码来变换第一图像。接下来，处理器可利用第一系数矩阵的对应位置的非零元素的卷积函数来更新卷积存储器矩阵的元素，并且可使用经更新的卷积存储器矩阵来更新字典矩阵。以这种方式，利用从图像学习的信息来更新字典矩阵，而不会增加卷积存储器矩阵的大小。此外，经更新的字典矩阵的至少一个方面帮助例如利用去噪以及利用数据融合改进成像处理。
此外，成像系统可针对传感器所获取的图像序列中的不同图像迭代地执行卷积存储器矩阵和字典矩阵的更新。例如，在基于第一图像更新卷积存储器矩阵和字典矩阵之后，基于传感器所获取的第二图像进一步更新卷积存储器矩阵和字典矩阵。
具体地，处理器将第二图像变换成经更新的字典矩阵和第二系数矩阵的卷积，并且利用第二系数矩阵的对应位置的非零元素的卷积函数进一步更新卷积存储器矩阵的元素。接下来，处理器使用经更新的卷积存储器矩阵来进一步更新经更新的字典矩阵。以这种方式，利用从第二图像学习的信息进一步更新字典矩阵，而不会增加卷积存储器矩阵的大小。
一些实施方式基于另一认识：字典原子中的字典更新的线性允许将所有过去的系数矩阵聚合为紧凑卷积存储器矩阵。例如，通过将图像的卷积表示的系数矩阵的对应位置的元素加性卷积来构造卷积存储器矩阵。例如，可使用系数矩阵的对应位置的元素的卷积函数来迭代地更新卷积存储器矩阵。在各种实施方式中，卷积函数包括从卷积和的选择。例如，在一个实施方式中，卷积函数基于
Figure BDA0002290711250000091
其中S是选择算子，
Figure BDA0002290711250000092
是系数矩阵xm的翻转版本。
在线卷积字典学习可用于多个不同的应用，例如图像压缩、图像融合、图像修复、去噪和数据融合。例如，融合系统可使用多个不同的感测模态获取场景的多个测量。从传感器获取的数据被联合处理以改进一个或更多个所获取的模态下的成像质量。这些成像方法具有允许感测系统中的新能力的潜力，例如提供关于场景中的对象的补充信息源、克服硬件限制、或者减小由于各个单独的传感器导致的数据不确定性。
本公开的一些实施方式基于另一认识：对于数据融合，同现特征不应强加，而是应从测量学习，因为不同场景的多模态图像可能具有不同类型的同现特征。我们发现从测量强加的同现特征(即，一个模态下的图像特征在其它模态下以某种形式复制)导致许多问题，例如，作为非限制性示例，质量差的图像。许多原因当中质量差的图像的至少一个原因是由于场景中的变化性大，那些手工特征(即，复制的特征)可导致融合的图像中的伪影(当假设特征不存在于场景中时)。
通过在学习期间对系数强加联合稀疏性约束，卷积字典学习可用于学习相关特征。然而，为了进行卷积字典学习，字典矩阵应该反映为数据融合感测的当前图像。换言之，对于数据融合，需要在线(即，与融合数据同时)执行卷积字典学习。
为此，一些实施方式在不同模态下获取图像并利用为第一模态下的图像学习的第一字典矩阵以及为第二模态下的图像学习的第二字典矩阵使用联合卷积稀疏编码变换第一模态和第二模态下的场景的对应图像。联合卷积稀疏编码为信息源的特征级融合提供有效工具。代替在不同模态的图像上强加同现特征，联合卷积稀疏编码鼓励在不同模态的图像之间共享信息。以这种方式，一个模态下的一个图像中的信息被传播到另一模态下的另一图像中，而无需预先知道该信息的类型。
因此，一些实施方式在不同模态的对应图像上使用联合卷积稀疏编码以生成表示第一模态下的场景的第一图像的第一系数矩阵以及表示第二模态下的场景的第二图像的第二系数矩阵。那些系数矩阵可用于提供融合的输出图像。例如，一个实施方式使用第一系数矩阵和第一字典矩阵的卷积来确定第一模态下的第一输出图像，并且使用第二系数矩阵和第二字典矩阵的卷积来确定第二模态下的第二输出图像。
另外地或另选地，一些实施方式使用这些系数矩阵来更新对应卷积存储器矩阵，以及最终在下一迭代中可用于数据融合的对应字典矩阵。
例如，一个实施方式利用第一系数矩阵的对应位置的非零元素的卷积函数来更新第一卷积存储器矩阵，并利用第二系数矩阵的对应位置的非零元素的卷积函数来更新第二卷积存储器矩阵。接下来，实施方式使用第一系数矩阵和第一卷积存储器矩阵的卷积来更新第一字典矩阵，并使用第二系数矩阵和第二卷积存储器矩阵的卷积来更新第二字典矩阵。
一些实施方式基于另一认识：在线卷积字典学习允许包含附加去噪机制以直接用于原始传感器数据，因此改进图像表示和/或数据融合。例如，一些实施方式使用关于第一图像的结构的先验信息来变换图像。这种先验信息的示例包括图像中的值的总变差。
例如，一些实施方式在联合稀疏性约束下使用多模态卷积字典学习算法以实施同现特征的编码。在该规划中，多模态卷积字典与其对应系数矩阵同时学习。所得多模态卷积字典可从针对给定成像任务(例如，去噪、增强或上采样)优化的数据生成稀疏代码。
图1A示出根据本公开的一些实施方式的用于在线卷积字典学习(OCDL)的计算机系统的框图。计算机系统100包括输入图像195，其可以是场景的视频帧。输入图像195可经由计算机/控制器128的总线113与处理器120通信。处理器120经由总线113与存储器140通信，其中，存储器140存储可由处理器120执行的指令。处理器120可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。存储器140可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器系统。系统100可包括存储装置130，其可包括原始图像131、滤波器系统132和在线卷积字典学习(OCDL)111。最后，输出图像102可由系统生成并经由总线113输出。
仍参照图1A，可选地，系统100可连接到人机接口(HMI)110，HMI110连接到总线113，其中，HMI可与多个装置通信。可选地，处理器120可通过总线113连接到显示接口160，该显示接口160连接到显示装置165。此外，可选地，处理器120可连接到成像接口170，该成像接口170经由总线113连接到成像装置175。
图1B是根据本公开的一些实施方式的图1A的另选计算机系统的框图。系统100A包括场景121以便于装置122(例如，视频相机)收集输入图像195(可以是视频帧)。计算机/控制器128可包括被配置为执行所存储的指令的处理器120，以及存储可由处理器执行的指令的存储器140。系统100A可包括存储装置130，其可包括原始图像131、滤波器系统132和在线卷积字典学习(OCDL)111。最后，输出图像102可由系统生成并经由总线113输出。
仍参照图1B，系统100A包括处理器120以可选地通过总线113连接到显示接口160，该显示接口160连接到显示装置165。此外，可选地，处理器120可连接到成像接口170，该成像接口170经由总线113连接到成像装置175。此外，输入图像195可连接到网络190，该网络190连接到与总线113通信的网络接口控制器(NIC)150。系统100A可包括连接到人机接口(HMI)110的键盘114，该HMI110连接到总线113。此外，系统100可包括与打印装置185通信的打印机接口180。
图1C示出根据本公开的一些实施方式的利用在线卷积字典学习(OCDL)111处理第一输入图像195的示意图。OCDL 111可由执行存储在存储器中的指令的处理器执行。在一些实施方式中，OCDL 111处理输入图像101以生成更高空间分辨率的输出图像102。
图1D是根据本公开的一个实施方式的使用OCDL进行图像处理的计算机实现的方法的框图。计算机系统100B从场景1212的传感器122接收输入图像195并经由计算机/控制器128处理它们，以生成输出图像102。通过首先求解对应稀疏优化问题以执行卷积稀疏编码124从而产生系数矩阵125来进行处理。那些矩阵然后被转换126以生成卷积存储器矩阵127，其可用于更新具有低存储器要求的字典128。
图1E是根据本公开的一个实施方式的用于实现OCDL的伪代码。该伪代码描绘了使用OCDL将流输入图像195变换为输出图像102。
图2A是根据本公开的一个实施方式的卷积函数126的框图。卷积函数126通过首先计算更新201并更新存储器矩阵202来更新卷积存储器矩阵127。通过将翻转的系数矩阵125彼此之间以及与输出图像102卷积来计算更新。然后通过将更新添加到存储器中的存储器矩阵来更新存储器矩阵。
图2B是根据本公开的一个实施方式的为图1D的卷积存储器矩阵127计算更新的方法的框图。具体地，图2A所计算的更新201包括系数矩阵1 210、系数矩阵2 211和输出图像102。系数矩阵2 211被空间翻转212，并且翻转的系数矩阵213与系数矩阵1 210和输出图像102卷积214以生成卷积矩阵1 215和卷积矩阵2 216。选择217来自卷积矩阵215、216的元素的子集以与卷积核的大小匹配并产生更新1 218和更新2 219。
图3A是根据本公开的一个实施方式的用于实现卷积稀疏编码的伪代码。
图3B是根据本公开的一个实施方式的SoftThreshold函数的示意图。SoftThreshold将小于参数λ的输入信号的值设定为零并将较大的值减小λ。应用该函数得到稀疏系数矩阵。
在线卷积字典学习框架
参照图3A和图3B，我们的方法和系统用于线性测量yl＝Φlxl+el，其中对于各个模态l∈[1,…,L]，
Figure BDA0002290711250000131
表示对应测量向量,
Figure BDA0002290711250000132
表示未知图像，
Figure BDA0002290711250000133
表示测量矩阵，
Figure BDA0002290711250000134
表示测量中的噪声。图像{xl}l∈[1,…,L]对应于从不同模态看到的相同物理对象。例如，各个xl可表示不同的颜色通道、光谱带或传感器类型。为了简单，我们假设图像的期望尺寸横跨所有模态相同并且采集装置被完美配准。
我们的方法中的基本假设是，联合稀疏卷积模型可准确地将图像{xl}近似为
Figure BDA0002290711250000135
其中{dlk}是
Figure BDA0002290711250000136
中的LK卷积滤波器的集合，算子*表示卷积，{αlk}是
Figure BDA0002290711250000137
中的系数矩阵的集合。要注意的是，Dl和αl分别表示所有K个字典和系数图的级联。
卷积稀疏编码
给定完整字典D＝(D1,…,DL)，我们可通过使以下成本函数最小化来执行卷积稀疏编码。
Figure BDA0002290711250000138
其中y＝vc(y1,…,yL)、x＝vc(x1,…,xL)和α＝vc(α1,…,αL)表示对应信号的垂直级联(vc)，Φ＝diag(Φ1,…,ΦL)表示块对角线感测矩阵。成本函数中的第一个二次项测量数据保真度，而第二个则控制字典的近似质量。第一正则项
Figure BDA0002290711250000139
横跨L个模态强加系数的组或联合稀疏性。这里，
Figure BDA00022907112500001310
表示由与每一个模态l的核k关联的系数矩阵的对齐条目形成的向量。具体地，该正则化项促使由卷积字典D编码的图像特征在所有模态下同现。成本C中的第二个正则化项对应于总变差(TV)惩罚
Figure BDA00022907112500001311
其中L表示离散梯度算子。当成像问题不适定时，从y进行字典的无监督学习是复杂的。包括TV正则化项的目的在于帮助这种学习。实际上，在学习和重构二者期间当包括TV时，我们观察到质量的显著改进。最后，正常数ρ、λ和τ是控制数据保真度和正则化之间的权衡的参数。
如上所述，图3A是用于实现卷积稀疏编码的伪代码，其中，用于稀疏编码的成本函数的联合优化是凸问题。为了解决它，我们使用图3A中所总结的下降型方法。具体地，我们将成本C(x,α,D|y,Φ)分成平滑二次项
以及在图像x和系数矩阵α中可分离的非平滑项
λ||α||2，1+τR(x)。
与λ||α||2,1关联的近端算子等于
Figure BDA0002290711250000142
其中算子(·)+提取其自变量的正部分。
图3B是根据本公开的一个实施方式的SoftThreshold函数的示意图。例如，当模态数量为一(即，L＝1)时，上述近端算子减小为图3B所示的简单软阈值算子。软阈值简单地将小于参数λ的输入信号的值设定为零并将较大的值减小λ，这得到稀疏系数。尽管TV的近端不具有闭合解，但其可有效地实现。
字典更新
我们考虑流输入数据，其中在每一步
Figure BDA0002290711250000143
我们得到一对(yt,Φt)。联合地针对x、α和D，学习程序尝试针对所有t使成本C(x,α,D|y,Φ)最小化。具体地，令
Jt(D)＝minx，α{C(x，α,D|yt,Φt)},
则这意味着关于D求解
其中在t上进行预期。要注意的是，为了补偿标度歧义，我们将D的优化限制为闭凸集
Figure BDA0002290711250000145
具体地，
Figure BDA0002290711250000146
是具有
Figure BDA0002290711250000147
球中的核的卷积字典的集合，即，||dlk||2≤1。
为了关于D求解优化问题，我们首先执行上一节中描述的卷积稀疏编码以确定图像xt和系数矩阵αt。然后，我们想要使由
Figure BDA0002290711250000148
给出的
Figure BDA0002290711250000149
的替代最小化。
图4是根据本公开的一个实施方式的用于实现字典更新的伪代码。例如，该第二步骤在核{dlk}上使用块梯度下降来执行，如接下来描述并在图4中总结的。
使xi和αi固定，C中唯一取决于D的项是二次耦合惩罚
Figure BDA00022907112500001410
因此，我们可等效地针对各个模态l使
Figure BDA0002290711250000151
最小化。由于在l中一切都是可分离的，所以在剩余部分中为了记号清晰，我们删除了下标。要注意的是，由于卷积运算是交换的并且αi是固定的，所以我们可重写
Figure BDA0002290711250000152
其中
Figure BDA0002290711250000153
是卷积和线性算子并且d＝vc(d1,…,dK)。为了以||dk||2≤1为条件使
Figure BDA0002290711250000154
最小化，我们应用图4中总结的投影块坐标下降。
要注意的是，关于d的梯度由下式给出
Figure BDA0002290711250000155
其中[Ai]T表示算子Ai的转置，其可容易地通过与系数矩阵的翻转版本卷积来实现。重要的是，通过定义由以下两个分量组成的卷积存储器矩阵，可利用所有先前迭代来计算此梯度
Figure BDA0002290711250000156
Figure BDA0002290711250000157
其可从先前迭代递归地计算为
Figure BDA0002290711250000158
Figure BDA0002290711250000159
如图2A和图2B中总结的。
图5A是根据本公开的一些实施方式的使用OCDL 500处理不同模态的两个图像的示意图。第一输入图像501和第二输入图像502由OCDL联合处理以生成输出图像503和输出图像504。联合卷积字典学习允许学习图像501和502中的同现特征并使用该信息来改进图像质量。
图5B是根据本公开的一个实施方式的使用OCDL 500处理不同模态的两个图像的计算机实现的方法的框图。输入图像1 501来自场景521的传感器522。输入图像2 502来自场景521的传感器523。其中，输入图像1 501和输入图像502被馈入联合卷积稀疏编码块525中。
输入图像501和输入图像502的联合卷积稀疏编码525允许获得具有共享支持的稀疏系数矩阵526。系数矩阵526然后用于利用卷积函数527来更新卷积存储器矩阵528，如图2A所示。字典更新529然后学习与共享同一支持的系数矩阵526对应的字典原子，这允许对输入图像501和502中的相关特征编码。学习的字典原子一起形成卷积字典524，其被传递给联合卷积稀疏编码525的下一应用。
特征
成像系统的一方面可包括获取第一模态的第二图像的第一传感器。其中，处理器将第二图像变换成经更新的第一字典矩阵与第一模态下的卷积表示的第二系数矩阵的卷积。使得处理器利用第一模态下的卷积表示的第二系数矩阵的对应位置的非零元素的卷积函数来进一步更新第一卷积存储器矩阵的元素。其中，处理器使用经更新的第一卷积存储器矩阵来进一步更新经更新的第一字典矩阵。
成像系统的另一方面可包括处理器使用卷积稀疏编码来变换第一图像。此外，成像系统可包括卷积函数具有来自卷积和的选择，其中，卷积函数基于
Figure BDA0002290711250000161
成像系统的另一方面还可包括第二传感器，其获取第二模态的图像序列。其中，存储器存储第二卷积存储器矩阵，使得第二卷积存储器矩阵的各个元素是第二模态下的卷积表示的系数矩阵的对应位置的元素的卷积函数。其中，存储器存储包括第二模态的图像的原子的第二字典矩阵。处理器使用联合卷积稀疏编码来变换第一模态和第二模态下的对应图像，以生成表示第一模态下的第一图像的第一系数矩阵以及表示第二模态下的场景的第二图像的第二系数矩阵。其中，处理器使用第一系数矩阵的对应元素利用卷积函数来更新第一卷积存储器矩阵，并且使用第二系数矩阵的对应元素利用卷积函数来更新第二卷积存储器矩阵。其中，处理器基于第一卷积存储器矩阵来更新第一字典矩阵并基于第二卷积存储器矩阵来更新第二字典矩阵。此外，响应于接收到第一图像和第二图像，处理器可被配置用于使用第一系数矩阵和第一字典矩阵的卷积来确定第一模态下的第一输出图像。使用第二系数矩阵和第二字典矩阵的卷积来确定第二模态下的第二输出图像。
处理器可使用关于第一图像的结构的先验信息来变换第一图像。其中，关于第一图像的结构的先验信息可包括第一图像中的值的总变差。此外，第一图像的分辨率可不同于第二图像的分辨率。
成像系统的另一方面在于，第一传感器可以是强度相机，第一图像是强度图像，第二传感器是深度相机，并且第二图像是深度图像。
成像方法的另一方面可包括存储第二卷积存储器矩阵的存储器，其中，第一卷积存储器矩阵的各个元素是第二模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，其中，存储器存储包括第二模态的图像的原子的第二字典矩阵，并且其中，该方法响应于接收到获取第一模态的图像的第一传感器的测量以及获取第二模态的图像的第二传感器的测量，该方法包括利用为第一模态下的图像学习的第一字典矩阵和为第二模态下的图像学习的第二字典矩阵使用联合卷积稀疏编码来变换第一模态和第二模态下的场景的对应图像，以生成表示第一模态下的场景的第一图像的第一系数矩阵以及表示第二模态的场景的第二图像的第二系数矩阵。使用第一系数矩阵和第一字典矩阵的卷积来确定第一模态下的第一输出图像。使用第二系数矩阵和第二字典矩阵的卷积来确定第二模态下的第二输出图像。利用第一系数矩阵的对应位置的非零元素的卷积函数来更新第一卷积存储器矩阵。利用第二系数矩阵的对应位置的非零元素的卷积函数来更新第二卷积存储器矩阵。使用第一系数矩阵和第一卷积存储器矩阵的卷积来更新第一字典矩阵。使用第二系数矩阵和第二卷积存储器矩阵的卷积来更新第二字典矩阵。
图6是示出根据本公开的实施方式的可使用另选计算机或处理器实现的图1A的方法的框图。计算机611包括处理器640、计算机可读存储器612、存储装置658以及具有显示器652和键盘651的用户接口649，它们通过总线656连接。例如，与处理器640和计算机可读存储器612通信的用户接口649在从用户接口657的表面、键盘表面接收到用户的输入时获取测量数据并将其存储在计算机可读存储器612中。
可以想到，存储器612可存储可由处理器执行的指令、历史数据以及可由本公开的方法和系统使用的任何数据。处理器640可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。处理器640可通过总线656连接到一个或更多个输入和输出装置。存储器612可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器系统。
仍参照图6，存储装置658可被设置为存储处理器所使用的补充数据和/或软件模块。例如，存储装置658可存储历史装置数据以及其它相关装置数据(例如，装置的手册)，其中，装置是能够如上面关于本公开所述获得测量数据的感测装置。另外地或另选地，存储装置658可存储与测量数据相似的历史数据。存储装置658可包括硬盘驱动器、光盘驱动器、拇指驱动器、驱动器阵列或其任何组合。
系统可通过总线656可选地链接到被设置为将系统连接到显示装置(未示出)的显示接口(未示出)，其中，显示装置可包括计算机监视器、相机、电视、投影仪或移动装置等。
计算机611可包括电源654，根据应用，该电源654可以可选地位于计算机611的外部。被设置为连接到显示装置648的用户输入接口657可通过总线656链接，其中，显示装置648可包括计算机监视器、相机、电视、投影仪或移动装置等。打印机接口659也可通过总线656连接并被设置为连接到打印装置632，其中，打印装置632可包括液体喷墨打印机、固体墨水打印机、大型商用打印机、热敏打印机、UV打印机或染料升华打印机等。网络接口控制器(NIC)634被设置为通过总线656连接到网络636，其中，测量数据或其它数据等可被渲染在计算机611外部的第三方显示装置、第三方成像装置和/或第三方打印装置上。
仍参照图6，测量数据或其它数据等可经由网络636的通信信道发送和/或被存储在存储系统658内以便于存储和/或进一步处理。此外，测量数据或其它数据可从接收器646(或外部接收器638)以无线或硬连线方式接收，或者经由发送器647(或外部发送器639)以无线或硬连线方式发送，接收器646和发送器647二者通过总线656连接。计算机611可经由输入接口608连接到外部感测装置644和外部输入/输出装置641。计算机611可连接到其它外部计算机642。输出接口609可用于输出来自处理器640的经处理的数据。
本公开的上述实施方式可按照众多方式中的任一种来实现。例如，实施方式可使用硬件、软件或其组合来实现。在权利要求中使用诸如“第一”、“第二”的序数词修饰权利要求元素本身并不暗示一个权利要求元素相比于另一权利要求元素的任何优先或次序或者方法的动作执行的时间次序，而是仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称(但使用序数词)的另一元素相区分，以区分权利要求元素。

Claims (20)

1.一种成像系统，该成像系统包括：
第一传感器，该第一传感器获取第一模态的图像序列；
存储器，该存储器存储第一卷积存储器矩阵，其中，该第一卷积存储器矩阵的各个元素是所述第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，并且该存储器存储包括所述第一模态的图像的原子的第一字典矩阵；以及
处理器，该处理器将由所述第一传感器获取的场景的第一图像变换成所述第一字典矩阵和第一系数矩阵的卷积，利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新所述第一卷积存储器矩阵的元素，并且利用经更新的第一卷积存储器矩阵来更新所述字典矩阵。
2.根据权利要求1所述的成像系统，其中，所述第一传感器获取所述第一模态的第二图像，并且其中，所述处理器将所述第二图像变换成经更新的第一字典矩阵与所述第一模态下的卷积表示的第二系数矩阵的卷积，其中，所述处理器利用所述第一模态下的卷积表示的所述第二系数矩阵的对应位置的非零元素的卷积函数来进一步更新所述第一卷积存储器矩阵的元素，并且其中，所述处理器使用经更新的第一卷积存储器矩阵来进一步更新所述经更新的第一字典矩阵。
3.根据权利要求1所述的成像系统，其中，所述处理器使用卷积稀疏编码来变换所述第一图像。
4.根据权利要求1所述的成像系统，其中，所述卷积函数包括从卷积和的选择。
5.根据权利要求4所述的成像系统，其中，所述卷积函数基于
Figure FDA0002290711240000011
6.根据权利要求1所述的成像系统，该成像系统还包括：
第二传感器，该第二传感器获取第二模态的图像序列；
其中，所述存储器存储第二卷积存储器矩阵，其中，该第二卷积存储器矩阵的各个元素是所述第二模态下的卷积表示的系数矩阵的对应位置的元素的卷积函数；
其中，所述存储器存储包括所述第二模态的图像的原子的第二字典矩阵；
其中，所述处理器使用联合卷积稀疏编码来变换所述第一模态和所述第二模态下的对应图像，以生成表示所述第一模态下的所述第一图像的所述第一系数矩阵以及表示所述第二模态下的所述场景的第二图像的第二系数矩阵，
其中，所述处理器使用所述第一系数矩阵的对应元素利用卷积函数来更新所述第一卷积存储器矩阵，并且使用所述第二系数矩阵的对应元素利用卷积函数来更新所述第二卷积存储器矩阵；并且
其中，所述处理器基于所述第一卷积存储器矩阵来更新所述第一字典矩阵并基于所述第二卷积存储器矩阵来更新所述第二字典矩阵。
7.根据权利要求6所述的成像系统，其中，响应于接收到所述第一图像和所述第二图像，所述处理器被配置用于：
使用所述第一系数矩阵和所述第一字典矩阵的卷积来确定所述第一模态下的第一输出图像；并且
使用所述第二系数矩阵和所述第二字典矩阵的卷积来确定所述第二模态下的第二输出图像。
8.根据权利要求1所述的成像系统，其中，所述处理器使用关于所述第一图像的结构的先验信息来变换所述第一图像。
9.根据权利要求8所述的成像系统，其中，关于所述第一图像的结构的所述先验信息包括所述第一图像中的值的总变差。
10.根据权利要求6所述的成像系统，其中，所述第一图像的分辨率不同于所述第二图像的分辨率。
11.根据权利要求10所述的成像系统，其中，所述第一传感器是强度相机，所述第一图像是强度图像，所述第二传感器是深度相机，并且所述第二图像是深度图像。
12.一种用于图像处理的方法，其中，该方法使用处理器，该处理器联接到存储第一卷积存储器矩阵的存储器，其中，所述第一卷积存储器矩阵的各个元素是第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，所述存储器存储包括所述第一模态的图像的原子的第一字典矩阵，其中，所述处理器与所存储的实现所述方法的指令结合，其中，所述指令在由所述处理器执行时实现所述方法的至少一些步骤，该方法包括以下步骤：
将所述第一模态下的场景的第一图像变换成所述第一字典矩阵和第一系数矩阵的卷积；
利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新所述第一卷积存储器矩阵的元素；以及
使用经更新的第一卷积存储器矩阵来更新所述第一字典矩阵，其中，经更新的字典矩阵帮助例如利用去噪以及利用数据融合来改进成像处理。
13.根据权利要求12所述的方法，其中，所述存储器存储第二卷积存储器矩阵，其中，所述第一卷积存储器矩阵的各个元素是第二模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，其中，所述存储器存储包括所述第二模态的图像的原子的第二字典矩阵，并且其中，响应于接收到获取所述第一模态的图像的第一传感器的测量和获取所述第二模态的图像的第二传感器的测量，所述方法包括以下步骤：
利用为所述第一模态下的图像学习的所述第一字典矩阵以及为所述第二模态下的图像学习的所述第二字典矩阵使用联合卷积稀疏编码来变换所述第一模态和所述第二模态下的场景的对应图像，以生成表示所述第一模态下的所述场景的第一图像的所述第一系数矩阵以及表示所述第二模态的所述场景的第二图像的第二系数矩阵；
使用所述第一系数矩阵和所述第一字典矩阵的卷积来确定所述第一模态下的第一输出图像；
使用所述第二系数矩阵和所述第二字典矩阵的卷积来确定所述第二模态下的第二输出图像；
利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新所述第一卷积存储器矩阵；
利用所述第二系数矩阵的对应位置的非零元素的卷积函数来更新所述第二卷积存储器矩阵；
使用所述第一系数矩阵和所述第一卷积存储器矩阵的卷积来更新所述第一字典矩阵；以及
使用所述第二系数矩阵和所述第二卷积存储器矩阵的卷积来更新所述第二字典矩阵。
14.根据权利要求12所述的方法，其中，该方法使用关于所述第一图像的结构的先验信息来变换所述第一图像，其中，关于所述第一图像的结构的所述先验信息包括所述第一图像中的值的总变差。
15.一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质上具体实现有能够由处理器执行以用于执行一种方法的程序，所述方法包括以下步骤：
利用为第一模态下的图像学习的第一字典矩阵以及为第二模态下的图像学习的第二字典矩阵使用联合卷积稀疏编码来变换所述第一模态和所述第二模态下的场景的对应图像，以生成表示所述第一模态下的所述场景的第一图像的第一系数矩阵以及表示所述第二模态的所述场景的第二图像的第二系数矩阵；
使用所述第一系数矩阵和所述第一字典矩阵的卷积来确定所述第一模态下的第一输出图像；
使用所述第二系数矩阵和所述第二字典矩阵的卷积来确定所述第二模态下的第二输出图像；
利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新第一卷积存储器矩阵；
利用所述第二系数矩阵的对应位置的非零元素的卷积函数来更新第二卷积存储器矩阵；
使用所述第一系数矩阵和所述第一卷积存储器矩阵的卷积来更新所述第一字典矩阵；以及
使用所述第二系数矩阵和所述第二卷积存储器矩阵的卷积来更新所述第二字典矩阵。
16.根据权利要求15所述的存储介质，其中，所述处理器使用卷积稀疏编码来变换所述第一图像。
17.根据权利要求15所述的存储介质，其中，所述卷积函数包括从卷积和的选择。
18.根据权利要求17所述的存储介质，其中，所述卷积函数基于
Figure FDA0002290711240000041
19.根据权利要求15所述的存储介质，该存储介质还包括：
第二传感器，该第二传感器获取第二模态的图像序列；
其中，所述存储器存储第二卷积存储器矩阵，其中，该第二卷积存储器矩阵的各个元素是所述第二模态下的卷积表示的系数矩阵的对应位置的元素的卷积函数；
其中，所述存储器存储包括所述第二模态的图像的原子的第二字典矩阵；
其中，所述处理器使用联合卷积稀疏编码来变换所述第一模态和所述第二模态下的对应图像，以生成表示所述第一模态下的所述第一图像的所述第一系数矩阵以及表示所述第二模态下的所述场景的第二图像的第二系数矩阵，
其中，所述处理器使用所述第一系数矩阵的对应元素利用卷积函数来更新所述第一卷积存储器矩阵，并使用所述第二系数矩阵的对应元素利用卷积函数来更新所述第二卷积存储器矩阵；并且
其中，所述处理器基于所述第一卷积存储器矩阵来更新所述第一字典矩阵并基于所述第二卷积存储器矩阵来更新所述第二字典矩阵。
20.根据权利要求19所述的存储介质，其中，响应于接收到所述第一图像和所述第二图像，所述处理器被配置用于：
使用所述第一系数矩阵和所述第一字典矩阵的卷积来确定所述第一模态下的第一输出图像；并且
使用所述第二系数矩阵和所述第二字典矩阵的卷积来确定所述第二模态下的第二输出图像。
CN201880034968.2A 2017-06-02 2018-05-23 成像系统和图像处理方法 Active CN110678899B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762514444P 2017-06-02 2017-06-02
US62/514,444 2017-06-02
US15/636,795 US10409888B2 (en) 2017-06-02 2017-06-29 Online convolutional dictionary learning
US15/636,795 2017-06-29
PCT/JP2018/020628 WO2018221540A1 (en) 2017-06-02 2018-05-23 Imaging system and method for image processing

Publications (2)

Publication Number Publication Date
CN110678899A true CN110678899A (zh) 2020-01-10
CN110678899B CN110678899B (zh) 2023-04-28

Family

ID=62842173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034968.2A Active CN110678899B (zh) 2017-06-02 2018-05-23 成像系统和图像处理方法

Country Status (5)

Country Link
US (1) US10409888B2 (zh)
JP (1) JP6821038B2 (zh)
CN (1) CN110678899B (zh)
DE (1) DE112018002793T5 (zh)
WO (1) WO2018221540A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023019685A1 (zh) * 2021-08-17 2023-02-23 上海交通大学 一种图像处理方法、系统、装置及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818554B (zh) * 2016-09-12 2023-04-21 索尼公司 信息处理设备和信息处理方法
CN109862208B (zh) * 2019-03-19 2021-07-02 深圳市商汤科技有限公司 视频处理方法、装置、计算机存储介质以及终端设备
US11657252B2 (en) * 2019-06-07 2023-05-23 Meta Platforms, Inc. Point to point connected processing elements with data joiner components
CN111784572B (zh) * 2020-05-19 2022-06-28 昆明理工大学 基于判别字典学习的图像融合与超分辨率联合实现方法
CN111680752B (zh) * 2020-06-09 2022-07-22 重庆工商大学 基于Framelet框架的红外与可见光图像融合方法
CN111914996A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 一种提取数据特征的方法和相关装置
CN114004872A (zh) * 2021-11-01 2022-02-01 燕山大学 图像的卡通纹理分离方法、装置、电子设备及存储介质
CN113962899B (zh) * 2021-11-10 2024-06-21 北京工业大学 眼底图像处理方法、装置、电子设备及存储介质
CN116361713B (zh) * 2023-04-19 2023-08-29 湖北交通职业技术学院 飞机发动机的性能检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049923A (zh) * 2012-12-10 2013-04-17 深圳先进技术研究院 磁共振快速成像的方法
CN103489203A (zh) * 2013-01-31 2014-01-01 清华大学 基于字典学习的图像编码方法及系统
CN106228524A (zh) * 2016-08-01 2016-12-14 广东工业大学 一种图像去噪方法及装置
CN106815876A (zh) * 2016-12-30 2017-06-09 清华大学 图像稀疏表征多字典学习的联合优化训练方法
CN106940895A (zh) * 2017-01-12 2017-07-11 北京理工大学 一种应用于无线层析成像系统的降质函数的估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684951B2 (en) 2014-03-31 2017-06-20 Los Alamos National Security, Llc Efficient convolutional sparse coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049923A (zh) * 2012-12-10 2013-04-17 深圳先进技术研究院 磁共振快速成像的方法
CN103489203A (zh) * 2013-01-31 2014-01-01 清华大学 基于字典学习的图像编码方法及系统
CN106228524A (zh) * 2016-08-01 2016-12-14 广东工业大学 一种图像去噪方法及装置
CN106815876A (zh) * 2016-12-30 2017-06-09 清华大学 图像稀疏表征多字典学习的联合优化训练方法
CN106940895A (zh) * 2017-01-12 2017-07-11 北京理工大学 一种应用于无线层析成像系统的降质函数的估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JULIEN MAIRAL等: "Online Learning for Matrix Factorization and Sparse Coding", 《JOURNAL OF MACHINE LEARNING RESERCH》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023019685A1 (zh) * 2021-08-17 2023-02-23 上海交通大学 一种图像处理方法、系统、装置及存储介质
US11995801B2 (en) 2021-08-17 2024-05-28 Shanghai Jiao Tong University Image processing method, system, device and storage medium

Also Published As

Publication number Publication date
WO2018221540A1 (en) 2018-12-06
US10409888B2 (en) 2019-09-10
DE112018002793T5 (de) 2020-04-02
CN110678899B (zh) 2023-04-28
US20180349319A1 (en) 2018-12-06
JP2020505692A (ja) 2020-02-20
JP6821038B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
CN110678899B (zh) 成像系统和图像处理方法
Zhuang et al. Underwater image enhancement with hyper-laplacian reflectance priors
Qiao et al. Deep learning for video compressive sensing
US10891527B2 (en) Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
US10593021B1 (en) Motion deblurring using neural network architectures
US10650495B2 (en) High resolution style transfer
Yuan et al. Plug-and-play algorithms for video snapshot compressive imaging
Liu et al. Automatic estimation and removal of noise from a single image
US20170351935A1 (en) Method and System for Generating Multimodal Digital Images
Dupé et al. A proximal iteration for deconvolving Poisson noisy images using sparse representations
US8594464B2 (en) Adaptive super resolution for video enhancement
CN107525588B (zh) 一种基于gpu的双相机光谱成像系统的快速重构方法
Matakos et al. Accelerated edge-preserving image restoration without boundary artifacts
US20210233244A1 (en) System and method for image segmentation using a joint deep learning model
US20180349771A1 (en) Sparsity enforcing neural network
CN105793891A (zh) 用于确定高分辨率输出图像的方法和设备
CN107818554A (zh) 信息处理设备和信息处理方法
Degraux et al. Online convolutional dictionary learning for multimodal imaging
US9342873B1 (en) Tile-based optical flow
CN116579966B (zh) 一种图像重建方法、装置、电子设备及存储介质
Huang et al. Unrolled variational Bayesian algorithm for image blind deconvolution
US11803950B2 (en) Universal style transfer using multi-scale feature transform and user controls
Gao et al. Augmented robust PCA for foreground-background separation on noisy, moving camera video
Moser et al. Diffusion models, image super-resolution and everything: A survey
US11790550B2 (en) Learnable cost volume for determining pixel correspondence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant