CN108780570B - 使用迭代协同滤波的图像超分辨率的系统和方法 - Google Patents

使用迭代协同滤波的图像超分辨率的系统和方法 Download PDF

Info

Publication number
CN108780570B
CN108780570B CN201780017620.8A CN201780017620A CN108780570B CN 108780570 B CN108780570 B CN 108780570B CN 201780017620 A CN201780017620 A CN 201780017620A CN 108780570 B CN108780570 B CN 108780570B
Authority
CN
China
Prior art keywords
image
reference block
blocks
high frequency
frequency data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780017620.8A
Other languages
English (en)
Other versions
CN108780570A (zh
Inventor
拉克什·梅赫塔
凯伦·艾格亚扎瑞恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telidan Ferrier Co ltd
Teledyne Flir LLC
Original Assignee
Telidan Ferrier Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telidan Ferrier Co ltd filed Critical Telidan Ferrier Co ltd
Publication of CN108780570A publication Critical patent/CN108780570A/zh
Application granted granted Critical
Publication of CN108780570B publication Critical patent/CN108780570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

公开了用于提供图像分辨率增强的系统和方法的各种技术。例如，一种方法包括：接收场景的原始图像(例如，可见光图像)，其包括由像素坐标标识的图像像素；将原始图像的尺寸调整为更大的尺寸，其中经调整尺寸的图像被划分成第一多个参考块；通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：将高频数据注入到经调整尺寸的图像中，从经调整尺寸的图像中提取满足相对于参考块的互相似条件的第一多个匹配块，并且基于参考块与第一多个匹配块之间的相关性来调整参考块的高频数据。还公开了一种被配置为执行这种方法的系统。

Description

使用迭代协同滤波的图像超分辨率的系统和方法
相关申请的交叉引用
本申请要求于2016年1月16日提交的题为“使用迭代协同滤波的图像超分辨率的系统和方法(SYSTEMS AND METHODS FOR IMAGE SUPER-RESOLUTION USING ITERATIVECOLLABORATIVE FILTERING)”的美国临时专利申请No.62/279,743的权益，该申请的全部内容通过引用并入本文中。
技术领域
本发明的一个或多个实施例总体涉及成像处理，更具体地，涉及例如增强图像的分辨率。
背景技术
已经开发了超分辨率技术来增强成像系统或由这种系统捕获的图像的分辨率。然而，常规的超分辨率技术要么需要大量的训练时间和处理资源(例如，处理时间、内存空间、数据存储空间等)，比如那些基于在字典中编译的外部训练数据的技术，要么产生差的分辨率增强质量，例如那些在同一图像中选择最佳匹配贴片(patch)以估计高频数据的技术。因此，常规的超分辨率技术不足以高效地显示将在真实的更高分辨率版本的图像中捕获的真实结构细节和清晰度。
常规的超分辨率技术的这些缺点通常使它们不适合于具有有限处理资源的设备(比如安全摄像系统、便携式设备等)以实现期望的图像分辨率。因此，需要改进的超分辨率技术，用于在不消耗大量处理资源的情况下产生高质量的超分辨率图像。
发明内容
公开了用于增强图像的分辨率、清晰度和/或信噪比(SNR)以提供更清晰、更易于理解、视觉上更加令人愉悦、内容更丰富的图像和视频以供观看和进一步图像处理的系统和方法的各种技术。例如，在一个实施例中，一种方法包括：将原始图像的尺寸调整为更大的尺寸，经调整尺寸的图像具有大于原始图像的图像尺寸的图像尺寸，并且经调整尺寸的图像被分为第一多个参考块；通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：将高频数据注入到经调整尺寸的图像；对于每个参考块，从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块；并且基于该参考块与第一多个匹配块之间的相关性来调整参考块的高频数据。
根据本发明的实施例，可以使用各种技术来生成注入到经调整尺寸的图像中的高频数据。例如，可以基于经调整尺寸的图像的像素数据来生成高频数据。具体地，可以基于经调整尺寸的图像和原始图像之间的差来生成高频数据。
除了调整参考块的高频数据之外，根据一个实施例的方法还调整第一多个参考块的高频数据。在这些实施例的一些中，该方法将参考块和第一多个匹配块的高频数据作为一组一起进行共同调整，以便保留该组中一致的高频数据的分量，同时去除该组中不一致的高频数据的分量。
在这方面，参考块和第一多个匹配块被布置为形成像素的三维(3D)阵列。例如，匹配块和参考块可以在彼此的顶部上对齐以形成3D像素阵列的堆叠。然后对3D像素阵列执行3D变换。可以对3D像素阵列执行各种3D变换。3D变换可以包括以下各项中的至少一个：离散余弦变换、哈尔变换(Haar Transform)、恒等变换(Identity Transform)或其任何组合。在一些实施例中，3D变换包括二维(2D)图像变换和一维(1D)图像变换。例如，2D图像变换可以应用于沿着3D像素阵列的第一维度和第二维度的像素值，并且1D图像变换可以应用于沿着3D像素阵列的第三维度。该方法还包括至少部分地基于对应的系数标准偏差来修改每个3D频谱中的至少一些谱系数，并且对3D频谱应用逆变换以生成用于经调整尺寸的图像的高分辨率估计。
第一多个参考块可以是经调整尺寸的图像的不同的非重叠像素块，其中每个参考块包括多个连续像素。为参考块提取的匹配块具有与参考块相同的尺寸。另外，匹配块可以彼此部分重叠。根据本发明的实施例，可以使用各种技术为每个参考块识别并提取匹配块。例如，增量搜索方法可以适于识别针对参考块的匹配块。在增量搜索方法下，最初定义局部搜索区域。局部搜索区域是经调整尺寸的图像的一部分，其至少部分地围绕参考块。根据本发明的实施例的方法在所定义的局部搜索区域内进行搜索以识别满足互相似条件的若干匹配块，即，匹配块彼此互相似并且与相应的参考块互相似。
在增量搜索方法下，如果识别的匹配块的数量小于预定阈值，则可以扩展搜索区域，并且在扩展的搜索区域内执行对匹配块的搜索。这样，可以在附加搜索区域中识别附加匹配块。搜索区域可以不断扩展，直到识别出的匹配块的数量达到阈值。一旦为对应的参考块识别出一组匹配块，就提取匹配块的图像数据或像素数据。要注意，在一些实施例中，可以在迭代地注入和调整高频数据之前针对每个参考块执行对匹配块的识别。
在一些实施例中，该方法包括将经调整尺寸的图像划分为第二多个参考块，其中第二多个参考块中的每个参考块具有比第一多个参考块中的参考块小的尺寸。该方法还包括在增强经调整尺寸的图像的分辨率的至少一次迭代中，对于第二多个参考块中的每个参考块，从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第二多个匹配块；并且基于参考块和第二多个匹配块之间的相关性来调整参考块的高频数据。与第一多个匹配块类似，参考块和第二多个匹配块的高频数据可以作为一组被共同调整，以便保留该组中一致的高频数据的分量，同时去除该组中不一致的高频数据的分量。
在这方面，第二多个匹配块和参考块被布置为形成3D像素阵列。可以对3D像素阵列执行各种变换。根据本发明的一些实施例的方法可以对由第二多个匹配块创建的3D像素阵列执行与对由第一多个匹配块创建的3D像素阵列执行的变换不同的变换。
此外，增强经调整尺寸的图像的分辨率的步骤可以根据需要迭代多次。在一些实施例中，可以在已经执行了多次增强分辨率的迭代之后修改第二多个参考块的尺寸。
在另一实施例中，一种系统包括：图像接口，该图像接口被配置成接收原始图像；以及处理器，该处理器与图像接口通信耦合，并且被配置成用于将原始图像尺寸调整为更大的尺寸；通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：将高频数据注入到经调整尺寸的图像；将经调整尺寸的图像分为第一多个参考块；对于每个参考块，从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块；并且基于参考块和第一多个匹配块之间的相关性来调整参考块的高频数据。
本发明的范围由权利要求限定，这些权利要求通过引用并入到本部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员将更加全面地理解本发明的实施例并且实现其附加优点。将参考将首先简要描述的附图。
附图说明
图1示出了根据本发明的实施例的成像系统的框图。
图2示出了根据本发明的实施例的增强图像分辨率的过程的流程图。
图3示出了根据本发明的各种实施例的迭代协同滤波。
图4示出了根据本发明的各种实施例的在可扩展搜索区域内对匹配块的搜索。
图5A-5C示出了根据本发明的实施例的对来自全局搜索、局部搜索和增量搜索的不同结果的比较。
图6示出了根据本发明的实施例的两阶段协同滤波过程。
图7示出了根据本发明的实施例的迭代协同滤波方法与若干其他图像增强方法之间的峰值信噪比性能的比较。
图8示出了根据本发明的实施例的随迭代协同滤波中所使用的迭代次数变化的计算时间。
通过参考下面的详细描述，可以最好地理解本发明的实施例及其优点。应当理解，相同的附图标记用于标识一个或多个附图中所示的相同元件。
具体实施方式
本文公开的方法和系统的各种实施例可用于提供具有比期望的更低的分辨率、更低的清晰度和/或更低的信噪比(SNR)的图像(例如，包括静态图像和视频帧)的分辨率增强(在本文中也被称为“超分辨率”)。这种低分辨率、清晰度和/或SNR的图像可以例如由通常具有比CMOS、CCD或其他可见光成像传感器更低的分辨率、更低的清晰度和/或更低的SNR的成像传感器或装置捕获。例如，各种成像传感器和装置(例如，红外(IR)成像传感器、光子混合器装置(PMD)或其他飞行时间(ToF)成像传感器、激光成像探测与测量(LIDAR)装置、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、超声成像或其他医学成像设备)以模态或频谱工作，这使其昂贵或难以直接产生高分辨率、高清晰度和/或高SNR的输出。
根据本发明的一个或多个实施例的系统和方法通过迭代地进行以下操作来提高场景的这种低保真度(例如，低分辨率、清晰度和/或SNR)图像的分辨率、清晰度和/或SNR(到“超分辨率”图像，如本文中也提到的)：将高频数据迭代地注入到图像中，然后，使用从互相似的相同图像的不同部分(这里也被称为“贴片”或“块”)导出的信息来调整高频数据。
特别地，根据一个或多个实施例，可以首先通过例如使用双三次插值将原始低分辨率图像的尺寸调整为更大的尺寸。然后可以将高频数据注入经调整尺寸的图像。可以使用各种技术生成高频数据，以恢复在调整图像尺寸期间丢失的高频细节。在一些实施例中，可以基于当前高分辨率估计(或经调整尺寸的图像)与原始图像(或经调整尺寸的图像的先前版本)之间的像素数据的差来生成高频数据。随后可以例如通过去除或抑制通过注入所生成的高频数据而引入的噪声，同时保持在图像的互相似的贴片之间一致的注入的高频数据的分量来调整高频数据以改善图像的质量(例如，信噪比(SNR))。为了调整高频数据，可以执行协同滤波过程。如本文进一步描述的，根据本发明的实施例的协同滤波过程包括每个参考块与其相应的匹配块一起作为一组以利用该组中的块之间的相关性来共同滤波每个参考块，使得在该组中一致的高频数据的分量得到保留，同时可能表示噪声的高频数据的分量可以被去除或抑制。
经调整尺寸的图像可以被划分为多个参考块，其中每个参考块包括经调整尺寸的图像的一组相邻像素。在一些实施例中，参考块是经调整尺寸的图像的不同的非重叠像素块。对于每个参考块，识别并提取满足相对于该参考块的互相似条件的若干匹配块(也被称为“贴片”)。匹配块是经调整尺寸的图像内的一组相邻像素，其具有与参考块相同的尺寸和形状。在一些实施例中，至少一些匹配块可以彼此部分重叠。
可以使用各种技术来识别针对参考块的匹配块。在一些实施例中，采用增量搜索方法，其中最初搜索在参考块附近的经调整尺寸的图像的小局部搜索区域。在该增量方法下，如果在局部搜索区域中找到的匹配块的数量已达到预定阈值，则搜索完成。然而，如果在搜索区域内找到的匹配块的数量尚未达到预定阈值，则可以扩展搜索区域以包括经调整尺寸的图像的附加区域以进行搜索。可以连续地扩展并搜索搜索区域，直到扩展的次数达到某个预定搜索迭代阈值或者找到的匹配块的数量已经达到预定阈值。这样，确保了至少固定数量的匹配块将用于每个参考块以调整高频数据。
根据一些实施例，在迭代地注入并调整高频数据之前，最初相对于原始(输入)图像或经调整尺寸的图像识别参考块及其相应的多个匹配块。在这样的实施例中，基于在迭代之前最初识别的匹配块的位置，在每次迭代期间从高频数据注入的图像中提取匹配块。在一些实施例中，可以在注入和调整高频数据的每N次迭代时对原始图像的高分辨率估计(即，具有增强分辨率的经调整尺寸的图像的中间结果)执行匹配块的识别。
在一些实施例中，使用针对每个阶段的不同参考块尺寸来执行协同滤波过程的两个或更多个阶段。因此，根据一个具体实施方式的示例，可以执行两阶段协同滤波过程，其中，通过使用第一组参考块及其相应的多个匹配块来执行协同滤波过程的第一阶段，该多个匹配块是根据利用第一块尺寸最初(例如，在注入和调整的迭代之前)执行的匹配块来提取的，并且其中通过使用第二组参考块及其相应的多个匹配块执行第二阶段，该多个匹配块是根据利用比第一块尺寸小(例如，更细的颗粒)的第二块尺寸在每N次迭代(例如，通过结合本发明执行的实验确定的每5次迭代)时对高分辨率估计执行的块匹配来提取的。
一旦识别并提取了匹配块，就可以使用匹配块和参考块之间的相关性来例如通过协同滤波过程识别并抑制高频数据中的噪声。因此，本发明的实施例可以去除通过迭代注入所生成的高频数据、通过捕获图像(例如，用于捕获场景的图像数据的电路或传感器的一部分)的系统或两者引入的噪声。根据本发明的实施例的协同滤波过程可以通过修改文章中讨论的技术来实施，该文章是由本发明的发明人之一发表的并且题为“通过稀疏3D变换-域协同滤波进行图像去噪(Image Denoising by Sparse 3D Transform-DomainCollaborative Filtering)”(IEEE Transactions on Image Processing,Vol.16,No.8,August 2007)，该文章通过引用的方式全部并入本文中。
可以迭代地执行注入高频数据和调整高频数据的过程，直到预定数量的迭代被完成或者期望质量的超分辨率图像被实现。
现在转向图1，示出了根据本发明的实施例的用于捕获并处理图像和视频(例如，视频帧)的系统100的框图。根据一种实施方式，系统100包括处理组件110、存储器组件120、成像传感器130、视频接口组件134、控制组件140、显示组件150、感测组件160和/或网络接口180。
系统100可表示成像装置，比如视频和/或静态相机，以捕获并处理场景170的图像和/或视频。在这方面，系统100的成像传感器130可以被配置成以特定频谱或模态捕获场景170的图像(例如，静态和/或视频图像)。例如，在一些实施例中，成像传感器130可以包括互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(可以在任何消费相机中找到的CCD传感器)。在一些其他实施例中，成像传感器130可以包括被配置成检测近红外光谱、中红外和/或远红外光谱中的红外辐射的IR成像传感器，并提供代表来自场景170的红外辐射的红外图像(例如，红外图像数据或信号)。在一个具体的非限制性示例中，成像传感器130可以包括长波IR(LWIR)(例如，热IR)成像传感器，该传感器具有响应于包括LWIR辐射的热IR辐射的检测器的焦平面阵列(FPA)。
可以在成像传感器130中实施的其他成像传感器包括PMD成像传感器或其他ToF成像传感器、LIDAR成像装置、毫米成像装置、PET扫描仪、SPECT扫描仪、超声成像装置或以特定模态和/或频谱操作的其他成像装置。应注意，对于被配置成以特定模态和/或频谱捕获图像的这些成像传感器中的一些，例如当与典型的基于CMOS或基于CCD的成像传感器或其他成像传感器、成像扫描仪或不同模态的成像装置相比时，生成高分辨率、高清晰度和/或高SNR的输出图像是昂贵或困难的。
由成像传感器130提供的图像或对应于图像的数字图像数据可以与相应的图像尺寸(也被称为像素尺寸)相关联。图像尺寸或像素尺寸通常是指图像中像素的数量，该尺寸可以表示为例如二维图像的宽度乘以高度，或者以其他方式适合于图像的相关尺寸或形状。因此，原本具有较低分辨率的图像(比如由成像传感器130捕获的图像)通常具有比较高分辨率图像(比如，在对较低分辨率的图像执行本文所述的分辨率增强处理之后由系统100生成的那些图像)更小的图像尺寸。尽管可以对原始的低分辨率图像进行放大或上采样以具有更大的图像尺寸，但是可以理解，在没有更多操作的情况下放大或上采样不会增加低分辨率图像的原本的分辨率或清晰度(例如，图像细节)。
在一些实施例中，如本文所述，由系统100捕获和/或处理的图像数据可以包括场景170的非均匀数据(例如，不是来自快门或黑体的真实图像数据)以用于处理。系统100可以包括便携式装置，并且可以结合到例如运载工具(例如，汽车或其他类型的陆基车辆、无人驾驶飞行器(UAV)、无人驾驶飞机系统(UAS)、无人机或其他类型的飞机或航天器)或需要存储和/或显示图像的非移动设备。
根据各种实施例，处理组件110包括以下各项中的一个或多个：处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件(PLD)(例如，现场可编程门阵列(FPGA))、数字信号处理(DSP)设备、或可以通过硬连线、执行软件指令或两者的组合来被配置成执行用于本发明的实施例的本文所讨论的各种操作的其他逻辑设备。例如，处理组件110可以包括超分辨率模块112，超分辨率模块可以表示硬件组件和软件指令的任何合适的组合，超分辨率模块被配置成执行各种操作以增强图像的分辨率，如本文进一步讨论的。处理组件110被配置成与系统100的各种其他组件接口连接并通信以执行这样的操作。在一个方面，根据一些实施例的处理组件110可以被配置成执行各种系统控制操作(例如，以控制系统100的各种组件的通信和操作)和其他图像处理操作(例如，数据转换、视频分析、噪声抑制)，这些操作作为用于增强图像分辨率的操作的一部分或与其分开。
应当理解，在一些实施例中，超分辨率模块112可以作为处理组件110的一部分集成在软件和/或硬件中，而用于超分辨率模块112的代码(例如，软件指令和/或配置数据)例如被存储在存储器组件120中。在一些实施例中，单独的机器可读介质121(例如，存储器，比如硬盘驱动器、光盘、数字视频盘或闪存)可以存储软件指令和/或配置数据，这些软件指令和/或配置数据可以由计算机(例如，逻辑设备或基于处理器的系统)执行或访问以执行本文公开的各种方法和操作。在一个方面，机器可读介质121可以是便携式的和/或与系统100分开放置，而通过将计算机可读介质耦合到系统100和/或通过系统100从计算机可读介质121下载(例如，经由有线链路和/或无线链路)来将所存储的软件指令和/或数据提供给系统100。
在一个实施例中，存储器组件120包括一个或多个存储器设备，这些存储器设备被配置成存储数据和信息，包括视频图像数据和信息。存储器组件120可以包括一种或多种各种类型的存储器设备，包括易失性和非易失性存储器设备，比如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存、硬盘驱动器和/或其他类型的存储器。如上所述，处理组件110可以被配置成执行存储在存储器组件120中的软件指令，以便执行本文描述的方法和处理步骤和/或操作。处理组件110和/或图像接口134可以被配置成在存储器组件120中存储由成像传感器130捕获的图像或数字图像数据。处理组件110可以被配置成将经处理的(例如，如本文所讨论的，超分辨的)静态和/或视频图像存储在存储器组件120中。
在一些实施例中，图像接口134可以包括被配置成与外部设备(例如，远程设备182和/或其他设备)接口连接以接收由外部设备生成或以其他方式存储在外部设备上的图像(例如，数字图像数据)的适当的输入端口、连接器、开关和/或电路。接收的图像或图像数据可以被提供给处理组件110。在这方面，接收的图像或图像数据可以被转换成适合于由处理组件110处理的信号或数据。例如，在一个实施例中，图像接口134可以被配置成接收模拟视频数据并将其转换为合适的数字数据以提供给处理组件110。
在一些实施例中，图像接口134可以包括各种标准视频端口，这些标准视频端口可以连接到视频播放器、视频摄像机或能够生成标准视频信号的其他设备，并且可以将接收的视频信号转换成适合于由处理组件110处理的数字视频/图像数据。在一些实施例中，图像接口134还可以被配置成与成像传感器130接口连接并从成像传感器接收图像(例如，图像数
据)。在其他实施例中，成像传感器130可以直接与处理组件110接口连接。
在一个实施例中，控制组件140包括用户输入和/或接口设备，比如可旋转旋钮(例如，电位计)、按钮、滑杆、键盘和/或适于生成用户输入控制信号的其他设备。处理组件110可以被配置成经由控制组件140感测来自用户的控制输入信号，并且对从其接收的任何感测的控制输入信号进行响应。如本领域技术人员通常理解的，处理组件110可以被配置成将这样的控制输入信号解释为值。在一个实施例中，控制组件140可以包括控制单元(例如，有线或无线手持控制单元)，该控制单元具有适于与用户接口连接并接收用户输入控制值的按钮。在一种实施方式中，控制单元的按钮可以用于控制系统100的各种功能，比如自动对焦、菜单启用和选择、视野、亮度、对比度、噪声滤波、图像增强和/或成像系统或相机的各种其他特征。
在一个实施例中，显示组件150包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的通常已知的视频显示器或监视器。处理组件110可以被配置成在显示组件150上显示图像数据和信息。处理组件110可以被配置成从存储器组件120获取图像数据和信息，并在显示组件150上显示任何获取的图像数据和信息。显示组件150可以包括显示电路，该显示电路可以由处理组件110用来显示图像数据和信息。显示组件150可以适于直接从成像传感器130、处理组件110和/或视频接口组件134接收图像数据和信息，或者图像数据和信息可以经由处理组件110从存储器组件120传输。
在一个实施例中，根据应用或实施方式要求，感测组件160包括各种类型的一个或多个传感器，如本领域技术人员将理解的。感测组件160的传感器向至少处理组件110提供数据和/或信息。在一个方面，处理组件110可以被配置成与感测组件160通信。在各种实施方式中，感测组件160可以提供关于环境条件的信息，比如外部温度、照明条件(例如，白天、夜晚、黄昏和/或黎明)、湿度水平、特定天气条件(例如，日照、降雨和/或雪)、距离(例如，激光测距仪或飞行时间相机)和/或是否已进入或离开隧道或其他类型的围墙。感测组件160可以表示本领域技术人员公知的用于监视可能对由成像传感器130提供的图像数据有影响(例如，对图像外观)的各种条件(例如，环境条件)的常规传感器。
在一些实施方案中，感测组件160(例如，一个或多个传感器)可以包括经由有线和/或无线通信将信息中继到处理组件110的装置。例如，感测组件160可以适于通过本地广播(例如，射频(RF))传输、通过移动或蜂窝网络和/或通过基础设施(例如，运输或高速公路信息信标基础设施)中的信息信标或各种其他有线和/或无线技术从卫星接收信息。在一些实施例中，处理组件110可以使用从感测组件160获取的信息(例如，感测数据)来修改成像传感器130的配置(例如，调整光敏度水平、调整成像传感器130的方向或角度、调整光圈等)。
在各种实施例中，系统100的各种组件可以根据需要或根据应用或要求而组合和/或实施或不实施。在一个示例中，处理组件110可以与存储器组件120、成像传感器130、视频接口组件134、显示组件150、网络接口180和/或感测组件160组合。在另一示例中，处理组件110可以与成像传感器130组合，使得处理组件110的某些功能由成像传感器130内的电路(例如，处理器、微处理器、逻辑设备、微控制器等)执行。
此外，在一些实施例中，系统100的各种组件可以通过网络190分布并彼此通信。在这方面，系统100可以包括网络接口180，该网络接口被配置成促进系统100的各种组件之间通过网络的有线和/或无线通信。在这样的实施例中，如果系统100的特定应用有需要，也可以复制组件。即，被配置用于相同或类似操作的组件可以通过网络分布。此外，如有需要，通过使用通过网络190经由网络接口180与系统100的各种组件通信的远程设备182的合适组件(例如，常规的数字视频记录仪(DVR)、被配置成用于图像处理的计算机、和/或其他装置)来实施各种组件中的任何一个的全部或部分。因此，例如，处理器110的全部或部分、存储器组件120的全部或部分、和/或显示组件150的全部或部分可以在远程设备182上实现或复制，并且被配置成执行如本文进一步描述的图像的分辨率增强。在一些实施例中，系统100可以不包括成像传感器(例如，成像传感器
130)，而是从与处理组件110和/或系统100的其他组件分开且远程定位的成像传感器接收图像或图像数据。应当理解，在不脱离本发明的范围和精神的情况下，系统100的分布式实施方式的许多其他组合是可能的。
将低分辨率输入图像转换为高分辨率图像是计算机视觉中的经典问题，并且在医学成像、安全性、监视和天文成像中发现了许多应用。基于双线性、双三次插值的简单方法经常被使用，因为它们的计算简单，但是，它们大多产生不良的结果。已经提出了许多基于机器学习的方法，这些方法利用先验信息来估计高分辨率图像。
近年来，通过使用各种机器学习技术从大量自然图像学习低分辨率(LR)到高分辨率(HR)映射，已经获得了成功的结果。用于学习LR-HR映射的现有方法包括流形学习、稀疏编码、卷积神经网络和局部线性回归。这些方法的主要优点是可以学习强的先验知识并随后将其用于从大训练数据生成高分辨率图像。
但是，这些方法有一定的局限性。它们严重依赖于大量的训练数据，这些数据对于不同类型的图像非常特定。LR-HR映射是针对特定的上采样因子来学习的，因此，它在运行时对上采样因子有严格的约束。此外，许多这些方法不支持其当前形式的非整数上采样因子。
某些研究人员通过利用以各种形式的自相似性的输入图像的先验知识，解决了单图像超分辨率(SISR)问题。已经观察到，尽管数量较少，但仅基于输入图像的搜索使得得到更相关的贴片。大多数基于自相似性的算法通过在下采样图像中搜索最相似的目标贴片来找到LR-HR对。这些方法具有无需训练且不需要任何外部训练数据的优点，但是，它们的性能通常不如基于字典的方法。最近，与许多基于字典的方法相比，其在表现出高度自相似性的图像上已经呈现出优越性能。
然而，在自然图像上，它们的结果仍然不如基于字典的方法。这些方法使用来自输入图像的单个最相似的贴片来推断HR贴片。与基于外部数据的方法所使用的大量贴片相比，单个贴片虽然高度相关，但提供了较弱的先验知识。
因此，最近的SISR算法可以大致分为两大类。一类是利用外部图像学习贴片先验知识的算法(被称为基于外部数据的方法)，以及另一类是利用图像自相似性的算法(被称为基于自相似性的方法)
基于外部数据的方法下的技术使用高分辨率贴片的大集合及其下采样的低分辨率版本来学习耦合的LR-HR字典。使用字典原子的稀疏激活来表示贴片。已经使用许多方法来学习LR-HR词典。早期方法是基于邻域嵌入的，但是这些字典在大数据被使用时很快就变得非常大。一种方法利用耦合的稀疏表示来学习字典，这允许更紧凑的字典。另一种方法利用改进的图像表示来进行更稳健的学习。一些方法通过执行预聚类来降低复杂性，因此在测试时间期间仅将字典条目的子集用于贴片推断。另一种方法使用卷积神经网络(CNN)来学习复杂的映射函数。
这些方法需要计算机长持续时间的训练时间。此外，针对每个上采样因子训练单独的字典，其限制测试时间期间的上采样因子的值。
基于自相似性的方法下的技术利用了自然图像本质上是稀疏的并且贴片表现出高度重复行为的想法。一种方法包括通过利用不同尺度的图像的自相似性和分形特征的超分辨率算法。此外，非本地装置用于执行贴片的加权。另一种方法通过对搜索空间施加限制来扩展该想法，从而降低了复杂性。该方法还包括增量上采样以获得所需的图像尺寸。另一种方法利用自相似性来生成示例的码本以估计丢失的高频带。另一种方法使用多个图像尺度内和跨多个图像尺度的自样本(self-example)来调整在其他方面不适合的经典超分辨率方案。
然而，基于自相似性的方法下的大多数方法利用一个最佳匹配的贴片候选来估计高频。与基于字典的方法中用于学习贴片的先验知识的大量贴片相比，一个贴片要少得多。此外，在这些方法中对图像进行下采样以搜索最佳匹配。下采样导致高频损失，并且最佳贴片是基于低频来选择的。
与这些常规的超分辨率技术及其缺陷相反，本发明的实施例通过识别并使用图像中的多个类似贴片来更有效地利用自相似性，以确保所生成的(例如，恢复的、估计的)高频细节的一致性。已经表明，贴片(图像内的块)在自然图像中固有地重复。据信，图像中的互相似的贴片位于低维流形(manifold)上。因此，在超分辨率处理期间，当某些高频细节被引入贴片时，它应该与位于同一流形上的其他贴片一致。在本发明的一个或多个实施例中，使用迭代反投影来引入高频，并且应用两阶段协同滤波来检查这些频率与自相似贴片的一致性，如下面针对示例实施方式所讨论的。
首先，使用双三次插值将输入图像(原始图像)上采样到期望的尺度。这种粗略的上采样导致由高频编码的细节丢失。因此，该方法下的其余过程集中于恢复经粗略上采样的图像中的高频细节。为了恢复高频，利用迭代反投影方法。它通过采用LR空间中输入图像和重建图像之间的差来计算丢失的高频。使用双三次插值再次将高频图像上采样到HR空间，并将其添加到重建的估计中。然而，反投影还传播重建的高分辨率图像中的噪声，该噪声被进一步迭代地放大。因此，应用两阶段协同滤波以仅保留与互相似的贴片一致的那些高频。反投影和两阶段协同滤波是迭代执行的。
根据本发明的各种实施例的用于本文公开的单图像超分辨率的基于自相似性的方法(在本文中也被称为迭代协同滤波方法)的主要优点包括：
(1)不需要外部数据或训练；(2)优越的性能；(3)支持非整数缩放因子(图像可以放大到任何尺寸，而参数没有任何变化)；(4)与大多数基于字典的算法不同，没有边界修剪效果；(5)对噪音的稳健性。
换句话说，如下面进一步讨论的，本发明的各种实施例可以提供常规的反投影方案与协同滤波的组合益处。如本文所讨论的，对于对超分辨率的应用，局部自相似性比全局自相似性更有效，并且从输入图像提取的贴片可以为超分辨率提供强有力的先验知识。此外，随着考虑来自图像的更多的贴片，先验知识的强度增加。
因此，例如，本发明的各种实施例可以有利地在数据带宽不足以提供视频(例如，连续图像序列)的应用中提供图像的超分辨率。此外，本发明的各种实施例可有利地在其中原始图像(例如，由红外成像传感器(例如，响应于热红外、近红外或其他波段中的红外辐射的红外成像传感器)、飞行时间成像传感器、毫米波成像传感器、LIDAR传感器、或其他以难以获得天生的高分辨率图像的模态和/或频谱操作的成像传感器捕获的图像)可天生地具有低分辨率、低清晰度和/或低信噪比(SNR)的应用中提供图像的超分辨率。在这方面，在一些实施方式示例中，本发明的各种实施例可以被实施为无人驾驶飞行器(UAV)、无人驾驶飞机系统(UAS)、无人机或其他移动监视平台的一部分，这些移动监视平将受益于以各种不同模态和频谱捕获的天生低分辨率图像的图像分辨率增强，但对于连续视频流具有有限的数据带宽。
转到图2，图2是根据本发明的实施例的用于增强图像分辨率的过程200的流程图。过程200可以由系统100的各种组件执行。然而，应当理解，系统100及其各种组件仅出于给出示例的目的而被识别，并且可以利用任何其他合适的系统来执行过程200的全部或部分。还应当理解，过程200的任何块、子块、步骤、子步骤或子过程可以以不同于图2所示的实施例的顺序或布置来组合和/或执行。
在步骤202，例如，在处理组件110处从成像传感器130或者经由图像接口134从外部捕获和/或存储的图像或视频接收原始图像(比如图3的原始图像305)。原始图像305是包括要被超分辨的数字图像数据的图像(例如，其分辨率、清晰度和/或SNR增加)。原始图像包括若干像素。每个像素具有像素数据，该像素数据表示沿着像素的模态或频谱(例如，颜色、亮度、红外、热等)的值。例如，原始图像305可以由CCD或CMOS传感器、IR成像传感器、PMD或其他ToF成像传感器、LIDAR成像设备、毫米波成像传感器或其他成像传感器捕获。在一个示例中，原始图像305可以是以相对低的原始分辨率(比如80×60、160×120、320×240或其他分辨率)捕获的IR图像。
在步骤204，将原始图像305的尺寸调整为更大的尺寸(例如，以具有更大的图像尺寸)以生成经调整尺寸的图像310。在一些实施例中，可以对原始图像305执行放大(例如，通过双线性插值、通过双三次插值等)、上采样或其他线性高阶或非线性内插技术，以将原始图像305的尺寸调整为比其原始图像尺寸更大的尺寸。例如，原始图像305可以具有80×60的原始图像尺寸，并且经调整尺寸的图像310可以具有160×120的更大图像尺寸。在该示例中，然后可以通过对应的像素坐标来识别经调整尺寸的图像310的每个像素，该对应的像素坐标包括x轴或宽度中的160个位置中的一个以及y轴或高度中的120个位置中的一个。注意，此时，即使经调整尺寸的图像310具有较大的图像尺寸，也可能不具有比原始图像305更大的分辨率或细节清晰度。这样，以下步骤集中于改进和恢复经调整尺寸的图像310中的高频细节。
在步骤206，可以将高频数据注入到经调整尺寸的图像310中。在一些实施例中，通过适当地修改文章中描述的技术，可以使用反投影过程来生成或计算高频数据，该文章题为“通过图像配准提高分辨率(Improving Resolution by Image Registration)”，作者是M.Irani和S.Poleg，发表于CVGIP：Graphical Models and Image Processing(1991年5月)，其全部内容通过引用并入本文中。因此，根据本发明的实施例实施的示例反投影过程利用经调整尺寸的图像310的下采样版本和原始图像305之间的差，并且将该差上采样到经调整尺寸的图像310的较大尺寸。图3示出了以这种方式生成的图像差315。可以将差315添加到经调整尺寸的图像310以注入高频数据。要注意，虽然注入高频数据增加了经调整尺寸的图像310的分辨率，但是来自经调整尺寸的图像310的噪声也在该过程期间被传播并放大。因此，滤波(比如本文所述的两阶段协同滤波)可以应用于经调整尺寸的图像310，以通过去除噪声来仅保留良好的高频数据。
在一些实施例中，以逐块为基础对经调整尺寸的图像310执行两阶段协同滤波。块是经调整尺寸的图像310的一部分，该部分包括一组相邻(连续)像素(不止一个像素)。这样，在步骤208，将经调整尺寸的图像310划分为多个参考块。块可以具有不同的形状和尺寸。例如，块可以是矩形、椭圆形或任何其他规则或不规则形状。优选地，在经调整尺寸的图像310内划分的参考块具有相同的尺寸。例如，每个参考块可以是尺寸为5×5像素的正方形。在一些实施例中，参考块是非重叠的(虽然已经设想到至少一些参考块可以彼此部分重叠)，并且它们共同地覆盖整个经调整尺寸的图像310。图4示出了图像310的许多参考块中的一个示例的参考块405。该示例中的参考块405是矩形形状，如实线边界所示。尽管图4仅示出了经调整尺寸的图像310上的一个参考块405，但是应注意，经调整尺寸的图像310可被分为具有与参考块405相同的形状和尺寸的许多参考块，包括参考块405。每个参考块包括图像数据(或像素数据)，该图像数据表示沿参考块内的像素的模态/频谱的像素值。
如所讨论的，可以逐块地对经调整尺寸的图像310执行协同滤波。因此，在步骤210，对于经调整尺寸的图像310上的每个参考块(例如，参考块405)，可以从经调整尺寸的图像310中识别并提取满足关于该参考块的互相似条件的多个匹配块。
类似于参考块，每个匹配块包括具有连续像素的经调整尺寸的图像310的一部分。优选地，每个匹配块具有与对应的参考块相同的尺寸和形状。图4示出了已在经调整尺寸的图像310上为对应的参考块405识别的若干匹配块410-430(由虚线矩形边界指示)。如图所示，至少一些匹配块可以彼此部分重叠(例如，匹配块410和415等)，并且还可以与对应的参考块(例如，匹配块415和420)部分重叠。
要注意，从经调整尺寸的图像310(包括参考块的相同图像)提取匹配块，而不是从经调整尺寸的图像310的下采样版本中提取匹配块。此外，在各种实施例中，使用大于1(K>1)的预定数量K作为针对经调整尺寸的图像310中的每个参考块的匹配块集合的尺寸。具有大于1的恒定匹配块集合尺寸的优点将在下面更详细地解释。
为了识别满足相对于相应参考块的互相似条件的匹配块集合，可以应用以下技术。设Ω是输入图像(经调整尺寸的图像)I中像素的索引。对于位于位置xr＝(rX，rY)T处的参考块P(xr)，目标是基于欧几里德距离找到(识别)类似的贴片(像素块)的集合，欧几里德距离可以使用以下式确定：
Figure BDA0001800317430000181
其中，N是贴片(块)的尺寸。
用于xr处的参考块的类似贴片的集合被给出为S(xr)＝{i∈Θ，d(P(xr)，P(xi))≤τ}。参数
Figure BDA0001800317430000182
定义块匹配的搜索空间。Θ是限制块匹配的搜索空间、影响匹配块的集合的基数并控制搜索的复杂性的因子。
搜索空间(搜索区域)参数Θ被定义为索引集合，该索引集合对应于以参考贴片(块){xr}的位置为中心的尺寸为2R+1的方形区域。目的是选择参数R，使得匹配贴片(块)集合的基数|S(xr)|＝K。如果R被设置为固定值，则我们观察到对于许多参考块，相应的匹配块S的集合可以具有非常低的基数(例如，对于那些参考块仅具有1或2个对应的匹配块)，因为例如，类似的贴片(块)位于经调整大小的图像310内的半径R之外。图4示出了位于搜索区域435外部的针对参考块405的匹配块430，
并且如果搜索区域限于搜索区域435，则匹配块430将不被包括在针对参考块405的匹配块集合中。图5A还说明了当R被设置为固定的低值时，
在经调整大小的图像310中针对参考块515(由粗实心矩形边框指示)识别的匹配块(匹配块505和510，由细虚线矩形边界指示)的数量非常小。
确保任何给定参考块|S(xr)|＝K的匹配块集合的基数的一种方法是使用较大的R值。对于足够大的值R，搜索空间跨越整个图像，并且与参考块互相似的所有贴片(块)被选择。这是全局自相似性的情况。然而，这种方法有两个缺点。首先，由于复杂度与R呈二次方增长，它显著增加了计算开销。其次，它导致包括某些贴片(匹配块)，这些贴片(匹配块)在欧几里德空间中接近参考贴片(块)、但是代表图像中的非常不同的结构。据推测，这些贴片不位于与参考贴片(块)相同的低维流形上。
图5B示出了在全局自相似性方法下在经调整尺寸的图像310中针对参考块515(由粗实心矩形边界指示)识别的若干匹配块520-545(由虚线矩形边界指示)。可以观察到，对于参考贴片(块)515，全局自相似性导致选择位于经调整尺寸的图像310的左上角的匹配贴片(块)(例如，匹配块520和545)，这些匹配贴片与参考贴片(块)515相比具有非常不同的周围结构。这些匹配贴片(块)的稀疏结构与参考贴片(块)515不一致。
为了实现基数|S(xr)|＝K(即，识别出匹配块的数量达到预定数量K，其中K是足够大且大于1的预定数字)，设想到可以采用增量搜索方法。在这种增量搜索方法下，在搜索开始时确定初始固定值R。初始固定值R定义初始局部搜索区域。返回参考图4，参考经调整尺寸的图像310，初始固定值R可以定义局部搜索区域435。在搜索区域435内执行搜索以识别满足相对于参考块450的互相似性条件的(例如，与参考块450互相似的)匹配块。在该示例中，仅在搜索区域435内识别匹配块410-425。
如果在搜索区域435内找到的匹配块的数量没有达到预定阈值(即，|S(xr)|＜K))，则通过增加值R来扩展搜索区域。在一些实施例中，每次需要扩展搜索区域时，将值R增加固定值ΔR。例如，值ΔR可以被设置为10个像素。例如，搜索区域435可以被扩展为变为扩展搜索区域440，并且在扩展搜索区域440中执行另一搜索以识别针对参考块405的匹配块。在该示例中，从扩展搜索区域440中识别另外的匹配块430。
在一些实施例中，可以限制搜索区域被扩展的次数(例如，限制为最多5次迭代等)。在其他实施例中，可以扩展搜索区域，直到匹配块的数量达到预定阈值K，或者搜索区域变为整个经调整尺寸的图像。随着搜索空间的自适应增加，增量策略在计算上是高效的。此外，它强制执行局部性约束，就像在局部搜索方法下一样。图5C示出了在增量搜索方法下在经调整尺寸的图像310中为参考块515(由粗实心矩形边界指示)识别的匹配块550-565(由虚线矩形边界指示)。
下面的表1示出了当分别采用全局搜索、局部搜索和增量搜索来识别匹配块时针对一组图像(Set5)记录的各种性能(以SNR测量)。如图所示，通过全局搜索，性能显著下降，增量搜索方法在三种方法中产生最佳性能。
搜索策略 全局 局部 增量
Set5(db) 30.78 31.18 31.26
表1：不同搜索策略对超分辨率性能的影响。
一旦为识别出针对参考块的匹配块集合，匹配块的集合的图像值(例如，像素值)被提取并用于调整(在步骤212)先前注入到参考块和相应的匹配块中的高频数据。匹配块集合和对应的参考块之间的相关性被识别，以便确定被注入到参考块和相应的匹配块中的高频数据的哪个部分是有用的，以及高频数据的哪个部分是噪声。参考块和相应的匹配块的高频数据被共同(例如，协同地)调整以去除噪声部分，同时保留有用部分。
在各种实施例的一个方面中，可以基于在上文中提及的文章“通过稀疏3D变换-域协同滤波进行图像去噪”中公开的并且根据本发明的实施例修改的技术将协同滤波应用于参考块及其对应的多个匹配块。协同滤波是一种通过利用互相似贴片(匹配块集合和相应的参考块)之间的相关性来同时处理互相似贴片组的技术。首先，匹配块和对应的参考块被布置在三维(3D)像素阵列中(例如，通过使匹配块和对应的参考块在彼此的顶部上对齐或堆叠)。对每个参考块的3D像素堆叠执行滤波(在步骤212)，从而共同并协同地对每个参考块以及其对应的匹配块进行滤波。
在一些实施例中，可以通过变换域收缩来执行这种共同滤波。因此，滤波(在步骤212)可以包括对每个3D堆叠执行3D变换以获得对应的3D变换域表示(其也可以被称为3D频谱)。例如，通过使用各种类型的变换(例如，离散余弦变换(DCT)、离散正弦变换(DST)、离散小波变换(DWT)、离散傅里叶变换(DFT)、哈尔变换、恒等变换或其任何组合)，3D变换可以通过2D变换然后是1D变换或者1D变换然后是2D变换的可分离合成来执行。然后，滤波(在步骤212)涉及修改(例如，收缩)3D频谱的系数。例如，系数的收缩可以包括阈值处理(例如，硬阈值处理、软阈值处理、或其他)、缩放、维纳滤波(Wiener filtering)或适合于在变换域中使信号正则化的其他操作。还可以设想，可以代替步骤212或者除了步骤212的变换之外执行其他形式的正则化，比如加权平均或扩散。
在3D变换域中执行系数的收缩之后，执行3D变换的逆操作以获得经滤波的3D堆叠，每个堆叠包括经滤波的参考块和经滤波的匹配块。这些经滤波的参考块和经滤波的匹配块均表示针对对应块位置的局部高分辨率估计，并且在步骤212处被聚合以生成全局高分辨率估计。如下所述，根据一些实施例，生成的全局高分辨率估计可以在下一次迭代被执行的情况下用作步骤206至220的下一次迭代的经调整尺寸的图像310，在不再执行迭代的情况下用作过程200的最终结果，或者在不止一个阶段的协同滤波被执行的情况下用作第一阶段的估计。
在一些实施例中，可以应用协同滤波的附加阶段以进一步提高所得到的高分辨率图像的质量。返回参考图3，在注入高频数据之后，经调整尺寸的图像310经历第一协同滤波阶段，其中针对每个参考块识别匹配块的集合，并且如上所述，在将变换域收缩应用于3D像素阵列的堆叠并聚合回来之后获得第一阶段估计。在完成第一协同滤波之后，可以使用与第一阶段不同的尺寸的参考块对第一阶段估计执行第二阶段的协同滤波。在一些实施例中，在第二协同滤波阶段中使用的参考块尺寸小于在第一协同滤波中使用的块尺寸。在这方面，作为第二协同滤波的一部分，在图像增强过程200的步骤214，以类似于步骤208的方式将第一阶段估计再次分为多个参考块。与步骤208的不同之处在于在步骤214划分的参考块具有与在步骤208划分的参考块不同(例如，小于)的尺寸。如图3所示，第二协同步骤中的示例参考块325(由实心矩形边框表示)小于示例的参考块320。同样，对于每个参考块，在步骤216以与上面参考步骤210所述相同的方式识别并提取满足相对于参考块的互相似条件的匹配块集合。由于参考块较小，因此匹配块尺寸也成比例地变小，以匹配参考块的尺寸。
图6更详细地示出了根据本发明的实施例的多阶段(例如，两阶段)协同滤波过程。如图6所示，从经调整尺寸的图像310为每个参考块生成3D像素阵列的堆叠605。在该示例中，在第一协同滤波阶段期间，将二维(2D)离散余弦变换(DCT)601连同一维(1D)哈尔变换602应用于堆叠605。2D DCT 601变换可以应用于沿着堆叠605的三个维度中的两个维度(例如，长度维度和高度维度)的像素值，而1D哈尔变换602应用于沿着堆叠605的第三维度(例如，高度维度)的像素值。对变换的3D堆叠(3D频谱)执行收缩603，并且应用变换601和602的逆变换604以获得经滤波的3D堆叠，其被聚合606以生成第一阶段估计607。
在第二协同滤波阶段中，从第一阶段估计607中提取尺寸小于第一阶段的每个参考块和对应的匹配块，以形成3D像素阵列的堆叠610。如图所示，由于块的尺寸较小，3D堆叠610可以具有不同的长度和宽度，但是可以具有与3D堆叠605相同的高度。对第一阶段估计607执行协同滤波以调整高频数据(在步骤218)。已经设想，与步骤212中使用的变换相比，可以在步骤218中使用不同的变换。在图6所示的示例中，2D恒等变换611连同1D哈尔变换612被应用于堆叠610。2D恒等变换611可以应用于沿着堆叠610的三个维度中的两个维度(例如，长度维度和高度维度)的像素值，而1D哈尔变换612应用于沿着堆叠610的第三维度(例如，高度维度)的像素值。对经变换的3D堆叠(3D频谱)执行收缩613，并且应用变换601和602的逆变换614以获得经滤波的3D堆叠，其被聚合616以生成高分辨率估计620。
高分辨率估计620可以用作最终的高分辨率产品(例如，图3中的结果图像330，以用于经由显示组件150进行显示或用于由系统100或系统100外部的其他计算系统进行其他分析)，或用作当前高分辨率估计(例如，经调整尺寸的图像310)以用于高频数据的注入和调整的接连迭代。在这方面，根据一个或多个实施例，可以迭代地执行高频数据的注入和两阶段协同滤波。
如图3所示，可以对用作经调整尺寸的图像310的高分辨率估计620再次执行注入附加高频数据和协同滤波的步骤。因此，在步骤220，过程220确定是否需要另外的迭代。如果确定不再需要迭代，则过程200结束并输出高分辨率估计620作为结果图像330。另一方面，如果确定需要另外的迭代，则过程200返回到步骤206并重复步骤206到220。例如，将新的高频数据注入到经调整尺寸的图像310，该图像通过先前的(一次或多次)高频注入和两阶段协同滤波的迭代修改。如上所述，可以基于经调整尺寸的图像和原始图像之间的像素数据的差来生成高频数据。然而，在一些实施例中，在初始迭代之后，可以基于经调整尺寸的图像的当前版本与经调整尺寸的图像的先前版本之间的像素数据的差来生成高频数据(先前版本是在经调整尺寸的图像经过先前的协同滤波之前的经调整尺寸的图像)。在注入新的高频数据之后，经调整尺寸的图像将经历与上面讨论的相同的两阶段协同滤波，并且过程200将在步骤220再次确定是否需要另外的迭代。
根据一些实施例，上面针对步骤210讨论的对匹配块的识别可以最初相对于经调整尺寸的图像310或原始图像305执行一次，但是不在过程200的步骤206到220的后续迭代中重复。因此，在这样的实施例中，可以显著减少用于识别针对第一尺寸的每个参考块的匹配块的计算复杂度。根据一些实施例，上面针对步骤216讨论的对匹配块的识别可以仅在过程200的步骤206到220的每N次迭代(例如，通过结合本发明执行的实验确定的每5次迭代)中执行。因此，在这样的实施例中，针对第二尺寸的每个参考块的对匹配块的识别可以适应在每N次迭代之后显示的高频细节，而不会显著增加总体计算复杂度。在一些实施例中，用于执行高频数据注入和两阶段协同滤波的固定数量的迭代可以由用户通过控制组件140或由处理组件110基于对原始图像305的分析来预先确定。在需要某个结果的其他实施例中，处理组件110可以在每个周期之后分析经调整尺寸的图像310，并确定是否需要进行高频注入和两阶段协同滤波的额外迭代。
实验
如上所述，根据本发明的实施例有利地实现的针对匹配块的迭代协同滤波和增量搜索产生比其他常规方法更高质量的分辨率增强图像。已经进行了实验以支持这一发现。具体地，根据本发明的各种实施例的过程200(在本文中也被称为“ICF方法”)针对三种不同图像集和三种放大因子针对若干常规方法进行测试。首先，将解释数据集(图像集)、比较方法和算法实现的细节。接下来，详细研究了ICF的几个参数，并分析了它们对性能的影响。然后，将ICF方法的性能与替代方法进行比较。最后，讨论了通过各种方法获得的结果的视觉质量。
实验设置：使用两个公开可用的数据集测试ICF方法，其将被称为Set5(可得自M.Bevilacqua、A.Roumy、C.Guillemot和M.L.Alberi-Morel.基于非负邻域嵌入的低复杂度单图像超分辨率(Low-complexiy single-image super-resolution based onnonnegative neighbor embedding).2012)和Set14(可得自R.Zeyde、M.Elad和M.Protter(On single image scale-up using sparse-representations.In Curves andSurfaces,pages 711–730.Springer,2012))。Set5和Set14分别包含5和14个图像。这两个数据集已被研究人员广泛用于测试超分辨率算法，并包含有限数量的图像，通常包含有限数量的对象和人。为了进行更全面的分析，也在包含100个图像的Urban 100数据集(可得自J.-B.Huang、A.Singh和N.Ahuja(Single image super-resolution from transformedself-exemplars.In IEEE Conference on Computer Vision and Pattern Recognition,2015))上测试了ICF算法。Urban 100数据集包含建筑物和现实世界结构的图像。
比较方法：Timofte等人公开提供的框架(R.Timofte,V.De Smet,和L.Van Gool.A+:Adjusted anchored neighborhood regression for fast super-resolution.InComputer Vision–ACCV 2014,pages 111–126.Springer,2014.)用于将ICF方法与几种替代的基于字典的算法和基于自相似性的算法进行比较。
实施细节：块尺寸是ICF方法中涉及的重要因子。在进行的实验中，块尺寸是基于协同滤波的第一阶段的上采样因子N1＝max(8，4×(s-1))设置的，其中s是上采样因子。对于协同滤波的第二阶段，块尺寸固定为N1＝0.5*N1。对于两个阶段，R的值被设置为12。每次迭代时，协同滤波的阈值参数从24×s二次减小到s。块匹配的阈值τ的值保持相同。观察到，性能对τ的值的变化是稳定的。基于实验来改变并确定反投影的最大迭代次数和堆叠尺寸。一旦固定，这些参数对于所有实验和所有尺度因子保持恒定。
ICF方法仅应用于亮度分量，并且双三次插值用于其他分量。为了与其他方法进行公平比较，通过ICF方法获得的高分辨率图像的边界被裁剪。
迭代次数的影响：研究了迭代次数(高频数据注入和两阶段协同滤波)对ICF方法性能的影响。在该实验中，堆叠尺寸被固定为32。图7示出了用于四次上采样因子的Set5图像上的ICF方法的平均峰值信噪比(PSNR)。此外，绘制了几种其他替代分辨率增强方法(锚定邻域(ANR)、使用卷积神经网络的超分辨率(SRCNN)、朴素贝叶斯超分辨率森林(NBSRF)、ARFL+和A+)的平均PSNR。可以观察到，仅通过20次迭代，所提出的ICF实现了最先进的性能。随着迭代次数的进一步增加，ICF明显优于所有其他方法。性能在100次迭代附近开始饱和，并且在120次迭代之后没有观察到更多的改进。
接下来，图8示出了随迭代次数变化的计算时间。其他几种替代的图像增强方法(A+、SRCNN、NE-NNLS和Self-Exemplar)的计算时间也示出在图中以供比较。正如预期的那样，ICF方法的计算时间随着迭代而线性增加。可以观察到，所提出的ICF方法比某些情况下的基于字典的方法相比(例如当与A+方法相比时)在计算上更昂贵，但是比基于自相似性的方法(比如Self-Exemplar方法)快得多。SRCNN的计算时间与具有40次迭代的ICF相同，然而，随着这些迭代进行，ICF明显优于SRCNN。迭代次数可以在算法的性能和处理时间之间进行权衡。所有实验都在具有Core2Duo处理器和4Gb RAM的Windows 7机器上进行。
集合基数(堆叠尺寸)：研究了集合基数K(每个参考块所需的匹配块数)对算法性能的影响。由于沿堆叠中的第三维度使用哈尔变换，因此堆叠的值可以以2次幂增加。下面的表2示出了针对Set5和Set14的具有不同堆叠尺寸的ICF方法的性能。可以观察到，性能随着堆叠尺寸的增加而提高。随着尺寸从2增加到32，性能有了显著的提升。对于Set5，性能提高了超过2分贝(db)，而对于Set14，它增加了超过1.5db。它支持这样的想法，即基于一组互相似的贴片而识别的匹配块比单个贴片强得多。此外，可以观察到，随着堆叠尺寸从32变为64，针对Set5的性能略有下降。这可能是因为在高纹理区域中使用64堆叠尺寸的参考贴片选择一些不相似的贴片。为了不进一步增加复杂性，在我们的所有实验中，堆叠尺寸被固定为32。
堆叠尺寸 2 4 8 16 32 64
Set5(db) 28.95 30.20 30.81 31.09 31.26 31.19
Set14(db) 26.38 27.16 27.52 27.73 27.89 27.93
表2：堆叠尺寸对性能的影响。
与替代方法的比较：在三种不同的数据集上，将所提出的ICF方法的性能与用于单图像超分辨率的六种替代方法进行比较。三个上采样因子s＝2、3、4用于Set5和Set14，而两个上采样因子s＝2、4用于Urban 100数据集。PSNR用作评估指标。将所提出的ICF方法的结果与Bicubic、ANR、SRCNN、A+、ARFL+、NBSRF和Self-Exemplar(SrEx)进行比较。表3示出了Set5、Set14和Urban 100数据集的定量结果。可以观察到，针对所有测试的上采样因子，所提出的ICF方法优于所有其他方法。除了SrEx方法之外，用于比较的所有其他方法都是基于字典的。所提出的ICF方法比基于自相似性的SrEx在Set5上增加约0.7-1db，并且在Set 14上增加0.5-0.7db，这意味着对互相似的贴片的协同处理提供了比来自输入图像的单个最相似的贴片更强的先验知识。对于上采样因子2，所提出的ICF方法在Urban 100数据集上优于SrEx超过1db。所提出的ICF方法在Urban 100数据集中的优越性能意味着它特别适用于具有大量边缘的图像。
Figure BDA0001800317430000271
表3：在Set5、Set14和Urban上的性能比较
所提出的ICF方法也优于基于字典的方法。对于上采样因子4，ICF比Set5上的第二最佳结果增加了0.8db以上。与A+相比，ICF增加了近1db。在数据集Set14上，与第二最佳结果相比，ICF方法多出0.5db。在Urban 100数据集上，所提出的ICF方法比基于字典的方法获得了大幅提升。与基于字典的方法相比，优越的性能表明，基于自相似图像的先验知识虽然数量较少，但却非常强大，并且可以胜过对数百万个贴片进行学习的字典。
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本发明提供的各种实施例。同样在适用的情况下，在不脱离本发明的精神的情况下，本文阐述的各种硬件组件和/或软件组件可以组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本发明的精神的情况下，可以将这里阐述的各种硬件组件和/或软件组件分成包括软件、硬件或两者的子组件。另外，在适用的情况下，设想到软件组件可以被实现为硬件组件，反之亦然。
根据本发明的软件(比如，非暂态指令、程序代码和/或数据)可以存储在一个或多个非暂态机器可读介质上。还设想到本文中识别的软件可以使用联网和/或以其他方式实现的一个或多个通用或专用计算机和/或计算机系统来实施。在适用的情况下，本文描述的各种步骤的顺序可以被改变、组合成复合步骤和/或分成子步骤以提供本文描述的特征。
上述实施例说明但不限制本发明。还应该理解，根据本发明的原理可以进行许多修改和变化。因此，本发明的范围仅由以下权利要求限定。

Claims (37)

1.一种增强原始图像的分辨率的方法，所述方法包括：
将所述原始图像的尺寸调整为更大的尺寸，将经调整尺寸的图像划分为第一多个参考块；
通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：
将高频数据注入到经调整尺寸的图像中来获得注入了高频数据的经调整尺寸的图像；
针对所述第一多个参考块中的每个参考块进行以下操作：
从所述注入了高频数据的经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块，其中所述第一多个匹配块中的每一者都来自所述注入了高频数据的经调整尺寸的图像内部；并且
基于该参考块与所述第一多个匹配块之间的相关性来调整该参考块的高频数据。
2.根据权利要求1所述的方法，还包括：针对所述第一多个参考块中的每个参考块，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整，使得在所述组中一致的高频数据的分量得到保留，同时所述组中不一致的高频数据的分量被去除。
3.根据权利要求2所述的方法，其中，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整包括：
使该参考块和所述第一多个匹配块在顶部彼此对齐以生成三维3D像素阵列；以及
对所述3D像素阵列执行3D变换以生成相应的3D频谱。
4.根据权利要求3所述的方法，其中，所述3D变换包括以下各项中的至少一个：离散余弦变换、哈尔变换和恒等变换。
5.根据权利要求3所述的方法，其中，所述3D变换包括二维2D图像变换和一维1D图像变换。
6.根据权利要求5所述的方法，其中，对所述3D像素阵列执行3D变换包括：将所述2D图像变换应用于沿着所述3D像素阵列的第一维度和第二维度的像素值；并且将所述1D图像变换应用于沿着所述3D像素阵列的第三维度的像素值。
7.根据权利要求3所述的方法，其中，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整还包括至少部分地基于对应的系数标准偏差来修改所述3D频谱中的每一个的至少一些频谱系数。
8.根据权利要求7所述的方法，其中，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整还包括：向所述3D频谱应用逆变换，以生成针对经调整尺寸的图像的高分辨率估计。
9.根据权利要求1所述的方法，其中，所述第一多个参考块中的每个参考块是第一尺寸，其中所述方法还包括：
将经调整尺寸的图像划分为第二多个参考块，其中，所述第二多个参考块中的每个参考块具有小于所述第一尺寸的第二尺寸；
在增强经调整尺寸的图像的分辨率的至少一次迭代中，针对所述第二多个参考块中的每个参考块进行以下操作：
从所述注入了高频数据的经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第二多个匹配块；以及
基于该参考块与所述第二多个匹配块之间的相关性来调整该参考块的高频数据。
10.根据权利要求9所述的方法，还包括在执行增强经调整尺寸的图像的分辨率的第n次迭代之后修改所述第二尺寸，其中n是整实数。
11.根据权利要求1所述的方法，还包括识别针对该参考块的所述第一多个匹配块。
12.根据权利要求11所述的方法，其中，识别所述第一多个匹配块包括：
定义局部搜索区域，该局部搜索区域是经调整尺寸的图像的一部分并且至少部分地包围该参考块；以及
在所述局部搜索区域内识别满足相对于该参考块的互相似条件的多个匹配块。
13.根据权利要求12所述的方法，其中，识别所述第一多个匹配块还包括：
确定所识别的匹配块的数量小于预定阈值；
扩展所述局部搜索区域；以及
在扩展的局部搜索区域内识别满足相对于该参考块的互相似条件的附加匹配块。
14.根据权利要求11所述的方法，其中，在增强经调整尺寸的图像的分辨率之前，执行识别所述第一多个匹配块的步骤。
15.根据权利要求1所述的方法，还包括基于经调整尺寸的图像的像素数据来生成所述高频数据。
16.根据权利要求15所述的方法，其中，生成所述高频数据还基于经调整尺寸的图像与所述原始图像之间的差。
17.根据权利要求1所述的方法，其中，所述多个参考块是经调整尺寸的图像的不同的非重叠像素块，其中每个参考块包括多个连续像素。
18.根据权利要求1所述的方法，其中，所述多个匹配块中的至少两个匹配块是部分重叠的。
19.一种用于增强原始图像的分辨率的系统，所述系统包括：
图像接口，该图像接口被配置成接收所述原始图像；以及
处理器，该处理器与所述图像接口通信耦合并且被配置成进行以下操作：
将所述原始图像的尺寸调整为更大的尺寸，经调整尺寸的图像被划分为第一多个参考块；
通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率：
将高频数据注入到经调整尺寸的图像中来获得注入了高频数据的经调整尺寸的图像；
针对所述第一多个参考块中的每个参考块进行以下操作：
从所述注入了高频数据的经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块，其中所述第一多个匹配块中的每一者都来自所述注入了高频数据的经调整尺寸的图像内部；以及
基于该参考块与所述第一多个匹配块之间的相关性来调整该参考块的高频数据。
20.根据权利要求19所述的系统，其中，所述处理器还被配置成：针对所述第一多个参考块中的每个参考块，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整，使得在所述组中一致的高频数据的分量得到保留，同时所述组中不一致的高频数据的分量被去除。
21.根据权利要求20所述的系统，其中，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整包括：
使该参考块和所述第一多个匹配块在顶部彼此对齐以生成三维3D像素阵列；以及
对所述3D像素阵列执行3D变换以生成相应的3D频谱。
22.根据权利要求21所述的系统，其中，所述3D变换包括以下各项中的至少一个：离散余弦变换、哈尔变换和恒等变换。
23.根据权利要求21所述的系统，其中，所述3D变换包括二维2D图像变换和一维1D图像变换。
24.根据权利要求23所述的系统，其中，对所述3D像素阵列执行所述3D变换包括：将所述2D图像变换应用于沿着所述3D像素阵列的第一维度和第二维度的像素值；并且将所述1D图像变换应用于沿着所述3D像素阵列的第三维度的像素值。
25.根据权利要求21所述的系统 ，其中，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整还包括：至少部分地基于对应的系数标准偏差来修改所述3D频谱中的每一个的至少一些频谱系数。
26.根据权利要求25所述的系统 ，其中，将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整还包括：向所述3D频谱应用逆变换，以生成针对经调整尺寸的图像的高分辨率估计。
27.根据权利要求19所述的系统，其中，所述第一多个参考块中的每个参考块是第一尺寸，其中所述处理器还被配置成进行以下操作：
将经调整尺寸的图像划分为第二多个参考块，其中，所述第二多个参考块中的每个参考块具有小于所述第一尺寸的第二尺寸；
在增强经调整尺寸的图像的分辨率的至少一次迭代中，针对所述第二多个参考块中的每个参考块执行以下步骤：
从所述注入了高频数据的经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第二多个匹配块；以及
基于该参考块与所述第二多个匹配块之间的相关性来调整该参考块的高频数据。
28.根据权利要求27所述的系统，其中，所述处理器还被配置成在执行增强经调整尺寸的图像的分辨率的第n次迭代之后修改所述第二尺寸，其中n是整实数。
29.根据权利要求19所述的系统，其中，所述处理器还被配置成识别针对该参考块的所述第一多个匹配块。
30.根据权利要求29所述的系统，其中，识别所述第一多个匹配块包括：
定义局部搜索区域，该局部搜索区域是经调整尺寸的图像的一部分并且至少部分地包围该参考块；并且
在所述局部搜索区域内识别满足相对于该参考块的互相似条件的多个匹配块。
31.根据权利要求30所述的系统，其中，识别所述第一多个匹配块还包括：
确定所识别的匹配块的数量小于预定阈值；
扩展所述局部搜索区域；以及
在扩展的局部搜索区域内识别满足相对于该参考块的互相似条件的附加匹配块。
32.根据权利要求29所述的系统，其中，所述处理器还被配置成在增强经调整尺寸的图像的分辨率之前识别所述第一多个匹配块。
33.根据权利要求19所述的系统，还包括图像传感器，该图像传感器与所述图像接口通信地耦合并且被配置成捕获场景的图像数据。
34.根据权利要求19所述的系统，其中，所述处理器还被配置成基于经调整尺寸的图像的像素数据生成所述高频数据。
35.根据权利要求34所述的系统，其中，所述处理器还被配置成基于经调整尺寸的图像与所述原始图像之间的差来生成所述高频数据。
36.根据权利要求19所述的系统，其中，所述多个参考块是经调整尺寸的图像的不同的非重叠像素块，其中每个参考块包括多个连续像素。
37.根据权利要求19所述的系统，其中，所述多个匹配块中的至少两个匹配块是部分重叠的。
CN201780017620.8A 2016-01-16 2017-01-13 使用迭代协同滤波的图像超分辨率的系统和方法 Active CN108780570B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662279743P 2016-01-16 2016-01-16
US62/279,743 2016-01-16
PCT/US2017/013563 WO2017124036A1 (en) 2016-01-16 2017-01-13 Systems and methods for image super-resolution using iterative collaborative filtering

Publications (2)

Publication Number Publication Date
CN108780570A CN108780570A (zh) 2018-11-09
CN108780570B true CN108780570B (zh) 2022-12-06

Family

ID=57944532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017620.8A Active CN108780570B (zh) 2016-01-16 2017-01-13 使用迭代协同滤波的图像超分辨率的系统和方法

Country Status (3)

Country Link
US (1) US11403733B2 (zh)
CN (1) CN108780570B (zh)
WO (1) WO2017124036A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152071A1 (en) 2017-02-15 2018-08-23 Flir Systems, Inc. Systems and methods for efficient enhanced image filtering by collaborative sharpening in similarity domain
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10579908B2 (en) * 2017-12-15 2020-03-03 Google Llc Machine-learning based technique for fast image enhancement
WO2019133922A1 (en) * 2017-12-29 2019-07-04 Flir Systems, Inc. Point cloud denoising systems and methods
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
CN109697695B (zh) * 2018-12-07 2023-03-10 三峡大学 可见光图像引导的超低分辨率热红外图像插值算法
US11931207B2 (en) 2018-12-11 2024-03-19 Eko.Ai Pte. Ltd. Artificial intelligence (AI) recognition of echocardiogram images to enhance a mobile ultrasound device
US11446009B2 (en) 2018-12-11 2022-09-20 Eko.Ai Pte. Ltd. Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images
US11301996B2 (en) 2018-12-11 2022-04-12 Eko.Ai Pte. Ltd. Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images
CN109816612A (zh) * 2019-02-18 2019-05-28 京东方科技集团股份有限公司 图像增强方法和装置、计算机可读存储介质
US11656337B2 (en) * 2019-07-11 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Photonic apparatus integrating optical sensing and optical processing components
WO2021041990A1 (en) 2019-08-28 2021-03-04 Qwake Technologies, Llc Wearable assisted perception module for navigation and communication in hazardous environments
US11102487B2 (en) * 2019-08-30 2021-08-24 Adobe Inc. Image resampling for DCT based image encoding formats using memory efficient techniques
US11080889B2 (en) * 2019-09-24 2021-08-03 Shanghai United Imaging Intelligence Co., Ltd. Methods and systems for providing guidance for adjusting an object based on similarity
CN112114045B (zh) * 2020-08-03 2023-09-19 中国科学院大学 一种面向超声显微镜的分辨率增强方法
CN114372984A (zh) * 2022-03-22 2022-04-19 南京熊猫电子制造有限公司 一种超分辨率元器件角度识别装置及方法
CN116258628A (zh) * 2023-01-03 2023-06-13 西安邮电大学 一种基于空间变换网络的参考图像超分辨率方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494784A (zh) * 2007-10-19 2009-07-29 捷讯研究有限公司 在离散余弦变换域中以任意比率对图像大小进行调整
CN101855912A (zh) * 2007-11-14 2010-10-06 微软公司 用于图像变换过程的自适应滤波
JP2015032114A (ja) * 2013-08-01 2015-02-16 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN104160421B (zh) * 2012-03-05 2017-09-22 汤姆逊许可公司 用于执行对输入图像的分层超分辨率的方法和装置
US9258518B2 (en) * 2012-03-05 2016-02-09 Thomson Licensing Method and apparatus for performing super-resolution
US9760977B2 (en) * 2013-03-27 2017-09-12 Thomson Licensing Method and apparatus for generating a super-resolved image from a single image
US9569684B2 (en) * 2013-09-09 2017-02-14 Adobe Systems Incorporated Image enhancement using self-examples and external examples
US9230161B2 (en) * 2013-12-06 2016-01-05 Xerox Corporation Multiple layer block matching method and system for image denoising
US9123103B2 (en) * 2013-12-26 2015-09-01 Mediatek Inc. Method and apparatus for image denoising with three-dimensional block-matching
EP2908285A1 (en) * 2014-02-13 2015-08-19 Thomson Licensing Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
US20170206633A1 (en) * 2014-07-10 2017-07-20 Thomson Licensing Method and apparatus for up-scaling an image
WO2016074725A1 (en) * 2014-11-13 2016-05-19 Huawei Technologies Co., Ltd. Non local image denoising
WO2016186927A1 (en) * 2015-05-15 2016-11-24 Tmm, Inc. Systems and methods for performing self-similarity upsampling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494784A (zh) * 2007-10-19 2009-07-29 捷讯研究有限公司 在离散余弦变换域中以任意比率对图像大小进行调整
CN101855912A (zh) * 2007-11-14 2010-10-06 微软公司 用于图像变换过程的自适应滤波
JP2015032114A (ja) * 2013-08-01 2015-02-16 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム

Also Published As

Publication number Publication date
WO2017124036A1 (en) 2017-07-20
US20180330474A1 (en) 2018-11-15
CN108780570A (zh) 2018-11-09
US11403733B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
CN108780570B (zh) 使用迭代协同滤波的图像超分辨率的系统和方法
US10803553B2 (en) Systems and methods for image resolution enhancement
US10909660B2 (en) Systems and methods for efficient enhanced image filtering by collaborative sharpening in similarity domain
Li et al. Sparse-based reconstruction of missing information in remote sensing images from spectral/temporal complementary information
US8538200B2 (en) Systems and methods for resolution-invariant image representation
US9600860B2 (en) Method and device for performing super-resolution on an input image
Singh et al. Super-resolution using sub-band self-similarity
Zemliachenko et al. Lossy compression of hyperspectral images based on noise parameters estimation and variance stabilizing transform
CN109859110B (zh) 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法
Kato et al. Multi-frame image super resolution based on sparse coding
CN112424821B (zh) 基于由旋转成像器捕获的图像的全景图像构建
Hua et al. Context-aware joint dictionary learning for color image demosaicking
Deshpande et al. SURVEY OF SUPER RESOLUTION TECHNIQUES.
Moustafa et al. Rapid real-time generation of super-resolution hyperspectral images through compressive sensing and GPU
CN116503361A (zh) 一种联合低秩稀疏感知的高光谱解混方法
Ren et al. Super-resolution algorithm based on sparse representation and wavelet preprocessing for remote sensing imagery
Aydin et al. Volumetric super-resolution of multispectral data
Wu et al. Wavelet domain multidictionary learning for single image super-resolution
Sun et al. Partially supervised anchored neighborhood regression for image super-resolution through FoE features
Rasheed et al. Enhancing Khalifa Satellite Imagery Resolution with AI-Powered Super Resolution Generative Adversarial Networks (SRGAN)
Li et al. Edge-guided multispectral image fusion algorithm
Michael et al. Example based demosaicing
Vakilian et al. An object-based fuzzy prior knowledge sparse coding algorithm for image fusion
Tu et al. Super-resolution based on clustered examples
Liu et al. Single image super-resolution reconstruction based on multi-directionality of the edge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221116

Address after: California, USA

Applicant after: Telidan Ferrier Co.,Ltd.

Address before: Ore

Applicant before: FLIR SYSTEMS, Inc.

Effective date of registration: 20221116

Address after: Ore

Applicant after: FLIR SYSTEMS, Inc.

Address before: Ore

Applicant before: FLIR SYSTEMS, Inc.

Applicant before: NOISELESS IMAGING OY Ltd.

GR01 Patent grant
GR01 Patent grant