CN106170052A - 双传感器超光谱运动成像系统 - Google Patents

双传感器超光谱运动成像系统 Download PDF

Info

Publication number
CN106170052A
CN106170052A CN201510320404.3A CN201510320404A CN106170052A CN 106170052 A CN106170052 A CN 106170052A CN 201510320404 A CN201510320404 A CN 201510320404A CN 106170052 A CN106170052 A CN 106170052A
Authority
CN
China
Prior art keywords
frame
video
full
segment
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510320404.3A
Other languages
English (en)
Other versions
CN106170052B (zh
Inventor
熊志伟
王立志
W·曾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to US15/575,756 priority Critical patent/US10497095B2/en
Priority to PCT/US2016/032940 priority patent/WO2016191157A1/en
Publication of CN106170052A publication Critical patent/CN106170052A/zh
Application granted granted Critical
Publication of CN106170052B publication Critical patent/CN106170052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本公开涉及双传感器超光谱运动成像系统。在成像系统中实现高速超光谱(HSHS)视频重构。确定超光谱快照。确定与超光谱快照的帧时间相对应的全色视频，该全色视频包括多个全色帧。通过至少部分地基于全色视频来构建图块字典并且至少部分地基于该图块字典、全色视频和超光谱快照来生成HSHS视频中的至少一帧，生成HSHS视频。一种计算设备可包括被配置成确定图块字典的字典组件以及被配置成至少部分地基于图块字典、全色视频和超光谱快照来生成至少一个HSHS帧的重构组件。

Description

双传感器超光谱运动成像系统
技术领域
本公开涉及成像系统。
背景技术
常规的数字图像和视频是使用单通道(例如，灰度)传感器或使用三通道(例如，红、绿、蓝)传感器来捕捉的。“超光谱”(或“多光谱”)数字图像和视频使用光谱仪或其他设备来捕捉，这些光谱仪或其他设备提供超过三个通道(每一通道对应于相应的波长范围(“通带”))的信息或者在诸如可见光谱(例如，400-700nm)之类的宽光谱通带上提供信息。超光谱图像不限于可见光谱，而是还可包括例如红外线(>700nm)或紫外线(<400nm)范围内的通带。
在一些现有超光谱成像系统中，使用光谱仪来例如以光栅模式连续地测量与每一个成像像素相对应的光的光谱。在一些现有超光谱成像系统中，采取对场景的连续曝光，每一通带一次曝光。
发明内容
本文描述了高速超光谱(HSHS)视频。处理全色视频和超光谱快照以生成HSHS视频帧。例如，HSHS视频可包括处于比超光谱快照更高的帧率的帧。在一些示例中，字典组件至少部分地基于全色视频来构建图块(patch)字典。重构组件至少部分地基于图块字典、全色视频和超光谱快照来确定HSHS帧。
附图说明
在各附图中，使用相同的标号来指示相同的特征和组件。
图1是在其中实现高速超光谱视频成像的示例环境的框图。
图2是示出高速超光谱成像的示例数据流的框图。
图3是用于生成高速超光谱(HSHS)视频的示例方法的流程图。
图4是用于构建图块字典的示例方法的流程图。
图5是实现高速超光谱视频成像的示例计算设备的所选组件的框图。
图6是示例成像系统的框图。
具体实施方式
以下讨论涉及生成高速超光谱(HSHS)视频数据。在所述示例实施例中，通过将超光谱信息与单带(例如，宽带，即此处的“全色”)信息相组合来提供HSHS视频，而不是只根据超光谱数据捕捉来组装HSHS视频。在一些示例中，全色视频帧具有比超光谱成像器或其他捕捉设备更短的帧时间。各方面提供了比现有方案更高的光利用效率。各方面基于全色信息来训练图块字典，并使用该字典来利用压缩传感技术高效地构造HSHS视频。
图1示出了其中处理HSHS视频的示例环境100。在所示示例中，环境100包括可包括或者通信地耦合到显示设备104的计算设备102。计算设备102表示可接收和处理视频内容的任何类型的设备。作为示例而非限制，计算设备102可被实现为启用因特网的电视机、电视机机顶盒、游戏控制台、台式计算机、膝上型计算机、平板计算机或智能电话。
在所示示例中，计算设备102包括或通信地连接到被描绘为相机的全色成像器106。如此处所使用的术语“全色”指的是对所选范围内的波长敏感的成像器或传感器。在一些示例中，该范围涵盖一个或多个光谱通带，如下所述。全色成像器106可包括被配置成捕捉或以其他方式提供全色视频110或可被处理以提供全色视频110的数据的一个或多个全色传感器108或其他系统。在所示示例中，全色成像器106提供场景112的全色视频110。在该示例中，场景112包括正在跨栏的一个人。该示例场景112是出于说明的目的，而不是限制。
示例全色传感器108可包括智能电话前向和后向相机、光传感器(例如，CdS光敏电阻器或光敏晶体管)、照片成像器(例如，电耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器等)、视频成像器(例如，CCD或CMOS)、指纹读取器、视网膜扫描仪、虹膜扫描仪、计算机射线照相扫描仪，等等。全色传感器108可包括例如不具有贝尔或其他彩色滤光器阵列或具有对于传感器的每一个像素具有基本上相同的光谱透射率的彩色滤光器阵列的CCD或CMOS传感器。
在所示示例中，计算设备102包括或通信地连接到被描绘为相机的超光谱成像器114，该超光谱成像器包括被配置成捕捉或以其他方式提供场景112的超光谱快照118或可被处理以提供超光谱快照118的数据的一个或多个超光谱传感器116。在一些示例中，超光谱快照118包括一个或多个光谱通带的数据。在一些示例中，超光谱快照118包括例如由诸如以下参考图6讨论的检测器输出的编码数据。如此处所使用的，提供宽光谱范围(例如，可见光范围或>100nm宽或200nm宽的范围)内的数据的超光谱成像器114被认为具有大量小光谱通带，例如1nm宽。例如，对超过三个通道的超光谱图像的引用包括由这一宽带成像器提供的图像。
例如，超光谱传感器116可包括以上参考全色传感器108描述的类型的一个或多个传感器，例如CCD或CMOS传感器。超光谱传感器116可包括例如一个或多个彩色滤光器阵列，包括具有与CCD或CMOS传感器的相应的不同像素相对应的相应的不同光谱透射率的滤光器。
在一些示例中，超光谱成像器114是或包括快照光谱成像器。示例快照光谱成像器可包括但不限于具有双漫射器(DD-CASSI)或单漫射器(SD-CASSI)的编码光圈快照光谱成像器(CASSI)。这些和其他快照光谱成像器具有用单次“拍摄”(曝光)来恢复完整的超光谱图像的能力。
在一些示例中，超光谱成像器14是或包括使用空间调光器来调制入射光以使得传感器能够捕捉到超光谱快照的双重编码压缩超光谱成像器(DCSI)。在一些示例中，超光谱成像器114是或包括CASSI，该CASSI可包括一个或多个色散器和编码光圈以便将三维(3-D)空间光谱信息在光学上编码在二维(2-D)检测器上。完整的超光谱图像可使用压缩传感技术通过计算重构来恢复。基于CASSI的快照超光谱成像器114的附加细节以下参考图6来描述。在一些示例中，超光谱成像器114是或包括空间光谱编码压缩超光谱成像器(SSCSI)，该SSCSI类似于CASSI，但色散器和编码光圈具有相反的相对次序。
在一些示例中，全色成像器106和超光谱成像器114通过分束器(未示出)来查看场景112。这些配置的示例在下文中参考图6讨论。在一些示例中，全色成像器106和超光谱成像器114沿着各自不同的光路查看场景112，例如沿着分开小于10°或小于5°的路径。
计算设备102包括至少一个处理器120以及被配置成存储全色视频110和超光谱快照118的存储器122。存储器122还可存储字典组件124、重构组件126和视频渲染组件128中的一个或多个，这些组件被存储在存储器122中并且可以在至少一个处理器120上执行。
字典组件124可被配置成至少部分地基于全色视频110(例如，捕捉到或已存储的全色视频110)来确定图块字典。重构组件126可被配置成至少部分地基于图块字典、全色视频110和超光谱快照118来确定高速超光谱(HSHS)视频中的至少一帧。视频渲染组件128可被配置成渲染HSHS视频的至少一部分以供经由显示设备104来显示。
在所示示例中，环境100、字典组件124、重构组件126和视频渲染组件128各自可以是操作系统(未示出)的组件或者以其他方式在计算设备102上本地地存储或执行。然而，在其他示例中，这些系统组件中的一个或多个可被实现为分布式系统的一部分，例如实现为基于云的服务的一部分或者另一应用的组件。在一些示例中，处理器120可以经由诸如因特网等网络132来与服务器130通信。服务器130可主存字典组件124、重构组件126和视频渲染组件128中的一个或多个，并且可以经由网络132与计算设备102交换数据以执行本文描述的处理。网络132可包括有线电视网、射频(RF)微波、卫星和/或诸如因特网等数据网络，并且还可使用诸如广播、单播或多播等任何格式和/或协议来支持有线或无线介质。另外，网络132可以是使用任何类型的网络拓扑和任何网络通信协议的任何类型的网络(有线或无线)，且可被表示为或以其它方式实现为两个或更多网络的组合。
图2示出了高速超光谱成像的示例数据流200。在图2中，快照、视频和图像帧在图形上用X和Y空间维度来水平地和垂直地表示，并且时间沿“t”轴向该附图的平面内增长。在所示示例中，全色成像器106和超光谱成像器114对场景112进行成像(例如，同时)。全色成像器106提供全色视频110，且超光谱成像器114提供超光谱快照118。示出了全色视频110的四个说明性帧202、204、206和208，并且这些帧包括在各自不同的时间(通过其在对角“t”轴上的间隔来表示)表示场景112的图像内容。在一些示例中，全色视频110对应于超光谱快照118的帧时间。如此处所使用的，“帧时间”(例如，以秒计)指的是帧率的倒数，而“帧率”(例如，以赫兹(s-1)计)指的是成像器在所选条件下持续地操作时在给定时间量(例如，1s)内能够输出的帧数。帧率可以是分数，例如对于400ms帧时间，帧率对应于2.5s-1(2.5Hz)的帧率。帧率可以例如由成像器或驱动该成像器的电子装置来确定。
在所示示例中，超光谱快照118的帧时间对应于四个捕捉到的全色帧202-208。在该示例中，超光谱快照118的帧时间包括分别对应于全色帧202、204、206和208的帧时间210、212、214和216。高速超光谱(HSHS)视频帧可被重构为所生成的超光谱视频帧218，如下所述。各个超光谱视频帧218可包括一个或多个光谱通带的数据。例如，在一个非限制性示例中，曲线222描绘了四个通带。一个超光谱快照118可包括所有这四个通带的数据。或者，一个超光谱快照118可包括一个或多个光谱通带的数据或少于超光谱成像器114的所有光谱通带的数据。在一些示例中，所生成的超光谱视频帧218中的一个或多个包括多个光谱通带(在图形上被表示为λ1、λ2……)的数据。在一些示例中，超光谱快照18可包括一个或多个、两个或更多、三个或更多、四个或更多、超过三个或超过四个光谱通带的数据。在一些示例中，所生成的超光谱视频帧218中的一个或多个可包括一个或多个、两个或更多、三个或更多、四个或更多、超过三个或超过四个光谱通带的数据。
在一些示例中，超光谱成像器114相对于全色成像器106同步操作。这不要求超光谱成像器114和全色成像器106恰好同时被触发，而不只要求协调它们的曝光时间。例如，全色成像器106可被配置成在超光谱成像器114的帧时间期间捕捉全色视频110的多个帧202-208，如上所述。帧时间可以例如在成像器完成一个帧的输出后立即开始，并延续直到该成像器完成下一帧的输出。帧时间可另选地在成像器开始输出一个帧时或者在成像器开始或结束对一个帧的捕捉时开始，并延续至下一帧的对应事件。
在一些示例中，对于全色帧时间τp和整数i≥0，全色成像器106在时间t＝τpi捕捉帧。在该示例中，t＝0是参照全色成像器106来定义的。在该示例中，对于超光谱帧时间τh以及相对于参照全色成像器106来定义的时基t以秒计的超光谱相位φh，超光谱成像器114在时间t＝τhi+φh捕捉超光谱快照118。超光谱相位也可以是用度来表达为(φh/τp)×360°。在一示例中，φh≈0且τh＝Kτp，其中K可被称为表示全色成像器106相对于超光谱成像器114的更高速度的“加速率”。
曲线220在图形上表示全色成像器106的示例光谱通带。X轴表示频率，且Y轴表示透射百分比(％T)，例如以发光或辐射单位。曲线222(被示为具有四个不同线型)在与曲线220相同的轴上并且用与曲线220相同的水平比例来表示超光谱成像器114的四个光谱通带。在该示例中，超光谱成像器114捕捉与超光谱成像器114的一个或多个光谱通带(曲线222)相对应的数据，并且全色成像器106捕捉与至少涵盖超光谱成像器114的一个或多个光谱通带(曲线222)的光谱通带(曲线220)相对应的数据。如图所示，超光谱成像器114的光谱通带(曲线222)可以重叠或隔开，并且可具有各自不同的最高％T值。也如图所示，全色成像器106的光谱通带(曲线220)或者超光谱成像器114的通带(曲线222)可具有跨通带变化的％T值。在一些示例中，超光谱成像器114的一个光谱通带的至少一部分延伸超过全色成像器106的光谱通带，或者超过全色成像器106的光谱通带中的全色成像器106具有该全色成像器106的峰值感光度的50％的点。在一些示例中，超光谱快照118包括例如编码形式的多个光谱通带的数据，如以下参考图6讨论的。
字典组件124至少部分地基于全色视频110来构建或以其他方式确定图块字典224。例如，字典组件124至少部分地基于全色视频110中的一个或多个帧的一个或多个像素的像素值或其他图像数据来确定图块字典224中的一个或多个字典图块。在一些示例中，字典组件124可仅仅基于全色视频(即，并非还基于超光谱快照118或从超光谱快照118导出)来确定图块字典中的一个或多个字典图块。
图块字典224可包括多个字典图块。字典组件124可以至少部分地基于一个或多个训练图块来确定一个或多个字典图块。训练图块或字典图块中的各个图块可包括图像或图像的各部分的像素数据。例如，训练图块中的特定训练图块可包括从全色视频110中的多个帧202-208中取得的多个像素高且多个像素宽的相应样本。
在所示示例中，捕捉到的全色视频110在空间上通过用全色视频110的帧202上的粗虚线来表示的边界226来分割。特定字典图块或训练图块可包括来自全色视频110中的相应帧202-208的一个或多个样本，例如在空间上通过边界226来划界。在一示例中，一个样本可包括来自帧202、204、206和208中的部分或全部中的空间区域228的图像内容，例如来自全色视频110中的多个连续帧202、204、206和208或者来自全色视频110中的并非全部连续的多个帧。在一些示例中，字典组件124通过K-奇异值分解(K-SVD)或其他字典学习算法来确定图块字典224，如下所述。
在一些示例中，显示设备114具有所选帧次序，例如交织或渐进帧次序。在这些示例中的某一些中，字典组件124被配置成至少部分地基于显示设备104的所选帧次序来选择用于图块字典224的字典图块。例如，对于交织显示设备104，字典组件124可以每隔一个帧来选择像素以形成样本图块。这将重构(以下讨论)与显示设备104的需求相匹配，并且可提高重构的超光谱帧的重构质量和图像质量。
重构组件126至少部分地基于图块字典224、全色视频110和超光谱快照118来生成一个或多个所生成的超光谱视频帧218。所生成的帧218在此被称为高速超光谱(HSHS)视频中的帧。在一些示例中，HSHS帧218包括来自超光谱快照118和全色视频110的时间内插数据。在一些示例中，重构组件126可生成分别对应于全色帧202、204、206和208的四个HSHS帧218。所生成的HSHS帧218被示为HSHS帧230、232、234和236。
HSHS帧218可通过对压缩传感方程求解(例如，使用正交匹配跟踪(OMP)或其他求解器算法)来生成。可使用的其他求解器包括例如基跟踪(BP)、焦点欠定系统求解器(FOCUSS)和匹配跟踪(MP)。在一些示例中，重构组件126进一步基于全色成像器或超光谱成像器的所选成像特性来生成至少一个HSHS帧218，如以下参考等式(6)所讨论的。
在一些示例中，重构组件126至少部分地基于图块字典224和全色视频110中的多个帧202-208来生成多个HSHS帧218。在一些示例中，重构组件126仅仅基于图块字典224、全色视频110中的多个帧202-208以及超光谱快照118(即，不使用基于超光谱快照118或例如使用本文描述的训练技术来从超光谱快照118导出的字典)来生成HSHS帧218。
在所示示例中，视频渲染组件128渲染HSHS视频的至少一部分(例如，至少一个HSHS帧218)以供经由显示设备104来显示。在一些示例中，视频渲染组件128组装所生成的HSHS帧218(例如，帧230、232、234和236)以形成完整的HSHS视频238。
HSHS视频238的重构可使用压缩传感(CS)技术来执行。CS有时被用来压缩或恢复诸如稀疏传感器数据之类的稀疏数据。压缩传感涉及使用投影矩阵Φ来将稀疏数据的P个样本变换成M个系数，M<<P。这些稀疏数据样本和系数可被表示为向量。M个系数然后可被存储或传送到接收者。为了恢复P个样本，使用投影矩阵Φ和M个系数来执行逆计算。由于M<<P，因此对于该逆计算存在可能无限数量的可能解。然而，对于稀疏数据，可能解中的最稀疏的解具有是P样本稀疏数据向量的高概率。可用数量的系数M受到数据有多稀疏的限制。稀疏性通常使用作为P样本数据向量中的非零系数的数量的稀疏性值KS来度量。在一示例中，M≥KSlog(P/KS)。
在一些示例中，全色视频110中的帧202-208以及超光谱快照118形成从中可使用CS技术来恢复P样本HSHS视频238的M个系数。图块字典224可用来以遵从CS重构的稀疏方式表示HSHS视频238。不失一般性，考虑一个超光谱快照118以及与超光谱快照118同时捕捉到的K个全色帧(例如，帧202-208)。在所示示例中，K＝4。
将GC定义为超光谱快照118，并将定义为全色视频110中的帧i(例如，可对应于帧202，而可对应于帧208)。不失一般性，每一个G都包括例如以光栅扫描次序排列在列向量中的像素数据值。将Fi，i∈[1，K]定义为HSHS视频238中的帧i。将Φ定义为表示全色成像器106和超光谱成像器114的成像特性的矩阵。然后，所度量的数据可被表示为矩阵G：
G = G C G 1 p . . . G K p - - - ( 1 )
并且未知HSHS视频可被表示为矩阵F：
F = F 1 . . . F k - - - ( 2 )
所度量的数据和未知视频通过成像特性矩阵Φ来被相关为：
G＝ΦF (3)
式(3)中的公式可被反转以使用如式(4)所示的CS技术来对F求解：
其中
F＝Dοα (5)
适当地选择“ο”运算符(例如，矩阵-向量乘法)，并且其中D是具有与“ο”运算符和α兼容的维度大小和数量(例如，具有与向量α中的行相同的列数)的图块字典224。即，Dοα是F的M系数稀疏表示，因此Dοα可通过对等式(4)求解来从P样本向量G中找到。
在一些示例中，α是列向量，并且D是字典图块沿各列向下排列的矩阵。在这些示例中，D具有n列(每一个字典图块一列)m行，其中m是字典图块中的像素值的数量。在一些示例中，对于某一整数k1，n＝4m或者n＝k1m。在一些示例中，m＝6×6×K或者其中输入图像是w像素宽且h像素高，并且使用像素百分比p，0＜p≤1。在一示例中，w＝h＝600且p＝0.01。字典图块可形成正交或规格化正交基础，但这并非是必需的。
在一些示例中，如本文描述的HSHS成像系统的成像特性的矩阵Φ在等式6中被定义为：
其中Φc是超光谱成像器114的观察矩阵(对给定刺激的响应)，而Φp是全色成像器106的观察矩阵。在一些示例中Φ及其分量观察矩阵至少部分地基于全色成像器106或超光谱成像器114的光学系统的物理属性或者全色传感器108或超光谱传感器116的光谱响应函数来确定。
在一些示例中，为了提高Dοα的稀疏性，D被确定为过完备字典，例如可被表示为非稀疏矩阵且具有比提供在所选容错水平内对应于全色视频110中的各帧以及超光谱快照118的重构的HSHS视频238(F)所必需的字典图块更多的字典图块的字典。
在超光谱快照118中的图像数据与全色视频110中的相应帧中的图像数据之间经常存在强相关性。例如，由于超光谱快照118和全色视频110中的帧202可被同时捕捉到，因此超光谱快照118和帧202表示大致相同的场景112，因此在大致相似的位置具有边缘和空间细节。因此，在一些示例中，使用来自全色视频110的数据来训练字典D提供与将要重构的HSHS视频238强相关的字典图块。结果，字典D在表示超光谱快照118时提供系数向量α的高稀疏性。这提高了HSHS视频238的基于CS的重构的准确性。
在一些示例中，字典组件124对来自全色视频110的字典图块或训练图块进行随机采样，如上所述。在一些示例中，字典组件124从全色视频110中的帧202-208中选择样本，这些样本中的各个样本包括来自全色视频110中的多个帧202-208中的至少两个的数据。例如，可以从256宽×256高×24帧全色视频110中对60000个随机图块进行采样。可选择图块数n(n>m)以提供预定的重构准确性水平。如上所述，m表示训练图块中的像素值或其他图像数据的数量。
在一些示例中，字典组件124对样本(训练图块)进行聚类，以在图块字典224中提供所选数量的字典图块。例如，字典组件124可通过k均值、k中心点、均值漂移聚类、K-SVD或另一聚类或字典学习技术来对样本进行聚类。可使用的其他示例技术包括最大后验概率、最大似然方法、最优方向方法(MOD)和主分量分析(PCA)。
对于k均值和K-SVD，聚类数n(即，最大图块的数量n)可以按经验被确定为k1m，如上所述。可选择k1(并由此导致n)的值以提供预定的重构准确性水平。在一些示例中，字典组件124将聚类中心选为字典图块(D中的列)。聚类中心不一定与任一训练图块重合。
在一些示例中，重构组件126至少部分地基于超光谱快照118、全色视频110(例如，该视频中的一个或多个帧)以及图块字典224中的多个字典图块(例如，被排列成形成矩阵D的聚类中心)来生成一个或多个高速超光谱视频帧218(例如，一个或多个附加超光谱视频帧)。重构组件126可以例如使用正交匹配跟踪算法来确定α值，如以上等式(4)所述。重构组件126然后可计算F＝Dοα以确定F，即重构的HSHS视频238。
图3示出了用于生成高速超光谱(HSHS)视频的示例方法300的流程图。该方法被示为作为分立框示出的一组操作。本方法可用任何合适的硬件、软件、固件或其组合来实现。描述操作的次序不旨在被解释为限制。为了解释清楚，在此引用可执行或参与该示例性方法的各个步骤的图1和2所示的各种组件和数据项。然而，应注意，可使用其他组件；即，图3所示的示例性方法不限于由所标识的组件执行。
在框302，确定超光谱快照118。例如，超光谱成像器114可捕捉场景112的超光谱快照118，或者处理器120可经由网络132或从如上所述的本地媒体源接收超光谱快照118。在一些示例中，超光谱成像器114捕捉与超光谱成像器114的一个或多个光谱通带相对应的数据。
在框304，确定全色视频110。例如，全色成像器106可捕捉场景112的全色视频110，或者处理器120可经由网络132接收全色视频110。在一些示例中，框304可包括从计算设备102本地媒体源(诸如存储在计算设备102的存储器中的文件或者计算设备102的DVD驱动器中的数字视频碟(DVD))接收全色视频110。在一些示例中，全色成像器106捕捉与至少涵盖超光谱成像器114的一个或多个光谱通带的光谱通带相对应的数据。在一些示例中，所确定的全色视频110具有第一帧率，超光谱快照118具有第二帧率，且第一帧率大于第二帧率。
在一些示例中，全色视频110对应于超光谱快照的帧时间。例如，全色视频可以在超光谱快照118的帧时间期间捕捉，或者在与超光谱快照118的帧时间处于固定的时间或相位关系中的时间期间捕捉。在一些示例中，全色视频包括多个全色帧。在图2所示的示例中，全色视频110包括在超光谱快照118的帧时间期间捕捉到的多个全色帧202、204、206和208。
在框306，至少部分地基于全色视频110来构建图块字典224。例如，可以执行如以上参考等式(5)中的矩阵D描述的聚类。在一些示例中，图块字典224中的一个或多个字典图块仅仅基于全色视频110来确定。
在框308，至少部分地基于图块字典224、全色视频110和超光谱快照118来生成HSHS视频238中的至少一帧。在一些示例中，全色视频110和超光谱快照118的数据可被排列在G矩阵中，如以上参考等式(1)所描述的。在一些示例中，可使用求解器来确定以上等式(4)中的α值。在一些示例中，如由虚线箭头表示的，HSHS视频238中的多个帧可以至少部分地基于图块字典224和全色视频110中的多个帧来生成。如上所述，在一些示例中，HSHS视频238中的至少一帧可仅仅基于图块字典224、全色视频110中的多个帧和超光谱快照118来生成。以此方式，在框306和308，生成高速超光谱(HSHS)视频。
图4示出了用于构建图块字典224的示例方法306。
在框402，至少部分地基于全色视频110中的一个或多个帧的一个或多个像素的像素值来确定一个或多个训练图块。这可以例如通过如上所述的随机采样来完成。在一些示例中，训练图块中的特定训练图块包括从全色视频中的多个帧中取得的多个像素高且多个像素宽的样本。在一些示例中，该特定训练图块包括从全色视频中的多个连续帧中取得的样本。在一些示例中，框402可包括对像素值或其他图像数据进行选择、规范化、缩放或以其他方式进行处理，以确定训练图块。
在框404，将所确定的一个或多个训练图块分配给多个聚类中的各个聚类。例如，字典组件124(例如在处理器120上执行)可使用K-SVD或另一聚类算法来向聚类分配训练图块。
在框406，将图块字典构建成包括多个聚类中的各个聚类的相应字典图块。例如，字典组件124(例如，在处理器120上执行)可以为每一个聚类选择代表性字典图块。聚类的代表性字典图块可以是例如该聚类中的数据的均值或中心点。
在一些示例中，框402包括框408和410。
在框408，例如由字典组件124(例如在处理器120上执行)来确定多个像素组。这些像素组中的各个像素组可包括选自全色视频110中的一个或多个帧的多个像素的数据。例如，全色视频110可以在空间上沿着边界226分割，并且一像素组可被选为包括12个单元格(在图2的示例中)中的各个单元格或一个或多个单元格的像素。这些像素组能够例如根据沿多个维度具有统一间隔(例如，等高且等宽)的3-D(高、宽、时间)网格、在每一维度中具有不同间隔的3D网格或者随机、伪随机、随意或不规则样式或排列来排列。
在框410，例如由字典组件124(例如在处理器120上执行)来选择少于所有像素组的像素组。一个或多个训练图块中的各个训练图块被确定为包括所选像素组中的相应像素组。例如，图2的示例所示的12个单元格中的六个单元格可被选择用作训练图块。该选择可以随机做出。
图5示出了示例计算设备102的各个组件。在所示示例中，计算设备102包括一个或多个处理器120、存储器122、通信接口502、视频输入504和视频输出506。存储器122可被实现为各种类型的存储器组件的任意组合。可能存储器组件的示例包括随机存取存储器(RAN)、盘驱动器、大容量组件以及非易失性存储器(例如，ROM、闪存、EPROM、EEPROM等)。计算设备102的替代实现可包括一定范围的处理和存储器能力。例如，全资源计算设备可被实现为具有大量存储器和处理资源，包括用于存储供观看者回放的内容的盘驱动器。然而，低资源计算设备可具有有限的处理和存储器能力，诸如有限量的RAM、没有盘驱动器和有限的处理能力。
处理器120处理各种指令以控制计算设备102的操作并与其他电子和计算设备通信。存储器122存储各种信息和/或数据，包括例如操作系统508、视频渲染组件510、字典组件124、重构组件126、视频渲染组件128以及可任选的一个或多个其他应用512。存储在存储器122中的这些块可以在处理器120上执行。其他组件512可包括例如包括视频能力的因特网浏览器、媒体播放器应用、视频编辑应用、视频流传输应用、电视观看应用，等等。在一些示例中，存储在一个或多个计算机可读介质(例如，存储器122)中的字典组件124、重构组件126、视频渲染组件128和应用512的计算机可执行指令当在计算设备102的处理器120上执行时指示计算设备102执行以下参考存储器122中的相关组件列出的功能。
通信接口502使计算设备102能够与其他计算设备通信，并且可表示计算设备102可用来接收视频内容的其他装置。例如，在支持通过IP网络传送视频内容的环境中，通信接口502可表示连接，计算设备102能经由该连接，例如通过特定的统一资源定位符(URL)来接收视频内容。
视频输入504包括或通信地连接到例如一个或多个调谐器、视频捕捉设备、视频编码器或格式转换器，以使得计算设备102能够接收和存储视频。在一些示例中，视频输入504可包括用于同时从全色成像器106和超光谱成像器114接收数据的多个信道。在一些示例中，计算设备102可包括多个视频输入504，一个或多个视频输入用于从全色成像器106接收数据，而一个或多个视频输入用于从超光谱成像器114接收数据。
视频输出506包括或通信地连接到例如显示屏，以使得计算设备102能够呈现视频内容。在示例实现中，视频输出506向电视机或显示视频数据的其他显示设备提供信号。
在一些示例中，视频接收组件510在由处理器120执行时(本文中都如此)接收超光谱快照以及多个全色视频帧。这可以如以上参考图3的框302和304所描述的那样。
在一些示例中，字典组件124使用多个全色视频帧的图像数据来确定多个字典图块。这可以如以上参考图3的框306并参考图4所描述的那样。在一些示例中，计算机可执行指令使字典组件124从全色视频帧中选择样本，各个样本包括来自多个全色视频帧中的至少两个帧的数据。这可以例如以上参考图4的框402、408或410所描述的那样或者如以上参考图2的空间区域228所描述的那样完成。字典组件124然后对样本进行聚类以提供所选数量的字典图块，例如以上参考图4的框404和406所讨论的。
在一些示例中，重构组件126至少部分地基于接收到的超光谱快照、一个或多个全色帧以及多个字典图块来生成一个或多个超光谱视频帧(例如，HSHS帧218)。这可以如以上参考图3的框308所描述的那样完成。在一些示例中，计算机可执行指令使重构组件126至少部分地基于多个字典图块中的不止一个字典图块来确定接收到的超光谱快照的至少一部分的表示以及多个全色视频帧中的不止一个帧。这可以例如以上参考等式(1)和(4)所讨论的那样完成。
尽管被单独示出，但计算设备102的一些组件可以在诸如专用集成电路(ASIC)等单个硬件设备中一起实现。另外，系统总线514通常连接计算设备102内的各种组件。系统总线可被实现为若干类型的总线结构中的任一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口以及使用各种总线体架构中的任一种的局部总线。作为示例，这样的架构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。
图5所示的任一组件可以是硬件、软件或硬件和软件的组合。此外，图5所示的任一组件(例如，存储器122)可使用可由计算设备102本地或远程(包括通过网络132)访问的任何形式的计算机可读介质来实现。计算机可读介质包括两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可在诸如载波之类的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。
图6示出了用于对场景112(以幻像示出)进行成像的示例成像系统600。成像系统600包括全色成像器106和超光谱成像器114。分束器602将来自场景112的光例如分成两个基本相等的部分。分束器602可包括例如薄膜分束器、半镀银镜子、透镜阵列或被配置成分割来自场景的光的其他组件。分束器602向具有曲线220所示的光谱响应的全色成像器106的全色传感器108提供部分光(例如，两部分中的一部分)。全色传感器108提供全色视频110。
来自分束器602的另一部分光(例如，两部分中的另一部分)被提供给超光谱成像器114中的物镜(例如，SD-CASSI)。来自物镜的光穿过遮光板(mask)606，例如编码光圈。遮光板606可包括散布有基本上透射的元素的基本上不透明的元素，例如作为网格上的方块。不透明和透射元素的图案可被随机确定，例如有50％的概率每一个单独方块都是不透明(与透明相反)的(例如，具有概率p＝0.5的伯努利分布)。该图案还或另选地可与例如循环地排列在遮光板606上的循环S矩阵码的位模式相对应。中继透镜608通过色散器610将遮光板606的平面成像到超光谱传感器116上。色散器610可包括例如等边棱镜、光栅或另一色散器。
如曲线612所表示的，超光谱成像器114中的超光谱传感器116对于至少不够宽以涵盖将由超光谱成像器114测量和输出的各个光谱通带(曲线222)的一定范围的波长敏感。色散器610导致遮光板606的图像出现在由超光谱传感器116取决于每一个光谱通带的相对贡献而在不同位置并以不同亮度捕捉到的图像中。结果，超光谱成像器114可使用具有曲线612所表示的宽光谱通带的超光谱传感器116来产生包括来自多个光谱通带(曲线222)的数据的超光谱快照118。在超光谱快照118中，一个光谱通带的数据可以交织在其他光谱通带的数据之间、叠加在其他光谱通带的数据上、或以其他方式与其他光谱通带的数据相组合地编码。在该示例中，不同的光谱通带被编码为遮光板606的空间上分散的叠加图像。
在一些示例中，与到达全色传感器108的光相比，分束器602和超光谱传感器116之间的附加光学组件使到达超光谱传感器116的光衰减。在一些示例中，超光谱传感器116以比全色传感器108更低的帧率操作以收集更多光并且部分地或完全克服该衰减。本文描述的各方面准许使用高帧率全色视频110和低帧率超光谱快照118来重构高帧率超光谱图像，例如HSHS视频238。
示例结果
各方面的光效率可达到正在捕捉的入射光的75％。这胜过具有50％的理论效率的CASSI以及具有25％的理论效率的DCSI。
表1示出了CASSI重构(CASSI-TI)、具有总变差(TV)正则化器的两步迭代收缩/阈值化重构(TwIST)以及基于字典的重构(DBR)(例如，如本文描述的)的时间内插结果的比较的仿真结果。结果针对各个加速值K来示出。示出了峰值信噪比(PSNR)、结构相似性(SSIM)、均方根误差(RMSE)和光谱角度映射(SAM)。PSNR和SSIM基于每一个2-D空间图像来计算，PSNR和SSIM测量重构结果与原始超光谱快照之间的空间保真度。这两个度量的较大值指示保真度较高的重构。RMSE和SAM基于每一个一维(1-D)光谱向量来计算，并测量重构的光谱保真度。这两个度量的较低值暗示更好的重构。所有度量都跨其余维度被平均。
如表1所示，CASSI-TI结果遭受离原始测试数据的较大偏差。相反，TwIST和DBR两者都甚至在K＝8的情况下恢复四维(4-D)高速超光谱视频(具有宽度、高度、帧和光谱通带维度)。此外，DBR在所有加速率下胜过TwIST，这展示了本文描述的示例字典学习技术的有效性，例如以上参考图4所讨论的。
场景已使用类似于图6中的成像系统的成像系统来测量。所测试的全色成像器106包括配备有8mm物镜的PointGreyTM FL3-U3-13Y3M-C全色传感器108。所测试的全色成像器106以最高1280×1024像素的分辨率捕捉到最高150fps视频。所测试的全色传感器108是具有4.8μm点距和全域(非滚动)快门的1/2″规格的1.3兆像素的单色CMOS成像器。
超光谱成像器114包括用于将场景投影到编码光圈(遮光板606)的8mm物镜604。所测试的遮光板606包括基本上不透明的元素和基本上透明的元素的随机二元图案。所测试的遮光板606具有300×300个元素，每一个都是10μm×10μm。所测试的色散器610包括被安排成以550nm的中心波长垂直地散布光谱信息的双重线Amici棱镜。所测试的超光谱传感器116具有与所测试的全色传感器108相同的类型。在所测试的配置中，遮光板606上的每一个元素都由中继透镜608映射到超光谱传感器116上的2×2像素。所测试的中继透镜608是Edmund 45-762。所测试的超光谱成像器114的有效空间分辨率由此是600×600像素。另外，具有从450nm到650nm的光谱通带的滤光器(未示出)被放置在场景112与全色传感器108和超光谱传感器116中的每一个之间，以将光谱限于最多450nm–650nm的范围。在各示例中，可使用其他范围或光谱通带。
表2示出了包括不同颜色的三个形状的所测量的场景的实验结果。对于每一形状，为CASSI重现和具有三个不同的加速值(K＝5、K＝10和K＝20)的DBR(例如，如本文描述的)示出了均方根误差(RMSE)值。较小的RMSE值是更好的。
示例条款
A：一种方法，包括：确定超光谱快照；确定与该超光谱快照的帧时间相对应的全色视频，该全色视频包括多个全色帧；以及通过以下操作来生成高速超光谱(HSHS)视频：至少部分地基于该全色视频来构建图块字典；以及至少部分地基于该图块字典、全色视频和超光谱快照来生成该HSHS视频中的至少一帧。
B：如段落A所述的方法，其特征在于，确定该全色视频包括使用全色成像器来捕捉场景的全色视频。
C：如段落B所述的方法，其特征在于：确定超光谱快照包括使用超光谱成像器来捕捉场景的超光谱快照；超光谱成像器捕捉与该超光谱成像器的一个或多个光谱通带相对应的数据；并且全色成像器捕捉与至少涵盖超光谱成像器的一个或多个光谱通带的光谱通带相对应的数据。
D：如段落A-C中的任一段所述的方法，其特征在于，构建图块字典包括：至少部分地基于多个全色帧中的一个或多个的一个或多个像素的像素值来确定一个或多个训练图块；将所确定的一个或多个训练图块分配给多个聚类中的各个聚类；以及将图块字典构建成包括多个聚类中的各个聚类的相应字典图块。
E：如段落D所述的方法，其特征在于，训练图块中的特定训练图块包括从多个全色帧中的至少某一些中取得的多个像素高且多个像素宽的样本。
F：如段落E所述的方法，其特征在于，该特定训练图块包括从多个全色帧中的多个连续全色帧中取得的样本。
G：如段落D-F中的任一段所述的方法，其特征在于，确定一个或多个训练图块包括：确定多个像素组，其中这些像素组中的各个像素组包括选自多个全色帧的多个像素的数据；以及选择少于所有像素组的像素组，其中该一个或多个训练图块中的各个训练图块包括所选像素组中的相应像素组。
H：如段落A-G中的任一段所述的方法，其特征在于，生成HSHS视频中的至少一帧包括至少部分地基于图块字典以及多个全色帧中的多个全色帧来生成HSHS视频中的多个帧。
I：如段落H所述的方法，其特征在于，生成HSHS视频中的至少一帧包括仅仅基于图块字典、多个全色帧和超光谱快照来生成HSHS视频中的至少一帧。
J：如段落A-I中的任一段所述的方法，其特征在于，构建图块字典包括仅仅基于全色视频来确定图块字典中的一个或多个字典图块。
K：一种计算设备，包括：至少一个处理器；被配置成存储全色视频和超光谱快照的存储器；以及存储在该存储器中并且可以在至少一个处理器上执行的字典组件，该字典组件被配置成至少部分地基于全色视频来生成图块字典；以及存储在该存储器中并且可以在至少一个处理器上执行的重构组件，该重构组件被配置成至少部分地基于图块字典、全色视频和超光谱快照来生成高速超光谱(HSHS)视频中的至少一帧。
L：如段落K所述的计算设备，其特征在于，还包括显示设备以及存储在该存储器中并且可以在至少一个处理器上执行的视频渲染组件，该视频渲染组件被配置成渲染HSHS视频的至少一部分以供经由该显示设备来显示。
M：如段落L所述的计算设备，其特征在于，该显示设备具有所选帧次序，并且字典组件被配置成至少部分地基于所选帧次序来选择用于图块字典的字典图块。
N：如段落K-M中的任一段所述的计算设备，其特征在于，还包括被配置成捕捉场景的全色视频的全色成像器以及相对于该全色成像器同步地操作并被配置成捕捉该场景的超光谱快照的超光谱成像器。
O:如段落N所述的计算设备，其特征在于，该全色成像器被配置成在该超光谱成像器的帧时间期间捕捉全色视频中的多个帧。
P：如段落N或O所述的计算设备，其特征在于，该全色成像器具有至少涵盖该超光谱成像器的一个或多个光谱通带的光谱通带。
Q:如段落N-P中的任一段所述的计算设备，其特征在于，该重构组件被配置成进一步基于全色成像器或超光谱成像器的所选成像特性来生成HSHS视频中的至少一帧。
R:一种或多种包括计算机可执行指令的计算机可读介质，这些指令当在计算设备的处理器上执行时指示该计算设备：接收超光谱快照以及多个全色视频帧；使用该多个全色视频帧的图像数据来确定多个字典图块；以及至少部分地基于全色视频帧、超光谱快照以及多个字典图块来生成高速超光谱(HSHS)视频帧。
S:如段落R所述的一种或多种计算机可读介质，其特征在于，用于确定多个字典图块的指令包括当在计算设备的处理器上执行时使该计算设备执行以下操作的指令：从全色视频帧中对样本进行采样，这些样本中的各个样本包括来自多个全色视频帧中的至少两个的数据；以及对样本进行聚类以提供所选数量的字典图块。
T：如段落R或S所述的一种或多种计算机可读介质，其特征在于，用于生成HSHS视频帧的指令包括当在计算设备的处理器上执行时指示该计算设备至少部分地基于多个字典图块中的不止一个字典图块来确定超光谱快照的至少一部分的表示以及多个全色视频帧中的不止一个帧的指令。
U：一种系统，包括：用于确定超光谱快照的装置；用于确定与该超光谱快照的帧时间相对应的全色视频的装置，该全色视频包括多个全色帧；以及用于生成高速超光谱(HSHS)视频的装置，包括用于至少部分地基于该全色视频来构建图块字典的装置；以及用于至少部分地基于该图块字典、全色视频和超光谱快照来生成该HSHS视频中的至少一帧的装置。
V：如段落U所述的系统，其特征在于，用于确定全色视频的装置包括用于使用全色成像器来捕捉场景的全色视频的装置。
W：如段落V所述的系统，其特征在于：用于确定该超光谱快照的装置包括用于使用超光谱成像器来捕捉场景的超光谱快照的装置；超光谱成像器捕捉与超光谱成像器的一个或多个光谱通带相对应的数据；并且全色成像器捕捉与至少涵盖超光谱成像器的一个或多个光谱通带的光谱通带相对应的数据。
X：如段落U-W中的任一段所述的系统，其特征在于，用于构建图块字典的装置包括：用于至少部分地基于多个全色帧中的一个或多个的一个或多个像素的像素值来确定一个或多个训练图块的装置；用于将所确定的一个或多个训练图块分配给多个聚类中的各个聚类的装置；以及用于将图块字典构建成包括多个聚类中的各个聚类的相应字典图块的装置。
Y：如段落X所述的系统，其特征在于，训练图块中的特定训练图块包括从多个全色帧中的至少某一些中取得的多个像素高且多个像素宽的样本。
Z：如段落Y所述的系统，其特征在于，该特定训练图块包括从多个全色帧中的多个连续全色帧中取得的样本。
AA：如段落X-Z中的任一段所述的方法，其特征在于，用于确定一个或多个训练图块的装置包括：用于确定多个像素组的装置，其中这些像素组中的各个像素组包括选自多个全色帧的多个像素的数据；以及用于选择少于所有像素组的像素组的装置，其中该一个或多个训练图块中的各个训练图块包括所选像素组中的相应像素组。
AB：如段落U-AA中的任一段所述的系统，其特征在于，用于生成HSHS视频中的至少一帧的装置包括用于至少部分地基于图块字典以及多个全色帧中的多个全色帧来生成HSHS视频中的多个帧的装置。
AC：如段落AB所述的系统，其特征在于，用于生成HSHS视频中的至少一帧的装置包括用于仅仅基于图块字典、多个全色帧和超光谱快照来生成HSHS视频中的至少一帧的装置。
AD：如段落U-AC中的任一段所述的方法，其特征在于，用于构建图块字典的装置包括用于仅仅基于全色视频来确定图块字典中的一个或多个字典图块的装置。
AE：其上具有计算机可执行指令的计算机可读介质(例如，计算机存储介质)，该计算机可执行指令在被执行时将计算机配置成执行段落A-J中的任一段所述的操作。
AF：一种设备，包括：处理器；以及其上具有计算机可执行指令的计算机可读介质(例如，计算机存储介质)，该计算机可执行指令在由处理器执行时将该设备配置成执行段落A-J中的任一段所述的操作。
AG：一种系统，包括：用于处理的装置；以及用于在其上存储有计算机可执行指令的装置，这些计算机可执行指令包括用于将该设备配置成执行如段落A-J中的任一段所述的方法的装置。
结语
虽然已经用对结构特征和/或方法步骤专用的语言描述了生成高速超光谱(HSHS)视频数据，但是应当理解，所附权利要求书中定义的本发明不必限于所描述的具体特征或步骤。相反，各具体特征和步骤是作为实现所要求保护的本发明的优选形式来公开的。
示例过程的操作在单独的框中示出，并且参考这些框来概括。这些过程被示为逻辑框流，其每个框可表示可用硬件、软件或其组合实现的一个或多个操作。在软件的上下文中，这些操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时使得一个或多个处理器执行既定操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的次序并不旨在解释为限制，并且任何数量的所述操作可以按任何次序执行、按任何次序进行组合、细分成多个子操作、和/或并行执行，以实现所描述的过程。可由与一个或多个计算设备102相关联的资源(诸如一个或多个内部或外部CPU或GPU)和/或硬件逻辑的一个或多个片段(诸如FPGA、DSP或其他类型的加速器)来执行所描述的过程。
上述方法和过程可以用由一个或多个通用计算机或处理器执行的软件代码模块来具体化，并且可经由这些软件代码模块来完全自动化。这些代码模块可以存储在任何类型的计算机可执行存储介质或其他计算机存储设备中。这些方法中的某些或全部可另选地用专用计算机硬件来具体化。
除非另外具体声明，否则在上下文中可以理解条件语言(诸如“能”、“能够”、“可能”或“可以”)表示特定示例包括而其他示例不包括特定特征、元素和/或步骤。因此，这样的条件语言一般并非旨在暗示对于一个或多个示例需要特定特征、元素和/或步骤，或者一个或多个示例必然包括用于决定的逻辑、具有或不具有用户输入或提示、在任何特定实施例中是否要包括或要执行特定特征、元素和/或步骤。除非另外具体声明，应理解联合语言(诸如短语“X、Y或Z中至少一个”)表示项、词语等可以是X、Y或Z中的任一者、或其组合。
本文所述和/或附图中描述的流程图中任何例行描述、元素或框应理解成潜在地表示包括用于实现该例程中具体逻辑功能或元素的一个或多个可执行指令的代码的模块、片段或部分。替换实现被包括在本文描述的示例的范围内，其中各元素或功能可被删除，或与所示出或讨论的顺序不一致地执行，包括基本上同步地执行或按相反顺序执行，这取决于所涉及的功能，如本领域技术人也将理解的。应当强调，可对上述示例作出许多变型和修改，其中的元素如同其他可接受的示例那样应被理解。所有这样的修改和变型在此旨在包括在本公开的范围内并且由以下权利要求书保护。

Claims (10)

1.一种方法，包括：
确定超光谱快照；
确定与所述超光谱快照的帧时间相对应的全色视频，所述全色视频包括多个全色帧；以及
通过以下操作来生成高速超光谱(HSHS)视频：
至少部分地基于所述全色视频来构建图块字典；以及
至少部分地基于所述图块字典、所述全色视频和所述超光谱快照来生成所述HSHS视频中的至少一帧。
2.如权利要求1所述的方法，其特征在于：
确定所述全色视频包括使用全色成像器来捕捉场景的全色视频；
确定所述超光谱快照包括使用超光谱成像器来捕捉所述场景的超光谱快照；
所述超光谱成像器捕捉与所述超光谱成像器的一个或多个光谱通带相对应的数据；并且
所述全色成像器捕捉与至少涵盖所述超光谱成像器的一个或多个光谱通带的光谱通带相对应的数据。
3.如权利要求1或权利要求2所述的方法，其特征在于，构建所述图块字典包括：
至少部分地基于所述多个全色帧中的一个或多个帧的一个或多个像素的像素值来确定一个或多个训练图块；
将所确定的一个或多个训练图块分配给多个聚类中的各个聚类；以及
将所述图块字典构建成包括所述多个聚类中的各个聚类的相应字典图块。
4.如权利要求3所述的方法，其特征在于，所述训练图块中的特定训练图块包括从所述多个全色帧中的至少某一些中取得的多个像素高且多个像素宽的样本。
5.如权利要求3或权利要求4所述的方法，其特征在于，确定所述一个或多个训练图块包括：
确定多个像素组，其中所述像素组中的各个像素组包括选择所述多个全色帧的多个像素的数据；以及
选择少于所有像素组的像素组，其中所述一个或多个训练图块中的各个训练图块包括所选像素组中的相应像素组。
6.一种计算设备，包括：
至少一个处理器；
被配置成存储全色视频和超光谱快照的存储器；以及
存储在所述存储器中并且能在所述至少一个处理器上执行的字典组件，所述字典组件被配置成至少部分地基于所述全色视频来生成图块字典；以及
存储在所述存储器中并且能在所述至少一个处理器上执行的重构组件，所述重构组件被配置成至少部分地基于所述图块字典、所述全色视频和所述超光谱快照来生成高速超光谱(HSHS)视频中的至少一帧。
7.如权利要求6所述的计算设备，其特征在于，还包括显示设备以及存储在所述存储器中并且能在所述至少一个处理器上执行的视频渲染组件，所述视频渲染组件被配置成渲染所述HSHS视频的至少一部分以供经由所述显示设备来显示。
8.如权利要求6或权利要求7所述的计算设备，其特征在于，还包括被配置成捕捉场景的全色视频的全色成像器以及相对于所述全色成像器同步地操作并被配置成捕捉所述场景的超光谱快照的超光谱成像器。
9.如权利要求8所述的计算设备，其特征在于，所述重构组件被配置成进一步基于所述全色成像器或所述超光谱成像器的所选成像特性来生成所述HSHS视频中的至少一帧。
10.一种或多种包括计算机可执行指令的计算机可读介质，所述计算机可执行指令当在计算设备的处理器上执行时指示所述计算设备：
接收超光谱快照以及多个全色视频帧；
使用所述多个全色视频帧的图像数据来确定多个字典图块；以及
至少部分地基于所述全色视频帧、所述超光谱快照以及所述多个字典图块来生成高速超光谱(HSHS)视频帧。
CN201510320404.3A 2015-05-22 2015-06-11 双传感器超光谱运动成像系统 Active CN106170052B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/575,756 US10497095B2 (en) 2015-05-22 2016-05-18 Dual-sensor hyperspectral motion imaging system
PCT/US2016/032940 WO2016191157A1 (en) 2015-05-22 2016-05-18 Dual-sensor hyperspectral motion imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2015/079559 2015-05-22
CNPCT/CN2015/079559 2015-05-22

Publications (2)

Publication Number Publication Date
CN106170052A true CN106170052A (zh) 2016-11-30
CN106170052B CN106170052B (zh) 2020-11-06

Family

ID=57358884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510320404.3A Active CN106170052B (zh) 2015-05-22 2015-06-11 双传感器超光谱运动成像系统

Country Status (3)

Country Link
US (1) US10497095B2 (zh)
CN (1) CN106170052B (zh)
WO (1) WO2016191157A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064005A (zh) * 2017-06-16 2017-08-18 中国科学技术大学 一种高光谱光场的快照式成像系统以及重建算法
CN111386549A (zh) * 2019-04-04 2020-07-07 合刃科技（深圳）有限公司 一种混合型高光谱图像重构的方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617845B (zh) * 2017-03-16 2018-03-11 財團法人工業技術研究院 影像感測裝置
US10553244B2 (en) * 2017-07-19 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods of increasing light detection in color imaging sensors
US11546530B2 (en) * 2018-10-19 2023-01-03 Sony Corporation Imaging device and solid-state imaging device
US10909670B2 (en) 2018-12-06 2021-02-02 Massachusetts Institute Of Technology Computational reconfigurable imaging spectrometer
WO2020117245A1 (en) * 2018-12-06 2020-06-11 Massachusetts Institute Of Technology Computational reconfigurable imaging spectrometer
CN113538226A (zh) * 2020-04-20 2021-10-22 华为技术有限公司 图像纹理增强方法、装置、设备及计算机可读存储介质
CN115994983B (zh) * 2023-03-24 2023-06-02 湖南大学 一种基于快照式编码成像系统的医药高光谱重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916435A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度光谱投影遥感影像融合方法
CN103471715A (zh) * 2013-09-02 2013-12-25 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置
CN104156911A (zh) * 2014-07-18 2014-11-19 苏州阔地网络科技有限公司 一种图像融合处理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400770B2 (en) * 2002-11-06 2008-07-15 Hrl Laboratories Method and apparatus for automatically extracting geospatial features from multispectral imagery suitable for fast and robust extraction of landmarks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916435A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度光谱投影遥感影像融合方法
CN103471715A (zh) * 2013-09-02 2013-12-25 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置
CN104156911A (zh) * 2014-07-18 2014-11-19 苏州阔地网络科技有限公司 一种图像融合处理方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C. MA ET AL.: "Acquisition of High Spatial and Spectral Resolution Video with a Hybrid Camera System", 《INTERNATIONAL JORNAL OF COMPUTER VISION》 *
D. LIU ET AL.: "Efficient Space-Time Sampling with Pixel-Wise Coded Exposure for High-Speed Imaging", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
M. YE ET AL.: "Panchromatic image based dictionary lerning for hyperspectral imagery denoising", 《2013 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
Y. ZHAO ET AL.: "Hyperspectral imagery super-resolution by image fusion and compressed sensing", 《2012 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064005A (zh) * 2017-06-16 2017-08-18 中国科学技术大学 一种高光谱光场的快照式成像系统以及重建算法
CN107064005B (zh) * 2017-06-16 2018-05-29 中国科学技术大学 一种高光谱光场的快照式成像系统以及重建算法
CN111386549A (zh) * 2019-04-04 2020-07-07 合刃科技（深圳）有限公司 一种混合型高光谱图像重构的方法及系统
CN111386549B (zh) * 2019-04-04 2023-10-13 合刃科技（深圳）有限公司 一种混合型高光谱图像重构的方法及系统

Also Published As

Publication number Publication date
US10497095B2 (en) 2019-12-03
CN106170052B (zh) 2020-11-06
WO2016191157A1 (en) 2016-12-01
US20180182069A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN106170052A (zh) 双传感器超光谱运动成像系统
Lee et al. From big to small: Multi-scale local planar guidance for monocular depth estimation
Wang et al. DeOccNet: Learning to see through foreground occlusions in light fields
CN105492878B (zh) 用于快照光谱成像的设备和方法
Tursun et al. An objective deghosting quality metric for HDR images
EP3816929B1 (en) Method and apparatus for restoring image
CN109314752A (zh) 图像之间的光流的有效确定
CN111201780B (zh) 成像装置和方法以及图像处理装置和方法
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
CN108369399A (zh) 全息光场成像装置和及其使用方法
Arad et al. NTIRE 2022 spectral demosaicing challenge and data set
CN111201783A (zh) 成像装置和方法以及图像处理装置和方法
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN109146799A (zh) 基于多张图的摩尔纹去除方法
Deng et al. Sinusoidal sampling enhanced compressive camera for high speed imaging
Chandramouli et al. A generative model for generic light field reconstruction
Hong et al. Reflection removal with nir and rgb image feature fusion
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN104217412B (zh) 一种机载超分辨率图像重建装置及重建方法
Hong et al. PAR $^{2} $ Net: End-to-end Panoramic Image Reflection Removal
Liang et al. Method for reconstructing a high dynamic range image based on a single-shot filtered low dynamic range image
Diaz et al. Multispectral filter array design by optimal sphere packing
Jia et al. Learning Rich Information for Quad Bayer Remosaicing and Denoising
Zhao et al. Stripe sensitive convolution for omnidirectional image dehazing
CN115496819B (zh) 一种基于能量集中特性的快速编码光谱成像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant