CN115211106A - 信号处理方法、信号处理装置及摄像系统 - Google Patents

信号处理方法、信号处理装置及摄像系统 Download PDF

Info

Publication number
CN115211106A
CN115211106A CN202180018960.9A CN202180018960A CN115211106A CN 115211106 A CN115211106 A CN 115211106A CN 202180018960 A CN202180018960 A CN 202180018960A CN 115211106 A CN115211106 A CN 115211106A
Authority
CN
China
Prior art keywords
band
bands
data
sub
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018960.9A
Other languages
English (en)
Inventor
八子基树
石川笃
久田和也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115211106A publication Critical patent/CN115211106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本公开的一个方式所涉及的信号处理方法包括：取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。

Description

信号处理方法、信号处理装置及摄像系统
技术领域
本公开涉及信号处理方法、信号处理装置及摄像系统。
背景技术
通过灵活利用各自为窄带的多个带例如数十个带的谱信息，能够掌握在以往的RGB图像中无法掌握的对象物的详细物性。将取得这样的多波长的信息的相机称为“高光谱相机”。高光谱相机在食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域中得到利用。
专利文献1公开了利用压缩感知的高光谱摄像装置的例子。该摄像装置具备：作为光透射率的波长依赖性相互不同的多个滤光器的阵列的编码元件、对透射了编码元件的光进行检测的图像传感器、以及信号处理电路。在将被摄体与图像传感器连结的光路上，配置有编码元件。图像传感器按每个像素对重叠有多个波带的成分的光同时进行检测，从而取得1个波长复用图像。信号处理电路利用编码元件的分光透射率(spectraltransmittance)的空间分布的信息，对取得的波长复用图像适用压缩感知，从而重构关于多个波带中的各个波带的图像数据。
在先技术文献
专利文献
专利文献1：美国专利第9599511号说明书
发明内容
本发明所要解决的课题
在以往的高光谱摄像装置中，生成并显示关于取得的波长复用图像的波段(以下称为“对象波段”)所包含的全部波带中的各个波带的图像数据。但是，根据用途，有时仅需要关于对象波段中的一部分波段的信息。在这样的情况下，以高波长分辨率生成无用的波带的信息并不能说是高效的。
本公开提供用于有效地生成所需的波带的图像的技术。
用于解决课题的手段
本公开的一个方式所涉及的方法是由计算机执行的信号处理方法。所述方法包括：取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
本公开的概括性或者具体性的方式也可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合实现。计算机可读取的记录介质例如可以包括CD-ROM(紧凑盘只读存储器(CompactDisc-ReadOnlyMemory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的系统。
发明效果
根据本公开，能够有效地生成所需的波带的图像。
附图说明
图1A是示意性地表示例示性的高光谱摄像系统的图。
图1B是示意性地表示例示性的高光谱摄像系统的第1变形例的图。
图1C是示意性地表示例示性的高光谱摄像系统的第2变形例的图。
图1D是示意性地表示例示性的高光谱摄像系统的第3变形例的图。
图2A是示意性地表示滤光器阵列的例子的图。
图2B是表示对象波段所包含的多个波带W1、W2、···、WN各自的光的透射率的空间分布的一例的图。
图2C是表示图2A所示的滤光器阵列所包含的区域A1的分光透射率的例子的图。
图2D是表示图2A所示的滤光器阵列所包含的区域A2的分光透射率的例子的图。
图3A是表示对象波段W与其包含的多个波带W1、W2、···、WN之间的关系的一例的图。
图3B是表示对象波段W与其包含的多个波带W1、W2、···、WN之间的关系的其他例的图。
图4A是用于说明滤光器阵列的某区域中的分光透射率的特性的图。
图4B是表示按每个波带W1、W2、···、WN对图4A所示的分光透射率进行平均化而得到的结果的图。
图5是示意性地表示高光谱相机的利用场景的图。
图6A是表示对象波段W及被指定的子波段Wa的一例的图。
图6B是表示不仅指定第1子波段而且指定第2子波段的情况下的例子的图。
图7是表示本公开的例示性的实施方式中的摄像系统的构成的图。
图8是表示系统的动作的流程图。
图9是表示存储器中保存的变换前的屏蔽数据的例子的图。
图10是表示用于输入摄像条件的GUI的例子的图。
图11是表示用于输入复原条件的GUI的例子的图。
图12是表示用于输入复原条件的GUI的例子的图。
图13是表示显示作为复原运算的结果而生成的分光图像的画面的例子的图。
图14是用于说明将多个带的屏蔽信息合成来变换为新的屏蔽信息的方法的例子的图。
图15A是表示存储器中记录的变换后的屏蔽数据的例子的图。
图15B是表示存储器中记录的变换后的屏蔽数据的其他例的图。
图16是表示生成关于对象波段所包含的多个波带中的各个波带的图像的方法的一例的图。
图17是表示信号处理电路不进行屏蔽信息的变换的情况下的系统的构成的图。
图18是表示用于设定复原条件的GUI的其他例的图。
图19是表示显示未指定的波段的图像的例子的图。
图20是表示通过进行2个阶段的复原从而仅对特定的子波段以高波长分辨率进行复原的方法的例子的图。
具体实施方式
以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置、位置及连接方式、步骤及步骤的顺序是一例，其主旨不在于限定本公开的技术。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，针对在实质上相同或者相似的构成要素赋予相同的标记。有时省略或者简化重复的说明。
在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(IC)或者包含LSI(largescale integration：大规模集成电路)的1个或者多个电子电路执行。LSI或者IC既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为LSI或者IC，但根据集成的程度而叫法改变，也可以是被称为系统LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra largescale integration：特大规模集成电路)的电路。在LSI的制造后被编程的现场可编程逻辑门阵列(FPGA、Field Programmable Gate Array)或者能够重构LSI内部的接合关系或者设置LSI内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者动作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置、以及所需的硬件设备例如接口。
首先，说明本公开的实施方式所涉及的高光谱摄像系统的构成例、以及本发明人们所想到的见识。
图1A是示意性地表示例示性的高光谱摄像系统的图。该系统具备摄像装置100和处理装置200。摄像装置100具备与专利文献1中公开的摄像装置同样的构成。摄像装置100具备光学系统140、滤光器阵列110和图像传感器160。滤光器阵列110具有与专利文献1中公开的“编码元件”同样的构造及功能。因此，在以下的说明中，有时将滤光器阵列110称为“编码元件”。光学系统140及滤光器阵列110被配置在从作为被摄体的对象物70入射的光的光路上。滤光器阵列110被配置在光学系统140与图像传感器160之间。
在图1A中，例示了苹果作为对象物70的一例。对象物70不限于苹果，可以是任意的物体。处理装置200基于图像传感器160所生成的图像数据，关于对象波段所包含的多个波带中的各个波带生成图像数据。在本说明书中将该图像数据称为“分光图像数据”。在此，将对象波段所包含的波带的数量设为N(N为4以上的整数)。在以下的说明中，将生成的多个波带的分光图像数据称为分光图像220W1、220W2、···、220WN，将其总称为分光图像220。在本说明书中，有时将表示图像的数据或者信号、即表现各像素的像素值的数据或者信号的集合简称为“图像”。
滤光器阵列110是以行及列状排列的具有透光性的多个滤光器的阵列。多个滤光器包括分光透射率即光透射率的波长依赖性相互不同的多个种类的滤光器。滤光器阵列110按每个波长对入射光的强度进行调制并输出。在本说明书中将滤光器阵列110所进行的该过程称为“编码”。
在图1A所示的例中，滤光器阵列110被配置在图像传感器160的附近或者紧上方(正上)。在此，“附近”意味着：以来自光学系统140的光的像在某种程度上以鲜明的状态被形成在滤光器阵列110的面上的程度接近。“紧上方(正上)”意味着两者以几乎没有间隙的程度接近。滤光器阵列110及图像传感器160也可以一体化。
光学系统140包括至少1个透镜。在图1A中将光学系统140作为1个透镜表示，但光学系统140也可以是多个透镜的组合。光学系统140经由滤光器阵列10在图像传感器160的摄像面上形成像。
滤光器阵列110也可以与图像传感器160相离配置。图1B至图1D是表示滤光器阵列110与图像传感器160相离配置的摄像装置100的构成例的图。在图1B的例中，滤光器阵列110被配置在光学系统140与图像传感器160之间且与图像传感器160相离的位置。在图1C的例中，滤光器阵列110被配置在对象物70与光学系统140之间。在图1D的例中，摄像装置100具备2个光学系统140A及140B，在它们之间配置有滤光器阵列110。也可以像这些例子那样在滤光器阵列110与图像传感器160之间配置有包括1个以上的透镜的光学系统。
图像传感器160是具有以2维排列的多个光检测元件(在本说明书中也称为“像素”)的黑白类型的光检测器。图像传感器160例如可以是CCD(电荷耦合器件(Charge-Coupled Device))、CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))传感器、红外线阵列传感器、太赫兹阵列传感器或者毫米波阵列传感器。光检测元件例如包括光电二极管。图像传感器160不一定必须是黑白类型的传感器。例如也可以使用具有R/G/B、R/G/B/IR或者R/G/B/W的滤光器的彩色类型的传感器。通过使用彩色类型的传感器，能够增加与波长相关的信息量，能够提高分光图像220的重构的精度。作为取得对象的波长范围可以任意地决定，不限于可视的波长范围，也可以是紫外、近红外、中红外、远红外、微波/电波的波长范围。
处理装置200是具备处理器以及存储器等存储介质的计算机。处理装置200基于由图像传感器160取得的图像120，生成各自包含多个波带的信息的多个分光图像220W1、220W2、···220WN的数据。
图2A是示意性地表示滤光器阵列110的例子的图。滤光器阵列110具有以2维排列的多个区域。在本说明书中，有时将该区域称为“单元”。在各区域中，配置有具有个别设定的分光透射率的滤光器。在将入射光的波长设为λ时，分光透射率由函数T(λ)表现。分光透射率T(λ)可以取0以上且1以下的值。
在图2A所示的例中，滤光器阵列110具有以6行8列排列的48个矩形区域。这不过是例示，在实际用途中，可以设置比其更多的区域。其数量例如也可以与图像传感器160的像素数量为相同程度。滤光器阵列110所包括的滤光器数量例如在数十至数千万的范围中根据用途决定。
图2B是表示对象波段所包含的多个波带W1、W2、···、WN各自的光的透射率的空间分布的一例的图。在图2B所示的例中，各区域的浓淡的差异表现了透射率的差异。越淡的区域则透射率越高，越浓的区域则透射率越低。如图2B所示，光透射率的空间分布根据波带而不同。
图2C及图2D分别是表示图2A所示的滤光器阵列110所包含的区域A1及区域A2的分光透射率的例子的图。区域A1的分光透射率与区域A2的分光透射率相互不同。像这样，滤光器阵列110的分光透射率根据区域而不同。但是，并不一定需要全部区域的分光透射率都不同。在滤光器阵列110中，多个区域中的至少一部分区域的分光透射率相互不同。滤光器阵列110包括分光透射率相互不同的2个以上的滤光器。在某例中，滤光器阵列110所包含的多个区域的分光透射率的模式的数量，可以与对象波段所包含的波带的数量N相同，或者为其以上。滤光器阵列110也可以被设计为半数以上的区域的分光透射率不同。
图3A及图3B是用于说明对象波段W与其包含的多个波带W1、W2、···、WN之间的关系的图。对象波段W可以根据用途而设定为各种范围。对象波段W例如可以是大致400nm至大致700nm的可见光的波段、大致700nm至大致2500nm的近红外线的波段、或者大致10nm至大致400nm的近紫外线的波段。或者，对象波段W也可以是中红外、远红外、太赫兹波、或者毫米波等电波段。像这样，使用的波段不限于可见光域。在本说明书中，为了方便，不限于可见光而将近紫外线、近红外线及电波等非可见光也称为“光”。
在图3A所示的例中，将N设为4以上的任意的整数，将对象波段W被N等分而成的各个波段设为波带W1、W2、···、WN。但是不限定于这样的例子。对象波段W所包含的多个波带也可以任意地设定。例如，也可以使带宽根据波带而不均。也可以在相邻的波带之间具有间隙或者重叠。在图3B所示的例中，带宽根据波带而不同，而且在相邻的2个波带之间具有间隙。像这样，多个波带只要相互不同即可，其决定方法是任意的。
图4A是用于说明滤光器阵列110的某区域中的分光透射率的特性的图。在图4A所示的例中，分光透射率关于对象波段W内的波长，具有多个极大值P1至P5、以及多个极小值。在图4A所示的例中，对象波段W内的光透射率以最大值为1且最小值为0的方式被归一化。在图4A所示的例中，在波带W2及波带WN-1等波段中，分光透射率具有极大值。像这样，各区域的分光透射率在多个波带W1至WN之中的至少2个波段中具有极大值。在图4A的例中，极大值P1、P3、P4及P5为0.5以上。
如上，各区域的光透射率根据波长而不同。因此，滤光器阵列110使入射的光之中的某波段的成分较多地透射，而使其他波段的成分不那么多地透射。例如可以是，N个波带之中的k个波带的光的透射率比0.5大，剩余的N-k个波段的光的透射率小于0.5。k是满足2≤k＜N的整数。假如在入射光是均等地包含全部可见光的波长成分的白色光的情况下，滤光器阵列110按每个区域将入射光调制为关于波长具有离散的多个强度的峰的光，并将这些多波长的光重叠并输出。
图4B是作为一例表示按每个波带W1、W2、···、WN对图4A所示的分光透射率进行平均化而得到的结果的图。通过按每个波带对分光透射率T(λ)进行积分并除以该波带的带宽，能够得到平均化的透射率。在本说明书中，将像这样按每个波带进行了平均化的透射率的值设为该波带中的透射率。在该例中，在取极大值P1、P3及P5的3个波段中，透射率突出地变高。特别是，在取极大值P3及P5的2个波段中，透射率超过0.8。
在图2A至图2D所示的例中，设想为各区域的透射率可以取0以上且1以下的任意值的灰阶的透射率分布。但是，不一定需要设为灰阶的透射率分布。例如，也可以采用各区域的透射率可以取大致0或者大致1中的某一个值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波段所包含的多个波段之中的至少2个波段的光的大部分透射，而使剩余的波段的光的大部分不透射。在此“大部分”是指大致80％以上。
也可以将全部单元之中的一部分、例如一半的单元置换为透明区域。这样的透明区域使对象波段W所包含的全部波带W1至WN的光以相同程度的高透射率、例如80％以上的透射率透射。在这样的构成中，多个透明区域例如能够配置为棋盘(checkerboard)状。即，在滤光器阵列110中的多个区域的2个排列方向上，光透射率根据波长而不同的区域与透明区域可以交替地排列。
表示这样的滤光器阵列110的分光透射率的空间分布的数据通过设计数据或者实测校准而事先取得，并存放于处理装置200所具备的存储介质。该数据在后述的运算处理中被利用。
滤光器阵列110例如可以通过使用多层膜、有机材料、衍射栅格构造或者包含金属的微细构造来构成。在使用多层膜的情况下，例如可以使用介电体多层膜或者包含金属层的多层膜。在该情况下，形成为各多层膜的厚度、材料及层叠顺序中的至少1个按每个单元而不同。由此，能够实现根据单元而不同的分光特性。通过使用多层膜，能够实现分光透射率中的尖锐的升高及降低。通过使所含有的颜料或者染料根据单元而不同，或者使不同种类的材料层叠，可以实现使用有机材料的构成。通过按每个单元设置不同的衍射间距或者深度的衍射构造，可以实现使用衍射栅格构造的构成。在使用包含金属的微细构造的情况下，可以利用基于等离激元效应的分光来制作。
接下来，说明处理装置200的信号处理的例子。处理装置200基于从图像传感器160输出的图像120、以及滤光器阵列110的按每个波长的透射率的空间分布特性，重构多波长的分光图像220。在此，多波长意味着例如比由通常的彩色相机取得的RGB这3色的波段更多的波段。该波段的数量例如可以是4至100左右的数量。将该波段的数量称为带数。根据用途，带数也可以超过100。
想要求出的数据是分光图像220的数据，将该数据设为f。如果将带数设为N，则f是将各带的图像数据f1、f2、···、fN综合而得到的数据。在此，如图1A所示，将图像的横向设为x方向，将图像的纵向设为y方向。如果将想求出的图像数据的x方向的像素数设为n，将y方向的像素数设为m，则图像数据f1、f2、···、fN分别是n×m像素的2维数据。因此，数据f是元素数n×m×N的3维数据。将该3维数据称为“高光谱数据立方体”或者“高光谱立方体”。另一方面，由滤光器阵列110进行编码及复用而取得的图像120的数据g的元素数是n×m。数据g能够通过下式(1)表现。
[数1]
Figure BDA0003831589320000091
在此，f1、f2、···、fN各自是具有n×m个元素的数据。因此，右边的矢量严密地说是n×m×N行1列的1维矢量。矢量g被变换为n×m行1列的1维矢量来表现并计算。矩阵H表现按每个波带以不同的编码信息(以下也称为“屏蔽信息”)对矢量f的各成分f1、f2、···、fN进行编码及强度调制、并将其相加的变换。因此，H是n×m行n×m×N列的矩阵。在本说明书中，有时将矩阵H称为“系统矩阵”。
如果给出了矢量g和矩阵H，则通过对式(1)的反演问题求解，应该能够计算f。但是，要求出的数据f的元素数n×m×N比取得数据g的元素数n×m更多，因此该问题是不适定问题，无法直接求解。于是，处理装置200利用数据f所包含的图像的冗余性，利用压缩感知的方法求解。具体而言，通过对下式(2)进行求解，估计要求出的数据f。
[数2]
Figure BDA0003831589320000101
在此，f’表现估计出的f的数据。上式的括号内的第1项表现估计结果Hf与取得数据g的偏差量、即所谓残差项。在此将平方和设为残差项，但也可以将绝对值或者平方和平方根等设为残差项。括号内的第2项是正则化项或者稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。处理装置200通过回归的迭代运算使解收敛，能够计算最终的解f’。
式(2)的括号内的第1项意味着求出取得数据g与通过矩阵H对估计过程中的f进行变换而得到的Hf之差的平方和的运算。第2项的Φ(f)是f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。该函数具有使估计数据平滑或者稳定的效果。正则化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅立叶变换或者总变分(TV)等表现。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声影响的稳定的推测数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择使得对象物70的纹理在正则化项的空间中变得更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为使得f以某种程度收敛而且不过度压缩的适度的值。
此外，在图1B及图1C的构成中，由滤光器阵列110编码的像在图像传感器160的摄像面上以模糊的状态被取得。因此，通过预先持有该模糊信息，并使该模糊信息反映至上述的系统矩阵H中，能够重构分光图像220。在此，模糊信息由点扩散函数(Point SpreadFunction：PSF)表现。PSF是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像由于模糊而扩散至该像素周围的k×k像素的区域的情况下，PSF可以作为表示对该区域内的各像素的亮度造成的影响的系数群即矩阵来规定。通过使基于PSF的编码模式的模糊的影响反映至系统矩阵H，能够重构分光图像220。滤光器阵列110被配置的位置是任意的，可以选择使得滤光器阵列110的编码模式不会过度扩散而消失的位置。
在以上的构成中，如图3A及图3B所示，生成表示关于对象波段W所包含的全部多个波带W1至WN的2维图像的高光谱数据立方体。但是，根据用途，有时不需要关于全部这些波带的图像。在这样的情况下，关于全部波带都以高波长分辨率生成图像则效率不高。
图5是示意性地表示高光谱相机的利用场景的图。在某情况下，用户为了估计苹果的糖度，有时希望取得红色的波段、例如600nm至700nm的波段中的颜色信息。在其他情况下，用户为了知晓叶子的准确的谱，有时希望取得绿色的波段、例如500nm至600nm的波段中的颜色信息。在再其他情况下，用户为了知晓蓝色的商品的褪色状况，有时希望取得蓝色的波段、例如400nm至500nm的波段中的颜色信息。
在这样的情况下，在以往的高光谱相机中，为了取得不同波段中的颜色信息，使用以下的(1)及(2)中的某一个方法。(1)利用能够独立地取得各个波段的信息的图像传感器。
(2)使用能够取得宽波段的信息的相机来较宽地取得颜色信息，而仅显示所需的波段的信息。
在(1)的方法中，针对需要与某用途中需要的颜色信息不同的颜色信息的用途，需要准备不同的图像传感器。
在(2)的方法中，取得比需要的波段宽的波段的颜色信息，并生成关于该宽波段所包含的多个波带中的各个波带的图像。因此，关于无用的波段也进行大量计算，耗费超出所需的计算成本。
于是，在本公开的实施方式中，使得用户能够基于由高光谱摄像装置取得的图像数据，指定作为对象波段W的一部分的1个以上的子波段。信号处理装置生成表示关于被指定的1个以上的子波段所包含的多个波带的多个2维图像的高光谱数据立方体。由此，能够抑制计算成本，并且取得关于用户所需要的子波段的详细的分光信息。
图6A是表示对象波段W以及被指定的子波段Wa的一例的图。在该例中，仅指定1个子波段Wa。子波段Wa是对象波段W的一部分，且包含多个波带Wa1、Wa2、···、Wai。在此，i表现子波段Wa所包含的波带的数量。信号处理装置生成表示关于这些波带Wa1、Wa2、···、Wai中的各个波带的2维图像的高光谱数据立方体。
图6B表示了不仅指定第1子波段Wa而且指定第2子波段Wb的情况下的例子。第1子波段Wa及第2子波段Wb相离，都被包含在对象波段W中。第2子波段Wb包含多个波带Wb1、Wb2、···、Wbj。在此，j表现第2子波段Wb所包含的波带的数量。像这样，也可以指定多个子波段。
像这样，信号处理装置基于由摄像装置生成的图像数据，生成被指定的子波段所包含的多个波带的图像。生成的多个波带的图像被显示在显示器上。通过这样的动作，能够减小生成在作为目的的利用场景中不需要的分光图像所耗费的计算成本。
以下说明本公开的实施方式的概要。
本公开的一个实施方式所涉及的信号处理方法由计算机执行。所述方法包括：取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
“对象波段内的高光谱信息”，意味着与预定的对象波段所包含的多个波带分别对应的多个图像的信息。“压缩高光谱信息(对高光谱信息进行压缩)”，包括使用像上述的滤光器阵列120那样的编码元件将多个波带的图像信息压缩为1个黑白的2维图像、以及通过软件处理将预先取得的多个波带的图像信息压缩为1个黑白的2维图像。
根据上述的方法，例如能够生成与由用户指定的1个以上的子波段所包含的多个波带对应的多个2维图像的数据、即高光谱数据立方体。因此，能够根据用途或者目的仅生成所需的高光谱数据立方体。
所述高光谱信息也可以是所述对象波段所包含的4个以上的波带的信息，所述2维图像信息也可以是所述压缩图像数据所包括的多个像素的数据。也可以在所述多个像素各自的数据中重叠有所述4个以上的波带的信息。换言之，在所述压缩图像数据的各像素的数据中，可以包括重叠有所述对象波段所包含的4个以上的波带的信息而得到的1个值。在所述压缩图像数据的各像素的数据中，也可以根据用途而重叠有10个以上或者100个以上的波带的信息。
所述设定数据可以包括用于指定所述1个以上的子波段中的波长分辨率的信息。所述多个2维图像可以以所述波长分辨率生成。在这样的方式中，用户不仅能够指定子波段，而且能够按每个子波段指定波长分辨率。因此，能够提高需要详细的分光信息的子波段的波长分辨率等而进行灵活的调整。
所述1个以上的子波段可以包括第1子波段及第2子波段。所述多个2维图像可以按所述第1子波段及所述第2子波段中的每个子波段生成。
所述1个以上的子波段可以包括第1子波段及第2子波段。所述波长分辨率可以按所述第1子波段及所述第2子波段中的每个子波段独立地指定。所述多个2维图像可以按所述第1子波段及所述第2子波段中的每个子波段以对应的所述波长分辨率生成。
所述第1子波段与所述第2子波段也可以相离。或者，所述第1子波段与所述第2子波段也可以相邻，也可以相互部分地重合。
所述方法也可以还包括：使与所述计算机连接的显示器显示供用户输入所述设定数据的图形用户界面(GUI)。通过显示这样的GUI，用户能够容易地进行指定子波段以及按每个子波段指定波长分辨率等操作。
所述方法也可以还包括：使与所述计算机连接的显示器显示所述多个2维图像。由此，用户能够容易地确认被生成的每个波带的分光图像。
所述压缩图像数据可以通过使用包括分光透射率相互不同的多个种类的滤光器的滤光器阵列以及图像传感器进行摄像而生成。所述方法可以还包括：取得反映出所述滤光器阵列的所述分光透射率的空间分布的屏蔽数据。所述多个2维图像可以基于所述压缩图像数据及所述屏蔽数据生成。
所述方法也可以还包括：取得包括多个屏蔽图像的信息的屏蔽数据，该多个屏蔽图像是经过所述滤光器阵列由所述图像传感器对与所述对象波段所包含的多个单位带分别对应的多个背景进行摄像从而分别取得的多个屏蔽图像。所述多个2维图像可以基于所述压缩图像数据及所述屏蔽数据生成。
屏蔽数据例如可以是规定上述的式(2)中的矩阵H的数据。屏蔽数据的形式可以根据摄像系统的构成而不同。屏蔽数据既可以表示滤光器阵列的分光透射率的空间分布，也可以包括用于计算滤光器阵列的分光透射率的空间分布的信息。例如，屏蔽数据也可以不仅包括上述的屏蔽图像的信息，而且包括每个单位带的背景图像的信息。通过按每个像素用屏蔽图像除以背景图像，能够按每个单位带得到透射率分布的信息。屏蔽数据也可以仅包括屏蔽图像的信息。屏蔽图像表示用滤光器阵列的透射率乘以图像传感器的灵敏度而得到的值的分布。在滤光器阵列以与图像传感器接近地对置的方式配置的构成中，可以使用这样的屏蔽数据。
所述屏蔽数据可以包括屏蔽信息。所述屏蔽信息可以表示所述对象波段所包含的多个单位带各自中的所述滤光器阵列的透射率的空间分布。所述方法还可以包括：通过将与所述对象波段之中的所述1个以上的子波段以外的非指定波段所包含的多个单位带对应的所述屏蔽信息的一部分合成，从而生成合成屏蔽信息；以及基于所述压缩图像数据及所述合成屏蔽信息，生成与所述非指定波段对应的合成图像。
所述方法还可以包括：生成将关于所述对象波段之中的被指定的所述1个以上的子波段以外的非指定波段所包含的多个单位带的所述屏蔽图像合成而得到的合成屏蔽图像；以及基于所述压缩图像数据及所述合成屏蔽图像，生成关于所述非指定波段的合成图像数据。
根据上述的方法，关于非指定波段不生成详细的分光图像，而仅关于被指定的子波段生成详细的分光图像。因此，能够缩短生成分光图像所需的运算时间。
所述屏蔽数据也可以包括：通过不经过所述滤光器阵列而由所述图像传感器对所述多个背景进行摄像从而分别取得的多个背景图像的信息。所述方法也可以还包括：生成将所述多个背景图像合成而得到的合成背景图像。所述合成图像可以基于所述压缩图像数据、所述合成屏蔽图像以及所述合成背景图像生成。
所述屏蔽数据也可以包括多个背景图像以及多个屏蔽图像。所述多个背景图像各自例如通过不经过所述滤光器阵列而由所述图像传感器对多个背景之中的对应的背景进行摄像从而取得。所述多个屏蔽图像各自例如通过经过所述滤光器阵列由所述图像传感器对所述多个背景之中的所述对应的背景进行摄像从而取得。所述合成屏蔽信息可以基于所述多个屏蔽图像及所述多个背景图像生成。
所述方法也可以还包括：使与所述计算机连接的显示器显示所述合成图像。由此，用户能够容易地确认关于未指定的波段的大致的图像。
所述屏蔽数据可以包括屏蔽信息。所述屏蔽信息可以表示所述对象波段所包含的多个单位带各自中的所述滤光器阵列的透射率的空间分布。所述设定数据可以包括用于指定各自为所述对象波段的一部分的多个大子波段以及所述多个大子波段中的至少1个大子波段所包含的多个小子波段的信息。所述方法可以还包括：关于所述多个大子波段中的各个大子波段，将与所述多个大子波段中的各个大子波段所包含的多个单位带对应的所述屏蔽信息的一部分合成，从而生成第1合成屏蔽信息；以及基于所述压缩图像数据和所述第1合成屏蔽信息，关于所述多个大子波段中的各个大子波段生成第1合成图像。所述多个2维图像可以与所述多个小子波段对应地生成。所述方法也可以还包括：关于所述多个小子波段中的各个小子波段，生成将关于所述小子波段所包含的多个单位带的所述屏蔽信息合成而得到的第2合成屏蔽信息；以及基于关于被指定的所述多个大子波段中的所述至少1个大子波段的所述第1合成图像、以及所述第2合成屏蔽信息，按每个所述小子波段生成第2合成图像。
根据上述的方法，例如能够关于由用户指定的、对象波段所包含的多个大子波段以及这些大子波段中的至少1个大子波段所包含的多个小子波段中的各个小子波段，生成合成后的图像。因此，能够仅关于需要详细的颜色信息的波段设定小子波段，而关于无需详细的颜色信息的波段仅设定大子波段等，进行灵活的调整。
所述对象波段可以包括可视波段。所述方法也可以还包括：基于所述压缩图像数据及所述合成屏蔽信息，生成与红的波段对应的图像、与绿的波段对应的图像及与蓝的波段对应的图像；以及使与所述计算机连接的显示器显示基于所述与红的波段对应的图像、所述与绿的波段对应的图像及所述与蓝的波段对应的图像的RGB图像。由此，用户能够确认与关于被指定的子波段的详细的分光图像不同的对象物的RGB图像。
本公开的再其他的实施方式所涉及的方法是生成屏蔽数据的方法。所述屏蔽数据用于从由包括滤光器阵列的摄像装置取得的压缩图像数据复原每个波带的分光图像数据，该滤光器阵列包括分光透射率相互不同的多个种类的滤光器。即，上述方法是生成用于从由包括滤光器阵列的摄像装置取得的压缩图像数据复原每个波带的分光图像数据的屏蔽数据的方法，该滤光器阵列包括分光透射率相互不同的多个种类的滤光器。所述方法包括：取得用于复原与对象波段中的第1波带群对应的第1分光图像的第1屏蔽数据；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
第1波带群可以是对象波段所包含的全部或者一部分波带的集合。第2波带群可以是子波段所包含的全部或者一部分波带的集合。第1波带群及第2波带群各自也可以是将2个以上的单位波带合成而得到的合成带的集合体。在进行这样的带合成的情况下，与带的合成方式相应地进行屏蔽数据的变换处理。设定数据也可以包括与屏蔽数据的变换处理中使用的带的合成方式相关的信息。
所述第1屏蔽数据及所述第2屏蔽数据可以是反映出所述滤光器阵列的分光透射率的空间分布的数据。所述第1屏蔽数据可以包括表示与所述第1波带群对应的所述分光透射率的空间分布的第1屏蔽信息。所述第2屏蔽数据可以包括表示与所述第2波带群对应的所述分光透射率的空间分布的第2屏蔽信息。
所述第2屏蔽数据可以还包括通过将多个信息合成而得到的第3屏蔽信息。所述多个信息分别表示与所述对象波段之中的所述1个以上的子波段以外的非指定波段所包含的对应的波带中的所述分光透射率的空间分布。
本公开的其他方式所涉及的信号处理装置具备：处理器、以及存放由所述处理器执行的计算机程序的存储器。所述计算机程序使所述处理器执行：取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
本公开的其他方式所涉及的信号处理装置具备：处理器、以及存放由所述处理器执行的计算机程序的存储器。所述计算机程序使所述处理器执行：取得用于复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述第1屏蔽数据和所述设定数据，复原用于生成与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
本公开的其他方式所涉及的摄像系统具备：所述信号处理装置、以及生成所述压缩图像数据的摄像装置。
本公开的其他方式所涉及的计算机程序使计算机执行：取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
本公开的其他方式所涉及的计算机程序使计算机执行：取得用于从由包括滤光器阵列的摄像装置取得的压缩图像数据复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据，该滤光器阵列包括分光透射率相互不同的多个种类的滤光器；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
本公开的其他方式所涉及的能够由计算机读取的非易失性的存储介质存放用于使计算机执行进程的程序，该进程包括：取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
本公开的其他方式所涉及的能够由计算机读取的非易失性的存储介质存放用于使计算机执行进程的程序，该进程包括：取得用于复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据；取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
以下，说明本公开的更具体的实施方式。其中，有时省略过于详细的说明。例如，有时省略已经公知的事项的详细说明及针对实质上相同的构成的重复说明。这是为了避免以下的说明过于冗长，而使得本领域技术人员易于理解。此外，发明人们为了使本领域技术人员充分理解本公开而提供了附图及以下的说明，其意图不在于通过这些对权利要求书所记载的主题进行限定。在以下的说明中，针对相同或者相似的构成要素附加相同的参照标记。在以下的说明中，使用在图中表示的xyz坐标。
(实施方式)
图7是表示本公开的例示性的实施方式中的摄像系统的构成的图。本系统具备摄像装置100、处理装置200、显示装置300和输入用户界面(UI)400。处理装置200相当于本公开中的信号处理装置。
摄像装置100具备图像传感器160、以及对图像传感器160进行控制的控制电路150。在图7中虽未图示，摄像装置100如图1A至图1D所示，还具备滤光器阵列110及至少1个光学系统140。滤光器阵列110及光学系统140的配置可以是图1A至图1D中的任一种配置。图像传感器160取得基于由滤光器阵列110按每个区域对强度进行调制后的光的黑白图像。在该黑白图像的各像素的数据中，重叠有对象波段W内的多个波带的信息。由此，该黑白图像可以说是将对象波段W内的高光谱信息压缩为2维图像而得到的图像。这样的黑白图像是本说明书中的“压缩图像”的一例。另外，在本说明书中，将表示压缩图像的数据称为“压缩图像数据”。
处理装置200具备信号处理电路250、以及RAM及ROM等存储器210。信号处理电路250可以是具备CPU或者GPU等处理器的集成电路。信号处理电路250基于从图像传感器160输出的压缩图像数据进行复原处理。该复原处理与图1A至图1D所示的处理装置200所进行的处理基本相同，但在本实施方式中，依照从输入UI400输入的复原条件进行复原处理。信号处理电路250仅关于对象波段之中的被指定的子波段以高波长分辨率生成图像数据。由此，能够缩短计算时间。存储器210存放由信号处理电路250所包括的处理器执行的计算机程序、由信号处理电路250参照的各种数据、以及由信号处理电路250生成的各种数据。
显示装置300具备存储器310、图像处理电路320和显示器330。存储器310临时地存储从输入UI400发送的表示复原条件的设定数据。图像处理电路320对由信号处理电路250复原后的图像实施所需的处理之后使其显示在显示器330上。显示器330例如可以是液晶或者有机LED等任意的显示器。
输入UI400包括用于设定摄像条件及复原条件等各种条件的硬件及软件。摄像条件例如可以包括分辨率、增益及曝光时间等条件。复原条件例如可以包括各子波段的下限波长及上限波长、各子波段所包含的波带的数量、以及计算次数等条件。被输入的摄像条件向摄像装置100的控制电路150发送。控制电路150依照摄像条件，使图像传感器160执行摄像。由此，图像传感器160生成将对象波段W内的多个波带的信息重叠而成的压缩图像。另外，被输入的复原条件向信号处理电路250及存储器310发送并记录。信号处理电路250依照被设定的复原条件进行复原处理，生成关于被指定的子波段的高光谱数据立方体。图像处理电路320依照被设定的复原条件，使显示器330显示关于被指定的子波段中的多个波带中的各个波带的图像。
信号处理电路250在复原时，依照由输入UI400输入的复原条件，根据需要对存储器210中预先记录的屏蔽数据进行变换并使用。屏蔽数据是表示滤光器阵列110的分光透射率的空间分布的数据，包括相当于上述的式(2)中的矩阵H的信息。被生成的分光图像由图像处理电路320根据需要进行处理。图像处理电路320例如在进行了决定画面内的配置、与带信息建立关联、或者与波长对应地着色等处理之后，使显示器330显示分光图像。
在本实施方式中，信号处理电路250仅针对对象波段W之中的被指定的至少1个子波段，生成关于多个波带中的各个波带的图像。针对对象波段W之中的被指定的子波段以外的波段，将连续的波段合计为1个波段来进行计算。由此，能够抑制计算成本。此外，信号处理电路250也可以针对对象波段W整体，生成关于多个波带中的各个波带的图像。在该情况下，图像处理电路320也可以从由信号处理电路250输入的图像数据中，提取关于被指定的子波段的数据并进行显示。
图8是表示本实施方式的系统的动作的流程图。在本实施方式中，首先，在步骤S101中，用户经由输入UI400输入摄像条件及复原条件(步骤S101)。表示被输入的摄像条件的数据向控制电路150发送。表示被输入的复原条件的数据向信号处理电路250及存储器310发送。存储器310临时地存储复原条件。在显示图像时，为了将图像与被设定的波带的条件建立关联而参照该复原条件。接下来，摄像装置100依照摄像条件对对象物进行摄像，从而取得压缩图像(步骤S102)。
如果取得了压缩图像，则信号处理电路250基于被输入的复原条件，判断是否需要对屏蔽数据进行变换(步骤S103)。在需要变换的情况下，信号处理电路250对存储器210中预先保存的屏蔽数据进行变换(步骤S104)。在此，变换是指将关于多个波段的屏蔽信息合成，并作为1个波段的屏蔽信息对待。关于屏蔽信息的合成的详细情况，参照图14后述。在无需变换的情况下，省略步骤S104。信号处理电路250使用压缩图像、以及根据需要而变换的屏蔽数据，依照被输入的复原条件进行复原运算(步骤S105)。由此，根据压缩图像生成分光图像。接下来，显示装置300的图像处理电路320将被生成的分光图像与存储器310中保存的复原条件建立关联，并附加标签(步骤S106)。例如，生成对被生成的分光图像分别附加了表示对应的波段的标签后的图像数据。图像处理电路320将生成的图像数据向显示器330输出，并使其显示图像(步骤S107)。
图9表示存储器210中保存的变换前的屏蔽数据的例子。该例中的屏蔽数据包括表示关于对象波段所包含的多个单位带中的各个单位带的透射率的空间分布的屏蔽信息。该例中的屏蔽数据包括：按每1nm分割后的多个单位带中的各个单位带的屏蔽信息、以及与屏蔽信息的取得条件相关的信息。各单位带根据下限波长和上限波长确定。屏蔽信息包括屏蔽图像及背景图像的信息。图9所示的多个屏蔽图像通过经过滤光器阵列110由图像传感器120对与多个单位带分别对应的多个背景进行摄像从而分别取得。多个背景图像通过不经过滤光器阵列110而由图像传感器120对该多个背景进行摄像从而分别取得。这样的屏蔽图像及背景图像的数据预先按每个单位带记录。与取得条件相关的信息包括曝光时间及增益的信息。此外，在图9的例中，关于宽度为1nm的多个单位带中的各个单位带，记录有屏蔽图像及背景图像的数据。各单位带的宽度不限于1nm，可以决定为任意的值。另外，在背景图像的均一性非常高的情况下，屏蔽数据也可以不包括背景图像的信息。例如，在以图像传感器120与滤光器阵列110接近地对置的方式集成的构成中，屏蔽信息与屏蔽图像大致一致，因此屏蔽数据也可以不包括背景图像。
接下来，参照图10至图13，说明通过进行上述的信息处理的程序而显示的图形用户界面(GUI)的例子。用于实现这些GUI的图像由信号处理电路250及图像处理电路320生成，并被显示在显示器330上。
图10表示了用于输入摄像条件的GUI的画面的例子。在该例中，用户在进行高光谱摄像之前，设定分辨率、增益、曝光时间及帧率。分辨率表现被显示的图像的纵横的像素数。分辨率例如可以通过用户从下拉菜单中选择VGA、HD、4K等名称、或者直接输入纵横的像素数来指定。增益也可以利用0以上的有理数来指定，通过有理数彼此的加减乘除来输入。例如，在输入了8/3的情况下，增益可以被设定为2.6666……dB。曝光时间及帧率不需要双方都输入。用户也可以输入曝光时间及帧率中的至少一方，在发生了冲突的情况下(例如曝光时间为100ms而帧率为30fps等)优先某一方。除了上述4个条件的输入，也可以设置自动地调整增益、曝光时间及帧率的功能。例如，也可以自动地进行调整以使平均亮度成为最大亮度的1/2。也可以如图10所示的例子那样，用于输入摄像条件的GUI具备对被设定的摄像条件进行保存及加载的功能。另外，GUI也可以具备实时地显示以被设定的摄像条件取得的压缩图像的功能。在此，不一定必须显示压缩图像自身。也可以显示在该时刻以被设定的摄像条件取得的任意的图像。例如，也可以配置仅输出红(R)、绿(G)、蓝(B)的值的像素，并显示仅使用这些像素的值取得的RGB图像。另外，例如也可以通过后述的单位带的合成处理，进行将400nm至500nm作为第1带、将500nm至600nm作为第2带、将600nm至700nm作为第3带的基于3个带的复原，并将复原结果显示为RGB图像。
图11及图12是表示用于输入复原条件的GUI的例子的图。在图11所示的例子中，用户输入子波段、波长分辨率或带分割数、以及计算次数。在此，计算次数表现式(2)所示的复原运算的反复次数。子波段如图11所示，例如可以通过利用拖放来设定下限波长和上限波长来指定。在图11的例中，指定了420nm至480nm的子波段、以及600nm至690nm的子波段。也可以替代利用拖放进行指定，而如图12所示，设为能够以数值输入子波段及各子波段内的各波带的范围。用于输入子波段及各子波段内的各波带的范围的区域既可以作为独立的窗口显示，也可以处于用于输入其他设定项目的画面内。
在图11的例中，用户输入波长分辨率和带分割数中的任一方。计算次数以1以上的任意的整数指定。典型地可以指定10至10000程度的次数。在图11的例中，也显示预测计算时间。预测计算时间不是由用户输入，而是根据被设定的分辨率、带分割数及计算次数自动地计算并显示。此外，也可以省略输入计算次数及显示预测计算时间的功能。也可以代替于此，而采用从高精度模式(低速)、平衡模式(中速)及高速模式(高速)等多个模式中例如利用下拉菜单进行选择的形式。如图11所示，也可以具备对被设定的复原条件进行保存及加载的功能。
图13是表示显示作为复原运算的结果而生成的分光图像的画面的例子的图。被生成的分光图像与被设定的复原条件建立关联，并以能够按被设定的每个带进行区别的形式显示。例如，如图13所示，可以与各带的复原图像一起将该带的下限波长及上限波长以数值显示。或者，也可以将各带以从短波长侧或者长波长侧开始计数的编号表示。也可以将各带的图像以该带所包含的颜色显示。在以上的例中，由波长(nm)表现的全部物理量也可以由波数(例如cm-1)或者频率(例如Hz)表现。
图14是用于说明将多个带的屏蔽信息合成来变换为新的屏蔽信息的方法的例子的图。在该例中，作为变换前的屏蔽信息，单位带#1至20的屏蔽信息如图9所示被预先保存于存储器210。在图14的例中，针对单位带#1至5不进行合成处理，而针对单位带#6至20进行合成处理。针对单位带#1至5，通过用屏蔽图像中的各区域的值除以背景图像中的对应的区域的值，计算滤光器阵列110的透射率分布。在此，将存储器210中保存的各屏蔽图像的数据称为“单位屏蔽图像数据”，将保存的各背景图像的数据称为“单位背景图像数据”。针对带#6至20，通过用针对各像素将带#6至20的单位屏蔽图像数据合计而得到的数据，除以针对各像素将带#6至20的单位背景图像数据合计而得到的数据，取得合成后的透射率分布。通过进行这样的操作，能够关于任意的多个带合成屏蔽信息。另外，在背景图像的均一性非常高的情况下，屏蔽信息与屏蔽图像大致一致。在该情况下，也可以使用将带#6至20的屏蔽图像数据合计而得到的数据或进行平均化而得到的数据，作为带#6至20的合成屏蔽数据。
在图9所示的例中，关于各自具有1nm的宽度的多个单位带中的各个单位带记录有屏蔽信息。相对于此，在图12所示的例中，用户所指定的各个波带的宽度为30nm而较宽。在这样的情况下，信号处理电路250按被指定的每个波带，将多个单位带的屏蔽信息合成并进行复原。
通过合成进行的屏蔽数据的变换处理，既可以在终端用户所使用的环境下进行，也可以在制造系统的工厂等制造现场进行。在屏蔽数据的变换处理在制造现场进行的情况下，在存储器210中，替代变换前的屏蔽数据或者除了变换前的屏蔽数据之外，预先保存变换后的屏蔽数据。
如上所述，屏蔽数据用于从由具备滤光器阵列的摄像装置取得的压缩图像数据复原每个波带的分光图像数据，该滤光器阵列包括分光透射率相互不同的多个种类的滤光器。本实施方式中的对屏蔽数据进行变换的方法包括以下的步骤。
·取得用于复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据。
·取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据。·基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
第1屏蔽数据例如可以是用于从压缩图像复原关于对象波段所包含的全部单位带中的各个单位带的分光图像的数据。第2屏蔽数据例如可以是用于从压缩图像复原关于被指定的各子波段所包含的全部单位带中的各个单位带的分光图像的数据。第2屏蔽数据也可以是用于从压缩图像复原通过将多个单位带合成而得到的每个合成带的分光图像的数据。在进行这样的合成的情况下，设定数据可以包括与带的合成方式相关的数据。在以下的说明中，通过将多个单位带合成而得到的合成带也称为“编辑后带”。
第1屏蔽数据及第2屏蔽数据分别是反映出滤光器阵列的分光透射率的空间分布的数据。第1屏蔽数据包括表示与第1波带群对应的分光透射率的空间分布的第1屏蔽信息。第2屏蔽数据包括表示与所述第2波带群对应的分光透射率的空间分布的第2屏蔽信息。
第2屏蔽数据也可以还包括第3屏蔽信息，该第3屏蔽信息是将表示与被指定的1个以上的子波段以外的非指定波段所包含的第3波带群对应的分光透射率的空间分布的信息合成而得到的信息。在该情况下，信号处理电路250能够基于压缩图像及第2屏蔽数据，生成关于被指定的各子波段的具有相对高的波长分辨率的分光图像、以及关于未指定的非指定波段的具有相对低的波长分辨率的分光图像。
图15A及图15B是表示存储器210中记录的变换后的第2屏蔽数据的例子的图。在图15A所示的例中，关于具有10nm的宽度的各个编辑后带，将屏蔽图像与背景图像以合成为变换后的屏蔽信息的状态保存。在背景图像的均一性非常高的情况下，屏蔽数据也可以不包括背景图像的信息。在图15B所示的例中，关于具有10nm的宽度的各个编辑后带，将变换后的屏蔽数据以用屏蔽图像除以背景图像而得到的合成屏蔽数据的状态保存。编辑后带的波长宽度不限于10nm，可以任意地设定。
合成屏蔽图像成为合成后的带宽越宽则越多的单位屏蔽图像被平均化的图像。同样，合成屏蔽数据成为合成后的带宽越宽则越多的单位屏蔽图像除以单位背景图像而得到的屏蔽数据被平均化的数据。因此存在如下倾向：合成后的带宽越宽，则合成屏蔽图像或者合成屏蔽数据成为对比度越小的数据。
图16是表示生成关于对象波段所包含的多个波带中的各个波带的图像的方法的一例的图。在该例中，对象波段包含4个子波段。第1子波段包含带#1至5。第2子波段包含带#6至10。第3子波段包含带#11至15。第4子波段包含带#16至20。在该例中，信号处理电路250关于各子波段，将不属于该子波段的全部单位带的屏蔽信息合成来进行复原运算。如图16所示，在任意的子波段中，即使将该子波段所不包含的单位带的屏蔽信息合成，也能够关于子波段内的带生成好的分光图像。通过进行这样的合成处理，能够缩短生成各带的图像所需的计算时间。
接下来说明本实施方式的变形例。
图17是表示信号处理电路250不进行屏蔽信息的变换的情况下的系统的构成的图。在该例中，信号处理电路250读取从输入UI400赋予的复原条件、以及存储器210中保存的屏蔽信息，根据从图像传感器160取得的压缩图像生成分光图像。在该情况下，信号处理电路250在对象波段的整体中生成分光图像，并向图像处理电路320输出。图像处理电路320依照被设定的复原条件，从取得的分光图像中，仅使关于一部分波带的图像显示在显示器330上。
图18是表示用于设定复原条件的GUI的其他例的图。在该例中，能够按设定的每个子波段指定不同的波长分辨率或者带分割数。用户按每个子波段输入波长分辨率或带分割数中的任一方。信号处理电路250依照被输入的波长分辨率或者带分割数进行复原运算。通过这样的构成，能够按每个子波段以不同的分辨率生成分光图像。
图19是表示用于显示根据屏蔽信息生成的图像的UI的例子的图，该屏蔽信息是关于被包含在对象波段中但不被包含在任一个子波段中的波段(以下称为“非指定波段”)合成的屏蔽信息。在图19的例中，显示了关于非指定波段生成的1个图像，但也可以显示2个以上的关于非指定波段的图像。也可以替代关于非指定波段的图像或者除了关于非指定波段的图像之外，显示RGB图像。在该情况下，对象波段包含可视波段，信号处理电路250将关于红(R)、绿(G)、蓝(B)各自的波段的屏蔽信息合成。信号处理电路250使用该合成后的屏蔽信息，根据压缩图像数据生成关于红、绿、蓝各自的波段的图像数据。图像处理电路320使生成的RGB图像显示在显示器330上。
图20是表示通过进行2个阶段的复原从而仅对特定的子波段以高波长分辨率进行复原的方法的例子的图。在该例中，取得关于包含20个单位带的对象波段的压缩图像。使用参照图16说明的方法，信号处理电路250例如关于第1至第5带、第6至第10带、第11至第15带、第16至第20带这样的4个大的子波段(以下称为“大子波段”)进行复原。其后，信号处理电路250以将被指定的特定的大子波段进一步分割为小的多个带(以下称为“小子波段”)的方式进行复原。分割为多个小子波段的大子波段的数量能够任意地决定。在图20的例中，仅将1个大子波段分割为多个小子波段，但也可以将2个以上的大子波段分割为多个小子波段。另外，在图20的例中，信号处理电路250进行2个阶段的带分割，但也可以经过3个阶段以上的分割来生成分光图像。另外，小子波段也可以是单位带。
进而，在每次进行各阶段的带分割时，也可以选择将分割后的多个波段之中的哪个波段进一步分割为精细的子波段。该选择既可以由用户进行，也可以自动地进行。
在图20的例中，设定数据包括用于指定各自为对象波段的一部分的多个大子波段以及多个大子波段中的至少1个大子波段所包含的多个小子波段的信息。信号处理电路250执行以下的处理。
·关于多个大子波段中的各个大子波段，生成将关于该大子波段所包含的多个单位带的屏蔽信息合成而得到的第1合成屏蔽信息。
·基于压缩图像数据以及第1合成屏蔽信息，按每个大子波段生成第1合成图像数据。
·关于被指定的大子波段中的多个小子波段中的各个小子波段，生成将关于该小子波段所包含的多个单位带的屏蔽信息合成而得到的第2合成屏蔽信息。
·基于关于被指定的大子波段的第1合成图像数据、以及第2合成屏蔽信息，按每个小子波段生成第2合成图像数据。
在该情况下，被生成的高光谱数据立方体包括关于多个小子波段的第2合成图像数据。通过这样的处理，能够仅关于用户所指定的特定的大子波段得到详细的谱信息。
此外，摄像装置的构成、高光谱信息的压缩算法及高光谱数据立方体的重构算法不限于上述的实施方式。例如，滤光器阵列110、光学系统140及图像传感器160的配置不限定于图1A至图1D所示的配置，也可以适宜地变形。另外，滤光器阵列110的特性不限于参照图2A至图4B所例示的特性，能够根据用途或者目的使用最佳的特性的滤光器阵列110。进而，也可以使用上述的式(2)所示的利用压缩感知的运算以外的方法来生成每个波带的分光图像。例如，也可以使用最大似然估计法或者贝叶斯估计法等其他统计性方法。
在上述的实施方式中，压缩图像数据由具备滤光器阵列110的摄像装置100生成，但也可以利用其他方法生成压缩图像数据。例如，也可以使相当于上述的式(1)中的矩阵H的编码矩阵作用于由任意的高光谱相机生成的高光谱数据立方体，从而生成压缩图像数据。在为了对数据进行保存或者传送而需要削减数据量的情况下，可以通过这样的软件处理来生成压缩图像数据。即使针对通过这样的软件处理而生成的压缩图像数据适用上述的各实施方式中的处理，也能够复原每个波带的图像。
工业实用性
本公开的技术例如在取得多波长的图像的相机及测定设备中是有用的。本公开的技术例如也能够应用于面向生物体/医疗/美容的传感、食品的异物/残留农药检查系统、遥感系统及车载传感系统。
附图标记说明：
70 对象物
100 摄像装置
110 滤光器阵列
120 图像
140 光学系统
150 控制电路
160 图像传感器
200 处理装置
210 存储器
220 分光图像
250 信号处理电路
300 显示装置
310 存储器
320 图像处理电路
330 显示器
400 输入UI

Claims (22)

1.一种信号处理方法，由计算机执行，包括：
取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；
取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及
基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
2.如权利要求1所述的方法，
所述高光谱信息是所述对象波段所包含的4个以上的波带的信息，
所述2维图像信息是所述压缩图像数据所包括的多个像素的数据，
在所述多个像素各自的数据中重叠有所述4个以上的波带的信息。
3.如权利要求1或者2所述的方法，
所述设定数据包括用于指定所述1个以上的子波段中的波长分辨率的信息，
所述多个2维图像以所述波长分辨率生成。
4.如权利要求1至3中任一项所述的方法，
所述1个以上的子波段包括第1子波段及第2子波段，
所述多个2维图像按所述第1子波段及所述第2子波段中的每个子波段生成。
5.如权利要求3所述的方法，
所述1个以上的子波段包括第1子波段及第2子波段，
所述波长分辨率按所述第1子波段及所述第2子波段中的每个子波段独立地指定，
所述多个2维图像按所述第1子波段及所述第2子波段中的每个子波段以对应的所述波长分辨率生成。
6.如权利要求4或者5所述的方法，
所述第1子波段与所述第2子波段相离。
7.如权利要求1至6中任一项所述的方法，还包括：
使与所述计算机连接的显示器显示供用户输入所述设定数据的图形用户界面。
8.如权利要求1至7中任一项所述的方法，还包括：
使与所述计算机连接的显示器显示所述多个2维图像。
9.如权利要求1至8中任一项所述的方法，
所述压缩图像数据通过使用滤光器阵列及图像传感器进行摄像而生成，该滤光器阵列包括分光透射率相互不同的多个种类的滤光器，
所述方法还包括：取得反映出所述滤光器阵列的所述分光透射率的空间分布的屏蔽数据，
所述多个2维图像基于所述压缩图像数据及所述屏蔽数据生成。
10.如权利要求9所述的方法，
所述屏蔽数据包括屏蔽信息，
所述屏蔽信息表示所述对象波段所包含的多个单位带各自中的所述滤光器阵列的透射率的空间分布，
所述方法还包括：
通过将与所述对象波段之中的所述1个以上的子波段以外的非指定波段所包含的多个单位带对应的所述屏蔽信息的一部分合成，从而生成合成屏蔽信息；以及
基于所述压缩图像数据及所述合成屏蔽信息，生成与所述非指定波段对应的合成图像。
11.如权利要求10所述的方法，
所述屏蔽数据包括多个背景图像以及多个屏蔽图像，
所述多个背景图像中的各个背景图像，通过不经过所述滤光器阵列而由所述图像传感器对多个背景之中的对应的背景进行摄像从而取得，
所述多个屏蔽图像中的各个屏蔽图像，通过经过所述滤光器阵列由所述图像传感器对所述多个背景之中的所述对应的背景进行摄像从而取得，
所述合成屏蔽信息基于所述多个屏蔽图像及所述多个背景图像生成。
12.如权利要求10或者11所述的方法，还包括：
使与所述计算机连接的显示器显示所述合成图像。
13.如权利要求9所述的方法，
所述屏蔽数据包括屏蔽信息，
所述屏蔽信息表示所述对象波段所包含的多个单位带各自中的所述滤光器阵列的透射率的空间分布，
所述设定数据包括用于指定各自为所述对象波段的一部分的多个大子波段以及所述多个大子波段中的至少1个大子波段所包含的多个小子波段的信息，
所述方法还包括：
关于所述多个大子波段中的各个大子波段，将与所述多个大子波段中的各个大子波段所包含的多个单位带对应的所述屏蔽信息的一部分合成，从而生成第1合成屏蔽信息；以及
基于所述压缩图像数据和所述第1合成屏蔽信息，关于所述多个大子波段中的各个大子波段生成第1合成图像；
所述多个2维图像基于第1合成图像，与所述多个小子波段对应地生成。
14.如权利要求10所述的方法，
所述对象波段包含可视波段，
所述方法还包括：
基于所述压缩图像数据及所述合成屏蔽信息，生成与红的波段对应的图像、与绿的波段对应的图像及与蓝的波段对应的图像；以及
使与所述计算机连接的显示器显示基于所述与红的波段对应的图像、所述与绿的波段对应的图像及所述与蓝的波段对应的图像的RGB图像。
15.一种生成屏蔽数据的方法，所述屏蔽数据用于从由包括滤光器阵列的摄像装置取得的压缩图像数据复原每个波带的分光图像数据，该滤光器阵列包括分光透射率相互不同的多个种类的滤光器，所述方法包括：
取得用于复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据；
取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及
基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
16.如权利要求15所述的方法，
所述第1屏蔽数据及所述第2屏蔽数据是反映出所述滤光器阵列的分光透射率的空间分布的数据，
所述第1屏蔽数据包括表示与所述第1波带群对应的所述分光透射率的空间分布的第1屏蔽信息，
所述第2屏蔽数据包括表示与所述第2波带群对应的所述分光透射率的空间分布的第2屏蔽信息。
17.如权利要求16所述的方法，
所述第2屏蔽数据还包括通过将多个信息合成而得到的第3屏蔽信息，
所述多个信息分别表示所述对象波段之中的所述1个以上的子波段以外的非指定波段所包含的对应的波带中的所述分光透射率的空间分布。
18.一种信号处理装置，具备：
处理器；以及
存储器，存放由所述处理器执行的计算机程序，
所述计算机程序使所述处理器执行：
取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；
取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及
基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
19.一种信号处理装置，具备：
处理器；以及
存储器，存放由所述处理器执行的计算机程序；
所述计算机程序使所述处理器执行：
取得用于复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据；
取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及
基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
20.一种摄像系统，具备：
如权利要求18或者19所述的信号处理装置；以及
摄像装置，生成所述压缩图像数据。
21.一种计算机程序，使计算机执行：
取得压缩图像数据，该压缩图像数据包括通过对对象波段内的高光谱信息进行压缩而得到的2维图像信息；
取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及
基于所述压缩图像数据，生成与所述1个以上的子波段所包含的多个波带对应的多个2维图像。
22.一种计算机程序，使计算机执行：
取得用于复原与对象波段中的第1波带群对应的第1分光图像数据的第1屏蔽数据；
取得用于指定作为所述对象波段的一部分的1个以上的子波段的设定数据；以及
基于所述第1屏蔽数据和所述设定数据，生成用于复原与所述1个以上的子波段中的第2波带群对应的第2分光图像数据的第2屏蔽数据。
CN202180018960.9A 2020-03-26 2021-03-04 信号处理方法、信号处理装置及摄像系统 Pending CN115211106A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020-056353 2020-03-26
JP2020056353 2020-03-26
JP2021023067 2021-02-17
JP2021-023067 2021-02-17
PCT/JP2021/008433 WO2021192891A1 (ja) 2020-03-26 2021-03-04 信号処理方法、信号処理装置、および撮像システム

Publications (1)

Publication Number Publication Date
CN115211106A true CN115211106A (zh) 2022-10-18

Family

ID=77890052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018960.9A Pending CN115211106A (zh) 2020-03-26 2021-03-04 信号处理方法、信号处理装置及摄像系统

Country Status (5)

Country Link
US (1) US20220414948A1 (zh)
EP (1) EP4130693A4 (zh)
JP (1) JPWO2021192891A1 (zh)
CN (1) CN115211106A (zh)
WO (1) WO2021192891A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022163421A1 (zh) * 2021-01-26 2022-08-04
WO2022176686A1 (ja) * 2021-02-22 2022-08-25 パナソニックＩｐマネジメント株式会社 異物を検出する方法および装置
WO2022196351A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2023106142A1 (zh) * 2021-12-08 2023-06-15

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060250668A1 (en) * 2004-01-13 2006-11-09 Olympus Corporation Color chart processing apparatus, color chart processing method, and color chart processing program
CN102589695A (zh) * 2012-02-27 2012-07-18 苏州大学 一种光谱成像方法及其系统
CN104244018A (zh) * 2014-09-19 2014-12-24 重庆邮电大学 快速压缩高光谱信号的矢量量化方法
CN104732566A (zh) * 2015-03-16 2015-06-24 西北工业大学 基于非分离稀疏先验的高光谱图像压缩感知方法
US20160138975A1 (en) * 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
CN108960333A (zh) * 2018-07-12 2018-12-07 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法
CN110501071A (zh) * 2019-08-02 2019-11-26 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791640B (zh) * 2015-01-08 2020-07-10 松下知识产权经营株式会社 摄像装置
US11300449B2 (en) * 2015-03-24 2022-04-12 University Of Utah Research Foundation Imaging device with image dispersing to create a spatially coded image
JP2017208642A (ja) * 2016-05-17 2017-11-24 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2018107731A (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060250668A1 (en) * 2004-01-13 2006-11-09 Olympus Corporation Color chart processing apparatus, color chart processing method, and color chart processing program
CN102589695A (zh) * 2012-02-27 2012-07-18 苏州大学 一种光谱成像方法及其系统
CN104244018A (zh) * 2014-09-19 2014-12-24 重庆邮电大学 快速压缩高光谱信号的矢量量化方法
US20160138975A1 (en) * 2014-11-19 2016-05-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
CN104732566A (zh) * 2015-03-16 2015-06-24 西北工业大学 基于非分离稀疏先验的高光谱图像压缩感知方法
CN108960333A (zh) * 2018-07-12 2018-12-07 西安电子科技大学 基于深度学习的高光谱图像无损压缩方法
CN110501071A (zh) * 2019-08-02 2019-11-26 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤毅: ""基于内容的高光谱图像无损压缩"", 光学精密工程, 15 March 2012 (2012-03-15) *

Also Published As

Publication number Publication date
EP4130693A1 (en) 2023-02-08
EP4130693A4 (en) 2023-09-06
US20220414948A1 (en) 2022-12-29
JPWO2021192891A1 (zh) 2021-09-30
WO2021192891A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
CN115211106A (zh) 信号处理方法、信号处理装置及摄像系统
CN105791640B (zh) 摄像装置
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
EP4092397A1 (en) Optical filter array, optical detection device, and optical detection system
US11525732B2 (en) Generating narrow-band spectral images from broad-band spectral images
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
CN115668008A (zh) 滤波器阵列及光检测系统
WO2023282069A1 (ja) 信号処理装置および信号処理方法
Eskelinen et al. Dangers of demosaicing: Confusion from correlation
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2022168594A1 (ja) スペクトルデータキューブを改変する方法および装置
WO2024043009A1 (ja) 信号処理方法および信号処理装置
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2024142683A1 (ja) 光検出装置、光検出システム、およびフィルタアレイ
US20240296569A1 (en) Imaging system and imaging method
JP6655790B2 (ja) 撮像装置及び撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination