CN113632143A - 一种基于高光谱图像还原重建光源光谱的方法和装置 - Google Patents
一种基于高光谱图像还原重建光源光谱的方法和装置 Download PDFInfo
- Publication number
- CN113632143A CN113632143A CN202080022459.5A CN202080022459A CN113632143A CN 113632143 A CN113632143 A CN 113632143A CN 202080022459 A CN202080022459 A CN 202080022459A CN 113632143 A CN113632143 A CN 113632143A
- Authority
- CN
- China
- Prior art keywords
- light source
- spectrum
- omega
- source spectrum
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 325
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims description 210
- 230000003595 spectral effect Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 22
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 8
- 238000000701 chemical imaging Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 3
- 238000000862 absorption spectrum Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/2859—Peak detecting in spectrum
- G01J2003/2863—Peak detecting in spectrum and calculating peak area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本申请公开了一种基于高光谱图像还原重建光源光谱的方法和装置,通过对高光谱图像进行处理得到第一极大值光谱,将第一极大值光谱与光源光谱字典中的光源光谱基底向量集合进行匹配,并做线性分解得到字典集合,获取各个波段的最大值,并进行迭代逼近。因此可以从单张高光谱图像中采用相对简洁的计算过程,快速地还原拍摄环境光源光谱,并且针对单色或极少色彩的图像场景还原效果依旧良好,甚至接近真实光源光谱。当获得了光源光谱后,可以进一步利用此信息进行不同种类的应用,在无需事先获得光源光谱信息或通过额外设备和部件测量光源的情况下,降低了数据采集时间,提高分析效率,大大解放高光谱成像的可应用场景,增大应用灵活性和可能性。
Description
技术领域
本申请涉及高光谱分析领域,特别是一种基于高光谱图像还原重建光源光谱的方法和装置。
背景技术
高光谱成像技术可以同时获得图像信息和光谱信息,结合机器视觉技术来对物体进行判别的同时,还可以进行依赖于光谱的光谱分析,因此高光谱成像技术是具有很大潜力的新技术。高光谱成像技术的光谱分析能力来源于高光谱图像可以采集不同波长下物质所发出的光谱信息,而这些光谱信息直接反映了物体的理化成分等信息,结合图像的识别、选区等信息,高光谱成像技术可以实现目标检测-成分判断-结果输出的完全自动化。
当前常见的高光谱图像分析方法在提取物质光谱信息时都需要预先知道拍摄环境的光源光谱信息,但往往无法直接从图像中读取。画面中被拍摄物体根据自己的反射率部分反射携带光源信息,但是每种颜色对不同波段的吸收不同导致反射回来的光谱不同程度的比原光源缺失了部分波段的能量。如果画面中存在足够多的不同色彩、白色区域或者镜面反射区域,就可以通过一定的计算还原光源光谱。但是很多时候这些条件不能满足或者这些区域不容易被找到,此时,想要从图像中获取光源光谱就成了比较棘手的问题。
对于未知光源的开放应用场景,目前已有一些算法方法可以通过一张高光谱相片来还原光源光谱,比如基于二色模型的光源还原方法,或稀疏矩阵的光源还原方法等。这些方法的主要局限性主要在于:第一,计算量大,对计算力要求高或耗时久,无法实现实时性;第二,应用场景受限,在图像中出现颜色种类少的情况下无法准确还原光源光谱,通常需要图像中有接近或多于十种以上色彩。这两个问题也是目前高光谱光源还原面临的最大技术问题。目前,业界尚缺乏一种适应多种场景的基于高光谱或光谱分析的方法,可以实时、准确地开放未知光源场景下的光源光谱进行重建或还原。
有鉴于此,设计出一种基于高光谱图像快速准确还原重建光源光谱的方法是至关重要的。
申请内容
针对上述现有技术中的获取光源光谱的方法存在效果不理想、局限性大、受应用场景限制等问题。本申请的实施例提供了一种基于高光谱图像还原重建光源光谱的方法和装置以解决上述存在的问题。
第一方面,本申请的实施例提供了一种基于高光谱图像还原重建光源光谱的方法,包括以下步骤:
S1:获取高光谱图像,记为I(x,y,ω),其中,x、y、ω分别表示高光谱图像的宽、高和波长,并对高光谱图像I(x,y,ω)进行高斯卷积处理,得到高斯模糊后的图像B(x,y,ω):B(x,y,ω)=I(x,y,ω)*g(x,y),其中g(x,y)为高斯卷积核矩阵;
S2:将高光谱图像I(x,y,ω)与高斯模糊后的图像B(x,y,ω)相减,得到增强后的图像E(x,y,ω):E(x,y,ω)=I(x,y,ω)-B(x,y,ω);
S3:获取增强后的图像E(x,y,ω)中各个波段的最大值,得到视觉增强后的第一极大值光谱R(ω):R(ω)=maxx,y(E(x,y,ω)),其中maxx,y(E(x,y,ω))表示对E(x,y,ω)在x和y维度内寻找最大值;
S4:将第一极大值光谱R(ω)与预存的光源光谱字典中的光源光谱基底向量集合D(n,m,ω)进行搜索匹配,并做分解合并后得到潜在光源光谱向量集合P(k,ω),其中,n为光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中的向量序号,m为光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中由相关联的基底向量所组成的关联向量组的组号,k为匹配合并后的潜在光源光谱向量集合P(k,ω)中每个基底向量在光源光谱字典中的向量序号;
S5:将第一极大值光谱R(ω)投影至潜在光源光谱向量集合P(k,ω)得到每个基底向量的强度向量b(k),并根据以下公式得到初始预测光源光谱L0(ω):L0(ω)=P(k,ω)*b(k),取L0(ω)和R(ω)两者在各个波段的最大值得到第二极大值光谱R’(ω);
S6:将第二极大值光谱R’(ω)替代第一极大值光谱R(ω),重复步骤S5,直至第二极大值光谱R’(ω)的色温变化值小于预定的阈值;以及
S7:归一化最新得到初始预测光源光谱L0(ω),获得还原重建的光源光谱L(ω)。
在一些实施例中,建立光源光谱字典的步骤具体包括:
S8:获取常见的光源光谱信息,将光源光谱信息分别提取出相同波段范围和波段间隔的波形向量,并形成第一波形向量集合;
S9:分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息,将波峰波谷信息分别提取出相同波段范围和波段间隔的波形向量,并形成第二波形向量集合;以及
S10:将第一波形向量集合和第二波形向量集合中属于同一光源的每个波形向量标记为同时关联并存的基底向量序列并建立索引,形成光源光谱字典,光源光谱字典由光源光谱基底向量集合D(n,m,ω)组成。
光源光谱字典的建立和使用中运用了动态色温可变的基底向量组合方案,使得计算得到的光源光谱具有更好的延展性和适应性,并且更加接近实际的光源光谱。
在一些实施例中,步骤S9中采用多高斯波峰拟合的方法分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息。该方法提取每个完整波峰波谷信息的效率高、计算量小。
在一些实施例中,步骤S4具体包括:
S41:将第一极大值光谱R(ω)在光源光谱字典中的光源光谱基底向量集合D(n,m,ω)上做线性回归,按相关性组合形成新的光源光谱基底向量集合D’(k’,m’,ω)。其中k’为新的光源光谱基底向量集合D’(k’,m’,ω)在光源光谱字典中的向量序号,m’为新的光源光谱基底向量集合D’(k’,m’,ω)在光源光谱字典中的相关联向量组的组号;
S42:将光源光谱字典中与m’为同一组号的所有其他基底向量合并加入分解得到的光源光谱基底向量集D’(k’,m’,ω),得到潜在光源光谱向量集合P(k,ω),其中k为潜在光源光谱向量集合P(k,ω)中每个基底向量在光源光谱字典中的向量序号。
运用该建立光源光谱字典的方法,对从高光谱图像中直接获取的第一极大值光谱在光源光谱字典中进行匹配搜索,以获得更准确的或更接近真实光源的光谱。
在一些实施例中,新的光源光谱基底向量集合D’(k’,m’,ω)中所取的按相关性由高到低排列并取靠前的基底向量最多不超过两种或三种光源成分。在此情况下计算方便,并可以提高计算的效率。
在一些实施例中,线性分解包括最小二乘线性分解。通过最小二乘线性分解计算得到相关性最高的光源光谱基底向量。
在一些实施例中,高斯卷积处理采用的二维高斯核的公式为:
其中,σ为高斯函数的标准差。
通过高斯卷积处理以获得模糊的高光谱图像,再通过原图像减去高斯模糊后的图像以获得增强后的图像,使得处理后的图像更近似于人眼的感知。
在一些实施例中,g(x,y)由i×i的数字矩阵进行代替。此时在实际应用中计算更加方便。
在一些实施例中,第二极大值光谱R’(ω)的色温变化值ΔTc根据下式进行计算:ΔTc=|Tc(L0)-Tc(R')|,其中Tc(L0)为初始预测光源光谱L0(ω)对应的色温,Tc(R')为第二极大值光谱R’(ω)的色温。通过第二极大值光谱进行迭代逼近,可以补充因颜色种类匮乏而得到部分波段光谱波形缺失的问题。使得该方法更加鲁棒,不再依赖于拍摄视野中色彩的种类数。
第二方面,本申请的实施例还提出一种基于高光谱图像还原重建光源光谱的装置,包括:
图像模糊模块,用以获取高光谱图像,记为I(x,y,ω),其中,x、y、ω分别表示高光谱图像的宽、高和波长,并对高光谱图像I(x,y,ω)进行高斯卷积处理,得到高斯模糊后的图像B(x,y,ω):B(x,y,ω)=I(x,y,ω)*g(x,y),其中g(x,y)为高斯卷积核矩阵;
图像增强模块,用以将高光谱图像I(x,y,ω)与高斯模糊后的图像B(x,y,ω)相减,得到增强后的图像E(x,y,ω):E(x,y,ω)=I(x,y,ω)-B(x,y,ω);
第一极大值光谱获取模块,用以获取增强后的图像E(x,y,ω)中各个波段的最大值,得到视觉增强后的第一极大值光谱R(ω):R(ω)=maxx,y(E(x,y,ω)),其中maxx,y(E(x,y,ω))表示对E(x,y,ω)在x和y维度内寻找最大值;
光谱匹配模块,用以将第一极大值光谱R(ω)与预存的光源光谱字典中的光源光谱基底向量集合D(n,m,ω)进行搜索匹配,并做分解合并后得到潜在光源光谱向量集合P(k,ω),其中,n为光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中的向量序号,m为光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中由相关联的基底向量所组成的关联向量组的组号,k为匹配合并后的潜在光源光谱向量集合P(k,ω)中每个基底向量在光源光谱字典中的向量序号;
光源光谱初始预测模块,用以将第一极大值光谱R(ω)投影至潜在光源光谱向量集合P(k,ω)得到每个基底向量的强度向量b(k),并根据以下公式得到初始预测光源光谱L0(ω):L0(ω)=P(k,ω)*b(k),取L0(ω)和R(ω)两者在各个波段的最大值得到第二极大值光谱R’(ω);
光谱迭代模块,用以将第二极大值光谱R’(ω)替代第一极大值光谱R(ω),重复执行光源光谱初始预测模块,直至第二极大值光谱R’(ω)的色温变化值小于预定的阈值;以及
归一化模块,用以归一化最新得到初始预测光源光谱L0(ω),获得还原重建的光源光谱L(ω)。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请公开了一种基于高光谱图像还原重建光源光谱的方法和装置,可以从单张高光谱图像中采用相对简洁的计算过程,快速准确地还原拍摄环境光源的光谱,并且针对单色或极少色彩的图像场景还原效果依旧良好,甚至接近真实光源光谱。当获得了光源光谱后,可以进一步利用此信息进行不同种类的应用,比如,提取分析物质反射谱吸收谱,进一步分析物质成分,在无需事先获得光源光谱信息或通过额外设备和部件测量光源的情况下,降低了数据采集时间,提高了分析效率,大大解放了高光谱成像的可应用场景,增大了应用灵活性和可能性。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点,因为通过引用以下详细描述,它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图;
图2为本申请的实施例中的基于高光谱图像还原重建光源光谱的方法的流程示意图;
图3为本申请的实施例中的基于高光谱图像还原重建光源光谱的方法的建立光源光谱字典的步骤的流程示意图;
图4为本申请的实施例中的基于高光谱图像还原重建光源光谱的方法的步骤S4的流程图;
图5为本申请的实施例中的基于高光谱图像还原重建光源光谱的装置的示意图;
图6是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
图1示出了可以应用本申请实施例的基于高光谱图像还原重建光源光谱的方法或基于高光谱图像还原重建光源光谱的装置的示例性装置架构100。
如图1所示,装置架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种应用,例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理,生成处理结果。
需要说明的是,本申请实施例所提供的基于高光谱图像还原重建光源光谱的方法可以由服务器105执行,也可以由终端设备101、102、103执行,相应地,基于高光谱图像还原重建光源光谱的装置可以设置于服务器105中,也可以设置于终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下,上述装置架构可以不包括网络,而只需服务器或终端设备。
如图2所示,本申请的实施例提供了一种基于高光谱图像还原重建光源光谱的方法,包括以下步骤:
S1:获取高光谱图像,记为I(x,y,ω),其中,x、y、ω分别表示高光谱图像的宽、高和波长,并对高光谱图像I(x,y,ω)进行高斯卷积处理,得到高斯模糊后的图像B(x,y,ω):B(x,y,ω)=I(x,y,ω)*g(x,y),其中g(x,y)为高斯卷积核矩阵;
S2:将高光谱图像I(x,y,ω)与高斯模糊后的图像B(x,y,ω)相减,得到增强后的图像E(x,y,ω):E(x,y,ω)=I(x,y,ω)-B(x,y,ω);
S3:获取增强后的图像E(x,y,ω)中各个波段的最大值,得到视觉增强后的第一极大值光谱R(ω):R(ω)=maxx,y(E(x,y,ω)),其中maxx,y(E(x,y,ω))表示对E(x,y,ω)在x和y维度内寻找最大值;
S4:将第一极大值光谱R(ω)与预存的光源光谱字典中的光源光谱基底向量集合D(n,m,ω)进行搜索匹配,并做分解合并后得到潜在光源光谱向量集合P(k,ω),其中,n为所述光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中的向量序号,m为所述光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中由相关联的基底向量所组成的关联向量组的组号,k为所述匹配合并后的潜在光源光谱向量集合P(k,ω)中每个基底向量在所述光源光谱字典中的向量序号;
S5:将第一极大值光谱R(ω)投影至潜在光源光谱向量集合P(k,ω)得到每个基底向量的强度向量b(k),并根据以下公式得到初始预测光源光谱L0(ω):L0(ω)=P(k,ω)*b(k),取L0(ω)和R(ω)两者在各个波段的最大值得到第二极大值光谱R’(ω);
S6:将第二极大值光谱R’(ω)替代第一极大值光谱R(ω),重复步骤S5,直至第二极大值光谱R’(ω)的色温变化值小于预定的阈值;以及
S7:归一化最新得到初始预测光源光谱L0(ω),获得还原重建的光源光谱L(ω)。
在具体的实施例中,如图3所示,建立光源光谱字典的步骤具体包括:
S8:获取常见的光源光谱信息,将光源光谱信息分别提取出相同波段范围和波段间隔的波形向量,并形成第一波形向量集合;
S9:分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息,将波峰波谷信息分别提取出相同波段范围和波段间隔的波形向量,并形成第二波形向量集合;以及
S10:将第一波形向量集合和第二波形向量集合中属于同一光源的每个波形向量标记为同时关联并存的基底向量序列并建立索引,形成光源光谱字典,光源光谱字典由光源光谱基底向量集合D(n,m,ω)组成。
在步骤S8中获取的常见的经典光源包括不同色温的日光,黑体辐射曲线或白炽灯,不同的经典荧光灯光谱序列F2~F12,以及现在更加通用的LED光源。对于部分不固定光谱或色温的人工光源,例如LED,会存在激发芯片和荧光粉发光之间强弱的变化,从而导致色温和光谱发生漂变。因此在具体的实施例中,步骤S9中采用多高斯波峰拟合的方法分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息。将每个完整波峰波谷信息作为单独的基底向量处理,提取出相同波段范围和波段间隔的波形向量以形成第二波形向量集合,并加入光源光谱字典中。光源光谱字典的建立和使用中运用了动态色温可变的基底向量组合方案,使得计算得到的光源光谱具有更好的延展性和适应性,并且更加接近实际的光源光谱。另外将同一个光源分离出的每个波形向量标记为需要同时关联并存的基底向量序列。也就是说,若在光源光谱还原的算法搜索匹配中出现了对该组基底其中一个波形相关的配比,即自动加入同组序列中其他波形作为潜在的光源光谱匹配基底向量。若发现不存在于光源光谱字典中的新的光源光谱,则重复按照步骤S8-S10将新的光源光谱信息添加入光源光谱字典中,并建立索引,包括每个向量的索引和每组相关联向量序列的索引。在其他可选的实施例中,也可以采用其他的方式建立光源光谱字典。当建立了较完整的光源光谱字典后,可以对拍摄的高光谱图像的光源光谱进行还原,实施步骤S1-S7。
在具体的实施例中,步骤S1中的高斯卷积处理采用的二维高斯核的公式为:
其中,σ为高斯函数的标准差,可表示平滑程度。g(x,y)由i×i的数字矩阵进行代替。在优选的实施例中,g(x,y)为大小为9*9的矩阵,σ为3个像素。通过高斯卷积处理以获得模糊的高光谱图像,再通过原图像减去高斯模糊后的图像以获得增强后的图像。
在步骤S3中获取增强后的图像E(x,y,ω)中各个波段的最大值得到第一极大值光谱R(ω),第一极大值光谱R(ω)理论上是部分接近光源光谱的,但是由于光线强弱和物体远近的变化,以及不同物体表面对不同波长的光的反射和吸收不同,第一极大值光谱R(ω)的形状会有变化,对比光源光谱,也会出现波段波形的凹陷缺失,拍摄画面中的色彩越稀少,则缺失越严重。因此采用步骤S4用于补偿这样的缺失。
将获得的第一极大值光谱R(ω)与光源光谱字典进行匹配的方式有多种,下面重点阐述在本实施例中具体采用的一种方法。在具体的实施例中,如图4所示,步骤S4具体包括:
S41:将第一极大值光谱R(ω)在光源光谱字典中的光源光谱基底向量集合D(n,m,ω)上做线性回归,按相关性组合形成新的光源光谱基底向量集合D’(k’,m’,ω)。其中k’为新的光源光谱基底向量集合D’(k’,m’,ω)在光源光谱字典中的向量序号,m’为新的光源光谱基底向量集合D’(k’,m’,ω)在光源光谱字典中的相关联向量组的组号;
S42:将光源光谱字典中与m’为同一组号的所有其他基底向量合并加入分解得到的光源光谱基底向量集合D’(k’,m’,ω),得到潜在光源光谱向量集合P(k,ω)。其中k为潜在光源光谱向量集合P(k,ω)中每个基底向量在光源光谱字典中的向量序号。
在具体的实施例中,相关性最高的光源光谱基底向量D’(k’,m’,ω)中所取的按相关性由高到低排列并取靠前的基底向量最多不超过两种或三种光源成分。因为在绝大多数自然或人工光源场景下该假设可以成立。步骤S41中的线性分解包括最小二乘线性分解。通过最小二乘线性分解计算后取前三个相关性最高的光源光谱基底向量集合D’(k’,m’,ω)。获得k’与m’后,把与m’同组的所有其他(即非相关性前三的)基底向量加入潜在光源基底向量集合里,得到新的潜在光源光谱向量集合P(k,ω),其中k为潜在光源光谱向量集合P(k,ω)在预先建立的光源光谱字典中的序号。
在具体的实施例中,步骤S6中第二极大值光谱R’(ω)的色温变化值ΔTc根据下式进行计算:ΔTc=|Tc(L0)-Tc(R')|,其中Tc(L0)为初始预测光源光谱L0(ω)对应的色温,Tc(R')为第二极大值光谱R’(ω)的色温。通过第二极大值光谱进行迭代逼近。在优选的实施例中,第二极大值光谱R’(ω)的色温的预定的阈值为1,即ΔTc<1时,第二极大值光谱R’(ω)的色温不再变化。该方法可以补充因颜色种类匮乏而得到部分波段光谱波形缺失的问题。使得该方法更加鲁棒,不再依赖于拍摄视野中色彩的种类数。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种基于高光谱图像还原重建光源光谱的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本申请的实施例还提出一种基于高光谱图像还原重建光源光谱的装置,包括:
图像模糊模块1,用以获取高光谱图像,记为I(x,y,ω),其中,x、y、ω分别表示高光谱图像的宽、高和波长,并对高光谱图像I(x,y,ω)进行高斯卷积处理,得到高斯模糊后的图像B(x,y,ω):B(x,y,ω)=I(x,y,ω)*g(x,y),其中g(x,y)为高斯卷积核矩阵;
图像增强模块2,用以将高光谱图像I(x,y,ω)与高斯模糊后的图像B(x,y,ω)相减,得到增强后的图像E(x,y,ω):E(x,y,ω)=I(x,y,ω)-B(x,y,ω);
第一极大值光谱获取模块3,用以获取增强后的图像E(x,y,ω)中各个波段的最大值,得到视觉增强后的第一极大值光谱R(ω):R(ω)=maxx,y(E(x,y,ω)),其中maxx,y(E(x,y,ω))表示对E(x,y,ω)在x和y维度内寻找最大值;
光谱匹配模块4,用以将第一极大值光谱R(ω)与预存的光源光谱字典中的光源光谱基底向量集合D(n,m,ω)进行搜索匹配,并做分解合并后得到潜在光源光谱向量集合P(k,ω),其中,n为光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中的向量序号,m为光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中由相关联的基底向量所组成的关联向量组的组号,k为匹配合并后的潜在光源光谱向量集合P(k,ω)中每个基底向量在光源光谱字典中的向量序号;
光源光谱初始预测模块5,用以将第一极大值光谱R(ω)投影至潜在光源光谱向量集合P(k,ω)得到每个基底向量的强度向量b(k),并根据以下公式得到初始预测光源光谱L0(ω):L0(ω)=P(k,ω)*b(k),取L0(ω)和R(ω)两者在各个波段的最大值得到第二极大值光谱R’(ω);
光谱迭代模块6,用以将第二极大值光谱R’(ω)替代第一极大值光谱R(ω),重复执行光源光谱初始预测模块,直至第二极大值光谱R’(ω)的色温变化值小于预定的阈值;以及
归一化模块7,用以归一化最新得到初始预测光源光谱L0(ω),获得还原重建的光源光谱L(ω)。
在具体的实施例中,建立光源光谱字典的装置具体包括:
光源光谱信息采集模块,用以获取常见的光源光谱信息,将光源光谱信息分别提取出相同波段范围和波段间隔的波形向量,并形成第一波形向量集合;
波峰波谷信息提取模块,用以分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息,将波峰波谷信息分别提取出相同波段范围和波段间隔的波形向量,并形成第二波形向量集合;以及
字典建立模块,用以将第一波形向量集合和第二波形向量集合中属于同一光源的每个波形向量标记为同时关联并存的基底向量序列并建立索引,形成光源光谱字典,光源光谱字典由光源光谱基底向量集合D(n,m,ω)组成。
在具体的实施例中,图像模糊模块1中的高斯卷积处理采用的二维高斯核的公式为:
其中,σ为高斯函数的标准差,用来调节平滑程度。g(x,y)由i×i的数字矩阵进行代替。在优选的实施例中,g(x,y)为大小为9*9的矩阵,σ为3个像素。通过高斯卷积处理以获得模糊的高光谱图像,再通过原图像减去高斯模糊后的图像以获得增强后的图像。
在第一极大值光谱获取模块3中获取增强后的图像E(x,y,ω)中各个波段的最大值得到第一极大值光谱R(ω),第一极大值光谱R(ω)理论上是部分接近光源光谱的,但是由于光线强弱和物体远近的变化,以及不同物体表面对不同波长的光的反射和吸收不同,第一极大值光谱R(ω)的形状会有变化,对比光源光谱,也会出现波段波形的凹陷缺失,拍摄画面中的色彩越稀少,则缺失越严重。因此采用光谱匹配模块4用于补偿这样的缺失。
将获得的第一极大值光谱R(ω)与光源光谱字典进行匹配的方式有多种,下面重点阐述在本实施例中具体采用的一种方式。在具体的实施例中,光谱匹配模块4具体包括:
线性分解模块,用以将第一极大值光谱R(ω)在光源光谱字典中的光源光谱基底向量集合D(n,m,ω)上做线性回归分解,按相关性组合形成新的光源光谱基底向量集合D’(k’,m’,ω)。其中k’为新的光源光谱基底向量集合D’(k’,m’,ω)在光源光谱字典中的向量序号;m’为新的光源光谱基底向量集合D’(k’,m’,ω)在光源光谱字典中的相关联向量组的组号
字典集合获取模块,用以将光源光谱字典中与m’为同一组号的所有其他基底向量合并加入线性分解得到的新的光源光谱基底向量集D’(k’,m’,ω),得到潜在光源光谱向量集合P(k,ω)。其中k为潜在光源光谱向量集合P(k,ω)中每个基底向量在光源光谱字典中的向量序号。
在具体的实施例中,相关性最高的光源光谱基底向量D’(k’,m’,ω)中所取的按相关性由高到低排列并取靠前的基底向量最多不超过两种或三种光源成分。因为在绝大多数自然或人工光源场景下该假设可以成立。线性分解模块中的线性分解包括最小二乘线性分解。通过最小二乘线性分解计算后取前三个相关性最高的光源光谱基底向量集合D’(k’,m’,ω)。获得前三个相关性最高的k’与m’后,把与m’同组的所有其他基底向量合并到取出的光源光谱基底向量集合D’(k’,m’,ω)里,得到潜在光源光谱向量集合P(k,ω),其中k为潜在光源光谱向量集合P(k,ω)在光源光谱字典中的基底向量序号。
在具体的实施例中,光谱迭代模块6中第二极大值光谱R’(ω)的色温变化值ΔTc根据下式进行计算:ΔTc=|Tc(L0)-Tc(R')|,其中Tc(L0)为初始预测光源光谱L0(ω)对应的色温,Tc(R')为第二极大值光谱R’(ω)的色温。通过第二极大值光谱进行迭代逼近。在优选的实施例中,第二极大值光谱R’(ω)的色温的预定的阈值为1,即ΔTc<1时,第二极大值光谱R’(ω)的色温不再变化。该方法可以补充因颜色种类匮乏而得到部分波段光谱波形缺失的问题。使得该方法更加鲁棒,不再依赖于拍摄视野中色彩的种类数。
本申请公开了一种基于高光谱图像还原重建光源光谱的方法和装置,可以从单张高光谱图像中采用相对简洁的计算过程,快速准确地还原拍摄环境光源的光谱,并且针对单色或极少色彩的图像场景,还原效果依旧良好,甚至接近真实光源光谱。当获得了光源光谱后,可以进一步利用此信息进行不同种类的应用,比如,提取分析物质反射谱吸收谱,进一步分析物质成分,在无需事先获得光源光谱信息或通过额外设备和部件测量光源的情况下,降低了数据采集时间,提高了分析效率,大大解放了高光谱成像的可应用场景,增大了应用灵活性和可能性。
下面参考图6,其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机装置600包括中央处理单元(CPU)601和图形处理器(GPU)602,其可以根据存储在只读存储器(ROM)603中的程序或者从存储部分609加载到随机访问存储器(RAM)604中的程序而执行各种适当的动作和处理。在RAM 604中,还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出(I/O)接口606也连接至总线605。
以下部件连接至I/O接口606:包括键盘、鼠标等的输入部分607;包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分608;包括硬盘等的存储部分609;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器611上,以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分610从网络上被下载和安装,和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(CPU)601和图形处理器(GPU)602执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的装置来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的申请范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述申请构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (11)
1.一种基于高光谱图像还原重建光源光谱的方法,其特征在于,包括以下步骤:
S1:获取高光谱图像,记为I(x,y,ω),其中,x、y、ω分别表示所述高光谱图像的宽、高和波长,并对所述高光谱图像I(x,y,ω)进行高斯卷积处理,得到高斯模糊后的图像B(x,y,ω):B(x,y,ω)=I(x,y,ω)*g(x,y),其中g(x,y)为高斯卷积核矩阵;
S2:将所述高光谱图像I(x,y,ω)与所述高斯模糊后的图像B(x,y,ω)相减,得到增强后的图像E(x,y,ω):E(x,y,ω)=I(x,y,ω)-B(x,y,ω);
S3:获取所述增强后的图像E(x,y,ω)中各个波段的最大值,得到视觉增强后的第一极大值光谱R(ω):R(ω)=maxx,y(E(x,y,ω)),其中maxx,y(E(x,y,ω))表示对E(x,y,ω)在x和y维度内寻找最大值;
S4:将所述第一极大值光谱R(ω)与预存的光源光谱字典中的光源光谱基底向量集合D(n,m,ω)进行搜索匹配,并做分解合并后得到潜在光源光谱向量集合P(k,ω),其中,n为所述光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中的向量序号,m为所述光源光谱基底向量集合D(n,m,ω)中每个基底向量在光源光谱字典中由相关联的基底向量所组成的关联向量组的组号,k为所述匹配合并后的潜在光源光谱向量集合P(k,ω)中每个基底向量在所述光源光谱字典中的向量序号;
S5:将所述第一极大值光谱R(ω)投影至所述潜在光源光谱向量集合P(k,ω)得到每个基底向量的强度向量b(k),并根据以下公式得到初始预测光源光谱L0(ω):L0(ω)=P(k,ω)*b(k),取L0(ω)和R(ω)两者在各个波段的最大值得到第二极大值光谱R’(ω);
S6:将所述第二极大值光谱R’(ω)替代所述第一极大值光谱R(ω),重复步骤S5,直至所述第二极大值光谱R’(ω)的色温变化值小于预定的阈值;以及
S7:归一化最新得到初始预测光源光谱L0(ω),获得还原重建的光源光谱L(ω)。
2.根据权利要求1所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,建立所述光源光谱字典的步骤具体包括:
S8:获取常见的光源光谱信息,将所述光源光谱信息分别提取出相同波段范围和波段间隔的波形向量,并形成第一波形向量集合;
S9:分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息,将所述波峰波谷信息分别提取出相同波段范围和波段间隔的波形向量,并形成第二波形向量集合;以及
S10:将所述第一波形向量集合和所述第二波形向量集合中属于同一光源的每个波形向量标记为同时相关联并存的基底向量序列并建立索引,形成所述光源光谱基底向量集合D(n,m,ω),所述光源光谱字典由所述光源光谱基底向量集合D(n,m,ω)组成。
3.根据权利要求2所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,所述步骤S9中采用多高斯波峰拟合的方法分离提取不固定光谱或色温的光源的波形中的每个完整波峰波谷信息。
4.根据权利要求2所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,所述步骤S4具体包括:
S41:将所述第一极大值光谱R(ω)在所述光源光谱字典中的光源光谱基底向量集合D(n,m,ω)上做线性回归,按相关性组合形成新的光源光谱基底向量集合D’(k’,m’,ω),其中k’为所述新的光源光谱基底向量集合D’(k’,m’,ω)在所述光源光谱字典中的向量序号,m’为所述新的光源光谱基底向量集合D’(k’,m’,ω)在所述光源光谱字典中的相关联向量组的组号;
S42:将所述光源光谱字典中与m’为同一组号的所有其他基底向量合并加入所述新的光源光谱基底向量集合D’(k’,m’,ω),得到所述潜在光源光谱向量集合P(k,ω),其中k为所述潜在光源光谱向量集合P(k,ω)中每个基底向量在所述光源光谱字典中的向量序号。
5.根据权利要求4所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,在所述新的光源光谱基底向量集合D’(k’,m’,ω)中所取的按相关性由高到低排列并取靠前的基底向量最多不超过两种或三种光源成分。
6.根据权利要求1所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,所述线性分解包括最小二乘线性分解。
8.根据权利要求7所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,所述g(x,y)由i×i的数字矩阵进行代替。
9.根据权利要求1所述的基于高光谱图像还原重建光源光谱的方法,其特征在于,所述第二极大值光谱R’(ω)的色温变化值ΔTc根据下式进行计算:ΔTc=|Tc(L0)-Tc(R')|,其中Tc(L0)为所述初始预测光源光谱L0(ω)对应的色温,Tc(R')为所述第二极大值光谱R’(ω)的色温。
10.一种基于高光谱图像还原重建光源光谱的装置,其特征在于,包括:
图像模糊模块,用以获取高光谱图像,记为I(x,y,ω),其中,x、y、ω分别表示所述高光谱图像的宽、高和波长,并对所述高光谱图像I(x,y,ω)进行高斯卷积处理,得到高斯模糊后的图像B(x,y,ω):B(x,y,ω)=I(x,y,ω)*g(x,y),其中g(x,y)为高斯卷积核矩阵;
图像增强模块,用以将所述高光谱图像I(x,y,ω)与所述高斯模糊后的图像B(x,y,ω)相减,得到增强后的图像E(x,y,ω):E(x,y,ω)=I(x,y,ω)-B(x,y,ω);
第一极大值光谱获取模块,用以获取所述增强后的图像E(x,y,ω)中各个波段的最大值,得到视觉增强后的第一极大值光谱R(ω):R(ω)=maxx,y(E(x,y,ω)),其中maxx,y(E(x,y,ω))表示对E(x,y,ω)在x和y维度内寻找最大值;
光谱匹配模块,用以将所述第一极大值光谱R(ω)与预存的光源光谱字典中的光源光谱基底向量集合D(n,m,ω)进行搜索匹配,并做分解合并后得到潜在光源光谱向量集合P(k,ω),其中,n为所述光源光谱基底向量集合D(n,m,ω)中每个基底向量在所述光源光谱字典中的向量序号,m为所述光源光谱基底向量集合D(n,m,ω)中每个基底向量在所述光源光谱字典中由相关联的基底向量所组成的关联向量组的组号,k为匹配合并后的所述潜在光源光谱向量集合P(k,ω)中每个基底向量在所述光源光谱字典中的向量序号;
光源光谱初始预测模块,用以将所述第一极大值光谱R(ω)投影至所述潜在光源光谱向量集合P(k,ω)得到每个基底向量的强度向量b(k),并根据以下公式得到初始预测光源光谱L0(ω):L0(ω)=P(k,ω)*b(k),取L0(ω)和R(ω)两者在各个波段的最大值得到第二极大值光谱R’(ω);
光谱迭代模块,用以将所述第二极大值光谱R’(ω)替代所述第一极大值光谱R(ω),重复执行光源光谱初始预测模块,直至所述第二极大值光谱R’(ω)的色温变化值小于预定的阈值;以及
归一化模块,用以归一化最新得到初始预测光源光谱L0(ω),获得还原重建的光源光谱L(ω)。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/114061 WO2022051911A1 (zh) | 2020-09-08 | 2020-09-08 | 一种基于高光谱图像还原重建光源光谱的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113632143A true CN113632143A (zh) | 2021-11-09 |
CN113632143B CN113632143B (zh) | 2023-09-26 |
Family
ID=78378416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080022459.5A Active CN113632143B (zh) | 2020-09-08 | 2020-09-08 | 一种基于高光谱图像还原重建光源光谱的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11788888B2 (zh) |
EP (1) | EP3995796A4 (zh) |
JP (1) | JP2023509236A (zh) |
KR (1) | KR20220070296A (zh) |
CN (1) | CN113632143B (zh) |
WO (1) | WO2022051911A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115000107B (zh) * | 2022-06-02 | 2024-06-28 | 广州睿芯微电子有限公司 | 多光谱成像芯片、多光谱成像组件、制备方法及移动终端 |
CN116563571B (zh) * | 2023-05-16 | 2023-11-21 | 北京师范大学 | 基于玻尔兹曼熵相似性的高光谱图像波段选择方法及系统 |
CN116433534B (zh) * | 2023-06-09 | 2023-08-22 | 四川工程职业技术学院 | 一种高光谱图像修复方法、装置、存储介质及电子设备 |
CN117405607B (zh) * | 2023-12-15 | 2024-02-23 | 慧诺云谱(海南)科技有限公司 | 种子表型测量系统、方法及相关设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1371957A1 (en) * | 2002-06-11 | 2003-12-17 | Jobin Yvon S.A. | Spectrometer |
US20050088389A1 (en) * | 2003-10-28 | 2005-04-28 | Arkady Ten | Display device color channel reconstruction |
WO2008064278A2 (en) * | 2006-11-22 | 2008-05-29 | Optopo, Inc Dba Centice Corporation | A method and apparatus for reconstructing optical spectra in a static multimode multiplex spectrometer |
CN103148942A (zh) * | 2013-03-11 | 2013-06-12 | 南京理工大学 | 基于反卷积的双光路光谱测量装置 |
CN104062010A (zh) * | 2014-06-27 | 2014-09-24 | 杭州彩谱科技有限公司 | 一种优化定标算法的分光光源颜色照度测量仪器 |
CN109102477A (zh) * | 2018-08-31 | 2018-12-28 | 哈尔滨工业大学 | 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法 |
CN109540293A (zh) * | 2018-12-21 | 2019-03-29 | 闽南师范大学 | 一种基于光纤光栅的光谱检测装置 |
CN111508065A (zh) * | 2020-04-15 | 2020-08-07 | 铜陵学院 | 基于空谱联合压缩感知的高光谱重建方法、设备及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004271498A (ja) * | 2003-02-20 | 2004-09-30 | Gigaphoton Inc | レーザ光のスペクトル指標値演算方法、レーザ光のスペクトル指標値演算装置及びスペクトル波形計測装置 |
US20050157939A1 (en) * | 2004-01-16 | 2005-07-21 | Mark Arsenault | Processes, products and systems for enhancing images of blood vessels |
US8345238B2 (en) * | 2008-02-04 | 2013-01-01 | General Photonics Corporation | Measuring optical spectral property of light based on polarization analysis |
CN104502071A (zh) * | 2015-01-05 | 2015-04-08 | 哈尔滨工程大学 | 一种宽谱光源光谱分布函数和自相关函数的测量与构造方法 |
CN104915937B (zh) * | 2015-07-02 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 基于频域矩阵分解的快速单透镜计算成像方法 |
US10580170B2 (en) * | 2015-10-19 | 2020-03-03 | National Ict Australia Limited | Spectral reconstruction |
CN108020519B (zh) * | 2017-12-11 | 2020-03-10 | 齐鲁工业大学 | 一种基于颜色恒常性的虚拟多光源光谱重建方法 |
US10922802B2 (en) * | 2018-09-04 | 2021-02-16 | Richard H. Vollmerhausen | Fusion of thermal and reflective imagery |
CN109360161B (zh) * | 2018-09-11 | 2021-04-27 | 北京理工大学 | 一种基于梯度域先验的多光谱图像去模糊方法 |
-
2020
- 2020-09-08 EP EP20931710.6A patent/EP3995796A4/en active Pending
- 2020-09-08 JP JP2022554342A patent/JP2023509236A/ja active Pending
- 2020-09-08 WO PCT/CN2020/114061 patent/WO2022051911A1/zh unknown
- 2020-09-08 US US17/608,127 patent/US11788888B2/en active Active
- 2020-09-08 KR KR1020227014386A patent/KR20220070296A/ko not_active Application Discontinuation
- 2020-09-08 CN CN202080022459.5A patent/CN113632143B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1371957A1 (en) * | 2002-06-11 | 2003-12-17 | Jobin Yvon S.A. | Spectrometer |
US20050088389A1 (en) * | 2003-10-28 | 2005-04-28 | Arkady Ten | Display device color channel reconstruction |
WO2008064278A2 (en) * | 2006-11-22 | 2008-05-29 | Optopo, Inc Dba Centice Corporation | A method and apparatus for reconstructing optical spectra in a static multimode multiplex spectrometer |
CN103148942A (zh) * | 2013-03-11 | 2013-06-12 | 南京理工大学 | 基于反卷积的双光路光谱测量装置 |
CN104062010A (zh) * | 2014-06-27 | 2014-09-24 | 杭州彩谱科技有限公司 | 一种优化定标算法的分光光源颜色照度测量仪器 |
CN109102477A (zh) * | 2018-08-31 | 2018-12-28 | 哈尔滨工业大学 | 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法 |
CN109540293A (zh) * | 2018-12-21 | 2019-03-29 | 闽南师范大学 | 一种基于光纤光栅的光谱检测装置 |
CN111508065A (zh) * | 2020-04-15 | 2020-08-07 | 铜陵学院 | 基于空谱联合压缩感知的高光谱重建方法、设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
US11788888B2 (en) | 2023-10-17 |
KR20220070296A (ko) | 2022-05-30 |
CN113632143B (zh) | 2023-09-26 |
EP3995796A4 (en) | 2022-11-16 |
JP2023509236A (ja) | 2023-03-07 |
WO2022051911A1 (zh) | 2022-03-17 |
EP3995796A1 (en) | 2022-05-11 |
US20220326078A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113632143B (zh) | 一种基于高光谱图像还原重建光源光谱的方法和装置 | |
Roy et al. | A study about color normalization methods for histopathology images | |
US20220028126A1 (en) | Methods and Systems for Human Imperceptible Computerized Color Transfer | |
US10302491B2 (en) | Imaging method and apparatus | |
Fu et al. | Learning to detect specular highlights from real-world images | |
US9171226B2 (en) | Image matching using subspace-based discrete transform encoded local binary patterns | |
Aguirre-Castro et al. | Evaluation of underwater image enhancement algorithms based on Retinex and its implementation on embedded systems | |
Dharejo et al. | A remote‐sensing image enhancement algorithm based on patch‐wise dark channel prior and histogram equalisation with colour correction | |
CN104424483A (zh) | 一种人脸图像的光照预处理方法、装置及终端 | |
JP2014534699A (ja) | 固有画像を使用したデジタル画像信号圧縮のシステム及び方法 | |
CN111222564A (zh) | 基于图像通道相关性的图像鉴别系统、方法、装置 | |
Liu et al. | Underwater image colour constancy based on DSNMF | |
Yoo et al. | Deep dichromatic model estimation under AC light sources | |
Román et al. | Image color contrast enhancement using multiscale morphology | |
Khan et al. | Hybrid sharpening transformation approach for multifocus image fusion using medical and nonmedical images | |
Păvăloi et al. | Iris recognition using color and texture features | |
CN111899239A (zh) | 图像处理方法和装置 | |
Seal et al. | Thermal human face recognition based on haar wavelet transform and series matching technique | |
CN112528905B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
Patel et al. | DepthFuseNet: an approach for fusion of thermal and visible images using a convolutional neural network | |
Khan et al. | Towards highlight based illuminant estimation in multispectral images | |
Shi et al. | Illumination estimation via nonnegative matrix factorization | |
Cai et al. | Momentum accelerated unfolding network with spectral–spatial prior for computational spectral imaging | |
Yuan et al. | [Retracted] Marine Underwater Landscape Image Design Based on Bright Color Compensation and GAN Model Generation | |
Li et al. | Unpaired high-quality image-guided infrared and visible image fusion via generative adversarial network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |