CN102661794B - 多光谱计算重构方法及系统 - Google Patents
多光谱计算重构方法及系统 Download PDFInfo
- Publication number
- CN102661794B CN102661794B CN201210075172.6A CN201210075172A CN102661794B CN 102661794 B CN102661794 B CN 102661794B CN 201210075172 A CN201210075172 A CN 201210075172A CN 102661794 B CN102661794 B CN 102661794B
- Authority
- CN
- China
- Prior art keywords
- multispectral
- information
- sampled point
- image
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 86
- 230000003595 spectral effect Effects 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 239000000463 material Substances 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 abstract description 6
- 230000008447 perception Effects 0.000 abstract description 2
- 230000006835 compression Effects 0.000 abstract 1
- 238000007906 compression Methods 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 12
- 230000002146 bilateral effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提出一种多光谱计算重构方法,包括如下步骤:生成双路多光谱图像,并利用拍照装置对所述双路多光谱图像进行采集以得到采样点多光谱信息;根据所述采样点多光谱信息生成对应的采样点多光谱信息矩阵,并对所述采样点多光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典;在稀疏先验的约束下重构所述双路多光谱图像中的非采样点的光谱信息。本发明还提出了一种多光谱计算重构系统,包括:图像获取装置;字典学习装置;光谱信息重构装置。本发明利用了多光谱信息的内在规律、场景材质和光源光谱的稀疏性,使得多光谱信息的重构更简单、直观,所需要的场景光谱采样点较少,实现了基于压缩感知理论的高维多光谱数据采集。
Description
技术领域
本发明涉及计算摄像学领域,特别涉及一种多光谱计算重构方法及系统。
背景技术
近年来,计算摄像学已经成为交叉视觉、图形学、摄像学、信号处理等领域的国际前沿热点研究,如何对于真实场景的高维信息进行计算采集和重构引起了广泛的关注。开展场景多光谱信息的相关研究工作对于遥感监测、安全侦查、数字娱乐等领域具有重要意义。
传统的数字摄像学是对高维场景信号(常用七维全光函数表示)的二维投影子空间进行采样,将高维场景信息投影到相机二维采样子空间上进行采集。可以看出,传统的数字摄像学会产生全光函数其它维度上信息的丢失与耦合问题,包括角度信息丢失、场景深度信息丢失、多光谱信息丢失、曝光时间内场景信息积分耦合等等。
计算摄像学中一个很重要的方向是在光谱域上对于传统的成像技术进行扩展,即多光谱技术。从多光谱与视觉的技术原理说来,人眼球中有三种不同视锥细胞对光谱中不同波段的信号进行感应,使真实场景中的光线以红、绿、蓝三种颜色的形式被人所感知,而与此相对应,传统意义上的相机也是从人眼的认知原理出发,通过电荷耦合元件(CCD)不同的颜色积分曲线去捕捉场景的红绿蓝(RGB)三通道信息。但是实际上,能够看到的场景光线具有一个完整的光谱,仅仅捕捉RGB三个通道则失去了光谱维度上的大量细节。而光谱中丰富的细节信息往往能够揭示物体和场景光线的很多特质,有了这些光谱信息,也能在很多计算机视觉领域的工作中获得长足的进展。计算摄像学领域中的多光谱工作基本上是针对场景的多光谱信息进行采集与重构的研究。
根据技术要求和采集条件的不同,现有的多光谱采集系统可以分为三类:光谱分析仪、扫描式光谱成像仪和单次拍摄成像光谱仪。各种技术解决方案都是通过牺牲空间或时间分辨率的方式对于光谱分辨率进行补偿,以采集多光谱信息。2011年初,一种基于混合相机系统的进行多光谱采集系统被提出,其在牺牲空间分辨率获得附加光谱分辨率的同时,使用双路采集的技术,对场景进行双路采集,从得到的多路数据中重构出高时空分辨率的多光谱视频,实现了一种多光谱采集技术。这些工作都说明了多光谱采集的重要意义,但是虽然多光谱采集工作已经成为近期计算摄像学的热点,如何获得高时间分辨率、高空间分辨率、高光谱分辨率的场景信息仍然是一个难题,因此,这个方向上的研究非常重要而且有广泛的应用。
同时CS(Compressive Sensing,or Compressed Sampling,压缩感知),是近几年流行起来的一个介于数学和信息科学的新方向,由Candes、Terres Tao等人提出,挑战传统的采样编码技术,即Nyquist采样定理压缩感知理论,其为信号采集技术带来了革命性的突破,能够采用非自适应线性投影来保持信号的原始结构,以远低于Nyquist频率对信号进行采样,通过数值最优化问题准确重构出原始信号。
因此将压缩感知、稀疏表示理论应用于光谱重构领域必然能够获得更好的效果。本发明正是基于这样的思考提出的。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。
为此,本发明的第一个目的在于提供一种多光谱计算重构方法,该方法可以实现基于压缩感知理论的高维多光谱数据采集。本发明的第二个目的在于提供一种多光谱计算重构系统。
为达到上述目的,本发明一方面的实施例提出了一种多光谱计算重构方法,包括如下步骤:
生成双路多光谱图像,并利用拍照装置对所述双路多光谱图像进行采集以得到采样点多光谱信息,其中,所述拍照装置包括灰度相机和RGB相机,所述双路多光谱图像包括第一路多光谱图像和第二路多光谱图像,其中,所述灰度相机采集所述第一路多光谱图像,所述RGB相机采集所述第二路多光谱图像;根据所述采样点多光谱信息生成对应的采样点多光谱信息矩阵,并对所述采样点多光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典,其中,所述光谱字典为光谱向量;以及
根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像在稀疏先验的约束下重构所述双路多光谱图像中的非采样点的光谱信息。
根据本发明实施例的多光谱计算重构方法,通过采集双路多光谱图,得到采样点多光谱信息矩阵,生成光谱字典,在稀疏先验的约束下重构非采样点的光谱信息,使得多光谱信息的重构更简单、直观,所需要的场景光谱采样点较少,实现了基于压缩感知理论的高维多光谱数据采集。
在本发明的一个实施例中,所述灰度相机采集所述第一路多光谱图像,包括如下步骤:将所述双路多光谱图像中的一路使用蒙板进行采样,并通过三棱镜将采样后的光线进行分光处理,由所述灰度相机采集分光后的图像。
在本发明的一个实施例中,对所述采样点多光谱信息矩阵进行稀疏约束的字典学习包括如下步骤:
对所述采样点多光谱信息进行幅度标定和归一化;
对所述幅度标定和归一化后的采样点多光谱信息进行稀疏约束下的矩阵分解以获取所述光谱字典,
min||X||0
s.t.XD=M
其中,D为所述光谱字典,M采集得到的采样点上的多光谱数据矩阵,X为多光谱数据在光谱字典上的表达,根据先验,可假定X具有稀疏性的特点。
在本发明的一个实施例中,根据所述光谱字典,并通过稀疏程度分析所述采样点多光谱信息的损失程度。
在本发明的一个实施例中,所述重构所述双路多光谱图像中的非采样点的光谱信息,包括如下步骤:
根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像,计算场景非采样点的稀疏表示方程:
其中,D是通过字典学习得到的光谱字典,Color为采集的RGB向量, 为所述RGB相机的色彩积分曲线,为场景点上的多光谱信息;
利用场景材质和光源光谱的稀疏性对所述稀疏表示方程进行稀疏重构以得到所述非采样点的光谱信息。
在本发明的一个实施例中,包括如下步骤:根据空间采样点的位置信息对重构后的光谱信息进行平滑处理和归一化处理。
本发明另一方面的实施例还提出了一种多光谱计算重构系统,包括:图像获取装置,用于生成双路多光谱图像,以及对所述双路多光谱图像进行采集并得到采样点多光谱信息,其中,所述双路多光谱图像包括第一路多光谱图像和第二路多光谱图像,所述图像获取装置包括:灰度相机,所述灰度相机用于采集所述第一路多光谱图像;RGB相机,所述RGB相机用于采集所述第二路多光谱图像;字典学习装置,用于根据所述采样点多光谱信息生成对应的采样点多光谱信息矩阵,以及对所述多光谱图像的采样点光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典,其中,所述光谱字典为光谱向量;以及光谱信息重构装置,用于根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像在稀疏先验的约束下重构所述双路多光谱图像中的非采样点的光谱信息。
根据本发明实施例的多光谱计算重构系统,通过采集双路多光谱图,得到采样点多光谱信息矩阵,生成光谱字典,在稀疏先验的约束下重构非采样点的光谱信息,使得多光谱信息的重构更简单、直观,所需要的场景光谱采样点较少,实现了基于压缩感知理论的高维多光谱数据采集。
在本发明的一个实施例的中多光谱计算重构系统,还包括:蒙板和三棱镜,其中,所述双路多光谱图像中的一路通过蒙板进行采样,并通过三棱镜将采样后的光线进行分光处理,所述灰度相机采集分光后的图像。
在本发明的一个实施例中,字典学习装置对所述采样点多光谱信息进行幅度标定和归一化,并采用下述公式对所述幅度标定和归一化后的采样点多光谱信息进行稀疏约束下的矩阵分解以获取所述光谱字典,
min||X||0
s.t.XD=M
其中,D为所述光谱字典,M采集得到的采样点上的多光谱数据矩阵,X为多光谱数据在光谱字典上的表达,根据先验,可假定X具有稀疏性的特点。
在本发明的一个实施例中,光谱信息重构装置根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像,计算场景非采样点的稀疏表示方程:
其中,D是通过字典学习得到的光谱字典,Color为采集的RGB向量, 为所述RGB相机的色彩积分曲线,为场景点上的多光谱信息。
在本发明的一个实施例中,光谱信息重构装置利用场景材质和光源光谱的稀疏性对所述稀疏表示方程进行稀疏重构以得到所述非采样点的光谱信息。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一个实施例的多光谱计算重构方法的流程图;
图2为本发明另一个实施例的多光谱计算重构方法的流程图;
图3为本发明实施例的图像获取装置的示意图;以及
图4为本发明实施例的多光谱计算重构系统的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
下面参照附图详细描述根据本发明实施例的多光谱计算重构方法。
如图1所示,本发明实施例的多光谱计算重构方法,包括如下步骤:
S101:生成双路多光谱图像,并利用拍照装置对双路多光谱图像进行采集以得到采样点多光谱信息。其中,拍照装置包括灰度相机和RGB相机,双路多光谱图像包括第一路多光谱图像和第二路多光谱图像。灰度相机采集第一路多光谱图像,RGB相机采集第二路多光谱图像。
S1011:用分光镜将场景光线分为两路。
S1012:对两路光线中的一路使用蒙板进行采样,然后使用三棱镜对光线进行分光处理,最后使用灰度相机对分光后的第一路多光谱图像进行采集;对两路光线中的另一路,即第二路多光谱图像直接被RGB相机采集。
在本发明的一个实施例中,如图3所示,使用分光镜将场景光线分为两路,分别对高空间分辨率彩色图像(低光谱分辨率)和高光谱分辨率低空间分辨率场景进行采集。在高光谱分辨率低空间分辨率场景采集的光路中,使用蒙板对场景进行采样,之后使用三棱镜对光线进行分光处理,最后使用高分辨率灰度相机对于分光的结果进行采集。
下面对光路进行描述,场景光线进入系统后首先被分光镜一分为二,一部分光线经过蒙板被采样,被采样的光线束随后进入棱镜。根据散射原理,光线在空间中横向散开,散开后的光线在高分辨率灰度相机中被记录下来,由此得到采样点上的光谱信息。为弥补采样造成的空间分辨率丢失,经过分光镜的另一部分光线直接被RGB相机采集,从信息传输的角度看,上述方式保留了高分辨率场景的全部低光谱分辨率信息。
S102:根据采样点多光谱信息生成对应的采样点多光谱信息矩阵,并对采样点多光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典,其中,上述光谱字典为光谱向量,可称为光谱向量基。
S1021:对采样点多光谱信息进行幅度标定和归一化,生成对应的采样点多光谱信息矩阵。
S1022:对幅度标定和归一化后的采样点多光谱信息矩阵进行稀疏约束下的字典学习。
在本发明的一个实施例中,对幅度标定和归一化后的采样点多光谱信息矩阵进行稀疏约束下的矩阵分解,等价于解决如下的问题;
min||X||0
s.t.XD=M
其中,D为所述光谱字典,M采集得到的采样点上的多光谱数据矩阵,X为多光谱数据在光谱字典上的表达,根据先验,可假定X具有稀疏性的特点。
S1023:根据分解结果确定光谱向量基,并通过稀疏程度分析光谱信息的损失程度。
S103:根据光谱字典、RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像在稀疏先验的约束下重构双路多光谱图像中的非采样点的光谱信息。
S1031:利用相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线以及字典学习得到的光谱向量基,结合RGB高分辨率的第二路多光谱图像给出场景非采样点的稀疏表示方程。
在本发明的一个实施例中,所述稀疏表示方程为:
其中,D是通过字典学习得到的光谱字典,为相机的R通道颜色积分曲线,为相机的G通道积分曲线,为相机的B通道积分曲线,Color是相机采集的RGB向量,为场景点上的多光谱信息。
S1032:利用场景材质和光源光谱的稀疏性对于所述稀疏表示方程进行稀疏重构,得到未知光谱点上的光谱信息。
在本发明的一个实施例中,使用LARS方法上述0范数最优化问题松弛得到的一范数最小化的LASSO模型进行求解得到稀疏重构的未知光谱点上的光谱信息。LASSO模型如下所示:
s.t.||x||1≤s
其中,x为信息的稀疏表达结果,y为实际信号,A为一组过完备基,s为稀疏程度的约束。
在本发明的一个实施例中,通过上述步骤S101至步骤S103得到的光谱信息是可进行再优化的。因此,参考图2所示,本发明实施例提供的多光谱计算重构方法进一步包括如下步骤:
S104:根据空间采样点的位置信息对于重构结果进行优化。
S1041:根据场景的RGB信息与位置信息,对光谱图像进行一致性处理,在平滑约束的条件下,对于光谱进行优化处理。
在本发明的一个实施例中,所述优化处理的过程中,使用双边滤波(BilateralFiltering)的方法进行平滑处理。本发明实施例中采用的优化方法以双边滤波法为例,需要理解的是本发明所可以采用的优化方法并不仅限于双边滤波法。
S1042:根据场景强度一致性原理,对于恢复的多光谱数据进行归一化处理,保证强度一致。
根据本发明实施例的多光谱计算重构方法,通过采集双路多光谱图,得到采样点多光谱信息矩阵,生成光谱字典,在稀疏先验的约束下重构非采样点的光谱信息,使得多光谱信息的重构更简单、直观,所需要的场景光谱采样点较少,实现了基于压缩感知理论的高维多光谱数据采集。
如图4所示,本发明的进一步实施例提出了一种多光谱计算重构系统,包括图像获取装置310、字典学习装置320、光谱信息重构装置330。其中:图像获取装置310,用于生成双路多光谱图像,以及对双路多光谱图像进行采集并得到采样点多光谱信息,其中,该双路多光谱图像包括第一路多光谱图像和第二路多光谱图像。图像获取装置310包括灰度相机311和RGB相机312。其中,灰度相机311,用于采集第一路多光谱图像。RGB相机312,用于采集第二路多光谱图像。
在本发明的一个实施例中,使用分光镜将场景光线分为两路,分别对高空间分辨率彩色图像(低光谱分辨率)和高光谱分辨率低空间分辨率场景进行采集。在高光谱分辨率低空间分辨率场景采集的光路中,使用蒙板对场景进行采样,之后使用三棱镜对光线进行分光处理,最后使用高分辨率灰度相机311对于分光的结果进行采集。对光路进行描述如下:场景光线进入系统后首先被分光镜一分为二,一部分光线经过蒙板被采样,被采样的光线束随后进入棱镜,根据散射原理,光线在空间中横向散开,散开后的光线在高分辨率灰度相机中被记录下来,由此得到采样点上的光谱信息。为弥补采样造成的空间分辨率丢失,经过分光镜的另一部分光线直接被RGB相机312采集。
字典学习装置320用于根据采样点多光谱信息生成对应的采样点多光谱信息矩阵,以及对多光谱图像的采样点光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典,其中,该光谱字典为光谱向量。
在本发明的一个实施例中,字典学习装置320对采样点多光谱信息进行幅度标定和归一化,并采用下述公式对幅度标定和归一化后的采样点多光谱信息进行稀疏约束下的矩阵分解,以获取光谱字典,;
min||X||0
s.t.XD=M
其中,D为所述光谱字典,M采集得到的采样点上的多光谱数据矩阵,X为多光谱数据在光谱字典上的表达,根据先验,可假定X具有稀疏性的特点。
光谱信息重构装置330用于根据光谱字典、RGB相机312的R通道、G通道和B通道的积分曲线以及第二路多光谱图像在稀疏先验的约束下重构所述双路多光谱图像中的非采样点的光谱信息。
在本发明的一个实施例中,光谱信息重构装置330根据所述光谱字典、RGB相机312的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像,计算场景非采样点的稀疏表示方程:
其中,D是通过字典学习得到的光谱字典,为相机的R通道颜色积分曲线,为相机的G通道积分曲线,为相机的B通道积分曲线,Color是相机采集的RGB向量,为场景点上的多光谱信息。
光谱信息重构装置330利用场景材质和光源光谱的稀疏性对于所述稀疏表示方程进行稀疏重构,得到未知光谱点上的光谱信息。
在本发明的一个实施例中,使用LARS方法上述0范数最优化问题松弛得到的一范数最小化的LASSO模型进行求解得到稀疏重构的未知光谱点上的光谱信息。LASSO模型如下所示:
s.t.||x||1≤s
其中,x为信息的稀疏表达结果,y为实际信号,A为一组过完备基,s为稀疏程度的约束。
在本发明的一个实施例中,本发明实施例的多光谱计算重构系统还包括优化装置,其中,优化装置根据场景的RGB信息与位置信息,对光谱图像进行一致性处理,在平滑约束的条件下,对于光谱进行优化处理。
在本发明的一个实施例中,优化装置进行优化处理的过程中,使用双边滤波(Bilateral Filtering)的方法进行平滑处理。本发明实施例中采用的优化方法以双边滤波法为例,需要理解的是本发明所采用的优化方法并不限于双边滤波法。
优化装置根据场景强度一致性原理,对于恢复的多光谱数据进行归一化处理,保证强度一致。
根据本发明实施例的多光谱计算重构系统,通过采集双路多光谱图,得到采样点多光谱信息矩阵,生成光谱字典,在稀疏先验的约束下重构非采样点的光谱信息,使得多光谱信息的重构更简单、直观,所需要的场景光谱采样点较少,实现了基于压缩感知理论的高维多光谱数据采集。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
Claims (8)
1.一种多光谱计算重构方法,其特征在于,包括如下步骤:
生成双路多光谱图像,并利用拍照装置对所述双路多光谱图像进行采集以得到采样点多光谱信息,其中,所述拍照装置包括灰度相机和RGB相机,所述双路多光谱图像包括第一路多光谱图像和第二路多光谱图像,其中,所述灰度相机采集所述第一路多光谱图像,所述RGB相机采集所述第二路多光谱图像;
根据所述采样点多光谱信息生成对应的采样点多光谱信息矩阵,并对所述采样点多光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典,其中,所述光谱字典为光谱向量;以及
根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像在稀疏先验的约束下重构所述双路多光谱图像中的非采样点的光谱信息,所述重构所述双路多光谱图像中的非采样点的光谱信息,包括如下步骤:
根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像,计算场景非采样点的稀疏表示方程:
其中,D为所述光谱字典,Color为采集的RGB向量,为所述RGB相机的色彩积分曲线,为场景点上的多光谱信息;
利用场景材质和光源光谱的稀疏性对所述稀疏表示方程进行稀疏重构以得到所述非采样点的光谱信息。
2.如权利要求1所述的多光谱计算重构方法,其特征在于,所述灰度相机采集所述第一路多光谱图像,包括如下步骤:
将所述双路多光谱图像中的一路使用蒙板进行采样,并通过三棱镜将采样后的光线进行分光处理,由所述灰度相机采集分光后的图像。
3.如权利要求1所述的多光谱计算重构方法,其特征在于,所述对所述采样点多光谱信息矩阵进行稀疏约束的字典学习包括如下步骤:
对所述采样点多光谱信息进行幅度标定和归一化;
对所述幅度标定和归一化后的采样点多光谱信息进行稀疏约束下的矩阵分解以获取所述光谱字典,
min||X||0
s.t.XD=M
其中,D为所述光谱字典,M采集得到的采样点上的多光谱数据矩阵,X为多光谱数据在光谱字典上的表达。
4.如权利要求3所述的多光谱计算重构方法,其特征在于,还包括如下步骤:根据所述光谱字典,并通过稀疏程度分析所述采样点多光谱信息的损失程度。
5.如权利要求1所述的多光谱计算重构方法,其特征在于,还包括如下步骤:根据空间采样点的位置信息对重构后的光谱信息进行平滑处理和归一化处理。
6.一种多光谱计算重构系统,其特征在于,包括:
图像获取装置,用于生成双路多光谱图像,以及对所述双路多光谱图像进行采集并得到采样点多光谱信息,其中,所述双路多光谱图像包括第一路多光谱图像和第二路多光谱图像,所述图像获取装置包括:
灰度相机,所述灰度相机用于采集所述第一路多光谱图像;
RGB相机,所述RGB相机用于采集所述第二路多光谱图像;
字典学习装置,用于根据所述采样点多光谱信息生成对应的采样点多光谱信息矩阵,以及对所述多光谱图像的采样点光谱信息矩阵进行稀疏约束的字典学习,生成光谱字典,其中,所述光谱字典为光谱向量;以及
光谱信息重构装置,用于根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像在稀疏先验的约束下重构所述双路多光谱图像中的非采样点的光谱信息,所述光谱信息重构装置根据所述光谱字典、所述RGB相机的R通道、G通道和B通道的积分曲线以及所述第二路多光谱图像,计算场景非采样点的稀疏表示方程:
其中,D为所述光谱字典,Color为采集的RGB向量,为所述RGB相机的色彩积分曲线,为场景点上的多光谱信息;
所述光谱信息重构装置利用场景材质和光源光谱的稀疏性对所述稀疏表示方程进行稀疏重构以得到所述非采样点的光谱信息。
7.如权利要求6所述的多光谱计算重构系统,其特征在于,还包括蒙板和三棱镜,其中,所述双路多光谱图像中的一路通过蒙板进行采样,并通过三棱镜将采样后的光线进行分光处理,所述灰度相机采集分光后的图像。
8.如权利要求6所述的多光谱计算重构系统,其特征在于,所述字典学习装置对所述采样点多光谱信息进行幅度标定和归一化,并采用下述公式对所述幅度标定和归一化后的采样点多光谱信息进行稀疏约束下的矩阵分解以获取所述光谱字典,
min||X||0
s.t.XD=M
其中,D为所述光谱字典,M采集得到的采样点上的多光谱数据矩阵,X为多光谱数据在光谱字典上的表达。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210075172.6A CN102661794B (zh) | 2012-03-20 | 2012-03-20 | 多光谱计算重构方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210075172.6A CN102661794B (zh) | 2012-03-20 | 2012-03-20 | 多光谱计算重构方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102661794A CN102661794A (zh) | 2012-09-12 |
CN102661794B true CN102661794B (zh) | 2014-08-06 |
Family
ID=46771327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210075172.6A Active CN102661794B (zh) | 2012-03-20 | 2012-03-20 | 多光谱计算重构方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102661794B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103335712B (zh) * | 2013-05-16 | 2015-12-02 | 清华大学 | 基于三边滤波的光谱时空域传播方法 |
CN103400341B (zh) * | 2013-07-03 | 2016-06-29 | 西安电子科技大学 | 基于压缩感知的空谱域联合恢复高光谱数据的方法 |
CN103674244B (zh) * | 2013-07-05 | 2015-10-21 | 北京师范大学 | 一种基于gpu的快速反卷积二维光纤光谱抽取方法 |
CN103743483B (zh) * | 2013-10-28 | 2015-11-11 | 中国工程物理研究院流体物理研究所 | 差分光谱成像方法 |
CN103871087B (zh) * | 2014-03-20 | 2016-07-13 | 西北工业大学 | 基于三维全变差稀疏先验的高光谱解混压缩感知方法 |
CN104154998B (zh) * | 2014-08-15 | 2016-03-30 | 中国科学院上海技术物理研究所 | 一种基于压缩感知的计算多光谱成像图谱的重构方法 |
CN106644071B (zh) * | 2016-09-30 | 2018-01-16 | 上海理工大学 | 基于加权测量矩阵的光谱重构方法 |
JP6910792B2 (ja) | 2016-12-13 | 2021-07-28 | ソニーセミコンダクタソリューションズ株式会社 | データ処理装置、データ処理方法、プログラム、および電子機器 |
CN107064005B (zh) * | 2017-06-16 | 2018-05-29 | 中国科学技术大学 | 一种高光谱光场的快照式成像系统以及重建算法 |
CN107290055A (zh) * | 2017-06-21 | 2017-10-24 | 西安电子科技大学 | 基于rgb通道的压缩光谱成像系统及成像方法 |
CN107907215B (zh) * | 2017-11-08 | 2020-01-03 | 凌云光技术集团有限责任公司 | 光谱曲线重构方法和装置 |
CN110490937B (zh) * | 2019-07-15 | 2022-05-17 | 南京大学 | 一种加速高光谱视频重建的方法及其装置 |
CN112229514B (zh) * | 2020-09-27 | 2023-04-18 | 北京理工大学重庆创新中心 | 液晶高光谱计算成像系统的三维数据重构方法 |
CN112270134A (zh) * | 2020-11-11 | 2021-01-26 | 仲恺农业工程学院 | 基于LassoLars回归算法的水稻叶片氮积累量遥感反演模型和方法 |
CN113670440B (zh) * | 2021-07-21 | 2023-11-10 | 杭州电子科技大学 | 一种基于自适应字典的压缩光谱成像方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279050A (zh) * | 2011-07-28 | 2011-12-14 | 清华大学 | 一种多光谱计算重构方法及系统 |
-
2012
- 2012-03-20 CN CN201210075172.6A patent/CN102661794B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279050A (zh) * | 2011-07-28 | 2011-12-14 | 清华大学 | 一种多光谱计算重构方法及系统 |
Non-Patent Citations (6)
Title |
---|
A Prism-based System for Multispectral Video Acquisition;Hao Du etc;《2009 IEEE 12th International Conference on Computer Vision》;20091231 * |
COMPRESSED SENSING MRI WITH COMBINED SPARSIFYING TRANSFORMS AND SMOOTHED l0 NORM MINIMIZATION;Xiaobo Qu etc;《IEEE》;20101231 * |
Hao Du etc.A Prism-based System for Multispectral Video Acquisition.《2009 IEEE 12th International Conference on Computer Vision》.2009, |
Xiaobo Qu etc.COMPRESSED SENSING MRI WITH COMBINED SPARSIFYING TRANSFORMS AND SMOOTHED l0 NORM MINIMIZATION.《IEEE》.2010, |
压缩感知理论及其研究进展;石光明 等;《电子学报》;20090531;第37卷(第5期);第1070-1076页 * |
石光明 等.压缩感知理论及其研究进展.《电子学报》.2009,第37卷(第5期),第1070-1076页. |
Also Published As
Publication number | Publication date |
---|---|
CN102661794A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102661794B (zh) | 多光谱计算重构方法及系统 | |
CN102279050B (zh) | 一种多光谱计算重构方法及系统 | |
CN107909061B (zh) | 一种基于不完备特征的头部姿态跟踪装置及方法 | |
EP3830551B1 (en) | A hybrid spectral imager | |
JP5882455B2 (ja) | 高解像度マルチスペクトル画像キャプチャ | |
Ma et al. | Acquisition of high spatial and spectral resolution video with a hybrid camera system | |
CN103487145B (zh) | 多光谱采集系统的标定方法及系统 | |
CN103940511B (zh) | 高光谱采集系统的光谱谱线定标方法及装置 | |
Xiong et al. | Snapshot hyperspectral light field imaging | |
CN106575035B (zh) | 用于光场成像的系统和方法 | |
WO2017121058A1 (zh) | 一种全光信息采集系统 | |
Jia et al. | Fourier spectral filter array for optimal multispectral imaging | |
CN106679808B (zh) | 基于压缩光谱的关联成像系统及其方法 | |
CN107064005B (zh) | 一种高光谱光场的快照式成像系统以及重建算法 | |
JP2012173391A (ja) | 画像生成装置、及び、画像生成方法 | |
US10168210B2 (en) | Snapshot-type polarized hyperspectral camera and an imaging method | |
JP2018513964A5 (ja) | スナップショット型偏光ハイパースペクトルカメラ及び画像化方法 | |
CN206804159U (zh) | 一种基于滤波模组的多通道窄带滤波成像仪 | |
WO2024178879A1 (zh) | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 | |
CN205679317U (zh) | 一种基于微透镜阵列传感器的数字变焦型光谱成像仪 | |
Le Moan et al. | A database for spectral image quality | |
Kester et al. | A real-time gas cloud imaging camera for fugitive emission detection and monitoring | |
CN103335712B (zh) | 基于三边滤波的光谱时空域传播方法 | |
Yu et al. | High Spectral Resolution Imaging Based on Dual-Camera System With Filter Wheel | |
CN110960194B (zh) | 一种耳相采集装置及采集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |