CN111386549A - 一种混合型高光谱图像重构的方法及系统 - Google Patents
一种混合型高光谱图像重构的方法及系统 Download PDFInfo
- Publication number
- CN111386549A CN111386549A CN201980005542.9A CN201980005542A CN111386549A CN 111386549 A CN111386549 A CN 111386549A CN 201980005542 A CN201980005542 A CN 201980005542A CN 111386549 A CN111386549 A CN 111386549A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- area
- rgb
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 80
- 239000011159 matrix material Substances 0.000 claims description 53
- 230000003595 spectral effect Effects 0.000 claims description 20
- 230000000295 complement effect Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 238000005316 response function Methods 0.000 claims description 14
- 239000010409 thin film Substances 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 8
- 239000004038 photonic crystal Substances 0.000 claims description 7
- 238000000151 deposition Methods 0.000 claims description 5
- 230000008021 deposition Effects 0.000 claims description 5
- 238000005530 etching Methods 0.000 claims description 5
- 238000000059 patterning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 16
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 15
- 238000003860 storage Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 239000010408 film Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 235000012239 silicon dioxide Nutrition 0.000 description 2
- 239000000377 silicon dioxide Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Spectrometry And Color Measurement (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请提供了一种混合型高光谱图像重构的方法及系统。所述方法包括：图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；将所述第一区域图像重构为第一区域的高光谱图像；将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种混合型高光谱图像重构的方法及系统。
背景技术
近年来，高光谱图像采集在遥感、农业、工业检测等各应用领域中扮演着越发重要的角色。一般情况下，高光谱图像的采集需要在常规的图像传感器前加装滤波装置以获得多个不同波段的窄带光信号，例如，基于利奥(Lyot)滤镜组的液晶可调滤镜(Liquidcrystal tunable filter,LCTF)，但是由于其原理是按照时间顺序收集多个单一波段的图像来进行高光谱图像采集的，因此只适用于拍摄静止的景物；或者添加分光装置如基于弹光效应的声光可调滤镜(Acousto-optical tunable filter,AOTF)并通过图像传感器的不同区域接收不同波段的光，因此可以实现瞬时的高光谱拍摄。以上进行高光谱图像采集的两种方法均需要添加外置装置，降低了整体系统的便携性，提高了成本；并且为了获得较高的光谱分辨率，均一定程度上牺牲了时域分辨率或空间分辨率。
发明内容
本申请提供了一种混合型高光谱图像重构的方法及系统，用于解决高光谱图像采集方法便携性低、成本高的缺点。
第一方面，本申请提供了一种混合型高光谱图像重构的方法，所述方法包括以下步骤：
图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；
将所述第一区域图像重构为第一区域的高光谱图像；
将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
可选地，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。
可选地，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。
可选地，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：
获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；
使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；
对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；
将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
可选地，将所述第一区域图像重构为第一区域的高光谱图像包括：
将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；
根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述权重系数矩阵反映了所述输出的高光谱图像Yh和高光谱图像字典Dh之间的映射关系，所述高光谱图像字典Dh是在所述获取待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。
可选地，在所述图像传感器拍摄目标视野获取目标待重构图像之前，所述方法还包括：
将所述权重系数矩阵X初始化0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典Dh；
根据所述高光谱图像字典Dh以及所述图像传感器的光谱响应函数S，获得RGB图像字典DRGB，其中，DRGB＝SDh。
可选地，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。
可选地，所述图像传感器基于半导体薄膜技术，其中，
所述第一滤光片是RGB染料滤光片；
所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的F-P腔薄膜阵列；或者，
所述第二滤光片是利用光子晶体在CMOS传感器阵列上构成的反射式多通道滤波片。
可选地，所述获得重构后的目标高光谱图像之后，所述方法还包括：
将拍摄所述目标区域使用的第一滤光片切换为第二滤光片。
第二方面，提供了一种混合型高光谱图像重构系统，所述系统包括：
获取单元，所述获取单元用于使用图像传感器拍摄目标视野获取目标待重构图像，其中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；
重构单元，所述重构单元用于将所述第一区域图像重构为第一区域的高光谱图像；
融合单元，所述融合单元用于将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
可选地，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于所述第二区域图像。
可选地，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。
可选地，所述系统还包括补拍单元，
所述补拍单元用于在所述第一区域的高光谱图像中出现波段重叠区域的情况下，获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；
使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；
所述补拍单元还用于对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；
所述融合单元还用于将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。
可选地，所述重构单元具体用于将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；
所述重构单元具体用于根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的高光谱图像Yh和高光谱图像字典Dh之间的映射关系，所述高光谱图像字典Dh是在所述获取待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。
可选地，所述系统还包括训练单元，
所述训练单元用于在所述图像传感器拍摄目标视野获取目标待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典Dh；
所述训练单元还用于根据所述高光谱图像字典Dh以及所述图像传感器的光谱响应函数S，获得RGB图像字典DRGB，其中，DRGB＝SDh。
可选地，所述第一滤光片是RGB染料滤光片；
所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的F-P腔薄膜阵列；或者，
所述第二滤光片是利用光子晶体在CMOS传感器阵列上构成的反射式多通道滤波片。
可选地，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。
可选地，所述系统还包括切换单元，
所述切换单元用于在所述获得重构后的目标高光谱图像之后，将所述与拍摄所述目标区域使用的第一滤光片切换为第二滤光片。
基于本申请提供的混合型高光谱图像重构的方法及系统，通过图像传感器拍摄目标视野获取目标待重构图像，再将所述第一区域图像重构为第一区域的高光谱图像，从而将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。使得图像传感器无需添加额外的分光装置或者滤波装置就可以拍摄出高精度的高光谱图像，具有便携性好，成本低的优点。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种混合型高光谱图像重构的方法；
图2是本申请提供的一种图像传感器成像区域中的超级像素分布示意图；
图3是本申请提供的一种使用F-P腔薄膜阵列形成的超级像素的结构示意图；
图4是本申请提供的一种混合型高光谱图像重构的方法的拍摄流程示意图；
图5是本申请提供的一种混合型高光谱图像重构系统的结构示意图；
图6是本申请提供的一种电子设备的结构示意图。
具体实施方式
本申请实施例的混合型高光谱图像重构的方法及系统可以应用在多个领域。例如，遥感、农业、工业检测、军事等各个应用领域，可以装在飞行器上进行目标视野的高光谱图像拍摄，例如，在农业领域中，可以根据拍摄的农作物的高光谱图像进行农作物长势评估、灾害预警和生产管理；在地质勘探和矿产领域中，可以根据拍摄的地物的高光谱图像获取波谱特征，从而进行地表矿物的识别；在军事侦测领域中，可以根据拍摄的战场的高光谱图像来区分识别目标、伪装物以及自然物，从而提高目标打击的准确率等等，本申请不作具体限定。
图1是本申请提供的一种混合型高光谱图像重构的方法，所述方法包括以下步骤：
S101：图像传感器拍摄目标视野获取目标待重构图像。
在一实施例中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像。所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。也就是说，图像传感器拍摄目标视野后，可以得到一张目标待重构图像，这张目标待重构图像一部分是RGB图像，也就是第一区域图像，一部分是高光谱图像，也就是第二区域图像。其中，第一区域图像是图像传感器第一滤光片得到的图像，第二区域图像是图像传感器使用第二滤光片拍摄得到的图像。应理解，对于本申请提供的图像传感器来说，第一滤光片拍摄的第一区域的面积，远远大于第二滤光片拍摄的第二区域的面积。这是因为图像传感器拍摄高光谱图像需要额外添加昂贵的分光装置以及滤波装置，如果直接使用添加外置装置的图像传感器直接拍摄高光谱图像，对于经常与无人机搭配使用进行目标视野拍摄的高光谱采集图像传感器来说，成本高，并且便携性差。因而本申请提供的方案，主要是由采集RGB图像的第一滤光片进行目标视野的拍摄的，图像传感器无需额外添加外置装置即可获得高精度的高光谱图像，从而大大降低制作成本，且具有良好的便携性。
在一实施例中，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。也就是说，第一区域图像是直接使用图像传感器及第一滤光片拍摄获得的，而第二滤光片只能拍摄出多光谱图像，而第二区域图像是高光谱图像，因此，图像传感器可以直接使用第二滤光片拍摄目标视野获得多光谱图像后，再进行空间分辨率的恢复操作得到第二区域。应理解，多光谱图像其实可以看做是高光谱图像的一种情况，即成像的波段数量比高光谱图像少，一般只有几个到十几个。由于光谱信息其实也就对应了色彩信息，所以多光谱图像或者说多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。因此使用第二滤光片获得目标视野的多光谱图像后，可以使用空间分辨率恢复的操作，获得高光谱图像。可以理解的是，使用第二滤波片采集多光谱数据还可以有效降低RGB重构高光谱图像的运算成本，在一定程度上缩短重构计算的时间。
在一实施例中，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。应理解，每个超级像素用于直接获得多光谱图像，对多光谱图像进行空间分辨率的恢复后，可以获得高光谱图像。虽然第二滤光片采集多光谱数据还可以有效降低RGB重构高光谱图像的运算成本，但是，直接拍摄RGB图像的第一滤光片的成本远远低于拍摄多光谱的第二滤光片的成本。因此，第二滤光片中的超级像素个数是有限的，不能太多。优选地，图像传感器成像区域每个象限的超级像素的数目为4-6个，组成超级像素的单波长像素种类数目为2×2或者3×3。例如，图2是本申请提供的一种图像传感器成像区域中的超级像素分布示意图。其中，图中的无色部分为第一滤光片覆盖的区域，深色部分为第二滤光片覆盖的区域，第二滤光片包含的超级像素的总个数为4×6个，分别位于图像传感器的成像区域中的四个象限中心位置，每个象限的中心包含6个超级像素，每个超级像素由3×3个单波长像素排列组合成正方形像素集合。应理解，上述举例仅用于说明，并不能构成具体限定。
在一实施例中，所述第一滤光片是RGB染料滤光片；所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的F-P腔薄膜阵列；或者，所述第二滤光片是利用光子晶体在CMOS传感器阵列上构成的反射式多通道滤波片。应理解，第二滤光片用于拍摄多光谱图片，即第二滤光片具有采集不同波段的光信号的特性，而F-P腔是一种利用多光束干涉现象来进行分光操作的装置，因此可以通过改变传感器前端F-P腔的结构，包括但不限于腔长、腔体介质的折射率、反射镜的材质等等，从而改变第二滤光片的光通过频率，组成可以进行多光谱拍摄的超级像素。例如，一种使用F-P腔薄膜阵列形成的超级像素的结构如图3所示，其中，图3显示的是F-P腔薄膜阵列形成的超级像素的侧视图，图3仅显示了超级像素中的5个单波长像素，每个单波长像素包括底层反射镜301，透明介质302以及顶层反射镜303。其中，透明介质302的材料为二氧化硅Si02，其折射率约为n＝1.54，底层反射镜301采用银Ag作为反射材料，其在可见光波段反射率约为90％以上，由图3可知，每个单波长像素的腔长是不同的。下面以红光(波长630nm)绿光(波长550nm)蓝光(波长440nm)为例，对透明介质302的介质腔腔长的计算进行举例说明。应理解，图3所示的F-P腔薄膜阵列的光学腔长应满足下列相干干涉条件(以正入射为例)：
2nd＝Nλ，N∈Z (1)
其中，n为透明介质302的折射率，d为透明介质302的介质腔腔长，λ为入射光波长，N为一个正整数。因此，上述红、绿、蓝三个通道一种可能的腔长组合为：201nm、179nm以及143nm。因此，根据公式(1)以及不同的光波段的波长，可以分别计算出对应的介质腔腔长，从而制作出F-P腔薄膜阵列形成超级像素。应理解，上述举例仅用于说明，并不能构成具体限定，图像传感器的超级像素还可以是利用光子晶体在COMS传感器阵列上构成反射式多通道滤波片，从而代替F-P腔薄膜阵列对不同波段进行选择，本申请不再赘述。
S102：将所述第一区域图像重构为第一区域的高光谱图像。
在一实施例中，将所述第一区域图像重构为第一区域的高光谱图像包括：将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的高光谱图像Yh和高光谱图像字典Dh之间的映射关系，所述高光谱图像字典Dh是在所述获取待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。
优选地，可以通过正交匹配追踪算法(Orthogonal Matching Pursuit,OMP)，根据输入的RGB图像以及公式(2)计算对应的权重系数矩阵X：
YRGB＝DRGBX，W∈Rk×l (2)
其中，k表示矩阵的行数，l表述矩阵的列数，并且Dh和DRGB有如公式(3)所示的确定的映射关系：
DRGB＝SDh＝{c1,c2,…,ck}，S∈R3×n，ci＝(Ri,Gi,Bi)T (3)
其中，S为图像传感器的光谱响应函数，光谱响应函数S可以通过RGB图像传感器的生产厂家获取或直接测定，其物理意义为对一个高光谱通道的信号在对应的R或G或B通道的响应。因此，Dh和DRGB有确定映射关系的情况下，RGB图像字典DRGB的权重系数矩阵X同样可以用于高光谱字典Dh。通过对高光谱字典中原子的线性组合，重构出输入RGB图像的高光谱图像Yh，其中，
Yh＝DhX (4)
应理解，上述计算过程为举例说明，本申请除了通过OMP方法根据输入的RGB图像计算出权重系数矩阵X，还可以使用其他方法获得重构的高光谱图像，例如利用深度学习神经网络的方法，使用已有的RGB图像库和对应的高光谱图像库对神经网络进行训练，从而获得输入RGB图像，输出高光谱图像的重构模型，本申请不作具体限定。
在一实施例中，在所述图像传感器拍摄目标视野获取目标待重构图像之前，所述方法还包括：将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典Dh；根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S，获得RGB图像字典DRGB，其中，DRGB＝SDh。
优选地，步骤S102根据输入的第一区域图像进行高光谱图像的重构过程中，使用的高光谱图像字典Dh可以是利用预先已有的高光谱图像字典，也可以是通过字典学习中的一种经典算法K-SVD算法迭代更新后获得的过完备的高光谱图像字典Dh。具体地，给定训练数据Y，即已有的高光谱图像数据库，把Y矩阵分为Y≈D*X，其中D称为字典，D的每一列称为原子，X称为系数矩阵。从样本集Y随机挑选k个样品，作为字典D的原子，并且初始化系数矩阵X为0，以如下函数为目标函数对D和X进行逐列更新：
D,X＝argminD,X{‖X‖0},st‖Y-DX‖2≤ε (5)
其中ε是重构误差中允许的最大值，经过反复迭代更新，获得高光谱图像字典Dh：
Dh＝{h1,h2,…,hk}，hi∈Rn×1，Dh∈Rn×k (6)
其中n表示矩阵的行数，k表示矩阵的列数。获得高光谱图像字典Dh后，再通过公式(3)以及光谱响应函数S，将获得的高光谱图像字典Dh降维映射至RGB空间，从而获得对应的RGB字典DRGB。使得步骤S102可以根据输入的第一区域图像，也就是RGB图像，根据公式(2)获得权重系数矩阵X后，再根据公式(4)即可获得重构的第一区域的高光谱图像。应理解，上述计算过程仅用于举例说明，本申请不作具体限定。其中，在计算Y≈D*X是一欠定方程时，除了使用本申请提供的OMP算法，还可以根据稀疏性的先验条件，通过使用L0范数约束找到最稀疏的解，比如贪婪(greedy)算法以及MP算法，对于其他计算方法，本申请不再作赘述。其中，为了提高高光谱图像重构的准确率，本申请使用的高光谱图像样本集可以包括多个不同场景下的高光谱图像，包括但不限于城市、郊区、农业、动植物景观、室内景观等高光谱可以应用的区域。
S103：将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
在一实施例中，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。应理解，利用图像字典进行RGB图像重构为高光谱图像的方法，经过对损失函数的分析可以发现，在RGB各个波带边缘区域，重构质量有一定程度的下降，原因是RGB各个波段之间的交叠会引起映射误差。换句话说，波段重叠区域指的就是各个波段之间的交叠区域。因此，本申请提供的混合高光谱重构的方法，可以将图像传感器的第二区域加工成为可以进行高光谱图像采集的超级像素，用于直接获得准确的高光谱图像，对光波段交叠区域直接进行高光谱图像的拍摄，从而提高高光谱图像的重构精度。其中第二区域可以是预先通过计算得出的各个光波段之间的交叠区域，还可以是在使用第一区域拍摄并重构高光谱图像后确定的波段重叠区域。需要说明的，如果拍摄时由于无人机振动、光线角度或者其他外界情况造成图片不清晰的区域，也可以使用第二滤光片进行补拍，从而最大程度地确保最后获得的高光谱重构图像的重构精度。
例如，图4是本申请提供的一种混合型高光谱重构的方法的拍摄流程示意图。首先，使用图像传感器对目标视野区域进行拍摄，获得待重构图像，其中，拍摄使用的传感器可以是包含如图3所示使用F-P腔薄膜阵列的COMS图像传感器阵列；接着，将待重构图像的第一区域图像也就是RGB图像，进行步骤S102的RGB重构高光谱操作，对于RGB各波段边缘的成像区域，系统将会提示需要利用图像传感器的第二滤波片对目标区域进行补拍，获得目标区域的多光谱图像，以弥补RGB各个波段边缘重构精度低的问题，再对补拍得到的多光谱图像进行空间分辨率的恢复后，获得一张或者多张目标区域的高光谱图像；再将第二区域图像也就是使用第二滤波片拍摄获得的多光谱图像，进行空间分辨率的恢复后，获得第二区域的高光谱图像；最后将第一区域的高光谱图像、一张或者多张目标区域的高光谱图像、以及第二区域的高光谱图像，使用主成分分析(Principal Component Analysis,PCA)等图像融合算法进行融合后，即可获得重构后的高精度的高光谱图像。其中，如果第一滤波片拍摄的RGB图像进行步骤S102的高光谱重构后，没有处于光波段边缘的波段重叠区域，则不需要再使用第二滤波片进行高光谱图像的补拍，这里，可以直接使用第一区域的高光谱图像与第二区域的高光谱图像进行图像融合操作，即可获得重构后的高精度的高光谱图像。由图4可知，使用本申请提供的混合型高光谱图像重构的方法，利用RGB图像重构出高光谱图像，不但大大降低了硬件成本，由于添加了具备多光谱拍摄能力的超级像素，同时也大大提高了高光谱重构的精度，并且，超级像素采集的多光谱数据还可以有效降低RGB重构高光谱的运算成本，从而缩短重构高光谱图像的计算时间。
在一实施例中，所述获得重构后的目标高光谱图像之后，所述方法还包括：将拍摄所述目标区域使用的第一滤光片切换为第二滤光片。也就是说，第二滤光片的初始分布可以是分布于图像传感器的四个象限的中心位置，在第一区域的高光谱图像多次出现光谱重叠的情况时，还可以对第二滤光片的超级像素分布进行调整。换句话说，本申请提供的混合型高光谱图像重构的方法使用的图像传感器，其中用于拍摄多光谱图像的超级像素，可以根据实际应用领域的需要，更改光信号的通道数目、超级像素的数量及具体分布。
上述方法中，通过图像传感器拍摄目标视野获取目标待重构图像，再将所述第一区域图像重构为第一区域的高光谱图像，从而将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。通过上述方法，使得图像传感器无需添加额外的分光装置或者滤波装置就可以拍摄出高精度的高光谱图像，具有便携性好，成本低的优点。
图5是本申请提供的一种混合型高光谱图像重构系统的结构示意图，如图5所示，本申请提供的混合型高光谱图像重构系统包括获取单元510，重构单元520、融合单元530、训练单元540、补拍单元550以及切换单元560。
所述获取单元510用于使用图像传感器拍摄目标视野获取目标待重构图像。
在一实施例中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像。所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。也就是说，图像传感器拍摄目标视野后，可以得到一张目标待重构图像，这张目标待重构图像一部分是RGB图像，也就是第一区域图像，一部分是高光谱图像，也就是第二区域图像。其中，第一区域图像是图像传感器第一滤光片得到的图像，第二区域图像是图像传感器使用第二滤光片拍摄得到的图像。应理解，对于本申请提供的图像传感器来说，第一滤光片拍摄的第一区域的面积，远远大于第二滤光片拍摄的第二区域的面积。这是因为图像传感器拍摄高光谱图像需要额外添加昂贵的分光装置以及滤波装置，如果直接使用添加外置装置的图像传感器直接拍摄高光谱图像，对于经常与无人机搭配使用进行目标视野拍摄的高光谱采集图像传感器来说，成本高，并且便携性差。因而本申请提供的方案，主要是由采集RGB图像的第一滤光片进行目标视野的拍摄的，图像传感器无需额外添加外置装置即可获得高精度的高光谱图像，从而大大降低制作成本，且具有良好的便携性。
在一实施例中，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。也就是说，第一区域图像是直接使用图像传感器及第一滤光片拍摄获得的，而第二滤光片只能拍摄出多光谱图像，而第二区域图像是高光谱图像，因此，图像传感器可以直接使用第二滤光片拍摄目标视野获得多光谱图像后，再进行空间分辨率的恢复操作得到第二区域。应理解，多光谱图像其实可以看做是高光谱图像的一种情况，即成像的波段数量比高光谱图像少，一般只有几个到十几个。由于光谱信息其实也就对应了色彩信息，所以多光谱图像或者说多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。因此使用第二滤光片获得目标视野的多光谱图像后，可以使用空间分辨率恢复的操作，获得高光谱图像。可以理解的是，使用第二滤波片采集多光谱数据还可以有效降低RGB重构高光谱图像的运算成本，在一定程度上缩短重构计算的时间。
在一实施例中，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。应理解，每个超级像素用于直接获得多光谱图像，对多光谱图像进行空间分辨率的恢复后，可以获得高光谱图像。虽然第二滤光片采集多光谱数据还可以有效降低RGB重构高光谱图像的运算成本，但是，直接拍摄RGB图像的第一滤光片的成本远远低于拍摄多光谱的第二滤光片的成本。因此，第二滤光片中的超级像素个数是有限的，不能太多。优选地，图像传感器成像区域每个象限的超级像素的数目为4-6个，组成超级像素的单波长像素种类数目为2×2或者3×3。例如，图2是本申请提供的一种图像传感器成像区域中的超级像素分布示意图。其中，图中的无色部分为第一滤光片覆盖的区域，深色部分为第二滤光片覆盖的区域，第二滤光片包含的超级像素的总个数为4×6个，分别位于图像传感器的成像区域中的四个象限中心位置，每个象限的中心包含6个超级像素，每个超级像素由3×3个单波长像素排列组合成正方形像素集合。应理解，上述举例仅用于说明，并不能构成具体限定。
在一实施例中，所述第一滤光片是RGB染料滤光片；所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的F-P腔薄膜阵列；或者，所述第二滤光片是利用光子晶体在CMOS传感器阵列上构成的反射式多通道滤波片。应理解，第二滤光片用于拍摄多光谱图片，即第二滤光片具有采集不同波段的光信号的特性，而F-P腔是一种利用多光束干涉现象来进行分光操作的装置，因此可以通过改变传感器前端F-P腔的结构，包括但不限于腔长、腔体介质的折射率、反射镜的材质等等，从而改变第二滤光片的光通过频率，组成可以进行多光谱拍摄的超级像素。例如，一种使用F-P腔薄膜阵列形成的超级像素的结构如图3所示，其中，图3显示的是F-P腔薄膜阵列形成的超级像素的侧视图，图3仅显示了超级像素中的5个单波长像素，每个单波长像素包括底层反射镜301，透明介质302以及顶层反射镜303。其中，透明介质302的材料为二氧化硅Si02，其折射率约为n＝1.54，底层反射镜301采用银Ag作为反射材料，其在可见光波段反射率约为90％以上，由图3可知，每个单波长像素的腔长是不同的。下面以红光(波长630nm)绿光(波长550nm)蓝光(波长440nm)为例，对腔长的计算进行举例说明。应理解，图3所示的F-P腔薄膜阵列的光学腔长应满足公式(1)所示的相干干涉条件(以正入射为例)，其中，n为透明介质302的折射率，d为透明介质302的介质腔腔长，λ为入射光波长，N为一个正整数。因此，上述红、绿、蓝三个通道一种可能的腔长组合为：201nm、179nm以及143nm。因此，根据公式(1)以及不同的光波段的波长，可以分别计算出对应的介质腔腔长，从而制作出F-P腔薄膜阵列形成超级像素。应理解，上述举例仅用于说明，并不能构成具体限定，图像传感器的超级像素还可以是利用光子晶体在COMS传感器阵列上构成反射式多通道滤波片，从而代替F-P腔薄膜阵列对不同波段进行选择，本申请不再赘述。
所述重构单元520用于将所述第一区域图像重构为第一区域的高光谱图像。
在一实施例中，所述重构单元520具体用于将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；所述重构单元520具体用于根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的高光谱图像Yh和高光谱图像字典Dh之间的映射关系，所述高光谱图像字典Dh是在所述获取待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。
在一具体的实施例中，可以通过正交匹配追踪算法(Orthogonal MatchingPursuit,OMP)，根据输入的RGB图像以及公式(2)计算对应的权重系数矩阵X，其中，k表示矩阵的行数，l表述矩阵的列数，并且Dh和DRGB有如公式(3)所示的确定的映射关系，其中，S为图像传感器的光谱响应函数，光谱响应函数S可以通过RGB图像传感器的生产厂家获取或直接测定，其物理意义为对一个高光谱通道的信号在对应的R或G或B通道的响应。因此，Dh和DRGB有确定映射关系的情况下，RGB图像字典DRGB的权重系数矩阵X同样可以用于高光谱字典Dh。通过对高光谱字典中原子的线性组合，重构出输入RGB图像的高光谱图像Yh，应理解，上述计算过程为举例说明，本申请除了通过OMP方法根据输入的RGB图像计算出权重系数矩阵X，还可以使用其他方法获得重构的高光谱图像，例如利用深度学习神经网络的方法，使用已有的RGB图像库和对应的高光谱图像库对神经网络进行训练，从而获得输入RGB图像，输出高光谱图像的重构模型，本申请不作具体限定。
在一实施例中，所述系统还包括训练单元540，所述训练单元540用于在所述图像传感器拍摄目标视野获取目标待重构图像之前，将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典Dh；所述训练单元540还用于根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S，获得RGB图像字典DRGB，其中，DRGB＝SDh。
优选地，步骤S102根据输入的第一区域图像进行高光谱图像的重构过程中，使用的高光谱图像字典Dh可以是预先利用已有的高光谱图像字典，也可以是通过字典学习中的一种经典算法K-SVD算法迭代更新后获得的过完备的高光谱图像字典Dh。具体地，给定训练数据Y，即已有的高光谱图像数据库，把Y矩阵分为Y≈D*X，其中D称为字典，D的每一列称为原子，X称为系数矩阵。从样本集Y随机挑选k个样品，作为字典D的原子，并且初始化系数矩阵X为0，以公式(5)为目标函数对D和X进行逐列更新，其中ε是重构误差中允许的最大值，经过反复迭代更新，获得公式(6)所示的高光谱图像字典Dh。其中n表示矩阵的行数，k表示矩阵的列数。获得高光谱图像字典Dh后，再通过公式(3)以及光谱响应函数S，将获得的高光谱图像字典Dh降维映射至RGB空间，从而获得对应的RGB字典DRGB。使得步骤S102可以根据输入的第一区域图像，也就是RGB图像，根据公式(2)获得权重系数矩阵X后，再根据公式(4)即可获得重构的第一区域的高光谱图像。应理解，上述计算过程仅用于举例说明，本申请不作具体限定。其中，在计算Y≈D*X这一欠定方程时，除了使用本申请提供的OMP算法，还可以根据稀疏性的先验条件，通过使用L0范数约束找到最稀疏的解，比如贪婪(greedy)算法、MP算法以及OMP算法，对于其他计算方法，本申请不再作赘述。其中，为了提高高光谱图像重构的准确率，本申请使用的高光谱图像样本集可以包括多个不同场景下的高光谱图像，包括但不限于城市、郊区、农业、动植物景观、室内景观等高光谱可以应用的区域。
所述融合单元530用于将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
在一实施例中，所述系统还包括补拍单元550，所述补拍单元用于在所述第一区域的高光谱图像在所述第一区域的目标区域出现光谱波段重叠区域的情况下，获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；所述补拍单元550用于使用第二滤光片对所述第一区域的目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；所述补拍单元550还用于对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；所述融合单元还用于将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。应理解，利用图像字典进行RGB图像重构为高光谱图像的方法，经过对损失函数的分析可以发现，在RGB各个波段边缘区域，重构质量有一定程度的下降，原因是RGB各个波段之间的交叠会引起映射误差。换句话说，换句话说，波段重叠区域指的就是各个波段之间的交叠区域。因此，本申请提供的混合高光谱重构的方法，可以将图像传感器的第二区域加工成为可以进行高光谱图像采集的超级像素，用于直接获得准确的高光谱图像，对光波段交叠区域直接进行高光谱图像的拍摄，从而提高高光谱图像的重构精度。其中第二区域可以是预先通过计算得出的各个光波段之间的交叠区域，还可以是在使用第一区域拍摄并重构高光谱图像后确定的波段重叠区域。需要说明的，如果拍摄时由于无人机振动、光线角度或者其他外界情况造成图片不清晰的区域，也可以使用第二滤光片进行补拍，从而最大程度地确保最后获得的高光谱重构图像的重构精度。
例如，图4是本申请提供的一种混合型高光谱图像重构的方法的拍摄流程示意图。首先，使用图像传感器对目标视野区域进行拍摄，获得待重构图像，其中，拍摄使用的传感器可以是包含如图3所示使用F-P腔薄膜阵列的COMS图像传感器阵列；接着，将待重构图像的第一区域图像也就是RGB图像，进行步骤S102的RGB重构高光谱操作，对于RGB各波段边缘的成像区域，系统将会提示需要利用图像传感器的第二滤波片对目标区域进行补拍，获得目标区域的多光谱图像，以弥补RGB各个波段边缘重构精度低的问题，再对补拍得到的多光谱图像进行空间分辨率的恢复后，获得一张或者多张目标区域的高光谱图像；再将第二区域图像也就是使用第二滤波片拍摄获得的多光谱图像，进行空间分辨率的恢复后，获得第二区域的高光谱图像；最后将第一区域的高光谱图像、一张或者多张目标区域的高光谱图像、以及第二区域的高光谱图像，使用主成分分析(Principal Component Analysis,PCA)等图像融合算法进行融合后，即可获得重构后的高精度的高光谱图像。其中，如果第一滤波片拍摄的RGB图像进行步骤S102的高光谱重构后，没有处于光波段边缘的波段重叠区域，则不需要再使用第二滤波片进行高光谱图像的补拍，这里，可以直接使用第一区域的高光谱图像与第二区域的高光谱图像进行图像融合操作，即可获得重构后的高精度的高光谱图像。由图4可知，使用本申请提供的混合型高光谱图像重构的方法，利用RGB图像重构出高光谱图像，不但大大降低了硬件成本，由于添加了具备多光谱拍摄能力的超级像素，同时也大大提高了高光谱重构的精度，并且，超级像素采集的多光谱数据还可以有效降低RGB重构高光谱的运算成本，从而缩短重构高光谱图像的计算时间。
在一实施例中，所述系统还包括切换单元560，所述切换单元560用于在所述获得重构后的目标高光谱图像之后，将所述与拍摄所述目标区域使用的第一滤光片切换为第二滤光片。也就是说，第二滤光片的初始分布可以是分布于图像传感器的四个象限的中心位置，在第一区域的高光谱图像多次出现光谱波段重叠区域的情况时，还可以对第二滤光片的超级像素分布进行调整。换句话说，本申请提供的混合型高光谱图像重构的方法使用的图像传感器，其中用于拍摄多光谱图像的超级像素，可以根据实际应用领域的需要，更改光信号的通道数目、超级像素的数量及具体分布。
上述系统中，通过图像传感器拍摄目标视野获取目标待重构图像，再将所述第一区域图像重构为第一区域的高光谱图像，从而将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。通过上述系统，使得图像传感器无需添加额外的分光装置或者滤波装置就可以拍摄出高精度的高光谱图像，具有便携性好，成本低的优点。
图6是本申请实施例提供的一种电子设备结构示意框图。如图6所示，本实施例中的电子设备可以包括：一个或多个处理器601；一个或多个输入设备602，一个或多个输出设备603和存储器604。上述处理器601、输入设备602、输出设备603和存储器604通过总线605连接。存储器602用于存储计算机程序，所述计算机程序包括程序指令，处理器601用于执行存储器602存储的程序指令。
在本申请实施例中，所称处理器601可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、DSP、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备602可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备603可以包括显示器(LCD等)、扬声器等。
存储器604可以包括易失性存储器，例如RAM；存储器也可以包括非易失性存储器，例如只读存储器(Read-Only Memory,ROM)、快闪存储器、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)，存储器还可以包括上述种类的存储器的组合。存储器604可以采用集中式存储，也可以采用分布式存储，此处不作具体限定。可以理解的是，存储器604用于存储计算机程序，例如：计算机程序指令等。在本申请实施例中，存储器604可以向处理器601提供指令和数据。
具体实现中，本申请实施例中所描述的处理器601、输入设备602、输出设备603、存储器604、总线605可执行本申请提供的混合型高光谱图像重构的方法的任一实施例中所描述的实现方式，在此不再赘述。
在本申请的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现本申请提供的混合型高光谱图像重构的方法的任一实施例中所描述的实现方式，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种混合型高光谱图像重构的方法，其特征在于，所述方法包括：
图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；
将所述第一区域图像重构为第一区域的高光谱图像；
将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
2.根据权利要求1所述的方法，其特征在于，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。
3.根据权利要求2所述的方法，其特征在于，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。
4.根据权利要求1所述的方法，其特征在于，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：
获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；
使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；
对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；
将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。
5.根据权利要求1所述的方法，其特征在于，将所述第一区域图像重构为第一区域的高光谱图像包括：
将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；
根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的高光谱图像Yh和高光谱图像字典Dh之间的映射关系，所述高光谱图像字典Dh是在所述获取待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。
6.根据权利要求5所述的方法，其特征在于，在所述图像传感器拍摄目标视野获取目标待重构图像之前，所述方法还包括：
将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典Dh；
根据所述高光谱图像字典Dh以及所述图像传感器的光谱响应函数S，获得RGB图像字典DRGB，其中，DRGB＝SDh。
7.根据权利要求3所述的方法，其特征在于，
所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。
8.根据权利要求7所述的方法，其特征在于，所述图像传感器基于半导体薄膜技术，其中，
所述第一滤光片是RGB染料滤光片；
所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的F-P腔薄膜阵列；或者，
所述第二滤光片是利用光子晶体在CMOS传感器阵列上构成的反射式多通道滤波片。
9.根据权利要求4所述的方法，其特征在于，所述获得重构后的目标高光谱图像之后，所述方法还包括：
将拍摄所述目标区域使用的第一滤光片切换为第二滤光片。
10.一种混合型高光谱图像重构系统，其特征在于，所述系统包括：
获取单元，所述获取单元用于使用图像传感器拍摄目标视野获取目标待重构图像，其中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；
重构单元，所述重构单元用于将所述第一区域图像重构为第一区域的高光谱图像；
融合单元，所述融合单元用于将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/081550 WO2020199205A1 (zh) | 2019-04-04 | 2019-04-04 | 一种混合型高光谱图像重构的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111386549A true CN111386549A (zh) | 2020-07-07 |
| CN111386549B CN111386549B (zh) | 2023-10-13 |
Family
ID=71219149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980005542.9A Active CN111386549B (zh) | 2019-04-04 | 2019-04-04 | 一种混合型高光谱图像重构的方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111386549B (zh) |
| WO (1) | WO2020199205A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765871A (zh) * | 2019-09-19 | 2020-02-07 | 北京航空航天大学 | 一种基于字典表示的高光谱图像波段质量分析方法 |
| CN113554578A (zh) * | 2021-07-23 | 2021-10-26 | 奥比中光科技集团股份有限公司 | 一种光谱图像的确定方法、装置、终端和存储介质 |
| CN114004960A (zh) * | 2021-11-17 | 2022-02-01 | 湖南大学 | 一种医药检测的高光谱双模成像系统及方法 |
| CN114287127A (zh) * | 2020-07-27 | 2022-04-05 | 华为技术有限公司 | 一种滤光阵列、移动终端以及设备 |
| CN116071237A (zh) * | 2023-03-01 | 2023-05-05 | 湖南大学 | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 |
| WO2023193626A1 (zh) * | 2022-04-08 | 2023-10-12 | 华为技术有限公司 | 图像传感器、成像模组、图像采集设备和图像处理方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561883B (zh) * | 2020-12-17 | 2024-06-21 | 成都亚讯星科科技股份有限公司 | 农作物rgb图像重建高光谱图像的方法 |
| CN112766102B (zh) * | 2021-01-07 | 2024-04-26 | 武汉大学 | 一种基于空谱特征融合的无监督高光谱视频目标跟踪方法 |
| CN114332607B (zh) * | 2021-12-17 | 2024-06-11 | 清华大学 | 针对多帧图像光谱字典构建的增量学习方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247034A (zh) * | 2013-05-08 | 2013-08-14 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
| CN105227867A (zh) * | 2015-09-14 | 2016-01-06 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN105282506A (zh) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置 |
| CN106170052A (zh) * | 2015-05-22 | 2016-11-30 | 微软技术许可有限责任公司 | 双传感器超光谱运动成像系统 |
| CN107707831A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| WO2018047171A1 (en) * | 2016-09-06 | 2018-03-15 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Recovery of hyperspectral data from image |
-
2019
- 2019-04-04 WO PCT/CN2019/081550 patent/WO2020199205A1/zh active Application Filing
- 2019-04-04 CN CN201980005542.9A patent/CN111386549B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247034A (zh) * | 2013-05-08 | 2013-08-14 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
| CN106170052A (zh) * | 2015-05-22 | 2016-11-30 | 微软技术许可有限责任公司 | 双传感器超光谱运动成像系统 |
| CN105227867A (zh) * | 2015-09-14 | 2016-01-06 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN105282506A (zh) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置 |
| WO2018047171A1 (en) * | 2016-09-06 | 2018-03-15 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Recovery of hyperspectral data from image |
| CN107707831A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 毛罕平等: "基于多光谱图像融合和形态重构的图像分割方法", 农业工程学报, no. 06, pages 174 - 178 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765871A (zh) * | 2019-09-19 | 2020-02-07 | 北京航空航天大学 | 一种基于字典表示的高光谱图像波段质量分析方法 |
| CN114287127A (zh) * | 2020-07-27 | 2022-04-05 | 华为技术有限公司 | 一种滤光阵列、移动终端以及设备 |
| EP4181509A4 (en) * | 2020-07-27 | 2023-08-09 | Huawei Technologies Co., Ltd. | FILTER MATRIX, MOBILE TERMINAL, AND DEVICE |
| CN114287127B (zh) * | 2020-07-27 | 2023-10-31 | 华为技术有限公司 | 一种滤光阵列、移动终端以及设备 |
| CN113554578A (zh) * | 2021-07-23 | 2021-10-26 | 奥比中光科技集团股份有限公司 | 一种光谱图像的确定方法、装置、终端和存储介质 |
| CN113554578B (zh) * | 2021-07-23 | 2024-05-31 | 奥比中光科技集团股份有限公司 | 一种光谱图像的确定方法、装置、终端和存储介质 |
| CN114004960A (zh) * | 2021-11-17 | 2022-02-01 | 湖南大学 | 一种医药检测的高光谱双模成像系统及方法 |
| CN114004960B (zh) * | 2021-11-17 | 2024-06-18 | 湖南大学 | 一种医药检测的高光谱双模成像系统及方法 |
| WO2023193626A1 (zh) * | 2022-04-08 | 2023-10-12 | 华为技术有限公司 | 图像传感器、成像模组、图像采集设备和图像处理方法 |
| CN116071237A (zh) * | 2023-03-01 | 2023-05-05 | 湖南大学 | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020199205A1 (zh) | 2020-10-08 |
| CN111386549B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111386549B (zh) | 一种混合型高光谱图像重构的方法及系统 | |
| Baek et al. | Single-shot hyperspectral-depth imaging with learned diffractive optics | |
| Xiong et al. | Hscnn: Cnn-based hyperspectral image recovery from spectrally undersampled projections | |
| CN104457708B (zh) | 一种紧凑型多光谱相机 | |
| US10989595B2 (en) | Hybrid spectral imager | |
| US20170205337A1 (en) | Compact Multifunctional System for Imaging Spectroscopy | |
| US7835002B2 (en) | System for multi- and hyperspectral imaging | |
| US20190096049A1 (en) | Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence | |
| JP7045379B2 (ja) | 仮現運動における物体の動的ハイパースペクトルイメージング | |
| KR102139858B1 (ko) | 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 | |
| EP3460427A1 (en) | Method for reconstructing hyperspectral image using prism and system therefor | |
| KR102132075B1 (ko) | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 | |
| de Oliveira et al. | Geometric calibration of a hyperspectral frame camera | |
| US10567678B2 (en) | Multispectral camera replaceable filter array | |
| Toivonen et al. | Snapshot hyperspectral imaging using wide dilation networks | |
| Sun et al. | Tuning IR-cut filter for illumination-aware spectral reconstruction from RGB | |
| CN109827658B (zh) | 面向绿色植被检测的凝视型光谱芯片结构及其制备方法 | |
| Xu et al. | Hyperspectral image reconstruction based on the fusion of diffracted rotation blurred and clear images | |
| US20240147032A1 (en) | Imaging device and optical element | |
| KR101986998B1 (ko) | 하이퍼스펙트럼 이미지 장치 | |
| US20200348175A1 (en) | Wide-angle computational imaging spectroscopy method and apparatus | |
| KR20180137842A (ko) | 농작물 작황분석을 위한 분광 카메라 시스템 제작 방법 | |
| Barjaktarovic et al. | Design and Verification of a Low-Cost Multispectral Camera for Precision Agriculture Application | |
| EP3384255B1 (en) | Method of hyperspectral measurement | |
| US20220404531A1 (en) | Method and system for fabrication and use of a spectral basis filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |