CN114022364A - 基于光谱库优化学习的多光谱图像光谱超分方法和系统 - Google Patents
基于光谱库优化学习的多光谱图像光谱超分方法和系统 Download PDFInfo
- Publication number
- CN114022364A CN114022364A CN202111389302.9A CN202111389302A CN114022364A CN 114022364 A CN114022364 A CN 114022364A CN 202111389302 A CN202111389302 A CN 202111389302A CN 114022364 A CN114022364 A CN 114022364A
- Authority
- CN
- China
- Prior art keywords
- library
- spectrum
- remote sensing
- spectral
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 229
- 238000005457 optimization Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003595 spectral effect Effects 0.000 claims abstract description 166
- 239000011159 matrix material Substances 0.000 claims abstract description 126
- 230000006870 function Effects 0.000 claims description 23
- 238000005316 response function Methods 0.000 claims description 16
- 230000015556 catabolic process Effects 0.000 claims description 12
- 238000006731 degradation reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 6
- 238000009795 derivation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本申请提出了一种基于光谱库优化学习的多光谱图像光谱超分方法，包括：获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配获得特定波段光谱库；对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习获得表达特定波段光谱库的光谱字典和等价稀疏系数；通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像。本申请实现了由单帧多光谱图像到高光谱图像的高精度与高稳定的光谱超分辨率重建。
Description
技术领域
本申请涉及遥感图像计算成像技术领域，尤其涉及一种基于光谱库优化学习的多光谱图像光谱超分方法和系统。
背景技术
高光谱遥感图像在地物识别与分类、环境监测中得到了广泛应用。光谱分辨率的提升依赖于成像光谱仪的分光系统，由于其光学结构复杂、体积大、质量重，多搭载在大型卫星平台或大型航空遥感平台上，这使得高光谱数据获取的便捷性和经济性都受到了限制；同时，光谱分辨率的提升使得每条光谱带宽变窄，成像时必须采用较大的瞬时视场(Instantaneous Field of View，IFOV)才能积累足够多的光量子以维持成像的信噪比，因此瞬时视场与空间分辨率可视为两个相互制约的技术指标，瞬时视场的增大会导致空间分辨率的降低。然而，在许多遥感应用领域，较高的空间分辨率与较高的光谱分辨率都是不可缺少的，因此，如何在保持较高空间分辨率的基础上获得高光谱分辨率遥感图像具有重要的现实意义。
现阶段，基于混合像元分解的遥感图像融合技术是解决上述问题的技术途径之一，该技术通过融合同一场景下的高分多光谱图像与低分高光谱图像，获取具有高空间分辨率的高光谱图像。混合像元分解将遥感图像分解为各种地物成分(端元)，再通过多光谱图像在非负约束下求解各成分所占的比例(丰度)。然而混合像元分解中端元个数的确定以及纯净端元的提取都存在一定的困难，所获取的高分高光谱融合图像存在光谱失真问题；同时，同一场景下的高分多光谱图像与低分高光谱图像的同步获取较为困难，这也使得该类方法难以推广。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于光谱库优化学习的多光谱图像光谱超分方法，解决了现有方法所获取的高空间分辨率高光谱融合图像对同一场景同时相多源遥感图像依赖的问题，通过在稀疏框架下利用光谱库提供的光谱信息与高空间分辨率多光谱图像提供的空间信息，在严格理论推导下构建了光谱字典与稀疏系数的优化学习过程，实现了由单帧多光谱图像到高光谱图像的高精度与高稳定的光谱超分辨率重建。
本申请将稀疏表示框架引入高空间分辨率多光谱遥感图像的光谱超分辨率重建中，通过波段匹配，将光谱库映射为与待重建高光谱遥感图像波段配置相对应的特定波段光谱库；其次，同时利用映射后的特定波段光谱库与高空间分辨率的多光谱遥感图像，通过优化学习求解表达特定波段光谱库的光谱字典与等价稀疏系数；最后，通过表达特定波段光谱库的光谱字典与等价稀疏系数的乘积获得超分后的、与输入波段配置矩阵相对应的高空间分辨率的高光谱遥感图像。
本申请的第二个目的在于提出一种基于光谱库优化学习的多光谱图像光谱超分系统。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于光谱库优化学习的多光谱图像光谱超分方法，包括：获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。
可选地，在本申请的一个实施例中，在获取多光谱遥感图像的同时获取多光谱遥感图像的光谱响应函数，多光谱遥感图像建模为拟重建高光谱遥感图像的光谱退化：
Y＝LX+NY
其中，Y表示多光谱遥感图像，L表示多光谱遥感图像的光谱响应函数，X表示拟重建高光谱遥感图像，NY表示退化模型中的零均值高斯噪声。
可选地，在本申请的一个实施例中，光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵分别包括波段数目及波段位置信息。
可选地，在本申请的一个实施例中，对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库，包括：
通过求解最小距离问题获得选择矩阵，其中，最小距离问题表示为：
其中，WZ表示光谱库的波段配置矩阵，WX表示拟重建高光谱遥感图像的波段配置矩阵，WX为由拟重建高光谱图像的各波段中心频率组成的列向量，依据光谱超分辨率需求预先确定，P表示选择矩阵，pi表示选择矩阵P的第i行，通过逐行求解最小距离问题可以获得选择矩阵P，
通过选择矩阵和光谱库的乘积获得特定波段光谱库，其中，选择矩阵和光谱库的乘积表示为：
ZP＝PZ
其中，ZP表示特定波段光谱库，P表示选择矩阵，Z表示光谱库。
可选地，在本申请的一个实施例中，对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数，包括：
使用表达特定波段光谱库的光谱字典分别稀疏表示高空间分辨率多光谱遥感图像和特定波段光谱库，之后对拟重建高光谱遥感图像的稀疏系数矩阵和光谱库的稀疏系数矩阵进行1范数稀疏约束，得到1范数优化函数，通过求解1范数优化函数，获得表达特定波段光谱库的光谱字典和等价稀疏系数，其中，
高空间分辨率多光谱遥感图像的稀疏表示为：
Y＝LDPAQ+NY
其中，Y表示多光谱遥感图像，L表示多光谱遥感图像的光谱响应函数，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数，NY表示退化模型中的零均值高斯噪声，
特定波段光谱库的稀疏表示为：
ZP＝DPAZ
其中，ZP表示特定波段光谱库，DP为表达特定波段光谱库的光谱字典，AZ表示光谱库的稀疏系数矩阵，
1范数优化函数可表示为：
其中，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数，AZ表示光谱库的稀疏系数矩阵，
表示特定波段光谱库，
表示多光谱遥感图像，N和M分别为Y和ZP各波段中的像素数，λY和λZ分别为多光谱遥感图像Y和特定波段光谱库ZP的光谱波段数，λZ>>λY，|| ||F表示Frobenius范数，正则化参数λ1和λ2用于平衡表示误差和稀疏性，η用于平衡空间误差与光谱误差，L表示多光谱遥感图像的光谱响应函数。
可选地，在本申请的一个实施例中，求解1范数优化函数，获得表达特定波段光谱库的光谱字典和等价稀疏系数，包括：利用收敛性迭代策略分别优化含有表达特定波段光谱库的光谱字典、等价稀疏系数和光谱库的稀疏系数矩阵的三个子问题，获得精确闭式解，根据精确闭式解计算得出表达特定波段光谱库的光谱字典和等价稀疏系数，精确闭式解表示为：
其中，DP为表达特定波段光谱库的光谱字典，
表示DP的转置矩阵，ZP表示特定波段光谱库，AZ表示光谱库的稀疏系数矩阵，
表示AZ的转置矩阵，AQ表示等价稀疏系数，
表示AQ的转置矩阵，L表示多光谱遥感图像的光谱响应函数，LT表示L的转置矩阵，μ1、μ2与μ3为不定乘子，I表示单位矩阵，Y表示多光谱遥感图像，soft为soft函数，正则化参数λ1和λ2用于平衡表示误差和稀疏性，η用于平衡空间误差与光谱误差，DL表示多光谱图像的光谱字典，
表示DL的转置矩阵，DL＝LDP，S＝DPAQ、B＝AZ与C＝AQ为分裂变量，V1、V2与V3为拉格朗日乘子。
为达上述目的，本申请第二方面实施例提出了一种基于光谱库优化学习的多光谱图像光谱超分系统，包括：获取模块、匹配模块、优化模块、重建模块，其中，
获取模块，用于获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；
匹配模块，用于对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；
优化模块，用于对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；
重建模块，用于通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种基于光谱库优化学习的多光谱图像光谱超分方法。
本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法、基于光谱库优化学习的多光谱图像光谱超分系统和非临时性计算机可读存储介质，解决了现有方法所获取的高空间分辨率高光谱融合图像对同一场景同时相多源遥感图像依赖的问题，通过在稀疏框架下利用光谱库提供的光谱信息与高空间分辨率多光谱图像提供的空间信息，在严格理论推导下构建了光谱字典与稀疏系数的优化学习过程，实现了由单帧多光谱图像到高光谱图像的高精度与高稳定的光谱超分辨率重建。
本申请将稀疏表示框架引入高空间分辨率多光谱遥感图像的光谱超分辨率重建中，通过波段匹配，将光谱库映射为与待重建高光谱遥感图像波段配置相对应的特定波段光谱库；其次，同时利用映射后的特定波段光谱库与高空间分辨率的多光谱遥感图像，通过优化学习求解表达特定波段光谱库的光谱字典与等价稀疏系数；最后，通过表达特定波段光谱库的光谱字典与等价稀疏系数的乘积获得超分后的、与输入波段配置矩阵相对应的高空间分辨率的高光谱遥感图像。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种基于光谱库优化学习的多光谱图像光谱超分方法的流程图；
图2为本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法的高空间分辨率多光谱遥感图像示意图；
图3为本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法的超分重建高空间分辨率高光谱遥感图像示意图；
图4为本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法的另一个流程图；
图5为本申请实施例二所提供的一种基于光谱库优化学习的多光谱图像光谱超分系统的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
近年来，稀疏表示框架在遥感图像超分辨率重建领域展现了巨大的潜力，它将遥感图像表示为字典与稀疏系数的乘积。稀疏表示过程中不需要提取端元，且稀疏系数无非负限制，因此该方法能够克服现阶段图像融合技术的缺点。此外，光谱库作为大量地物光谱数据的集合，在遥感图像信息解译、分类与识别等方面应用广泛，可以有效提供高分辨率的光谱信息，避免对同一场景同时相多源遥感图像的依赖。
下面参考附图描述本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法和系统。
图1为本申请实施例一所提供的一种基于光谱库优化学习的多光谱图像光谱超分方法的流程图。
如图1所示，该基于光谱库优化学习的多光谱图像光谱超分方法包括以下步骤：
步骤101，获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；
步骤102，对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；
步骤103，对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；
步骤104，通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。
本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法，通过获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。由此，能够解决现有方法所获取的高空间分辨率高光谱融合图像对同一场景同时相多源遥感图像依赖的问题，通过在稀疏框架下利用光谱库提供的光谱信息与高空间分辨率多光谱图像提供的空间信息，在严格理论推导下构建了光谱字典与稀疏系数的优化学习过程，实现了由单帧多光谱图像到高光谱图像的高精度与高稳定的光谱超分辨率重建。
本申请将稀疏表示框架引入高空间分辨率多光谱遥感图像的光谱超分辨率重建中，通过波段匹配，将光谱库映射为与待重建高光谱遥感图像波段配置相对应的特定波段光谱库；其次，同时利用映射后的特定波段光谱库与高空间分辨率的多光谱遥感图像，通过优化学习求解表达特定波段光谱库的光谱字典与等价稀疏系数；最后，通过表达特定波段光谱库的光谱字典与等价稀疏系数的乘积获得超分后的、与输入波段配置矩阵相对应的高空间分辨率的高光谱遥感图像。
光谱库采用美国地质勘探局(United States Geological Survey，UGRS)光谱库中480条典型矿物光谱，其光谱覆盖范围为400-2500nm；采用机载可见光/红外成像测谱仪(Airborne Visible/Infrared Imaging Spectrometer，AVIRIS)于1997年6月19日获得的高光谱图像作为真值图像，尺寸为300×300×97、光谱覆盖范围为683-1978nm。为了进行全参考定量评价，需要把真值图像作为参考图像，把由真值图像退化生成的多光谱图像作为本申请实施例的输入，即，利用覆盖可见光与近红外波段的IKONOS-like光谱响应函数对真值图像进行光谱退化，获得尺寸为300×300×4的多光谱图像，如图2所示。因此，本申请中输入的多光谱图像仅有四个波段，而实际应用场景下的多光谱遥感图像可以通过多光谱成像仪直接采集。
进一步地，在本申请实施例中，在获取多光谱遥感图像的同时获取多光谱遥感图像的光谱响应函数，多光谱遥感图像建模为拟重建高光谱遥感图像的光谱退化：
Y＝LX+NY
其中，
表示多光谱遥感图像，
表示多光谱遥感图像的光谱响应函数，
表示拟重建高光谱遥感图像，λY表示多光谱遥感图像Y的波段数，λX表示拟重建高光谱遥感图像X的波段数，N表示各波段中的像素数,NY表示退化模型中的零均值高斯噪声。
进一步地，在本申请实施例中，光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵分别包括波段数目及波段位置信息。
进一步地，在本申请实施例中，对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库，包括：
通过求解最小距离问题获得选择矩阵，其中，最小距离问题表示为：
其中，
表示光谱库的波段配置矩阵，
表示拟重建高光谱遥感图像的波段配置矩阵，WX为由拟重建高光谱图像的各波段中心频率组成的列向量，依据光谱超分辨率需求预先确定，P表示选择矩阵，pi表示选择矩阵P的第i行，通过逐行求解最小距离问题可以获得选择矩阵P，
通过选择矩阵和光谱库的乘积获得特定波段光谱库，其中，选择矩阵和光谱库的乘积表示为：
ZP＝PZ
其中，ZP表示特定波段光谱库，P表示选择矩阵，Z表示光谱库。
本申请实施例中，
选择矩阵P的每行有且只有一个“1”元素，其余皆为“0”元素，采用欧氏距离衡量波段信息的匹配程度。
进一步地，在本申请实施例中，对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数，包括：
利用表达拟重建高光谱遥感图像X的光谱字典
和表达光谱库Z的光谱字典
对拟重建高光谱遥感图像X与光谱库Z进行稀疏表示：
X＝DXAX
Z＝DZAZ
其中，
和
分别为拟重建高光谱遥感图像X与光谱库Z的稀疏系数矩阵，λX和λZ分别为拟重建高光谱遥感图像X和光谱库Z的光谱波段数，K为光谱字典DX和DZ的列数，N和M分别为拟重建高光谱遥感图像X和光谱库Z各波段中的像素数。其次，利用空间变换矩阵
建立DX与DZ的从属关系，即：
DX＝PDZQ
结合拟重建高光谱遥感图像X的光谱退化Y＝LX+NY和光谱库Z的稀疏表示Z＝DZAZ，得到多光谱遥感图像和特定波段光谱库在表达特定波段光谱库的光谱字典下的稀疏表示，其中，
多光谱遥感图像的稀疏表示为：
Y＝LPDZQAX+NY
＝LDPAQ+NY
其中，Y表示多光谱遥感图像，L表示多光谱遥感图像的光谱响应函数，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数，NY表示退化模型中的零均值高斯噪声，
特定波段光谱库的稀疏表示为：
ZP＝PZ
＝PDZAZ
＝DPAZ
其中，ZP表示特定波段光谱库，P表示选择矩阵，DZ为表达光谱库的光谱字典，AZ表示光谱库的稀疏系数矩阵，DP为表达特定波段光谱库的光谱字典，
之后对拟重建高光谱遥感图像的稀疏系数矩阵和光谱库的稀疏系数矩阵进行1范数稀疏约束，得到1范数优化函数，通过分裂策略利用增广拉格朗日乘子法迭代求解1范数优化函数，获得表达特定波段光谱库的光谱字典和等价稀疏系数，其中，
1范数优化函数可表示为：
其中，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数，AZ表示光谱库的稀疏系数矩阵，
表示特定波段光谱库，
表示多光谱遥感图像，N和M(一般应用场景下通常N＞＞M)分别为Y和ZP各波段中的像素数，λY和λZ(λZ＞＞λY)分别为Y和ZP的光谱波段数，||||F表示F(Frobenius)范数，正则化参数λ1和λ2用于平衡表示误差和稀疏性，η用于平衡空间误差与光谱误差，L表示多光谱遥感图像的光谱响应函数。
采用分裂策略利用增广拉格朗日乘子法对1范数优化函数进行迭代求解，最大迭代次数可以设置为30，其它参数分别可以设置为η＝10，λ1＝λ2＝10-4。
虽然光谱库的稀疏系数矩阵AZ不能直接重建高光谱遥感图像，但光谱库的稀疏系数矩阵AZ会影响求解表达特定波段光谱库的光谱字典DP和等价稀疏系数AQ的准确性，因此在求解过程中，需要利用收敛性迭代策略分别优化含有表达特定波段光谱库的光谱字典DP、等价稀疏系数AQ和光谱库的稀疏系数矩阵AZ的三个子问题。
进一步地，在本申请实施例中，求解1范数优化函数，获得表达特定波段光谱库的光谱字典和等价稀疏系数，包括：利用收敛性迭代策略分别优化含有表达特定波段光谱库的光谱字典、等价稀疏系数和光谱库的稀疏系数矩阵的三个子问题，含有表达特定波段光谱库的光谱字典DP、等价稀疏系数AQ和光谱库的稀疏系数矩阵AZ的三个子问题表示为：
其中，
表示1范数优化函数中的目标函数，k为迭代次数。采用分裂策略利用ADMM(alternating direction method of multiplier，交替方向乘子法)算法，将S＝DpAQ定义为分裂变量，可以将上述第一个子问题描述为对Dp和S最小化的子问题，表示为：
同时，将B＝AZ和C＝AQ定义为分裂变量，可将上述第二、三个子问题分别描述为对AZ，B，AQ和C的最小化子问题，分别表示为：
通过分别求解以上子问题，获得精确闭式解，表示为：
其中，DP为表达特定波段光谱库的光谱字典，
表示DP的转置矩阵，ZP表示特定波段光谱库，AZ表示光谱库的稀疏系数矩阵，
表示AZ的转置矩阵，AQ表示等价稀疏系数，
表示AQ的转置矩阵，L表示多光谱遥感图像的光谱响应函数，LT表示L的转置矩阵，μ1、μ2与μ3为不定乘子，I表示单位矩阵，Y表示多光谱遥感图像，soft为soft函数，正则化参数λ1和λ2用于平衡表示误差和稀疏性，η用于平衡空间误差与光谱误差，DL表示多光谱图像的光谱字典，
表示DL的转置矩阵，DL＝LDP，S＝DPAQ、B＝AZ与C＝AQ为分裂变量，V1、V2与V3为拉格朗日乘子，
根据精确闭式解迭代计算得出表达特定波段光谱库的光谱字典DP和等价稀疏系数AQ。
通过光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应，其中，高光谱遥感图像，表示为：
X＝DPAQ
其中，X表示拟重建高光谱遥感图像，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数。
光谱超分辨率后的高空间分辨率的高光谱遥感图像，如图3所示，其PSNR为46.14，MSE为1.58，光谱角SAM为0.59，可见本申请获得了高质量的高光谱图像。
本申请仅利用单帧高分多光谱图像进行光谱超分辨率重建，并在严格理论推导下，发明了光谱字典与稀疏系数的优化学习过程；并且本申请利用光谱库提供的光谱信息与高分多光谱图像提供的空间信息，实现了高精度与高稳定的、由单帧高分多光谱图像到高分高光谱图像的光谱超分辨率重建。
图4为本申请实施例的基于光谱库优化学习的多光谱图像光谱超分方法的另一个流程图。
如图4所示，该基于光谱库优化学习的多光谱图像光谱超分方法，对光谱库和待重建图像的波段信息进行波段匹配得到特定波段光谱库；同时对特定波段光谱库与多光谱遥感图像进行稀疏表示，并进行优化学习，进而获得高光谱遥感图像。
图5为本申请实施例二所提供的一种基于光谱库优化学习的多光谱图像光谱超分系统的结构示意图。
如图5所示，该基于光谱库优化学习的多光谱图像光谱超分系统，包括：获取模块、匹配模块、优化模块、重建模块，其中，
获取模块10，用于获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；
匹配模块20，用于对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；
优化模块30，用于对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；
重建模块40，用于通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。
本申请实施例的基于光谱库优化学习的多光谱图像光谱超分系统，包括：获取模块、匹配模块、优化模块、重建模块，其中，获取模块，用于获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；匹配模块，用于对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；优化模块，用于对多光谱遥感图像和特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；重建模块，用于通过表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。由此，能够解决现有方法所获取的高空间分辨率高光谱融合图像对同一场景同时相多源遥感图像依赖的问题，通过在稀疏框架下利用光谱库提供的光谱信息与高空间分辨率多光谱图像提供的空间信息，在严格理论推导下构建了光谱字典与稀疏系数的优化学习过程，实现了由单帧多光谱图像到高光谱图像的高精度与高稳定的光谱超分辨率重建。
本申请将稀疏表示框架引入高空间分辨率多光谱遥感图像的光谱超分辨率重建中，通过波段匹配，将光谱库映射为与待重建高光谱遥感图像波段配置相对应的特定波段光谱库；其次，同时利用映射后的特定波段光谱库与高空间分辨率的多光谱遥感图像，通过优化学习求解表达特定波段光谱库的光谱字典与稀疏系数；最后，通过表达特定波段光谱库的光谱字典与等价稀疏系数的乘积获得超分后的、与输入波段配置矩阵相对应的高空间分辨率的高光谱遥感图像。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于光谱库优化学习的多光谱图像光谱超分方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于光谱库优化学习的多光谱图像光谱超分方法，其特征在于，
获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；
对所述光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；
对所述多光谱遥感图像和所述特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；
通过所述表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，所述高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。
2.如权利要求1所述的方法，其特征在于，在获取所述多光谱遥感图像的同时获取多光谱遥感图像的光谱响应函数，所述多光谱遥感图像建模为拟重建高光谱遥感图像的光谱退化：
Y＝LX+NY
其中，Y表示多光谱遥感图像，L表示多光谱遥感图像的光谱响应函数，X表示拟重建高光谱遥感图像，NY表示退化模型中的零均值高斯噪声。
3.如权利要求1所述的方法，其特征在于，所述光谱库的波段配置矩阵和所述拟重建高光谱遥感图像的波段配置矩阵分别包括波段数目及波段位置信息。
4.如权利要求1所述的方法，其特征在于，所述对光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库，包括：
通过求解最小距离问题获得选择矩阵，其中，最小距离问题表示为：
其中，Wz表示光谱库的波段配置矩阵，Wx表示拟重建高光谱遥感图像的波段配置矩阵，Wx为由拟重建高光谱图像的各波段中心频率组成的列向量，依据光谱超分辨率需求预先确定，P表示选择矩阵，pi表示选择矩阵P的第i行，通过逐行求解最小距离问题可以获得选择矩阵P，
通过选择矩阵和光谱库的乘积获得特定波段光谱库，其中，选择矩阵和光谱库的乘积表示为：
ZP＝PZ
其中，ZP表示特定波段光谱库，P表示选择矩阵，Z表示光谱库。
5.如权利要求1所述的方法，其特征在于，所述对所述多光谱遥感图像和所述特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数，包括：
使用表达特定波段光谱库的光谱字典分别稀疏表示多光谱遥感图像和特定波段光谱库，之后对拟重建高光谱遥感图像的稀疏系数矩阵和光谱库的稀疏系数矩阵进行1范数稀疏约束，得到1范数优化函数，通过求解1范数优化函数，获得表达特定波段光谱库的光谱字典和等价稀疏系数，其中，
多光谱遥感图像的稀疏表示为：
Y＝LDPAQ+NY
其中，Y表示多光谱遥感图像，L表示多光谱遥感图像的光谱响应函数，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数，NY表示退化模型中的零均值高斯噪声，
特定波段光谱库的稀疏表示为：
ZP＝DPAZ
其中，ZP表示特定波段光谱库，DP为表达特定波段光谱库的光谱字典，AZ表示光谱库的稀疏系数矩阵，
1范数优化函数可表示为：
其中，DP为表达特定波段光谱库的光谱字典，AQ表示等价稀疏系数，AZ表示光谱库的稀疏系数矩阵，
表示特定波段光谱库，
表示多光谱遥感图像，N和M分别为多光谱遥感图像Y和特定波段光谱库ZP各波段中的像素数，λY和λZ分别为多光谱遥感图像Y和特定波段光谱库ZP的光谱波段数，λZ>>λY，|| ||F表示Frobenius范数，正则化参数λ1和λ2用于平衡表示误差和稀疏性，η用于平衡空间误差与光谱误差，L表示多光谱遥感图像的光谱响应函数。
6.如权利要求5所述的方法，其特征在于，所述求解1范数优化函数，获得表达特定波段光谱库的光谱字典和等价稀疏系数，包括：利用收敛性迭代策略分别优化含有表达特定波段光谱库的光谱字典、等价稀疏系数和光谱库的稀疏系数矩阵的三个子问题，获得精确闭式解，根据精确闭式解计算得出表达特定波段光谱库的光谱字典和等价稀疏系数，所述精确闭式解表示为：
其中，DP为表达特定波段光谱库的光谱字典，
表示DP的转置矩阵，ZP表示特定波段光谱库，AZ表示光谱库的稀疏系数矩阵，
表示AZ的转置矩阵，AQ表示等价稀疏系数，
表示AQ的转置矩阵，L表示多光谱遥感图像的光谱响应函数，LT表示L的转置矩阵，μ1、μ2与μ3为不定乘子，I表示单位矩阵，Y表示多光谱遥感图像，soft为soft函数，正则化参数λ1和λ2用于平衡表示误差和稀疏性，η用于平衡空间误差与光谱误差，DL表示多光谱图像的光谱字典，
表示DL的转置矩阵，DL＝LDP，S＝DPAQ、B＝AZ与C＝AQ为分裂变量，V1、V2与V3为拉格朗日乘子。
7.一种基于光谱库优化学习的多光谱图像光谱超分系统，其特征在于，包括：获取模块、匹配模块、优化模块、重建模块，其中，
获取模块，用于获取高空间分辨率的多光谱遥感图像、涵盖图像观测区域地物类别的光谱库、光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵；
匹配模块，用于对所述光谱库的波段配置矩阵和拟重建高光谱遥感图像的波段配置矩阵进行匹配，获得特定波段光谱库；
优化模块，用于对所述多光谱遥感图像和所述特定波段光谱库进行稀疏表示，并通过优化学习，获得表达特定波段光谱库的光谱字典和等价稀疏系数；
重建模块，用于通过所述表达特定波段光谱库的光谱字典和等价稀疏系数的乘积获取光谱超分辨后的高空间分辨率的高光谱遥感图像，其中，所述高光谱遥感图像的波段信息与拟重建高光谱遥感图像的波段配置矩阵相对应。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111389302.9A CN114022364B (zh) | 2021-11-22 | 基于光谱库优化学习的多光谱图像光谱超分方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111389302.9A CN114022364B (zh) | 2021-11-22 | 基于光谱库优化学习的多光谱图像光谱超分方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022364A true CN114022364A (zh) | 2022-02-08 |
| CN114022364B CN114022364B (zh) | 2024-06-28 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797175A (zh) * | 2022-11-30 | 2023-03-14 | 哈尔滨工业大学 | 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
| US20160048963A1 (en) * | 2013-03-15 | 2016-02-18 | The Regents Of The University Of Colorado | 3-D Localization And Imaging of Dense Arrays of Particles |
| CN107274343A (zh) * | 2017-06-01 | 2017-10-20 | 清华大学 | 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法 |
| CN109360147A (zh) * | 2018-09-03 | 2019-02-19 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
| US20190287216A1 (en) * | 2018-03-19 | 2019-09-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Super-Resolution |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048963A1 (en) * | 2013-03-15 | 2016-02-18 | The Regents Of The University Of Colorado | 3-D Localization And Imaging of Dense Arrays of Particles |
| CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
| CN107274343A (zh) * | 2017-06-01 | 2017-10-20 | 清华大学 | 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法 |
| US20190287216A1 (en) * | 2018-03-19 | 2019-09-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Super-Resolution |
| CN109360147A (zh) * | 2018-09-03 | 2019-02-19 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张晓;薛月菊;涂淑琴;胡月明;宁晓锋;: "基于结构组稀疏表示的遥感图像融合", 中国图象图形学报, no. 08, 16 August 2016 (2016-08-16) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797175A (zh) * | 2022-11-30 | 2023-03-14 | 哈尔滨工业大学 | 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法 |
| CN115797175B (zh) * | 2022-11-30 | 2023-07-18 | 哈尔滨工业大学 | 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiong et al. | Hscnn: Cnn-based hyperspectral image recovery from spectrally undersampled projections | |
| Vivone et al. | Fast reproducible pansharpening based on instrument and acquisition modeling: AWLP revisited | |
| Loncan et al. | Hyperspectral pansharpening: A review | |
| Yokoya et al. | Coupled nonnegative matrix factorization unmixing for hyperspectral and multispectral data fusion | |
| US20170205337A1 (en) | Compact Multifunctional System for Imaging Spectroscopy | |
| Fotiadou et al. | Spectral super resolution of hyperspectral images via coupled dictionary learning | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| WO2021135074A1 (zh) | 一种快照型解色散模糊的高光谱成像方法 | |
| Tao et al. | Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering | |
| CN107274343A (zh) | 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法 | |
| Hu et al. | MDAS: A new multimodal benchmark dataset for remote sensing | |
| Nakhostin et al. | Supervised planetary unmixing with optimal transport | |
| CN113870159A (zh) | 一种基于动态梯度组稀疏和低秩正则化的高光谱融合方法 | |
| Zou et al. | Hyperspectral image super-resolution combining with deep learning and spectral unmixing | |
| Aburaed et al. | A review of spatial enhancement of hyperspectral remote sensing imaging techniques | |
| Fortuna et al. | Multivariate image fusion: A pipeline for hyperspectral data enhancement | |
| CN115147321A (zh) | 一种基于可解译神经网络的多光谱图像融合方法 | |
| Xu et al. | Hyperspectral image reconstruction based on the fusion of diffracted rotation blurred and clear images | |
| FR2994007B1 (fr) | Procede de fusion d'images multi-resolutions | |
| CN114529769A (zh) | 一种面向大场景遥感图像分类的可分离多模联合表示方法 | |
| Arienzo et al. | Advantages of nonlinear intensity components for contrast-based multispectral pansharpening | |
| CN114022364B (zh) | 基于光谱库优化学习的多光谱图像光谱超分方法和系统 | |
| CN114022364A (zh) | 基于光谱库优化学习的多光谱图像光谱超分方法和系统 | |
| Li et al. | Model-based variational pansharpening method with fast generalized intensity–hue–saturation | |
| Aiazzi et al. | Fast multispectral pansharpening based on a hyper-ellipsoidal color space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |