CN107239781B - 一种基于rgb图像的超光谱反射率重建方法 - Google Patents

一种基于rgb图像的超光谱反射率重建方法 Download PDF

Info

Publication number
CN107239781B
CN107239781B CN201710304707.5A CN201710304707A CN107239781B CN 107239781 B CN107239781 B CN 107239781B CN 201710304707 A CN201710304707 A CN 201710304707A CN 107239781 B CN107239781 B CN 107239781B
Authority
CN
China
Prior art keywords
rgb
dictionary
pixel
cluster
reflectivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710304707.5A
Other languages
English (en)
Other versions
CN107239781A (zh
Inventor
付莹
张霖
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710304707.5A priority Critical patent/CN107239781B/zh
Publication of CN107239781A publication Critical patent/CN107239781A/zh
Application granted granted Critical
Publication of CN107239781B publication Critical patent/CN107239781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种基于RGB图像的超光谱反射率重建方法，涉及一种超光谱反射率重建方法，属于计算摄像学领域。本发明分为训练阶段和使用阶段。训练阶段在训练集中，把超光谱反射率映射到RGB颜色空间，根据RGB值求解每个像素的色度；根据每个像素的色度对像素进行聚类；对每个聚类的像素反射率使用字典学习得到反射率稀疏字典；把稀疏字典映射到RGB空间得到RGB字典。使用阶段对采集的RGB图像白平衡；求解图像每个像素点色度，根据色度寻找每个像素点所属聚类；对于每个聚类中的像素点，使用该聚类RGB字典进行有约束稀疏编码；根据聚类的反射率字典和稀疏编码，重建像素的超光谱反射率。本发明能够在不需要特殊设备、具有较快重建速度的前提下提高重建精度。

Description

一种基于RGB图像的超光谱反射率重建方法
技术领域
本发明涉及一种超光谱反射率重建方法，具体涉及一种基于RGB图像的超光谱反射率重建算法，属于计算摄像学领域。
背景技术
超光谱成像技术不同于传统的彩色图像成像技术，它获取的图像通常包括几十或几百个窄波段通道，远多于传统彩色图像的3通道或4通道。这种技术获取到的图像通常被称为数据立方体，相比于传统图像只具有空间维度，它具有空间、光谱共三个维度。
超光谱成像技术具有广泛的应用场景。这种技术在计算机视觉领域可用于目标分割、追踪以及识别，早期主要应用于遥感，但是近年来也被越来越多的应用于商业市场以及生物技术、生命科学和医学领域等。
传统的超光谱成像技术通常利用光栅、棱镜等器件的分光性能，通过多次曝光采集多个狭窄波段范围的图像。这种过程常常较为耗时，使用的硬件也通常价格昂贵，且需要进行精确的标定过程。
近年来，超光谱成像技术也被应用于多媒体技术中，例如彩色图像的重光照技术。在一种未知光照下的彩色图像，通过重光照过程可以得到在另一种已知光照下的彩色图像。由于重光照技术主要追求的是视觉效果，相对于传统应用，重光照技术对超光谱成像的准确度要求较低，而对实时性要求较高。
已有技术中具有两种类型的超光谱反射率重建方法：第一种方法采集场景的超光谱图像，根据已知的场景光照求解超光谱反射率，这种方法要求场景光照已知，需要在暗室中用特殊光源对场景进行照射并进行采集，对设备和环境的要求高，且超光谱图像的采集通常需要比较长的时间。第二种方法利用稀疏表达技术，使用超光谱反射率的训练集得到单个稀疏字典，随后采集场景的RGB图像，对每个像素点的超光谱反射率进行估计，这种方法的缺点是精度相对低，但是无需特殊设备，并且重建速度通常较快。
根据多媒体应用对超光谱反射率重建算法的要求，需要一种基于场景RGB图像的算法，能够以较快的重建速度、较低的设备要求达到更高的重建精度。
发明内容
针对已有技术中基于RGB图像的超光谱反射率重建算法的缺点，本发明公开的一种基于RGB图像的超光谱反射率重建方法要解决的技术问题是提供一种超光谱反射率重建方法，在不需要特殊设备、具有较快重建速度的前提下提高重建精度。
为达到以上目的，本发明采用以下技术方案：
本发明公开的一种基于RGB图像的超光谱反射率重建方法，分为训练阶段和使用阶段。训练阶段在超光谱图像反射率的训练集中，把超光谱反射率映射到RGB颜色空间，并根据RGB的值求解每个像素的色度；根据每个像素的色度对像素进行聚类；对每个聚类中的像素反射率使用字典学习得到反射率的稀疏字典；把稀疏字典映射到RGB空间得到RGB字典。使用阶段对采集的RGB图像进行白平衡；求解白平衡后图像每个像素点的色度，并根据色度寻找每个像素点所属聚类；对于每个聚类中的像素点，使用该聚类的RGB字典进行有约束稀疏编码；根据聚类的反射率字典和稀疏编码，重建像素的超光谱反射率。
本发明公开的一种基于RGB图像的超光谱反射率重建方法，分为训练和使用两个阶段，包括如下步骤：
步骤一：训练阶段用于根据像素色度得到聚类以及每个聚类的稀疏字典和RGB稀疏字典；
步骤1.1：对训练集中像素点的超光谱反射率使用映射函数进行颜色空间映射，得到像素点对应的色度。
对训练集合中的所有超光谱反射率像素点，使用如公式(1)所示的映射函数映射到RGB空间，再使用如公式(2)所示的映射函数从RGB空间映射到色度空间：
Y＝CS (1)
Figure BDA0001285333630000021
其中Y是一个3行M列的实矩阵，是向量化表示的RGB空间像素集合，它的每一列表示一个3通道的像素点。C是一个3行B列的实矩阵，表示B个光谱通道到RGB通道的变换矩阵。S是一个B行M列的实矩阵，是向量化表示的超光谱像素反射率集合。q∈{R,G,B}表示3个颜色通道，
Figure BDA0001285333630000022
表示第m个像素点在q通道的像素值，
Figure BDA0001285333630000023
表示第m个像素点在q通道的色度值。
步骤1.2：根据色度值，使用聚类算法对所有的像素点进行聚类。
所述的聚类算法优选：K-均值聚类，谱聚类，层次聚类，模糊聚类，DBSCAN聚类。
步骤1.3：使用字典学习得到步骤1.2中每个聚类的稀疏字典。
对每一个聚类中的像素点使用如公式(3)所示的优化方程进行稀疏字典学习。
Figure BDA0001285333630000031
其中：Tk是第k个聚类中像素点反射率的向量表示，Dk是所求稀疏字典，Bk是稀疏编码且满足Bk≥0,Dk≥0，||·||F表示矩阵的弗罗宾尼斯(Frobenius)范数，||·||1表示矩阵的1范数。
字典学习方法优选：K-SVD算法，最佳方向(MOD)法，在线字典学习(ODL)法，主成分分析(PCA)法，顶点成分分析(VCA)法。
步骤1.4：对步骤1.3中的稀疏字典使用颜色空间映射得到对应RGB字典。
将步骤1.3中获得的每个聚类的反射率字典，通过如公式(4)所示的映射函数映射到RGB空间：
Hk＝CDk (4)
其中Hk是第k个聚类的RGB字典。
步骤二：使用阶段利用步骤一中得到的聚类和稀疏字典、RGB字典，重建像素的超光谱反射率。
步骤2.1：对彩色相机采集到的RGB图像进行白平衡处理。
所述的白平衡处理方法优选：灰度世界(Grey-World)法，最大RGB(max-RGB)法，灰色阴影(Shades of Grey)法，灰色边缘(Grey-Edge)法。
步骤2.2：对白平衡后的RGB图像使用如公式(2)所示方法得到每个像素点对应色度。
步骤2.3：根据步骤2.2得到的色度计算每个像素点所属聚类。
计算图像中每个像素的色度与训练得到的每个聚类中心色度的距离，寻找距离最小的聚类作为该像素所属聚类。
距离定义优选：欧式距离，曼哈顿距离，切比雪夫距离，闵可夫斯基距离，标准化欧氏距离，马氏距离，夹角余弦，海明距离，杰卡德距离，相关系数，信息熵。
步骤2.4：根据步骤2.3得到的聚类以及每个聚类的RGB字典求解稀疏编码。
对于步骤2.3中每个聚类中的像素点，使用RGB字典进行有约束稀疏编码，稀疏编码通过公式(5)中的优化方程进行求解：
Figure BDA0001285333630000041
其中，Ak表示第k个聚类中像素的稀疏编码且满足Ak>0，
Figure BDA0001285333630000045
代表第k个聚类中超光谱反射率的均值，Uk中每一列对应Yk中每个像素的非局部特征。该非局部特征计算方法如公式(6)所示：
Figure BDA0001285333630000042
其中，Dkαm,n表示空间坐标m在集合Ωm中的一个相似像素点，集合Ωm表示m的空间邻域，wm,n表示权重，wm,n的计算方法如公式(7)所示：
Figure BDA0001285333630000043
其中，W表示标准化因子，h是一个预定义的标量，
Figure BDA0001285333630000044
表示中心为m的RGB图像块。
公式(5)的优化方程求解方法优选：正交匹配追踪(OMP)算法，最小角回归(LARS)算法，迭代软阈值(ISTA)算法，交替方向乘子(ADMM)算法。
步骤2.5：根据步骤2.4中的稀疏编码和步骤一中得到的稀疏字典，利用公式(8)重建光谱反射率。
Sk＝DkAk (8)
有益效果：
1、本发明公开的一种基于RGB图像的超光谱反射率重建方法，由于步骤一根据像素色度特征得到了多个稀疏字典，稀疏字典的表达能力高于已有技术中的单个稀疏字典，因此重建精度高于已有技术中基于RGB图像的超光谱反射率重建方法。
2、本发明公开的一种基于RGB图像的超光谱反射率重建方法，由于步骤2.4使用了非局部特征，利用了场景光谱反射率在空间中的连续性，提高了稀疏编码的准确度，因此重建精度高于已有技术中基于RGB图像的超光谱反射率重建方法。
3、本发明公开的一种基于RGB图像的超光谱反射率重建方法，由于步骤2.4考虑了相似色度的像素具有相似的超光谱反射率这一特征，提高了稀疏编码的准确度，因此重建精度高于已有技术中基于RGB图像的超光谱反射率重建方法。
4、本发明公开的一种基于RGB图像的超光谱反射率重建方法，由于步骤2.1只需要采集RGB图像，而已有技术中基于超光谱图像和已知光照的反射率重建方法需要采集超光谱图像，因此本发明的采集过程更简单、采集速度更快。
附图说明
图1是本发明中基于RGB图像的超光谱反射率重建方法的流程图。
图2是使用本发明的超光谱反射率重建方法进行RGB图像重光照的示意图。
图3是本发明中超光谱反射率重建方法的流程示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于RGB图像的超光谱反射率重建方法，分为训练阶段和使用阶段。训练阶段在超光谱图像反射率的训练集中，把超光谱反射率映射到RGB颜色空间，并根据RGB的值求解每个像素的色度；根据每个像素的色度对像素进行聚类；对每个聚类中的像素反射率使用字典学习得到反射率的稀疏字典；把稀疏字典映射到RGB空间得到RGB字典。使用阶段对采集的RGB图像进行白平衡；求解白平衡后图像每个像素点的色度，并根据色度寻找每个像素点所属聚类；对于每个聚类中的像素点，使用该聚类的RGB字典进行有约束稀疏编码；根据聚类的反射率字典和稀疏编码，重建像素的超光谱反射率。本实施例的流程图如图1所示。
传统的RGB相机拍摄的彩色图像，通常被视为对超光谱图像在光谱域的下采样。这个下采样操作通常用RGB相机的光谱响应曲线表示，相机光谱响应曲线常被相机厂商提供在工业相机的技术说明中。场景的超光谱图像由场景的超光谱反射率以及场景光决定。因此，如果假设场景中的光照均匀，且场景中的物体都具有朗伯表面，那么RGB相机拍摄的图像可以表示为：Y＝CLS，其中Y表示RGB图像，C表示RGB相机的光谱响应曲线，L表示场景光照，S表示场景的超光谱反射率。在RGB相机的光谱响应曲线和场景的超光谱反射率已知的情况下，可以对场景进行任意的重光照，得到目标重光照RGB图像。本实施例的方法假设RGB相机的光谱响应曲线已知，根据场景的RGB图像对场景超光谱反射率进行估计，从而实现重光照过程。RGB图像重光照过程的流程示意图如图2所示。
近年来的研究表明，场景中任何像素的反射率都可以用少量基(basis)的线性组合近似表示。因此，场景的超光谱反射率可以表示为：S＝DA，其中D通常称为稀疏字典，它的每一列被称为字典信号(signature)，A通常称为稀疏编码，它的每一列都是“稀疏”的，即只有少量几个元素不为0。
现有技术中的超光谱反射率重建方法，根据以上分析，在超光谱反射率的训练集中得到一个稀疏字典，再对场景中的每一个像素进行稀疏编码的求解。这种针对独立像素点的求解方法忽略了以下事实：反射率在一定空间范围内通常是连续变化的；如果像素点在RGB空间中颜色相近，那么它们的反射率也应该具有高相似性。本实施例中的超光谱反射率重建方法综合了已有技术中基于稀疏表达的技术，同时利用了像素的空间连续性、RGB空间颜色与光谱反射率的对应关系，从而提高了超光谱反射率的重建精度，也提高了重光照等多媒体应用的视觉效果，本实施例的超光谱反射率重建过程如图3所示。本实施例的详细内容如下。
本实施例公开的一种基于RGB图像的超光谱反射率重建方法，分为训练和使用两个阶段，包括如下步骤：
步骤一：训练阶段用于根据像素色度得到聚类以及每个聚类的稀疏字典和RGB稀疏字典；
步骤1.1：对训练集中像素点的超光谱反射率使用映射函数进行颜色空间映射，得到像素点对应的色度。
对训练集合中的所有超光谱反射率像素点，使用如公式(1)所示的映射函数映射到RGB空间，再使用如公式(2)所示的映射函数从RGB空间映射到色度空间：
Y＝CS (1)
Figure BDA0001285333630000071
其中Y是一个3行M列的实矩阵，是向量化表示的RGB空间像素集合，它的每一列表示一个3通道的像素点。C是一个3行B列的实矩阵，表示B个光谱通道到RGB通道的变换矩阵。S是一个B行M列的实矩阵，是向量化表示的超光谱像素反射率集合。q∈{R,G,B}表示3个颜色通道，
Figure BDA0001285333630000072
表示第m个像素点在q通道的像素值，
Figure BDA0001285333630000073
表示第m个像素点在q通道的色度值。
步骤1.2：根据色度值，使用聚类算法对所有的像素点进行聚类。
所述的聚类算法优选：K-均值聚类(详见Hartigan J A,Wong M A.Algorithm AS136:Ak-means clustering algorithm[J].Journal of the Royal StatisticalSociety.Series C(Applied Statistics),1979,28(1):100-108.)，谱聚类，层次聚类，模糊聚类，DBSCAN聚类。
步骤1.3：使用字典学习得到步骤1.2中每个聚类的稀疏字典。
对每一个聚类中的像素点使用如公式(3)所示的优化方程进行稀疏字典学习。
Figure BDA0001285333630000074
其中：Tk是第k个聚类中像素点反射率的向量表示，Dk是所求稀疏字典，Bk是稀疏编码且满足Bk≥0,Dk≥0，||·||F表示矩阵的弗罗宾尼斯(Frobenius)范数，||·||1表示矩阵的1范数。
字典学习方法优选：K-SVD算法(详见Aharon M,Elad M,Bruckstein A.K-SVD:Analgorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on signal processing,2006,54(11):4311-4322.)，最佳方向(MOD)法，在线字典学习(ODL)法，主成分分析(PCA)法，顶点成分分析(VCA)法。
步骤1.4：对步骤1.3中的稀疏字典使用颜色空间映射得到对应RGB字典。
将步骤1.3中获得的每个聚类的反射率字典，通过如公式(4)所示的映射函数映射到RGB空间：
Hk＝CDk
其中Hk是第k个聚类的RGB字典。
步骤二：使用阶段利用步骤一中得到的聚类和稀疏字典、RGB字典，重建像素的超光谱反射率。
步骤2.1：对彩色相机采集到的RGB图像进行白平衡处理。
所述的白平衡处理方法优选：灰度世界(Grey-World)法，最大RGB(max-RGB)法，灰色阴影(Shades of Grey)法，灰色边缘(Grey-Edge)法。白平衡方法的原理详见(Van DeWeijer J,Gevers T,Gijsenij A.Edge-based color constancy[J].IEEE Transactionson image processing,2007,16(9):2207-2214.)
步骤2.2：对白平衡后的RGB图像使用如公式(2)所示方法得到每个像素点对应色度。
步骤2.3：根据步骤2.2得到的色度计算每个像素点所属聚类。
计算图像中每个像素的色度与训练得到的每个聚类中心色度的距离，寻找距离最小的聚类作为该像素所属聚类。
距离定义优选：欧式距离，曼哈顿距离，切比雪夫距离，闵可夫斯基距离，标准化欧氏距离，马氏距离，夹角余弦，海明距离，杰卡德距离，相关系数，信息熵。
步骤2.4：根据步骤2.3得到的聚类以及每个聚类的RGB字典求解稀疏编码。
对于步骤2.3中每个聚类中的像素点，使用RGB字典进行有约束稀疏编码，稀疏编码通过公式(5)中的优化方程进行求解：
Figure BDA0001285333630000081
其中，Ak表示第k个聚类中像素的稀疏编码且满足Ak>0，
Figure BDA0001285333630000085
代表第k个聚类中超光谱反射率的均值，Uk中每一列对应Yk中每个像素的非局部特征。该非局部特征计算方法如公式(6)所示：
Figure BDA0001285333630000082
其中，Dkαm,n表示空间坐标m在集合Ωm中的一个相似像素点，集合Ωm表示m的空间邻域，wm,n表示权重，wm,n的计算方法如公式(7)所示：
Figure BDA0001285333630000083
其中，W表示标准化因子，h是一个预定义的标量，
Figure BDA0001285333630000084
表示中心为m的RGB图像块。
公式(5)的优化方程求解方法优选：正交匹配追踪(OMP)算法，最小角回归(LARS)算法，迭代软阈值(ISTA)算法，交替方向乘子(ADMM)算法(详见Daubechies I,Defrise M,De Mol C.An iterative thresholding algorithm for linear inverse problems witha sparsity constraint[J].Communications on pure and applied mathematics,2004,57(11):1413-1457.)。
步骤2.5：根据步骤2.4中的稀疏编码和步骤一中得到的稀疏字典，利用公式(7)重建光谱反射率。
Sk＝DkAk
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于RGB图像的超光谱反射率重建方法，其特征在于：分为训练和使用两个阶段，包括如下步骤：
步骤一：训练阶段用于根据像素色度得到聚类以及每个聚类的稀疏字典和RGB稀疏字典；
步骤1.1：对训练集中像素点的超光谱反射率使用映射函数进行颜色空间映射，得到像素点对应的色度；
对训练集合中的所有超光谱反射率像素点，使用如公式(1)所示的映射函数映射到RGB空间，再使用如公式(2)所示的映射函数从RGB空间映射到色度空间：
Y＝CS (1)
Figure FDA0002442915490000011
其中Y是一个3行M列的实矩阵，是向量化表示的RGB空间像素集合，它的每一列表示一个3通道的像素点；C是一个3行B列的实矩阵，表示B个光谱通道到RGB通道的变换矩阵；S是一个B行M列的实矩阵，是向量化表示的超光谱像素反射率集合；q∈{R，G，B}表示3个颜色通道，
Figure FDA0002442915490000012
表示第m个像素点在q通道的像素值，
Figure FDA0002442915490000013
表示第m个像素点在q通道的色度值；
步骤1.2：根据色度值，使用聚类算法对所有的像素点进行聚类；
步骤1.3：使用字典学习得到步骤1.2中每个聚类的稀疏字典；
对每一个聚类中的像素点使用如公式(3)所示的优化方程进行稀疏字典学习；
Figure FDA0002442915490000014
其中：Tk是第k个聚类中像素点反射率的向量表示，Dk是所求稀疏字典，Bk是稀疏编码，ξ是一个设定的权重参数且1≥ξ≥0，||·||k表示矩阵的弗罗宾尼斯Frobenius范数，||·||1表示矩阵的1范数，
Figure FDA0002442915490000015
和
Figure FDA0002442915490000016
分别是稀疏字典学习后得到的稀疏字典和稀疏编码；
步骤1.4：对步骤1.3中的稀疏字典使用颜色空间映射得到对应RGB字典；
将步骤1.3中获得的每个聚类的反射率字典，通过如公式(4)所示的映射函数映射到RGB空间：
Hk＝CDk (4)
其中Hk是第k个聚类的RGB字典；
步骤二：使用阶段利用步骤一中得到的聚类和稀疏字典、RGB字典，重建像素的超光谱反射率；
步骤2.1：对彩色相机采集到的RGB图像进行白平衡处理；
步骤2.2：对白平衡后的RGB图像使用如公式(2)所示方法得到每个像素点对应色度；
步骤2.3：根据步骤2.2得到的色度计算每个像素点所属聚类；
计算图像中每个像素的色度与训练得到的每个聚类中心色度的距离，寻找距离最小的聚类作为该像素所属聚类；
步骤2.4：根据步骤2.3得到的聚类以及每个聚类的RGB字典求解稀疏编码；
对于步骤2.3中每个聚类中的像素点，使用RGB字典进行有约束稀疏编码，稀疏编码通过公式(5)中的优化方程进行求解：
Figure FDA0002442915490000021
其中，Ak表示第k个聚类中像素的稀疏编码，
Figure FDA0002442915490000022
代表第k个聚类中超光谱反射率的均值，η1、η2和η3均是设定的权重参数且数值范围为≥0且≤1，Yk表示RGB图像中属于第k个聚类中所有像素，Uk中每一列对应Yk中每个像素的非局部特征；
Figure FDA0002442915490000023
表示Uk中的第m个像素点的非局部特征，该非局部特征计算方法如公式(6)所示：
Figure FDA0002442915490000024
其中，Dkαm，n表示第m个像素点在集合Ωm中的一个相似像素点，集合Ωm表示第m个像素点空间邻域，n是集合Ωm中的第n个像素，wm，n表示权重，wm，n的计算方法如公式(7)所示：
Figure FDA0002442915490000025
其中，W表示标准化因子，h是一个预定义的标量，
Figure FDA0002442915490000026
表示中心为第m个像素点的RGB像素值，
Figure FDA0002442915490000031
表示集合Ωm中第n个像素点的RGB像素值；
步骤2.5：根据步骤2.4中的稀疏编码和步骤一中得到的稀疏字典，利用公式(8)重建光谱反射率；
Sk＝DkAK (8)。
2.如权利要求1所述的一种基于RGB图像的超光谱反射率重建方法，其特征在于：步骤1.2所述的聚类算法选用K-均值聚类，谱聚类，层次聚类，模糊聚类或DBSCAN聚类。
3.如权利要求1所述的一种基于RGB图像的超光谱反射率重建方法，其特征在于：步骤1.3所述的字典学习方法选用K-SVD算法，最佳方向MOD法，在线字典学习ODL法，主成分分析PCA法或顶点成分分析VCA法。
4.如权利要求1所述的一种基于RGB图像的超光谱反射率重建方法，其特征在于：步骤2.1所述的白平衡处理方法选用灰度世界Grey-World法，最大RGB max-RGB法，灰色阴影Shades of Grey法或灰色边缘Grey-Edge法。
5.如权利要求1所述的一种基于RGB图像的超光谱反射率重建方法，其特征在于：步骤2.3所述的距离定义选用欧式距离，曼哈顿距离，切比雪夫距离，闵可夫斯基距离，标准化欧氏距离，马氏距离，夹角余弦，海明距离，杰卡德距离，相关系数或信息熵。
6.如权利要求1所述的一种基于RGB图像的超光谱反射率重建方法，其特征在于：公式(5)的优化方程求解方法选用正交匹配追踪OMP算法，最小角回归LARS算法，迭代软阈值ISTA算法或交替方向乘子ADMM算法。
7.如权利要求1所述的一种基于RGB图像的超光谱反射率重建方法，其特征在于：
所述的聚类算法选用K-均值聚类，谱聚类，层次聚类，模糊聚类或DBSCAN聚类；
所述的字典学习方法选用K-SVD算法，最佳方向MOD法，在线字典学习ODL法，主成分分析PCA法或顶点成分分析VCA法；
所述的白平衡处理方法选用灰度世界Grey-World法，最大RGB max-RGB法，灰色阴影Shades of Grey法或灰色边缘Grey-Edge法。
8.一种基于RGB图像的超光谱反射率重建方法，其特征在于：分为训练阶段和使用阶段；训练阶段在超光谱图像反射率的训练集中，把超光谱反射率映射到RGB颜色空间，并根据RGB的值求解每个像素的色度；根据每个像素的色度对像素进行聚类；对每个聚类中的像素反射率使用字典学习得到反射率的稀疏字典；把稀疏字典映射到RGB空间得到RGB字典；使用阶段对采集的RGB图像进行白平衡；求解白平衡后图像每个像素点的色度，并根据色度寻找每个像素点所属聚类；对于每个聚类中的像素点，使用该聚类的RGB字典进行有约束稀疏编码；根据聚类的反射率字典和稀疏编码，重建像素的超光谱反射率。
CN201710304707.5A 2017-05-03 2017-05-03 一种基于rgb图像的超光谱反射率重建方法 Active CN107239781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710304707.5A CN107239781B (zh) 2017-05-03 2017-05-03 一种基于rgb图像的超光谱反射率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710304707.5A CN107239781B (zh) 2017-05-03 2017-05-03 一种基于rgb图像的超光谱反射率重建方法

Publications (2)

Publication Number Publication Date
CN107239781A CN107239781A (zh) 2017-10-10
CN107239781B true CN107239781B (zh) 2020-07-28

Family

ID=59984161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710304707.5A Active CN107239781B (zh) 2017-05-03 2017-05-03 一种基于rgb图像的超光谱反射率重建方法

Country Status (1)

Country Link
CN (1) CN107239781B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108051376A (zh) * 2017-12-12 2018-05-18 中国地质大学（武汉） 一种基于rgb彩色相机图像的光谱重建方法
CN109741407A (zh) * 2019-01-09 2019-05-10 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量重构方法
CN110736542B (zh) * 2019-10-28 2021-07-16 南京林业大学 一种基于rgb值的光谱重建方法
CN115643811A (zh) * 2020-12-31 2023-01-24 华为技术有限公司 一种图像处理方法、数据的获取方法及设备
CN115546010B (zh) * 2022-09-21 2023-09-12 荣耀终端有限公司 图像处理方法及电子设备
CN115393737B (zh) * 2022-10-27 2022-12-23 南通有来信息技术有限公司 一种遥感对象确定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020935A (zh) * 2012-12-10 2013-04-03 宁波大学 一种自适应在线字典学习的图像超分辨率方法
CN103617607A (zh) * 2013-11-28 2014-03-05 天津大学 一种单幅图像超分辨率重建方法
CN103810755A (zh) * 2014-03-04 2014-05-21 西安电子科技大学 基于结构聚类稀疏表示的压缩感知光谱图像重建方法
CN105046672A (zh) * 2015-06-30 2015-11-11 北京工业大学 一种图像超分辨率重建方法
CN105488776A (zh) * 2014-10-10 2016-04-13 北京大学 超分辨率图像重建方法和装置
CN105654425A (zh) * 2015-12-07 2016-06-08 天津大学 一种应用于医学x光图像的单幅图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858464B2 (en) * 2013-03-15 2018-01-02 The Regents Of The University Of Colorado, A Body Corporate 3-D localization and imaging of dense arrays of particles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020935A (zh) * 2012-12-10 2013-04-03 宁波大学 一种自适应在线字典学习的图像超分辨率方法
CN103617607A (zh) * 2013-11-28 2014-03-05 天津大学 一种单幅图像超分辨率重建方法
CN103810755A (zh) * 2014-03-04 2014-05-21 西安电子科技大学 基于结构聚类稀疏表示的压缩感知光谱图像重建方法
CN105488776A (zh) * 2014-10-10 2016-04-13 北京大学 超分辨率图像重建方法和装置
CN105046672A (zh) * 2015-06-30 2015-11-11 北京工业大学 一种图像超分辨率重建方法
CN105654425A (zh) * 2015-12-07 2016-06-08 天津大学 一种应用于医学x光图像的单幅图像超分辨率重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Hyperspectral Image Super-Resolution via Non-Negative Structured Sparse Representation;Weisheng Dong等;《 IEEE Transactions on Image Processing》;20160531;第25卷(第5期);2337-2352 *
K均值聚类和支持向量数据描述的图像超分辨率算法;张小丹等;《中国图像图形学报》;20160228;第21卷(第2期);135-144 *
Repeated constrained sparse coding with partial dictionaries for hyperspectral unmixing;Naveed Akhtar等;《IEEE Winter Conference on Applications of Computer Vision》;20140623;953-960 *
Sparse Spatio-spectral Representation for Hyperspectral Image Super-resolution;Naveed Akhtar等;《European Conference on Computer Vision 2014》;20140930;63-78 *
基于邻域学习和稀疏原子聚类字典的图像超分辨率重构算法研究;王新蕾;《中国博士学位论文全文数据库 信息科技辑（月刊）》;20170215;第2017年卷(第02期);I138-164 *
基于非负结构稀疏表示的光谱图像超分辨率重建;孟贵宇;《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》;20160315;第2016年卷(第03期);I138-6664 *

Also Published As

Publication number Publication date
CN107239781A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107239781B (zh) 一种基于rgb图像的超光谱反射率重建方法
US11615559B2 (en) Methods and systems for human imperceptible computerized color transfer
Joze et al. Exemplar-based color constancy and multiple illumination
JP2014515587A (ja) デジタル画像装置用の画像処理パイプラインの学習
US20100254573A1 (en) Method for measuring the dissimilarity between a first and a second images and a first and second video sequences
CN110866896A (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN109766748A (zh) 一种基于投影变换与字典学习的行人再识别的方法
Çevik et al. A novel high-performance holistic descriptor for face retrieval
Liu et al. Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation
Fu et al. Discriminant absorption-feature learning for material classification
Anggraini Face recognition using principal component analysis and self organizing maps
CN110097499B (zh) 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
CN108921872B (zh) 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
CN112784747B (zh) 高光谱遥感图像多尺度本征分解方法
CN110335197A (zh) 基于非局部统计本征的去马赛克方法
CN109376719A (zh) 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法
CN108108652B (zh) 一种基于字典学习的跨视角人体行为识别方法及装置
CN110766655A (zh) 一种基于丰度的高光谱图像显著性分析方法
CN108491888B (zh) 基于形态学分析的环境监测高光谱数据谱段选择方法
CN113269684B (zh) 基于单张rgb图像和非监督学习的高光谱图像复原方法
CN112785583B (zh) 基于超像素分割的高光谱遥感图像反射率恢复方法
CN110222599B (zh) 一种基于高斯映射的步态识别方法
HOUSSOU et al. Robust facial recognition system using one shot multispectral filter array acquisition system
CN113670440A (zh) 一种基于自适应字典的压缩光谱成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant