CN110675366B - 基于窄带led光源估计相机光谱灵敏度的方法 - Google Patents

基于窄带led光源估计相机光谱灵敏度的方法 Download PDF

Info

Publication number
CN110675366B
CN110675366B CN201910815273.4A CN201910815273A CN110675366B CN 110675366 B CN110675366 B CN 110675366B CN 201910815273 A CN201910815273 A CN 201910815273A CN 110675366 B CN110675366 B CN 110675366B
Authority
CN
China
Prior art keywords
camera
light source
spectral
sensitivity
led light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910815273.4A
Other languages
English (en)
Other versions
CN110675366A (zh
Inventor
张显斗
王萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910815273.4A priority Critical patent/CN110675366B/zh
Publication of CN110675366A publication Critical patent/CN110675366A/zh
Application granted granted Critical
Publication of CN110675366B publication Critical patent/CN110675366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种基于窄带LED光源估计相机光谱灵敏度的方法。本发明步骤如下：1、选取N个LED光源；2、设置被测数码相机的参数，参数包括曝光时间、光圈大小和ISO值，固定相机的位置；3、在每种光源下拍摄一组图像，获取每个光源下图像颜色值；4、用PCA对已有的相机光谱灵敏度数据库做分析，获取每个相机通道的灵敏度函数主要特征向量；5、根据所有像素点的颜色值、光谱反射比和光源的光谱功率分布，通过优化算法计算得到相机三个通道灵敏度函数对应的特征系数；6、根据步骤5得到的特征系数与步骤4得到的主要特征向量，最终得到相机光谱灵敏度。

Description

基于窄带LED光源估计相机光谱灵敏度的方法
技术领域
本发明属于监控、手机成像、机器视觉、自动驾驶、计算机视觉、多光谱技术、信息娱乐等技术领域。涉及一种基于窄带LED光源估计相机光谱灵敏度的方法。
背景技术
颜色是人类视觉系统从外界获取信息最直接最主要的手段之一。随着计算机等信息科学的高速发展，采用数字成像系统代替人眼高保真获取物体的颜色信息并借助于人工智能系统模拟人类视觉系统对外界物体的识别分析目前得到了极为广泛的研究并在监控、手机成像、机器视觉、自动驾驶、计算机视觉、多光谱技术、信息娱乐等技术领域具有巨大的应用潜力。当前监控相机、手机成像系统、工业相机、光谱相机等数字成像系统已经在各个领域得到了广泛应用，但在成像过程中也出现了各种各样的问题。例如当两个不同的相机对同一场景成像时会生成不同的颜色；相机并不具备人类视觉系统的颜色恒常特性使得在不同光源下看到同一个物体时生成的图像颜色不同。在研究领域中，如果可以通过RGB三通道的图像计算出场景的光谱图像，就可以在任何光源下渲染当前场景达到逼真的效果，也可以通过普通的成像得到艺术家在作品中所用到的颜料信息而更好的实现艺术品颜色复制。普通数字成像系统获取图像的颜色信息主要取决于光源的光谱功率、场景光谱反射率和相机光谱灵敏度。因此，如果可以知道相机的光谱灵敏度，一个相机的颜色就可以准确的转换到另一个相机从而使两个相机对同一场景的颜色达成一致，也有利于更好的估计场景光源实现颜色恒常性，有利于从RGB图像计算光谱图像。综上所述，相机的光谱灵敏度在计算机视觉领域，光谱反射率复现、多光谱成像、色彩校正、颜色恒常性中都有重要的应用，但相机制造商很少披露的数码相机传感器的光谱灵敏度，所以相机光谱灵敏度的估计对计算机视觉、手机成像、多光谱技术、彩色图像增强等技术领域极为重要。
实验室可以通过单色仪、积分球及分光光度计等设备来精准测量相机的光谱灵敏度，但是此方法依赖于实验室特殊且昂贵的测量设备及条件，且因为需要为每个可见光波段进行测量而需要耗费大量时间。
为了克服上述实验室测量相灵敏度的困难，研究者们提出了在已知或未知光源光谱功率分布及已知光谱反射比标定目标相机的方法。已知标准的数码相机的成像模型如式(1)所示：
I＝R*diag(L)*C, (1)
其中，I(N*3)表示N个像素点在相机RGB三通道的响应值，R(N*m)表示被拍摄物体表面N个像素点的光谱反射比。C(m*3)表示相机RGB三通道的光谱灵敏度，L(m*1)表示拍摄环境下光源的光谱功率分布，m表示在可见光波段的光谱采样数量。根据成像公式及已知的拍摄条件，如响应值、光源的光谱功率分布及物体表面的光谱反射比，有多种优化方法及附加的限制条件来估算相机的光谱灵敏度。
(1)伪逆法：已知响应值I，光源的光谱功率分布L及物体的光谱反射比直接通过伪逆法来求得C。C＝I*pinv(diag(L)*R)。然而因为物体的光谱反射比具有低有效维度的特性(通常是6～8维)，因此直接用伪逆法得到的结果精确度不高且曲线存在严重的锯齿不光滑现象。
(2)基于基函数：由于基函数可以有效的描述一组数据样本的特性。因此可以通过用奇异值分解(SVD)方法提取现有相机光谱灵敏度数据库的特征向量以减少相机光谱灵敏度的维度，所以基于基函数估计灵敏度的结果精度要好于伪逆方法。
(3)基于荧光物质(光源未知)：利用荧光材料色度不变的特性，使用荧光色卡在光源光谱功未知的情况下使用基函数估计相机光谱灵敏度，虽然此方法的精度较高，但是荧光物质的生产、维护及缜密的选择成本仍旧导致在日常中难以使用此方法。
(4)基于主成分分析(PCA)方法：通过用主成分分析法(PCA)分析相机光谱灵敏度数据库以用较低维度空间描述相机光谱灵敏度。但是由于数据库中的噪声及对原始数据有效的需求，线性的PCA也存在局限性。
(5)引入限制约束条件：根据相机光谱灵敏度的特性，例如，函数应具有单峰性、函数应较平滑等条件作为约束来估算灵敏度函数。
发明内容
本发明主要提出一种基于窄带LED光源估计相机光谱灵敏度的方法，并加入正则化条件以防过拟合。用PCA方法分析机光谱灵敏度数据库，提取能表征灵敏度函数的主要特性。对于要估算灵敏度函数的相机，需要在多组已知光谱功率分布的LED光源下拍摄标准已知光谱反射比的色卡得到未经处理的Raw图像。在已知光源光谱功率分布及物体表面光谱反射比的情况下，根据图像响应值可以通过最小二乘法来求得机光谱灵敏度，但是由于实际拍摄得到的图像会有噪声等因素影响，所以在此算法中我们加入灵敏度函数非负约束及平滑项来优化此算法。
本发明所解决其技术问题采用的技术方案是一种基于窄带LED光源估计相机光谱灵敏度的方法，具体步骤如下：
步骤(1)选取N个LED光源。
步骤(2)设置被测数码相机的参数(曝光时间，光圈大小，ISO值)，固定相机的位置。
步骤(3)在每种光源下拍摄一组图像，获取每个光源下图像颜色值。
步骤(4)用PCA对已有的相机光谱灵敏度数据库做分析，获取每个相机通道的灵敏度函数主要特征向量。
步骤(5)根据所有像素点的颜色值、光谱反射比和光源的光谱功率分布(L)，通过优化算法计算得到相机三个通道灵敏度函数对应的特征系数。
步骤(6)根据步骤(5)得到的特征系数与步骤(4)得到的主要特征向量，最终得到相机光谱灵敏度。
所述的步骤(1)，选取的N个LED光源包含多个波段的单色光，多个LED光源的分布波段应该覆盖相机的灵敏度波长范围(400～700nm)，用Jeti仪器测量每个光源的光谱功率分布。
所述的步骤(2)中设置的相机参数应使得在每一种光源下图像都不太暗或者过曝。
所述的步骤(3)中拍摄的图像格式为未经处理的Raw图像，这样保证图像未经相机自带的ISP处理(算法白平衡，颜色校正等)。拍摄的图像需要已知每个像素位置的光谱反射比以便于后面的步骤的计算。
所述的步骤(4)中使用PCA算法确定前K维特征足以表征整个灵敏度函数数据库。每个通道的前K维特征向量矩阵为Ek(m*K)，m表示光谱采样数目，K＜＜m,则Ck＝Ekβk。βk为特征系数。k＝R,G,B，表示三个通道。所述的步骤(5)，利用所有像素点的颜色值、光谱反射比和光源的光谱功率分布,在传统的最小二乘优化算法后加上平滑项
Figure BDA0002186192040000043
其中α为平滑因子项，W为n阶的导数矩阵。目标公式如(2)所示求得相机在k通道的灵敏度函数Ck。又由步骤(4)中分析得到的前K个特征向量Ek,K＜＜m,Ck＝Ekβk。所以最终的优化目标转为求低维度的特征系数βk，如公式(3)所示，限制条件为Ekβk≥0。
Figure BDA0002186192040000041
Figure BDA0002186192040000042
s.t Ekβk≥0。
其中，R表示被拍摄物体表面的光谱反射比、Ik表示相机在第k通道的响应值
所述的步骤(6)，根据步骤(5)得到的特征系数βk与步骤(4)得到的特征向量Ek，Ck＝Ekβk，最终得到相机光谱灵敏度。
本发明提供的技术方案的有益效果为：
使用多个光源拍摄使每个像素点都有多组响应值，可使用的信息更多更全面。使用PCA方法对现有的灵敏度函数数据库降维提取主要特征向量，这样防止了由低维信息预测高维变量引发的误差。并且优化算法后面加上了平滑项，使得估算得到的灵敏度函数更加符合实际，并对降低实际拍摄中的噪声影响，使算法有更强的鲁棒性。
附图说明
图1为本发明选取的9个LED光源包含多个波段的窄带光源(400～700nm)，用Jeti仪器测量的每个光源的光谱功率分布图。
图2为本发明用此方法估计出来的灵敏度值与测量的标准灵敏度值图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1和2所示，一种基于窄带LED光源估计相机光谱灵敏度的方法，具体步骤如下：
步骤(1)选取合适的LED光源。
步骤(2)设置被测数码相机的参数(曝光时间，光圈大小，ISO值)，固定相机的位置。
步骤(3)在每种光源下拍摄一组图像，获取每个光源下图像颜色值。
步骤(4)用PCA对已有的相机光谱灵敏度数据库做分析，获取每个相机通道的灵敏度函数主要特征向量。
步骤(5)根据所有像素点的颜色值，光谱反射比，光源的光谱功率分布(L)通过优化算法计算得到相机三个通道灵敏度函数对应的特征系数。
步骤(6)根据步骤(5)得到的特征系数与步骤(4)得到的特征向量最终得到相机光谱灵敏度。
步骤(1)中选取的9个LED光源包含多个波段的单色光，用Jeti仪器测量每个光源的光谱功率分布，所有光源的相对光谱功率分布如图1所示，
步骤(2)中设置的相机参数应使得在每一种光源下图像中的白色块的最大通道响应值在240左右。
步骤(3)中拍摄的color Checker 140的标准色卡的Raw图像，使用双线性插值的方法对Raw图像进行插值生成彩色图像。并去除外围用来测光源均匀性的中性色块，最终留下96个色块做测试，颜色值矩阵I大小为(96*12)*3。使用分光光度计测得96个色块对应的光谱反射比，光谱波长范围为400～700nm,采样间隔为10nm,则光谱采样数量为31。
步骤(4)中使用PCA算法对现有最全的Jiang收集的包含的28种相机灵敏度数据库进行分析，每个通道的前7个特征值占全体特征的占比如表1所示。由此我们确定前5个特征以足以表征整个矩阵。每个通道的前5维特征向量矩阵为Ek(31*5)，则Ck＝Ekβk。βk(5*1)为特征系数。
表1
1 2 3 4 5 6 7
R通道 0.952 0.975 0.987 0.992 0.995 0.997 0.998
G通道 0.987 0.994 0.997 0.998 0.999 0.999 0.999
B通道 0.977 0.988 0.993 0.996 0.998 0.999 0.999
步骤(5)中利用所有像素点的颜色值，光谱反射比，光源的光谱功率分布,并在传统的最小二乘优化算法后加上平滑项
Figure BDA0002186192040000061
其中α为平滑因子项，在实施列中，为了移除噪声的影响我们使用L型曲线优化算法确定α的值。W为2阶的导数矩阵。
Figure BDA0002186192040000071
目标公式如(2)所示求得相机在k通道的灵敏度函数Ck。又由步骤(4)中分析得到的前5个特征向量Ek,5<<31,Ck＝Ekβk。所以最终的优化目标转为求低维度的特征系数βk，如公式(3)所示，限制条件为Ekβk≥0。
Figure BDA0002186192040000072
Figure BDA0002186192040000073
s.t Ekβk≥0
步骤(6)中根据步骤(5)得到的特征系数βk与步骤(4)得到的特征向量Ek，Ck＝Ekβk，最终得到相机光谱灵敏度。
以下是本发明技术方案可行性证明：
关于最终估算的相机光谱灵敏度的精确性可以通过画图以及计算三个通道灵敏度函数与实验室测得的标准灵敏度函数之间的均方根误差来衡量。第k(k＝R，G，B)个通道的均方根误差(RMSE)的计算公式如(4)所示:
Figure BDA0002186192040000074
此次我们使用Canno EOS 60D相机来验证此方法的可行性。Canno EOS 60D的标准灵敏度函数已存在与数据库中。用此方法估计出来的灵敏度值与测量的标准灵敏度值如图2所示。三个通道的平均RMSE为0.0266。
从图2两组数据的对比以及计算出的均方根误差可以看出，本发明提到估计相机光谱灵敏度的方法可以较好的估计出数码相机的光谱灵敏度且误差较小，说明本发明方法能有效估计相机光谱灵敏度。
以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (6)

1.基于窄带LED光源估计相机光谱灵敏度的方法，其特征在于包括如下步骤：
步骤(1)选取N个LED光源；
步骤(2)设置被测数码相机的参数，参数包括曝光时间、光圈大小和ISO值，固定相机的位置；
步骤(3)在每种光源下拍摄一组图像，获取每个光源下图像颜色值；
步骤(4)用PCA对已有的相机光谱灵敏度数据库做分析，获取每个相机通道的灵敏度函数主要特征向量；
步骤(5)根据所有像素点的颜色值、光谱反射比和光源的光谱功率分布(L)，通过优化算法计算得到相机三个通道灵敏度函数对应的特征系数；
步骤(6)根据步骤(5)得到的特征系数与步骤(4)得到的主要特征向量，最终得到相机光谱灵敏度。
2.根据权利要求1所述的基于窄带LED光源估计相机光谱灵敏度的方法，其特征在于所述的步骤(1)，选取的N个LED光源包含多个波段的单色光，多个LED光源的分布波段应该覆盖相机的灵敏度波长400～700nm范围，用Jeti仪器测量每个光源的光谱功率分布。
3.根据权利要求2所述的基于窄带LED光源估计相机光谱灵敏度的方法，其特征在于步骤(3)中拍摄的图像格式为未经处理的Raw图像，保证图像未经相机自带的ISP处理。
4.根据权利要求2或3所述的基于窄带LED光源估计相机光谱灵敏度的方法，其特征在于所述的步骤(4)中使用PCA算法确定前K维特征足以表征整个灵敏度函数数据库；每个通道的前K维特征向量矩阵为Ek(m*K)，m表示光谱采样数目，K＜＜m,则Ck＝Ekβk；βk为特征系数；k＝R,G,B，表示三个通道。
5.根据权利要求4所述的基于窄带LED光源估计相机光谱灵敏度的方法，其特征在于所述的步骤(5)利用所有像素点的颜色值、光谱反射比和光源的光谱功率分布,在最小二乘优化算法后加上平滑项
Figure FDA0002186192030000021
其中α为平滑因子项，W为n阶的导数矩阵；目标公式如(2)所示求得相机在k通道的灵敏度函数Ck；又由步骤(4)中分析得到的前K个特征向量Ek,K＜＜m,Ck＝Ekβk；所以最终的优化目标转为求低维度的特征系数βk，如公式(3)所示，限制条件为Ekβk≥0；
Figure FDA0002186192030000022
Figure FDA0002186192030000023
s.tEkβk≥0；
其中：R表示被拍摄物体表面的光谱反射比、Ik表示相机在第k通道的响应值。
6.根据权利要求5所述的基于窄带LED光源估计相机光谱灵敏度的方法，其特征在于所述的步骤(6)，根据步骤(5)得到的特征系数βk与步骤(4)得到的特征向量Ek，Ck＝Ekβk，最终得到相机光谱灵敏度。
CN201910815273.4A 2019-08-30 2019-08-30 基于窄带led光源估计相机光谱灵敏度的方法 Active CN110675366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910815273.4A CN110675366B (zh) 2019-08-30 2019-08-30 基于窄带led光源估计相机光谱灵敏度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910815273.4A CN110675366B (zh) 2019-08-30 2019-08-30 基于窄带led光源估计相机光谱灵敏度的方法

Publications (2)

Publication Number Publication Date
CN110675366A CN110675366A (zh) 2020-01-10
CN110675366B true CN110675366B (zh) 2022-03-08

Family

ID=69075977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815273.4A Active CN110675366B (zh) 2019-08-30 2019-08-30 基于窄带led光源估计相机光谱灵敏度的方法

Country Status (1)

Country Link
CN (1) CN110675366B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP5879745B2 (ja) * 2011-05-20 2016-03-08 セイコーエプソン株式会社 分光推定パラメーター生成装置およびその方法、並びにコンピュータープログラム
CN109738067B (zh) * 2018-12-25 2021-01-15 浙江农林大学暨阳学院 一种估计窄带多光谱相机合成光谱灵敏度的方法

Also Published As

Publication number Publication date
CN110675366A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
Barnard et al. A comparison of computational color constancy algorithms. ii. experiments with image data
Liu et al. Noise estimation from a single image
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
CN108520488B (zh) 一种重构光谱并进行复制的方法以及电子设备
CN108020519B (zh) 一种基于颜色恒常性的虚拟多光源光谱重建方法
CN105138987B (zh) 一种基于聚合通道特征和运动估计的车辆检测方法
CN106651795A (zh) 一种利用光照估计来校正图像颜色的方法
CN113705788B (zh) 基于全卷积神经网络的红外图像温度估计方法及系统
CN113340817B (zh) 光源光谱和多光谱反射率图像获取方法、装置及电子设备
CN113609907A (zh) 一种多光谱数据的获取方法、装置及设备
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
CN115841594B (zh) 基于注意力机制的煤矸高光谱变图像域数据识别方法
CN113506235A (zh) 一种对抗曝光变化的自适应加权光谱重建方法
US9189703B2 (en) Systems and methods for colorimetric and spectral material estimation
CN112784747B (zh) 高光谱遥感图像多尺度本征分解方法
CN110675366B (zh) 基于窄带led光源估计相机光谱灵敏度的方法
CN108680535A (zh) 基于改进r矩阵的光谱反射率重建方法
CN111896109B (zh) 一种基于数码相机原始响应值的光谱重建方法
CN113297977A (zh) 活体检测方法、装置及电子设备
CN115578553B (zh) 一种基于时序图像序列的甲醛的快速检测方法
CN113340816B (zh) 光源光谱和多光谱反射率图像获取方法、装置及电子设备
Llanos et al. Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction
Brauers et al. Multispectral image acquisition with flash light sources
CN114757892B (zh) 基于人工智能的透视材料缺陷检测方法与系统
CN109993690A (zh) 一种基于结构相似性的彩色图像高精度灰度化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant