CN113252585A - 一种基于高光谱图像判断黄金表面覆膜的方法和装置 - Google Patents
一种基于高光谱图像判断黄金表面覆膜的方法和装置 Download PDFInfo
- Publication number
- CN113252585A CN113252585A CN202110432562.3A CN202110432562A CN113252585A CN 113252585 A CN113252585 A CN 113252585A CN 202110432562 A CN202110432562 A CN 202110432562A CN 113252585 A CN113252585 A CN 113252585A
- Authority
- CN
- China
- Prior art keywords
- gold
- area
- mask
- specular reflection
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 title claims abstract description 236
- 239000010931 gold Substances 0.000 title claims abstract description 233
- 229910052737 gold Inorganic materials 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000011248 coating agent Substances 0.000 title claims description 32
- 238000000576 coating method Methods 0.000 title claims description 32
- 238000001228 spectrum Methods 0.000 claims abstract description 108
- 230000003595 spectral effect Effects 0.000 claims abstract description 52
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 210000002489 tectorial membrane Anatomy 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims description 34
- 238000002310 reflectometry Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 206010061274 Malocclusion Diseases 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 3
- 239000012528 membrane Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000007888 film coating Substances 0.000 description 5
- 238000009501 film coating Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000002985 plastic film Substances 0.000 description 4
- 229920006255 plastic film Polymers 0.000 description 4
- 238000000985 reflectance spectrum Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004846 x-ray emission Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于高光谱图像判断黄金表面覆膜的方法和装置，通过从高光谱图像所拍摄黄金的高光区域形状、高光区域光谱特征及黄金光谱的建模分析三个方法判断黄金是否镀膜，通过过曝光或高光形状的特征进行黄金是否覆膜的判断，通过光谱运算得到的两个分量的比值特征进行黄金是否覆膜的判断，通过对覆膜和未覆膜的黄金的光谱进行建模，用训练模型进行黄金是否覆膜的判断，并通过三个结果综合判定被摄黄金样品是否覆膜。通过本发明可以实现对黄金制品表面覆膜的快速自动检测，检测的准确性高，对黄金制品不会造成损伤。
Description
技术领域
本申请涉及高光谱分析领域，特别是一种基于高光谱图像判断黄金表面覆膜的方法和装置。
背景技术
黄金表面镀膜技术是保护黄金产品的常见方式。黄金延展性、可锻性极好，因此一些金片会做得特别薄，制成书签、金纸等。对于这些较薄的金片，为防止其由于外力而断裂，经常会用塑料薄膜覆盖金片表面。为了不影响黄金独特的鲜艳金属光泽，该塑料膜在可见光范围内完全透明。
黄金的表面镀膜会影响黄金回收过程，在回收前必须进行检测判断。回收过程中，当对覆膜的黄金进行加热熔化处理，其表面覆膜就会燃烧，生成大量有毒物质污染空气，并影响回收设备寿命。在过去，黄金回收主要通过人工进行，所以检测黄金表面覆膜也主要由人来判断。但随着自动化的黄金回收设备面世，市场需要一种可以自动化地对黄金是否覆膜进行判断的技术。
当前常见的自动化检测方法难以判断黄金表面是否覆膜。密度检测法通过检测被测物的密度来判断是否是黄金，但黄金的表面覆膜本身很轻薄，几乎不会对检测结果产生影响，因此无法通过此法筛查。X射线荧光光谱法常用作分析黄金的纯度，但由于表面覆膜没有相关光谱响应，所以也无法进行判断。传统的机器视觉方法，对于完全透明的覆膜，也很难捕捉覆膜前后微小的变化，因此判断精度有限。
高光谱成像技术可以同时获得图像信息和光谱信息，在图像维度记录了物体的形状、反光等特性，可以结合机器视觉技术对物体图像进行判别分析，在光谱维度记录物质成分、类别、颜色等特征，可以结合化学计量学方法进行判别分析，是具有很大潜力的新技术。
高光谱技术可以从高镜面反射区域的形状和光谱检测，以及非高镜面反射区域的光谱变化两个维度对黄金是否覆膜进行判断。
黄金和塑料覆膜的表面都很光滑，因此都可以发生较强的镜面反射。而如果光源——黄金表面——相机之间的夹角关系满足镜面反射的条件，就会有大量的光在黄金或覆膜表面发生镜面反射并进入到相机中，在相机画幅的部分像素区域形成高镜面反射区域。在高光谱图像上的表现为辐射度值显著高于其他区域的区域，该区域甚至可能发生过曝光现象。
但黄金和有机覆膜的高镜面反射区域性质存在显著差异，主要表现在光谱和形状上。首先，裸露的黄金制品的表面大多不平整，高镜面反射区域通常不规则，在相幅平面上的分布较为随机；有机覆膜通常表面平整，能完整反射光源的形状，形成接近光源形状的高镜面反射区域。其次，黄金会在镜面反射时吸收掉400～500nm的光，而有机覆膜则不会，因此两者的镜面反射光谱存在差异，也就导致它们高镜面反射区域的光谱性质产生差异。
另一方面，覆膜和非覆膜的黄金样品，其非高镜面反射区域的光谱也存在差异。从塑料膜上表面反射的光，和从塑料膜下表面黄金表面反射的光由于光程差不同，会产生光的干涉等现象，通过计算机模拟可以发现覆膜和非覆膜黄金的光谱存在差异(图1)，可以被高光谱技术进行分析。
由于不同加工方法的黄金的光谱本身有差异，覆膜带来的光谱特征和高光区域特征并不显著，因此，需要结合多个特征，全方位的判断黄金是否覆膜，而高光谱技术恰恰具备这一优点。
有鉴于此，设计出一种基于高光谱图像判断黄金表面覆膜的方法是至关重要的。
申请内容
针对上述提到的自动化的黄金回收产业正在蓬勃发展，但业界尚缺乏对待回收黄金制品的品质鉴定的方案。其中黄金表面覆膜是一个必须检测的环节，因为覆膜会对回收仪器造成伤害并污染环境等问题。本申请的实施例提供了一种基于高光谱图像判断黄金表面覆膜的方法和装置以解决上述存在的问题。
第一方面，本申请的实施例提供了一种基于高光谱图像判断黄金表面覆膜的方法，包括以下步骤：
高光谱图像获取步骤，获取待测的黄金样品的高光谱图像I(x,y,w)，其中x、y分别表示图像拍摄的取景框的长和宽，以像素数表示，w为拍摄的不同的光谱中心波长；
黄金区域掩模获取步骤，在高光谱图像I(x,y,w)中寻找属于黄金的像素区域，得到黄金区域掩模M(x,y)；
高光区域形状分析步骤，基于高光谱图像I(x,y,w)获取过曝光区域掩模O(x,y)和高镜面反射区域掩模C(x,y)，基于黄金区域掩模M(x,y)与过曝光区域掩模O(x,y)或高镜面反射区域掩模C(x,y)得到黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO，将黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，得到第一判定结果r1；
高光区域光谱特征分析步骤，基于黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与过曝光区域掩模O(x,y)得到黄金区域的高镜面反射区且光谱未失真的区域掩模P，根据黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断，得到第二判定结果r2；
光谱机器学习分析步骤，基于高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)得到反射率空间分布图像REFL(x,y,w)，根据反射率空间分布图像REFL得到黄金区域的特征光谱信息PI，将特征光谱信息PI输入机器学习算法，得到第三判定结果r3；以及
综合判定步骤，根据r1、r2和r3综合判断黄金样品是否有覆膜，并输出最终判定结果r。
在一些实施例中，黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO通过将黄金区域掩模M(x,y)与过曝光区域掩模O(x,y)或黄金区域掩模M(x,y)与高镜面反射区域掩模C(x,y)取交集得到。镜面反射形状的来源可以是高镜面反射区域掩模C(x,y)，也可以是过曝光区域掩模O(x,y)，因此有两种取交集的方式可以得到黄金的镜面反射形状判据MO。
在一些实施例中，黄金区域的高镜面反射区且光谱未失真的区域掩模P通过将黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与过曝光区域掩模O(x,y)的非集取交集得到。覆膜黄金的镜面反射部分的光谱会更为接近光源的形状，而没有明显的黄金的光谱特征；相反，非覆膜黄金的镜面反射成分与黄金的反射光谱很接近。
在一些实施例中，过曝光区域掩模O(x,y)获取的方式包括：
获取高光谱图像I(x,y,w)中的每一帧的过曝光区域掩模Oi，然后对所有过曝光区域掩模Oi取并集，其中，获取过曝光区域掩模Oi的方法是判断每一帧中的每个像素灰度值达到阈值，其中阈值是等于或略小于灰度最大值的一个数值。过曝光区域记录的光强信息是不正确的，因此需要在进行光谱分析时去除；但另一方面，过曝光区域的形状也和黄金是否覆膜呈高度相关性，可以作为黄金是否覆膜的判据。
在一些实施例中，高镜面反射区域掩模C(x,y)的获取方式包括：
S31：对高光谱图像I(x,y,w)中每一个不同波长wi形成的灰度图像H(x,y,wi)分别进行高镜面反射区域的判断，得到多个高镜面反射区域Ci(x,y)，再将多个高镜面反射区域Ci(x,y)进行整合得到高镜面反射区域掩模C(x,y)；或者
S32：求取反射率空间分布图像REFL(x,y,w)中每个黄金区域的像素的光谱在400nm～500nm之间的斜率，并选取斜率最低的像素区域作为高镜面反射区域掩模C(x,y)；或者
S33：对反射率空间分布图像REFL(x,y,w)中每个像素的光谱与金的标准反射率光谱进行拟合，并选取拟合系数最低的像素区域作为镜面反射区域掩模C(x,y)。
在一些实施例中，步骤S31对高镜面反射区域的判断方式包括：将灰度图像H(x,y,wi)中像素灰度值通过阈值判断得到高镜面反射区域或通过寻找灰度图像H(x,y,wi)中灰度值突然增高的像素区域作为高镜面反射区域。
高镜面反射区域掩模C(x,y)是指高光谱图像中镜面反射成分高的区域所形成的掩模，可以有以上多种思路进行获取。
在一些实施例中，步骤S31中将多个镜面反射区域Ci(x,y)进行整合的方式包括：
对所有镜面反射区域Ci(x,y)取与操作；或者
对不同波段的镜面反射区域Ci(x,y)的进行加权平均，然后通过阈值进行划分；或者
将镜面反射区域Ci(x,y)输入机器学习模型进行预测。
在一些实施例中，黄金区域掩模M(x,y)的寻找方法包括语义识别，边缘检测，光谱角分类。
在一些实施例中，在高光区域形状分析步骤中将黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，判断两者的相似程度，判断相似程度的方法包括：
对黄金样本所对应像素区域的过曝光或高光区域掩模MO中存在多个彼此孤立的区域，则对每个独立的区域分别进行判断，并将判断结果取多数或加权平平均；或者采用形态学拟合、模式识别或阈值判断。
在一些实施例中，高光区域光谱特征分析步骤中根据黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断的方式包括：
求取黄金区域的高镜面反射区且光谱未失真的区域掩模P中所有像素光谱的440nm附近光谱的平均值q440，并除以光谱660nm附近的平均值q660，将得到的数值进行阈值比较，得到判断结果；或者
计算黄金区域的高镜面反射区且光谱未失真的区域掩模P内像素的平均光谱与黄金区域的高镜面反射区且光谱未失真的区域掩模P外像素的光谱之间的标准差，根据标准差结果进行判断，得到判断结果。
在一些实施例中，光谱机器学习分析步骤中的机器学习算法包括偏最小二乘法、人工神经网络或深度学习。判断的方式根据输入的特征光谱信息的不同，有多种不同的方式。如果输入的是整个黄金区域的平均光谱，则可以直接使用算法模型输出的结果作为判据；如果输入的信息为黄金区域每个像素的光谱，则可以对每个像素分别用算法模型判断是否镀膜，再根据整个黄金所属像素区域覆膜还是非覆膜的像素更多来进行判断。
在一些实施例中，综合判定步骤中综合判断的方法包括使用多数的结果、基于权重的判断或者随机森林判断。这一综合判断过程应综合考虑拍摄的装置、样品及实际测试效果等多方面因素，以达到最为准确的判断。
第二方面，本申请的实施例还提出一种基于高光谱图像判断黄金表面覆膜的装置，包括：
高光谱图像获取模块，被配置为获取待测的黄金样品的高光谱图像I(x,y,w)，其中x、y分别表示图像拍摄的取景框的长和宽，以像素数表示；w为拍摄的不同的光谱中心波长；
黄金区域掩模获取模块，被配置为在高光谱图像I(x,y,w)中寻找属于黄金的像素区域，得到黄金区域掩模M(x,y)；
高光区域形状分析模块，被配置为基于高光谱图像I(x,y,w)获取过曝光区域掩模O(x,y)和高镜面反射区域掩模C(x,y)，基于黄金区域掩模M(x,y)与过曝光区域掩模O(x,y)或高镜面反射区域掩模C(x,y)得到黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO，将黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，得到第一判定结果r1；
高光区域光谱特征分析模块，被配置为基于黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与过曝光区域掩模O(x,y)得到黄金区域的高镜面反射区且光谱未失真的区域掩模P，根据黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断，得到第二判定结果r2；
光谱机器学习分析模块，被配置为基于高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)得到反射率空间分布图像REFL(x,y,w)，根据反射率空间分布图像REFL得到黄金区域的特征光谱信息PI，将特征光谱信息PI输入机器学习算法，得到第三判定结果r3；以及
综合判定模块，被配置为根据r1、r2和r3综合判断黄金样品是否有覆膜，并输出最终判定结果r。
第三方面，本申请实施例提供了一种黄金表面覆膜检测系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任一实现方式描述的方法。
在一些实施例中，所述系统还包括高光谱相机、光源、光源形状调制模块及控制系统，所述控制系统与所述高光谱相机、所述光源和所述光源形状调制模块分别连接，所述光源形状调制模块被配置为调整所述光源发出的光的空间分布。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请公开了一种基于高光谱图像判断黄金表面覆膜的方法和装置，通过从高光谱图像所拍摄黄金的高光区域形状、高光区域光谱特征及黄金光谱的建模分析三个方法判断黄金是否镀膜，通过过曝光或高光形状的特征进行黄金是否覆膜的判断，通过光谱运算得到的两个分量的比值特征进行黄金是否覆膜的判断，过对覆膜和未覆膜的黄金的光谱进行建模，用训练模型进行黄金是否覆膜的判断，并通过三个结果综合判定被摄黄金样品是否覆膜。通过本发明可以实现对黄金制品表面覆膜的快速自动检测，检测的准确性高，对黄金制品不会造成损伤。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2是本申请的一个实施例可以应用于其中的示例性装置架构图；
图3为本申请的实施例中的基于高光谱图像判断黄金表面覆膜的方法的流程示意图；
图4为本申请的实施例中的基于高光谱图像判断黄金表面覆膜的方法的过曝光或高光区域掩模MO区域的对比图；
图5为本申请的实施例中的基于高光谱图像判断黄金表面覆膜的方法的高镜面反射区域掩模C(x,y)的获取方式的流程图；
图6为本申请的实施例中的基于高光谱图像判断黄金表面覆膜的装置的示意图；
图7为本申请的实施例中的其中一种基于高光谱图像判断黄金表面覆膜的装置的结构示意图；
图8是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
图2示出了可以应用本申请实施例的基于高光谱图像判断黄金表面覆膜的方法或基于高光谱图像判断黄金表面覆膜的装置的示例性装置架构100。
如图2所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于高光谱图像判断黄金表面覆膜的方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于高光谱图像判断黄金表面覆膜的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
如图3所示，本申请的实施例提供了一种基于高光谱图像判断黄金表面覆膜的方法，包括以下步骤：
步骤S1，获取待测的黄金样品的高光谱图像I(x,y,w)，其中x、y分别表示图像拍摄的取景框的长和宽，以像素数表示，w为拍摄的不同的光谱中心波长。
黄金的高光谱图像I(x,y,w)，是指在一个特定的光源环境L(x,y,w)下，拍摄黄金样品(及其所在场景)得到的辐射度的高光谱图像。在数学上，I(x,y,w)可以看做是一个三维矩阵，其每一个元素I(xi,yj,wk)的含义为一个空间像素点(xi,yj)所接发射的波长为wk的光的能量大小。从原理上，I(x,y,w)可以表达为光源的空间和光谱分布L(x,y,w)以及被摄样品及场景的反射率空间分布图像REFL(x,y,w)的元素对元素的乘积(哈达玛积)：
REFL(x,y,w)体现被摄样品和场景的反射率空间分布。当物体受到光照，会将一些波长的一部分光吸收，并将剩下的光反射出去，反射的光的百分比对波长组成的曲线，就是物体的反射率REFL(w)；由于高光谱还具有空间分辨率，(x,y)平面上每一点所对应的物质可能不同，因此就形成了反射率空间分布图像REFL(x,y,w)。因为REFL(x,y,w)本身也是一个三维的矩阵，与I有类似的数学形式，因此也被称作反射率的高光谱图像。
根据以上说明，简单地使用语言描述高光谱图像，即是：当光以L(x,y,w)的空间和光谱分布的方式打在场景和物体上，场景和被摄物因自身的反射率性质REFL(x,y,w)的不同，将一部分光反射向高光谱相机，所记录下来的光的辐射度分布，即是高光谱图像I(x,y,w)。
在黄金检测中，要求波长w的波长范围应该涵盖400～700nm，较为理想的状况下应该拥有不少于10个光谱波段。
因此还需要获得黄金覆膜检测环境下的光源光谱信息L(x,y,w)。光源光谱信息的获取有多种方法，可以使用预先存储好的光源光谱信息，或使用高光谱相机在与拍摄黄金相同的环境下拍摄漫反射参比白板得到的高光谱图像。此外，根据前面的高光谱图像特性，使用黄金样品的高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)做哈达玛商，获取反射率空间分布图像REFL(x,y,w)。
步骤S2，在高光谱图像I(x,y,w)中寻找属于黄金的像素区域，得到黄金区域掩模M(x,y)。
其中，黄金区域掩模M(x,y)的x和y分别对应I(x,y,w)中的x和y，即取景框的像素位置；掩模的取值是二值化的，两个取值分别表示某一像素点是否是黄金。寻找黄金区域掩模M(x,y)的方法包括语义识别、边缘检测、光谱角分类。
步骤S3，基于高光谱图像I(x,y,w)获取过曝光区域掩模O(x,y)和高镜面反射区域掩模C(x,y)，基于黄金区域掩模M(x,y)与过曝光区域掩模O(x,y)或高镜面反射区域掩模C(x,y)得到黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO，将黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，得到第一判定结果r1。
在具体的实施例中，镜面反射区域掩模C(x,y)是指高光谱图像中镜面反射成分高的区域所形成的掩模。黄金和塑料覆膜的表面都很光滑，因此都可以发生较强的镜面反射。但黄金和有机覆膜的高镜面反射区域性质存在显著差异，主要表现在光谱和形状上。
如果光源——黄金表面——相机之间的夹角关系满足镜面反射的条件，就会有大量的光在黄金或覆膜表面发生镜面反射并进入到相机中，形成高镜面反射区域。在高光谱图像上的表现为辐射度值显著于其他区域，甚至发生过曝光现象。
但是，黄金和塑料覆膜的镜面反射性质存在差异。首先，裸露的黄金制品的表面大多不平整，高镜面反射区域通常不规则，在相幅平面上的分布较为随机；有机覆膜通常表面平整，能完整反射光源的形状，形成接近光源形状的高镜面反射区域，过曝光或高光区域掩模MO区域的对比图具体如图4所示。其次，黄金会在镜面反射时吸收掉400～500nm的光，而有机覆膜则不会，因此两者的镜面反射光谱存在差异，也就导致它们高镜面反射区域的光谱性质产生差异。
在具体的实施例中，获取高光谱图像I的过曝光区域的掩模O(x,y)，过曝光是指当高光谱相机拍摄时，某一像素接收到的光能过高，超过了其可以接受的饱和值，其表现出的现象是高光谱图像中某一元素的取值达到或接近该元素可以取的最大值。过曝光区域就是指高光谱图像的相幅(x,y)中所有存在过曝光现象的像素所组成的区域。对于黄金和覆膜黄金而言，过曝光往往是由于过强的镜面反射引起，所以过曝光区域一般是高镜面反射区域的子集。
过曝光区域记录的光强信息是不正确的，因此需要在进行光谱分析时去除，但另一方面，过曝光区域的形状也和黄金是否覆膜呈高度相关性，可以作为黄金是否覆膜的判据。
在具体的实施例中，过曝光区域掩模O(x,y)获取的方式包括：
获取高光谱图像I(x,y,w)中的每一帧的过曝光区域掩模Oi，然后对所有过曝光区域掩模Oi取并集，其中，获取过曝光区域掩模Oi的方法是判断每一帧中的每个像素灰度值达到阈值，其中阈值是等于或略小于灰度最大值的一个数值。过曝光区域记录的光强信息是不正确的，因此需要在进行光谱分析时去除；但另一方面，过曝光区域的形状也和黄金是否覆膜呈高度相关性，可以作为黄金是否覆膜的判据。
也就是说，获取O的方法可以是先获取高光谱图像I中的每一帧的过曝光区域掩模Oi，然后对所有掩模取并集O＝∪Oi。其中，获取Oi的方法是判断每一帧中的每个像素灰度值达到一个阈值，其中阈值是等于或略小于灰度最大值的一个数值。
在具体的实施例中，高镜面反射区域掩模C(x,y)是指高光谱图像中镜面反射成分高的区域所形成的掩模，可以有多种思路进行获取。
在具体的实施例中，黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO通过将黄金区域掩模M(x,y)与过曝光区域掩模O(x,y)或黄金区域掩模M(x,y)与高镜面反射区域掩模C(x,y)取交集得到。镜面反射形状的来源可以是高镜面反射区域掩模C(x,y)，也可以是过曝光区域掩模O(x,y)。如如果选择以C作为来源，则取高镜面反射区域C和黄金区域M的交集OM＝C∩M；如果选择O作为来源，则取O和M的交集OM＝O∩M。因此有两种取交集的方式可以得到黄金的镜面反射形状判据MO。
在具体的实施例中，如图5所示，高镜面反射区域掩模C(x,y)的获取方式包括：
S31：对高光谱图像I(x,y,w)中每一个不同波长wi形成的灰度图像H(x,y,wi)分别进行高镜面反射区域的判断，得到多个高镜面反射区域Ci(x,y)，再将多个高镜面反射区域Ci(x,y)进行整合得到高镜面反射区域掩模C(x,y)；或者
S32：求取反射率空间分布图像REFL(x,y,w)中每个黄金区域的像素的光谱在400nm～500nm之间的斜率，并选取斜率最低的像素区域作为高镜面反射区域掩模C(x,y)；或者
S33：对反射率空间分布图像REFL(x,y,w)中每个像素的光谱与金的标准反射率光谱进行拟合，并选取拟合系数最低的像素区域作为镜面反射区域掩模C(x,y)。
在具体实施例中，步骤S31对高镜面反射区域的判断方式包括：将灰度图像H(x,y,wi)中像素灰度值通过阈值判断得到高镜面反射区域或通过寻找灰度图像H(x,y,wi)中灰度值突然增高的像素区域作为高镜面反射区域。灰度值突然增高的像素区域例如选区图像中灰度值梯度大于一定阈值的像素区域。
在具体实施例中，步骤S31中将多个镜面反射区域Ci(x,y)进行整合的方式包括：
对所有镜面反射区域Ci(x,y)取与操作；或者
对不同波段的镜面反射区域Ci(x,y)的进行加权平均，然后通过阈值进行划分；或者
将镜面反射区域Ci(x,y)输入机器学习模型进行预测。
高镜面反射区域掩模C(x,y)是指高光谱图像中镜面反射成分高的区域所形成的掩模，可以有以上多种思路进行获取。
在具体的实施例中，在步骤S31中将黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，判断两者的相似程度，判断相似程度的方法包括：
对黄金样本所对应像素区域的过曝光或高光区域掩模MO中存在多个彼此孤立的区域，则对每个独立的区域分别进行判断，并将判断结果取多数或加权平平均；或者采用形态学拟合、模式识别或阈值判断。
步骤S4，基于黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与过曝光区域掩模O(x,y)得到黄金区域的高镜面反射区且光谱未失真的区域掩模P，根据黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断，得到第二判定结果r2。
在具体的实施例中，黄金区域的高镜面反射区且光谱未失真的区域掩模P通过将黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与过曝光区域掩模O(x,y)的非集取交集得到。也就是取黄金区域掩模M和高镜面反射区域掩模C的交集，然后与过曝光区域掩模O的非集取交集，即：P＝M∩C∩O。根据掩模P中的光谱信息，判断是否覆膜，得到判断结果r2。覆膜黄金的镜面反射部分的光谱会更为接近光源的形状，而没有明显的黄金的光谱特征；相反，非覆膜黄金的镜面反射成分与黄金的反射光谱很接近。
在具体的实施例中，步骤S4中根据黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断的方式包括：
求取黄金区域的高镜面反射区且光谱未失真的区域掩模P中所有像素光谱的440nm附近光谱的平均值q440，并除以光谱660nm附近的平均值q660，将得到的数值进行阈值比较，得到判断结果；或者
计算黄金区域的高镜面反射区且光谱未失真的区域掩模P内像素的平均光谱与黄金区域的高镜面反射区且光谱未失真的区域掩模P外像素的光谱之间的标准差，根据标准差结果进行判断，得到判断结果。
步骤S5，基于高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)得到反射率空间分布图像REFL(x,y,w)，根据反射率空间分布图像REFL得到黄金区域的特征光谱信息PI，将特征光谱信息PI输入机器学习算法，得到第三判定结果r3。
在具体的实施例中，步骤S5中的机器学习算法包括偏最小二乘法、人工神经网络或深度学习。判断的方式根据输入的特征光谱信息的不同，有多种不同的方式。特征光谱信息PI根据不同的方法，可以有多种不同的表达方式，以选择对整个黄金区域所有像素的光谱求取平均值，也可以以每个像素的光谱分别作为特征光谱信息，还可以对其中亮度居中的部分求平均值。如果输入的是整个黄金区域的平均光谱，则可以直接使用算法模型输出的结果作为判据；如果输入的信息为黄金区域每个像素的光谱，则可以对每个像素分别用算法模型判断是否镀膜，再根据整个黄金所属像素区域覆膜还是非覆膜的像素更多来进行判断。
步骤S6，根据r1、r2和r3综合判断黄金样品是否有覆膜，并输出最终判定结果r。
在具体的实施例中，步骤S6中综合判断的方法包括使用多数的结果、基于权重的判断或者随机森林判断。这一综合判断过程应综合考虑拍摄的装置、样品及实际测试效果等多方面因素，以达到最为准确的判断。本实例中所使用的装置可以作为独立的检测装置使用，也可以集成在自动化的黄金回收机内。下面具体以实施例一进行解释说明，但本申请的基于高光谱图像判断黄金表面覆膜的方法并不仅仅只包含实施例一这一种。
实施例一
根据设备的操作说明，将待测黄金样品放入设备，使用高光谱相机拍摄得到该黄金样品的高光谱图像I(x,y,w)。其中所选波长点集为在400～700nm之间均匀分布的140个波长点。
将标准参比白板放入设备，使用高光谱相机进行拍摄获取拍摄环境的光源光谱信息L(x,y,w)。使黄金的高光谱图像与光源光谱信息做哈达玛商，得到反射率空间分布图像REFL(x,y,w)。
采用深度学习的方法从高光谱图像中识别出黄金所占据的像素区域，记为掩模M(x,y)。对于每一个波长点wi，寻找I(M,wi)的所有数值中等于高光谱相机可取的最大值的点，即寻找属于黄金区域的所有过曝光的像素，记为掩模OEi。
对所有OEi取并集，得到过曝光区域的掩模O(x,y)，
对掩模O中所有封闭的像素区域进行最小二乘法拟合圆，得到的任何一个区域的拟合系数kj如果大于0.6，则赋值判据r1＝1，即为覆膜黄金；反之则r1＝0，即为无覆膜黄金。
寻找所有波段中，属于(640nm,660nm)范围内的波段，wa,wb,…,wn，并将每个波段所对应的REFL(x,y,wi)相加，得到光谱特征量RE，
寻找所有波段中，属于(440nm,460nm)范围内的波段，wa,wb,…,wn，并将每个波段所对应的REFL(x,y,wi)相加，得到光谱特征量BE，
将RE做BE的哈达玛商，得到新的光谱特征量XE，
寻找XE在所有属于黄金且非过曝的像素内的最大值MXE，
如果MXE的值小于之前模型计算得到的阈值T，则赋值判据r2＝1，即为覆膜黄金；反之，则赋值判据r2＝0，为非覆膜黄金。在实际测试中，T的范围在12～14之间时，计算结果最为准确。
使计数器CO＝0。
对于每一个属于黄金区域且非过曝的像素(xi,yj)而言，提取其光谱曲线REFL(xi,yj,w)，并使用预先训练的神经网络模型判断其是否为覆膜黄金。如果是覆膜黄金，则使CO当前的值加1，反之则减1。
如果最终CO大于或等于0，则赋值判据r3＝1，即为覆膜黄金；反之，则赋值判据r3＝0，为非覆膜黄金。
设定最终判据r＝r1+r2+r3。
如果r大于或等于2，则黄金样品为覆膜黄金，反之则黄金样品为非覆膜黄金。将最终结果显示到显示器上展示给使用者。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种基于高光谱图像判断黄金表面覆膜的装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请的实施例公开的一种基于高光谱图像判断黄金表面覆膜的装置，包括：
高光谱图像获取模块1，被配置为获取待测的黄金样品的高光谱图像I(x,y,w)，其中x、y分别表示图像拍摄的取景框的长和宽，以像素数表示；w为拍摄的不同的光谱中心波长；
黄金区域掩模获取模块2，被配置为在高光谱图像I(x,y,w)中寻找属于黄金的像素区域，得到黄金区域掩模M(x,y)；
高光区域形状分析模块3，被配置为基于高光谱图像I(x,y,w)获取过曝光区域掩模O(x,y)和高镜面反射区域掩模C(x,y)，基于黄金区域掩模M(x,y)与过曝光区域掩模O(x,y)或高镜面反射区域掩模C(x,y)得到黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO，将黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，得到第一判定结果r1；
高光区域光谱特征分析模块4，被配置为基于黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与过曝光区域掩模O(x,y)得到黄金区域的高镜面反射区且光谱未失真的区域掩模P，根据黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断，得到第二判定结果r2；
光谱机器学习分析模块5，被配置为基于高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)得到反射率空间分布图像REFL(x,y,w)，根据反射率空间分布图像REFL得到黄金区域的特征光谱信息PI，将特征光谱信息PI输入机器学习算法，得到第三判定结果r3；以及
综合判定模块6，被配置为根据r1、r2和r3综合判断黄金样品是否有覆膜，并输出最终判定结果r。
在具体的实施例中，该装置还包括高光谱相机、光源、光源形状调制模块及控制系统，高光谱相机、光源、光源形状调制模块被安装在密封遮光环境下，控制系统与高光谱相机、光源和光源形状调制模块分别连接，光源形状调制模块被配置为调整光源发出的光的空间分布。
在具体的实施例中，基于高光谱图像判断黄金表面覆膜的装置具体可以如图7所示，包括：高光谱相机701，固定在设备的顶端，向下进行拍照；
LED灯带702，由若干个点状的LED组成的照明系统，在样品表面形成圆形的高光区域；
黄金检测黑盒703，遮蔽环境光照的影响，对于主动光源较强的情况而言，也可以选择不遮蔽环境光照；
样品放置台704，盛放黄金样品；
样品舱门705，在测试时需要关闭；
控制电脑等设备通过连接线连接至设备，未在图中展示。
除此以外，其特点还包括：
1.高光谱相机的可视范围刚好是样品放置台的大小；
2.LED灯珠分布在顶部，其排布方式可以是任意方式(如条形排布，环形排布等)；
3.黄金检测黑盒的各面均是密封，且是黑色材料。
本申请公开了一种基于高光谱图像判断黄金表面覆膜的方法和装置，该方法通过从高光谱图像所拍摄黄金的高光区域形状、高光区域光谱特征及黄金光谱的建模分析三个方法判断黄金是否镀膜，通过过曝光或高光形状的特征进行黄金是否覆膜的判断，通过光谱运算得到的两个分量的比值特征进行黄金是否覆膜的判断，过对覆膜和未覆膜的黄金的光谱进行建模，用训练模型进行黄金是否覆膜的判断，并通过三个结果综合判定被摄黄金样品是否覆膜。通过本发明可以实现对黄金制品表面覆膜的快速自动检测，检测的准确性高，对黄金制品不会造成损伤。基于高光谱图像判断黄金表面覆膜的装置适用于自动化分析黄金表面覆膜的装置，并且其光源的形状通过特殊的调制，使其产生的高光区域可以被用作形状特征进行覆膜判断。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备(例如图2所示的服务器或终端设备)的计算机装置800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机装置800包括中央处理单元(CPU)801和图形处理器(GPU)802，其可以根据存储在只读存储器(ROM)803中的程序或者从存储部分809加载到随机访问存储器(RAM)804中的程序而执行各种适当的动作和处理。在RAM 804中，还存储有装置800操作所需的各种程序和数据。CPU 801、GPU802、ROM 803以及RAM 804通过总线805彼此相连。输入/输出(I/O)接口806也连接至总线805。
以下部件连接至I/O接口806：包括键盘、鼠标等的输入部分807；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分808；包括硬盘等的存储部分809；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分810。通信部分810经由诸如因特网的网络执行通信处理。驱动器811也可以根据需要连接至I/O接口806。可拆卸介质812，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器811上，以便于从其上读出的计算机程序根据需要被安装入存储部分809。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分810从网络上被下载和安装，和/或从可拆卸介质812被安装。在该计算机程序被中央处理单元(CPU)801和图形处理器(GPU)802执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (16)
1.一种基于高光谱图像判断黄金表面覆膜的方法，其特征在于，包括以下步骤：
高光谱图像获取步骤，获取待测的黄金样品的高光谱图像I(x,y,w)，其中x、y分别表示图像拍摄的取景框的长和宽，以像素数表示，w为拍摄的不同的光谱中心波长；
黄金区域掩模获取步骤，在所述高光谱图像I(x,y,w)中寻找属于黄金的像素区域，得到黄金区域掩模M(x,y)；
高光区域形状分析步骤，基于所述高光谱图像I(x,y,w)获取过曝光区域掩模O(x,y)和高镜面反射区域掩模C(x,y)，基于所述黄金区域掩模M(x,y)与所述过曝光区域掩模O(x,y)或所述高镜面反射区域掩模C(x,y)得到所述黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO，将所述黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，得到第一判定结果r1；
高光区域光谱特征分析步骤，基于所述黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与所述过曝光区域掩模O(x,y)得到黄金区域的高镜面反射区且光谱未失真的区域掩模P，根据所述黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断，得到第二判定结果r2；
光谱机器学习分析步骤，基于所述高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)得到反射率空间分布图像REFL(x,y,w)，根据所述反射率空间分布图像REFL得到黄金区域的特征光谱信息PI，将所述特征光谱信息PI输入机器学习算法，得到第三判定结果r3；以及
综合判定步骤，根据r1、r2和r3综合判断黄金样品是否有覆膜，并输出最终判定结果r。
2.根据权利要求1所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO通过将所述黄金区域掩模M(x,y)与所述过曝光区域掩模O(x,y)或所述黄金区域掩模M(x,y)与所述高镜面反射区域掩模C(x,y)取交集得到。
3.根据权利要求1所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述黄金区域的高镜面反射区且光谱未失真的区域掩模P通过将所述黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与所述过曝光区域掩模O(x,y)的非集取交集得到。
4.根据权利要求1所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述过曝光区域掩模O(x,y)获取的方式包括：
获取所述高光谱图像I(x,y,w)中的每一帧的过曝光区域掩模Oi，然后对所有过曝光区域掩模Oi取并集，其中，获取所述过曝光区域掩模Oi的方法是判断每一帧中的每个像素灰度值达到阈值，其中阈值是等于或略小于灰度最大值的一个数值。
5.根据权利要求1所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述高镜面反射区域掩模C(x,y)的获取方式包括：
S31：对所述高光谱图像I(x,y,w)中每一个不同波长wi形成的灰度图像H(x,y,wi)分别进行高镜面反射区域的判断，得到多个高镜面反射区域Ci(x,y)，再将所述多个高镜面反射区域Ci(x,y)进行整合得到所述高镜面反射区域掩模C(x,y)；或者
S32：求取所述反射率空间分布图像REFL(x,y,w)中每个黄金区域的像素的光谱在400nm～500nm之间的斜率，并选取斜率最低的像素区域作为所述高镜面反射区域掩模C(x,y)；或者
S33：对所述反射率空间分布图像REFL(x,y,w)中每个像素的光谱与金的标准反射率光谱进行拟合，并选取拟合系数最低的像素区域作为所述镜面反射区域掩模C(x,y)。
6.根据权利要求5所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述步骤S31对所述高镜面反射区域的判断方式包括：将所述灰度图像H(x,y,wi)中像素灰度值通过阈值判断得到所述高镜面反射区域或通过寻找所述灰度图像H(x,y,wi)中灰度值突然增高的像素区域作为所述高镜面反射区域。
7.根据权利要求5所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述步骤S31中将所述多个镜面反射区域Ci(x,y)进行整合的方式包括：
对所有镜面反射区域Ci(x,y)取与操作；或者
对不同波段的所述镜面反射区域Ci(x,y)的进行加权平均，然后通过阈值进行划分；或者
将所述镜面反射区域Ci(x,y)输入机器学习模型进行预测。
8.根据权利要求1所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述黄金区域掩模M(x,y)的寻找方法包括语义识别，边缘检测，光谱角分类。
9.根据权利要求1-8中任一项所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，在所述高光区域形状分析步骤中将所述黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，判断两者的相似程度，判断相似程度的方法包括：
对所述黄金样本所对应像素区域的过曝光或高光区域掩模MO中存在多个彼此孤立的区域，则对每个独立的区域分别进行判断，并将判断结果取多数或加权平平均；或者采用形态学拟合、模式识别或阈值判断。
10.根据权利要求1-8中任一项所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述高光区域光谱特征分析步骤中根据所述黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断的方式包括：
求取所述黄金区域的高镜面反射区且光谱未失真的区域掩模P中所有像素光谱的440nm附近光谱的平均值q440，并除以光谱660nm附近的平均值q660，将得到的数值进行阈值比较，得到判断结果；或者
计算所述黄金区域的高镜面反射区且光谱未失真的区域掩模P内像素的平均光谱与所述黄金区域的高镜面反射区且光谱未失真的区域掩模P外像素的光谱之间的标准差，根据标准差结果进行判断，得到判断结果。
11.根据权利要求1-8中任一项所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述光谱机器学习分析步骤中的所述机器学习算法包括偏最小二乘法、人工神经网络或深度学习。
12.根据权利要求1-8中任一项所述的基于高光谱图像判断黄金表面覆膜的方法，其特征在于，所述综合判定步骤中综合判断的方法包括使用多数的结果、基于权重的判断或者随机森林判断。
13.一种基于高光谱图像判断黄金表面覆膜的装置，其特征在于，包括：
高光谱图像获取模块，被配置为获取待测的黄金样品的高光谱图像I(x,y,w)，其中x、y分别表示图像拍摄的取景框的长和宽，以像素数表示，w为拍摄的不同的光谱中心波长；
黄金区域掩模获取模块，被配置为在所述高光谱图像I(x,y,w)中寻找属于黄金的像素区域，得到黄金区域掩模M(x,y)；
高光区域形状分析模块，被配置为基于所述高光谱图像I(x,y,w)获取过曝光区域掩模O(x,y)和高镜面反射区域掩模C(x,y)，基于所述黄金区域掩模M(x,y)与所述过曝光区域掩模O(x,y)或所述高镜面反射区域掩模C(x,y)得到所述黄金样本所对应像素区域的过曝光或高镜面反射区域掩模MO，将所述黄金样本所对应像素区域的过曝光或高光区域掩模MO的形状与高光谱的光源发射的形状进行比较，得到第一判定结果r1；
高光区域光谱特征分析模块，被配置为基于所述黄金区域掩模M(x,y)、高镜面反射区域掩模C(x,y)与所述过曝光区域掩模O(x,y)得到黄金区域的高镜面反射区且光谱未失真的区域掩模P，根据所述黄金区域的高镜面反射区且光谱未失真的区域掩模P的光谱信息进行判断，得到第二判定结果r2；
光谱机器学习分析模块，被配置为基于所述高光谱图像I(x,y,w)与光源光谱信息L(x,y,w)得到反射率空间分布图像REFL(x,y,w)，根据所述反射率空间分布图像REFL得到黄金区域的特征光谱信息PI，将所述特征光谱信息PI输入机器学习算法，得到第三判定结果r3；以及
综合判定模块，被配置为根据r1、r2和r3综合判断黄金样品是否有覆膜，并输出最终判定结果r。
14.一种黄金表面覆膜检测系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。
15.根据权利要求14所述的黄金表面覆膜检测系统，其特征在于，所述系统还包括高光谱相机、光源、光源形状调制模块及控制系统，所述控制系统与所述高光谱相机、所述光源和所述光源形状调制模块分别连接，所述光源形状调制模块被配置为调整所述光源发出的光的空间分布。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110432562.3A CN113252585B (zh) | 2021-04-21 | 2021-04-21 | 一种基于高光谱图像判断黄金表面覆膜的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110432562.3A CN113252585B (zh) | 2021-04-21 | 2021-04-21 | 一种基于高光谱图像判断黄金表面覆膜的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113252585A true CN113252585A (zh) | 2021-08-13 |
| CN113252585B CN113252585B (zh) | 2024-02-09 |
Family
ID=77221219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110432562.3A Active CN113252585B (zh) | 2021-04-21 | 2021-04-21 | 一种基于高光谱图像判断黄金表面覆膜的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113252585B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116106307A (zh) * | 2023-03-31 | 2023-05-12 | 深圳上善智能有限公司 | 一种基于图像识别的智能兑金机的检测结果评估方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103528967A (zh) * | 2013-09-25 | 2014-01-22 | 西北农林科技大学 | 基于高光谱图像的过熟蓝靛果果实识别方法 |
| CN104968257A (zh) * | 2013-01-30 | 2015-10-07 | 皇家飞利浦有限公司 | 具有高光谱相机引导的探头的成像系统 |
| CN108960276A (zh) * | 2018-05-08 | 2018-12-07 | 南京理工大学 | 提升光谱图像监督分类性能的样本扩充与一致性判别方法 |
| CN110596117A (zh) * | 2019-08-15 | 2019-12-20 | 山东科技大学 | 一种基于高光谱成像的苹果表面损伤快速无损检测方法 |
| WO2020082264A1 (zh) * | 2018-10-24 | 2020-04-30 | 合刃科技（深圳）有限公司 | 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 |
| CN112241937A (zh) * | 2020-07-22 | 2021-01-19 | 西安电子科技大学 | 一种基于神经网络的高光谱图像重构方法 |
-
2021
- 2021-04-21 CN CN202110432562.3A patent/CN113252585B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104968257A (zh) * | 2013-01-30 | 2015-10-07 | 皇家飞利浦有限公司 | 具有高光谱相机引导的探头的成像系统 |
| CN103528967A (zh) * | 2013-09-25 | 2014-01-22 | 西北农林科技大学 | 基于高光谱图像的过熟蓝靛果果实识别方法 |
| CN108960276A (zh) * | 2018-05-08 | 2018-12-07 | 南京理工大学 | 提升光谱图像监督分类性能的样本扩充与一致性判别方法 |
| WO2020082264A1 (zh) * | 2018-10-24 | 2020-04-30 | 合刃科技（深圳）有限公司 | 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 |
| CN110596117A (zh) * | 2019-08-15 | 2019-12-20 | 山东科技大学 | 一种基于高光谱成像的苹果表面损伤快速无损检测方法 |
| CN112241937A (zh) * | 2020-07-22 | 2021-01-19 | 西安电子科技大学 | 一种基于神经网络的高光谱图像重构方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116106307A (zh) * | 2023-03-31 | 2023-05-12 | 深圳上善智能有限公司 | 一种基于图像识别的智能兑金机的检测结果评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113252585B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11921051B2 (en) | Apparatus and method for assessing optical quality of gemstones | |
| Jonckheere et al. | Assessment of automatic gap fraction estimation of forests from digital hemispherical photography | |
| RU2476862C2 (ru) | Устройство для экспертизы, оценки и классификации драгоценных камней | |
| Mendoza et al. | Colour and image texture analysis in classification of commercial potato chips | |
| JP4783795B2 (ja) | 照明および反射境界の区別 | |
| JP6038965B2 (ja) | 着色検査装置および着色検査方法 | |
| Beckschäfer et al. | On the exposure of hemispherical photographs in forests | |
| CN106461373B (zh) | 用于涂层预测、施涂和检查的实时数字增强成像 | |
| Wagner | Calibration of grey values of hemispherical photographs for image analysis | |
| Onder et al. | A review on color normalization and color deconvolution methods in histopathology | |
| Nixon et al. | Accurate device-independent colorimetric measurements using smartphones | |
| CN108027328A (zh) | 宝石的颜色测量 | |
| US9396411B2 (en) | Method and system for generating intrinsic images using a single reflectance technique | |
| Ennis et al. | Hyperspectral database of fruits and vegetables | |
| US20110150358A1 (en) | Method and system for factoring an illumination image | |
| CN115032196B (zh) | 一种全划片高通量彩色病理成像分析仪器及方法 | |
| CN113252585B (zh) | 一种基于高光谱图像判断黄金表面覆膜的方法和装置 | |
| Fernández-Carrobles et al. | Automatic quantification of IHC stain in breast TMA using colour analysis | |
| US9754155B2 (en) | Method and system for generating intrinsic images using a single reflectance technique | |
| Jonckheere et al. | Image analysis of hemispherical photographs, algorithms and calculations | |
| US10909351B2 (en) | Method of improving image analysis | |
| CN113887543B (zh) | 一种基于高光谱特征的箱包鉴伪方法与光谱采集装置 | |
| CN116958960A (zh) | 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法 | |
| EP3605467B1 (en) | Coating color identifying device, coating color identifying method, coating color identifying program, and computer-readable medium containing coating color identifying program | |
| KR102015620B1 (ko) | 금속입자 검출 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |