CN114663821A - 基于视频高光谱成像技术的产品质量实时无损检测方法 - Google Patents
基于视频高光谱成像技术的产品质量实时无损检测方法 Download PDFInfo
- Publication number
- CN114663821A CN114663821A CN202210537152.XA CN202210537152A CN114663821A CN 114663821 A CN114663821 A CN 114663821A CN 202210537152 A CN202210537152 A CN 202210537152A CN 114663821 A CN114663821 A CN 114663821A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- detection
- dimensional
- spectrum
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000005516 engineering process Methods 0.000 title claims abstract description 31
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000013145 classification model Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 238000011897 real-time detection Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000000047 product Substances 0.000 claims description 66
- 238000010606 normalization Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 229910052751 metal Inorganic materials 0.000 claims description 10
- 239000002184 metal Substances 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000009659 non-destructive testing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 229910052736 halogen Inorganic materials 0.000 claims description 7
- 150000002367 halogens Chemical class 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 5
- 239000011087 paperboard Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000007795 chemical reaction product Substances 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract description 11
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000010801 machine learning Methods 0.000 abstract description 3
- 235000015277 pork Nutrition 0.000 description 34
- 235000013372 meat Nutrition 0.000 description 16
- 238000007689 inspection Methods 0.000 description 7
- 235000020989 red meat Nutrition 0.000 description 7
- 235000013305 food Nutrition 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000003208 petroleum Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000000306 component Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002329 infrared spectrum Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 206010061217 Infestation Diseases 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 244000061176 Nicotiana tabacum Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000004587 chromatography analysis Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000907862 Callosobruchus maculatus Species 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 229920001661 Chitosan Polymers 0.000 description 1
- 244000192528 Chrysanthemum parthenium Species 0.000 description 1
- 235000000604 Chrysanthemum parthenium Nutrition 0.000 description 1
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000009847 Cucumis melo var cantalupensis Nutrition 0.000 description 1
- 238000005727 Friedel-Crafts reaction Methods 0.000 description 1
- 235000011201 Ginkgo Nutrition 0.000 description 1
- 244000194101 Ginkgo biloba Species 0.000 description 1
- 235000008100 Ginkgo biloba Nutrition 0.000 description 1
- 229920001499 Heparinoid Polymers 0.000 description 1
- 235000000802 Leonurus cardiaca ssp. villosus Nutrition 0.000 description 1
- 241000112528 Ligusticum striatum Species 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 240000004922 Vigna radiata Species 0.000 description 1
- 235000010721 Vigna radiata var radiata Nutrition 0.000 description 1
- 235000011469 Vigna radiata var sublobata Nutrition 0.000 description 1
- 238000002441 X-ray diffraction Methods 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000007864 aqueous solution Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 229910052956 cinnabar Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009749 continuous casting Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 150000002148 esters Chemical class 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005428 food component Substances 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000004817 gas chromatography Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003988 headspace gas chromatography Methods 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 239000002554 heparinoid Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000007791 liquid phase Substances 0.000 description 1
- 239000010687 lubricating oil Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229940127554 medical product Drugs 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 239000003960 organic solvent Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000005220 pharmaceutical analysis Methods 0.000 description 1
- 239000012071 phase Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012306 spectroscopic technique Methods 0.000 description 1
- QXKXDIKCIPXUPL-UHFFFAOYSA-N sulfanylidenemercury Chemical compound [Hg]=S QXKXDIKCIPXUPL-UHFFFAOYSA-N 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 235000020990 white meat Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明针对现有的基于推扫式高光谱成像仪的检测系统成像速度慢，现有的传统机器学习模型无法充分表达高光谱特征的问题，公开了一种基于视频高光谱成像技术的产品质量实时无损检测方法。主要包括：使用质量检测仪器进行产品的理化性质检测；搭建硬件平台，使用视频高光谱成像技术获取产品光谱的三维立方；对原始高光谱数据进行预处理，提取产品感兴趣目标区域部分的平均光谱；对检测样本打标签，训练一维光谱分类模型，使用模型对检测样本中测试样本进行预测；将产品品质检测结果实时展示在系统软件上。本方法可实时获取产品待测样本的高光谱数据，可实现产品品质的实时检测，并保持较高的检测精度。该方法无需人工干预，可自动化处理。
Description
技术领域
本发明涉及图像数据处理领域和监督预测系统领域，特别涉及一种基于视频高光谱成像技术的产品质量无损检测方法。
背景技术
随着我国市场经济的高速发展，我国制造业不断向着大规模、高质量、自动化等方向扩展提升，人民日益提升的美好生活需求也不断催生出更多、更广、更好的产品。在生产过程中，产品质量作为建设制造强国的生命线，是衡量产品是否满足规定与潜在等指标要求的关键。为控制产品质量，目前国家已颁布了《中华人民共和国产品质量法》、ISO9000质量体系认证等相关法律法规与国家标准，同时设立了各级面向各类产品质量监督体系与检测机构，涉及工业、农业、矿业、消费品制造业、化学工业、食品行业等众多领域。因此为保证产品质量合乎要求，产品质量检测是生产与检验领域的重要一环。
传统的产品质检手段依靠人工手动进行查验与分离，消耗大量人力物力的同时，准确性与专注度相关性较大，漏分误分等情况较多，无法满足产品制造业大规模自动化的要求。因此逐渐使用各种传感器或仪器手段代替肉眼进行判别，如传统化学检测方法、X射线、光谱检测方法、计算机视觉检测方法等。其中，传统化学检测方法包括气相、液相色谱等方法对产品中待检测的特有成分进行分离分析，在药物分析、食品组分分析与污染物检测、石油石化、化工产品等[1]质量检测领域应用广泛。如Fan[2]等利用液相色谱仪构建川芎、银杏的色谱指纹图谱，从而进行质量控制；吕志华[3]等采用水溶液与固体顶空分析两种顶空气相色谱法对类肝素药物中的几丁糖酯制备时残留的乙醇、丙酮两类有机溶剂的含量进行检测；薛健[4]等利用气相色谱仪对参叶茶中的六六六和滴滴涕两种农药的八种异构体的残留量进行测定等。这类传统化学检测方法的检测费时费力, 且检测结果受人工操作的影响较大，对于产品的内部有所破坏损伤，无法满足大批量产品质检需求。
为保证产品在质检过程中不被破坏，逐渐发展众多无损检测方法，进行内部结构的探测检查。利用X射线的穿透性及其与检测对象间产生的荧光与衍射效应可对产品内部进行检测，代表性领域包括农作物与土壤中的重金属含量探测、铸件材料与产品的内部缺陷探测、医药质量检测等。如雷勋惠[5]等利用X射线断层扫描对于工业的连铸胚工件对其内部的裂纹疏松情况与杂质进行三维重构与检测；如车东[6]等利用X射线衍射全谱拟合法对矿物类药物朱砂中的硫化汞和二氧化硅含量进行检测与分析；Chuang等[7]利用X射线与CCD设备进行水果类农产品的害虫侵染部分定位检测等。X射线虽可对产品的内部结构进行探查，但受限于射线的方向，对于产品的平面损伤与缺陷的探测结果较差或会有所隐藏。
同时，利用产品的光谱信息与特异性也可很好地进行无损质量检测，如利用近红外光谱成像技术，由于近红外光线下检测的产品与其他干扰部分有着不同的反射或吸收特性这一差异进行识别，应用于食品如农产品等质量检测、中医药制品质量检测、石油燃料质量检测等应用领域。如Kaliramesh等[8]利用近红外光谱技术对于绿豆中的豇豆象鼻虫侵染进行检测与识别；胡潇[9]等利用近红外光谱技术对益母草中成药制剂进行特征分析与质量判断；张贤明[10]等通过近红外光谱检测石油中的水分含量判断石油质量等。以近红外光谱为代表的光谱技术可基于产品的物理结构与化学成分等指标进行质量检测，通过点进行测量，但缺乏图像信息。
而以图像数据为基础的产品检测手段代表性为计算机视觉技术，通过CCD相机获取的可见光影像可对产品的外部缺陷进行检测，在印刷包装、纺织品表面、食品质量、工业零件表面缺陷、玻璃制品缺陷等领域应用较广，且由于影像获取简单快速，可做到在线检测的程度。如陈廉清[11]等利用计算机视觉对微小轴承表面的划痕、划痕等细微损伤进行质量检测；李树章[12]等通过计算机视觉对印刷文字的墨色均匀性、印刷清晰性进行印刷质量评价；张绍堂[13]等基于计算机视觉技术对烟草中混杂的麻绳、纸片、塑料等异物进行检测与剔除，并对学习到的正常烟草颜色形成颜色表展示。基于可见光的计算机视觉检测技术是针对空间信息进行产品的外部特征检测，技术较为普及成熟，然而无法进行产品内部的理化性质检测，应用范围较为狭窄。
高光谱成像技术则融合了传统的成像和光谱技术的优点，可以同时获取被测物体的空间信息和光谱信息，因此可以同时检测产品的外部品质和内部品质，在食品无损检测、化工成分检测、医药产品质量检测等方面的有所应用，其中食品检测应用较多，如郭璞[14]等利用高光谱技术对于润滑油的粘度、色度、含水量、污染程度等油液质量指标进行检测分析；Sun[15]利用近红外高光谱成像技术对三类甜瓜的甜度与硬度值进行预测与特征波长分析； Wilczyński[16]等利用高光谱技术在可见光与短波红外范围内对药片的真伪进行检测等。
虽然高光谱技术兼具了产品的内外部性质检测的优势，但现有的高光谱质量检测系统仍存在以下问题：硬件端多采用推扫式成像技术，成像速度慢，无法实现实时动态成像，并且大多停留在实验室验证阶段，没有成熟的适用于产品品质的实时检测系统；软件端的检测方法主要为传统机器学习算法，例如MLR、LS-SVM等，使用的检测模型相对老旧，需要人工进行特征提取和选择分类器，主观性较强，速度较慢，无法实时检测。因此，研究相比于推扫式高光谱更快速的检测手段是该领域未来的重要发展方向。
相关参考文献：
[1]傅若农.国内气相色谱近年的进展[J].分析试验室,2003(02):94-107.
[2] Gong F, Liang Y Z, Xie P S, et al. Information theory applied tochromatographic fingerprint of herbal medicine for quality control[J].Journal of Chromatography A, 2003, 1002(1-2): 25-40.
[3]吕志华,王远红,赵峡,夏蕴秋,徐家敏.顶空气相色谱法测定几丁糖酯中溶剂残留[J].药物分析杂志,2001(04):276-278+310.
[4]薛健.气相色谱法测定参叶茶中农药残留量[J].分析试验室,2001(01):22-23.
[5]雷勋惠,张立峰,杨文,姜东滨,张献光.X射线断层扫描技术在铸坯质量检测上的应用[J].中国冶金,2020,30(12):44-51.DOI:10.13228/j.boyuan.issn1006-9356.20200258.
[6]车东,刘成雁,王志嘉,李红,由健,杨韬.X射线衍射全谱拟合法测定矿物药朱砂中硫化汞和二氧化硅的含量[J].测试技术学报,2018,32(01):36-40.
[7] Chuang C L, Ouyang C S, Lin T T, et al. Automatic X-rayquarantine scanner and pest infestation detector for agricultural products[J]. Computers and electronics in agriculture, 2011, 77(1): 41-59.
[8] Kaliramesh S, Chelladurai V, Jayas D S, et al. Detection ofinfestation by Callosobruchus maculatus in mung bean using near-infraredhyperspectral imaging[J]. Journal of Stored Products Research, 2013, 52: 107-111.
[9] 胡潇,张秋莲.不同制作工艺益母草中成药红外光谱无损鉴别研究[J].中医药信息,2019,36(02):49-52.DOI:10.19656/j.cnki.1002-2406.190044.
[10]焦昭杰,张贤明,梁新元,白云,李川.近红外光谱法快速测定油品中的水分[J].光谱实验室,2011,28(06):3120-3124.
[11]陈廉清,崔治,王龙山.基于计算机视觉的微小轴承表面缺陷在线识别[J].农业机械学报,2006(05):132-135+143.
[12]王晓红,李树章,周辰人.基于机器视觉的文字印刷质量检测与评价[J].包装工程,2010,31(13):97-99+103.DOI:10.19554/j.cnki.1001-3563.2010.13.028.
[13]张绍堂.烟草异物剔除系统中颜色表可视化研究[J].中国科技信息,2011(11):144.
[14]郭璞. 高光谱油液检测系统设计与实现[D].西安石油大学,2021.DOI:10.27400/d.cnki.gxasc.2021.000779.
[15] Sun M, Zhang D, Liu L, et al. How to predict the sugariness andhardness of melons: A near-infrared hyperspectral imaging method[J]. Foodchemistry, 2017, 218: 413-421.
[16]Wilczyński S, Koprowski R, Marmion M, et al. The use ofhyperspectral imaging in the VNIR (400–1000 nm) and SWIR range (1000–2500 nm)for detecting counterfeit drugs with identical API composition[J]. Talanta,2016, 160: 1-8。
发明内容
本发明的目的是针对现有的基于推扫式高光谱成像仪的检测系统成像速度慢，现有的传统机器学习模型需要人工进行特征提取和选择分类器，主观性较强，检测速度较慢，无法实时检测的问题，提供一种产品质量的快速无损检测方法，检测精度高，可以做到实时检测。在硬件端使用视频高光谱相机和传送带构建实时检测硬件平台，视频高光谱相机采用快照式高光谱成像技术，一次曝光获得整个光谱立方，做到视频级成像，可以实时获取猪肉的高光谱数据，支撑软件的实时处理。软件端使用深度卷积网络，自动提取特征，有效排除了人工的影响，可直接对光谱和图像进行模式识别，实现产品品质的实时检测。同时由于产品质量检测中食品安全领域的普及性，本发明以猪肉品质的无损检测为例进行系统应用的实践展示。
为达到上述目的，本发明提供一种基于视频高光谱成像技术的产品质量实时无损检测方法，包括如下步骤：
步骤1，测定产品待检测的理化性质，作为样本打标签的依据；
步骤2，搭建硬件平台，使用视频高光谱成像技术获取检测对象光谱的三维立方，构建高光谱数据集；
步骤3，对原始高光谱数据进行预处理，提取检测对象的感兴趣待测区域部分的平均光谱；
步骤4，利用步骤1中得到的产品的理化性质对检测对象样本打标签，构建一维光谱分类模型并训练，使用一维光谱分类模型进行光谱识别，实现产品品质的实时检测，包括以下子步骤：
步骤4.1，利用步骤1得到的产品的理化性质对产品品质进行分类，利用分类结果给步骤3得到的感兴趣待测区域平均光谱打标签；
步骤4.2，构建一维光谱分类模型用于光谱识别，实现端到端的产品品质分类，使用带标签的平均光谱数据对模型进行训练；
所述一维光谱分类模型包括卷积神经网络部分和光谱注意力模块；
步骤4.3，使用训练好的一维光谱分类模型对测试样本进行预测，并计算检测精度；
步骤4.4，调整模型参数与拟合程度，再对产品样本进行预测，直到精度符合要求；
步骤5，将产品品质检测结果实时展示在系统软件上。
进一步的，步骤2的具体实现方式如下；
步骤2.1，构建硬件平台，硬件平台由传送带、金属骨架、卤素灯、相机支架、视频高光谱相机构成，金属骨架固定在传送带中央的上方，金属骨架上固定卤素灯和相机支架，视频高光谱相机固定在相机支架上；
步骤2.2，将视频高光谱相机通过USB接口与笔记本电脑相连，启动数据采集软件，利用软件控制相机开始采集高光谱数据，数据采集软件可以实时显示相机视野范围内的物体，方便相机对准拍摄目标，设置相机的曝光时间从而调节影像亮度，使视野在不过曝的前提下足够明亮，点击采集软件的拍摄按钮开始保存影像，再次点击结束录制，这段时间内拍摄的视频影像将保存到指定的路径下；
步骤2.3，将检测对象样本放置于黑色卡纸上，使用视频高光谱相机在上方对准后为样本拍摄一段影像，获取检测对象样本的高光谱数据；
步骤2.4，在照明光源下将校正白板置于视频高光谱相机下方，采集校正白板的高光谱图像；
步骤2.5，用镜头盖盖住视频高光谱相机的镜头，采集视频高光谱相机的暗场图像。
进一步的，步骤3的具体实现方式如下；
步骤3.1，将步骤2采集到的高光谱数据进行解算与黑白版校正，将检测对象和校正白板的高光谱图像分别扣除暗场图像，利用校正白板的高光谱图像逐通道校正检测对象的高光谱图像，得到光谱反射率数据，即得到校正的高光谱影像；
步骤3.2，对步骤3.1得到的校正后的高光谱影像，使用3个波段进行假彩色合成得到RGB图像；
步骤3.3，对步骤3.2得到的假彩色RGB图像，使用显著性目标检测算法在场景中锁定检测对象位置，去除背景；
步骤3.4，对步骤3.3得到的检测对象区域的图像，使用HSV阈值分割方法进一步提取检测对象感兴趣待测区域，去除其余的非待测干扰区域，避免其对产品品质检测的干扰，得到二值化掩膜；
步骤3.5，对步骤3.1得到的校正后高光谱影像，使用步骤3.4得到的二值化掩膜提取检测对象感兴趣待测区域；
步骤3.6，对每个样本提取出的检测对象感兴趣待测区域影像使用SEEDS算法进行超像素分割，选取若干个超像素作为样本集，计算每个超像素内的平均光谱得到若干条平均光谱，按照一定的比例划分训练集与验证集。
进一步的，所述步骤3.3的实现方式如下，
步骤3.3.1，对步骤3.2得到的假彩色RGB图像，使用基于深度学习的CSF+Res2net显著性检测算法进行处理，得到检测对象的显著性图；
步骤3.3.2，对步骤3.3.1得到的显著性图，以最大显著性值的0.8倍作为阈值，将显著性图中不小于阈值的区域作为前景区域，小于阈值的区域作为背景区域，进行阈值分割得到二值化图像；
步骤3.3.3，将步骤3.3.2得到的二值化图像与原假彩色图像进行运算，从而去除背景，得到检测对象区域。
进一步的，所述步骤3.4的实现方式如下；
步骤3.4.1，对步骤3.3得到的检测对象区域的前景图像，将RGB颜色空间转换成HSV颜色空间；
步骤3.4.2，使用HSV阈值分割方法得到检测对象感兴趣待测区域的二值化掩膜。
进一步的，所述步骤4.2的实现方式如下，
步骤4.2.1，卷积神经网络部分的构建，所述卷积神经网络共分为六部分，第1部分由1层一维卷积层，批归一化层、RELU激活函数和池化层组成；第2到5部分为残差模块，每个残差模块的结构均依次为一维卷积层、批归一化层、RELU激活函数、一维卷积层、批归一化层和RELU激活函数，在第二个RELU激活函数之前，将第二个批归一化层的输出与残差模块的输入相加，实现残差连接；第6部分由全局平均池化层和全连接层组成，全局平均池化层将第5部分输出的特征图在空间维度上取均值，转化为一维特征向量，向量的长度等于第5部分输出特征图的通道数，全连接层由256个神经元构成，与一维特征向量稠密连接后，再经由两个神经元的输出层输出分类结果；每个神经元输出样本属于该类别的分类得分，经过softmax归一化后得到类别概率；
一维卷积层中的卷积核在图像上滑动进行卷积运算，相似的部分得分较高，从而提取出图像中与卷积核相似的特征，第Z l+1层的(i,j)位置的特征值的计算过程可表示为：
其中，l为层数，Z l+1和Z l 为第l+1层卷积的输入和输出，也就是特征图， Z l+1表示输出特征图i,j位置的特征值，w l+1为第l+1层的卷积层参数，w l+1(x,y)表示卷积核x,y位置的参数值，b为偏置，K l 为第l层的通道数，f 1和f 2分别为卷积核的宽和高，s 0为卷积步长；
步骤4.2.2，在残差模块第二个批归一化层之后添加光谱注意力模块，，将第二个批归一化层输出的二维特征图传入光谱注意力模块，该模块由通道注意力和位置注意力两部分串行而成，二维特征图大小为C*W，C为通道数，W为一维向量的长度；首先使用全局平均池化将特征图像的位置维压缩为一个全局特征Fsq，该阶段的输出z c 可表示为：
其中H与W分别为特征图位置维的高和宽，一维向量的H默认为1，u c 为输入特征图，u c (i,j)为特征图某位置的特征值；z c 再通过两个全连接层得到各通道的权值Fex，该阶段的输出s可表示为：
其中，δ为RELU激活函数，D表示两个全连接层，D1为降维若干倍的全连接层，D2为升维若干倍的全连接层，σ为sigmoid函数；s经过sigmoid归一化后与原特征图像加权，得到各通道权值不同的特征图像；
位置注意力的结构与通道注意力类似，输入是经过通道注意力后得到的二维特征图，唯一不同之处在于使用单个卷积核压缩了通道维度，得到了长度与位置维度等长的一维向量，经过与通道注意力相同的操作后得到位置维度的权重，再与通道注意力输出的特征图相乘，得到光谱注意力模块的输出结果；
步骤4.2.3，将步骤4.2.1中构建的卷积神经网络部分和步骤4.2.2中的光谱注意力模块进行组合得到的基于卷积与光谱注意力的一维光谱分类模型，使用带标签的光谱数据对模型进行训练。
进一步的，步骤1中使用相应的质量检测仪器进行理化性质的测定。
本发明具有如下优点和有益效果：
（1）使用视频高光谱成像技术，可实时获取检测对象样本的高光谱数据；
（2）一维光谱分类网络进行自动分类，无需人工干预，可自动化处理；
（3）适用性广，易于扩展到多领域、多种类的产品品质检测；
（4）处理速度快，可实现产品质量的实时检测。
附图说明
图1为本发明中高光谱数据采集的硬件平台的结构示意图，图中a是硬件平台的正面结构示意图，b是硬件平台的俯视结构示意图，图中：1、台脚；2、传送带；3、金属骨架；4、卤素灯；5、电机；6、U型固定夹；7、支架；8、万向云台；9、固定夹；10、视频高光谱相机；11、笔记本电脑；
图2为本发明中的产品质量检测的流程图；
图3为基于卷积与光谱注意力的一维光谱分类模型结构示意图，输入样本平均光谱，输出分类概率。
具体实施方式
为了更好地理解本发明技术方案，下面将结合附图和实施例对本发明做进一步详细说明，这里以猪肉品质（PSE肉与正常肉）的无损检测为例进行实施方案展示。
其中，PSE（pale，soft and exudative）肉就是劣质猪肉的一种。PSE肉具有肉色灰白、质地松软、切面有汁液渗出等特征，此类肉不仅煮后口感差，而且其加工性能也差，购买到这种劣质肉的商家与消费者会遭受经济损失。而轻度的PSE肉与正常肉外观相似，肉眼难以区分，仅在光谱上有一定区别。
本具体实施方式Python环境下，由Python语言进行开发与优化，整个过程可实现自动化处理。
步骤1，使用PH计、色差仪、肉类比色卡测定猪肉的PH和色度等理化性质，作为样本打标签的依据。此步骤进一步包括：
步骤1.1，本实例采集的猪肉样本来自武汉大学工学部农贸市场，从商贩处购买PSE肉样本5份、正常肉样本8份。样本来自猪的前腿与后腿肉，样本大小约为7cm*7cm*3cm。所有样本均为当日新鲜猪肉，所有样本编号后存放在保鲜袋内，于晚上9点进行数据采集。
步骤1.2，对猪肉样本进行理化性质测定，使用PH计测量样本的酸碱度，使用色差仪测量样本的色度，使用比色卡进行颜色比对，作为样本打标签的判断依据，测得的理化性质如表1所示。
表1 视频高光谱猪肉数据理化指标表
步骤2，搭建硬件平台，使用视频高光谱成像技术获取猪肉光谱的三维立方，构建高光谱数据集。此步骤进一步包括：
步骤2.1，构建硬件平台，硬件平台由传送带、金属骨架、卤素灯、相机支架、视频高光谱相机构成，金属骨架固定在传送带中央的上方，金属骨架上固定卤素灯和相机支架，视频高光谱相机固定在相机支架上，数据采集使用的相机是IMEC公司生产的XIMEA快照高光谱相机，共有两个相机，一个是波长范围480nm到633nm的16波段相机，一个是665nm到960nm的25波段相机；
步骤2.2，将视频高光谱相机通过USB接口与笔记本电脑相连，启动数据采集软件，利用软件控制相机开始采集高光谱数据，数据采集软件可以实时显示相机视野范围内的物体，方便相机对准拍摄目标，设置相机的曝光时间从而调节影像亮度，使视野在不过曝的前提下足够明亮，点击采集软件的拍摄按钮开始保存影像，再次点击结束录制，这段时间内拍摄的视频影像将保存到指定的路径下；
步骤2.3，将猪肉样本放置于黑色卡纸上，使用视频高光谱相机在上方对准后为样本拍摄一段影像，获取猪肉样本的高光谱数据；
步骤2.4，在照明光源下将校正白板置于视频高光谱相机下方，采集校正白板n个通道的高光谱图像；
步骤2.5，用镜头盖盖住视频高光谱相机的镜头，采集视频高光谱相机的暗场图像。
步骤3，对原始高光谱数据进行预处理，提取猪肉红肉部分的平均光谱。此步骤进一步包括：
步骤3.1，将步骤2采集到的数据进行解算与黑白版校正，将猪肉和校正白板的高光谱图像分别扣除暗场图像，利用校正白板的高光谱图像逐通道校正猪肉的高光谱图像，得到光谱反射率数据；
步骤3.2，对步骤3.1得到的高光谱校正影像，使用3个波段进行假彩色合成得到RGB图像；
步骤3.3，对步骤3.3得到的假彩色图像，使用显著性目标检测算法在场景中锁定猪肉位置，去除背景。此步骤进一步包括：
步骤3.3.1，对步骤3.2得到的假彩色图像，使用基于深度学习的CSF+Res2net显著性检测算法进行处理，得到猪肉的显著性图；
步骤3.3.2，对步骤3.3.1得到的显著性图，以最大显著性值的0.8倍作为阈值，将显著性图中不小于阈值的区域作为前景区域，小于阈值的区域作为背景区域，进行阈值分割得到二值化图像；
步骤3.3.3，将步骤3.4.2得到的二值化图像与原假彩色图像进行运算，从而去除背景，得到猪肉区域。
步骤3.4，对步骤3.3得到的猪肉区域的图像，使用HSV阈值分割方法进一步提取猪肉红肉区域，去除肥肉区域，避免其对猪肉品质检测的干扰，得到二值化掩膜。此步骤进一步包括：
步骤3.4.1，对步骤3.3得到的猪肉前景图像，将RGB颜色空间转换成HSV颜色空间；
步骤3.4.2，使用HSV阈值分割方法得到红肉区域的二值化掩膜。
步骤3.5，对步骤3.1得到的高光谱校正影像，使用步骤3.4得到的二值化掩膜提取红肉区域；
步骤3.6，对每个样本提取出的红肉区域影像使用SEEDS算法进行超像素分割，选取100个超像素像素作为样本集，计算每个超像素内的平均光谱得到100条平均光谱，采集了13个样本数据，总共提取了1300条光谱数据，按照7:3的比例划分训练集与验证集，即训练集910条光谱，验证集390条光谱；
步骤4，利用步骤1中得到的猪肉的理化性质对猪肉样本打标签，作为分类模型的训练样本，构建基于卷积与光谱注意力的一维光谱分类模型并训练，使用该模型进行光谱识别，实现猪肉品质的实时检测，所述一维光谱分类模型包括卷积神经网络部分和光谱注意力模块。此步骤进一步包括：
步骤4.1，利用步骤1得到的猪肉的理化性质对猪肉品质进行分类，利用分类结果给步骤3.6得到的红肉区域平均光谱打标签；
步骤4.2，构建基于卷积与光谱注意力的一维光谱分类模型用于光谱识别，实现端到端的猪肉品质分类模型，使用带标签的平均光谱数据对模型进行训练。此步骤进一步包括：
步骤4.2.1，卷积神经网络部分的构建。卷积神经网络的卷积核即为特征提取器，卷积核在图像上滑动进行卷积运算，相似的部分得分较高，从而提取出图像中与卷积核相似的特征。
网络共分为六部分，第1部分由1层一维卷积层，批归一化层、RELU激活函数和池化层组成，其中一维卷积层相比于传统的二维卷积，将二维的卷积核修改为一维，便于在一维光谱向量上进行卷积运算提取特征。第2到5部分为残差模块，每个残差模块的结构均依次为一维卷积层、批归一化层、RELU激活函数、一维卷积层、批归一化层和RELU激活函数，在第二个RELU激活函数之前，将第二个批归一化层的输出与残差模块的输入相加，实现残差连接。第6部分由全局平均池化层和全连接层组成，全局平均池化层将第5部分输出的特征图在空间维度上取均值，转化为一维特征向量，向量的长度等于第5部分输出特征图的通道数，全连接层由256个神经元构成，与一维特征向量稠密连接后，再经由两个神经元的输出层输出分类结果。每个神经元输出样本属于该类别的分类得分，经过softmax归一化后得到类别概率。网络的卷积步长统一设置为1，卷积核尺寸除第一层为7*1，其余层都为3*1。
一维卷积层中的卷积核在图像上滑动进行卷积运算，相似的部分得分较高，从而提取出图像中与卷积核相似的特征，第Z l+1层的(i,j)位置的特征值的计算过程可表示为：
其中，l为层数，Z l+1和Z l 为第l+1层卷积的输入和输出，也就是特征图， Z l+1表示输出特征图i,j位置的特征值，w l+1为第l+1层的卷积层参数，w l+1(x,y)表示卷积核x,y位置的参数值，b为偏置，K l 为第l层的通道数，f 1和f 2分别为卷积核的宽和高（宽和高），s 0为卷积步长；本发明使用的卷积网络为一维卷积，故f2默认为1；
步骤4.2.2，添加光谱注意力模块，由于PSE肉与正常肉的光谱整体相似，只在部分特征波段存在一定区别，其余波段均为冗余信息，这些冗余会增加特征提取的难度，并且使模型更容易陷入过拟合。为此，本发明在网络的残差模块中添加了光谱注意力模块，具体位置在残差模块第二个批归一化层之后，将第二个批归一化层输出的二维特征图传入光谱注意力模块。
该模块由通道注意力和位置注意力两部分串行而成，输入二维特征图，特征图大小为C*W，C为通道数（通道维），W为一维向量的长度（位置维）。首先使用全局平均池化将特征图像的位置维压缩为一个全局特征（Fsq），该阶段的输出z c 可表示为：
其中H与W分别为特征图位置维的高和宽，一维向量的H默认为1，u c 为输入特征图，u c(i,j)为特征图某位置的特征值。z c 再通过两个全连接层得到各通道的权值（Fex），该阶段的输出s可表示为：
其中，δ为RELU激活函数，D表示两个全连接层，D1为降维若干倍的全连接层，D2为升维若干倍的全连接层，σ为sigmoid函数。s经过sigmoid归一化后与原特征图像加权，得到各通道权值不同的特征图像。
位置注意力结构与通道注意力类似，输入是经过通道注意力后得到的二维特征图。唯一不同之处在于使用单个卷积核压缩了通道维度，得到了长度与位置维度等长的一维向量，经过与通道注意力相同的操作后得到位置维度的权重，再与通道注意力输出的特征图相乘，得到光谱注意力模块的输出结果。由于一维卷积模型输入的一维向量的特征值之间存在关联，所以在通道注意力的基础上施加位置注意力，能兼顾特征之间的关联性，突出重点波段与重点特征，使特征表达更高效。
步骤4.2.3，将步骤4.2.1中构建的卷积神经网络部分和步骤4.2.2中的光谱注意力模块进行组合得到的基于卷积与光谱注意力的一维光谱分类模型，，使用带标签的光谱数据对模型进行训练，使用交叉熵作为损失函数，使用Adam优化器来进行参数迭代优化。由于模型的输入数据较少，模型拟合速度很快，所以在多次尝试后将学习率调低，设置为0.00001；
步骤4.3，使用训练好的一维光谱分类模型对测试样本进行预测，并计算检测精度；
步骤4.4，调整模型参数与拟合程度，再对猪肉样本进行预测，直到精度符合要求。
步骤5，算法以文本形式输出猪肉品质检测结果，品质检测结果分为合格与劣质，网络输出层的两个神经元各自输出了样本属于该类别的分类得分，经过softmax层归一化后得到样本属于该类别的概率，选取概率大的作为最后的检测结果，对于已获取的单帧高光谱影像，可手动勾画大致的红肉区域与背景区域，用这部分的划分结果进行模型的训练，对于测试精度与分类结果进行显示，并可按照当前训练模型对其他影像进行分类结果与精度的显示；对于实时获取的视频高光谱可进行实时视频显示，通过获取当前帧功能可进行视频高光谱数据截取，后续操作与上述相同。
使用本发明中构建的硬件平台结合一维光谱分类模型对猪肉品质进行检测，可达到92%的准确率，执行推理所需时间在1秒以内，可以实现猪肉样本的秒级分类。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于，包括以下步骤：
步骤1，测定产品待检测的理化性质，作为样本打标签的依据；
步骤2，搭建硬件平台，使用视频高光谱成像技术获取检测对象光谱的三维立方，构建高光谱数据集；
步骤3，对原始高光谱数据进行预处理，提取检测对象的感兴趣待测区域部分的平均光谱；
步骤4，利用步骤1中得到的产品的理化性质对检测对象样本打标签，构建一维光谱分类模型并训练，使用一维光谱分类模型进行光谱识别，实现产品品质的实时检测，包括以下子步骤：
步骤4.1，利用步骤1得到的产品的理化性质对产品品质进行分类，利用分类结果给步骤3得到的感兴趣待测区域平均光谱打标签；
步骤4.2，构建一维光谱分类模型用于光谱识别，实现端到端的产品品质分类，使用带标签的平均光谱数据对模型进行训练；
所述一维光谱分类模型包括卷积神经网络部分和光谱注意力模块；
步骤4.3，使用训练好的一维光谱分类模型对测试样本进行预测，并计算检测精度；
步骤4.4，调整模型参数与拟合程度，再对产品样本进行预测，直到精度符合要求；
步骤5，将产品品质检测结果实时展示在系统软件上。
2.如权利要求1所述的一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于：步骤2的具体实现方式如下；
步骤2.1，构建硬件平台，硬件平台由传送带、金属骨架、卤素灯、相机支架、视频高光谱相机构成，金属骨架固定在传送带中央的上方，金属骨架上固定卤素灯和相机支架，视频高光谱相机固定在相机支架上；
步骤2.2，将视频高光谱相机通过USB接口与笔记本电脑相连，启动数据采集软件，利用软件控制相机开始采集高光谱数据，数据采集软件可以实时显示相机视野范围内的物体，方便相机对准拍摄目标，设置相机的曝光时间从而调节影像亮度，使视野在不过曝的前提下足够明亮，点击采集软件的拍摄按钮开始保存影像，再次点击结束录制，这段时间内拍摄的视频影像将保存到指定的路径下；
步骤2.3，将检测对象样本放置于黑色卡纸上，使用视频高光谱相机在上方对准后为样本拍摄一段影像，获取检测对象样本的高光谱数据；
步骤2.4，在照明光源下将校正白板置于视频高光谱相机下方，采集校正白板n个通道的高光谱图像；
步骤2.5，用镜头盖盖住视频高光谱相机的镜头，采集视频高光谱相机的暗场图像。
3.如权利要求2所述的一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于：步骤3的具体实现方式如下；
步骤3.1，将步骤2采集到的高光谱数据进行解算与黑白版校正，将检测对象和校正白板的高光谱图像分别扣除暗场图像，利用校正白板的高光谱图像逐通道校正检测对象的高光谱图像，得到光谱反射率数据，即得到校正的高光谱影像；
步骤3.2，对步骤3.1得到的校正后的高光谱影像，使用3个波段进行假彩色合成得到RGB图像；
步骤3.3，对步骤3.2得到的假彩色RGB图像，使用显著性目标检测算法在场景中锁定检测对象位置，并去除背景得到检测对象区域；
步骤3.4，对步骤3.3得到的检测对象区域的图像，使用HSV阈值分割方法进一步提取检测对象感兴趣待测区域，去除其余的非待测干扰区域，避免其对产品品质检测的干扰，得到二值化掩膜；
步骤3.5，对步骤3.1得到的校正后高光谱影像，使用步骤3.4得到的二值化掩膜提取检测对象感兴趣待测区域；
步骤3.6，对每个样本提取出的检测对象感兴趣待测区域影像使用SEEDS算法进行超像素分割，选取若干个超像素作为样本集，计算每个超像素内的平均光谱得到若干条平均光谱，按照一定的比例划分训练集与验证集。
4.如权利要求3所述的一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于：所述步骤3.3的实现方式如下，
步骤3.3.1，对步骤3.2得到的假彩色RGB图像，使用基于深度学习的CSF+Res2net显著性检测算法进行处理，得到检测对象的显著性图；
步骤3.3.2，对步骤3.3.1得到的显著性图，以最大显著性值的0.8倍作为阈值，将显著性图中不小于阈值的区域作为前景区域，小于阈值的区域作为背景区域，进行阈值分割得到二值化图像；
步骤3.3.3，将步骤3.3.2得到的二值化图像与原假彩色图像进行运算，从而去除背景，得到检测对象区域。
5.如权利要求3所述的一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于：所述步骤3.4的实现方式如下；
步骤3.4.1，对步骤3.3得到的检测对象区域的前景图像，将RGB颜色空间转换成HSV颜色空间；
步骤3.4.2，使用HSV阈值分割方法得到检测对象感兴趣待测区域的二值化掩膜。
6.如权利要求1所述的一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于：所述步骤4.2的实现方式如下，
步骤4.2.1，卷积神经网络部分的构建，所述卷积神经网络共分为六部分，第1部分由1层一维卷积层，批归一化层、RELU激活函数和池化层组成；第2到5部分为残差模块，每个残差模块的结构均依次为一维卷积层、批归一化层、RELU激活函数、一维卷积层、批归一化层和RELU激活函数，在第二个RELU激活函数之前，将第二个批归一化层的输出与残差模块的输入相加，实现残差连接；第6部分由全局平均池化层和全连接层组成，全局平均池化层将第5部分输出的特征图在空间维度上取均值，转化为一维特征向量，向量的长度等于第5部分输出特征图的通道数，全连接层由256个神经元构成，与一维特征向量稠密连接后，再经由两个神经元的输出层输出分类结果；每个神经元输出样本属于该类别的分类得分，经过softmax归一化后得到类别概率；
一维卷积层中的卷积核在图像上滑动进行卷积运算，相似的部分得分较高，从而提取出图像中与卷积核相似的特征，第Z l+1层的(i,j)位置的特征值的计算过程可表示为：
其中，l为层数，Z l+1和Z l 为第l+1层卷积的输入和输出，也就是特征图， Z l+1表示输出特征图i,j位置的特征值，w l+1为第l+1层的卷积层参数，w l+1(x,y)表示卷积核x,y位置的参数值，b为偏置，K l 为第l层的通道数，f 1和f 2分别为卷积核的宽和高，s 0为卷积步长；
步骤4.2.2，在残差模块第二个批归一化层之后添加光谱注意力模块，将第二个批归一化层输出的二维特征图传入光谱注意力模块，该模块由通道注意力和位置注意力两部分串行而成，二维特征图大小为C*W，C为通道数，W为一维向量的长度；首先使用全局平均池化将特征图像的位置维压缩为一个全局特征Fsq，该阶段的输出z c 可表示为：
其中H与W分别为特征图位置维的高和宽，一维向量的H默认为1，u c为输入特征图，u c(i,j)为特征图某位置的特征值；z c 再通过两个全连接层得到各通道的权值Fex，该阶段的输出s可表示为：
其中，δ为RELU激活函数，D表示两个全连接层，D1为降维若干倍的全连接层，D2为升维若干倍的全连接层，σ为sigmoid函数；s经过sigmoid归一化后与原特征图像加权，得到各通道权值不同的特征图像；
位置注意力的结构与通道注意力类似，输入是经过通道注意力后得到的二维特征图，唯一不同之处在于使用单个卷积核压缩了通道维度，得到了长度与位置维度等长的一维向量，经过与通道注意力相同的操作后得到位置维度的权重，再与通道注意力输出的特征图相乘，得到光谱注意力模块的输出结果；
步骤4.2.3，将步骤4.2.1中构建的卷积神经网络部分和步骤4.2.2中的光谱注意力模块进行组合得到的基于卷积与光谱注意力的一维光谱分类模型，使用带标签的光谱数据对模型进行训练。
7.如权利要求1所述的一种基于视频高光谱成像技术的产品质量实时无损检测方法，其特征在于：步骤1中使用相应的质量检测仪器进行理化性质的测定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210537152.XA CN114663821B (zh) | 2022-05-18 | 2022-05-18 | 基于视频高光谱成像技术的产品质量实时无损检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210537152.XA CN114663821B (zh) | 2022-05-18 | 2022-05-18 | 基于视频高光谱成像技术的产品质量实时无损检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114663821A true CN114663821A (zh) | 2022-06-24 |
| CN114663821B CN114663821B (zh) | 2022-08-30 |
Family
ID=82036291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210537152.XA Active CN114663821B (zh) | 2022-05-18 | 2022-05-18 | 基于视频高光谱成像技术的产品质量实时无损检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663821B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294506A (zh) * | 2022-10-09 | 2022-11-04 | 深圳比特微电子科技有限公司 | 一种视频高光检测方法和装置 |
| CN115754108A (zh) * | 2022-11-23 | 2023-03-07 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的酸度测定系统及其方法 |
| CN116007753A (zh) * | 2022-12-09 | 2023-04-25 | 重庆理工大学 | 基于fpga及高光谱的水果品质实时无损检测方法 |
| CN117723739A (zh) * | 2023-12-13 | 2024-03-19 | 广东哈弗石油能源股份有限公司 | 一种低碳润滑油的质量分析方法及系统 |
| WO2024103613A1 (zh) * | 2022-11-16 | 2024-05-23 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的质检系统及其方法 |
| CN118674954A (zh) * | 2024-08-21 | 2024-09-20 | 长春中医药大学 | 一种基于图像识别的中医药质量检测系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103439271A (zh) * | 2013-08-29 | 2013-12-11 | 华南理工大学 | 一种猪肉成熟状况的可视化检测方法 |
| US20140085629A1 (en) * | 2012-09-27 | 2014-03-27 | Bodkin Design & Engineering, Llc | Active Hyperspectral Imaging Systems |
| CN109784192A (zh) * | 2018-12-20 | 2019-05-21 | 西安电子科技大学 | 基于超像素特征提取神经网络算法的高光谱影像分类方法 |
| CN111985543A (zh) * | 2020-08-06 | 2020-11-24 | 西北大学 | 一种高光谱图像分类模型的构建方法、分类方法及系统 |
| CN112697718A (zh) * | 2020-09-30 | 2021-04-23 | 江苏大学 | 一种基于高光谱成像技术结合波长选择算法串联策略的调理牛排新鲜度快速检测的方法 |
| US20220008157A1 (en) * | 2018-07-31 | 2022-01-13 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method and system for augmented imaging in open treatment using multispectral information |
-
2022
- 2022-05-18 CN CN202210537152.XA patent/CN114663821B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085629A1 (en) * | 2012-09-27 | 2014-03-27 | Bodkin Design & Engineering, Llc | Active Hyperspectral Imaging Systems |
| CN103439271A (zh) * | 2013-08-29 | 2013-12-11 | 华南理工大学 | 一种猪肉成熟状况的可视化检测方法 |
| US20220008157A1 (en) * | 2018-07-31 | 2022-01-13 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method and system for augmented imaging in open treatment using multispectral information |
| CN109784192A (zh) * | 2018-12-20 | 2019-05-21 | 西安电子科技大学 | 基于超像素特征提取神经网络算法的高光谱影像分类方法 |
| CN111985543A (zh) * | 2020-08-06 | 2020-11-24 | 西北大学 | 一种高光谱图像分类模型的构建方法、分类方法及系统 |
| CN112697718A (zh) * | 2020-09-30 | 2021-04-23 | 江苏大学 | 一种基于高光谱成像技术结合波长选择算法串联策略的调理牛排新鲜度快速检测的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姜洪喆等: "肉类掺杂掺假的高光谱成像检测研究进展", 《食品与发酵工业》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294506A (zh) * | 2022-10-09 | 2022-11-04 | 深圳比特微电子科技有限公司 | 一种视频高光检测方法和装置 |
| CN115294506B (zh) * | 2022-10-09 | 2022-12-09 | 深圳比特微电子科技有限公司 | 一种视频高光检测方法和装置 |
| WO2024103613A1 (zh) * | 2022-11-16 | 2024-05-23 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的质检系统及其方法 |
| CN115754108A (zh) * | 2022-11-23 | 2023-03-07 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的酸度测定系统及其方法 |
| CN116007753A (zh) * | 2022-12-09 | 2023-04-25 | 重庆理工大学 | 基于fpga及高光谱的水果品质实时无损检测方法 |
| CN117723739A (zh) * | 2023-12-13 | 2024-03-19 | 广东哈弗石油能源股份有限公司 | 一种低碳润滑油的质量分析方法及系统 |
| CN118674954A (zh) * | 2024-08-21 | 2024-09-20 | 长春中医药大学 | 一种基于图像识别的中医药质量检测系统 |
| CN118674954B (zh) * | 2024-08-21 | 2024-10-18 | 长春中医药大学 | 一种基于图像识别的中医药质量检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114663821B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114663821B (zh) | 基于视频高光谱成像技术的产品质量实时无损检测方法 | |
| Zhang et al. | Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: A review | |
| Bauriegel et al. | Early detection of Fusarium infection in wheat using hyper-spectral imaging | |
| Wang et al. | Use of hyperspectral imaging to discriminate the variety and quality of rice | |
| Li et al. | Detection of early decayed oranges based on multispectral principal component image combining both bi-dimensional empirical mode decomposition and watershed segmentation method | |
| Han et al. | Quality estimation of nuts using deep learning classification of hyperspectral imagery | |
| Guzmán et al. | Infrared machine vision system for the automatic detection of olive fruit quality | |
| Pedreschi et al. | Computer vision classification of potato chips by color | |
| Yuan et al. | Selecting key wavelengths of hyperspectral imagine for nondestructive classification of moldy peanuts using ensemble classifier | |
| Kelman et al. | Effective classification of Chinese tea samples in hyperspectral imaging | |
| CN113008817A (zh) | 一种基于高光谱成像技术快速鉴别苦杏仁真伪优劣的方法 | |
| Zhao et al. | Utilising near-infrared hyperspectral imaging to detect low-level peanut powder contamination of whole wheat flour | |
| CN114419311B (zh) | 一种基于多源信息的百香果成熟度无损检测方法及装置 | |
| CN109883967A (zh) | 一种基于信息融合的中华绒螯蟹品质等级判别方法 | |
| Patki et al. | Cotton leaf disease detection & classification using multi SVM | |
| He et al. | Classification of aflatoxin B1 naturally contaminated peanut using visible and near-infrared hyperspectral imaging by integrating spectral and texture features | |
| Zhang et al. | Automated apple stem end and calyx detection using evolution-constructed features | |
| Chen et al. | Hyperspectral imaging and chemometrics for nondestructive quantification of total volatile basic nitrogen in pacific oysters (Crassostrea gigas) | |
| CN103528967A (zh) | 基于高光谱图像的过熟蓝靛果果实识别方法 | |
| CN114295556A (zh) | 一种基于一维卷积的高光谱理化指标拟合方法及系统 | |
| CN115575404B (zh) | 一种基于比率多光谱图像的水果外观品质检测方法 | |
| Portalés et al. | An image-based system to preliminary assess the quality of grape harvest batches on arrival at the winery | |
| CN107403181B (zh) | 基于广式腊肠高光谱图像的瘦肉与肥肉自适应分离的方法 | |
| Saad et al. | Bio-inspired vision fusion for quality assessment of harumanis mangoes | |
| CN114720420A (zh) | 一种基于高光谱成像技术的花椒产地识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |