CN113933248A - 一种高光谱在线检测系统及方法 - Google Patents
一种高光谱在线检测系统及方法 Download PDFInfo
- Publication number
- CN113933248A CN113933248A CN202111189802.8A CN202111189802A CN113933248A CN 113933248 A CN113933248 A CN 113933248A CN 202111189802 A CN202111189802 A CN 202111189802A CN 113933248 A CN113933248 A CN 113933248A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- sample
- detected
- online detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000013079 data visualisation Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000003711 image thresholding Methods 0.000 claims description 5
- 239000003814 drug Substances 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 12
- 102100025643 60S ribosomal protein L12 Human genes 0.000 description 8
- 240000008042 Zea mays Species 0.000 description 8
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 6
- 244000068988 Glycine max Species 0.000 description 5
- 235000010469 Glycine max Nutrition 0.000 description 5
- 240000005979 Hordeum vulgare Species 0.000 description 5
- 235000007340 Hordeum vulgare Nutrition 0.000 description 5
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 5
- 235000005822 corn Nutrition 0.000 description 5
- 241000125175 Angelica Species 0.000 description 4
- 241001254604 Angelica pubescens Species 0.000 description 4
- 235000001287 Guettarda speciosa Nutrition 0.000 description 4
- 235000009754 Vitis X bourquina Nutrition 0.000 description 4
- 235000012333 Vitis X labruscana Nutrition 0.000 description 4
- 240000006365 Vitis vinifera Species 0.000 description 4
- 235000014787 Vitis vinifera Nutrition 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 241000382455 Angelica sinensis Species 0.000 description 3
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 3
- 240000003768 Solanum lycopersicum Species 0.000 description 3
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 235000009973 maize Nutrition 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 229940126680 traditional chinese medicines Drugs 0.000 description 2
- 241000675108 Citrus tangerina Species 0.000 description 1
- 235000006751 Platycodon Nutrition 0.000 description 1
- 244000274050 Platycodon grandiflorum Species 0.000 description 1
- 241000405414 Rehmannia Species 0.000 description 1
- 241000304195 Salvia miltiorrhiza Species 0.000 description 1
- 235000011135 Salvia miltiorrhiza Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229930189914 platycodon Natural products 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229940126673 western medicines Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
本发明提供了一种高光谱在线检测系统和检测方法。所述高光谱在线检测系统包括数据采集模块、数据处理模块、模型训练模块和在线检测模块。所述数据采集模块用于对标准样品进行高光谱图像采集。所述数据处理模块用于对所采集到的高光谱图像进行分割处理。所述模型训练模块用于对分割处理后的高光谱图像进行模型训练。所述在线检测模块用于利用训练好的模型对待测样品进行高光谱图像检测。通过数据处理模块对所采集到的高光谱图像进行分割处理，在利用模型训练模块用于对分割处理后的高光谱图像进行模型训练的过程中，所得到的训练模型对数据的识别较为准确。
Description
技术领域
本发明属于高光谱检测技术领域，具体涉及一种高光谱在线检测系统以及在线检测方法。
背景技术
相比于传统的化学分析鉴定方法，高光谱成像(hyperspectral imaging)检测技术的检测速度较快且对样品不会造成损坏。在高光谱成像过程中，通过同时采集样品的图像与光谱信息，其中的图像信息可以反映样本的大小、形状、缺陷等外部特征，其中的光谱信息可以反应样品的成分特征。将样本的图像特征和成分特征相结合，可以有效地对样品进行识别。高光谱数据的训练模型是高光谱检测的基础，如何使所建立的模型能够准确地筛选出待测得样品，是人们一直以来研究的问题。
发明内容
为了克服现有技术的不足，本发明提供一种高光谱在线检测系统以及在线检测方法，以提高现有的高光谱在线检测系统和检测方法准确率不高的问题。
本发明其中一实施例提供了一种高光谱在线检测系统，包括：
数据采集模块，用于对标准样品进行高光谱图像采集；
数据处理模块，用于对所采集到的高光谱图像进行分割处理；
模型训练模块，用于对分割处理后的高光谱图像进行模型训练；以及
在线检测模块，用于利用训练好的模型对待测样品进行高光谱图像检测。
在其中一个实施例中，所述高光谱在线检测系统还包括：
模型评估模块，用于对训练好的模型进行模型评估。
在其中一个实施例中，所述高光谱在线检测系统还包括：
数据可视化模块，用于展示预设波段的高光谱图像。
在其中一个实施例中，所述数据可视化模块将预设波段的高光谱图像转化成灰度图像，并输出至显示设备进行显示。
在其中一个实施例中，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第一颜色填充。
在其中一个实施例中，所述数据采集模块还用于对第二标准样品进行高光谱图像采集，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与第二标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。
在其中一个实施例中，对所采集到的高光谱图像进行分割处理的过程包括以下步骤：
展示预设算法参数以及与预设算法参数对应的高光谱图像；
接收用户对算法参数的调整数值；
根据调整后的算法参数的数值调整所展示的高光谱图像。
在其中一个实施例中，预设算法参数包括以下参数的其中一个或者多个：图像阈值、分割细粒度、筛选最小面积以及筛选最大面积。
在其中一个实施例中，所述高光谱在线检测系统还包括：
伪彩图显示模块，用于选择三个不同的波段组成伪红-绿-蓝图像，并将所组成的伪红-绿-蓝图像输出至显示设备进行展示。
在其中一个实施例中，所述高光谱在线检测系统采用线阵相机对待测样品的高光谱图像进行采集，采集过程包括以下步骤：
步骤S201：创建模板图像，所述模板图像的长度与线阵相机所拍摄的一帧图像的长度相同；
步骤S202：获取线阵相机所拍摄的一帧图像；
步骤S203：将步骤S202所获得的图像与模板图像进行拼接以形成新的模板图像；
步骤S204：将新的模板图像进行图像分割以得到分割序列，检测所述分割序列中是否包含待测样品的物品图像信息，若否，去除本次图像拼接过程并返回步骤S202；若是，进行步骤S205；
步骤S205：去除所述分割序列中与线阵相机所拍摄图像相交的分割序列项，得到实时分割序列；
步骤S206：生成与新的模板图像大小相同的二值化图像，将所述二值化图像中与所述分割序列相同位置的值置为1，将所述二值化图像中与所述实时分割序列相同位置的值置为0；
步骤S207：对所述二值化图像沿线阵相机所拍摄图像拼接入所述模板图像的相反方向上按照宽度为1像素、长度为一帧图像的长度的方式进行扫描，如果值全为0，记录位置以得到位置序列；
步骤S208：在所述新的模板图像中去除所述位置序列，返回步骤S202。
本发明其中一实施例还提供了一种高光谱在线检测方法，包括如以上任意一项实施例所述的高光谱在线检测系统，所述高光谱在线检测方法包括以下步骤：
步骤S101：对标准样品进行高光谱图像采集；
步骤S102：对所采集到的高光谱图像进行分割处理；
步骤S103：对分割处理后的高光谱图像进行模型训练；以及
步骤S104：利用训练好的模型对待测样品进行高光谱图像检测。
在其中一个实施例中，步骤S102包括以下步骤：
步骤S1021：展示预设算法参数以及与预设算法参数对应的高光谱图像；
步骤S1022：接收用户对算法参数的调整数值；
步骤S1023：根据调整后的算法参数的数值调整所展示的高光谱图像。
在其中一个实施例中，预设算法参数包括以下参数的其中一个或者多个：图像阈值、分割细粒度、筛选最小面积以及筛选最大面积。
在其中一个实施例中，在步骤S104中，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第一颜色填充；以及
筛选出与第二标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。
在本发明实施例提供的高光谱在线检测系统和检测方法中，通过数据处理模块对所采集到的高光谱图像进行分割处理，在利用模型训练模块用于对分割处理后的高光谱图像进行模型训练的过程中，所得到的训练模型对数据的识别较为准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例提供的高光谱在线检测系统的模块示意图；
图2是图1中的高光谱检测设备的结构示意图；
图3是图1中的图像处理模块的流程示意图；
图4是图1中的图像可视化模块的原始光谱曲线示意图；
图5为图1中的图像可视化模块的原始光谱曲线的一阶求导示意图；
图6为图1中在对待测样品进行高光谱图像检测时的图像分割的示意图；
图7是本发明实施例提供的高光谱在线检测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”或者“及/或”，其含义包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
请参见图1，本发明其中一实施例提供了一种高光谱在线检测系统100。所述高光谱在线检测系统100包括数据采集模块110、数据处理模块120、模型训练模块130以及在线检测模块140。
所述数据采集模块110用于对标准样品进行高光谱图像采集。请一并参见图2，在其中一个实施例中，所述数据采集模块110连接到高光谱检测设备。所述高光谱检测设备包括传输带111、光源112、光谱仪113以及相机114。在实际检测的过程中，样品200被放置在传输带111上，并可以随着传输带111的运动而运动。所述光源112为高光谱检测设备提供照明。所述光源112所发出的光线照射到样品200的表面后，样品200表面的反射光会经过光谱仪113再传递到相机114上。具体地，所述光谱仪113通过光学元件把宽波长的混合光分散为不同频率的单波长光，并把分散光投射到相机114上。即，光源112所产生的光与样品200作用后成为物理或化学信息的载体，然后通过光谱仪113投射到相机114。所述相机114再将所拍摄到的图像传递到高光谱在线检测系统100的数据采集模块110。然后，所述高光谱在线检测系统100再进行图像和光谱数据的处理与分析，同时也可以为所述相机114所拍摄的高光谱图像提供存储空间。根据需要，所述样品200可以是中药、西药、大麦、番茄、黄豆、提子或者玉米等。当所述样品200为中药时，其亦可以继续细分为当归、独活、熟地、黄精、丹参、桔梗、陈皮等。
实际上，在利用所述数据采集模块110对标准样品进行高光谱图像采集的过程中，可以采集样品的光谱数据并选取某个波段进行可视化，并且自定义路径进行保存。如觉得所采集到的高光谱图像质量不好的话，可以删除所采集的高光谱图像并进行重新采集。一般来说，所采集到的图像自动按照时间顺序进行命名。用户也可以对所采集到的高光谱图像进行重命名。在点击样品子类时，可以显示该样品子类中所包含的图像数据的个数。在点击样品子类中的具体的某一个高光谱图像时，可以看到图像存储的路径。在实际操作过程中，先初始化设备，然后再新建样品类别。所述样品的类别包括：大麦、番茄、黄豆、提子、玉米、中药、西药或者其他等。新建完样品类别之后，可以在样品类别下面新建样品子类。例如说，在中药的样品类别下面，可以新建样品子类比如说当归、独活等。然后开启扫描，在所述高光谱在线检测系统100上，实时显示扫描图像。在扫描图像完成之后，相应的扫描图片会自动保存到数据集的栏目下并显示文件名。用户亦可以自行修改相应的文件名。
所述数据处理模块120用于对所采集到的高光谱图像进行分割处理。所述对高光谱图像进行分割处理的过程主要用于处理二维图像，以提取出感兴趣的区域。根据需要，在对高光谱图像进行分割处理的过程中，还可以针对不同的物品进行可视化的操作，以调整其分割参数，同时对调整分割参数后的图像处理进行实时预览。请一并参见图3，在其中一个实施例中，对所采集到的高光谱图像进行分割处理的过程包括以下步骤：
步骤S1021：展示预设算法参数以及与预设算法参数对应的高光谱图像；
步骤S1022：接收用户对算法参数的调整数值；
步骤S1023：根据调整后的算法参数的数值调整所展示的高光谱图像。
在其中一个实施例中，预设算法参数包括以下参数的其中一个或者多个：图像阈值、分割细粒度、筛选最小面积以及筛选最大面积。
具体地，在实际操作过程中，可以选择样品200的类别、样本集以及数据处理模型等信息，再对所采集到的高光谱图像进行分割处理。例如，选择的类别包括大麦、番茄、黄豆、提子、西药、玉米、中药等。当选择完类别之后，在样本集里面就会出现该类别中的各种样本的高光谱测试图像。例如说，在当归样本集里面有两个图像：20210609-1.bmp、20210609-2.bmp，即代表在2021年6月9日拍摄的当归样品的两个高光谱图像。又例如说，在独活样本集里面有两个图像：20210610-1.bmp、20210610-2.bmp，即代表在2021年6月10日拍摄的独活样品的两个高光谱图像。根据需要，所述数据处理模型可以选择现有的数据处理模型，如：中药_模型、大麦_模型、提子_模型、玉米_模型、黄豆_模型、西药_模型。根据需要，其中任意一个模型也不限于建立一个模型。例如说，数据处理模型也可以是：西药1_模型、西药2_模型、西药3_模型等。根据需要，所述数据处理模型可以选择新建数据处理模型，在此不再赘述。之后，相应模型的算法参数就会在显示设备上展示。
具体地，在本实施例中，针对当归样品集，图像阈值为39mm，分割细粒度为3mm，筛选最小面积为510mm，筛选最大面积为20000mm。实际上，根据不同类别的样品，所述图像阈值、所述分割细粒度、所述筛选最小面积以及所述筛选最大面积都可以根据实际需要调整。
所述模型训练模块130用于对分割处理后的高光谱图像进行模型训练。在具体的模型训练的过程中，可以新建不同的模型类型，再选择数据、图像处理方法、配置学习过程的参数、选择训练设备等，即可开始训练过程。例如说，用户可以选择现有的模型类型，比如说：分类大麦、分类黄豆、分类中药、分类玉米等。用户也可以选择新建新的模型类型，比如说：分类玉米1、分类玉米2、分类玉米3等。用户也可以选择不同的数据类型进行训练，比如说，数据类型可以选择为平均点光谱、点光谱或者3D矩阵等。根据需要，用户也可以选择不同的算法来进行训练，所使用的算法包括：CNN_1D(一维卷积神经网络)、ONE_CLASS(单值分类)或者SVM(支持向量机)等。在具体学习的过程中，可以对学习过程的参数进行配置。例如说，在本实施例中，学习率可以配置为0.001，批量训练数可以配置为64，训练次数可以配置为2000。此外，用户亦可以选择相应的训练设备。比如说，当设置有多块CPU时(CPU0、CPU1、CPU2、…；)，可以指定具体的CPU(例如，CPU0)进行训练。又比如说，当设置有多块GPU(GPU0、GPU1、GPU2、…；)时，可以指定具体的GPU(例如，GPU1)进行训练。当所有的参数都选择好之后，就可以对相应的高光谱图像进行模型训练。
所述在线检测模块140用于利用训练好的模型对待测样品进行高光谱图像检测。在具体检测过程中，可将待测样品放置至图2所示的高光谱检测设备中。随着传输带111的运转，所述相机114可以检测到待测样品的各个波段的反射光的高光谱图像。此时，将待测样品的高光谱图像输入至训练好的模型中，即可检测出待测样品中的成分。如图4所示，在本实施方式中，当前所执行的任务为分类中药的任务，在对待测样品进行高光谱图像检测之后，所得到的分类结果为当归58％，独活41％。
实际上，在其中一个实施例中，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第一颜色填充。即，在本实施例中，可以将筛选出的当归样品在分析结果上以绿色显示，从而方便用户进行识别和处理。
实际上，在其中一个实施例中，所述数据采集模块110还用于对第二标准样品进行高光谱图像采集，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与第二标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。即，在本实施例中，还可以对独活样品进行高光谱图像采集，并进行模型训练。在模型训练好之后，可以利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与独活样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。在本实施例中，可以将筛选出的独活样品在分析结果上以红色显示，从而方便用户进行识别和处理。
根据需要，在实际检测的过程中，所述高光谱在线检测系统100还可以实时显示程序的运行状态，自动读取相机或者电机的运行状态并显示在程序界面上。相应的状态信息包括电机前进速度、电机归零速度以及数据处理时间等。在本实施例中，所述电机前进速度为45cm/s；所述电机归零速度为80cm/s；所述数据处理时间为7.195s。根据需要，所述电机前进速度、所述电机归零速度以及所述数据处理时间等可以根据实际情况进行选择。
在本发明实施例提供的高光谱在线检测系统100中，通过数据处理模块120对所采集到的高光谱图像进行分割处理，在利用模型训练模块130用于对分割处理后的高光谱图像进行模型训练的过程中，所得到的训练模型对数据的识别较为准确。
根据需要，在采用所述高光谱检测设备对标准样品200或者待测样品进行检测之前，还可以预先对所述高光谱检测设备进行设备调试。比如说，在检测之前，可以先对相机的黑白校正帧进行采集，或者对相机的焦距进行调试，或者对电机的性能进行调试，同时在所述高光谱在线检测系统100的显示界面显示其实时状态。例如说，可以把电机的步进距离设置为500mm，电机的步进速度设置为50mm/s，以观察电机的实际运行状态。
在其中一个实施例中，所述高光谱在线检测系统100还包括：
模型评估模块150，用于对训练好的模型进行模型评估。
在模型训练结束之后，可以通过模型评估模块150对训练好的模型进行评估。在评估过程中，只需要扫描一个测试样本，然后保存后，即可评估训练好的模型的准确度。实际上，在进行模型评估的时候，先把标准样品分成两部分，一部分标准样品用于进行模型训练；另外一部分用于对训练好的模型进行模型评估。实际上，模型评估的过程与模型训练的过程相类似。具体地，先选择数据类型(平均点光谱、点光谱、3D矩阵)，再选择对应的算法(cnn_1d、one_class、svm)，然后再选择算法下对应的模型。此时，在所述高光谱在线检测系统100中会输出模型的相关信息。然后，根据扫描的测试样本以及相应的图像处理方法，即可评估训练模型的准确程度。
在其中一个实施例中，所述高光谱在线检测系统100还包括：
数据可视化模块160，用于展示预设波段的高光谱图像。
实际上，在数据可视化模块160中，可以对采集到的光谱图像进行可视化操作。如图4所示，此时，用户可以看到在不同波段下的光谱图像(已转换成灰度可视化图像)。并且，用户也可以关注图像上的任意一个点或者多个点，同时观察该一个点或者多个点在光谱维度的曲线以及对比关系。根据需要，用户可以选择显示原始的光谱曲线，也可以选择显示原始的光谱曲线进行一阶求导后的曲线，如图5所示。根据需要，用户也可以选择图像的三维可视化视图。此外，对所采集到的光谱图像进行可视化操作，更有利于辅助用户确定高光谱图像的质量如何，选择那种算法对相应的样本模型进行训练，或者选择什么样的算法参数对图像进行分割等。在其中一个实施例中，所述数据可视化模块160将预设波段的高光谱图像转化成灰度图像，并输出至显示设备进行显示，以辅助用户选择不同的样本模型或者算法参数。
在其中一个实施例中，所述高光谱在线检测系统100还包括：
伪彩图显示模块170，用于选择三个不同的波段组成伪红-绿-蓝图像，并将所组成的伪红-绿-蓝图像输出至显示设备进行展示。
因为所述高光谱在线检测系统100的光谱范围并不包括可见光。因此，在对所述高光谱图像进行伪彩图显示的时候，可以选择三个不同的波段组成伪RGB图，以实现预览彩图的功能。
在其中一个实施例中，所述高光谱在线检测系统100采用线阵相机对待测样品的高光谱图像进行采集，采集过程包括以下步骤：
步骤S201：创建模板图像，所述模板图像的长度与线阵相机所拍摄的一帧图像的长度相同；
步骤S202：获取线阵相机所拍摄的一帧图像；
步骤S203：将步骤S202所获得的图像与模板图像进行拼接以形成新的模板图像；
步骤S204：将新的模板图像进行图像分割以得到分割序列，检测所述分割序列中是否包含待测样品的物品图像信息，若否，去除本次图像拼接过程并返回步骤S202；若是，进行步骤S205；
步骤S205：去除所述分割序列中与线阵相机所拍摄图像相交的分割序列项，得到实时分割序列；
步骤S206：生成与新的模板图像大小相同的二值化图像，将所述二值化图像中与所述分割序列相同位置的值置为1，将所述二值化图像中与所述实时分割序列相同位置的值置为0；
步骤S207：对所述二值化图像沿线阵相机所拍摄图像拼接入所述模板图像的相反方向上按照宽度为1像素、长度为一帧图像的长度的方式进行扫描，如果值全为0，记录位置以得到位置序列；
步骤S208：在所述新的模板图像中去除所述位置序列，返回步骤S202。
图6为上述采集过程的原理示意图。在图6中，浅色部分为背景图像信息G2，深色部分为待测样品的物品图像信息G1。在实际检测过程中，可以通过设置相应的颜色阈值以对背景图像信息和物品图像信息进行区分。在本实施例中，所述背景图像信息为传送带的图像。在本实施例中，传送带从左向右运动。线阵相机设置在最右侧位置。线阵相机经过预设的时间间隔后拍摄一帧图像。此时，在第1时间段，线阵相机拍摄的是从右到左方向上第1列像素单元的图像；在第2时间段，线阵相机拍摄的是从右到左方向上第2列像素单元的图像；在第3时间段，线阵相机拍摄的是从右到左方向上第3列像素单元的图像；依次类推。在具体采集过程中，先在计算机的内部创建一个模板图像A。所述模板图像A的长度与线阵相机所拍摄的一帧图像的长度相同。在本实施例中，所述模板图像A的初始宽度为0，即代表是空图像。
在第1时间段，线阵相机拍摄的是从右到左方向上第1列像素单元的图像B1。将图像B1拼接入图像A，然后对拼接后的图像A进行图像分割以得到分割序列L1。检测所述分割序列L1中是否包含待测样品的物品图像信息。由于第1列像素单元不包括待测样品的物品图像信息，去除本次拼接的过程。
第2时间段和第3时间段的流程与第1时间段的流程类似，在此不再赘述。
在第4时间段，线阵相机拍摄的是从右到左方向上第4列像素单元的图像B4。将图像B4拼接入图像A，然后对拼接后的图像A进行图像分割以得到分割序列L4。检测所述分割序列L4中是否包含待测样品的物品图像信息。由于图像B4中包含待测样品的物品图像信息，此时，去除所述分割序列L4中与线阵相机所拍摄图像相交的分割序列项，得到实时分割序列L4’。在本实施例中，分割序列L4即代表图像B4中物品图像信息的位置，实时分割序列L4’即代表图像B4中背景图像信息的位置。生成与新的模板图像大小相同的二值化图像，将所述二值化图像中与所述分割序列L4相同位置的值置为1，将所述二值化图像中与所述实时分割序列L4’相同位置的值置为0。对所述二值化图像沿线阵相机所拍摄图像拼接入所述模板图像的相反方向上按照宽度为1像素、长度为一帧图像的长度的方式进行扫描。因为其值不是全为0，此时，进行下一步的拍摄过程。
在第5时间段，线阵相机拍摄的是从右到左方向上第5列像素单元的图像B5。将图像B5拼接入图像A，其中的图像A即为第4时间段所拍摄的图像B4。然后对拼接后的图像A进行图像分割以得到分割序列L5。检测所述分割序列L5中是否包含待测样品的物品图像信息。由于图像B5中包含待测样品的物品图像信息，此时，去除所述分割序列L5中与线阵相机所拍摄图像相交的分割序列项，得到实时分割序列L5’。在本实施例中，分割序列L5即代表图像B5中物品图像信息的位置，实时分割序列L5’即代表图像B5中背景图像信息的位置。生成与新的模板图像大小相同的二值化图像，将所述二值化图像中与所述分割序列L5相同位置的值置为1，将所述二值化图像中与所述实时分割序列L5’相同位置的值置为0。对所述二值化图像沿线阵相机所拍摄图像拼接入所述模板图像的相反方向上按照宽度为1像素、长度为一帧图像的长度的方式进行扫描。因为其值不是全为0，此时，进行下一步的拍摄过程。
第6-11时间段的流程与第5时间段的流程类似，在此不再赘述。
在第12时间段，线阵相机拍摄的是从右到左方向上第12列像素单元的图像B12。将图像B12拼接入图像A，然后对拼接后的图像A进行图像分割以得到分割序列L12。检测所述分割序列L12中是否包含待测样品的物品图像信息。由于图像B12中包含待测样品的物品图像信息，此时，去除所述分割序列L12中与线阵相机所拍摄图像相交的分割序列项，得到实时分割序列L12’。在本实施例中，分割序列L12即代表图像B12中物品图像信息的位置，实时分割序列L12’即代表图像B12中背景图像信息的位置。生成与新的模板图像大小相同的二值化图像，将所述二值化图像中与所述分割序列L12相同位置的值置为1，将所述二值化图像中与所述实时分割序列L12’相同位置的值置为0。对所述二值化图像沿线阵相机所拍摄图像拼接入所述模板图像的相反方向上按照宽度为1像素、长度为一帧图像的长度的方式进行扫描。此时，由于图像B12的二值化图像的值全为0，此时，记录位置以得到位置序列R1。然后在图像A中去除相应的位置序列R1。
第13时间段的流程与第12时间段的流程类似，在此不再赘述。
在常规的高光谱图像的采集过程中，当线阵相机应用于传送带或直线导轨上的物体检测工作时，由于线阵相机每一次拍摄的图像的宽度只有一个或几个像素，无法通过一次拍摄就把被检测物体完整的拍摄下来，所以只能通过拼接每一帧图像再进行图像分割。
由于检测物体大小不同(如：水果，药材等)、间距不同或被检测物体并行的经过相机。如果拼接的图像太长，就无法保证实时性。如果太短，就无法保证拼接成一个被检测物体或者拼接的图像包含一个或多个被检测物体的局部，难以对检测物准确的进行实时图像分割。
而在上述实施例中的采集过程中，通过对图像进行分割以得到分割序列以及实时分割序列，并将图像进行二值化处理，以在分割序列的位置的值置为1，并在实时分割序列的位置的值置为0。此时，当检测到其中的二值化图像中的某一列的数值全为0时，即可在图像中去除相应的位置序列的信息。通过此方式，可以保证所拼接的图像不会太长，进而保证检测结果的实时性。
请参见图7，本发明其中一实施例还提供了一种高光谱在线检测方法，包括如以上任意一项实施例所述的高光谱在线检测系统100。所述高光谱在线检测方法包括以下步骤：
步骤S101：对标准样品进行高光谱图像采集；
步骤S102：对所采集到的高光谱图像进行分割处理；
步骤S103：对分割处理后的高光谱图像进行模型训练；以及
步骤S104：利用训练好的模型对待测样品进行高光谱图像检测。
同样地，在本发明实施例提供的高光谱在线检测方法中，通过对所采集到的高光谱图像进行分割处理，在对分割处理后的高光谱图像进行模型训练的过程中，所得到的训练模型对数据的识别较为准确。
在其中一个实施例中，步骤S102包括以下步骤：
步骤S1021：展示预设算法参数以及与预设算法参数对应的高光谱图像；
步骤S1022：接收用户对算法参数的调整数值；
步骤S1023：根据调整后的算法参数的数值调整所展示的高光谱图像。
在其中一个实施例中，预设算法参数包括以下参数的其中一个或者多个：图像阈值、分割细粒度、筛选最小面积以及筛选最大面积。
在其中一个实施例中，在步骤S104中，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第一颜色填充；以及
筛选出与第二标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种高光谱在线检测系统，其特征在于，包括：
数据采集模块，用于对标准样品进行高光谱图像采集；
数据处理模块，用于对所采集到的高光谱图像进行分割处理；
模型训练模块，用于对分割处理后的高光谱图像进行模型训练；以及
在线检测模块，用于利用训练好的模型对待测样品进行高光谱图像检测。
2.如权利要求1所述的高光谱在线检测系统，其特征在于，还包括：
模型评估模块，用于对训练好的模型进行模型评估；
和/或，伪彩图显示模块，用于选择三个不同的波段组成伪红-绿-蓝图像，并将所组成的伪红-绿-蓝图像输出至显示设备进行展示。
3.如权利要求1所述的高光谱在线检测系统，其特征在于，还包括：
数据可视化模块，用于展示预设波段的高光谱图像；所述数据可视化模块将预设波段的高光谱图像转化成灰度图像，并输出至显示设备进行显示。
4.如权利要求2所述的高光谱在线检测系统，其特征在于，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第一颜色填充。
5.如权利要求4所述的高光谱在线检测系统，其特征在于，所述数据采集模块还用于对第二标准样品进行高光谱图像采集，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与第二标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。
6.如权利要求1所述的高光谱在线检测系统，其特征在于，对所采集到的高光谱图像进行分割处理的过程包括以下步骤：
展示预设算法参数以及与预设算法参数对应的高光谱图像；
接收用户对算法参数的调整数值；
根据调整后的算法参数的数值调整所展示的高光谱图像。
7.如权利要求6所述的高光谱在线检测系统，其特征在于，预设算法参数包括以下参数的其中一个或者多个：图像阈值、分割细粒度、筛选最小面积以及筛选最大面积。
8.如权利要求1所述的高光谱在线检测系统，其特征在于，所述高光谱在线检测系统采用线阵相机对待测样品的高光谱图像进行采集，采集过程包括以下步骤：
步骤S201：创建模板图像，所述模板图像的长度与线阵相机所拍摄的一帧图像的长度相同；
步骤S202：获取线阵相机所拍摄的一帧图像；
步骤S203：将步骤S202所获得的图像与模板图像进行拼接以形成新的模板图像；
步骤S204：将新的模板图像进行图像分割以得到分割序列，检测所述分割序列中是否包含待测样品的物品图像信息，若否，去除本次图像拼接过程并返回步骤S202；若是，进行步骤S205；
步骤S205：去除所述分割序列中与线阵相机所拍摄图像相交的分割序列项，得到实时分割序列；
步骤S206：生成与新的模板图像大小相同的二值化图像，将所述二值化图像中与所述分割序列相同位置的值置为1，将所述二值化图像中与所述实时分割序列相同位置的值置为0；
步骤S207：对所述二值化图像沿线阵相机所拍摄图像拼接入所述模板图像的相反方向上按照宽度为1像素、长度为一帧图像的长度的方式进行扫描，如果值全为0，记录位置以得到位置序列；
步骤S208：在所述新的模板图像中去除所述位置序列，返回步骤S202。
9.一种高光谱在线检测方法，其特征在于，包括如权利要求1-7任意一项所述的高光谱在线检测系统，所述高光谱在线检测方法包括以下步骤：
步骤S101：对标准样品进行高光谱图像采集；
步骤S102：对所采集到的高光谱图像进行分割处理；
步骤S103：对分割处理后的高光谱图像进行模型训练；以及
步骤S104：利用训练好的模型对待测样品进行高光谱图像检测。
10.如权利要求8所述的高光谱在线检测方法，其特征在于，在步骤S104中，在利用训练好的模型对待测样品进行高光谱图像检测的过程中，筛选出与标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第一颜色填充；以及
筛选出与第二标准样品的高光谱图像相同或者相类似的待测样品的高光谱图像，并将筛选出的待测样品图像以第二颜色填充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111189802.8A CN113933248A (zh) | 2021-10-12 | 2021-10-12 | 一种高光谱在线检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111189802.8A CN113933248A (zh) | 2021-10-12 | 2021-10-12 | 一种高光谱在线检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113933248A true CN113933248A (zh) | 2022-01-14 |
Family
ID=79278564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111189802.8A Pending CN113933248A (zh) | 2021-10-12 | 2021-10-12 | 一种高光谱在线检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113933248A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800075A (zh) * | 2012-07-16 | 2012-11-28 | 宁波江丰生物信息技术有限公司 | 基于线阵相机拍摄的图像拼接方法和装置 |
| CN103196917A (zh) * | 2013-03-13 | 2013-07-10 | 同济大学 | 基于ccd线阵相机的在线卷板材表面瑕疵检测系统及其检测方法 |
| CN103439285A (zh) * | 2013-08-19 | 2013-12-11 | 华南理工大学 | 一种基于高光谱成像的鱼片新鲜度检测方法 |
| CN104598886A (zh) * | 2015-01-23 | 2015-05-06 | 中国矿业大学(北京) | 一种用近红外高光谱图像识别霉变花生的方法 |
| CN107486415A (zh) * | 2017-08-09 | 2017-12-19 | 中国计量大学 | 基于机器视觉的篾片缺陷在线检测系统及检测方法 |
| CN111257228A (zh) * | 2020-01-21 | 2020-06-09 | 黑龙江珍宝岛药业股份有限公司 | 一种基于高光谱的中药注射剂多指标检测系统 |
| CN111414942A (zh) * | 2020-03-06 | 2020-07-14 | 重庆邮电大学 | 一种基于主动学习和卷积神经网络的遥感图像分类方法 |
| CN111443043A (zh) * | 2020-01-03 | 2020-07-24 | 新疆农业科学院农业机械化研究所 | 一种基于高光谱图像的核桃仁品质检测方法 |
| CN112257603A (zh) * | 2020-10-23 | 2021-01-22 | 深圳大学 | 高光谱图像分类方法及相关设备 |
| CN112381756A (zh) * | 2020-09-30 | 2021-02-19 | 广东省科学院智能制造研究所 | 一种基于块平滑神经网络的高光谱数据分析方法和系统 |
| CN113160183A (zh) * | 2021-04-26 | 2021-07-23 | 山东深蓝智谱数字科技有限公司 | 一种高光谱数据处理方法、设备及介质 |
| CN113420614A (zh) * | 2021-06-03 | 2021-09-21 | 江苏海洋大学 | 一种基于深度学习算法的近红外高光谱图像识别霉变花生的方法 |
-
2021
- 2021-10-12 CN CN202111189802.8A patent/CN113933248A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800075A (zh) * | 2012-07-16 | 2012-11-28 | 宁波江丰生物信息技术有限公司 | 基于线阵相机拍摄的图像拼接方法和装置 |
| CN103196917A (zh) * | 2013-03-13 | 2013-07-10 | 同济大学 | 基于ccd线阵相机的在线卷板材表面瑕疵检测系统及其检测方法 |
| CN103439285A (zh) * | 2013-08-19 | 2013-12-11 | 华南理工大学 | 一种基于高光谱成像的鱼片新鲜度检测方法 |
| CN104598886A (zh) * | 2015-01-23 | 2015-05-06 | 中国矿业大学(北京) | 一种用近红外高光谱图像识别霉变花生的方法 |
| CN107486415A (zh) * | 2017-08-09 | 2017-12-19 | 中国计量大学 | 基于机器视觉的篾片缺陷在线检测系统及检测方法 |
| CN111443043A (zh) * | 2020-01-03 | 2020-07-24 | 新疆农业科学院农业机械化研究所 | 一种基于高光谱图像的核桃仁品质检测方法 |
| CN111257228A (zh) * | 2020-01-21 | 2020-06-09 | 黑龙江珍宝岛药业股份有限公司 | 一种基于高光谱的中药注射剂多指标检测系统 |
| CN111414942A (zh) * | 2020-03-06 | 2020-07-14 | 重庆邮电大学 | 一种基于主动学习和卷积神经网络的遥感图像分类方法 |
| CN112381756A (zh) * | 2020-09-30 | 2021-02-19 | 广东省科学院智能制造研究所 | 一种基于块平滑神经网络的高光谱数据分析方法和系统 |
| CN112257603A (zh) * | 2020-10-23 | 2021-01-22 | 深圳大学 | 高光谱图像分类方法及相关设备 |
| CN113160183A (zh) * | 2021-04-26 | 2021-07-23 | 山东深蓝智谱数字科技有限公司 | 一种高光谱数据处理方法、设备及介质 |
| CN113420614A (zh) * | 2021-06-03 | 2021-09-21 | 江苏海洋大学 | 一种基于深度学习算法的近红外高光谱图像识别霉变花生的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229561B (zh) | 一种基于深度学习的颗粒产品缺陷检测方法 | |
| US11663803B2 (en) | System for counting quantity of game tokens | |
| Liu et al. | Neural network generalization: The impact of camera parameters | |
| CN104240264B (zh) | 一种运动物体的高度检测方法和装置 | |
| Zhang et al. | Automatic detection of defective apples using NIR coded structured light and fast lightness correction | |
| KR102199094B1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
| Thipakorn et al. | Egg weight prediction and egg size classification using image processing and machine learning | |
| Uluişik et al. | Image processing based machine vision system for tomato volume estimation | |
| Eshkevari et al. | Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method | |
| US20200141804A1 (en) | Method and system for hyperspectral light field imaging | |
| CN105938513A (zh) | 为计算机辅助诊断提供可靠性的装置和方法 | |
| CN105763871A (zh) | 一种摄像机清晰度的实时检测系统及检测方法 | |
| Najeeb et al. | Dates maturity status and classification using image processing | |
| Huang et al. | Smart agriculture: real‐time classification of green coffee beans by using a convolutional neural network | |
| KR101964805B1 (ko) | 머신 비전을 위한 가이드 제공 방법 및 장치 | |
| CN107969148A (zh) | 图像分析系统和方法 | |
| JP2021039734A (ja) | 光学コードのモジュールサイズの特定 | |
| CN111507939A (zh) | 一种水果外部缺陷类型的检测方法、装置和终端 | |
| Zhang et al. | A novel image detection method for internal cracks in corn seeds in an industrial inspection line | |
| Janardhana et al. | Computer aided inspection system for food products using machine vision—a review | |
| JP2017521011A (ja) | シンボルの光学的検出方法 | |
| CN113933248A (zh) | 一种高光谱在线检测系统及方法 | |
| RU2462195C2 (ru) | Способ исследования и диагностики состояния биологического объекта или его части | |
| CN113763384B (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| CN103593667A (zh) | 基于集合连通性原理的图像异物快速识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |