CN112905823B - 一种基于大数据平台的高光谱物质检测识别系统及方法 - Google Patents
一种基于大数据平台的高光谱物质检测识别系统及方法 Download PDFInfo
- Publication number
- CN112905823B CN112905823B CN202110198674.7A CN202110198674A CN112905823B CN 112905823 B CN112905823 B CN 112905823B CN 202110198674 A CN202110198674 A CN 202110198674A CN 112905823 B CN112905823 B CN 112905823B
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- module
- hyperspectral image
- data
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 239000000126 substance Substances 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 47
- 238000007635 classification algorithm Methods 0.000 claims abstract description 26
- 239000000463 material Substances 0.000 claims abstract description 12
- 238000002372 labelling Methods 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims 1
- 230000008520 organization Effects 0.000 abstract description 3
- 230000003595 spectral effect Effects 0.000 description 11
- 238000000701 chemical imaging Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000002329 infrared spectrum Methods 0.000 description 3
- 230000007123 defense Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于大数据平台的高光谱物质检测识别系统及方法，系统包括：系统管理员账户模块、系统用户账户模块、高光谱图像数据库模块、高光谱图像数据上传模块、高光谱图像数据标定模块、高光谱图像数据分类及检测识别模块。该系统获取用户上传的待测高光谱图像文件及用户选择目标检测算法或有监督分类算法；基于大数据平台中已标注的高光谱数据，利用选择算法，结合大数据的分布式并行算法，对待测高光谱图像文件做物质检测识别及分类。通过利用大数据平台的数据共享，实现单一机构或企业所无法完成的物质高光谱数据采集及标定工作，结合目标检测算法及有监督分类算法实现快速、简单、低成本、可重复且无损耗的定性物质检测识别。
Description
技术领域
本发明属于高光谱技术应用领域，涉及大数据技术及模式识别技术领域，特别涉及一种基于大数据平台的高光谱物质检测识别系统及方法。
背景技术
高光谱图像数据“图谱合一”，具有丰富的光谱维信息。高光谱图像数据共有三个维度，图像空间维信息用于表示物体的实际空间分布，光谱波段用于表示每个像素的光谱属性。高光谱图像的各波段在成像范围内都是连续成像，因此高光谱的光谱曲线一般是平滑的、连续的曲线。高光谱图像的波段中涵盖了物质的光谱信息，而每种物质的光谱信息都不一样，我们可以利用图像像素的光谱波段所包含的特定的光谱信息来判断该像素所代表的特定的物质种类。换句话说，高光谱图像同时包含了空间信息和光谱信息，其中光谱信息的分辨率很高，一般都达到纳米级别，而空间分辨率相对较低。高光谱图像分类问题是一个像素级别的分类问题，具体而言就是对图像中的每一个像素分类确认像素的类别。
高光谱图像分类大体上可以分为无监督分类和有监督分类(包含半监督分类)两种。无监督分类是指在没有预先标注数据标签的情况下对高光谱图像分类(聚类)，主要思想是依照能代表像素特点的特征信息(空间信息、谱信息及特征等)将相似的像素归为一类。有监督的分类指的是在有预先标注数据作为监督信号的情况下对高光谱图像分类，主要思想是利用有标注的数据学习像素特征信息与像素类别之间的内在关系，然后利用这种关系对没有标注的数据分类，确定像素类别。
对于拍摄得到的原始高光谱图像数据，需要先对数据预处理，包括数据格式化、无用数据剔除以及亮度到反射率的转化等。同时，对于遥感仪拍摄的高光谱图像还需要辐射校正，在目标检测前，应对数据调整，包括数据归一化等。最后根据已知的先验信息选择相应的目标检测算法检测。
高光谱成像技术作为光学无损检测的一种新技术逐渐应用于国防、科研、民生等各行各业。例如高光谱遥感成像、近红外光谱检测、植物叶绿素含量检测、农畜产品品质安全检测及稻米品种检测等，都运用到了高光谱成像技术。运用高光谱成像技术所采集光谱波段在紫外光谱波段、可见光谱波段、近红外光谱波段及远红外光谱波段，对实验环境要求低，抗干扰能力强。基于高光谱成像技术的物质鉴别方法，可以提供快速、简单、可重复且无损耗的定性物质分析。
随着高光谱成像技术逐步被应用于国防、科研、民生等各行各业，参与的机构、企业增加，涉及的检测物质增加，标注的高光谱数据增加。如何共享标注的高光谱数据、智能高效的检测识别物质、准确全面的对高光谱图像做有监督分类、提供更全面的无损耗的定性物质分析服务，从而避免人力物力的重复工作、避免社会资源的浪费，是同行从业人员亟待解决的问题。
发明内容
鉴于上述情况，本发明提出了一种基于大数据平台的高光谱物质检测识别系统及方法，该系统可解决具备高光谱成像技术的机构、企业如何共享标注的高光谱数据，并利用共享的标注高光谱数据对高光谱图像做有监督分类及物质检测识别的问题。
为实现上述目的，本发明采取的技术方案为：
第一方面，本发明实施例提供一种基于大数据平台的高光谱物质检测识别系统，包括：系统管理员账户模块、系统用户账户模块、高光谱图像数据库模块、高光谱图像数据上传模块、高光谱图像数据标定模块、高光谱图像数据分类及检测识别模块；
其中，所述系统管理员账户模块，用于负责审核系统用户账户、负责审核标注的高光谱数据；
所述系统用户账户模块，用于为机构、企业、个人注册服务，并通过该系统用户账户模块实现高光谱图像数据上传、高光谱图像数据标定以及选择算法，并用于查看检测识别结果；
所述高光谱图像数据库模块，用于存储高光谱图像数据以及对应的标注信息；
所述高光谱图像数据上传模块，用于系统用户填写待上传的高光谱图像数据文件的所含物质及采集信息，并上传高光谱图像数据文件；
所述高光谱图像数据标定模块，用于系统用户针对已上传但尚未标注的高光谱图像数据进行标注；
所述高光谱图像数据分类及检测识别模块，用于对待测高光谱图像文件进行物质检测识别及分类，并返回结果。
进一步地，所述高光谱图像数据上传模块，包括：
填写子模块，用于系统用户填写待上传的高光谱图像数据文件的所含物质及采集信息，包括所含物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件信息；
上传子模块，用于上传经过预处理的高光谱图像数据文件；其中预处理包括：数据格式化、无用数据剔除、亮度到反射率的转化和辐射校正。
进一步地，所述高光谱图像数据标定模块，包括：
第一选择子模块，用于获取系统用户选择高光谱图像中的某一像素点；
获取子模块，用于获取所述选择子模块选择的某一像素点对应的光谱曲线；
标注子模块，用于标注所述某一像素点对应的光谱曲线，填写所述光谱曲线对应的物质及采集信息，包括物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件信息。
进一步地，所述系统管理员账户模块，包括：
选择标注子模块，用于选择待审批的系统用户账户标注的高光谱数据；
校验标注子模块，用于校验标注的高光谱数据，如果通过，则发布该标注的高光谱数据，应用于高光谱图像数据分类及检测识别模块；如果拒绝，则此标注的高光谱数据不被发布。
进一步地，所述高光谱图像数据分类及检测识别模块，包括：
第二选择子模块，用于选择系统用户已上传的待测高光谱图像文件；以及选择目标检测算法或有监督分类算法；
识别子模块，基于高光谱图像数据库模块中已标注的高光谱数据，利用目标检测算法及有监督分类算法，结合大数据的分布式并行算法，对待测高光谱图像做物质检测识别及分类；
返回子模块，用于返回所述识别子模块的识别结果。
第二方面，本发明实施例提供一种基于大数据平台的高光谱物质检测识别方法，包括以下步骤：
S10：获取系统用户上传的待测高光谱图像文件，并获取所述系统用户的选择请求；所述选择请求包括：选择目标检测算法或有监督分类算法；
S20：基于大数据平台中已标注的高光谱数据，利用所述选择请求对应的选择算法，结合大数据的分布式并行算法，对所述待测高光谱图像文件做物质检测识别及分类；
S30、返回所述待测高光谱图像文件对应的物质分类及检测识别结果。
与现有技术相比，本发明具有如下有益效果：
本发明实施例所提出的一种基于大数据平台的高光谱物质检测识别系统，利用大数据平台的数据共享实现单一机构或企业所无法完成的物质高光谱数据采集及标定工作，结合先进的目标检测算法及有监督分类算法实现快速、简单、低成本、可重复且无损耗的定性物质检测识别。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的基于大数据平台的高光谱物质检测识别系统框图；
图2为本发明实施例提供的系统用户账户上传高光谱图像数据文件流程图；
图3为本发明实施例提供的系统用户账户标注高光谱数据流程图；
图4为本发明实施例提供的系统管理员账户审批标注的高光谱数据流程图；
图5为本发明实施例提供的系统用户账户对高光谱图像做物质检测识别及分类流程图；
图6为本发明实施例提供的基于大数据平台的高光谱物质检测识别方法流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明提供了一种基于大数据平台的高光谱物质检测识别系统，如图1所示，包括：系统管理员账户模块、系统用户账户模块、高光谱图像数据库模块、高光谱图像数据上传模块、高光谱图像数据标定模块、高光谱图像数据分类及检测识别模块；
其中，上述系统管理员账户模块，负责审核系统用户账户，审核通过的账户具有系统用户账户权限；并负责审核标注的高光谱数据，审核通过的标注的高光谱数据将被用于有监督分类及目标检测算法；
系统用户账户模块，用于提供给由机构、企业、个人注册，并经过系统管理员账户审核通过；可上传高光谱图像数据文件，并提供与上传的高光谱图像数据文件相关的信息；选择算法，以及用于查看检测识别结果；
其中，上传的高光谱图像数据都是经过预处理的数据，包括数据格式化、无用数据剔除、亮度到反射率的转化、辐射校正等；
系统用户账户可选择上传的高光谱图像数据并标注，选中高光谱图像中的像素点，提取此像素点的光谱曲线，标注此光谱曲线的物质及采集信息，包括物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件等；
高光谱图像数据库模块，用于存储高光谱图像数据以及对应的标注信息；
高光谱图像数据上传模块，用于系统用户填写待上传的高光谱图像数据文件的所含物质及采集信息，并上传高光谱图像数据文件；
高光谱图像数据标定模块，用于系统用户针对已上传但尚未标注的高光谱图像数据进行标注；
高光谱图像数据分类及检测识别模块，用于对待测高光谱图像文件进行物质检测识别及分类，并返回结果。
本实施例中，系统用户账户可选择上传的高光谱图像数据并检测识别或分类，选择目标检测算法及有监督分类算法，系统的高光谱图像数据分类及检测识别模块对高光谱图像数据分析处理，返回检测识别及分类的结果；
系统的高光谱图像数据分类及检测识别模块利用已发布的标注高光谱数据，基于各种新近的目标检测算法，包含CEM算法、OSP算法、RXD算法等，利用大数据分布式并行算法对物质高光谱数据检测识别处理；基于各种新近的监督分类算法，包含平行多面体分类算法、最大似然分类算法、人工神经元网络分类算法等，利用大数据分布式并行算法对高光谱图像的像素分类处理。
该系统通过共享已标注的高光谱数据、集成现有的先进的目标检测算法及有监督分类算法，为更多的机构、企业提供快速、简单、低成本、可重复且无损耗的定性物质分析。
在一个实施例中，高光谱图像数据上传模块，包括：
填写子模块，用于系统用户填写待上传的高光谱图像数据文件的所含物质及采集信息，包括所含物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件信息；
上传子模块，用于上传经过预处理的高光谱图像数据文件；其中预处理包括：数据格式化、无用数据剔除、亮度到反射率的转化和辐射校正。
参照图2所示，系统用户账户上传高光谱图像数据文件流程如下：
1.登录系统用户账户；
2.填写待上传的高光谱图像数据文件的所含物质及采集信息，包括但不限于所含物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件等；如果是待测的高光谱图像文件，可以忽略所含物质信息的填写；
3.上传高光谱图像数据文件，经过预处理的数据，包括数据格式化、无用数据剔除、亮度到反射率的转化、辐射校正等；
4.确认上传高光谱图像数据文件及相关信息，系统将高光谱图像数据的物质及采集信息保存于集群部署的关系型数据库中，比如MySQL；系统将高光谱图像文件保存于集群部署的大文件储存系统中，比如Hadoop；
5.系统用户账户上传高光谱图像数据文件流程结束。
在一个实施例中，高光谱图像数据标定模块，包括：
第一选择子模块，用于获取系统用户选择高光谱图像中的某一像素点；
获取子模块，用于获取所述选择子模块选择的某一像素点对应的光谱曲线；
标注子模块，用于标注所述某一像素点对应的光谱曲线，填写所述光谱曲线对应的物质及采集信息，包括物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件信息。
参照图3所示，系统用户账户标注高光谱数据流程如下：
1).登录系统用户账户；
2).选择本账户已上传但尚未标注的高光谱图像数据；
3).选择高光谱图像中的某一像素点；
4).获取此像素点的光谱曲线；
5).标注此像素点的光谱曲线，填写此光谱曲线对应的物质及采集信息，包括但不限于物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件等；
6).保存此光谱曲线及其对应的物质及采集信息至集群部署的关系型数据库；
7).是否需要继续在选中的高光谱图像上选择其他像素点并标注高光谱数据；
8).如果继续标注，则重复3)～7)的操作；如果结束标注，则系统用户账户标注高光谱数据流程结束。
在一个实施例中，系统管理员账户模块，包括：
选择标注子模块，用于选择待审批的系统用户账户标注的高光谱数据；
校验标注子模块，用于校验标注的高光谱数据，如果通过，则发布该标注的高光谱数据，应用于高光谱图像数据分类及检测识别模块；如果拒绝，则此标注的高光谱数据不被发布。
参照图4所示，系统管理员账户审批标注的高光谱数据流程如下：
(1)登录系统管理员账户；
(2)选择待审批的系统用户账户标注的高光谱数据；
(3)校验标注的高光谱数据，如果通过，则发布此标注的高光谱数据，即此数据可以被应用于高光谱图像数据分类及检测识别模块；如果拒绝，则此标注的高光谱数据不被发布；
(4)判断是否有其他待审批的高光谱数据；如果有，则重复(2)、(3)步骤；如果没有，则系统管理员账户审批标注的高光谱数据流程结束。
在一个实施例中，高光谱图像数据分类及检测识别模块，包括：
第二选择子模块，用于选择系统用户已上传的待测高光谱图像文件；以及选择目标检测算法或有监督分类算法；
识别子模块，基于高光谱图像数据库模块中已标注的高光谱数据，利用目标检测算法及有监督分类算法，结合大数据的分布式并行算法，对待测高光谱图像做物质检测识别及分类；
返回子模块，用于返回所述识别子模块的识别结果。
参照图5所示，系统用户账户对高光谱图像做物质检测识别及分类流程如下：
a.登录系统用户账户；
b.选择本账户已上传的待测高光谱图像文件；
c.选择目标检测算法或有监督分类算法；
d.基于系统中已标注的高光谱数据，利用目标检测算法及有监督分类算法，结合大数据的分布式并行算法，比如Spark，对高光谱图像做物质检测识别及分类；
e.返回物质分类及检测识别结果；
f.系统用户账户对高光谱图像做物质检测识别及分类流程结束。
本发明实施例提供的一种基于大数据平台的高光谱物质检测识别系统，解决了具备高光谱成像技术的机构、企业如何共享标注的高光谱数据的问题，并利用共享的标注高光谱数据对高光谱图像做有监督分类及物质检测识别。利用大数据平台的数据共享实现单一机构或企业所无法完成的物质高光谱数据采集及标定工作，结合先进的目标检测算法及有监督分类算法实现快速、简单、低成本、可重复且无损耗的定性物质检测识别。
基于同一发明构思，本发明实施例还提供了一种基于大数据平台的高光谱物质检测识别方法，由于该方法所解决问题的原理基于上述大数据平台的高光谱物质检测识别系统，因此该方法的实施可以参见前述系统的实施，重复之处不再赘述。
参照图6所示，基于大数据平台的高光谱物质检测识别方法，包括：
S10：获取系统用户上传的待测高光谱图像文件，并获取所述系统用户的选择请求；所述选择请求包括：选择目标检测算法或有监督分类算法；
S20：基于大数据平台中已标注的高光谱数据，利用所述选择请求对应的选择算法，结合大数据的分布式并行算法，对所述待测高光谱图像文件做物质检测识别及分类；
S30、返回所述待测高光谱图像文件对应的物质分类及检测识别结果。
该方法基于大数据平台中存储共享标注的高光谱数据，可进行智能高效的检测识别物质、准确全面的对高光谱图像做有监督分类、提供更全面的无损耗的定性物质分析服务，从而避免人力物力的重复工作、避免社会资源的浪费，最终结合目标检测算法及有监督分类算法实现快速、简单、低成本、可重复且无损耗的定性物质检测识别。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种基于大数据平台的高光谱物质检测识别系统，其特征在于，包括：
系统管理员账户模块、系统用户账户模块、高光谱图像数据库模块、高光谱图像数据上传模块、高光谱图像数据标定模块、高光谱图像数据分类及检测识别模块；
其中，所述系统管理员账户模块，用于负责审核系统用户账户、负责审核标注的高光谱数据；
所述系统用户账户模块，用于为机构、企业、个人注册服务，并通过该系统用户账户模块实现高光谱图像数据上传、高光谱图像数据标定以及选择算法，并用于查看检测识别结果；
所述高光谱图像数据库模块，用于存储高光谱图像数据以及对应的标注信息；
所述高光谱图像数据上传模块，用于系统用户填写待上传的高光谱图像数据文件的所含物质及采集信息，并上传高光谱图像数据文件；
所述高光谱图像数据标定模块，用于系统用户针对已上传但尚未标注的高光谱图像数据进行标注；所述高光谱图像数据标定模块，包括：
第一选择子模块，用于获取系统用户选择高光谱图像中的某一像素点；
获取子模块，用于获取所述选择子模块选择的某一像素点对应的光谱曲线；
标注子模块，用于标注所述某一像素点对应的光谱曲线，填写所述光谱曲线对应的物质及采集信息，包括物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件信息；
所述高光谱图像数据分类及检测识别模块，用于对待测高光谱图像文件进行物质检测识别及分类，并返回结果；
所述高光谱图像数据分类及检测识别模块，包括：
第二选择子模块，用于选择系统用户已上传的待测高光谱图像文件；以及选择目标检测算法或有监督分类算法；目标检测算法包含CEM算法、OSP算法、RXD算法，利用大数据分布式并行算法对物质高光谱数据检测识别处理；有监督分类算法，包含平行多面体分类算法、最大似然分类算法、人工神经元网络分类算法，利用大数据分布式并行算法对高光谱图像的像素分类处理;
识别子模块，基于高光谱图像数据库模块中已标注的高光谱数据，利用目标检测算法及有监督分类算法，结合大数据的分布式并行算法，对待测高光谱图像做物质检测识别及分类；
返回子模块，用于返回所述识别子模块的识别结果。
2.如权利要求1所述的一种基于大数据平台的高光谱物质检测识别系统，其特征在于，所述高光谱图像数据上传模块，包括：
填写子模块，用于系统用户填写待上传的高光谱图像数据文件的所含物质及采集信息，包括所含物质所属的层级类别、物质名称、描述、采集设备信息及采集环境条件信息；
上传子模块，用于上传经过预处理的高光谱图像数据文件；其中预处理包括：数据格式化、无用数据剔除、亮度到反射率的转化和辐射校正。
3.如权利要求1所述的一种基于大数据平台的高光谱物质检测识别系统，其特征在于，所述系统管理员账户模块，包括：
选择标注子模块，用于选择待审批的系统用户账户标注的高光谱数据；
校验标注子模块，用于校验标注的高光谱数据，如果通过，则发布该标注的高光谱数据，应用于高光谱图像数据分类及检测识别模块；如果拒绝，则此标注的高光谱数据不被发布。
4.一种基于大数据平台的高光谱物质检测识别方法，其特征在于，使用如权利要求1-3任一项所述的基于大数据平台的高光谱物质检测识别系统，该方法包括以下步骤：
S10：获取系统用户上传的待测高光谱图像文件，并获取所述系统用户的选择请求；所述选择请求包括：选择目标检测算法或有监督分类算法；
S20：基于大数据平台中已标注的高光谱数据，利用所述选择请求对应的选择算法，结合大数据的分布式并行算法，对所述待测高光谱图像文件做物质检测识别及分类；
S30、返回所述待测高光谱图像文件对应的物质分类及检测识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110198674.7A CN112905823B (zh) | 2021-02-22 | 2021-02-22 | 一种基于大数据平台的高光谱物质检测识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110198674.7A CN112905823B (zh) | 2021-02-22 | 2021-02-22 | 一种基于大数据平台的高光谱物质检测识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112905823A CN112905823A (zh) | 2021-06-04 |
| CN112905823B true CN112905823B (zh) | 2023-10-31 |
Family
ID=76124540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110198674.7A Active CN112905823B (zh) | 2021-02-22 | 2021-02-22 | 一种基于大数据平台的高光谱物质检测识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905823B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117271534B (zh) * | 2023-11-23 | 2024-03-05 | 长春汽车工业高等专科学校 | 一种汽车零部件的光谱检测方法及系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745233A (zh) * | 2014-01-23 | 2014-04-23 | 西安电子科技大学 | 基于空间信息迁移的高光谱图像分类方法 |
| CN104376335A (zh) * | 2014-11-13 | 2015-02-25 | 河南理工大学 | 一种基于信息熵的半监督高光谱遥感影像分类方法 |
| CN104699462A (zh) * | 2015-03-13 | 2015-06-10 | 哈尔滨工程大学 | 一种高光谱目标实时探测的gpu并行处理方法 |
| CN107024433A (zh) * | 2016-02-02 | 2017-08-08 | 苏州三星电子有限公司 | 一种检测冰箱内食物新鲜度的方法及系统 |
| CN108335300A (zh) * | 2018-06-22 | 2018-07-27 | 北京工商大学 | 一种基于cnn的食品高光谱信息分析系统与方法 |
| CN108372133A (zh) * | 2018-05-16 | 2018-08-07 | 江西农业大学 | 一种高光谱自动水果无损检测分拣装置 |
| CN109480774A (zh) * | 2018-10-22 | 2019-03-19 | 合刃科技（武汉）有限公司 | 一种基于高光谱数据的智能监控系统 |
| CN109598144A (zh) * | 2018-12-07 | 2019-04-09 | 暨南大学 | 一种质谱数据资产管理系统及方法 |
| EP3545491A1 (en) * | 2016-11-22 | 2019-10-02 | Universidad de Las Palmas de Gran Canaria | Method of non-invasive detection of tumour and/or healthy tissue and hyperspectral imaging apparatus |
| CN110309868A (zh) * | 2019-06-24 | 2019-10-08 | 西北工业大学 | 结合无监督学习的高光谱图像分类方法 |
| WO2019214453A1 (zh) * | 2018-05-11 | 2019-11-14 | 深圳双猴科技有限公司 | 一种内容分享系统、方法、标注方法、服务器及终端设备 |
| JP6679188B1 (ja) * | 2018-10-19 | 2020-04-15 | 株式会社御池鐵工所 | 廃棄物選別装置及び廃棄物選別方法 |
| CN111523582A (zh) * | 2020-04-16 | 2020-08-11 | 厦门大学 | 一种基于迁移学习的跨仪器拉曼光谱定性分析方法 |
| CN111783884A (zh) * | 2020-06-30 | 2020-10-16 | 山东女子学院 | 基于深度学习的无监督高光谱图像分类方法 |
| CN111815617A (zh) * | 2020-07-22 | 2020-10-23 | 吉林大学 | 一种基于高光谱的眼底图像检测方法 |
| CN111899033A (zh) * | 2020-07-09 | 2020-11-06 | 西安交通大学 | 基于区块链和高光谱的物品数字身份构建系统和方法 |
| CN111914728A (zh) * | 2020-07-28 | 2020-11-10 | 河海大学 | 高光谱遥感影像半监督分类方法、装置及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9025850B2 (en) * | 2010-06-25 | 2015-05-05 | Cireca Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
| KR20170102459A (ko) * | 2014-11-06 | 2017-09-11 | 라모트 앳 텔-아비브 유니버시티 리미티드 | 스펙트럼 이미징 방법 및 시스템 |
| US11125619B2 (en) * | 2015-01-14 | 2021-09-21 | Technological Resourses Pty. Limited | Hyperspectral imager method and apparatus |
| US10496883B2 (en) * | 2017-01-27 | 2019-12-03 | Signal Processing, Inc. | Method and system for enhancing predictive accuracy of planet surface characteristics from orbit |
| WO2018165605A1 (en) * | 2017-03-09 | 2018-09-13 | Northwestern University | Hyperspectral imaging sensor |
| JP6951753B2 (ja) * | 2018-03-27 | 2021-10-20 | エバ・ジャパン 株式会社 | 情報探索システム及びプログラム |
-
2021
- 2021-02-22 CN CN202110198674.7A patent/CN112905823B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745233A (zh) * | 2014-01-23 | 2014-04-23 | 西安电子科技大学 | 基于空间信息迁移的高光谱图像分类方法 |
| CN104376335A (zh) * | 2014-11-13 | 2015-02-25 | 河南理工大学 | 一种基于信息熵的半监督高光谱遥感影像分类方法 |
| CN104699462A (zh) * | 2015-03-13 | 2015-06-10 | 哈尔滨工程大学 | 一种高光谱目标实时探测的gpu并行处理方法 |
| CN107024433A (zh) * | 2016-02-02 | 2017-08-08 | 苏州三星电子有限公司 | 一种检测冰箱内食物新鲜度的方法及系统 |
| EP3545491A1 (en) * | 2016-11-22 | 2019-10-02 | Universidad de Las Palmas de Gran Canaria | Method of non-invasive detection of tumour and/or healthy tissue and hyperspectral imaging apparatus |
| WO2019214453A1 (zh) * | 2018-05-11 | 2019-11-14 | 深圳双猴科技有限公司 | 一种内容分享系统、方法、标注方法、服务器及终端设备 |
| CN108372133A (zh) * | 2018-05-16 | 2018-08-07 | 江西农业大学 | 一种高光谱自动水果无损检测分拣装置 |
| CN108335300A (zh) * | 2018-06-22 | 2018-07-27 | 北京工商大学 | 一种基于cnn的食品高光谱信息分析系统与方法 |
| JP6679188B1 (ja) * | 2018-10-19 | 2020-04-15 | 株式会社御池鐵工所 | 廃棄物選別装置及び廃棄物選別方法 |
| CN109480774A (zh) * | 2018-10-22 | 2019-03-19 | 合刃科技（武汉）有限公司 | 一种基于高光谱数据的智能监控系统 |
| CN109598144A (zh) * | 2018-12-07 | 2019-04-09 | 暨南大学 | 一种质谱数据资产管理系统及方法 |
| CN110309868A (zh) * | 2019-06-24 | 2019-10-08 | 西北工业大学 | 结合无监督学习的高光谱图像分类方法 |
| CN111523582A (zh) * | 2020-04-16 | 2020-08-11 | 厦门大学 | 一种基于迁移学习的跨仪器拉曼光谱定性分析方法 |
| CN111783884A (zh) * | 2020-06-30 | 2020-10-16 | 山东女子学院 | 基于深度学习的无监督高光谱图像分类方法 |
| CN111899033A (zh) * | 2020-07-09 | 2020-11-06 | 西安交通大学 | 基于区块链和高光谱的物品数字身份构建系统和方法 |
| CN111815617A (zh) * | 2020-07-22 | 2020-10-23 | 吉林大学 | 一种基于高光谱的眼底图像检测方法 |
| CN111914728A (zh) * | 2020-07-28 | 2020-11-10 | 河海大学 | 高光谱遥感影像半监督分类方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 高光谱图像分类的研究进展;闫敬文 等;《光学精密工程》;20190430;第27卷(第3期);第2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112905823A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Wheat ear counting using K-means clustering segmentation and convolutional neural network | |
| Ivašić-Kos et al. | Human detection in thermal imaging using YOLO | |
| CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
| CN104881865A (zh) | 基于无人机图像分析的森林病虫害监测预警方法及其系统 | |
| Weaver et al. | LeafMachine: Using machine learning to automate leaf trait extraction from digitized herbarium specimens | |
| US8117528B2 (en) | Information handling | |
| CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
| CN103034838A (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
| CN113869162A (zh) | 一种基于人工智能的违章识别方法及系统 | |
| CN112905823B (zh) | 一种基于大数据平台的高光谱物质检测识别系统及方法 | |
| Kiadtikornthaweeyot et al. | Region of interest detection based on histogram segmentation for satellite image | |
| Salvucci et al. | Fast olive quality assessment through RGB images and advanced convolutional neural network modeling | |
| CN114372532A (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
| CN108073873A (zh) | 基于高清智能摄像机的人脸检测与识别系统 | |
| CN117036904A (zh) | 注意力引导的半监督玉米高光谱图像数据扩充方法 | |
| CN109993071A (zh) | 基于遥感影像的变色林木自动识别及调查的方法和系统 | |
| Castillo et al. | A supervised learning approach on rice variety classification using convolutional neural networks | |
| Chen et al. | Convolutional neural network-based pure paint pigment identification using hyperspectral images | |
| KR102576427B1 (ko) | 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체 | |
| CN112633286B (zh) | 一种基于危险品相似率和识别概率的智能安检系统 | |
| Yazdani et al. | Scalable detection of rural schools in africa using convolutional neural networks and satellite imagery | |
| Alam et al. | Crops diseases detection and solution system | |
| CN111488852A (zh) | 一种基于图像识别的缴费智能核查预警系统及预警方法 | |
| CN112464015A (zh) | 一种基于深度学习的图像电子证据筛选方法 | |
| Theuerkauf et al. | A trainable object finder, selector and identifier for pollen, spores and other things: A step towards automated pollen recognition in lake sediments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |