CN103744777B - 检测方法及使用该检测方法检测茶叶含水量的用途 - Google Patents

检测方法及使用该检测方法检测茶叶含水量的用途 Download PDF

Info

Publication number
CN103744777B
CN103744777B CN201310737196.8A CN201310737196A CN103744777B CN 103744777 B CN103744777 B CN 103744777B CN 201310737196 A CN201310737196 A CN 201310737196A CN 103744777 B CN103744777 B CN 103744777B
Authority
CN
China
Prior art keywords
detection method
storm
physical quantity
cluster
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310737196.8A
Other languages
English (en)
Other versions
CN103744777A (zh
Inventor
邓水光
李钰金
李浬
徐亦飞
尹建伟
李莹
吴健
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201310737196.8A priority Critical patent/CN103744777B/zh
Publication of CN103744777A publication Critical patent/CN103744777A/zh
Application granted granted Critical
Publication of CN103744777B publication Critical patent/CN103744777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明实施例提供一种检测方法,包括以下步骤:1)建立图谱信息与物理量的模型;2)运行Storm集群,根据测得的物理量以模型为依据输出图谱;3)根据输出图谱实时检测物理量。上述检测方法可以实现高光谱遥感技术在检测方法上的应用。

Description

检测方法及使用该检测方法检测茶叶含水量的用途
技术领域
本发明涉及一种检测方法,尤其涉及一种图像分析的检测方法。
背景技术
高光谱遥感技术自20世纪80年代诞生以来高速发展,不断突破创新。高光谱遥感技术利用成像光谱扫描仪,以纳米级的光谱分辨率对被观测物体同时产生数百个波段的影像,能够记录被测物的连续光谱信息。高光谱遥感技术具有“图谱合一”的特性,使得人类在遥感领域又向前迈进了一大步。
高光谱遥感技术目前被广泛应用于石油化工,食品工程、医疗制药等行业。主要应用于产品或者原材料的无损检测和无损质量评估,典型应用于苹果、茶叶、酸奶、石油的品质检测、分级,取得了很好的效果。然而,高光谱遥感技术的应用仍存在巨大的挑战,其中最主要的挑战在于:高光谱遥感技术的图谱数据量极大,但是这种多维度的数据对处理、传输、存储等过程提出了很高的要求。
发明内容
针对现有技术存在的缺陷,本发明的目的在于提供一种易于实现的高光谱遥感技术的检测方法。
为解决以上技术问题,本发明提供的技术方案是,一种检测方法,包括以下步骤:
1)建立图谱信息与物理量的模型;
2)运行Storm集群,根据测得的物理量以模型为依据输出图谱;
3)根据输出图谱实时检测物理量。
优选的,所述检测方法还包括建立Zookeeper集群,所述Zookeeper集群可以并行运行Storm集群。
优选的,所述建立Zookeeper集群步骤位于步骤1和步骤2之间。
优选的,所述步骤2)包括以下分步骤:
2.1搭建Storm集群;
2.2编写Storm的Topology;
2.3建立位置与像素点信息的关系;
2.4根据模型输入像素点信息输出位置;
2.5建立位置与物理量的关系;
2.6启动Storm集群;
2.7提交Storm的Topology。
优选的,所述步骤1)采用SVM方法建立图谱信息与物理量的模型。
优选的,所述检测方法检测茶叶含水量的用途,所述物理量为茶叶的含水率。
与现有技术相比,本发明至少具有如下技术效果:缓冲装置浮动地搭接在进料盘上使得进料盘供料平稳。
附图说明
图1为本发明涉及的检测方法示意图;
图2为本发明检测方法流程示意图;
图3为本发明检测结果示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
在高光谱遥感技术的检测方法的数据处理阶段,人们普遍使用并行计算来对海量数据进行实时处理。所谓并行计算,就是使用多线程、多进程,甚至多台计算机协同工作,在时间上并行的处理数据的方式。以并行计算思想开发的软件,在适合于并行计算的情形下能提供很高的处理速度和实时处理的延时,并且能够以线性方式对现有并行计算系统进行扩展,从而以较低的成本获得高的任务处理速度,节省任务处理耗时,实现真正的工业应用投放。但是并行计算思想开发的软件自问世以来一直受到业界的质疑。通常,并行计算编程花费的开发成本远远高于串行计算编程花费的开发成本,再考虑测试验证阶段的复杂度、后期维护的繁琐性,以及缺陷定位工作上的艰难程度,实际应用中使用并行计算思想的处理软件稳定性难以得到保证。
Storm(Twitter公司开发)是一个开源的流式计算引擎。Storm流式计算引擎对问题进行分解,将问题的每一个处理步骤进行抽象,定义成Storm拓扑结构中的组件可以解决的子问题。增加组件的个数,提高计算的并行度,实现普通的并行计算问题解决方案。使用Storm框架,仅需要在Storm的组件上完成具体任务的业务逻辑代码开发,并且简单的定义整个拓扑结构,就可以轻松使用并行计算技术,实现毫秒级的实时计算。
Storm流式计算引擎,对高光谱遥感技术采集到的图谱数据分多个维度开展并行。一种方式是对像素维度的并行。将一张高光谱遥感技术采集到的图谱的所有像素点拆分。单独通过模型进行计算、验证、预测,然后再进行整合,将会得到与对整幅图谱串行处理得到的结果完全一致的结果。同时可以极大的缩短处理时间,改变以往“高光谱遥感技术不可能直接用于工业生产中对产品的质量的实时检测方法”的看法。
本发明提供一种使用Storm流式计算引擎检测茶叶含水率的检测方法。
具体技术方案如下:
1.建立模型
a)根据高光谱遥感技术采集到的图谱信息与茶叶含水率信息之间的关系,建立模型,以采用SVM(Support Vector Machine)为例:
i.输入1:图谱信息矩阵为S,每一行向量为一个像素点的高光谱信息,每一列为一个波段的信息。输入2:实测含水率值列向量M,通过SVM方法求的AS=M中的A向量并由此建立茶叶含水率估测模型。
ii.对一个像素点的茶叶含水率估计m可由M=As求得,其中A为上一步骤求的模型的参数,s为该像素点的图谱信息,其中m为列向量M的一个值,s为矩阵S的一个值。
2.搭建Zookeeper集群
a)使用3个节点作为Zookeeper集群为例,增加新的节点,只需稍做修改。在3个节点上安装Zookeeper3.3.3,配置根目录下的zoo.conf,具体可参看http://zookeeper.apache.org/doc/trunk/(官方帮助文档)。
b)在每一台机器上启动Zookeeper,形成Zookeeper集群。
3.搭建Storm集群,集群完成后拓扑如图1。
a)下载Storm源码包(http://github.org/nathanmarz/storm)Storm-0.8.2,上传到服务器。
b)修改hosts文件,添加主机名-ip记录,将集群中的主机的主机名-ip记录全部加入,包括用做supervisor(工作节点)和nimbus(任务分配,协调节点)以及zookeeper(状态管理节点)的机器。使得在集群内部通过主机名访问节点。
c)安装Storm的依赖包:Python-2.6.6.tgz,jdk1.6.0_37.tgz,e2fsprogs-1.42.3_tlinux.tar.gz,zeromq-2.1.7.tar.gz,nathanmarz-jzmq-dd3327d.zip
d)配置storm目录下conf/storm.yaml。
i.修改storm.zookeeper.servers属性,添加所有用做zookeeper的机器的主机名,每个主机名一行,以–“主机名”的格式添加。
ii.修改nimbus.host属性为用作nimbus的主机名。
4.编写Storm的Topology,完成图如图2。
a)创建入口类TopologyMain.java,在main函数中配置一个Spout(ReadingSpout),2个Bolt(EstimatingBolt,UpdatingBolt)。
b)ReadingSpout实现了接口backtype.storm.topology.IRichSpout。
i.在open方法中实现打开图谱文件的方法,使用BufferedReader打开图谱文件。
ii.在nextTuple方法中实现取出图谱文件中位于(x,y)位置像素的图谱信息s,调用emit方法将(x,y,s)信息对发送。
c)EstimtingBolt实现了接口backtype.storm.topology.IRichBolt
i.在execute方法中实现根据光谱信息s使用模型(步骤1中所建立的模型)估算茶叶含水率m,并且调用emit方法将(x,y,m)信息对发送。
d)UpdatingBolt实现了接口backtype.storm.topology.IRichBolt
i.在execute方法中实现了将茶叶含水率m映射成可视化的的rgb值,或者grey灰度值,并且写入一个图像文件的特定位置(x,y)。
5.将Topology打成标准jar包,以TopologyMain.java为入口类。
6.运行Storm集群,在nimbus节点上执行storm nimbus命令,在所有Supervisor节点上执行storm supervisor命令,就可以启动storm集群。
7.提交Topology,将Topology.jar上传到nimbus所在节点,使用命令stormjar Topology.jar TopologyMain启动topology。
8.不断观察输出的图片,文件即可以实现实时的茶叶含水率检测,增加supervisor的数量,修改并发配置可以提高处理的速度,实现毫秒级的实时检测。(示意图如图3)。
通过以上方式可以进一步的开发出数字化、自动化的茶叶生产检测方法,以严格量化的控制方法,生产出高品质的茶叶。
以上是以茶叶含水率为对象的实时检测方法,但本发明内容不仅局限与此,通过替换文中步骤1,即可以实现对其他产品的实时质量检测,产品组成检测。本发明虽然以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (6)

1.一种检测方法,包括以下步骤:
1)建立图谱信息与物理量的模型;
2)运行Storm集群,根据测得的物理量以模型为依据输出图谱;
3)根据输出图谱实时检测物理量;
其中,建立图谱信息与物理量的模型包括以下步骤:
根据高光谱遥感技术采集到的图谱信息与茶叶含水率信息之间的关系,建立模型:
i.输入1:图谱信息矩阵为S,每一行向量为一个像素点的高光谱信息,每一列向量为一个波段的信息;输入2:实测含水率值列向量M,通过SVM方法求得AS=M中的A向量并由此建立茶叶含水率估测模型;
ii.对一个像素点的茶叶含水率估计m可由M=As求得,其中A为上一步骤求得模型的参数,s为该像素点的图谱信息,其中m为列向量M的一个值,s为矩阵S的一个值。
2.根据权利要求1所述的检测方法,其特征在于:所述检测方法还包括建立管理员集群,所述管理员集群可以并行运行Storm集群。
3.根据权利要求2所述的检测方法,其特征在于:所述建立管理员集群步骤位于步骤1)和步骤2)之间。
4.根据权利要求1所述的检测方法,其特征在于:所述步骤2)包括以下分步骤:
2.1搭建Storm集群;
2.2编写Storm的Topology;
2.3建立位置与像素点信息的关系;
2.4根据模型输入像素点信息输出位置;
2.5建立位置与物理量的关系;
2.6启动Storm集群;
2.7提交Storm的Topology。
5.根据权利要求1所述的检测方法,其特征在于:所述步骤1)采用SVM方法建立图谱信息与物理量的模型。
6.一种使用权利要求1-5中任一项检测方法检测茶叶含水量的用途,其特征在于:所述物理量为茶叶的含水率。
CN201310737196.8A 2013-12-26 2013-12-26 检测方法及使用该检测方法检测茶叶含水量的用途 Active CN103744777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310737196.8A CN103744777B (zh) 2013-12-26 2013-12-26 检测方法及使用该检测方法检测茶叶含水量的用途

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310737196.8A CN103744777B (zh) 2013-12-26 2013-12-26 检测方法及使用该检测方法检测茶叶含水量的用途

Publications (2)

Publication Number Publication Date
CN103744777A CN103744777A (zh) 2014-04-23
CN103744777B true CN103744777B (zh) 2016-08-24

Family

ID=50501796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310737196.8A Active CN103744777B (zh) 2013-12-26 2013-12-26 检测方法及使用该检测方法检测茶叶含水量的用途

Country Status (1)

Country Link
CN (1) CN103744777B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112504977A (zh) * 2020-11-17 2021-03-16 华南农业大学 茶叶含水率检测方法及其模型构建方法、介质和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309903A (zh) * 2012-03-16 2013-09-18 刘龙 一种基于云计算的位置搜索系统及方法
CN103411846A (zh) * 2013-08-16 2013-11-27 塔里木大学 基于高光谱技术的叶面降尘量测定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050076140A1 (en) * 2003-09-24 2005-04-07 Hei Tao Fung [topology loop detection mechanism]

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309903A (zh) * 2012-03-16 2013-09-18 刘龙 一种基于云计算的位置搜索系统及方法
CN103411846A (zh) * 2013-08-16 2013-11-27 塔里木大学 基于高光谱技术的叶面降尘量测定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
使用Storm实现实时大数据分析;真实的归宿;《博客频道》;20121231;第1-15页 *

Also Published As

Publication number Publication date
CN103744777A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
US11816120B2 (en) Extracting seasonal, level, and spike components from a time series of metrics data
Feng et al. Pavement crack detection and segmentation method based on improved deep learning fusion model
US20140012800A1 (en) Apparatus and method for providing application for processing big data
Tyuleneva Problems and prospects of regional mining industry digitalization
CN102521604A (zh) 一种基于巡检系统的设备性能退化评估装置及方法
CN104966132A (zh) 一种企业运营信息模拟分析方法
Sysoieva et al. Analysis of potential risks of audit of agricultural enterprises
CN111598700A (zh) 一种金融风控系统及方法
CN103744777B (zh) 检测方法及使用该检测方法检测茶叶含水量的用途
CN104680398A (zh) 一种针对电商用户海量行为数据的获取和存储方法
WO2023165145A1 (zh) 时序流量预测方法及装置、存储介质及电子设备
Wu et al. Approaching the potential of model-data comparisons of global land carbon storage
CN107194529B (zh) 基于挖掘技术的配电网可靠性经济效益分析方法及装置
Chung et al. Information extraction methodology by web scraping for smart cities
Somsuk et al. Determining and classifying drivers of sustainable competitive advantages in green supply chain management: Resource-based and relational views
CN110880151A (zh) 一种放心农产品质量安全追溯链条关联分析系统
Huang et al. Development of cloud computing based intelligent integrated manufacturing system
CN110909996A (zh) 基于lm神经网络的自助行李托运系统运行效率评估方法
Jiang et al. Using geo-targeted social media data to detect outdoor air pollution
Sokolov et al. A new approach to reduce time consumption of data quality assessment in the field of energy consumption
CN105631029A (zh) 基于用户主观行为分析的网络监控系统
US20240104108A1 (en) Granular Signals for Offline-to-Online Modeling
Yuan et al. Federated deep learning algorithm for RPA network security detection
Wen et al. Applying latest data science technology in cancer screening programs
CN103942423B (zh) 基于联动协同原理的Android数字取证分析方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Deng Shuiguang

Inventor after: Li Yujin

Inventor after: Li Li

Inventor after: Xu Yifei

Inventor after: Yin Jianwei

Inventor after: Li Ying

Inventor after: Wu Jian

Inventor after: Wu Chaohui

Inventor before: Deng Shuiguang

Inventor before: Li Li

Inventor before: Xu Yifei

Inventor before: Yin Jianwei

Inventor before: Li Ying

Inventor before: Wu Jian

Inventor before: Wu Chaohui

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant