CN107094729A - 粮仓内部害虫的机器视觉检测设备及计数方法 - Google Patents

Abstract

本发明涉及一种粮仓内部害虫的机器视觉检测设备及计数方法，依次包括害虫诱捕器、诱捕器中虫洞入口、落虫板、传感器检测电路、摄像头模块、补光LED灯、图像传输单元以及监控中心、害虫图像分割计数算法。本发明利用多个捕虫器插在粮仓中对害虫进行诱捕，当害虫掉进捕虫器中传感器检测害虫，触发摄像头模块工作获取害虫图像，捕虫器中的摄像头获取到的图像数据通过无线传图模块传到同一个集中器，通过RS485总线将各个图像数据传输至远程的监控中心。监管员可以通过对害虫图像在线检测，准确的了解到害虫的种类和数量，从而确保粮食的安全储藏。

Description

粮仓内部害虫的机器视觉检测设备及计数方法

技术领域

本发明涉及粮仓内部害虫的机器视觉检测设备及计数方法。属于粮食仓储中的检测技术领域，尤其是一种粮仓内害虫的机器视觉检测设备及害虫计数方法。

背景技术

随着科技的发展，机器视觉技术在各个领域已经得到越来越广泛的应用。全世界每年由于虫害而损失的粮食高达10％，对害虫情况的准确预测可以大大的减少粮食的损失，害虫准确预测的条件是准确的获取害虫的数量。国内对粮食仓储的害虫检测方法有探管和诱捕器法、信息素诱集法、灯光诱集法、声测法、电导率检测法、近红外反射光谱识别法、软X-射线成像识别法。

粮仓内部害虫的机器视觉检测能够在线直观观察害虫图像，同时对害虫的计数，由于其图像的相互粘连影响了计数的结果，如何对图像粘连害虫进行准确分割是害虫计数的前提。模糊C均值算法、K-means聚类算法、分水岭算法都能够较好的将害虫从背景中分割出来，但对粘连害虫分割的问题却不能很好的解决。

发明内容

本发明要解决的技术问题是：克服现有技术中由于粮仓害虫不能够在线以图像方式检测观察及计数的难题，提供一种粮仓内部害虫的机器视觉检测设备及害虫计数方法，实现了误差小、速度快、成本低、效率高的害虫在线检测及计数。

本发明解决其技术问题所采用的技术方案是：粮仓内部害虫的机器视觉检测设备及计数方法，依次包括害虫诱捕器、诱捕器中虫洞入口、诱捕器内的白色落虫板、捕虫器内部传感器检测电路、采集图像的摄像头模块、补光LED灯、采集的图像数据进行传输的图像传输单元以及监控中心、采集回来的害虫图像分割计数算法。

所述的害虫诱捕器由光滑的合金圆管制成，其表面有虫洞入口。

为了更好的捕获粮仓害虫，所述的诱捕器虫洞入口呈光滑斜口式，所述的白色落虫板由步进电机控制能够实现自动翻转。所述的补光LED灯置于摄像头模块表面，便于摄像头更清晰的获取图像数据。

所述的传感器检测电路主要包括检测电极和电容检测电路。当害虫经过检测电极之间时，电容值将发生变化，检测到有害虫进入捕虫器。

所述的检测电极采用的是两个相互绝缘的金属材料。

为了便于害虫顺利的从虫洞入口掉到落虫板上面，所述的摄像头模块大小为1/4英寸，置于诱捕器内部，检测电极旁，这样放置将不会影响害虫的掉落。

所述的害虫图像分割计数算法采用改进的凹点检测与精确分割点定位算法实现害虫准确分割，能够准确的将粘连害虫分割开来，实现准确的计数。

所述的采集图像数据进行传输的图像传输单元包括将缓存的图像数据从摄像头模块通过无线模块传送至集中器，最后通过RS485总线将图像数据发送至监控中心。在此，集中器与监控中心之间的通信不限于RS485总线，也包括其它有线与无线通信方式。

所述的害虫图像分割计数算法主要包括粘连害虫的判定、凹点检测、精确分割点定位以及害虫计数。

所述的粘连害虫的判定通过形状因子和单个害虫像素面积确定粘连害虫区域。通过凹点检测、分离点以及单个害虫像素面积进行准确分割点定位。

一种所述的粮仓储粮内害虫的机器视觉检测设备及害虫计数方法具有如下步骤：

①对整个系统进行初始化。

②有害虫掉进捕虫器时，传感器检测电路检测到害虫，害虫掉进捕虫器经过两个相互绝缘的检测电极时，电容将发生变化，通过电容的变化可以判断是否有害虫进入捕虫器。

③处理器发出信号打开补光LED灯，摄像头模块获取图像并缓存。

④将获取的图像数据通过无线模块发送至集中器，集中器通过RS485总线将图像数据传送至监控中心并自动保存。

⑤通过形状因子和单个害虫像素面积来判断图像中害虫的粘连情况。

⑥通过最小外接矩对粘连区域进行提取。

⑦采用改进的凹点检测和分离点对分割点进行准确的定位。

⑧画出分割线，通过连通域标记计算出图中害虫的数量。

步骤①中，整个系统的初始化包括上电复位、图像传感器的初始化以及初始化自动对焦。

步骤②中，由于粮仓害虫具有介电常数，根据公式(ε为极板间介电常数，s为极板面积，d为极板间距离)。当害虫掉入捕虫器时经过两块电极板之间时，极板间的介电常数发生变化，电容值也将发生变化，此时可以判定有害虫掉进捕虫器。

步骤③中，使用CPLD+SDRAM的方式来采集和缓存图像。首先通过CPLD采集害虫图像，然后将采集到的整张图像数据缓存到SDRAM中，再使用SPI分段读取图像数据。

步骤⑤中，形状因子的计算公式为：(S表示害虫连通域的像素面积，C表示对应连通域的边缘周长)。判断原理为：当面积相同时，粘连害虫的凹陷程度越大，其周长也就变得越大，因此T就会变得越小。当害虫处于单个状态时，阈值T就会偏大。当出现多个害虫粘连时，就会出现多个凹陷点，此时周长会相应的增大，T值就会偏小。

步骤⑤中，当个害虫像素面积范围为:S_min-ε<S_i<S_max+ε，其中(ε＜＜S_min)，S_max为样本中害虫的最大面积，S_min为样本中害虫的最小面积，为样本中害虫的平均像素面积，公式为(m为随机抽取的害虫个数)。

步骤⑦中，凹点检测的方法为：首先通过像素相似原理初步选出候选角点，在候选角点中提取出凹点，对这些凹点进行非极大值抑制，找出真正的凹点。分离点确定的方法：对二值化后的粘连害虫进行逐层腐蚀，并用连通域对粘连区域进行实时标记，当连通域个数正好减少的那一次，说明有粘连害虫发生分离，返回上一次腐蚀图，对该图的轮廓进行遍历，寻找存在遍历两次的点，该点即为分离点。

步骤⑦中，分割点定位的方法为：分别计算凹点与分离点的距离，找出距离分离点较小的两个凹点，将这两个凹点初步定为分割点并画出分割线，判断分割出来的害虫面积是否满足S_min-ε<S_i<S_max+ε，如果满足像素面积要求，确定分割点。如果不满足像素面积要求，选出较小的三个点出来，然后进行两两配对，画出分割线，以此类推，直至找到真正的分割点。

本发明的有益效果是，本发明的粮仓内部害虫的机器视觉检测设备及计数方法，解决了粮仓害虫检测需要大量人力物力问题，实现了害虫检测智能化，能够对害虫进行在线检测，实现了误差小，速度快，成本低，效率高的智能化在线检测。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的粮仓内部害虫机器视觉检测设备及计数方法实施结构示意图；

图2是本发明中粮仓内部害虫检测系统示意图；

图3是本发明中粮仓内部害虫机器视觉检测及计数总体流程框图。

图4是本发明中传感器检测电路示意图。

图5是本发明中害虫计数方法的流程图。

图中：1.害虫诱捕器，2.虫洞入口，3.落虫板，4.传感器检测电路，5.摄像头模块，6.补光LED灯，7.图像传输单元，8.监控中心，9.粘连害虫分割计数算法，10.步进电机，11.电极板,12.电容检测电路13.无线模块，14.集中器，15.RS485总线，21.电容检测电路，22，微控制器。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

本发明的一种准确、简单、可靠的机器视觉检测及害虫计数方法，害虫检测及计数实施步骤如下：

1.传感器检测

传感器检测电路如图4所示，该检测电路由两块相互绝缘的电极(11)，电容检测电路(21)以及微控制器(22)组成。两个相互绝缘的电极放置在落虫板的正上方，如图2所示，害虫从两电极之间掉下时电容发生变化，通过电容的变化检测出害虫。由于粮仓害虫具有介电常数，根据公式(ε为极板间介电常数，s为极板面积，d为极板间距离)，当害虫掉入捕虫器时经过两块电极板之间时，极板间的介电常数发生变化，电容值将会发生变化，说明有害虫进入捕虫器。

2.图像采集

采集系统包括摄像头模块和主机模块如图3所示，摄像头模块主要负责图像的采集，图像缓存以及图像的分段输出。主机部分主要负责控制摄像头模块，图像的接收处理以及将图片通过无线模块传送给主机。摄像头模块主要包括图像传感器，CPLD，SDRAM，补光LED。图像传感器采用OV5640进行图像采集，通过无线模块传输给集中器。摄像头模块主要包括图像传感器，CPLD。1/4英寸5百万像素的高性能图像传感器，其体积小，像素高，具有自动聚焦功能适合放在狭窄的捕虫器里进行实时监控。

CPLD在本系统中主要有3个接口分别是OV5640图像采集接口，SDRAM接口，单片机交互接口。OV5640图像采集接口主要作用是采集OV5640的输出图像数据。SDRAM接口负责控制SDRAM的初始化，定时刷新，读写等操作，以达到保存图像的目的。单片机交互接口，此接口的作用是根据单片机发出的控制信号来捕捉帧图像，及回送图像数据给主机。SDAM主要是缓存摄像头拍摄的图片，然后再分段SPI输出，目的是使单片机系统绕开高清拍摄所需的高带宽和大内存，从而只需像驱动低速设备那样控制摄像头模块，花费很少内存(1～2KB)，轻松实现高清拍摄。补光LED主要为摄像头提供良好的拍摄环境，且粮仓害虫聚光，拍摄之前自动打开LED不仅可以拍摄到清晰的图像而且能够吸引害虫。

3.图像数据传输

图像数据传输采用无线和有线相结合的模式，多个主机可通过无线模块向同一个集中器发送图像数据，集中器接收到图像数据后通过RS485总线将图像数据发送至监控中心。

(1)本发明的每个捕虫器上都装有一个nRF24L01无线模块，每个粮仓放置一个nRF24L01模块作为集中器。nRF24L01在接收模式下可以接收6路不同通道的数据，每一个数据通道使用不同的地址，但是共用相同的频道。即6个不同的nRF24L01设置为发送模式后可与同一个设置为接收模式的nRF24L01进行通讯，而设置为接收模式的nRF24L01可以对这6个发射端进行识别。在本发明中，在每个粮仓中插入6个捕虫器作为检测点，捕虫器端都带有无线模块的发送端，在粮仓内放一个无线模块接收端作为集中器，实现多个图像数据向同一个集中器发送图像数据。

(2)采用RS485总线将图像数据从集中器传输到监控中心。RS485是串行数据接口的标准，其抗干扰能力强，传输距离较远，在传输速度为100kbps时，传输距离到达1200m。当传输速度为9600bps时，传输距离可达到15000m。由于RS485不能直接和监控中心的PC机相连因此在PC机和RS485模块之间必须加上一个RS485转RS232的转换电路。该转换电路将两线平衡半双工的RS485信号转换成RS232的串行口的TXD和RXD信号。由于单片机的IO口输出的是电平而转换电路输入端要输入差分电压，因此在单片机机和转换电路之间要加上一个TTL电平转RS485的电路；

4.害虫计数

(1)预处理：预处理主要包括对害虫进行膨胀、腐蚀、开闭运算、重建等形态学方法，由于害虫的毛刺比较多，通过形态学处理来消除二值化图像的噪声，进一步的削弱粘连害虫的粘连程度以及突刺。

(2)粘连区域提取：由于图像中的害虫情况比较复杂，对粘连区域的提取可以减少检测时间增加检测效率。通过形状因子(19)和单个害虫像素面积(20)约束将粘连区域提取出来。(3)对粘连区域进行凹点检测(16)：首先通过像素相似原理初步选出候选角点，在候选角点中提取出凹点，对这些凹点进行非极大值抑制，找出真正的凹点。

(4)分离点的判定：对二值化后的粘连害虫进行逐层腐蚀，并用连通域对粘连区域进行实时标记，当连通域个数正好减少的那一次，说明有粘连害虫发生分离，返回上一次腐蚀图，对该图的轮廓进行遍历，寻找存在遍历两次的点，该点即为分离点。

(5)分割点定位(17)：分别计算凹点与分离点的距离，找出距离分离点较小的两个凹点，将这两个凹点初步定为分割点并画出分割线，判断分割出来的害虫面积是否满足S_min-ε<S_i<S_max+ε，如果满足像素面积要求，确定分割点。如果不满足像素面积要求，选出较小的三个点出来，然后进行两两配对，画出分割线，以此类推，找出符合要求的分割线。分割线确定之后，通过连通域标记法将分割后的害虫数量计算出来。

基本原理为：将捕虫器插入粮食中，当害虫从虫洞入口掉进捕虫器内部，害虫垂直掉落到落虫板上，经过相互绝缘的两个电极，电容值发生变化同时发送命令触发补光灯工作、摄像头模块获取图像，将采集到的图像数据缓存在SDRAM中，然后通过SPI移位寄存器将图像数据分段搬运到主机，主机通过无线模块将图像数据传送到集中器，集中器通过RS485总线远程将图像传送至监控中心。保存图像，通过形状因子和像素面积约束将害虫粘连区域提取出来，采用改进的Harris算法，计算角点的像素相似度找出候选角点，将候选角点中的非凹点剔除，剩下的凹点进行局部非极大值抑制找出真正的凹点。对粘连害虫轮廓进行逐层剥离，找出分离点，通过分离点与凹点的距离以及害虫像素面积约束确定最终的分割点，连接分割点画出分割线。最后，通过连通域标记法计算出害虫的数量。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.粮仓内部害虫的机器视觉检测设备及计数方法，其特征是，依次包括害虫诱捕器(1)、诱捕器中虫洞入口(2)、诱捕器内的白色落虫板(3)、捕虫器内部传感器检测电路(4)、采集图像的摄像头模块(5)、补光LED灯(6)、采集的图像数据进行传输的图像传输单元(7)以及监控中心(8)、采集回来的害虫图像分割计数算法(9)。

2.如权利要求1所述的粮仓内部害虫的机器视觉检测设备及计数方法，其特征是：所述的摄像头模块(5)置于害虫诱捕器(1)内部。

3.如权利要求1所述的粮仓内部害虫的机器视觉检测设备及计数方法，其特征是：所述的害虫图像分割计数算法(9)主要包括粘连害虫的判定(18)、凹点检测(16)、精确分割点定位(17)以及害虫计数。

4.如权利要求3所述的粮仓内部害虫的机器视觉检测设备及计数方法，其特征是：所述的粘连害虫的判定(18)通过形状因子(19)和单个害虫像素面积(20)。通过凹点检测(16)、分离点以及单个害虫像素面积(20)进行精确分割点定位(17)。

5.一种采用权利要求1-4任一项所述的粮仓内部害虫的机器视觉检测设备及计数方法对诱捕器中粮仓害虫进行检测及计数，其特征是具有如下步骤：

①对整个系统进行初始化。

②有害虫掉进诱捕器时，传感器检测电路(4)检测到害虫，害虫掉进捕虫器从两个相互绝缘的检测电极(11)掉下时，电容将发生变化，通过电容的变化可以判断是否有害虫进入捕虫器(1)。

③处理器发出信号打开补光LED灯(6)，摄像头模块(5)获取图像并缓存。

④将获取的图像数据通过无线模块(13)发送至集中器(14)，集中器通过RS485总线(15)将图像数据传送至监控中心(8)并自动保存，且不限于RS485总线传输数据，也包括其它有线与无线传输方式。

⑤通过形状因子(19)和单个害虫像素面积(20)来判断图像中害虫的粘连情况。

⑥通过最小外接矩对粘连区域进行提取。

⑦采用改进的凹点检测(16)和分离点对分割点进行准确的定位。

⑧画出分割线，通过连通域标记计算出图像中害虫的数量。

6.如权利要求5所述的害虫在线检测的方法，其特征是：步骤②中，由于粮仓害虫具有介电常数，根据公式(ε为极板间介电常数，s为极板面积，d为极板间距离)。当害虫掉入捕虫器时经过两块电极板(11)之间时，极板间的介电常数发生变化，电容值也将发生变化，此时可以判定有害虫掉进捕虫器。

7.如权利要求5所述的害虫计数的方法，其特征是：步骤⑤中，形状因子(19)的计算公式为：(S表示害虫连通域的像素面积，C表示对应连通域的边缘周长)。判断原理为：当面积相同时，粘连害虫的凹陷程度越大，其周长也就变得越大，因此T就会变得越小。当害虫处于单个状态时，阈值T就会偏大。当出现多个害虫粘连时，就会出现多个凹陷点，此时周长会相应的增大，T值就会偏小。

8.如权利要求5所述的害虫计数的方法，其特征是：步骤⑤中，单个害虫像素面积(20)范围为:S_min-ε<S_i<S_max+ε，其中(ε＜＜S_min)，S_max为样本中害虫的最大面积，S_min为样本中害虫的最小面积，为样本中害虫的平均像素面积，公式为(m为随机抽取的害虫个数)。

9.如权利要求5所述的害虫计数的方法，其特征是：步骤⑦中，凹点检测(16)的方法为：首先通过像素相似原理初步选出候选角点，在候选角点中提取出凹点，对这些凹点进行非极大值抑制，找出真正的凹点。分离点确定的方法：对二值化后的粘连害虫进行逐层腐蚀，并用连通域对粘连区域进行实时标记，当连通域个数正好减少的那一次，说明有粘连害虫发生分离，返回上一次腐蚀图，对该图的轮廓进行遍历，寻找存在遍历两次的点，该点即为分离点。

10.如权利要求5所述的害虫计数的方法，其特征是：步骤⑦中，精确分割点定位(17)的方法为：分别计算凹点与分离点的距离，找出距离分离点较小的两个凹点，将这两个凹点初步定为分割点并画出分割线，判断分割出来的害虫面积是否满足S_min-ε<S_i<S_max+ε，如果满足单个害虫像素面积(20)要求，确定分割点。如果不满足像素面积要求，选出较小的三个点出来，然后进行两两配对，画出分割线，以此类推，直至找到真正的分割点。