CN112907516B - 一种用于穴盘育苗的甜玉米种子识别方法及装置 - Google Patents
一种用于穴盘育苗的甜玉米种子识别方法及装置 Download PDFInfo
- Publication number
- CN112907516B CN112907516B CN202110113679.5A CN202110113679A CN112907516B CN 112907516 B CN112907516 B CN 112907516B CN 202110113679 A CN202110113679 A CN 202110113679A CN 112907516 B CN112907516 B CN 112907516B
- Authority
- CN
- China
- Prior art keywords
- plug
- image
- seed
- hsv
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 87
- 241000482268 Zea mays subsp. mays Species 0.000 title claims abstract description 79
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 37
- 230000000877 morphologic effect Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 18
- 240000008042 Zea mays Species 0.000 claims description 8
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 claims description 8
- 235000005822 corn Nutrition 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 241000231392 Gymnosiphon Species 0.000 claims description 2
- 238000010899 nucleation Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 9
- 239000000758 substrate Substances 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- KDXKERNSBIXSRK-UHFFFAOYSA-N Lysine Natural products NCCCCC(N)C(O)=O KDXKERNSBIXSRK-UHFFFAOYSA-N 0.000 description 1
- 239000004472 Lysine Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 150000001413 amino acids Chemical class 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011573 trace mineral Substances 0.000 description 1
- 235000013619 trace mineral Nutrition 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Abstract
一种用于穴盘育苗的甜玉米种子识别方法，分别对穴盘中待育苗的甜玉米种子进行识别，同时采用：基于RGB色彩空间的种子识别方法和基于HSV空间的种子识别方法，分别得到RGB种子识别结果和HSV种子识别结果；再对RGB种子识别结果和HSV种子识别结果利用投票机制得到甜玉米种子的识别结果。本发明是为了识别育苗穴盘中的甜玉米种子，进而分析出甜玉米种子漏播的情况，为机械化补种奠定技术基础，实现甜玉米育苗过程中的精量化、准确化播种，提高育苗机的自动化、智能化水平。
Description
技术领域
本发明公开一种用于穴盘育苗的甜玉米种子识别方法及装置，适用于农用机械设备的技术领域。
背景技术
甜玉米是普通玉米的变种，因其含糖量高，富含赖氨酸、蛋白质、脂肪和多种氨基酸，富含多种维生素(VB1、VB2、VB6、VC、VPP)和微量元素，营养价值较高，受到广大消费者的青睐。甜玉米的种植日趋工厂化，其中甜玉米机械化育苗是甜玉米种植的关键技术环节之一。
甜玉米机械化育苗相对于传统人工育苗方式具有效率高、出苗率高、人力成本低、便于后续机械化移栽等优势，但是在甜玉米机械化育苗过程中，常见气吸滚筒式或针式精量播种机因气路堵塞、震动等干扰，出现甜玉米种子漏播的情况，育苗穴盘的空穴率为5％～20％。
为提高育苗的效率，通常采用人工的方式对漏播的空穴进行补种，但是通常效率低下，因此采用机械化补种的方式受到育苗企业的青睐，尤其在现有机械化设备中增加相关的人工智能算法以准确识别漏播、并及时补种的技术领域。
例如，中国专利文献：CN111126222A公开一种基于神经网络的穴盘苗空穴识别方法以及穴盘苗补苗系统，对穴盘苗图像进行了预处理，将整个穴盘图像按照穴盘规格拆分成多个穴孔图像，将识别转化成单个穴孔图像的二分类识别问题，构建了LeNet-5卷积神经网络识别模型，采用Relu和Sigmoid两种激活函数，使用交叉熵损失函数，通过正则化和数据增强技术，本发明的技术方案提高了卷积神经网络的穴盘苗识别模型具有较高的识别准确率和泛化能力，解决了穴盘苗补苗装置识别准确度低的技术问题，提高了空穴盘苗的识别精度，进一步提升了全自动蔬菜的移栽效果。该文献采用了神经网络的图像识别技术，但是针对识别方法需要前期进行大量的数据集训练，才能获得较为准确的识别结果和补种指导信息。
中国专利文献CN111480430A公开一种分选移栽装置及方法，该分选移栽装置包括：机架；穴盘输送组件，其中的原始穴盘输送带用于输送待分选移栽的原始穴盘苗，多个分级穴盘输送带用于输送不同级别的分级穴盘苗；第一移动组件，根据控制信号同步驱动第一同步带组和第二同步带组使得滑轨沿着第一方向和/或第三方向移动；第二移动组件，根据控制信号驱动多个滑块使得多个拾取机构沿着第二方向移动；视觉分级组件，用于采集原始穴盘苗的图像，根据分级算法识别图像以对原始穴盘苗分级，得到分级穴盘苗；控制组件，用于根据分级穴盘苗的级别和相应级别的分级穴盘的空穴孔位置信息，提供控制信号。该分选移栽装置提高了穴盘苗的分选移栽作业效率和商品苗成苗质量。但是该文献是用于对穴盘中的育苗进行分级，并不能针对穴盘内的空穴位置进行有效识别，并提供给补种装置或者人员进行有效参考。
综上，目前针对机械化补种的设备依然尚未成熟。
发明内容
针对现有技术的不足，本发明公开一种用于穴盘育苗的甜玉米种子识别方法。
本发明还公开能够实现上述识别方法的装置。
本发明是为了识别育苗穴盘中的甜玉米种子，进而分析出甜玉米种子漏播的情况，为机械化补种奠定技术基础，实现甜玉米育苗过程中的精量化、准确化播种，提高育苗机的自动化、智能化水平。
本发明详细的技术方案如下：
一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，分别对穴盘中待育苗的甜玉米种子进行识别，同时采用：
基于RGB色彩空间的种子识别方法和基于HSV空间的种子识别方法，分别得到RGB种子识别结果和HSV种子识别结果；
再对RGB种子识别结果和HSV种子识别结果利用投票机制得到甜玉米种子的识别结果。
根据本发明优选的，根据甜玉米种子的识别结果、穴盘的规格，最终确定空穴位置。
根据本发明优选的，在对穴盘中待育苗的甜玉米种子进行识别之前，对穴盘整体图像进行预处理：
首先，提取穴盘位置的ROI区域，形成穴盘图像；其次，对所述穴盘图像进行矫正，在本发明所述的方法中，因为相机获取的原始图像包含一定的背景信息，所以本方明首先提取穴盘位置的ROI区域，因为穴盘在传输过程中可能存在一定倾斜，会影响后续空穴的精确定位，所以本发明利用边缘检测算法对穴盘图像进行矫正。
根据本发明优选的，所述基于RGB色彩空间的种子识别方法包括：阈值化、中值滤波、形态学处理、种子轮廓提取、种子轮廓面积计算、种子筛选处理，得到初步的种子位置；
所述基于HSV空间的种子识别方法包括：阈值化、中值滤波、形态学处理、种子轮廓提取、种子轮廓面积计算、种子筛选处理，得到初步的种子位置。
根据本发明优选的，对所述穴盘图像进行矫正的方法为：
(1)对图像进行分通道阈值化处理，得到灰度图像；
(2)然后提取灰度图像轮廓，计算轮廓面积，选取轮廓面积最大者作为穴盘的轮廓，这个轮廓是为了矫正穴盘位置，让穴盘平行，方便后续确定穴孔的精确位置；
(3)提取穴盘轮廓最小面积的外接矩形，作为穴盘有效区域；
(4)根据穴盘的最小面积外接矩形，得到矩形的四个顶点A(ua,va)、B(ub,vb)、C(uc,vc)、D(ud，vd)，然后计算单边的旋转角度：
利用上述公式计算四个边的旋转角度，然后求其平均值作为所述外接矩形最终的旋转角度θ；
(5)根据旋转角度对图像进行旋转变换，将原始图像的像素点P(u,v)变为新的像素点P(u′,v′):
最终得到矫正的图像。
根据本发明优选的，所述基于RGB色彩空间的种子识别方法，本发明通过分析大量的图像，选取合理的RGB色彩空间阈值对图像进行处理，然后再进行甜玉米种子的识别，包括：
1)阈值化：通过分析多张甜玉米种子图像，为更准确的识别甜玉米种子，即保留图像内偏黄色的区域，得到阈值化后的灰度图像：
2)中值滤波：对灰度图像进行中值滤波算法处理，形成滤波后的图像；
3)形态学处理：采用形态学处理(闭运算)对滤波后的图像进行处理；
4)计算轮廓面积：根据得到的轮廓信息，计算轮廓面积，将小于一定面积阈值的轮廓剔除掉；
5)种子筛选：根据剔除后的轮廓信息，得到轮廓的外接矩形，将其作为候选的甜玉米种子。
根据本发明优选的，所述基于HSV空间的种子识别方法，由于RGB色彩空间容易受到光照的影响，所以本发明又采用基于HSV空间的种子识别算法，提高种子识别的鲁棒性，包括：
1)阈值化：为保留图像内种子偏黄色的区域，得到阈值化后的灰度图像；
2)中值滤波：对灰度图像进行中值滤波算法处理，形成滤波后的图像；
3)形态学处理：采用形态学处理(闭运算)对滤波后的图像进行处理；
4)提取轮廓：根据形态学处理后的图像，对图像中存在的轮廓进行识别、提取；
5)计算轮廓面积：根据得到的轮廓信息，计算轮廓面积，将低于一定面积阈值的轮廓剔除掉；
6)种子筛选：根据剔除后的轮廓信息，得到轮廓的外接矩形，将其作为候选的甜玉米种子。
根据本发明优选的，所述投票机制(由于RGB色彩空间和HSV空间识别到的玉米候选种子区域不一致，所以本发明采用投票机制对二者识别的结果进行融合)得到甜玉米种子的识别结果中投票方法为：
7)划分穴盘：根据穴盘规格信息，将穴盘有效区域划分为符合规格的穴孔，并得到每个穴孔的精确位置信息R(u0,v0,w,h)，其中(u0,v0)表示穴孔左上角顶点的位置，w表示每个穴孔的宽度，h表示每个穴孔的高度；
8)投票：根据划分的穴盘穴孔位置信息以及在RGB色彩空间、HSV空间识别得到的玉米候选种子区域，首先判断单个穴孔内是否存在候选种子区域，RGB色彩空间、HSV空间得到的单个候选种子区域分别为Rrgb(urgb,vrgb,wrgb,hrgb)，Rhsv(uhsv,vhsv,whsv,hhsv)，则判断R∩Rrgb或R∩Rhsv是否为空：
如果为空，则说明该穴孔无种子；
否则根据Rrgb,Rhsv进行投票：
8-1)计算相交区域：R∩＝Rrgb∩Rhsv；
8-2)打分：Rrgb,Rhsv两者相交区域被认为是种子的概率更高，所以本发明在投票时(按面积投票)，赋予相交区域更高的权重α≥2：
其中
表示区域Rrgb(urgb,vrgb,wrgb,hrgb)的面积；
表示区域Rhsv(uhsv,vhsv,whsv,hhsv)的面积，
为区域Rrgb(urgb,vrgb,wrgb,hrgb)与区域Rhsv(uhsv,vhsv,whsv,hhsv)相交区域的面积；
8-3)筛选：根据打分结果以及预先设置的阈值δ，筛选出最终识别的种子区域：
当score≥阈值δ时，则认为该穴孔存在甜玉米种子；
当score＜阈值δ时，则认为该穴孔不存在甜玉米种子。
根据投票结果，判定每一个穴孔内是否具有种子，如果没有，则将该穴孔的精确位置输出(如图21所示)，用于后续的补种。
一种用于穴盘育苗的甜玉米种子识别装置，其特征在于，包括穴盘传送架和图像采集架，所述图像采集架设置在所述穴盘传送架的上部，用于采集穴盘的整体图像；所述图像采集架包括相机1和光源2，在所述光源2周围由光箱3围成拍摄通道；所述装置还包括图像处理模块，用于加载所述用于穴盘育苗的甜玉米种子识别方法。相机位于光源正中心位置，用于拍摄下方的穴盘；光源位于光箱的顶部，用于补光；光箱用于封闭穴盘拍摄区域，减少环境光的干扰。
根据本发明优选的，所述穴盘传送架还包括传送带5、支架7、挡板4、光电开关6，所述挡板4位于所述传送带5上方，所述挡板用于限制穴盘位置，防止穴盘在传输过程中出现较大偏移；所述光电开关6用于检测穴盘是否进入图像采集区域：如果检测到穴盘，光电开关6触发相机1对穴盘进行拍照。
所述装置的工作方法，包括：
首先开启光源2，启动电机带动传送带5开始工作；
将机械播种完成的穴盘沿所述传送带5输送到图像采集架下方，会触发光电开关4；
光电开关会输出信号到相机1，触发相机1对穴盘进行拍照，并将获取的图像传输至所述图像处理模块，利用穴盘育苗的甜玉米种子识别方法确定穴盘中空穴的位置，为后续补种机械提供准确的漏播信息。
本发明的技术优势：
1.本发明可自动矫正穴盘在传输过程中出现的倾斜的问题，避免因倾斜出现种子识别出现的误差。
2.本发明采用RGB色彩空间及HSV空间两种识别方法的结合，并创新式的引入了投票机制，最大限度的保证得到穴盘内种子的识别结果为最优。本发明所述的识别方法可有效避免图像噪声、穴盘内基质对种子识别的干扰。
3.本发明所述识别方法所得到的穴盘内空穴的结果，可用于后续的补种，对于提高穴盘育苗效率具有重要意义。
附图说明：
图1是加载有本发明所述识别方法的识别装置结构示意图；
在图1中，1相机；2光源；3光箱；4挡板；5传送带；6光电开关；7支架；
图2是本发明所述识别装置的工作流程图；
图3是本发明所述一种用于穴盘育苗的甜玉米种子识别方法中种子识别流程图；
图4是采集到的穴盘整体图像；
图5利用本发明所述方法提取穴盘ROI区域示意图；
图6是本发明对所述穴盘图像进行矫正方法中，步骤(1)中阈值化后图像；
图7是穴盘的最小面积外接矩形的示意图；
图8是本发明计算旋转角度的示意图；
图9是本发明对穴盘整体图像矫正后的图像；
图10是基于RGB色彩空间的种子识别方法对穴盘采用RGB色彩空间阈值化后图像；
图11是基于RGB色彩空间的种子识别方法对穴盘采用中值滤波后图像；
图12是基于RGB色彩空间的种子识别方法对穴盘采用形态学处理后图像；
图13是基于RGB色彩空间的种子识别方法对穴盘采用提取轮廓后图像；
图14是基于RGB色彩空间的种子识别方法对穴盘识别的玉米种子的结果图像；
图15是基于HSV空间的种子识别方法对穴盘采用HSV空间阈值化后图像；
图16是基于HSV空间的种子识别方法对穴盘采用中值滤波后图像；
图17是基于HSV空间的种子识别方法对穴盘采用形态学处理后图像；
图18是基于HSV空间的种子识别方法对穴盘采用提取轮廓后图像；
图19是基于HSV空间的种子识别方法对穴盘识别的玉米种子的结果图像；
图20是RGB色彩空间的种子识别图像与HSV空间的种子识别图像的相交的重合结果；
图21本发明所述识别方法最终确定穴盘的空穴位置。
具体实施方式：
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
实施例1、
如图3所示，一种用于穴盘育苗的甜玉米种子识别方法，分别对穴盘中待育苗的甜玉米种子进行识别，同时采用：
基于RGB色彩空间的种子识别方法和基于HSV空间的种子识别方法，分别得到RGB种子识别结果和HSV种子识别结果；
再对RGB种子识别结果和HSV种子识别结果利用投票机制得到甜玉米种子的识别结果。
根据甜玉米种子的识别结果、穴盘的规格，最终确定空穴位置。
在对穴盘中待育苗的甜玉米种子进行识别之前，对穴盘整体图像，如图4所示，进行预处理：
首先，提取穴盘位置的ROI区域，如图5所示，形成穴盘图像；其次，对所述穴盘图像进行矫正。
所述基于RGB色彩空间的种子识别方法包括：阈值化、中值滤波、形态学处理、种子轮廓提取、种子轮廓面积计算、种子筛选处理，得到初步的种子位置；
所述基于HSV空间的种子识别方法包括：阈值化、中值滤波、形态学处理、种子轮廓提取、种子轮廓面积计算、种子筛选处理，得到初步的种子位置。
对所述穴盘图像进行矫正的方法为：
(1)对图像进行分通道阈值化处理，得到灰度图像，如图6所示；
(2)然后提取灰度图像轮廓，计算轮廓面积，选取轮廓面积最大者作为穴盘的轮廓；
(3)提取穴盘轮廓最小面积的外接矩形，作为穴盘有效区域，如图7所示；
(4)根据穴盘的最小面积外接矩形，得到矩形的四个顶点A(ua,va)、B(ub,vb)、C(uc,vc)、D(ud,vd)，然后计算单边的旋转角度：
利用上述公式计算四个边的旋转角度，然后求其平均值作为所述外接矩形最终的旋转角度θ，如图8所示；
(5)根据旋转角度对图像进行旋转变换，将原始图像的像素点P(u,v)变为新的像素点P(u′,v′):
最终得到矫正的图像，如图9所示。
所述基于RGB色彩空间的种子识别方法，本发明通过分析大量的图像，选取合理的RGB色彩空间阈值对图像进行处理，然后再进行甜玉米种子的识别，包括：
1)阈值化：通过分析多张甜玉米种子图像，为更准确的识别甜玉米种子，即保留图像内偏黄色的区域，本发明采用的RGB阈值为R>180,G>180,B<150，得到阈值化后的灰度图像，如图10所示；
2)中值滤波：对灰度图像进行中值滤波算法处理，形成滤波后的图像，因为阈值化后的灰度图像包含穴盘基质以及图像噪声，所以本发明采用中值滤波算法对图像噪声以及穴盘内的基质干扰进行处理，得到如图11所示的图像；
3)形态学处理：采用形态学处理(闭运算)对滤波后的图像进行处理，因为本发明采用RGB色彩空间，仅保留偏黄色区域，导致处理后的种子图像存在空洞，另外中值滤波后的图像仍有部分穴盘基质的干扰，所以本发明采用形态学处理(闭运算)对滤波后的图像进行处理，一是为了消除基质干扰，二是为了填充种子空洞，得到如图12所示的图像，本发明所述闭运算包括：先膨胀运算，再腐蚀运算，用于填平小孔，弥合小裂缝，而总的位置和形状不变，即对图像中存在的轮廓进行识别、提取，得到如图13所示的轮廓；
4)计算轮廓面积：根据得到的轮廓信息，计算轮廓面积，将小于一定面积阈值的轮廓剔除掉，本发明根据甜玉米的平均形态特征及单面展示表面积的特征，优选采用的面积阈值为20pixel；
5)种子筛选：根据剔除后的轮廓信息，得到轮廓的外接矩形，将其作为候选的甜玉米种子，如图14所示。
所述基于HSV空间的种子识别方法，由于RGB色彩空间容易受到光照的影响，所以本发明又采用基于HSV空间的种子识别算法，提高种子识别的鲁棒性，包括：
1)阈值化：为保留图像内种子偏黄色的区域，本发明采用的HSV阈值为15<H<60,S>80,V<100，得到阈值化后的灰度图像，如图15所示；
2)中值滤波：对灰度图像进行中值滤波算法处理，形成滤波后的图像，因为阈值化后的灰度图像包含穴盘基质的干扰以及图像噪声，所以本发明采用中值滤波算法对图像噪声以及穴盘内的基质干扰进行处理，得到如图16所示的图像；
3)形态学处理：采用形态学处理(闭运算)对滤波后的图像进行处理，因为本发明采用HSV空间，仅保留偏黄色区域，导致处理后的种子图像存在空洞，另外中值滤波后的图像仍有部分穴盘基质的干扰，所以本发明采用形态学处理(闭运算)对滤波后的图像进行处理，一是为了消除基质干扰，二是为了填充种子空洞，得到如图17所示的图像；
4)提取轮廓：根据形态学处理后的图像，对图像中存在的轮廓进行识别、提取，得到如图18所示的轮廓；
5)计算轮廓面积：根据得到的轮廓信息，计算轮廓面积，将低于一定面积阈值的轮廓剔除掉，本发明根据甜玉米的平均形态特征及单面展示表面积的特征，本发明采用的面积阈值为30pixel；
6)种子筛选：根据剔除后的轮廓信息，得到轮廓的外接矩形，将其作为候选的甜玉米种子，如图19所示。
所述投票机制(由于RGB色彩空间和HSV空间识别到的玉米候选种子区域不一致，所以本发明采用投票机制对二者识别的结果进行融合)得到甜玉米种子的识别结果中投票方法为：
7)划分穴盘：根据穴盘规格信息(16×8)，将穴盘有效区域划分为符合规格的16×8个穴孔，并得到每个穴孔的精确位置信息R(u0,v0,w,h)，其中(u0,v0)表示穴孔左上角顶点的位置，w表示每个穴孔的宽度，h表示每个穴孔的高度；
8)投票：根据划分的穴盘穴孔位置信息以及在RGB色彩空间、HSV空间识别得到的玉米候选种子区域，首先判断单个穴孔内是否存在候选种子区域，RGB色彩空间、HSV空间得到的单个候选种子区域分别为Rrgb(urgb,vrgb,wrgb,hrgb)，Rhsv(uhsv,vhsv,whsv,hhsv)，则判断R∩Rrgb或R∩Rhsv是否为空：
如果为空，则说明该穴孔无种子；
否则根据Rrgb，Rhsv进行投票：
8-1)计算相交区域：R∩＝Rrgb∩Rhsv，如图20所示；
8-2)打分：Rrgb，Rhsv两者相交区域被认为是种子的概率更高，所以本发明在投票时(按面积投票)，赋予相交区域更高的权重α≥2：
其中
表示区域Rrgb(urgb，vrgb，wrgb，hrgb)的面积；
表示区域Rhsv(uhsv，vhsv，whsv，hhsv)的面积，
为区域Rrgb(urgb，vrgb，wrgb，hrgb)与区域Rhsv(uhsv，vhsv，whsv，hhsv)相交区域的面积；
8-3)筛选：根据打分结果以及预先设置的阈值δ，筛选出最终识别的种子区域：
当score≥阈值δ时，则认为该穴孔存在甜玉米种子；
当score＜阈值δ时，则认为该穴孔不存在甜玉米种子。
根据投票结果，判定每一个穴孔内是否具有种子，如果没有，则将该穴孔的精确位置输出(如图21所示)，用于后续的补种。
实施例2、
如图1所示,一种用于穴盘育苗的甜玉米种子识别装置，包括穴盘传送架和图像采集架，所述图像采集架设置在所述穴盘传送架的上部，用于采集穴盘的整体图像；所述图像采集架包括相机1和光源2，在所述光源2周围由光箱3围成拍摄通道；所述装置还包括图像处理模块，用于加载所述用于穴盘育苗的甜玉米种子识别方法。相机位于光源正中心位置，用于拍摄下方的穴盘；光源位于光箱的顶部，用于补光；光箱用于封闭穴盘拍摄区域，减少环境光的干扰。
所述穴盘传送架还包括传送带5、支架7、挡板4、光电开关6，所述挡板4位于所述传送带5上方，所述挡板4用于限制穴盘位置，防止穴盘在传输过程中出现较大偏移；所述光电开关6用于检测穴盘是否进入图像采集区域：如果检测到穴盘，光电开关6触发相机1对穴盘进行拍照。
实施例3、
如实施例2所述装置的工作方法，包括：
首先开启光源2，启动电机带动传送带5开始工作；
将机械播种完成的穴盘沿所述传送带5输送到图像采集架下方，会触发光电开关6；
光电开关6会输出信号到相机1，触发相机1对穴盘进行拍照，并将获取的图像传输至所述图像处理模块，利用穴盘育苗的甜玉米种子识别方法确定穴盘中空穴的位置，为后续补种机械提供准确的漏播信息。
应用例、
利用实施例1所述一种用于穴盘育苗的甜玉米种子识别方法，同时利用实施例2、3所述的识别装置对随机放置甜玉米种子的穴盘进行识别，并统计相关的识别效果，具体如下：
利用100个16×8个穴孔的穴盘作为测试穴盘，随机放置甜玉米种子，然后分别测试空穴率在5％～20％时，本发明的识别效果，分别统计仅利用RGB空间、仅利用HSV空间以及利用投票机制融合两者的识别结果，如表1所示：
表1实验结果对比
表1中参数的解释如下：
TP：真阳，该穴孔为空穴，识别为空穴；
TN：真阴，该穴孔不是空穴，识别为不是空穴；
FP：假阳，该穴孔不为空穴，识别为空穴；
FN：假阴，该穴孔为空穴，识别为不是空穴。
由上述表1的数据可计算识别的精度，召回率以及准确度，如表2所示：
表2结果指标分析
表2中参数的解释如下：
精度Precision：P＝TP/(TP+FP)
召回率Recall：R＝TP/(TP+FN)
准确度Accuracy：A＝(TP+TN)/(TP+FP+TN+FN)
由表2可知，本发明的识别结果在识别精度、召回率以及准确率方面都要优于仅采用单一空间进行识别的结果，并且随着空穴率的增加，空穴识别结果更加精确。
Claims (9)
1.一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，基于RGB色彩空间的种子识别方法和基于HSV空间的种子识别方法，分别得到RGB种子识别结果和HSV种子识别结果；
再对RGB种子识别结果和HSV种子识别结果利用投票机制得到甜玉米种子的识别结果；
在对穴盘中待育苗的甜玉米种子进行识别之前，对穴盘整体图像进行预处理：首先，提取穴盘位置的ROI区域，形成穴盘图像；其次，对所述穴盘图像进行矫正；
所述利用投票机制得到甜玉米种子的识别结果中投票方法为：
7)划分穴盘：根据穴盘规格信息，将穴盘有效区域划分为符合规格的穴孔，并得到每个穴孔的精确位置信息R(u0，v0，w，h)，其中(u0，v0)表示穴孔左上角顶点的位置，w表示每个穴孔的宽度，h表示每个穴孔的高度；
8)投票：根据划分的穴盘穴孔位置信息以及在RGB色彩空间、HSV空间识别得到的玉米候选种子区域，首先判断单个穴孔内是否存在候选种子区域，RGB色彩空间、HSV空间得到的单个候选种子区域分别为Rrgb(urgb，vrgb，wrgb，hrgb)，Rhsv(uhsv，vhsv，whsv，hhsv)，则判断R∩Rrgb或R∩Rhsv是否为空：
如果为空，则说明该穴孔无种子；
否则根据Rrgb，Rhsv进行投票：
8-1)计算相交区域：R∩＝Rrgb∩Rhsv；
8-2)打分：赋予相交区域更高的权重α≥2：
其中
表示区域Rrgb(urgb，vrgb，wrgb，hrgb)的面积；
表示区域Rhsv(uhsv，vhsv，whsv，hhsv)的面积，
为区域Rrgb(urgb，vrgb，wrgb，hrgb)与区域Rhsv(uhsv，vhsv，whsv，hhsv)相交区域的面积；
8-3)筛选：根据打分结果以及预先设置的阈值δ，筛选出最终识别的种子区域：
当score≥阈值δ时，则认为该穴孔存在甜玉米种子；
当score＜阈值δ时，则认为该穴孔不存在甜玉米种子。
2.根据权利要求1所述的一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，根据甜玉米种子的识别结果、穴盘的规格，最终确定空穴位置。
3.根据权利要求1所述的一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，所述基于RGB色彩空间的种子识别方法包括：阈值化、中值滤波、形态学处理、种子轮廓提取、种子轮廓面积计算、种子筛选处理，得到初步的种子位置；
所述基于HSV空间的种子识别方法包括：阈值化、中值滤波、形态学处理、种子轮廓提取、种子轮廓面积计算、种子筛选处理，得到初步的种子位置。
4.根据权利要求1所述的一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，对所述穴盘图像进行矫正的方法为：
(1)对图像进行分通道阈值化处理，得到灰度图像；
(2)然后提取灰度图像轮廓，计算轮廓面积，选取轮廓面积最大者作为穴盘的轮廓；
(3)提取穴盘轮廓最小面积的外接矩形，作为穴盘有效区域；
(4)根据穴盘的最小面积外接矩形，得到矩形的四个顶点A(ua，va)、B(ub，vb)、C(uc，vc)、D(ud，vd)，然后计算单边的旋转角度：
利用上述公式计算四个边的旋转角度，然后求其平均值作为所述外接矩形最终的旋转角度θ；
(5)根据旋转角度对图像进行旋转变换，将原始图像的像素点P(u，v)变为新的像素点P(u′，v′)：
最终得到矫正的图像。
5.根据权利要求1所述的一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，所述基于RGB色彩空间的种子识别方法，包括：
1)阈值化：通过分析多张甜玉米种子图像，为更准确的识别甜玉米种子，即保留图像内偏黄色的区域，得到阈值化后的灰度图像；
2)中值滤波：对灰度图像进行中值滤波算法处理，形成滤波后的图像；
3)形态学处理：采用形态学闭运算对滤波后的图像进行处理；
4)提取轮廓：根据形态学处理后的图像，对图像中存在的轮廓进行识别、提取；
5)计算轮廓面积：根据得到的轮廓信息，计算轮廓面积，将小于一定面积阈值的轮廓剔除掉；
6)种子筛选：根据剔除后的轮廓信息，得到轮廓的外接矩形，将其作为候选的甜玉米种子。
6.根据权利要求1所述的一种用于穴盘育苗的甜玉米种子识别方法，其特征在于，所述基于HSV空间的种子识别方法，包括：
1)阈值化：为保留图像内种子偏黄色的区域，得到阈值化后的灰度图像；
2)中值滤波：对灰度图像进行中值滤波算法处理，形成滤波后的图像；
3)形态学处理：采用形态学闭运算对滤波后的图像进行处理；
4)提取轮廓：根据形态学处理后的图像，对图像中存在的轮廓进行识别、提取；
5)计算轮廓面积：根据得到的轮廓信息，计算轮廓面积，将低于一定面积阈值的轮廓剔除掉；
6)种子筛选：根据剔除后的轮廓信息，得到轮廓的外接矩形，将其作为候选的甜玉米种子。
7.用于加载如权利要求1-6任意一项所述用于穴盘育苗的甜玉米种子识别方法的甜玉米种子识别装置，其特征在于，包括穴盘传送架和图像采集架，所述图像采集架设置在所述穴盘传送架的上部，用于采集穴盘的整体图像；所述图像采集架包括相机和光源，在所述光源周围由光箱围成拍摄通道；所述装置还包括图像处理模块，用于加载所述用于穴盘育苗的甜玉米种子识别方法。
8.如权利要求7所述甜玉米种子识别装置，其特征在于，所述穴盘传送架还包括传送带、支架、挡板、光电开关，所述挡板位于所述传送带上方；所述光电开关用于检测穴盘是否进入图像采集区域：如果检测到穴盘，光电开关触发相机对穴盘进行拍照。
9.如权利要求7或8所述装置的工作方法，包括：
首先开启光源，启动电机带动传送带开始工作；
将机械播种完成的穴盘沿所述传送带输送到图像采集架下方，会触发光电开关；
光电开关会输出信号到相机，触发相机对穴盘进行拍照，并将获取的图像传输至所述图像处理模块，利用穴盘育苗的甜玉米种子识别方法确定穴盘中空穴的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110113679.5A CN112907516B (zh) | 2021-01-27 | 2021-01-27 | 一种用于穴盘育苗的甜玉米种子识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110113679.5A CN112907516B (zh) | 2021-01-27 | 2021-01-27 | 一种用于穴盘育苗的甜玉米种子识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907516A CN112907516A (zh) | 2021-06-04 |
| CN112907516B true CN112907516B (zh) | 2022-08-02 |
Family
ID=76119174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110113679.5A Active CN112907516B (zh) | 2021-01-27 | 2021-01-27 | 一种用于穴盘育苗的甜玉米种子识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907516B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998656B (zh) * | 2022-06-09 | 2023-06-16 | 中国科学院宁波材料技术与工程研究所 | 一种穴盘苗分类方法及系统 |
| CN115918321B (zh) * | 2022-09-27 | 2024-04-02 | 山东大学 | 一种规模化种子培育及质量检验装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037123A (zh) * | 2017-10-11 | 2018-05-15 | 华南农业大学 | 一种杂交稻钵体盘播种性能参数精密检测方法 |
| CN112042325A (zh) * | 2020-09-16 | 2020-12-08 | 山东农业大学 | 大葱三粒穴盘育苗漏播检测方法及补种装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4390487B2 (ja) * | 2003-07-03 | 2009-12-24 | セコム株式会社 | 頭部領域抽出装置 |
| CN105075561A (zh) * | 2014-05-18 | 2015-11-25 | 林天国 | 一种水稻蔬菜穴盘育秧的方法 |
| CN105005766B (zh) * | 2015-07-01 | 2018-06-01 | 深圳市迈科龙电子有限公司 | 一种车身颜色识别方法 |
| CN105844213B (zh) * | 2016-02-05 | 2017-04-19 | 宁波工程学院 | 一种绿色果实识别方法 |
| CN105809138B (zh) * | 2016-03-15 | 2019-01-04 | 武汉大学 | 一种基于分块识别的道路警告标志检测与识别方法 |
| US10531825B2 (en) * | 2016-10-14 | 2020-01-14 | Stoecker & Associates, LLC | Thresholding methods for lesion segmentation in dermoscopy images |
| CN107637496A (zh) * | 2017-10-30 | 2018-01-30 | 深圳前海弘稼科技有限公司 | 番茄穴盘育苗方法 |
| CN109522793B (zh) * | 2018-10-10 | 2021-07-23 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
| CN111126222A (zh) * | 2019-12-16 | 2020-05-08 | 山东工商学院 | 一种基于神经网络的穴盘苗空穴识别方法以及穴盘苗补苗系统 |
| CN112183230A (zh) * | 2020-09-09 | 2021-01-05 | 上海大学 | 自然梨园环境下梨子的识别与中心点定位方法 |
-
2021
- 2021-01-27 CN CN202110113679.5A patent/CN112907516B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037123A (zh) * | 2017-10-11 | 2018-05-15 | 华南农业大学 | 一种杂交稻钵体盘播种性能参数精密检测方法 |
| CN112042325A (zh) * | 2020-09-16 | 2020-12-08 | 山东农业大学 | 大葱三粒穴盘育苗漏播检测方法及补种装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907516A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907516B (zh) | 一种用于穴盘育苗的甜玉米种子识别方法及装置 | |
| CN108470339A (zh) | 一种基于信息融合的重叠苹果视觉识别与定位方法 | |
| CN104198324B (zh) | 基于计算机视觉的烟丝中叶丝比例测定方法 | |
| CN106370671A (zh) | 基于机器视觉的pcb上元器件检测系统及方法 | |
| CN110146516B (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN105466950A (zh) | 一种基于视觉的竹块在线检测方法及系统 | |
| CN110298231A (zh) | 一种用于篮球比赛视频进球判定的方法及系统 | |
| CN104036231B (zh) | 人体躯干识别装置及方法、终点影像检测方法、装置 | |
| CN111462058B (zh) | 一种水稻有效穗快速检测方法 | |
| CN106370667A (zh) | 一种玉米籽粒品质视觉检测装置及方法 | |
| CN107301401A (zh) | 一种多目标猕猴桃果实识别方法与图像获取装置 | |
| CN110110131A (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
| CN113420614A (zh) | 一种基于深度学习算法的近红外高光谱图像识别霉变花生的方法 | |
| CN110575973B (zh) | 一种农作物种子品质检测与筛选系统 | |
| CN115311316A (zh) | 基于深度学习的立体栽培模式下小型西瓜识别与定位方法 | |
| CN110314361A (zh) | 一种基于卷积神经网络的篮球进球得分判断方法及系统 | |
| CN113458004A (zh) | 一种基于机器视觉的种子分拣装置及方法 | |
| CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
| CN112580671A (zh) | 一种基于深度学习的稻穗多发育期自动检测方法及系统 | |
| CN107545565A (zh) | 一种太阳能网版检测方法 | |
| CN111458345A (zh) | 一种口罩缺陷视觉检测机构 | |
| CN107239761A (zh) | 基于骨架角点检测的果树拉枝效果评价方法 | |
| CN112184627A (zh) | 基于图像处理与神经网络的柑橘保鲜品质检测方法及应用 | |
| CN115131349B (zh) | 基于内分泌试纸彩色直方图的白平衡调节方法及系统 | |
| JPH0929185A (ja) | 果皮表面に固有のネットパターンを有する青果物の等級判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220706 Address after: No.19, shoukexueyuan Road, East Jingshi Road, Jinan City, Shandong Province Applicant after: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN) Applicant after: Shandong Academy of Agricultural Sciences Address before: No.19, shoukexueyuan Road, East Jingshi Road, Jinan City, Shandong Province Applicant before: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN) |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |