CN113256704B - 一种谷粒长宽测量方法 - Google Patents
一种谷粒长宽测量方法 Download PDFInfo
- Publication number
- CN113256704B CN113256704B CN202110326009.1A CN202110326009A CN113256704B CN 113256704 B CN113256704 B CN 113256704B CN 202110326009 A CN202110326009 A CN 202110326009A CN 113256704 B CN113256704 B CN 113256704B
- Authority
- CN
- China
- Prior art keywords
- grain
- image
- length
- grains
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 230000000903 blocking effect Effects 0.000 claims abstract description 5
- 235000013339 cereals Nutrition 0.000 claims description 161
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 10
- 238000000691 measurement method Methods 0.000 claims description 9
- 239000004464 cereal grain Substances 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000007480 spreading Effects 0.000 claims description 3
- 238000003892 spreading Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 240000003433 Miscanthus floridulus Species 0.000 claims 1
- 241000878007 Miscanthus Species 0.000 description 7
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种谷粒长宽测量方法，包括以下步骤：准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；构造特征金字塔卷积神经网络模型；获取谷粒图像，并对谷粒图像进行分块和归一化预处理；将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型；将待测试的谷粒图像进行分块和归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果；将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值。本发明的一种谷粒长宽测量方法，具有简单、易用、成本低、快速、精度高等优势。
Description
技术领域
本发明涉及农业生产技术领域，尤其涉及一种谷粒长宽测量方法。
背景技术
水稻是世界主要粮食作物。面对全球环境多变和人口快速增长所带来的一系列挑战，如何在减少投入的前提下有效挖掘水稻高产优质的潜力，是待解决的问题之一。目前，有成千上万的水稻基因培育学者进行水稻的基因与性状的研究，其中，谷粒的大小即长宽性状是最重要的水稻基因体现，也是水稻基因研究的重要途径。对于谷粒长宽数据的获取，大多依靠人工测量，工作量大且效率低，最后结果易受主观因素影响。随着劳动力成本的逐年增高，长宽性状检测的成本也随之提高。
目前学者对谷粒长宽测量主要使用专门的仪器进行测量，这种仪器需要先将谷粒从谷穗上进行脱粒处理，然后人工去掉干瘪，发霉，有芒，枝梗等杂质，然后将处理后的谷粒送入仪器进行扫描，整个过程一旦出现没有去掉的杂质，以及谷粒间有粘连和重叠情况，将会影响测量结果。总之，基于专门仪器的测量价格昂贵，测量过程繁琐，耗时耗力。
另外，也有不少学者提出利用图像处理方法，包括分水岭分割，凹点检测，椭圆拟合等对谷粒进行识别，但这些方法大多要求对谷粒作一定的预处理工作，包括把干瘪，发霉，有芒，带有枝梗的谷粒人工去掉，这同样需要耗费大量人力和时间。另外，这些方法对谷粒的放置也有具体的规定，比如，要求谷粒间保持一定的间距，谷粒间的粘连程度尽量小，这也给实用带来了不便。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是现有的谷粒长宽测量的方法需要人工预处理，耗费大量的人力和时间，并且对谷粒的摆放也有具体要求，否则会影响测量结果。因此，本发明提供了一种谷粒长宽测量方法，具有简单、易用、成本低、快速、精度高等优势。
为实现上述目的，本发明提供了一种谷粒长宽测量方法，包括以下步骤：
步骤1、准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；
步骤2、针对训练数据集，构造特征金字塔卷积神经网络模型；
步骤3、获取谷粒图像数据集中的谷粒图像，并对谷粒图像数据集中的谷粒图像进行分块和归一化预处理；
步骤4、将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型；
步骤5、将待测试的谷粒图像进行归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果；
步骤6、将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值。
进一步地，准备谷粒图像数据集，并对谷粒进行打标构成训练数据集，具体包括以下步骤：
准备谷粒，将谷粒平铺在A4纸上，允许谷粒之间存在粘连和重叠；
利用手机拍摄约1000幅谷粒的RGB彩色图像，用以构成谷粒图像数据集，每幅谷粒图像要求包含A4纸；
利用Rolabelimg打标工具对每幅谷粒图像中的饱满谷粒进行打标，从而得到训练数据集并作为深度神经网络的训练数据。
进一步地，针对训练数据集，构造特征金字塔卷积神经网络模型，具体包括以下步骤：
首先，构造包含网络层数为50的残差神经网络；
其次，构造特征金字塔网络，残差神经网络的输出作为特征金字塔网络的输入；
最后，构造优化模块，特征金字塔网络的输出作为优化模块的输入，优化模块的输出是图像中谷粒的预测框，预测框包含框的长、宽和旋转角度。
进一步地，获取谷粒图像数据集中的谷粒图像，并对谷粒图像进行分块和归一化预处理，具体包括以下步骤：
首先，将A4纸上的谷粒图像分割为多块子图像，子图像和子图像之间重叠150个像素，将谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理。
进一步地，将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型，其中，损失函数表达为：
其中，N表示锚框的数量，obj是一个bool值，当值为1时表示为目标，值为0时表示为背景；v1表示预测框，v表示实际目标框；tn表示目标的标签值，pn表示目标的置信度；SkewIoU表示预测框和标签框的重叠程度；λ1和λ2为超参数，默认值为1；Lcls表示分类的损失值。
进一步地，将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值，具体包括：
通过边缘检测得到轮廓，计算A4纸的四个角点坐标和A4边长，再以A4纸为参照物，将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值。
进一步地，将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值，具体包括以下步骤：
将待测试的谷粒原图像转化为灰度图；
利用Canny算子进行边缘检测，遍历所有轮廓，找到面积最大的轮廓Omax，面积最大的轮廓Omax对应A4纸的轮廓；
计算面积最大的轮廓Omax上所有点的x坐标的平均值接着计算面积最大的轮廓Omax上所有点的y坐标的平均值/>得到面积最大的轮廓Omax的中心点c，其坐标为/>
利用过c点的水平线和垂直线将面积最大的轮廓Omax分为四等份，计算面积最大的轮廓Omax上各点与中心点c之间的距离，各等份中距离最大值所对应的点即为该等份的顶点；
计算位于左右等份的2个顶点的距离d1；
计算位于上下等份的2个顶点的距离d2；
将距离d1和d2中的较大者作为A4纸的像素长d，A4纸的实际长为29.7cm，则谷粒的目标检测框的像素长宽值。
技术效果
本发明的一种谷粒长宽测量方法，拍摄前不需要人工去除干瘪，发霉，有芒，以及枝梗没有脱粒干净的谷粒，可以节省大量人力。
在谷粒图像获取过程中，仅需一部手机，不需要专门的摄像设备，具有使用方便、快捷、成本低廉和易于实现等优点。
拍摄时只需将谷粒平铺于A4纸上，同时，允许谷粒间有一定程度的粘连，就能自动去除图像中干瘪，发霉，有芒，以及枝梗没有脱粒干净的谷粒，统计得到其余谷粒的实际长度和宽度，这为研究人员提供了极大的方便。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的一种谷粒长宽测量方法的流程示意图；
图2是本发明的一个较佳实施例的一种谷粒长宽测量方法的打标结果的xml结构示意图；
图3是本发明的一个较佳实施例的一种谷粒长宽测量方法的原始图像到目标检测过程使用的神经网络结果示意图；
图4是本发明的一个较佳实施例的一种谷粒长宽测量方法的根据残差神经网络和特征金字塔网络提取特征信息后进行预测的结构示意图；
图5是本发明的一个较佳实施例的一种谷粒长宽测量方法的特征优化模块的结构示意图；
图6是本发明的一个较佳实施例的一种谷粒长宽测量方法的原始图像示意图；
图7是本发明的一个较佳实施例的一种谷粒长宽测量方法的目标检测结果示意图；
图8是本发明的一个较佳实施例的一种谷粒长宽测量方法的图像中A4纸轮廓检测结果图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
如图1所示，本发明实施例提供了一种谷粒长宽测量方法，包括以下步骤：
步骤1、准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；
步骤2、针对训练数据集，构造特征金字塔卷积神经网络模型；
步骤3、获取谷粒图像数据集中的谷粒图像，并对谷粒图像数据集中的谷粒图像进行分块和归一化预处理；
步骤4、将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型；
步骤5、将待测试的谷粒图像进行归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果；
步骤6、将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值。
如下将举例来说明本发明的一种谷粒长宽测量方法的具体步骤。
步骤1、准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；其包括如下步骤：
准备谷粒图像，谷粒要求包括圆形的、长形的、有粘连等各种情况下的谷粒状态，以保证训练后的模型具有一定的泛化能力。除了需要检测的饱满谷粒外，还允许谷粒具有以下各种情况：干瘪、发霉、有芒、枝梗没有脱粒干净，这样在使用此模型时不需要人工对谷粒进行预处理，从而节约了时间和精力。
首先将谷穗揉搓，尽量将谷粒分开，接着，将谷粒平铺在A4纸上，允许谷粒之间存在粘连和重叠，接着利用手机拍摄约1000幅谷粒的RGB彩色图像，用以构成谷粒图像数据集，每幅谷粒图像要求包含A4纸；
图像标记方法是利用Rolabelimg打标工具对每幅谷粒图像中的饱满谷粒进行打标。打标是将每颗饱满谷粒用带有角度的矩形框标注出来，打标的结果是将每颗饱满谷粒的位置信息以xml文件格式保存起来，而不是在原始图像上画矩形框，其中，xml文件中的位置信息包含每颗谷粒矩形框的中心点，矩形框长宽和旋转角度等位置信息；然后将xml文件和图像文件分成两个文件夹保存，从而得到训练数据集，并以此作为深度神经网络的训练数据，其中，xml文件格式如图2所示。
步骤2、针对训练数据集，构造特征金字塔卷积神经网络；
首先，构造包含网络层数为50的残差神经网络；
其次，构造特征金字塔网络，残差神经网络的输出作为特征金字塔网络的输入；
最后，构造优化模块，特征金字塔网络的输出作为优化模块的输入，优化模块的输出是图像中谷粒的预测框，预测框包含框的长、宽和旋转角度。
具体步骤如下：
构造的特征金字塔卷积神经网络中，包含网络层数为50的残差神经网络，特征金字塔网络，以及特征优化模块，整个模型结构如图3所示。
残差神经网络对图像进行下采样，即降低图像的分辨率和增加特征图的数量；同时对整个输入图像进行卷积特征映射。
残差神经网络包括：
卷积核为7*7，步长为2的卷积层，以及大小为3*3，步长为2的池化层，此模块定义为C1，这两层用于将原始图像进行缩小，并将特征抽象化。
四个卷积单元模块分别为C2，C3，C4，C5，用于将图像的特征信息进行线性组合，得到深层次的信息，每个卷积单元模块包含三个卷积层。
平均池化层，将图像特征进一步缩小，使特征更加抽象。
残差神经网络结构如下表1所示：
表1残差神经网络结构
特征金字塔网络对特征进行上采样，用于提高残差神经网络中所提取图像的分辨率和进行卷积特征映射。
特征金字塔网络包括：
特征金字塔层分别为P3，P4，P5，P6，P7，其中P3，P4，P5通过上采样和横向连接从C3，C4，C5中产生，P6是在C5的基础上通过3*3的卷积核和步长为2的卷积得到，P7在P6的基础上通过ReLU激活函数，再通过3*3的卷积核和步长为2的卷积得到。特征金字塔网络通过自上而下的路径和横向连接来增强标准的卷积网络，从而有效地从单个分辨率输入图像构建丰富的多尺度特征金字塔。金字塔的每一层都可以用于检测不同尺寸的物体。
特征金字塔层P3，P4，P5，P6，P7输出的特征图大小分别为32*32,64*64,128*128,256*256,512*512，其中每层金字塔层都为256个通道；每层特征金字塔有三总长宽比例，分别为：1:2,1:1,2:1,1:3,3:1,1:5,5:1，每一种长宽比例有三种尺寸大小，分别为：20,21/3,22/3,角度有-90°,-75°,-60°,-45°,-30°,-15°；所以每层特征金字塔有126个尺度的锚点框。其中，每个锚点框有维度为1的种类数的向量和维度为5的目标矩形框向量，其中矩形框向量包含矩形框中心点(x,y)，长宽值和旋转角度值。
特征优化模块对前面提取的特征进行纠正和精炼处理，使特征中的位置信息更加准确，同时将特征图映射为锚点框图，从而得到图像中谷粒的预测框，预测框包含框的长、宽和旋转角度信息。
特征优化模块包括：
将上层提取的特征作为当前层的输入，分别送入并联的两个卷积层，其中，第一个是送入1*1卷积层后得到的新的特征信息，第二个是送入串联的5*1和1*5的卷积核后得到的新的特征信息，再将第一个和第二个特征信息进行特征融合得到最终的抽象特征信息，此特征信息定义为C10。特征优化模块如图5所示。
将特征金字塔网络中每层的类别向量和矩形目标框向量分别送入两个平行的网络，分别为分类子网络和目标框回归子网络。分类子网络将特征金字塔作为输入，串联四个卷积核大小为3*3，通道数为256的卷积层，每层的激活函数为ReLU函数，然后连接卷积核大小为3*3，通道数为种类数乘以锚点框数的卷积层，激活函数为sigmoid函数，得到分类特征信息为C11。目标框回归子网络将特征金字塔作为输入，串联四个卷积核大小为3*3，通道数为256的卷积层，每层的激活函数为ReLU函数，然后连接卷积核大小为3*3，通道数为5乘以锚点框数的卷积层，激活函数为sigmoid函数，得到目标框特征信息C12。
然后融合特征信息C10，C11和C12信息最为优化模块的纠正和综合特征信息。最终将融合后的信息再次送入分类子网络和目标框回归子网络得到最终的分类和回归的预测结果，其中，目标预测结构如图4所示。
特征优化模块细化和纠正了矩形目标框的位置信息，同时实现重建特征映射以实现特征对齐。
步骤3、对谷粒图像进行分块和归一化预处理；将A4纸上的谷粒图像分割为多块子图像，避免输入到网络中的图像过大，导致参数过多，增加计算负担，同时避免过拟合的可能性。子图像和子图像之间重叠了150个像素，将谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理。
步骤4、训练网络模型，将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重；其中，损失函数可以表达为：
其中，N表示锚框的数量，obj是一个bool值，当值为1时表示为目标，值为0时表示为背景；v1表示预测框，v表示实际目标框；tn表示目标的标签值，pn表示目标的置信度；SkewIoU表示预测框和标签框的重叠程度；λ1和λ2为超参数，默认值为1；Lcls表示分类的损失值。
步骤5、测试模型，先将待测试的谷粒图像进行分块和归一化处理，然后输入到步骤4中训练好的网络模型中，得到谷粒检测结果，其中，原始图像如图6所示，预测结果如图7所示。
其中，对待测试的谷粒图像进行分块和归一化处理的方法与上述步骤3类似，具体步骤如下：
子图像和子图像之间重叠了150个像素，将待测试的谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理。
步骤6、通过边缘检测得到轮廓，计算A4纸的四个角点坐标和A4边长，再以A4纸为参照物，将谷粒检测结果的谷粒像素长宽值转换为实际的长宽值。
首先将待测试的谷粒原图像转化为灰度图；
然后利用Canny算子进行边缘检测，遍历所有轮廓，找到面积最大的轮廓Omax，该轮廓Omax对应A4纸的轮廓；A4纸轮廓示意图如图8所示。
Canny边缘检测是一个多阶段算法，包含：图像降噪，计算图像梯度，非极大抑制，阈值筛选这四个步骤。其中，我们图像降噪使用中值滤波方法，阈值筛选中使用10为低阈值，200为高阈值。
计算Omax上所有点的x坐标的平均值接着计算Omax上所有点的y坐标的平均值/>得到Omax的中心点c，其坐标为/>
利用过c点的水平线和垂直线将Omax分为四等份，计算Omax上各点与c之间的距离，各等份中距离最大值所对应的点即为该等份的顶点；
计算位于左右等份的2个顶点的距离d1；
计算位于上下等份的2个顶点的距离d2；
将d1和d2中的较大者作为A4纸的像素长d，而A4纸的实际长为29.7cm，则谷粒的目标检测框的像素长宽值。
本发明的一种谷粒长宽测量方法，拍摄前不需要人工去除干瘪，发霉，有芒，以及枝梗没有脱粒干净的谷粒，可以节省大量人力。在谷粒图像获取过程中，仅需一部手机，不需要专门的摄像设备，具有使用方便、快捷、成本低廉和易于实现等优点。拍摄时只需将谷粒平铺于A4纸上，同时，允许谷粒间有一定程度的粘连，就能自动去除图像中干瘪，发霉，有芒，以及枝梗没有脱粒干净的谷粒，统计得到其余谷粒的实际长度和宽度，这为研究人员提供了极大的方便。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (1)
1.一种谷粒长宽测量方法，其特征在于，包括以下步骤：
步骤1、准备谷粒图像数据集，并对谷粒进行打标构成训练数据集；准备谷粒图像数据集，并对谷粒进行打标构成训练数据集，具体包括以下步骤：
准备谷粒，谷粒要求包括圆形的、长形的、有粘连各种情况下的谷粒状态，除了需要检测的饱满谷粒外，还允许谷粒具有以下各种情况：干瘪、发霉、有芒、枝梗没有脱粒干净；
将谷粒平铺在A4纸上，允许谷粒之间存在粘连和重叠；
利用手机拍摄1000幅谷粒的RGB彩色图像，用以构成谷粒图像数据集，每幅谷粒图像要求包含A4纸；
利用Rolabelimg打标工具对每幅谷粒图像中的饱满谷粒进行打标，打标是将每颗饱满谷粒用带有角度的矩形框标注出来，从而得到训练数据集并作为深度神经网络的训练数据；
步骤2、针对所述训练数据集，构造特征金字塔卷积神经网络模型；针对所述训练数据集，构造特征金字塔卷积神经网络模型，具体包括以下步骤：
首先，构造包含网络层数为50的残差神经网络；残差神经网络包括模块C1，四个卷积单元模块C2，C3，C4，C5，以及平均池化层；模块C1包括卷积核为7*7，步长为2的卷积层，以及大小为3*3，步长为2的池化层；四个卷积单元模块C2，C3，C4，C5中，每个卷积单元模块包含三个卷积层；平均池化层，将图像特征进一步缩小，使特征更加抽象；
其次，构造特征金字塔网络，所述残差神经网络的输出作为特征金字塔网络的输入；特征金字塔层分别为P3，P4，P5，P6，P7，其中P3，P4，P5通过上采样和横向连接从C3，C4，C5中产生，P6是在C5的基础上通过3*3的卷积核和步长为2的卷积得到，P7在P6的基础上通过ReLU激活函数，再通过3*3的卷积核和步长为2的卷积得到；特征金字塔层P3，P4，P5，P6，P7输出的特征图大小分别为32*32,64*64,128*128,256*256,512*512，其中每层金字塔层都为256个通道；每层特征金字塔有七种长宽比例，分别为：1:2,1:1,2:1,1:3,3:1,1:5,5:1，每一种长宽比例有三种尺寸大小，分别为：20,21/3,22/3,角度有-90°,-75°,-60°,-45°,-30°,-15°；所以，每层特征金字塔有126个尺度的锚点框，其中，每个锚点框有维度为1的种类数的向量和维度为5的目标矩形框向量，该矩形框向量包含矩形框中心点(x,y)，长宽值和旋转角度值；
最后，构造优化模块，所述特征金字塔网络的输出作为优化模块的输入，所述优化模块的输出是图像中谷粒的预测框，预测框包含框的长、宽和旋转角度；优化模块包括：将上层提取的特征作为当前层的输入，分别送入并联的两个卷积层，其中，第一个是送入1*1卷积层后得到的新的特征信息，第二个是送入串联的5*1和1*5的卷积核后得到的新的特征信息，再将第一个和第二个特征信息进行特征融合得到最终的抽象特征信息，此特征信息定义为C10；将特征金字塔网络中每层的类别向量和矩形目标框向量分别送入两个平行的网络，分别为分类子网络和目标框回归子网络；分类子网络将特征金字塔作为输入，串联四个卷积核大小为3*3，通道数为256的卷积层，每层的激活函数为ReLU函数，然后连接卷积核大小为3*3，通道数为种类数乘以锚点框数的卷积层，激活函数为sigmoid函数，得到分类特征信息为C11；目标框回归子网络将特征金字塔作为输入，串联四个卷积核大小为3*3，通道数为256的卷积层，每层的激活函数为ReLU函数，然后连接卷积核大小为3*3，通道数为5乘以锚点框数的卷积层，激活函数为sigmoid函数，得到目标框特征信息C12；然后融合特征信息C10，C11和C12信息，最终将融合后的信息再次送入分类子网络和目标框回归子网络得到最终的分类和回归的预测结果；
步骤3、获取所述谷粒图像数据集中的谷粒图像，并对所述谷粒图像数据集中的谷粒图像进行分块和归一化预处理；获取所述谷粒图像数据集中的谷粒图像，并对所述谷粒图像数据集中的谷粒图像进行分块和归一化预处理，具体包括以下步骤：首先，将A4纸上的谷粒图像分割为多块子图像，子图像和子图像之间重叠150个像素，将谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理；
步骤4、将预处理后的谷粒图像作为训练样本，利用卷积核逐步提取所述谷粒图像的特征和大小信息，并利用反向传播和随机梯度下降算法有监督地最小化损失函数，从而获得模型的连接权重，获得训练好的神经网络模型；其中，损失函数表达为：
其中，N表示锚框的数量，obj是一个bool值，当值为1时表示为目标，值为0时表示为背景；v1表示预测框，v表示实际目标框；tn表示目标的标签值，pn表示目标的置信度；SkewIoU表示预测框和标签框的重叠程度；λ1和λ2为超参数，默认值为1；Lcls表示分类的损失值；
步骤5、将待测试的谷粒图像进行分块和归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果；将待测试的谷粒图像进行分块和归一化处理，然后输入训练好的网络模型中，得到谷粒检测结果，具体包括以下步骤：子图像和子图像之间重叠了150个像素，将待测试的谷粒图像分割成600*600大小的子图像，同时将600*600大小的子图像放大为800*800，完成分块预处理；其次，将每幅子图像中各像素的R，G和B值分别除以255，完成归一化预处理；
步骤6、将所述谷粒检测结果的谷粒像素长宽值转换为实际的长宽值；将所述谷粒检测结果的谷粒像素长宽值转换为实际的长宽值，具体包括以下步骤：将所述待测试的谷粒原图像转化为灰度图；利用Canny算子进行边缘检测，遍历所有轮廓，找到面积最大的轮廓Omax，所述面积最大的轮廓Omax对应A4纸的轮廓；计算所述面积最大的轮廓Omax上所有点的x坐标的平均值接着计算所述面积最大的轮廓Omax上所有点的y坐标的平均值/>得到所述面积最大的轮廓Omax的中心点c，其坐标为/>利用过所述中心点c的水平线和垂直线将所述面积最大的轮廓Omax分为四等份，计算所述面积最大的轮廓Omax上各点与所述中心点c之间的距离，各等份中距离最大值所对应的点即为该等份的顶点；计算位于左右等份的2个顶点的距离d1；计算位于上下等份的2个顶点的距离d2；将所述距离d1和d2中的较大者作为A4纸的像素长d，A4纸的实际长为29.7cm，则谷粒的实际长宽值/>目标检测框的像素长宽值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110326009.1A CN113256704B (zh) | 2021-03-26 | 2021-03-26 | 一种谷粒长宽测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110326009.1A CN113256704B (zh) | 2021-03-26 | 2021-03-26 | 一种谷粒长宽测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113256704A CN113256704A (zh) | 2021-08-13 |
| CN113256704B true CN113256704B (zh) | 2024-04-05 |
Family
ID=77181169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110326009.1A Active CN113256704B (zh) | 2021-03-26 | 2021-03-26 | 一种谷粒长宽测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256704B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480261A (zh) * | 2017-08-16 | 2017-12-15 | 上海荷福人工智能科技（集团）有限公司 | 一种基于深度学习细粒度人脸图像快速检索方法 |
| CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
| CN108960143A (zh) * | 2018-07-04 | 2018-12-07 | 北京航空航天大学 | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 |
| CN108986159A (zh) * | 2018-04-25 | 2018-12-11 | 浙江森马服饰股份有限公司 | 一种三维人体模型重建与测量的方法和设备 |
| CN109063301A (zh) * | 2018-07-24 | 2018-12-21 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
| CN110097129A (zh) * | 2019-05-05 | 2019-08-06 | 西安电子科技大学 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
| CN110378873A (zh) * | 2019-06-11 | 2019-10-25 | 上海交通大学 | 基于深度学习的水稻穗株谷粒原位无损计数方法 |
| CN110909589A (zh) * | 2018-09-18 | 2020-03-24 | 迪尔公司 | 谷粒质量控制系统和方法 |
| CN111353976A (zh) * | 2020-02-25 | 2020-06-30 | 南京大学 | 一种基于卷积神经网络的沙粒目标检测方法 |
| CN112132833A (zh) * | 2020-08-25 | 2020-12-25 | 沈阳工业大学 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
| CN112164030A (zh) * | 2020-09-04 | 2021-01-01 | 华南农业大学 | 水稻穗粒快速检测方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11488010B2 (en) * | 2018-12-29 | 2022-11-01 | Northeastern University | Intelligent analysis system using magnetic flux leakage data in pipeline inner inspection |
-
2021
- 2021-03-26 CN CN202110326009.1A patent/CN113256704B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480261A (zh) * | 2017-08-16 | 2017-12-15 | 上海荷福人工智能科技（集团）有限公司 | 一种基于深度学习细粒度人脸图像快速检索方法 |
| CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
| CN108986159A (zh) * | 2018-04-25 | 2018-12-11 | 浙江森马服饰股份有限公司 | 一种三维人体模型重建与测量的方法和设备 |
| CN108960143A (zh) * | 2018-07-04 | 2018-12-07 | 北京航空航天大学 | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 |
| CN109063301A (zh) * | 2018-07-24 | 2018-12-21 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
| CN110909589A (zh) * | 2018-09-18 | 2020-03-24 | 迪尔公司 | 谷粒质量控制系统和方法 |
| CN110097129A (zh) * | 2019-05-05 | 2019-08-06 | 西安电子科技大学 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
| CN110378873A (zh) * | 2019-06-11 | 2019-10-25 | 上海交通大学 | 基于深度学习的水稻穗株谷粒原位无损计数方法 |
| CN111353976A (zh) * | 2020-02-25 | 2020-06-30 | 南京大学 | 一种基于卷积神经网络的沙粒目标检测方法 |
| CN112132833A (zh) * | 2020-08-25 | 2020-12-25 | 沈阳工业大学 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
| CN112164030A (zh) * | 2020-09-04 | 2021-01-01 | 华南农业大学 | 水稻穗粒快速检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的水稻粒穗复杂性状图像分析方法;马志宏;《中国优秀硕士学位论文全文数据库（电子期刊）》(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113256704A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN111222396B (zh) | 一种全天候多光谱行人检测方法 | |
| CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
| CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| CN113469073A (zh) | 一种基于轻量级深度学习的sar图像舰船检测方法及系统 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN111339921A (zh) | 基于轻量级卷积神经网络的病虫害检测无人机及检测方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| Wang et al. | Side-view apple flower mapping using edge-based fully convolutional networks for variable rate chemical thinning | |
| CN115861409B (zh) | 大豆叶面积测算方法、系统、计算机设备及存储介质 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| CN113516201A (zh) | 一种基于深度神经网络的肉兔料盒中余料量的估算方法 | |
| CN113327255A (zh) | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 | |
| CN115049640B (zh) | 一种基于深度学习的道路裂缝检测方法 | |
| CN108664839A (zh) | 一种图像处理方法和设备 | |
| CN115019302A (zh) | 一种改进型yolox目标检测模型构建方法及其应用 | |
| CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
| CN114092794A (zh) | 一种海冰图像分类方法、系统、介质、设备及处理终端 | |
| CN110428374B (zh) | 一种小体积害虫自动检测方法及系统 | |
| CN117456358A (zh) | 一种基于YOLOv5神经网络的植物病虫害检测方法 | |
| CN115687850A (zh) | 一种农田的灌溉需水量计算方法及装置 | |
| WO2018098736A1 (zh) | 一种基于遥感成像的蓝藻监测方法及装置 | |
| CN113256704B (zh) | 一种谷粒长宽测量方法 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |