CN115953402B - 一种基于机器视觉的植株应力应变测量方法及装置 - Google Patents

Abstract

本发明属于农作物信息检测技术领域，公开了一种基于机器视觉的植株应力应变测量方法及装置，该方法通过推杆向植株茎秆施加推力并通过力传感器监测推力大小，通过拍摄装置采集植株茎秆弯曲图像；使用改进的YOLOv5‑OBB旋转目标检测算法构建目标检测模型，目标检测模型对植株茎秆弯曲图像进行处理，将弯曲植株茎秆进行旋转框标注处理，得到植株茎秆弯曲角度、受力点离地距离、弯曲后植株茎秆高度、植株受力点直径，结合推力大小，计算植株茎秆的杨氏弹性模量、所受弯曲应力和弯曲挠度。本发明结合深度学习对植物茎秆实时弯曲图像进行几何参数测量，建立所施加推力与茎秆弯曲的应力应变数学模型，有助于分析植株茎秆抗倒伏受力强度。

Description

一种基于机器视觉的植株应力应变测量方法及装置

技术领域

本发明属于农作物信息检测技术领域，涉及一种基于机器视觉的植株应力应变测量方法及装置。

背景技术

植株主要由根、茎、叶等植物器官所组成，其中植物的茎秆在植物植株的生长发育中起着极为重要的支撑作用，植物植株的抗倒伏能力通常与茎秆的物理属性有着密切的关系，因此在培养优良抗倒伏品种植物时，会首要考虑植株茎秆的抗倒伏能力。而由于植株茎秆在自然生长环境中会受到各类外力的影响而发生弯曲形变，因此对植株茎秆弯曲的应力应变物理量分析非常必要。

现有的植物茎秆物理性能测试实验是采用三点弯曲试验，将植株茎秆的一部分切下来放在两个金属支架上在茎秆中间点施加压力，之后测量茎秆在受力后所发生的物理形变以及茎秆的内部物理属性。其研究的优点在于对植株茎秆整个从弯曲到茎秆破坏的过程都进行了深入的研究，从而建立出植物茎部的弯曲模型。此试验的不足在于由于每次试验都需要对植物茎部进行裁剪，因此试验具有破坏性。

在植物植株性状检测技术快速发展的背景下，机器视觉在其中脱颖而出，使用机器视觉测量植物植株性状既准确又方便。YOLOv5网络使用网格单元格来检测和识别图像中的物体。YOLOv5网络在跨越网格单元格的每个边界上放置一个检测窗口，并使用深度神经网络来预测图像中的每个物体。它还在图像的每个区域检测到图像中的每个物体，包括像素块的颜色、位置、大小和类别。YOLOv5网络的网格单元格检测算法允许它更有效地处理复杂环境和恶劣的输入，由于它可以在每个网格单元格内检测多个物体，因此可以更准确地定位物体。与传统的目标检测方法相比，YOLOv5可以提供更准确的检测结果，而不会拖慢处理速度。

发明内容

为了实时监测植株倒伏情况，获取感知其生长发育过程中的相关参数并对其图像数据进行处理分析，本发明提供一种基于机器视觉的植株应力应变测量方法及装置，本发明结合深度学习对植物实时图像进行处理，能了解到植株当前的物理量，方便分析植物形态与外部作用的关系，有利于培养抗倒伏性能高的植株品种。

本发明采用如下技术方案来实现。一种基于机器视觉的植株应力应变测量方法，包括以下步骤：

步骤一：通过推杆向植株茎秆施加推力并通过力传感器监测推力大小，通过拍摄装置采集植株茎秆弯曲图像；

步骤二：使用改进的YOLOv5-OBB（YOLOv5方向包围盒） 旋转目标检测算法构建目标检测模型，目标检测模型对植株茎秆弯曲图像进行处理，通过改进的YOLOv5-OBB旋转目标检测算法将弯曲植株茎秆进行旋转框标注处理，以受力点为界限标注出两个旋转框，接近地面的旋转框记为旋转框Ⅰ，另一个旋转框记为旋转框Ⅱ，两个旋转框的矩形对应边的夹角即为植株茎秆弯曲角度，受力点离地距离为旋转框Ⅰ的高度，植株茎秆高度为受力点离地距离加上旋转框Ⅱ的高度乘以，并单独截取受力点处植株茎秆图像标注为旋转框Ⅲ，旋转框Ⅲ的高度为受力点直径；

步骤三：结合力传感器所测得的推力大小，计算植株茎秆的杨氏弹性模量、弯曲应力和弯曲挠度。

进一步地，所述改进的YOLOv5-OBB旋转目标检测算法指的是：使用OBB的标注方式对所拍摄的植株茎秆弯曲图像进行标注，标注出任意四边形框线顶点按照顺时针顺序排列，形成数据集，然后使用YOLOv5网络进行训练,得到目标检测模型。

进一步地，目标检测模型由主干网络、颈部网络、预测输出构成，主干网络包括依次设置的调焦模块、第一CBS模块、第一C2f模块、第二CBS模块、第二C2f模块、第三CBS模块、第三C2f模块、第四CBS模块、SPP模块、ECA模块、第四C2f模块；颈部网络包括第五CBS模块、第五C2f模块、第六CBS模块、第七CBS模块、第八CBS模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块；第二C2f模块输出第一特征图，第三C2f模块输出第二特征图，第四C2f模块的输出连接第五CBS模块，第五CBS模块输出第三特征图，第三特征图经第一上采样后与第二特征图融合，再依次经第五C2f模块和第六CBS模块处理得到第四特征图，第四特征图经第二上采样后与第一特征图融合并经第六C2f模块处理得到第五特征图，第五特征图送入第一卷积处理得到旋转框Ⅰ；第五特征图经第七CBS模块处理后与第四特征图融合，然后经第七C2f模块处理得到第六特征图，第六特征图送入第二卷积处理得到旋转框Ⅱ；第六特征图经第八CBS模块处理后与第三特征图融合，然后经第八C2f模块处理得到第七特征图，第七特征图送入第三卷积处理得到旋转框Ⅲ。

进一步地，第一C2f模块、第二C2f模块、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块和第八C2f模块的结构相同，均用C2f模块说明结构；C2f模块包括第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层、第十CBS模块，特征图从第九CBS模块输入，依次经第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层处理，将第一瓶颈层、第二瓶颈层、第三瓶颈层各自输出的特征图融合后送入第十CBS模块处理，得到输出。

进一步地，杨氏弹性模量的计算方式为：，其中，为受力点受推力，为转动惯量。

进一步地，植株茎秆所受弯曲应力计算方式为：，为受力点受推力，为转动惯量。

进一步地，植株茎秆的弯曲挠度计算方式为：。

本发明还提供了一种基于机器视觉的植株应力应变测量装置，包括用于采集植株茎秆弯曲图像的拍摄装置，还包括计算机和力传感器，所述计算机上存储有可执行的图像数据处理模块，图像数据处理模块执行改进的YOLOv5-OBB（YOLOv5方向包围盒）旋转目标检测算法所构建的目标检测模型；力传感器用于测量推杆的所用力，摄像装置用于采集植株茎秆受力弯曲发生形变的图像。

本发明的有益效果：通过对植株因外部作用力影响时的应力应变情况进行大量的图像数据采集，深度学习对植物实时图像进行处理，并通过植株弯曲时的应力应变对植株倒伏情况进行分析，有助于培养出抗倒伏性能更强的植株品种。

本发明在数字化农业的背景下，通过观察应力条件对植株生长结构形态产生的影响，分析植株形态建成对应力条件的响应，实现植株形态建成的应力应变分析，从而塑造培育一个理想的植株形态，实现农业的增产增收。

附图说明

图1是本发明的测量方法流程图。

图2是本发明中测量装置的模拟工作示意图。

图3是本发明的目标检测模型示意图。

图4是本发明的目标检测模型的C2f模块示意图。

图5是模拟植物茎秆弯曲参数测试示意图。

图6是各品种水稻受力弯曲的挠度图。

图2中，1-力传感器、2-拍摄装置、3-计算机。

具体实施方式

下面结合附图和实施例进一步详细阐明本发明。

如图1和图2所示，一种基于机器视觉的植株应力应变测量方法，包括以下步骤：

步骤一：通过推杆向植株茎秆施加推力并通过力传感器1监测推力大小，通过拍摄装置2采集植株茎秆弯曲图像；植株茎秆弯曲图像可通过无线局域网的形式实时发送到计算机3；当然，也可以采用有线网络或者存储卡拷贝的方式将植株茎秆弯曲图像传输至计算机3。

步骤二：使用改进的YOLOv5-OBB （YOLOv5方向包围盒）旋转目标检测算法构建目标检测模型，目标检测模型对植株茎秆弯曲图像进行处理，通过改进的YOLOv5-OBB旋转目标检测算法将弯曲植株茎秆进行旋转框标注处理，并得到植株茎秆物理量。以受力点为界限标注出两个旋转框，接近地面的旋转框记为旋转框Ⅰ，另一个旋转框记为旋转框Ⅱ，两个旋转框的矩形对应边的夹角即为植株茎秆弯曲角度，受力点离地距离为旋转框Ⅰ的高度，植株茎秆高度为受力点离地距离加上旋转框Ⅱ的高度乘以，并单独截取受力点处植株茎秆图像标注为旋转框Ⅲ，旋转框Ⅲ的高度为受力点直径。

改进的YOLOv5-OBB旋转目标检测算法（YOLOv5-OBB（C2f)+ECA）指的是：使用OBB的标注方式对所拍摄的植株茎秆弯曲图像进行标注，标注出任意四边形框线顶点按照顺时针顺序排列，形成数据集，然后使用YOLOv5网络进行训练,得到目标检测模型。

本实施例的数据集含训练集176张图片、测试集20张图片、验证集22张图片，选取四种主要的评价指标如平均精确度、准确率、召回率、准确率和召回率的调和平均值（F1-Score），对不同YOLOv5改良网络统一运行了1200轮得到评价指标数据。使用数据集运行后不同YOLOv5改良网络的四种评价指标对比数据如表1所示。

表1. 不同YOLOv5改良网络的四种评价指标对比数据

；

表中，CBAM——卷积块注意模块（通道注意力机制和空间注意力机制混合使用）;ECA——有效通道注意机制；SE——通道注意力机制;CoorAttention——协调注意力机制。

本实施例的目标检测模型的网络结构如图3所示，由主干网络、颈部网络、预测输出构成，主干网络包括依次设置的调焦模块（Focus）、第一CBS模块、第一C2f模块、第二CBS模块、第二C2f模块、第三CBS模块、第三C2f模块、第四CBS模块、SPP模块、ECA模块（有效通道注意机制）、第四C2f模块；颈部网络包括第五CBS模块、第五C2f模块、第六CBS模块、第七CBS模块、第八CBS模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块；第二C2f模块输出第一特征图，第三C2f模块输出第二特征图，第四C2f模块的输出连接第五CBS模块，第五CBS模块输出第三特征图，第三特征图经第一上采样后与第二特征图融合，再依次经第五C2f模块和第六CBS模块处理得到第四特征图，第四特征图经第二上采样后与第一特征图融合并经第六C2f模块处理得到第五特征图，第五特征图送入第一卷积处理得到旋转框Ⅰ；第五特征图经第七CBS模块处理后与第四特征图融合，然后经第七C2f模块处理得到第六特征图，第六特征图送入第二卷积处理得到旋转框Ⅱ；第六特征图经第八CBS模块处理后与第三特征图融合，然后经第八C2f模块处理得到第七特征图，第七特征图送入第三卷积处理得到旋转框Ⅲ。

第一C2f模块、第二C2f模块、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块和第八C2f模块的结构相同，均用C2f模块说明结构；C2f模块的结构如图4所示，包括第九CBS模块、分离函数（Split函数）、第一瓶颈层（Bottleneck）、第二瓶颈层、第三瓶颈层、第十CBS模块，特征图从第九CBS模块输入，依次经第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层处理，将第一瓶颈层、第二瓶颈层、第三瓶颈层各自输出的特征图融合后送入第十CBS模块处理，得到输出。

在YOLOv5-OBB 中加入了有效通道注意机制并使用C2f模块改良，使得改进的YOLOv5-OBB旋转目标检测算法（YOLOv5-OBB（C2f)+ECA）的识别效果更佳，能更精准的标注出旋转框，提高数据测量精度。

步骤三：结合力传感器所测得的推力大小，推导计算出植株茎秆的杨氏弹性模量、弯曲应力和弯曲挠度。参照图5，具体推导计算过程如下：

植株茎秆弯曲过程中所受弯曲应力与应变关系为：，其中：为弯曲应力，为应变，，其中是植株茎秆高度，为植株茎秆高度变化量；为植株茎秆的杨氏弹性模量。如图5所示，当植株茎秆弯曲时，植株茎秆的曲率为弯曲半径的倒数,且，为植物茎秆受推力发生弯曲处的弯曲角度，为植物茎秆受推力发生弯曲处的弯曲角度微分，为植株茎秆弯曲时弯曲部分的弯曲长度，表示植株茎秆弯曲时选取放大部分的茎秆弯曲长度的微分长度，为设定的竖直坐标轴，表示在竖直坐标轴方向的投影长度，在较小时，，可得植株茎秆的曲率为：；

把植物茎秆弯曲的地方放大并选取的微型截面，可以得到：，其中，为植物茎杆弯曲弧长，为选取的微型截面距离中性面距离；植物茎秆在竖直坐标轴上的应力分量计算方式为：，植物茎秆在竖直坐标轴的应变分量计算方式为：，放大弯曲部分时，长度为的平面弯曲后保持不变，则平面称为植物茎秆的中性面。

因此距离植物茎秆的中性面的距离为处的每一个小截面的弯矩为： ， ，其中，为弯矩，为转动惯量，转动惯量为的积分；植物茎秆弯曲时， 则弯曲挠度满足：

 ；

其中，为受力点受推力，为弯曲挠度，即植株茎秆发生弯曲后受力点在垂直于竖直坐标轴方向上发生的位移量大小。

则：，

其中，为弯曲挠度微分后的系数大小，为弯曲挠度微分后的常量；边界条件，，并且则: ，其中，，为受力点直径。弯曲挠度可近似表示为：；因此，植株茎秆的杨氏弹性模量计算公式为：。

弯曲应力可以用进行表示，其中为弯矩，可表示为，为弯曲截面系数，可表示为：，结合可求得弯曲应力：。

以各品种水稻类别为例说明步骤三。根据植株茎秆的杨氏弹性模量计算公式计算植株茎秆的杨氏弹性模量，需要测量的物理量包括受力点离地距离、植株茎秆高度、受力点直径、植株茎秆弯曲角度、受力点受推力。

收集了多种水稻的茎秆参数如表2：

表2. 多品种水稻的茎秆参数

；

植物茎秆的弯曲刚度等于植物茎秆弯曲的应力，因此，计算出上述品种水稻的弯曲刚度信息如表3。

表3. 多品种水稻的弯曲刚度

；

取各品种水稻茎秆长度为1m，在0.5m处施加0.5N(牛)的推力，得到各水稻受力模拟条件下的弯曲挠度如图6所示。

本实施例提供了一种基于机器视觉的植株应力应变测量装置，包括用于采集植株茎秆弯曲图像的拍摄装置2，还包括计算机3和力传感器1，所述计算机3上存储有可执行的图像数据处理模块，图像数据处理模块执行改进的YOLOv5-OBB旋转目标检测算法所构建的目标检测模型；力传感器1用于测量推杆的所用力，摄像装置2用于采集植株茎秆受力弯曲发生形变的图像。

本实施例中，拍摄装置采集植株茎秆弯曲图像包括两部分，一是实验室标本采集，采集的植株被放置在试验环境中环境干扰基本可排除；二是野外标本采集，野外的植株在拍摄中由于旁边会有其他环境因素所以要对植株茎秆弯曲图像进行进一步处理，去除植株茎秆弯曲图像的复杂背景。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于机器视觉的植株应力应变测量方法，其特征在于，包括以下步骤：

步骤一：通过推杆向植株茎秆施加推力并通过力传感器监测推力大小，通过拍摄装置采集植株茎秆弯曲图像；

步骤二：使用改进的YOLOv5-OBB旋转目标检测算法构建目标检测模型，目标检测模型对植株茎秆弯曲图像进行处理，通过改进的YOLOv5-OBB旋转目标检测算法将弯曲植株茎秆进行旋转框标注处理，以受力点为界限标注出两个旋转框，接近地面的旋转框记为旋转框Ⅰ，另一个旋转框记为旋转框Ⅱ，两个旋转框的矩形对应边的夹角即为植株茎秆弯曲角度，受力点离地距离为旋转框Ⅰ的高度，植株茎秆高度为受力点离地距离加上旋转框Ⅱ的高度乘以，并单独截取受力点处植株茎秆图像标注为旋转框Ⅲ，旋转框Ⅲ的高度为受力点直径；

步骤三：结合力传感器所测得的推力大小，计算植株茎秆的杨氏弹性模量、弯曲应力和弯曲挠度；

目标检测模型由主干网络、颈部网络、预测输出构成，主干网络包括依次设置的调焦模块、第一CBS模块、第一C2f模块、第二CBS模块、第二C2f模块、第三CBS模块、第三C2f模块、第四CBS模块、SPP模块、ECA模块、第四C2f模块；颈部网络包括第五CBS模块、第五C2f模块、第六CBS模块、第七CBS模块、第八CBS模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块；第二C2f模块输出第一特征图，第三C2f模块输出第二特征图，第四C2f模块的输出连接第五CBS模块，第五CBS模块输出第三特征图，第三特征图经第一上采样后与第二特征图融合，再依次经第五C2f模块和第六CBS模块处理得到第四特征图，第四特征图经第二上采样后与第一特征图融合并经第六C2f模块处理得到第五特征图，第五特征图送入第一卷积处理得到旋转框Ⅰ；第五特征图经第七CBS模块处理后与第四特征图融合，然后经第七C2f模块处理得到第六特征图，第六特征图送入第二卷积处理得到旋转框Ⅱ；第六特征图经第八CBS模块处理后与第三特征图融合，然后经第八C2f模块处理得到第七特征图，第七特征图送入第三卷积处理得到旋转框Ⅲ；

第一C2f模块、第二C2f模块、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块和第八C2f模块的结构相同，均用C2f模块说明结构；C2f模块包括第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层、第十CBS模块，特征图从第九CBS模块输入，依次经第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层处理，将第一瓶颈层、第二瓶颈层、第三瓶颈层各自输出的特征图融合后送入第十CBS模块处理，得到输出。

2.根据权利要求1所述的基于机器视觉的植株应力应变测量方法，其特征在于，所述YOLOv5-OBB旋转目标检测算法指的是：使用OBB的标注方式对所拍摄的植株茎秆弯曲图像进行标注，标注出任意四边形框线顶点按照顺时针顺序排列，形成数据集，然后使用YOLOv5网络进行训练,得到目标检测模型。

3.根据权利要求1所述的基于机器视觉的植株应力应变测量方法，其特征在于，杨氏弹性模量的计算方式为：，其中，为受力点受推力，为转动惯量。

4.根据权利要求1所述的基于机器视觉的植株应力应变测量方法，其特征在于，植株茎秆所受弯曲应力计算方式为：，F为受力点受推力，为转动惯量。

5.根据权利要求3所述的基于机器视觉的植株应力应变测量方法，其特征在于，植株茎秆的弯曲挠度计算方式为：。

6.一种基于机器视觉的植株应力应变测量装置，其特征在于，包括用于采集植株茎秆弯曲图像的拍摄装置，还包括计算机和力传感器，所述计算机上存储有可执行的图像数据处理模块，图像数据处理模块执行改进的YOLOv5-OBB旋转目标检测算法所构建的目标检测模型；力传感器用于测量推杆的所用力，摄像装置用于采集植株茎秆受力弯曲发生形变的图像；

所述目标检测模型由主干网络、颈部网络、预测输出构成，主干网络包括依次设置的调焦模块、第一CBS模块、第一C2f模块、第二CBS模块、第二C2f模块、第三CBS模块、第三C2f模块、第四CBS模块、SPP模块、ECA模块、第四C2f模块；颈部网络包括第五CBS模块、第五C2f模块、第六CBS模块、第七CBS模块、第八CBS模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块；第二C2f模块输出第一特征图，第三C2f模块输出第二特征图，第四C2f模块的输出连接第五CBS模块，第五CBS模块输出第三特征图，第三特征图经第一上采样后与第二特征图融合，再依次经第五C2f模块和第六CBS模块处理得到第四特征图，第四特征图经第二上采样后与第一特征图融合并经第六C2f模块处理得到第五特征图，第五特征图送入第一卷积处理得到旋转框Ⅰ；第五特征图经第七CBS模块处理后与第四特征图融合，然后经第七C2f模块处理得到第六特征图，第六特征图送入第二卷积处理得到旋转框Ⅱ；第六特征图经第八CBS模块处理后与第三特征图融合，然后经第八C2f模块处理得到第七特征图，第七特征图送入第三卷积处理得到旋转框Ⅲ；

第一C2f模块、第二C2f模块、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块和第八C2f模块的结构相同，均用C2f模块说明结构；C2f模块包括第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层、第十CBS模块，特征图从第九CBS模块输入，依次经第九CBS模块、分离函数、第一瓶颈层、第二瓶颈层、第三瓶颈层处理，将第一瓶颈层、第二瓶颈层、第三瓶颈层各自输出的特征图融合后送入第十CBS模块处理，得到输出。

Images