CN112417378A - 一种基于无人机图像处理的中华绒螯蟹质量估算方法 - Google Patents

Abstract

本发明涉及一种基于无人机图像处理的中华绒螯蟹质量估算方法，首先利用无人机现场实地拍摄中华绒螯蟹图像，得到多幅高质量中华绒螯蟹图像；其次，对图像进行预处理，分别包括：图像校正、图像降噪和目标提取；接着，针对中华绒螯蟹目标区域采用维纳滤波复原目标区域，对原图像更新后利用Canny算子进行边缘检测，提取中华绒螯蟹特征区域；最后，计算特征区域像素面积，利用多种回归模型针对中华绒螯蟹质量与甲壳面积建立质量估算模型，误差分析，择优选择估算模型。与传统中华绒螯蟹质量估算方法相比，本发明有效地避免了传统方法引起的中华绒螯蟹的应激反应，且估算精度较高，能够满足现代化水产养殖业对中华绒螯蟹养殖细化管理的高要求。

Description

一种基于无人机图像处理的中华绒螯蟹质量估算方法

技术领域

本发明涉及计算机应用技术领域，尤其是一种基于无人机图像处理的中华绒螯蟹质量估算方法。

背景技术

中华绒螯蟹是我国特有的水产珍品，具有极高的经济及医用价值。近年来，随着水产养殖技术不断发展，中华绒螯蟹养殖和集约化程度得到不断提高，精准的质量测量可为养殖者生产调控和养殖产业结构调整提供科学依据。但由于中华绒螯蟹养殖的特殊性，在质量估算方面存在着一定的困难。

中华绒螯蟹质量测量是中华绒螯蟹养殖过程中重要的问题之一，其对中华绒螯蟹的投喂、分级捕获和养殖密度调控有很大的影响。目前针对水产品预测的研究不多，代表性方法有回归预测法、灰色模型预测法、人工神经网络预测法等。传统的质量测量方法是定期捕获部分中华绒螯蟹进行人工测量，此过程易造成中华绒螯蟹应激反应，导致部分蟹爪脱落，损伤并影响中华绒螯蟹生长。所以，随着中华绒螯蟹养殖和集约化程度的不断提高，精准的质量测量可为养殖者生产调控和养殖产业结构调整提供科学依据。近年来，由于无人机速度快、效率高且具有图像实时传输、姿态实时监控等优点被广泛地应用于农业研究中，随着图像处理算法的成熟，无应激质量测量已经成了养殖业中质量测量的发展趋势。

发明内容

本发明要解决的技术问题是：为了克服现有技术中之不足，本发明提供一种基于无人机图像处理的中华绒螯蟹质量估算方法，以解决中华绒螯蟹质量测量时的误差，减少传统的质量测量时给中华绒螯蟹带来的应激反应。

本发明解决其技术问题所采用的技术方案是：一种基于无人机图像处理的中华绒螯蟹质量估算方法，具有如下步骤：

S1、利用无人机拍摄中华绒螯蟹图像；

S2、对所拍摄的图像进行预处理：包括图像几何校正、图像模糊化和中华绒螯蟹目标提取；

S3、对目标区域进行清晰化操作：对拍摄的中华绒螯蟹目标区域图像进行复原处理并对原图像目标区域进行更新；

S4、采用canny算子提取中华绒螯蟹甲壳轮廓，计算甲壳面积；

S5、选择中华绒螯蟹甲壳面积和中华绒螯蟹实测质量作为参数，利用回归算法得出中华绒螯蟹质量估算模型。

进一步地，所述的步骤S1具体包括：

S1-1、用游标卡尺测量中华绒螯蟹的甲长与甲宽，测量后在甲壳部贴上序号标注；

S1-2、将标注后的中华绒螯蟹放入电子秤中称重；

S1-3、将称重后的中华绒螯蟹放在养殖池斜坡上，操作无人机进行拍摄，以获取单个中华绒螯蟹图像。

进一步地，所述的步骤S2具体包括：

S2-1、利用基于控制点的几何校正法对图像进行几何校正；

S2-2、利用中值滤波对图像进行模糊化降噪处理；

S2-3、利用GrabCut算法对图像进行交互式分割，提取中华绒螯蟹目前区域。

进一步地，所述的步骤S3具体包括：

S3-1、采用维纳滤波对中华绒螯蟹区域进行复原处理，首先对图像退化过程进行估计，在此估计基础上得出退化模型，根据退化模型对图像进行拟合，直至达到最优结果；

S3-2、利用python中OpenCv库中的边缘填充函数copyMakeBorder()，对图像目标区域的上下左右分别进行填充，最后确定图像中目标区域所在位置。

进一步地，所述的步骤S4具体包括：利用canny边缘检测算法提取出中华绒螯蟹的边缘轮廓，canny边缘检测的步骤包括：灰度化、高斯检测、调用canny函数寻找强度梯度、边界清晰化、设置双阙值。

进一步地，所述的步骤S5具体包括：

S5-1、提取出的中华绒螯蟹边缘特征是由中华绒螯蟹甲壳的长与宽组成的矩形区域，统计出图像中所述甲壳的长度与宽度，计算出甲壳的面积；

S5-2、将甲壳面积与实测体重作为参数，分别利用简单线性回归、二次多项式回归、对数回归、幂函数回归以及指数回归这五种回归模型，得出甲壳面积与中华绒螯蟹质量的关系。

本发明的有益效果是：本发明采用无人机拍摄养殖池内的单个中华绒螯蟹图像，利用目标清晰化算法以及canny边缘检测算法，实现对中华绒螯蟹特征参数的获取；通过建立单个中华绒螯蟹质量估算模型，对中华绒螯蟹质量估算具有一定的适用性，可为中华绒螯蟹质量测量提供参考。由于采用无人机拍摄自然环境下的图像，不与中华绒螯蟹直接接触，避免了传统质量测量方法中华绒螯蟹出现的应激反应，有效地解决了拍摄过程中便捷性、安全性和可行性等问题。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明所用实验装置的结构示意图。

图2是本发明所述中华绒螯蟹图像处理流程框图。

图3是本发明所述中华绒螯蟹图像处理结果图。

图4是本发明所述中华绒螯蟹质量估算结果图。

图中：1.游标卡尺，2.电子秤，3.养殖池斜坡，4.养殖池水塘，5.养殖池隔网，6.无人机，7.无人机摄像头与养殖池斜坡之间的角度。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

一种基于无人机图像处理的中华绒螯蟹质量估算方法，具有如下步骤：

S1、利用无人机6拍摄中华绒螯蟹图像；

S2、对所拍摄的图像进行预处理：包括图像几何校正、图像模糊化和中华绒螯蟹目标提取；

S3、对目标区域进行清晰化操作：对拍摄的中华绒螯蟹目标区域图像进行复原处理并对原图像目标区域进行更新；

S4、采用canny算子提取中华绒螯蟹甲壳轮廓，计算甲壳面积；

S5、选择中华绒螯蟹甲壳面积和中华绒螯蟹实测质量作为参数，利用回归算法得出中华绒螯蟹质量估算模型。

具体实验方法如下：

1、如图1所示的是实验装置示意图，包括养殖池水塘4、养殖池斜坡3、养殖池隔网5以及无人机6，养殖池水塘4旁的田地上放置游标卡尺1、电子秤2，图中7表示无人机摄像头与养殖池斜坡3之间的角度大小。

实验时采集中华绒螯蟹体重、甲宽与甲长及图像，获取图像的无人机6具体参数如下：四翼机身净重430g，展开时长宽高为168×184×64mm，对焦轴距213mm，飞行速度25km/h，续航时间为21min，搭载3轴云台，可控转动范围俯仰-90°～+17°(可扩展)，横滚-30°～+30°，角度抖动量±0.005。相机镜头FOV85°(24mm格式等效)，原始图像分辨率3840×2160。

中华绒螯蟹质量估算实验分为三个步骤，步骤一：用游标卡尺1测量中华绒螯蟹的甲长与甲宽，测量后在甲壳部贴上序号标注；步骤二：将标注后的中华绒螯蟹放入电子秤2中，称量质量；步骤三：将称重后的中华绒螯蟹放在养殖池斜坡3上，操作无人机6进行拍摄，获取单个中华绒螯蟹图像。

为避免风速对无人机6飞行稳定度的影响，本实验选择的时间均为天气晴朗、风速较小或无风的时间段。实验时，无人机6飞行的高度为3m，该无人机6噪声较小且无人机6底部搭载三轴云台，配置的摄像头可对运动的物体抓拍。为使实验获取的图像为正射影像，即云台摄像头与养殖池斜坡6成垂直角度，拍摄时调制云台摄像头角度至俯角63度，操控无人机6沿着养殖池斜坡3飞行并对中华绒螯蟹进行抓拍。本实验采集共120张图像，其中84张图像用于质量估算模型研究，36张图像用于质量估算模型验证。

2、中华绒螯蟹图像处理与特征提取。

2.1、中华绒螯蟹图像处理流程：

如图2所示，中华绒螯蟹图像处理过程主要分为图像模糊化、图像目标区域提取、目标图像清晰化及图像更新四个部分，中华绒螯蟹目标图像清晰化为整个过程的核心，它为后续的图像特征提取提供良好的支撑。

整个图像处理过程在python开发环境下结合OpenCV库编写完成。

2.1.1、中华绒螯蟹图像预处理：

由于现实中的光照条件以及无人机6在飞行过程中等存在许多不可抗力因素的影响，在进行图像处理前需要对图像进行校正、降噪、分割等预处理操作。本发明中对图像的预处理操作，包括图像几何校正、图像模糊化和中华绒螯蟹目标提取。

由于无人机6体积较小，超低空拍摄时，受风力或操作抖动等因素影响，会使得图像发生倾斜等问题，因此，在图像处理前需对图像进行几何校正。几何校正主要有基于控制点和基于影响特征的校正。本实验地点主要为中华绒螯蟹养殖池，范围较小，且易寻找控制点，因此，选择基于控制点的几何校正法。养殖池斜坡3可看做一个矩形，选择矩形的左上、右上、左下以及右下四个顶点为控制点。

中值滤波是一种非典型滤波，其基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，让该点周围的像素值接近真实的值从而消除孤立的噪声点。图像模糊化算法关键在于确定滤波模板，一般滤波模板均为二维模板，大小为ksize×ksize。经过试验最终确定滤波模板大小为19×19。

中华绒螯蟹目标提取过程利用GrabCut算法进行交互式前景提取，首先需要用一个矩形框将图像中前景框柱，然后进行迭代式分割，直至达到分割效果为止。由于本实验采集的图像中中华绒螯蟹形状各不相同，无法统一确定目标区域，所以利用交互式程序确定前景区域，即利用人为操作框取目标前景。

2.1.2、目标图像清晰化

利用图像复原技术，对提取出的目标区域图像进行复原，从而将目标图像清晰化。图像复原是利用退化过程的先验知识恢复图像本来面目的方法，其过程可以看作为图像退化的逆向过程。图像复原首先对图像退化过程进行适当的估计，在此估计基础上得出退化模型，根据退化模型对图像进行拟合，直至达到最优结果。

本实验中采用维纳滤波对中华绒螯蟹区域进行复原处理，

2.1.3、中华绒螯蟹图像更新

利用python中OpenCv库中的边缘填充函数copyMakeBorder()，对图像目标区域的上下左右分别进行填充，最后确定图像中目标区域所在位置，将模糊化图像中目标中华绒螯蟹区域RGB值与填充图像中目标区域RGB值替换。

2.2、中华绒螯蟹特征提取

2.2.1中华绒螯蟹轮廓提取

canny边缘检测算法是边缘检测的一种标准算法，利用canny边缘检测算法可有效地提取出河蟹的边缘轮廓。canny边缘检测的步骤分为：灰度化、高斯检测、调用canny函数寻找强度梯度、边界清晰化、设置双阙值。利用OpenCV库中封装好的canny的函数，编写程序时需设置canny函数双阙值。经多次实验，最终确定阙值threshold1为200，threshold2为300。根据canny边缘检测的结果，提取出的中华绒螯蟹边缘特征由甲长与甲宽组成的矩形区域，经膨胀算法处理后，如图3所示。

2.2.2、中华绒螯蟹参数获取

提取出的中华绒螯蟹边缘特征是由甲长与甲宽组成的矩形区域，可统计出图像中甲壳的长度与宽度，作为获取参数。利用公式L＝l*V可计算出甲壳的面积，公式中L为实际长度，l为像素长度，V为单个像素的长度，经过计算V＝0.034cm，获取的部分参数如表1所示。利用公式S＝L*W计算出中华绒螯蟹甲壳的实际面积。式中S表示甲壳的实际面积cm²，L表示甲壳的长度cm，W表示甲壳的宽度cm。

为进一步的确定图像计算结果的精确度，随机抽取30张中华绒螯蟹图像，经过计算得出甲长与甲宽，表1为部分中华绒螯蟹的无人机图像计算结果与实际人工测量对比。

表1中华绒螯蟹的无人机图像计算结果与实际人工测量

对表1进行数值分析，图像全甲长与实测全甲长的平均相对误差为2.70％，图像全甲宽与实测全甲宽的平均相对误差为5.49％，误差分析表明图像计算精度能够满足要求。

3、中华绒螯蟹质量估算

3.1、中华绒螯蟹质量估算模型研究

利用上述提及的算法对84张图像进行处理并经过计算得出甲壳面积，将甲壳面积与实测体重作为参数，分别利用简单线性回归、二次多项式回归、对数回归、幂函数回归以及指数回归这五种回归模型得出甲壳面积与中华绒螯蟹质量的关系。

为了比较简单线性回归、二次多项式回归、对数回归、幂函数回归以及指数回归这五种回归模型的建模效果，本实验选择以决定系数R²和自相关系数P值作为衡量模型的标准。各模型计算结果如表2所示。由于计算出的各模型自相关系数P值均大于0.01，所以为了进一步确定每一个模型的预测精度，随机抽取30条数据，将数据中的甲壳面积S作为未知参数x代入表2中的各个模型，对预估结果y和实测数据M进行对比，取绝对误差和绝对相对误差作为衡量各个回归模型预测精准度的标准，对比结果如表3所示。

表2五种中华绒螯蟹质量回归模型及评定系数

表3中华绒螯蟹质量回归模型精度分析

对表2进行分析，发现简单线性回归模型、二次多项式回归模型以及幂函数回归模型的拟合程度较高，决定系数均大于0.9。对数回归模型与指数回归模型的拟合程度较差，其决定系数均小于0.9。对表3进行数值分析，发现指数回归模型的最大绝对误差和平均值大于其他模型，对数回归模型的最大绝对相对误差和平6均值大于其他模型，说明对数回归模型和指数回归模型的预测精度不高；二次多项式回归模型与简单线性回归模型相比，二次多项式回归模型的绝对误差均值和绝对相对误差均值均大于简单线性回归模型，说明简单线性回归模型的预测精度更高。简单线性回归模型的绝对相对误差的最大值、最小值和平均值都大于幂函数回归模型，说明简单线性回归模型与幂函数回归模型相比，幂函数回归模型的预测精度更高。综上对表2与表3的分析，发现幂函数回归模型的决定系数和预测精度均优于其他模型，因此选择幂函数作为中华绒螯蟹质量估算模型。

3.2中华绒螯蟹质量估算模型分析

由上述中华绒螯蟹质量估算研究可知，幂函数回归模型的估算效果最好。为了进一步确定幂函数回归模型的估算精度，将用于验证中华绒螯蟹质量估算模型的36张图像经过上述提及的算法处理后，计算出甲壳的图像面积S，将甲壳图像面积S作为未知数X代入幂函数回归模型中。本发明选择平均绝对误差(MAE)，均方根误差(RMSE)以及R²作为模型评价标准。MAE可以反映估算值误差的实际情况，RMSE可以用来衡量实际值与估算值之间的偏差，R²可以衡量实际值与估算值之间的总体相关性，越接近于1说明实际值与估算值之间的相关性越高，整体的估算精度也越高。

幂函数模型中华绒螯蟹质量估算结果如图4所示。图中带叉曲线为中华绒螯蟹质量实际测量值，带圆点曲线为幂函数模型预估结果值，从图中可以看出，幂函数模型预估结果值大部分接近于中华绒螯蟹质量的实际测量值。结合图4与模型函数评价标准，幂函数可作为中华绒螯蟹质量估算模型，可满足中华绒螯蟹质量测量的需要。

本发明采用无人机6拍摄养殖池水塘4内的单个中华绒螯蟹图像，利用目标清晰化算法以及canny边缘检测算法实现了对中华绒螯蟹特征参数的获取；针对中华绒螯蟹质量预估的问题，提出了单个中华绒螯蟹质量估算模型，该模型对中华绒螯蟹质量估算具有一定的适用性，可为中华绒螯蟹质量测量提供参考；提出的基于无人机6图像的中华绒螯蟹产量预测方法，由于采用无人机6拍摄自然环境下的图像，不与中华绒螯蟹直接接触，从而避免了中华绒螯蟹出现的应激反应，有效地解决了便捷性、安全性和可行性等问题。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种基于无人机图像处理的中华绒螯蟹质量估算方法种，其特征是：具有如下步骤：

S1、利用无人机拍摄中华绒螯蟹图像；

S2、对所拍摄的图像进行预处理：包括图像几何校正、图像模糊化和中华绒螯蟹目标提取；

S3、对目标区域进行清晰化操作：对拍摄的中华绒螯蟹目标区域图像进行复原处理并对原图像目标区域进行更新；

S4、采用canny算子提取中华绒螯蟹甲壳轮廓，计算甲壳面积；

S5、选择中华绒螯蟹甲壳面积和中华绒螯蟹实测质量作为参数，利用回归算法得出中华绒螯蟹质量估算模型。

2.如权利要求1所述的基于无人机图像处理的中华绒螯蟹质量估算方法，其特征是：所述的步骤S1具体包括：

S1-1、用游标卡尺测量中华绒螯蟹的甲长与甲宽，测量后在甲壳部贴上序号标注；

S1-2、将标注后的中华绒螯蟹放入电子秤中称重；

S1-3、将称重后的中华绒螯蟹放在养殖池斜坡上，操作无人机进行拍摄，以获取单个中华绒螯蟹图像。

3.如权利要求1所述的基于无人机图像处理的中华绒螯蟹质量估算方法，其特征是：所述的步骤S2具体包括：

S2-1、利用基于控制点的几何校正法对图像进行几何校正；

S2-2、利用中值滤波对图像进行模糊化降噪处理；

S2-3、利用GrabCut算法对图像进行交互式分割，提取中华绒螯蟹目前区域。

4.如权利要求1所述的基于无人机图像处理的中华绒螯蟹质量估算方法，其特征是：所述的步骤S3具体包括：

S3-1、采用维纳滤波对中华绒螯蟹区域进行复原处理，首先对图像退化过程进行估计，在此估计基础上得出退化模型，根据退化模型对图像进行拟合，直至达到最优结果；

S3-2、利用python中OpenCv库中的边缘填充函数copyMakeBorder()，对图像目标区域的上下左右分别进行填充，最后确定图像中目标区域所在位置。

5.如权利要求1所述的基于无人机图像处理的中华绒螯蟹质量估算方法，其特征是：所述的步骤S4具体包括：利用canny边缘检测算法提取出中华绒螯蟹的边缘轮廓，canny边缘检测的步骤包括：灰度化、高斯检测、调用canny函数寻找强度梯度、边界清晰化、设置双阙值。

6.如权利要求1所述的基于无人机图像处理的中华绒螯蟹质量估算方法，其特征是：所述的步骤S5具体包括：

S5-1、提取出的中华绒螯蟹边缘特征是由中华绒螯蟹甲壳的长与宽组成的矩形区域，统计出图像中所述甲壳的长度与宽度，计算出甲壳的面积；

S5-2、将甲壳面积与实测体重作为参数，分别利用简单线性回归、二次多项式回归、对数回归、幂函数回归以及指数回归这五种回归模型，得出甲壳面积与中华绒螯蟹质量的关系。

Images