CN109558791A - 一种基于图像识别的寻笋装置及方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的寻笋装置及方法，该寻笋装置包括数据采集模块、运算处理模块、显示输出模块，数据采集模块的输出端与运算处理模块的输入端连接，运算处理模块的输出端与显示输出模块的输入端连接，运算处理模块中预先装载有用于判定场景照片中是否存在笋的卷积神经网络应用模型；数据采集模块采集场景照片，并以信号形式传输场景照片给运算处理模块，运算处理模块利用卷积神经网络训练模型判定场景照片中有笋或无笋，并以信号形式传输用于代表判定结果的标签向量及笋的位置标定框信息给显示输出模块；优点是其不受环境因素的影响，寻笋准确度高，且寻笋效率高，便于携带。

Description

一种基于图像识别的寻笋装置及方法

技术领域

本发明涉及一种寻笋技术，尤其是涉及一种基于图像识别的寻笋装置及方法。

背景技术

传统的寻笋方法是人工观察寻找方法，这种方法不仅人力资源浪费，而且寻笋效率较低；此外，人工寻笋的准确度与寻笋人员的经验直接相关，若要比较准确地寻找到笋，则要求寻笋人员具有一定的寻笋经验，然而具有一定寻笋经验的寻笋人员并非能够在短时间内能够培养出的。

为解决传统的寻笋方法存在的弊端，已提出了一些借助探测设备寻笋的方法，如通过检测磁场或阻抗电流的变化来寻笋，该方法存在以下问题：1)由于该方法是通过检测磁场或阻抗电流的变化来实现的，因此受环境因素的影响较大，如土壤中的杂质会造成一定程度上的误判，即会影响寻笋的准确度；2)该方法使用的探测设备中的探针需深入土壤，每一次探测操作人员就得使探针深入土壤，导致寻笋效率得不到理想地提升；3)目前通过检测磁场或阻抗电流的变化来寻笋的探测设备的体积较大，极不便于携带。

发明内容

本发明所要解决的技术问题是提供一种基于图像识别的寻笋装置及方法，其不受环境因素的影响，寻笋准确度高，且寻笋效率高，便于携带。

本发明解决上述技术问题所采用的技术方案为：一种基于图像识别的寻笋装置，其特征在于包括数据采集模块、运算处理模块、显示输出模块，所述的数据采集模块的输出端与所述的运算处理模块的输入端连接，所述的运算处理模块的输出端与所述的显示输出模块的输入端连接，所述的运算处理模块中预先装载有用于判定场景照片中是否存在笋的卷积神经网络应用模型；所述的数据采集模块采集场景照片，并以信号形式传输场景照片给所述的运算处理模块，所述的运算处理模块利用所述的卷积神经网络训练模型判定场景照片中有笋或无笋，并以信号形式传输用于代表判定结果的标签向量及笋的位置标定框信息给所述的显示输出模块。

所述的数据采集模块为CCD相机；所述的CCD相机按设定频率采集场景照片。

所述的运算处理模块为型号为S3C2440的ARM处理器。

所述的显示输出模块为LCD显示器。

该寻笋装置还包括电源模块和开关，所述的电源模块与所述的运算处理模块连接，为所述的运算处理模块、所述的数据采集模块和所述的显示输出模块供电，所述的开关与所述的电源模块连接以开通或关断所述的电源模块。

该寻笋装置还包括箱体，所述的LCD显示器安装于所述的箱体的正面上，所述的CCD相机、所述的ARM处理器和所述的电源模块安装于所述的箱体内，所述的CCD相机的镜头露于所述的箱体的背面上，所述的开关安装于所述的箱体的顶部上。

一种上述的基于图像识别的寻笋装置对应的基于图像识别的寻笋方法，其特征在于包括以下步骤：

步骤一：在寻笋区域内采集有笋和无笋的场景照片共N张；然后将所有场景照片裁剪成统一尺寸大小，并构成样本集；接着将样本集中有笋的场景照片作为正样本，并将正样本的标签向量设定为(1,0)；将样本集中无笋的场景照片作为负样本，并将负样本的标签向量设定为(0,1)；再以矩形框标定的形式标定出每个正样本中的每株笋的位置标定框，将任一株笋的位置标定框以向量形式描述为(x,y,W,H)；其中，N≥2000，样本集中有笋的场景照片的数目与无笋的场景照片的数目的比例为4:6～5:5，或样本集中无笋的场景照片的数目与有笋的场景照片的数目的比例为4:6～5:5，任一个位置标定框内仅有一株笋，x表示任一株笋的位置标定框的左下角顶点在其所在的场景照片中的横坐标，y表示任一株笋的位置标定框的左下角顶点在其所在的场景照片中的纵坐标，W表示任一株笋的位置标定框的宽度，H表示任一株笋的位置标定框的高度；

步骤二：在步骤一的基础上，将所有正样本和所有负样本输入到卷积神经网络中进行训练，训练得到卷积神经网络应用模型；其中，卷积神经网络包含依次设置的输入层、第一卷积层、第二卷积层、全连接层、并行的第一输出层和第二输出层，输入层接收每个正样本或每个负样本，第一卷积层由8个5×5×3神经元的卷积核组成，第一卷积层的激活函数为线性整流函数，第一卷积层的权重矩阵根据第二卷积层的权重矩阵确定，第二卷积层由16个5×5×8神经元的卷积核组成，第二卷积层的激活函数为线性整流函数，第二卷积层的权重矩阵根据全连接层的权重矩阵确定，全连接层的神经元数目为28×28×16个，全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到，第一输出层用于反馈场景照片中有无笋，第一输出层的神经元数目为2个，第二输出层用于反馈场景照片中的笋的位置标定框信息，第二输出层的神经元数目为4个；

步骤三：将一张从寻笋区域采集的场景照片作为待识别场景照片；然后将待识别场景照片作为输入，输入到训练得到的卷积神经网络应用模型中，卷积神经网络应用模型输出用于代表判定结果的标签向量及笋的位置标定框信息。

所述的步骤二中，全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到的具体过程为：

1)令k表示更新次数，k的初始值为1；令w^k表示第k次更新后得到的全连接层的权重矩阵的值；令w⁰表示全连接层的权重矩阵的初始值，其为随机值；令L^k表示第k次更新时的交叉熵损失函数值；令L⁰表示交叉熵损失函数的初始值，L⁰≥1000；

2)根据计算得到L^k的值；其中，i＝1,2，表示输入层接收的场景照片的标签向量中的第i个元素的值，表示第一输出层输出的第i个值，e为自然基数，j＝1,2,3,4，表示输入层接收的场景照片中的笋的位置标定框的向量中的第j个元素的值，表示第二输出层输出的第j个值；

3)根据计算得到w^k的值；其中，当k＞1时w^k-1表示第k-1次更新后得到的全连接层的权重矩阵的值，当k＝1时w^k-1为w⁰，a为学习率即步长，当k＞1时L^k-1表示第k-1次更新时的交叉熵损失函数值，当k＝1时L^k-1为L⁰，表示求L^k-1关于w的偏导数，w表示全连接层的权重矩阵；

4)判断|L^k-L^k-1|≤ε是否成立，如果成立，则将w^k作为全连接层的权重矩阵的最终值；否则，令k＝k+1，然后返回步骤2)继续执行；其中，符号“| |”为取绝对值符号，ε为设定的判断阈值，ε＝10^-6，k＝k+1中的“＝”为赋值符号。

与现有技术相比，本发明的优点在于：

1)由于是使用数据采集模块采集场景图片，再使用运算处理模块直接来判定场景图片中是否有笋即可，因此该寻笋装置及方法不受环境因素的影响，具有很好的抗干扰性，大大提高了寻笋的准确度。

2)该寻笋装置使用时操作人员只需手持该寻笋装置对着寻笋区域使数据采集模块采集场景图片即可，对操作人员无任何寻笋经验要求，使用极为方便，且寻笋效率得到了大幅度地提升。

3)由于该寻笋装置由数据采集模块、运算处理模块、显示输出模块组成，因此实际制作而成的成品的体积可以较小，便于携带。

4)该寻笋装置对硬件要求较低，仅需要数据采集模块和显示输出模块。

5)该寻笋方法在训练阶段训练卷积神经网络的过程中，全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到，使得该寻笋方法具有很好的判别准确率，通过实验可达到91.04％。

6)该寻笋装置可批量生产使用，省去了寻笋专业人员的培养成本。

附图说明

图1为本发明的寻笋装置的组成结构及连接示意图；

图2为本发明的寻笋装置的正面示意图；

图3为本发明的寻笋装置的背面示意图；

图4为本发明的寻笋方法的流程框图；

图5为本发明的寻笋方法中采用的卷积神经网络的层结构示意图；

图6a为使用本发明的寻笋装置及方法从一幅场景图片中标定出的笋的位置标定矩形框的示意图；

图6b为使用本发明的寻笋装置及方法从另一幅场景图片中标定出的笋的位置标定矩形框的示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

在图像识别技术中比较有效的一种方法是基于卷积神经网络(ConvolutionalNeural Network，CNN)的方法。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现。因此本发明采用了卷积神经网络。

本发明提出的一种基于图像识别的寻笋装置，如图1、图2和图3所示，其包括数据采集模块1、运算处理模块2、显示输出模块3、电源模块4和开关5，电源模块4与运算处理模块2连接，为运算处理模块2、数据采集模块1和显示输出模块3供电，开关5与电源模块4连接以开通或关断电源模块4，数据采集模块1的输出端与运算处理模块2的输入端连接，运算处理模块2的输出端与显示输出模块3的输入端连接，运算处理模块2中预先装载有用于判定场景照片中是否存在笋的卷积神经网络应用模型；数据采集模块1采集场景照片，并以信号形式传输场景照片给运算处理模块2，运算处理模块2利用卷积神经网络训练模型判定场景照片中有笋或无笋，并以信号形式传输用于代表判定结果的标签向量及笋的位置标定框信息给显示输出模块3。

在本实施例中，数据采集模块1为CCD相机，CCD相机按设定频率采集场景照片，在本实施例中可以设定每隔5秒采集一张场景照片，这样在使用时操作人员只需将CCD相机的镜头对准所需拍摄的场景区域，CCD相机便会自动按照设定频率进行场景照片采集；运算处理模块2为型号为S3C2440的ARM处理器；显示输出模块3为LCD显示器。

在本实施例中，该寻笋装置还包括箱体6，LCD显示器安装于箱体6的正面上，CCD相机、ARM处理器和电源模块4安装于箱体6内，CCD相机的镜头露于箱体6的背面上，开关5安装于箱体6的顶部上。

本发明提出的一种基于图像识别的寻笋方法，其流程框图如图4所示，其包括以下步骤：

步骤一：在寻笋区域内采集有笋和无笋的场景照片共N张；然后将所有场景照片裁剪成统一尺寸大小，如统一裁剪成分辨率为28×28，并构成样本集；接着将样本集中有笋的场景照片作为正样本，并将正样本的标签向量设定为(1,0)；将样本集中无笋的场景照片作为负样本，并将负样本的标签向量设定为(0,1)；再以矩形框标定的形式标定出每个正样本中的每株笋的位置标定框，将任一株笋的位置标定框以向量形式描述为(x,y,W,H)；其中，N≥2000，在本实施例中取N＝10000，样本集中有笋的场景照片的数目与无笋的场景照片的数目的比例为4:6～5:5，或样本集中无笋的场景照片的数目与有笋的场景照片的数目的比例为4:6～5:5，任一个位置标定框内仅有一株笋，x表示任一株笋的位置标定框的左下角顶点在其所在的场景照片中的横坐标，y表示任一株笋的位置标定框的左下角顶点在其所在的场景照片中的纵坐标，W表示任一株笋的位置标定框的宽度，H表示任一株笋的位置标定框的高度。

步骤二：在步骤一的基础上，将所有正样本和所有负样本输入到卷积神经网络中进行训练，训练得到卷积神经网络应用模型；其中，如图5所示，卷积神经网络包含依次设置的输入层、第一卷积层、第二卷积层、全连接层、并行的第一输出层和第二输出层，输入层接收每个正样本或每个负样本，第一卷积层由8个5×5×3神经元的卷积核组成，第一卷积层的激活函数为线性整流函数，第一卷积层的权重矩阵根据第二卷积层的权重矩阵确定，第二卷积层由16个5×5×8神经元的卷积核组成，第二卷积层的激活函数为线性整流函数，第二卷积层的权重矩阵根据全连接层的权重矩阵确定，全连接层的神经元数目为28×28×16个，全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到，第一输出层用于反馈场景照片中有无笋，第一输出层的神经元数目为2个，第二输出层用于反馈场景照片中的笋的位置标定框信息，第二输出层的神经元数目为4个。

在本实施例中，步骤二中全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到的具体过程为：

1)令k表示更新次数，k的初始值为1；令w^k表示第k次更新后得到的全连接层的权重矩阵的值；令w⁰表示全连接层的权重矩阵的初始值，其为随机值；令L^k表示第k次更新时的交叉熵损失函数值；令L⁰表示交叉熵损失函数的初始值，L⁰≥1000，在本实施例中取L⁰＝1000。

2)根据计算得到Lk的值；其中，i＝1,2，表示输入层接收的场景照片的标签向量中的第i个元素的值，表示第一输出层输出的第i个值，e为自然基数，j＝1,2,3,4，表示输入层接收的场景照片中的笋的位置标定框的向量中的第j个元素的值，表示第二输出层输出的第j个值。

3)根据计算得到wk的值；其中，当k＞1时w^k-1表示第k-1次更新后得到的全连接层的权重矩阵的值，当k＝1时w^k-1为w⁰，a为学习率即步长，在本实施例中取a＝0.01，当k＞1时L^k-1表示第k-1次更新时的交叉熵损失函数值，当k＝1时L^k-1为L⁰，表示求L^k-1关于w的偏导数，w表示全连接层的权重矩阵。

4)判断|L^k-L^k-1|≤ε是否成立，如果成立，则将w^k作为全连接层的权重矩阵的最终值；否则，令k＝k+1，然后返回步骤2)继续执行；其中，符号“| |”为取绝对值符号，ε为设定的判断阈值，ε＝10^-6，k＝k+1中的“＝”为赋值符号。

步骤三：将一张从寻笋区域采集的场景照片作为待识别场景照片；然后将待识别场景照片作为输入，输入到训练得到的卷积神经网络应用模型中，卷积神经网络应用模型输出用于代表判定结果的标签向量及笋的位置标定框信息。在此，待识别场景照片为利用数据采集模块采集得到，卷积神经网络应用模型预先装载于运算处理模块中，卷积神经网络应用模型输出的用于代表判定结果的标签向量及笋的位置标定框信息在显示输出模块中显示。

为进一步说明本发明的寻笋装置及方法的可行性和有效性，进行实验。

利用CCD相机在寻笋区域内采集20000张场景照片，将所有场景照片裁剪成统一尺寸大小；然后将其中10000张场景照片构成样本集，该样本集中有笋的场景照片的数目与无笋的场景照片的数目相同；并将剩余的10000张场景照片构成测试集；接着按照步骤一和步骤二相同的方式，对样本集进行处理，进而训练得到卷积神经网络应用模型；最后将测试集中的每张场景照片作为待识别场景照片，按照步骤三相同的方式，判定测试集中的每张场景照片中是否有笋及给出笋的位置标定框。

通过测试，准确率达到了91.04％，图6a给出了使用本发明的寻笋装置及方法从其中一幅场景图片中标定出的笋的位置标定矩形框的示意图，图6b给出了使用本发明的寻笋装置及方法从另一幅场景图片中标定出的笋的位置标定矩形框的示意图。这充分说明了本发明的寻笋装置及方法是可行且有效的。

Claims (8)

1.一种基于图像识别的寻笋装置，其特征在于包括数据采集模块、运算处理模块、显示输出模块，所述的数据采集模块的输出端与所述的运算处理模块的输入端连接，所述的运算处理模块的输出端与所述的显示输出模块的输入端连接，所述的运算处理模块中预先装载有用于判定场景照片中是否存在笋的卷积神经网络应用模型；所述的数据采集模块采集场景照片，并以信号形式传输场景照片给所述的运算处理模块，所述的运算处理模块利用所述的卷积神经网络训练模型判定场景照片中有笋或无笋，并以信号形式传输用于代表判定结果的标签向量及笋的位置标定框信息给所述的显示输出模块。

2.根据权利要求1所述的一种基于图像识别的寻笋装置，其特征在于所述的数据采集模块为CCD相机；所述的CCD相机按设定频率采集场景照片。

3.根据权利要求2所述的一种基于图像识别的寻笋装置，其特征在于所述的运算处理模块为型号为S3C2440的ARM处理器。

4.根据权利要求3所述的一种基于图像识别的寻笋装置，其特征在于所述的显示输出模块为LCD显示器。

5.根据权利要求4所述的一种基于图像识别的寻笋装置，其特征在于该寻笋装置还包括电源模块和开关，所述的电源模块与所述的运算处理模块连接，为所述的运算处理模块、所述的数据采集模块和所述的显示输出模块供电，所述的开关与所述的电源模块连接以开通或关断所述的电源模块。

6.根据权利要求5所述的一种基于图像识别的寻笋装置，其特征在于该寻笋装置还包括箱体，所述的LCD显示器安装于所述的箱体的正面上，所述的CCD相机、所述的ARM处理器和所述的电源模块安装于所述的箱体内，所述的CCD相机的镜头露于所述的箱体的背面上，所述的开关安装于所述的箱体的顶部上。

7.一种权利要求1至6中任一项所述的基于图像识别的寻笋装置对应的基于图像识别的寻笋方法，其特征在于包括以下步骤：

步骤一：在寻笋区域内采集有笋和无笋的场景照片共N张；然后将所有场景照片裁剪成统一尺寸大小，并构成样本集；接着将样本集中有笋的场景照片作为正样本，并将正样本的标签向量设定为(1,0)；将样本集中无笋的场景照片作为负样本，并将负样本的标签向量设定为(0,1)；再以矩形框标定的形式标定出每个正样本中的每株笋的位置标定框，将任一株笋的位置标定框以向量形式描述为(x,y,W,H)；其中，N≥2000，样本集中有笋的场景照片的数目与无笋的场景照片的数目的比例为4:6～5:5，或样本集中无笋的场景照片的数目与有笋的场景照片的数目的比例为4:6～5:5，任一个位置标定框内仅有一株笋，x表示任一株笋的位置标定框的左下角顶点在其所在的场景照片中的横坐标，y表示任一株笋的位置标定框的左下角顶点在其所在的场景照片中的纵坐标，W表示任一株笋的位置标定框的宽度，H表示任一株笋的位置标定框的高度；

步骤二：在步骤一的基础上，将所有正样本和所有负样本输入到卷积神经网络中进行训练，训练得到卷积神经网络应用模型；其中，卷积神经网络包含依次设置的输入层、第一卷积层、第二卷积层、全连接层、并行的第一输出层和第二输出层，输入层接收每个正样本或每个负样本，第一卷积层由8个5×5×3神经元的卷积核组成，第一卷积层的激活函数为线性整流函数，第一卷积层的权重矩阵根据第二卷积层的权重矩阵确定，第二卷积层由16个5×5×8神经元的卷积核组成，第二卷积层的激活函数为线性整流函数，第二卷积层的权重矩阵根据全连接层的权重矩阵确定，全连接层的神经元数目为28×28×16个，全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到，第一输出层用于反馈场景照片中有无笋，第一输出层的神经元数目为2个，第二输出层用于反馈场景照片中的笋的位置标定框信息，第二输出层的神经元数目为4个；

步骤三：将一张从寻笋区域采集的场景照片作为待识别场景照片；然后将待识别场景照片作为输入，输入到训练得到的卷积神经网络应用模型中，卷积神经网络应用模型输出用于代表判定结果的标签向量及笋的位置标定框信息。

8.根据权利要求7所述的一种基于图像识别的寻笋方法，其特征在于所述的步骤二中，全连接层的权重矩阵通过采用交叉熵损失函数并利用梯度下降法更新得到的具体过程为：

1)令k表示更新次数，k的初始值为1；令w^k表示第k次更新后得到的全连接层的权重矩阵的值；令w⁰表示全连接层的权重矩阵的初始值，其为随机值；令L^k表示第k次更新时的交叉熵损失函数值；令L⁰表示交叉熵损失函数的初始值，L⁰≥1000；

2)根据计算得到L^k的值；其中，i＝1,2，表示输入层接收的场景照片的标签向量中的第i个元素的值，表示第一输出层输出的第i个值，e为自然基数，j＝1,2,3,4，表示输入层接收的场景照片中的笋的位置标定框的向量中的第j个元素的值，表示第二输出层输出的第j个值；

3)根据计算得到w^k的值；其中，当k＞1时w^k-1表示第k-1次更新后得到的全连接层的权重矩阵的值，当k＝1时w^k-1为w⁰，a为学习率即步长，当k＞1时L^k-1表示第k-1次更新时的交叉熵损失函数值，当k＝1时L^k-1为L⁰，表示求L^k-1关于w的偏导数，w表示全连接层的权重矩阵；

4)判断|L^k-L^k-1|≤ε是否成立，如果成立，则将w^k作为全连接层的权重矩阵的最终值；否则，令k＝k+1，然后返回步骤2)继续执行；其中，符号“| |”为取绝对值符号，ε为设定的判断阈值，ε＝10^-6，k＝k+1中的“＝”为赋值符号。