CN114694056A - 山地农田环境识别方法、装置、电子设备及存储介质 - Google Patents

山地农田环境识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114694056A
CN114694056A CN202210151625.2A CN202210151625A CN114694056A CN 114694056 A CN114694056 A CN 114694056A CN 202210151625 A CN202210151625 A CN 202210151625A CN 114694056 A CN114694056 A CN 114694056A
Authority
CN
China
Prior art keywords
mountain
farmland
image
segmentation model
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210151625.2A
Other languages
English (en)
Inventor
陈立平
张林焕
张瑞瑞
伊铜川
李龙龙
朱奥斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Original Assignee
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences filed Critical Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority to CN202210151625.2A priority Critical patent/CN114694056A/zh
Publication of CN114694056A publication Critical patent/CN114694056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种山地农田环境识别方法、装置、电子设备及存储介质，该方法，包括：获取基于双目相机采集的山地农田图像；将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到。本发明提供的山地农田环境识别方法、装置、电子设备及存储介质，通过采集多种山地农田环境对应的图像样本，训练得到图像分割模型，将训练得到的图像分割模型部署在作业车辆中，以帮助确定作业车辆所处的环境中的安全行驶区域以及危险区域，进而保障作业车辆的安全。

Description

山地农田环境识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种山地农田环境识别方法、装置、电子设备及存储介质。
背景技术
在山地农田作业时，一般会采用作业车辆进行作业，山地农田的地形复杂，造成管理及生产成本较大。梯田式果园是山地农田的典型代表，其地形多样，环境多变，作业车辆在山地农田作业时，需要能对车辆所处环境进行准确识别，以排除作业车辆在正常行驶过程中可能存在的安全隐患，以确保安全作业。
目前，作业车辆在山地农田作业时，一般采用激光雷达或者三维相机对山地农田的地形进行识别，由于激光雷达获取的点云信息不能较准确的反应地面细节信息，导致作业车辆在山地农田地面行驶时，具有安全隐患。基于三维相机对山地农田地形进行识别，是使用阈值法和聚类算法处理数据，也难以对山地农田的地面障碍物有效识别，从而影响作业车辆的安全行驶。
发明内容
本发明提供一种山地农田环境识别方法、装置、电子设备及存储介质，用以实现对山地农田的地面障碍物进行有效识别，保障作业车辆的安全作业。
本发明提供一种山地农田环境识别方法，包括：
获取基于双目相机采集的山地农田图像；
将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
根据本发明提供的山地农田环境识别方法，所述图像分割模型，基于如下步骤得到：
删除目标神经网络中的部分卷积核或者特征图通道，并基于相同的位宽或者多个不同位宽，调整所述目标神经网络中的不同网络参数，得到简化网络模型；
将所述标注类别的图像样本，输入至所述简化网络模型，训练得到所述图像分割模型。
根据本发明提供的山地农田环境识别方法，所述获取基于双目相机采集的山地农田图像，包括：
获取所述双目相机采集的山地农田视频；
读取所述山地农田视频的帧序列，并对读取的帧序列进行灰度转换，得到灰度图像；
对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像。
根据本发明提供的山地农田环境识别方法，所述对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像，包括：
确定所述灰度图像的特征点；
跟踪所述灰度图像的特征点，对所述灰度图像的特征点进行运动估计；
对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像。
根据本发明提供的山地农田环境识别方法，所述对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像，包括：
基于移动平均滤波器，计算所述运动估计结果对应的平滑轨迹；
确定所述平滑轨迹的平滑变换结果，并将所述平滑变换结果应用于所述山地农田视频的帧序列中，修复所述山地农田视频的帧序列的边界伪影，得到所述山地农田图像。
本发明还提供一种山地农田环境识别装置，包括：
获取模块，用于获取基于双目相机采集的山地农田图像；
分割模块，用于将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
确定模块，用于基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
根据本发明提供的山地农田环境识别装置，所述图像分割模型，基于如下步骤得到：
删除目标神经网络中的部分卷积核或者特征图通道，并基于相同的位宽或者多个不同位宽，调整所述目标神经网络中的不同网络参数，得到简化网络模型；
将所述标注类别的图像样本，输入至所述简化网络模型，训练得到所述图像分割模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述山地农田环境识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述山地农田环境识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述山地农田环境识别方法。
本发明提供的山地农田环境识别方法、装置、电子设备及存储介质，通过采集多种山地农田环境对应的图像样本，并对图像样本进行标注分类，基于分类所得到的数据集，训练得到图像分割模型，将训练得到的图像分割模型部署在作业车辆的主控制器中，实现对双目相机实时采集的山地农田图像进行识别，确定山地农田图像中所包含的物种类，进一步确定作业车辆所处的环境；基于双目相机采集的图像，还可以确定山地农田上各种障碍物的距离，进而可以确定作业车辆所处的环境中的安全行驶区域以及危险区域，通过安全行驶区域以及危险区域，确定作业车辆的安全行驶路径，保障作业车辆的安全。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的山地农田环境识别方法的流程示意图；
图2是本发明提供的作业车辆所处的山地环境示意图；
图3是本发明提供的图像分割模型的生成及部署示意图；
图4是本发明提供的山地农田图像去抖的方法流程图；
图5是本发明提供的山地农田环境识别装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
附图标记：
210：第一层梯田；220：第二层梯田；230：作业车辆；240：凹坑；250：石头；260：凸台。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的山地农田环境识别方法、装置、电子设备及存储介质。
图1是本发明提供的山地农田环境识别方法的流程示意图，如图1所示，本发明提供一种山地农田环境识别方法，包括：
步骤110、获取基于双目相机采集的山地农田图像；
可以理解的是，山地农田环境识别方法可以应用于无人驾驶作业车辆，该作业车辆包含有主控制器、双目相机和无刷直流电机。
主控制器选用视觉处理速度强劲的NVIDIA JETSON AGX XAVIER型号处理器，双目相机采用ZED2相机，具有宽视野、低失真等优点，且可反馈出物体距离、角度等参数。
山地农田图像，可以是梯田式果园图像，或者其他类型的丘陵山地图像。
步骤120、将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
其中，所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到。所述图像样本，为多种山地农田环境对应的图像样本。
可以理解的是，目标神经网络模型，可以是Deeplab网络、Unet网络、SegNet网络或者FCN(Fully Convolutional Networks for Semantic Segmentation，全卷积神经)网络。
山地农田图像所包含的物种类，可以是崖壁、石头、凹坑、凸台、道路或崖边。
在一些实施例中，图2是本发明提供的作业车辆所处的山地环境示意图，如图2所示，作业车辆位于第一层梯田210上，与第一层梯田210相邻的是第二层梯田220，第二层梯田220的路面高于第一层梯田210的路面，第一层梯田210与第二层梯田220之间的壁为崖壁。在第一层梯田210上有凹坑240、凸台250以及石头260等物种。
进一步，考虑山地环境的光照因素，山地农田图像所包含的物种类，可以分为在强光下、弱光下或者正常光照下的物种类。
提取山地农田图像中返回的物种类对应的类别值，根据类别值判断作业车辆所处环境。若基于类别值确定山地农田图像中包含树干类别与崖壁类别，则确定作业车辆处于临壁环境下；若基于类别值确定山地农田图像中包含树干类别与崖边类别，即确定作业车辆处于道路边缘状况；若作业车辆既不处于临壁环境，也不处于道路边缘，则确定作业车辆处于平地中。
双目相机在采集山地农田图像时，先是采集山地农田视频，再基于山地农田视频的帧序列，提取山地农田图像。为了避免产生运行卡顿及主控器内存大量消耗的问题，故每间隔N(N＞1)帧提取一次山地农田图像数据，即提高了主控制器的数据推理速度，又保证了作业车辆对环境的准确分类。
图3是本发明提供的图像分割模型的生成及部署示意图，如图3所示，使用双目相机采集不同光照强度、不同角度、不同地形条件下的图像样本，利用Lableme软件对采集的图像样本进行标注，标注类分为树干、崖壁、崖边、石头、凹坑、凸台，且需保证标注生成文件与原始图片命名一致。
随后将标注图像样本按一定比例分为训练数据集和验证数据集，目的在于提高模型泛化能力。下一步是对神经网络的选择与优化，确保高质量的分割精度。后续工作是对图像分割模型进行简化及部署，从而实现作业车辆的环境感知、安全行驶区域等功能。
步骤130、基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
可以理解的是，山地环境中，存在崖壁、道路和崖边等环境，靠近崖壁或者崖壁的位置，以及路面有石头、凹坑或者凸台的区域，均属于危险区域，道路中间属于安全行驶区域。
在一些实施例中，所述图像分割模型，基于如下步骤得到：
删除目标神经网络中的部分卷积核或者特征图通道，并基于相同的位宽或者多个不同位宽，调整所述目标神经网络中的不同网络参数，得到简化网络模型；
将所述标注类别的图像样本，输入至所述简化网络模型，训练得到所述图像分割模型。
其中，标注类别的图像样本，可以划分为训练数据集和验证数据集，对简化网络模型进行训练。
可以理解的是，由于作业车辆所处的环境复杂，对应山地农田图像需分割的物种较多，且神经网络结构复杂、参数众多，导致训练出来的模型推理时间较长、内存需求较大，对于计算能力受限平台的部署工作具有巨大的困难和挑战。
因此，本实施例采用模型加速与压缩方法对网络模型进行处理，加速和压缩方法采取剪枝与量化，及知识蒸馏。
网络模型的加速采用粗粒度的参数结构化剪枝方法，其最小单位是卷积核(即：filter)内参数的组合，通过对卷积核或特征图(即：feature map)设置评价因子，还可以删除整个卷积核或者特征图某几个通道(即：channel)，使网络简化，实现在现有软硬件上的加速。
在一些实施例中，所述基于所述简化网络模型，得到所述图像分割模型，包括：
基于相同的位宽或者多个不同位宽，调整所述简化网络模型中的不同网络参数，得到所述图像分割模型。
可以理解的是，网络模型的压缩通过网络参数的量化实现，具体是使用低位宽代替典型的32位浮点型的权重、激活值、梯度、误差等网络参数。通过使用统一的位宽(例如，16位或者8位的位宽)或自由组合不同位宽来调整网络参数，减少参数储存、内存占用空间，降低设备能耗并加快运算速度。
在一些实施例中，所述获取基于双目相机采集的山地农田图像，包括：
获取所述双目相机采集的山地农田视频；
读取所述山地农田视频的帧序列，并对读取的帧序列进行灰度转换，得到灰度图像；
对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像。
可以理解的是，山地环境地面是非平坦地面，故作业车辆在作业时由于自身原因和外界因素的存在，从而导致双目相机在读取环境图像时产生抖动，造成某些帧图像模糊，影响图像分割模型对物标的分割精度，及提取的可行驶区域的数据真实性，进而危及行车安全。
无人驾驶作业车辆的行驶速度较缓和，连续帧之间的运动较小，因而本实施例采取OpenCV库中的点特征匹配技术，实现视频的去抖功能。
图4是本发明提供的山地农田图像去抖的方法流程图，如图4所示，其核心原理是应用欧几里得运动模型对图像平移变换、旋转变换、缩放变换。主要分运动估计、运动平滑、图像合成三个步骤完成。
在一些实施例中，所述对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像，包括：
确定所述灰度图像的特征点；
跟踪所述灰度图像的特征点，对所述灰度图像的特征点进行运动估计；
对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像。
可以理解的是，在获取了双目相机采集的山地农田视频之后，读取山地农田视频中的帧序列，并对读取的帧序列进行灰度转换，得到灰度图像后，基于图像处理技术函数(GoodFeaturesToTrack)对灰度图像的特征点进行检测，从而确定灰度图像的特征点。
采用光流算法(CalcOpticalFlowPyrLK)跟踪灰度图像的特征点，并基于欧几里得变换(estimateRigidTransform)对灰度图像的特征点进行运动估计。
对灰度图像的特征点的运动估计结果(即：特征点的运动轨迹)，进行平滑处理，进而确定山地农田图像。
在一些实施例中，所述对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像，包括：
基于移动平均滤波器，计算所述运动估计结果对应的平滑轨迹；
确定所述平滑轨迹的平滑变换结果，并将所述平滑变换结果应用于所述山地农田视频的帧序列中，修复所述山地农田视频的帧序列的边界伪影，得到所述山地农田图像。
可以理解的是，移动平均滤波器基于统计规律，将连续的采样数据看成一个长度固定为N的队列，在新的一次测量后，上述队列的首数据去掉，其余N-1个数据依次前移，并将新的采样数据插入，作为新队列的尾；然后对这个队列进行算术运算，并将其结果做为本次测量的结果。
进一步，可以基于getrotationMatrix2D函数，修复所述山地农田视频的帧序列的边界伪影，得到山地农田图像。
在一些实施例中，作业车辆读取前方山地的地面信息，利用上述去抖算法对双目相机输入帧序列进行处理，随后间隔5帧提取一次图像，经过部署的图像分割模型，该图像分割模型采用DeeplabV3_resnet50神经网络训练得到，对图像分割处理后，得出作业车辆目前所处的环境，安全行驶区域和危险区域的信息，最后基于三次B样条曲线拟合原理，对作业车辆目前所处的环境中的安全行驶区域和危险区域的信息进行拟合，得到作业车辆的行驶路径。
综上所述，在本发明提供的山地农田环境识别方法中，通过采集多种山地农田环境对应的图像样本，并对图像样本进行标注分类，基于分类所得到的数据集，训练得到图像分割模型，将训练得到的图像分割模型部署在作业车辆的主控制器中，实现对双目相机实时采集的山地农田图像进行识别，确定山地农田图像中所包含的物种类，进一步确定作业车辆所处的环境；基于双目相机采集的图像，还可以确定山地农田上各种障碍物的距离，进而可以确定作业车辆所处的环境中的安全行驶区域以及危险区域，通过安全行驶区域以及危险区域，确定作业车辆的安全行驶路径，保障作业车辆的安全。
下面对本发明提供的山地农田环境识别装置进行描述，下文描述的山地农田环境识别装置与上文描述的山地农田环境识别方法可相互对应参照。
图5是本发明提供的山地农田环境识别装置的结构示意图，如图5所示，本发明提供的山地农田环境识别装置500，包括：获取模块510、分割模块520和确定模块530。
获取模块510用于获取基于双目相机采集的山地农田图像；
分割模块520用于将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
确定模块530用于基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
在一些实施例中，所述图像分割模型，基于如下步骤得到：
删除目标神经网络中的部分卷积核或者特征图通道，并基于相同的位宽或者多个不同位宽，调整所述目标神经网络中的不同网络参数，得到简化网络模型；
将所述标注类别的图像样本，输入至所述简化网络模型，训练得到所述图像分割模型。
其中，标注类别的图像样本，可以划分为训练数据集和验证数据集，对简化网络模型进行训练。
在一些实施例中，所述基于所述简化网络模型，得到所述图像分割模型，包括：
基于相同的位宽或者多个不同位宽，调整所述简化网络模型中的不同网络参数，得到所述图像分割模型。
在一些实施例中，所述获取模块510，包括：视频获取单元、读取转换单元和第一图像生成单元。
视频获取单元用于获取所述双目相机采集的山地农田视频；
读取转换单元用于读取所述山地农田视频的帧序列，并对读取的帧序列进行灰度转换，得到灰度图像；
第一图像生成单元用于对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像。
在一些实施例中，第一图像生成单元包括：特征点提取单元、运动估计单元和运动平滑单元。
特征点提取单元用于确定所述灰度图像的特征点；
运动估计单元用于跟踪所述灰度图像的特征点，对所述灰度图像的特征点进行运动估计；
运动平滑单元用于对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像。
在一些实施例中，运动平滑单元包括：轨迹确定单元和第二图像生成单元。
轨迹确定单元用于基于移动平均滤波器，计算所述运动估计结果对应的平滑轨迹；
第二图像生成单元用于确定所述平滑轨迹的平滑变换结果，并将所述平滑变换结果应用于所述山地农田视频的帧序列中，修复所述山地农田视频的帧序列的边界伪影，得到所述山地农田图像。
下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的山地农田环境识别方法可相互对应参照。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行山地农田环境识别方法，该方法包括：
步骤110、获取基于双目相机采集的山地农田图像；
步骤120、将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
步骤130、基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的山地农田环境识别方法，该方法包括：
步骤110、获取基于双目相机采集的山地农田图像；
步骤120、将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
步骤130、基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的山地农田环境识别方法，该方法包括：
步骤110、获取基于双目相机采集的山地农田图像；
步骤120、将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
步骤130、基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种山地农田环境识别方法，其特征在于，包括：
获取基于双目相机采集的山地农田图像；
将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
2.根据权利要求1所述的山地农田环境识别方法，其特征在于，
所述图像分割模型，基于如下步骤得到：
删除目标神经网络中的部分卷积核或者特征图通道，并基于相同的位宽或者多个不同位宽，调整所述目标神经网络中的不同网络参数，得到简化网络模型；
将所述标注类别的图像样本，输入至所述简化网络模型，训练得到所述图像分割模型。
3.根据权利要求1或2所述的山地农田环境识别方法，其特征在于，所述获取基于双目相机采集的山地农田图像，包括：
获取所述双目相机采集的山地农田视频；
读取所述山地农田视频的帧序列，并对读取的帧序列进行灰度转换，得到灰度图像；
对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像。
4.根据权利要求3所述的山地农田环境识别方法，其特征在于，所述对所述灰度图像进行运动估计和运动平滑处理，得到所述山地农田图像，包括：
确定所述灰度图像的特征点；
跟踪所述灰度图像的特征点，对所述灰度图像的特征点进行运动估计；
对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像。
5.根据权利要求4所述的山地农田环境识别方法，其特征在于，所述对所述灰度图像的特征点的运动估计结果，进行运动平滑处理，得到所述山地农田图像，包括：
基于移动平均滤波器，计算所述运动估计结果对应的平滑轨迹；
确定所述平滑轨迹的平滑变换结果，并将所述平滑变换结果应用于所述山地农田视频的帧序列中，修复所述山地农田视频的帧序列的边界伪影，得到所述山地农田图像。
6.一种山地农田环境识别装置，其特征在于，包括：
获取模块，用于获取基于双目相机采集的山地农田图像；
分割模块，用于将所述山地农田图像输入至预设的图像分割模型，得到所述山地农田图像所包含的物种类；
确定模块，用于基于所述山地农田图像所包含的物种类，确定作业车辆所处环境信息；
其中，所述作业车辆所处环境信息包括：安全行驶区域以及危险区域；
所述图像分割模型，基于标注类别的图像样本，对目标神经网络训练得到；所述图像样本，为多种山地农田环境对应的图像样本。
7.根据权利要求6所述的山地农田环境识别装置，其特征在于，所述图像分割模型，基于如下步骤得到：
删除目标神经网络中的部分卷积核或者特征图通道，并基于相同的位宽或者多个不同位宽，调整所述目标神经网络中的不同网络参数，得到简化网络模型；
将所述标注类别的图像样本，输入至所述简化网络模型，训练得到所述图像分割模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述山地农田环境识别方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述山地农田环境识别方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述山地农田环境识别方法。
CN202210151625.2A 2022-02-18 2022-02-18 山地农田环境识别方法、装置、电子设备及存储介质 Pending CN114694056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210151625.2A CN114694056A (zh) 2022-02-18 2022-02-18 山地农田环境识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210151625.2A CN114694056A (zh) 2022-02-18 2022-02-18 山地农田环境识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114694056A true CN114694056A (zh) 2022-07-01

Family

ID=82137099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210151625.2A Pending CN114694056A (zh) 2022-02-18 2022-02-18 山地农田环境识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114694056A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320321A (zh) * 2023-05-11 2023-06-23 山东建筑大学 农业信息传输方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320321A (zh) * 2023-05-11 2023-06-23 山东建筑大学 农业信息传输方法、装置、电子设备及存储介质
CN116320321B (zh) * 2023-05-11 2023-09-19 山东建筑大学 农业信息传输方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR102325033B1 (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN109784333A (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN108009554A (zh) 一种图像处理方法以及装置
CN107220647B (zh) 一种叶片交叉条件下作物中心点定位方法及系统
CN109871792B (zh) 行人检测方法和装置
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN112861755B (zh) 一种目标多类别实时分割方法及系统
CN113917487A (zh) 基于激光雷达的封闭道路路沿和可行驶区域检测方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
CN114375460A (zh) 实例分割模型的数据增强方法、训练方法和相关装置
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN114694056A (zh) 山地农田环境识别方法、装置、电子设备及存储介质
CN115578326A (zh) 一种道路病害识别方法、系统、设备及存储介质
CN105335751A (zh) 一种基于视觉图像的泊位飞机前轮定位方法
CN116703979A (zh) 目标跟踪方法、装置、终端及存储介质
CN114529715B (zh) 一种基于边缘提取的图像识别方法及系统
Subhashini et al. An innovative hybrid technique for road extraction from noisy satellite images
CN112651986B (zh) 环境识别方法、识别装置、识别系统、电子设备及介质
Burlacu et al. Stereo vision based environment analysis and perception for autonomous driving applications
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
CN114724190A (zh) 一种基于宠物姿态的心情识别方法
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination