CN112184700A - 基于单目相机的农业无人车障碍物感知方法及装置 - Google Patents

基于单目相机的农业无人车障碍物感知方法及装置 Download PDF

Info

Publication number
CN112184700A
CN112184700A CN202011133554.0A CN202011133554A CN112184700A CN 112184700 A CN112184700 A CN 112184700A CN 202011133554 A CN202011133554 A CN 202011133554A CN 112184700 A CN112184700 A CN 112184700A
Authority
CN
China
Prior art keywords
monocular camera
image
preset
depth
field environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011133554.0A
Other languages
English (en)
Other versions
CN112184700B (zh
Inventor
王书志
冯全
崔学智
杨军奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Minzu University
Original Assignee
Northwest Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Minzu University filed Critical Northwest Minzu University
Priority to CN202011133554.0A priority Critical patent/CN112184700B/zh
Publication of CN112184700A publication Critical patent/CN112184700A/zh
Application granted granted Critical
Publication of CN112184700B publication Critical patent/CN112184700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供基于单目相机的农业无人车障碍物感知方法及装置，该方法包括：将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。仅单目相机获取图像既可以完成深度图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选，减少目标检测网络的使用频率。

Description

基于单目相机的农业无人车障碍物感知方法及装置
技术领域
本发明涉及信息处理技术领域，尤其涉及基于单目相机的农业无人车障碍物感知方法及装置。
背景技术
农业产业中对智能无人车的需求与日俱增，而田间场景又有其特殊性。田间障碍物多为柔性障碍，可承受一定程度的变形。由于田间通道狭窄，使用现有传统避障方法的农业无人车很容易陷入进退两难的困境，即避障转弯半径不足，且物体属性未知无法跨过。
而现有技术中一般在无人车的四角使用多台激光雷达或者双目相机来辅助探测盲区，但是由于激光雷达和双目相机虽然能实现高精度检测，但是其采购成本高昂，并且激光雷达内部结构非常精密，田间颠簸路段容易对其造成损害，而农户的购买力相对较低，因此在农业无人车的成本较高的情况下，则很难得到大规模的普及应用。
因此，如何更好的实现农业无人机避障已经成为业界亟待解决的问题。
发明内容
本发明实施例提供基于单目相机的农业无人车障碍物感知方法及装置，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。
第一方面，本发明实施例提供一种基于单目相机的农业无人车障碍物感知方法，包括：
将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；
在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；
其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；
其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
更具体的，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络。
更具体的，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：
构建上层粗提取网络；
将每个单目相机田间环境样本图像输入所述上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；
利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；
在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。
更具体的，在所述得到训练好的预设上层粗提取网络的步骤之后，所述方法还包括:
将每个单目相机田间环境样本图像输入所述训练好的预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；
构建下层精提取细化网络；将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入所述下层精提取细化网络进行训练，得到每个单目相机田间环境样本图像对应的预测深度值；
利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；
在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络。
更具体的，所述预设损失函数，具体为：
Figure BDA0002735946110000031
Figure BDA0002735946110000032
其中，y表示预测深度值，y*表示所述单目相机田间环境样本图像对应的真实深度值，y和y*在索引为i时都有n个像素，
Figure BDA0002735946110000033
为像素i处的预测值yi和真实值
Figure BDA0002735946110000034
之间的差值。
更具体的，在所述将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息的步骤之前，所述方法还包括:
将携带障碍物标签的单目相机田间环境样本图像输入目标检测网络进行训练，当满足预设训练条件时，停止训练，得到训练好的预设目标检测网络。
更具体的，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：
获取单目相机田间环境图像初始图像；
将所述单目相机田间环境图像初始图像进行图像预处理，得到预处理后的单目相机田间环境图；
其中，所述图像预处理包括：滤波处理、降噪处理和/或锐化处理。
第二方面，本发明实施例提供一种基于单目相机的农业无人车障碍物感知装置，包括：
处理模块，用于将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；
检测模块，用于在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；
其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；
其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于单目相机的农业无人车障碍物感知方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述基于单目相机的农业无人车障碍物感知方法的步骤。
本发明实施例提供的基于单目相机的农业无人车障碍物感知方法及装置，通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，实现障碍物感知本发明实施例中仅仅需要单目相机获取的图像既可以完成深度图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中所描述的基于单目相机的农业无人车障碍物感知方法流程示意图；
图2为本发明一实施例所描述的深度估计网络结构训练图；
图3为本发明一实施例所描述的单目图像避障方法流程图；
图4为本发明一实施例所描述基于单目相机的农业无人车障碍物感知装置示意图；
图5为本发明一实施例所描述的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例中所描述的基于单目相机的农业无人车障碍物感知方法流程示意图，如图1所示，包括：
步骤S1，将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；
具体的，本发明实施例中所描述的单目相机田间环境图像可以是指搭载在农业无人车上的单目相机所拍摄的田间环境图像。
上述农业无人车上的单目相机具体可以安装在农业无车人的四个角落上，该单目相机仅有一个镜头，且内部无电机，其结构相比之于双目相机、激光雷达简单得多，因此成本较低，单目相机重量较双目相机以及激光雷达更轻，有利于减轻农业无人车负载，方便其携带更多的工作设备或喷洒剂。
本发明实施例中所描述的预设深度预测网络使用了两个尺度不同的神经网络来进行单目相机田间环境图深度预测：一个是基于单目相机输入的整个图像的较为粗略的全局网络检测，另一个是从局部出发的细化网络检测，两个网络的输入为同一副图像，粗提取层的提取结果亦是细化网络的输入之一，两个网络使用一个损失函数来训练，最终将单目相机输入图像转化成深度图。
本发明实施例在得到深度图后，可以有效确定无人车与障碍物的距离信息。
并且所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
步骤S2，在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；
其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；
具体的，本发明实施例中所描述的预设面积阈值和预设深度阈值均是可以根据历史经验数据预先确定的。
本发明实施例中通过两个预设的预设面积阈值和预设深度阈值对环境图像深度图进行筛选，减少目标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。
当在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，则说明该单目相机田间环境图像中可能存在障碍物。
此时将单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，该障碍物信息可以是指障碍物所处区域，具体可以在单目相机田间环境图像上绘制边界框,确定障碍物。
本发明实施例中所描述的预设目标检测网络从农业无人车单目相机获取的RGB图像数据标注并训练任意目标检测网络所训练得到的，该目标检测网络可以是指YOLO网络等。
其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
具体的，本发明实施例中所描述的所述单目相机田间环境样本图像对应的真实深度值可以在采集单目相机田间环境样本图像的过程中，通过双目摄像头或者激光雷达同步获取的对应真实深度值。
本发明实施例通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，实现障碍物感知，本发明实施例中仅仅需要单目相机获取的图像既可以完成深度图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。
在上述实施例的基础上，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络。
具体的，预设深度预测网络Netd的第一部分为预设上层粗提取网络lcx其中x∈[1,7]，表示粗提取网络层数。第二部分为预设下层精提取细化网络lry，其中y∈[1,3]，表示精提取网络层数。预设上层粗提取网络由7个处理层构成。lc1卷积核的尺度为11*11，步幅stride为4，通道数channel为96，后接一个2*2的最大池化层。lc2卷积核为5*5，channel为256，后接2*2的最大池化层。lc3到lc5卷积核均为3*3，channel依次为384、384、256，lc6、lc7为全连接层输出个数为4096和1，所有的最终输出层的隐藏层均使用ReLU激活，最终输出分辨率是输入的1/4，实现对图像全局特征的粗提取。预设下层精提取细化网络由4个处理层组成，lr1卷积核尺寸为9*9，stride为2，后接一个2*2的最大池化层，channel为63。之后则是将这63个通道和粗特征提取网络的1通道输出结果连结起来作为卷积层lr2的输入channel，其值为64，卷积层lr3使用5*5卷积核和0填充来维持形状大小不发生改变，最后再经过5*5的卷积层lr4即可以得到最后的深度图结果。所有的除最后一层外的隐单元使用ReLU激活函数非线性激活。
确定对数空间内的尺度不变均方误差。使用尺度不变误差来测量场景中点之间的关系，而不考虑绝对全局尺度。
Figure BDA0002735946110000081
Figure BDA0002735946110000082
是使给定的(y,y*)误差最小化的a值。
其中，y表示预测深度值，y*表示由双目相机深度摄像头获得的单目相机田间环境样本图像对应的真实深度值，y和y*在索引为i时都有n个像素。对于任意的预测值y，ea是最能使它与真实值y*相匹配的尺度，y的所有尺度倍数都有相同的误差，因此存在尺度不变性。可以令
Figure BDA0002735946110000083
为像素i处的预测值yi和真实值
Figure BDA0002735946110000084
之间的差异，则
Figure BDA0002735946110000091
该等式通过比较输出中成对像素i、j之间的关系来表示误差：为了具有低误差，预测中的每对像素的深度差必须与真值中对应对像素的深度差相似。
由尺度不变误差得到预设损失函数。
Figure BDA0002735946110000092
Figure BDA0002735946110000093
最终输出为logy，既最后的线性层预测了深度的对数值。通常取λ＝0.5，来获得良好的预测精度和输出质量。
在上述实施例的基础上，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：
将每个单目相机田间环境样本图像输入上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；
利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；
在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。
具体的，将每个单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值输入到lc1，直至lc5完成对应的卷积运算和池化运算,完成对图像深度特征的粗提取，将lc5得到的结果输入到全连接层lc6，从lc7得到粗提取网络的深度预测值y，之后以前述预设损失函数L(y,y*)为依据进行多次“前向传播——反向传播”，当L(y,y*)输出值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。
在上述实施例的基础上，在所述得到训练好的预设上层粗提取网络的步骤之后，所述方法还包括:
将每个单目相机田间环境样本图像输入预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；
将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入下层精提取细化网络进行训练，得到每个单目相机田间环境样本图像对应的预测深度值；
利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；
在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络。
将单目相机田间环境样本图像输入到下层精提取细化网中的lr1进行对应的卷积运算和池化运算，提取特征；将lr1得到的特征和粗略深度图连结输入到lr2，直至lr4，得到精提取层输出的预测结果。以L(y,y*)为依据进行若干次“前向传播——反向传播”计算，直至L(y,y*)输出满足要求，在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络。
其中，上述的粗略深度图可以是指单目相机田间环境样本图像输入训练的预设上层粗提取网络得到的每个单目相机田间环境样本图像对应的粗略深度图。
在训练过程中，大多数深度图都会有一些缺失值，特别是在靠近物体边界的地方。可以简单地将其屏蔽，只在有效点上评估损失，既用具有目标深度的像素个数替换n，并排除没有深度值的像素i来进行求和。
图2为本发明一实施例所描述的深度估计网络结构训练图，如图2所示，图中虚线表示在训练精提取网络时，不通过粗提取网络反向传播。一方面是基于单目相机输入的整个图像的较为粗略的全局网络检测，另一房间是从局部出发的细化网络检测，两个网络的输入为同一副图像，粗提取层的提取结果亦是细化网络的输入之一，两个网络使用一个损失函数来训练，最终将单目相机输入图像转化成深度图
本发明实施例通过对深度预测网络进行训练，从而实现对实现使用单目相机估计深度的目标，得到单目相机田间环境图的环境图像深度图，从而可以有效实现障碍物的检测。。
在上述实施例的基础上，在所述将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息的步骤之前，所述方法还包括:
将携带障碍物标签的单目相机田间环境样本图像输入目标检测网络进行训练，当满足预设训练条件时，停止训练，得到训练好的预设目标检测网络。
具体的，本发明实施例中所描述的目标检测网络可以是指YOLO网络，本发明实施例中所描述的预设训练条件可以是指满足预设训练次数或者预设训练时间，例如训练满5000次或者训练满30分钟。
本发明实施例中所描述的目标检测网络可以有效识别出图片中障碍物在边界框上标出障碍物。
在上述实施例的基础上，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：
获取单目相机田间环境图像初始图像；
将所述单目相机田间环境图像初始图像进行图像预处理，得到预处理后的单目相机田间环境图；
其中，所述图像预处理包括：滤波处理、降噪处理和/或锐化处理。
图3为本发明一实施例所描述的单目图像避障方法流程图，如图3所示，首先使用单目相机获取图像，然后对单目相机获取图像进行预处理，将预处理后的图像送入深度预测网络，输出深度值，然后使用Δ1阈值处理模块判断深度图中深度小于或等于Δ1的像素点，使用Δ2阈值处理模块判断满足Δ1阈值处理模块要求的像素点形成的连通面基是否大于Δ2，在预处理后的图像中使用目标检测网络判断满足Δ2阈值处理模块要求区域对应的名称属性，将深度值、物体名称属性送入避障模块，避障模块调用相关避障方式进行避障。
本发明实施例通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，实现障碍物感知，本发明实施例中仅仅需要单目相机获取的图像既可以完成深度图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。
图4为本发明一实施例所描述基于单目相机的农业无人车障碍物感知装置示意图，如图4所示，包括：处理模块410、检测模块420；其中，处理模块410用于将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；其中，检测模块420用于在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
本发明实施例通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，实现障碍物感知，本发明实施例中仅仅需要单目相机获取的图像既可以完成深度图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。
图5为本发明一实施例所描述的电子设备结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于单目相机的农业无人车障碍物感知方法，其特征在于，包括：
将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；
在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；
其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；
其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
2.根据权利要求1所述基于单目相机的农业无人车障碍物感知方法，其特征在于，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络。
3.根据权利要求2所述基于单目相机的农业无人车障碍物感知方法，其特征在于，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：
构建上层粗提取网络；
将每个单目相机田间环境样本图像输入所述上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；
利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；
在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。
4.根据权利要求3所述基于单目相机的农业无人车障碍物感知方法，其特征在于，在所述得到训练好的预设上层粗提取网络的步骤之后，所述方法还包括:
将每个单目相机田间环境样本图像输入所述训练好的预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；
构建下层精提取细化网络；
将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入所述下层精提取细化网络进行训练，得到每个单目相机田间环境样本图像对应的预测深度值；
利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；
在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络。
5.根据权利要求4所述基于单目相机的农业无人车障碍物感知方法，其特征在于，所述预设损失函数，具体为：
Figure FDA0002735946100000021
Figure FDA0002735946100000022
其中，y表示预测深度值，y*表示所述单目相机田间环境样本图像对应的真实深度值，y和y*在索引为i时都有n个像素，
Figure FDA0002735946100000023
为像素i处的预测值yi和真实值
Figure FDA0002735946100000024
之间的差值。
6.根据权利要求1所述基于单目相机的农业无人车障碍物感知方法，其特征在于，在所述将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息的步骤之前，所述方法还包括:
将携带障碍物标签的单目相机田间环境样本图像输入目标检测网络进行训练，当满足预设训练条件时，停止训练，得到训练好的预设目标检测网络。
7.根据权利要求1所述基于单目相机的农业无人车障碍物感知方法，其特征在于，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：
获取单目相机田间环境图像初始图像；
将所述单目相机田间环境图像初始图像进行图像预处理，得到预处理后的单目相机田间环境图；
其中，所述图像预处理包括：滤波处理、降噪处理和/或锐化处理。
8.一种基于单目相机的农业无人车障碍物感知装置，其特征在于，包括：
处理模块，用于将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；
检测模块，用于在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；
其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；
其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于单目相机的农业无人车障碍物感知方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于单目相机的农业无人车障碍物感知方法的步骤。
CN202011133554.0A 2020-10-21 2020-10-21 基于单目相机的农业无人车障碍物感知方法及装置 Active CN112184700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011133554.0A CN112184700B (zh) 2020-10-21 2020-10-21 基于单目相机的农业无人车障碍物感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011133554.0A CN112184700B (zh) 2020-10-21 2020-10-21 基于单目相机的农业无人车障碍物感知方法及装置

Publications (2)

Publication Number Publication Date
CN112184700A true CN112184700A (zh) 2021-01-05
CN112184700B CN112184700B (zh) 2022-03-18

Family

ID=73923607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011133554.0A Active CN112184700B (zh) 2020-10-21 2020-10-21 基于单目相机的农业无人车障碍物感知方法及装置

Country Status (1)

Country Link
CN (1) CN112184700B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
CN115116038A (zh) * 2022-08-30 2022-09-27 北京中科慧眼科技有限公司 基于双目视觉的障碍物识别方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109740484A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 道路障碍物识别的方法、装置及系统
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111027381A (zh) * 2019-11-06 2020-04-17 杭州飞步科技有限公司 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN111311685A (zh) * 2020-05-12 2020-06-19 中国人民解放军国防科技大学 一种基于imu/单目图像的运动场景重构无监督方法
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN111414848A (zh) * 2020-03-19 2020-07-14 深动科技（北京）有限公司 一种全类别3d障碍物检测方法、系统和介质
CN111428859A (zh) * 2020-03-05 2020-07-17 北京三快在线科技有限公司 自动驾驶场景的深度估计网络训练方法、装置和自主车辆
CN111583663A (zh) * 2020-04-26 2020-08-25 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111797993A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的评价方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109740484A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 道路障碍物识别的方法、装置及系统
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111027381A (zh) * 2019-11-06 2020-04-17 杭州飞步科技有限公司 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN111428859A (zh) * 2020-03-05 2020-07-17 北京三快在线科技有限公司 自动驾驶场景的深度估计网络训练方法、装置和自主车辆
CN111414848A (zh) * 2020-03-19 2020-07-14 深动科技（北京）有限公司 一种全类别3d障碍物检测方法、系统和介质
CN111583663A (zh) * 2020-04-26 2020-08-25 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111311685A (zh) * 2020-05-12 2020-06-19 中国人民解放军国防科技大学 一种基于imu/单目图像的运动场景重构无监督方法
CN111797993A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的评价方法、装置、电子设备及存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
DAVID EIGEN等: "Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-scale Convolutional Architecture", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
XIANGMO ZHAO等: "Omni-Directional Obstacle Detection for Vehicles Based on Depth Camera", 《IEEE ACCESS》 *
丁幼春等: "农用车辆作业环境障碍物检测方法", 《农业机械学报》 *
卢才武等: "融合目标检测与距离阈值模型的露天矿行车障碍预警", 《光电工程》 *
苟琴等: "基于视差图的未知环境下农田障碍物检测方法", 《计算机工程与设计》 *
范博文: "基于视觉的农业机器人车辆避障策略研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
马兆伟: "基于学习的无人机感知与规避关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 *
魏东辉等: "飞行器超低空飞行制导控制技术发展研究", 《战术导弹技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
CN115116038A (zh) * 2022-08-30 2022-09-27 北京中科慧眼科技有限公司 基于双目视觉的障碍物识别方法和系统
CN115116038B (zh) * 2022-08-30 2023-03-24 北京中科慧眼科技有限公司 基于双目视觉的障碍物识别方法和系统

Also Published As

Publication number Publication date
CN112184700B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN109101914B (zh) 一种基于多尺度的行人检测方法和装置
US10462445B2 (en) Systems and methods for estimating and refining depth maps
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN114820465B (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN112184700B (zh) 基于单目相机的农业无人车障碍物感知方法及装置
US11615612B2 (en) Systems and methods for image feature extraction
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN107563290A (zh) 一种基于图像的行人检测方法及装置
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN115909269A (zh) 一种三维目标检测方法、装置及计算机存储介质
CN111627057A (zh) 一种距离测量方法、装置及服务器
CN115856874A (zh) 毫米波雷达点云降噪方法、装置、设备及存储介质
CN114663598A (zh) 三维建模方法、装置和存储介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN115761425A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN115731451A (zh) 模型训练方法、装置、电子设备及存储介质
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN112215840B (zh) 图像检测、行驶控制方法、装置、电子设备及存储介质
CN112529011A (zh) 目标检测方法及相关装置
CN111898396A (zh) 障碍物检测方法和装置
CN115063594B (zh) 一种基于自动驾驶的特征提取方法及装置
CN118097475B (zh) 一种低慢小目标检测方法、电子设备及计算机程序产品
CN117372988B (zh) 道路边界检测方法、装置、电子设备及存储介质
CN113989938B (zh) 行为识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant