CN116823812A - 一种青贮玉米田间生命检测方法 - Google Patents
一种青贮玉米田间生命检测方法 Download PDFInfo
- Publication number
- CN116823812A CN116823812A CN202311080733.6A CN202311080733A CN116823812A CN 116823812 A CN116823812 A CN 116823812A CN 202311080733 A CN202311080733 A CN 202311080733A CN 116823812 A CN116823812 A CN 116823812A
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- camera
- visible light
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 27
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 27
- 235000005822 corn Nutrition 0.000 title claims abstract description 27
- 239000004460 silage Substances 0.000 title claims abstract description 24
- 240000008042 Zea mays Species 0.000 title claims description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000013519 translation Methods 0.000 claims abstract description 9
- 230000002787 reinforcement Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 22
- 239000003795 chemical substances by application Substances 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 241001465754 Metazoa Species 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 244000144972 livestock Species 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000004720 fertilization Effects 0.000 abstract description 2
- 238000003306 harvesting Methods 0.000 abstract description 2
- 241000209149 Zea Species 0.000 abstract 2
- 230000008901 benefit Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 208000003643 Callosities Diseases 0.000 description 2
- 206010020649 Hyperkeratosis Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种青贮玉米田间生命检测方法，用于搭载机器上实时检测玉米施肥、收获等作业阶段可能出现的生命体，包括以下步骤：将可见光相机与热红外相机图像输入系统，通过软硬件结合，增添信号发生器与同步时间戳的方式融合热红外相机与可见光相机信息，确保采集多模态数据的时序一致性；使用Harris角点检测提取关键特征点，基于FlowNet卷积神经网络光流计算，根据光流估计的结果，对图像进行平移、旋转等调整，以抵消摄像机带来的抖动效应，并通过图像去噪、锐化等操作改善图像平滑性；将图像反馈至预先训练好的深度学习目标检测模型，以损失一定的中远距离检测精度为代价，大幅提高检测速度。
Description
技术领域
本发明涉及一种青贮玉米田间生命检测方法，属于农业机械图像处理与自动化领域。
背景技术
随着国家青贮产业化规模不断扩大，农户对于青贮玉米的需求也在不断增加，随之而来的是，农田安全问题逐渐引起了人们的关注。青贮玉米生长茂密，由于秸秆的遮挡，在施肥、收获等阶段机手无法通过肉眼看清机械作业前方的场景，存在视觉盲区。一旦有人或者动物在作业机械前方出现，极易造成安全事故。已有的机载摄像障碍物检测方法，如通过在收割机上搭载可见光相机并通过机器学习（深度学习）的方式来判断障碍物，仅在视野开阔、工况简单的情况下有一定精度与检测速度的保障，而超声波、短波红外、雷达等传感器也存在成本过高或穿透力不足等缺点。在枝繁叶茂的玉米地中，高大的玉米秸秆几乎会完全遮挡障碍物，颠簸的路况也为检测任务带来巨大的挑战性。且施肥机、青贮机等机器工作时通常行驶速度很快，在检测到人或动物后如若不能在短暂的时间内迅速做出决策，检测计算反应时间内依然可能会酿成无法挽回的悲剧，造成巨大的经济损失，给社会带来不良影响。本发明涉及的一种青贮玉米田间生命检测方法，能在具有遮挡情况的玉米地中，克服相机抖动问题，迅速准确地检测到人或动物，并预警停机。
发明内容
本发明要解决的问题是：传统的机载摄像障碍物检测装置在高大茂盛的玉米地检测效果差，速度慢，而增加超声波、短波近红外等非接触式传感器又存在穿透力不足无法察觉到玉米秸秆、杂草背后的生命体或成本过高的缺点。本发明提供的一种青贮玉米田间生命检测方法，通过可见光与热成像仪多模态信息融合，在融合过程中，使用同步时间戳并以软硬件相结合的方式以确保采集数据的时序一致性。针对检测装置因机器作业而发生抖动问题，运用光流估计，结合卷积神经网络对连续帧中的特征点进行光流计算，预估位移并进行图像处理以抵消抖动效应。更改传统深度学习模型各网络架构，以损失中远距离检测精度为代价，提高检测速度。并采用强化学习，通过一个神经网络模型执行决策，适当提高检测精度。在提高检测速度的同时，保持较高的检测精度。
具体的，包括以下步骤：
S1、可见光相机与热红外相机输入图像。通过软硬件结合，增添信号发生器与同步时间戳的方式融合热红外相机与可见光相机信息，确保采集多模态数据的时序一致性。
S2、图像预处理，图像去噪、增强。使用Harris角点检测提取关键特征点，基于FlowNet卷积神经网络光流计算，根据光流估计的结果，对图像进行平移、旋转等调整，以抵消摄像机带来的抖动效应。
S3、将图像反馈至深度学习目标检测模型，以损失一定的中远距离检测精度为代价，大幅提高检测速度。
S4、使用强化学习在调整后的深度学习模型中进行智能决策，在速度与精度间寻求最优权重配比，补偿因速度优化而损失的部分中远距离检测精度。
S5、选择合适的置信度阈值，将目标区域标注输出，如果确定目标区域存在人或动物，则发出警报，停机处理。
作为本发明的进一步方案，所述S1中，还包括：
所述热红外相机与可见光的多模态融合，将热红外图像和可见光图像叠加显示，使得两种图像信息在空间上重叠。且针对信息融合采集时序不一致问题，通过软硬件相结合的同步方式，使用信号发生器作为外部信号源以同时触发热红外相机和可见光相机的数据采集，确保采集时刻同步；提出“同步时间戳”的概念，即通过增加时间戳的方式来保证视频信息的同步性，防止可见光相机与热红外相机输入信息的不一致性导致的检测误差。设置一个时间戳记录系统时钟的当前时间。可见光与热红外相机在进行数据采集时，分别在每一帧图像或数据包中添加一个时间戳字段。数据采集结束后，将获得的不同数据进行时间戳对齐，找到最接近的时间戳，并将数据进行匹配。所述信号发生器STM32同时作为下位机，上面搭载有时钟模块，用来作为已知的时间同步信号，以便校正相机时间戳的偏差。配置数据采集系统，可见光相机和热红外相机将在同一时间获取图像数据。确保数据采集过程中传感器之间的同步性，以确保多模态数据的时序一致性。
进一步的，步骤S2中还包括：
所述光流估计是通过空间运动物体在成像平面上的像素运动的瞬时速度，利用图像序列中像素的变化以及相邻帧之间的相关性，来找到上一帧跟当前帧的像素点之间存在的对应关系，从而计算出相邻帧之间像素点的运动信息的一种方法，可以降低青贮机因田间作业时发生的图像抖动。通过可见光与热红外相机采集融合视频流，读取每一帧图像，并在逐帧中，使用Harris角点检测来提取一些关键的特征点，并这些特征点用于光流计算。
所述Harris角点检测法是特征点检测的基础，应用邻近像素点灰度差值的概念，从而进行判断特征点是否为角点、边缘、平滑区域，再定位特征点信息并用于后续计算。在青贮机正常作业时，特征图的边缘或角点应以恒定规律移动，而发生较大颠簸时，特征点在像素级别的移动方向和大小会陡然变化，结合卷积神经网络FlowNet2.0对连续帧中的特征点进行光流计算，预先估计每个特征点在下一帧中的位移。
所述FlowNet2.0是FlowNet的增强版，是一种基于卷积神经网络(CNN)的光流预测算法，根据光流估计的结果，对图像进行平移、旋转等调整，以抵消摄像机带来的抖动效应。为了避免图像噪声或不稳定的估计，对光流结果进行平滑处理，应用均值滤波或高斯滤波将得到的稳定图像序列应用于视频流，实现实时的抖动降低。
作为本发明的进一步方案，具体的，在机器作业场景下，所述检测模型应当在近距离及玉米遮挡不严重情况下检测效果良好，甚至接近100%。但在中远距离，存在大量遮挡，目标区域捕捉不全等情况时，提高检测精度不应为首要目标，过分的追求精度造成的模型过拟合，会对正常机器作业带来负面影响。故检测速度应当为第一考虑因素，中远距离的漏检情况会随着青贮机行驶距离接近，目标区域得到充分提取后得到改善，但检测速度则直接影响能否及时救下身在危险区域的目标。更改传统深度学习模型各网络架构，减少特征图尺寸，缩减网络深度与卷积层通道数，以损失一定的中远距离检测精度为代价，大幅提高检测速度。
进一步的，步骤S3中还包括：
所述深度学习网络模型原型为YOLOv5（you only look once），是一种单阶段目标检测模型，采用单个卷积神经网络直接计算图像中物体的位置坐标及其分类结果，是目前最主流的一种快速目标检测模型之一。主干网络作为特征提取层，可以深度提取图像纹理、形状或更高级的特征，以此来辨别目标区域是否为人和动物，亦或是其他干扰因素。将其主干网络替换为轻量级网络ShuffleNetV2以提高检测速度为第一要素，引入通道注意力机制，以提升模型在不同尺度特征上的性能。经全局平均池化得到特征的全局信息，通过全连接层来生成通道注意力权重使得不同尺度的特征在通道维度上得到权重分配。特征融合层采用深度可分离卷积（Depthwise Separable Convolution）操作更改特征金字塔结构。根据特征图的大小和层级关系重新设计锚框并根据训练过程中的检测精度和收敛速度进行调整和优化。调整不同损失函数的权重，以平衡不同目标的优化目标,以达到提高检测速度的目的。
进一步的，所述S4中还包括：
所述强化学习（Reinforcement learning，RL）是指通过一个智能体(agent)在一个复杂不确定的环境(environment)里面去极大化它能获得的奖励，通过感知所处环境的状态(state)对动作(action)的反应(reward)，来指导更好的动作，从而获得最大的收益(return)，这种在在交互中学习的学习方法就被称作强化学习。
使用强化学习在调整后的深度学习模型中进行智能决策，在速度与精度间寻求最优权重配比，可以补偿因速度优化而损失的部分中远距离检测精度。强化学习在模型中引入智能决策机制，自定义一个包括状态空间、动作空间和奖励函数的环境，状态表示为可见光相机和热红外相机的多模态图像数据，动作是调整YOLOv5目标检测算法的参数，奖励函数用以度量最终检测结果的准确度。使用Proximal Policy Optimization (PPO)强化学习算法，构建一个“强化学习智能代理”，并使用神经网络模型，用于学习和执行决策。智能代理根据当前图像数据状态执行动作，即通过与环境交互来学习优化策略调整YOLOv5算法参数，包括锚框尺寸、置信度阈值、非最大抑制阈值等。设计奖励函数用于度量智能代理的行为，并基于目标检测结果的精度、召回率等指标来定义来直接反映出目标检测的准确度。使用强化学习算法训练代理，通过与环境交互收集数据并优化策略。在训练过程中，代理会根据奖励信号不断调整动作，以最大化累积奖励。
作为本发明的进一步方案，具体的，所述YOLOv5深度学习框架选用pytorch，数据集为田间自行拍摄，训练数据集预先通过两种相机设置同等角度距离，在各种田间场景下自行拍摄，包括带有人、牲畜、石块、植被、玉米整株等多个目标的图像，并将带有所述标签信息的图像放入深度学习模型中训练，得到最佳模型文件，在所述田间生命检测系统目标检测阶段中引用该最佳模型，结合强化学习算法的决策结果，最终确定检测到的目标是否为人或动物。工控机为jetson TX2 NX，搭载linux系统，下位机STM32分别连接报警器与机器行驶系统。当检测到异常温度区域存在人或动物时，控制连接报警器的引脚输出高或低电平，发出警报。
本发明的有益效果是：
本发明提供的一种青贮玉米田间生命检测方法，针对机载摄像装置在复杂玉米地检测困难、效果差、速度慢，其他非接触式传感器价格高昂或穿透力不足等问题，通过可见光与热成像仪多模态信息融合，在融合过程中，使用同步时间戳并以软硬件相结合的方式以确保采集数据的时序一致性。针对检测装置因机器作业而发生的抖动问题，运用光流估计，结合卷积神经网络对连续帧中的特征点进行光流计算，预估位移并进行图像处理以抵消抖动效应。以损失中远距离检测精度为代价，更改传统深度学习模型各网络架构，提高检测速度。并采用强化学习，通过一个神经网络模型执行决策，适当提高检测精度。在提高检测速度的同时，保持较高的检测精度。本发明提供的一种检测速度快，精度高，易操作的检测系统，在能见度低，道路平顺性差、工况复杂的田间情况下快速准确的识别到可能存在的人或动物，并搭载在施肥机或青贮机等机器上作业时实时监测预警，起到降低经济损失，提高生命安全性的作用，具有良好的市场应用前景与社会经济效益。
附图说明
图1为本发明技术方案步骤流程图；
图2为本发明检测系统流程图；
图3为本发明中相机及报警器安装位置示意图；
图中各标号：1-相机，2-报警器。
具体实施方式
为了更清楚展示本发明的具体技术和优点，下面对本发明的具体实施方式做进一步描述，但应当理解，本发明不限于具体实施方式的范围，一切利用本发明构思的发明创作均在保护之列。
一种青贮玉米田间生命检测方法的具体实施方式，包括：
如图1所示为本发明技术方案的步骤流程图，可见光相机与热红外相机输入图像。通过软硬件结合，增添信号发生器与同步时间戳的方式融合热红外相机与可见光相机信息，确保采集多模态数据的时序一致性。图像预处理，图像去噪、增强。使用Harris角点检测提取关键特征点，基于FlowNet卷积神经网络光流计算，根据光流估计的结果，对图像进行平移、旋转等调整，以抵消摄像机带来的抖动效应。将图像反馈至深度学习目标检测模型，以损失一定的中远距离检测精度为代价，大幅提高检测速度。使用强化学习在调整后的深度学习模型中进行智能决策，在速度与精度间寻求最优权重配比，补偿因速度优化而损失的部分中远距离检测精度。选择合适的置信度阈值，将目标区域标注输出，如果确定目标区域存在人或动物，则发出警报，停机处理。
如图2所示为本发明检测系统流程图，所述热红外相机与可见光的多模态融合，将热红外图像和可见光图像叠加显示，使得两种图像信息在空间上重叠。且针对信息融合采集时序不一致问题，通过软硬件相结合的同步方式，使用信号发生器作为外部信号源以同时触发热红外相机和可见光相机的数据采集，确保采集时刻同步；提出“同步时间戳”的概念，即通过增加时间戳的方式来保证视频信息的同步性，防止可见光相机与热红外相机输入信息的不一致性导致的检测误差。设置一个时间戳记录系统时钟的当前时间。可见光与热红外相机在进行数据采集时，分别在每一帧图像或数据包中添加一个时间戳字段。数据采集结束后，将获得的不同数据进行时间戳对齐，找到最接近的时间戳，并将数据进行匹配。所述信号发生器STM32同时作为下位机，上面搭载有时钟模块，用来作为已知的时间同步信号，以便校正相机时间戳的偏差。配置数据采集系统，可见光相机和热红外相机将在同一时间获取图像数据。确保数据采集过程中传感器之间的同步性，以确保多模态数据的时序一致性。
在本实施例中，所述光流估计是通过空间运动物体在成像平面上的像素运动的瞬时速度，利用图像序列中像素的变化以及相邻帧之间的相关性，来找到上一帧跟当前帧的像素点之间存在的对应关系，从而计算出相邻帧之间像素点的运动信息的一种方法，可以降低机器因田间作业时发生的图像抖动。通过可见光与热红外相机采集融合视频流，读取每一帧图像，并在逐帧中，使用Harris角点检测来提取一些关键的特征点，并这些特征点用于光流计算。
所述Harris角点检测法是特征点检测的基础，应用邻近像素点灰度差值的概念，从而进行判断特征点是否为角点、边缘、平滑区域，再定位特征点信息并用于后续计算。在机器正常作业时，特征图的边缘或角点应以恒定规律移动，而发生较大颠簸时，特征点在像素级别的移动方向和大小会陡然变化，结合卷积神经网络FlowNet2.0对连续帧中的特征点进行光流计算，预先估计每个特征点在下一帧中的位移。
所述FlowNet2.0是FlowNet的增强版，是一种基于卷积神经网络(CNN)的光流预测算法，根据光流估计的结果，对图像进行平移、旋转等调整，以抵消摄像机带来的抖动效应。为了避免图像噪声或不稳定的估计，对光流结果进行平滑处理，应用均值滤波或高斯滤波将得到的稳定图像序列应用于视频流，实现实时的抖动降低。
在本实施例中，在机器作业场景下，所述检测模型应当在近距离及玉米遮挡不严重情况下检测效果良好，甚至接近100%。但在中远距离，存在大量遮挡，目标区域捕捉不全等情况时，提高检测精度不应为首要目标，过分的追求精度造成的模型过拟合，会对正常机器作业带来负面影响。故检测速度应当为第一考虑因素，中远距离的漏检情况会随着机器行驶距离接近，目标区域得到充分提取后得到改善，但检测速度则直接影响能否及时救下身在危险区域的目标。更改传统深度学习模型各网络架构，减少特征图尺寸，缩减网络深度与卷积层通道数，以损失一定的中远距离检测精度为代价，大幅提高检测速度。
进一步的，所述深度学习网络模型原型为YOLOv5（you only look once），是一种单阶段目标检测模型，采用单个卷积神经网络直接计算图像中物体的位置坐标及其分类结果，是目前最主流的一种快速目标检测模型之一。将其主干网络替换为轻量级网络ShuffleNetV2以提高检测速度为第一要素，引入通道注意力机制，以提升模型在不同尺度特征上的性能。经全局平均池化得到特征的全局信息，通过全连接层来生成通道注意力权重使得不同尺度的特征在通道维度上得到权重分配。特征融合层采用深度可分离卷积（Depthwise Separable Convolution）操作更改特征金字塔结构。根据特征图的大小和层级关系重新设计锚框并根据训练过程中的检测精度和收敛速度进行调整和优化。调整不同损失函数的权重，以平衡不同目标的优化目标,以达到提高检测速度的目的。
所述强化学习（Reinforcement learning，RL）是指通过一个智能体(agent)在一个复杂不确定的环境(environment)里面去极大化它能获得的奖励，通过感知所处环境的状态(state)对动作(action)的反应(reward)，来指导更好的动作，从而获得最大的收益(return)，这种在在交互中学习的学习方法就被称作强化学习。
使用强化学习在调整后的深度学习模型中进行智能决策，在速度与精度间寻求最优权重配比，可以补偿因速度优化而损失的部分中远距离检测精度。强化学习在模型中引入智能决策机制，自定义一个包括状态空间、动作空间和奖励函数的环境，状态表示为可见光相机和热红外相机的多模态图像数据，动作是调整YOLOv5目标检测算法的参数，奖励函数用以度量最终检测结果的准确度。使用Proximal Policy Optimization (PPO)强化学习算法，构建一个“强化学习智能代理”，并使用神经网络模型，用于学习和执行决策。智能代理根据当前图像数据状态执行动作，即通过与环境交互来学习优化策略调整YOLOv5算法参数，包括锚框尺寸、置信度阈值、非最大抑制阈值等。设计奖励函数用于度量智能代理的行为，并基于目标检测结果的精度、召回率等指标来定义来直接反映出目标检测的准确度。使用强化学习算法训练代理，通过与环境交互收集数据并优化策略。在训练过程中，代理会根据奖励信号不断调整动作，以最大化累积奖励。
本申请中，所述YOLOv5深度学习框架选用pytorch，数据集为田间自行拍摄，训练数据集预先通过两种相机设置同等角度距离，在各种田间场景下自行拍摄，包括带有人、牲畜、石块、植被、玉米整株等多个目标的图像，并将带有所述标签信息的图像放入深度学习模型中训练，得到最佳模型文件，在所述田间生命检测系统目标检测阶段中引用该最佳模型，结合强化学习算法的决策结果，最终确定检测到的目标是否为人或动物。工控机为jetson TX2 NX，搭载linux系统，下位机STM32分别连接报警器与青贮机行驶系统。当检测到异常温度区域存在人或动物时，控制连接报警器的引脚输出高或低电平，发出警报。
本发明还包括一种青贮玉米田间生命检测方法包括以下步骤：
S1、将可见光相机与热红外相机图像输入控制器，通过增添信号发生器与同步时间戳的方式融合热红外相机与可见光相机信息，确保采集多模态数据的时序一致性；
S2、使用Harris角点检测提取关键特征点，基于FlowNet卷积神经网络光流计算，根据光流估计的结果，对图像进行平移、旋转调整，以抵消摄像机带来的抖动效应，再通过滤波锐化操作实现图像去噪、增强；
S3、将图像反馈至深度学习目标检测模型，以损失一定的中远距离检测精度为代价，来提高检测速度；
S4、使用强化学习在调整后的深度学习模型中进行智能决策，在速度与精度间寻求最优权重配比，补偿步骤S3中因速度优化而损失的部分中远距离检测精度；
S5、选择合适的置信度阈值，将目标区域标注输出，若目标区域存在人或动物，则发出警报，停机处理。
优选的，所述步骤S1中，还包括将热红外图像和可见光图像叠加显示，使得两种图像信息在空间上重叠，使用信号发生器作为外部信号源，以同时触发热红外相机和可见光相机采集数据的方式，确保采集时刻同步；设置一个时间戳记录系统时钟的当前时间，可见光相机与热红外相机在进行数据采集时，分别在每一帧图像或数据包中添加一个时间戳字段，数据采集结束后，将获得的不同数据进行时间戳对齐，找到最接近的时间戳，并将数据进行匹配，所述信号发生器同时作为下位机，上面搭载有时钟模块，用来作为已知的时间同步信号，以便校正相机时间戳的偏差。
优选的，所述步骤S2中，还包括通过可见光相机与热红外相机采集融合视频流，读取每一帧图像，并在逐帧中，使用Harris角点检测来提取一些关键的特征点，结合卷积神经网络FlowNet2.0对连续帧中的特征点进行光流计算，预先估计每个特征点在下一帧中的位移；根据光流估计的结果，对图像进行平移、旋转调整；同时对光流结果进行平滑处理，应用均值滤波或高斯滤波将得到的稳定图像序列应用于视频流，实现实时的抖动降低。
优选的，所述步骤S3中的深度学习目标检测模型原型为YOLOv5，将其主干网络替换为轻量级网络ShuffleNetV2，以提高检测速度为第一要素，引入通道注意力机制，提升模型在不同尺度特征上的性能；经全局平均池化得到特征的全局信息，通过全连接层来生成通道注意力权重，使得不同尺度的特征在通道维度上得到权重分配，特征融合层采用深度可分离卷积操作更改特征金字塔结构，根据特征图的大小和层级关系重新设计锚框并根据训练过程中的检测精度和收敛速度进行调整和优化，调整不同损失函数的权重，以达到提高检测速度的目的。
优选的，所述步骤S4中，还包括在模型中引入智能决策机制，自定义一个包括状态空间、动作空间和奖励函数的环境，状态表示为可见光相机和热红外相机的多模态图像数据，动作是调整YOLOv5目标检测算法的参数，奖励函数用以度量最终检测结果的准确度；使用Proximal Policy Optimization强化学习算法，构建一个强化学习智能代理，并使用神经网络模型，用于学习和执行决策；智能代理根据当前图像数据状态执行动作，即通过与环境交互来学习优化策略调整YOLOv5算法参数，包括锚框尺寸、置信度阈值、非最大抑制阈值；奖励函数用于度量智能代理的行为，并基于目标检测结果的精度、召回率指标直接反映出目标检测的准确度；使用强化学习算法训练代理，通过与环境交互收集数据并优化策略，在训练过程中，代理会根据奖励信号不断调整动作，以最大化累积奖励。
优选的，所述YOLOv5深度学习框架选用pytorch，训练数据集预先通过两种相机设置同等角度距离，在各种田间场景下自行拍摄，采集包括人、牲畜、田间石块、植被目标的图，并将带有标签信息的图像放入所述深度学习模型中训练，得到最佳模型文件；结合强化学习算法的决策结果，最终判定检测到的目标是否为人或动物；工控机为jetson TX2 NX，搭载linux系统，下位机STM32分别连接报警器与车辆行驶系统，当检测到异常温度区域存在人或动物时，发出警报。
Claims (6)
1.一种青贮玉米田间生命检测方法，其特征在于，包括以下步骤：
S1、将可见光相机与热红外相机图像输入控制器，通过增添信号发生器与同步时间戳的方式融合热红外相机与可见光相机信息，确保采集多模态数据的时序一致性；
S2、使用Harris角点检测提取关键特征点，基于FlowNet卷积神经网络光流计算，根据光流估计的结果，对图像进行平移、旋转调整，以抵消摄像机带来的抖动效应，再通过滤波锐化操作实现图像去噪、增强；
S3、将图像反馈至深度学习目标检测模型，以损失一定的中远距离检测精度为代价，来提高检测速度；
S4、使用强化学习在调整后的深度学习模型中进行智能决策，在速度与精度间寻求最优权重配比，补偿步骤S3中因速度优化而损失的部分中远距离检测精度；
S5、选择合适的置信度阈值，将目标区域标注输出，若目标区域存在人或动物，则发出警报，停机处理。
2.根据权利要求1所述的一种青贮玉米田间生命检测方法，其特征在于，所述步骤S1中，还包括将热红外图像和可见光图像叠加显示，使得两种图像信息在空间上重叠，使用信号发生器作为外部信号源，以同时触发热红外相机和可见光相机采集数据的方式，确保采集时刻同步；设置一个时间戳记录系统时钟的当前时间，可见光相机与热红外相机在进行数据采集时，分别在每一帧图像或数据包中添加一个时间戳字段，数据采集结束后，将获得的不同数据进行时间戳对齐，找到最接近的时间戳，并将数据进行匹配，所述信号发生器同时作为下位机，上面搭载有时钟模块，用来作为已知的时间同步信号，以便校正相机时间戳的偏差。
3.根据权利要求2所述的一种青贮玉米田间生命检测方法，其特征在于，所述步骤S2中，还包括通过可见光相机与热红外相机采集融合视频流，读取每一帧图像，并在逐帧中，使用Harris角点检测来提取一些关键的特征点，结合卷积神经网络FlowNet2.0对连续帧中的特征点进行光流计算，预先估计每个特征点在下一帧中的位移；根据光流估计的结果，对图像进行平移、旋转调整；同时对光流结果进行平滑处理，应用均值滤波或高斯滤波将得到的稳定图像序列应用于视频流，实现实时的抖动降低。
4.根据权利要求3所述的一种青贮玉米田间生命检测方法，其特征在于，所述步骤S3中的深度学习目标检测模型原型为YOLOv5，将其主干网络替换为轻量级网络ShuffleNetV2，以提高检测速度为第一要素，引入通道注意力机制，提升模型在不同尺度特征上的性能；经全局平均池化得到特征的全局信息，通过全连接层来生成通道注意力权重，使得不同尺度的特征在通道维度上得到权重分配，特征融合层采用深度可分离卷积操作更改特征金字塔结构，根据特征图的大小和层级关系重新设计锚框并根据训练过程中的检测精度和收敛速度进行调整和优化，调整不同损失函数的权重，以达到提高检测速度的目的。
5.根据权利要求4所述的一种青贮玉米田间生命检测方法，其特征在于，所述步骤S4中，还包括在模型中引入智能决策机制，自定义一个包括状态空间、动作空间和奖励函数的环境，状态表示为可见光相机和热红外相机的多模态图像数据，动作是调整YOLOv5目标检测算法的参数，奖励函数用以度量最终检测结果的准确度；使用Proximal PolicyOptimization强化学习算法，构建一个强化学习智能代理，并使用神经网络模型，用于学习和执行决策；智能代理根据当前图像数据状态执行动作，即通过与环境交互来学习优化策略调整YOLOv5算法参数，包括锚框尺寸、置信度阈值、非最大抑制阈值；奖励函数用于度量智能代理的行为，并基于目标检测结果的精度、召回率指标直接反映出目标检测的准确度；使用强化学习算法训练代理，通过与环境交互收集数据并优化策略，在训练过程中，代理会根据奖励信号不断调整动作，以最大化累积奖励。
6.根据权利要求5所述的一种青贮玉米田间生命检测方法，其特征在于，所述YOLOv5深度学习框架选用pytorch，训练数据集预先通过两种相机设置同等角度距离，在各种田间场景下自行拍摄，采集包括人、牲畜、田间石块、植被目标的图，并将带有标签信息的图像放入所述深度学习模型中训练，得到最佳模型文件；结合强化学习算法的决策结果，最终判定检测到的目标是否为人或动物；工控机为jetson TX2 NX，搭载linux系统，下位机STM32分别连接报警器与车辆行驶系统，当检测到异常温度区域存在人或动物时，发出警报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080733.6A CN116823812B (zh) | 2023-08-25 | 2023-08-25 | 一种青贮玉米田间生命检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080733.6A CN116823812B (zh) | 2023-08-25 | 2023-08-25 | 一种青贮玉米田间生命检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823812A true CN116823812A (zh) | 2023-09-29 |
| CN116823812B CN116823812B (zh) | 2023-10-31 |
Family
ID=88125999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311080733.6A Active CN116823812B (zh) | 2023-08-25 | 2023-08-25 | 一种青贮玉米田间生命检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823812B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576560A (zh) * | 2023-11-17 | 2024-02-20 | 中化现代农业有限公司 | 用于北方春玉米的田间杂草识别方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596009A (zh) * | 2017-12-29 | 2018-09-28 | 西安智加科技有限公司 | 一种用于农机自动驾驶的障碍物检测方法和系统 |
| WO2022126940A1 (zh) * | 2020-12-20 | 2022-06-23 | 东南大学 | 一种重型营运车辆的后向防撞驾驶决策方法 |
| CN114821536A (zh) * | 2022-05-13 | 2022-07-29 | 河南科技大学 | 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法 |
| CN116664859A (zh) * | 2023-06-06 | 2023-08-29 | 湖南师范大学 | 移动端实时目标检测方法、终端设备及存储介质 |
-
2023
- 2023-08-25 CN CN202311080733.6A patent/CN116823812B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596009A (zh) * | 2017-12-29 | 2018-09-28 | 西安智加科技有限公司 | 一种用于农机自动驾驶的障碍物检测方法和系统 |
| WO2022126940A1 (zh) * | 2020-12-20 | 2022-06-23 | 东南大学 | 一种重型营运车辆的后向防撞驾驶决策方法 |
| CN114821536A (zh) * | 2022-05-13 | 2022-07-29 | 河南科技大学 | 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法 |
| CN116664859A (zh) * | 2023-06-06 | 2023-08-29 | 湖南师范大学 | 移动端实时目标检测方法、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙红;李松;李民赞;刘豪杰;乔浪;张瑶;: "农业信息成像感知与深度学习应用研究进展", 农业机械学报, no. 05, pages 8 - 24 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576560A (zh) * | 2023-11-17 | 2024-02-20 | 中化现代农业有限公司 | 用于北方春玉米的田间杂草识别方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823812B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116823812B (zh) | 一种青贮玉米田间生命检测方法 | |
| CN105825173B (zh) | 通用道路和车道检测系统与方法 | |
| CN105711597B (zh) | 前方局部行驶环境感知系统及方法 | |
| CN113597874B (zh) | 一种除草机器人及其除草路径的规划方法、装置和介质 | |
| Benson et al. | Machine vision-based guidance system for agricultural grain harvesters using cut-edge detection | |
| CN110765916B (zh) | 一种基于语义和实例分割的农田苗垄识别方法及系统 | |
| CN102368158B (zh) | 一种果园机械导航定位方法 | |
| CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
| CN103402044A (zh) | 一种基于多源视频融合的目标识别与跟踪系统 | |
| CN115731268A (zh) | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 | |
| CN103049751A (zh) | 一种改进的加权区域匹配高空视频行人识别方法 | |
| WO2024114119A1 (zh) | 一种基于双目相机引导的传感器融合方法 | |
| CN104331901A (zh) | 一种基于tld的多视角目标跟踪装置及方法 | |
| Sun et al. | Wheat head counting in the wild by an augmented feature pyramid networks-based convolutional neural network | |
| CN115280960A (zh) | 一种基于田间视觉slam的联合收获机转向控制方法 | |
| CN108279678A (zh) | 一种用于检测植株生长状况的田间自动行走装置及其行走控制方法 | |
| CN103577833A (zh) | 基于运动模板的异常闯入检测方法 | |
| CN113848545A (zh) | 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法 | |
| CN109947115A (zh) | 一种割草机控制系统及其控制方法 | |
| CN113906900B (zh) | 一种甘蔗收获机以及基于多传感器融合的甘蔗收获机刀盘位姿的调整方法 | |
| CN116117807A (zh) | 一种辣椒采摘机器人及控制方法 | |
| CN111399014B (zh) | 野生动物监控的局部立体视觉红外相机系统及方法 | |
| Wang et al. | An end-to-end auto-driving method based on 3D LiDAR | |
| CN110781865A (zh) | 一种农作物生长控制系统 | |
| Gong et al. | An Improved Method for Extracting Inter-row Navigation Lines in Nighttime Maize Crops using YOLOv7-tiny |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |