CN114879744B - 一种基于机器视觉的夜间作业无人机系统 - Google Patents
一种基于机器视觉的夜间作业无人机系统 Download PDFInfo
- Publication number
- CN114879744B CN114879744B CN202210764048.4A CN202210764048A CN114879744B CN 114879744 B CN114879744 B CN 114879744B CN 202210764048 A CN202210764048 A CN 202210764048A CN 114879744 B CN114879744 B CN 114879744B
- Authority
- CN
- China
- Prior art keywords
- boundary
- image
- algorithm
- processor
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 claims abstract description 51
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 44
- 238000005286 illumination Methods 0.000 claims abstract description 37
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 25
- 238000004891 communication Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 71
- 238000004422 calculation algorithm Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 16
- 241000209094 Oryza Species 0.000 description 10
- 235000007164 Oryza sativa Nutrition 0.000 description 10
- 235000009566 rice Nutrition 0.000 description 10
- 150000001875 compounds Chemical class 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000000862 absorption spectrum Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 241000221785 Erysiphales Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000005436 troposphere Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于机器视觉的夜间作业无人机系统,包括机体和地面上位机,机体包括卫星定位系统、通信模块和飞控模块,机体分别连接有可变光源、摄像机、处理器和激光雷达,处理器分别与可变光源、摄像机、激光雷达、飞控模块之间通过通信模块的串口进行通信,处理器与地面上位机之间通过无线电信号进行通信,可变光源能够根据夜间作业需要通过处理器或地面上位机改变光照波长和光照强度,处理器内设有边界分类模型,边界分类模型能够辅助飞控模块控制机体进行自主作业,摄像机能够将拍摄的图像通过处理器和通信模块传输至地面上位机,上位机能够根据图像远程检测农作物的病害情况,本发明实现无人机自主作业时的实时边界预警功能和紧急制动与避障功能。
Description
技术领域
本发明涉及一种夜间飞行无人机技术,尤其涉及一种夜间作业的植保无人机系统。
背景技术
无人机是无人驾驶飞机的简称,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。植保无人机是无人机的一个子类,用于农林植物保护作业,包括播种、喷洒和检测等作业。本发明中植保无人机系统,主要用于对农作物的植物病进行检测。
现有的植保无人机在作业过程存在以下问题:
1、太阳光线影响。植保无人机一般在白天作业,其图像拍摄效果直接受到太阳光线的影响,特别是在检测作业中,机载摄像机拍摄的图片因为太阳光反射和散射的影响而使目标和背景模糊,具有较多的噪音,不利于后续的处理和检测;
2、天气因素影响。检测作业过程中,图像拍摄容易受到拍摄时的光环境影响,例如晴天、多云与阴天,早上、中午与下午等,光环境不同导致拍摄效果差异过大,影响检测精度;
3、导航和定位精度影响。现有的植保无人机在自主作业时大多利用卫星定位系统(比如GPS)导航,但是由于卫星定位系统经常会受到卫星轨道误差,电离层,对流层等干扰,同时多云等天气也会对GPS定位形成一定程度的干扰,造成米级或数米及以上的定位误差;并且,卫星定位系统定位精度受限,提高精度的代价高昂。仅靠卫星定位系统定位信息控制无人机飞行而没有及时的边界预警功能并及时调整飞行轨迹,会发生边界附近漏检或越界监测的情况。由于拍摄农作物图像的需求,一般无人机飞行高度较低。白天飞行时,在操控人员视野范围内,操控人员还可以结合目测地从传回的图像中判断边界;夜间作业时,操控人员即使对所需检测的农田环境比较熟悉,也很难做出准确判断,且依靠人工判断也很难做出及时的飞行轨迹调整。无人机在边界附近漏检会或越界监测(使传回的图像为非监测范围的图像),对图像分析结果的准确度有影响。
发明内容
本发明的目的在于,克服上述现有技术的不足,提供基于机器视觉的夜间作业的无人机系统,通过机载可变光源可以提供稳定的模拟光,能够解决植保无人机在白天作业时拍摄图像的质量受太阳光线影响的问题以及拍摄到最容易区分目标物的图像;通过结合卫星定位系统的定位信息和边界分类模型的边界信息控制无人机飞行轨迹,能够解决无人机在自主作业时容易飞出农田边界导致发生意外的问题。为此,本发明采用以下技术方案:
一种基于机器视觉的夜间作业无人机系统,包括机体和地面上位机,所述机体设有卫星定位系统、通信模块、飞控模块、激光雷达和摄像机;其特征在于:所述机体还设有处理器和可变光源;
所述摄像机在所选波长范围和光照强度的模拟光主动照射下,由处理器控制拍摄图像,所述处理器获得图像后,有两种处理方式,并根据其中之一进行处理:
第一方式:所述处理器内设有边界分类模型,所述边界分类模型用于对所述图像进行处理,辅助所述飞控模块控制所述机体精准地确定无人机作业范围,使无人机在目标边界范围内作业;
第二方式:所述图像通过所述处理器和所述通信模块传输至所述地面上位机,所述地面上位机对所述图像进行处理,基于地面上位机的图像处理算法,实现远程检测农作物病害情况;
在夜间作业时,所述处理器控制可变光源按照选定的模拟光进行主动照射,以获得容易分辨的图像;所述处理器对所述可变光源的控制命令通过通信模块由所述地面上位机以无线信号传输;所述光源采用选定的波长范围和光照强度,为夜间作业时适于分辨目标物的波长和光照强度。
在采用上述技术方案的基础上,本发明还可采用以下进一步的技术方案,或对这些进一步的技术方案组合使用:
所述处理器为移动智能终端,所述处理器中运行的所述边界分类模型的训练样本为预处理图像,所述预处理图像包括边界之外的图像、边界之内的图像和既包括边界内又包括边界外的图像;所述边界分类模型采用主成分分析作为降维算法,支持向量机作为分类算法,所述主成分分析算法以所述预处理图像的一维特征作为输入,输出贡献率高的特征,实现特征的降维,所述支持向量机算法利用降维后的特征进行二分类,得到边界分类信息;当无人机由卫星定位系统引导飞至边界附近时,飞控模块结合所述边界分类模型根据夜间现场拍摄的图像提供边界精确判断,控制飞行路线,即确保边界内的所有农田被作业,又确保不越界作业,避免在自主作业时所述机体飞出农田边界而导致发生意外。
所述边界分类模型的算法如下,设预处理图像的二维图像信息为I, 拉伸后的一维向量为F,则有:
其中,为第i行、第j列的像素值,,拉伸后的向量逐行拼接成
一个行向量,对一维向量信息进行主成分分析降维操作,去除噪声,保留贡献率高的前N个
向量作为最终的特征,其中N为模型训练时使保留特征方差信息占比95%以上的最小正整
数,设主成分分析模型的转换矩阵为T:
其中,第j列表示方差信息占比第j大的主轴,共有N个轴,表示新特征有N维,则降
维后的特征信息表示为,再以降维后N维特征作为支持向量机的输入特征,以0,1为
标签训练边界分类模型,其中0表示无边界,1表示有边界,利用训练好的边界分类模型和预
处理图像降维后的N维特征,得到边界分类结果。
对于边界分类模型,所述预处理图像的预处理方法包括灰度变换与图像缩放、图
像增强和滤波去噪,所述灰度变换将所述摄像机(3)在夜间由所述可变光源(2)提供的光照
条件下拍摄的图像的RGB三通道数值进行加权计算得到灰度图像,所述图像缩放采用双线
性插值算法将所述灰度图像的尺寸缩放至上位机目标检测算法要求输入的选定尺寸(优选
为10241024像素)的一半(优选为512512像素);所述图像增强采用自适应直方图均衡化
算法,将所述灰度图像进行直方图均衡化,增强对比效果,并采用多尺度Retinex算法
(Multi-scale retinex, MSR)对均衡化后的所述灰度图像进行增强,所述MSR算法的表达
式为:
所述滤波去噪采用双边滤波算法,所述双边滤波算法在平滑图像并减少噪声的同时,保留边缘,所述边缘包含所述边界分类模型所需的边界信息。
所述飞控模块内通过所述地面上位机设有距离阈值,所述距离阈值用于判断所述机体是否已接近飞行边界或用于判断前方是否存在障碍,所述飞控模块控制所述机体根据所述卫星定位系统的位置信号按照规划路线飞行,并在接近飞行边界时,结合所述处理器内的边界分类模型得到的边界分类结果判断是否遇到边界,所述机体与边界的距离小于所述距离阈值时且边界分类模型的分类结果为1时判断为真边界,所述激光雷达用于收集所述机体水平方向的四周距离信号,所述四周距离信号小于所述距离阈值时,判断存在障碍。
所述地面上位机设有病害图像检测模块,所述病害图像检测模块包括目标检测模型和可视化程序,所述地面上位机为所述目标检测模型和所述可视化程序提供运行的软件平台和硬件平台,所述目标检测模型采用CenterNet作为目标检测算法,编程框架是TensorFlow或Pytorch深度学习框架,所述目标检测模型的训练和检测样本均由所述可变光源(2)提供的模拟光照条件下由所述摄像机(3)在夜间拍摄所得,并通过所述处理器(4)和所述通信模块传输至所述地面上位机,所述处理器(4)对所述摄像机(3)采集的图像进行缩放变换,得到基于CenterNet的目标检测算法要求输入的选定尺寸的RGB三通道图像,所述CenterNet算法采用的主干网络是ResNet50,在训练模型时,所述CenterNet算法的目标热力图采用高斯核生成,对任意合法的输入图像,其目标热力图的产生公式如下:
式中,,,为热力图的宽和高,表示病害类别数量,每一
类病害检测结果分别分布在热力图的一个固定通道上;为热力图通道上的
病害目标的中心点;是一个与、相关的参数;对每一个通道,包括以
为中心的热力峰,热力峰的下降速度由控制,用来调节病害目标的热力辐射范围,以适
应不同尺寸的病害目标,所述可视化程序负责对所述目标检测模型的前向推理结果进行可
视化,确保远端监控功能。
对病害检测模块采用改进的SIOU损失函数替换CenterNet原来的位置损失函数和回归损失函数,改进的SIOU损失函数表达式如下:
式中,和分别为病害目标的真实边框和预测边
框的中心横坐标、中心纵坐标、宽和高,是一个可调的超参数,表示矩阵二范数的平
方,是一种相似性度量,其值越大表示病害目标的真实边框和预测边框的分布越接
近,而且对目标的尺寸大小不敏感,能够适用于农作物上很小病害检测目标,提高检
测精度。
所述可变光源(2)包括控制芯片和若干单色LED灯,所述控制芯片内预设有若干单色光源和模拟光的控制方案,并设有可自定义的光谱空间,所述可变光源(2)外侧设有灯罩,所述灯罩为聚光的凹面镜,所述单色LED灯至少包括7个以上波长,其中需包括660nm、615nm、585nm、525nm、490nm、450nm、430nm七个波长,波长偏差±10nm以内,每个波长对应一种单色光,所述处理器(4)通过所述控制芯片控制所述可变光源(2)的单色LED灯的光照强度,从而模拟出不同光谱的光照。
对于模拟光源控制方案,所述可变光源(2)的单色LED灯的光照强度通过调整一个
较小的周期内占空比来线性地控制,设近似的表示第个单色LED灯的光谱分布,表
示第盏灯的占空比,则可变光源(2)的光谱分布函数为:
本发明提出了一种基于机器视觉的夜间作业无人机系统,通过机载可变光源提供稳定的模拟光,能够有效解决植保无人机在白天作业时拍摄图像的质量受太阳光线影响的问题,并能根据目标物的颜色特点和目标物与环境的颜色差别特点,拍摄到最容易区分目标物的图像,并通过处理器和上位机的图像处理,精确、快速获得检测结果,提高检测精度。本发明的机器视觉的夜间作业无人机系统通过夜间作业实时拍摄到的图像,由边界分类模型实时监控无人机飞行时边界的信息,在无人机发现边界时发出边界预警信号,飞控模块结合边界的信息和卫星定位系统的定位信息将无人机的飞行轨迹限制在农田边界范围内,保证了无人机夜间作业的有效性,避免无人机飞出农田边界、撞到边界护栏等意外地发生。
附图说明
图1是本发明的结构示意图;
图2是本发明的系统结构图;
图3是本发明的边界分类模型的流程图;
图4本发明的边界分类模型和卫星定位系统的配合流程;
图5是本发明分别在波长660nm、525nm、450nm的光照条件下拍摄的稻瘟病叶片图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面结合具体实施例对本发明的优选实施方案进行描述,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似功能的元件,但是应当理解,附图仅用于示例性说明,不能理解为对本发明的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的附图中描述位置关系仅用于示例性说明,不能理解为对本发明的限制。
下面结合附图和实施例对本发明作进一步的说明,但并不作为对本发明限制的依据。
参照附图1至图4。本发明提供的一种基于机器视觉的夜间作业无人机系统,包括机体1和地面上位机,所述机体1设有卫星定位系统、通信模块、飞控模块、激光雷达5和摄像机3,所述机体1还设有处理器4和可变光源2,所述处理器4分别与所述可变光源2、所述摄像机3、所述激光雷达5、所述飞控模块之间通过所述通信模块的串口进行通信,所述处理器4与地面上位机之间通过无线电信号进行通信;
所述处理器4内设有边界分类模型,所述边界分类模型用于辅助所述飞控模块控制所述机体1精准地确定无人机作业范围,使无人机在目标边界范围内作业;
在夜间作业时,所述处理器4控制可变光源2按照选定的模拟光源进行主动照射,以获得容易分辨的图像;所述处理器4对所述可变光源2的控制命令通过通信模块由所述地面上位机以无线电信号传输;所述模拟光源采用选定的波长范围和光照强度,为夜间作业时适于分辨目标物的波长和光照强度;
所述摄像机3在所选波长范围和光照强度的模拟光源主动照射下拍摄图像,所述图像通过所述处理器4和所述通信模块传输至所述地面上位机,所述地面上位机对所述图像进行处理,以供远程检测农作物的病害情况。
所述处理器4为移动智能终端,所述处理器4中运行的所述边界分类模型的训练样本为预处理图像,所述预处理图像包括边界之外的图像、边界之内的图像和既包括边界内又包括边界外的图像,所述边界分类模型采用主成分分析作为降维算法,支持向量机作为分类算法,所述主成分分析算法以所述预处理图像的一维特征作为输入,输出贡献率高的特征,实现特征的降维,所述支持向量机算法利用降维后的特征进行二分类,得到边界分类信息,判断夜间拍摄的图像中的环境是否为农田边界,当无人机由卫星定位系统引导飞至边界附近时,飞控模块结合所述边界分类模型根据夜间现场拍摄的图像提供边界精确判断,控制飞行路线,即确保边界内的所有农田被作业,又确保不越界作业,避免在自主作业时所述机体1飞出农田边界而导致发生意外。
所述边界分类模型的算法如下:设预处理图像的二维图像信息为I, 拉伸后的一维向量为F,则有:
其中,分别为预处理图像的宽和高,为第i行、第j列的像素值,,拉伸后的向量逐行拼接成一个行向量,对一维向量信息进行主成分分析
降维操作,去除噪声,保留贡献率高的前N个向量作为最终的特征,其中N为模型训练时使保
留特征方差信息占比95%以上的最小正整数,设主成分分析模型的转换矩阵为T:
其中,第j列表示方差信息占比第j大的主轴,共有N个轴,表示新特征有N维,则降
维后的特征信息可以表示为,再以降维后N维特征作为支持向量机的输入特征,以0,
1为标签训练边界分类模型,其中0表示无边界,1表示有边界,利用训练好的支持向量机模
型和预处理图像降维后的N维特征,得到边界分类结果。
所述地面上位机为电脑,所述地面上位机设有病害检测模块,所述病害检测模块
包括目标检测模型和可视化程序,所述地面上位机为所述目标检测模型和所述可视化程序
提供运行的软件平台和硬件平台,所述目标检测模型采用CenterNet作为目标检测算法,编
程框架是TensorFlow或Pytorch等深度学习框架,所述目标检测模型的训练和检测样本均
在夜间由所述可变光源2提供的模拟光照条件下由所述摄像机3拍摄所得,并通过所述处理
器4和所述通信模块传输至所述地面上位机,不同作业任务对病害检测的精度、速度等指标
具有不同的需求,针对几种常见不同病害的类型,如稻瘟、白穗病等,所述病害检测模块分
别训练并预置了相对应的检测模型,所述基于CenterNet的目标检测算法要求输入尺寸为
10241024的三通道图像,需要对所述摄像机3采集的图像进行缩放变换,得到尺寸为10241024尺寸的RGB图像,所述CenterNet算法采用的主干网络是ResNet50,在训练模型时,所
述CenterNet算法的目标热力图采用高斯核生成,对任意合法的输入图像,其目标热力图的
产生公式如下:
式中,,,为热力图的宽和高,表示病害类别数量,每一
类病害检测结果分别分布在热力图的一个固定通道上;为热力图通道上的
病害目标的中心点;是一个与、相关的参数;对每一个通道,包括以为中心的热力峰,热力峰的下降速度由控制,用来调节病害目标的热力辐射范
围,以适应不同尺寸的病害目标,所述可视化程序负责对所述目标检测模型的前向推理结
果进行可视化,确保远端监控功能。
所述可变光源2包括控制芯片和若干单色LED灯,所述控制芯片为单片机或其他可编程微处理器,所述控制芯片内预设有若干单色光源和模拟光的控制方案,并设有可自定义的光谱空间,所述可变光源2外侧设有台型灯罩,所述台型灯罩为聚光的凹面镜,所述单色LED灯至少包括7个以上波长,其中需包括660nm、615nm、585nm、525nm、490nm、450nm、430nm七个波长,波长偏差±10nm以内,每个波长对应一种单色光,所述处理器4通过所述控制芯片控制所述可变光源2的单色LED灯的光照强度,从而模拟出不同光谱的光照。
所述预处理图像的预处理方法包括灰度变换与图像缩放、图像增强和滤波去噪,
所述灰度变换将所述摄像机3在夜间由所述可变光源2提供的模拟光照条件下拍摄的图像
的RGB三通道数值进行加权计算得到灰度图像,所述图像缩放采用双线性插值算法将所述
灰度图像的尺寸缩放至特定的512512尺寸,所述图像增强采用自适应直方图均衡化算
法,将所述灰度图像进行直方图均衡化,增强对比效果,并采用多尺度Retinex算法(Multi-
scale retinex, MSR)对均衡化后的所述灰度图像进行增强,所述MSR算法的表达式为:
所述滤波去噪采用双边滤波算法,所述双边滤波算法在平滑图像并减少噪声的同时,保留边缘,所述边缘包含所述边界分类模型所需的边界信息。
所述基于CenterNet作为目标检测算法采用改进的SIOU损失函数替换CenterNet原来的位置损失函数和回归损失函数,改进的SIOU损失函数表达式如下:
式中,和分别为病害目标的真实边框和预测边
框的中心横坐标、中心纵坐标、宽和高,是一个可调的超参数,表示矩阵二范数的平
方,是一种相似性度量,其值越大表示病害目标的真实边框和预测边框的分布越接
近,而且对目标的尺寸大小不敏感,能够适用于农作物上很小病害检测目标,提高检测
精度。
所述飞控模块内通过所述地面上位机设有距离阈值,所述距离阈值用于判断所述机体1是否已接近飞行边界或用于判断前方是否存在障碍,所述飞控模块控制所述机体1根据所述卫星定位系统的位置信号按照规划路线飞行,并在接近飞行边界时,结合所述处理器4内的边界分类模型得到的边界分类结果判断是否遇到边界,边界分类模型的分类结果为1时向所述飞控模块发出边界预警信号,所述机体1与边界的距离小于所述距离阈值且边界分类模型发出边界预警信号时判断为真边界,此时飞控模块控制所述机体1改变飞行方向,所述激光雷达5用于收集所述机体1水平方向的四周距离信号,所述四周距离信号小于所述距离阈值时,判断存在障碍,此时所述机体1悬停一段时间,若障碍消除则继续飞行,若障碍仍存在,则飞控模块控制所述机体1向侧方飞行,从而实现所述机体1的紧急制动与避障。
所述病害检测模块以所述地面上位机作为运行平台,以CenterNet作为核心目标检测算法,能够检测出水稻白穗病、稻瘟病等多种病害症状,所述可变光源2在夜间的水稻田上提供稳定的模拟光,并由所述摄像机3进行拍摄,采集到1000张带稻瘟病叶片的图像经过预处理后作为训练样本,由训练样本训练基于CenterNet的目标检测模型,其检测精度高达90%以上,其中叶片中感级别的发病情况的检测精度高达95%以上。夜间作业时,所述病害检测模块接收所述摄像机3远程传输的图像作为输入,经过预处理将图像转换成CenterNet算法所接受的输入格式,然后由基于CenterNet算法的目标检测模型对预处理后的图像进行前向推理,检测出图像中可能存在的病害类别及其在图像中的位置,最后的检测结果由所述地面上位机的所述可视化程序进行显示,以便远端监控和后续处理。
所述可变光源2还可以在夜间的水稻田上提供稳定的单色光源,并由所述摄像机3进行拍摄,由于农田环境的吸收光谱存在特异性,在不同的光照条件下采集的农作物病害图像也存在不同。附图5从左至右三个子图依次为在夜间的水稻田上由所述可变光源2分别提供660nm、525nm、450nm三个波长的模拟光照下,并由所述摄像机3采集带稻瘟病叶片的图像,稻瘟病斑表现为椭圆斑点。参照附图5,可以发现波长525nm光照下的稻瘟病害特征最明显,波长660nm的光照下次之,波长450nm光照下几乎看不到稻瘟病害特征。利用农田环境的吸收光谱存在特异性,通过提供合适的光照条件,能够采集到低噪声、病害特征明显的高质量图像,有利于提升病害检测模型的精度。
本发明的一种基于机器视觉的夜间作业无人机系统,其工作流程如下:
一、边界分类模型训练
无人机自主飞行前人工控制无人机在夜间农田环境上方4米左右高度飞行,可变光源2根据飞行状态提供不同的光照条件,所述光照条件包括七种单色光和模拟光照射,摄像机3拍摄至少1000张植保农田的环境图像,其中边界之外的图像、边界之内的图像和既包括边界内又包括边界外的图像分布接近1:1:1的比例关系,收集的环境图像通过处理器4进行预处理得到预处理图像,预处理图像通过处理器4进行边界分类模型训练,最后得到植保农田环境的边界分类结果,对种植不同类型农作物的农田进行夜间植保时需进行不同的边界分类模型训练,种植相同类型的农作物农田只需进行一次边界分类模型训练。
二、无人机系统夜间自主作业
在特定类型的夜间植保农田环境下,无人机进行边界分类模型训练后,此时机体1的飞控模块能够控制无人机采用自主作业模式:
1、飞控模块控制无人机在夜间的植保农田上方4米左右高度根据预设的路径自主飞行,并根据卫星定位系统的定位信号调整飞行方向和高度,在飞行时开启可变光源2,设置目标光照条件,实现夜间照明功能;
2、摄像机2在无人机自主飞行过程中实时拍摄夜间农田的环境图像传输至处理器4,处理器4通过通信模块上传至地面上位机;
3、处理器4实时运行训练后的边界分类模型,实时拍摄的图像预处理后输入训练后的边界分类模型,从而判断此时无人机是否处于边界,并将分类结果通过通信模块传输至飞控模块,以便飞控模块控制无人机遇到边界时改变飞行轨迹,处理器4同时接收激光雷达5的四周距离信号,以便飞控模块在无人机遇障时控制其紧急制动与避障。
4、地面上位机接收夜间拍摄的作物图像后运行已训练好的病害检测模块,远程检测农作物的病害情况。
依据本发明的描述及附图,本领域技术人员很容易制造或使用本发明的一种夜间作业的植保无人机系统及其检测方法,并且能够产生本发明所记载的积极效果。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个机构、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要理解的是,术语“一端”、“另一端”、“外侧”、 “内侧”、“水平”、 “端部”、“长度”、“外端”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的机构或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。用语“第一”、“第二”也仅为说明时的简洁而采用,并不是指示或暗示相对重要性。
此外,在实践本发明的权利要求时,通过对附图、公开和所附权利要求的研究中,本领域技术人员可以理解和影响对所公开的实施例的变化。此外,在权利要求、说明书中,“包括”、“含有”等词不排除其他元素或步骤,非复数名词不排除其复数形式。
以上所述者,仅为本发明的较佳实施例而已,并非用来限定本发明的实施范围,即凡依本发明所作的均等变化与修饰,皆为本发明权利要求范围所涵盖,这里不再一一举例。
Claims (7)
1.一种基于机器视觉的夜间作业无人机系统,包括机体(1)和地面上位机,所述机体(1)设有卫星定位系统、通信模块、飞控模块、激光雷达(5)和摄像机(3);其特征在于:所述机体(1)还设有处理器(4)和可变光源(2);
所述摄像机(3)在所选波长范围和光照强度的模拟光主动照射下,由处理器控制拍摄图像,所述处理器(4)获得图像后,有两种处理方式:
第一方式:所述处理器(4)内设有边界分类模型,所述边界分类模型用于对所述图像进行处理,辅助所述飞控模块控制所述机体(1)精准地确定无人机作业范围,使无人机在目标边界范围内作业;
第二方式:所述图像通过所述处理器(4)和所述通信模块传输至所述地面上位机,所述地面上位机对所述图像进行处理,基于地面上位机的图像处理算法,实现远程检测农作物病害情况;
在夜间作业时,所述处理器(4)控制可变光源(2)按照选定的模拟光进行主动照射,以获得容易分辨的图像;所述处理器(4)对所述可变光源(2)的控制命令通过通信模块由所述地面上位机以无线信号传输;所述光源采用选定的波长范围和光照强度,为夜间作业时适于分辨目标物的波长和光照强度;
其中,所述边界分类模型的算法如下,设预处理图像的二维图像信息为I,拉伸后的一维向量为F,则有:
F=[p1,1 p1,2 … p1,512 p2,1 p2,2 … p2,512 p512,1 p512,2 … p512,512]
其中,pi,j为第i行、第j列的像素值,pi,j∈[0,255],拉伸后的向量逐行拼接成一个行向量,对一维向量信息进行主成分分析降维操作,去除噪声,保留贡献率高的前N个向量作为最终的特征,其中N为模型训练时使保留特征方差信息占比95%以上的最小正整数,设主成分分析模型的转换矩阵为T:
其中,第j列表示方差信息占比第j大的主轴,共有N个轴,表示新特征有N维,则降维后的特征信息表示为F×T,再以降维后N维特征作为支持向量机的输入特征,以0,1为标签训练边界分类模型,其中0表示无边界,1表示有边界,利用训练好的边界分类模型和预处理图像降维后的N维特征,得到边界分类结果;
其中,所述可变光源(2)包括控制芯片和若干单色LED灯,所述控制芯片内预设有若干单色光源和模拟光的控制方案,并设有可自定义的光谱空间,所述可变光源(2)外侧设有灯罩,所述灯罩为聚光的凹面镜,所述单色LED灯至少包括7个以上波长,其中需包括660nm、615nm、585nm、525nm、490nm、450nm、430nm七个波长,波长偏差±10nm以内,每个波长对应一种单色光,所述处理器(4)通过所述控制芯片控制所述可变光源(2)的单色LED灯的光照强度,从而模拟出不同光谱的光照。
2.如权利要求1所述的一种基于机器视觉的夜间作业无人机系统,其特征在于:所述处理器(4)为移动智能终端,所述处理器(4)中运行的所述边界分类模型的训练样本为预处理图像,所述预处理图像包括边界之外的图像、边界之内的图像和既包括边界内又包括边界外的图像;所述边界分类模型采用主成分分析作为降维算法,支持向量机作为分类算法,所述主成分分析算法以所述预处理图像的一维特征作为输入,输出贡献率高的特征,实现特征的降维,所述支持向量机算法利用降维后的特征进行二分类,得到边界分类信息;当无人机由卫星定位系统引导飞至边界附近时,飞控模块结合所述边界分类模型根据夜间现场拍摄的图像提供边界精确判断,控制飞行路线,即确保边界内的所有农田被作业,又确保不越界作业,避免在自主作业时所述机体(1)飞出农田边界而导致发生意外。
3.如权利要求1所述的一种基于机器视觉的夜间作业无人机系统,其特征在于:对于边界分类模型,所述预处理图像的预处理方法包括灰度变换与图像缩放、图像增强和滤波去噪,所述灰度变换将所述摄像机(3)在夜间由所述可变光源(2)提供的光照条件下拍摄的图像的RGB三通道数值进行加权计算得到灰度图像,所述图像缩放采用双线性插值算法将所述灰度图像的尺寸缩放至上位机目标检测算法要求输入的选定尺寸的一半;所述图像增强采用自适应直方图均衡化算法,将所述灰度图像进行直方图均衡化,增强对比效果,并采用多尺度Retinex算法(Multi-scale retinex,MSR)对均衡化后的所述灰度图像进行增强,所述MSR算法的表达式为:
其中,R′(x,y)表示增强后的灰度图像,n表示中心环绕尺度个数,ωi表示第i个尺度的权重系数,且满足所有权重系数和为1,S(x,y)表示原始的灰度图像,*表示卷积操作,Fi(x,y)为中心环绕函数,所述中心环绕函数采用高斯函数,定义为:
所述滤波去噪采用双边滤波算法,所述双边滤波算法在平滑图像并减少噪声的同时,保留边缘,所述边缘包含所述边界分类模型所需的边界信息。
4.如权利要求1所述的一种基于机器视觉的夜间作业无人机系统,其特征在于:所述飞控模块内通过所述地面上位机设有距离阈值,所述距离阈值用于判断所述机体(1)是否已接近飞行边界或用于判断前方是否存在障碍,所述飞控模块控制所述机体(1)根据所述卫星定位系统的位置信号按照规划路线飞行,并在接近飞行边界时,结合所述处理器(4)内的边界分类模型得到的边界分类结果判断是否遇到边界,所述机体(1)与边界的距离小于所述距离阈值时且边界分类模型的分类结果为1时判断为真边界,所述激光雷达(5)用于收集所述机体(1)水平方向的四周距离信号,所述四周距离信号小于所述距离阈值时,判断存在障碍。
5.如权利要求1所述的一种基于机器视觉的夜间作业无人机系统,其特征在于:所述地面上位机设有病害图像检测模块,所述病害图像检测模块包括目标检测模型和可视化程序,所述地面上位机为所述目标检测模型和所述可视化程序提供运行的软件平台和硬件平台,所述目标检测模型采用CenterNet作为目标检测算法,编程框架是TensorFlow或Pytorch深度学习框架,所述目标检测模型的训练和检测样本均由所述可变光源(2)提供的模拟光照条件下由所述摄像机(3)在夜间拍摄所得,并通过所述处理器(4)和所述通信模块传输至所述地面上位机,所述处理器(4)对所述摄像机(3)采集的图像进行缩放变换,得到基于CenterNet的目标检测算法要求输入的选定尺寸的RGB三通道图像,所述CenterNet算法采用的主干网络是ResNet50,在训练模型时,所述CenterNet算法的目标热力图采用高斯核生成,对任意合法的输入图像,其目标热力图的产生公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210764048.4A CN114879744B (zh) | 2022-07-01 | 2022-07-01 | 一种基于机器视觉的夜间作业无人机系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210764048.4A CN114879744B (zh) | 2022-07-01 | 2022-07-01 | 一种基于机器视觉的夜间作业无人机系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114879744A CN114879744A (zh) | 2022-08-09 |
CN114879744B true CN114879744B (zh) | 2022-10-04 |
Family
ID=82683506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210764048.4A Active CN114879744B (zh) | 2022-07-01 | 2022-07-01 | 一种基于机器视觉的夜间作业无人机系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114879744B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935473A (zh) * | 2023-07-28 | 2023-10-24 | 山东智和创信息技术有限公司 | 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205844824U (zh) * | 2016-07-19 | 2016-12-28 | 陈昊 | 基于光敏传感器的无人飞行器的视觉识别装置 |
CN110597282A (zh) * | 2019-09-05 | 2019-12-20 | 中国科学院长春光学精密机械与物理研究所 | 一种无人机自主降落控制系统 |
WO2021189507A1 (zh) * | 2020-03-24 | 2021-09-30 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106054737A (zh) * | 2016-07-19 | 2016-10-26 | 陈昊 | 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 |
WO2019165409A1 (en) * | 2018-02-26 | 2019-08-29 | Fedex Corporate Services, Inc. | Systems and methods for enhanced collision avoidance on logistics ground support equipment using multi-sensor detection fusion |
CN108416963B (zh) * | 2018-05-04 | 2020-01-24 | 湖北民族学院 | 基于深度学习的森林火灾预警方法及系统 |
CN109787679A (zh) * | 2019-03-15 | 2019-05-21 | 郭欣 | 基于多旋翼无人机的警用红外搜捕系统及方法 |
CN111860375A (zh) * | 2020-07-23 | 2020-10-30 | 南京科沃信息技术有限公司 | 一种植保无人机地面监控系统及其监控方法 |
CN113110597A (zh) * | 2021-05-19 | 2021-07-13 | 哈尔滨理工大学 | 一种基于ros系统的室内无人机自主飞行系统 |
-
2022
- 2022-07-01 CN CN202210764048.4A patent/CN114879744B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205844824U (zh) * | 2016-07-19 | 2016-12-28 | 陈昊 | 基于光敏传感器的无人飞行器的视觉识别装置 |
CN110597282A (zh) * | 2019-09-05 | 2019-12-20 | 中国科学院长春光学精密机械与物理研究所 | 一种无人机自主降落控制系统 |
WO2021189507A1 (zh) * | 2020-03-24 | 2021-09-30 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114879744A (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170547B2 (en) | Combine, method of generating field farming map, program for generating the field farming map and storage medium recording the field farming map generating program | |
US11744189B2 (en) | Plant treatment based on morphological and physiological measurements | |
CN113228047A (zh) | 利用多阶段、多尺度深度学习的植物病害检测 | |
CN114879744B (zh) | 一种基于机器视觉的夜间作业无人机系统 | |
CN111028096A (zh) | 一种天、空、地一体化数据融合的系统和方法 | |
US20220065835A1 (en) | Autonomous crop monitoring system and method | |
Astapov et al. | Unmanned aerial vehicles for estimation of vegetation quality | |
CN112434569B (zh) | 一种无人机热成像系统 | |
CN112991351B (zh) | 遥感图像语义分割方法、装置及存储介质 | |
CN114037552A (zh) | 一种肉鸭生理生长信息巡检方法及系统 | |
Olenskyj et al. | End-to-end deep learning for directly estimating grape yield from ground-based imagery | |
CN117496356A (zh) | 农业人工智能作物检测方法及系统 | |
US20220101557A1 (en) | Calibration of autonomous farming vehicle image acquisition system | |
Roman et al. | Stereo vision controlled variable rate sprayer for specialty crops: Part II. Sprayer development and performance evaluation | |
CN109814551A (zh) | 谷物处理自动驾驶系统、自动驾驶方法以及自动识别方法 | |
AT520253A2 (de) | Verfahren zur selektiven Holzernte | |
Christensen et al. | Sensing for weed detection | |
Moshou et al. | Multisensor fusion of remote sensing data for crop disease detection | |
CN115294562B (zh) | 一种植保机器人作业环境智能感知方法 | |
Gan et al. | A prototype of an immature citrus fruit yield mapping system | |
Rovira-Más et al. | Crop scouting and surrounding awareness for specialty crops | |
Rząsa | Assessment of benefits resulting from the use of computer control systems in precision agriculture | |
Okabaka et al. | Design and development of a robot for monitoring common rust, blight and gray leaf spot diseases in maize. | |
CN114485612B (zh) | 路线生成方法、装置、无人作业车、电子设备及存储介质 | |
Tona | Contributions on advanced automation for selective protection treatments on specialty crops |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |