CN114663752A - 一种基于机器视觉的食用豆产量智能估计方法、系统 - Google Patents

一种基于机器视觉的食用豆产量智能估计方法、系统 Download PDF

Info

Publication number
CN114663752A
CN114663752A CN202210187097.6A CN202210187097A CN114663752A CN 114663752 A CN114663752 A CN 114663752A CN 202210187097 A CN202210187097 A CN 202210187097A CN 114663752 A CN114663752 A CN 114663752A
Authority
CN
China
Prior art keywords
edible
pod
dimensional
edible bean
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210187097.6A
Other languages
English (en)
Other versions
CN114663752B (zh
Inventor
张新洲
王文波
夏先飞
陈兰
沈箫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202210187097.6A priority Critical patent/CN114663752B/zh
Publication of CN114663752A publication Critical patent/CN114663752A/zh
Application granted granted Critical
Publication of CN114663752B publication Critical patent/CN114663752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的食用豆产量智能估计方法、系统，利用双目视觉相机采集种植单元内食用豆的二维图片；用Yolo V3算法识别出二维图片中的标识杆，进而获取可分析基础区域；基于可分析基础区域，采用Yolo V3算法识别出可分析基础区域内食用豆豆荚信息；基于双目相机所采集的两幅对应食用豆二维图片，采用区域立体匹配算法，为识别的豆荚增加三维深度信息，获得豆荚三维坐标信息；基于筛选出的豆荚三维坐标信息，预测出田块食用豆的产量；本申请还提出了一种基于机器视觉的食用豆产量智能估计系统，包括智能感知硬件配置系统和食用豆产量预估软件系统，食用豆产量预估软件系统以预测出食用豆产量；本发明能够解决食用豆产量预估不精准的问题，并可为食用豆收割机械的智能化提供感知信息基础。

Description

一种基于机器视觉的食用豆产量智能估计方法、系统
技术领域
本发明属于智能农业管理领域，尤其涉及一种基于机器视觉的食用豆产量智能估计方法与系统。
背景技术
食用豆(如蚕豆等)是我国重要的经济作物，具有品种多、分布范围广等特点。食用豆的产量预估对于农民和采购商具有重要意义。当前食用豆产量的估计方式主要是在收获后进行称重得到。由于食用豆的收割方式主要以人工收获为主，即人工用镰刀割晒或摘荚，然后再晾晒一段时间后进行人工脱粒、清选、称重，才能得到食用豆的产量。虽然在收割之前依据农民的经验能够对产量进行预估，而估计结果往往偏离实际值较大。这种情况下，产量的估计会有较大的滞后性。
目前，与农作物产量预估相关发明专利有：中国专利《一种农作物产量预估的方法、装置、设备及存储介质》对种植区域的俯视图进行图像采集，进而基于预设模型预测包含果实部分的指定农作物的株数，并结合单株指定农作物的预设果实产量后确定预估产量；中国专利《基于人工智能的产量预估方法、装置、设备及存储介质》在获取目标农作物的图像特征信息后，从大数据平台查找对应的历史信息，进而构建神经网络模型，进而结合环境图像信息预测出农作物的产量。
尽管上述发明对农作物的产量预估有较好的促进作用，但针对本发明拟解决的食用豆产量估计方面，仍存在以下新问题：现有专利主要是针对以小麦或稻子为主的农作物，农作物的果实主要集中在顶部，果实遮挡部分较少，故其主要采集图片的俯视图，而食用豆的豆荚生长部位遍及整个枝条，最低甚至可以接近根部，最高可以至顶端，故而难以用顶端获取的图片作为分析依据；另一方面，当今人工成本不断增加，食用豆采收机械化及智能化的研究也受到重视，而自动化的感知与分析能够为智能化机械提供眼睛与大脑，现有专利所提装置难以与机械设备进行有机结合。
发明内容
为了解决现有技术中存在的不足，本申请提出了一种基于机器视觉的食用豆产量智能估计方法与系统，旨在解决食用豆产量预估不精准的问题，并可为食用豆收割机械的智能化提供感知信息基础。
本发明所采用的技术方案如下：
一种基于机器视觉的食用豆产量智能估计方法，包括如下步骤：
步骤1：利用食用豆采摘机械前端的双目视觉相机采集种植单元内食用豆的二维图片；所述二维图片中包括每个种植单元内的食用豆植株以及相邻种植单元间的标识杆；
步骤2：基于所获得的食用豆二维图片，采用Yolo V3算法识别出二维图片中的标识杆，进而获取可分析基础区域；
步骤3：基于可分析基础区域，采用Yolo V3算法识别出可分析基础区域内食用豆豆荚信息，所述食用豆豆荚信息表示为(xi,1,yi,1,xi,2,yi,2,wi,hi)，xi,1和yi,1指代豆荚框的左上角的横坐标、纵坐标，xi,2和yi,2指代豆荚框的右下角的横坐标、纵坐标，wi指代豆荚的宽度，hi指代豆荚的高度，i指代豆荚的标号；
步骤4：基于双目相机所采集的两幅对应食用豆二维图片，为识别的豆荚增加三维深度信息，获得豆荚三维坐标信息；
步骤5：基于筛选出的豆荚三维坐标信息，预测出食用豆的产量；
步骤5.1：计算出单个豆荚的重量信息Wunit；
步骤5.2：依据标识杆信息以及选用的深度阈值信息，计算出选用的豆荚图片指代的真实田块面积，可以表示为Arsample＝Wdis×D，其中，Wdis表示两个标识杆之间的距离；
步骤5.3：对整个田块食用豆的产量进行预测，预测公式可以为WEtotal＝Wunit×Nsample×(Artotal/Arsample)，其中WEtotal指代最终预测的整体产量值，Wunit指代单个豆荚的重量，Nsample指代分析图片区域内豆荚的数量，即为标注出来的食用豆单元图片内深度距离小于D的豆荚数量；Artotal指代整个田块的面积，Arsample指代分析图片对应区域的面积。
进一步，按照阵列种植食用豆，将整个田块分隔出n*m个种植单元；将食用豆植株种植在每个种植单元中，在相邻种植单元间的间隔空间内设置标识杆；
进一步，所述标识杆选择与食用豆植物不同的颜色，以便于区分不同区域。
进一步，步骤2获取可分析基础区域的方法为：
步骤2.1：训练得到用于区域筛选的Yolo V3模型；
步骤2.2：将训练得到的Yolo V3模型作为预测模型，并将双目视觉相机采集得到的食用豆二维图片作为模型的输入，预测并在图中标注出标识杆；
步骤2.3：基于识别出的标识杆信息，对食用豆二维图片进行切割与调整，得到可分析基础区域；
进一步，步骤2.1中训练得到用于区域筛选的Yolo V3模型的方法为：
步骤2.1.1：采集大量食用豆二维图片，并标注出图片中的标识杆信息，构建数据集；将数据集分为训练集和测试集；
步骤2.1.2：将训练集中图片作为输入图片，并统一调整训练集中图片尺寸为416×416；将调整尺寸后的图片并输入DarkNet-53网络中，基于DarkNet-53网络输出三种尺寸大小的图片，将这三种尺寸大小的图片作为三种不同类型的特征图片；所述三种尺寸分别是输入图片尺寸的1/8(52×52)、1/16(26×26)和1/32(13×13)；
步骤2.1.3：基于上述三种不同类型的特征图片，构建FPN特征金字塔进行加强特征提取；
步骤2.1.4：利用FPN特征金字塔得到了三种类型的特征金字塔，将三个大小的特征层传入YoloHead获得预测结果，即获得最佳锚点框，以筛选出目标标识杆；
步骤2.1.5：对上述预测结果进行解码，以获得最终的预测框在图片上的位置，进而这些筛选后的框直接绘制在图片上；
步骤2.1.6：调用测试集数据对以上获得的标识杆识别模型进行测试，如果测试结果精度不好，则需要重新训练得到新模型，重复以上步骤2.1.2到步骤2.1.5，直到精度满足要求或者迭代次数到达设定值。
进一步，所述步骤2.1.3中构建FPN特征金字塔的方法为：
步骤2.1.3.1：对尺寸为13×13的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，，可以利用这个预测结果去完成两件工作，一方面直接输出作为尺寸为13×13尺寸的特征层的预测结果，另一方面用于进行上采样后与尺寸为1/8的特征层进行结合；
步骤2.1.3.2：结合特征层再次进行5次卷积处理，处理完后利用YoloHead获得预测结果，类似的，可以利用这个预测结果去完成两件工作，一方面直接输出作为尺寸为26×26的特征层的预测结果，另一方面用于进行上采样后与尺寸为52×52的特征层进行结合。
步骤2.1.3.3：结合特征层再次进行5次卷积处理，处理完后利用YoloHead获得预测结果，作为尺寸为52×52的特征层的预测结果。
进一步，步骤2.3中得到可分析基础区域的方法为：
步骤2.3.1：识别出的标识杆坐标表示为(xj,flag,yj,flag)，其中xj,flag和yj,flag指代第j个标识杆标识框的左下角的坐标；
步骤2.3.2：将第j个和第j+1个标识杆之间的区域切割出来作为可分析基础区域，用于后续的豆荚识别与分析，即选择横坐标范围在xj,flag和xj+1,flag之间的图片作为后续分析的对象。
进一步，获得豆荚三维坐标信息的方法为：
步骤4.1：对安装好的双目视觉相机进行标定；
步骤4.2：基于区域立体匹配方法，得到双目视觉相机所采集的两幅二维图片之间的对应关系，并获取图片中的深度信息；
步骤4.3：将深度信息与步骤3中识别出的食用豆荚信息结合起来，形成真实食用豆生长环境的三维点云坐标，将每个食用豆豆荚三维坐标表示为(xi,1,yi,1,xi,2,yi,2,wi,hi,di)，其中，di指代豆荚的深度坐标；
步骤4.4：基于食用豆豆荚三维坐标信息，设定识别精度较高的豆荚最大阈值D，选择di<D的豆荚作为后续分析的豆荚总量，以及所选出的食用豆豆荚信息；
一种基于机器视觉的食用豆产量智能估计系统，包括智能感知硬件配置系统和食用豆产量预估软件系统。
智能感知硬件配置系统包含两大模块，即双目视觉相机和分析服务器。双目视觉相机的配置主要用于采集食用豆的真实图片信息，包含单个摄像头采集的二维图片和两个摄像头一起采集得到的两幅对应二维图片；分析服务器的配置主要用于对采集图片的深入分析，运行食用豆产量预估软件系统，以预测出食用豆产量。
食用豆产量预估软件系统包含图片获取与预处理模块、生长区域识别模块、二维豆荚识别模块、三维空间分析模块和食用豆产量预估模块。其中，图片获取与预处理模块主要用于采集田块中食用豆生长图片，并进行图片的调正与去噪；生长区域识别模块主要用于识别出图片的标识杆信息，并分割出用于食用豆豆荚分析的可分析基础区域；二维豆荚识别模块主要在二维平面区域内识别出采样空间的豆荚信息；三维空间分析模块主要获得豆荚的深度信息；食用豆产量预估模块依据采样区域、豆荚数量信息、历史产量信息对当前田块的食用豆产量进行预测。
一种食用豆产量智能估计及收获机，包括收割机以及收割机的收割机控制室、分析服务器、双目摄像机。
本发明的有益效果：
通过配置双目视觉相机与分析服务器搭建食用豆产量智能估计系统，一方面，可以实时感知食用田的图片信息，另一方面，后台分析软件系统可以智能预测食用豆产量。首先，图片获取与预处理模块主要用于采集田块中食用豆生长图片，并进行图片的调正与去噪；进而，生长区域识别模块主要从原始图片中识别处标识杆信息，并基于标识杆筛选处得到有效的食用豆基础分析单元区域；其次，二维豆荚识别模块主要从感知图片中识别出豆荚信息；然后，三维空间分析模块主要对豆荚增加深度信息，以筛选出临近区域的豆荚；最后，食用豆产量估计模块主要基于豆荚数量对抽样区域的产量进行估计，进而可以依据整体田地与抽样区域的比例，对整体田块的产量进行预估。基于本发明，可以解决食用豆产量预估不准确的问题，为食用豆收割机械的智能化提供感知信息基础。
附图说明
图1是本发明方法与系统的整体示意图；
图2是本发明方法与系统的食用豆生长区域布置示意图；
图3是本发明方法的总体运行逻辑图；
图4是本发明系统的整体结构示意图。
图中，1、收割机，2、收割机控制室，3、分析服务器，4、双目摄像机，5、食用豆田块，6、标识杆，7、食用豆豆荚。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图3所示的一种基于机器视觉的食用豆产量智能估计方法，包括如下步骤：
步骤1：在食用豆采摘机械前端安装双目视觉相机，进而可以在机械设备到达田块时，利用双目视觉相机主动拍摄食用豆生长过程图片，针对同一场景，双目视觉相机分别采集两幅二维图片(即左目和右目分别采集一张图片)，并且对所采集的二维图片进行预处理。该步骤的具体过程如下：
步骤1.1：驾驶收割机到达田块，选择食用豆长势比较居中的区域，利用双目视觉相机拍摄食用豆照片。所拍摄到的食用豆照片是如图2所示的食用豆植株的正视图。
步骤1.2：对所拍摄的食用豆图片进行预处理，该预处理主要包含倾斜图片调正、噪声去除。倾斜图片调正过程主要是将标识杆竖立，以便于后续的食用豆生长区域的筛选与裁剪。噪声去除的目的是为了减少拍摄机器不稳或拍摄精度不够而带来的照片不清晰等问题，以保证照片质量能够用于后续分析。这个预处理过程，可以通过相机本身自带的功能模块或者在服务器中设置软件程序等方法实现。
步骤1.3：将预处理后的食用豆二维照片输入到后续模块进行分析。
步骤2：基于所获得的食用豆二维图片，采用Yolo V3算法识别出可分析基础区域。
在本实施例中，为了便于确定产量预估的抽样分析，食用豆种植过程需符合一定规则。参照图2，在田块中按照一定的阵列种植食用豆，即将整个田块分隔出n*m个种植单元；将食用豆植株种植在每个种植单元中，相邻种植单元间间隔一定距离，并在相邻种植单元间的间隔空间内设置标识杆(如标识杆或带颜色的杆子)，以便于区分不同区域。其中，标识杆的设置目的主要是为了区分不同的种植单元间，可以为标识杆或带颜色的杆子，标识杆的颜色需与食用豆植物不同，以便于后续的图像处理。
步骤2.1：训练得到用于区域筛选的Yolo V3模型。
步骤2.1.1：数据集构建。在模型训练前，对历史采集图片进行标注，将图片中的标识杆信息标注出来，以标识杆作为检测目标。在标注完所有图片以后，将图片库作为原始数据集，并将数据集划分为10份，随机选择其中的9份作为训练集，1份作为测试集，进行模型的训练。
步骤2.1.2：标识杆特征提取。所有的输入图片尺寸调整为416×416，并输入到DarkNet-53网络中。基于DarkNet-53网络可以得到三种尺寸大小的图片，分别为原始图片的1/8(52×52)，1/16(26×26)，1/32(13×13)。这三种图片可以看作三种不同类型的特征图片。其中，每个网格即可看作一个单元格，如原始图片尺寸调整为416×416，即每行或每列为416个单元格。
步骤2.1.3：构建FPN特征金字塔进行加强特征提取。特征金字塔可以将不同大小的特征层进行特征融合，有利于提出更好的特征。针对以上主干网DarKNet53获得的三类不同大小的特征图片，采取以下方式构建特征金字塔：
步骤2.1.3.1：对尺寸为13×13的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，，可以利用这个预测结果去完成两件工作，一方面直接输出作为尺寸为13×13尺寸的特征层的预测结果，另一方面用于进行上采样后与尺寸为26×26的特征层进行结合；
步骤2.1.3.2：结合特征层再次进行5次卷积处理，处理完后利用YoloHead获得预测结果，类似的，可以利用这个预测结果去完成两件工作，一方面直接输出作为尺寸为26×26的特征层的预测结果，另一方面用于进行上采样后与尺寸为52×52的特征层进行结合。
步骤2.1.3.3：结合特征层再次进行5次卷积处理，处理完后利用YoloHead获得预测结果，作为尺寸为52×52的特征层的预测结果。
步骤2.1.4：利用Yolo Head获得预测结果，得到最佳锚点框尺寸。利用FPN特征金字塔得到了三种类型的特征金字塔，然后我们利用这三个大小的特征层传入YoloHead获得预测结果，即获得最佳锚点框，以筛选出目标标识杆。针对原始食用豆图片，可以获得三个特征层的预测结果，即(13，13，255)、(26，26，255)、(52，52，255)。每一个特征层将整个图片分成与其长宽对应的网格，如(13，13，255)的特征层就是将整个图像分成13×13个网格，然后每个网格中心建立多个先验框，这些框是网络预先设定好的框，网络的预测结果会判断这些框内是否包含物体，以及这个物体的种类。基于以上步骤可以得到的预测结果包含5个信息，即x_offset、y_offset、h和w、置信度、分类结果，其中x_offset、y_offset分别表示垂直和水平方向的偏离量，h和w分别表示框的高度和宽度。
步骤2.1.5：对上述预测结果进行解码，以获得最终的预测框在图片上的位置，进而这些筛选后的框可以直接绘制在图片上。
步骤2.1.5.1：先将每个网格点加上它对应的x_offset、y_offset，加完以后的结果就是预测框的中心。
步骤2.1.5.2：利用先验框和h、w结合计算出预测框的宽高，这样就能得到整个预测框的位置。
步骤2.1.6：调用测试集数据对以上获得的标识杆识别模型进行测试，如果测试结果精度不好，则需要重新训练得到新模型，重复以上步骤2.1.2到步骤2.1.5，直到精度满足要求或者迭代次数到达设定值。
步骤2.2：将训练得到的Yolo V3模型作为预测模型，并将双目视觉相机采集得到的食用豆生长原始图像输入到该模型中，基于该模型的预测分析能力，预测得到标识杆，并在图中标注出来。
步骤2.3：基于识别出的标识杆信息，对原始图片进行切割与调整，得到可分析基础区域，即图2中的种植单元。
步骤2.3.1：识别出的标识杆坐标可以表示为(xj,flag,yj,flag)，其中xj,flag和yj,flag指代第j个标识杆标识框的左下角的坐标。
步骤2.3.2：将第j个和第j+1个标识杆之间的区域切割出来作为可分析基础区域，用于后续的豆荚识别与分析，即选择横坐标范围在xj,flag和xj+1,flag之间的图片作为后续分析的对象。
步骤3：基于切割后的二维图片信息，采用Yolo V3算法识别出可分析基础区域内食用豆荚信息。所用Yolo V3算法步骤类似于步骤2.2，区别在于识别的特征是豆荚特征，故不再赘述。进而，可以识别出的豆荚坐标可以表示为(xi,1,yi,1,xi,2,yi,2,wi,hi)，其中xi,1和yi,1指代豆荚框的左上角的横纵坐标，xi,2和yi,2指代豆荚框的右下角的横纵坐标，wi指代豆荚的宽度，hi指代豆荚的高度，i指代豆荚的标号。
步骤4：基于双目相机采集的图片，为识别的豆荚增加三维深度信息。
步骤4.1：采用张正友标定方法，对安装好的双目视觉相机进行标定，以实现相机坐标与实际坐标的关联。
步骤4.1.1：在虚拟空间中建立一个包含平面网格的标定模板，其中网格上的交叉点即为标定控制点。
步骤4.1.2：从不同的角度拍摄实际校准模板，获得不同角度的多个校准模板图像，并获得校准模板上的校准控制点。
步骤4.1.3：基于控制点和图像坐标，采用最小方差估计法和非线性规划方法，计算出最优的相机参数。
步骤4.1.4：基于获得的相机参数，对摄像机进行设定，并采集图片。
步骤4.2：基于区域立体匹配方法，得到双目相机所采集的两幅图片之间的对应关系，并获取图片中的深度信息。
步骤4.2.1：根据左右两幅图片对中像素点颜色和灰度的不同，并考虑图像之间的局部和全局变化(亮度、曝光)以及噪声等影响因素，以左右图像对内的匹配像素点为中心，选中其附近的窗口区域，以两个窗口区域的相似度来表征这两个像素点的相似性。匹配代价越小，表示这两个对应像素点相似度越高，匹配代价越大，表示这两个像素点相似度越小。典型的匹配代价函数有灰度差绝对误差和,可用AD表示像素的灰度差绝对值，SAD表示待匹配像素邻域内所有像素的AD之和。假设左像待匹配像素为P，其邻域为S，视差为d，右像对应像素为p-d，则AD匹配代价为CAD(p,d)＝|IL(p)-IR(p-d)|，SAD的匹配代价为
Figure BDA0003523146200000081
步骤4.2.2：通过代价聚合，将区域周围的所有图像像素聚合为中心像素的匹配代价。假设区域内所选图像具有相同的图像视差，然后进行基本的降噪，并映射相邻像素之间的相互作用。一般用矩形窗口表示所选区域，以所选区域的平均代价作为最终的累加结果。如果所选区域超过目标的边缘，并且包含一个非视差图形部分，则处理结果是不正确的。因此，移动窗口或自适应窗口通常被设计为选定区域。
步骤4.2.3：通过视差计算，对双目相机左图像中的每个像素点都找到右图像中的匹配点，它们的横坐标之差就是视差，由视差构成的图像就是视差图。两类方法可以实现这个过程：局部匹配算法和全局匹配算法。在局部匹配算法中，获取视差图的方法是在代价聚合的基础上直接认为匹配代价最小的像素点就是匹配点。在全局匹配算法中，可以不进行代价聚合，而是通过建立能量函数，通过优化的方法使能量函数降到最小来计算视差，常用的能量函数如下：Ed＝Edata(d)+Esmooth(d)，其中Edata(d)用以衡量目前假定的视差接近真实视差的程度。Esmooth(d)是平滑项或者叫做正则项，它可以对像素之间的连续性或者相似性进行约束：对平滑区域邻像素间大的视差变化给予大的惩罚，但对边界处相邻像素间的视差变化以小的惩罚。
步骤4.2.4：对视差计算获取的结果进行视差初步优化，以去除错误视差。错误匹配视差指的是聚合后某些像素在真实视差位置的代价值并非最小值。错误匹配去除方法是左右一致性法，它基于视差的唯一性约束，即每个像素最多只存在一个正确视差。具体步骤是将左右影像互换位置，即左影像成为右影像，右影像成为左影像，再做一次立体匹配，得到另一张视差图。因为视差图中每个值所反映的是两个像素之间的对应关系，所以依据视差的唯一性约束，通过左影像的视差图，找到每个像素在右影像的同名点像素及该像素对应的视差值，这两个视差值之间的差值若小于一定阈值(一般为1个像素)，则满足唯一性约束被保留，反之则被去除。
步骤4.2.5：采用子像素优化技术对视差图进行进一步优化，以提高视差精度，使视差值更可靠，更精确。利用上一步得到的视差图像，通过拟合插值等方法重新计算每个像素点的视差，以达到亚像素精度，然后对像素的边缘和灰度级进行处理，得到调整后更准确反应真实环境的视差场。
步骤4.2.6：基于视差图，得到图片中豆荚的深度信息。
步骤4.3：将深度信息与步骤3中识别出的食用豆荚信息结合起来，形成真实食用豆生长环境的三维点云坐标，进而每个豆荚坐标可以表示为(xi,1,yi,1,xi,2,yi,2,wi,hi,di)，其中，di指代豆荚的深度坐标。
步骤4.4：基于食用豆豆荚三维坐标信息，筛选出采样空间中距离较近的食用豆的豆荚信息。由于拍摄的三维图片会包含不同深度信息的豆荚，过远距离的豆荚信息往往由于清晰度等原因带来识别误差大，因此仅选取距离较近的豆荚进行，以确保分析精度。即选择di<D的豆荚作为后续分析的豆荚总量，其中D为识别精度较高的豆荚最大阈值，可以基于历史识别记录或者专家经验得到。
步骤5：基于筛选出的豆荚三维坐标信息，预测出食用豆的产量。
步骤5.1：依据往年食用豆的产量信息，计算出单个豆荚的重量信息。随机选取一堆豆荚，记录其中的豆荚数量Ng以及剥离豆荚皮的最终食用豆产量Wg，则单个豆荚的重量为Wunit＝Wg/Ng。
步骤5.2：依据标识杆信息以及选用的深度阈值信息，计算出选用的豆荚图片指代的真实田块面积，可以表示为Arsample＝Wdis×D，其中，Wdis表示两个标识杆之间的距离。
步骤5.3：对整个田块食用豆的产量进行预测，预测公式可以为WEtotal＝Wunit×Nsample×(Artotal/Arsample)，其中WEtotal指代最终预测的整体产量值，Wunit指代单个豆荚的重量，Nsample指代分析图片区域内豆荚的数量，即为标注出来的食用豆单元图片内深度距离小于D的豆荚数量；Artotal指代整个田块的面积，Arsample指代分析图片对应区域的面积。
参照图4，一种基于机器视觉的食用豆产量智能估计系统，包括智能感知硬件配置系统和食用豆产量预估软件系统。
智能感知硬件配置系统包含两大模块，即双目视觉相机和分析服务器。双目视觉相机的配置主要用于采集食用豆的真实图片信息，包含单个摄像头采集的二维图片和两个摄像头一起采集得到的两幅对应二维图片；分析服务器的配置主要用于对采集图片的深入分析，运行食用豆产量预估软件系统，以预测出食用豆产量。
食用豆产量预估软件系统包含图片获取与预处理模块、生长区域识别模块、二维豆荚识别模块、三维空间分析模块和食用豆产量预估模块。其中，图片获取与预处理模块主要用于采集田块中食用豆生长图片，并进行图片的调正与去噪；生长区域识别模块主要用于识别出图片的标识杆信息，并分割出用于食用豆豆荚分析的可分析基础区域；二维豆荚识别模块主要在二维平面区域内识别出采样空间的豆荚信息；三维空间分析模块主要获得豆荚的深度信息；食用豆产量预估模块依据采样区域、豆荚数量信息、历史产量信息对当前田块的食用豆产量进行预测。
基于上述方法和可以实现上述方法的系统，本申请还提出可如图1所示的一种食用豆产量智能估计及收获机，包括，收割机1以及收割机1的收割机控制室2、分析服务器3、双目摄像机4。双目摄像机4用于采集食用豆田块5中标识杆6和食用豆豆荚7的图片。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的食用豆产量智能估计方法，其特征在于，包括如下步骤：
步骤1：利用食用豆采摘机械前端的双目视觉相机采集种植单元内食用豆的二维图片；所述二维图片中包括每个种植单元内的食用豆植株以及相邻种植单元间的标识杆；
步骤2：基于所获得的食用豆二维图片，采用Yolo V3算法识别出二维图片中的标识杆，进而获取可分析基础区域；
步骤3：基于可分析基础区域，采用Yolo V3算法识别出可分析基础区域内食用豆豆荚信息，所述食用豆豆荚信息表示为(xi,1,yi,1,xi,2,yi,2,wi,hi)，xi,1和yi,1指代豆荚框的左上角的横坐标、纵坐标，xi,2和yi,2指代豆荚框的右下角的横坐标、纵坐标，wi指代豆荚的宽度，hi指代豆荚的高度，i指代豆荚的标号；
步骤4：基于双目相机所采集的两幅对应食用豆二维图片，采用区域立体匹配算法，为识别的豆荚增加三维深度信息，获得豆荚三维坐标信息；
步骤5：基于筛选出的豆荚三维坐标信息，预测出食用豆的产量；
步骤5.1：计算出单个豆荚的重量信息Wunit；
步骤5.2：依据标识杆信息以及选用的深度阈值信息，计算出选用的豆荚图片指代的真实田块面积，可以表示为Arsample＝Wdis×D，其中，Wdis表示两个标识杆之间的距离；
步骤5.3：对整个田块食用豆的产量进行预测，预测公式表示为WEtotal＝Wunit×Nsample×(Artotal/Arsample)，其中WEtotal指代最终预测的整体产量值，Wunit指代单个豆荚的重量，Nsample指代分析图片区域内豆荚的数量，即为标注出来的食用豆单元图片内深度距离小于D的豆荚数量；Artotal指代整个田块的面积，Arsample指代分析图片对应区域的面积。
2.根据权利要求1所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，按照阵列种植食用豆，将整个田块分隔出n*m个种植单元；将食用豆植株种植在每个种植单元中，在相邻种植单元间的间隔空间内设置标识杆。
3.根据权利要求2所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，所述标识杆选择与食用豆植物不同的颜色，以便于区分不同区域。
4.根据权利要求1、2或3所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，步骤2获取可分析基础区域的方法为：
步骤2.1：训练得到用于区域筛选的Yolo V3模型；
步骤2.2：将训练得到的Yolo V3模型作为预测模型，并将双目视觉相机采集得到的食用豆二维图片作为模型的输入，预测并在图中标注出标识杆；
步骤2.3：基于识别出的标识杆信息，对食用豆二维图片进行切割与调整，得到可分析基础区域。
5.根据权利要求4所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，步骤2.1中训练得到用于区域筛选的Yolo V3模型的方法为：
步骤2.1.1：采集大量食用豆二维图片，并标注出图片中的标识杆信息，构建数据集；将数据集分为训练集和测试集；
步骤2.1.2：将训练集中图片作为输入图片，并统一调整训练集中图片尺寸为416×416；将调整尺寸后的图片并输入DarkNet-53网络中，基于DarkNet-53网络输出三种尺寸大小的图片，将这三种尺寸大小的图片作为三种不同类型的特征图片；所述三种尺寸分别是输入图片尺寸的1/8、1/16和1/32，三种尺寸分别对应52×52、26×26和13×13；
步骤2.1.3：基于上述三种不同类型的特征图片，构建FPN特征金字塔进行加强特征提取；
步骤2.1.4：利用FPN特征金字塔得到了三种类型的特征金字塔，将三个大小的特征层传入YoloHead获得预测结果，即获得最佳锚点框，以筛选出目标标识杆；
步骤2.1.5：对上述预测结果进行解码，以获得最终的预测框在图片上的位置，进而这些筛选后的框直接绘制在图片上；
步骤2.1.6：调用测试集数据对以上获得的标识杆识别模型进行测试，如果测试结果精度不好，则需要重新训练得到新模型，重复以上步骤2.1.2到步骤2.1.5，直到精度满足要求或者迭代次数到达设定值。
6.根据权利要求5所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，所述步骤2.1.3中构建FPN特征金字塔的方法为：
步骤2.1.3.1：对尺寸为13×13的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，可以利用这个预测结果去完成两件工作，一方面直接输出作为尺寸为13×13的特征层的预测结果，另一方面用于进行上采样后与尺寸为26×26的特征层进行结合；
步骤2.1.3.2：结合特征层再次进行5次卷积处理，处理完后利用YoloHead获得预测结果，类似的，可以利用这个预测结果去完成两件工作，一方面直接输出作为尺寸为26×26的特征层的预测结果，另一方面用于进行上采样后与尺寸为52×52的特征层进行结合。
步骤2.1.3.3：结合特征层再次进行5次卷积处理，处理完后利用YoloHead获得预测结果，作为尺寸为52×52的特征层的预测结果。
7.根据权利要求4所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，步骤2.3中得到可分析基础区域的方法为：
步骤2.3.1：识别出的标识杆坐标表示为(xj,flag,yj,flag)，其中xj,flag和yj,flag指代第j个标识杆标识框的左下角的坐标；
步骤2.3.2：将第j个和第j+1个标识杆之间的区域切割出来作为可分析基础区域，用于后续的豆荚识别与分析，即选择横坐标范围在xj,flag和xj+1,flag之间的图片作为后续分析的对象。
8.根据权利要求4所述的一种基于机器视觉的食用豆产量智能估计方法，其特征在于，获得豆荚三维坐标信息的方法为：
步骤4.1：对安装好的双目视觉相机进行标定；
步骤4.2：基于区域立体匹配方法，得到双目视觉相机所采集的两幅二维图片之间的对应关系，并获取图片中的深度信息；
步骤4.3：将深度信息与步骤3中识别出的食用豆荚信息结合起来，形成真实食用豆生长环境的三维点云坐标，将每个食用豆豆荚三维坐标表示为(xi,1,yi,1,xi,2,yi,2,wi,hi,di)，其中，di指代豆荚的深度坐标；
步骤4.4：基于食用豆豆荚三维坐标信息，设定识别精度较高的豆荚最大阈值D，选择di<D的豆荚作为后续分析的豆荚总量，以及所选出的食用豆豆荚信息。
9.一种基于机器视觉的食用豆产量智能估计系统，其特征在于，包括智能感知硬件配置系统和食用豆产量预估软件系统；
智能感知硬件配置系统包含两大模块，即双目视觉相机和分析服务器；双目视觉相机的配置用于采集食用豆的真实图片信息，包含单个摄像头采集的二维图片和两个摄像头一起采集得到的视差图；分析服务器的配置用于对采集图片的深入分析，运行食用豆产量预估软件系统，以预测出食用豆产量；
食用豆产量预估软件系统包含图片获取与预处理模块、生长区域识别模块、二维豆荚识别模块、三维空间分析模块和食用豆产量预估模块；其中，图片获取与预处理模块主要用于采集田块中食用豆生长图片，并进行图片的调正与去噪；生长区域识别模块主要用于识别出图片的标识杆信息，并分割出用于食用豆豆荚分析的可分析基础区域；二维豆荚识别模块主要在二维平面区域内识别出采样空间的豆荚信息；三维空间分析模块主要获得豆荚的深度信息；食用豆产量预估模块依据采样区域、豆荚数量信息、历史产量信息对当前田块的食用豆产量进行预测。
10.一种搭载权利要求9所述的基于机器视觉的食用豆产量智能估计系统的食用豆产量智能估计及收获机，其特征在于，包括收割机以及收割机的收割机控制室、分析服务器、双目摄像机。
CN202210187097.6A 2022-02-28 2022-02-28 一种基于机器视觉的食用豆产量智能估计方法、系统 Active CN114663752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210187097.6A CN114663752B (zh) 2022-02-28 2022-02-28 一种基于机器视觉的食用豆产量智能估计方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210187097.6A CN114663752B (zh) 2022-02-28 2022-02-28 一种基于机器视觉的食用豆产量智能估计方法、系统

Publications (2)

Publication Number Publication Date
CN114663752A true CN114663752A (zh) 2022-06-24
CN114663752B CN114663752B (zh) 2024-04-12

Family

ID=82027391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210187097.6A Active CN114663752B (zh) 2022-02-28 2022-02-28 一种基于机器视觉的食用豆产量智能估计方法、系统

Country Status (1)

Country Link
CN (1) CN114663752B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN113524194A (zh) * 2021-04-28 2021-10-22 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN113524194A (zh) * 2021-04-28 2021-10-22 重庆理工大学 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法

Also Published As

Publication number Publication date
CN114663752B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
Sun et al. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering
Nielsen et al. Vision-based 3D peach tree reconstruction for automated blossom thinning
GB2598012A (en) System and method for crop monitoring
CN109522899B (zh) 咖啡成熟果实的检测方法、装置及电子设备
CN113392775A (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN114066842A (zh) 穗头数统计方法、系统、装置及存储介质
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN112990063B (zh) 一种基于形状与颜色信息的香蕉成熟度分级方法
CN112507768A (zh) 目标物检测方法、装置和图像采集方法、装置
CN114239756B (zh) 一种虫害检测方法及系统
Badhan et al. Real-time weed detection using machine learning and stereo-vision
Ramos et al. Measurement of the ripening rate on coffee branches by using 3D images in outdoor environments
CN112734083A (zh) 一种基于机器视觉的水稻收割机路径规划控制系统
CN112580671A (zh) 一种基于深度学习的稻穗多发育期自动检测方法及系统
CN109598215A (zh) 一种基于无人机定位拍摄的果园建模分析系统和方法
CN110689022B (zh) 基于叶片匹配的各株作物图像提取方法
Dolata et al. Instance segmentation of root crops and simulation-based learning to estimate their physical dimensions for on-line machine vision yield monitoring
Guo et al. Panicle Ratio Network: streamlining rice panicle measurement by deep learning with ultra-high-definition aerial images in the field
Piani et al. Apple orchard flower clusters density mapping by unmanned aerial vehicle RGB acquisitions
CN111985472A (zh) 基于人工智能和主动球机的食槽干草温度图像处理方法
CN109523509B (zh) 小麦抽穗期的检测方法、装置及电子设备
CN114663752B (zh) 一种基于机器视觉的食用豆产量智能估计方法、系统
CN116883309A (zh) 一种大豆表型获取方法
CN114049390A (zh) 一种基于机器视觉的小麦麦苗种植密度测量装置及方法
CN112488230A (zh) 基于机器学习的作物水分胁迫程度判定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant