CN107748886B - 一种基于深度相机的轨道式现代标准化果园信息感知系统 - Google Patents

一种基于深度相机的轨道式现代标准化果园信息感知系统 Download PDF

Info

Publication number
CN107748886B
CN107748886B CN201711047287.3A CN201711047287A CN107748886B CN 107748886 B CN107748886 B CN 107748886B CN 201711047287 A CN201711047287 A CN 201711047287A CN 107748886 B CN107748886 B CN 107748886B
Authority
CN
China
Prior art keywords
information
image
fruit
canopy
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711047287.3A
Other languages
English (en)
Other versions
CN107748886A (zh
Inventor
汪小旵
孙国祥
王玮
赵进
魏立群
张卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201711047287.3A priority Critical patent/CN107748886B/zh
Publication of CN107748886A publication Critical patent/CN107748886A/zh
Application granted granted Critical
Publication of CN107748886B publication Critical patent/CN107748886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度相机的轨道式现代标准化果园信息感知系统，一个集信息采集‑处理‑显示‑调控为一体的综合管理系统，其研究对象主要为柑橘以及苹果树，详细对象包括果树的根‑冠‑花‑果等关键数据，通过使用传感器以及相机作为采集端，经OpenCV的相应程序处理后得到对应的结果，最终与传感信息综合集成于大数据云端，作为进一步分析管控措施的重要依据。

Description

一种基于深度相机的轨道式现代标准化果园信息感知系统
技术领域
本发明属于果园信息感知领域，特别是一种轨道式现代标准化果园冠层信息和生态信息感知系统。
背景技术
随着我国经济的发展，建设标准化现代果园势在必行，但智能化、精细化的生产管理技术与装备不完善严重制约了我国现代果业的发展，其中，果树生长信息采集一直是研究的热点和难点，如何对果树生长发育、果实品质情况以及果园生态环境信息进行深度感知与解析，有效地预测及管理果树生长发育，是制约果园智能管控的关键技术问题。建立现代标准化果园管控系统，首先需要高效、精准测量果树的主要组成部分—冠层、花果等，但冠层结构复杂拓扑差异性大，花果分布与品质情况难以定量快速测量，所以建立现代标准化果园信息感知系统是促进现代果园发展的关键。
目前已有的果园信息感知系统方法主要是直接在果园内安装不同类型的传感器以及摄像头等，经网线传输至显示端。该方法只可获取到包括土壤温湿度、空气温湿度、光照强度这样的植物生长环境相关信息，而无法进一步获取精准的冠层枝叶、花果等相关果树生长状况信息，无法实时在线掌握果树生长情况以及虫害状况，也使得果园管理大数据库中相关数据的缺失。除此之外，现有的果树感知系统大都是针对单株果树，而非整个果园的所有果树，所得数据无法进行对比性试验以及大样本整体分析，更无法实际意义上的去实现对现代标准化果园的整体信息感知、管控，这是现代果园发展的阻碍之一。
本发明主要针对现代标准化果园智能化管理程度低的问题，面向不同生态区和立地条件，以苹果、柑橘等果园为研究对象，根据果树生长发育、水肥需求和病虫害发生规律，采用跨空间尺度和时间尺度的多种传感器对果树冠层和花果信息进行全方位多层次感知，配合现代物联网技术研究，通过多源异构数据的深度融合，实现对果树冠层特征和局部特征的全方位精细化感知，并使用传感器和深度相机采集到不同阶段、不同类型的信息建立果树生长跨时空多层次大数据样本库，由此构建贯穿果树全生长周期的根-冠-花-果、品质、病虫害数据感知与采集系统。
并且本发明给固定的相机采集端加上移动平台，搭配果园内的轨道，实现快速、全面、高效的对所有果树个体的信息采集，完善了现代标准化果园感知系统的功能，提高了果园的智能化水平，充实了大数据样本内容。在丰富的大数据基础之上，通过对贯穿果树全生长周期的冠层信息、花果信息和生态环境信息的大数据云平台的数据挖掘和多源信息融合，形成多源异构海量数据的在线自主推理模型，建立果园冠层和花果的精细化管控措施的智能决策系统，并进一步提出智能化管理的果园生产的新模式。
发明内容
本发明的目的是，针对现代化标准果园中冠层、叶幕、花果、虫害等关键信息的采集以及处理难题，搭建一种轨道式现代标准化果园信息感知系统。
本发明的目的是通过以下技术方案实现的：
轨道式现代标准化果园信息感知系统是一个集信息采集-处理-显示-调控为一体的综合管理系统，其研究对象主要为柑橘以及苹果树，详细对象包括果树的根-冠-花-果等关键数据，通过使用传感器以及相机作为采集端，经OpenCV的相应程序处理后得到对应的结果，最终与传感信息综合集成于大数据云端，作为进一步分析管控措施的重要依据。
该系统的搭建包括以下步骤：
步骤1：搭建标准化果树间隙运行轨道
现代化标准果园的果树栽培、管理都遵循着严格的统一化标准，果树种植点横向、纵向都留有固定间隙距离，运行轨道即搭建于每两排果树间隙中。轨道为两行平行直线轨道，轨道采用镀热锌材料方管覆盖直角边钢材料，轨道两头分别加焊限位片，防止运行小车跑出轨道。由于小车上搭载旋转底盘，每两行平行直线轨道上可实现两侧果树信息的采集，故轨道的设置为每个间隔空一个放置轨道。具体的轨道搭建方式如图1所示。
步骤2：搭建装载相机可移动平台
由于需要连续采集多株果树的冠层枝叶以及花果信息，故将相机搭载在移动平台上，平台采用单片机作为主控制器，控制器主要负责控制移动平台的前进与旋转。平台装有步进电机以及驱动器，驱动平台前进与停止，平台下方配有旋转底盘，上方安置2个相机支架可调整高度以及角度，小车前后方各有一个激光测距仪，移动滑轮采用与轨道契合的V型槽轮。移动平台搭建效果图如图2所示。
步骤3：选择果园内视角较为开阔的几个点安装360°全景摄像头，摄像头通过网线与显示终端连接。
步骤4：每一列果树选择一个典型代表作为传感器采集点，在指定位置分别放置土壤温湿度传感器、空气温湿度传感器以及光照传感器，传感器均通过网线连接至控制室的显示终端，以供显示相应的数据。
步骤5：移动平台开始采集图像。控制器控制移动平台每前进L0进行一次图像采集，每一次的样本采集结果保存至一个文件夹，包括原始图像、深度图、左右视图、直方图等，直至完成双侧的所有果树信息采集。L0是指两个果树之间的距离；
步骤6：采集图像信息的同时激光测距仪也在不断地测量小车前进距离，为图像处理时候提供数据信息。
步骤7：处理采集到的图像信息。首先是预处理，相机的成像质量会直接影响接下来的处理精度，在获得原始图像后一般都先进行预处理。在立体匹配以及立体矫正过程中大都采用灰度图，故需先将彩色图像转化为灰度图，并保证所有信息不会丢失。彩色图像使用R(红)、G(绿)、B(蓝)三原色以不同比例混合而成，RGB取值为0-255，灰度化即将R、G、B分量值取成相等的值，采用的方法为加权平均值法，表达式如下：
R＝G＝B＝(WRR+WGG+WBB)/3
且经测试得WR＝0.30，WG＝0.59，WB＝0.11时灰度图最合理，故上式变为：
R＝G＝B＝(0.30R+0.59G+0.11B)/3
软件OpenCV+Python语言可实现以上处理过程。
步骤8：图像滤波。对采集到的图像进行高斯滤波，使用高斯函数对图像中的点的灰度值进行加权所得到的值也就是该点的灰度值，采用二维离散卷积公式如下所示：
Figure GDA0003014048400000031
高斯卷积是对某区域相邻处的点灰度值加权平均，离中心点较近的像素其影响力较大，权重也会相对高。高斯滤波平滑效果好，边缘信息保留的较为完整。经高斯滤波后的图像噪点减少，图像清晰。
步骤9：获取果树冠层高度信息。使用OpenCV+Python语言的方法，通过不断缩小H(色调)、S(饱和度)、V(明度)值域确定冠层所属绿色的HSV范围，并用已确定对角2点的红色方框圈出冠层所属范围，并通过输出该方框的宽输出冠层高度帧数，然后根据相机距离果树的实际距离经计算得到冠层的实际高度。
步骤10：获取叶幕覆盖信息。使用OpenCV中颜色识别的方法，即锁定不同值域的HSV获得冠层中黄色以及黄绿色叶子所占冠层整体叶幕的比例，以及叶幕占整个冠层的覆盖率等相关参数，进而获得该果树叶幕的关键信息。
步骤11：花果ROI识别，获取花果数量信息。利用OpenCV中的Canny边缘检测的原理，首先用5×5的高斯滤波器去除噪声，对滤波之后的平滑图像使用Sobel算子计算水平方向和竖直方向的一阶导数(即图像梯度Gx和Gy)，根据得到的梯度图找到边界的梯度和方向，公式如下：
Figure GDA0003014048400000041
Figure GDA0003014048400000042
随后使用二值法去除非边界上的点，也就是非极大值抑制的方法得到包含“窄边界”的二值图像。随后通过设置minVal和maxVal阈值，去除掉一些小的噪声点，并输出对象的轮廓。
步骤12：确定花果的轮廓信息之后并通过上述的颜色识别方法，获取果实颜色信息，进而作为检测该果树的花果品质的重要信息依据。
步骤13：分割原始图像，使用OpenCV中的目标识别技术识别叶幕上以及花果上的虫害位置，库内存储有多种不同的虫害标本，使用模板匹配的技术查找出花果叶上的虫害，最终以灰度图的形式返回结果，每一个像素值都表示了该区域与虫害模板的匹配程度。最终的匹配结果会使用方框圈起来表示虫害位置。
步骤14：所有的输出结果保存至相应的文件夹中，并传输至大数据终端。
步骤15：当采集完该间隙内的一侧果树信息后，控制器控制平台行进至轨道尽头并转向90°，开始采取该间隙内另一侧的果树信息。
步骤16：当此间隙内两侧果树信息均采集完之后，需人工将移动平台移动至另一间隙内轨道上，继续重复上述步骤进行图像信息采集工作。
步骤17：所有信息采集结束之后，通过观察显示界面上的监控信息以及各个传感器参数，确定当前果树的生长环境。
步骤18：读取果树冠层的高度、叶幕以及花果信息，确定当前果树的生长状况。
步骤19：根据以上所获得的数据采取相应的调控管理措施。
附图说明
图1是具体的轨道搭建方式示意图；
图2是移动平台搭建效果图。
具体实施方式
参照图1和图2，具体实施步骤如下。
轨道式现代标准化果园信息感知系统是一个集信息采集-处理-显示-调控为一体的综合管理系统，其研究对象主要为柑橘以及苹果树，详细对象包括果树的根-冠-花-果等关键数据，通过使用传感器以及相机作为采集端，经OpenCV的相应程序处理后得到对应的结果，最终与传感信息综合集成于大数据云端，作为进一步分析管控措施的重要依据。
该系统的搭建包括以下步骤：
步骤1：搭建标准化果树间隙运行轨道
现代化标准果园的果树栽培、管理都遵循着严格的统一化标准，果树种植点横向、纵向都留有固定间隙距离，运行轨道即搭建于每两排果树间隙中。轨道为两行平行直线轨道，轨道采用镀热锌材料方管覆盖直角边钢材料，轨道两头分别加焊限位片，防止运行小车跑出轨道。由于小车上搭载旋转底盘，每两行平行直线轨道上可实现两侧果树信息的采集，故轨道的设置为每个间隔空一个放置轨道。具体的轨道搭建方式如图1所示。
步骤2：搭建装载相机可移动平台
由于需要连续采集多株果树的冠层枝叶以及花果信息，故将相机搭载在移动平台上，平台采用单片机作为主控制器，控制器主要负责控制移动平台的前进与旋转。平台装有步进电机以及驱动器，驱动平台前进与停止，平台下方配有旋转底盘，上方安置2个相机支架可调整高度以及角度，小车前后方各有一个激光测距仪，移动滑轮采用与轨道契合的V型槽轮。移动平台搭建效果图如图2所示。
步骤3：选择果园内视角较为开阔的几个点安装360°全景摄像头，摄像头通过网线与显示终端连接。
步骤4：每一列果树选择一个典型代表作为传感器采集点，在指定位置分别放置土壤温湿度传感器、空气温湿度传感器以及光照传感器，传感器均通过网线连接至控制室的显示终端，以供显示相应的数据。
步骤5：移动平台开始采集图像。控制器控制移动平台每前进L0进行一次图像采集，每一次的样本采集结果保存至一个文件夹，包括原始图像、深度图、左右视图、直方图等，直至完成双侧的所有果树信息采集。
步骤6：L1采集图像信息的同时激光测距仪也在不断地测量小车前进距离，为图像处理时候提供数据信息。
步骤7：处理采集到的图像信息。首先是预处理，相机的成像质量会直接影响接下来的处理精度，在获得原始图像后一般都先进行预处理。在立体匹配以及立体矫正过程中大都采用灰度图，故需先将彩色图像转化为灰度图，并保证所有信息不会丢失。彩色图像使用R(红)、G(绿)、B(蓝)三原色以不同比例混合而成，RGB取值为0-255，灰度化即将R、G、B分量值取成相等的值，采用的方法为加权平均值法，表达式如下：
R＝G＝B＝(WRR+WGG+WBB)/3
且经测试得WR＝0.30，WG＝0.59，WB＝0.11时灰度图最合理，故上式变为：
R＝G＝B＝(0.30R+0.59G+0.11B)/3
软件OpenCV+Python语言可实现以上处理过程。
步骤8：图像滤波。对采集到的图像进行高斯滤波，使用高斯函数对图像中的点的灰度值进行加权所得到的值也就是该点的灰度值，采用二维离散卷积公式如下所示：
Figure GDA0003014048400000061
高斯卷积是对某区域相邻处的点灰度值加权平均，离中心点较近的像素其影响力较大，权重也会相对高。高斯滤波平滑效果好，边缘信息保留的较为完整。经高斯滤波后的图像噪点减少，图像清晰。
步骤9：获取果树冠层高度信息。使用OpenCV+Python语言的方法，通过不断缩小H(色调)、S(饱和度)、V(明度)值域确定冠层所属绿色的HSV范围，并用已确定对角2点的红色方框圈出冠层所属范围，并通过输出该方框的宽输出冠层高度帧数，然后根据相机距离果树的实际距离经计算得到冠层的实际高度。
步骤10：获取叶幕覆盖信息。使用OpenCV中颜色识别的方法，即锁定不同值域的HSV获得冠层中黄色以及黄绿色叶子所占冠层整体叶幕的比例，以及叶幕占整个冠层的覆盖率等相关参数，进而获得该果树叶幕的关键信息。
步骤11：花果ROI识别，获取花果数量信息。利用OpenCV中的Canny边缘检测的原理，首先用5×5的高斯滤波器去除噪声，对滤波之后的平滑图像使用Sobel算子计算水平方向和竖直方向的一阶导数(即图像梯度Gx和Gy)，根据得到的梯度图找到边界的梯度和方向，公式如下：
Figure GDA0003014048400000062
Figure GDA0003014048400000063
随后使用二值法去除非边界上的点，也就是非极大值抑制的方法得到包含“窄边界”的二值图像。随后通过设置minVal和maxVal阈值，去除掉一些小的噪声点，并输出对象的轮廓。
步骤12：确定花果的轮廓信息之后并通过上述的颜色识别方法，获取果实颜色信息，进而作为检测该果树的花果品质的重要信息依据。
步骤13：分割原始图像，使用OpenCV中的目标识别技术识别叶幕上以及花果上的虫害位置，库内存储有多种不同的虫害标本，使用模板匹配的技术查找出花果叶上的虫害，最终以灰度图的形式返回结果，每一个像素值都表示了该区域与虫害模板的匹配程度。最终的匹配结果会使用方框圈起来表示虫害位置。
步骤14：所有的输出结果保存至相应的文件夹中，并传输至大数据终端。
步骤15：当采集完该间隙内的一侧果树信息后，控制器控制平台行进至轨道尽头并转向90°，开始采取该间隙内另一侧的果树信息。
步骤16：当此间隙内两侧果树信息均采集完之后，需人工将移动平台移动至另一间隙内轨道上，继续重复上述步骤进行图像信息采集工作。
步骤17：所有信息采集结束之后，通过观察显示界面上的监控信息以及各个传感器参数，确定当前果树的生长环境。
步骤18：读取果树冠层的高度、叶幕以及花果信息，确定当前果树的生长状况。
步骤19：根据以上所获得的数据采取相应的调控管理措施。

Claims (1)

1.一种基于深度相机的轨道式现代标准化果园信息感知系统，其特征在于，一个集信息采集-处理-显示-调控为一体的综合管理系统，其研究对象为柑橘以及苹果树，详细对象包括果树的根-冠-花-果关键数据，通过使用传感器以及相机作为采集端，经OpenCV的相应程序处理后得到对应的结果，最终与传感信息综合集成于大数据云端，作为进一步分析管控措施的重要依据；
该系统的搭建包括以下步骤：
步骤1：搭建标准化果树间隙运行轨道：
现代化标准果园的果树栽培、管理都遵循着严格的统一化标准，果树种植点横向、纵向都留有固定间隙距离，运行轨道即搭建于每两排果树间隙中；轨道为两行平行直线轨道，轨道采用镀热锌材料方管覆盖直角边钢材料，轨道两头分别加焊限位片，防止运行小车跑出轨道；由于小车上搭载旋转底盘，每两行平行直线轨道上可实现两侧果树信息的采集，故轨道的设置为每个间隔空一个放置轨道；
步骤2：搭建装载相机可移动平台；
由于需要连续采集多株果树的冠层枝叶以及花果信息，故将相机搭载在移动平台上，平台采用单片机作为主控制器，控制器控制移动平台的前进与旋转；平台装有步进电机以及驱动器，驱动平台前进与停止，平台下方配有旋转底盘，上方安置2个相机支架可调整高度以及角度，小车前后方各有一个激光测距仪，移动滑轮采用与轨道契合的V型槽轮；
步骤3：选择果园内视角较为开阔的几个点安装360°全景摄像头，摄像头通过网线与显示终端连接；
步骤4：每一列果树选择一个典型代表作为传感器采集点，在指定位置分别放置土壤温湿度传感器、空气温湿度传感器以及光照传感器，传感器均通过网线连接至控制室的显示终端，以供显示相应的数据；
步骤5：移动平台开始采集图像，控制器控制移动平台每前进L0进行一次图像采集，每一次的样本采集结果保存至一个文件夹，包括原始图像、深度图、左右视图、直方图，直至完成双侧的所有果树信息采集；其中L0指两个果树之间的距离；
步骤6：采集图像信息的同时激光测距仪也在不断地测量小车前进距离，为图像处理时候提供数据信息；
步骤7：处理采集到的图像信息：首先是预处理，相机的成像质量会直接影响接下来的处理精度，在获得原始图像后先进行预处理；在立体匹配以及立体矫正过程中采用灰度图，故需先将彩色图像转化为灰度图，并保证所有信息不会丢失；彩色图像使用R、G、B三原色以不同比例混合而成，其中，R表示红，G表示绿，B表示蓝，R、G、B取值为0-255，灰度化即将R、G、B分量值取成相等的值，采用的方法为加权平均值法，表达式如下：
R＝G＝B＝(WRR+WGG+WBB)/3
且经测试得WR＝0.30，WG＝0.59，WB＝0.11时灰度图最合理，故上式变为：
R＝G＝B＝(0.30R+0.59G+0.11B)/3
软件OpenCV+Python语言可实现以上处理过程；
步骤8：图像滤波；对采集到的图像进行高斯滤波，使用高斯函数对图像中的点的灰度值进行加权所得到的值也就是该点的灰度值，采用二维离散卷积公式如下所示：
Figure FDA0003014048390000021
高斯卷积是对某区域相邻处的点灰度值加权平均，离中心点较近的像素其影响力较大，权重也会相对高；高斯滤波平滑效果好，边缘信息保留的较为完整；经高斯滤波后的图像噪点减少，图像清晰；
步骤9：获取果树冠层高度信息；使用OpenCV+Python语言的方法，通过不断缩小H、S、V值域确定冠层所属绿色的H、S、V范围，其中，H表示色调，S表示饱和度，V表示明度，并用已确定对角2点的红色方框圈出冠层所属范围，并通过输出该方框的宽输出冠层高度帧数，然后根据相机距离果树的实际距离经计算得到冠层的实际高度；
步骤10：获取叶幕覆盖信息；使用OpenCV中颜色识别的方法，即锁定不同值域的HSV获得冠层中黄色以及黄绿色叶子所占冠层整体叶幕的比例，以及叶幕占整个冠层的覆盖率相关参数，进而获得该果树叶幕的关键信息；
步骤11：花果ROI识别，获取花果数量信息；利用OpenCV中的Canny边缘检测的原理，首先用5×5的高斯滤波器去除噪声，对滤波之后的平滑图像使用Sobel算子计算水平方向的一阶导数Gx和竖直方向的一阶导数Gy，Gx和Gy均表示图像梯度，根据得到的梯度图找到边界的梯度和方向，公式如下：
Figure FDA0003014048390000022
Figure FDA0003014048390000023
随后使用二值法去除非边界上的点，也就是非极大值抑制的方法得到包含“窄边界”的二值图像；随后通过设置minVal和maxVal阈值，去除掉一些小的噪声点，并输出对象的轮廓；
步骤12：确定花果的轮廓信息之后并通过上述的颜色识别方法，获取果实颜色信息，进而作为检测该果树的花果品质的重要信息依据；
步骤13：分割原始图像，使用OpenCV中的目标识别技术识别叶幕上以及花果上的虫害位置，库内存储有多种不同的虫害标本，使用模板匹配的技术查找出花果叶上的虫害，最终以灰度图的形式返回结果，每一个像素值都表示了该区域与虫害模板的匹配程度；最终的匹配结果会使用方框圈起来表示虫害位置；
步骤14：所有的输出结果保存至相应的文件夹中，并传输至大数据终端；
步骤15：当采集完该间隙内的一侧果树信息后，控制器控制平台行进至轨道尽头并转向90°，开始采取该间隙内另一侧的果树信息；
步骤16：当此间隙内两侧果树信息均采集完之后，需人工将移动平台移动至另一间隙内轨道上，继续重复上述步骤进行图像信息采集工作；
步骤17：所有信息采集结束之后，通过观察显示界面上的监控信息以及各个传感器参数，确定当前果树的生长环境；
步骤18：读取果树冠层的高度、叶幕以及花果信息，确定当前果树的生长状况；
步骤19：根据以上所获得的数据采取相应的调控管理措施。
CN201711047287.3A 2017-10-31 2017-10-31 一种基于深度相机的轨道式现代标准化果园信息感知系统 Active CN107748886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711047287.3A CN107748886B (zh) 2017-10-31 2017-10-31 一种基于深度相机的轨道式现代标准化果园信息感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711047287.3A CN107748886B (zh) 2017-10-31 2017-10-31 一种基于深度相机的轨道式现代标准化果园信息感知系统

Publications (2)

Publication Number Publication Date
CN107748886A CN107748886A (zh) 2018-03-02
CN107748886B true CN107748886B (zh) 2021-06-01

Family

ID=61254264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711047287.3A Active CN107748886B (zh) 2017-10-31 2017-10-31 一种基于深度相机的轨道式现代标准化果园信息感知系统

Country Status (1)

Country Link
CN (1) CN107748886B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035056B (zh) * 2018-08-14 2021-07-16 浙江大学滨海产业技术研究院 用于中药材种植的生长信息采集分析系统及方法
CN109752376A (zh) * 2018-12-28 2019-05-14 佛山科学技术学院 一种基于计算机视觉的皇帝柑健康监测系统
CN110113575A (zh) * 2019-05-14 2019-08-09 嘉应学院 一种基于NB-IoT的农情信息实时监测平台
CN110174860A (zh) * 2019-05-21 2019-08-27 山东农业大学 一种基于物联网的果园环境信息监测系统及方法
CN110348302A (zh) * 2019-06-05 2019-10-18 广州瑞丰生物科技有限公司 一种图像识别系统及图像识别装置
CN110886943B (zh) * 2019-12-05 2021-04-13 华南农业大学 柑橘林病虫害智能识别与林间信息监测装置
CN111174062B (zh) * 2020-02-28 2020-11-27 新沂市锡沂高新材料产业技术研究院有限公司 一种人工智能拍摄装置
CN111415205B (zh) * 2020-03-26 2021-01-22 北京市建壮咨询有限公司 一种基于大数据的建筑工程造价评估系统
CN113581080B (zh) * 2021-08-18 2022-07-15 苏州双福智能科技有限公司 一种新能源汽车用倒车盲区辅助显示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101672915A (zh) * 2009-09-23 2010-03-17 中国林业科学研究院资源信息研究所 一种高空间分辨率遥感影像树冠轮廓勾绘系统及方法
CN101786457A (zh) * 2010-02-10 2010-07-28 北京林业大学 山地单轨运输遥控车遥控装置
CN102297660A (zh) * 2011-05-20 2011-12-28 同济大学 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置
CN104123537A (zh) * 2014-07-04 2014-10-29 西安理工大学 一种基于手形和掌纹识别的快速身份验证方法
CN105174055A (zh) * 2015-09-16 2015-12-23 安徽理工大学 一种基于轨道运输的农业智能化生产系统及使用方法
CN206251246U (zh) * 2016-11-07 2017-06-13 华东交通大学 一种应用于山地果园单轨运输机上的远程监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101672915A (zh) * 2009-09-23 2010-03-17 中国林业科学研究院资源信息研究所 一种高空间分辨率遥感影像树冠轮廓勾绘系统及方法
CN101786457A (zh) * 2010-02-10 2010-07-28 北京林业大学 山地单轨运输遥控车遥控装置
CN102297660A (zh) * 2011-05-20 2011-12-28 同济大学 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置
CN104123537A (zh) * 2014-07-04 2014-10-29 西安理工大学 一种基于手形和掌纹识别的快速身份验证方法
CN105174055A (zh) * 2015-09-16 2015-12-23 安徽理工大学 一种基于轨道运输的农业智能化生产系统及使用方法
CN206251246U (zh) * 2016-11-07 2017-06-13 华东交通大学 一种应用于山地果园单轨运输机上的远程监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进纯追踪模型的温室采摘运输自动跟随系统;汪小旵等;《农业机械学报》;20161231;第47卷(第12期);第8-13页 *

Also Published As

Publication number Publication date
CN107748886A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN107748886B (zh) 一种基于深度相机的轨道式现代标准化果园信息感知系统
Underwood et al. Mapping almond orchard canopy volume, flowers, fruit and yield using lidar and vision sensors
Di Gennaro et al. A low-cost and unsupervised image recognition methodology for yield estimation in a vineyard
Hall et al. Characterising and mapping vineyard canopy using high-spatial-resolution aerial multispectral images
US20060095207A1 (en) Obstacle detection using stereo vision
CN106441442A (zh) 一种大田作物表型信息高通量对等监测装置及监测方法
Tong et al. Skewness correction and quality evaluation of plug seedling images based on Canny operator and Hough transform
EP3555562B1 (en) Crop scanner
CN112418188A (zh) 基于无人机视觉的农作物生长全程数字化评估方法
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
Zhang et al. Yield estimation of citrus fruit using rapid image processing in natural background
Tang et al. Corn tassel detection based on image processing
Rahimi et al. Ananas comosus crown image thresholding and crop counting using a colour space transformation scheme
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
Wang et al. Automatic estimation of trunk cross sectional area using deep learning
CN113554691A (zh) 一种植株高度测量方法
DE102011086091B4 (de) Vorrichtung und Verfahren zum mechanischen Ausdünnen von Blüten
da Silva et al. Feasibility study of water stress detection in plants using a high-throughput low-cost system
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
Paudel et al. Canopy Density Estimation of Apple Trees
Hall et al. A method for extracting detailed information from high resolution multispectral images of vineyards
Wang et al. Extraction of 3D distribution of potato plant CWSI based on thermal infrared image and binocular stereovision system
Paudel et al. Vision-based normalized canopy area estimation for variable nitrogen application in apple orchards
Dorj et al. A novel technique for tangerine yield prediction using flower detection algorithm
Matese et al. DIGIVIT: digital viticulture tool for yield and quality prediction using UAV images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant