CN113114766B - 基于zed相机的盆栽作物信息检测方法 - Google Patents

Abstract

本发明提供了一种基于ZED相机的盆栽作物信息检测方法与装置，地走式扫描与搬运装置用于实现指定位置的盆栽检测，ZED相机A扫描指定位置的盆栽，获取指定盆栽的位置信息、状态信息和图片信息，云端服务器利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，获取需要搬运的指定盆栽位置信息，结合地走式扫描与搬运装置的实时位置，实现指定盆栽的抓取；若需要对所有盆栽进行检测，则悬挂式扫描装置的ZED相机扫描所有盆栽，得到需要搬运的所有盆栽位置信息，地走式扫描与搬运装置根据需要搬运的所有盆栽位置信息，结合地走式扫描与搬运装置的实时位置，实现所有盆栽的抓取。本发明对盆栽作物指导作业具有重要意义。

Description

基于ZED相机的盆栽作物信息检测方法

技术领域

本发明属于设施农业领域，具体涉及基于ZED相机的盆栽作物信息检测方法与装置。

背景技术

虽然我国盆栽种植规模大，但仍以传统经验生产为主，机械化水平低，设施盆栽的单产均不足荷兰等发达国家的15％，装备集成不足是主要瓶颈之一。在我国盆栽养殖中，盆栽的摆放排列仍旧以人工为主，国外的盆栽搬运设备都是基于温室床的整体搬运，其机械系统的搭建需要温室内外部架构的协调统一，且价格较高，不适用于我国小型温室。

当前的一些盆栽、苗盘等搬运装置，都是基于固定位置传感器或者基于单一重复作业流程的工作方式，存在着作业误差不断积累的现象；同时没有检测分析的功能，或没有能够实现检测分析和协同搬运作业的集成功能。

发明内容

针对现有技术中存在不足，本发明提供了一种基于ZED相机的盆栽作物信息检测方法与装置，实现检测分析和协同搬运作业。

本发明是通过以下技术手段实现上述技术目的的。

基于ZED相机的盆栽作物信息检测方法，具体为：

对于所有盆栽信息的检测：ZED相机B扫描所有盆栽作物，获取所有盆栽的位置信息、状态信息和图片信息，上传至云端服务器；云端服务器利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，确定需要搬运的所有盆栽位置信息；地走式扫描与搬运装置根据需要搬运的所有盆栽位置信息，结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置的实时位置；嵌入式开发板一将需要搬运的所有盆栽位置信息发送给PLC一，PLC一控制机械手和电机A，实现所有盆栽的准确抓取；

对于指定盆栽信息的检测：ZED相机A扫描指定盆栽作物，获取指定盆栽的位置信息、状态信息和图片信息，云端服务器按照所有盆栽信息检测过程中的方法，确定需要搬运的指定盆栽位置信息，地走式扫描与搬运装置完成指定盆栽的准确抓取。

进一步，所述盆栽的位置信息为：基于扫描初始位置的盆栽位置坐标 其中i为检测的盆栽编号，/>为x方向上第i盆盆栽中心点到ZED相机的距离，/>为y方向上第i盆盆栽中心点到扫描初始位置的距离，/>为z方向上第i盆盆栽中心点到ZED相机的距离，且/>y_i为y方向上第i盆盆栽到ZED相机的距离，纠正的ZED相机实时位置坐标y′_o＝y_o+a，/>y₀为ZED相机在y方向上的实时位置，p为ZED相机的失帧系数，v(t)为ZED相机的实时速度，q为滚轮电机的摩擦损耗系数。

更进一步，所述盆栽位置坐标与每盆盆栽图片编号相结合，得到盆栽位置矩阵其中R为拍摄的盆栽编号。

更进一步，所述利用盆栽的实际宽纵值(U，V)和盆栽的实际高度h对盆栽的生长状态E来进行评估，并根据E的阈值范围对盆栽进行优、良、差的分类，建立状态矩阵，分别为[1，0，0，E]^T、[0，1，0，E]^T、[0，0，1，E]^T。

更进一步，所述盆栽位置矩阵与生长状态信息组合，得到盆栽信息矩阵其中E_i为第i盆栽的生长信息评估参数。

更进一步，根据目标盆栽位置矩阵t_i在y方向上的位置坐标确定地走式扫描与搬运装置1需移动的距离s_o，且/>

一种盆栽作物信息检测方法的检测装置，包括：

地走式扫描与搬运装置，包括框架、ZED相机A、云端服务器和控制柜B，ZED相机A安装在框架顶端，且ZED相机A的镜头垂直于地面，ZED相机A与控制柜B进行通讯，控制柜B与云端服务器进行通讯，控制柜B中设有嵌入式开发板一和PLC一；框架在控制柜B的控制下，能够移动；

悬挂式扫描装置，包括ZED相机B和控制柜A，ZED相机B滚动连接在温室内的悬梁上，ZED相机B的运动由控制柜A控制，控制柜A中设有嵌入式开发板二和PLC二；

所述嵌入式开发板一、嵌入式开发板二均能够接收ZED相机获取的盆栽作物信息，实时进行卷积神经网络计算，确定盆栽位置坐标其中/>为x方向上第i盆盆栽中心点到ZED相机的距离，/>为y方向上第i盆盆栽中心点到扫描初始位置的距离，/>为z方向上第i盆盆栽中心点到ZED相机的距离。

上述技术方案中，其中y_i为y方向上第i盆盆栽到ZED相机的距离，纠正的ZED相机实时位置坐标y′_o＝y_o+a，/>y₀为ZED相机在y方向上的实时位置，p为ZED相机的失帧系数，v(t)为ZED相机的实时速度，q为滚轮电机的摩擦损耗系数。

本发明的有益效果为：

(1)本发明通过ZED相机建立动态坐标系，并结合纠正后的相机实时位置坐标、基于卷积网络检测到的盆栽中心点位置、相机深度信息，得到以扫描初始位置为坐标系原点的盆栽具体位置坐标，扫描定位精度较高；相机实时位置坐标的纠正，是将PLC发出的电机脉冲转化为装置实际水平方向上的运动距离实现的。

(2)对于地走式扫描装置本身的定位，由于ZED相机A与地走式扫描装置一起运动，可以充分利用ZED相机A实时位置追踪功能，实时检测相机的当前位置，以确定地走式扫描装置的实时位置，不再需要借助其他定位或测距传感器进行辅助作业，节约成本。

(3)本发明使用ZED相机获取实时深度信息，能够得到盆栽的具体位置，以此调节机械手的姿态和位置，因此适用不同的作业场景。整套系统在不借助人力的情况下能够实现盆栽的目标检测、生长状态智能分析、位置定位、自动筛选、全局或指定位置搬运的功能，对盆栽作物指导作业具有重要意义。

附图说明

图1为本发明所述地走式扫描与搬运装置结构示意图；

图2为本发明所述悬挂式扫描装置结构示意图；

图3为本发明卷积神经网络识别盆栽轮廓示意图；

图4为本发明检测到的z方向上盆栽中心点到相机的距离示意图；

图5为本发明深度信息模式下像素点与实际坐标对应关系的示意图；

图6为本发明所述位置扫描结果示意图；

图中：1-地走式扫描与搬运装置、2-盆栽放置板、3-滚轮B、4-ZED相机A、5-机械手、6-盆栽、7-云端服务器、8-控制柜B、9-悬挂式扫描装置、10-控制柜A、11-滚轮A、12-框架、13-ZED相机B、1-1-像素平面、2-1-扫描初始位置、2-2-像素平面上的盆栽、2-3-盆栽外接矩形框。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

基于ZED相机的盆栽作物信息检测装置，包括地走式扫描与搬运装置1和悬挂式扫描装置9。

如图1所示，地走式扫描与搬运装置1包括框架12、盆栽放置板2、滚轮B3、ZED相机A4、机械手5、云端服务器7和控制柜B8，框架12为对称结构；盆栽放置板2横置在框架12中间，用于放置筛选的盆栽6；机械手5通过支架A安装在框架12顶端；ZED相机A4固定在机械手5的支架A上，且ZED相机A4的镜头垂直于地面；四个滚轮B3分为两组，对称安装在框架12两侧的底端，且滚轮B3中设有电机A；控制柜B8中设有进行图像资源计算的嵌入式开发板一和进行逻辑控制的PLC一。电机A在控制柜B8的控制下，驱动滚轮B3运动，从而带着ZED相机A4扫描整个盆栽6，传输给嵌入式开发板一，以获取盆栽6的位置信息、状态信息(根据盆栽的实际宽纵值和实际高度获取)和图片信息，嵌入式开发板一将上述信息传输给云端服务器7，嵌入式开发板一接收云端服务器7筛选后需要搬运的盆栽位置信息，PLC一接收嵌入式开发板一发送的需要搬运的盆栽位置信息，以此控制机械手5、电机A进行相应的动作，实现盆栽6的抓取；机械手5进行抓取动作为现有技术，参见中国专利CN202022005582。

如图2所示，悬挂式扫描装置9包括ZED相机B13、控制柜A10、云端服务器7和滚轮A11，ZED相机B13通过支架B套设在连接轴上，连接轴两端安装有滚轮A11，滚轮A11中间设置为凹形，滚轮A11啮合在温室内的悬梁上；滚轮A11中设有电机B；控制柜A10中设有进行图像资源计算的嵌入式开发板二和进行逻辑控制的PLC二。电机B在PLC二的控制下，驱动滚轮A11运动，从而带着ZED相机13扫描整个盆栽6，传输给嵌入式开发板二，以获取盆栽6的位置信息、状态信息和图片信息，嵌入式开发板二将上述信息传输给云端服务器7。

如图3所示的卷积神经网络识别盆栽轮廓示意图，嵌入式开发板接收ZED相机获取的盆栽作物信息，实时进行卷积神经网络计算，当检测到像素平面上的盆栽2-2，得到盆栽外接矩形框2-3、四个顶点像素坐标(μ₀，ν₀)、(μ₁，ν₀)、(μ₀，ν₁)、(μ₁，ν₁)和一个中心点坐标(μ₂，ν₂)；利用盆栽中心点坐标(μ₂，ν₂)，并结合ZED相机的深度信息，得到基于ZED相机三维世界的盆栽坐标(x_i，y_i，z_i)(参见图4)；然后利用ZED相机的实时位置坐标，最终确定盆栽的实际位置坐标(即盆栽的具体位置信息)，其中/>(x_i)为x方向上第i盆盆栽中心点到ZED相机的距离，/>为y方向上第i盆盆栽中心点到扫描初始位置2-1的距离，y_i为y方向上第i盆盆栽到ZED相机的距离，/>(z_i)为z方向上第i盆盆栽中心点到ZED相机的距离。

如图5所示的深度信息模式下像素点与实际坐标对应关系，卷积神经网络获取像素平面1-1中的指定点坐标O′(μ，v)，并利用ZED相机的深度信息将坐标O′(μ，v)转化为实际空间位置的坐标点O(x，y，z)。

如图6所示的位置扫描结果示意图，ZED相机以扫描初始位置2-1为原点，建立一个盆栽6的动态坐标系，动态坐标系中包含每个盆栽6的具体位置信息 其中i为检测的盆栽编号。

基于ZED相机B13扫描所有盆栽作物，以获取所有盆栽6的位置信息、状态信息和图片信息，并上传到云端服务器7，然后利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，以确定需要搬运的所有盆栽位置信息；地走式扫描与搬运装置1根据需要搬运的所有盆栽位置信息，并结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置1的实时位置，然后嵌入式开发板一将需要搬运的所有盆栽位置信息发送给PLC一，PLC一控制机械手5和电机A，实现盆栽的准确抓取；上述过程为所有盆栽信息检测的过程。此外，地走式扫描与搬运装置1中的ZED相机A4能够实现指定位置的盆栽扫描，获取指定盆栽6的位置信息、状态信息和图片信息，嵌入式开发板一将上述信息传输给云端服务器7，云端服务器7利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，获取需要搬运的指定盆栽位置信息，结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置1的实时位置，嵌入式开发板一将需要搬运盆栽的位置信息发送给PLC一，PLC一以此控制机械手5、电机A进行相应的动作，实现盆栽的抓取；该过程为指定盆栽信息检测的过程，且无需悬挂式扫描装置9的参与。

具体的实施过程如下：

一、悬挂式扫描装置9和地走式扫描与搬运装置1的扫描过程

步骤(1)：启动作业

对于悬挂式扫描装置9，控制柜A10控制电机B运动至初始位置，控制柜A10控制ZED相机B13开始扫描；对于地走式扫描与搬运装置1，控制柜B8控制电机A移动到扫描初始位置2-1，ZED相机A4进行指定区域的扫描。

步骤(2)：ZED相机开启

ZED相机启动，并开启动实时位置追踪，同时嵌入式开发板实时进行卷积神经网络计算，ZED相机的实时位置追踪是以扫描初始位置2-1作为坐标原点(0，0，0)，利用自身的追踪功能实时得到相机的实时位置坐标。由于ZED相机只有一个水平自由度，所以利用相机的实时位置追踪功能可以得到y方向上ZED相机实时位置坐标(0，y_o，0)；当卷积神经网络得到盆栽2-2，得到一个基于盆栽外接矩形框2-3，并输出五个像素坐标：矩形框的四个顶点像素坐标和中心点坐标，如图3所示，分别为(μ₀，ν₀)、(μ₁，ν₀)、(μ₀，ν₁)、(μ₁，ν₁)、(μ₂，ν₂)。

步骤(3)：基于ZED相机的盆栽位置信息的获取

当检测到像素平面上的盆栽2-2时，利用得到的像素平面1-1上的盆栽中心点坐标(μ₂，ν₂)，并结合ZED相机的深度信息，得到基于ZED相机4三维世界的盆栽坐标(x₁，y₁，z₁)、(x₂，y₂，z₂)…(x_i，y_i，z_i)，其中i为检测的盆栽的盆数。

步骤(4)：基于扫描初始位置的盆栽位置信息的转化

因为ZED相机沿y方向上的位置实时变化，所以步骤(3)得到基于ZED相机的盆栽坐标(x₁，y₁，z₁)、(x₂，y₂，z₂)…(x_i，y_i，z_i)是一个动态变量，利用相机实时位置坐标对盆栽坐标进行基于扫描初始位置2-1的定位。

为了得到精确的ZED相机实时位置，首先利用PLC对相机的位置进行纠正。PLC将发送的滚轮电机脉冲转化为装置实际水平方向上的运动距离y′₁；又因为PLC发送给滚轮电机的脉冲实现装置y方向的运动，与ZED相机的运动同步，所以通过y′对y方向上ZED相机的实时位置坐标(0，y_o，0)进行纠正。

y′_o＝y_o+_a (2)

式中p为ZED相机的失帧系数；v(t)为ZED相机的实时速度，通过ZED相机自带的IMU系统的实时状态得到；q为滚轮电机的摩擦损耗系数；y′_o为纠正后的y_o值。

利用纠正的ZED相机实时位置坐标y′_o与第i盆盆栽中心点y方向上到ZED相机的距离y_i，得到y方向上第i盆盆栽距离扫描初始位置2-1的距离

又x、z方向上盆栽到相机的距离不跟随ZED相机的变化而变化，所以利用代替x_i、/>代替z_i，最终得到基于扫描初始位置的盆栽位置坐标/> 如图6所示。

步骤(5)：对盆栽的生长状态进行评估

通过卷积神将网络可以得到像素平面1-1上的像素点O′，然后利用ZED相机的深度信息，得到其世界坐标下的坐标O，如图4所示；相似的方法，利用ZED相机的深度信息，计算像素平面上盆栽外接矩形框2-3的长宽(μ₁-μ₀，ν₁-v₀)对应的实际宽纵值(U，V)；通过盆栽中心点的像素坐标(μ₂，ν₂)，计算盆栽的实际高度h。

对于盆栽的实际高度h的计算，首先是利用ZED相机的深度信息得到z方向上盆栽的中心点到相机的距离然后直接测量ZED相机到盆栽放置点的高度h_o，则盆栽的实际高度的计算公式如下：

利用盆栽的实际宽纵值(U，V)和盆栽的实际高度h对盆栽的生长状态E来进行评估，并根据E的阈值范围对盆栽进行优、良、差的分类，建立状态矩阵，分别为[1，0，0，E]^T、[0，1，0，E]^T、[0，0，1，E]^T。

对于盆栽生长状态E的计算公式：

步骤(6)：拍摄每一盘检测到的盆栽，并对其图片进行编号。

步骤(7)：将盆栽位置坐标与每盆盆栽图片编号相结合得到盆栽位置矩阵t_i，将位置矩阵与生长状态信息组合成盆栽信息矩阵A_i。

式中t_i为第i盆栽的具体位置矩阵；R为拍摄的盆栽编号；E_i为第i盆栽的生长信息评估参数；A_i为盆栽的信息矩阵。

步骤(8)：上传云端服务器7并进行筛选

嵌入式开发板将每盆盆栽的信息矩阵A_i和图片信息，传送到云端服务器7，并利用盆栽数据库(提前设置在中)对拍摄的盆栽进行生长状态分析，然后进行筛选以确定需要搬运的盆栽，或者结合图片信息和盆栽编号手动指定盆栽进行搬运。

二、地走式扫描与搬运装置1的搬运过程

步骤(1)：云端服务器7将筛选的数据信息发送给控制柜B8上的嵌入式开发板一中，得到需要搬运的盆栽位置矩阵t_i。

步骤(2)：地走式扫描与搬运装置1移动到指定的位置

地走式扫描与搬运装置1根据y方向上ZED相机实时位置坐标(0，y_o，0)，确定地走式扫描与搬运装置1的实时位置，然后根据得到的目标盆栽位置矩阵t_i在y方向上的位置坐标确定需要移动的距离s_o；嵌入式开发板一将距离s_o发送给PLC一，PLC一驱动电机A运动s_o的距离。

步骤(3)：机械手5进行相应的动作

PLC一驱动机械手5根据位置矩阵t_i中盆栽位置坐标进行抓取动作，并将抓取的盆栽6依次放置在盆栽放置板2上。

步骤(4)：机械手5归位，重复步骤(1)-(3)，完成所有盆栽的搬运。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (6)

1.基于ZED相机的盆栽作物信息检测方法，其特征在于，所述盆栽作物信息检测方法基于盆栽作物信息检测装置实现，所述盆栽作物信息检测装置包括：

地走式扫描与搬运装置(1)，包括框架(12)、ZED相机A(4)、云端服务器(7)和控制柜B(8)，ZED相机A(4)安装在框架(12)顶端，且ZED相机A(4)的镜头垂直于地面，ZED相机A(4)与控制柜B(8)进行通讯，控制柜B(8)与云端服务器(7)进行通讯，控制柜B(8)中设有嵌入式开发板一和PLC一；框架(12)在控制柜B(8)的控制下，能够移动；

悬挂式扫描装置(9)，包括ZED相机B(13)和控制柜A(10)，ZED相机B(13)滚动连接在温室内的悬梁上，ZED相机B(13)的运动由控制柜A(10)控制，控制柜A(10)中设有嵌入式开发板二和PLC二；

所述嵌入式开发板一、嵌入式开发板二均能够接收ZED相机获取的盆栽作物信息，实时进行卷积神经网络计算，确定盆栽位置坐标其中/>为x方向上第i盆盆栽中心点到ZED相机的距离，/>为y方向上第i盆盆栽中心点到扫描初始位置(2-1)的距离，/>为z方向上第i盆盆栽中心点到ZED相机的距离；

所述盆栽作物信息检测方法为：

对于所有盆栽信息的检测：ZED相机B(13)扫描所有盆栽作物，获取所有盆栽(6)的位置信息、状态信息和图片信息，上传至云端服务器(7)；云端服务器(7)利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，确定需要搬运的所有盆栽位置信息；地走式扫描与搬运装置(1)根据需要搬运的所有盆栽位置信息，结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置(1)的实时位置；嵌入式开发板一将需要搬运的所有盆栽位置信息发送给PLC一，PLC一控制机械手(5)和电机A，实现指定盆栽的准确抓取；

对于指定盆栽信息的检测：ZED相机A(4)扫描指定盆栽作物，获取指定盆栽(6)的位置信息、状态信息和图片信息，云端服务器(7)按照所有盆栽信息检测过程中的方法，确定需要搬运的指定盆栽位置信息，地走式扫描与搬运装置(1)完成指定盆栽的准确抓取。

2.根据权利要求1所述的盆栽作物信息检测方法，其特征在于，所述盆栽(6)的位置信息为：基于扫描初始位置的盆栽位置坐标其中i为检测的盆栽编号，/>y_i为y方向上第i盆盆栽到ZED相机的距离，纠正的ZED相机实时位置坐标y′_o＝y_o+a，/>y₀为ZED相机在y方向上的实时位置，p为ZED相机的失帧系数，v(t)为ZED相机的实时速度，q为滚轮电机的摩擦损耗系数，y′₁为地走式扫描与搬运装置实际水平方向上的运动距离。

3.根据权利要求2所述的盆栽作物信息检测方法，其特征在于，所述盆栽位置坐标与每盆盆栽图片编号相结合，得到盆栽位置矩阵其中R为拍摄的盆栽编号。

4.根据权利要求3所述的盆栽作物信息检测方法，其特征在于，所述利用盆栽的实际宽纵值(U，V)和盆栽的实际高度h对盆栽的生长状态E来进行评估，并根据E的阈值范围对盆栽进行优、良、差的分类，建立状态矩阵，分别为[1，0，0，E]^T、[0，1，0，E]^T、[0，0，1，E]^T。

5.根据权利要求4所述的盆栽作物信息检测方法，其特征在于，所述盆栽位置矩阵与生长状态信息组合，得到盆栽信息矩阵其中E_i为第i盆栽的生长信息评估参数。

6.根据权利要求3所述的盆栽作物信息检测方法，其特征在于，根据目标盆栽位置矩阵t_i在y方向上的位置坐标确定地走式扫描与搬运装置(1)需移动的距离s_o，且