CN105243658B - 一种基于Kinect传感器的植株深度特征识别方法 - Google Patents

一种基于Kinect传感器的植株深度特征识别方法 Download PDF

Info

Publication number
CN105243658B
CN105243658B CN201510568001.0A CN201510568001A CN105243658B CN 105243658 B CN105243658 B CN 105243658B CN 201510568001 A CN201510568001 A CN 201510568001A CN 105243658 B CN105243658 B CN 105243658B
Authority
CN
China
Prior art keywords
depth
plant
coordinate
depth image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510568001.0A
Other languages
English (en)
Other versions
CN105243658A (zh
Inventor
沈跃
徐慧
刘慧�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201510568001.0A priority Critical patent/CN105243658B/zh
Publication of CN105243658A publication Critical patent/CN105243658A/zh
Application granted granted Critical
Publication of CN105243658B publication Critical patent/CN105243658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于Kinect传感器的植株深度特征识别方法，该方法包括以下两个模块：模块一，深度图像处理，通过对获取的深度图像进行深度范围限制和阀值处理，获取植株目标的深度图像；模块二，深度数据处理，通过对获取的深度图像提取其深度数据，由其深度数据的三维空间转换计算出植株目标的体积特征。通过对植株深度识别的实验，结果表明该方法可以实现通过深度图像对目标植株的快速准确识别，同时获取植株目标的体积数据，为农业精准对靶喷雾中植株的有无、大小等特征的检测提供了新的方法。

Description

一种基于Kinect传感器的植株深度特征识别方法
技术领域
本发明涉及一种农业喷雾植株检测技术，尤其涉及一种基于Kinect传感器的植株深度特征识别方法。
背景技术
在农业喷雾植株检测过程中，实现对目标植株检测最简单的方法之一是距离的检测，即深度信息的获取。目前基于深度信息的目标植株检测方法，所用的距离传感器包括：红外线传感器、超声波传感器和激光传感器。传统的红外线传感器及超声波传感器在实际运用过程中，由于易受外界的环境因素影响，其距离的检测精度欠佳；近年来，激光传感器因其高精度、快速度的特点，受到学者的广泛关注，用于农业喷雾前期的植株检测方面的技术研究也逐渐成熟，通过将激光传感器的植株距离检测与喷雾机喷雾相结合，有效的提高了农药的利用率，同时减少了对环境的影响，但是激光传感器的成本较高，实际运用中对传感器的维护等存在一定问题。Kinect传感器是微软公司推出的一款体感设备，该设备内置深度传感器，可以获取深度信息，经后期的数据处理，将深度信息转换为相对的三维空间坐标，利用坐标信息计算出植株目标的体积特征，可以量化植株目标的体积特征。
发明内容
本发明目的在于提供一种基于Kinect传感器的植株深度特征识别方法，能够实现通过深度图像对目标植株的快速准确识别，并获取植株目标的体积数据。
本发明采用如下的技术方案：一种基于Kinect传感器的植株深度特征识别方法，包括以下步骤：
步骤1，调用Kinect传感器获取深度图像，对获取的深度图像进行深度范围限制，所获取的深度数据在深度范围内的保留，在深度范围之外的则置为0，去除范围外的干扰物体；
步骤2，选用最大类间方差法对限定深度范围后的图像进行阀值处理，该过程的目的是降低错分概率，进一步去除背景干扰物，显示范围物体为白色，背景色为黑色；
步骤3，对获取的深度图像提取其深度数据，将有效范围内的植株深度数据及空间坐标单独保存，进行下一步处理；
步骤4，根据三维空间坐标之间的转换关系，由深度数据转换为三维空间坐标；
步骤5，由三维空间坐标计算出植株目标的体积特征，具体的体积特征为：
1)高度分区域：选取合适的数值n，将植株目标高度分为N段，植株最高坐标ymax，最低坐标ymin，每个区域的高度为Δyn：
2)区域宽度：N段植株目标的最大宽度坐标xmax，最小宽度坐标xmin，区域的宽度为Δx：Δx＝xmax-xmin；
3)区域深度：N段植株目标的最远深度坐标zmax，最近深度坐标zmin，区域的深度为Δz：Δz＝zmax-zmin；
4)植株目标体积特征：对N段植株目标体积进行求和，获取体积w：
进一步，所述步骤1，调用Kinect传感器获取深度图像的设备为微软公布的XBOX360体感周边外设Kinect for Windows版本，其深度摄像头所获取的深度图像默认为每秒30帧，分辨率为640x480。
进一步，所述步骤3中对获取的深度图像提取其深度数据保存为640x480unit16的矩阵格式。
进一步，所述步骤4中深度数据转换为三维空间坐标之间的转换关系为：
其中，f代表焦距，c代表中心；此时，Kinect参数设取值：s＝5000，cx＝320，cy＝240，fx＝fy＝525。
本发明的有益效果在于：一种基于Kinect传感器的植株深度特征识别方法，通过对获取的深度图像进行深度范围限制和阀值处理，获取植株目标的深度图像，同时通过对获取的深度图像提取其深度数据，由其深度数据的三维空间坐标转换计算出植株目标的体积特征，可以实现通过深度图像对目标植株的快速准确识别，并获取植株目标的体积数据。
附图说明
图1是本发明一种基于Kinect传感器的植株深度特征识别方法的流程图；
图2是本发明一种基于Kinect传感器的植株深度特征识别方法模块一的流程图；
图3是本发明中对获取的深度图像进行深度范围限制，去除范围外的干扰物体的图像；
图4是本发明中采用最大类间方差法(OTSU)对限定深度范围后的图像进行阀值处理的图像；
图5是本发明一种基于Kinect传感器的植株深度特征识别方法模块二的流程图。
图6是本发明假设的三维空间坐标系，其中O'-UV是图片坐标系，O-XYZ是Kinect的坐标系。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细介绍。以下实施例用于说明本发明的方法，但不用来限制本发明的范围。
本发明一种基于Kinect传感器的植株深度特征识别方法的设计思路是：通过对获取的深度图像进行深度范围限制和阀值处理，获取植株目标的深度图像；同时通过对获取的深度图像提取其深度数据，由其深度数据的三维空间坐标转换计算出植株目标的体积特征。
具体如图1所示，该方法包括以下模块：
模块一，深度图像处理；
模块二，深度数据处理。
参照图2所示，给出了图1中模块一，深度图像处理，包括以下步骤：
(1)调用Kinect传感器获取深度图像，对获取的深度图像进行深度范围限制，所获取的深度数据在深度范围内的保留，在深度范围之外的则置为0，去除范围外的干扰物体；
如图3所示，调用Kinect传感器获取深度图像，该设备为微软公布的XBOX360体感周边外设Kinect for Windows版本，其深度摄像头所获取的深度图像默认为每秒30帧，分辨率为640x480，所获取的深度图像由空间物体的深度数据构成，每个像素点即代表该点的深度坐标。通过对获取的深度图像进行深度范围限制，能够实现去除范围之外的干扰物体，仅保留所需判定区域的物体数据。其中，深度范围根据实际实施例选取，本发明实施例经多次实验调整，选取的深度范围为[500，1500]，在深度范围内的数据保留，深度范围外的数据置为0，实验证明，范围之外的干扰物可以被去除，保留的区域物体的深度图像完整，该深度限制范围能够达到实验要求。
(2)选用最大类间方差法(OTSU)对限定深度范围后的图像进行阀值处理，进一步去除背景干扰物，显示范围物体为白色，背景色为黑色。
如图4所示，对模块一中步骤(1)的深度图像进行进一步阀值处理，本实验中选用的最大类间方差法(OTSU)是一种自适应的阀值确定的方法，由日本学者大津(NobuyukiOtsu)于1979年提出的，该方法按图像的灰度特性将图像分为背景和目标，此处使用最大类间方差法获得阀值，降低错分概率。实验证明，经最大类间方差法(OTSU)对限定深度范围后的图像进行阀值处理后，能够将范围内的目标植株从背景以及其他干扰物中提取出。
参照图5所示，给出了图1中模块二，深度数据处理，包括以下步骤：
(1)对获取的深度图像提取其深度数据，将有效范围内的植株深度数据及空间坐标单独保存，进行下一步处理；
调用Kinect传感器获取深度图像，该设备为微软公布的XBOX360体感周边外设Kinect for Windows版本，其深度摄像头所获取的深度图像默认为每秒30帧，分辨率为640x480。对获取的深度图像进行模块一的处理并提取其深度数据，保存为640x480 unit16的矩阵格式，该设置能够实现通过深度图像对目标植株的快速准确识别。
(2)根据三维空间坐标之间的转换关系，由深度数据转换为三维空间坐标；
设坐标系为下图所示：
其中O'-UV是图片坐标系，O-XYZ是Kinect的坐标系，图片中的点为(u,v)，对应的三维点位置在(x,y,z)，那么它们之间的转换关系为：
即：
其中，f代表焦距，c代表中心，Kinect参数设取值：s＝5000，cx＝320，cy＝240，fx＝fy＝525。
(3)由三维空间坐标计算出植株目标的体积特征。
由三维空间坐标(x,y,z)，进行下面的分割计算得到植株目标的体积特征：
1)高度分区域：选取合适的数值n，将植株目标高度分为N段，植株最高坐标ymax，最低坐标ymin，每个区域的高度为Δyn：
2)区域宽度：N段植株目标的最大宽度坐标xmax，最小宽度坐标xmin，区域的宽度为Δx：
Δx＝xmax-xmin
3)区域深度：N段植株目标的最远深度坐标zmax，最近深度坐标zmax，区域的深度为Δz：
Δz＝zmax-zmin
4)植株目标体积特征：对N段植株目标体积进行求和，获取体积w：
由以上实施例可以看出，本发明通过调用Kinect深度传感器获取深度图像，对获取的深度图像进行深度范围限制和阀值处理，获取植株目标的深度图像，同时对获取的深度图像提取其深度数据，由其深度数据的三维空间坐标转换计算出植株目标的体积特征，可以实现通过深度图像对目标植株的快速准确识别，并获取植株目标的体积数据。
以上内容是本发明的优选实施方式的说明，应当指出，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明方法原理的前提下，进行其他改进和替换，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于Kinect传感器的植株深度特征识别方法，其特征在于，包括以下步骤：
步骤1，调用Kinect传感器获取深度图像，对获取的深度图像进行深度范围限制，所获取的深度图像在深度范围内的保留，在深度范围之外的则置为0，去除范围外的干扰物体；
步骤2，选用最大类间方差法对限定深度范围后的图像进行阀值处理，进一步去除背景干扰物，显示范围物体为白色，背景色为黑色；
步骤3，对获取的深度图像提取其深度数据，将有效范围内的植株深度数据及空间坐标单独保存，进行下一步处理；
步骤4，根据三维空间坐标之间的转换关系，由深度数据转换为三维空间坐标；
所述步骤4中深度数据转换为三维空间坐标之间的转换关系为：
其中，f代表焦距，c代表中心；此时，Kinect参数设取值：s＝5000，cx＝320，cy＝240，fx＝fy＝525；
步骤5，由三维空间坐标计算出植株目标的体积特征，具体的体积特征为：
1)高度分区域：选取合适的数值n，将植株目标高度分为N段，植株最高坐标ymax，最低坐标ymin，每个区域的高度为Δyn：
2)区域宽度：N段植株目标的最大宽度坐标xmax，最小宽度坐标xmin，区域的宽度为Δx：Δx＝xmax-xmin；
3)区域深度：N段植株目标的最远深度坐标zmax，最近深度坐标zmin，区域的深度为Δz：Δz＝zmax-zmin；
4)植株目标体积特征：对N段植株目标体积进行求和，获取体积w：
2.根据权利要求1所述的一种基于Kinect传感器的植株深度特征识别方法，其特征在于：所述步骤1，调用Kinect传感器获取深度图像的设备为微软公布的XBOX360体感周边外设Kinect for Windows版本，其深度摄像头所获取的深度图像默认为每秒30帧，分辨率为640x480。
3.根据权利要求1所述的一种基于Kinect传感器的植株深度特征识别方法，其特征在于：所述步骤3中对获取的深度图像提取其深度数据保存为640x480unit16的矩阵格式。
CN201510568001.0A 2015-09-08 2015-09-08 一种基于Kinect传感器的植株深度特征识别方法 Active CN105243658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510568001.0A CN105243658B (zh) 2015-09-08 2015-09-08 一种基于Kinect传感器的植株深度特征识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510568001.0A CN105243658B (zh) 2015-09-08 2015-09-08 一种基于Kinect传感器的植株深度特征识别方法

Publications (2)

Publication Number Publication Date
CN105243658A CN105243658A (zh) 2016-01-13
CN105243658B true CN105243658B (zh) 2018-10-09

Family

ID=55041290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510568001.0A Active CN105243658B (zh) 2015-09-08 2015-09-08 一种基于Kinect传感器的植株深度特征识别方法

Country Status (1)

Country Link
CN (1) CN105243658B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106247951B (zh) * 2016-08-29 2019-04-02 上海交通大学 一种基于深度图像的物体测量方法
CN107067431B (zh) * 2017-01-16 2020-07-03 河海大学常州校区 一种基于Kinect的物体体积计算方法
CN107564020B (zh) * 2017-08-31 2020-06-12 北京奇艺世纪科技有限公司 一种图像区域确定方法及装置
CN108710845A (zh) * 2018-05-11 2018-10-26 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统
CN111445513B (zh) * 2020-02-24 2024-01-16 浙江科技学院 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN111539964B (zh) * 2020-04-02 2023-11-07 浙江科技学院 基于深度图像的植株冠层表面积获取方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1628513A (zh) * 2003-12-18 2005-06-22 南京林业大学 农药精确对靶施用方法
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN103778640A (zh) * 2014-03-07 2014-05-07 中国工程物理研究院激光聚变研究中心 一种基于微球靶标的物方远心显微视觉系统标定方法
CN104091175A (zh) * 2014-07-15 2014-10-08 中国科学院合肥物质科学研究院 一种基于Kinect深度信息获取技术的害虫图像自动识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117274B2 (en) * 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1628513A (zh) * 2003-12-18 2005-06-22 南京林业大学 农药精确对靶施用方法
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN103778640A (zh) * 2014-03-07 2014-05-07 中国工程物理研究院激光聚变研究中心 一种基于微球靶标的物方远心显微视觉系统标定方法
CN104091175A (zh) * 2014-07-15 2014-10-08 中国科学院合肥物质科学研究院 一种基于Kinect深度信息获取技术的害虫图像自动识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
On the use of depth camera for 3D phenotyping of entire plants;Yann Chéné et al;《Computers and Electronics in Agriculture》;20121231(第82期);全文 *
Rapid Characterization of Vegetation Structure with a Microsoft Kinect Sensor;George Azzari et al;《sensors》;20131231(第13期);全文 *
基于Kinect深度传感器的三维重建技术应用研究;叶日藏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140515(第05期);正文第2.1-2.3节 *
基于Kinect的温室番茄盆栽茎干检测与分割;付代昌 等;《现代农业科技》;20141231(第3期);正文第1节、第2.1节 *
基于点云数据的株冠体积测量方法;毕银丽 等;《科技导报》;20131231;第31卷(第27期);正文第3.2节 *

Also Published As

Publication number Publication date
CN105243658A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105243658B (zh) 一种基于Kinect传感器的植株深度特征识别方法
WO2019040866A3 (en) APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS
CN104331876B (zh) 直线检测、图像处理的方法及相关装置
EP3340171B1 (en) Depth image denoising method and denoising device
CN107369159B (zh) 基于多因素二维灰度直方图的阈值分割方法
CN106875419B (zh) 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN104463877B (zh) 一种基于雷达影像与电子海图信息的岸线配准方法
CN105783935A (zh) 农业机械视觉导航方法
CN108280401B (zh) 一种路面检测方法、装置、云端服务器及计算机程序产品
CN107392095A (zh) 一种基于掩码图像的红外弱小目标检测算法
CN110070571B (zh) 一种基于深度相机的毛竹形态参数检测方法
CN104156700A (zh) 基于活动形状模型和加权插值法的人脸图像眼镜去除方法
US20130022236A1 (en) Apparatus Capable of Detecting Location of Object Contained in Image Data and Detection Method Thereof
CN107220647B (zh) 一种叶片交叉条件下作物中心点定位方法及系统
TWI726278B (zh) 行車偵測方法、車輛及行車處理裝置
CN103914836A (zh) 基于机器视觉的农田机械导航线提取算法
Mattihalli et al. Real time automation of agriculture land, by automatically detecting plant leaf diseases and auto medicine
Zhang et al. Lane recognition algorithm using the hough transform based on complicated conditions
CN105139408A (zh) 一种基于Kinect传感器的植株绿色特征识别方法
CN104112118A (zh) 用于车道偏离预警系统的车道线检测方法
CN104065949A (zh) 一种电视虚拟触控方法及系统
CN106501271A (zh) 产品外观检测方法
CN106846395A (zh) 照片中目标图形面积计算方法及系统
CN108734054B (zh) 无遮挡的柑橘果实图像识别方法
CN101571953B (zh) 一种目标检测方法、系统及立体视觉系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant