CN112509030A - 多目标检测的植物测量方法、系统、计算机设备及介质 - Google Patents

Abstract

本发明属于植物面积和尺寸测量技术领域，公开了一种多目标检测的植物测量方法、系统、计算机设备及介质，通过摄像头采集植物图像，并使用距离测量装置测量摄像头与植物间的距离信息；将植物图像和距离信息实时发送至电脑终端；电脑终端通过Faster RCNN目标检测算法对图像进行多目标检测识别和图像分割；根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；计算检测对象的面积尺寸。本发明提供的基于Faster RCNN得目标检测算法相比于SSD、YOLO等算法具有精度高、稳定性好的特点。

Description

多目标检测的植物测量方法、系统、计算机设备及介质

技术领域

本发明属于植物面积和尺寸测量技术领域，尤其涉及一种多目标检测的植物测量方法、系统、计算机设备及介质。

背景技术

目前，植物的面积和尺寸对于衡量植物生长情况有着重要的参考意义，它能够直观的反映出植物的生长变化，有助于指导农业生产管理，采集植物的面积和尺寸是精准农业中的基本环节。

在现有的测量方法中，存在着以下问题：1)传统的方格法和称重法等，成本较低，但是操作较为繁琐，人工工作量太大，并且存在一定的误差；2)现有的数字图像处理方法测量的对象大多针对叶片，而无法同时对植物的整体、花、果实等部分同时进行测量；3)获取到的图像需要借助相关的软件进行手动标定才能获得目标区域的图像轮廓，并且存在着背景干扰，对测量结果的准确性造成干扰。因此，亟需一种新的多目标检测的植物测量方法和系统。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统的方格法和称重法等，成本较低，但是操作较为繁琐，人工工作量太大，并且存在一定的误差。

(2)现有的数字图像处理方法测量的对象大多针对叶片，而无法同时对植物的整体、花、果实等部分同时进行测量。

(3)现有技术获取到的图像需要借助相关的软件进行手动标定才能获得目标区域的图像轮廓，并且存在着背景干扰，对测量结果的准确性造成干扰。

解决以上问题及缺陷的难度为：

(1)需要搭建一个集信息采集、传输、测量为一体的自动化系统，并且要实时运行，最大程度减少人工操作。

(2)采集的植物图像中通常包含多个测量对象，整体的植物对象中又会混杂花、果实等器官，传统图像处理方法同时对这些对象识别分割难度较大。

(3)在使用图像轮廓提取的方法时，由于存在遮蔽、光线等干扰因素，会出现多个孤立轮廓区域，很难准确定位出目标对象的轮廓。

解决以上问题及缺陷的意义为：

在采集完图像后，传输和测量都是自动进行，实时完成，并且由于无线局域网的存在，可以将采集装置和电脑终端分离开，方便快捷，减少人工工作量；结合目标检测算法可以同时对图像中的多个对象进行识别分割，包括植物整体、花、果实等器官，可识别类别丰富；在准确获得目标对象的轮廓后，可以统计获得面积、高度、宽度等数据。这样就能方便快捷从一张图像中获得更多更丰富的信息，便于对植物的生长进行全面的监测。

发明内容

针对现有技术存在的问题，本发明提供了一种多目标检测的植物测量方法、系统、计算机设备及介质，尤其涉及一种通过采集图像和距离信息，实时地无线传送给电脑终端进行多目标检测识别分割来测量面积和尺寸的方法和系统。

本发明是这样实现的，一种多目标检测的植物测量方法，所述多目标检测的植物测量方法包括以下步骤：

步骤一，通过摄像头采集植物图像，并使用距离测量装置测量摄像头与植物间的距离信息；

步骤二，通过无线局域网以无线传输的形式，将植物图像和距离信息实时发送至电脑终端；

步骤三，电脑终端通过Tensorflow框架利用Faster RCNN目标检测算法对图像进行多目标检测识别，并将复杂背景下的植物、花和果实部分进行分割；

步骤四，根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；

步骤五，通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；

步骤六，计算检测对象的面积尺寸：对分割后的图像利用面积尺寸测量方法分别进行面积、高度和宽度信息的提取。

进一步，步骤一中，所述摄像头与距离测量装置平行放置，在距离植物合适的距离范围内，摄像头正对植物拍摄图像，距离测量装置测量摄像头与植物间的距离。

进一步，步骤二中，所述进行无线传输的无线局域网由路由器或手机热点的形式产生。

进一步，步骤三中，所述检测识别的目标类别包括植物、花、果实；

识别结果以矩形框的形式将相应类别的区域在图像中进行框选，且可以得到矩形框左上角和右下角的像素点坐标(x_min,y_min)和(x_max,y_max)，通过所述坐标将相应类别区域的图像从原图像中分割出来，单独运算处理。

进一步，步骤四中，所述对R,G,B三通道像素矩阵分别进行二值化处理，包括：

将三通道像素矩阵提取出来为R,G,B，对每个矩阵中的像素值a(i,j)做如下二值化运算处理：

其中，a_threshold表示像素阈值，可根据试验效果在(0,255)内调整该值。

进一步，步骤六中，所述计算检测对象的面积尺寸的方法，包括：

(1)对每个分割后的图像，统计检测对象区域的像素点个数，再统计图像总的像素个数，两者的比值即为检测对象所占的面积比例；

(2)根据距离信息可以获得图像尺寸与实际尺寸的比例系数，将图像尺寸乘以该系数即可获得植物实际高度、宽度信息，植物的面积即为总面积乘以面积比例。

进一步，步骤六中，所述计算检测对象的面积尺寸的方法，包括：

针对R,G,B三通道像素矩阵，计算检测对象区域面积占总面积的比例系数，根据检测对象的类别不同，两个计算公式如下：

对于植物类别：

对于花、果实类别：

选择最大值作为检测对象区域的面积比例：

Area_percentage＝max(r_percentage,g_percentage,b_percentage)；

根据矩形框左上角和右下角的像素点坐标(x_min,y_min)和(x_max,y_max)，获得分割后的图像高度和宽度：

结合距离参数，计算检测对象的实际高度、宽度及面积，计算过程如下：

其中，k表示根据距离d获得的实际尺寸与图像尺寸之间的比例系数。

本发明的另一目的在于提供一种应用所述的多目标检测的植物测量方法的多目标检测的植物测量系统，所述多目标检测的植物测量系统包括：

图像信息采集模块、距离信息采集模块、信息传输模块、主控模块、目标检测识别模块、图像分割模块、二值化处理模块、噪音点消除模块、面积尺寸计算模块；

图像信息采集模块，与主控模块连接，用于通过摄像头采集植物的图像文件信息；

距离信息采集模块，与主控模块连接，用于通过距离测量装置测量摄像头与植物间的距离参数d；

信息传输模块，与主控模块连接，用于通过无线局域网装置，以无线传输的形式将图像实时发送至电脑终端；

主控模块，与图像信息采集模块、距离信息采集模块、信息传输模块、目标检测识别模块、图像分割模块、二值化处理模块、噪音点消除模块、面积尺寸计算模块连接，用于通过电脑终端的主控器协调控制所述多目标检测的植物测量系统各个模块的正常运行；

目标检测识别模块，与主控模块连接，用于通过电脑终端借助Tensorflow框架利用Faster RCNN目标检测算法对图像进行多目标检测识别；

图像分割模块，与主控模块连接，用于通过矩形框的像素点坐标将相应类别区域的图像从原图像中分割出来，单独运算处理；

二值化处理模块，与主控模块连接，用于根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；

噪音点消除模块，与主控模块连接，用于通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；

面积尺寸计算模块，与主控模块连接，用于根据分割后的图像高度和宽度，结合距离参数d，计算检测对象的实际高度和宽度以及面积尺寸。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的多目标检测的植物测量方法。

本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的多目标检测的植物测量方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的多目标检测的植物测量方法和系统，通过采集图像和距离信息用无线的方式实时传输给电脑终端自动进行检测识别，基于目标检测算法可以进行复杂背景下的多目标检测，同时对图像中的植物、花、果实等部分进行识别并单独分割出来测量，分割后的图像利用面积尺寸测量算法分别进行面积、高度、宽度等信息的提取。

本发明提供的基于Faster RCNN的目标检测算法相比于SSD、YOLO等算法具有精度高、稳定性好的特点。同时，本发明对R,G,B三通道像素矩阵分别进行二值化处理后，需要清除背景上的白色噪音点，使用最小值滤波，可以将噪音点有效消除，最小值滤波器使得白色区域变小，黑色区域变大，起到消除背景噪音点，增强检测对象轮廓的作用。

对比的技术效果或者实验效果。包括：

使用COCO数据集进行训练，测试10张相同的图片，待检测对象共计34个，FasterRCNN与SSD、YOLO算法的识别精度对比：

目标检测算法类别	待检测对象数量	检出对象数量	精度
				Faster RCNN	34	29	85％
SSD	34	21	61％
				YOLO	34	22	65％

可以发现，在相同测试条件下，Faster RCNN的精度要高于SSD和YOLO，高出约20％量级。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的多目标检测的植物测量方法流程图。

图2是本发明实施例提供的多目标检测的植物测量系统结构框图；

图中：1、图像信息采集模块；2、距离信息采集模块；3、信息传输模块；4、主控模块；5、目标检测识别模块；6、图像分割模块；7、二值化处理模块；8、噪音点消除模块；9、面积尺寸计算模块。

图3是本发明实施例提供的多目标检测的植物测量方法流程逻辑示意图。

图4是本发明实施例提供的植物识别及处理流程示意图。

图5是本发明实施例提供的果实(以番茄为例)识别及处理流程示意图。

图6是本发明实施例提供的多目标混合(以植物和花混合为例)识别结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种多目标检测的植物测量方法和系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的多目标检测的植物测量方法包括：

S101，通过摄像头采集植物图像，并使用距离测量装置测量摄像头与植物间的距离信息；

S102，通过无线局域网以无线传输的形式，将植物图像和距离信息实时发送至电脑终端；

S103，电脑终端通过Tensorflow框架利用Faster RCNN目标检测算法对图像进行多目标检测识别，并将复杂背景下的植物、花和果实部分进行分割；

S104，根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；

S105，通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；

S106，计算检测对象的面积尺寸：对分割后的图像利用面积尺寸测量方法分别进行面积、高度和宽度信息的提取。

如图2所示，本发明实施例提供的多目标检测的植物测量系统包括：图像信息采集模块1、距离信息采集模块2、信息传输模块3、主控模块4、目标检测识别模块5、图像分割模块6、二值化处理模块7、噪音点消除模块8、面积尺寸计算模块9。

图像信息采集模块1，与主控模块4连接，用于通过摄像头采集植物的图像文件信息；

距离信息采集模块2，与主控模块4连接，用于通过距离测量装置测量摄像头与植物间的距离参数d；

信息传输模块3，与主控模块4连接，用于通过无线局域网装置，以无线传输的形式将图像实时发送至电脑终端；

主控模块4，与图像信息采集模块1、距离信息采集模块2、信息传输模块3、目标检测识别模块5、图像分割模块6、二值化处理模块7、噪音点消除模块8、面积尺寸计算模块9连接，用于通过电脑终端的主控器协调控制所述多目标检测的植物测量系统各个模块的正常运行；

目标检测识别模块5，与主控模块4连接，用于通过电脑终端借助Tensorflow框架利用Faster RCNN目标检测算法对图像进行多目标检测识别；

图像分割模块6，与主控模块4连接，用于通过矩形框的像素点坐标将相应类别区域的图像从原图像中分割出来，单独运算处理；

二值化处理模块7，与主控模块4连接，用于根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；

噪音点消除模块8，与主控模块4连接，用于通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；

面积尺寸计算模块9，与主控模块4连接，用于根据分割后的图像高度和宽度，结合距离参数d，计算检测对象的实际高度和宽度以及面积尺寸。

下面结合实施例对本发明作进一步描述。

实施例1

本发明提出了一种多目标检测的植物面积和尺寸测量方法和系统。

摄像头与测距装置平行放置，在距离植物合适的距离范围内，摄像头正对植物拍摄图像，测距装置测量其与植物间的距离d。

将拍摄的图像文件和距离信息，以无线传输的方式实时地传送给电脑终端。

在电脑收到图像后，开始在Tensorflow框架下进行目标检测，基于Faster RCNN目标检测算法相比于SSD、YOLO等算法具有精度高、稳定性好的特点。

可识别的类别包含植物、花、果实等，在应用中可以根据需求添加相应的类别，识别结果是以矩形框的形式将相应类别的区域在图像中框选出来，并且可以得到矩形框左上角和右下角的像素点坐标(x_min,y_min)和(x_max,y_max)，通过该坐标将相应类别区域的图像从原图像中分割出来，单独运算处理。

考虑到植物的颜色与背景具有较好的区分度，其RGB三通道像素分布特征较为明显，可以将三通道像素矩阵提取出来为R,G,B，对每个矩阵中的像素值a(i,j)做如下二值化运算处理：

其中，a_threshold表示像素阈值，可以根据试验效果在(0,255)内调整该值，经过该步处理，可以得到检测对象的轮廓信息。

对R,G,B三通道像素矩阵分别进行二值化处理后，需要清除背景上的白色噪音点，使用最小值滤波，可以将噪音点有效消除，最小值滤波器使得白色区域变小，黑色区域变大，起到消除背景噪音点，增强检测对象轮廓的作用。

针对R,G,B三通道像素矩阵，可以计算检测对象区域面积占总面积的比例系数，根据检测对象的类别不同，两个计算公式如下：

对于植物类别：

对于花、果实类别：

保守估计，在这里选择最大值作为检测对象区域的面积比例：

Area_percentage＝max(r_percentage,g_percentage,b_percentage) (4)

根据矩形框左上角和右下角的像素点坐标(x_min,y_min)和(x_max,y_max)，可以获得分割后的图像高度和宽度：

结合距离参数，可以计算检测对象的实际高度和宽度以及面积，计算过程如下：

这里的k表示根据距离获得的实际尺寸与图像尺寸之间的比例系数。

实施例2

基于目标检测的植物面积和尺寸测量系统工作流程如图3所示，图4是以植物类别为例，说明处理流程及实施步骤。

摄像头正对盆栽植物进行拍照，同时使用测距装置(超声波、红外等均可)测量距离植物的距离，为47cm，图像被命名为“2020-09-26-18-08-32-47.jpg”，将距离信息添加到图像名的最后一位，图像名含义为2020年9月26日18时08分32秒拍摄，距离植物47cm。

以无线传输的形式，实时地将图像发送给电脑终端，这里的无线局域网可以由路由器或者手机热点等形式产生。

电脑终端接收到图像后，进行目标检测，检测结果为Plant类别，并用蓝色矩形框将检测对象区域框选出来，提取得到的矩形框左上角和右下角坐标为(0,53)和(1015,707)，然后通过矩形框坐标可以将检测对象从原图像中分割出来，进行单独运算。

将分割后的图像的RGB三通道图像提取出来，以a_threshol＝70的像素阈值进行二值化处理，将检测对象的轮廓初步显现出来，用最小值滤波的方法将背景的噪音点滤除，同时起到增强检测对象轮廓的作用。

利用式(2)(4)计算检测对象所占的面积比例为Area_percentage＝max(r_percentage，g_percentage，b_percentage)＝max(0.31，0.28，0.34)

＝0.34，对应的像素通道为B通道。

经过测试，当距离为47cm时，对应的实际尺寸与图像尺寸之间的比例系数k＝0.039，利用式(5)(6)可以计算得到检测对象的高度eigth＝25cm，宽度With＝39cm，面积Area＝343cm²，并将面积和尺寸信息标注在图像中。

图5以番茄为例，说明对果实类别的识别过程，操作步骤与植物相似，不同之处在于计算检测对象所占的面积比例的公式为(3)(4)。

图6以植物和花混合为例，说明对多目标混合类型的检测效果。

实施例3

基于目标检测的植物面积和尺寸测量系统的测量精度如下，以植物类别Plant为例，测量高度、宽度与实际高度、宽度作比较，验证其精度，做了三组对比试验，结果如下：

从相对误差来看，测量精度可以保持在10％左右，可以满足精准测量的需求。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多目标检测的植物测量方法，其特征在于，所述多目标检测的植物测量方法包括：

通过摄像头采集植物图像，并使用距离测量装置测量摄像头与植物间的距离信息；

通过无线局域网以无线传输的形式，将植物图像和距离信息实时发送至电脑终端；

电脑终端通过Tensorflow框架利用Faster RCNN目标检测算法对图像进行多目标检测识别，并将复杂背景下的植物、花和果实部分进行分割；

根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；

通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；

计算检测对象的面积尺寸：对分割后的图像利用面积尺寸测量方法分别进行面积、高度和宽度信息的提取。

2.如权利要求1所述的多目标检测的植物测量方法，其特征在于，所述摄像头与距离测量装置平行放置，在距离植物合适的距离范围内，摄像头正对植物拍摄图像，距离测量装置测量摄像头与植物间的距离d。

3.如权利要求1所述的多目标检测的植物测量方法，其特征在于，所述进行无线传输的无线局域网由路由器或手机热点的形式产生。

4.如权利要求1所述的多目标检测的植物测量方法，其特征在于，步所述检测识别的目标类别包括植物、花、果实；

识别结果以矩形框的形式将相应类别的区域在图像中进行框选，且可以得到矩形框左上角和右下角的像素点坐标(x_min,y_min)和(x_max,y_max)，通过所述坐标将相应类别区域的图像从原图像中分割出来，单独运算处理。

5.如权利要求1所述的多目标检测的植物测量方法，其特征在于，所述对R,G,B三通道像素矩阵分别进行二值化处理，包括：

将三通道像素矩阵提取出来为R,G,B，对每个矩阵中的像素值a(i,j)做如下二值化运算处理：

其中，a_threshold表示像素阈值，可根据试验效果在(0,255)内调整该值。

6.如权利要求1所述的多目标检测的植物测量方法，其特征在于，所述计算检测对象的面积尺寸的方法，包括：

(1)对每个分割后的图像，统计检测对象区域的像素点个数，再统计图像总的像素个数，两者的比值即为检测对象所占的面积比例；

(2)根据距离信息可以获得图像尺寸与实际尺寸的比例系数，将图像尺寸乘以该系数即可获得植物实际高度、宽度信息，植物的面积即为总面积乘以面积比例。

7.如权利要求6所述的多目标检测的植物测量方法，其特征在于，所述计算检测对象的面积尺寸的方法，包括：

针对R,G,B三通道像素矩阵，计算检测对象区域面积占总面积的比例系数，根据检测对象的类别不同，两个计算公式如下：

对于植物类别：

对于花、果实类别：

选择最大值作为检测对象区域的面积比例：

Area_percentage＝max(r_percentage,g_percentage,b_percentage)；

根据矩形框左上角和右下角的像素点坐标(x_min,y_min)和(x_max,y_max)，获得分割后的图像高度和宽度：

结合距离参数d，计算检测对象的实际高度、宽度及面积，计算过程如下：

其中，k表示根据距离d获得的实际尺寸与图像尺寸之间的比例系数。

8.一种多目标检测的植物测量系统，其特征在于，所述多目标检测的植物测量系统包括：

图像信息采集模块、距离信息采集模块、信息传输模块、主控模块、目标检测识别模块、图像分割模块、二值化处理模块、噪音点消除模块、面积尺寸计算模块；

图像信息采集模块，与主控模块连接，用于通过摄像头采集植物的图像文件信息；

距离信息采集模块，与主控模块连接，用于通过距离测量装置测量摄像头与植物间的距离参数d；

信息传输模块，与主控模块连接，用于通过无线局域网装置，以无线传输的形式将图像实时发送至电脑终端；

主控模块，与图像信息采集模块、距离信息采集模块、信息传输模块、目标检测识别模块、图像分割模块、二值化处理模块、噪音点消除模块、面积尺寸计算模块连接，用于通过电脑终端的主控器协调控制所述多目标检测的植物测量系统各个模块的正常运行；

目标检测识别模块，与主控模块连接，用于通过电脑终端借助Tensorflow框架利用Faster RCNN目标检测算法对图像进行多目标检测识别；

图像分割模块，与主控模块连接，用于通过矩形框的像素点坐标将相应类别区域的图像从原图像中分割出来，单独运算处理；

二值化处理模块，与主控模块连接，用于根据RGB三通道的像素矩阵分布特点进行二值化处理，对分割后图像中包含的检测对象进行轮廓提取；

噪音点消除模块，与主控模块连接，用于通过最小值滤波算法消除图像背景中的噪音点干扰，增强检测对象轮廓；

面积尺寸计算模块，与主控模块连接，用于根据分割后的图像高度和宽度，结合距离参数d，计算检测对象的实际高度和宽度以及面积尺寸。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～8任意一项所述的多目标检测的植物测量方法。

10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～8任意一项所述的多目标检测的植物测量方法。

Images