CN108805875B - 双孢菇位置识别与推倒方向的选定方法 - Google Patents

Abstract

本发明公开一种双孢菇位置识别与推倒方向的选定方法。该方法的具体步骤为：当采摘机器人到达指定位置后，首先打开白光电灯对蘑菇进行均匀的照明，再触发相机对蘑菇进行拍照。通过的白光的反射进而初步快速识别出蘑菇的位置区域，然后对位置区域进行去噪、填充、区域分割等处理。接着通过圆度与面积的筛选选出适合摘取的蘑菇，最后通过计算得到每一个蘑菇区域的中心坐标，并拟合成圆形。然后进行推倒方向的选定。该发明方法因采用光线反射区分重叠蘑菇方法，所以运算速度较快，并且无论是识别的准确度还是推倒方向的选定的准确度都较高。

Description

双孢菇位置识别与推倒方向的选定方法

技术领域

本发明涉及涉及图像识别以及推倒方向的选定方法，特别是一种双孢菇位置识别与推倒方向的选定方法。

背景技术

目前在中国，对蘑菇栽培已经形成了工业化的生产，并且在施肥、下料、湿度控制已经基本自动化。然而在采摘蘑菇方面目前还只有人为进行采摘，无法实现自动化的摘取。随着人口慢慢老龄化以及劳力成本的大大提高，蘑菇采摘自动化也成了研究的一个方向。采摘蘑菇机器人能够大大提高工作的效率，更能为企业减少劳力方面的成本。随着自动化技术的完善，无论是国内还国外公司或者研究所都开始研究关于采摘不同种类水果的机器人，采摘蘑菇也成为了一个研究方向。

然而，由于蘑菇的生长是错综生长的非结构化，并且部分蘑菇重叠在一起无法有效的分辨，甚至有一些蘑菇的根还连在一起，根本无法实现摘取。蘑菇堆叠较多、生长姿态不可控以及根部相连这些问题大大提升了采摘机器人末端执行器识别定位以及蘑菇摘取的难度。因此，目前国内外对蘑菇采摘机器人的研究还处于研究阶段，并没有能真正能够应用于工厂。当今的采摘蘑菇机器人存在以下的缺点。第一、只能在蘑菇稀疏分布的情况下进行辨别单个蘑菇并摘取，对于重叠、密集的蘑菇无法辨别单个，因为从俯视看蘑菇都连接或重叠在一起，视觉无法有效的识别每个蘑菇边缘并区分开它们。第二、在实验室所实验的蘑菇因为是稀疏分布，不存在蘑菇的根相互连接而拔不起来这种实际情况。因此目前没有采摘蘑菇机器人应用倒实际当中。

在实验中发现，对于密集生长得蘑菇如果直接抓取可能会对蘑菇得表面造成损坏而影响品质，而直接吸起可能使得头部与根部直接被扯断。因此对双孢菇进行边推倒边旋转的方式，从而在不损伤蘑菇得情况下把根茎相连得双孢菇单个提取出来。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种双孢菇位置识别与推倒方向的选定方法。首先通过灯光反射的方法使得视觉能够有效的识别出单个蘑菇，并得到其中心位置。接着为了能够摘取根部相连的蘑菇，模仿人采摘方式，通过先推倒在旋转蘑菇的方式使得需要采摘的蘑菇的根部与其它蘑菇的根断开。因此在识别出各个蘑菇中心位置后，要在不伤及其它蘑菇方向的进行推倒，也就是往没有蘑菇生长的地方进行推倒，因此所识别的蘑菇要判定是否能推倒，往哪个方向进行推倒也是通过相机得视觉进行选定。由视觉得到蘑菇的坐标点以及推倒方向，从而执行机构能够根据视觉提供的蘑菇坐标点和推倒方向角度，从而对蘑菇进行先推倒再旋转方式使根茎相连的蘑菇能够单独取出。

根据上述原理，本发明采用如下技术方案：

一种双孢菇位置识别与推倒方向的选定方法，其特征在于该方法的具体步骤为：

a.通过白光从正上方对蘑菇进行均匀的照射；当蘑菇机器移动到指定位置，指定位置是由相机视野所确定得，比如相机视野范围为190mm*140mm，去除视野边缘拍摄不完整蘑菇，190mm左右各去除20mm边缘效果最好。因此从设定的机械原点出发，每次移动150mm。，触发信号使得相机进行拍照；

b.将步骤a所拍摄的照片转化成3个单通道的单色图，并将3张单色图转化成HSV色差空间中的图；通过灰度值提取，取出HSV色差空间中的图中双孢菇被灯光所照亮的区域，并进行腐蚀去噪；

c.对步骤b去噪后所得区域进行区域分割，也就是把不连通区域分割成单独的区域，称为独立的区域，同时对其进行膨胀操作，使得区域边缘更加光滑，并且恢复b步骤因腐蚀去噪而被减小的区域面积；

d.从步骤c所得的独立的区域,只提取出通过圆度比取得比较像圆的区域，实验证明圆度比在0.6-1得范围内能够提取到单个蘑菇，并在一定程度上能够去除一定得噪声；并从剩余的区域中提取符合一定面积大小得蘑菇。在照片中，面积得大小是由像素点所确定得，实验测得蘑菇区域面积为40000-100000个像素点能够取得成熟较好的蘑菇，以此去除还未成熟的小蘑菇；

e.把通过面积和圆度筛选通过的区域进行形状的变换，变换成圆形区域，并提取出每个圆形区域也就是单个蘑菇的中心坐标；

f.以步骤e所得的每个中心坐标为圆心创建出一个圆形区域，实验测得半径为500个像素点所得到区域最佳，能把周围得土与蘑菇都覆盖进来；

g.对步骤f所创建的每一个圆形区域通过灰度值将土地单独的提取，实验测得蘑菇养殖土地得灰度值的取值范围在0-45效果较好，并对该提取的区域进行膨胀操作和区域分割；

h.从步骤g所分割出的小区域土地选出大于一定面积的土地，实验证明当一块区域土地的面积像素点个数大于6000可以认为有土地可以对蘑菇进行推倒操作；如果没有合适面积的土地，重复步骤f、g和h；

i.从选出的土地中选择最大面积的土地作为推倒的方向，得到此土地的中心坐标，从而得到蘑菇的推倒方向,从而使得执行机构对蘑菇进行边推倒边旋转的方式，进而把根基相连的蘑菇三度切断并把蘑菇提取出来。

上述的步骤b的具体方法：

b-1.相机首先拍摄到蘑菇的彩色图片。由视觉处理软件把三色通道分成R、G、B三个通道，也就根据色彩是把每个像素点分别转化成了R、G、B三个通道，并且同时根据色彩点亮度三通道分别划分了0-255等级(与灰度值原理相同)。

b-2.接着把照片的每个像素点转化成HSV三张图片，分别对应色调(H)、饱和度(S)、明度(V)。首先定义Max与Min，其定义如下。

Max＝max([R,G.B])Min＝min([R、G、B])

V通道每个像素点等级为R、G、B三个通道等级最高的那个。公式为V＝Max。

S通道每个像素点等级分为两种情况:1)当Max等于Min时，S通道的等级定义为0；2)当Max不等于Min时，S＝(Max-Min)/Max。

H通道每个像素点等级分为四种情况,其中rad(60)为60度的弧度:1)当Max等于Min时，V通道的等级定义为0；2)当R＝Max时，H＝((G-B)/(Max-Min))*rad(60)；3)当G＝Max时，H＝(2+(B-R)/(Max-Min))*rad(60)；4)当B＝Max时，H＝(4+(R-G)/(Max-Min))*rad(60)；

b-3.得到H、S、V三张图片进行比较选用S通道的图片，具体选取方式见具体实施方式中的HSV。

b-4.对S通道的图片进行阈值提取，选择出合适的灰度值区域大小，实验得到灰度值大小范围在0-45能提取到较好的单个蘑菇。

b-5.接着通过填充处理和腐蚀处理从而填充孔洞并去除噪音，具体方式见具体实施方式中噪声的处理与分割。

上述的步骤e的具体步骤为：提取每个独立区域边缘的点，求得其中两点最远的距离作为区域转换后圆的直径，并以两点线段的中心点作为区域转换后圆形的圆心，以此来获得每个蘑菇中心坐标。

上述的步骤g的具体步骤为：

g-1.在对每个蘑菇单独构建的圆形区域内，通过阈值提取土地，实验测得蘑菇养殖土地得灰度值的取值范围在0-45效果较好。

g-2.接着进行膨胀操作，使得提取土地区域的边缘进行圆滑的处理。

g-3.进行区域的分割，也就是把不联通的区域划分成一块块单独区域，也时为步骤h做准备。

上述的步骤i的具体步骤为：

i-1.从选取的土地中，选取最大的一块土地作为此蘑菇推倒方向。

i-2.通过视觉处理软件自动得到最大面积土地区域的中心点坐标(x₂,y₂)，并以蘑菇中心点坐标(x₁,y₁)指向土地中心点坐标，并换算成角度以此得到方向的选定；

i-3.其方向选定的计算公式如下：

Pi为方向角度，Pi的取值范围为(-π，π)；Z的目的是把tan取值范围

扩大到Pi的取值范围；因此当(x₂-x₁)＜0且(y₂-y₁)＞0，则方向指向第二象限，因此Z＝180；当(x₂-x₁)＜0且(y₂-y₁)＜0，则方向指向第三象限，因此Z＝-180；其余情况下Z＝0，以此方法得到360度的方向角度。

大多数蘑菇识别通过各种复杂算法识别出蘑菇的边缘进而区分开他们，然而在实际应用这种边缘区分效果不佳，不仅对于重叠在一起的蘑菇难以区分，而且运算耗时极长。而本次专利所采用的方法是通过白光光源对蘑菇进行照射，通过蘑菇头部反射的光进而直接快速识别区分，不再需要通过边缘进行区分开。此方法即准确又快速。能实行的原因如下：

1.蘑菇在工厂中一直处于黑暗潮湿的环境，白光的照射在黑暗中的更能把蘑菇突显出来。

2.双孢菇的顶部有一层光滑的薄膜，这也增强了反射的光线，而土地无法反射照射的白光，因此噪声相对较小。

3.双孢菇头部是伞状的，白光从蘑菇正上方照射。因此从蘑菇头部的中心位置到蘑菇头的边缘位置反射回来的光是渐渐减弱的，越靠近中心白光越亮，因此只需捕捉最亮的位置就能区分开重叠蘑菇。

4.为了图像的快速处理通常会把彩色图片转化为灰度图像，在灰度图像中灰度值分为0-255等级，0为黑而255为白，白光能使得蘑菇更接近255，更好的与土地区分开。在实验发现一定程度上能够把品相好与品相不好(表面有损坏或者有杂质)的蘑菇区分开。

附图说明

图1快速识别与推倒流程图

图2是蘑菇种植基地所拍摄的照片。

图3是HSV转换后，从饱和度图像中通过灰度值所提取的双孢菇区域。

图4是HSV转换后，从明度图像中通过灰度值所提取的双孢菇区域。

图5是经过去噪处理以及区域分割后的图片。

图6是经过圆度筛选以及面积筛选后，再把区域变换成圆形的图片。

图7是以单个蘑菇中心所创建的圆形区域。

图8是通过灰度值所提取的区域。

图9是对提取区域进行边缘处理与区域分割。

图10是选出合适且最大的土地区域，并进行土地填充处理以及得到区域的中心点。

图11通过蘑菇中心点坐标以及土地中心点坐标，得到推倒的方向。

图12为整体的效果图

具体实施方式

本发明专利的流程图如图1所示，下面结合附图对本发明专利的具体步骤作进一步的说明。

1、白光光源照射

白光的强弱和与双孢菇的距离都会影响是否能够区分开蘑菇的重要因素，因此需要在种植基地进行反复的调试与测试，得到最为理想的结果。同时灯光最好能够均匀覆盖所拍摄的地区。目前实验阶段选用开孔被光源，安装在离土地137mm高度的地方，其覆盖面积达到180mm*240mm。

为了能有效的说明是通过灯光区分蘑菇，因此图2只有中心的双孢菇得到直接照射(可以识别)而边缘的双孢菇没有得到有效的照射(无法识别)。

2、堆叠蘑菇图像采集

图像的采集由外部触发，当采蘑菇机器走到指定位置，指定位置是由相机视野所确定得，比如相机视野范围为190mm*140mm，去除视野边缘拍摄不完整蘑菇(190mm左右各去除20mm边缘效果最好)。因此从设定得机械原点出发，每次移动150mm。停止后，进行拍照。接着识别出蘑菇的中心位置，并判定是否能够推倒。在判定后进行推倒摘取，在摘取完成后重新由外部触发相机在相同位置重新拍照，因为又有新的一批可以推倒的蘑菇出来，直至没有可识别的蘑菇，机器进入下一个指定位置。

3、HSV的转换

通过实验，将拍摄的彩色照片图像通过HSV的灰度转换比直接灰度转换对白光反射亮度的提取由增强的效果。其中HSV分别代表色调(H)、饱和度(S)、明度(V)。在实验中饱和度图像和明度图像对反射光的提取效果较好，而越到边缘(没有直接照射的双孢菇)所能提取的亮度越小，几乎可以忽略。饱和度和明度图片各有各的优点和缺点，以下进行简单论述。

图3为从饱和度图像中通过灰度值所提取的双孢菇区域，可以看出虽然有效的通过亮度提取出了每个蘑菇，并切保留了双孢菇的完整性(面积、形状)，对蘑菇的筛选起到了很好效果，但噪声也跟一起提取了出来，对噪声需要进行处理。

图4为从明度图像中通过灰度值所提取的双孢菇区域，可以看出它对亮度反应最为敏感，几乎没有任何噪声，而且直接被照射的蘑菇(中间部分)所提取的区域尤为好。但破坏了蘑菇的完整性对蘑菇筛选造成了一定的不便，因为在实际中无法做到灯光对每个蘑菇照射都能均匀分布。

两种图像的区域提取可以根据接下来要求选择其中一种，它们都可以很好区分开蘑菇。在这里选用了通过饱和度所提取蘑菇亮度区域。

4、噪声的处理与分割

因为选用的通过饱和度所提取蘑菇亮度区域。因此需要对噪声进行处理。

首先是对区域内部进行填充，从图3可以看出有些双孢菇头部有些细小的脏物，但这并不影响整体的外观，但这些细小脏物是无法通过灰度值所提取到的。因此需要进行填充。也是了为了不让接下来的腐蚀操作去腐蚀这些区域内部的小洞。

接着进行腐蚀操作，其目的是为了去掉细小的颗粒。腐蚀的原理是如下的：

首先用结构元素B(这里结果元素为直径为30像素的圆)，扫描图像A(所提取区域)的每一个像素。接着用结构元素与其覆盖的二值图像做“与”操作。⑶如果都为1，结果图像的该像素为1，其意思就是保留像素。如果不全为1，则会去除其像素点。腐蚀处理的结果不仅是使原来的二值图像减小一圈，并且去除掉了噪声。

然后进行区域的分割，把整个区域按照块状进行分割，分割成一个个单独区域。

最后进行膨胀的操作，因为腐蚀时不仅把噪音去除，同时也会把需要保留的区域也会腐蚀一圈，因此需要通过膨胀把腐蚀一圈的区域膨胀回来。膨胀的目的就是恢复蘑菇的完整性。最后得到的结果图如图5所示。

5、圆度与面积的筛选与形状转换

圆度的筛选时在一定程度上去除表面有赃物或者表面有损坏的蘑菇。而面积筛选就是去除掉那些还没成熟蘑菇，留下可以摘取的的双孢菇。

对已经筛选后的适合摘取的双孢菇的区域进行圆形的形状转换，所使用的方法是提取区域边缘的点，求得其中两点最远的距离作为圆的直径，并以两点线段的中心点作为区域转换后圆形的圆心，以此来获得每个蘑菇中心坐标。同时，转换后的图像与原本蘑菇的形状更加贴近。

从图6中可以看出被白光直接照射的蘑菇(图片中间部分)具有较好的完整性(面积、形状)，而没有被白光直接照射的蘑菇，部分也可以识别出而且也能获得相近的中心坐标，但失去了完整性。因此要尽量保持白光均匀照射到每个蘑菇。但实际过程中即使每个蘑菇没有被均匀照射，在一定色差范围内也是可以识别并找到其中心位置，但可能会失去一些蘑菇完整性。同时也说明了通过白光照射进行识别的可行性。

以上就是蘑菇快速识别的方法，接着就是根据所获得的每个蘑菇中心位置进行判定是否有合适的位置进行。

6、为每个蘑菇创建一个圆形区域

根据所获得的每个蘑菇的中心坐标创建出一个圆形区域，接下来的处理都在此创建的区域内，如图7所示。

此外还需要说明的事是根据每个坐标点位置每个蘑菇按循序一个个进行处理。根据坐标点的位置从左至右，从上而下一个个进行区域创建

7、土地区域提取与预处理

首先就是提取出土地的区域，因为土地颜色与蘑菇颜色相差甚远，所以不需要进行去噪处理，同时也能够减少运算时间。效果如图8所示。

接着进行膨胀处理，膨胀处理其目的是为了填补土地区域边缘的小凹坑，让区域边缘看着更加光滑。

最后进行区域分割，分割后的图像如图9所示。

8、土地面积的筛选与选取

首先进行从已经分割出区域中筛选出符合一定面积的土地的区域。如果没有找到合适的土地区域可以推倒，那么跳过以下处理，直接对下一个蘑菇是否能够推倒进行判定。

如果有一个以上合适的土地面积区域，那么接着对区域内部进行填充，其目的是为得合适土地中心坐标。最后再从合适土地区域内选出面积最大一块的土地区域。所选出的最大区域如10所示。

9、计算得到推倒方向

计算得到所选的土地区域面积的中心坐标。以蘑菇的中心点坐标指向土地的中心点坐标为推倒的方向，并以此换算成角度。角度计算公式如下：

其中Pi为角度，而(x₁,y₁)为蘑菇的中心点坐标，(x₂,y₂)为土地区域的中心点。而Z是因为tan的取值范围只有第一和第四象限，也就是

而方向角度范围应该是360度而非180度。当(x₂-x₁)＜0且(y₂-y₁)＞0，则方向指向第二象限，因此Z＝180。当(x₂-x₁)＜0且(y₂-y₁)＜0，则方向指向第三象限，因此Z＝-180。其余情况下Z＝0，以此方法得到360度的方向角度。

Claims (5)

1.一种双孢菇位置识别与推倒方向的选定方法，其特征在于该方法的具体步骤为：

a.通过白光从正上方对蘑菇进行均匀的照射；当蘑菇机器移动到由相机视野所确定的指定位置，触发信号使得相机进行拍照；

b.将步骤a所拍摄的照片转化成3个单通道的单色图，并将3张单色图转化成HSV色差空间中的图；通过灰度值提取，取出HSV色差空间中的图中双孢菇被灯光所照亮的区域，并进行去噪；

c.对步骤b去噪后所得区域进行区域分割，也就是把不连通区域分割成单独的区域，称为独立的区域，同时对其进行膨胀操作使得区域边缘更加光滑，并且恢复b步骤因腐蚀去噪而被减小的区域面积；

d.从步骤c所得的独立的区域中，只提取出通过圆度比取得圆度比在0.6-1的区域，并从剩余的区域中提取符合蘑菇区域面积为40000-100000个像素点的区域，以去除还未成熟的小蘑菇；

e.把通过面积和圆度筛选通过的区域进行形状的变换，变换成圆形区域，并提取出每个圆形区域也就是单个蘑菇的中心坐标；

f.以步骤e所得的每个中心坐标为圆心创建出一个圆形区域，半径为500个像素点所得到区域，能把周围得土与蘑菇都覆盖进来；

g.对步骤f所创建的每一个圆形区域通过灰度值将土地单独的提取，蘑菇养殖土地得灰度值的取值范围在0-45，并对该提取的区域进行膨胀操作和区域分割；

h.从步骤g所分割出的小区域土地中，选出大于区域土地面积的像素点的个数大于6000的土地；如果没有合适面积的土地，重复步骤f、g和h；

i.从选出的土地中选择最大面积的土地作为推倒的方向，得到此土地的中心坐标从而得到蘑菇的推倒方向，进而把根基相连的蘑菇的根基单独切断并把蘑菇提取出来。

2.根据权利要求1所述的双孢菇位置识别与推倒方向的选定方法，其特征在于所述的步骤b的具体方法：

b-1.相机首先拍摄到蘑菇的彩色图片，由视觉处理软件把三色通道分成R、G、B三个通道，也就根据色彩是把每个像素点分别转化成了R、G、B三个通道，并且同时根据色彩点亮度三通道分别划分了0-255等级；

b-2.接着把照片的每个像素点转化成HSV三张图片，分别对应色调(H)、饱和度(S)、明度(V)，首先定义Max与Min，其定义如下：

Max＝max([R，G，B])Min＝min([R，G，B])

V通道每个像素点等级为R、G、B三个通道等级最高的那个，公式为V＝Max；

S通道每个像素点等级分为两种情况：1)当Max等于Min时，S通道的等级定义为0；2)当Max不等于Min时，S＝(Max-Min)/Max；

H通道每个像素点等级分为四种情况，其中rad(60)为60度的弧度：1)当Max等于Min时，V通道的等级定义为0；2)当R＝Max时，H＝((G-B)/(Max-Min))*rad(60)；3)当G＝Max时，H＝(2+(B-R)/(Max-Min))*rad(60)；4)当B＝Max时，H＝(4+(R-G)/(Max-Min))*rad(60)；

b-3.得到H、S、V三张图片进行比较选用S通道的图片；

b-4.对S通道的图片进行阈值提取，选择出合适的灰度值区域大小，实验得到灰度值大小范围在0-45能提取到较好的单个蘑菇；

b-5.接着通过填充处理和腐蚀处理从而填充孔洞并去除噪音。

3.根据权利要求1所述的双孢菇位置识别与推倒方向的选定方法，其特征在于所述的步骤e的具体步骤为：提取每个独立区域边缘的点，求得其中两点最远的距离作为区域转换后圆的直径，并以两点线段的中心点作为区域转换后圆形的圆心，以此来获得每个蘑菇中心坐标。

4.根据权利要求1所述的双孢菇位置识别与推倒方向的选定方法，其特征在于所述的步骤g的具体步骤为：

g-1.在对每个蘑菇单独构建的圆形区域内，通过阈值提取土地，实验测得蘑菇养殖土地得灰度值的取值范围在0-45效果较好；

g-2.接着进行膨胀操作，使得提取土地区域的边缘进行圆滑的处理；

g-3.进行区域的分割，也就是把不联通的区域划分成一块块单独区域，也是为步骤h做准备。

5.根据权利要求1所述的双孢菇位置识别与推倒方向的选定方法，其特征在于所述的步骤i的具体步骤为：

i-1.从选取的土地中，选取最大的一块土地作为此蘑菇推倒方向；

i-2.通过视觉处理软件自动得到最大土地区域的中心点坐标(x₂，y₂)，并以蘑菇中心点坐标(x₁，y₁)指向土地中心点坐标，并换算成角度以此得到方向的选定；

i-3.其方向选定的计算公式如下：

Pi为方向角度，Pi的取值范围为(-π，π)；Z的目的是把tan取值范围

扩大到Pi的取值范围；因此当(x₂-x₁)＜0且(y₂-y₁)＞0，则方向指向第二象限，因此Z＝180；当(x₂-x₁)＜0且(y₂-y₁)＜0，则方向指向第三象限，因此Z＝-180；其余情况下Z＝0，以此方法得到360度的方向角度。

Images