CN112837364A - 一种基于双目相机与单目相机结合的割刀辅助定位算法 - Google Patents

Abstract

本发明提供了一种双目相机和单目相机相结合的割胶机器人割刀定位算法，所解决的是利用机器人上面的双目相机找到目标橡胶树后，并通过树木上的辅助定位标志将割刀移动到橡胶树上的本起始割胶位置。首先，根据双目相机采集到的图像，通过橡胶树的颜色、边缘以及视差图，来得到橡胶树所在的位置，完成割刀位置的粗调整；接下来使用单目相机识别橡胶树上的辅助定位标志，来不断调整机器人的位置，使在单目相机视野中的图案与预先标定好的目标图案在相机中的大小及中心点位置相一致，来实现割刀位置的微调。本发明仅通过双目相机与单目相机相结合的方式就可快速完成割刀初始位置的准确定位，提高了割胶机器人的割胶速度。

Description

一种基于双目相机与单目相机结合的割刀辅助定位算法

技术领域

本发明涉及了割胶机器人的关键技术领域，尤其是智能履带式自动割胶机器人，具体涉及智能割胶机器人机械臂上的割刀在切割橡胶树上的定位算法设计与实现。为了控制割胶机器人的割刀能更加快速和精确地到达初始割胶位置，本设计提出了一种基于双目相机与单目相机结合的的割胶机器人割刀初始位置定位算法，能够有效快速实现割刀定位和割胶质量。

背景技术

目前天然橡胶的采集手段还是采用的人力手工割胶的原始手段，即工人通过使用专用割胶工具在树木的特定位置环绕树木割出一个斜半圆形的切口，来进行割胶。海南橡胶目前还有约2.5万从事割胶工作的工人，橡胶树出胶的条件是温度要在摄氏25度左右，所以工人的工作时间是凌晨1点到6点，工作量约人均300棵树/天。因此当前从事割胶这个工作劳动成本较高，工作效率较低，苛刻的工作条件使得工人凌晨作业安全性很难得到有效的保障。

另外，市场上现有的一些成品割胶机器人仍存在很多问题，如机械臂的高成本与针对不同特殊情况的可扩展性的问题、夜间工作割刀定位问题以及对不同姿态生长的树干怎样定位等问题。虽然如今工业机械臂的集成度越来越高，灵活性也得到了很大的提升，但其可扩展性受到了极大地限制，受到了开发商极大的限制，如一些必要的辅助割胶的传感器和功能难以集成到现有的机械臂上，从而提高了识别橡胶树割胶位置的难度，影响了割胶效果，橡胶树的割胶产量因此减少，最终影响整个割胶产业的经济效益。

发明内容

为了克服人工操作时所带来的不确定因素，提高割胶过程中机器人割刀定位的精与稳定。为了有效降低机器人的制作成本，增加机器人的可扩展性与稳定性，更好地适应割胶环境的多样变化，提高效率来提升最终的割胶产量。

本发明解决其技术问题所采用的技术方案是：一种基于双目相机与单目相机结合的的割胶机器人割刀初始位置定位算法，主要包括有通过双目相机对割刀位置的粗调节以及利用单目相机对割刀位置的微调过程。首先是利用双目相机来识别双目的具体位置，具体包括以下步骤。

步骤1：对双目相机进行双目标定，来消除相机的畸变。

步骤2：获取双目相机的图像。

步骤3：对双目相机所采集到的两幅图像，通过双目立体匹配SGBM算法来计算出当前的视差图。

步骤4：利用双目相机中的左相机所采集到的图像，对其进行中值滤波操作后，根据颜色来得到一个橡胶树的位置区域。

步骤5：利用双目相机中的左相机所采集到的图像，将其转换为灰度图，然后使用canny算子来进行边缘检测，并执行开操作去消除图像中的噪声，平滑树木轮廓的边缘，最终得到一个橡胶树的位置区域。

步骤6:利用步骤3中所计算得到的视差图，根据视差图的数值，选择数值在一个合适范围内的区域作为一个橡胶树的位置区域。

步骤7：综合以上三个区域，选择它们的交集作为最终橡胶树的位置，并根据这个区域计算得到橡胶树的中心位置。

步骤8：根据步骤7所得到的橡胶树中心位置，由步骤3计算的视差图，来获得橡胶树此时距离割胶机器人抱环的距离。

步骤9：根据计算得到的橡胶树的位置，来调整割刀的位置，直到割刀与橡胶树的距离在一个合适的范围内后，割刀位置的粗调节整个过程结束。

对于步骤4中的通过颜色来识别橡胶树，首先需要将橡胶树在相机中的颜色给提取出来，提前标记好一个合适的像素空间范围，以便于之后通过颜色来识别橡胶树。

然后是利用单目相机通过识别橡胶树上的十字辅助定位标志，来对割刀位置的微调过程，具体包括以下步骤。

步骤1：将十字辅助图案需要在单目相机视野内达到的面积和位置标定出来。

步骤2：不断移动单目相机的位置，实时获取单目相机的图像。

步骤3：根据单目相机获得的图像，通过颜色来识别出单目相机图像中的十字辅助定位图案。

步骤4：根据识别到的十字辅助定位图案，计算出它所占的像素面积与事先标定好的目标像素面积大小是否一致，如果一致将继续执行步骤5，否则，返回执行步骤2。

步骤5：根据识别到的十字辅助定位图案，计算出它所占的像素中心位置与事先标定好的目标像素中心位置是否一致，如果一致将继续执行步骤6，否则，返回执行步骤2。

步骤6：割刀的初始位置调整完毕，程序结束。

本发明的有益效果是，本算法采用了双目相机与单目相机相结合的方式，能够精确快速地辅助机器人的割刀运动到合适的割胶位置，从而保证了接下来的割胶任务能够顺利完成。此发明既提高了整个割胶任务的工作效率和质量，同时又能够有效地降低了劳动成本与硬件成本，从而提升最终所获得的经济效益。

附图说明

下面结合附图和优选实施例对本发明进行进一步的说明，本发明的各个目标、特性、方面及优势将作为更为清晰的展示。

附图1为本发明整体结构示意图。

附图2为本发明割刀定位装置示意图。

附图3为本发明双目相机识别与定位算法示意图。

附图4为本发明单目相机识别与定位算法示意图。

附图5为本发明橡胶树实物图。

附图中：1—照明灯，2—第一导轨，3—第一固定板，4—第二固定板，5—第三固定板，6—大齿轮，7—小齿轮，8—第一电机，9—第二电机，10—第三电机，11—第二导轨，12—双目相机模块，13—单目相机模块，14—第一连接杆，15—第二连接杆，16—第四电机，17—第五电机，18—割刀，19—割刀辅助滚轮，20—抱环主体，21—割刀运动齿轮，22—割刀锯齿导轨，23—导轨凹槽， 24—十字辅助定位图案，25—橡胶树割痕。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是割胶机器人的整体结构示意图，它包括有机器人的运动控制部分以及割胶主体部分。其中，割胶主体上包括有一个斜半圆柱形结构的抱环主体20、切割运动模块以及割刀起始位置辅助定位装置。

图2是割胶主体的后视图，它介绍了抱环主体整体为半圆柱形结构，抱环半径大于实际树干半径。在其左上方安装有一个单目相机13，在抱环主体的上方中间位置处安装了一个双目相机12；橡胶树位于抱环主体20的前方，在橡胶树的起始割胶位置25的正上方10cm贴有一个十字辅助定位图案24，用来辅助割刀18确定起始位置。当割刀18运动到抱环主体20上的割刀运动导轨22的最左上方时，即割刀的起始割胶位置，割刀将处于单目相机12的正下方10cm处，从而可通过控制机械臂运动来不断移动抱环装置调整位置，最终完成对割刀18位置的微调校对。

上述割刀初始位置定位算法，所述机械臂运动模块由控制器模块控制，能够控制抱环20实现水平前后左右以及上下高度的移动，从而带动单目相机13与双目相机12进行数据采集与割刀18定位。

上述割刀初始位置定位算法，照明模块1采用24w常见照明设备，安装在第一导轨2最上方，用来在凌晨光线较暗的情况下，给机器人的双目相机12和单目相机13进行补光，辅助它们能够正常工作。

如图3所示，本发明提出了一种基于双目相机来识别橡胶树的位置，并对割刀的初始位置的粗调的方法，具体步骤如下。

步骤1：对双目相机进行双目标定，来消除相机的畸变。

步骤2：获取双目相机的图像。

步骤3：对双目相机所采集到的两幅图像，通过双目立体匹配SGBM算法来计算出当前的视差图。

步骤4：利用双目相机中的左相机所采集到的图像，对其进行中值滤波操作后，根据颜色来得到一个橡胶树的位置区域。

步骤5：利用双目相机中的左相机所采集到的图像，将其转换为灰度图，然后使用canny算子来进行边缘检测，并执行开操作去消除图像中的噪声，平滑树木轮廓的边缘，最终得到一个橡胶树的位置区域。

步骤6:利用步骤3中所计算得到的视差图，根据视差图的数值，选择数值在一个合适范围内的区域作为一个橡胶树的位置区域。

步骤7：综合以上三个区域，选择它们的交集作为最终橡胶树的位置，并根据这个区域计算得到橡胶树的中心位置。

步骤8：根据步骤7所得到的橡胶树中心位置，由步骤3计算的视差图，来获得橡胶树此时距离割胶机器人抱环的距离。

步骤9：根据计算得到的橡胶树的位置，来调整割刀的位置，直到割刀与橡胶树的距离在一个合适的范围内后，割刀位置的粗调节整个过程结束。

如图4所示，本发明提出了一种基于单目相机通过识别橡胶树上的十字辅助定位图案，来对割刀的初始位置进行微调的方法，具体步骤如下。

步骤1：将十字辅助图案需要在单目相机视野内达到的面积和位置标定出来。

步骤2：不断移动单目相机的位置，实时获取单目相机的图像。

步骤3：根据单目相机获得的图像，通过颜色来识别出单目相机图像中的十字辅助定位图案。

步骤4：根据识别到的十字辅助定位图案，计算出它所占的像素面积与事先标定好的目标像素面积大小是否一致，如果一致将继续执行步骤5，否则，返回执行步骤2。

步骤5：根据识别到的十字辅助定位图案，计算出它所占的像素中心位置与事先标定好的目标像素中心位置是否一致，如果一致将继续执行步骤6，否则，返回执行步骤2。

步骤6：割刀的初始位置调整完毕，程序结束。

图5 为橡胶树及橡胶树上的十字辅助定位图案实物图，首先将割胶机器人的抱环主体上的割刀移动到目标割胶起始位置处，此时通过单目相机拍下十字辅助定位图案，然后将此时十字图案在相机图像中所占的像素大小及像素中心位置给记录下来，作为之后割刀位置微调过程中，十字图案在相机中所需要达到的目标要求。

本说明书中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于双目相机与单目相机相结合的智能割刀定位算法，其特征在于首先通过双目相机来识别出橡胶树的位置，并测得目标橡胶树距割胶机器人抱环主体之间的距离，从而对割刀的初始位置进行粗调整。

2.具体包括如下步骤：

步骤 1：对双目相机进行双目标定，来消除相机的畸变

步骤 2：获取双目相机的图像；

步骤 3：对双目相机所采集到的两幅图像，通过双目立体匹配SGBM算法来计算出当前的视差图；

步骤4：利用双目相机中的左相机所采集到的图像，对其进行中值滤波操作后，根据颜色来得到一个橡胶树的位置区域；

步骤 5：利用双目相机中的左相机所采集到的图像，将其转换为灰度图，然后使用canny算子来进行边缘检测，并执行开操作去消除图像中的噪声，平滑树木轮廓的边缘，最终得到一个橡胶树的位置区域；

步骤 6:利用步骤3中所计算得到的视差图，根据视差图的数值，选择数值在一个合适范围内的区域作为一个橡胶树的位置区域；

步骤7：综合以上三个区域，选择它们的交集作为最终橡胶树的位置，并根据这个区域计算得到橡胶树的中心位置；

步骤 8：根据步骤7所得到的橡胶树中心位置，由步骤3计算的视差图，来获得橡胶树此时距离割胶机器人抱环的距离；

步骤9：根据计算得到的橡胶树的位置，来调整割刀的位置，直到割刀与橡胶树的距离在一个合适的范围内后，割刀位置的粗调节整个过程结束。

3.一种基于双目相机与单目相机相结合的智能割刀定位算法，其特征在于通过单目相机来识别出目标橡胶树上的十字辅助定位图案，根据预先标定好的十字辅助图案应该处于单目相机中视野中位置以及所占的像素面积大小，不断调整单目相机的位置，直到十字辅助定位图案在单目相机中的中心位置以及所占的像素面积就和预期目标相一致，最终完成对割刀初始位置的微调。

4.具体包括如下步骤：

步骤 1：将十字辅助图案需要在单目相机视野内达到的面积和位置标定出来；

步骤 2：不断移动单目相机的位置，实时获取单目相机的图像；

步骤3：根据单目相机获得的图像，通过颜色来识别出单目相机图像中的十字辅助定位图案；

步骤4：根据识别到的十字辅助定位图案，计算出它所占的像素面积与事先标定好的目标像素面积大小是否一致，如果一致将继续执行步骤5，否则，返回执行步骤2；

步骤5：根据识别到的十字辅助定位图案，计算出它所占的像素中心位置与事先标定好的目标像素中心位置是否一致，如果一致将继续执行步骤6，否则，返回执行步骤2；

步骤 6：割刀的初始位置调整完毕，程序结束。

5.根据权利要求1所述的一种基于双目相机与单目相机相结合的智能割刀定位算法，其特征在于，通过结合橡胶树在双目相机视野中的颜色、通过边缘检测算法测得橡胶树的轮廓以及视差图的数值来准确地识别出橡胶树的位置，并找到双目相机视野中橡胶树的中心点坐标。

6.根据权利要求1所述的一种基于双目相机与单目相机相结合的智能割刀定位算法，其特征在于，当橡胶树林里橡胶树比较密集时，可以通过双目相机得到的视差图灰度值来区分前排树和后排树，从而根据视差图的数值找到需要割胶的目标橡胶树。

7.根据权利要求2所述的一种基于双目相机与单目相机相结合的智能割刀定位算法，其特征在于，先将抱环主体上的割刀移动到目标割胶起始位置处，此时通过单目相机拍下十字辅助定位图案，然后将此时十字图案在相机图像中所占的像素大小及像素中心位置给记录下来，作为之后割刀位置微调过程中，十字图案在相机中所需要达到的目标要求。

8.根据权利要求2所述的一种基于双目相机与单目相机相结合的智能割刀定位算法，其特征在于，当橡胶树林里橡胶树比较密集时，可以通过双目相机得到的视差图灰度值来区分前排树和后排树，从而根据视差图的数值找到需要割胶的目标橡胶树。

Images