CN113115957B - 软壳有核水果去核去壳生产线的位姿调整设备的控制方法 - Google Patents

Abstract

本发明涉及软壳有核水果去核去壳生产线技术领域，公开了一种软壳有核水果去核去壳生产线的位姿调整设备的控制方法。本发明根据水果及其果蒂的实际形状以及调整过程中的惯性影响设计出近似拟合的控制算法，采用视觉识别计数对果蒂所在位置进行识别，通过多次调整不断逼近理想情况。采用半闭环系统控制，通过限定调整次数来实现尽可能精确的位姿调整，避免了闭环系统中可能存在的长期反复循环的缺陷，更加符合工业应用需求。经过实践证明，本发明的控制方法精度高、调整速度快，可广泛应用于龙眼、荔枝等软壳有核水果去核前的位姿调整，值得推广应用。

Description

软壳有核水果去核去壳生产线的位姿调整设备的控制方法

技术领域

本发明涉及软壳有核水果去核去壳生产线技术领域，尤其涉及到一种软壳有核水果去核去壳生产线的位姿调整设备的控制方法。

技术背景

龙眼、桂圆等软壳有核水果盛产于中国南部与东南亚地区，而其新鲜状态下储存不易，因此相当一部分新鲜的龙眼、桂圆等软壳有核水果被制成干果。龙眼、桂圆等干果在制作时需要对水果进行去核与去壳。针对其中的去核操作，目前已经有较为成熟的自动化设备进行去核，但该加工设备仅仅在软壳有核水果在设备上处于一定位姿要求，例如，龙眼的核为不规则的椭形，龙眼蒂正朝下时去核效果良好。否则，严重影响去核效果。因此，在现有软壳有核水果去核去壳生产方式下，水果去核前的位姿调整是一个不可省略的环节。

目前，在龙眼果干生产中，调整鲜果位姿主要采用人工方式，即人们通过观察，手动将龙眼放置至设备上并调整至合适位姿。但此方式成本高、效率低，并且人工调整的准确率会随着疲劳等因素大幅下降，其稳定性不能满足日益增长的生产需求。

针对此问题许多人提出了各种各样的解决方案，其中一种解决方案为采用视觉识别方式定位龙眼位置，再通过滚轮旋转带动龙眼旋转从而达到调整龙眼位姿的目的。但此方法在控制上存在许多难点，首先便是如何设计一套快速而又准确的算法，如果采用闭环控制，在设备本身精度不高的情况下很有可能会使设备为了将一个龙眼的位姿调整到指定位置而长期运行，其效率难以保证。开环以及半闭环系统的精度则难以保证。同时还存在另外一个问题，精确的定位与复杂的算法对硬件要求极高，作为一个用于实际生产的设备，其成本也是一个不可避免的问题。

发明内容

本发明提供一种用于软壳有核水果去核去壳生产线的位姿调整设备的控制方法，其简洁有效、准确率高、鲁棒性好，可长期高效运行从而满足生产需求。

本发明提供一种用于软壳有核水果去核去壳生产线的位姿调整设备的控制方法，所述位姿调整设备包括在水平面上均匀分布的三个滚轮，每个滚轮分别连接驱动电机及其驱动控制装置，在加工过程中，软壳有核水果被三个滚轮托住，位于三个滚轮正下方的摄像装置，所述摄像装置连接图像处理装置，驱动控制装置、摄像装置、图像处理装置分别连接中心控制器，所述控制方法包括以下步骤：

步骤a、所述中心控制器向所述摄像装置发出拍摄指令；

步骤b、所述摄像装置收到拍摄指令后拍摄水果图像；

步骤c、所述图像处理装置接收水果图像后，将水果图像的尺寸单位有像素转换为长度单位；

步骤d、图像处理装置识别水果图像，判断该水果图像中是否存在果蒂，如果不存在，则向任一个驱动控制装置发出驱动信号，驱动控制装置控制驱动滚轮转动带动水果沿该驱动滚轮的转动方向旋转180°，然后进入下一步骤；如果存在，则直接进入下一步骤；

步骤e、判断果蒂是否位于图像中心，如果是，则跳转至步骤h；如果否，则进入下一步骤；

步骤f、驱动滚轮旋转角度ω1，其中，r1为滚轮的半径，R为水果的半径，/>L1＝h/sin 60°，h＝r*sin(θ)，θ＝(α+30°)％60°.x、y分别为果蒂在滚轮坐标系中的x轴、y轴上的坐标值；

步骤g、驱动滚轮旋转角度ω2，其中，/> 然后跳转至步骤a；

步骤h、调整结束。

进一步优化的，所述的软壳有核水果去核去壳生产线的位姿调整设备的控制方法的步骤g驱动滚轮旋转角度ω2、跳转至步骤a之前，还执行步骤g’：将调整次数值M加1，判断M是否等于设定的调整次数阈值N，如果是，则直接转至步骤h。

最优的方案是，所述N的值为5。

本发明有如下优点：

本发明根据水果及其果蒂的实际形状以及调整过程中的惯性影响设计出一种近似拟合的算法同时通过多次调整不断逼近理想情况。本发明进而采用半闭环系统控制，通过限定调整次数来实现尽可能精确的位姿调整，避免了闭环系统中可能存在的长期反复循环的缺陷，更加符合工业应用需求。本发明采用视觉识别计数对果蒂所在位置进行识别，该方法稳定、高效，不会存在人工识别所存在的视觉疲劳的问题。经过实践证明，本发明的控制方法精度高、调整速度快，可广泛应用于龙眼、荔枝等软壳有核水果去核前的位姿调整，值得推广应用。

附图说明

下面结合附图和具体实施方式对本控制方法作进一步具体说明，并主要以龙眼为例。

图1是用于龙眼去核去皮生产线的位姿调整设备的简要结构示意图。

图2是位姿调整过程中的滚轮坐标系中水果及其果蒂的初始状态示意图。

图3是位姿调整过程中步骤f的示意图，观测方向为图2中V1所示的方向。

图4是位姿调整过程中步骤g的示意图，观测方向为图2中V2所示的方向,其中V2垂直于其正对的运动轨迹线。

图5是控制逻辑框图。

图中：1.龙眼、2.滚轮、3.平板、4.驱动电机、5.电机座、6.支架、7.摄像头、8.防护玻璃。

具体实施方式

软壳有核水果去核去壳生产线的位姿调整设备包括在水平面上均匀分布的三个滚轮，每个滚轮分别连接驱动电机及其驱动控制装置，在加工过程中，软壳有核水果被三个滚轮托住，位于三个驱动滚轮正下方的摄像装置，摄像装置连接图像处理装置，驱动控制装置、摄像装置、图像处理装置分别连接中心控制器。本具体实施方式中，软壳有核水果为龙眼。

如图1所示，滚轮2安装在驱动电机4输出轴并与龙眼1外表皮相切，驱动电机4通过螺钉安装在电机座5上，电机座5与平板3通过螺钉固连。一套龙眼去核去皮生产线的位姿调整设备包含三个驱动机构，三个驱动机构沿圆周均布，可将龙眼1托起。三个滚轮分别与龙眼外表皮接触，通过摩擦力使龙眼旋转。假设忽略滚轮2与龙眼1之间接触的面积，理论上，通过驱动滚轮2可将龙眼1从任意位姿调整至龙眼蒂朝下的位姿。当然，本领域技术人员能够理解，本具体实施方式中的软壳有核水果去核去壳生产线的位姿调整设备包含三个滚轮及其驱动机构，也可能根据本发明作简单的变换，采用三个以上的滚轮及其驱动机构，来实现果蒂的位姿调整。

摄像装置包括支架6、摄像头7、防护玻璃8。其中支架6呈z字形，一端通过螺钉固定在平板3上，另一端开有一个大的通孔用于定位安装摄像头7。防护玻璃8与支架6下端采用螺钉固连，位置处于摄像头7的正上方，用于方式位姿调整过程中的粉尘落到摄像头7上。平板3上开有一个通孔，其直径大于龙眼1的直径，摄像头7可通过该通孔定位龙眼蒂的位置。

三个滚轮在三个方向上驱动龙眼转动，因此，龙眼存在三个转动方向，并且这三个转动方向都在滚轮坐标系的原点处交汇。在一般情况下，将任意位姿状态下的龙眼的果蒂位置调整到三个滚轮坐标系的正中央，理论上仅需两次转动。第一次转动：针对龙眼蒂所处的任意位置，驱动任一滚轮转动，其它两个滚轮静止，使龙眼蒂的位置落在另外一转动方向上；第二个步骤：驱动龙眼蒂的位置所在转动方向上的滚轮转动，带动龙眼转动，使龙眼蒂旋转至滚轮坐标系的原点处，则龙眼位姿调整到了去核加工所需的理想位置。

为识别龙眼蒂所处位置，本发明结合采用了视觉识别技术。如图5所示，本发明的控制方法包括以下步骤：

步骤a、所述中心控制器向所述摄像装置发出拍摄指令；

步骤b、所述摄像装置收到拍摄指令后拍摄水果图像；

步骤c、所述图像处理装置接收水果图像后，将水果图像的大小单位由像素单位转换为长度单位；图像中所得到的大小信息是采用像素作为单位，而滚轮转动是以长度单位来计算的，因此需要将单位像素转化为长度单位，本具体实施方式的长度单位为毫米mm。在实际使用之前需要首先通过摄像头7拍摄对应距离上的标尺，通过标尺上的刻度以及像素数确定该距离下像素与mm之间的转化关系。

步骤d、图像处理装置识别水果图像，判断该水果图像中是否存在果蒂，如果不存在，则步骤d’、向任一个驱动控制装置发出驱动信号，驱动控制装置控制驱动滚轮转动带动水果沿该驱动滚轮的转动方向旋转180°，此时，必然能在图像视野中捕捉到龙眼蒂，然后进入下一步骤；如果存在，则直接进入下一步骤；

步骤e、判断果蒂是否位于图像中心，如果是，则跳转至步骤h；如果否，则进入下一步骤；

步骤f、驱动滚轮旋转角度ω1，其中，r1为滚轮的半径，R为水果的半径，/>L1＝h/sin 60°，h＝r*sin(θ)，θ＝(α+30°)％60°，x、y分别为果蒂在滚轮坐标系中的x轴、y轴上的坐标值；

步骤g、驱动滚轮旋转角度ω2，其中，/>

步骤g’：将调整次数值M加1，判断M是否等于设定的调整次数阈值N，N的值为5；如果否，则跳转至步骤a；如果是，则进入下一步骤h。

步骤h、调整结束。

为使本领域技术人员理解本发明的原理，下面结合图2、3、4所示，对步骤f、步骤g做进一步的说明。如图2所示，龙眼1所处的任意状态中的一个，以及其中的参数。首先，通过摄像头7拍摄到龙眼1的图片，通过图片则可以得到龙眼1的直径以及定位到龙眼蒂的位置。以图片的视野中心为原点构建一个右手系，如图2中的初始状态所示，视野平面内朝右为x轴正方向，朝上为y轴正方向，z轴正方向垂直平面向外在图中通过实心黑点表示。通过该坐标系首先确定龙眼蒂在xy平面内的位置，其中非原点部分的黑点代表龙眼蒂，可得到对应的坐标(x，y)。从图2中可以看到，龙眼蒂可以处在任意位置，图2中的三条在原点交汇的虚线分别代表三个滚轮的运动方向，该运动方向即为滚轮2带动龙眼1旋转时的方向，为方便参数描述将滚轮2的尺寸进行了缩小，同时只表示了其与龙眼接触的一段。

将龙眼蒂调整至正下方即将龙眼蒂调整至视野中央也就是坐标系原点，具体的实现方法可分为两步，分别步骤1和步骤2，图3和图4分别对应步骤1和步骤2，图3和图4的观测方向分别为图2中V1和V2所示的方向。从图2中可以看到，L1、L2、y轴和一条运动方向上的轨迹线共同构成了一个平行四边形区域。图3中的L1为将图2中L1朝平行四边形对边平移到图2中的y轴之后，在沿V1方向的观测平面中所得的线段。图4中的L2为将图2中L2朝平行四边形的对边平移到运动轨迹线上之后，在沿V2方向的观测平面中所得的线段。其中V2方向垂直于其所正对的运动轨迹线。

步骤f为，将龙眼蒂由任意位置调整至任意一条运动轨迹线上，步骤2为，驱动该运动轨迹线所对应的电机7带动龙眼1旋转至指定位置。以图2中所述的初始情况为例，在确定了龙眼蒂的坐标(x，y)之后，做辅助线r、L1、L2、h，通过L1和L2即可计计算出两个步骤中旋转所对应的角度。

设α角度的计算从x轴开始沿逆时针方向范围为0至360°；

θ为圆心到龙眼蒂中心连线同该连线沿顺时针方向最近的运动方向线之间的夹角。

L1与y轴平行，L2与一运动方向线平行，L1和L2与y轴和该方向线所围成的图形为平行四边形；

相应的计算及转换步骤为：

θ＝(α+30°)％60°(此处％为取余符号)

h＝r*sin(θ)

L1＝h/sin 60°

其中β1和β2即为步骤f和步骤g中龙眼1需要旋转的角度。理想情况下滚轮与龙眼之间的旋转角度与对应半径呈反比，设滚轮的半径为r1，两次旋转步骤之间滚轮的旋转角度为ω1和ω2。

其中：

由此即可得到对于处于任意位姿状态下的龙眼1将其旋转至龙眼蒂朝下每个电机所需要旋转的角度。

另外，在实际操作中，判断龙眼蒂是否位于滚轮坐标系中心的具体方法是：以视野的原点为圆心划出一个直径稍大于龙眼蒂的圆，只要龙眼蒂位于该圆内即可认定龙眼蒂居中。如果发现龙眼蒂不再指定的圆内，则调用上述的算法通过电机4驱动龙眼1旋转，调整龙眼1位姿。

由于实际的龙眼1并不是一个规则的球形，并且由于龙眼1的惯性，滚轮2和龙眼1之间的摩擦系数等关系很难一次便调整到位，不同位姿、不同形状的龙眼调整到位所需要的次数也不相同。在工业生产中，一个工步涉及到多个龙眼的同时调整，因此，为了保证时间上的统一将每一个龙眼的调整时间设置为了5个周期。通过大量的实验确定在5个周期后，满足要求的龙眼个数占总龙眼个数的比例可以达到预期标准，因此将调整周期设为5个。这样，本发明采用半闭环系统控制，通过限定调整次数来实现尽可能精确的位姿调整，避免了闭环系统中可能存在的长期反复循环的缺陷，更加符合工业应用需求。

本发明通过监督学习的方法训练深度神经网络模型来保证系统能在所拍摄的图片中准确识别龙眼蒂的所在位置。具体的训练过程是，首先将龙眼1置于位姿调整设备上，随机控制电机4进行旋转，将龙眼1旋转至任意位姿，在此过程中摄像头7不断对龙眼进行拍摄。之后人工对摄像头7所拍摄到的照片进行处理，对于其中存在龙眼蒂的照片将其中的龙眼蒂标出并归类在存在龙眼蒂的照片一类，将不存在龙眼蒂的照片找出并归类在不存在龙眼蒂的一类中。标记完成之后将所有照片输入到模型之中对模型进行训练。训练过程中为增加模型的泛化性会使用到常用的图片增益，包括随机尺寸调整、随机裁剪、随机旋转、随机上下左右翻转、随机色彩空间扰动、随机gamma值扰动、随机模糊、随机噪声等。在实际操作过程中还可以通过人工矫正的方式对模型进行进一步的训练，如果模型对一张图片判断失误，则通过人工修正并再次输入到模型中，最终保证所训练出来的模型可以达到极高的准确率。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种软壳有核水果去核去壳生产线的位姿调整设备的控制方法，所述位姿调整设备包括在水平面上均匀分布的三个驱动滚轮，每个驱动滚轮分别连接驱动电机及其驱动控制装置，在加工过程中，软壳有核水果被三个驱动滚轮托住，位于三个驱动滚轮正下方的摄像装置，所述摄像装置连接图像处理装置，驱动控制装置、摄像装置、图像处理装置分别连接中心控制器，其特征在于，所述控制方法包括以下步骤：

步骤a、所述中心控制器向所述摄像装置发出拍摄指令；

步骤b、所述摄像装置收到拍摄指令后拍摄水果图像；

步骤c、所述图像处理装置接收水果图像后，将水果图像的尺寸单位由像素转换为长度单位；

步骤d、图像处理装置识别水果图像，判断该水果图像中是否存在果蒂，如果不存在，则向任一个驱动控制装置发出驱动信号，驱动控制装置控制驱动滚轮转动带动水果沿该驱动滚轮的转动方向旋转180°，然后进入下一步骤；如果存在，则直接进入下一步骤；

步骤e、判断果蒂是否位于图像中心，如果是，则跳转至步骤h；如果否，则进入下一步骤；

步骤f、驱动滚轮旋转角度ω1，其中，r1为驱动滚轮的半径，R为水果的半径，/>L1＝h/sin60°，h＝r*sin(θ)，θ＝(α+30°)％60°，x、y分别为果蒂在驱动滚轮坐标系中的x轴、y轴上的坐标值；

步骤g、驱动滚轮旋转角度ω2，其中，/> 然后跳转至步骤a；

步骤h、调整结束。

2.根据权利要求1所述的软壳有核水果去核去壳生产线的位姿调整设备的控制方法，其特征在于，所述步骤g驱动滚轮旋转角度ω2后、跳转至步骤a之前，还执行步骤g’：将调整次数值M加1，判断M是否等于设定的调整次数阈值N，如果是，则直接跳转至步骤h。

3.根据权利要求2所述的软壳有核水果去核去壳生产线的位姿调整设备的控制方法，其特征在于，所述N的值为5。