CN116991152A - 一种物料整理方法、系统、终端及存储介质 - Google Patents

Abstract

本发明涉及一种物料整理方法、系统、终端及存储介质，其属于物料回收整理的领域，其中方法包括在获取到图像采集设备反馈的第一区域影像后，识别其中的物料图形，并基于识别结果，生成记录有操作区域的初始规划路径；控制AGV小车沿初始规划路径移动，并在AGV小车进入每个操作区域后，控制3D视觉采集设备运行；基于获取到的由3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，状态信息包括物料姿态、物料角度和物料位置；基于状态信息，控制机械臂抓取目标物料并放置到物料存放机构中。本申请具有能够实现对合金线的自动回收的效果。

Description

一种物料整理方法、系统、终端及存储介质

技术领域

本发明涉及物料回收整理的领域，尤其是涉及一种物料整理方法、系统、终端及存储介质。

背景技术

AGV小车，指装备有电磁或等自动导航装置，能够沿规定的导航路径行驶，具有安全保护以及各种移载功能的运输车，一般可通过电脑来控制其行进路径以及行为。

合金线作为一种常见的材料，主要用于建筑、工业生产等领域。一般情况下，合金线都被绕卷在工字辊上，使用时从工字辊上逐渐取下即可。在实际的工厂车间中，使用后的工字辊常常会四散分布，为了生产环境的整洁以及对物料的科学管理，需要对使用完成的工字辊进行回收。

在实现本申请的过程中，发明人发现上述技术至少存在以下问题：由于工厂车间场地一般较大，且缠绕有合金线的工字辊的质量一般都很大，采用人工回收的方式效率很低，浪费了人力。

发明内容

为了实现对合金线的自动回收，本申请提供一种物料整理方法、系统、终端及存储介质。

第一方面，本申请提供一种物料整理方法，采用如下的技术方案：

一种物料整理方法，所述方法基于一物料整理系统，所述物料整理系统包括图像采集设备和配置有机械臂的AGV小车，所述AGV小车上设置有控制终端和物料存放机构，所述机械臂上设置有3D视觉采集设备，所述方法包括：

在获取到所述图像采集设备反馈的第一区域影像后，识别其中的物料图形，并基于识别结果，生成记录有操作区域的初始规划路径；

控制所述AGV小车沿所述初始规划路径移动，并在所述AGV小车进入每个所述操作区域后，控制所述3D视觉采集设备运行；

基于获取到的由所述3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，所述状态信息包括物料姿态、物料角度和物料位置；

基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中。

通过采用上述技术方案，使用时，可以先由图像采集设备获取针对工作区域的第一区域影像，并反馈给控制终端，控制终端对第一区域影像进行图像识别处理，从而识别出四散在工作区域中的各个物料的位置，并针对物料生成操作区域，进而生成初始规划路径。之后，控制终端控制AGV小车沿初始规划路径依次到达各个操作区域，并在到达每个操作区域后，通过3D视觉采集设备确认该操作区域中的目标物料的物料姿态、物料位置和物料角度，并进一步控制机械臂抓取目标物料并放入物料存放机构中，从而实现了对物料，即合金线的自动回收。

可选的，在所述控制所述AGV小车沿所述初始规划路径移动的同时，所述方法还包括：

在识别到所述AGV小车的前进方向上存在障碍物后，控制所述AGV小车暂停运行，并通过所述3D视觉采集设备获取包含障碍物的实时车前影像；

对所述实时车前影像进行图像识别处理，并基于处理结果，对所述初始规划路径进行更新。

可选的，在所述初始规划路径中，每个所述操作区域内均随机选取有一个操作点，每相邻的两个所述操作点之间均存在转移路段；

所述对所述实时车前影像进行图像识别处理，并基于处理结果，对所述初始规划路径进行更新，具体包括：

识别所述实时车前影像中障碍物的所处状态；

若识别到在预设的第一等待时长内，所述障碍物最终处于静止状态且持续时长大于第一时长，则基于所述实时车前影像，识别所述障碍物处于静止状态时的位置信息；

识别所述AGV小车在所述初始规划路径上的下一操作区域；

基于所述AGV小车的当前位置和所述障碍物处于静止状态时的位置信息，从下一所述操作区域中选取新的操作点，并对所述AGV小车当前所处的转移路段进行更新。

可选的，在所述识别所述实时车前影像中障碍物的所处状态之后，所述方法还包括：

若识别到在预设的第一等待时长内，所述障碍物从所述实时车前影像中消失，则取消对所述初始规划路径的更新；

若识别到在预设的第一等待时长内，所述障碍物最终处于运动状态，则识别所述障碍物在第一等待时长内的运动趋势；

若识别到所述障碍物具有趋向所述实时车前影像边缘的运动趋势，则继续等待预设的第二等待时长，否则识别所述障碍物在第一等待时长内的运动范围，并基于所述运动范围和所述AGV小车的当前位置，对所述初始规划路径进行更新；

若识别到在所述第二等待时长内，所述障碍物从所述实时车前影像中消失，则取消对所述初始规划路径的更新。

可选的，所述物料存放机构包括竖直设置的放置架和水平设置的放置板，所述放置架上分布有多个用于放置工字辊的放置杆，所述放置板上分布有多个用于放置工字辊的放置槽；

所述状态信息还包括合金线种类和合金线余量，所述目标物料的合金线余量通过以下方法识别：

基于所述实时物料影像中目标物料的合金线外沿和工字辊外沿的间距，判断所述目标物料的合金线余量；

此时，所述基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中，具体包括：

基于对应于所述目标物料的物料姿态、物料角度和物料位置，生成对应于所述目标物料的对所述机械臂的取料控制指令，并基于所述取料控制指令控制机械臂抓取所述目标物料；

基于所述合金线种类和合金线余量，确认所述目标物料所对应的目标放置位置，并基于所述目标放置位置，将所述目标物料放置到所述放置架上的指定放置杆上或所述放置板上的指定放置槽中。

可选的，所述方法还包括：

在控制所述机械臂抓取任意所述物料时，记录所述AGV小车的当前位置，并存储为对应于该所述物料的取料位置；

在将任意所述物料放置到对应的放置位置后，建立所述物料和与其对应的取料位置、状态信息和放置位置之间的关联关系，从而得到一个物料存放操作记录；

在接收到物料复原指令后，控制所述图像采集设备采集并反馈第二区域影像，所述第二区域影像和第一区域影像针对相同的区域；

基于所述第二区域影像和所有所述物料存放操作记录中的取料位置，生成记录有放料位置的复原规划路径，并建立所述物料和放料位置之间的对应关系；

基于所述物料存放操作记录，生成对应于一一对应于物料的对机械臂的物料复位控制指令；

控制所述AVG小车沿所述复原规划路径行驶，并在所述AGV小车到达对应于第一物料的第一放料位置后，基于对应于所述第一物料的第一物料复位控制指令，控制所述机械臂运行，使得所述机械臂完成对所述第一物料的位置还原。

可选的，至少一个所述放置杆被标记为回收杆；

在所述基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中之前，还包括：

当识别到所述目标物料的合金线余量为空后，将所述回收杆设置为所述目标物料的目标放置位置。

第二方面，本申请提供一种物料整理系统，采用如下的技术方案：

一种物料整理系统，包括图像采集设备和配置有机械臂的AGV小车，所述AGV小车上设置有物料存放机构，所述AGV小车上设置有控制终端和物料存放机构，所述机械臂上设置有3D视觉采集设备，所述控制终端包括：

图像识别模块，用于在获取到所述图像采集设备反馈的第一区域影像后，识别其中的物料图形；

路径规划模块，用于基于所述图像识别模块的识别结果，生成记录有操作区域的初始规划路径；

设备控制模块，用于控制所述AGV小车沿所述初始规划路径移动，并在所述AGV小车进入每个所述操作区域后，控制所述3D视觉采集设备运行；

所述图像识别模块还用于基于获取到的由所述3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，所述状态信息包括物料姿态、物料角度和物料位置；

所述设备控制模块还用于基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中。

第三方面，本申请提供一种智能终端，采用如下的技术方案：

一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如第一方面所述方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，包括存储有能够被处理器加载并执行如第一方面所述方法的计算机程序。

通过采用上述技术方案，当上述计算机可读存储介质被装入任一计算机后，该计算机就能执行第一方面所述的物料整理方法。

综上所述，本申请包括以下至少一种有益技术效果：

1.使用时，可以先由图像采集设备获取针对工作区域的第一区域影像，并反馈给控制终端，控制终端对第一区域影像进行图像识别处理，从而识别出四散在工作区域中的各个物料的位置，并针对物料生成操作区域，进而生成初始规划路径。之后，控制终端控制AGV小车沿初始规划路径依次到达各个操作区域，并在到达每个操作区域后，通过3D视觉采集设备确认该操作区域中的目标物料的物料姿态、物料位置和物料角度，并进一步控制机械臂抓取目标物料并放入物料存放机构中，从而实现了对物料，即合金线的自动回收。

附图说明

图1是本申请实施例中用于体现物料整理系统的系统框图；

图2是本申请实施例中用于体现物料整理方法的流程示意图；

图3是本申请实施例中用于体现控制终端的系统框图。

附图标记说明：31、图像识别模块；32、路径规划模块；33、设备控制模块。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

本申请实施例公开一种物料整理方法，该方法可以应用于对分布在工作区域内的绕卷有合金线的工字辊的自动回收和整理上，并基于一物料整理系统。参照图1，物料整理系统包括图像采集设备和配置有机械臂的AGV小车，AGV小车内安装有控制终端，图像采集设备可以是摄像头，且和控制终端之间无线连接，使用时，工作人员可以将图像采集设备安装到工作区域内的适当高处，使得图像采集设备能够清楚地获取工作区域的全景图像。机械臂的工作端安装有3D视觉采集设备和针对工字辊的夹取设备，且3D视觉采集设备和夹取设备均信号连接于控制终端。同时，为了方便对AGV小车的控制，ADV小车上还设置有信号连接于控制终端的示教器，工作人员可以通过示教器向控制终端中输入指令。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

S10：在获取到图像采集设备反馈的第一区域影像后，识别其中的物料图形，并基于识别结果，生成记录有操作区域的初始规划路径。

在实施中，在需要对工作区域中的工字辊进行回收时，可以由图像采集设备获取针对工作区域的第一区域影像，并反馈给控制终端。控制终端在接收到第一区域影像后，会对第一区域影像进行图像识别处理，并识别出其中的所有物料图形，即工字辊。之后，控制终端可以识别每个物料图形在第一区域影像中的相对位置，并将各个物料图形附近的空地区域标记为操作区域。举例来说，对于任意一个物料图形，其所对应的操作区域可以是以该物料图形的像素中心为圆心，机械臂的可伸展长度为半径的圆。对于相近的物料图形，可以共同对应一个操作区域。之后，控制终端可以基于第一区域影像和各个操作区域的分布情况，生成记录有操作区域的初始规划路径。

S20：控制AGV小车沿初始规划路径移动，并在AGV小车进入每个操作区域后，控制3D视觉采集设备运行。

在实施中，控制终端可以控制AGV小车沿着初始规划路径移动，使得AGV小车能够依次经过所有操作区域，在移动过程中，控制终端可以获取AGV小车对自身的实时定位结果。当控制终端检测到AGV小车进入任意一个操作区域后，可以控制AGV小车暂停运行，并控制3D视觉采集设备获取包含有目标物料的实时物料影像。其中，目标物料是指位于该操作区域中的工字辊。在此过程中，为了减少遗漏工字辊的可能性，控制终端可以在识别出实时物料影像中不存在目标物料时，控制机械臂带动3D视觉采集设备转动，并在识别到实时物料影像中出现目标物料后，停止转动。

S30：基于获取到的由3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，状态信息包括物料姿态、物料角度和物料位置。

其中，目标物料可以是所有物料中的任意一个，具体指位于AGV小车可操作区域中的物料。状态信息包括物料姿态、物料角度和物料位置。物料姿态可以是指工字辊为水平放置或者竖直放置；物料角度主要是指竖直放置的工字辊的朝向，水平放置的工字辊的角度可以直接定义为0；物料位置则代表工字辊相对机械臂的实际位置。

在实施中，控制终端会对接收到的实时物料影像进行图像识别处理，从而识别出其中的所有目标物料的状态信息。其中，由于实时物料影像中可能会出现位于远处的其他操作区域中的物料图形，因此，控制终端可以先判断物料图形所对应的工字辊和3D视觉采集设备的实际距离，并将实际距离过大的物料图形排除，而将位于操作区域中的物料图形所对应的工字辊识别为目标物料。之后，处理终端可以识别目标物料的状态信息。

S40：基于状态信息，控制机械臂抓取目标物料并放置到物料存放机构中。

在实施中，控制终端可以基于识别出的针对目标物料的状态信息，控制机械臂将目标物料抓取至物料存放机构中，实现对目标物料的回收。

可选的，在另一实施例中，控制终端在控制AGV小车沿初始规划路径移动的同时，还可以进行以下处理：

在识别到AGV小车的前进方向上存在障碍物后，控制AGV小车暂停运行，并通过3D视觉采集设备获取包含障碍物的实时车前影像。

在实施中，AGV小车的前端可以安装有用于识别障碍物的激光测距设备，具体的识别方法属于现有技术，此处不再赘述。控制终端在识别到AGV小车的前进方向上存在障碍物后，可以控制AGV小车暂停运行，并控制3D视觉采集设备获取并反馈包含障碍物的实时车前影像。其中，为了确保AGV小车的暂停效果，AGV小车的底部可以配置有液压顶升设备，当AGV小车暂停行驶后，控制终端可以控制液压顶升设备运行，使得AGV小车的车轮略微离开地面。

对实时车前影像进行图像识别处理，并基于处理结果，对初始规划路径进行更新。

在实施中，控制终端可以对实时车前影像进行图像识别处理，从而识别障碍物所对应的图形在实时车前影像中的位置，并进一步确认障碍物的实际位置。之后，控制终端可以基于障碍物的实际位置和AGV小车当前所处位置，对初始规划路径进行更新，使得AGV小车能够避开障碍物，继续行驶。

可选的，在另一实施例中，在初始规划路径中，每个操作区域内均随机选取有一个操作点，每相邻的两个操作点之间均存在转移路段。其中，操作点可以为AGV小车停车并执行抓取操作时车身的中心点所处的位置点，相邻操作点之间的转移路段即为AGV小车转移时的行驶路径。在此情况下，上述对实时车前影像进行图像识别处理，并基于处理结果，对初始规划路径进行更新，具体可以包括以下内容：

识别实时车前影像中障碍物的所处状态。

其中，障碍物的所处状态是指障碍物处于运动状态还是处于静止状态。

在实施中，控制终端可以对3D视觉采集设备在第一等待时长内所反馈的实时车前影像进行图像识别处理，从而判断障碍物在第一等待时长内的所处状态。其中，第一等待时长可以是由工作人员预先设置，举例来说，可以是3s、5s等等。

若识别到在预设的第一等待时长内，障碍物最终处于静止状态且持续时长大于第一时长，则基于实时车前影像，识别障碍物处于静止状态时的位置信息。

其中，第一时长为小于第一等待时长的一段时间。

在实施中，当识别到障碍物在第一等待时长结束时处于静止状态，且处于静止状态的持续时长大于预设有的第一时长，控制终端则会判断障碍物最终处于静止状态。此时，控制终端可以基于最后时刻的实时车前影像，识别出处于静止状态的障碍物的位置信息。

识别AGV小车在初始规划路径上的下一操作区域。

在实施中，控制终端可以基于AGV小车的当前位置，判断AGV小车即将沿着初始规划路径到达的下一操作区域。

基于AGV小车的当前位置和障碍物处于静止状态时的位置信息，从下一操作区域中选取新的操作点，并对AGV小车当前所处的转移路段进行更新。

在实施中，一方面，如果AGV小车继续沿着初始规划路径行驶，则会撞到障碍物，另一方面，若控制终端仍旧以下一操作区域中的现存的操作点作为转移路段变更的终点位置，则可能会导致AGV小车进行不必要的绕路。因此，为了解决上述问题，控制终端可以基于AGV小车的当前位置以及处于静止状态的障碍物的位置信息，在下一操作区域中重新选取一个新的操作点，并对AGV小车当前所处的转移路段进行更新。选取时，可以考虑AGV小车沿着新的当前的转移路段以及下一转移路段行驶的总距离。

可选的，在另一实施例中，也存在现场的工作人员在AGV小车工作期间进入工作区域内，而被AGV小车判定为障碍物的可能性，因此，在上述识别实时车前影像中障碍物的所处状态之后，上述方法还可以包括：

若识别到在预设的第一等待时长内，障碍物从实时车前影像中消失，则取消对初始规划路径的更新。

其中，第一等待时长可以是3s、5s等预先设置的时长。

在实施中，当识别到在第一等待时长内，障碍物从实时车前影像中消失，则代表障碍物可能是进入工作区域的工作人员，且已经在发现AGV小车靠近后及时避让，此时，上述障碍物并不会对AGV小车的移动带来影响，因此，控制终端会取消对初始规划路径的更新。

若识别到在预设的第一等待时长内，障碍物最终处于运动状态，则识别障碍物在第一等待时长内的运动趋势。

在实施中，控制终端若识别到在第一等待时长内，障碍物最终也未从实时车前影像中消失，且仍处于运动状态，则会识别障碍物在第一等待时长内的运动趋势。

若识别到障碍物具有趋向实时车前影像边缘的运动趋势，则继续等待预设的第二等待时长，否则识别障碍物在第一等待时长内的运动范围，并基于运动范围和AGV小车的当前位置，对初始规划路径进行更新。

在实施中，控制终端在识别到障碍物具有趋向实时车前影像边缘的运动趋势，即具有离开车前区域的运动趋势时，即使障碍物仍未从车前区域离开，控制终端仍会继续等待第二等待时长，以减小对初始规划路径进行更新时，障碍物已经离开车前区域，导致多余操作的可能性。若识别到障碍物并不具有离开车前区域的运动趋势，控制终端则会识别障碍物在第一等待时长内的运动范围，并基于该运动范围和AGV小车的当前位置，对初始规划路径进行更新，使得AGV小车能够避开障碍物的运动范围。

若识别到在第二等待时长内，障碍物从实时车前影像中消失，则取消对初始规划路径的更新。

在实施中，控制终端若识别到在第二等待时长内，障碍物从实时车前影像中消失，则会取消对初始规划路径的更新。

配合上述方法，AGV小车上也可以安装有信号连接于控制终端的报警设备，例如声光报警器、具有闪烁功能的指示灯等等。当识别到车前存在障碍物时，控制终端可以控制报警设备发出警报，从而对位于初始规划路径上的工作人员发出提醒，提醒其及时避让。

可选的，在另一实施例中，物料存放机构包括竖直设置的放置架和水平设置的放置板，放置架上分布有多个用于放置工字辊的放置杆，放置板上分布有多个用于放置工字辊的放置槽。其中，不同的放置杆可以对应不同种类的合金线，不同的放置槽同样对应不同种类的合金线。且对于任一种类的合金线，同时有放置杆和放置槽与之对应。具体的对应关系可以预先存储在控制终端中。同时，S3O中所识别出的状态信息还可以包括合金线种类和合金线余量。其中，合金线的种类可以通过合金线的颜色或者工字辊的颜色进行区分和识别。对目标物料的金线余量的识别则可以通过以下方法实现：

基于实时物料影像中目标物料的合金线外沿和工字辊外沿的间距，判断目标物料的合金线余量。

在实施中，控制终端可以识别实时物料影像中的目标物料、即工字辊上绕设的合金线的最外围轮廓以及工字辊外径的轮廓，并计算两者之间的差值，从而判断出目标物料所对应的合金线余量。

此时，上述S40具体可以包括以下内容：

基于合金线种类和合金线余量，确认目标物料所对应的目标放置位置，并基于目标放置位置，将目标物料放置到所述放置架上的指定放置杆上或放置板上的指定放置槽中。

在实施中，控制终端可以基于识别出的目标物料的物料姿态、物料角度和物料位置，生成对应于目标物料且针对机械臂的取料控制指令，并基于取料控制指令控制机械臂抓取目标物料。

基于合金线种类和合金线余量，确认目标物料所对应的目标放置位置，并基于目标放置位置，将目标物料放置到放置架上的指定放置杆上或放置板上的指定放置槽中。

在实施中，控制终端可以基于识别出的合金线余量，确认将目标物料放置到放置架还是放置板上。具体来说，控制终端可以选择将合金线余量多的目标物料放置到放置板上，而将合金线余量多的目标物料放置到放置架上。进一步的，控制终端可以基于识别出的合金线种类、预存有的合金线种类和放置杆的对应关系或者合金线种类和放置槽的对应关系，确认目标物料所对应的目标放置位置。合金线余量少的工字辊被悬挂在放置杆上，减小了放置杆的负担的同时，也可以便于之后工作人员的再次取用，且减小了余量少的工字辊尚未用完而直接取用余量多的工字辊的可能性。

可选的，在另一实施例中，为了便于对合金线用完的工字辊的更换，至少一个放置杆被设置为回收杆。

在此情况下，在上述基于状态信息，控制机械臂抓取目标物料并放置到物料存放机构中之前，还可以包括以下内容：

当识别到目标物料的合金线余量为空后，将回收杆设置为目标物料的目标放置位置。

在实施中，控制终端在识别到目标物料，即工字辊上未缠绕有合金线后，会判断目标物料的合金线余量为空，此时，控制终端可以将回收杆设置为目标物料的目标放置位置，并控制机械臂将目标物料放置到回收杆上，从而便于工作人员统一回收。

可选的，在另一实施例中，物料整理方法还可以包括以下内容：

在控制机械臂抓取任意物料时，记录AGV小车的当前位置，并存储为对应于该物料的取料位置。

在实施中，当AGV小车停留并控制机械臂抓取任意物料时，控制终端可以记录当前时刻AGV小车的当前位置，并存储为对应于该物料的取料位置。

在将任意物料放置到对应的放置位置后，建立物料和与其对应的取料位置、状态信息和放置位置之间的关联关系，从而得到一个物料存放操作记录。

在实施中，控制终端在控制机械臂将任意一个物料放置到其对应的放置位置后，都会建立该物料和对应的取料位置、状态信息和放置位置之间的关联关系，从而生成一个物料存放操作记录。其中，对应的状态信息由上述S30生成，包括该物料在未被抓取时的物料姿态、物料交底和物料位置。放置位置也由前述中的步骤生成，此处不再赘述。

在接收到物料复原指令后，控制图像采集设备采集并反馈第二区域影像，第二区域影像和第一区域影像针对相同的区域。

可选的，在AGV小车完成所有取料后，若工作人员还想按照之前的场地布局进行工作，则可以通过按下指定按键的方式向控制终端发出物料复原指令。控制终端在接收到物料复原指令后，可以控制图像采集设备运行，使得图像采集设备获取并反馈针对工作区域的第二区域影像。

基于第二区域影像和所有物料存放操作记录中的取料位置，生成记录有放料位置的复原规划路径，并建立物料和放料位置之间的对应关系。

在实施中，控制终端可以对第二区域影像进行图像识别处理，同时识别所有物料存放操作记录中的取料位置，并将各个取料位置转换成放料位置，同时，控制终端可以基于物料和取料位置的对应关系，建立物料和转换后的放料位置之间的对应关系。之后，控制终端可以规划新的复原规划路径，使得复原规划路径依次覆盖各个所述放料位置。

此外，在其他实施例中，控制终端也可以先基于第二区域影像，识别初始规划路径上是否新增有障碍物，当识别结果为否时，由于取料位置均位于初始规划路径中控制终端可以直接基于初始规划路径，将初始规划路径的起点和终点互换，并转换生成复原规划路径。各个取料位置也会被直接记录在复原规划路径中。

基于物料存放操作记录，生成对应于一一对应于物料的对机械臂的物料复位控制指令。

在实施中，对于任意一个物料，控制终端均可以识别其对应的物料存放操作记录，并识别其中的放置位置以及状态信息中的物料位置，并以放置位置为起点，物料位置为终点规划机械臂的操作动作和移动路径，从而生成对应于该物料的对机械臂的物料复位控制指令。在一些实施例中，控制终端还可以进一步考虑状态信息中的物料姿态和物料角度，从而对物料复位控制指令进行调整，使得复位后的物料更为贴近于被抓取存放前的状态。为了提高生成效率，控制终端也可以直接在对应于该物料的取料控制指令的基础上，生成对应的物料复位控制指令。

控制AVG小车沿复原规划路径行驶，并在AGV小车到达对应于第一物料的第一放料位置后，基于对应于第一物料的第一物料复位控制指令，控制机械臂运行，使得机械臂完成对第一物料的位置还原。

其中，第一物料可以是需要进行复位的所有物料中的任意一个。

在实施中，控制终端可以控制AVG小车沿复原规划路径行驶，并在AGV小车到达对应于第一物料的第一放料位置后，基于对应于第一物料的第一物料复位控制指令，控制机械臂运行，使得机械臂完成对第一物料的位置还原。

进一步的，在另一实施例中，为了便于工作人员对物料的调整，上述方法还可以包括以下内容：

在完成对所有物料的收集存放，且AGV小车处于闲置状态后，工作人员还可以对任意物料的复原位置进行调整，也可以对任意物料进行更换。此时，工作人员只需向控制中心发送携带有更换需求的针对任意物料的更换指令。其中，更换需要可以包括：用于替代该物料的替代物料在物料存放机构中的物料位置、用于取代当前的状态信息中的物料位置的更新位置等等，控制终端在接收到更换指令后，可以基于其所携带的更换需求，对相互对应的物料和物料存放操作记录进行调整更新。

此外，当识别到任意一个物料，即目标物料的合金线余量为空后，控制终端还可以自动调取当前的物料存放记录，从而判断识别有处于空闲状态的与目标物料的合金线种类相同的闲置物料，并将与目标物料对应的物料存放操作记录的关联关系转移到该闲置物料上，并将其中的对应于目标物料的目标放置位置替换为闲置物料的放置位置。通过采用该方法，能够实现在进行复位操作时，对用完的物料的自动替换。

可选的，在另一实施例中，物料整理方法还可以包括以下内容：

当AGV小车处于闲置状态时，按照预设的电量检测周期，定期检测AGV小车中蓄电池的剩余电量。

当剩余电量小于预设的电量阈值时，向图像采集设备发出采集请求信号，以使图像采集设备反馈当前时刻的充电区影像。

其中，工作区域附近或工作区域内会设置有专门的充电区域，充电区域中设置有用于为AGV小车充电的充电桩，图像采集设备同样能够获取针对充电区域的充电区影像。

在实施中，当检测到的剩余电量小于预设有的电量阈值时，则代表蓄电池电量不足，此时，控制终端可以向图像采集设备发送一个采集请求信号，使得图像采集设备获取并反馈针对充电区域的充电区影像。

基于充电区影像、AGV小车的当前位置和预设有的充电桩位置，生成充电导航路径。

其中，控制终端中可以预先存储有充电桩的位置信息，即充电桩位置。

在实施中，控制终端在接收到充电区影像后，可以基于充电区影像，判断充电桩是否处于闲置状态，当判断结果为是时，控制终端可以以AGV小车的当前位置为起点，充电桩位置为终点，生成充电导航路径。

基于充电导航路径，控制AGV小车移动至充电桩位置。

在实施中，控制终端可以基于生成的充电导航路径，控制AGV小车移动至充电桩位置，最终完成充电。

基于上述方法，本申请实施例还公开一种物料整理系统，参照图3，物料整理系统包括图像采集设备和配置有机械臂的AGV小车，AGV小车上设置有控制终端和物料存放机构，机械臂上设置有3D视觉采集设备。其中，控制终端包括：

图像识别模块31，用于在获取到图像采集设备反馈的第一区域影像后，识别其中的物料图形。

路径规划模块32，用于基于图像识别模块31的识别结果，生成记录有操作区域的初始规划路径。

设备控制模块33，用于控制AGV小车沿初始规划路径移动，并在AGV小车进入每个操作区域后，控制3D视觉采集设备运行。

图像识别模块31还用于基于获取到的由3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，状态信息包括物料姿态、物料角度和物料位置。

设备控制模块33还用于基于状态信息，控制机械臂抓取目标物料并放置到物料存放机构中。

可选的，设备控制模块33还用于在识别到AGV小车的前进方向上存在障碍物后，控制AGV小车暂停运行，并通过3D视觉采集设备获取包含障碍物的实时车前影像。

图像识别模块31还用于对实时车前影像进行图像识别处理，路径规划模块32还用于基于上述处理结果，对初始规划路径进行更新。

可选的，图像识别模块31具体用于识别实时车前影像中障碍物的所处状态；还用于在识别到在预设的第一等待时长内，障碍物最终处于静止状态且持续时长大于第一时长后，基于实时车前影像，识别障碍物处于静止状态时的位置信息。

控制终端还包括初始规划路径识别模块，用于识别AGV小车在初始规划路径上的下一操作区域。

路径规划模块32还用于基于AGV小车的当前位置和障碍物处于静止状态时的位置信息，从下一操作区域中选取新的操作点，并对AGV小车当前所处的转移路段进行更新。

可选的，路径规划模块32还用于在识别到在预设的第一等待时长内，障碍物从实时车前影像中消失后，取消对初始规划路径的更新。

控制终端还包括运动趋势识别模块，用于若识别到在预设的第一等待时长内，障碍物最终处于运动状态，则识别障碍物在第一等待时长内的运动趋势。

设备控制模块33还用于在识别到障碍物具有趋向实时车前影像边缘的运动趋势后，继续等待预设的第二等待时长。

路径规划模块32还用于在识别到障碍物不具有趋向实时车前影像边缘的运动趋势后，识别障碍物在第一等待时长内的运动范围，并基于运动范围和AGV小车的当前位置，对初始规划路径进行更新。

路径规划模块32还用于在识别到在第二等待时长内，障碍物从实时车前影像中消失后，取消对初始规划路径的更新。

可选的，物料存放机构包括竖直设置的放置架和水平设置的放置板，放置架上分布有多个用于放置工字辊的放置杆，放置板上分布有多个用于放置工字辊的放置槽。

控制终端还包括合金线余量识别模块，用于基于实时物料影像中目标物料的合金线外沿和工字辊外沿的间距，判断目标物料的合金线余量。

设备控制模块33具体用于基于物料姿态、物料角度和物料位置，生成对机械臂的取料控制指令，并基于取料控制指令控制机械臂抓取目标物料。

控制终端还包括目标放置位置设置模块，用于基于合金线种类和合金线余量，确认目标物料所对应的目标放置位置。

设备控制模块33具体用于基于目标放置位置，将目标物料放置到放置架上的指定放置杆上或放置板上的指定放置槽中。

可选的，至少一个放置杆被标记为回收杆。目标放置位置设置模块还用于当识别到目标物料的合金线余量为空后，将回收杆设置为目标物料的目标放置位置。

可选的，控制终端还包括：

取料位置记录模块，用于在控制机械臂抓取任意物料时，记录AGV小车的当前位置，并存储为对应于该物料的取料位置。

物料存放操作记录生成模块，用于在将任意物料放置到对应的放置位置后，建立物料和与其对应的取料位置、状态信息和放置位置之间的关联关系，从而得到一个物料存放操作记录。

第二区域影像获取模块，用于在接收到物料复原指令后，控制图像采集设备采集并反馈第二区域影像，第二区域影像和第一区域影像针对相同的区域。

路径规划模块还用于基于第二区域影像和所有物料存放操作记录中的取料位置，生成记录有放料位置的复原规划路径，并建立物料和放料位置之间的对应关系。

物料复位控制指令生成模块，用于基于物料存放操作记录，生成对应于一一对应于物料的对机械臂的物料复位控制指令。

设备控制模块还用于控制AVG小车沿复原规划路径行驶，并在AGV小车到达对应于第一物料的第一放料位置后，基于对应于第一物料的第一物料复位控制指令，控制机械臂运行，使得机械臂完成对第一物料的位置还原。

本申请实施例还公开一种智能终端，智能终端包括存储器和处理器，存储器上存储有能够被处理器加载并执行如上述的物料整理方法的计算机程序。

本申请实施例还公开一种计算机可读存储介质，其存储有能够被处理器加载并执行如上述的物料整理方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对申请的保护范围进行限制。显然，所描述的实施例仅仅是本申请部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所要保护的范围。

Claims (10)

1.一种物料整理方法，其特征在于，所述方法基于一物料整理系统，所述物料整理系统包括图像采集设备和配置有机械臂的AGV小车，所述AGV小车上设置有控制终端和物料存放机构，所述机械臂上设置有3D视觉采集设备，所述方法包括：

在获取到所述图像采集设备反馈的第一区域影像后，识别其中的物料图形，并基于识别结果，生成记录有操作区域的初始规划路径；

控制所述AGV小车沿所述初始规划路径移动，并在所述AGV小车进入每个所述操作区域后，控制所述3D视觉采集设备运行；

基于获取到的由所述3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，所述状态信息包括物料姿态、物料角度和物料位置；

基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中。

2.根据权利要求1所述的物料整理方法，其特征在于，在所述控制所述AGV小车沿所述初始规划路径移动的同时，所述方法还包括：

在识别到所述AGV小车的前进方向上存在障碍物后，控制所述AGV小车暂停运行，并通过所述3D视觉采集设备获取包含障碍物的实时车前影像；

对所述实时车前影像进行图像识别处理，并基于处理结果，对所述初始规划路径进行更新。

3.根据权利要求2所述的物料整理方法，其特征在于，在所述初始规划路径中，每个所述操作区域内均随机选取有一个操作点，每相邻的两个所述操作点之间均存在转移路段；

所述对所述实时车前影像进行图像识别处理，并基于处理结果，对所述初始规划路径进行更新，具体包括：

识别所述实时车前影像中障碍物的所处状态；

若识别到在预设的第一等待时长内，所述障碍物最终处于静止状态且持续时长大于第一时长，则基于所述实时车前影像，识别所述障碍物处于静止状态时的位置信息；

识别所述AGV小车在所述初始规划路径上的下一操作区域；

基于所述AGV小车的当前位置和所述障碍物处于静止状态时的位置信息，从下一所述操作区域中选取新的操作点，并对所述AGV小车当前所处的转移路段进行更新。

4.根据权利要求3所述的物料整理方法，其特征在于，在所述识别所述实时车前影像中障碍物的所处状态之后，所述方法还包括：

若识别到在预设的第一等待时长内，所述障碍物从所述实时车前影像中消失，则取消对所述初始规划路径的更新；

若识别到在预设的第一等待时长内，所述障碍物最终处于运动状态，则识别所述障碍物在第一等待时长内的运动趋势；

若识别到所述障碍物具有趋向所述实时车前影像边缘的运动趋势，则继续等待预设的第二等待时长，否则识别所述障碍物在第一等待时长内的运动范围，并基于所述运动范围和所述AGV小车的当前位置，对所述初始规划路径进行更新；

若识别到在所述第二等待时长内，所述障碍物从所述实时车前影像中消失，则取消对所述初始规划路径的更新。

5.根据权利要求1所述的物料整理方法，其特征在于，所述物料存放机构包括竖直设置的放置架和水平设置的放置板，所述放置架上分布有多个用于放置工字辊的放置杆，所述放置板上分布有多个用于放置工字辊的放置槽；

所述状态信息还包括合金线种类和合金线余量，所述目标物料的合金线余量通过以下方法识别：

基于所述实时物料影像中目标物料的合金线外沿和工字辊外沿的间距，判断所述目标物料的合金线余量；

此时，所述基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中，具体包括：

基于对应于所述目标物料的物料姿态、物料角度和物料位置，生成对应于所述目标物料的对所述机械臂的取料控制指令，并基于所述取料控制指令控制机械臂抓取所述目标物料；

基于所述合金线种类和合金线余量，确认所述目标物料所对应的目标放置位置，并基于所述目标放置位置，将所述目标物料放置到所述放置架上的指定放置杆上或所述放置板上的指定放置槽中。

6.根据权利要求5所述的物料整理方法，其特征在于，所述方法还包括：

至少一个所述放置杆被标记为回收杆；

在所述基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中之前，还包括：

当识别到所述目标物料的合金线余量为空后，将所述回收杆设置为所述目标物料的目标放置位置。

7.根据权利要求5所述的物料整理方法，其特征在于，所述方法还包括：

在控制所述机械臂抓取任意所述物料时，记录所述AGV小车的当前位置，并存储为对应于该所述物料的取料位置；

在将任意所述物料放置到对应的放置位置后，建立所述物料和与其对应的取料位置、状态信息和放置位置之间的关联关系，从而得到一个物料存放操作记录；

在接收到物料复原指令后，控制所述图像采集设备采集并反馈第二区域影像，所述第二区域影像和第一区域影像针对相同的区域；

基于所述第二区域影像和所有所述物料存放操作记录中的取料位置，生成记录有放料位置的复原规划路径，并建立所述物料和放料位置之间的对应关系；

基于所述物料存放操作记录，生成对应于一一对应于物料的对机械臂的物料复位控制指令；

控制所述AVG小车沿所述复原规划路径行驶，并在所述AGV小车到达对应于第一物料的第一放料位置后，基于对应于所述第一物料的第一物料复位控制指令，控制所述机械臂运行，使得所述机械臂完成对所述第一物料的位置还原。

8.一种物料整理系统，其特征在于，包括图像采集设备和配置有机械臂的AGV小车，所述AGV小车上设置有物料存放机构，所述AGV小车上设置有控制终端和物料存放机构，所述机械臂上设置有3D视觉采集设备，所述控制终端包括：

图像识别模块（31），用于在获取到所述图像采集设备反馈的第一区域影像后，识别其中的物料图形；

路径规划模块（32），用于基于所述图像识别模块的识别结果，生成记录有操作区域的初始规划路径；

设备控制模块（33），用于控制所述AGV小车沿所述初始规划路径移动，并在所述AGV小车进入每个所述操作区域后，控制所述3D视觉采集设备运行；

所述图像识别模块（31）还用于基于获取到的由所述3D视觉采集设备所反馈的实时物料影像，得到目标物料的状态信息，所述状态信息包括物料姿态、物料角度和物料位置；

所述设备控制模块（33）还用于基于所述状态信息，控制所述机械臂抓取所述目标物料并放置到所述物料存放机构中。

9.一种智能终端，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中所记载的任一所述方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中所记载的任一所述方法的计算机程序。