CN115924798A - 一种基于视觉识别的叉车agv取货车货物方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉识别的叉车AGV取货车货物方法及系统，方法包括:通过识别视觉识别模块识别当前排的货物，获取当前排货物的参考点坐标，并获取当前叉车AGV的坐标，得到在全局坐标系下，当前排货物的参考点坐标和当前叉车AGV的坐标，按照所设取货逻辑，选取参考点坐标，根据两者的坐标，规划取货路径。根据取货路径，叉车AGV将货物取下，按照所设取货逻辑，以此类推，直至将t排n行k列的货物取完，以实现将货车上的货物取完。本发明提供了一种基于视觉识别的叉车AGV取货车货物方法，该方法基于视觉识别和临时取货路径的规划，能够准确地且快速地叉取货车上的货物。

Description

一种基于视觉识别的叉车AGV取货车货物方法及系统

技术领域

本发明涉及AGV控制技术领域，特别涉及一种基于视觉识别的叉车AGV取货车货物方法及系统。

背景技术

在工业AGV中，叉车AGV已成为一种被广泛使用的无人驾驶搬运设备。叉车AGV能够在货车取货区将货物搬运至卸货区。由于货车每次停靠的位置不可能完全一致，并且货车上的货物摆放的位置不一定相同且整齐。因此当货车运送货物至货车取货区时，主要还是依靠人工将货车上的货物取下来，再通过叉车AGV将货物进行运输至卸货区卸货。此种取货方式效率不高，且需要大量的人力去搬运货车上的货物，不符合当下智能化的标准。

发明内容

本发明的目的是提供一种基于视觉识别的叉车AGV取货车货物方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明解决其技术问题的解决方案是：提供一种基于视觉识别的叉车AGV取货车货物方法及系统。

根据本发明的第一方面的实施例，提供了一种基于视觉识别的叉车AGV取货车货物方法，包括以下步骤：

货车到达停车测量区，获取所述货车上货物的排列信息，其中，所述排列信息为有t排n行k列货物；

构建视觉坐标系，视觉识别模块识别当前排的货物，获得当前排货物在所述视觉坐标系下的第一参考点坐标，其中所述参考点为货物的中心点；

构建全局坐标系，根据所述第一参考点坐标，将视觉坐标系转换为全局坐标系，转换获得所述当前排货物在全局坐标系下的第二参考点坐标；

叉车AGV停放于待命区中，获取在全局坐标系下的待命区坐标，根据所述待命区坐标和按所设取货逻辑选取的第二参考点坐标，规划取货路径；

按所设取货逻辑，所述叉车AGV根据取货路径取货，判断所述当前排货物是否已取完，若是，则判断所述当前排货物是否为第t排货物，若是，则认为所述货车上货物已取完，将货车驶离停车测量区。

进一步，所述第二参考点坐标的获得过程具体包括：

获取所述视觉识别模块在全局坐标系下的安装位置(x_f,y_f,z_f)，其中，所述视觉识别模块安装于识别门架上，且垂直于地面；

根据所述安装位置(x_f,y_f,z_f)和第一参考点坐标(x_c,y_c,z_c,θ_c)，转换得到第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，其中，x_c为横向偏差，y_c为纵深，z_c为高度差，θ_c为货物平面与视觉平面之间的偏移角。

进一步，所述取货路径的规划过程具体包括：

将所述取货路径分为依次连接的第一路径、第二路径和第三路径；

将所述待命区坐标(x_w,y_w,θ_w)设为第一路径的起点，根据待命区与货车的距离，设置所述第一路径的终点，根据所述待命区坐标和第一路径的终点，规划第一路径；

设所述第二路径的终点为取货调整点，根据第一路径的终点和取货调整点，规划第二路径；

根据所述取货调整点，调整设置所述第三路径的起点，将所述第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)设为第三路径的终点，根据第三路径的起点和第二参考点坐标，规划第三路径。

进一步，所述规划第三路径具体包括：

所述叉车AGV绕取货调整点原地旋转-θ_c，并抬升叉臂z_f-z_c高度，则所述第三路径的起点为(x_c+x_f,y_c+y_f-L,90°-θ_c)，其中，L为根据第三路径的起点与第二参考点坐标所设的直线距离；

根据第三路径的起点(x_c+x_f,y_c+y_f-L,90°-θ_c)和第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，构建半径为

和圆心角为2θ_c的第一圆弧路径，所述第三路径为第一圆弧路径：

进一步，所述规划第二路径具体包括：

设所述第二路径的终点为取货调整点(x_c+x_f,y_c+y_f-L,90°)；

根据取货调整点(x_c+x_f,y_c+y_f-L,90°)和第一路径的终点(x_A,y_A,0)，构建半径为R和圆心角为90°的第二圆弧路径，所述第二路径为第二圆弧路径：

，

其中，R＝x_c+x_f-x_A＝y_c+y_f-L-y_A。

进一步，所述规划第一路径具体包括：

通过导航定位模块获取所述待命区坐标，根据待命区坐标(x_w,y_w,θ_w)推算出AGV参考点坐标(x_r,y_r,θ_r)，两者关系如下：

，

其中，d为导航定位模块与AGV参考点的直线距离；

根据所述待命区与货车的直线距离，设所述第一路径的终点为(x_A,y_A,0)，所述第一路径为AGV参考点坐标(x_r,y_r,θ_r)与第一路径的终点(x_A,y_A,0)间的直线距离，其中，x_c+x_f-x_A＝y_c+y_f-L-y_A，y_A＝y_r。

进一步，所述叉车AGV根据所述取货路径取货具体包括：

所述叉车AGV按照取货路径行驶后，再直行所设距离，通过叉臂抬起当前货物，并沿着所述所设距离和第三路径倒回至取货调整点，完成取货。

进一步，所述视觉识别模块识别当前排的货物还包括：

根据所述排列信息，判断所述视觉识别模块是否识别出n行k列的货物，若是，则输出所述第一参考点坐标；

若否，则再次进行识别，获取当前的识别次数，并判断所述识别次数是否达到所设次数阈值；若是，则发出警示信号。

进一步，所述所设取货逻辑为：在所述全局坐标系下，先以X轴的正方向，遍历n行货物，再以Z轴正方向，遍历k列货物，最后以Y轴的正方向，遍历t排货物。

根据本发明的第二方面的实施例，提供了一种基于视觉识别的叉车AGV取货车货物系统，所述系统包括：

至少一个处理器；至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现第一方面中任一项所述的一种基于视觉识别的叉车AGV取货车货物。

本发明的有益效果是：通过识别视觉识别模块识别当前排的货物，获取当前排货物的参考点坐标，并获取当前叉车AGV的坐标，得到在全局坐标系下，当前排货物的参考点坐标和当前叉车AGV的坐标，按照所设取货逻辑，选取参考点坐标，根据两者的坐标，规划取货路径。根据取货路径，叉车AGV将货物取下，按照所设取货逻辑，以此类推，直至将t排n行k列的货物取完，以实现将货车上的货物取完。本发明提供了一种基于视觉识别的叉车AGV取货车货物方法，该方法基于视觉识别和临时取货路径的规划，能够准确地且快速地叉取货车上的货物。

附图说明

图1是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的示意流程图；

图2是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的全局坐标示意图；

图3是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的叉车型AGV轮廓示意图；

图4是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的叉车型AGV取货示意图；

图5是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的叉车型AGV第二路径行驶示意图；

图6是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的叉车型AGV第三路径行驶示意图；

图7是本发明提供的一种基于视觉识别的叉车AGV取货车货物方法的所设取货逻辑示例图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，而不能理解为对本发明的限制。

需要说明的是，虽然在系统示意图中进行了功能模块划分，但是在某些情况下，可以不同于系统中的模块划分或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义的理解，所属技术领域的技术人员可以结合技术方案的具体内容合理确定上述词语在本发明的具体含义。

根据本发明第一方面的实施例，参照图1，在本发明的一些实施例中，一种基于视觉识别的叉车AGV取货车货物方法包括以下步骤：

S100，货车到达停车测量区，获取货车上货物的排列信息，其中，排列信息为有t排n行k列货物。

在这一实施例中，当装有货物的货车行驶至指定的停车测量区时，发送就位信号至中控系统，中控系统接收就位信号后发送请求信号至视觉识别模块。

货车会尽量停在停车测量区的中央位置，只要在区域内，允许有停车误差。而叉车AGV停放在待命区中。在装货完成时，会输入货车上货物t排n行k列的排列信息，使得在取货时，能够确认货车上货物的数量以及其排列信息。

S200，构建视觉坐标系，视觉识别模块识别当前排的货物，获得当前排货物在视觉坐标系下的第一参考点坐标，其中，参考点为货物的中心点。

在这一实施例中，通过提前标定好的识别模型，视觉识别模块能够识别出货物的轮廓，并且找出货物的参考点。货物的中心点即为货物的参考点。以视觉识别模块为原点构建视觉坐标系。视觉识别模块接收中控系统发送的请求信号后，检测出货物的中心点后，计算得到货物的参考点坐标。根据视觉识别模块的安装位置，则识别出当前排n行k列的货物，即第一参考点坐标(x_c,y_c,z_c,θ_c)，其中，x_c为横向偏差，y_c为纵深，z_c为高度差，θ_c为货物平面与视觉平面之间的偏移角。其中，当前排可以为第一排，也可以为第t排。

需要说明的是，对当前排的货物的第一参考点坐标用数列的形式以n行k列做编号记录保存，例如：对于第一行第一列的货物，其第一参考点坐标的编号为(1,1)，对于第n行第k列的货物，其第一参考点坐标的编号为(n,k)。

其中，当视觉识别模块第一次启动检测时，此时所识别的货物视为第一排货物，即货车最靠近视觉识别模块的一排。在本实施例中，视觉识别模块是由点云相机与结构光相机组成的，视觉识别模块也可以是其他类型视觉识别机构的组合或者只应用一种类型视觉识别机构，因此，在本实施例中，视觉识别模块的类型不作任何限制。

S300，构建全局坐标系，根据第一参考点坐标，将视觉坐标系转换为全局坐标系，转换获得当前排货物在全局坐标系下的第二参考点坐标。

在这一实施例中，由于视觉识别模块的位置是固定的，而叉车AGV由于行驶的原因，其位置是不断在变动的，会存在视觉识别模块无法检测的位置。

因此，需要将视觉坐标系下当前排货物的参考点坐标转换为全局坐标系下当前排货物的参考点坐标，即将第一参考点坐标转换为第二参考点坐标。需要说明的是，在本发明中，全局坐标系即为世界坐标系。

S400，叉车AGV停放于待命区中，获取在全局坐标系下的待命区坐标，根据待命区坐标和按所设取货逻辑选取的第二参考点坐标，规划取货路径。

在这一实施例中，叉车AGV上设有导航定位模块，导航定位模块用于对叉车AGV进行定位，获取在全局坐标系下的定位坐标，并实时发送叉车AGV的定位坐标至中控系统中。叉车AGV停放在待命区中，导航定位模块获取此时的叉车AGV的坐标，即待命区坐标。

中控系统以取货逻辑选取当前排n行k列的货物的第二参考点坐标，根据叉车AGV上的待命区坐标和选取的第二参考点坐标，规划取货路径，将规划好的取货路径下方至叉车AGV中。对于当前排的货物来说，一共得到当前排的n*k条路径。

S500，按所设取货逻辑，叉车AGV根据取货路径取货，判断当前排货物是否已取完，若是，则判断当前排货物是否为第t排货物，若是，则认为货车上货物已取完，将货车驶离停车测量区。

在这一实施例中，按照所设取货逻辑，根据取货路径，叉车AGV进行取货。

当叉车AGV完成当前货物的取货后，判断当前排货物是否已取完，即判断当前取的货物是否为当前排货物的最后一件。若否，即当前取的货物不是当前排货物的最后一件时，则返回S400，获取下一件货物的取货路径，直至将当前排的货物取完；若是，即当前取的货物是当前排货物的最后一件时，则认为当前排的货物已经取完了。

当认为当前排的货物已经取完时，则判断当前排是否为第t排，即当前取的货物是否为第t排的货物的最后一件，若是，则认为货车上t排n行k列货物已经取完了，发送提示信息，提醒司机将货车开走；若否，即认为仍有排数未取完，则返回S200，获取下一排n行k列货物的参考点坐标，直至将t排n行k列货物全部取完。

通过识别视觉识别模块识别当前排的货物，获取当前排货物的参考点坐标，并获取当前叉车AGV的坐标，得到在全局坐标系下，当前排货物的参考点坐标和当前叉车AGV的坐标，按照所设取货逻辑，选取参考点坐标，根据两者的坐标，规划取货路径。根据取货路径，叉车AGV将货物取下，按照所设取货逻辑，以此类推，直至将t排n行k列的货物取完，以实现将货车上的货物取完。本发明提供了一种基于视觉识别的叉车AGV取货车货物方法，该方法基于视觉识别和临时取货路径的规划，能够准确地且快速地叉取货车上的货物。

参照图2至图7，在本发明的一些实施例中，视觉识别模块识别当前排的货物还具体包括以下步骤：

S210，根据S100中获取的t排n行k列排列信息，判断视觉识别模块是否能够识别出n行k列的货物，若是，则输出前排货物在视觉坐标系下的第一参考点坐标。

在这一实施例中，视觉识别模块识别出当前排多个检测物的轮廓后，与输入的排列信息作对比，是否识别出n行k列货物，若是，则视觉识别模块识别无误，输出前排货物在视觉坐标系下的第一参考点坐标，并对当前排的货物的第一参考点坐标用数列的形式以n行k列做编号记录保存。当视觉识别模块记录保存后，发送检测完成信号和第一参考点坐标至中控系统。

例如：对于第一行第一列的货物，其第一参考点坐标的编号为(1,1)，对于第n行第k列的货物，其第一参考点坐标的编号为(n,k)。

S220，若否，则再次进行识别，获取当前的识别次数，并判断识别次数是否达到所设次数阈值。

在这一实施例中，当视觉识别模块识别出的多个检测物的轮廓不为n行k列货物时，则说明识别有误，视觉识别模块再次识别，并获取此时的识别次数，判断识别次数是否等于所设的次数阈值。其中，所设次数阈值设为3次。

S230，则发出警示信号，提醒操作人员检查。

在这一实施例中，当识别次数等于所设的次数阈值时，则发出警示信号，提醒操作人员检查。当识别次数小于所设的次数阈值时，则返回S220中，再次进行识别。

参照图2至图7，在本发明的一些实施例中，第二参考点坐标的获得过程具体包括以下步骤：

S310，在全局坐标系下，获取视觉识别模块的安装位置，视觉识别模块安装于识别门架上，视觉识别模块垂直于地面。

在这一实施例中，由于视觉识别模块的位置是固定的，则可以通过测量得出视觉识别模块的安装位置(x_f,y_f,z_f)，为了尽量减少计算误差，视觉识别模块的安装应保证视觉平面二轴，即，视觉坐标系的XY二轴平行于全局坐标系的XY二轴，并垂直于地面。门架的高度约为2.5米。与现有技术中，每台AGV均设有一个视觉识别模块，则成本较大，一个视觉机构可以代替若干个视觉机构，且实现相同的功能，从而降低成本。

S320，根据安装位置(x_f,y_f,z_f)和第一参考点坐标(x_c,y_c,z_c,θ_c)，转换得到第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，其中，x_c为横向偏差，y_c为纵深，z_c为高度差，θ_c为货物平面与视觉平面之间的偏移角。

在这一实施例中，中控系统根据安装位置(x_f,y_f,z_f)，将货物的第一参考点坐标(x_c,y_c,z_c,θ_c)从视觉坐标系的局部坐标系转换成全局坐标系第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)。x_c为横向偏差，y_c为纵深，z_c为高度差，θ_c为货物平面与视觉平面之间的偏移角。

参照图2至图7，在本发明的一些实施例中，取货路径的规划过程具体包括以下步骤：

S410，将从待命区至待取货物的取货路径划分为依次连接的第一路径、第二路径以及第三路径。

在这一实施例中，中控系统按照所设取货逻辑选取第二参考点坐标，由第一路径、第二路径以及第三路径依次连接组成待命区坐标(x_w,y_w,θ_w)至选取的第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)对应的货物之间的取货路径。

S420，第一路径的起点为待命区坐标，第一路径的终点由待命区与货车的距离设置得到，根据第一路径的起点和终点，规划第一路径。

在这一实施例中，第一路径为直线路径，目的是驶离待命区，往货车的方向靠近。因此，第一路径的起点为待命区坐标(x_w,y_w,θ_w)，并将能够通过待命区与货车的距离定义第一路径的终点，从而标定第一路径的长度，规划第一路径的长度。

S430，第二路径的起点为第一路径的终点，第二路径的终点设为取货调整点，根据第二路径的起点和终点，规划第二路径。

在这一实施例中，第二路径为曲线路径，目的是使得叉车AGV的叉臂能够朝向货物。划分取货路径，即一段路径的起点为另一段路径的终点。因此，第二路径的起点为第一路径的终点，而将叉车AGV的叉臂能够朝向货物的点作为取货调整点，即第二路径的终点。通过设置的第二路径的起点和终点，规划第二路径。

S440，第三路径的起点由取货调整点调整设置得到，第三路径的终点为第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，根据第三路径的起点和终点，规划第三路径。

在这一实施例中，第三路径为曲线路径，目的是让AGV参考点与第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)重合，且货物会存在偏移角θ_c+90°。因此，需要在取货调整点处调整叉车AGV，从而获得第三路径的起点，并标定第三路径的终点为待取货物的第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)。通过设置的第三路径的起点和终点，规划第三路径。

参照图2至图7，在本发明的一些实施例中，第一路径的规划过程具体包括以下步骤：

S421，导航定位模块对叉车AGV进行定位，获取待命区坐标，根据待命区坐标(x_w,y_w,θ_w)与AGV参考点坐标(x_r,y_r,θ_r)的关系：

，

获得AGV参考点坐标(x_r,y_r,θ_r)，d为导航定位模块与AGV参考点的直线距离。

在这一实施例中，叉车AGV上设有导航定位模块和两个辅助轮，导航定位模块设置于叉车AGV的中轴线上，两后辅助轮连线的中点与中轴线的交点为叉车AGV的AGV参考点。导航定位模块与AGV参考点之间的直线距离为d。

待命区坐标(x_w,y_w,θ_w)为由导航定位模块获取在全局坐标系下的叉车AGV在待命区的坐标。根据AGV参考点与导航定位模块之间的位置关系，得到待命区坐标(x_w,y_w,θ_w)与AGV参考点坐标(x_r,y_r,θ_r)的关系：

，

代入待命区坐标(x_w,y_w,θ_w)，得到AGV参考点坐标(x_r,y_r,θ_r)。

S422，根据待命区与货车的直线距离，设第一路径的终点为(x_A,y_A,0)，计算AGV参考点坐标(x_r,y_r,θ_r)与第一路径的终点(x_A,y_A,0)两者之间的直线距离，第一路径为两者之间的直线距离。

在这一实施例中，第一路径为直线路径，目的是驶离待命区，往货车方向靠近。根据AGV待命区与货车的距离标定第一路径的终点(x_A,y_A,0)，从而标定第一路径的长度。

需要说明的是，第一路径的终点(x_A,y_A,0)满足以下两个条件：

参照图2至图7，在本发明的一些实施例中，第二路径的规划过程具体包括以下步骤：

S431，设取货调整点为(x_c+x_f,y_c+y_f-L,90°)，即第二路径的终点为(x_c+x_f,y_c+y_f-L,90°)。

在这一实施例中，第二路径为曲线路径，目的是使得叉车AGV的叉臂能够朝向货物。将叉车AGV的叉臂能够朝向货物，且AGV参考点能够与待取货物的第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)位于同一平面直线上，因此，设第二路径的终点为(x_c+x_f,y_c+y_f-L,90°)，即，设取货调整点为(x_c+x_f,y_c+y_f-L,90°)。

S432，根据取货调整点为(x_c+x_f,y_c+y_f-L,90°)和第一路径的终点(x_A,y_A,0)，构建半径为R和圆心角为90°的第二圆弧路径，第二路径为第二圆弧路径：

在这一实施例中，第二路径为曲线路径，第二路径的起点为第一路径的终点(x_A,y_A,0)，由于满足x_c+x_f-x_A＝y_c+y_f-L-y_A，则可构成一条圆心坐标为(x_A,y_c+y_f-L’)，半径为R，圆心角为90°的第二圆弧路径，则第二圆弧路径为：

，其中，L’为AGV舵轮至AGV参考点之间的直线距离，半径为R＝x_c+x_f-x_A＝y_c+y_f-L-y_A。第二路径为第二圆弧路径。

参照图3和图4，在本发明的一些实施例中，第三路径的规划过程具体包括以下步骤：

S441，控制叉车AGV绕取货调整点旋转-θ_c，并控制叉车AGV的叉臂抬高z_f-z_c，第三路径的起点为(x_c+x_f,y_c+y_f-L,90°-θ_c)。

在这一实施例中，在进行第三路径前，控制叉车AGV绕取货调整点旋转-θ_c，并控制叉车AGV抬升叉臂，抬升高度为z_f-z_c。其中，L为根据第三路径的起点与第二参考点坐标所设的直线距离。在本实施例中，所设的直线距离为2米。

也就是说，叉车AGV沿着第二圆弧路径行驶至取货调整点(x_c+x_f,y_c+y_f-L,90°)后，绕其点原地旋转-θ_c，则当前位置坐标为(x_c+x_f,y_c+y_f-L,90°-θ_c)，当前位置坐标为第三路径的起点。

S442，此时第三路径的起点为(x_c+x_f,y_c+y_f-L,90°-θ_c)，第三路径的终点为待取货物的第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，则可构成一条半径为

圆心角为2θ_c的第一圆弧路径，第三路径为第一圆弧路径：

在这一实施例中，此时第三路径的起点为(x_c+x_f,y_c+y_f-L,90°-θ_c)，第三路径的终点为(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，则可构成一条以

为圆心，

为半径，角度为2θ_c的第一圆弧路径

，此时，AGV参考点与待取货物的第二参考点坐标重合。

在本发明的一些实施例中，根据取货路径叉车AGV取货过程具体包括：

S510，叉车AGV沿着以上取货路径行驶后，只需再直行所设距离，稍抬叉臂，抬起货物，往后倒回行驶所设距离，然后沿规划的第三路径回到取货调整点，取货完成。

在这一实施例中，当叉车AGV沿着以上取货路径行驶后，AGV参考点与待取货物的第二参考点坐标重合，即到位，AGV只需再直行所设距离，待货物完全进入叉臂后，稍抬叉臂，抬起货物，往后倒回行驶所设距离，然后沿规划的第三路径回到取货调整点，发送取货完成信号给中控系统，等待中控系统下发放货路径，即取货步骤全部完成。

参照图7，在本发明的一些实施例中，所设取货逻辑为：以全局坐标系统X轴的正方向遍历n行货物，再以全局坐标系统Z轴的正方向遍历k列货物，最后以全局坐标系统Y轴的正方向遍历t排货物。

在这一实施例中，可以利用货物的参考点坐标的编号进行设置取货逻辑，例如：中控系统选取当前排的参考点坐标的顺序为先遍历n行，再遍历k列，如图5，即先取(1,1)，然后(1,2)，(1,3),第一行取完了，即取第二行(2,1)，(2,2)......如此类推，当n行k列的货物都取完了，则认为当前排的货物已经取完了。

则判断当前排是否为第t排，若否，中控系统刷新排数，排数递加1，发送请求启动信号给视觉识别模块，则返回S200，视觉识别模块收到信号后启动，获取下一排n行k列货物的参考点坐标，以此类推，直到t排n行k列都遍历完成，即整台货车的货物叉取完毕，

根据本发明第二方面的实施例，一种基于视觉识别的叉车AGV取货车货物系统，述系统包括：

至少一个处理器；至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现第一方面中任一项的一种基于视觉识别的叉车AGV取货车货物。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的用于AGV双雷达安装误差标定方法。处理器通过运行存储在存储器中的非暂态软件程序以及指令，从而实现本发明第一方面实施例的叉车AGV的路径跟踪控制方法。

存储器可以包括存储程序区和存储参数区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储参数区可存储执行上述的用于AGV双雷达安装误差标定方法。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的终端选定方法所需的非暂态软件程序以及指令存储在存储器中，当被一个或者多个处理器执行时，执行于本发明第一方面的叉车AGV的路径跟踪控制方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、参数结构、程序模块或其他参数)的任何方法或技术中实施的易失性和非易失性、可移除和不可除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、参数结构、程序模块或者诸如载波或其他传输机制之类的调制参数信号中的其他参数，并且可包括任何信息递送介质。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，包括：

货车到达停车测量区，获取所述货车上货物的排列信息，其中，所述排列信息为有t排n行k列货物；

构建视觉坐标系，视觉识别模块识别当前排的货物，获得当前排货物在所述视觉坐标系下的第一参考点坐标，其中所述参考点为货物的中心点；

构建全局坐标系，根据所述第一参考点坐标，将视觉坐标系转换为全局坐标系，转换获得所述当前排货物在全局坐标系下的第二参考点坐标；

叉车AGV停放于待命区中，获取在全局坐标系下的待命区坐标，根据所述待命区坐标和按所设取货逻辑选取的第二参考点坐标，规划取货路径；

按所设取货逻辑，所述叉车AGV根据取货路径取货，判断所述当前排货物是否已取完，若是，则判断所述当前排货物是否为第t排货物，若是，则认为所述货车上货物已取完，将货车驶离停车测量区。

2.根据权利要求1所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述第二参考点坐标的获得过程具体包括：

获取所述视觉识别模块在全局坐标系下的安装位置(x_f,y_f,z_f)，其中，所述视觉识别模块安装于识别门架上，且垂直于地面；

根据所述安装位置(x_f,y_f,z_f)和第一参考点坐标(x_c,y_c,z_c,θ_c)，转换得到第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，其中，x_c为横向偏差，y_c为纵深，z_c为高度差，θ_c为货物平面与视觉平面之间的偏移角。

3.根据权利要求2所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述取货路径的规划过程具体包括：

将所述取货路径分为依次连接的第一路径、第二路径和第三路径；

将所述待命区坐标(x_w,y_w,θ_w)设为第一路径的起点，根据待命区与货车的距离，设置所述第一路径的终点，根据所述待命区坐标和第一路径的终点，规划第一路径；

设所述第二路径的终点为取货调整点，根据第一路径的终点和取货调整点，规划第二路径；

根据所述取货调整点，调整设置所述第三路径的起点，将所述第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)设为第三路径的终点，根据第三路径的起点和第二参考点坐标，规划第三路径。

4.根据权利要求3所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述规划第三路径具体包括：

所述叉车AGV绕取货调整点原地旋转-θ_c，并抬升叉臂z_f-z_c高度，则所述第三路径的起点为(x_c+x_f,y_c+y_f-L,90°-θ_c)，其中，L为根据第三路径的起点与第二参考点坐标所设的直线距离；

根据第三路径的起点(x_c+x_f,y_c+y_f-L,90°-θ_c)和第二参考点坐标(x_c+x_f,y_c+y_f,z_f-z_c,θ_c+90°)，构建半径为

和圆心角为2θ_c的第一圆弧路径，所述第三路径为第一圆弧路径：

5.根据权利要求4所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述规划第二路径具体包括：

设所述第二路径的终点为取货调整点(x_c+x_f,y_c+y_f-L,90°)；

根据取货调整点(x_c+x_f,y_c+y_f-L,90°)和第一路径的终点(x_A,y_A,0)，构建半径为R和圆心角为90°的第二圆弧路径，所述第二路径为第二圆弧路径：

，

其中，R＝x_c+x_f-x_A＝y_c+y_f-L-y_A。

6.根据权利要求3所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述规划第一路径具体包括：

通过导航定位模块获取所述待命区坐标，根据待命区坐标(x_w,y_w,θ_w)推算出AGV参考点坐标(x_r,y_r,θ_r)，两者关系如下：

，

其中，d为导航定位模块与AGV参考点的直线距离；

根据所述待命区与货车的直线距离，设所述第一路径的终点为(x_A,y_A,0)，所述第一路径为AGV参考点坐标(x_r,y_r,θ_r)与第一路径的终点(x_A,y_A,0)间的直线距离，其中，x_c+x_f-x_A＝y_c+y_f-L-y_A，y_A＝y_r。

7.根据权利要求4所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述叉车AGV根据所述取货路径取货具体包括：

所述叉车AGV按照取货路径行驶后，再直行所设距离，通过叉臂抬起当前货物，并沿着所述所设距离和第三路径倒回至取货调整点，完成取货。

8.根据权利要求1所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述视觉识别模块识别当前排的货物还包括：

根据所述排列信息，判断所述视觉识别模块是否识别出n行k列的货物，若是，则输出所述第一参考点坐标；

若否，则再次进行识别，获取当前的识别次数，并判断所述识别次数是否达到所设次数阈值；若是，则发出警示信号。

9.根据权利要求1所述的一种基于视觉识别的叉车AGV取货车货物方法，其特征在于，所述所设取货逻辑为：在所述全局坐标系下，先以X轴的正方向，遍历n行货物，再以Z轴正方向，遍历k列货物，最后以Y轴的正方向，遍历t排货物。

10.一种基于视觉识别的叉车AGV取货车货物系统，其特征在于，所述系统包括：

至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至9中任意一项所述的一种基于视觉识别的叉车AGV取货车货物。

Images