CN116923944B - 一种基于视觉识别的前置仓配货机器人 - Google Patents

Abstract

本发明涉及配货机器人的技术领域，具体涉及一种基于视觉识别的前置仓配货机器人，该机器人包括依次通信连接的称重模块、信息储存模块、视觉识别模块、控制模块和机器人模块；控制模块根据货架可容纳货品的数量的第一估算值和货架可容纳货品的数量的第二估算值计算货架实际可容纳货品的数量，并将货架实际可容纳货品的数量的信息传输至机器人模块；机器人模块根据货架实际可容纳货品的数量的信息将数量合适的货品捉取至货架中。控制模块从重量和面积两个方式计算货架实际可容纳货品的数量，得到的结果既能满足货架可承载的重量，也能满足货架的容纳面积，对货架形成一定的保护，且减少货品被挤压变形的情形。

Description

一种基于视觉识别的前置仓配货机器人

技术领域

本发明涉及配货机器人的技术领域，具体涉及一种基于视觉识别的前置仓配货机器人。

背景技术

机器人是一种能够半自主或全自主工作的智能机器，机器人能够通过编程和自动控制来执行诸如作业或移动等任务，配货机器人则能根据配货的需求将货品放置在货架上，当需要取货时则需要机器人将对应的货品从货架上取下。

视觉识别包含定位、物体识别和分割的任务，通过视觉识别将主体的轮廓精准的界定出来。

现在已经开发出了很多配货机器人，经过我们大量的检索与参考，发现现有技术的有如公开号为CN108960737A、CN109264275A和CN115991359A所公开的配货机器人，这些一般包括视觉系统和机器人系统，视觉系统和机器人系统通信连接，视觉系统根据拍摄的图像转换为位置信息并传输至机器人系统，机器人系统根据位置信息将货品放置在对应的位置上。

上述的配货机器人根据空位分配货品，然而由于装载货品的货架承载力有限，过多的货品放置在货架上可能导致货架倒塌的情形。

发明内容

本发明的目的在于提高货品放置于货架的安全性，针对上述存在的不足，提出一种基于视觉识别的前置仓配货机器人。

本发明采用如下技术方案：

一种基于视觉识别的前置仓配货机器人，该机器人包括依次通信连接的称重模块、信息储存模块、视觉识别模块、控制模块和机器人模块；

所述称重模块用于储存货架和放置在货架上的货品的总重量、货架的重量和单个货品的重量的信息，并传输至控制模块；

所述信息储存模块用于储存货架可承载的重量、重量误差系数、货架的总层数和货架中单层面积误差系数的信息，并传输至控制模块；

所述视觉识别模块用于储存货架中第层的总面积、货架中第/>层货品的占用面积和单个货品的占用面积的信息，并传输至控制模块；

所述控制模块根据货架可承载的重量、货架和放置在货架上的货品的总重量、货架的重量、重量误差系数和单个货品的重量计算重量参考系数，根据重量参考系数计算货架可容纳货品的数量的第一估算值，根据货架中单层面积误差系数、货架中第层的总面积、货架中第/>层货品的占用面积和单个货品的占用面积计算货架中第/>层的面积参考系数，根据货架中第/>层的面积参考系数和货架的总层数计算货架可容纳货品的数量的第二估算值，根据货架可容纳货品的数量的第一估算值和货架可容纳货品的数量的第二估算值计算货架实际可容纳货品的数量，并将货架实际可容纳货品的数量的信息传输至机器人模块；

所述机器人模块根据货架实际可容纳货品的数量的信息将数量合适的货品捉取至货架中。

可选的，所述视觉识别模块包括第一识别子模块和第二识别子模块，所述第一识别子模块和第二识别子模块均与控制模块通信连接；

所述第一识别子模块用于储存货架中第层的总面积并传输至控制模块；

所述第二识别子模块用于储存货架中第层货品的占用面积和单个货品的占用面积的信息，并传输至控制模块；具体的，占用面积为货品从上往下正投影于货架的面积。

可选的，所述第一识别子模块包括依次通信连接的第一拍摄单元、第一物体识别单元、第一图像分割单元和第一计算单元，所述第一计算单元和所述控制模块通信连接；

所述第一拍摄单元用于拍摄且输出第一图像，并将第一图像传输至第一物体识别单元；

所述第一物体识别单元根据第一图像识别货架并传输至第一图像分割单元；

所述第一图像分割单元用于界定货架轮廓并传输至第一计算单元；

所述第一计算单元根据界定的货架轮廓计算货架中第层的总面积，并传输至控制模块。

可选的，所述第二识别子模块包括依次通信连接的第二拍摄单元、第二物体识别单元、第二图像分割单元和第二计算单元，所述第二计算单元和所述控制模块通信连接；

所述第二拍摄单元用于拍摄且输出第二图像，并将第二图像传输至第二物体识别单元；

所述第二物体识别单元根据第二图像识别货品并传输至第二图像分割单元；

所述第二图像分割单元用于界定货品轮廓并传输至第二计算单元；

所述第二计算单元根据界定的货品轮廓计算货架中第层货品的占用面积和单个货品的占用面积，并传输至控制模块。

可选的，所述控制模块计算货架实际可容纳货品的数量时，满足以下式子：

；

；

；

；

；

其中，为重量参考系数，/>为货架可承载的重量，/>为货架和放置在货架上的货品的总重量，/>为货架的重量，/>为重量误差系数，/>为单个货品的重量；

为货架可容纳货品的数量的第一估算值；

为货架可容纳货品的数量的第二估算值，/>为货架中第/>层的面积参考系数，/>为货架的总层数；

为货架中单层面积误差系数，/>为货架中第/>层的总面积，/>为货架中第/>层货品的占用面积，/>为单个货品的占用面积；

为货架实际可容纳货品的数量。

可选的，该机器人还包括评价模块和统计模块，所述评价模块和统计模块均与控制模块通信连接；

所述评价模块用于储存危险指数、干燥指数和形状指数的信息，并传输至控制模块；

所述统计模块用于储存货品放置在货架上的时长的信息，并传输至控制模块；

所述信息储存模块还用于储存次要影响权重系数和主要影响权重系数的信息，并传输至控制模块；

所述控制模块根据单个货品的重量、单个货品的占用面积和形状指数计算货品存放位置主要影响系数，根据货品放置在货架上的时长计算货品放置在货架上的时长参考指数，根据货品放置在货架上的时长参考指数、危险指数和干燥指数计算货品存放位置次要影响系数，根据次要影响权重系数、货品存放位置次要影响系数、主要影响权重系数和货品存放位置主要影响系数计算货品位置参考系数，根据货品位置参考系数计算货品位置选择函数，根据货品位置选择函数得出货品位置的信息并传输至机械手模块；

所述机器人模块根据货品位置的信息将货品捉取至货架的合适位置。

可选的，所述控制模块计算货品位置参考系数时，满足以下式子：

；

；

；

；

其中，为货品位置参考系数，/>为次要影响权重系数，/>为货品存放位置次要影响系数，/>为主要影响权重系数，/>为货品存放位置主要影响系数；

为危险指数，/>分别有以下取值，/>或/>，当货品不属于易燃易爆类危险物品时/>，当货品属于易燃易爆类危险物品时/>，/>为干燥指数，/>分别有以下取值，/>或/>，当货品需要存放至干燥的空间内时/>，当货品不需要存放至干燥的空间内时/>，/>为货品放置在货架上的时长参考指数；

为货品放置在货架上的时长，/>至/>为不同的货品放置在货架上的时长的选择阈值；

为形状指数，/>分别有以下取值，/>或/>，当货品的形状为规则形状时，当货品的形状为异形时/>。

可选的，所述控制模块计算货品位置选择函数时，满足以下式子：

；

其中，为货品位置选择函数，/>为货品位置参考系数的选择阈值，当/>时为货品位置放在在货架的下层，当/>时为货品位置放在在货架的上层。

本发明所取得的有益效果是：

1、称重模块能实时反映货架和放置在货架上的货品的总重量，便于计算重量参考系数，进而便于计算货架可容纳货品的数量的第一估算值；

2、控制模块从重量和面积两个方式计算货架实际可容纳货品的数量，得到的结果既能满足货架可承载的重量，也能满足货架的容纳面积，对货架形成一定的保护，且减少货品被挤压变形的情形；

3、为了增大储存密度，货架具有一定的高度，根据货品的危险指数、干燥指数和形状指数得到货品位置参考系数，根据货品位置参考系数得到货品位置信息，此时机器人模块根据货品位置信息将获取夹取至对应的位置。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

附图说明

图1为本发明的整体结构示意图；

图2为本发明中第一识别子模块的结构示意图；

图3为本发明中第二识别子模块的结构示意图；

图4为本发明中统计模块的结构示意图；

图5为本发明实施例二的整体结构示意图；

图6为本发明实施例二中检测模块的结构示意图。

具体实施方式

以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸描绘，事先声明。以下实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。

实施例一：本实施例提供了一种基于视觉识别的前置仓配货机器人，结合图1至图4所示。

一种基于视觉识别的前置仓配货机器人，该机器人包括依次通信连接的称重模块、信息储存模块、视觉识别模块、控制模块和机器人模块；

所述称重模块用于储存货架和放置在货架上的货品的总重量、货架的重量和单个货品的重量的信息，并传输至控制模块；

所述信息储存模块用于储存货架可承载的重量、重量误差系数、货架的总层数和货架中单层面积误差系数的信息，并传输至控制模块；

所述视觉识别模块用于储存货架中第层的总面积、货架中第/>层货品的占用面积和单个货品的占用面积的信息，并传输至控制模块；

所述控制模块根据货架可承载的重量、货架和放置在货架上的货品的总重量、货架的重量、重量误差系数和单个货品的重量计算重量参考系数，根据重量参考系数计算货架可容纳货品的数量的第一估算值，根据货架中单层面积误差系数、货架中第层的总面积、货架中第/>层货品的占用面积和单个货品的占用面积计算货架中第/>层的面积参考系数，根据货架中第/>层的面积参考系数和货架的总层数计算货架可容纳货品的数量的第二估算值，根据货架可容纳货品的数量的第一估算值和货架可容纳货品的数量的第二估算值计算货架实际可容纳货品的数量，并将货架实际可容纳货品的数量的信息传输至机器人模块；

所述机器人模块根据货架实际可容纳货品的数量的信息将数量合适的货品捉取至货架中。

可选的，所述视觉识别模块包括第一识别子模块和第二识别子模块，所述第一识别子模块和第二识别子模块均与控制模块通信连接；

所述第一识别子模块用于储存货架中第层的总面积并传输至控制模块；

所述第二识别子模块用于储存货架中第层货品的占用面积和单个货品的占用面积的信息，并传输至控制模块。

可选的，所述第一识别子模块包括依次通信连接的第一拍摄单元、第一物体识别单元、第一图像分割单元和第一计算单元，所述第一计算单元和所述控制模块通信连接；

所述第一拍摄单元用于拍摄且输出第一图像，并将第一图像传输至第一物体识别单元；

所述第一物体识别单元根据第一图像识别货架并传输至第一图像分割单元；

所述第一图像分割单元用于界定货架轮廓并传输至第一计算单元；

所述第一计算单元根据界定的货架轮廓计算货架中第层的总面积，并传输至控制模块。

可选的，所述第二识别子模块包括依次通信连接的第二拍摄单元、第二物体识别单元、第二图像分割单元和第二计算单元，所述第二计算单元和所述控制模块通信连接；

所述第二拍摄单元用于拍摄且输出第二图像，并将第二图像传输至第二物体识别单元；

所述第二物体识别单元根据第二图像识别货品并传输至第二图像分割单元；

所述第二图像分割单元用于界定货品轮廓并传输至第二计算单元；

所述第二计算单元根据界定的货品轮廓计算货架中第层货品的占用面积和单个货品的占用面积，并传输至控制模块。

可选的，所述控制模块计算货架实际可容纳货品的数量时，满足以下式子：

；

；

；

；

；

其中，为重量参考系数，/>为货架可承载的重量，/>为货架和放置在货架上的货品的总重量，/>为货架的重量，/>为重量误差系数，/>为单个货品的重量；

为货架可容纳货品的数量的第一估算值；

为货架可容纳货品的数量的第二估算值，/>为货架中第/>层的面积参考系数，/>为货架的总层数；

为货架中单层面积误差系数，/>为货架中第/>层的总面积，/>为货架中第/>层货品的占用面积，/>为单个货品的占用面积；

为货架实际可容纳货品的数量。

可选的，该机器人还包括评价模块和统计模块，所述评价模块和统计模块均与控制模块通信连接；

所述评价模块用于储存危险指数、干燥指数和形状指数的信息，并传输至控制模块；

所述统计模块用于储存货品放置在货架上的时长的信息，并传输至控制模块；

所述信息储存模块还用于储存次要影响权重系数和主要影响权重系数的信息，并传输至控制模块；

所述控制模块根据单个货品的重量、单个货品的占用面积和形状指数计算货品存放位置主要影响系数，根据货品放置在货架上的时长计算货品放置在货架上的时长参考指数，根据货品放置在货架上的时长参考指数、危险指数和干燥指数计算货品存放位置次要影响系数，根据次要影响权重系数、货品存放位置次要影响系数、主要影响权重系数和货品存放位置主要影响系数计算货品位置参考系数，根据货品位置参考系数计算货品位置选择函数，根据货品位置选择函数得出货品位置的信息并传输至机械手模块；

所述机器人模块根据货品位置的信息将货品捉取至货架的合适位置。

具体的，统计模块包括扫描入库子模块、扫描出库子模块和时间子模块，时间子模块与控制模块通信连接；

扫描入库子模块用于扫取待放置在货架上的货品的二维码，从而得到待放置在货架上的货品的信息以及入库时间并传输至时间子模块；

扫描出库子模块用于扫取在货架上待取出的货品的二维码，从而得到在货架上待取出的货品的信息以及出库时间并传输至时间子模块；

时间子模块根据入库时间和出库时间计算得到货品放置在货架上的时长，并传输至控制模块。

上述通过扫描入库子模块和扫描出库子模块可以自主识别货品。

可选的，所述控制模块计算货品位置参考系数时，满足以下式子：

；

；

；

；

其中，为货品位置参考系数，/>为次要影响权重系数，/>为货品存放位置次要影响系数，/>为主要影响权重系数，/>为货品存放位置主要影响系数；

为危险指数，/>分别有以下取值，/>或/>，当货品不属于易燃易爆类危险物品时/>，当货品属于易燃易爆类危险物品时/>，/>为干燥指数，/>分别有以下取值，/>或/>，当货品需要存放至干燥的空间内时/>，当货品不需要存放至干燥的空间内时/>，/>为货品放置在货架上的时长参考指数；

为货品放置在货架上的时长，/>至/>为不同的货品放置在货架上的时长的选择阈值；

为形状指数，/>分别有以下取值，/>或/>，当货品的形状为规则形状时，当货品的形状为异形时/>。

可选的，所述控制模块计算货品位置选择函数时，满足以下式子：

；

其中，为货品位置选择函数，/>为货品位置参考系数的选择阈值，当/>时为货品位置放在在货架的下层，当/>时为货品位置放在在货架的上层。

本实施例解决了传统的配货机器人配货时没有考虑到货架超载的问题，具体的，本实施例中控制模块从重量和面积两个方式计算货架实际可容纳货品的数量，得到的结果既能满足货架可承载的重量，也能满足货架的容纳面积，对货架形成一定的保护，且减少货品被挤压变形的情形，从另一方面，预先计算数量能有效提高配货效率；

另外，称重模块能实时反映货架和放置在货架上的货品的总重量，便于计算重量参考系数，进而便于计算货架可容纳货品的数量的第一估算值。

最后，货架具有一定的高度，根据货品的危险指数、干燥指数和形状指数得到货品位置参考系数，根据货品位置参考系数得到货品位置信息，此时机器人模块根据货品位置信息将获取夹取至对应的位置。

本实施例适合客户提出的高效配货的需求，尤其的适合当下提出线上购物，多个购物者在电子商务平台下单后，电子商务平台统一配送商品至某一仓库，机器人模块根据提示将货品夹取至货架的某一位置，当购物者需要取货时，机器人模块将对应货品从货架上取下。

实施例二：本实施例包含了实施例一的全部内容，提供了一种基于视觉识别的前置仓配货机器人，结合图5和图6所示。

该机器人还包括检测模块，检测模块与控制模块通信连接；

检测模块得到缺陷面积并传输至控制模块；

控制模块根据缺陷面积得到修复信息并传输至机器人；

机器人根据修复信息将货架上对应的货品取下重新打包。

检测模块包括采集子模块、处理子模块、边缘检测子模块和输出子模块，输出子模块和控制模块通信连接；

采集子模块用于获取采集图像并传输至处理子模块；

处理子模块将采集图像进行图像灰度化处理、图像滤波处理和图像增强处理，将获得的处理图像传输至边缘检测子模块；

边缘检测子模块对处理图像进行边缘检测且提取目标轮廓，并将目标轮廓传输至输出子模块；

输出子模块根据目标轮廓得出缺陷面积并传输至控制模块；

控制模块根据缺陷面积得出修复信息并传输至机器人模块；

机器人模块根据修复信息将对应的货品从货架上取下。

控制模块计算修复信息时，满足以下式子：

；

其中，为修复信息，/>为缺陷面积，/>为缺陷面积的选择阈值，当/>时为货品的包装不需要修复，当/>时为货品的包装需要修复。

该机器人还包括报警模块，报警模块和控制模块通信连接，当货品的包装需要修复时启动报警模块，报警模块通过振动、蜂鸣等多种方式报警，仓库内的工人得到提醒。

本实施例解决了传统的配货机器人缺少异常检查的功能，具体的，本实施例中通过检测模块和控制模块的配合得到修复信息，机器人模块获取修复信息则能将包装破损较为严重的货品取下，取下后工人听到报警的提醒可以人工检查该货品内部是否损毁，以便于提高服务的质量。

以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的保护范围内，此外，随着技术发展其中的元素是可以更新的。

Claims (4)

1.一种基于视觉识别的前置仓配货机器人，其特征在于，该机器人包括依次通信连接的称重模块、信息储存模块、视觉识别模块、控制模块和机器人模块；

所述称重模块用于储存货架和放置在货架上的货品的总重量、货架的重量和单个货品的重量的信息，并传输至控制模块；

所述信息储存模块用于储存货架可承载的重量、重量误差系数、货架的总层数和货架中单层面积误差系数的信息，并传输至控制模块；

所述视觉识别模块用于储存货架中第层的总面积、货架中第/>层货品的占用面积和单个货品的占用面积的信息，并传输至控制模块；

所述控制模块根据货架可承载的重量、货架和放置在货架上的货品的总重量、货架的重量、重量误差系数和单个货品的重量计算重量参考系数，根据重量参考系数计算货架可容纳货品的数量的第一估算值，根据货架中单层面积误差系数、货架中第层的总面积、货架中第/>层货品的占用面积和单个货品的占用面积计算货架中第/>层的面积参考系数，根据货架中第/>层的面积参考系数和货架的总层数计算货架可容纳货品的数量的第二估算值，根据货架可容纳货品的数量的第一估算值和货架可容纳货品的数量的第二估算值计算货架实际可容纳货品的数量，并将货架实际可容纳货品的数量的信息传输至机器人模块；

所述机器人模块根据货架实际可容纳货品的数量的信息将数量合适的货品捉取至货架中；

所述视觉识别模块包括第一识别子模块和第二识别子模块，所述第一识别子模块和第二识别子模块均与控制模块通信连接；

所述第一识别子模块用于储存货架中第层的总面积并传输至控制模块；

所述第二识别子模块用于储存货架中第层货品的占用面积和单个货品的占用面积的信息，并传输至控制模块；

所述第一识别子模块包括依次通信连接的第一拍摄单元、第一物体识别单元、第一图像分割单元和第一计算单元，所述第一计算单元和所述控制模块通信连接；

所述第一拍摄单元用于拍摄且输出第一图像，并将第一图像传输至第一物体识别单元；

所述第一物体识别单元根据第一图像识别货架并传输至第一图像分割单元；

所述第一图像分割单元用于界定货架轮廓并传输至第一计算单元；

所述第一计算单元根据界定的货架轮廓计算货架中第层的总面积，并传输至控制模块；

所述第二识别子模块包括依次通信连接的第二拍摄单元、第二物体识别单元、第二图像分割单元和第二计算单元，所述第二计算单元和所述控制模块通信连接；

所述第二拍摄单元用于拍摄且输出第二图像，并将第二图像传输至第二物体识别单元；

所述第二物体识别单元根据第二图像识别货品并传输至第二图像分割单元；

所述第二图像分割单元用于界定货品轮廓并传输至第二计算单元；

所述第二计算单元根据界定的货品轮廓计算货架中第层货品的占用面积和单个货品的占用面积，并传输至控制模块；

所述控制模块计算货架实际可容纳货品的数量时，满足以下式子：

；

；

；

；

；

其中，为重量参考系数，/>为货架可承载的重量，/>为货架和放置在货架上的货品的总重量，/>为货架的重量，/>为重量误差系数，/>为单个货品的重量；

为货架可容纳货品的数量的第一估算值；

为货架可容纳货品的数量的第二估算值，/>为货架中第/>层的面积参考系数，/>为货架的总层数；

为货架中单层面积误差系数，/>为货架中第/>层的总面积，/>为货架中第/>层货品的占用面积，/>为单个货品的占用面积；

为货架实际可容纳货品的数量。

2.如权利要求1所述的一种基于视觉识别的前置仓配货机器人，其特征在于，该机器人还包括评价模块和统计模块，所述评价模块和统计模块均与控制模块通信连接；

所述评价模块用于储存危险指数、干燥指数和形状指数的信息，并传输至控制模块；

所述统计模块用于储存货品放置在货架上的时长的信息，并传输至控制模块；

所述信息储存模块还用于储存次要影响权重系数和主要影响权重系数的信息，并传输至控制模块；

所述控制模块根据单个货品的重量、单个货品的占用面积和形状指数计算货品存放位置主要影响系数，根据货品放置在货架上的时长计算货品放置在货架上的时长参考指数，根据货品放置在货架上的时长参考指数、危险指数和干燥指数计算货品存放位置次要影响系数，根据次要影响权重系数、货品存放位置次要影响系数、主要影响权重系数和货品存放位置主要影响系数计算货品位置参考系数，根据货品位置参考系数计算货品位置选择函数，根据货品位置选择函数得出货品位置的信息并传输至机械手模块；

所述机器人模块根据货品位置的信息将货品捉取至货架的合适位置。

3.如权利要求2所述的一种基于视觉识别的前置仓配货机器人，其特征在于，所述控制模块计算货品位置参考系数时，满足以下式子：

；

；

；

；

其中，为货品位置参考系数，/>为次要影响权重系数，/>为货品存放位置次要影响系数，/>为主要影响权重系数，/>为货品存放位置主要影响系数；

为危险指数，/>分别有以下取值，/>或/>，当货品不属于易燃易爆类危险物品时/>，当货品属于易燃易爆类危险物品时/>，/>为干燥指数，/>分别有以下取值，或/>，当货品需要存放至干燥的空间内时/>，当货品不需要存放至干燥的空间内时/>，/>为货品放置在货架上的时长参考指数；

为货品放置在货架上的时长，/>至/>为不同的货品放置在货架上的时长的选择阈值；

为形状指数，/>分别有以下取值，/>或/>，当货品的形状为规则形状时/>，当货品的形状为异形时/>。

4.如权利要求3所述的一种基于视觉识别的前置仓配货机器人，其特征在于，所述控制模块计算货品位置选择函数时，满足以下式子：

；

其中，为货品位置选择函数，/>为货品位置参考系数的选择阈值，当/>时为货品位置放在在货架的下层，当/>时为货品位置放在在货架的上层。