CN109607031A - 基于无人机全景的智能仓储系统及方法 - Google Patents

Abstract

基于无人机全景的智能仓储系统及方法，涉及智能仓库技术领域，目的是为了解决仓库人工盘点效率低下、易出错，以及被动的视频监控方式不能满足企业的需要的问题。盘点前，预先通过无人机端第一摄像模块和第二摄像模块获取货架空置时、货架摆放一件该货物时、以及货架摆满该货物时的图像，并将该图像在服务器端设置动态数量库；盘点时在确定货物名称和位置后获取货架及货物图像；将实时获取的图像与预先存储的图像进行比对，确定货物实时的存储数量。上述系统及方法不仅提高了盘点效率，而且可以使用户终端的各仓储管理员彼此不受干扰的按照自己的意愿观察货物情况；能够主动发现仓库内出现的可移动物体，实现了主动监控的功能。

Description

基于无人机全景的智能仓储系统及方法

技术领域

本发明涉及智能仓库技术领域，尤其涉及一种基于无人机全景的智能仓储系统。

背景技术

中国传统仓储行业目前存在的问题：一、在大多数情况下只能通过外包装上的条形码、二维码、图标或RFID等信息进行数据采集，且人工盘点效率低下，经常发生错误；二、监控视频录像内容仅供事后参考，异常事件发生之前或者当时不能提供预警功能，这种被动的视频监控方式已经不满足于企业的需要，全操作过程的主动监管已经提到了前方。

发明内容

本发明的目的是为了解决仓库人工盘点效率低下、易出错，以及被动的视频监控方式不能满足企业的需要的问题，提供一种基于无人机全景的智能仓储系统及方法。

本发明所述的基于无人机全景的智能仓储系统包括无人机端、服务器端和用户终端；

所述无人机端包括无人机、第一摄像模块、检测模块、第一控制模块、处理模块和第一无线通信模块；所述第一摄像模块用于拍摄图像，并将拍摄到的图像发送至检测模块、处理模块；处理模块用于将接收到的图像进行全景拼接，并将拼接后的图像发送至服务器端；检测模块用于根据接收到的图像判断无人机是否将要遇到障碍物；第一控制模块用于根据接收到的信号控制无人机飞行；

所述服务器端包括图像处理和识别模块、视频编码模块、第二控制模块、存储模块和第二无线通信模块；所述图像处理和识别模块用于将第一摄像模块发来的图像与存储模块中存储的图像进行比对，并将比对结果发送至用户终端；视频编码模块用于将无人机端发来的全景图像进行视频编码，并将编码后的视频发送至用户终端；第二控制模块用于接收用户终端发来的控制信号，并将该控制信号发送至第一控制模块；

所述第一无线通信模块与第二无线通信模块用于实现无人机端与服务器端的无线通信。

进一步地，所述无人机端还包括第二摄像模块，所述第二摄像模块用于对货物进行全方位拍照，并将照片发送至服务器端。

进一步地，所述系统还包括安装有弹出装置的货架，所述弹出装置安装在货架上每件货物的上方或下方，用于将货物弹出以实现全方位拍照。

进一步地，所述第一摄像模块包括至少四组摄像头。

进一步地，所述摄像头为广角摄像头或鱼眼摄像头。

基于上述智能仓储系统的智能仓储方法，盘点时确定货物存储数量的具体步骤为：

预先获取货架空置时、货架摆放一件该货物时、以及货架摆满该货物时的图像，并将该图像设置动态图像库；

盘点时在确定货物名称和位置后获取货架及货物图像；

将实时获取的图像与预先存储的图像进行比对，确定货物实时的存储数量。

进一步地，盘点时确定货物破损情况的具体步骤为：

预先获取货物入库时的全方位状态图像；

在盘点该货物时获取货物的实时状态图像；

将实时获取的货物全方位图像进行处理与识别，并与货物入库时的全方位状态图像进行比对，确定货物实时破损情况。

进一步地，监控时判断是否有可移动物体进入仓库的具体步骤为：

获取连续的全景视频帧图片；

根据光流算法对视频帧图片中的物体进行检测，具体包括：a、提取图片特征点，在所述特征点上计算当前帧与前一帧的光流变；b、同时计算当前帧每一行、列的均值和方差，计算出当前帧与前一帧之间行列像素位移变化；c、利用图像行列的位移对先前得到的光流进行判断，所述光流与图像行列的位移不同即为出现的可移动物体。

本发明所述的智能仓储系统及方法用于对仓库的智能盘点和监控，实现了货物盘点的全方位、快速、准确且自动化，不仅提高了盘点的效率，而且可以使用户终端的各仓储管理员彼此不受干扰的按照自己的意愿观察货物的不同位置和状态；在监控方面，可以全方位监测仓库情况，并且能够主动发现仓库内出现的可移动物体，实现了主动监控的功能。第一摄像模块的全景摄像装置的设计不仅为盘点、监控提供有力基础，且为无人机防碰撞提供图像检测的前提保障。

附图说明

图1是本发明所述的基于无人机全景的智能仓储系统的原理框图，虚线箭头表示信号通过无线通信模块进行传输。

具体实施方式

具体实施方式一：本实施方式所述的基于无人机全景的智能仓储系统包括无人机端、服务器端和用户终端；

所述无人机端包括无人机、第一摄像模块、检测模块、第一控制模块、处理模块和第一无线通信模块；所述第一摄像模块包括至少四组广角摄像头或鱼眼摄像头，用于拍摄图像，并将拍摄到的图像发送至检测模块、处理模块，处理模块用于将接收到的图像进行全景拼接，并将拼接后的图像发送至服务器端；检测模块用于根据接收到的图像判断无人机是否将要遇到障碍物，并在将要遇到障碍物时向第一控制模块发出预警信号；第一控制模块用于根据接收到的服务器端或者检测模块发送的信号控制无人机飞行；

所述服务器端包括图像处理和识别模块、视频编码模块、第二控制模块、存储模块和第二无线通信模块；所述图像处理和识别模块用于将第一摄像模块发来的图像与存储模块中存储的图像进行比对，并将比对结果发送至用户终端；视频编码模块用于将无人机端发来的图像进行视频编码，并将编码后的视频发送至用户终端；第二控制模块用于接收用户终端发来的控制信号，并将该控制信号发送至第一控制模块；

所述第一无线通信模块与第二无线通信模块用于实现无人机端与服务器端的无线通信。系统的网络通信可以设置成局域网WiFi或广域网通信，当设置成广域网通信时，用户终端可以不在仓库内，而可以远程观看无人机盘点过程，这种情况可以方便购买该货物的购买者在购买前远程查验货物。

第一摄像模块实时采集的若干组图像信息输出至处理模块和检测模块，处理模块将若干组图像进行全景拼接后输出至服务器端，检测模块通过若干组图像基于算法判断无人机是否遇到障碍物并且能够判断出障碍物的方位，从而及时地发出预警信号至无人机端的第一控制模块，第一控制模块能够根据所述预警信号控制无人机向远离障碍物的方向飞行，第一控制模块还能够根据服务器端发出的指令控制无人机运转。

用户通过用户终端查看全景视频，也可以通过用户终端发出操控指令对无人机端进行控制；当服务器端的第二控制模块接收到来自用户终端的控制指令时，第二控制模块将控制指令转发送至无人机端的第一控制模块。例如，当无人机按照预定盘点飞行路线飞行时，用户终端在观看第一摄像模块所采集的图像时可根据具体情况对无人机端进行控制，发现此时图像不清晰时，可发出控制信号使无人机靠近货物，或者在滑屏观看中发现此时无人机有碰撞障碍物的危险时，可发出控制信号使无人机远离障碍物，或者在货架某一层进行悬停拍照等。

本系统可用于对仓储系统的智能盘点和监控。

一、当利用本系统进行盘点大型货物时，用户通过用户终端向服务器端发出开启飞行指令使无人机开始按照预定飞行路线飞行，或者事先通过用户终端设置好每次盘点的时间，系统会在预设的时间自动开启盘点模式。盘点时，系统自动开启第一摄像模块，无人机端通过无线通信模块将全景图像输出至服务器端，服务器端视频编码模块将全景图像进行视频编码后输出至用户终端，同时服务器端图像处理和识别模块在接收到全景图像后与存储模块中存储的货架货物预存图像通过数字图像处理技术进行比对，比对货物名称、位置、数量及破损程度以达到盘点的目的，比对结果发送至用户终端。

具体地，在已知某一种货物的货架位置，需要确定该种货物的存储数量情况时，可以按照以下步骤施行：

1、预先通过无人机端第一摄像模块获取货架空置、货架摆放一件该货物时、货架摆满该货物时等情况下的图像，并上传至服务器端；

2、将服务器端存储模块内预先存储的图像设置动态图像库，当无人机端盘点时在确定货物名称和位置后可通过第一摄像模块获取货架及货物的图像；

3、图像处理和识别模块将实时获取的图像与预先存储的图像进行比对，确定货物实时的存储数量。

需要确定某一种货物的破损情况时，本系统还应当包括第二摄像模块，其用于货物的入库图像采集，例如为同一水平面环形N个摄像头或者为一个摄像头环绕货物对其进行全方位拍照，并将图像上传至服务器端。确定某一种货物的破损情况可以按照以下步骤施行：

1、预先通过第二摄像模块获取货物入库时的全方位状态图像，并上传至服务器端；

2、当无人机端在盘点该货物时，可设置无人机由上至下或由下至上飞行，通过第一摄像模块获取货物的实时状态图像；进一步地，可设置货架上每个货物下方或上方有弹出装置，可使该货物安全伸出货架之外，从而使第一摄像模块全方面检查该货物破损情况；

3、图像处理和识别模块将实时获取的货物全方位图像进行处理与识别，并与服务器端存储的货物入库时的图像进行逐一比对，确定货物实时的破损情况。

其中，盘点时图像处理和识别模块进行图像处理和识别的步骤可以是：

(1)获取样本图像集；

(2)对样本图像预处理且提取只包含货物的子窗口；

(3)根据事先提取的子窗口，在实时获取的全景图像中利用模板匹配方法提取感兴趣区域；

(4)利用事先训练好的卷积神经网络模型对感兴趣区域进行识别。

二、当利用本系统进行定时巡检监控时，用户通过用户终端向服务器端发出控制指令，控制无人机按照预定飞行路线飞行，或者事先通过用户终端设置好每次巡检的时间，系统会在预设的时间自动开启巡检监控模式。巡检监控时，系统自动开启第一摄像模块，无人机端通过无线通信模块将全景图像输出至服务器端，因为在仓库中货架及货物都是静止存在的，无人机和静止存在的货架及货物保持一定的相对速度，但如果在视野中突然出现了可移动物体，服务器端可通过图像处理和识别模块进行判断是否有盗窃人员进入仓库，从而发出报警信息至用户终端提醒仓管人员注意。

其中，图像处理和识别的步骤可以是：

(1)获取连续的全景视频帧图片；

(2)根据光流算法对视频帧图片中的物体进行检测，具体包括：a、提取图片特征点，在这些特征点上计算当前帧与前一帧的光流变；b、同时计算当前帧每一行、列的均值和方差，计算出两帧之间行列像素位移变化；c、利用图像行列的位移对先前得到的光流进行判断，与图像行列的位移不同的即为出现的可移动物体。

第一摄像模块的全景摄像装置的设计在于，在检测障碍物方面，需要从多方向判断障碍物的存在；在盘点方面，当大型货物货架为双排并列摆放或者四排成正方形摆放时，全景摄像装置可以全方位且快速的采集图像，更可以使用户终端的各仓储管理员彼此不受干扰的按照自己的意愿观察货物的不同位置和状态；在监控方面，可以全方位监测仓库情况，避免单摄像头监控不到位的情况。

本实施方式中的各个模块可以采用硬件的方式实现，例如具备相应功能的电路，也可以采用软件的方式实现，例如存储在计算机或存储器内的具有相应功能的计算机程序。当采用硬件方式实现时，服务器端可以移动终端，例如手机等移动设备；当采用软件方式实现时，服务器端可以是网页终端。

Claims (8)

1.基于无人机全景的智能仓储系统，其特征在于，包括无人机端、服务器端和用户终端；

所述无人机端包括无人机、第一摄像模块、检测模块、第一控制模块、处理模块和第一无线通信模块；所述第一摄像模块用于拍摄图像，并将拍摄到的图像发送至检测模块、处理模块；处理模块用于将接收到的图像进行全景拼接，并将拼接后的图像发送至服务器端；检测模块用于根据接收到的图像判断无人机是否将要遇到障碍物；第一控制模块用于根据接收到的信号控制无人机飞行；

所述服务器端包括图像处理和识别模块、视频编码模块、第二控制模块、存储模块和第二无线通信模块；所述图像处理和识别模块用于将第一摄像模块发来的图像与存储模块中存储的图像进行比对，并将比对结果发送至用户终端；视频编码模块用于将无人机端发来的全景图像进行视频编码，并将编码后的视频发送至用户终端；第二控制模块用于接收用户终端发来的控制信号，并将该控制信号发送至第一控制模块；

所述第一无线通信模块与第二无线通信模块用于实现无人机端与服务器端的无线通信。

2.根据权利要求1所述的基于无人机全景的智能仓储系统，其特征在于，所述无人机端还包括第二摄像模块，所述第二摄像模块用于对货物进行全方位拍照，并将照片发送至服务器端。

3.根据权利要求2所述的基于无人机全景的智能仓储系统，其特征在于，还包括安装有弹出装置的货架，所述弹出装置安装在货架上每件货物的上方或下方，用于将货物弹出以实现全方位拍照。

4.根据权利要求1所述的基于无人机全景的智能仓储系统，其特征在于，所述第一摄像模块包括至少四组摄像头。

5.根据权利要求4所述的基于无人机全景的智能仓储系统，其特征在于，所述摄像头为广角摄像头或鱼眼摄像头。

6.基于权利要求1所述的智能仓储系统的智能仓储方法，其特征在于，盘点时确定货物存储数量的具体步骤为：

预先获取货架空置时、货架摆放一件该货物时、以及货架摆满该货物时的图像，并将该图像设置动态图像库；

盘点时在确定货物名称和位置后获取货架及货物图像；

将实时获取的图像与预先存储的图像进行比对，确定货物实时的存储数量。

7.根据权利要求6所述的智能仓储方法，其特征在于，盘点时确定货物破损情况的具体步骤为：

预先获取货物入库时的全方位状态图像；

在盘点该货物时获取货物的实时状态图像；

将实时获取的货物全方位图像进行处理与识别，并与货物入库时的全方位状态图像进行比对，确定货物实时破损情况。

8.根据权利要求6或7所述的智能仓储方法，其特征在于，监控时判断是否有可移动物体进入仓库的具体步骤为：

获取连续的全景视频帧图片；

根据光流算法对视频帧图片中的物体进行检测，具体包括：a、提取图片特征点，在所述特征点上计算当前帧与前一帧的光流变；b、同时计算当前帧每一行、列的均值和方差，计算出当前帧与前一帧之间行列像素位移变化；c、利用图像行列的位移对先前得到的光流进行判断，所述光流与图像行列的位移不同即为出现的可移动物体。