CN109636272B - 一种货架缺货智能检测装置及其检测方法 - Google Patents

一种货架缺货智能检测装置及其检测方法 Download PDF

Info

Publication number
CN109636272B
CN109636272B CN201811407110.4A CN201811407110A CN109636272B CN 109636272 B CN109636272 B CN 109636272B CN 201811407110 A CN201811407110 A CN 201811407110A CN 109636272 B CN109636272 B CN 109636272B
Authority
CN
China
Prior art keywords
shelf
camera
ith
lifting
connecting rod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811407110.4A
Other languages
English (en)
Other versions
CN109636272A (zh
Inventor
许明
章佳奇
陈国金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou University Of Electronic Science And Technology Anji Intelligent Manufacturing Technology Research Institute Co ltd
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201811407110.4A priority Critical patent/CN109636272B/zh
Publication of CN109636272A publication Critical patent/CN109636272A/zh
Application granted granted Critical
Publication of CN109636272B publication Critical patent/CN109636272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Remote Sensing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本发明公开了一种货架缺货智能检测装置及其检测方法。现有的货架缺货情况的采集主要通过人工进行，效率低下，且成本较高。本发明一种货架缺货检测装置，包括移动拍照机器人、服务器和响应器。服务器与响应器连接。移动拍照机器人与服务器无线通信。移动拍照机器人包括移动平台、激光扫描测距雷达、升降平台、旋转平台、俯仰调节机构和摄像机。升降平台设置在移动平台上。旋转平台设置在升降平台上。俯仰调节机构设置在旋转平台上。俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机与安装架构成转动副。摄像机由舵机驱动翻转。本发明能够通过单个摄像机即可获取快速获取货架商品信息，不需要大量的劳动力，且能及时更新商品信息。

Description

一种货架缺货智能检测装置及其检测方法
技术领域
本发明属于计算机视觉技术领域和智能移动技术领域，具体涉及一种货架缺货智能检测装置及其方法。
背景技术
随着我国零售业经济的不断平稳发展，大型超市规模的不断扩大，同时也产生了货架商品管理的难题。阿里巴巴提出的“无人超市”，更是提高了货架商品管理智能化的需求。传统超市管理主要依靠人力，货架商品管理需要大量的劳动力；“无人超市”主要基于射频识别(FRID)方案，可以完成基本的智能管理，如智能收银，但货架商品缺货检测仍没有相应的智能处理方案。现有的专利大都基于扫描含有货物信息的条码进行识别，是一种间接识别的方法，实际应用中操作繁琐。因此，需要研究及设计一种货架缺货智能检测装置及其方法。
发明内容
本发明的目的在于提供一种货架缺货智能检测装置及其检测方法。
本发明一种货架缺货检测装置，包括移动拍照机器人、服务器和响应器。所述的服务器与响应器连接。所述的移动拍照机器人与服务器无线通信。所述的移动拍照机器人包括移动平台、激光扫描测距雷达、升降平台、旋转平台、俯仰调节机构和摄像机。所述的升降平台设置在移动平台上。旋转平台设置在升降平台上。俯仰调节机构设置在旋转平台上。所述的激光扫描测距雷达安装在移动平台的顶部。所述的升降平台包括升降底座、升降驱动机构和升降盘。升降底座间隔固定在底盘上。升降底座与升降盘通过升降驱动机构连接。升降底座固定在移动平台上。
所述的旋转平台包括旋转底座、旋转盘和旋转电机。旋转底座固定在升降盘上。旋转盘设置在旋转底座的顶部，且与旋转底座构成转动副。旋转盘由旋转电机驱动。所述的俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机与安装架构成公共轴线水平设置的转动副。摄像机由舵机驱动翻转。
进一步地，所述的升降驱动机构包括升降电机、丝杠、滑块、第三连接轴、第四连接轴和两个叉剪单元。所述的叉剪单元包括第一连杆、第二连杆、第三连杆、第四连杆、第一连接轴和第二连接轴。所述第一连杆的中部与第二连杆的中部铰接。所述第三连杆的中部与第四连杆的中部铰接。第一连杆、第三连杆的顶端与第一连接轴的两端分别构成转动副。第二连杆、第四连杆的顶端与第二连接轴的两端分别构成转动副。
两个叉剪单元上下排列。位于上方的叉剪单元的第二连杆、第四连杆的底端与位于下方的叉剪单元的第一连杆、第三连杆的顶端通过位于下方的叉剪单元内第一连接轴的两端分别铰接。位于上方的叉剪单元的第一连杆、第三连杆的底端与位于下方的叉剪单元的第二连杆、第四连杆的顶端通过位于下方的叉剪单元内第二连接轴的两端分别铰接。位于下方的叉剪单元内第二连杆、第四连杆的底端与第三连接轴的两端分别构成转动副。第一连杆、第三连杆的底端与第四连接轴的两端分别构成转动副。第三连接轴的两端均支承在升降底座上。第四连接轴的两端分别伸入升降底座上开设的两个第一滑槽内。位于上方的叉剪单元内第一连接轴的两端均支承在升降盘上，第二连接轴的两端分别伸入升降盘上开设的两个第二滑槽内。
水平设置的丝杠支承在升降底座上。滑块与第四连接轴的中部固定。固定在滑块上的螺母与丝杠构成螺旋副。丝杠由升降电机驱动。
进一步地，所述的移动平台采用深圳玩智商科技有限公司生产的型号为EAIBOTSSD的移动平台。
进一步地，所述的移动平台包括底盘、行进轮、万向轮和行进电机。两个同轴设置的行进轮分别支承在底盘的两侧。两个行进电机固定在底盘的底部，且输出轴与两个行进轮分别固定。万向轮安装在底盘底部。
进一步地，所述的服务器采用PC端。所述的响应器采用扬声器。
进一步地，所述激光扫描测距雷达的型号为YDLIDAR G4。
进一步地，所述的旋转电机固定在旋转底座内，且输出轴与旋转盘固定。所述的舵机固定在安装架上，且输出轴与摄像机固定。
该货架缺货智能检测装置的检测方法具体如下：
步骤一、对依次排列的n个货架依次排序并编号，并将n个货架的编号、高度、应摆放商品种类相匹配并导入服务器。
步骤二、i＝1,2,…,n，依次执行步骤三和四。
步骤三、建立移动拍照机器人检测第i个货架时，摄像机的仰角θi、升降底座与升降盘的间距hi、摄像机的镜头与第i个货架的间距Li、第一个货架的高度Si之间的关系如式(1)、(2)、(3)、(4)、(5)、(6)所示。
Figure GDA0002430066980000031
Figure GDA0002430066980000035
Figure GDA0002430066980000032
αi＝90°-γi-θi (4)
αi＝βi+θi (5)
Figure GDA0002430066980000033
其中，
Figure GDA0002430066980000034
为摄像机的自然视角；H为升降底座顶面、地面等间距与升降盘底面到摄像机镜头的间距之和；βi、γi、αi均为中间变量。
步骤四、联立式(1)、式(2)、式(3)、式(4)、式(5)和式(6)，求出θi、hi、Li。
步骤五、若n个货架为单排货架则通过方案一拍摄n个货架上商品的照片。若n个货架为双排货架则通过方案二拍摄n个货架上商品的照片。
方案一：
步骤5.1、将1赋值给i；进入步骤5.2。
步骤5.2、移动拍照机器人行进到第i个货架装有货物的一侧，且与第i个货架的一端对齐，使得摄像机朝向第i个货架。
步骤5.3、移动平台移动，使得摄像机的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机的仰角调节为θi；升降平台运动，将升降底座与升降盘的间距调节为hi。摄像机拍摄一张照片并加入第i照片组。
步骤5.4、若摄像机已拍摄完成第i个货架的所有图像，则进入步骤5.5；否则，移动拍照机器人正向行进zi距离后执行步骤5.3；zi＝Si·e；e为摄像机所拍得照片的长宽比。
步骤5.5、若i小于n，则将i增大1，并执行步骤5.2至步骤5.4；否则，进入步骤六。
方案二：
步骤5.1、移动拍照机器人行进到第一个货架远离第二个货架的一侧，且与第一个货架的一端对齐，使得摄像机朝向第一个货架。移动平台移动，使得摄像机的镜头与第一个货架的间距等于L1；俯仰调节机构将摄像机的仰角调节为θ1，升降平台将升降底座与升降盘的间距调节为h1；摄像机拍摄一张照片并加入第一照片组。之后进入步骤5.2。
步骤5.2、若摄像机已拍摄完成第一个货架远离第二个货架的侧面所有图像，则进入步骤5.3，否则，移动拍照机器人正向行进z1距离后执行步骤5.1；z1＝S1·e；e为摄像机所拍得照片的长宽比。
步骤5.3、将1赋值给i；进入步骤5.4。
步骤5.4、移动拍照机器人行进到第i个货架与第i+1个货架之间，且与第i个货架的一端对齐，使得摄像机朝向第i个货架。
步骤5.5、移动平台移动，使得摄像机的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机的仰角调节为θi；升降平台运动，将升降底座与升降盘的间距调节为hi。摄像机拍摄一张照片并加入第i照片组。进入步骤5.6。
步骤5.6、若摄像机已拍摄完成第i个货架朝向第i+1个货架的侧面的所有图像，则进入步骤5.7；否则，移动拍照机器人正向行进zi距离后执行步骤5.3；zi＝Si·e。
步骤5.7、旋转盘转动180°。移动平台移动，使得摄像机的镜头与第i+1个货架的间距等于Li+1；俯仰调节机构将摄像机的仰角调节为θi+1；升降平台运动，将升降底座与升降盘的间距调节为hi+1。摄像机拍摄一张照片并加入第i+1照片组。进入步骤5.8。
步骤5.8、若摄像机已拍摄完成第i+1个货架朝向第i个货架的侧面的所有图像，则进入步骤5.9；否则，移动拍照机器人反向行进zi+1距离后执行步骤5.7；zi+1＝Si+1·e。
步骤5.9、若i小于n-1，则将i增大1，并执行步骤5.4至步骤5.8；否则，进入步骤5.10。
步骤5.10、移动拍照机器人行进到第n个货架远离第n-1个货架的一侧，且与第n个货架的一端对齐，使得摄像机朝向第n个货架。移动平台移动，使得摄像机的镜头与第n个货架的间距等于Ln；俯仰调节机构将摄像机的仰角调节为θn，升降平台将升降底座与升降盘的间距调节为hn；摄像机拍摄一张照片并加入第n照片组。进入步骤5.11。
步骤5.11、若摄像机已拍摄完成第n个货架远离第n-1个货架的侧面所有图像，则进入步骤六，否则，移动拍照机器人正向行进zn距离后执行步骤5.1；zn＝Sn·e。
步骤六、i＝1,2,…,n，依次执行步骤七。
步骤七、服务器识别第i照片组的照片中的商品种类，并与第i个货架上的应摆放商品种类进行对比。
若第i照片组的照片中存在不属于第i个货架上的应摆放商品种类的商品种类，则判断第i个货架存在放货错误的情况，响应器提示工作人员去除第i个货架上的错误商品种类。
若第i个货架上的应摆放商品种类中存在第i照片组的照片中无法找到的商品种类，则判断第i个货架存在缺货，响应器提示工作人员为第i个货架补货。
若第i照片组的照片中的商品种类均为第i个货架上的应摆放商品种类，且第i照片组的照片中的商品种类数量等于第i个货架上的应摆放商品种类，则判断第i个货架上的货物正常。
进一步地，步骤七中服务器识别照片上商品种类的方法如下：
7.1、用n个货架上应摆放商品的图片对卷积神经网络进行训练，得到商品检测模型。
7.2、通过CANNY边缘检测算法获取的垂直投影直方图对摄像机8拍摄的照片按照货架的分层进行逐层分割，得到单层商品图像。
7.3、通过BRISK特征提取算法分别对步骤7.2得到的多张单层商品图像进行分割，得到多个商品图像块。
7.4、将所有商品图像块分别导入步骤7.1得到的商品检测模型，得到各商品图像块内商品的种类。
进一步地，所述的卷积神经网络采用FAST-R-CNN。
本发明具有的有益效果是：
1、本发明能够通过单个摄像机即可获取快速获取货架商品信息，不需要大量的劳动力，且能及时更新商品信息。
2、本发明能够根据货柜的高度调节摄像机的俯仰角、高度以及与货柜的间距，从而在保证拍摄到所有货柜上所有商品的同时，尽可能地让图片上的商品更加清晰。
3、本发明中应用了计算机视觉技术，加快了对货架商品的信息获取。
4、本发明的移动拍照机器人可移动、升降和旋转，设计灵活，可以满足不同场景的拍照要求。
附图说明
图1为本发明的整体结构示意图；
图2为本发明中移动拍照机器人的结构示意图；
图3为本发明计算拍照机器人与货柜相对位置的第一张示意图；
图4为本发明计算拍照机器人与货柜相对位置的第二张示意图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1和2所示，一种货架缺货检测装置，包括移动拍照机器人2、服务器3和响应器4。该货架缺货检测装置针对的货架1尺寸为2000mm×1200mm×500mm。服务器3采用PC端。响应器4采用扬声器。服务器3与响应器4连接。移动拍照机器人2包括移动平台5、激光扫描测距雷达9、升降平台6、旋转平台7、俯仰调节机构、摄像机8和控制模块。控制模块与服务器3无线通信。
所述的移动平台采用深圳玩智商科技有限公司生产的型号为EAIBOT SSD1的移动平台，该平台采用模块化硬件设计，拥有建立地图、定位导航和安全避障等功能，另外，还提供外扩硬件支持，易于软硬件集成。移动平台5包括底盘、行进轮、万向轮和行进电机。两个同轴设置的行进轮分别支承在底盘的两侧。两个行进电机固定在底盘的底部，且输出轴与两个行进轮分别固定。万向轮安装在底盘底部。激光扫描测距雷达9安装在底盘的顶面。控制模块设置在底盘内。激光扫描测距雷达可360°转向，采用三角测距原理。激光扫描测距雷达的型号为YDLIDAR G4。
升降平台6包括升降底座、升降驱动机构和升降盘。升降底座间隔固定在底盘上(即激光扫描测距雷达9位于升降底座与底盘之间)。升降驱动机构包括升降电机、丝杠、滑块、第三连接轴、第四连接轴和两个叉剪单元。叉剪单元包括第一连杆、第二连杆、第三连杆、第四连杆、第一连接轴和第二连接轴。第一连杆的中部与第二连杆的中部铰接。第三连杆的中部与第四连杆的中部铰接。第一连杆、第三连杆的顶端与第一连接轴的两端分别构成转动副。第二连杆、第四连杆的顶端与第二连接轴的两端分别构成转动副。
两个叉剪单元上下排列。位于上方的叉剪单元的第二连杆、第四连杆的底端与位于下方的叉剪单元的第一连杆、第三连杆的顶端通过位于下方的叉剪单元内第一连接轴的两端分别铰接。位于上方的叉剪单元的第一连杆、第三连杆的底端与位于下方的叉剪单元的第二连杆、第四连杆的顶端通过位于下方的叉剪单元内第二连接轴的两端分别铰接。位于下方的叉剪单元内第二连杆、第四连杆的底端与第三连接轴的两端分别构成转动副。第一连杆、第三连杆的底端与第四连接轴的两端分别构成转动副。第三连接轴的两端均支承在升降底座上。第四连接轴的两端分别伸入升降底座上开设的两个第一滑槽内。位于上方的叉剪单元内第一连接轴的两端均支承在升降盘上，第二连接轴的两端分别伸入升降盘上开设的两个第二滑槽内。
水平设置的丝杠支承在升降底座上。滑块与第四连接轴的中部固定。固定在滑块上的螺母与丝杠构成螺旋副。升降电机固定在升降底座上，且输出轴与丝杠的一端固定。
旋转平台7包括旋转底座、旋转盘和旋转电机。旋转底座固定在升降盘上。旋转盘设置在旋转底座的顶部，且与旋转底座构成公共轴线竖直设置的转动副。旋转电机固定在旋转底座内，且输出轴与旋转盘固定。
俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机8与安装架构成公共轴线水平设置的转动副。舵机固定在安装架上，且输出轴与摄像机8固定。
该货架缺货智能检测装置的检测方法具体如下：
步骤一、对依次排列的n个货架依次排序并编号，并将n个货架的编号、长度、高度、应摆放商品种类、与相邻货架的间距相匹配并导入服务器。
步骤二、i＝1,2,…,n，依次执行步骤三和四。
步骤三、如图3和4所示，建立移动拍照机器人2检测第i个货架时，摄像机8的仰角θi、升降底座与升降盘的间距hi、摄像机8的镜头与第i个货架的间距Li、第一个货架的高度Si之间的关系如式(1)、(2)、(3)、(4)、(5)、(6)所示。
Figure GDA0002430066980000071
Figure GDA0002430066980000072
Figure GDA0002430066980000081
αi＝90°-γi-θi (4)
αi＝βi+θi (5)
Figure GDA0002430066980000082
其中，
Figure GDA0002430066980000083
为摄像机8的自然视角(即张角，为已知量)；H为升降底座顶面、地面等间距与升降盘底面到摄像机8镜头的间距之和(为已知量，使得摄像机8的镜头与地面的间距等于H+hi)；βi、γi、αi均为中间变量，解方程的过程中能够被约去；βi表示摄像机8视角的上边界线与货柜侧面的夹角；γi为摄像机8视角的下边界线与水平面的夹角。αi为摄像机8视角的上边界线与辅助特征线的夹角；辅助特征线与摄像机8视角的角平分线共面垂直，且经过摄像机8视角的上边界线与货柜侧面的交点。由于辅助特征线与摄像机8视角的角平分线共面垂直，且货柜侧面为垂直于辅助特征线、摄像机8视角的角平分线所成平面的竖直平面，故辅助特征线与货柜侧面的夹角等于摄像机8的仰角θi。
步骤四、联立式(1)、式(2)、式(3)、式(4)、式(5)和式(6)，求出θi、hi、Li。
步骤五、若n个货架为单排货架则通过方案一拍摄n个货架上商品的照片。若n个货架为双排货架则通过方案二拍摄n个货架上商品的照片。
方案一(对应单排货架)：
步骤5.1、将1赋值给i；进入步骤5.2。
步骤5.2、移动拍照机器人2行进到第i个货架装有货物的一侧，且与第i个货架的一端对齐(移动拍照机器人2正向移动时，移动拍照机器人2向第一个货架的另一端行进)，使得摄像机8朝向第i个货架。
步骤5.3、移动平台5移动，使得摄像机8的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机8的仰角调节为θi；升降平台6运动，将升降底座与升降盘的间距调节为hi。此时，摄像机8视角的上边界线穿过第i个货架的顶部，下边界线穿过第i个货架的底部，使得摄像机8所拍出的图像在包括第一个货架上所有置物层的同时，第i个货架上的货物在图像中尽可能的显示清楚。摄像机8拍摄一张照片并加入第i照片组。
步骤5.4、若摄像机8已拍摄完成第i个货架的所有图像，则进入步骤5.5；否则，移动拍照机器人2正向行进zi距离后执行步骤5.3；zi＝Si·e；e为摄像机8所拍得照片的长宽比。
步骤5.5、若i小于n，则将i增大1，并执行步骤5.2至步骤5.4；否则，进入步骤六。
方案二(对应双排货架)：
步骤5.1、移动拍照机器人2行进到第一个货架远离第二个货架的一侧，且与第一个货架的一端对齐，使得摄像机8朝向第一个货架。移动平台5移动，使得摄像机8的镜头与第一个货架的间距等于L1；俯仰调节机构将摄像机8的仰角调节为θ1，升降平台6将升降底座与升降盘的间距调节为h1；摄像机8拍摄一张照片并加入第一照片组。之后进入步骤5.2。
步骤5.2、若摄像机8已拍摄完成第一个货架远离第二个货架的侧面所有图像，则进入步骤5.3，否则，移动拍照机器人2正向行进z1距离后执行步骤5.1；z1＝S1·e；e为摄像机8所拍得照片的长宽比。
步骤5.3、将1赋值给i；进入步骤5.4。
步骤5.4、移动拍照机器人2行进到第i个货架与第i+1个货架之间，且与第i个货架的一端对齐，使得摄像机8朝向第i个货架。
步骤5.5、移动平台5移动，使得摄像机8的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机8的仰角调节为θi；升降平台6运动，将升降底座与升降盘的间距调节为hi。摄像机8拍摄一张照片并加入第i照片组。进入步骤5.6。
步骤5.6、若摄像机8已拍摄完成第i个货架朝向第i+1个货架的侧面的所有图像，则进入步骤5.7；否则，移动拍照机器人2正向行进zi距离后执行步骤5.3；zi＝Si·e。
步骤5.7、旋转盘转动180°，使得摄像机8朝向第i+1个货架。移动平台5移动，使得摄像机8的镜头与第i+1个货架的间距等于Li+1；俯仰调节机构将摄像机8的仰角调节为θi+1；升降平台6运动，将升降底座与升降盘的间距调节为hi+1。摄像机8拍摄一张照片并加入第i+1照片组。进入步骤5.8。
步骤5.8、若摄像机8已拍摄完成第i+1个货架朝向第i个货架的侧面的所有图像，则进入步骤5.9；否则，移动拍照机器人2反向行进zi+1距离后执行步骤5.7；zi+1＝Si+1·e。
步骤5.9、若i小于n-1，则将i增大1，并执行步骤5.4至步骤5.8；否则，进入步骤5.10。
步骤5.10、移动拍照机器人2行进到第n个货架远离第n-1个货架的一侧，且与第n个货架的一端对齐，使得摄像机8朝向第n个货架。移动平台5移动，使得摄像机8的镜头与第n个货架的间距等于Ln；俯仰调节机构将摄像机8的仰角调节为θn，升降平台6将升降底座与升降盘的间距调节为hn；摄像机8拍摄一张照片并加入第n照片组。进入步骤5.11。
步骤5.11、若摄像机8已拍摄完成第n个货架远离第n-1个货架的侧面所有图像，则进入步骤六，否则，移动拍照机器人2正向行进zn距离后执行步骤5.1；zn＝Sn·e。
步骤六、i＝1,2,…,n，依次执行步骤七。
步骤七、服务器识别第i照片组的照片中的商品种类，并与第i个货架上的应摆放商品种类进行对比。
若第i照片组的照片中存在不属于第i个货架上的应摆放商品种类的商品种类，则判断第i个货架存在放货错误的情况，响应器4提示工作人员去除第i个货架上的错误商品种类。
若第i个货架上的应摆放商品种类中存在第i照片组的照片中无法找到的商品种类，则判断第i个货架存在缺货，响应器4提示工作人员为第i个货架补货。放货错误与缺货的情况若同时出现，则同时提示工作人员。
若第i照片组的照片中的商品种类均为第i个货架上的应摆放商品种类，且第i照片组的照片中的商品种类数量等于第i个货架上的应摆放商品种类，则判断第i个货架上的货物正常。
步骤七中服务器识别照片上商品种类的方法如下：
7.1、用n个货架上应摆放商品的图片对卷积神经网络进行训练，得到商品检测模型。卷积神经网络采用FAST-R-CNN(基于区域的快速卷积网络)。
7.2、通过CANNY边缘检测算法获取的垂直投影直方图对摄像机8拍摄的照片按照货架的分层进行逐层分割，得到单层商品图像。
7.3、通过BRISK特征提取算法分别对步骤7.2得到的多张单层商品图像进行分割，得到多个商品图像块，每个商品图像块中均包含完整的商品图像。
7.4、将所有商品图像块分别导入步骤7.1得到的商品检测模型，得到各商品图像块内商品的种类。

Claims (9)

1.一种货架缺货智能检测装置，包括移动拍照机器人、服务器和响应器；其特征在于：所述的服务器与响应器连接；所述的移动拍照机器人与服务器无线通信；所述的移动拍照机器人包括移动平台、激光扫描测距雷达、升降平台、旋转平台、俯仰调节机构和摄像机；所述的升降平台设置在移动平台上；旋转平台设置在升降平台上；俯仰调节机构设置在旋转平台上；所述的激光扫描测距雷达安装在移动平台的顶部；所述的升降平台包括升降底座、升降驱动机构和升降盘；升降底座间隔固定在底盘上；升降底座与升降盘通过升降驱动机构连接；升降底座固定在移动平台上；
所述的旋转平台包括旋转底座、旋转盘和旋转电机；旋转底座固定在升降盘上；旋转盘设置在旋转底座的顶部，且与旋转底座构成转动副；旋转盘由旋转电机驱动；所述的俯仰调节机构包括安装架和舵机；安装架固定在旋转盘上；摄像机与安装架构成公共轴线水平设置的转动副；摄像机由舵机驱动翻转。
2.根据权利要求1所述的一种货架缺货智能检测装置，其特征在于：所述的升降驱动机构包括升降电机、丝杠、滑块、第三连接轴、第四连接轴和两个叉剪单元；所述的叉剪单元包括第一连杆、第二连杆、第三连杆、第四连杆、第一连接轴和第二连接轴；所述第一连杆的中部与第二连杆的中部铰接；所述第三连杆的中部与第四连杆的中部铰接；第一连杆、第三连杆的顶端与第一连接轴的两端分别构成转动副；第二连杆、第四连杆的顶端与第二连接轴的两端分别构成转动副；
两个叉剪单元上下排列；位于上方的叉剪单元的第二连杆、第四连杆的底端与位于下方的叉剪单元的第一连杆、第三连杆的顶端通过位于下方的叉剪单元内第一连接轴的两端分别铰接；位于上方的叉剪单元的第一连杆、第三连杆的底端与位于下方的叉剪单元的第二连杆、第四连杆的顶端通过位于下方的叉剪单元内第二连接轴的两端分别铰接；位于下方的叉剪单元内第二连杆、第四连杆的底端与第三连接轴的两端分别构成转动副；第一连杆、第三连杆的底端与第四连接轴的两端分别构成转动副；第三连接轴的两端均支承在升降底座上；第四连接轴的两端分别伸入升降底座上开设的两个第一滑槽内；位于上方的叉剪单元内第一连接轴的两端均支承在升降盘上，第二连接轴的两端分别伸入升降盘上开设的两个第二滑槽内；
水平设置的丝杠支承在升降底座上；滑块与第四连接轴的中部固定；固定在滑块上的螺母与丝杠构成螺旋副；丝杠由升降电机驱动。
3.根据权利要求1所述的一种货架缺货智能检测装置，其特征在于：所述的移动平台包括底盘、行进轮、万向轮和行进电机；两个同轴设置的行进轮分别支承在底盘的两侧；两个行进电机固定在底盘的底部，且输出轴与两个行进轮分别固定；万向轮安装在底盘底部。
4.根据权利要求1所述的一种货架缺货智能检测装置，其特征在于：所述的服务器采用PC端；所述的响应器采用扬声器。
5.根据权利要求1所述的一种货架缺货智能检测装置，其特征在于：所述激光扫描测距雷达的型号为YDLIDAR G4。
6.根据权利要求1所述的一种货架缺货智能检测装置，其特征在于：所述的旋转电机固定在旋转底座内，且输出轴与旋转盘固定；所述的舵机固定在安装架上，且输出轴与摄像机固定。
7.如权利要求1所述的一种货架缺货智能检测装置的检测方法，其特征在于：步骤一、对依次排列的n个货架依次排序并编号，并将n个货架的编号、高度、应摆放商品种类相匹配并导入服务器；
步骤二、i＝1,2,…,n，依次执行步骤三和四；
步骤三、建立移动拍照机器人检测第i个货架时，摄像机的仰角θi、升降底座与升降盘的间距hi、摄像机的镜头与第i个货架的间距Li、第一个货架的高度Si之间的关系如式(1)、(2)、(3)、(4)、(5)、(6)所示；
Figure FDA0002449409600000021
Figure FDA0002449409600000025
Figure FDA0002449409600000022
αi＝90°-γi-θi (4)
αi＝βi+θi (5)
Figure FDA0002449409600000023
其中，
Figure FDA0002449409600000024
为摄像机的自然视角；H为升降底座顶面、地面等间距与升降盘底面到摄像机镜头的间距之和；βi、γi、αi均为中间变量；
步骤四、联立式(1)、式(2)、式(3)、式(4)、式(5)和式(6)，求出θi、hi、Li；
步骤五、若n个货架为单排货架则通过方案一拍摄n个货架上商品的照片；若n个货架为双排货架则通过方案二拍摄n个货架上商品的照片；
方案一：
步骤5.1、将1赋值给i；进入步骤5.2；
步骤5.2、移动拍照机器人行进到第i个货架装有货物的一侧，且与第i个货架的一端对齐，使得摄像机朝向第i个货架；
步骤5.3、移动平台移动，使得摄像机的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机的仰角调节为θi；升降平台运动，将升降底座与升降盘的间距调节为hi；摄像机拍摄一张照片并加入第i照片组；
步骤5.4、若摄像机已拍摄完成第i个货架的所有图像，则进入步骤5.5；否则，移动拍照机器人正向行进zi距离后执行步骤5.3；zi＝Si·e；e为摄像机所拍得照片的长宽比；
步骤5.5、若i小于n，则将i增大1，并执行步骤5.2至步骤5.4；否则，进入步骤六；
方案二：
步骤5.1、移动拍照机器人行进到第一个货架远离第二个货架的一侧，且与第一个货架的一端对齐，使得摄像机朝向第一个货架；移动平台移动，使得摄像机的镜头与第一个货架的间距等于L1；俯仰调节机构将摄像机的仰角调节为θ1，升降平台将升降底座与升降盘的间距调节为h1；摄像机拍摄一张照片并加入第一照片组；之后进入步骤5.2；
步骤5.2、若摄像机已拍摄完成第一个货架远离第二个货架的侧面所有图像，则进入步骤5.3，否则，移动拍照机器人正向行进z1距离后执行步骤5.1；z1＝S1·e；e为摄像机所拍得照片的长宽比；
步骤5.3、将1赋值给i；进入步骤5.4；
步骤5.4、移动拍照机器人行进到第i个货架与第i+1个货架之间，且与第i个货架的一端对齐，使得摄像机朝向第i个货架；
步骤5.5、移动平台移动，使得摄像机的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机的仰角调节为θi；升降平台运动，将升降底座与升降盘的间距调节为hi；摄像机拍摄一张照片并加入第i照片组；进入步骤5.6；
步骤5.6、若摄像机已拍摄完成第i个货架朝向第i+1个货架的侧面的所有图像，则进入步骤5.7；否则，移动拍照机器人正向行进zi距离后执行步骤5.3；zi＝Si·e；
步骤5.7、旋转盘转动180°；移动平台移动，使得摄像机的镜头与第i+1个货架的间距等于Li+1；俯仰调节机构将摄像机的仰角调节为θi+1；升降平台运动，将升降底座与升降盘的间距调节为hi+1；摄像机拍摄一张照片并加入第i+1照片组；进入步骤5.8；
步骤5.8、若摄像机已拍摄完成第i+1个货架朝向第i个货架的侧面的所有图像，则进入步骤5.9；否则，移动拍照机器人反向行进zi+1距离后执行步骤5.7；zi+1＝Si+1·e；
步骤5.9、若i小于n-1，则将i增大1，并执行步骤5.4至步骤5.8；否则，进入步骤5.10；
步骤5.10、移动拍照机器人行进到第n个货架远离第n-1个货架的一侧，且与第n个货架的一端对齐，使得摄像机朝向第n个货架；移动平台移动，使得摄像机的镜头与第n个货架的间距等于Ln；俯仰调节机构将摄像机的仰角调节为θn，升降平台将升降底座与升降盘的间距调节为hn；摄像机拍摄一张照片并加入第n照片组；进入步骤5.11；
步骤5.11、若摄像机已拍摄完成第n个货架远离第n-1个货架的侧面所有图像，则进入步骤六；否则，移动拍照机器人正向行进zn距离后执行步骤5.1；zn＝Sn·e；
步骤六、i＝1,2,…,n，依次执行步骤七；
步骤七、服务器识别第i照片组的照片中的商品种类，并与第i个货架上的应摆放商品种类进行对比；
若第i照片组的照片中存在不属于第i个货架上的应摆放商品种类的商品种类，则判断第i个货架存在放货错误的情况，响应器提示工作人员去除第i个货架上的错误商品种类；
若第i个货架上的应摆放商品种类中存在第i照片组的照片中无法找到的商品种类，则判断第i个货架存在缺货，响应器提示工作人员为第i个货架补货；
若第i照片组的照片中的商品种类均为第i个货架上的应摆放商品种类，且第i照片组的照片中的商品种类数量等于第i个货架上的应摆放商品种类，则判断第i个货架上的货物正常。
8.根据权利要求7所述的一种货架缺货智能检测装置的检测方法，其特征在于：步骤七中服务器识别照片上商品种类的方法如下：
7.1、用n个货架上应摆放商品的图片对卷积神经网络进行训练，得到商品检测模型；
7.2、通过CANNY边缘检测算法获取的垂直投影直方图对摄像机拍摄的照片按照货架的分层进行逐层分割，得到单层商品图像；
7.3、通过BRISK特征提取算法分别对步骤7.2得到的多张单层商品图像进行分割，得到多个商品图像块；
7.4、将所有商品图像块分别导入步骤7.1得到的商品检测模型，得到各商品图像块内商品的种类。
9.根据权利要求8所述的一种货架缺货智能检测装置的检测方法，其特征在于：所述的卷积神经网络采用FAST-R-CNN。
CN201811407110.4A 2018-11-23 2018-11-23 一种货架缺货智能检测装置及其检测方法 Active CN109636272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811407110.4A CN109636272B (zh) 2018-11-23 2018-11-23 一种货架缺货智能检测装置及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811407110.4A CN109636272B (zh) 2018-11-23 2018-11-23 一种货架缺货智能检测装置及其检测方法

Publications (2)

Publication Number Publication Date
CN109636272A CN109636272A (zh) 2019-04-16
CN109636272B true CN109636272B (zh) 2020-06-23

Family

ID=66068767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811407110.4A Active CN109636272B (zh) 2018-11-23 2018-11-23 一种货架缺货智能检测装置及其检测方法

Country Status (1)

Country Link
CN (1) CN109636272B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245580B (zh) * 2019-05-24 2022-09-23 北京百度网讯科技有限公司 一种检测图像的方法、装置、设备和计算机存储介质
CN112417916B (zh) * 2019-08-20 2024-08-23 宋力伟 基于光扫描条码机制的三维空间定位系统及定位方法
CN113643083A (zh) * 2020-04-27 2021-11-12 京东方科技集团股份有限公司 一种商品标记及展示方法、服务器、终端及商品展示系统
CN112223297A (zh) * 2020-11-09 2021-01-15 上海汉时信息科技有限公司 基于机器人的货架巡检方法、装置、存储介质及机器人
CN112962462A (zh) * 2021-02-07 2021-06-15 陕西华山路桥集团有限公司 一种多节段钢箱梁拼装方法
CN115086539B (zh) * 2021-03-15 2024-02-02 虫极科技（北京）有限公司 拍摄点的定位方法和系统
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2543979A (en) * 2014-07-12 2017-05-03 Bionichive Ltd Automatic Warehouse System
CN204705865U (zh) * 2015-07-06 2015-10-14 张金丽 一种物流仓库货物自动检测系统
CN106272415A (zh) * 2016-08-30 2017-01-04 上海大学 全向移动转运机器人
CN106355345A (zh) * 2016-09-08 2017-01-25 京东方科技集团股份有限公司 自动售货机器人智能调度系统及方法
CN107758569B (zh) * 2017-10-21 2019-06-07 南京理工大学泰州科技学院 一种搬运机器人

Also Published As

Publication number Publication date
CN109636272A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636272B (zh) 一种货架缺货智能检测装置及其检测方法
US11195011B2 (en) Object detection and avoidance for aerial vehicles
CN109460029A (zh) 畜禽养殖场所巡检移动平台及其控制方法
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN112849898B (zh) 一种自驱动机器人及自驱动机器人的搬运方法
CN110716559B (zh) 一种用于商场超市拣货机器人的综合控制方法
US20210389774A1 (en) Docking method
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN114241269B (zh) 一种用于岸桥自动控制的集卡视觉融合定位系统
US20240051146A1 (en) Autonomous solar installation using artificial intelligence
WO2020137311A1 (ja) 測位装置及び移動体
CN118385157A (zh) 一种基于深度学习和自适应抓取的视觉分类垃圾自动分拣系统
US11691756B1 (en) Enhancing airborne visibility of ground markers by vertical variation
TW202011298A (zh) 揀貨及補貨方法、揀貨台車以及揀貨及補貨系統
CN114743892B (zh) 晶圆盒纠正方法以及高空缓存器的运输设备
CN116399884A (zh) 一种箱梁内部病害的自主扫描检测方法
JPH03252707A (ja) 視覚付無人車
CN115643903A (zh) 基于机器视觉的苹果自动采摘装置及其控制方法
CN211517482U (zh) 一种新型物流机器人
CN115446846A (zh) 一种基于条码识别的图书盘点机器人
Yang et al. A human-like dual-forklift collaborative mechanism for container handling
CN112731918A (zh) 一种基于深度学习检测跟踪的地面无人平台自主跟随系统
WO2024114682A1 (zh) 定位方法、装置、计算设备和存储介质
US20230278838A1 (en) Portable survey unit and method
CN118463803A (zh) 一种作物原位三维表型信息采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201223

Address after: 4 / F, building 2, Sunshine Industrial Park, Dipu street, Anji County, Huzhou City, Zhejiang Province, 313000

Patentee after: Hangzhou University of Electronic Science and technology Anji Intelligent Manufacturing Technology Research Institute Co.,Ltd.

Patentee after: HANGZHOU DIANZI University

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University