CN108960737B - 基于机器视觉的仓库自动巡检系统及方法 - Google Patents

基于机器视觉的仓库自动巡检系统及方法 Download PDF

Info

Publication number
CN108960737B
CN108960737B CN201810779681.4A CN201810779681A CN108960737B CN 108960737 B CN108960737 B CN 108960737B CN 201810779681 A CN201810779681 A CN 201810779681A CN 108960737 B CN108960737 B CN 108960737B
Authority
CN
China
Prior art keywords
goods
unit
target area
image
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810779681.4A
Other languages
English (en)
Other versions
CN108960737A (zh
Inventor
辜勇
郑阳阳
董明望
张列
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201810779681.4A priority Critical patent/CN108960737B/zh
Publication of CN108960737A publication Critical patent/CN108960737A/zh
Application granted granted Critical
Publication of CN108960737B publication Critical patent/CN108960737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本发明涉及智能物流技术领域，更具体地说，涉及基于机器视觉的仓库自动巡检系统及方法，所述系统包括：智能巡检机器人、监控巡检计算机和报警单元；所述智能巡检机器人，用于获取货架(内的货物信息；所述监控巡检计算机，用于控制智能巡检机器人到达货架内的指定货物单元获取相应货物信息；并分析处理所述货物信息，根据处理后的货物信息控制报警单元；所述报警单元，用于产生报警信息；所述智能巡检机器人与监控巡检计算机无线相连；所述监控巡检计算机的输出端与报警单元的输入端相连。本发明能够不依靠人力进行仓库盘点，不但节约了人力、提高了盘点准确性，而且能够及时提供报警信息，使仓库补货及时。

Description

基于机器视觉的仓库自动巡检系统及方法
技术领域
本发明涉及智能物流技术领域，更具体地说，涉及基于机器视觉的仓库自动巡检系统及方法。
背景技术
机器视觉，通俗来讲，就是用机器代替人眼来做测量和判断，其核心理论为图像处理，是一门涉及诸多领域的交叉学科，广泛应用在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合。其通过图像摄取装置将被摄取目标转换成图像信号，传送给图像处理系统，然后根据像素分布和亮度、颜色等信息，进行运算来抽取目标的特征，例如面积、长度、数量、位置等，最后根据预设的判断来输出结果，如尺寸、角度、偏移量、个数、合格或不合格、有或无等。
仓库管理系统中的盘点是是指定期或临时对库存商品的实际数量进行清查、清点的作业，即为了掌握货物的流动情况(入库、在库、出库的流动状况)，对仓库现有物品的实际数量与保管账上记录的数量相核对，以便准确地掌握库存数量。盘点方式通常有两种:一种是定期盘点，即仓库的全面盘点，是指在一定时间内，一般是每季度、每半年或年终财务结算前进行一次全面的盘点，由货主派人同仓库保管员、商品会计一起进行盘点对账；二是临时盘点，即当仓库发生货物损失事故，或保管员更换，或仓库与货主认为有必要盘点对账时，组织一次局部性或全面的盘点。实践表明，仓库盘点的误差中约65％是由于人为原因，人工手工录单，容易发生人工录入错误从而导致盘点错误。
仓储在企业的整个供应链中起着至关重要的作用，如果不能保证正确的进货和库存控制及发货，将会导致管理费用的增加，服务质量难以得到保证，从而影响企业的竞争力。仓库盘点管理目前最常采用的是人工进行盘点，需要多个部门的配合，仓库部主要负责组织、实施仓库盘点作业、最终盘点数据的查核，校正，盘点总结；财务部需要负责稽核仓库盘点作业数据，以反馈其正确性。整个过程涉及的人员比较多，工作复杂程度大，无法准确把握盘点的准确率，造成盘点误差不能在一个确定的范围内，不可控制。传统简单、静态的仓储管理已无法保证企业各种资源的高效利用。如今的仓库作业和库存控制作业已十分复杂化多样化，仅靠人工记忆和手工录入，不但费时费力，而且容易出错，给企业带来巨大损失。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供基于机器视觉的仓库自动巡检系统及方法，其能够不依靠人力进行仓库盘点，不但节约了人力、提高了盘点准确性，而且能够及时提供报警信息，使仓库补货及时。
本发明解决其技术问题所采用的技术方案是：一方面，构造基于机器视觉的仓库自动巡检系统，包括：智能巡检机器人、监控巡检计算机和报警单元
所述智能巡检机器人，用于获取货架内的货物信息；
所述监控巡检计算机，用于控制智能巡检机器人到达货架内的指定货物单元获取相应货物信息；并分析处理所述货物信息，根据处理后的货物信息控制报警单元；
所述报警单元，用于产生报警信息；
所述智能巡检机器人与监控巡检计算机无线相连；
所述监控巡检计算机的输出端与报警单元的输入端相连。
另一方面，构造基于机器视觉的仓库自动巡检方法，包括：
监控巡检计算机控制智能巡检机器人到达货架内的指定货物单元；
智能巡检机器人获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机；
监控巡检计算机分析处理智能巡检机器人传送的货物信息，并根据处理后的货物信息判断是否驱动报警单元；
若监控巡检计算机判定驱动报警单元，则报警单元产生报警信息；
若监控巡检计算机判定不驱动报警单元，则报警单元不启动。
在本发明中，由智能巡检机器人代替人工对仓库进行巡检；智能巡检机器人受中控巡检计算机的控制可以在仓库的货架中自动到达指定的货物单元。然后智能巡检机器人获取图像信息后上传至中控巡检计算机，由中控巡检计算机判定是否出发报警信息。因此，本发明可以节约仓库盘点的人力，提高盘点准确性；还能够及时补充仓库货物，降低了企业因为缺货而产生生产停止或者顾客服务水平下降的风险，保障企业的日常运营生产的稳定性。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的系统结构示意图；
图2是本发明实施例中智能巡检机器人与货架的构示意图；
图中：货架1、智能巡检机器人2(其中：图像采集单元2.1、图像采集卡2.1.1、摄像头2.1.2、转向装置2.1.3、伸缩装置2.1.4、行走单元2.2、行走轮2.2.1、红外传感器2.2.2、电源2.2.3、无线传输单元2.3、微控制器2.4)、中控巡检计算机3(其中：图像处理单元3.1、控制器3.2)、无线通讯单元4、报警单元5(其中：灯具驱动单元5.1、预警提示灯5.2)。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
如图1和2所示，在本发明的基于机器视觉的仓库自动巡检系统，包括：智能巡检机器人2、监控巡检计算机3和报警单元5；
所述智能巡检机器人2，用于获取货架1内的货物信息；
所述监控巡检计算机3，用于控制智能巡检机器人2到达货架1内的指定货物单元获取相应货物信息；并分析处理所述货物信息，根据处理后的货物信息控制报警单元5；
所述报警单元5，用于产生报警信息；
所述智能巡检机器人2与监控巡检计算机3无线相连；
所述监控巡检计算机3的输出端与报警单元5的输入端相连。
货架1即需要进行盘点的货物，货物按一定的存取规则存储在仓货架1上不同货物单元。
进一步地，所述巡检系统还包括：无线通讯单元4，所述无线通讯单元4分别与智能巡检机器人2和监控巡检计算机3相连。
无线通讯单元4包括发射机、接收机。无线通讯单元4可以将监控巡检计算机3发出的指令发送给智能巡检机器人2的无线传输单元2.3，可以接收智能巡检机器人2发送的图片和位置等信息。
更进一步地，所述智能巡检机器人2包括：图像采集单元2.1、行走单元2.2、无线传输单元2.3和微控制器2.4；
所述微控制器2.4分别与图像采集单元2.1、行走单元2.2和无线传输单元2.3相连；
所述无线传输单元2.3与图像采集单元2.1相连；
所述无线传输单元2.3与无线通讯单元4无线相连；
所述微控制器2.4，用于控制行走单元2.2，使得智能巡检机器人2在货架1内移动；并控制图像采集单元2.1获取货架1内的货物信息；
所述监控巡检计算机3通过无线通讯单元4和无线传输单元2.3向微控制器2.4发出控制指令。
图像采集单元2.1为一部耐高温的CCD相机。在智能巡检机器人2的顶端安装CCD相机和照明灯，该CCD相机具有转向装置2.1.3和伸缩装置2.1.4，因此，CCD相机可以跟据物体的不同位置进行伸缩移动进行拍摄。
微控制器2.4是安装在智能巡检机器人2内部的控制面板，对机器人的行走、移动、拍摄和传输等行为进行控制。
无线传输单元2.3包括发射机、接收机。无线传输单元2.3可以将图像采集单元2.1采集到的图像信息通过无线通讯单元4实时上传到中控巡检计算机3。
再进一步地，所述图像采集单元2.1包括：图像采集卡2.1.1和摄像头2.1.2；图像采集卡2.1.1安装在智能巡检机器人2的内部；
所述摄像头2.1.2，用于获取货架1内的货物信息；
所述图像采集卡2.1.1，用于存储所述货物信息；
所述摄像头2.1.2与微控制器2.4相连；
所述监控巡检计算机3包括：图像处理单元3.1和控制器3.2；
所述图像处理单元3.1，用于处理所述货物信息；
所述控制器3.2，用于控制智能巡检机器人2到达货架1内的指定货物单元获取相应货物信息，并根据处理后的货物信息控制报警单元5；
所述控制器3.2通过无线通讯单元4和无线传输单元2.3，与微控制器2.4相连；
所述图像处理单元3.1通过无线通讯单元4和无线传输单元2.3，与图像采集卡2.1.1相连。
CCD相机将拍摄到的图像传递给图像采集卡2.1.1，图像采集卡2.1.1将获取的货物存储图像数据通过图片数据格式输送到图像处理单元3.1的信息输入接口。
图像处理单元3.1可为一台计算机，配置MatLab R2016版本与ARM处理器。
还进一步地，所述行走单元2.2包括：行走轮2.2.1、红外线传感器2.2.2和电源2.2.3；
所述行走轮2.2.1，用于智能巡检机器人2的移动；
所述红外线传感器2.2.2，用于确认和传输智能巡检机器人2的位置信息；
所述电源2.2.3，用于提供智能巡检机器人2的电能；
所述红外线传感器2.2.2通过微控制器2.4、无线通讯单元4和无线传输单元2.3与控制器3.2进行信息交互。
红外线传感器2.2.2进行智能巡检机器人2的定位，可以实现避让，避免智能巡检机器人2与障碍物相撞，将智能巡检机器人2的实时位置上传到中控巡检计算机3。
又进一步地，所述报警单元5包括：灯具驱动单元5.1和预警提示灯5.2；
所述灯具驱动单元5.1与图像处理单元3.1相连。
预警提示灯5.2包括小型LED显示屏和XD1-6.3V指示灯，小型LED显示屏安装在每个货物单元上通过无线传输实时与中控巡检计算机3相连。XD1-6.3V指示灯安装在中控巡检计算机3所处的中控室。
根据上述基于及其视觉的仓库自动巡检系统的结构，按上述方案，智能巡检机器人2获取到存储在货物单元托盘上的货物的图像后，需要将图像上传到中控巡检计算机3中，利用中控巡检计算机3对图像进行处理、分析和理解，通过目标区域匹配的SAR目标识别方法，实现对图像的再认，获得货物单元所存储货物的属性，通过图片特征与属性规则库匹配得到该托盘存储货物数量，待所有货物盘点完毕后，将同种货物数量相加与该货物的安全库存进行对比，如果小于等于安全库存表示需要进行补货，当监测到货物数量小于等于安全库存时，中控巡检计算机3的控制器3.2信息输出并通过报警单元5开启XD1-6.3V指示灯，货物单元上的小型LED显示屏显示缺货数量。当监测到货物数量与保管账上记录的数量不相符时，报警单元5也发出警报。
预警提示灯5.2自动点亮，同时生成一组信息传递给无线通讯单元4，无线通讯单元4的显示屏上也会弹出警告标志，提醒工作人员某货物需要进行补货，或者出现实物与账面货物数量不符合。
本发明所述的基于机器视觉的仓库自动巡检方法，包括：
监控巡检计算机3控制智能巡检机器人2到达货架1内的指定货物单元；
智能巡检机器人2获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机3；
监控巡检计算机3分析处理智能巡检机器人2传送的货物信息，并根据处理后的货物信息判断是否驱动报警单元5；
若监控巡检计算机3判定驱动报警单元5，则报警单元5产生报警信息；
若监控巡检计算机3判定不驱动报警单元5，则报警单元5不启动。
进一步地，所述智能巡检机器人2获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机3，具体包括：
当智能巡检机器人2到达货架1内的指定货物单元后，智能巡检机器人2中图像采集单元2.1的摄像头2.1.2拍摄指定货物单元上的货物照片；
智能巡检机器人2中图像采集单元2.1的图像采集卡2.1.1将指定货物单元的货物照片进行储存；
图像采集卡2.1.1将指定货物单元的货物照片传送至监控巡检计算机(3)的图像处理单元3.1。
更进一步地，所述监控巡检计算机3分析处理智能巡检机器人2传送的货物信息，具体包括：
图像处理单元3.1对图像采集卡2.1.1传送的指定货物单元的货物照片基于目标区域匹配的SAR目标识别方法进行处理，得到所述指定货物单元上存放货物的数量；
所述监控巡检计算机3根据处理后的货物信息判断是否驱动报警单元5，具体包括：
图像处理单元3.1根据指定货物单元上存放货物的数量，统计货架1内同一种类货物的数量；
若货架1内同一种类货物的数量小于等于安全库存时，则判定驱动报警单元5；
若货架1内同一种类货物的数量大于安全库存时，则判定不驱动报警单元5。
再进一步地，所述图像处理单元3.1对图像采集卡2.1.1传送的指定货物单元的货物照片基于目标区域匹配的SAR目标识别方法进行处理，具体包括：
步骤1、从所述货物照片中提取二值化目标区域；具体如下：
对原始SAR图像(指定货物单元的货物照片)进行直方图均衡化，将其动态范围变换到[0，1]；
对直方图均衡化的图像进行均值滤波；
采用门限法进行图像分割，门限值一般取0.8；
针对目标区域可能出现的微小断裂和空洞以及背景杂波的影响，采用数学形态学运算进行消除。
步骤2、根据货物照片中提取二值化目标区域和所盘点货物的类别名称，从模板库中获取对应的各模板照片，并计算所述模板照片的目标区域；
步骤3、计算货物照片的二值化目标区域与各模板照片的目标区域的残差；
步骤4、根据货物照片的二值化目标区域与各模板照片的目标区域的残差，得到货物照片的二值化目标区域与各模板照片的目标区域的残差的匹配度。基于目标区域残差的匹配度的计算公式为：
Figure BDA0001732245990000081
公式(1)中，Cf,s：目标区域残差的匹配度；
f：待识别图像；
g：模板图像；
m：目标区域横坐标；
n:目标区域纵坐标；
Sf：待识别图像的目标区域像素个数；
Sg：模板图像目标区域的像素个数；
Se：待识别图像与模板图像的目标区域残差的像素个数；
Figure BDA0001732245990000082
待识别图像与模板图像的目标区域某点残差的像素
fbit(m,n)：待识别图像的目标区域某个像素；
gbit(m,n)：模板图像目标区域某个像素。
区域残差的像素数量反映了相似度的大小，当待识别图像的目标区域与模板图像的目标区域无交集时，此时匹配度为0；当待识别图像与模板图像的目标区域完全重合时，匹配度为1。在本实施例中，所述待识别图像指的是当前指定货物单元的货物照片。
步骤5、根据所述匹配度，确定当前货物照片内货物类型；
步骤6、根据当前货物照片内货物类型，以及各模板照片的目标区域所代表的货物数量，来确定当前货物照片所包含的货物数量。
在本发明所述的方法中：
智能巡检机器人2接受到中控巡检计算3机的指令，寻找待盘点的货物的位置；
通过图像采集单元2.1获取货物单元托盘上存储货物的图像；
将图像采集单元2.1传来的图像导入图像处理单元3.1中，基于目标区域匹配的SAR目标识别方法得到货物属性，对比属性规则库得到单个托盘上货物的库存数量，统计同类货物所有货物的存储量，以此判断仓库实际存储情况；
当存储量小于安全库存时，信息输出并通过报警单元5进行预警。
其中，机器视觉与机器语言转换规则，具体如下：
确定每种货物的存储情况；
利用智能巡检机器人2获取货物各种情况(托盘上满货时，托盘上被取走一件货时，等等)下的存储的图像；
根据不同的存储图像，设置属性规则库，托盘满载时的图片所对应的数量即满载数量，以此类推(一个托盘满载可放4件货物，那该情况下所得到的图片所对应的数量即4)。
本发明的有益效果在于：
本发明模拟了人类视觉处理景物的方式，对仓库存储的货物进行自动巡检盘点，降低了人工盘点录单产生错误率，从而降低盘点错误率，保障企业正常生产运作的稳定性。保证正确的进货和发货，降低货物管理费用，使服务质量得到保证，从而提高企业的竞争力。通过自动巡检盘点降低了劳动力的使用情况，可以节省劳动力，使盘点工作复杂程度降低，不受时间约束，可进行24小时的盘点，保证企业各种资源的高效利用。
通过将图像采集单元2.1在特定位置以特定的角度采集货物图像，通过图像处理单元3.1可以快速精确的测出货物存储量，企业可以及时进行补货纠正，可快速的进行仓库现有物品的实际数量与保管账上记录的数量的核对，以便准确地掌握库存数量。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (2)

1.一种基于机器视觉的仓库自动巡检系统，其特征在于，包括：智能巡检机器人(2)、监控巡检计算机(3)和报警单元(5)；
所述智能巡检机器人(2)，用于获取货架(1)内的货物信息；
所述监控巡检计算机(3)，用于控制智能巡检机器人(2)到达货架(1)内的指定货物单元获取相应货物信息；并分析处理所述货物信息，根据处理后的货物信息控制报警单元(5)；
所述报警单元(5)，用于产生报警信息；
所述智能巡检机器人(2)与监控巡检计算机(3)无线相连；
所述监控巡检计算机(3)的输出端与报警单元(5)的输入端相连；
所述智能巡检机器人(2)包括：图像采集单元(2.1)；
所述图像采集单元(2.1)包括：图像采集卡(2.1.1)；
所述图像采集卡(2.1.1)，用于存储所述货物信息；
所述监控巡检计算机(3)包括：图像处理单元(3.1)；
所述图像处理单元(3.1)，用于处理所述货物信息；
所述图像处理单元(3.1)对图像采集卡(2.1.1)传送的指定货物单元的货物照片基于目标区域匹配的SAR目标识别方法进行处理，具体包括：
从所述货物照片中提取二值化目标区域；
根据货物照片中提取二值化目标区域和所盘点货物的类别名称，从模板库中获取对应的各模板照片，并计算所述模板照片的目标区域；
计算货物照片的二值化目标区域与各模板照片的目标区域的残差；
根据货物照片的二值化目标区域与各模板照片的目标区域的残差，得到货物照片的二值化目标区域与各模板照片的目标区域的残差的匹配度；
根据所述匹配度，确定当前货物照片内货物类型；
根据当前货物照片内货物类型，以及各模板照片的目标区域所代表的货物数量，来确定当前货物照片所包含的货物数量；
基于目标区域残差的匹配度的计算公式为：
Figure FDF0000019543160000021
公式(1)中，Cf,s：目标区域残差的匹配度；f：待识别图像；g：模板图像；m：目标区域横坐标；n:目标区域纵坐标；Sf：待识别图像的目标区域像素个数；Sg：模板图像目标区域的像素个数；Se：待识别图像与模板图像的目标区域残差的像素个数；
Figure FDF0000019543160000022
待识别图像与模板图像的目标区域某点残差的像素；fbit(m,n)：待识别图像的目标区域某个像素；gbit(m,n)：模板图像目标区域某个像素；
所述巡检系统还包括：无线通讯单元(4)，所述无线通讯单元(4)分别与智能巡检机器人(2)和监控巡检计算机(3)相连；
所述智能巡检机器人(2)还包括：行走单元(2.2)、无线传输单元(2.3)和微控制器(2.4)；
所述微控制器(2.4)分别与图像采集单元(2.1)、行走单元(2.2)和无线传输单元(2.3)相连；
所述无线传输单元(2.3)与图像采集单元(2.1)相连；
所述无线传输单元(2.3)与无线通讯单元(4)无线相连；
所述微控制器(2.4)，用于控制行走单元(2.2)，使得智能巡检机器人(2)在货架(1)内移动；并控制图像采集单元(2.1)获取货架(1)内的货物信息；
所述监控巡检计算机(3)通过无线通讯单元(4)和无线传输单元(2.3)向微控制器(2.4)发出控制指令；
所述图像采集单元(2.1)还包括：摄像头(2.1.2)；
所述摄像头(2.1.2)，用于获取货架(1)内的货物信息；
所述摄像头(2.1.2)与微控制器(2.4)相连；
所述监控巡检计算机(3)还包括：控制器(3.2)；
所述控制器(3.2)，用于控制智能巡检机器人(2)到达货架(1)内的指定货物单元获取相应货物信息，并根据处理后的货物信息控制报警单元(5)；
所述控制器(3.2)通过无线通讯单元(4)和无线传输单元(2.3)，与微控制器(2.4)相连；
所述图像处理单元(3.1)通过无线通讯单元(4)和无线传输单元(2.3)，与图像采集卡(2.1.1)相连；
所述行走单元(2.2)包括：行走轮(2.2.1)、红外线传感器(2.2.2)和电源(2.2.3)；
所述行走轮(2.2.1)，用于智能巡检机器人(2)的移动；
所述红外线传感器(2.2.2)，用于确认和传输智能巡检机器人(2)的位置信息；
所述电源(2.2.3)，用于提供智能巡检机器人(2)的电能；
所述红外线传感器(2.2.2)通过微控制器(2.4)、无线通讯单元(4)和无线传输单元(2.3)与控制器(3.2)进行信息交互；
所述报警单元(5)包括：灯具驱动单元(5.1)和预警提示灯(5.2)；
所述灯具驱动单元(5.1)与图像处理单元(3.1)相连。
2.一种利用权利要求1 所述基于机器视觉的仓库自动巡检系统的巡检方法，其特征在于，包括以下步骤：
监控巡检计算机(3)控制智能巡检机器人(2)到达货架(1)内的指定货物单元；
智能巡检机器人(2)获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机(3)；
监控巡检计算机(3)分析处理智能巡检机器人(2)传送的货物信息，并根据处理后的货物信息判断是否驱动报警单元(5)；
若监控巡检计算机(3)判定驱动报警单元(5)，则报警单元(5)产生报警信息；
若监控巡检计算机(3)判定不驱动报警单元(5)，则报警单元(5)不启动；
所述监控巡检计算机(3)分析处理智能巡检机器人(2)传送的货物信息，具体包括：
图像处理单元(3.1)对图像采集卡(2.1.1)传送的指定货物单元的货物照片基于目标区域匹配的SAR目标识别方法进行处理，得到所述指定货物单元上存放货物的数量；
所述图像处理单元(3.1)对图像采集卡(2.1.1)传送的指定货物单元的货物照片基于目标区域匹配的SAR目标识别方法进行处理，具体包括：
从所述货物照片中提取二值化目标区域；
根据货物照片中提取二值化目标区域和所盘点货物的类别名称，从模板库中获取对应的各模板照片，并计算所述模板照片的目标区域；
计算货物照片的二值化目标区域与各模板照片的目标区域的残差；
根据货物照片的二值化目标区域与各模板照片的目标区域的残差，得到货物照片的二值化目标区域与各模板照片的目标区域的残差的匹配度；
根据所述匹配度，确定当前货物照片内货物类型；
根据当前货物照片内货物类型，以及各模板照片的目标区域所代表的货物数量，来确定当前货物照片所包含的货物数量；
基于目标区域残差的匹配度的计算公式为：
Figure FDF0000019543160000041
公式(1)中，Cf,s：目标区域残差的匹配度；f：待识别图像；g：模板图像；m：目标区域横坐标；n:目标区域纵坐标；Sf：待识别图像的目标区域像素个数；Sg：模板图像目标区域的像素个数；Se：待识别图像与模板图像的目标区域残差的像素个数；
Figure FDF0000019543160000042
待识别图像与模板图像的目标区域某点残差的像素；fbit(m,n)：待识别图像的目标区域某个像素；gbit(m,n)：模板图像目标区域某个像素；
所述智能巡检机器人(2)获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机(3)，具体包括：
当智能巡检机器人(2)到达货架(1)内的指定货物单元后，智能巡检机器人(2)中图像采集单元(2.1)的摄像头(2.1.2)拍摄指定货物单元上的货物照片；
智能巡检机器人(2)中图像采集单元(2.1)的图像采集卡(2.1.1)将指定货物单元的货物照片进行储存；
图像采集卡(2.1.1)将指定货物单元的货物照片传送至监控巡检计算机(3)的图像处理单元(3.1)；
所述监控巡检计算机(3)根据处理后的货物信息判断是否驱动报警单元(5)，具体包括：
图像处理单元(3.1)根据指定货物单元上存放货物的数量，统计货架(1)内同一种类货物的数量；
若货架(1)内同一种类货物的数量小于等于安全库存时，则判定驱动报警单元(5)；
若货架(1)内同一种类货物的数量大于安全库存时，则判定不驱动报警单元(5)。
CN201810779681.4A 2018-07-16 2018-07-16 基于机器视觉的仓库自动巡检系统及方法 Active CN108960737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810779681.4A CN108960737B (zh) 2018-07-16 2018-07-16 基于机器视觉的仓库自动巡检系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810779681.4A CN108960737B (zh) 2018-07-16 2018-07-16 基于机器视觉的仓库自动巡检系统及方法

Publications (2)

Publication Number Publication Date
CN108960737A CN108960737A (zh) 2018-12-07
CN108960737B true CN108960737B (zh) 2023-02-24

Family

ID=64481405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810779681.4A Active CN108960737B (zh) 2018-07-16 2018-07-16 基于机器视觉的仓库自动巡检系统及方法

Country Status (1)

Country Link
CN (1) CN108960737B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109699518A (zh) * 2018-12-11 2019-05-03 武汉理工大学 一种基于机器视觉的动物集装箱自动巡检系统及方法
CN109784172A (zh) * 2018-12-14 2019-05-21 上海扩博智能技术有限公司 商场中地堆商品占地面积估算方法、系统、设备及介质
CN111376251B (zh) * 2018-12-28 2023-05-02 西安光启智能技术有限公司 一种物流机器人
CN109956248A (zh) * 2019-01-29 2019-07-02 广东赛斐迩物流科技有限公司 一种适用于仓库的智能化货物搬运系统及其使用方法
CN109849008A (zh) * 2019-02-21 2019-06-07 广州高新兴机器人有限公司 一种基于金库的机器人盘点方法及系统
CN110084186A (zh) * 2019-04-25 2019-08-02 中信梧桐港供应链管理有限公司 一种仓库远程监管方法及装置
CN110288303B (zh) * 2019-07-31 2023-05-26 中国工商银行股份有限公司 库房清点装置及系统
CN111143637A (zh) * 2019-12-18 2020-05-12 广州穗能通能源科技有限责任公司 电力虚拟化可视化仓库管理方法、装置和系统
CN111260299B (zh) * 2020-02-18 2023-07-18 中国联合网络通信集团有限公司 货品盘点及管理方法、装置、电子设备及存储介质
CN111432171B (zh) * 2020-03-19 2021-12-07 上海品览数据科技有限公司 一种基于视觉的商品盘点设备及其系统和盘点方法
CN112158506A (zh) * 2020-10-13 2021-01-01 合肥中科创奥数字科技有限公司 一种物流仓库用巡检机器人
CN112580601B (zh) * 2020-12-30 2021-07-16 触动力科技（深圳）有限公司 立体无人仓库的管理系统及方法
CN113592339A (zh) * 2021-08-09 2021-11-02 四川长虹智能制造技术有限公司 一种货物信息校准系统、方法及电子设备
CN114872058A (zh) * 2022-04-02 2022-08-09 深圳云存科技有限公司 一种基于ai人工智能的数量统计机器人
CN115439948A (zh) * 2022-07-22 2022-12-06 大连莱立佰信息技术有限公司 基于图像识别和工艺视频联动的泵站智能巡检方法
CN115659452B (zh) * 2022-09-21 2024-04-12 联通数字科技有限公司 一种智能巡视方法、智能巡视系统及计算机可读存储介质
CN117291503A (zh) * 2023-09-28 2023-12-26 佳康捷科技(江苏)有限公司 一种智能仓储管理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201251702Y (zh) * 2008-08-06 2009-06-03 北京晋科光技术有限公司 移动监控机器人
CN106276011A (zh) * 2016-08-26 2017-01-04 无锡卓信信息科技股份有限公司 一种基于移动机器人的仓库货物查找控制系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053847A1 (zh) * 2016-09-26 2018-03-29 达闼科技（北京）有限公司 一种智能库存管理系统、服务器、方法、终端和程序产品
CN106934579A (zh) * 2017-03-20 2017-07-07 南京医科大学第附属医院 基于无人机的自动仓储系统的控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201251702Y (zh) * 2008-08-06 2009-06-03 北京晋科光技术有限公司 移动监控机器人
CN106276011A (zh) * 2016-08-26 2017-01-04 无锡卓信信息科技股份有限公司 一种基于移动机器人的仓库货物查找控制系统

Also Published As

Publication number Publication date
CN108960737A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108960737B (zh) 基于机器视觉的仓库自动巡检系统及方法
US11722642B2 (en) Machine-vision system and method for remote quality inspection of a product
US11049278B2 (en) System and method for visual identification, and system and method for classifying and sorting
CN110458256B (zh) 一种基于rfid的货物管理方法、电子设备及系统
CN109255568A (zh) 一种基于图像识别的智能仓储系统
US20200326680A1 (en) Process digitalization technology
CN105046468A (zh) 基于物联网的智能仓储方法
CN111161214B (zh) 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法
US20220299995A1 (en) Autonomous Vehicle Warehouse Inventory Inspection and Management
CN109767575B (zh) 一种智能货柜的管理系统
CN116050992A (zh) 一种基于图像识别的库存盘点管理系统
CN116409575A (zh) 一种智能仓储货架进出库管控系统
CN111539468A (zh) 一种自动售卖设备的货物清点方法
CN116308038A (zh) 基于物联网的仓库货物采购管理方法和系统
CN116477233A (zh) 垃圾中转站分类计量系统及方法
CN116110127A (zh) 一种多联动的加油站套现行为识别系统
CN115271593A (zh) 一种仓库用智能收退货系统
CN115439070A (zh) 一种基于仓储数字化实现自助领料的方法
CN107742383A (zh) 基于光面成像的自动结算系统及结算方法
US11010903B1 (en) Computer vision and machine learning techniques for item tracking
CN214278993U (zh) 一种仓库布匹信息检索装置
CN114842470B (zh) 层叠式笼养模式下的鸡蛋计数及定位系统
CN117253176B (zh) 基于视频分析与计算机视觉的安全生产Al智能检测方法
TWI814100B (zh) 物流辨識撿貨系統
CN109699518A (zh) 一种基于机器视觉的动物集装箱自动巡检系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant