CN112070007A - 用于识别搬运机器人的工作台的占用状态的方法和设备 - Google Patents
用于识别搬运机器人的工作台的占用状态的方法和设备 Download PDFInfo
- Publication number
- CN112070007A CN112070007A CN202010933902.6A CN202010933902A CN112070007A CN 112070007 A CN112070007 A CN 112070007A CN 202010933902 A CN202010933902 A CN 202010933902A CN 112070007 A CN112070007 A CN 112070007A
- Authority
- CN
- China
- Prior art keywords
- image data
- transfer robot
- robot
- occupied
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 31
- 238000003032 molecular docking Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 16
- 239000000463 material Substances 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
Abstract
本发明涉及智能物流领域。本发明提供一种用于确定搬运机器人的周围环境中的工作台的占用状态的方法,包括以下步骤:获取搬运机器人周围环境中的工作台的第一图像数据,所述第一图像数据借助搬运机器人的一个或多个传感器检测;基于图像识别技术分析处理所述第一图像数据,其中,判断所述工作台是否已被对象占用。本发明还提供一种用于确定搬运机器人的周围环境中的工作台的占用状态的设备、一种搬运机器人、一种仓库和一种工作台。本发明基于图像识别技术提高了对工作台占用状态的探测准确性,有效确保搬运机器人的作业安全性。
Description
技术领域
本发明涉及一种用于识别搬运机器人的周围环境中的工作台的占用状态的方法、一种用于识别搬运机器人的周围环境中的工作台的占用状态的设备、一种搬运机器人、一种仓库和一种工作台。
背景技术
随着电子商务、现代化工厂等领域的兴起,越来越多地使用智能化仓储系统来完成物品的拣选、搬运、存储等。
目前在智能仓储物流领域,一般通过自主移动机器人(英:AMR,Automated MobileRobot)与固定式物料支架的组合来实现物料的运输和取放。在取放过程中,AMR需要获取固定式支架上载有物料的状态,以免载有物料的AMR与固定式物料支架进行对接作业时与其上已有的物料发生碰撞事故。
在现有技术中,对于固定式支架上的物料检测存在一些技术方案,例如可以将固定式支架设计为有源设备,并在其上添加物料检测传感器。此外,也可以在AMR车体上通过超声传感器、红外传感器等设备对固定式托盘支架上的托盘进行检测。
然而,这些方案均存在诸多缺陷。特别是,在固定式支架本身上设置附加传感器会导致仓储的整体货架成本增加,给AMR的部署也带来一定压力。使AMR车体集成红外、超声传感器则会由于对于安装角度、反射点和车体姿态的高要求而难以实现检测距离和检测角度的最优化。同时,通过已知的技术手段往往无法区分出不同的物料类型,存在一定几率的误识别。
发明内容
本发明的目的在于提供一种用于识别搬运机器人的周围环境中的工作台的占用状态的方法、一种用于识别搬运机器人的周围环境中的工作台的占用状态的设备、一种搬运机器人、一种仓库和一种工作台,以至少解决现有技术中的部分问题。
根据本发明的第一方面,提供一种用于确定搬运机器人的周围环境中的工作台的占用状态的方法,包括以下步骤:
获取搬运机器人的周围环境中的工作台的第一图像数据,所述第一图像数据借助搬运机器人的一个或多个传感器检测;
基于图像识别技术分析处理所述第一图像数据,其中,判断所述工作台是否已被对象占用。
本发明尤其包括如下技术优点:基于图像识别技术的应用,在探测占用状态的过程中对搬运机器人的车体与工作台的相对位姿无过高要求。同时,在较远的检测距离上就能够实现工作台上的物料占用状态的可靠识别,而无需让搬运机器人靠近工作台,提高了识别效率。此外,通过根据本发明的方法能够识别出不同类型的物料,并且能够有针对性地识别预定义的物料类型,极大地优化了搬运机器人的分拣过程。
根据一个可选实施例,所述方法还包括:
获取搬运机器人的周围环境中的工作台的第二图像数据,所述第二图像数据借助仓库中的一个或多个传感器检测,所述搬运机器人处于所述仓库中;
基于图像识别技术分析处理所述第二图像数据,其中,判断所述工作台是否已被对象占用;
其中,如果在分析处理第一图像数据和第二图像数据的步骤之一判断出所述工作台已被对象占用,则确定:所述搬运机器人的周围环境中的工作台已被占用。
因此,本发明尤其还包括如下技术构思:不仅应用搬运机器人自身的传感器数据,而且应用搬运机器人所处的仓库的传感器数据,以便确定搬运机器人的周围环境中的工作台的占用状态。
由此有利地,相比于单独使用搬运机器人的传感器数据或单独使用仓库中部署的传感器数据的情况,存在更多信息作为占用状态的判定基础可用。同时,通过在两个分析处理步骤之一中判断出存在占用状态就确定工作台被占用,能够显著提高搬运机器人的作业安全性,或者说可以有效降低搬运机器人的碰撞事故风险。因为即使在上述两个分析处理的步骤之一中错误地将已被占用的工作台识别为空闲的,仍能够通过在冗余的另一分析处理步骤中正确地识别工作台的占用状态来补偿这种错误。
根据另一可选实施例,基于图像识别技术分析处理所述第一图像数据和/或第二图像数据包括:将所述第一图像数据和/或所述第二图像数据与预先存储的参考图像进行比较,并且分析所述第一图像数据和/或第二图像数据与所述参考图像的差别。
由此实现以下技术优点,通过预先存储例如载有预定义对象的工作台的参考图像,可以基于差别分析来有针对性地判断工作台是否被一特定类型的对象占用,减小误识别率。
根据另一可选实施例,基于图像识别技术分析处理所述第一图像数据和/或第二图像数据包括:使用经训练的动态分类模型来确定所述工作台的占用状态。
由此尤其实现如下技术优点:在结合人工智能模型和相应的训练手段的情况下,能够在很大程度上提高图像识别的准确性,例如能够准确地区分出工作台(例如货架)自身的框架轮廓与放置在其上的对象。
根据另一可选实施例,基于图像识别技术分析处理所述第一图像数据和/或第二图像数据包括:基于二维码、条形码的识别来确定所述工作台的占用状态。
由此尤其实现如下技术优点:二维码、条形码的识别技术在图像识别领域已经非常成熟,通过为工作台上的不同物料分配标识符,可以以较低地成本高效地识别出工作台的占用状态。
根据另一可选实施例,所述方法还包括:在确定所述工作台未被对象占用的情况下,使所述搬运机器人与所述工作台进行对接,其中,在对接过程中借助红外传感器技术对占用状态进行校验。
根据另一可选实施例,在所述对接过程中,检测所述工作台上的对象轮廓,如果在确定的时间段内持续检测到对象轮廓,则得出校验的结果为:所述工作台被对象占用
由此尤其实现如下技术优点:借助在对接过程中的附加校验,可以进一步有效降低搬运机器人在作业过程中的事故风险。如果在分析处理所获取的工作台的图像数据的步骤中出现图像识别错误,或者如果获取所述图像数据的传感器出现功能故障(这种功能故障例如导致所述传感器错误地未探测到工作台上的对象),则可以借助附加的传感器在车辆靠近工作台期间对占用状态进行可信度校验,由此有利地在搬运机器人进入工作台之前通过这种校验过程确保对接过程的安全性。
根据另一可选实施例,在确定所述工作台已被对象占用的情况下,将关于占用状态的信息发送至调度系统。
在此,调度系统可针对接收到的工作台占用情况调整搬运机器人的调度指令,及时更新智能物流部署信息。同时,尤其可以等待调度系统将另一待作用的工作台位置信息发送至搬运机器人,并且要求相应的搬运机器人退出至要求区域。
根据另一可选实施例,在获取所述第一图像数据的步骤之前附加地执行以下步骤:调整所述搬运机器人的姿态,使得在所述搬运机器人的一个或多个传感器的视野范围内能够观察到工作台的完整图像。
根据另一可选实施例,在搬运机器人的周围环境区域中的所有工作台已满的情况下,以固定的时间间隔重复执行搬运机器人的周围环境的图像数据的获取,使得基于对应的重新获取的图像数据来分析处理所述工作台的占用状态,其中,如果重新获取的图像数据的对应分析处理得到不同的结果,那么判断出所述搬运机器人的周围环境中的工作台上有空位腾出。
由此尤其实现如下技术优点:这种以固定时间间隔的循环探测和判断方式使得在未及时收到更新的调度命令的情况下自主地寻找可能的空出位置,提高了搬运机器人的工作效率。
根据另一可选实施例,在获取所述第一图像数据的步骤之前附加地检测光照强度,当光照强度低于预设条件时对所述搬运机器人的周围环境进行补光
由此尤其实现如下技术优点:可以响应于周围环境的光照条件而进行相应的补光,有利地提高了图像识别技术的准确性。
根据本发明的第二方面,提供一种用于确定搬运机器人的周围环境中的工作台的占用状态的设备,其用于执行根据本发明的上述实施例的方法,所述设备包括:
获取模块,其配置成能够获取搬运机器人的周围环境中的工作台的第一图像数据,所述第一图像数据借助搬运机器人的一个或多个传感器检测;
分析处理模块,其配置成能够基于图像识别技术分析处理所述第一图像数据,其中,判断所述工作台是否已被对象占用。
可选地,该搬运机器人的一个或多个传感器是摄像头。
可选地,该设备包括红外传感器,该红外传感器被配置成能够在搬运机器人与工作台的对接过程中对占用状态进行校验。
可选地,该设备包括补光灯,该补光灯被配置成能够当光照强度低于预设条件时对所述搬运机器人的周围环境进行补光。
根据本发明的第三方面,提供一种搬运机器人,其包括根据本发明所述的设备。
可选地,该搬运机器人包括顶升机构和车体,该顶升机构用于承载所搬运的对象以及对所搬运的对象进行取放,该车体用于使搬运机器人在空间中移动。
可选地,该搬运机器人的一个或多个传感器是摄像头并且布置在所述顶升机构和/或所述车体的前部、后部和/或侧部。
可选地,该摄像头在相对于所述工作台2m处、优选1.5m处、更优选1m处检测所述工作台的第一图像数据。
基于上述定义的检测距离,能够确保在较远的距离上就能够以95%以上的检测成功率实现工作台占用状态的检测,而无需让搬运机器人在检测过程中靠近工作台,从而实现更高的检测效率。尤其有利的是,当在较远距离上就已经检测出工作台已被占用的情况下,能够及时让搬运机器人选择下一工作台,极大地节省了时间开销。
可选地,该摄像头在相对于所述工作台的主轴线偏离20°、10°、更优选0°处检测所述工作台的第一图像数据,所述工作台的主轴线在所述搬运机器人的为了对接到所述工作台上的驶入方向上定向。
基于上述定义的检测角度,能够确保在相对于工作台偏斜一定角度的情况下就能够以较高的成功率实现工作台的占用状态的检测,而无需让搬运机器人在检测过程中完全对准工作台,进而对车体定位不存在过高要求,易于实现。
可选地,所述设备包括红外传感器,所述红外传感器被配置成能够在搬运机器人与所述工作台的对接过程中对占用状态进行校验,所述红外传感器布置在所述顶升机构和/或所述车体的前部、后部和/或侧部。
可选地,所述红外传感器的发射方向与水平方向的夹角θ大于5°、优选大于8°、更优选大于10°。
基于上述定义的发射角度,能够有利地确保红外传感器所发射的红外射束能够到达固定式工作台的物料(例如托盘)上,以提高校验准确度。
根据本发明的第四方面,提供一种仓库,其包括根据本发明所述的设备。
根据本发明的第五方面,提供一种工作台,该工作台被配置成能够与根据本发明的搬运机器人进行对接,其中,当工作台上没有任何对象时,该搬运机器人能够停泊到所述工作台中并与其进行对接,当工作台上被预定义的对象占用时,搬运机器人不会停泊在该工作台中。
可选地,该工作台具有门字形的轮廓。
附图说明
下面,通过参看附图更详细地描述本发明,可以更好地理解本发明的原理、特点和优点。附图包括:
图1示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的方法的流程图;
图2示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的设备;
图3示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的设备的分析处理模块;
图4示出根据本发明的示例性实施例的搬运机器人;
图5示出根据本发明的示例性实施例的仓库;
图6示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的方法一个使用场景的图示;
图7示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的方法另一使用场景的图示。
具体实施方式
为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白,以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,而不是用于限定本发明的保护范围。
图1示出根据本发明的一个示例性实施例的用于识别搬运机器人的周围环境中的工作台的占用状态的方法的流程图。
所述方法包括以下步骤:
获取S1搬运机器人的周围环境中的工作台的第一图像数据,所述第一图像数据借助搬运机器人的一个或多个传感器检测;
基于图像识别技术分析处理S2所述第一图像数据,其中,判断所述工作台是否已被对象占用。
所述工作台可以是但不局限于物流仓库中的用于物料存放的货架。还可能的是,工作台指的是超市、展会、工厂中的置物架或展示台。
所述对象尤其可以是仓库中的用于运输的物料,例如托盘、箱子、工件等。
所述搬运机器人的一个或多个传感器尤其可以是视频传感器、RGBD相机、单目相机、双目相机中的一个或多个。
可选地,第一图像数据由搬运机器人经由通信网络接收。
可选地,第一图像数据由仓库经由通信网络接收。
可选地,所述方法还包括以下步骤:
获取搬运机器人的周围环境中的工作台的第二图像数据,所述第二图像数据借助仓库中的一个或多个传感器检测,所述搬运机器人处于所述仓库中;
基于图像识别技术分析处理所述第二图像数据,其中,判断所述工作台是否已被对象占用;
其中,如果在分析处理第一图像数据和第二图像数据的步骤之一判断出所述工作台已被对象占用,则确定:所述搬运机器人的周围环境中的工作台已被占用。
图2示出根据本发明的一个示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的设备。
设备1包括在通信技术上彼此连接的获取模块10和分析处理模块20。
获取模块10配置成能够获取搬运机器人的周围环境中的工作台的第一图像数据,所述第一图像数据借助搬运机器人的一个或多个传感器检测;
分析处理模块20配置成能够基于图像识别技术分析处理所述第一图像数据,其中,判断所述工作台是否已被对象占用。
可选地,设备1包括用于经由通信网络接收或发送第一图像数据的通信接口(未示出)。
取决于设备1由搬运机器人还是仓库所包括,通信接口因此可以相应地构造成用于接收第一图像数据和/或第二图像数据。
图3示出根据一个示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的设备的分析处理模块。
在图3所示的示例性实施例中,分析处理模块20包括机器学习模型201和输出单元202。在此,对第一图像数据的分析处理包括:使用经训练的机器学习模型(尤其动态分类模型)来确定所述工作台的占用状态。
根据一种实施方式,在训练阶段期间,将具有已知占用状态的工作台的图像数据输入到机器学习模型201中作为训练数据,该机器学习模型201在输出单元202中输出对应的类别(被占用的或未被占用的工作台)。这种具有已知占用状态的工作台的样本图像数据尤其可以具有不同的影响因素:例如不同的拍摄角度、具有预定义对象的不同摆放位置以及不同的光照条件。
机器学习模型201可以是深度神经网络,但是也可以使用其他类型的机器学习模型,例如决策树、聚类分析、贝叶斯网络、马尔可夫链、遗传或其他类型的机器学习模型。
根据一种实施方式,除了在输出单元202中输出不同的占用状态,机器学习模型201还可以附加地输出相应占用状态的置信度。例如,机器学习模型201可以输出所述工作台被占用的置信度为95%,未被占用的置信度为5%。
图4示出根据本发明的示例性实施例的搬运机器人。
搬运机器人400包括图2所示的设备1。此外,搬运机器人400还包括视频传感器401作为用于检测工作台的占用状态的传感器。该视频传感器401可以作为附加部件被添加至搬运机器人400,然而,该视频传感器也可以是出于其他目的(例如避障或人脸识别)已经存在于搬运机器人400上的传感器的一部分。应注意的是,虽然在该实施例中视频传感器401作为前视传感器布置在搬运机器人400的前部,然而还可能的是,该视频传感器布置在搬运机器人400的后部和/或侧部。此外,搬运机器人400还包括用于经由网络进行通信的通信接口402。
根据一种实施方式,搬运机器人借助通信接口402以WiFi、4G或5G等无线通信方式从调度系统获取放置物料的调度指令,所述调度指令尤其包括用于承载物料的工作台的位置信息。根据该调度指令,搬运机器人可实现自主导航定位,以移动至指定工作台所在位置。搬运机器人的视频传感器401检测周围环境并且提供该周围环境中的工作台的第一图像数据。
根据另一实施方式,搬运机器人400还可以借助通信接口402接收搬运机器人的周围环境中的工作台的第二图像数据,其中,该第二图像数据借助仓库中的一个或多个传感器所检测。于是,设备1的分析处理模块20基于图像识别技术分别对第一图像数据和第二图像数据进行分析处理,并分别判断所述工作台是否已被对象占用。基于这两个分析处理的步骤得出的占用状态,分析处理模块20进一步确定:搬运机器人的周围环境中的工作台是否已被对象占用。
还可能的是,对第二图像数据的分析处理过程中不由搬运机器人的分析处理模块执行,而是可以直接通过通信接口402接收针对第二图像数据的分析处理结果(即,工作台是否被占用)。
如果例如已经基于搬运机器人自身的视频传感器401的第一图像数据的分析处理得出:所述工作台已被对象占用,则无论接收到的结果如何,分析处理模块20都能够确定:搬运机器人的周围环境中的所述工作台已被占用。
图5示出根据本发明的示例性实施例的仓库。
仓库500包括图2所示的设备1。仓库例如还包括用于检测工作台的第二图像数据的视频传感器501,该视频传感器501例如可以分布式地布置在仓库500中的多个位置处。仓库500还包括用于经由网络进行通信的通信接口502。
根据一种实施方式,搬运机器人400在该仓库500中运动,所述通信接口502被配置成能够与搬运机器人400进行通信。
根据另一实施方式,仓库500借助通信接口502从搬运机器人400接收工作台的第一图像数据,其中,该第一图像数据借助搬运机器人的一个或多个传感器所检测。于是,仓库500的设备1的分析处理模块20基于图像识别技术分别对第一图像数据和第二图像数据进行分析处理,并分别判断所述工作台是否已被对象占用。根据这两个分析处理的步骤得出的占用状态,分析处理模块20进一步确定:搬运机器人400的周围环境中的工作台是否已被对象占用。
如果例如已经基于仓库500中部署的视频传感器501的第二图像数据的分析处理得出:所述工作台已被对象占用,则无论接收到的结果如何,分析处理模块20都能够确定:搬运机器人400的周围环境中的工作台已被占用。
根据一种实施方式,仓库500可以借助通信接口502将所述占用状态的结果发送给物流机器400人,以使搬运机器人400采取相应的措施来避免在被占用的工作台上作业。
图6示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的方法一个使用场景的图示。
在图6中示例性地示出搬运机器人400和用于放置物料610的工作台600。
搬运机器人400例如包括顶升机构410和车体420。在车体420前表面处例如安装有视频传感器401,此外,在顶升机构410的前表面处居中地例如布置有红外传感器403。
根据该实施例,红外传感器403的发射方向与水平方向的夹角θ大于10°,以此确保发射的红外射束能够到达固定式工作台600的物料(例如托盘)610上。
在已经根据本发明的方法确定固定式工作台600未被预定义类型的物料610占用的情况下,搬运机器人400向该工作台600移动以进行对接。在靠近期间,例如可以借助搬运机器人400的红外传感器403来对占用状态进行校验。具体而言,红外传感器403持续地发射和接收红外射束,取决于是否接收到所反射的红外射束,或者取决于所接收到被反射的红外射束的特性来判断:在搬运机器人400到达工作台600之前,红外传感器403是否被触发。如果红外传感器403被触发,则例如表示红外传感器403探测到预定义物料的轮廓并因此判断工作台600被占用。这种占用状态信息可以被发送至调度系统,以更新调度指令。
在此需要说明的是,在对接过程中用于附加校验的传感器构造成红外传感器只是示例性的,显然,所述传感器例如还可以是以下传感器:雷达传感器、超声波传感器、激光雷达传感器、激光传感器、磁传感器、光栅以及声纳传感器。
另外,在图6中示出的红外传感器403的发射角度θ也只是示例性的,该角度θ尤其能够根据搬运机器人400相对于工作台600的距离和角度实时调整。
图7示出根据本发明的示例性实施例的用于确定搬运机器人的周围环境中的工作台的占用状态的方法另一使用场景的图示。
在图7中以与图6类似的方式示出搬运机器人400'和用于放置物料610的工作台600。与图6的不同之处在于,在搬运机器人400'的顶升机构410'的前表面处居中地布置有补光灯404。
补光灯404例如可以是LED灯或其他常见的辅助光源。
根据一种实施方式,在每次借助搬运机器人的或仓库的视频传感器拍摄工作台的图像时,补光灯404可以自动开启,以提供辅助光线405。可选地,也可以为搬运机器人添加光照强度传感器,以便在借助视频传感器检测工作台的占用状态时获知周围环境的光照强度,若光照强度不足,则控制开启补光灯404。
尽管这里详细描述了本发明的特定实施方式,但它们仅仅是为了解释的目的而给出的,而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下,各种替换、变更和改造可被构想出来。
Claims (31)
1.一种用于确定搬运机器人(400,400')的周围环境中的工作台(600)的占用状态的方法,包括以下步骤:
获取搬运机器人(400,400')的周围环境中的工作台(600)的第一图像数据,所述第一图像数据借助搬运机器人(400,400')的一个或多个传感器(401)检测;
基于图像识别技术分析处理所述第一图像数据,其中,判断所述工作台(600)是否已被对象(610)占用。
2.根据权利要求1所述的方法,其中,所述方法还包括:
获取搬运机器人(400,400')的周围环境中的工作台(600)的第二图像数据,所述第二图像数据借助仓库(500)中的一个或多个传感器(501)检测,所述搬运机器人(400,400')处于所述仓库(500)中;
基于图像识别技术分析处理所述第二图像数据,其中,判断所述工作台(600)是否已被对象(610)占用;
其中,如果在分析处理第一图像数据和第二图像数据的步骤之一中判断出所述工作台(600)已被对象(610)占用,则确定:所述搬运机器人(400,400')的周围环境中的所述工作台(600)已被占用。
3.根据权利要求2所述的方法,其中,基于图像识别技术分析处理所述第一图像数据和/或第二图像数据包括:将所述第一图像数据和/或所述第二图像数据与预先存储的参考图像进行比较,并且分析所述第一图像数据和/或第二图像数据与所述参考图像的差别。
4.根据权利要求2或3所述的方法,其中,基于图像识别技术分析处理所述第一图像数据和/或第二图像数据包括:使用经训练的动态分类模型来确定所述工作台(600)的占用状态。
5.根据权利要求1所述的方法,其中,所述方法还包括:在确定所述工作台(600)未被对象(610)占用的情况下,使所述搬运机器人(400,400')与所述工作台(600)进行对接,其中,在对接过程中借助红外传感器技术对占用状态进行校验。
6.根据权利要求5所述的方法,其中,在所述对接过程中,检测所述工作台(600)上的对象轮廓,如果在确定的时间段内持续检测到对象轮廓,则得出校验的结果为:所述工作台(600)被对象(610)占用。
7.根据权利要求1所述的方法,其中,所述方法还包括:在确定所述工作台(600)已被对象(610)占用的情况下,将关于占用状态的信息发送至调度系统。
8.根据权利要求1所述的方法,其中,在获取所述第一图像数据的步骤之前执行以下步骤:调整所述搬运机器人(400,400')的姿态,使得在所述搬运机器人(400,400')的一个或多个传感器(401)的视野范围内能够观察到工作台(600)的完整图像。
9.根据权利要求1所述的方法,其中,在获取所述第一图像数据的步骤之前检测光照强度,当光照强度低于预设条件时对所述搬运机器人(400,400')的周围环境进行补光。
10.根据权利要求1所述的方法,其中,在搬运机器人(400,400')的周围环境区域中的所有工作台(600)已满的情况下,以固定的时间间隔重复执行工作台(600)的图像数据的获取,使得基于对应的重新获取的图像数据来分析处理所述工作台(600)的占用状态,其中,如果重新获取的图像数据的对应分析处理得到不同的结果,那么判断出所述搬运机器人(400,400')的周围环境中的工作台(600)上有空位腾出。
11.根据权利要求1所述的方法,其中,所述对象(610)是仓库中的用于运输的托盘。
12.一种用于确定搬运机器人(400,400')的周围环境中的工作台(600)的占用状态的设备(1),其用于执行根据权利要求1至11中任一项所述的方法,所述设备(1)包括:
获取模块(10),其配置成能够获取搬运机器人(400,400')的周围环境中的工作台(600)的第一图像数据,所述第一图像数据借助搬运机器人(400,400')的一个或多个传感器(401)检测;
分析处理模块(20),其配置成能够基于图像识别技术分析处理所述第一图像数据,其中,判断所述工作台(600)是否已被对象(610)占用。
13.根据权利要求12所述的设备(1),其中,所述搬运机器人(400,400')的一个或多个传感器(401)是摄像头。
14.根据权利要求12所述的设备(1),其中,所述设备包括红外传感器,所述红外传感器被配置成能够在搬运机器人(400,400')与所述工作台(600)的对接过程中对占用状态进行校验。
15.根据权利要求12所述的设备(1),其中,所述设备包括补光灯(404),所述补光灯被配置成能够当光照强度低于预设条件时对所述搬运机器人(400,400')的周围环境进行补光。
16.一种搬运机器人(400,400'),其包括根据权利要求12所述的设备(1)。
17.根据权利要求16所述的搬运机器人(400,400'),其中,所述搬运机器人包括顶升机构(410)和车体(420),所述顶升机构(410)用于承载所搬运的对象以及对所搬运的对象进行取放,所述车体(420)用于使所述搬运机器人(400,400')在空间中移动。
18.根据权利要求17所述的搬运机器人(400,400'),其中,所述搬运机器人的一个或多个传感器是摄像头并且布置在所述顶升机构(410)和/或所述车体(420)的前部、后部和/或侧部。
19.根据权利要求18所述的搬运机器人,其中,所述摄像头在相对于所述工作台的中心距离2m处检测所述工作台(600)的第一图像数据。
20.根据权利要求18所述的搬运机器人,其中,所述摄像头在相对于所述工作台的中心距离1.5m处检测所述工作台(600)的第一图像数据。
21.根据权利要求18所述的搬运机器人,其中,所述摄像头在相对于所述工作台的中心距离1m处检测所述工作台(600)的第一图像数据。
22.根据权利要求18所述的搬运机器人,其中,所述摄像头在相对于所述工作台的主轴线偏离20°处检测所述工作台(600)的第一图像数据,所述工作台(600)的主轴线在所述搬运机器人的为了对接到所述工作台上的驶入方向上定向。
23.根据权利要求18所述的搬运机器人,其中,所述摄像头在相对于所述工作台的主轴线偏离10°处检测所述工作台(600)的第一图像数据,所述工作台(600)的主轴线在所述搬运机器人的为了对接到所述工作台上的驶入方向上定向。
24.根据权利要求18所述的搬运机器人,其中,所述摄像头在相对于所述工作台的主轴线偏离0°处检测所述工作台(600)的第一图像数据,所述工作台(600)的主轴线在所述搬运机器人的为了对接到所述工作台上的驶入方向上定向。
25.根据权利要求17所述的搬运机器人(400,400'),其中,所述设备包括红外传感器,所述红外传感器被配置成能够在搬运机器人(400,400')与所述工作台(600)的对接过程中对占用状态进行校验,所述红外传感器布置在所述顶升机构(410)和/或所述车体(420)的前部、后部和/或侧部。
26.根据权利要求25所述的搬运机器人(400,400'),其中,所述红外传感器的发射方向与水平方向的夹角(θ)大于5°。
27.根据权利要求25所述的搬运机器人(400,400'),其中,所述红外传感器的发射方向与水平方向的夹角(θ)大于8°。
28.根据权利要求25所述的搬运机器人(400,400'),其中,所述红外传感器的发射方向与水平方向的夹角(θ)大于10°。
29.一种仓库(500),其包括根据权利要求12至15中任一项所述的设备(1)。
30.一种工作台(600),所述工作台被配置成能够与根据权利要求16至28中任一项所述的搬运机器人(400,400')进行对接,其中,当所述工作台(600)上没有任何对象时,所述搬运机器人(400,400')能够停泊到所述工作台(600)中并与其进行对接,当所述工作台(600)上被预定义的对象占用时,所述搬运机器人(400,400')不会停泊在所述工作台(600)中。
31.根据权利要求30所述的工作台(600),所述工作台具有门字形的轮廓。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010933902.6A CN112070007A (zh) | 2020-09-08 | 2020-09-08 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
PCT/CN2021/114512 WO2022052807A1 (zh) | 2020-09-08 | 2021-08-25 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010933902.6A CN112070007A (zh) | 2020-09-08 | 2020-09-08 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112070007A true CN112070007A (zh) | 2020-12-11 |
Family
ID=73664285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010933902.6A Pending CN112070007A (zh) | 2020-09-08 | 2020-09-08 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112070007A (zh) |
WO (1) | WO2022052807A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022052807A1 (zh) * | 2020-09-08 | 2022-03-17 | 灵动科技(北京)有限公司 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101809601A (zh) * | 2007-08-31 | 2010-08-18 | 埃森哲环球服务有限公司 | 基于图像处理的货架图提取 |
US20180304468A1 (en) * | 2017-04-21 | 2018-10-25 | X Development Llc | Methods and Systems for Detecting, Recognizing, and Localizing Pallets |
CN109264275A (zh) * | 2018-09-20 | 2019-01-25 | 深圳蓝胖子机器人有限公司 | 基于机器人的智能仓库管理方法、装置和存储介质 |
CN109573439A (zh) * | 2018-12-27 | 2019-04-05 | 北京艾瑞思机器人技术有限公司 | 搬运机器人、货架、仓储系统以及搬运货架的方法 |
CN111368637A (zh) * | 2020-02-10 | 2020-07-03 | 南京师范大学 | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5047709B2 (ja) * | 2007-07-04 | 2012-10-10 | 株式会社日立製作所 | 移動装置、システム、移動方法及び移動プログラム |
CN110182718A (zh) * | 2019-04-25 | 2019-08-30 | 上海快仓智能科技有限公司 | 搬运机器人的控制方法及货物搬运系统 |
CN112070007A (zh) * | 2020-09-08 | 2020-12-11 | 灵动科技(北京)有限公司 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
-
2020
- 2020-09-08 CN CN202010933902.6A patent/CN112070007A/zh active Pending
-
2021
- 2021-08-25 WO PCT/CN2021/114512 patent/WO2022052807A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101809601A (zh) * | 2007-08-31 | 2010-08-18 | 埃森哲环球服务有限公司 | 基于图像处理的货架图提取 |
US20180304468A1 (en) * | 2017-04-21 | 2018-10-25 | X Development Llc | Methods and Systems for Detecting, Recognizing, and Localizing Pallets |
CN109264275A (zh) * | 2018-09-20 | 2019-01-25 | 深圳蓝胖子机器人有限公司 | 基于机器人的智能仓库管理方法、装置和存储介质 |
CN109573439A (zh) * | 2018-12-27 | 2019-04-05 | 北京艾瑞思机器人技术有限公司 | 搬运机器人、货架、仓储系统以及搬运货架的方法 |
CN111368637A (zh) * | 2020-02-10 | 2020-07-03 | 南京师范大学 | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 |
Non-Patent Citations (1)
Title |
---|
宓超 等: "《现代科学技术知识简明词典》", 上海科学技术出版社, pages: 71 - 72 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022052807A1 (zh) * | 2020-09-08 | 2022-03-17 | 灵动科技(北京)有限公司 | 用于识别搬运机器人的工作台的占用状态的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022052807A1 (zh) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10451405B2 (en) | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue | |
KR102238291B1 (ko) | 물품 반송차 | |
US11643312B2 (en) | Vehicle-mounted device, cargo handling machine, control circuit, control method, and program thereof | |
CN111533051B (zh) | 托盘位姿检测方法、装置、叉车和货运系统 | |
CN113666304A (zh) | 搬运机器人的控制方法、装置、设备和存储介质 | |
JP2020070121A (ja) | 搬送方法、搬送システム、プログラム及びパレット | |
WO2022121460A1 (zh) | Agv智能叉车及地堆库存区域站台状态的检测方法、装置 | |
US20220097243A1 (en) | Closed loop solution for loading/unloading cartons by truck unloader | |
US11623674B2 (en) | Rail vehicle system, rail vehicle, and visual sensing device | |
CN111273654A (zh) | 用于运行自主式地面运输工具的方法和企业内部物流系统 | |
WO2022052807A1 (zh) | 用于识别搬运机器人的工作台的占用状态的方法和设备 | |
CN111566502B (zh) | 定位系统、定位方法以及程序 | |
CN113126600A (zh) | 基于uwb的跟随系统及物品运送车 | |
CN114234853A (zh) | 基于激光扫描的货架倾角测量方法、系统、设备及介质 | |
KR20220140566A (ko) | 산업 차량의 제어 자동화 | |
CN112346448A (zh) | 位置运算系统、位置运算方法及无人输送车 | |
KR20210067661A (ko) | 라인트레이서와 rfid를 이용한 자동택배분류기 | |
KR102171934B1 (ko) | 양방향 선도 추미 대차 | |
JP7363705B2 (ja) | 荷役システム | |
CN113703460A (zh) | 导航车识别空位的方法、装置及系统 | |
CN111880536A (zh) | 一种定位停车方法和自动导引车 | |
JP2020191008A (ja) | 自律移動装置および自律移動装置における搬送情報読取方法 | |
JP7287329B2 (ja) | フォークリフト | |
JP2021086205A (ja) | 識別部材、自律移動装置、連結システムおよび連結方法 | |
US11905125B1 (en) | Parcel cart loading system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |