CN113052517A - 取货机器人、取货方法、计算机可读存储介质 - Google Patents

取货机器人、取货方法、计算机可读存储介质 Download PDF

Info

Publication number
CN113052517A
CN113052517A CN201911368940.5A CN201911368940A CN113052517A CN 113052517 A CN113052517 A CN 113052517A CN 201911368940 A CN201911368940 A CN 201911368940A CN 113052517 A CN113052517 A CN 113052517A
Authority
CN
China
Prior art keywords
identifier
goods
target
slot position
slot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911368940.5A
Other languages
English (en)
Inventor
王迎春
陈超
郭晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jizhijia Technology Co Ltd
Original Assignee
Beijing Jizhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jizhijia Technology Co Ltd filed Critical Beijing Jizhijia Technology Co Ltd
Priority to CN201911368940.5A priority Critical patent/CN113052517A/zh
Priority to CN202110430586.5A priority patent/CN113128501A/zh
Priority to PCT/CN2020/138291 priority patent/WO2021129608A1/zh
Priority to JP2022513882A priority patent/JP7392116B2/ja
Priority to US17/634,906 priority patent/US20220315337A1/en
Priority to AU2020414142A priority patent/AU2020414142B2/en
Priority to KR1020227007044A priority patent/KR20220069929A/ko
Priority to EP20907071.3A priority patent/EP4002243A4/en
Publication of CN113052517A publication Critical patent/CN113052517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31028—Selecting workpieces from one or more containers by robot with vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种取货机器人、取货方法和计算机可读存储介质，其中，首先，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；之后，在基于目标图像中的槽位标识符确定当前槽位为存放待取货物的目标槽位时，从目标图像中筛选货物标识符；并在筛选得到货物标识符时，基于货物标识符确定待取货物在目标槽位中的位置信息；最后，基于上述位置信息从目标槽位中提取待取货物。上述技术方案利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。

Description

取货机器人、取货方法、计算机可读存储介质
技术领域
本申请涉及图像处理和计算机软件领域，具体而言，涉及一种取货机器人、取货方法和计算机可读存储介质。
背景技术
随着购物的网络化，对物流业的处理速度提出了更高的要求。从货仓中取出需要的货物是物流业中的一个环节，该环节中的人工取货逐渐被机器人取货替代。
机器人取货的操作中，机器人需要行驶到所取货物存放的地方，并且能够准确的提取到货物，现在有技术中由于定位缺陷，导致取货失败率较高，降低了取货效率以及物流行业整体的物流效率。
发明内容
有鉴于此，本申请至少提供一种取货机器人、取货方法和计算机可读存储介质。
第一方面，本申请提供了一种取货机器人，包括：摄像头、处理器、取货部件；所述处理器包括图像处理模块和位置确定模块；
所述摄像头设置为，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
所述图像处理模块设置为，在基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位时，从所述目标图像中筛选货物标识符；
所述位置确定模块设置为，在筛选得到所述货物标识符时，基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
所述取货部件设置为，基于所述位置信息，从所述目标槽位中提取所述待取货物。
在一种可能的实施方式中，所述图像处理模块还设置为，
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
在一种可能的实施方式中，所述槽位标识符为二维码；
所述图像处理模块还设置为：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
在一种可能的实施方式中，所述图像处理模块在从所述目标图像中筛选货物标识符时，具体设置为：
将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域；
检测所述兴趣区域中是否包括具有预设形状的标识符；
若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
在一种可能的实施方式中，所述位置确定模块在基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息时，具体设置为：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
在一种可能的实施方式中，所述图像处理模块还设置为，
若未筛选得到所述货物标识符，则确定所述目标槽位中不存在所述待取货物。
第二方面，本申请提供了一种取货方法，包括：
获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
若基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位，则从所述目标图像中筛选货物标识符；
若筛选得到所述货物标识符，则基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
基于所述位置信息，从所述目标槽位中提取所述待取货物。
在一种可能的实施方式中，在获取到所述目标图像之后，所述取货方法还包括：
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
在一种可能的实施方式中，所述槽位标识符为二维码；
所述取货方法还包括确定所述槽位标识符对应的槽位是否为存放所述待取货物的目标槽位的步骤：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
在一种可能的实施方式中，所述基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息，包括：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
第三方面，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述取货方法的步骤。
本申请提供了一种取货机器人、取货方法和计算机可读存储介质，其中，首先，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；之后，在基于目标图像中的槽位标识符确定当前槽位为存放待取货物的目标槽位时，从目标图像中筛选货物标识符；并在筛选得到货物标识符时，基于货物标识符确定待取货物在目标槽位中的位置信息；最后，基于上述位置信息从目标槽位中提取待取货物。上述技术方案利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种取货机器人的结构示意图；
图2示出了本申请实施例中的目标图像的示意图；
图3示出了本申请实施例提供的一种取货方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
目前物流业中利用机器人从货仓中取货的过程中，由于定位上的缺陷，存在取货成功率低的缺陷，针对该确定本申请提供了一种取货机器人、取货方法和计算机可读存储介质，本申请利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。
具体地，本申请实施例提供了一种取货机器人，如图1所示，包括：摄像头110、处理器120、取货部件130；所述处理器120包括图像处理模块1201和位置确定模块1202。
所述摄像头110设置为，获取取货部件130运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符。
所述图像处理模块1201设置为，在基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位时，从所述目标图像中筛选货物标识符。
所述位置确定模块1202设置为，在筛选得到所述货物标识符时，基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息。
所述取货部件130设置为，基于所述位置信息，从所述目标槽位中提取所述待取货物。
摄像头每经过预设的时间间隔就拍摄一个图像，上述的目标图像为取货机器人或获取机器人的取货部件运行到存储货物的槽位处拍摄的图像，该图像中包括槽位对应的槽位标识符。
上述槽位用于存储货物，可以设置在每个槽位的下方，例如槽位的下方横梁，该槽位标识符用于标识对应的槽位，例如可以标识槽位的ID号。在具体实施时，上述槽位标识符可以设置为二维码等。
取货机器人的摄像头110获取到包括槽位标识符的目标图像之后，以及图像处理模块1201在从目标图像中筛选货物标识符之前，取货机器人需要利用图像处理模块1201从目标图像中提取槽位标识符，并对提取到的槽位标识符进行解析，得到槽位的标识信息。之后，图像处理模块1201需要获取待取货物所存放的目标槽位的标识信息，并判断目标槽位的标识信息和目标图像中的槽位的标识信息是否相同，若相同，则表示目标图像中的槽位即为待取货物所存放的目标槽位，否则，目标图像中的槽位并非待取货物所存放的目标槽位，机器人需要继续行驶。
在取货机器人的图像处理模块1201确定目标图像中的槽位为存放待取货物的目标槽位时，才执行从所述目标图像中筛选货物标识符的步骤。
图像处理模块1201从目标图像中提取槽位标识符，即图像处理模块1201确定槽位标识符在目标图像中的位置信息。在具体实施时，图像处理模块1201可以利用如下步骤确定槽位标识符在目标图像中的位置信息：
步骤一、对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点。
图像处理模块1201对目标图像进行二值化处理，得到二值化图像。
在得到二值化图像之后，从该二值化图像中提取具有预设灰度值的像素点，即提取用于定位槽位标识符的定位标识符的像素点。如图2所示，在具体实施时，如果槽位标识符的定位标识符为具有一定宽度的黑框21，则，此步骤中图像处理模块1201提取的就是黑色的像素点。
步骤二、基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符。
图像处理模块1201在提取到定位标识符的像素点之后，拟合直线，得到具有一定宽度的黑框，该步骤得到的黑框为候选定位标识符，需要进行进一步的验证才能确定该黑框是否为用于定位槽位标识符的目标定位标识符。拟合的直线的交点即为定位标识符的角点。
步骤三、若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符。
图像处理模块1201在拟合得到的候选定位标识符之后，利用预设条件验证该候选定位标识符是否为用于定位槽位标识符的目标定位标识符。例如，验证候选定位标识符的线宽是否为预设的宽度、或验证候选定位标识符是否具有预设形状等。
在候选定位标识符符合预设条件时，确定该候选定位标识符为用于定位槽位标识符的目标定位标识符。
步骤四、基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
图像处理模块1201在确定了目标定位标识符之后，基于该目标定位标识符与槽位标识符预设的相对位置关系，实现对槽位标识符的定位，即确定槽位标识符在目标图像中的位置信息。
确定了槽位标识符在目标图像中的位置信息，就能够对槽位标识符进行解析，以确定目标图像中的当前槽位是否为待取货物所存放的目标槽位。
图像处理模块1201在确定前槽位为存放待取货物的目标槽位之后，需要从目标图像中筛选货物标识符，以基于该货物标识符用于确定待取货物在目标槽位中的位置信息。
在具体实施时，图像处理模块1201可以利用如下步骤从目标图像中筛选货物标识符：
步骤一、将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域。
在具体实施时，货物标识符是设置在待取货物上的，货物标识符的位置高于槽位标识符，因此此步骤将槽位标识符上方的图像区域作为兴趣区域来筛选货物标识符。同时在槽位标识符计算过程中可以得到大小，根据预设信息，从而确定货物标识符的大小。
步骤二、检测所述兴趣区域中是否包括具有预设形状的标识符。
在具体实施时，如图2所示，货物标识符可以是具有预设形状的标识符22，因此此步骤检测兴趣区域中是否包括具有预设形状的标识符。上述预设形状可以是圆形、三角形、方形等，本申请对货物标识符的形状不进行限定。
当然，货物标识符也可以是具有预设的颜色的标识符，也可以是二维码等。本申请对货物标识符的具体形态不进行限定，只需要在筛选货物标识符的时候基于货物标识符实际上的具体形态进行筛选即可。
步骤三、若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
在兴趣区域内具有预设形状的标识符时，图像处理模块1201即将该标识符作为所述货物标识符。
由于货物标识符是设置在货物上的，因此如果图像处理模块1201未筛选得到所述货物标识符，则表明目标槽位中没有存储待取货物，此次取货失败。
在图像处理模块1201筛选到货物标识符之后，位置确定模块1202可以利用如下步骤确定所述待取货物在所述目标槽位中的位置信息：
步骤一、确定所述货物标识符在所述目标图像中的中心位置信息。
位置确定模块1202利用图像解析等技术确定货物标识符的中心在所述目标图像中位置信息。
步骤二、基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
货物标识符预先设置在货物上的预设位置处，因此，货物标识符与所述待取货物的相对位置信息是已知的。基于货物标识在目标图像中的中心位置信息和货物标识符与所述待取货物的相对位置信息，能够确定待取货物在目标图像中的位置信息，之后，基于图像坐标系与地理坐标系的变换关系就能够确定待取货物在目标槽位中的位置信息。
在具体实施时，货物标识符还可以设置在货物的任何位置处，此时，上货物标识符可以是二维码，该二维码中存储有货物标识符与所述待取货物的相对位置信息。位置确定模块1202通过对货物标识符的解码处理，能够获取到货物标识符与所述待取货物的相对位置信息。
在位置确定模块1202确定了待取货物在所述目标槽位中的位置信息之后，取货机器人可以利用取货部件设基于所述位置信息，从所述目标槽位中提取所述待取货物。
上述取货部件130可以是设置在获取机器人上的伸缩叉。
上述实施例利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。
对应于上述取货机器人，本申请实施例还提供了一种取货方法，该方法应用于上述取货机器人上，并且能够达到相同或相似的有益效果，因此对于重复的部分不再赘述。
具体地，如图3所示，本申请的取货方法可以包括如下步骤：
S310、获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
S320、若基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位，则从所述目标图像中筛选货物标识符；
S330、若筛选得到所述货物标识符，则基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
S340、基于所述位置信息，从所述目标槽位中提取所述待取货物。
在一些实施例中，在获取到所述目标图像之后，所述取货方法还包括：
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
在一些实施例中，所述槽位标识符为二维码；
所述取货方法还包括确定所述槽位标识符对应的槽位是否为存放所述待取货物的目标槽位的步骤：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
在一些实施例中，所述基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息，包括：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
本申请实施例还提供的一种对应于上述方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，本文不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种取货机器人，其特征在于，包括：摄像头、处理器、取货部件；所述处理器包括图像处理模块和位置确定模块；
所述摄像头设置为，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
所述图像处理模块设置为，在基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位时，从所述目标图像中筛选货物标识符；
所述位置确定模块设置为，在筛选得到所述货物标识符时，基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
所述取货部件设置为，基于所述位置信息，从所述目标槽位中提取所述待取货物。
2.根据权利要求1所述的取货机器人，其特征在于，所述图像处理模块还设置为，
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
3.根据权利要求2所述的取货机器人，其特征在于，所述槽位标识符为二维码；
所述图像处理模块还设置为：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
4.根据权利要求1所述的取货机器人，其特征在于，所述图像处理模块在从所述目标图像中筛选货物标识符时，具体设置为：
将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域；
检测所述兴趣区域中是否包括具有预设形状的标识符；
若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
5.根据权利要求1所述的取货机器人，其特征在于，所述位置确定模块在基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息时，具体设置为：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
6.根据权利要求1所述的取货机器人，其特征在于，所述图像处理模块还设置为，
若未筛选得到所述货物标识符，则确定所述目标槽位中不存在所述待取货物。
7.一种取货方法，其特征在于，包括：
获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
若基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位，则从所述目标图像中筛选货物标识符；
若筛选得到所述货物标识符，则基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
基于所述位置信息，从所述目标槽位中提取所述待取货物。
8.根据权利要求7所述的取货方法，其特征在于，在获取到所述目标图像之后，所述取货方法还包括：
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
9.根据权利要求8所述的取货方法，其特征在于，所述槽位标识符为二维码；
所述取货方法还包括确定所述槽位标识符对应的槽位是否为存放所述待取货物的目标槽位的步骤：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
10.根据权利要求7所述的取货方法，其特征在于，所述基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息，包括：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求7～10任一所述的取货方法。
CN201911368940.5A 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质 Pending CN113052517A (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201911368940.5A CN113052517A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
CN202110430586.5A CN113128501A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
PCT/CN2020/138291 WO2021129608A1 (zh) 2019-12-26 2020-12-22 取货机器人、取货方法、计算机可读存储介质
JP2022513882A JP7392116B2 (ja) 2019-12-26 2020-12-22 ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体
US17/634,906 US20220315337A1 (en) 2019-12-26 2020-12-22 Pickup robot, pickup method, and computer-readable storage medium
AU2020414142A AU2020414142B2 (en) 2019-12-26 2020-12-22 Pickup robot, pickup method, and computer-readable storage medium
KR1020227007044A KR20220069929A (ko) 2019-12-26 2020-12-22 픽업 로봇, 픽업 방법 및 컴퓨터 판독 가능 저장 매체
EP20907071.3A EP4002243A4 (en) 2019-12-26 2020-12-22 INPUT ROBOT, INPUT METHOD AND COMPUTER-READABLE STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368940.5A CN113052517A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110430586.5A Division CN113128501A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113052517A true CN113052517A (zh) 2021-06-29

Family

ID=76505548

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110430586.5A Pending CN113128501A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
CN201911368940.5A Pending CN113052517A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110430586.5A Pending CN113128501A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Country Status (7)

Country Link
US (1) US20220315337A1 (zh)
EP (1) EP4002243A4 (zh)
JP (1) JP7392116B2 (zh)
KR (1) KR20220069929A (zh)
CN (2) CN113128501A (zh)
AU (1) AU2020414142B2 (zh)
WO (1) WO2021129608A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945063A (zh) * 2021-10-15 2022-01-18 福建瑞雪制冷设备有限公司 一种基于物联网的冷库控制方法、系统及其存储介质
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070069026A1 (en) * 2005-09-27 2007-03-29 Honda Motor Co., Ltd. Two-dimensional code detector and program thereof, and robot control information generator and robot
US20170225891A1 (en) * 2016-02-05 2017-08-10 inVia Robotics, LLC Robotic Navigation and Mapping
WO2018140770A1 (en) * 2017-01-30 2018-08-02 Walmart Apollo, Llc Distributed autonomous robot systems and methods
CN109344928A (zh) * 2018-09-19 2019-02-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
CN109636269A (zh) * 2018-11-14 2019-04-16 深圳市海柔创新科技有限公司 货物处理方法、装置、存储介质和计算机设备
CN110097304A (zh) * 2018-01-30 2019-08-06 北京京东尚科信息技术有限公司 信息生成方法和装置
US20190310655A1 (en) * 2018-04-04 2019-10-10 Invia Robotics, Inc. Autonomous Robots Performing Concerted Operation Based on Shared Sensory Access and Holistic Flow of Information

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056313A1 (en) * 2000-05-08 2001-12-27 Osborne William Joseph Object locating and retrieving system utilizing labels
JP2004196439A (ja) 2002-12-16 2004-07-15 Fuji Photo Film Co Ltd 在庫管理システム
JP2005083984A (ja) * 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2009015684A (ja) * 2007-07-06 2009-01-22 Komatsu Utility Co Ltd 配車システム及び方法
CN104008361B (zh) * 2014-06-16 2017-05-31 北京握奇智能科技有限公司 一种二维码扫描定位提示方法及系统
US9120622B1 (en) 2015-04-16 2015-09-01 inVia Robotics, LLC Autonomous order fulfillment and inventory control robots
JP6722438B2 (ja) * 2015-11-24 2020-07-15 ワム・システム・デザイン株式会社 情報処理装置、情報処理方法、及びプログラム
US10227176B2 (en) * 2016-09-05 2019-03-12 Kabushiki Kaisha Toshiba Picking apparatus
JP6553815B2 (ja) 2017-02-10 2019-07-31 日鉄ソリューションズ株式会社 システム、情報処理装置、情報処理方法、プログラム及び記録媒体
AU2018306475A1 (en) * 2017-07-25 2020-03-05 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions
CN108182417B (zh) * 2017-12-29 2020-07-10 广东安居宝数码科技股份有限公司 出货检测方法、装置、计算机设备及自动售货机
WO2019200012A1 (en) * 2018-04-10 2019-10-17 Cairl Brian System and method for robot-assisted, cart-based workflows
CN110020605A (zh) * 2018-09-18 2019-07-16 北京无线体育俱乐部有限公司 提示方法、装置及系统
CN110148257A (zh) * 2019-04-01 2019-08-20 厦门鲜喵网络科技有限公司 一种取货方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070069026A1 (en) * 2005-09-27 2007-03-29 Honda Motor Co., Ltd. Two-dimensional code detector and program thereof, and robot control information generator and robot
US20170225891A1 (en) * 2016-02-05 2017-08-10 inVia Robotics, LLC Robotic Navigation and Mapping
WO2018140770A1 (en) * 2017-01-30 2018-08-02 Walmart Apollo, Llc Distributed autonomous robot systems and methods
CN110097304A (zh) * 2018-01-30 2019-08-06 北京京东尚科信息技术有限公司 信息生成方法和装置
US20190310655A1 (en) * 2018-04-04 2019-10-10 Invia Robotics, Inc. Autonomous Robots Performing Concerted Operation Based on Shared Sensory Access and Holistic Flow of Information
CN109344928A (zh) * 2018-09-19 2019-02-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
CN109636269A (zh) * 2018-11-14 2019-04-16 深圳市海柔创新科技有限公司 货物处理方法、装置、存储介质和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945063A (zh) * 2021-10-15 2022-01-18 福建瑞雪制冷设备有限公司 一种基于物联网的冷库控制方法、系统及其存储介质
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
US20220315337A1 (en) 2022-10-06
CN113128501A (zh) 2021-07-16
AU2020414142A1 (en) 2022-03-10
EP4002243A1 (en) 2022-05-25
AU2020414142B2 (en) 2023-07-27
JP2022546999A (ja) 2022-11-10
WO2021129608A1 (zh) 2021-07-01
EP4002243A4 (en) 2023-11-22
JP7392116B2 (ja) 2023-12-05
KR20220069929A (ko) 2022-05-27

Similar Documents

Publication Publication Date Title
JP6259928B2 (ja) 車線データの処理方法、装置、記憶媒体及び機器
US20130279758A1 (en) Method and system for robust tilt adjustment and cropping of license plate images
CN110472580B (zh) 基于全景影像的检测车位的方法、装置、存储介质
JP2014059875A5 (zh)
EP3213297B1 (en) System for real-time moving target detection using vision based image segmentation
CN104424458A (zh) 图像识别方法及装置、网络服务器、图像识别设备及系统
EP3276536B1 (en) System and method for unmanned aerial vehicle navigation for inventory management
CN109871765B (zh) 一种基于图像的非标物品堆叠检测方法、系统及电子设备
WO2021129608A1 (zh) 取货机器人、取货方法、计算机可读存储介质
CN108171098B (zh) 一种条码检测方法及设备
US8651389B2 (en) System and method for identifying and tracking shopping carts
CN114419038A (zh) 轮毂表面缺陷的识别方法及装置、存储介质、电子设备
WO2016059643A1 (en) System and method for pedestrian detection
CN111191557B (zh) 一种标志识别定位方法、标志识别定位装置及智能设备
CN107977649B (zh) 一种障碍物识别方法、装置及终端
CN113345015A (zh) 一种包裹位置检测方法、装置、设备及可读存储介质
CN109919164B (zh) 用户界面对象的识别方法及装置
CN111582233A (zh) 数据处理方法、电子设备和存储介质
CN114842228A (zh) 散斑图分区方法、装置、设备及介质
CN111275693B (zh) 一种图像中物体的计数方法、计数装置及可读存储介质
CN112802112A (zh) 视觉定位方法、装置、服务器及存储介质
CN114820681A (zh) 一种基于rgb相机的库位检测方法及系统
CN112069849A (zh) 基于多个二维码的识别定位方法、装置、设备及存储介质
JP2014127068A (ja) 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム
CN114298968B (zh) 批量运动烟支计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination