CN111899131A - 物品配送方法、装置、机器人和介质 - Google Patents

物品配送方法、装置、机器人和介质 Download PDF

Info

Publication number
CN111899131A
CN111899131A CN202010622453.3A CN202010622453A CN111899131A CN 111899131 A CN111899131 A CN 111899131A CN 202010622453 A CN202010622453 A CN 202010622453A CN 111899131 A CN111899131 A CN 111899131A
Authority
CN
China
Prior art keywords
article
image
item
images
tray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010622453.3A
Other languages
English (en)
Other versions
CN111899131B (zh
Inventor
王孝弟
唐旋来
万永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Keenlon Intelligent Technology Co Ltd
Original Assignee
Shanghai Keenlon Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Keenlon Intelligent Technology Co Ltd filed Critical Shanghai Keenlon Intelligent Technology Co Ltd
Priority to CN202010622453.3A priority Critical patent/CN111899131B/zh
Publication of CN111899131A publication Critical patent/CN111899131A/zh
Application granted granted Critical
Publication of CN111899131B publication Critical patent/CN111899131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种物品配送方法、装置、机器人和介质。其中方法包括:控制图像采集模块,分别采集与置物单元对应的物品图像,将物品图像输入至预设的物品图像识别模型中,确定出物品图像中物品的物品名称,然后根据物品名称,确定物品的目标位置,以根据目标位置,将物品配送至目标位置。本发明实施例实现了将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。

Description

物品配送方法、装置、机器人和介质
技术领域
本发明实施例涉及智能机器人技术领域,尤其涉及一种物品配送方法、装置、机器人和介质。
背景技术
随着智能机器人的普及,智能机器人在服务行业应用越来越广泛,不仅降低了人工成本同时还提高了服务效率。例如,在餐饮行业,机器人将厨师做好的物品配送给顾客。
机器人将物品配送给顾客之前,通过对主体(机身)上置物单元中托盘上存放的物品进行识别,以确定物品属于哪一餐桌,然后根据确定的餐桌标识,将物品配送给顾客。实际使用过程中,为了使机器人能够识别出物品并将物品准确无误的配送给顾客,通过在餐具底部嵌入RFID电子标签,以当装有物品的餐具存放到机器人的托盘上时,机器人会通过阅读器控制天线向RFID电子标签发射读取信息,并接收RFID电子标签的应答,以对RFID电子标签的餐具标识信息进行解码。然后,将餐具标签信息连带RFID电子标签上其他相关信息传输给与机器人建立通信连接的服务器,通过服务器确定餐具中的物品名称,并基于物品名称确定下单该物品的餐桌标识,以使机器人服务器返回的餐桌标识,将物品配送给与餐桌标识对应的顾客。
然而,上述方式需要在大量餐具底部嵌入RFID电子标签,并且还需对每个餐具的RFID电子标签配置物品信息,不仅成本高,且灵活性差。
发明内容
本发明实施例提供一种物品配送方法、装置、机器人和介质,提供一种可对物品进行识别,以根据识别结果,将物品配送给顾客,降低了花费成本,且灵活性更高。
第一方面,本发明实施例提供了一种物品配送方法,应用于机器人,所述方法包括:
控制图像采集模块,分别采集与置物单元对应的物品图像;
将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;
根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
第二方面,本发明实施例还提供了一种物品配送装置,配置于机器人,该装置包括:
图像采集模块,用于分别采集与置物单元对应的物品图像;
图像识别模块,用于将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;
控制模块,用于根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
第三方面,本发明实施例还提供了一种机器人,包括:
N个置物单元,N为大于或者等于1的正整数;
图像采集模块,用于采集与置物单元对应的物品图像,
存储器,用于存储一个或多个程序;
一个或多个处理器,用于根据图像采集单元采集的物品图像,并读取和执行所述存储器中存储的一个或多个程序,以实现本发明实施例中任一所述的物品配送方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例中任一实施例所述的物品配送方法。
本发明实施例公开的技术方案,具有如下有益效果:
通过控制图像采集模块,分别采集与置物单元对应的物品图像,将物品图像输入至预设的物品图像识别模型中,确定出物品图像中物品的物品名称,然后根据物品名称,确定物品的目标位置,以根据目标位置,将物品配送至目标位置。由此,将物品配送至目标位置的顾客,实现了将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。
附图说明
图1是本发明实施例一提供的一种物品配送方法的流程示意图;
图1(a)是本发明实施例一提供的图像采集单元在置物单元中的部署位置示意图;
图2是本发明实施例二提供的一种物品配送方法的流程示意图;
图2(a)是本发明实施例二提供的采用预设霍夫圆变换算法,从托盘物品图像中分割出餐具物品图像的示意图;
图2(b)是本发明实施例二提供的采用预设霍夫圆变换算法,从托盘物品图像中分割出多个餐具物品图像的示意图;
图3是本发明实施例三提供的生成预设物品图像识别模型的流程示意图;
图4是本发明实施例四提供的一种物品配送方法的流程示意图;
图5是本发明实施例五提供的一种物品配送方法的流程示意图;
图6是本发明实施例六提供的一种物品配送方法的流程示意图;
图7是本发明实施例六提供的一种物品配送装置的结构示意图;
图8是本发明实施例七提供的一种机器人的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
本发明实施例针对相关技术中,机器人通过检测餐具底部嵌入RFID电子标签,将物品配送给目标位置对应的顾客,存在的花费成本高,且灵活性差的问题,由此新提出一种物品配送方法。
本发明实施例,通过控制机器人的图像采集模块,分别采集与置物单元对应的物品图像,然后将物品图像输入至预设的物品图像识别模型中,以确定出物品图像中物品的物品名称,根据物品名称确定物品的目标位置,并根据目标位置,将物品配送至目标位置。由此,实现了将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。
下面结合附图对本发明实施例的物品配送方法、装置、机器人和介质进行详细说明。
实施例一
图1是本发明实施例一提供的一种物品配送方法的流程示意图。本实施例可适用于对机器人置物单元内托盘上放置的物品进行自动识别,以基于识别结果将物品配送至目标位置的场景,该方法可以由配置于机器人的物品配送装置来执行,该装置可由硬件和/或软件组成,并可集成于机器人中。如图1所示,该方法具体包括如下:
S101,控制图像采集模块,分别采集与置物单元对应的物品图像。
其中,本实施例中,包含N个与置物单元对应的图像采集单元,分别采集对应置物单元的物品图像,其中N为大于或者等于1的正整数。置物单元是指能够存放物品的单元。
本发明实施例中,机器人的置物单元数量可根据实际应用场景进行设置。比如,若机器人的应用场景为酒店,机器人的置物单元数量可以为一个。又如,若机器人的应用场景为餐厅,则机器人的置物单元数量可以为多个等,此处对其不做具体限定。
其中,每个置物单元中设置的图像采集单元,可根据实际情况进行适应性设置。可选的,本实施例可将图像采集单元设置于置物单元的顶部任一能够采集到整个置物单元承载区域的位置。如图1(a)所示,其中置物单元数量为两个,分别为置物单元1和置物单元2,并且置物单元1具有托盘11和对应设置的图像采集单元12,置物单元2具有托盘21和对应设置的图像采集单元22;又如,若将图像采集单元设置于置物单元的顶部边界任一位置,可以采集到完整的承载区域,则可将图像采集单元设置于置物单元的顶部边界任一位置等等,此处对其不做具体限定。
具体实现S101时,本实施例可根据机器人的置物单元类型,采用不同触发方式来控制图像采集单元,采集各自所在置物单元对应的物品图像。其中,置物单元类型可包括:具有舱门的置物单元和没有舱门的置物单元。举例说明如下:
方式一
若N个置物单元具有舱门,则在确定N个置物单元的舱门被开启时,启动N个置物单元对应的图像采集单元,分别采集所在置物单元中的托盘物品图像,托盘设置于置物单元用于承载物品的区域。
具体的,当N个置物单元具有舱门时,如果服务人员需要将物品存放到机器人置物单元,首先需要控制任意置物单元将舱门打开,之后才能将物品存放至置物单元中。因此,当确定任意置物单元的舱门被开启时,机器人会认为可能是服务人员将物品放入置物单元内,此时机器人会控制N个置物单元对应的图像采集单元启动,并控制图像采集单元采集对应置物单元内的托盘物品图像,以实现在舱门未被开启时,使得图像采集单元处于休眠状态,从而可以降低能耗,延长机器人的工作时长。
方式二
若N个置物单元未有舱门,则实时控制N个置物单元对应的图像采集单元,分别采集所在置物单元中的托盘物品图像。
具体的,当N个置物单元没有舱门时,本实施例通过控制N个置物单元内的图像采集单元实时进行图像采集,以实现当服务人员将物品放入任意置物单元时,可以在第一时间采集存放有物品的托盘物品图像,以避免采集托盘物品图像的遗漏情况发生,为后续识别物品名称奠定基础。
需要说明的是,上述两种方式仅作为对本发明实施例的示例性说明,不作为对本发明实施例的具体限制。
由于在实际使用过程中,机器人所处工作环境光线可能较暗,此时若控制N个置物单元对应的图像采集单元,分别采集所在置物单元内的托盘物品图像时,可能导致采集的托盘物品图像不清晰,进而影响后续对托盘物品图像的识别准确性。为此,为了避免上述因光线较暗,使得N个置物单元对应的图像采集单元采集的托盘物品图像出现不清晰的问题,本发明通过每个置物单元中的补光灯,对每个图像采集单元进行补光,使得图像采集单元在采集各自所在置物单元内的托盘物品图像时,能够确保采集的托盘物品图像清晰。
也就是说,本发明实施例控制图像采集单元,分别采集所在置物单元中的托盘物品图像时,可通过以下方式实现:
第一种方式
若所述N个置物单元具有舱门,则在确定所述N个置物单元的舱门被开启时,启动所述N个与置物单元对应的图像采集单元和补光灯,控制所述补光灯对图像采集单元进行补光,并控制所述图像采集单元采集所在置物单元中的托盘物品图像。
第二种方式
若所述N个置物单元未有舱门,则实时控制所述N个置物单元中的补光灯对图像采集单元进行补光,并控制所述图像采集单元采集所在置物单元中的托盘物品图像。
其中,N个置物单元中的补光灯部署位置,可根据实际情况进行部署。可选的,可将补光灯部署在图像采集单元的周边,例如,紧靠图像采集单元部署补光灯等,此处对其不做具体限定。
进一步的,当机器人的N个置物单元类型为具有舱门的置物单元时,控制N个与置物单元对应的图像采集单元,采集各自所在置物单元中的托盘物品图像的触发条件为:确定N个置物单元的舱门被开启。那么机器人控制图像采集单元,采集各自所在置物单元中的托盘物品图像之前,首先会获取用户发送的舱门开启请求,并在获取到用户发送的舱门开启请求时,根据舱门开启请求中携带的用户身份信息,确定发送舱门开启请求的用户是否合法。当确定用户为合法用户时,才执行S101,否则继续对用户身份进行确定。其中,用户可以是指餐厅中的服务人员,例如厨师或者服务员等。
当机器人开启目标置物单元的舱门,并且在开启柜门之前预先启动目标置物单元对应的图像采集单元,以通过图像采集单元采集目标置物单元内的托盘图像。需要说明的是,这里的托盘图片为未放置物品的空托盘图像。
对托盘物品图像进行图像处理,以得到每个托盘物品图像对应的物品图像。
由于盛放有物品的餐具是放置于机器人置物单元中的托盘上的,而图像采集单元采集的是托盘物品图像。因此,为了便于对物品进行识别,本实施例通过对N个图像采集单元各自采集的托盘物品图像进行图像处理,以得到与每个托盘物品图像对应的物品图像。
示例性的,本实施例对N个托盘物品图像进行处理时,可首先对N个托盘物品图像进行图像预处理,然后再对预处理后的托盘物品图像进行物品图像提取处理,以得到每个托盘物品图像对应的物品图像。
S102,将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称。
具体的,本实施例通过将得到的物品图像作为输入值,输入到预设的物品图像识别模型中,以利用预设的物品图像识别模型,对输入的物品图像进行处理,以确定物品图像中物品的物品名称。
其中,预设的物品图像识别模型,对输入的物品图像进行处理,包括:均值处理和归一化处理等。本实施例对此不做具体限定。
需要说明的是,本发明实施例中预设的物品图像识别模型生成过程,将在下面实施例中进行详细说明,此处对其不做过多赘述。
S103,根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
其中,目标位置是指能够唯一确定餐桌身份的信息,例如餐桌编号等。
具体的,确定出物品图像中物品的物品名称之后,机器人可根据物品名称,确定物品的目标位置。然后,根据目标位置,将物品配送至目标位置。
本实施例中,根据物品名称,确定物品的目标位置,可包括:根据所述物品名称,确定所述物品的物品订单;根据所述物品订单,确定所述物品的目标位置。
示例性的,根据物品名称,确定物品的目标位置,可通过以下方式实现:
方式一
将物品名称发送给服务器,以使服务器根据该物品名称,查找具有该物品的物品订单,将查找到的物品订单返回给机器人,以使机器人根据接收到的物品订单,确定物品的目标位置。
方式二
将物品名称与自身预存的物品订单进行匹配,以确定具有该物品的物品订单,根据物品订单,确定物品的目标位置。
在实际使用过程中,机器人接收服务器返回的物品订单,或者自身确定的物品订单的数量可能有多个。此时,机器人需要从多个物品订单中,选择一个物品订单中的餐桌标识,作为目标位置,并根据该目标位置进行物品配送服务。
示例性的,可通过如下方式,从多个物品订单中,选择一个物品订单中的餐桌标识,作为目标位置。举例说明如下:
作为第一种实现方式
对多个物品订单进行分析,以获取每个物品订单的餐桌标识,并确定每个物品订单的餐桌标识与机器人自身当前所处位置之间的距离。然后,从多个距离中选取最小距离,并将该最小距离对应的餐桌标识,作为目标位置。
作为第二种实现方式
对多个物品订单进行分析,以获取每个物品订单的下单时间。从多个物品订单的下单时间中,选择下单时间最早的物品订单,并将选择的物品订单中的餐桌标识,作为目标位置。
进一步的,确定出物品的目标位置之后,机器人可根据目标位置,基于预先配置的地图确定目标位置所在位置,然后通过导航模块,根据当前所在位置和目标位置所在位置,生成最优路径,以基于最优路径,将物品配送至目标位置。
其中,机器人在根据最优路径向目标位置移动过程中,可能会遇到障碍物,此时机器人中的导航模块会根据数据采集器件实时采集的数据,对导航路径进行调整,以使机器人能够避开障碍物正常移动。本实施例中,数据采集器件可以为激光雷达和/或外置摄像头。相应地,数据采集器件采集的数据可为:点云数据和/或图像数据。其中,障碍物可以为行人、椅子或其他物体。
本发明实施例提供的技术方案,通过控制图像采集模块,分别采集各自对应的置物单元中的托盘物品图像,并分别对N个托盘物品图像进行图像处理,以得到每个托盘物品图像对应的物品图像,以将餐具物品图像输入至预设的物品图像识别模型中,确定出餐具物品图像中物品的物品名称,然后根据物品名称,确定物品的目标位置,以根据目标位置,将物品配送至目标位置。由此,通过机器人的图像采集模块,采集所在置物单元内的托盘物品图像,并基于托盘物品图像确定托盘中存放的物品所属的目标位置,以将物品配送至目标位置的顾客,实现了在对餐具不进行任何处理的情况下,将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。
基于上述实施例,本发明实施例根据目标位置,将物品配送至目标位置之前,还包括:确定每个置物单元中的托盘是否存放有物品;若是,则根据每个托盘中物品对应的目标位置,将物品配送至目标位置。从而提高物品配送效率。
实施例二
图2是本发明实施例二提供的一种物品配送方法的流程示意图。在上述实施例的基础上,对“对托盘物品图像进行图像处理,以得到每个托盘物品图像对应的物品图像”进行了进一步优化。如图2所示,该方法具体如下:
S201,控制N个与置物单元对应的图像采集单元,分别采集所在置物单元中的托盘物品图像,其中N为大于或者等于1的正整数。
S202,分别对所述N个托盘物品图像进行去噪处理,得到处理后的N个托盘物品图像。
示例性的,本实施例可采用任意一种或多种去噪方式,分别对N个托盘物品图像进行去噪处理。其中,去噪方式包括下述至少一种:均值滤波、中值滤波、小波去噪和形态学噪声滤除等,此处对其不做具体限定。
S203,根据预设算法,分别对所述处理后的N个托盘物品图像进行图像分割处理,以得到所述处理后的每个托盘物品图像对应的物品图像。
其中,预设算法是指能够从托盘物品图像中分割出物品图像的任意算法。例如,高斯混合算法、霍夫圆变换算法或者帧差法等。
示例性的,可通过如下算法,对处理后的N个托盘物品图像进行图像分割处理。例如,根据预设高斯混合模型,对所述处理后的N个托盘物品图像进行分割,以得到所述处理后的N个托盘物品图像对应的物品图像;或者,根据预设霍夫圆变换算法,对所述处理后的N个托盘物品图像进行分割,以得到所述处理后的N个托盘物品图像对应的物品图像。
具体的,采用预设高斯混合模型,对处理后的N个托盘物品图像进行分割时,通过将处理后的N个托盘物品图像分别输入预设高斯混合模型,以通过预设高斯混合模型确定每个处理后的托盘物品图像中每个像素点的概率值。然后将每个像素点的概率值与概率阈值进行比较,以根据比较结果确定每个像素点为前景点还是后景点。其中,若任意像素点的概率值小于或者等于概率阈值,则确定该像素点为前景点;若任意像素点的概率值大于概率阈值,则确定该像素点为背景点。其中,预设高斯混合模型是基于训练样本进行训练生成,具体生成过程为已有方案,此处对其不做过多赘述。在本发明实施例中,将前景点组成的图像作为物品图像,后景点组成的图像作为非物品图像。
本实施例中,采用预设霍夫圆变换算法,对处理后的N个托盘物品图像进行分割时,通过提取每个处理后的托盘物品图像中的餐具特征点,并将餐具特征点组成的图像作为餐具物品图像。从而实现对处理后的托盘物品图像中餐具与托盘图像之间的分离。
需要说明的是,本实施例除了采用上述几种图像分割方法之外,还可采用其它图像分割方法。例如,帧差法等,此处对其不做过多赘述。
例如,如图2(a)所示,采用预设霍夫圆变换算法,从托盘物品图像200中分割出带有餐具的物品图像210。
实际应用过程中,机器人的置物单元较大,因此一个置物单元中的托盘上可能会存放至少两个物品,那么本实施例可分别对N个托盘物品图像进行图像处理,以得到每个托盘物品图像中每个餐具物品图像。
进一步的,为了便于后续对一个托盘中的每个餐具物品图像进行识别及配送,本实施例在得到属于同一个托盘的多个物品图像之后,可为每个物品图像设置标识,从而后续对每个物品图像进行物品名称识别及目标位置确定时,能够避免出现识别或确定混乱的问题。
为此,当一个托盘上存放有至少两个物品时,分别对N个托盘物品图像进行图像处理,以得到N个托盘物品图像对应的物品图像,包括:
分别对所述N个托盘物品图像进行去噪处理,并根据预设算法,对处理后的N个托盘物品图像进行图像分割处理,以得到所述处理后的N个托盘物品图像对应的每个物品图像及所述每个物品图像的标识信息。
例如,如图2(b)所示,若托盘物品图像230中存放有四个物品,那么采用预设霍夫圆变换算法,从托盘物品图像230中分割出带有餐具的物品图像240、物品图像250、物品图像260和物品图像270。
S204,将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称。
具体的,得到物品图像之后,可将物品图像输入预设的物品图像识别模型中,以利用预设的物品图像识别模型,对输入的物品图像进行处理,以确定物品图像中物品的物品名称。
需要说明的是,本实施例中物品图像,可以为一个或者多个。当物品图像的数量为多个时,则依次将多个物品图像输入至预设的物品图像识别模型中。
其中,多个物品图像,可以是指一个托盘物品图像分割出来的多个物品图像,也可以是根据多个托盘物品图像各自分割出来一个物品图像相组成的,此处对其不做具体限定。
S205,根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
其中,当物品图像的数据为多个,那么机器人将多个物品配送至各物品对应的目标位置时,可依据多个物品分别对应的物品订单的下单时间,根据多个物品的下单时间,按照从早到晚的顺序,依次将多个物品配送至对应的目标位置;或者,还可根据多个物品分别对应的物品订单中的餐桌标识与自身当前所在位置的距离,按照从远到近的顺序,依次将多个物品配送至对应的目标位置。
本发明实施例提供的技术方案,通过控制图像采集单元,分别采集各自所在置物单元中的托盘物品图像,并分别对N个托盘物品图像进行图像处理,以得到每个托盘物品图像对应的带有餐具的物品图像,以将物品图像输入至预设的物品图像识别模型中,确定出物品图像中物品的物品名称,然后根据物品名称,确定物品的目标位置,以根据目标位置,将物品配送至目标位置。由此,通过机器人的图像采集单元,采集所在置物单元内的托盘物品图像,并基于托盘物品图像确定托盘中存放的物品所属的目标位置,以将物品配送至目标位置的顾客,实现了在对餐具不进行任何处理的情况下,将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。
实施例三
图3是本发明实施例三提供的生成预设物品图像识别模型的流程示意图。如图3所示,该方法具体包括如下步骤:
S301,获取物品图像集,其中所述物品图像集包括:多个物品图像,及与每个物品图像对应的物品名称。
在机器人进入餐厅场景配置时,测试人员操作使得机器人进行物品学习。可选的,可通过摄像头采集多个不同种类的带有餐具的物品图像,并将多个不同种类的物品图像作为物品图像集。然后,分析每个物品图像对应的物品名称,将每个物品图像与每个物品图像对应的物品名称组成物品图像集。
进一步的,为了提高预设物品图像识别模型生成速度,本实施例在获取到物品图像集之后,还可对物品图像集中的每个物品图像进行增广处理,以得到每个物品图像对应的多个新物品图像。然后,分析每个新物品图像对应的物品名称,并将每个新物品图像与每个新物品图像对应的物品名称,以及每个物品图像与每个物品图像对应的物品名称组成物品图像集。其中,物品图像与每个新物品图像中的物品形态不同。在本实施例中,每个新物品图像中的物品形态也不相同。
其中,对物品图像进行增广处理时,可根据实际需要对每个物品图像进行不同次数的处理。例如,15次、30次或者45次。优选的,本实施例对物品图像进行30次增广处理,在确保物品图像识别的准确度的基础上,还能减轻机器人或者服务器的处理负担。
具体的,在本实施例中,对物品图像集中的每个物品图像进行增广处理,包括以下处理中的至少一种:旋转处理、亮度处理、色度处理、对比度处理、锐度处理和弹性扭曲等。其中,旋转处理的旋转角度范围为大于0度且小于360度;亮度处理是对餐具物品图像设置不同亮度系数;色度处理是对餐具物品图像设置不同色度;对比度处理是对餐具物品图像设置不同对比度;锐度处理是对餐具物品图像设置不同锐度;图像弹性扭曲处理是通过图像增强库对餐具物品图像进行扭曲处理。也就是说,本实施例通过对物品图像集中的每个物品图像进行增广处理,可得到同一个物品图像的多个不同形态的新物品图像。其中,形态包括:角度、亮度、色度及倾斜度等。即,对每个物品图像进行增广处理,可得到不同角度、不同亮度、不同色度及倾斜度等形态的多个新物品图像。
通过对物品图像集中的物品图像进行增广处理,以得到具有同一个物品图像的多个不同形态新餐具物品图像的物品图像集,从而利用具有同一个物品图像的多个不同形态新物品图像的物品图像集训练物品图像识别模型。如此使得后续当机器人投入使用时,当有餐品放入置物单元,图像采集单元会采集实时物品图像,并利用训练好的物品图像识别模型对物品图像识别,最终获得精确的物品信息反馈,即准确识别出物品名称。
S302,以所述多个物品图像为训练数据、所述每个物品图像对应的物品名称为训练结果,对初始物品图像识别模型进行训练,以生成预设的物品图像识别模型。
其中,在本发明实施例中,物品图像识别模型可以是任意机器学习模型。机器学习模型包括:深度学习模型或神经网络模型。
具体的,可通过将多个物品图像作为输入数据,输入至初始物品图像识别模型,并将每个物品图像对应的物品名称为训练结果,对初始物品图像识别模型进行多次训练,不断调整初始物品图像识别模型中每个计算层对应的权重值,以使训练后的初始物品图像识别模型在输入任意餐具物品图像之后,可以准确的输出该物品图像中物品的物品名称为止。从而将训练后的初始物品图像识别模型作为预设的物品图像识别模型。
本发明实施例通过上述方式生成预设的物品图像识别模型,实现了对物品图像识别的定制化,以通过预设的物品图像识别模型对物品图像进行准确识别,从而满足了用户个性化需求。
实施例四
图4是本发明实施例四提供的一种物品配送方法的流程示意图。在上述实施例的基础上,本实施例进行了进一步优化。具体的,本发明实施例中,机器人包括:扬声器,因此在“将所述物品配送至目标位置”之后,还包括:通过所述扬声器播报所述目标位置的物品信息,以使顾客或工作人员及时取出物品。如图4所示,该方法具体如下:
S401,控制N个置物单元对应的图像采集单元,分别采集置物单元对应的物品图像,其中N为大于或者等于1的正整数。
S402,分别对N个托盘物品图像进行图像处理,以得到每个托盘物品图像对应的物品图像。
S403,将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称。
S404,根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
S405,通过所述扬声器播报所述目标位置的物品信息,其中所述物品信息包括:物品名称和物品存放位置。
其中,物品存放位置,是指物品存放于哪一置物单元的托盘上。
具体的,当机器人将任一物品配送至对应目标位置时,本实施例可通过扬声器播报属于目标位置的物品名称和物品存放位置,以使顾客或者服务人员,根据机器人的语音播报,及时取出对应物品。需要说明的是,当置物单元为具有舱门的置物单元,那么为了便于顾客或者服务人员拿取物品,本实施例通过扬声器播报属于目标位置的物品名称和物品存放位置的同时,还控制存放物品的置物单元打开舱门,从而无需对拿取物品用户的身份进行验证,以减少繁琐的身份验证操作,进一步提高用户体验。
由于一个舱室置物单元的托盘上可以存放多个物品,因此本实施例还可根据餐具大小,预先对托盘进行区域划分处理,并在每个区域中部署指示灯,可选地,指示灯可以是白光补光灯,除了指示功能外可进行图像采集单元的光线补偿。从而当一个托盘上存在多个物品时,通过扬声器播报属于目标位置的物品名称和物品存放位置之外,还通过启动物品所处区域的指示灯,以控制指示灯工作,使得顾客或者服务人员根据处于工作状态的指示灯,从目标置物单元的托盘中准确取出目标物品,从而降低物品被取错的风险。
本实施例中,指示灯的工作方式可以是常亮、或者闪烁等方式,此处对其不做具体限定。
即,若物品所在托盘中存放有至少两个物品,则所述将所述物品配送至目标位置之后,还包括:
通过所述扬声器播报所述目标位置的物品信息,并启动所述物品所处区域的指示灯,以使所述指示灯工作。
本发明实施例提供的技术方案,当物品被配送至目标位置时,通过扬声器播报属于目标位置的物品信息,以使顾客或者服务人员能够及时且准确的取出对应物品,进而进行食用。此外,当一个托盘上存在多个物品时,通过扬声器播报属于目标位置的物品信息之外,还通过启动物品所处区域的指示灯,以控制指示灯工作,使得顾客或者服务人员根据处于工作状态的指示灯,从目标置物单元的托盘中准确取出目标物品,从而降低物品被取错的风险,进一步提高用户使用体验。
实施例五
图5是本发明实施例五提供的一种物品配送方法的流程示意图。在上述实施例的基础上,本实施例进行了进一步优化。具体的,在“通过所述扬声器播报所述目标位置的物品信息”之后,还包括:确定所述物品是否被移出,并根据确定结果执行不同操作。如图5所示,该方法具体如下:
S501,控制N个置物单元对应的图像采集单元,分别采集所在置物单元中的托盘物品图像,其中N为大于或者等于1的正整数。
S502,分别对N个托盘物品图像进行图像处理,以得到每个托盘物品图像对应的餐具物品图像。
S503,将所述餐具物品图像输入至预设的物品图像识别模型中,以确定所述餐具物品图像中物品的物品名称。
S504,根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
S505,通过所述扬声器播报所述目标位置的物品信息,其中所述物品信息包括:物品名称和物品存放位置。
S506,确定所述目标位置的物品是否被移出,若是,则执行S507,否则执行S508。
具体的,通过扬声器播报目标位置的物品信息之后,顾客或者服务人员可能会随时拿出物品,此时为了提高物品配送的速度,本实施例在播报目标位置的物品信息的同时,控制存放有目标位置物品的图像采集单元启动,并不断采集所在置物单元内的托盘物品图像,以根据采集的托盘物品图像与预存托盘图像进行比对,以确定物品是否被移出。
其中,为了避免因光线过暗导致采集的托盘物品图像不清晰,本实施例在控制存放有目标位置物品的图像采集单元启动的同时,启动补光灯,以使补光灯对图像采集单元进行补光,以使图像采集单元采集的托盘物品图像清晰。
示例性的,本实施例根据采集的托盘物品图像,确定物品是否被移出,可通过以下方式实现:
实现方式一
确定N个置物单元中图像采集单元当前采集的托盘物品图像,与执行配送物品前采集的托盘物品图像是否一致;若不一致,则确定所述物品被移出;若一致,则确定物品未被移出。
具体的,在未执行物品配送服务之前,机器人会控制图像采集单元采集托盘物品图像,此时托盘物品图像上时存放有物品的图像,那么当顾客或者服务人员根据语音播报将物品取出之后,图像采集单元采集的托盘物品图像中就不存在上述物品,此时两个托盘物品图像是不一样的,那么即可确定物品已被取出,否则物品未被取出。
实现方式二
确定N个置物单元中图像采集单元当前采集的托盘物品图像中是否存在托盘标识;若存在,则确定所述物品被移出;若不存在,则确定物品未被移出。
其中,托盘标识是指能够唯一确定托盘身份的信息,例如序列号或者编号等。
本实施例中托盘标识,可根据托盘可存放物品数量进行适应性设置,例如若托盘仅存放一个物品,则可将托盘标识部署于托盘中心位置;又如,若托盘可以存放多个物品,则可根据物品数量将托盘划分为多个区域,并在每个区域中部署一个托盘标识等,此处对其不做具体限定。为了保证标识能够表征物品是否放置在托盘,通常标识设置在托盘一定会被物品遮挡的区域。
具体的,在未执行物品配送服务之前,机器人会采集会控制图像采集单元采集托盘物品图像,此时托盘标识被物品遮挡,即托盘物品图像上不存在托盘标识,那么当顾客或者服务人员根据语音播报将物品取出之后,图像采集单元采集的托盘物品图像中就存在托盘标识,此时即可确定物品已被取出,否则物品未被取出。
实现方式三
根据N个置物单元中重力传感器的输出值,确定所述物品是否被取出;若输出值发生变化,则确定所述物品被移出;若输出值未发生变化,则确定物品未被移出。
在实际使用过程中,每个置物单元中还部署有重力传感器,那么当物品存放到置物单元的托盘上时,重力传感器会采集到物品重力值,得到第一重力值。相应的,当物品被拿出时,重力传感器会采集到没有物品的第二重力值。然后,通过将第一重力值和第二重力值相比较,如果第一重力值小于第二重力值时,即可确定物品被拿出;若果第一重力值大于或者等于第二重力值时,则确定物品未被拿出。
需要说明的是,上述几种确定目标位置的物品是否被移出的实现方式,仅作为本发明实施例的示例性说明,不作为对本发明实施例的具体限定。
S507,若是,则执行下一个物品的配送服务或者返回至初始位置。
其中,初始位置是指等待执行物品配送服务的固定位置。例如,餐厅前台等。
具体的,当确定物品被移出,则机器人还可确定自身置物单元中是否还存在未被配送的物品,并根据确定结果执行不同操作。其中,若存在,则根据未被配送的物品对应的目标位置,执行物品配送服务;若不存在,则通过导航模块生成返回初始位置的导航路径,并根据导航路径返回至初始位置,以等待下一次的物品配送指令。
S508,若否,且等待时长超过预设时长,则再次通过所述扬声器播报所述目标位置的物品信息。
其中,预设时长可根据实际需要进行设置,例如设置为1分钟(min)或者1.5min等。
具体的,当确定物品未被移出,那么机器人会启动计时器,通过计时器统计等待物品被取出的时长是否超过预设时长。若确定超过预设时长,则说明顾客或者服务人员可能因为说话或者干别的事情,没有听到播报语音,此时机器人会控制扬声器再次播放目标位置的物品信息,以使顾客或者服务人员基于播报信息及时取出物品。
进一步的,当再次播报目标位置的物品信息之后,还是检测到物品未被取出,则增大播报音量进行第三次的语音播报,并启动预警装置,以使顾客或者服务人员能够及时取出物品。
本发明实施例提供的技术方案,通过扬声器播报目标位置的物品信息之后,确定目标位置的物品是否被移出,若移出,则执行下一个物品的配送服务或者返回至初始位置,若未移出,且等待时长超过预设时长,则再次通过扬声器播报目标位置的物品信息。从而实现自动化、智能化及人性化的物品配送。
实施例六
图6是本发明实施例六提供的一种物品配送方法的流程示意图。在上述实施例的基础上,本实施例进行优化。
具体的,当图像采集模块包括第一图像采集单元和第二图像采集单元,通过所述第一图像采集单元和第二图像采集单元采集放置过程中物品的物品图像;将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。如图6所示,该方法具体如下:
S601,通过所述第一图像采集单元和第二图像采集单元采集放置过程中物品的物品图像。
具体实现时,通过第一图像采集单元和第二图像采集单元确定采集区域,该区域包含所有置物单元的前端,因此,在物品被放置进入任一置物单元过程中,必定经过置物单元前端,从而物品会动态进入采集区域,在通过该区域的过程中,第一图像采集单元和第二图像采集单元采集物品图像。
由于在实际使用过程中,由于图像采集模块未设置在置物单元内,避免了由于置物单元内部光线弱造成图像采集不准确的问题,由于图像采集模块在置物单元前端检测物品图像,无需置于置物单元内部,避免物品为热菜时,造成镜头起雾的问题,从而保证图像采集模块的可靠运行。
S602,通过所述处理器将所述物品图像输入至预设的物品图像识别模型中,确定所述物品的物品名称。
S603,通过所述处理器根据所述物品图像,确定所述物品的属性信息和配送目的地。
S604,通过所述处理器根据所述物品的配送目的地,控制所述移动模块工作,以执行物品配送操作。
S605,若到达任意物品的配送目的地,则通过所述处理器根据所述物品的属性信息,向用户发送提示信息。
S606,通过所述处理器确定配送目的地对应的物品是否被移出,若是,则执行S607,否则执行S608。
S607,若是,则执行下一个物品的配送操作或者返回至初始位置。
其中,初始位置是指等待执行物品配送服务的固定位置。例如,前台或者充电区域等。
具体的,当确定物品被移出,机器人还可通过检测模块确定自身置物单元中是否还存在未被配送的物品,并根据确定结果执行不同操作。其中,若存在,则根据未被配送的物品对应的配送目的地,执行物品配送操作;若不存在,则通过导航模块生成返回初始位置的导航路径,并根据导航路径返回至初始位置,以等待下一次的物品配送指令。
S608,若否,且等待时长超过预设时长,则再次通过所述扬声器播报所述物品的属性信息。
本发明实施例提供的技术方案,向用户发送提示信息之后,确定物品是否被移出,若移出,则执行下一个物品的配送服务或者返回至初始位置,若未移出,且等待时长超过预设时长,则再次向用户发送提示信息。从而实现自动化、智能化及人性化的物品配送。
具体的,向用户发送提示信息之后,用户可能会随时拿出物品,此时为了提高物品配送的速度,本实施例向用户发送提示信息的同时,并不断检测以确定该物品是否被移出。
示例性的,本实施例通过处理器确定配送目的地对应的物品是否被移出,可通过以下方式实现:
在多层式置物单元的机器人中,图像采集模块的第一图像采集单元和第二图像采集单元按照预算间距设置,并且被设置在所有置物单元上方,从而保证第一图像采集单元和第二图像采集单元的采集区域覆盖所有置物单元的前端区域,该前端区域为物品被放置入置物单元的经过区域。
由于每层置物单元与第一图像采集单元和第二图像采集单元的距离已经确定,并且为了保证物品可成功放置在置物单元,每层置物单元的结构设计相对确定,从而可以确定各层置物单元可放置物品的区域与第一图像采集单元和第二图像采集单元的距离,比如,在设有两层置物单元时,位于第一层的置物单元Z1的可放置区域距离为d1至d2,位于第二层的置物单元Z2的可放置区域距离为d3至d4,且d4>d3>d2>d1.
当有物品被放置在置物单元Z1的过程中,且物品到达置物单元Z1的前端区域,即到达第一图像采集单元和第二图像采集单元的采集区域,第一图像采集单元和第二图像采集单元采集物品的图像信息,处理器根据图像信息确定物品的物品名称等信息,此外,根据图像信息和所述第一图像采集单元和第二图像采集单元的视差获得该物品的相对位置坐标信息,由于第一图像采集单元和第二图像采集单元已经根据预设位置确定了位置坐标,因此,结合已知的第一图像采集单元和第二图像采集单元的位置坐标、物品的相对位置坐标从而获得物品和第一图像采集单元、第二图像采集单元的距离d,判断d和d2/d3的大小关系,若大于d3,则判定物品位于置物单元Z2,若小于d2,则判定物品位于置物单元d1。记录该物品和对应置物单元的信息。因此通过第一图像采集单元和第二图像采集单元的图像信息可以获取物品放在的置物单元的位置,从而避免每层置物单元放置图像采集模块。
若第一图像采集单元和第二图像采集单元再次采集置物单元Z2的该物品信息,则判断该物品被从置物单元Z2取出。
可选地,除了根据第一图像采集单元和第二图像采集单元再次采集置物单元的该物品信息,则判断该物品被从置物单元取出,还可以采用根据物品的图像信息相对置物单元的运动方向,来判定物品是被放入还是被取出,例如,当采集到物品的图像在某段时间内原理置物单元方向运动,则判断为物品被取出。
实施例七
图7是本发明实施例七提供的一种物品配送装置的结构示意图。本发明实施例物品配送装置配置于机器人。如图7所示,本发明实施例提供的物品配送装置700包括:图像采集模块710、图像识别模块720和控制模块730。
其中,图像采集模块710,用于分别采集置物单元对应的物品图像;
图像识别模块720,用于将物品图像输入至预设的物品图像识别模型中,以确定物品图像中物品的物品名称;
控制模块730,用于根据物品名称,确定物品的目标位置,并根据目标位置,将物品配送至目标位置。
作为本发明实施例的一种可选的实现方式,所述图像采集模块包含N个图像采集单元,其中N为大于或者等于1的正整数,每个置物单元对应一个所述图像采集单元,且每个置物单元包括补光灯;
相应地,图像采集模块710,具体用于:
通过补光灯为每个图像采集单元进行补光。
作为本发明实施例的一种可选的实现方式,图像采集模块710,还用于:
若所述N个置物单元具有舱门,则在确定所述N个置物单元的舱门被开启时,启动所述N个置物单元对应的图像采集单元和补光灯,控制所述补光灯对所述图像采集单元进行补光,并控制所述图像采集单元采集所在置物单元对应的物品图像。
作为本发明实施例的一种可选的实现方式,所述装置700还包括:图像处理模块740,所述图像处理模块740包括:预处理单元和分割处理单元;
其中,预处理单元,用于分别对图像采集模块获得包括托盘的物品图像,即托盘物品图像,所述N个托盘物品图像进行去噪处理,得到处理后的N个托盘物品图像;
分割处理单元,用于根据预设算法,分别对所述处理后的N个托盘物品图像进行图像分割处理,以得到所述处理后的每个托盘物品图像对应的物品图像。
作为本发明实施例的一种可选的实现方式,分割处理单元,具体用于:
根据预设高斯混合模型,对所述处理后的N个托盘物品图像进行分割,以得到所述处理后的每个托盘物品图像对应的物品图像;或者,
根据预设霍夫圆变换算法,对所述处理后的N个托盘物品图像进行分割,以得到所述处理后的每个托盘物品图像对应的物品图像。
作为本发明实施例的一种可选的实现方式,所述图像采集模块710,包括第一图像采集单元和第二图像采集单元;
相应地,所述图像采集模块710,具体用于通过所述第一图像采集单元和第二图像采集单元采集放置过程中物品的物品图像。
作为本发明实施例的一种可选的实现方式,所述第一图像采集单元和所述第二图像采集单元位于所有的所述置物单元上方,用于在物品放置在某一置物单元过程中动态采集所述物品的图像信息,根据所述图像信息、所述第一图像采集单元和第二图像采集单元的预定视差获得该物品的位置坐标信息,根据每层所述置物单元的预设距离,确定实施物品放置的对应置物单元,并记录该物品和对应置物单元的信息。
作为本发明实施例的一种可选的实现方式,若一个托盘中存放至少两个物品,则图像处理模块740,还用于:
分别对所述N个托盘物品图像进行去噪处理,并根据预设算法,对处理后的N个托盘物品图像进行图像分割处理,以得到所述处理后的每个托盘物品图像对应的每个餐具物品图像及所述每个物品图像的标识信息。
作为本发明实施例的一种可选的实现方式,所述物品配送装置700,还包括:图像集获取模块和模型生成模块;
其中,图像集获取模块,用于获取物品图像集,其中所述物品图像集包括:多个物品图像,及与每个物品图像对应的物品名称;
模型生成模块,用于以所述多个物品图像为训练数据、所述每个物品图像对应的物品名称为训练结果,对初始物品图像识别模型进行训练,以生成预设的物品图像识别模型。
作为本发明实施例的一种可选的实现方式,所述物品配送装置700,还包括:图像集处理模块;
其中,图像集处理模块,用于对所述餐具物品图像集中的每个餐具物品图像进行增广处理,以得到每个物品图像对应的多个新物品图像;
其中,物品图像与每个新物品图像中的物品形态不同;
所述增广处理包括以下至少一种:旋转处理、亮度处理、色度处理、对比度处理、锐度处理和弹性扭曲处理。
作为本发明实施例的一种可选的实现方式,控制模块730,具体用于:
根据所述物品名称,确定所述物品的物品订单;
根据所述物品订单,确定所述物品的目标位置。
作为本发明实施例的一种可选的实现方式,所述机器人还包括扬声器;
相应地,所述物品配送装置700,还包括:语音播报模块;
其中,语音播报模块,用于通过所述扬声器播报所述目标位置的物品信息,其中所述物品信息包括:物品名称和物品存放位置。
作为本发明实施例的一种可选的实现方式,若物品所在托盘中存放有至少两个物品,则语音播报模块还用于:
通过所述扬声器播报所述目标位置的物品信息,并启动所述物品所处区域的指示灯,以使所述指示灯工作。
作为本发明实施例的一种可选的实现方式,所述物品配送装置700,还包括:物品移出确定模块和处理模块;
其中,物品移出确定模块,用于确定所述目标位置的物品是否被移出;
处理模块,用于若是,则执行下一个物品的配送服务或者返回至初始位置;
处理模块,还用于若否,且等待时长超过预设时长,则再次通过所述扬声器播报所述目标位置的物品信息。
作为本发明实施例的一种可选的实现方式,N个置物单元还包括:重力传感器;
相应地,所述物品移出确定模块,具体用于:
根据N个置物单元中重力传感器的输出值,确定所述物品是否被取出;
若输出值发生变化,则确定所述物品被移出;
或者,确定N个置物单元中图像采集单元当前采集的托盘物品图像,与执行配送物品前采集的托盘物品图像是否一致;
若不一致,则确定所述物品被移出;
或者,确定N个置物单元中图像采集单元当前采集的托盘物品图像中是否存在托盘标识;
若存在,则确定所述物品被移出;
或者,确定N个置物单元中图像采集单元当前采集的托盘物品图像中的餐具物品图像,与执行配送物品前采集的托盘物品图像中的餐具物品图像是否一致;若不一致,则确定所述物品被取出。
作为本发明实施例的一种可选的实现方式,所述物品配送装置700,还包括:物品存放确定模块和物品配送模块;
其中,物品存放确定模块,用于确定每个置物单元中的托盘是否存放有物品;
物品配送模块,用于若是,则根据每个托盘中物品对应的目标位置,将所述物品配送至目标位置。
需要说明的是,前述对物品配送方法实施例的解释说明也适用于该实施例的物品配送装置,其实现原理类似,此处不再赘述。
本发明实施例提供的技术方案,通过控制图像采集模块,分别采集各自所在置物单元中的托盘物品图像,并分别对N个托盘物品图像进行图像处理,以得到每个托盘物品图像对应的餐具物品图像,以将餐具物品图像输入至预设的物品图像识别模型中,确定出餐具物品图像中物品的物品名称,然后根据物品名称,确定物品的目标位置,以根据目标位置,将物品配送至目标位置。由此,通过机器人的图像采集模块,采集所在置物单元内的托盘物品图像,并基于托盘物品图像确定托盘中存放的物品所属的目标位置,以将物品配送至目标位置的顾客,实现了在对餐具不进行任何处理的情况下,将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。
实施例八
图8是本发明实施例八提供的一种机器人的结构示意图,如图8所示,该机器人包括N个置物单元810、存储器820、处理器830、输入装置840和输出装置850、图像采集模块860,所述图像采集模块860用于采集与置物单元对应的物品图像;存储器820,用于存储一个或多个程序;一个或多个处理器830,用于根据图像采集单元860采集的物品图像,并读取和执行所述存储器820中存储的一个或多个程序,以实现本发明实施例任一所述的物品配送方法。图8中以一个处理器830为例;机器人中的N个置物单元810、存储器820、处理器830、输入装置840和输出装置850可以通过总线或其他方式连接,图8中以通过总线连接为例。
存储器820作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的物品配送方法对应的程序指令/模块。处理器830通过运行存储在存储器820中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的物品配送方法,该方法包括:
控制图像采集单元,分别采集与置物单元对应的物品图像,其中N为大于或者等于1的正整数;
将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;
根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
当然,本发明实施例所提供的一种机器人,该机器人不限于如上所述的方法操作,还可以执行本发明实施例其他任意实施例所提供的物品配送方法中的相关操作。
存储器820可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器820可进一步包括相对于处理器830远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置840可用于接收输入的数字或字符信息,以及产生与机器人的用户设置以及功能控制有关的键信号输入。输出装置850可包括显示屏等显示设备。
本发明实施例提供的机器人,通过控制图像采集模块,分别采集与置物单元对应的物品图像,并将物品图像输入至预设的物品图像识别模型中,确定出物品图像中物品的物品名称,然后根据物品名称,确定物品的目标位置,以根据目标位置,将物品配送至目标位置。由此,通过机器人的图像采集模块,采集所在置物单元对应的物品图像,并基于物品图像确定物品所属的目标位置,以将物品配送至目标位置的顾客,实现将物品准确无误的配送给顾客,有效降低了花费成本,提高了物品配送的灵活性。
实施例九
为了实现上述目的,本发明还提出了一种计算机可读存储介质。
本发明实施例提供的计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所述的应用于机器人的物品配送方法,该方法包括:
控制图像采集单元,分别采集与置物单元对应的物品图像;
将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;
根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种物品配送方法,其特征在于,应用于机器人,所述方法包括:
控制图像采集模块,分别采集与置物单元对应的物品图像;
将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;
根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
2.根据权利要求1所述的方法,其特征在于,所述图像采集模块包含N个图像采集单元,其中N为大于或者等于1的正整数,每个置物单元对应一个所述图像采集单元,且每个置物单元包括补光灯;
相应的,控制N个置物单元对应的图像采集单元,分别采集所在置物单元对应的物品图像,包括:
通过补光灯为图像采集单元进行补光。
3.根据权利要求2所述的方法,其特征在于,所述控制N个置物单元对应的图像采集单元,分别采集所在置物单元对应的物品图像,包括
若所述N个置物单元具有舱门,则在确定所述N个置物单元的舱门被开启时,启动所述N个置物单元对应的图像采集单元和补光灯,控制所述补光灯对所述图像采集单元进行补光,并控制所述图像采集单元采集对应置物单元中的托盘物品图像;
分别对托盘物品图像进行图像处理,以得到每个托盘物品图像对应的物品图像。
4.根据权利要求3所述的方法,其特征在于,所述分别对托盘物品图像进行图像处理,以得到每个托盘物品图像对应的物品图像,包括:
分别对所述N个物品图像进行去噪处理,得到处理后的N个物品图像;
根据预设算法,分别对所述处理后的N个托盘物品图像进行图像分割处理,以得到所述处理后的每个托盘物品图像对应的物品图像,所述预设算法根据预设高斯混合模型,对所述处理后的N个托盘物品图像进行分割,以得到所述处理后的每个托盘物品图像对应的物品图像;或者,根据预设霍夫圆变换算法,对所述处理后的N个托盘物品图像进行分割,以得到所述处理后的每个托盘物品图像对应的物品图像。
5.根据权利要求1所述的方法,其特征在于,所述图像采集模块包括第一图像采集单元和第二图像采集单元,所述分别采集与置物单元对应的物品图像包括:
通过所述第一图像采集单元和第二图像采集单元采集放置过程中物品的物品图像。
6.根据权利要求5所述的方法,其特征在于,所述第一图像采集单元和所述第二图像采集单元位于所有的所述置物单元上方,用于在物品放置在某一置物单元过程中动态采集所述物品的图像信息,根据所述图像信息、所述第一图像采集单元和第二图像采集单元的预定视差获得该物品的位置坐标信息,根据每层所述置物单元的预设距离,确定实施物品放置的对应置物单元,并记录该物品和对应置物单元的信息。
7.根据权利要求1所述的方法,其特征在于,所述将所述物品图像输入至预设的物品图像识别模型中,以确定所述餐具物品图像中物品的物品名称之前,还包括:
获取物品图像集,其中所述物品图像集包括:多个物品图像,及与每个物品图像对应的物品名称;
以所述多个物品图像为训练数据、所述每个物品图像对应的物品名称为训练结果,对初始物品图像识别模型进行训练,以生成预设的物品图像识别模型。
8.根据权利要求7所述的方法,其特征在于,所述获取物品图像集之后,还包括:
对所述物品图像集中的每个物品图像进行增广处理,以得到每个物品图像对应的多个新物品图像;
其中,物品图像与每个新物品图像中的物品形态不同;
所述增广处理包括以下至少一种:旋转处理、亮度处理、色度处理、对比度处理、锐度处理和弹性扭曲处理。
9.根据权利要求1所述的方法,其特征在于,所述根据所述物品名称,确定所述物品的目标位置,包括:
根据所述物品名称,确定所述物品的物品订单;
根据所述物品订单,确定所述物品的目标位置。
10.根据权利要求1所述的方法,其特征在于,所述机器人还包括扬声器;
相应地,所述将所述物品配送至目标位置之后,还包括:
通过所述扬声器播报所述目标位置的物品信息,其中所述物品信息包括:物品名称和物品存放位置
将所述物品配送至目标位置之后,还包括:
通过所述扬声器播报所述目标位置的物品信息,并启动所述物品所处区域的指示灯,以使所述指示灯工作。
11.根据权利要求10任一所述的方法,其特征在于,所述通过所述扬声器播报所述目标位置的物品信息之后,还包括:
确定所述物品是否被移出;
若是,则执行下一个物品的配送服务或者返回至初始位置;
若否,且等待时长超过预设时长,则再次通过所述扬声器播报所述目标位置的物品信息。
12.一种物品配送装置,其特征在于,配置于机器人,包括:
图像采集模块,用于分别采集与置物单元对应的物品图像;
图像识别模块,用于将所述物品图像输入至预设的物品图像识别模型中,以确定所述物品图像中物品的物品名称;
控制模块,用于根据所述物品名称,确定所述物品的目标位置,并根据所述目标位置,将所述物品配送至目标位置。
13.一种机器人,其特征在于,包括:
N个置物单元,N为大于或者等于1的正整数;
图像采集模块,用于采集与置物单元对应的物品图像,
存储器,用于存储一个或多个程序;
一个或多个处理器,用于根据图像采集单元采集的物品图像,并读取和执行所述存储器中存储的一个或多个程序,以实现如权利要求1-11中任一所述的物品配送方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-11中任一所述的物品配送方法。
CN202010622453.3A 2020-06-30 2020-06-30 物品配送方法、装置、机器人和介质 Active CN111899131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010622453.3A CN111899131B (zh) 2020-06-30 2020-06-30 物品配送方法、装置、机器人和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622453.3A CN111899131B (zh) 2020-06-30 2020-06-30 物品配送方法、装置、机器人和介质

Publications (2)

Publication Number Publication Date
CN111899131A true CN111899131A (zh) 2020-11-06
CN111899131B CN111899131B (zh) 2024-04-09

Family

ID=73191382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622453.3A Active CN111899131B (zh) 2020-06-30 2020-06-30 物品配送方法、装置、机器人和介质

Country Status (1)

Country Link
CN (1) CN111899131B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199506A (zh) * 2021-04-20 2021-08-03 深圳市普渡科技有限公司 托盘装置、机器人控制方法、装置、系统、机器人和介质
CN113469141A (zh) * 2021-08-09 2021-10-01 上海擎朗智能科技有限公司 一种物品运送方法、机器人及介质
CN113903107A (zh) * 2021-09-28 2022-01-07 上海擎朗智能科技有限公司 机器人的门锁控制方法、装置、机器人和存储介质
CN114227698A (zh) * 2022-01-27 2022-03-25 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、设备及存储介质
CN114384910A (zh) * 2022-01-04 2022-04-22 国网江西省电力物资有限公司 一种基于机器视觉技术的agv机器人目标识别分析系统
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
CN114918932A (zh) * 2022-04-29 2022-08-19 上海擎朗智能科技有限公司 一种托盘检测的方法、托盘检测装置及自主作业终端
KR20220148059A (ko) * 2021-04-28 2022-11-04 베어 로보틱스, 인크. 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332571A1 (en) * 2009-06-30 2010-12-30 Jennifer Healey Device augmented food identification
US20160155083A1 (en) * 2014-11-28 2016-06-02 Fuji Xerox Co., Ltd. Delivery management system, image forming apparatus, image acquisition apparatus, delivery management apparatus, non-transitory computer readable medium, and delivery management method
CN106531161A (zh) * 2016-10-17 2017-03-22 南京理工大学 基于图像识别的移动小车自动分拣搬运物品的装置及方法
CN109409765A (zh) * 2018-11-09 2019-03-01 江苏木盟智能科技有限公司 一种基于机器人的餐饮配送方法和系统
CN109631456A (zh) * 2017-10-06 2019-04-16 东芝生活电器株式会社 冰箱
CN110276892A (zh) * 2019-06-26 2019-09-24 深圳市腾讯计算机系统有限公司 无人售货方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332571A1 (en) * 2009-06-30 2010-12-30 Jennifer Healey Device augmented food identification
US20160155083A1 (en) * 2014-11-28 2016-06-02 Fuji Xerox Co., Ltd. Delivery management system, image forming apparatus, image acquisition apparatus, delivery management apparatus, non-transitory computer readable medium, and delivery management method
CN106531161A (zh) * 2016-10-17 2017-03-22 南京理工大学 基于图像识别的移动小车自动分拣搬运物品的装置及方法
CN109631456A (zh) * 2017-10-06 2019-04-16 东芝生活电器株式会社 冰箱
CN109409765A (zh) * 2018-11-09 2019-03-01 江苏木盟智能科技有限公司 一种基于机器人的餐饮配送方法和系统
CN110276892A (zh) * 2019-06-26 2019-09-24 深圳市腾讯计算机系统有限公司 无人售货方法、装置、设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113199506A (zh) * 2021-04-20 2021-08-03 深圳市普渡科技有限公司 托盘装置、机器人控制方法、装置、系统、机器人和介质
KR102617207B1 (ko) * 2021-04-28 2023-12-21 베어 로보틱스, 인크. 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11919146B2 (en) 2021-04-28 2024-03-05 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
KR20220148059A (ko) * 2021-04-28 2022-11-04 베어 로보틱스, 인크. 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2022170625A (ja) * 2021-04-28 2022-11-10 ベア ロボティクス インク サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
JP7261833B2 (ja) 2021-04-28 2023-04-20 ベア ロボティクス インク サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
CN113469141A (zh) * 2021-08-09 2021-10-01 上海擎朗智能科技有限公司 一种物品运送方法、机器人及介质
CN113469141B (zh) * 2021-08-09 2024-03-05 上海擎朗智能科技有限公司 一种物品运送方法、机器人及介质
CN113903107A (zh) * 2021-09-28 2022-01-07 上海擎朗智能科技有限公司 机器人的门锁控制方法、装置、机器人和存储介质
CN114384910A (zh) * 2022-01-04 2022-04-22 国网江西省电力物资有限公司 一种基于机器视觉技术的agv机器人目标识别分析系统
CN114227698A (zh) * 2022-01-27 2022-03-25 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、设备及存储介质
CN114227698B (zh) * 2022-01-27 2024-04-26 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、设备及存储介质
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
CN114918932A (zh) * 2022-04-29 2022-08-19 上海擎朗智能科技有限公司 一种托盘检测的方法、托盘检测装置及自主作业终端
CN114918932B (zh) * 2022-04-29 2024-05-14 上海擎朗智能科技有限公司 一种托盘检测的方法、托盘检测装置及自主作业终端

Also Published As

Publication number Publication date
CN111899131B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111899131B (zh) 物品配送方法、装置、机器人和介质
CN110710852B (zh) 基于送餐机器人的送餐方法、系统、介质及智能设备
US11961279B2 (en) Machine-learning-assisted self-improving object-identification system and method
CN111906780B (zh) 物品配送方法、机器人和介质
US10963949B1 (en) Determining an item involved in an event at an event location
US20130204719A1 (en) Systems and methods for license plate recognition to enable advance order pickup
US11863869B1 (en) Event detection using motion extracted image comparison
CN103901884B (zh) 信息处理方法和信息处理设备
CN105043005A (zh) 一种冰箱食品信息管理系统和方法
US10552750B1 (en) Disambiguating between multiple users
CN103162682A (zh) 基于混合现实的室内路径导航方法
CN104200249A (zh) 一种衣物自动搭配的方法,装置及系统
CN114399258A (zh) 一种智能货架、基于智能货架组成的仓储系统及其管理方法
CN105159103A (zh) 调整模式的方法及装置
CN110648257A (zh) 基于物联网操作系统的信息提示方法和装置、存储介质
CN115346256A (zh) 机器人寻人方法及系统
CN112036790A (zh) 无人配送方法及装置
CN109165611B (zh) 一种基于机器视觉和神经网络的碗碟识别智能结算方法
CN112232223A (zh) 多模态图像处理方法、装置、设备及存储介质
CN108922220A (zh) 一种停车场内导航方法和装置
KR20220054230A (ko) 식사 모니터링 장치 및 방법
WO2022107000A1 (en) Automated tracking of inventory items for order fulfilment and replenishment
CN107403151A (zh) 通过室内天花定位的方法、装置、设备及可读介质
CN113359734A (zh) 一种基于ai的物流辅助机器人
CN110298527B (zh) 信息输出方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant