CN108460933A - 一种基于图像处理的管理系统及方法 - Google Patents

Abstract

本发明涉及一种基于图像处理的管理系统及方法，该方法包括：使用至少一个第一图像采集装置，其用于采集第一图像以确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置，其用于探测至少一个人员的手部的第二图像；使用至少一个第三图像采集装置，其用于探测至少一个人员的手部的第三图像；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断物品与库存位置的变化之间的对应关系。

Description

一种基于图像处理的管理系统及方法

技术领域

本发明涉及管理系统和方法，尤其涉及一种基于图像处理的管理系统及方法。

背景技术

在无人超市逐渐兴起之时，如何同步准确地实现无人超市中购物清单与库存更新就成为了一个热点问题。

公开号为CN105531715A的中国专利文献公开了一种基于图像检测的库存更新方法，其中，通过比对拿取货品之前与拿取货品之后的图像来确定库存的更新和购物清单。该方法存在的问题在于，一旦用户取走了物品，但又送回到不恰当的位置时，那么购物清单与库存更新是不准确的。另外，当用户在类型相近似且摆放位置相近似的区域做反复对比时，会对拍照和计算带来挑战，倘若用户以双手同时拿取物品，又放回一件物品至错误位置时，购物清单与库存更新经常都会出现差错。其省略了结算环节，但由此也引发了其他问题。因此，这种自动购物方式存在改进空间。

公开号为CN104637198A的中国专利文献公开了一种具有自主跟踪功能的智能结算购物车系统，由MCU微控制器，可控直流电机，压力称重传感器，RFID阅读器，摄像头，无线收发器，触摸显示屏，条码扫描器，银联刷卡器构成自主跟踪和自助结算两大子系统，其特征在于：MCU微控制器1通过压力称重传感器感应的车体重量控制可控直流电机的驱动力大小，以适当速度移动购物车；通过条码扫描器自行扫描物品，触摸显示屏实时显示物品信息和当前所购物品总价，无线收发器实现MCU微控制器与超市后台服务器关于物品信息的实时交互，消费者通过银联刷卡器自行刷卡结算。在该系统中，RFID射频卡作为购物车跟踪的信号源，与购物车建立点到点的单线联系；摄像头随时拍摄购物车周围环境，通过路径识别算法自主规避障碍物，选择跟踪路径；由驱动电机驱动的驱动轮可以左右偏转，根据路径识别算法提供的路径信息，由MCU微控制器控制驱动轮的转向。

公告号为CN202904765U的中国专利文献提供一种商场自助智能购物车，包括车架，安装在车架下方的车轮，安装在车架上方的车篮、推杆，推杆下端连接车篮底部的外侧面，其之间的夹角为40-60度，车篮上端和推杆之间安装触摸显示屏，触摸显示屏左侧安装扫描仪、右侧安装刷卡槽，车篮上端安装自动开合感应门。其有益效果是，车篮上端安装自动开合感应门，自动开合感应门上安装感应仪可以感应到所放入的物品，避免在购物过程中错买或多买的麻烦。

通过研究以上三项技术方案，本领域技术人员即使将其结合，也无法得到令人满意的无人购物环境。特别是对于多人同时购物的无人超市而言，挑战更大。

发明内容

有鉴于前述解决方案的固有问题以及无人超市的其他问题，本发明致力于提供一种基于图像处理的管理系统及方法，本发明可以用于一种基于图像处理的无人超市。在本发明中并非要绝对避免使用RFID标签，但是考虑到RFID标签的成本问题，本发明更多地采取普适的图像识别手段。

本发明公开了一种基于图像处理的管理方法，所述方法包括：使用至少一个第一图像采集装置，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三图像采集装置，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。通过该方式，不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置。

根据一个优选实施方式，方法还包括：使用至少一个第四图像采集装置，其布置于购物容纳器，用于探测物品进入该购物容纳器的动作，其中，响应于物品进入该购物容纳器的动作，由此确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系。通过该方式，本发明可以在物品放入到购物容纳器后，确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性。

根据一个优选实施方式，所述第四图像采集装置还被配置用于：响应于人员的手部进入该购物容纳器的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该人员的手进入该购物容纳器之前拍摄的，所述第五图像是在该人员的手从该购物容纳器移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应人员移出物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。这里的物品的移出对应于将已经放入到购物容纳器中的相应物品从购物容纳器中拿出，相当于该人员有不购买相应物品的倾向。通过该方式，本发明可以在从购物容纳器的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新。

根据一个优选实施方式，所述方法还包括：使用至少一个第五图像采集装置，其布置于人员进出通道中，用以采集用于支付和/或注册的识别标识。通过该方式，将第五图像采集装置布置于人员进出通道中采集用于支付和/或注册的识别标识，可以快速地进行价款的结算，极大地提升了结算效率和用户体验，特别是在客流量大、库存数量大的情况下有显著的优势。

根据一个优选实施方式，所述第五图像采集装置仅响应于第四图像采集装置提供图像的事件而启动。通过该方式，本发明的第五图像采集装置可以在需要的情况下才启动，空闲的情况下可以进行休眠或者待机状态，节约能源。

根据一个优选实施方式，所述系统采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，准确地将货架与当前与其互动的人员或存取机构彼此关联起来，使得能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。

根据一个优选实施方式，响应于第四图像采集装置提供图像的事件并根据配备该第四图像采集装置的购物容纳器相对于进出通道的位置，第五图像采集装置调整其光学采集方向和焦距。通过该方式，本发明的第五图像采集装置可以根据购物容纳器相对于进出通道的位置，采取镜头跟随以及焦距调节地方式清楚、便捷地采集用于支付和/或注册的识别标识，增大了价款结算的范围区间和灵活性，提高用户体验度。

根据一个优选实施方式，所述第一图像是在所述第二图像采集装置拍摄到该人员的手部的第二图像之后才由所述第一图像采集装置拍摄的，其中，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的。通过该方式，使得无人超市可以同时应对多人进店采购的场景，仅当存在第一图像的人员再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于人员的追踪始于其尝试触及货架上的物品之时。这样不仅可以减少计算开销，还能降低存储开销，降低系统的构建成本和提升系统中各部件的使用效率和系统的流畅度。

根据一个优选实施方式，从基于第一图像确定绝对位置的最初时间点开始，该购物容纳器响应于人员持有物品的状态而设定介绍定时周期，在经过该特定的介绍定时周期之后，若第四图像采集装置未能采集到物品进入该购物容纳器的动作，则通过该购物容纳器向持有物品的人员发出有关商品属性的提示，其中，所述提示可以呈语音、图像或视频的形式。由于现在物品包装上的文字都设置得很小、很密集，就算视力正常的人员在短时间内都不可能快速找到所需要的信息，对于存在视力障碍、近视或者远视的人群，就更加地困难。而在经历介绍定时周期后，相应人员还未将物品放入购物容纳器，则说明该人员还未找到所需要的信息。由此，通过该方式，本发明可以在相应人员经历一定时间后还未决定是否购买物品时，辅助性地向持有物品的人员发出有关商品属性的提示，以便该人员根据提示作出决定，提升购物的效率和购物体验。

本发明还公开了一种基于图像处理的管理系统，所述系统包括：第一图像采集装置，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；第二图像采集装置，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；第三图像采集装置，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

根据一个优选实施方式，所述系统还包括：第四图像采集装置，其布置于购物容纳器，用于探测物品进入该购物容纳器的动作，其中，响应于物品进入该购物容纳器的动作，由此确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系。通过该方式，本发明可以在物品放入到购物容纳器后，确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性。

本发明提供的一种基于图像处理的管理系统及方法至少具有如下优势：

(1)本发明不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置；

(2)本发明可以在物品放入到购物容纳器后，确认进入该购物容纳器的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性；

(3)本发明可以在从购物容纳器的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新；

(4)本发明主要采用图像处理而不用其他方式能够充分利用现有投资，在不增设其他额外的设备的情况下，仅仅通过对图像监控中心进行设备升级的方式来实现。

附图说明

图1是本发明的系统的一个优选实施方式的模块示意图。

附图标记列表

11：第一图像采集装置 12：第二第图像采集装置

13：第三图像采集装置 14：第四图像采集装置

15：第五图像采集装置 16：第六图像采集装置

17：第七图像采集装置 18：第八图像采集装置

21：指示标记 22：位置错误标记

30：计算设备 40：购物容纳器

具体实施方式

下面结合附图进行详细说明。

为了便于理解，在可能的情况下，使用相同附图标记来表示各附图中共同的相似元件。

如在整篇本申请中所使用的那样，词语“可以”系容许含义(即，意味着有可能的)而不是强制性含义(即，意味着必须的)。类似地，词语“包括”意味着包括但不限于。

短语“至少一个”、“一个或多个”以及“和/或”系开放式表达，它们涵盖操作中的关联与分离两者。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或更多个”、“A、B或C”和“A、B和/或C”中的每个分别指单独A、单独B、单独C、A和B一起、A和C一起、B和C一起或A、B和C一起。

术语“一种”或“一个”实体指的是该实体中的一个或多个。这样，术语“一”(或“一”)、“一个或多个”以及“至少一个”在本文中可以交换地使用。还应该注意，术语“包括”、“包含”和“具有”可以交换地使用。

如本文中所使用的那样，术语“自动的”及其变型是指当执行过程或操作时在没有实质性人工输入的情况下完成的任何过程或操作。然而，如果在执行该过程或操作之前接收到该输入，则该过程或操作可以是自动的，即使该过程或操作的执行使用了实质性或非实质性的人工输入。如果这样的输入影响该过程或操作的执行方式，则该人工输入被认为是实质性的。准予执行该过程或操作的人工输入不被视为“实质性的”。

实施例1

本发明公开了一种基于图像处理的管理系统，在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，参见图1，该系统可以包括：第一图像采集装置11，其用于采集第一图像，并由该系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置。优选地，地面上可以设有相应的用于识别的基准点和/或基准线辅助系统确定绝对位置和相对位置。

优选地，绝对位置是指针对应用该库存管理系统的超市或仓库所建立的坐标系内的位置，其坐标原点例如可以是超市或仓库占地面的一个角落例如东南角，也可以是某结算柜台所在的位置。相对位置是指超市内的货架之间的彼此相对位置，也可以是存取机构或人员与货架之间的相对位置。

考虑到人员或存取机构在绝大多数情况下都仅能操作其可存取的处于近旁的货架(典型情况下是2米左右范围内的货架)。在本发明中，同时采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，使得超市随时随地依据变化发生地来动态划分需要进行分析与计算的区域，能够准确地将货架与当前与其互动的人员或存取机构彼此关联起来，解决大量动态人员与动态存取机构同时进行购物或库存整理时的困难。换而言之，通过本发明先根据位置将库存变化与人员或存取机构进行对应，这对大型超市库存管理的实时性有着决定性的作用。对于拥有成千上万库存位置的超市而言，由于把“库存变化”与“绝对位置”和“相对位置”率先进行了关联，从而大大降低了图像识别的运算量，由此能够在不增设大量计算设备的情况下完成实时库存分析。也由此很大程度上避免了库存数据的混乱无序。

通过该方式，不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置。在这里，存取机构可以是人，也可以是机器设备。对于人而言，图像识别的对象是人的手臂；对于机器设备而言，图像识别的对象是机械手或类似物；从而使得本发明能够灵活应对机器与人并存的超市环境。

根据一个优选实施方式，该系统采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，准确地将货架与当前与其互动的人员或存取机构彼此关联起来，使得能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。通过该方式，能够极大地降低计算开销，降低硬件要求和成本。

根据一个优选实施方式，该系统还可以包括：第二图像采集装置12，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的。优选地，对于一个货架，其可以具有至少一个库存位置。一个货架可以分为多层。每层可以是一个库存位置。或者，一层在水平方向上可以分为多个区域，每个区域可以是一个库存位置。应当注意地是，这些区域之间的分隔线可以是肉眼可见的分隔装置和/或肉眼不可见的虚拟分隔线。分隔装置例如是间壁和/或喷涂的基准线。肉眼不可见的虚拟分割线可以是在货架、与该货架对应的第二图像采集装置12和/或第三图像采集装置13固定好后，摆放相应的物品，然后由系统采集该货架的图像信息对货架进行分割，以得到至少包含一类物品的至少一个库存位置。

根据一个优选实施方式，该系统还可以包括：第三图像采集装置13，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的。

根据一个优选实施方式，该系统可以基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。比如，绝对位置周围有多个货架，但是通过绝对位置不能准确地确定实际发生变化的库存位置，而相对位置可以涉及到两者之间的距离，只有在相应人员在与一个货架的距离小于等于预设距离之时，才有可能出现该人员与处于相对位置的货架发生物品转移关系的情况。在该人员与存放该物品的对应的库存位置距离近的情况下，该人员将该物品放回到对应的库存位置时，则该库存位置的变化只包括数量的增加，而不包括品类的增加。在该人员与存放该物品的对应的库存位置距离远的情况下，该人员有可能不会将物品放回到该物品的对应的库存位置。因此，在将物品放回到货架上且未放回到其对应的库存位置的情况下，则处于预定相对位置的货架的至少一个库存位置的变化可以包括：该库存位置存放物品的品类增加和存放物品的数量增加。优选地，持有物品的状态可以包括物品的种类和/或数量。优选地，在判断所述物品与所述库存位置的变化之间的对应关系之前，可以基于从各种输入装置接收到的数据来识别从货架的库存位置移除和/或放入货架的库存位置中的物品的身份。例如，通过图像采集装置可以采集在相应人员的手经过平面进入库存位置中之前所述手的一连串图像并且还采集在该手离开库存位置后该手的一连串图像。基于所述图像的比较，可以确定相应人员是否从库存位置移除物体或将物体放入库存位置中。例如，基于对图像的分析，可以确定相应人员在手进入库存位置时没有拿着物体，但是在手从库存位置移出时拿着物体(相应人员从库存位置移除物体)。同样地，可以使用图像分析来识别是否在手进入库存位置之前相应人员在他们的手上拿有物体但在手从库存位置移出时没有拿有物体(相应人员将物体放入库存位置中)。也就是说，本发明用于比较的第二图像和第三图像不仅仅只是包括单张图像的情况，还可能是一连串的第二图像和一连串的第三图像的综合比对。

优选地，本发明的管理系统还公开了第四图像采集装置14，其布置于购物容纳器40，用于探测物品进入该购物容纳器40的动作，其中，响应于物品进入该购物容纳器40的动作，由此确认进入该购物容纳器40的所述物品与所述库存位置的变化之间的对应关系。优选地，当且仅当所述确认步骤之后，将代表所述物品的物品标识符添加至用户购物清单，所述用户购物清单与至少一个人员相关联。通过将物品标识符添加到用户购物清单，在用户逛超市的过程中根据放入到购物容纳器40中的物品实时地进行用户购物清单地核算，最后可以直接根据用户购物清单进行费用的结算，避免了再次将物品依次移出扫描条码进行结算造成的结算时间长，排队现象严重的问题，提高购物效率和用户体验。优选地，购物容纳器40例如是购物车、购物筐和购物袋中的至少一种。

优选地，所述第四图像采集装置14还可以被配置用于：响应于人员的手部进入该购物容纳器40的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该人员的手进入该购物容纳器40之前拍摄的，所述第五图像是在该人员的手从该购物容纳器40移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应人员移出物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。在此，通过物品的移出以及库存位置的变化两者来确定某物品从购物容纳器返回至库存位置。由此可首先基于第一图像所确定的绝对位置和相对位置来确认发生变化的库存位置，同时基于第二图像、第三图像、第四与第五图像来分析确定所返回的物品。此时可相应更新库存位置或者启动货物清理程序，例如招唤人工介入清除不符合货架货物的物品，或者以自动进给方式将错误的物品送入回收通道。例如，通过在天花板安装可移动的机械手臂或者带机械手臂的自动清理车将不符合货架货物的物品或者错误的物品进行归位整理或者放入回收通道。优选地，当基于第二、第三、第四与第五图像确定返回的物品之后，将代表所述物品的物品标识符从用户购物清单移除，所述用户购物清单与至少一个人员相关联。优选地，第四图像是该人员的手在未持有物品的情况下该手进入该购物容纳器40之前拍摄的。第五图像是在该人员的手从该购物容纳器40将物品移出之后拍摄的。

根据一个优选实施方式，所述第四图像采集装置14还可以被配置用于：响应于人员抵达结算区域而启动，采集购物容纳器40内的物品占用购物容纳器40的空间大小，由该系统根据空间大小指示结算区域的提供设备为该人员提供匹配大小的袋。通过该方式，可以为该人员提供适宜大小的袋，避免在结算区域因为判断所需的袋的大小而浪费过多的时间，提高结算效率。

根据一个优选实施方式，本发明还公开了第五图像采集装置15，其布置于人员进出通道中，用以采集用于支付和/或注册的识别标识。优选地，所述识别标识可以是二维码、指纹、人体轮廓、人脸轮廓、虹膜图像和典型的热特性图像中的至少一种。比如，在一个人员被检测到持有一个购物容纳器40后，则系统将该购物容纳器40与该人员关联。在费用结算之时，在该人员是未注册用户的情况下，则可以在结算时提醒用户注册或者直接出示付款的二维码。在用户注册之时，可以要求用户选定一种识别标志作为以后费用结算之时的凭证，并根据用户选定的识别标识要求用户录入对应的信息。假设用户选择通过虹膜图像进行支付，则该人员在费用结算之时，将相应的眼部朝向第五图像采集装置15的采集区域，在通过系统的验证之后，使用绑定的支付账号完成费用结算。

根据一个优选实施方式，第五图像采集装置15仅响应于第四图像采集装置14提供图像的事件而启动。优选地，响应于第四图像采集装置14提供图像的事件并根据配备该第四图像采集装置14的购物容纳器40相对于进出通道的位置，第五图像采集装置15调整其光学采集方向和焦距。

根据一个优选实施方式，所述第一图像是在所述第二图像采集装置12拍摄到该人员的手部的第二图像之后才由所述第一图像采集装置11拍摄的，其中，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的。由此，使得无人超市可以同时应对多人进店采购的场景，仅当存在第一图像的人员再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于人员的追踪始于其尝试触及货架上的物品之时。

优选地，从基于第一图像确定绝对位置的最初时间点开始，该购物容纳器40响应于人员持有物品的状态而设定介绍定时周期(例如5秒)，在经过该特定的定时周期之后，若第四图像采集装置14未能采集到物品进入该购物容纳器40的动作，则通过该购物容纳器40向持有物品的人员发出有关商品属性的提示，其中，所述提示可以呈语音、图像或视频的形式。例如该购物容纳器40可以提示该人员从货架上取下但未装入该购物容纳器40的商品售价为20元，据其保质期截止时间还有十个月。优选地，该购物容纳器40响应于介绍定时周期之设定，还设定提醒定时周期(例如30秒)，在经过了提醒定时周期之后，若第四图像采集装置14未能采集到物品进入该购物容纳器40的动作，则通过该购物容纳器40向持有物品的人员发出提示将当前物品正确装入该购物容纳器40内的提示，其中，该提示可采取指向容纳口的箭头这样的图形方式。优选地，在经过了该提醒定时周期之后，在第四图像采集装置14未能采集到物品进入该购物容纳器40的动作的情况下，则该系统还通过指示标记21指示将当前物品放回到货架上的正确位置。其中，该指示标记21可以采取指向当前物品的同类物品所在区域的箭头这样的图形方式。更具体地，比如，指示标记21为绿色荧光箭头且能按照预设频率闪烁。

优选地，该系统还包括第六图像采集装置16，第六图像采集装置16在经过了该提醒定时周期之后，在第四图像采集装置14未能采集到物品进入该购物容纳器40的动作的情况下启动，用于采集与物品关联的货架的第六图像和货架的第七图像，其中，所述第六图像是在该人员持有物品的手进入货架之前拍摄的，所述第七图像是在该人员持有物品的手从货架移出之后拍摄的，基于第六图像和第七图像比较来二次判断所述物品与所述库存位置的变化之间的对应关系。第六图像采集装置16只在在经过了该提醒定时周期之后，在第四图像采集装置14未能采集到物品进入该购物容纳器40的动作的情况下启动，是因为物品回放到货架上所需的环境信息更多且分析难度相比从货架上取出物品更大。优选地，在通过第二、第三图像进行一次判断的情况下，还通过第六与第七图像进行二次判断，得到的所述物品与所述库存位置的变化之间的对应关系更加准确可靠。优选地，在两次判断的结果不一致之时，可以安排人工核对或者由智能机器人现场核对。优选地，第六图像和第七图像与第二图像和第三图像的主要区别在于，第六图像和第七图像的对象是货架。而第二图像和第三图像的对象是手。设置第六图像采集装置16的意义在于识别相应人员将从货架上的物品拿出后再放置到其他货架上时也能相应地进行跟踪。比如，一个人员在一个库存位置拿取相应的物品后，在另一个库存位置看到了同类型的另一个物品，其更具有吸引力，然后，用户则希望将相应的物品移出，更换另一个物品，但是，此时该人员很可能已经不在拿取相应的物品的对应货架附近，导致其将物品送还到对应库存位置的意愿低，可能直接将相应的物品放置在当前位置的货架上，这会导致相应的物品可能会放置在非对应的货架上的非对应库存位置。由此，优选地，在持有物品的人员未按照指示标记21将该物品放回到货架上的正确位置之时，所述系统通过语音方式向其播放劝导提醒。例如，尊敬的客户，您未将某商品放回到其正确位置，为了维护良好的购物环境，避免给他人造成误导，请您根据指示标记21将某商品放回到正确位置，谢谢您的配合。优选地，在播放劝导提醒之后且相应的物品仍未被放回到正确位置的情况下，在该物品的错误位置下显示位置错误标记22，其中，位置错误标记22可以采取感叹号、叉号或者文字形式中的至少一种。优选地，在未被放回到正确位置的物品从显示位置错误标记22的货架上取下之后，通过语音和/或图形方式指示该物品的正确位置和/或正确售价。比如，通过在闪烁的指示标记21以及语音：尊敬的顾客，您好，您手上的物品被放置在了错误的位置上，其正确位置为闪烁的指示标记21所在位置，请参考正确位置处的对应价签进行购买，谢谢！通过该方式，可以让员工快速找到错放的物品，以及快速将其放回到正确位置，提高工作效率。同时，还可以避免因价签和实际物品不对应给购物者造成错误的购物导向，提高用户体验。而且，通过该方式，由于能够快速知道物品的正确位置，在用户步行到正确位置的所需移动的距离不远的情况下，即使看了实际价签和/或正确售价之后用户选择不购买该物品，一些用户会辅助地将该物品放回到其正确位置，降低了员工的工作量。优选地，该系统还可以包括指示显示器，指示显示器可以用于在错放的物品的正确位置不在其错放的货架上时，通过指示显示器为拿起错放的物品的人员播放其正确的售价。

根据一个优选实施方式，位置错误标记22可以通过至少两种不同的视觉状态以分级显示方式区分错误的偏差程度。偏差程度例如是距离偏差、价格偏差和效用偏差中的至少一种。以此直观地给员工或者购物者进行提示。比如，在位置错误标记22可以通过分级显示方式区分距离偏差时，通过第一颜色、不同于第一颜色的第二颜色以及不同于第一和第二颜色的第三颜色以分三档方式区分距离偏差的偏差程度。在将该物品从当前的错误位置放回到其正确位置的所需路程小于等于第一路程阈值之时，将位置错误标记22配置为第一颜色，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第一路程阈值且小于等于第二路程阈值之时，将位置错误标记22配置为第二颜色，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第三路程阈值之时，将位置错误标记22配置为第三颜色。优选地，第一颜色、第二颜色和第三颜色可以分别为蓝色、黄色和红色。第一路程阈值例如是5米。第二路程阈值例如是20米。第三路程阈值例如是40米。优选地，效用偏差例如是增肥与减肥、通便与止泻一类的偏差。应当注意的是，本发明还可以通过其他方式或者多种方式的组合来实现不同的视觉状态，而不是仅仅只能以不同的颜色来实现。比如，本发明还可以通过数字和颜色的组合来实现。通过该方式，可以便于非色盲人员直接通过颜色区分偏差程度，也可以便于色盲人员通过数字区分偏差程度，实现一个良好的购物或者工作环境。具体地，这里还是以距离偏差为例，在将该物品从当前的错误位置放回到其正确位置的所需路程小于等于第一路程阈值之时，将位置错误标记22配置为第一颜色并显示第一数字，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第一路程阈值且小于等于第二路程阈值之时，将位置错误标记22配置为第二颜色并显示第二数字，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第三路程阈值之时，将位置错误标记22配置为第三颜色并显示第三数字。第一数字例如是1，第二数字例如是2，第三数字例如是3。

根据一个优选实施方式，该系统还包括第七图像采集装置17，第七图像采集装置17用于在该系统通过货架上的指示标记21指示将当前物品放回到货架上的正确位置之前采集第八图像，由该系统根据第八图像分析该正确位置对应的指示标记21的可视情况，仅在该指示标记21位于拿起当前物品的人员的可视范围内的情况下才显示该指示标记21。优选地，在该指示标记21不位于拿起当前物品的人员的可视范围内的情况下，或者说，在拿起当前物品的人员与该对应的指示标记21之间有阻碍视线的固定障碍物的情况下，通过语音方式指示该物品的正确位置和/或正确售价。通过该方式，可以在物品的正确位置不在可视范围内的情况下不给他人造成误导。优选地，该系统还根据第八图像分析拿起当前物品的人员的身份情况，仅在该指示标记21位于拿起当前物品的人员的可视范围内且该人员的身份是工作人员的情况下才显示该指示标记21。比如，分析人员的身份情况可以通过人脸识别、穿特定的工作装和携带电子标签中的至少一种。

根据一个优选实施方式，在显示该指示标记21之前，该系统还根据第八图像分析拿起当前物品的人员的可视范围内需要同时显示的指示标记21的第一显示数量，在第一显示数量大于等于两个之时，通过将相应的位置错误标记22和指示标记21以分组的方式进行关联，并在同一组位置错误标记22和指示标记21之间采用视觉上关联且不同组之间采用视觉上区分地方式进行设置。比如，同一组中，位置错误标记22至少部分地与指示标记21发出相同颜色标记，不同组之间的颜色标记不同。又比如，同一组中，位置错误标记22与指示标记21显示相同数字标记，不同组之间的数字标记不同。再比如，同一组中，位置错误标记22与指示标记21显示相同图形标记，不同组之间的图形标记不同。图形标记例如是圆圈、三角形或者四边形。

根据一个优选实施方式，该系统还可以包括：第八图像采集装置18，其用于采集货架设置位置错误标记22的至少部分区域的第九图像，并由该系统根据第九图像分析实际的位置错误标记22的显示和该系统中位置错误标记22的设定的匹配情况，其中，在两者不匹配之时，定位不匹配的位置错误标记22所在的货架并通知维护人员。通过该方式，可以快速地识别和定位到位置错误标记22发生故障的货架，并快速地进行维护，减少漏标或者错标的情况。

优选地，第二图像采集装置12在探测到一个人员的手部的第二图像之时，其还会对以下两者进行分析：“基于第二图像与第三图像的比较而确定的该人员持有物品的情况”和“该人员所携带的购物容纳器40的第四图像采集装置14探测到的物品进入该购物容纳器40的动作”，当分析结果表明该人员没有持有物品或仅持有一件物品时，该系统才准予该人员存取位于该人员的绝对位置近旁的、处于预定相对位置的货架的至少一个库存位置中的物品。由此避免某人员手中持有大量不结算的商品，同时也仅仅禁止该人员过多地存取不必要的商品，而不会由此致使他人购物受限。

根据一个优选实施方式，本发明中提到的各图像采集装置可以使用任何类型的相机及其他可替代的成像设备。例如，所述相机中的一者或多者可以是RGB相机。相机中的一者或多者可以是深度感测相机。

优选地，为了采集到所需的图像，各图像采集装置可以是一个或者多个，在某图像采集装置是多个之时，其可以分散地设于多个位置中。比如，一些图像采集装置可以位于头顶上，例如在天花板上以采集人员和/或场所内相应位置的图像。又比如，一些图像采集装置可以位于库存位置上或内部。例如，可以位于库存位置的外部部分上并且被定位成采集人员和/或库存位置周围的位置的图像。再比如，一些图像采集装置可以设置在价签所在区域，朝向对侧货架以采集对侧货架上的图像信息。

根据一个优选实施方式，本发明的系统还包括计算设备30。计算设备30可以是在本地、远程或其任何组合。同样地，计算设备30可以被配置以通过网络与输入组件、输出组件和/或直接地与第一、第二、第三、第四、第五、第六、第七、第八图像采集装置和购物容纳器40中的至少一个通信。本领域的人员可以想到的是，通信可以是通过有线的和/或无线的方式。优选地，计算设备30例如是一个或者多个服务器。服务器中可以包括处理器和存储器。该系统可以包括或提供图像处理(例如，用于用户识别、表情识别和/或物品识别)、库存追踪和/或位置确定。

实施例2

本实施例是对实施例1的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

本发明还公开了一种基于图像处理的管理方法，该方法可以由本发明的系统以及其他可替代的实现。比如，通过使用系统中的各个零部件实现本发明的方法。

根据一个优选实施方式，该方法可以包括：使用至少一个第一图像采集装置11，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二图像采集装置12，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三图像采集装置13，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

根据一个优选实施方式，所述方法还可以包括：使用至少一个第四图像采集装置14，其布置于购物容纳器40，用于探测物品进入该购物容纳器40的动作，其中，响应于物品进入该购物容纳器40的动作，由此确认进入该购物容纳器40的所述物品与所述库存位置的变化之间的对应关系。

实施例3

本实施例是对实施例1、2或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，在购物时天气为雾霾和/或阴雨天的情况下，则该购物容纳器40可以根据第二图像确定的人员的相对位置，提示该人员摆放口罩和/或雨伞的货架的位置，并根据第二图像确定的人员的绝对位置，显示出人员由该绝对位置到摆放口罩和/或雨伞的货架的路线。通过该方式，可以快速给人员提供在相应天气条件下常用物品的路线参考，对于专门进店购买相应常用物品的人员，可以极大地节约时间。

实施例4

本实施例是对实施例1、2、3或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，在条码扫描器前，应安装一道屏蔽门，屏蔽门以人员使用的个人的各类可供支付的二维码为开关，一次仅供一人进入，扫码后，门随即关闭。该人员以适当速度移动购物车，通过条码扫描器，自行扫描物品，触摸显示屏显示待付款物品信息和当前所购物品总价，该人员确认无误后，系统自动在之前扫描的二维码账户上结算。确认结算无误后，条码扫描器后的屏蔽门打开，同时，条码扫描器前的屏蔽门开始扫描下一人员的二维码。通过该方式，避免了人员偷拿商品或结算有误的问题，可以降低超市的亏损额。

实施例5

本实施例是对实施例1、2、3、4或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，货架上设有至少一个重量采集装置，用于采集相应人员的手进入货架的至少一个库存位置之前和该手从该货架的至少一个库存位置移出之后的重量差，并在该系统基于第二图像与第三图像的比较来确定相应人员持有物品的状态之后，通过系统中记录的该确定的物品的重量和该重量差来核对物品的状态。

此外，本发明还可以通过在货架上直接安装重量采集装置，通过采集装置采集到的重量差来初步判断物品的状态。本领域的人员可以想到的是，这种情况下，一个货架上的多个物品的重量应该有一定区别，以便实现识别的物品的状态的目的。

实施例6

本实施例可以是对实施例1、2、3、4、5或者其结合的进一步改进和/或补充，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式的整体和/或部分内容可以作为本实施例的补充。

本实施例还公开了一种无人超市系统，该系统的技术特征和一种基于图像处理的管理系统全部或者部分相同，以达到相应的技术效果。

本实施例还公开了一种无人超市的库存管理系统，该系统的技术特征和一种基于图像处理的管理系统全部或者部分相同，以达到相应的技术效果。

本实施例还公开了一种无人超市的库存管理方法，该方法的技术特征和一种基于图像处理的管理方法全部或者部分相同，以达到相应的技术效果。

虽然已经详细描述了本发明，但是在本发明的精神和范围内的修改对于本领域技术人员将是显而易见的。这样的修改也被认为是本公开的一部分。鉴于前面的讨论、本领域的相关知识以及上面结合背景讨论的参考或信息(均通过引用并入本文)，进一步的描述被认为是不必要的。此外，应该理解，本发明的各个方面和各个实施例的各部分均可以整体或部分地组合或互换。而且，本领域的普通技术人员将会理解，前面的描述及其附图仅仅是作为示例，并不意图限制本发明。

已经出于示例和描述的目的给出了本公开的前述讨论。这并不意图将本公开限制于本文公开的形式。在前述的具体实施方式中，例如，为了简化本公开的目的，本公开的各种特征在一个或多个实施例、配置或方面中被组合在一起。实施例、配置或方面的特征可以以除上面讨论的那些之外的替代实施例、配置或方面组合。本公开的该方法不应被解释为反映本公开需要比每个权利要求中明确记载的更多特征的意图。相反，如以下权利要求所反映的，创造性方面在于少于单个前述公开的实施例、配置或方面的所有特征。因此，以下权利要求由此被并入本具体实施方式中，其中每个权利要求其自身作为本公开的单独实施例。

Claims (10)

1.一种基于图像处理的管理方法，其特征在于，所述方法包括：

使用至少一个第一图像采集装置(11)，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；

使用至少一个第二图像采集装置(12)，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；

使用至少一个第三图像采集装置(13)，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；

其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

使用至少一个第四图像采集装置(14)，其布置于购物容纳器(40)，用于探测物品进入该购物容纳器(40)的动作，其中，响应于物品进入该购物容纳器(40)的动作，由此确认进入该购物容纳器(40)的所述物品与所述库存位置的变化之间的对应关系。

3.如权利要求2所述的方法，其特征在于，所述第四图像采集装置(14)还被配置用于：响应于人员的手部进入该购物容纳器(40)的动作而拍摄手部的第四图像和第五图像，其中，所述第四图像是在该人员的手进入该购物容纳器(40)之前拍摄的，所述第五图像是在该人员的手从该购物容纳器(40)移出之后拍摄的，其中，基于第四图像与第五图像的比较来确定相应人员移出物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。

4.如权利要求2或3所述的方法，其特征在于，所述方法还包括：

使用至少一个第五图像采集装置(15)，其布置于人员进出通道中，用以采集用于支付和/或注册的识别标识，其中，所述第五图像采集装置(15)仅响应于第四图像采集装置(14)提供图像的事件而启动。

5.如权利要求1至3之一所述的方法，其特征在于，所述系统采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，准确地将货架与当前与其互动的人员或存取机构彼此关联起来，使得能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。

6.如权利要求5所述的方法，其特征在于，响应于第四图像采集装置(14)提供图像的事件并根据配备该第四图像采集装置(14)的购物容纳器(40)相对于进出通道的位置，第五图像采集装置(15)调整其光学采集方向和焦距。

7.如权利要求1至3之一所述的方法，其特征在于，所述第一图像是在所述第二图像采集装置(12)拍摄到该人员的手部的第二图像之后才由所述第一图像采集装置(11)拍摄的，其中，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的。

8.如权利要求1至3之一所述的方法，其特征在于，从基于第一图像确定绝对位置的最初时间点开始，该购物容纳器(40)响应于人员持有物品的状态而设定介绍定时周期，在经过该特定的介绍定时周期之后，若第四图像采集装置(14)未能采集到物品进入该购物容纳器(40)的动作，则通过该购物容纳器(40)向持有物品的人员发出有关商品属性的提示，其中，所述提示可以呈语音、图像或视频的形式。

9.一种基于图像处理的管理系统，其特征在于，所述系统包括：

第一图像采集装置(11)，其用于采集第一图像，并由该管理系统基于所述第一图像来确定至少一个人员在货架所在区域内的绝对位置以及该人员相对于至少一个载有至少一种物品的货架的相对位置；

第二图像采集装置(12)，其用于探测至少一个人员的手部的第二图像，所述第二图像是在该人员的手进入货架的至少一个库存位置之前拍摄的；

第三图像采集装置(13)，其用于探测至少一个人员的手部的第三图像，所述第三图像是在该人员的手从该货架的至少一个库存位置移出之后拍摄的；

其中，基于第二图像与第三图像的比较来确定相应人员持有物品的状态，响应于人员持有物品的状态而识别在该人员的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

10.如权利要求9所述的系统，其特征在于，所述系统还包括：

第四图像采集装置(14)，其布置于购物容纳器(40)，用于探测物品进入该购物容纳器(40)的动作，其中，响应于物品进入该购物容纳器(40)的动作，由此确认进入该购物容纳器(40)的所述物品与所述库存位置的变化之间的对应关系。