CN109089082A - 一种基于热特性图像的图像采集系统 - Google Patents

Abstract

本发明涉及一种基于热特性图像的图像采集系统，包括热像采集器，用于采集存取机构在静止和/或运动中的热图像；温度调节器，用于调节存取机构的温度；控制器，用于控制温度调节器和/或热像采集器；温度检测器，用于实时记录货架、存取机构和/或系统所处环境的温度值，当存取机构运动时，温度调节器能够基于控制器发出的向存取机构进行温度调节的指示和/或温度检测器的温度值对存取机构进行温度调节，用以加大存取机构与货架和/或环境温度之间的温度差，使得热像采集器能够跟踪记录存取机构，并生成热图像；当存取机构静止时，温度调节器将存取机构的温度调节至与货架的温度相同，使得热像采集器不再跟踪记录存取机构。

Description

一种基于热特性图像的图像采集系统

技术领域

本发明涉及库存管理系统和方法技术领域，尤其涉及一种基于热特性图像的图像采集系统。

背景技术

在电子商务逐渐兴起之时，如何同步准确地实现库存更新就成为了一个热点问题。特别是对于无人管理的仓库，人工清点库存几乎都是不可完成的任务。因此，需要一些智能系统对无人仓库进行库存更新和管理，智能系统中最终要的就是信息采集。目前的仓库呈现集中化、规模化和大型化，无人仓库区的货架都是以层叠方式设置的桁架结构，其库存信息的采集存在光线弱和货架之间距离近等技术问题。如何实现这类仓库的库存信息采集是同步准确地实现库存更新的急需解决的问题。

CN104103146B公开的一种物流仓库防火应急指挥管理系统与方法，所述物流仓库防火应急指挥管理系统包括至少一个前端采集单元和监控中心，每个前端采集单元包括设置于物流仓库内多个监测点的多个热敏传感装置、视频编码器和视频服务器，热敏传感装置通过视频编码器与视频服务器连接，视频服务器通过通讯网络与监控中心通讯连接；本发明中通过热敏传感装置探测图像数据并处理，通过视频编码模块对图像信息进行视频编码，再运用视频服务器将视频信号传输到监控中心，实现对物流仓库的防火监控。本发明可以实现对物流仓库的火情快速识别、准确定位和及时处置。但是并不能解决仓库库存信息的采集。

CN107077659A提供了一种智能库存管理系统、服务器、方法、终端和程序产品，用于降低库存管理的复杂程度；其包括：智能机器终端拍摄物品，并将拍摄到的图像发送到智能库存管理服务器；所述智能库存管理服务器根据所述智能机器终端拍摄到的图像识别确定所述图像中的物品及存量；并将所述物体识别模块识别出的物品及存量信息入库。其虽然利用物体识别技术，减少了人工录入的工作量，提高了物品信息入库的准确性，降低了库存管理的复杂程度；但是不能实时地准确评估库存变化。除非有人工介入统计与盘点，否则库存数量仍然是混乱不堪的。

CN104361039A提供了一种基于Qt开发的嵌入式智能冰箱的辅助方法，其包括以下步骤：步骤1、显示过期提醒预览和留言信息；步骤2、食材库存管理，以数据和用户操作为基础，查看当前库存中的所有食材详细信息，并且对食材信息进行编辑和删除的统一管理；并对所有食材进行分类管理，根据生产日期、剩余保质期和过期日期进行排序，以查看各个食材信息；步骤3、过期提醒，通过对库存上的食材信息的剩余保质期进行统计，对剩余保质期少于5天的食材给予直观的信息预览，具体显示食材过期日期和剩余保质期，并实时显示和更新；步骤4、食谱的查询和食谱的推荐，提供海量食谱数据，以及提供各式美味佳肴的制作方法，并根据现有食材或自定义食材进行搜索，获取特定的食谱；根据库存食材或者当前时令季节和健康营养信息，推荐不同口味和功效的食谱；步骤5、购物清单，将现有食材或者将自定义食材信息添加至购物清单，对该购物清单中的食材进行的统计和管理，并且在数据挖掘的基础上提供缺货提醒列表，提供购物的选择；步骤6、食材识别和存取，对食材进行识别并存储。该技术方案不能实时统计库存消耗，在频繁取用食品的厨房及厨房库房内不能起到有效管理库存的效果。

此外，为了准确管理厨房库存，大型酒店和餐厅一般有专人来管理库存(即库存管理员)，仅当餐厅提供订单(相当于本发明下文所述的取食信息)之时，库存管理员才会根据订单(取食信息)向相关人员提供相关食品。此后，由库存管理员以手动方式检查订单与食品之间的对应关系。这种方式不仅效率低下，而且由于食品种类极其庞杂，经常出现大量丢失情况。

公开号为CN105531715A的中国专利文献公开了一种基于图像检测的库存更新方法，其中，通过比对拿取货品之前与拿取货品之后的图像来确定库存的更新和购物清单。该方法存在的问题在于，一旦用户取走了物品，但又送回到不恰当的位置时，那么购物清单与库存更新是不准确的。另外，当用户在类型相近似且摆放位置相近似的区域做反复对比时，会对拍照和计算带来挑战，倘若用户以双手同时拿取物品，又放回一件物品至错误位置时，购物清单与库存更新经常都会出现差错。其省略了结算环节，但由此也引发了其他问题。因此，这种自动购物方式存在改进空间。

公开号为CN104637198A的中国专利文献公开了一种具有自主跟踪功能的智能结算购物车系统，由MCU微控制器，可控直流电机，压力称重传感器，RFID阅读器，摄像头，无线收发器，触摸显示屏，条码扫描器，银联刷卡器构成自主跟踪和自助结算两大子系统，其特征在于：MCU微控制器1通过压力称重传感器感应的车体重量控制可控直流电机的驱动力大小，以适当速度移动购物车；通过条码扫描器自行扫描物品，触摸显示屏实时显示物品信息和当前所购物品总价，无线收发器实现MCU微控制器与超市后台服务器关于物品信息的实时交互，消费者通过银联刷卡器自行刷卡结算。在该系统中，RFID射频卡作为购物车跟踪的信号源，与购物车建立点到点的单线联系；摄像头随时拍摄购物车周围环境，通过路径识别算法自主规避障碍物，选择跟踪路径；由驱动电机驱动的驱动轮可以左右偏转，根据路径识别算法提供的路径信息，由MCU微控制器控制驱动轮的转向。

公告号为CN202904765U的中国专利文献提供一种商场自助智能购物车，包括车架，安装在车架下方的车轮，安装在车架上方的车篮、推杆，推杆下端连接车篮底部的外侧面，其之间的夹角为40-60度，车篮上端和推杆之间安装触摸显示屏，触摸显示屏左侧安装扫描仪、右侧安装刷卡槽，车篮上端安装自动开合感应门。其有益效果是，车篮上端安装自动开合感应门，自动开合感应门上安装感应仪可以感应到所放入的物品，避免在购物过程中错买或多买的麻烦。

通过研究以上技术方案，本领域技术人员即使将其结合，也无法得到令人满意的针对无人管理的具有复杂存储货架的库存信息采集系统。

发明内容

有鉴于前述传统大型仓储式超市的固有问题以及无人超市的其他问题，本发明致力于提供一种基于热特性图像的图像采集系统。在本发明中并非要绝对避免使用RFID标签，但是考虑到RFID标签的成本问题，本发明更多地采取普适的图像识别手段。但本发明并不排斥RFID，对于以智能搬运设备为代表的存取机构，RFID与图形二维码都是存取设备身份识别的优选方式。这也是因为目前绝大多数仓储式超市已经配备了视频监控管理系统，而且监控系统的精度越来越好，能够达到毫米级别的图像精度，而这种低成本图像识别解决方案仍然在高速发展。

有鉴于此，本发明提供一种基于热特性图像的图像采集系统，包括，热像采集器，用于采集存取机构在静止和/或运动中的的热图像，温度调节器，用于调节所述存取机构的温度，控制器，用于控制所述温度调节器和/或所述热像采集器；温度检测器，用于实时记录所述货架、所述存取机构和/或所述系统所处环境的温度值；其中，当所述存取机构运动时，所述温度调节器能够基于所述控制器发出的向所述存取机构进行温度调节的指示和/或所述温度检测器的温度值对所述存取机构进行温度调节，用以加大所述存取机构与货架和/或环境温度之间的温度差，使得所述热像采集器能够跟踪记录所述存取机构，并生成所述热图像；当存取机构静止时，所述控制器向所述温度调节器发出对所述存取机构进行温度调节的指示，所述温度调节器将所述存取机构的温度调节至与所述货架的温度相同，使得所述热像采集器不再跟踪记录所述存取机构。

根据一种优选的实施方式，所述存取机构内置有调温芯片，用于接收所述控制器的调温信号和向所述温度调节器发出所述调温信号，所述温度调节器接收到所述调温信号起并在第一预设时间内对所述存取机构的温度进行调节，所述温度检测器将所述存取机构的温度与所述货架和/或所述环境温度进行对比；在所述环境温度与所述存取机构的温度的差值在温差阈值以内时，所述温度调节器在第二预设时间内对所述存取机构的温度继续进行调节；在所述存取机构的温度与所述货架的温度的差值在温差阈值以外时，所述温度检测器实时监控所述存取机构的温度，所述温度调节器继续对所述存取机构的温度继续进行调节直至与所述货架的温度相同。

根据一种优选的实施方式，所述热像采集器在对同一存取机构的同一动作进行记录时能够获取至少两个不同焦距的热图像，用以增强对记录到的所述存取机构的所述动作信息的热图像的清晰度。

根据一种优选的实施方式，所述热像采集器包括至少一个第一热像采集器，用于采集所述存取机构的第一热图像，并由所述计算设备基于所述第一热图像来确定所述存取机构在货架所在区域内的绝对位置以及存取机构相对于至少一个载有至少一种物品的货架的所述相对位置；所述计算设备采取相对位置与绝对位置对库存位置变化和所述存取机构进行归类分析，将货架与当前和所述货架互动的所述存取机构彼此关联起来，使得所述计算设备能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。

根据一种优选的实施方式，所述热像采集器包括至少一个第二热像采集器和至少一个第三热像采集器，所述第二热像采集器用于探测至少一个存取机构的手部的第二热图像，所述第二热图像是在该存取机构的手进入货架的至少一个库存位置之前记录的；所述第三热像采集器用于探测至少一个存取机构的手部的第三热图像，所述第三热图像是在该存取机构的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二热图像与第三热图像的比较来确定相应存取机构持有物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

根据一种优选的实施方式，所述热像采集器包括至少一个布置于货物暂存单元的第四热像采集器，用于探测物品进入所述货物暂存单元的动作，其中，响应于物品进入所述货物暂存单元的动作，由此确认进入所述货物暂存单元的所述物品与所述库存位置的变化之间的对应关系。

根据一种优选的实施方式，第四热像采集器还被配置用于：响应于所述存取机构的手部进入该货物暂存单元的动作而拍摄手部的第四热图像和第五热图像，其中，所述第四热图像是在所述存取机构的手进入所述货物暂存单元之前拍摄的，所述第五热图像是在所述存取机构的手从所述货物暂存单元移出之后拍摄的，基于所述第四热图像与第五热图像的比较来确定相应存取机构移出物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。

根据一种优选的实施方式，所述热像采集器包括至少一个布置于所述存取机构进出通道中的至少一个第五热像采集器，用以采集用于支付和/或注册的识别标识，其中，所述第五热像采集器仅响应于第四热像采集器提供热图像的事件而启动。

根据一种优选的实施方式，所述控制器在第四热像采集器提供热图像的事件并根据配备该第四热像采集器的所述货物暂存单元相对于进出通道的位置时，能够控制第五热像采集器调整其采集方向和焦距。

根据一种优选的实施方式，从基于第一热图像确定绝对位置的最初时间点开始，所述货物暂存单元响应于所述存取机构持有物品的状态而设定介绍定时周期，在经过所似乎特定的介绍定时周期之后，若第四热像采集器未能采集到物品进入所述货物暂存单元的动作，则通过所述货物暂存单元向所述控制器发出有关商品属性的提示，其中，所述提示可以呈电子信号、语音、图像或视频的形式。通过该方式，不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置。在这里，存取机构可以是人，也可以是机器设备。对于人而言，图像识别的对象是人的手臂；对于机器设备而言，图像识别的对象是机械手或类似物；从而使得本发明能够灵活应对机器与人并存的超市环境。

绝对位置是指针对应用该库存管理系统的超市或仓库所建立的坐标系内的位置，其坐标原点例如可以是超市或仓库占地面的一个角落例如东南角，也可以是某结算柜台所在的位置。相对位置是指超市内的货架之间的彼此相对位置，也可以是存取机构或人员与货架之间的相对位置。

考虑到人员或存取机构在绝大多数情况下都仅能操作其可存取的处于近旁的货架(典型情况下是2米左右范围内的货架)。在本发明中，同时采取相对位置与绝对位置对库存位置变化和人员/存取机构进行归类分析，使得超市随时随地依据“变化发生地”来动态划分需要进行分析与计算的区域，能够准确地将货架与当前与其互动的人员或存取机构彼此关联起来，解决大量动态人员与动态存取机构同时进行购物或库存整理时的困难。换而言之，通过本发明先根据位置将库存变化与人员或存取机构进行对应，这对大型超市库存管理的实时性有着决定性的作用。对于拥有成千上万库存位置的超市而言，由于把“库存变化”与“绝对位置”和“相对位置”率先进行了关联，从而大大降低了图像识别的运算量，由此能够在不增设大量计算设备的情况下完成实时库存分析。也由此很大程度上避免了库存数据的混乱无序。

根据一个优选实施方式，方法还包括：使用至少一个第四热像采集器，其布置于货物暂存单元，用于探测物品进入该货物暂存单元的动作，其中，响应于物品进入该货物暂存单元的动作，由此确认进入该货物暂存单元的所述物品与所述库存位置的变化之间的对应关系。通过该方式，本发明可以在物品放入到货物暂存单元后，确认进入该货物暂存单元的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性。货物暂存单元对于人员而言是购物框，对于机器而言是货物存放框。

根据一个优选实施方式，所述第四热像采集器还被配置用于：响应于存取机构的手部进入该货物暂存单元的动作而拍摄手部的第四热图像和第五热图像，其中，所述第四热图像是在该存取机构的手进入该货物暂存单元之前拍摄的，所述第五热图像是在该存取机构的手从该货物暂存单元移出之后拍摄的，其中，基于第四热图像与第五热图像的比较来确定相应存取机构移出物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。这里的物品的移出对应于将已经放入到货物暂存单元中的相应物品从货物暂存单元中拿出，即，在存取机构从外部收到了撤销提取某物品的指示之时，更改货物提取的行动；或者，存取机构响应于自身的光学或RFID识别机构对于错误货物提取的拒绝，而更改货物提取的行动；当然在人员情况下，可以是人员在评估商品之后，退还货物的行为。通过该方式，本发明可以在从货物暂存单元的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新。

根据一个优选实施方式，所述方法还包括：使用至少一个第五热像采集器，其布置于存取机构进出通道中，用以采集用于支付和/或注册的识别标识。通过该方式，将第五热像采集器布置于存取机构进出通道中采集用于支付和/或注册的识别标识，可以快速地进行价款的结算，极大地提升了货物周转效率、结算效率和用户体验，特别是在客流量大、库存数量大的情况下有显著的优势。此处采取图像识别的方式，使得现有超市在应对智能化时代来临的情况，不必大规模改造基础设施，而是一视同仁地将机器与人都视为某种意义上的客户，统一地借用货物暂存单元完成库存整理与结算。

根据一个优选实施方式，所述第五热像采集器仅响应于第四热像采集器提供图像的事件而启动。通过该方式，本发明的第五热像采集器可以在需要的情况下才启动，空闲的情况下可以进行休眠或者待机状态，节约能源。

根据一个优选实施方式，响应于第四热像采集器提供图像的事件并根据配备该第四热像采集器的货物暂存单元相对于进出通道的位置，第五热像采集器调整其光学采集方向和焦距。通过该方式，本发明的第五热像采集器可以根据货物暂存单元相对于进出通道的位置，采取镜头跟随以及焦距调节地方式清楚、便捷地采集用于支付和/或注册的识别标识，增大了价款结算的范围区间和灵活性，提高用户体验度。

根据一个优选实施方式，所述第一热图像是在所述第二热像采集器拍摄到该存取机构的手部的第二热图像之后才由所述第一热像采集器拍摄的，其中，所述第二热图像是在该存取机构的手进入货架的至少一个库存位置之前拍摄的。通过该方式，使得超市可以同时应对多人和/或多设备同时进店采购的场景，仅当存在第一热图像的存取机构再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于存取机构的追踪始于其尝试触及货架上的物品之时。这样不仅可以减少计算开销，还能降低存储开销，降低系统的构建成本和提升系统中各部件的使用效率和系统的流畅度。

根据一个优选实施方式，从基于第一热图像确定绝对位置的最初时间点开始，该货物暂存单元响应于存取机构持有物品的状态而设定介绍定时周期，在经过该特定的介绍定时周期之后，若第四热像采集器未能采集到物品进入该货物暂存单元的动作，则通过该货物暂存单元向持有物品的存取机构发出有关商品属性的提示，其中，所述提示可以呈电子信号、语音、图像或视频的形式。由于现在物品包装上的文字都设置得很小、很密集，就算具备高清分辨率摄像头的存取机构在短时间内都不可能快速找到所需要的信息，对于存在视力障碍、近视或者远视的人群，就更加地困难。而在经历介绍定时周期后，相应存取机构还未将物品放入货物暂存单元，则说明该存取机构还未找到所需要的信息。由此，通过该方式，本发明可以在相应人员或存取机构经历一定时间后还未决定是否购买物品时，辅助性地向持有物品的人员或存取机构发出有关商品属性的提示，以便该人员或存取机构根据提示作出决定。

本发明提供了针对人员与智能搬运设备共存的仓储式超市内的库存管理系统及方法，其至少具有如下优势：

(1)仓库区域由于光线弱，获得的拍摄图像或摄像难以辨别，不能准确获得仓库库存信息。对存取机构进行热特性图像采集，能有效地获取仓库库存信息，且存取机构只有存在动作时，才会进行热特性图像采集，能够实时反馈其动作情况，从而实时获取库存信息情况；

(2)本发明不仅可以分析库存位置处的物品的增减情况，还可以分析相应物品是否放回到货架上的正确的库存位置；

(3)本发明可以在物品放入到货物暂存单元后，确认进入该货物暂存单元的所述物品与所述库存位置的变化之间的对应关系，使得对库存位置的变化的统计更加准确，提高了系统的实用性；

(4)本发明可以在从货物暂存单元的移出物品之时再一次分析出该过程可能导致的库存位置的变化，使得库存位置能够更加全面、准确地进行更新。

附图说明

图1是本发明的系统的各单元的关系模块示意图；和

图2是本发明的系统的一个优选实施例的模块示意图。

附图标记列表

11：第一热像采集器 12：第二第热像采集器

13：第三热像采集器 14：第四热像采集器

15：第五热像采集器 16：第六热像采集器

17：第七热像采集器 18：第八热像采集器

21：指示标记 22：位置错误标记

30：计算设备 40：货物暂存单元

50：存取机构 60：热像采集器

70：温度调节器 80：控制器

90：温度检测仪

具体实施方式

下面结合附图进行详细说明。

为了便于理解，在可能的情况下，使用相同附图标记来表示各附图中共同的相似元件。

实施例1

本发明公开了一种基于热特性图像的图像采集系统库存管理系统，在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

该系统包括用于采集存取机构50在静止和/或运动中的热图像热像采集器60、用于调节存取机构50的温度的温度调节器70，用于控制温度调节器70和/或热像采集器60的控制器80和用于实时记录货架、存取机构和/或系统所处环境的温度值温度检测器90。当存取机构50运动时，温度调节器70能够基于控制器80发出的向存取机构50进行温度调节的指示和/或温度检测器90的温度值对存取机构50进行温度调节，用以加大存取机构50与货架和/或环境温度之间的温度差，使得热像采集器60能够跟踪记录存取机构50，并生成热图像。当存取机构50静止时，控制器80向温度调节器70发出对存取机构50进行温度调节的指示，温度调节器70将存取机构50的温度调节至与货架的温度相同，使得热像采集器60不再跟踪记录存取机构50。仓库区域由于光线弱，获得的拍摄图像或摄像难以辨别，不能准确获得仓库库存信息。对存取机构50进行热特性图像采集，能有效地获取仓库库存信息，且存取机构50只有存在动作时，才会进行热特性图像采集，能够实时反馈其动作情况，从而实时获取库存信息情况。

优选的，存取机构50的运动包括拿取货物、安放货物、直线运动、曲线运动、转动以及局部运动。局部运动包括存取机构50的手部运动。存取机构50的运动由动作传感器获取，如速度传感器、位移传感器、三轴陀螺仪、角速度传感器和位置传感器中的一种或几种。动作传感器的信号反馈至控制器80，控制器80发出控温信号，对存取机构50进行加热或降温，以区别于环境温度和/或货架温度，从而利于获取存取机构50的热特性，真实的运载情况，从而实时获取库存信息情况。

优选的，热像采集器60可以是红外热像仪。控制器80可以是PLC控制器、PID控制器和MCU控制器中的一种或几种。温度调节器70可以是电加热器、电磁加热器和制冷器中一种或几种。温度检测器90可以是温度传感器和温度计中的一种或几种。

优选的，存取机构50内置有调温芯片，用于接收控制器80的调温信号和向温度调节器70发出调温信号。温度调节器70接收到调温信号起并在第一预设时间内(如10s)对存取机构50的温度进行调节，温度检测器90将存取机构50的温度与货架和/或环境温度进行对比。若环境温度与存取机构50的温度相差在温差阈值以内时，温度调节器70在第二预设时间(如5s)内对存取机构50的温度继续进行调节。若存取机构50的温度与货架的温度相差值在温差阈值以外时，温度检测器90实时监控存取机构50的温度。例如，环境温度与存取机构50的温度相差±2摄氏度时，温度调节器70在第二预设时间(如5s)内对存取机构50的温度继续进行调节。若存取机构50的温度与货架的温度相差值≥2℃或≤-2摄氏度时，温度检测器90实时监控存取机构50的温度。加大存取机构50与货架之间的温差，有利于热像采集器60的热图像成像以及区分，也便于存取机构动作的识别，从而有利于在光线昏暗情况下的库存分析。

优选的，热像采集器60在对同一存取机构50的同一动作进行记录时能够获取至少两个不同焦距的热图像，用以增强对记录到的存取机构50的动作信息的热图像的清晰度。例如，热像采集器60在对同一存取机构50的同一动作进行记录时能够获取两张热图像，其中一张是短焦距热图像，另一张是长焦距热图像。扩大短焦图像，并将长焦图像分为低频和高频图像；根据长焦镜头与短焦镜头的焦距比例，扩大预处理后的短焦图像，使得扩大后的短焦图像与长焦图像在公共区域内具有相同的比例尺度；使用高斯低通滤波器，将预处理后的长焦图像分为高频和低频两张图像，滤波的目标是使低频图像的模糊程度与A1得到的短焦图像相当；利用DLT算法及平移映射表，建立扩大后的短焦图像与原始长焦图像的无穷远平面对齐的映射关系；建立图像金字塔，计算图像间的水平方向视差；根据得到的坐标映射表，在扩大的短焦图像，确定一个待融合区域，得到待融合区域的坐标起点和待融合区域的大小，即与B2得到低频图像之间的公共区域；确定待融合区域，具体为：根据坐标映射表，在扩大的短焦图像中，设定某个坐标(i,j)，使得0<HPs(i,j)<1则记录下该坐标值(i,j)，作为融合区域的起点，要求融合区域的长宽值Width和Height不超过长焦图像的对应尺寸，从而确定下融合区域的位置；将待融合区域作为图像I，将低频图像作为图像J，在坐标映射表的基础上，计算出图像I每个待匹配点的视差向量，形成一张视差向量表；将待融合区域作为图像I，将低频图像作为图像J，分别对上述图像建立三层金字塔结构的图像序列，三层金字层包括上、中、下层，上层金字塔长和宽为下层金字塔长和宽的1/2；遍历I图像上层的像素点，建立一个3*3的特征块，根据坐标映射表，在图像J上水平单侧方向进行搜索，并根据深度与视差关系的经验限制其搜索范围，使用误差平方差即SSD作为衡量相似性指标，(i′,j′)是坐标点(i,j)通过查询映射表得出其在图像J上的对应点坐标，从而确定一定数量的粗匹配点视差偏移量；根据确定的粗匹配点，使用SSD作为相似性评价指标，直接转入下层进行周围四个点的精确比较，直到确定匹配点间在原图上的视差偏移量，形成一张图像I每个点对应的视差偏移量；将长焦图像的高频部分融合到扩大的短焦图像中。

实施例2

本发明公开了一种库存管理系统，在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，参见图1，该系统可以包括：第一热像采集器11，其用于采集第一热图像，并由该系统基于所述第一热图像来确定至少一个存取机构50在货架所在区域内的绝对位置以及该存取机构50相对于至少一个载有至少一种物品的货架的相对位置。优选地，地面上可以设有相应的用于识别的基准点和/或基准线辅助系统确定绝对位置和相对位置。

根据一个优选实施方式，该系统还可以包括：第二热像采集器12，其用于探测至少一个存取机构50的手部的第二热图像，所述第二热图像是在该存取机构50的手进入货架的至少一个库存位置之前拍摄的。优选地，对于一个货架，其可以具有至少一个库存位置。一个货架可以分为多层。每层可以是一个库存位置。或者，一层在水平方向上可以分为多个区域，每个区域可以是一个库存位置。应当注意地是，这些区域之间的分隔线可以是可图像识别的分隔装置和/或不可图像识别的虚拟分隔线。分隔装置例如是间壁和/或喷涂的基准线。不可图像识别的虚拟分割线可以是在货架、与该货架对应的第二热像采集器12和/或第三热像采集器13固定好后，摆放相应的物品，然后由系统采集该货架的图像信息对货架进行分割，以得到至少包含一类物品的至少一个库存位置。

根据一个优选实施方式，该系统还可以包括：第三热像采集器13，其用于探测至少一个存取机构50的手部的第三热图像，所述第三热图像是在该存取机构50的手从该货架的至少一个库存位置移出之后拍摄的。

根据一个优选实施方式，该系统可以基于第二热图像与第三热图像的比较来确定相应存取机构50持有物品的状态，响应于存取机构50持有物品的状态而识别在该存取机构50的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。随后采取相对位置与绝对位置对库存位置变化和人员/存取机构50进行归类分析，准确地将货架与当前与其互动的人员或存取机构50彼此关联起来，使得能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。由于把“库存变化”与“绝对位置”和“相对位置”率先进行了关联，从而大大降低了图像识别的运算量，由此能够在不增设大量计算设备的情况下完成实时库存分析。

比如，绝对位置周围有多个货架，但是通过绝对位置不能准确地确定实际发生变化的库存位置，而相对位置可以涉及到两者之间的距离，只有在相应存取机构50在与一个货架的距离小于等于预设距离之时，才有可能出现该存取机构50与处于相对位置的货架发生物品转移关系的情况。在该存取机构50与存放该物品的对应的库存位置距离近的情况下，该存取机构50将该物品放回到对应的库存位置时，则该库存位置的变化只包括数量的增加，而不包括品类的增加。在该存取机构50与存放该物品的对应的库存位置距离远的情况下，该存取机构50有可能因为其自身操作错误而未将物品放回到该物品的对应的库存位置。因此，在将物品放回到货架上且未放回到其对应的库存位置的情况下，则处于预定相对位置的货架的至少一个库存位置的变化可以包括：该库存位置存放物品的品类增加和存放物品的数量增加。优选地，持有物品的状态可以包括物品的种类和/或数量。优选地，在判断所述物品与所述库存位置的变化之间的对应关系之前，可以基于从各种输入装置接收到的数据来识别从货架的库存位置移除和/或放入货架的库存位置中的物品的身份。例如，通过热像采集器可以采集在相应存取机构50的手经过平面进入库存位置中之前所述手的一连串图像并且还采集在该手离开库存位置后该手的一连串图像。基于所述图像的比较，可以确定相应存取机构50是否从库存位置移除物体或将物体放入库存位置中。例如，基于对图像的分析，可以确定相应存取机构50在手进入库存位置时没有拿着物体，但是在手从库存位置移出时拿着物体(相应存取机构50从库存位置移除物体)。同样地，可以使用图像分析来识别是否在手进入库存位置之前相应存取机构50在他们的手上拿有物体但在手从库存位置移出时没有拿有物体(相应存取机构50将物体放入库存位置中)。也就是说，本发明用于比较的第二热图像和第三热图像不仅仅只是包括单张图像的情况，还可能是一连串的第二热图像和一连串的第三热图像的综合比对。

优选地，本发明的管理系统还公开了第四热像采集器14，其布置于货物暂存单元40，用于探测物品进入该货物暂存单元40的动作，其中，响应于物品进入该货物暂存单元40的动作，由此确认进入该货物暂存单元40的所述物品与所述库存位置的变化之间的对应关系。优选地，当且仅当所述确认步骤之后，将代表所述物品的物品标识符添加至提货清单，所述提货清单与至少一个存取机构50相关联。通过将物品标识符添加到提货清单，在用户逛超市的过程中根据放入到货物暂存单元40中的物品实时地进行提货清单地核算，最后可以直接根据提货清单进行费用的结算，避免了再次将物品依次移出扫描条码进行结算造成耗时长的问题。优选地，货物暂存单元40例如是存取机构50专用存货框、购物车、购物筐和购物袋中的至少一种。

优选地，所述第四热像采集器14还可以被配置用于：响应于存取机构50的手部进入该货物暂存单元40的动作而拍摄手部的第四热图像和第五热图像，其中，所述第四热图像是在该存取机构50的手进入该货物暂存单元40之前拍摄的，所述第五热图像是在该存取机构50的手从该货物暂存单元40移出之后拍摄的，其中，基于第四热图像与第五热图像的比较来确定相应存取机构50移出物品的状态，响应于存取机构50持有物品的状态而识别在该存取机构50的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。在此，通过物品的移出以及库存位置的变化两者来确定某物品从货物暂存单元返回至库存位置。由此可首先基于第一热图像所确定的绝对位置和相对位置来确认发生变化的库存位置，同时基于第二热图像、第三热图像、第四与第五热图像来分析确定所返回的物品。此时可相应更新库存位置或者启动货物清理程序，例如招唤人工介入清除不符合货架货物的物品，或者以自动进给方式将错误的物品送入回收通道。例如，通过在天花板安装可移动的机械手臂或者带机械手臂的自动清理车将不符合货架货物的物品或者错误的物品进行归位整理或者放入回收通道。优选地，当基于第二、第三、第四与第五热图像确定返回的物品之后，将代表所述物品的物品标识符从提货清单移除，所述提货清单与至少一个存取机构50相关联。优选地，第四热图像是该存取机构50的手在未持有物品的情况下该手进入该货物暂存单元40之前拍摄的。第五热图像是在该存取机构50的手从该货物暂存单元40将物品移出之后拍摄的。

根据一个优选实施方式，所述第四热像采集器14还可以被配置用于：响应于存取机构50抵达结算区域而启动，采集货物暂存单元40内的物品占用货物暂存单元40的空间大小，由该系统根据空间大小指示结算区域的提供设备为该存取机构50提供匹配大小的袋。通过该方式，可以为该存取机构50提供适宜大小的袋，避免在结算区域因为判断所需的袋的大小而浪费过多的时间，提高结算效率。

根据一个优选实施方式，本发明还公开了第五热像采集器15，其布置于存取机构50进出通道中，用以采集用于支付和/或注册的识别标识。优选地，所述识别标识可以是RFID、二维码、指纹、人体轮廓、人脸轮廓、虹膜图像和典型的热特性图像中的至少一种。比如，在一个存取机构50被检测到持有一个货物暂存单元40后，则系统将该货物暂存单元40与该存取机构50关联。在费用结算之时，在该存取机构50是未注册用户的情况下，则可以在结算之时或之前提醒该存取机构50的拥有方注册或者以远程方式直接完成支付。在存取机构50的拥有方或作为自然人的用户注册之时，可以要求拥有方或用户选定一种识别标志作为以后费用结算之时的凭证，并根据用户选定的识别标识要求用户录入对应的信息。假设用户选择通过虹膜图像、图形二维码或RFID进行支付，则该存取机构50在费用结算之时，将图形二维码(张贴于存取机构50)或相应的眼部朝向第五热像采集器15的采集区域，在通过系统的验证之后，使用绑定的支付账号完成费用结算；或者使得存取机构50的RFID或其图形二维码录入系统用以结算。

根据一个优选实施方式，第五热像采集器15仅响应于第四热像采集器14提供图像的事件而启动。优选地，响应于第四热像采集器14提供图像的事件并根据配备该第四热像采集器14的货物暂存单元40相对于进出通道的位置，第五热像采集器15调整其光学采集方向和焦距。

根据一个优选实施方式，所述第一热图像是在所述第二热像采集器12拍摄到该存取机构50的手部的第二热图像之后才由所述第一热像采集器11拍摄的，其中，所述第二热图像是在该存取机构50的手进入货架的至少一个库存位置之前拍摄的。由此，使得无人超市可以同时应对多人进店采购的场景，仅当存在第一热图像的存取机构50再次进行物品存取或放回时，系统才会启动一系列负责的图像分析操作。换而言之，系统对于存取机构50的追踪始于其尝试触及货架上的物品之时。

优选地，从基于第一热图像确定绝对位置的最初时间点开始，该货物暂存单元40响应于存取机构50持有物品的状态而设定介绍定时周期(例如5秒)，在经过该特定的定时周期之后，若第四热像采集器14未能采集到物品进入该货物暂存单元40的动作，则通过该货物暂存单元40向持有物品的存取机构50发出有关商品属性的提示，其中，所述提示可以呈电子信号、语音、图像或视频的形式。在该货物暂存单元判断其持有方为人员而非呈搬运设备形式的存取机构50时，该货物暂存单元40可以提示该存取机构50从货架上取下但未装入该货物暂存单元40的商品售价为20元，据其保质期截止时间还有十个月。优选地，该货物暂存单元40响应于介绍定时周期之设定，还设定提醒定时周期(例如30秒)，在经过了提醒定时周期之后，若第四热像采集器14未能采集到物品进入该货物暂存单元40的动作，则通过该货物暂存单元40向持有物品的存取机构50发出提示将当前物品正确装入该货物暂存单元40内的提示，其中，该提示可采取指向容纳口的箭头这样的图形方式。优选地，在经过了该提醒定时周期之后，在第四热像采集器14未能采集到物品进入该货物暂存单元40的动作的情况下，则该系统还通过指示标记21指示将当前物品放回到货架上的正确位置。其中，该指示标记21可以采取指向当前物品的同类物品所在区域的箭头这样的图形方式。更具体地，比如，指示标记21为绿色荧光箭头且能按照预设频率闪烁。在该货物暂存单元判断其持有方为呈搬运设备形式的存取机构50而非作为自然人的人员时，由该货物暂存单元40将相关商品介绍信息以电子信号方式传送至该存取机构50，由其向远程用户发出提示，以尽快完成采购决定。

优选地，该系统还包括第六热像采集器16，第六热像采集器16在经过了该提醒定时周期之后，在第四热像采集器14未能采集到物品进入该货物暂存单元40的动作的情况下启动，用于采集与物品关联的货架的第六热图像和货架的第七热图像，其中，所述第六热图像是在该存取机构50持有物品的手进入货架之前拍摄的，所述第七热图像是在该存取机构50持有物品的手从货架移出之后拍摄的，基于第六热图像和第七热图像比较来二次判断所述物品与所述库存位置的变化之间的对应关系。第六热像采集器16只在在经过了该提醒定时周期之后，在第四热像采集器14未能采集到物品进入该货物暂存单元40的动作的情况下启动，是因为物品回放到货架上所需的环境信息更多且分析难度相比从货架上取出物品更大。优选地，在通过第二、第三热图像进行一次判断的情况下，还通过第六与第七热图像进行二次判断，得到的所述物品与所述库存位置的变化之间的对应关系更加准确可靠。优选地，在两次判断的结果不一致之时，可以安排人工核对或者由智能机器人现场核对。优选地，第六热图像和第七热图像与第二热图像和第三热图像的主要区别在于，第六热图像和第七热图像的对象是货架。而第二热图像和第三热图像的对象是手。设置第六热像采集器16的意义在于识别相应存取机构50将从货架上的物品拿出后再放置到其他货架上时也能相应地进行跟踪。比如，一个存取机构50在一个库存位置拿取相应的物品后，在另一个库存位置看到了同类型的另一个物品，其更具有吸引力，然后，用户则希望将相应的物品移出，更换另一个物品，但是，此时该存取机构50很可能已经不在拿取相应的物品的对应货架附近，导致其将物品送还到对应库存位置的意愿低，可能直接将相应的物品放置在当前位置的货架上，这会导致相应的物品可能会放置在非对应的货架上的非对应库存位置。由此，优选地，在持有物品的存取机构50未按照指示标记21将该物品放回到货架上的正确位置之时，所述系统通过语音方式向其播放劝导提醒。例如，尊敬的客户，您未将某商品放回到其正确位置，为了维护良好的购物环境，避免给他人造成误导，请您根据指示标记21将某商品放回到正确位置，谢谢您的配合。优选地，在播放劝导提醒之后且相应的物品仍未被放回到正确位置的情况下，在该物品的错误位置下显示位置错误标记22，其中，位置错误标记22可以采取感叹号、叉号或者文字形式中的至少一种。优选地，在未被放回到正确位置的物品从显示位置错误标记22的货架上取下之后，通过语音和/或图形方式指示该物品的正确位置和/或正确售价。比如，通过在闪烁的指示标记21以及语音：尊敬的顾客，您好，您手上的物品被放置在了错误的位置上，其正确位置为闪烁的指示标记21所在位置，请参考正确位置处的对应价签进行购买，谢谢！通过该方式，可以让员工快速找到错放的物品，以及快速将其放回到正确位置，提高工作效率。同时，还可以避免因价签和实际物品不对应给购物者造成错误的购物导向，提高用户体验。而且，通过该方式，由于能够快速知道物品的正确位置，在用户步行到正确位置的所需移动的距离不远的情况下，即使看了实际价签和/或正确售价之后用户选择不购买该物品，一些用户会辅助地将该物品放回到其正确位置，降低了员工的工作量。优选地，该系统还可以包括指示显示器，指示显示器可以用于在错放的物品的正确位置不在其错放的货架上时，通过指示显示器为拿起错放的物品的存取机构50播放其正确的售价。

根据一个优选实施方式，位置错误标记22可以通过至少两种不同的视觉状态以分级显示方式区分错误的偏差程度。偏差程度例如是距离偏差、价格偏差和效用偏差中的至少一种。以此直观地给员工或者购物者进行提示。比如，在位置错误标记22可以通过分级显示方式区分距离偏差时，通过第一颜色、不同于第一颜色的第二颜色以及不同于第一和第二颜色的第三颜色以分三档方式区分距离偏差的偏差程度。在将该物品从当前的错误位置放回到其正确位置的所需路程小于等于第一路程阈值之时，将位置错误标记22配置为第一颜色，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第一路程阈值且小于等于第二路程阈值之时，将位置错误标记22配置为第二颜色，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第三路程阈值之时，将位置错误标记22配置为第三颜色。优选地，第一颜色、第二颜色和第三颜色可以分别为蓝色、黄色和红色。第一路程阈值例如是5米。第二路程阈值例如是20米。第三路程阈值例如是40米。优选地，效用偏差例如是增肥与减肥、通便与止泻一类的偏差。应当注意的是，本发明还可以通过其他方式或者多种方式的组合来实现不同的视觉状态，而不是仅仅只能以不同的颜色来实现。比如，本发明还可以通过数字和颜色的组合来实现。具体地，这里还是以距离偏差为例，在将该物品从当前的错误位置放回到其正确位置的所需路程小于等于第一路程阈值之时，将位置错误标记22配置为第一颜色并显示第一数字，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第一路程阈值且小于等于第二路程阈值之时，将位置错误标记22配置为第二颜色并显示第二数字，在将该物品从当前的错误位置放回到其正确位置的所需路程大于第三路程阈值之时，将位置错误标记22配置为第三颜色并显示第三数字。第一数字例如是1，第二数字例如是2，第三数字例如是3。

根据一个优选实施方式，该系统还包括第七热像采集器17，第七热像采集器17用于在该系统通过货架上的指示标记21指示将当前物品放回到货架上的正确位置之前采集第八热图像，由该系统根据第八热图像分析该正确位置对应的指示标记21的可视情况，仅在该指示标记21位于拿起当前物品的存取机构50的可视范围内的情况下才显示该指示标记21。优选地，在该指示标记21不位于拿起当前物品的存取机构50的可视范围内的情况下，或者说，在拿起当前物品的存取机构50与该对应的指示标记21之间有阻碍视线的固定障碍物的情况下，通过语音方式指示该物品的正确位置和/或正确售价。通过该方式，可以在物品的正确位置不在可视范围内的情况下不给他人造成误导。优选地，该系统还根据第八热图像分析拿起当前物品的存取机构50的身份情况，仅在该指示标记21位于拿起当前物品的存取机构50的可视范围内且该存取机构50的身份是整理存取机构50的情况下才显示该指示标记21。比如，分析人员的身份情况可以通过人脸识别、穿特定的工作装和携带电子标签中的至少一种。

根据一个优选实施方式，在显示该指示标记21之前，该系统还根据第八热图像分析拿起当前物品的存取机构50的可视范围内需要同时显示的指示标记21的第一显示数量，在第一显示数量大于等于两个之时，通过将相应的位置错误标记22和指示标记21以分组的方式进行关联，并在同一组位置错误标记22和指示标记21之间采用视觉上关联且不同组之间采用视觉上区分地方式进行设置。比如，同一组中，位置错误标记22至少部分地与指示标记21发出相同颜色标记，不同组之间的颜色标记不同。又比如，同一组中，位置错误标记22与指示标记21显示相同数字标记，不同组之间的数字标记不同。再比如，同一组中，位置错误标记22与指示标记21显示相同图形标记，不同组之间的图形标记不同。图形标记例如是圆圈、三角形或者四边形。

根据一个优选实施方式，该系统还可以包括：第八热像采集器18，其用于采集货架设置位置错误标记22的至少部分区域的第九热图像，并由该系统根据第九热图像分析实际的位置错误标记22的显示和该系统中位置错误标记22的设定的匹配情况，其中，在两者不匹配之时，定位不匹配的位置错误标记22所在的货架并通知维护人员。通过该方式，可以快速地识别和定位到位置错误标记22发生故障的货架，并快速地进行维护，减少漏标或者错标的情况。

优选地，第二热像采集器12在探测到一个存取机构50的手部的第二热图像之时，其还会对以下两者进行分析：“基于第二热图像与第三热图像的比较而确定的该存取机构50持有物品的情况”和“该存取机构50所携带的货物暂存单元40的第四热像采集器14探测到的物品进入该货物暂存单元40的动作”，当分析结果表明该存取机构50没有持有物品或仅持有一件物品时，该系统才准予该存取机构50存取位于该存取机构50的绝对位置近旁的、处于预定相对位置的货架的至少一个库存位置中的物品。

根据一个优选实施方式，本发明中提到的各热像采集器可以使用任何类型的相机及其他可替代的成像设备。例如，所述相机中的一者或多者可以是RGB相机。相机中的一者或多者可以是深度感测相机。

优选地，为了采集到所需的图像，各热像采集器可以是一个或者多个，在某热像采集器是多个之时，其可以分散地设于多个位置中。比如，一些热像采集器可以位于头顶上，例如在天花板上以采集存取机构50和/或场所内相应位置的图像。又比如，一些热像采集器可以位于库存位置上或内部。例如，可以位于库存位置的外部部分上并且被定位成采集存取机构50和/或库存位置周围的位置的图像。再比如，一些热像采集器可以设置在价签所在区域，朝向对侧货架以采集对侧货架上的图像信息。

根据一个优选实施方式，计算设备30可以是在本地、远程处理器，如CPU。同样地，计算设备30可以被配置以通过网络与输入组件、输出组件和/或直接地与第一、第二、第三、第四、第五、第六、第七、第八热像采集器和货物暂存单元40中的至少一个通信。本领域的人员可以想到的是，通信可以是通过有线的和/或无线的方式。优选地，计算设备30例如是一个或者多个服务器。服务器中可以包括处理器和存储器。该系统可以包括或提供图像处理(例如，用于用户识别、表情识别和/或物品识别)、库存追踪和/或位置确定。

实施例3

本实施例是对实施例2的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

本发明还公开了一种库存管理方法，该方法可以由本发明的系统以及其他可替代的实现。比如，通过使用系统中的各个零部件实现本发明的方法。

根据一个优选实施方式，该方法可以包括：使用至少一个第一热像采集器11，其用于采集第一热图像，并由该管理系统基于所述第一热图像来确定至少一个存取机构50在货架所在区域内的绝对位置以及该存取机构50相对于至少一个载有至少一种物品的货架的相对位置；使用至少一个第二热像采集器12，其用于探测至少一个存取机构50的手部的第二热图像，所述第二热图像是在该存取机构50的手进入货架的至少一个库存位置之前拍摄的；使用至少一个第三热像采集器13，其用于探测至少一个存取机构50的手部的第三热图像，所述第三热图像是在该存取机构50的手从该货架的至少一个库存位置移出之后拍摄的；其中，基于第二热图像与第三热图像的比较来确定相应存取机构50持有物品的状态，响应于存取机构50持有物品的状态而识别在该存取机构50的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

根据一个优选实施方式，所述方法还可以包括：使用至少一个第四热像采集器14，其布置于货物暂存单元40，用于探测物品进入该货物暂存单元40的动作，其中，响应于物品进入该货物暂存单元40的动作，由此确认进入该货物暂存单元40的所述物品与所述库存位置的变化之间的对应关系。

实施例4

本实施例是对实施例1、2、3或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，在条码扫描器前，应安装一道屏蔽门，屏蔽门以人员使用的个人的各类可供支付的二维码为开关，一次仅供一人进入，扫码后，门随即关闭。该人员以适当速度移动购物车，通过条码扫描器，自行扫描物品，触摸显示屏显示待付款物品信息和当前所购物品总价，该人员确认无误后，系统自动在之前扫描的二维码账户上结算。确认结算无误后，条码扫描器后的屏蔽门打开，同时，条码扫描器前的屏蔽门开始扫描下一人员的二维码。通过该方式，避免了人员偷拿商品或结算有误的问题，可以降低超市的亏损额。

实施例5

本实施例是对实施例1、2、3、4或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。

根据一个优选实施方式，货架上设有至少一个重量采集装置，用于采集相应人员的手进入货架的至少一个库存位置之前和该手从该货架的至少一个库存位置移出之后的重量差，并在该系统基于第二热图像与第三热图像的比较来确定相应人员持有物品的状态之后，通过系统中记录的该确定的物品的重量和该重量差来核对物品的状态。

此外，本发明还可以通过在货架上直接安装重量采集装置，通过采集装置采集到的重量差来初步判断物品的状态。本领域的人员可以想到的是，这种情况下，一个货架上的多个物品的重量应该有一定区别，以便实现识别的物品的状态的目的。

实施例6

本实施例可以是对实施例1、2、3、4、5或者其结合的进一步改进和/或补充，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式的整体和/或部分内容可以作为本实施例的补充。

本实施例还公开了一种无人超市系统，该系统的技术特征和一种库存管理系统全部或者部分相同，以达到相应的技术效果。

本实施例还公开了一种无人超市的库存管理系统，该系统的技术特征和一种库存管理系统全部或者部分相同，以达到相应的技术效果。

本实施例还公开了一种无人超市的库存管理方法，该方法的技术特征和一种库存管理方法全部或者部分相同，以达到相应的技术效果。

虽然已经详细描述了本发明，但是在本发明的精神和范围内的修改对于本领域技术人员将是显而易见的。这样的修改也被认为是本公开的一部分。鉴于前面的讨论、本领域的相关知识以及上面结合背景讨论的参考或信息(均通过引用并入本文)，进一步的描述被认为是不必要的。此外，应该理解，本发明的各个方面和各个实施例的各部分均可以整体或部分地组合或互换。而且，本领域的普通技术人员将会理解，前面的描述及其附图仅仅是作为示例，并不意图限制本发明。

已经出于示例和描述的目的给出了本公开的前述讨论。这并不意图将本公开限制于本文公开的形式。在前述的具体实施方式中，例如，为了简化本公开的目的，本公开的各种特征在一个或多个实施例、配置或方面中被组合在一起。实施例、配置或方面的特征可以以除上面讨论的那些之外的替代实施例、配置或方面组合。本公开的该方法不应被解释为反映本公开需要比每个权利要求中明确记载的更多特征的意图。相反，如以下权利要求所反映的，创造性方面在于少于单个前述公开的实施例、配置或方面的所有特征。因此，以下权利要求由此被并入本具体实施方式中，其中每个权利要求其自身作为本公开的单独实施例。

Claims (10)

1.一种基于热特性图像的图像采集系统，包括，

热像采集器(60)，用于采集存取机构(50)在静止和/或运动中的热图像，

温度调节器(70)，用于调节所述存取机构(50)的温度，

控制器(80)，用于控制所述温度调节器(70)和/或所述热像采集器(60)；

温度检测器(90)，用于实时记录所述货架和/或所述存取机构(50)和/所处环境的温度值，

其特征在于，

当所述存取机构(50)运动时，所述温度调节器(70)能够基于所述控制器(80)发出的向所述存取机构(50)进行温度调节的指示和/或所述温度检测器(90)的温度值对所述存取机构(50)进行温度调节，用以加大所述存取机构(50)与货架和/或环境温度之间的温度差，使得所述热像采集器(60)能够跟踪记录所述存取机构(50)并生成所述热图像；

当存取机构(50)静止时，所述控制器(80)向所述温度调节器(70)发出对所述存取机构(50)进行温度调节的指示，所述温度调节器(70)将所述存取机构(50)的温度调节至与所述货架的温度相同，使得所述热像采集器(60)不再跟踪记录所述存取机构(50)。

2.如权利要求书1所述的系统，其特征在于，所述存取机构(50)内置有调温芯片，用于接收所述控制器(80)的调温信号和向所述温度调节器(70)发出所述调温信号，

所述温度调节器(70)自接收到所述调温信号起并在第一预设时间内对所述存取机构(50)的温度进行调节，所述温度检测器(90)将所述存取机构(50)的温度与所述货架和/或所述环境温度进行对比；

在所述环境温度与所述存取机构(50)的温度的差值在温差阈值以内时，所述温度调节器(70)在第二预设时间内对所述存取机构(50)的温度继续进行调节；

在所述存取机构(50)的温度与所述货架的温度的差值温差阈值以外时，所述温度检测器(90)实时监控所述存取机构(50)的温度。

3.如权利要求书1或2所述的系统，其特征在于，所述热像采集器(60)在对同一存取机构(50)的同一动作进行记录时能够获取至少两个不同焦距的热图像，用以增强对记录到的所述存取机构(50)的所述动作信息的热图像的清晰度。

4.如权利要求书1-3之一所述的系统，其特征在于，所述热像采集器(60)包括至少一个第一热像采集器(11)，用于采集所述存取机构(50)的第一热图像，并由计算设备(30)基于所述第一热图像来确定所述存取机构(50)在货架所在区域内的绝对位置以及所述存取机构(50)相对于至少一个载有至少一种物品的货架的相对位置；

所述计算设备(30)采取所述相对位置与所述绝对位置对库存位置变化和所述存取机构(50)进行归类分析，将货架与当前和所述货架互动的所述存取机构(50)彼此关联起来，使得所述计算设备(30)能够随时随地依据所述物品与所述库存位置的变化来动态划分需要进行分析与计算的区域。

5.如权利要求1-4之一所述的系统，其特征在于，所述热像采集器(60)包括至少一个第二热像采集器(12)和至少一个第三热像采集器(13)，

所述第二热像采集器(12)用于探测至少一个存取机构(50)的手部的第二热图像，所述第二热图像是在该存取机构的手进入货架的至少一个库存位置之前记录的；

所述第三热像采集器(13)用于探测至少一个存取机构(50)的手部的第三热图像，所述第三热图像是在该存取机构的手从该货架的至少一个库存位置移出之后拍摄的；

其中，基于第二热图像与第三热图像的比较来确定相应存取机构(50)持有物品的状态，响应于存取机构持有物品的状态而识别在该存取机构(50)的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品与所述库存位置的变化之间的对应关系。

6.如权利要求1-5之一所述的系统，其特征在于，所述热像采集器(60)包括至少一个布置于货物暂存单元(40)的第四热像采集器(14)，用于探测物品进入所述货物暂存单元(40)的动作，其中，

所述第四热像采集器(14)响应于物品进入所述货物暂存单元(40)的动作，由此确认进入所述货物暂存单元(40)的所述物品与所述库存位置的变化之间的对应关系。

7.如权利要求1-6之一所述的系统，其特征在于，所述第四热像采集器(14)还被配置用于：响应于所述存取机构(50)的手部进入该货物暂存单元(40)的动作拍摄手部的第四热图像和第五热图像，

其中，所述第四热图像是在所述存取机构(50)的手进入所述货物暂存单元(40)之前拍摄的，所述第五热图像是在所述存取机构(50)的手从所述货物暂存单元(40)移出之后拍摄的，

基于所述第四热图像与第五热图像的比较来确定相应存取机构移出物品的状态，响应于存取机构持有物品的状态而识别在该存取机构的绝对位置周围的、处于预定相对位置的货架的至少一个库存位置的变化，并由此判断所述物品的移出与所述库存位置的变化之间的对应关系。

8.如权利要求1-7之一所述的系统，其特征在于，所述热像采集器(60)包括至少一个布置于所述存取机构(50)进出通道中的至少一个第五热像采集器(15)，用以采集用于支付和/或注册的识别标识，

其中，所述第五热像采集器(15)响应于第四热像采集器(14)提供热图像的事件而启动。

9.如权利要求1-8之一所述的系统，其特征在于，所述控制器(80)在第四热像采集器(14)提供热图像的事件并根据配备该第四热像采集器(14)的所述货物暂存单元(40)相对于进出通道的位置时，能够控制第五热像采集器(15)调整其采集方向和焦距。

10.如权利要求1-9之一所述的系统，其特征在于，从基于第一热图像确定绝对位置的最初时间点开始，所述货物暂存单元(40)响应于所述存取机构(50)持有物品的状态而设定介绍定时周期，在经过所述特定的介绍定时周期之后，若第四热像采集器(14)未能采集到物品进入所述货物暂存单元(40)的动作，则通过所述货物暂存单元(40)向所述控制器(80)发出有关商品属性的提示信息，其中，所述提示信息包括电子信号、语音、图像和视频中的一种或几种。