CN111310610A - 货品识别方法、货品识别系统及电子设备 - Google Patents

Abstract

本发明提供一种货品识别方法、货品识别系统及电子设备。货品识别方法包括用户影像采集、信号获取、影像截取、货品种类判断等步骤。本发明实时监控货品识别系统的货架，实时获取一货品变动信号，记录发生货品变动的托盘的重量变动时段，截取在发生货品变动的托盘的重量变动时段之前或之后的一预设时间段内截取手部所处的空间影像，识别构成该影像的多帧手部空间图片从而快速准确地识别被取走或被放回的货品的种类，还可以准确识别被取走或被放回的货品的数量，有效减少计算机运算量和降低硬件成本，响应速度快且能耗很小，从根源上有效解决了错拿乱放的问题，很好的提升了用户体验，有利于推广应用。

Description

货品识别方法、货品识别系统及电子设备

技术领域

本发明涉及一种用于零售业货品的货品识别技术，具体地说，涉及一种货品识别方法、货品识别系统及电子设备。

背景技术

传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。

在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，计算机或服务器需要准确判定用户从货架上取走或放回至货架的货品的种类、数量及单价等，以便自动为用户实现结算。

现有的无人超市解决方案中，也曾提出采用影像识别技术来判断货品的种类，一般需要采用多个安装在货架上的摄像头实时监控货架前方的空间，获取包含被取走或被放回的货品的多帧图片，在这些图片中，货品可能只占整幅图的3-10%，但是需要将整张图片输入至货品识别模型，计算机需要处理大量与货品无关的背景像素点的数据，造成计算机运算资源的巨大浪费，导致出现货品识别缓慢、容易发生卡顿、响应时间长、出错率高等问题。为了提升识别效率、减少卡顿，经营者只能尽力提升计算机的硬件配置，造成硬件成本过高。

现有技术中，同种类的货品尽量摆放在同一货架或托盘上，如果用户将某货品从一货架或一托盘取下后，将其放置到另一货架或托盘上，就会造成错拿乱放的问题，对于现有技术的一些解决方案来说，在购物过程中，用户将已拾取的货品放回货架时必须放回原位。当用户在将已拾取的货品错放至其他位置时，计算机不能精准识别被放回货品的种类及数量，不能及时准确地更新购物数据库，用户将货品放回至货架的错误位置后还要支付该商品费用，造成识别错误，影响用户体验。用户将错拿的货品乱放至错误的货架或托盘，进而导致该用户购物记录出错的问题，被业内称为错拿乱放问题。

现有技术的一些方案中，在每一货架上安装多个摄像头，用以监控货品状态；同时，在超市顶部设置多个摄像头，用以判断用户位置，同一空间内使用大量摄像头也会造成成本过高的问题。摄像头采集的视频或图片是覆盖面比较大的区域，其内容上大部分是与需要被识别的货品无关的背景影像，如果每次处理视频或图片等影像资料都要处理整个视频或图片的全部信息，计算机或服务器的运算量就会非常大，对计算机的配置要求会很高，造成硬件成本过高的问题。如果能只用顶部的一组摄像头就能实现用户定位追踪功能和实现货品种类的识别，就可以进一步降低硬件成本、维护成本和运营成本。

因此，市场上需要有一种新的货品识别方案，利用优化的软件方法来解决现有的技术问题。

发明内容

本发明的目的在于，提供一种货品识别方法、货品识别系统及电子设备，以解决无人便利店的货品识别问题，以解决用户在购物中因错拿乱放货品导致其购物记录出错的问题，以解决运算量过大/硬件成本过高的问题。

为实现上述目的，本发明提供一种货品识别方法，包括如下步骤：用户影像采集步骤，实时采集每一用户在一封闭空间内的实时影像；至少一货架被设置于所述封闭空间内，至少一种货品被摆放至所述货架的至少一托盘上；信号获取步骤，获取一货品变动信号；所述货品变动信号为货品减少信号或货品增加信号；所述货品变动信号包括发生货品变动的托盘的位置及发生货品变动的托盘的重量变动时段；影像截取步骤，从至少一用户的实时影像中，截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片；以及货品种类判断步骤，根据所述多帧手部空间图片及一货品识别模型判断在所述检测时间段内所述被检测用户手上货品的种类。

进一步地，在所述用户影像采集步骤之前，还包括用户身份识别步骤，一用户在进入所述封闭空间时，或者，在进入所述封闭空间前，获取该用户的身份信息；在所述信号获取步骤之后，还包括：取放状态判断步骤，根据所述货品变动信号判断货品的取放状态；当所述货品变动信号为货品减少信号时，判断所述货架上有货品被取走；当所述货品变动信号为货品增加信号时，判断有货品被放至所述货架。

进一步地，在所述信号获取步骤与所述影像截取步骤之间，还包括：变动时间点获取步骤，根据发生货品变动的托盘的重量变动时段，获取托盘重量发生变动的起始时间点T1及托盘重量停止变动的结束时间点T2；以及检测时间段计算步骤，计算检测时间段的范围，所述检测时间段为所述时间点T1之前或所述时间T2之后的一预设时间段；当所述货品变动信号为货品增加信号时，所述检测时间段为T1-T3到T1这一时段；当所述货品变动信号为货品减少信号时，所述检测时间段为T2到T2+T4这一时段；其中，T3、T4为预设时长。

进一步地，在所述信号获取步骤与所述影像截取步骤之间，还包括：检测空间范围计算步骤，根据所述发生货品变动的货架的位置计算一检测空间的范围；所述检测空间为所述货架内部空间和/或所述货架前方一预设的空间；手部位置获取步骤，获取每一用户的两个手部的任一关键点的位置；被检测用户判断步骤，将每一用户的两个手部位置与所述检测空间的范围对比，当一用户的至少一手部在所述检测时间段内位于所述检测空间内时，该用户即为被检测用户；以及手部空间范围计算步骤，计算所述被检测用户位于所述检测空间内的手部所处的手部空间的范围。

进一步地，所述检测空间的长度与所述货架长度一致，所述检测空间的宽度为0.1~1米，所述检测空间的高度为0.1~2.5米。所述手部空间的形状包括球体或正方体；和/或，所述手部空间的中心点为用户位于检测空间内的手部的一关键点。

进一步地，所述手部位置获取步骤，具体包括如下步骤：实时影像采集步骤，实时获取所述封闭空间的三维影像，将所述三维影像分解为三维图；以及关键点检测步骤，将至少一帧三维图输入至一骨骼追踪模型，所述骨骼追踪模型输出至少一用户身体的关键点的坐标，包括用户手部的关键点坐标。

进一步地，在所述货品种类判断步骤之前，还包括模型构建步骤，构建货品识别模型，用以识别至少一种货品；所述模型构建步骤包括样本采集步骤以及模型训练步骤；所述样本采集步骤为采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；所述模型训练步骤为根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取所述货品识别模型。

进一步地，所述货品种类判断步骤包括如下步骤：组别标识获取步骤，将所述至少一帧手部空间图片依次输入至所述货品识别模型，获取每一帧手部空间图片所对应的组别标识，将可能出现的至少一种组别标识作为可能性结论；以及标识可信度计算步骤，计算每一种组别标识的可信度，所述可信度为所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值；可信度最大的组别标识所对应的货品的种类即为所述手部图片上显示的货品的种类。

进一步地，在所述货品种类判断步骤之后，还包括：货品数量计算步骤，根据安装在每一托盘处的传感器的实时感应值的变化差值、每一种类货品的单品特征值以及每一托盘上发生变动的货品种类计算每一托盘上的货品的变动数量。

进一步地，在所述货品种类判断步骤之后，还包括：购物数据库更新步骤，当所述货品变动信号为货品减少信号时，录入所述被检测用户的购物信息至该用户的购物数据库；当所述货品变动信号为货品增加信号时，从所述被检测用户的购物数据库中删除该用户的购物信息；所述购物信息包括在所述检测时间段内所述被检测用户手上货品的种类。

进一步地，在所述用户影像采集步骤之前，还包括：硬件设置步骤，在所述封闭空间顶部设置平均分布的两个以上三维摄像头，所述摄像头的视野范围覆盖所述封闭空间的全部底面；在所述货架上设置至少一传感器，用以获取实时感应值；其中，所述传感器、所述摄像头连接至至少一处理器；所述处理器根据所述传感器的实时感应值的变化差值判断所述货架上的货品数量的变化，生成货品减少信号或货品增加信号。

进一步地，在所述硬件设置步骤中，所述传感器为重量传感器，被设置于一托盘的下方； 所述实时感应值为所述托盘及托盘上货品的实时重量值。

进一步地，在所述硬件设置步骤中，至少一货品在一托盘上从所述托盘前端向后被紧密排列为一列；所述传感器为距离传感器，设置于所述托盘的前端或后端，且与被排成一列的货品位于同一直线上；所述实时感应值为至少一货品的总长度；或者，为所述托盘前后方向的长度与所述至少一货品的总长度的差值。

本发明还提供一种电子设备，包括存储器以及处理器；所述存储器用于存储可执行程序代码；所述处理器连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行上述货品识别方法中的步骤。

本发明还提供一种货品识别系统，包括所述电子设备。

进一步地，所述货品识别系统还包括至少一货架以及两个以上三维摄像头；所述货架设置于一封闭空间内；所述两个以上三维摄像头平均分布于所述封闭空间顶部，所述三维摄像头的视野范围覆盖所述封闭空间的全部底面。

进一步地，所述货品识别系统还包括至少一货架、至少一传感器以及至少一处理器；每一货架包括至少一托盘，每一托盘上被放置有至少一货品；至少一传感器，被设置于每一货架上，用以获取实时感应值；所述处理器连接至所述传感器，根据所述传感器的实时感应值的变化差值判断所述货架上的货品数量的变化，生成货品减少信号或货品增加信号。

进一步地，所述传感器为重量传感器，被设置于一托盘的下方；所述实时感应值为所述托盘及托盘上货品的实时重量值；其中，所述处理器判断所述重量传感器的实时感应值的变化差值是否为正数，若为正数，生成货品增加信号；若为负数，生成货品减少信号。

进一步地，至少一货品在一托盘上从所述托盘前端向后被紧密排列为一列；所述传感器为距离传感器，设置于所述托盘的前端，且与被排成一列的货品位于同一直线上；所述实时感应值为至少一货品的总长度；其中，所述处理器判断所述距离传感器的实时感应值的变化差值是否为正数，若为正数，生成货品增加信号；若为负数，生成货品减少信号。

进一步地，至少一货品在一托盘上从所述托盘前端向后被紧密排列为一列；所述传感器为距离传感器，设置于所述托盘的后端，且与被排成一列的货品位于同一直线上；所述实时感应值为托盘前后方向的长度与所述至少一货品的总长度的差值；其中，所述处理器判断所述距离传感器的实时感应值的变化差值是否为正数，若为正数，生成货品减少信号；若为负数，生成货品增加信号。

本发明的有益效果在于，提供一种货品识别方法、货品识别系统及电子设备，实时监控货品识别系统的货架，实时获取一货品变动信号，记录发生货品变动的托盘的重量变动时段，截取在发生货品变动的托盘的重量变动时段之前或之后的一预设时间段内截取手部所处的空间影像，识别构成该影像的多帧手部空间图片从而快速准确地判断货品种类。进一步地，本发明还可以准确识别被取走或被放回的货品的数量，从而实时调整用户的购物记录，有效减少计算机运算量和降低硬件成本，响应速度快且能耗很小，还可以有效解决错拿乱放的问题，即使在一个货架上的同一个托盘内放置多种不同种类的货品，也可准确识别出被拿取或放回的货品的种类及数量，从而对于用户的购物信息判断更加精准，提升了用户体验，便于推广应用。

附图说明

图1为本发明实施例1中所述货品识别系统的结构示意图；

图2为本发明实施例1中所述货品识别系统的整体结构示意图；

图3为本发明实施例1中所述货架的结构示意图；

图4为本发明实施例1中所述货品识别方法的流程图；

图5为本发明实施例1中所述模型构建步骤的流程图；

图6为本发明实施例1中所述手部位置获取步骤的流程图；

图7为本发明实施例1中所述货品种类判断步骤的流程图；

图8为本发明实施例2中当所述距离传感器设置于所述托盘的前端时的结构示意图；

图9为本发明实施例2中当所述距离传感器设置于所述托盘的后端时的结构示意图。

图中各个部件标号如下：

10、电子设备，11、存储器，12、处理器，20、货架，

21、托盘，30、三维摄像头，40、传感器，

100、货品识别系统，200、封闭空间。

具体实施方式

以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。本发明所提到的方向用语，例如，上、下、前、后、左、右、内、外、上表面、下表面、侧面、顶部、底部、前端、后端、末端等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。

当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装” 或“连接”，或者一个部件通过一中间部件间接 “安装至”或“连接至”另一个部件。

实施例1

如图1所示，本发明实施例1提供一种货品识别系统100，包括电子设备10，优选服务器或计算机。

如图1所示，电子设备10包括存储器11以及处理器12；所述存储器11用于存储可执行程序代码；所述处理器12连接至所述存储器11，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行货品识别方法中的步骤。

如图2所示，本实施例中，所述货品识别系统100还包括至少一货架20以及两个以上三维摄像头30；所述货架20设置于一封闭空间200内；所述两个以上三维摄像头30平均分布于所述封闭空间200顶部，所述三维摄像头30的视野范围覆盖所述封闭空间200的全部底面。

本实施例中不必同时在所述货架20上以及所述货架20顶端设置多个摄像头，用以分别监控货品状态和判断用户位置，实现了只用顶部的一组摄像头就能实现用户定位追踪功能和实现货品种类的识别，可以降低设置多个摄像头的硬件成本、维护成本和运营成本。

如图1~3所示，本实施例中，所述货品识别系统100还包括至少一货架20、至少一传感器40以及至少一处理器12；每一货架20包括至少一托盘21，每一托盘21上被放置有至少一货品；所述传感器40被设置于每一货架20内，用以获取实时感应值；所述处理器12连接至所述传感器40，根据所述传感器40的实时感应值的变化差值判断所述货架20上的货品数量的变化，生成货品减少信号或货品增加信号。在所述三维摄像头30实现货品种类的识别后，所述处理器12获取从所述托盘21内被取走或放回的货品的种类，再通过所述传感器40的实时感应值的变化差值计算所述货架20上发生变动的货品的数量。本实施例中，传感器40为重量传感器，被设置于一托盘21的下方；所述实时感应值为托盘21及托盘21上货品的实时重量值。

本实施例在封闭空间的顶部设置所述三维摄像头30进行货品识别，并且设置所述传感器40用以提供一个前置触发信号，即货品减少信号或货品增加信号，利用三维摄像头30获取每一用户的手部关键点的位置，从视频流中截取部分时间段内手部周围空间的多张图片，进而判断被取走或被放回的货品的种类，具体的判断方法在下文中有较为详细的陈述。

本实施例无需处理摄像头30采集到的完整影像，实际需要计算机处理的图片数据较少，可以有效减少服务器或计算机的运算量，降低计算机的硬件需求。本实施例可以有效避免服务器或计算机需要处理大量与货品无关的背景像素点的数据，避免造成计算机运算资源的巨大浪费，避免出现货品识别缓慢、容易发生卡顿、响应时间长、出错率高等问题，可以提升识别效率、减少卡顿现象，降低了计算机的硬件配置要求，降低了硬件成本。

所述托盘21可以多个彼此平行或平齐的方式设置在所述货架20上，所述托盘21可拆卸式连接至所述货架20。每一托盘21皆为一个敞口的盒体，可以被放置有一种或多种货品，放置于同一托盘21的同种类货品具有相同的重量值，不种类货品具有不同的重量值。

本实施例中判断货品的种类并非是基于重量传感器，因此同一个托盘上可以放置多种货品，重量传感器的数值变化仅用于判断是否发生取走货品或放置货品的事件，如果发生，提供给服务器或计算机一个触发信号，记录触发时间，以便服务器或计算机得以根据触发时间从视频流中截取部分时间段内靠近货架的用户的手部周围空间的多张图片，进而判断被取走或被放回的货品的种类。

如图3所示，本实施例中，所述传感器40为重量传感器，被设置于一托盘21的下方，可以精准的获取实时感应值；所述实时感应值为所述托盘21上货品的实时重量值；其中，所述处理器12判断所述重量传感器的实时感应值的变化差值是否为正数，若为正数，生成货品增加信号；若为负数，生成货品减少信号。

在本实施例中，当有某一货品被放回在所述托盘21内时，该货品所处托盘21下方的重量传感器采集的重量值数据就会变大，变化差值为正数；当有某一货品从所述托盘21内被取走时，该货品所处托盘21下方的重量传感器采集的重量值数据就会变小，变化差值为负数。

所述重量传感器连接至一电子设备10（如服务器或计算机）的处理器12，处理器12可以实时获取所述传感器40的实时感应值，并根据所述传感器40的实时感应值的变化差值判断所述货架20上的货品数量的变化，生成一货品变动信号，包括货品减少信号或货品增加信号。

在本发明的另一实施例中，为了减少数据运算量和降低感知出错率，优选地，在每一托盘21上方仅放置同一种货品，每一种货品的重量值相同或相近似。电子设备根据信号类型判断是否有货品被取走或被放回，记录被取走或被放回的商品重量，并记录货品被取走或被放回的时间点和对应发生货品变动的货架20及托盘21的位置。结合预先存储在电子设备10中的每一货品的重量值和货架20及托盘21的位置编号，处理器12可以进一步判断被取走或被放回货品的种类和数量，与基于视频流判断出的货品种类互相验证，进一步提升货品种类识别的准确率。若结合用户的实时位置，处理器12可以进一步判断取走或放回货品的用户的身份。

货品识别系统100中，存储器11用于存储可执行程序代码；处理器12通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，用以执行一种货品识别方法中的若干步骤，包括以下步骤S2~S10。

如图4所示，所述货品识别方法具体包括如下步骤S1~S10。

S1、硬件设置步骤，在一封闭空间200内设置至少一货架20，在货架20的至少一托盘21上摆放至少一种货品；在所述封闭空间200顶部设置平均分布的两个以上三维摄像头30，所述三维摄像头30的视野范围覆盖所述封闭空间200的全部底面。在托盘21下方设置至少一传感器40，用以获取实时感应值；其中，传感器40、摄像头30连接至处理器12。当一货架20的托盘21上有货品被取走或被放回时，处理器12根据重量传感器的实时感应值的变化差值判断货架20上的货品数量是增加或是减少，生成货品变动信号，如货品减少信号或货品增加信号。

S2、模型构建步骤，构建货品识别模型，用以识别至少一种货品。通过每种货品的大量外观图片构建货品识别模型，可以根据输入该识别模型的图片识别出图片中货品的种类。

S3、用户身份识别步骤，一用户在进入所述封闭空间200时，或者，在进入所述封闭空间200前，获取该用户的身份信息。当计算机判断出某一购物事件发生时，可以判断出该事件中消费者的身份，便于记录其购物行为。

S4、用户影像采集步骤，实时采集每一用户在一封闭空间200内的实时影像；可理解的是，通过所述三维摄像头30实现实时影像的采集，两个以上所述三维摄像头30平均分布于所述封闭空间200顶部，优选多个三维摄像头30设置在所述货架20的周围，并朝向货架，以便在货品被取走或放回时能够拍摄到该货品。

S5、信号获取步骤，获取一货品变动信号；所述货品变动信号为货品减少信号或货品增加信号；所述货品变动信号包括发生货品变动的托盘21的位置及发生货品变动的托盘21的重量变动时段。

S6、取放状态判断步骤，根据所述货品变动信号判断货品的取放状态；当所述货品变动信号为货品减少信号时，判断所述货架20上有货品被取走；当所述货品变动信号为货品增加信号时，判断有货品被放至所述货架20。

S7、变动时间点获取步骤，根据发生货品变动的托盘的重量变动时段，获取托盘重量发生变动的起始时间点T1及托盘重量停止变动的结束时间点T2。

S8、检测时间段计算步骤，计算检测时间段的范围，所述检测时间段为所述时间点T1之前或所述时间T2之后的一预设时间段；当所述货品变动信号为货品增加信号时，所述检测时间段为T1-T3到T1这一时段；当所述货品变动信号为货品减少信号时，所述检测时间段为T2到T2+T4这一时段；其中，T3、T4为预设时长。

S9、影像截取步骤，从至少一用户的实时影像中，截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片。

S10、货品种类判断步骤，根据所述多帧手部空间图片及一货品识别模型判断在所述检测时间段内所述被检测用户手上货品的种类。

本实施例在货架20上实时获取一货品变动信号，记录发生货品变动的托盘的重量变动时段，截取在发生货品变动的托盘的重量变动时段之前或之后的检测时间段内截取手部所处的空间影像，识别构成该影像的多帧手部空间图片从而快速准确地判断货品种类。由于三维影像的拍摄速度为10-50帧/秒，在检测时间段内，计算机可以连续获取多张图片进行识别。

优选地，每一货架上被摆放的货品的种类都被预存在计算机中，电子设备可以根据所述货品变动信号判断被取走或被放回货品的托盘位置，从而推测该货品种类的多种可能性结论。计算机利用视频流识别的结论可以与该些可能性结论相对照，进而可以更快速更精准地得出结论，运算量小、响应速度快且能耗低。

本实施例中，所述三维摄像头30采集到的大量视频流，仅从中截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片，有效排除无用的背景图片，有效减少数据处理量，避免造成计算机运算资源的巨大浪费，避免出现货品识别缓慢、容易发生卡顿、响应时间长、出错率高等问题，有效降低了计算机的硬件配置要求，从而降低硬件成本。

本实施例中，即使在一个货架20上的同一个托盘21内放置多种不同种类的货品，只要重量传感器感应到重量值发生变化，电子设备就可以准确识别出被取走或放回的货品的种类。即使用户将货品错放至错误的托盘位置，电子设备也可以短时间内判断出被放回货品的种类，进而根据该种类货品的单品重量值和托盘感应重量值的变化差值判断出货品的数量，从而将该货品从用户的购物数据库中删除，从根源上避免了错拿乱放的问题，提升了用户体验。

如图5所示，本实施例中，所述模型构建步骤S2包括步骤S21~S22。

S21、样本采集步骤，采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类。

S22、模型训练步骤，根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取所述货品识别模型。

如图4所示，本实施例中，在所述信号获取步骤S5与所述影像截取步骤S9之间，还包括步骤S101-S104。

S101、检测空间范围计算步骤，根据所述发生货品变动的货架20的位置计算一检测空间的范围；所述检测空间为所述货架20内部空间和/或所述货架20前方一预设的空间；本实施例中，所述检测空间的长度与所述货架20长度一致，所述检测空间的宽度为0.1~1米，所述检测空间的高度为0.1~2.5米。所述检测空间的形状优选长方体，这样便于手部拿取的货品识别，且所述检测空间的尺寸小于所述货架20前端的面积。

S102、手部位置获取步骤，获取每一用户的两个手部的任一关键点的位置；所述手部关键点优选为手部中心点。

S103、被检测用户判断步骤，将每一用户的两个手部位置与所述检测空间的范围对比，当一用户的至少一手部在所述检测时间段内位于所述检测空间内时，该用户即为被检测用户。

S104、手部空间范围计算步骤，计算所述被检测用户位于所述检测空间内的手部所处的手部空间的范围。所述手部空间的形状包括球体或正方体；和/或，所述手部空间的中心点为用户位于检测空间内的手部的关键点。

其中,所述手部位置获取步骤S12与所述检测空间范围计算步骤S11互不关联，但其位于所述用户影像采集步骤S4之后且位于所述被检测用户判断步骤S13之前。

如图6所示，本实施例中，所述手部位置获取步骤S102，具体包括如下步骤S1021~S1022。

S1021、实时影像采集步骤，实时获取所述封闭空间200的三维影像，将所述三维影像分解为三维图。

S1022、关键点检测步骤，将至少一帧三维图输入至一骨骼追踪模型，输出至少一用户身体的关键点的坐标，包括用户手部的关键点坐标。本实施例优选输入一帧三维图至一骨骼追踪模型即可实现获取用户手部的关键点坐标的功能。如果连续N次执行所述关键点检测步骤，连续输入N帧三维图至骨骼追踪模型，可以得到连续N个用户手部关键点坐标形成的运动轨迹。所述骨骼追踪模型为基于深度学习的3D pose estimation模型，该模型可以实时记录特定空间内的每一个用户的多个骨骼关键点的运动轨迹。所述3D poseestimation模型为现有技术，是基于全景图和多通道CNN的三维模型视图提取方法，通过获取初始全景图中的3D模型表面的位置特征以及3D模型表面的方向特征，来构建多尺度网络与多通道卷积神经网络，将3D模型表面的位置特征以及3D模型表面的方向特征作为输入，进行网络的训练和两种不同3D模型之间的相似性度量，从而能够获取用户身体的关键点的坐标，包括用户手部的关键点坐标。

如图7所示，本实施例中，所述货品种类判断步骤S10包括如下步骤S1001~ S1002。

S1001、组别标识获取步骤，将所述至少一帧手部空间图片依次输入至所述货品识别模型，获取每一帧手部空间图片所对应的组别标识，将可能出现的至少一种组别标识作为可能性结论。

S1002、标识可信度计算步骤，计算每一种组别标识的可信度，所述可信度为所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值；可信度最大的组别标识所对应的货品的种类即为所述手部图片上显示的货品的种类。

可以理解的是，所述可信度为识别的大概率结果，即在所述可信度大于50%时即可准确获取识别结果。

如图4所示，在所述货品种类判断步骤S10之后，还包括：

S11、货品数量计算步骤，根据安装在每一托盘21处的传感器40的实时感应值的变化差值、每一种类货品的单品特征值以及每一托盘21上发生变动的货品种类计算每一托盘21上的货品的变动数量。

当所述传感器40为位于一托盘21底部的重量传感器时，单品特征值为单品重量值；根据每一托盘21底部的重量传感器的实时重量感应值的变化差值、每一种类货品的单品重量值以及托盘21上发生变动的货品种类，可以计算出每一托盘21上的货品的变动数量。

当所述传感器40为位于一托盘21上方的距离传感器时，单品特征值为单品长度值；根据每一托盘21上方的距离传感器的实时距离感应值的变化差值、每一种类货品的单品重量值以及托盘21上发生变动的货品种类，可以计算出每一托盘21上的货品的变动数量。

可理解的是，利用三维摄像头30实现货品种类的识别后，处理器12获取从所述托盘21内被取走或被放回的该货品种类，再通过所述传感器40的实时感应值的变化差值判断所述货架20上货品的变化数量。当所述传感器40为重量传感器时，可以根据重量差计算出被取走或被放回的货品的变化数量；当所述传感器40距离传感器时，可以根据距离变化量计算出被取走或被放回的货品的变化数量。

如图4所示，在所述货品种类判断步骤S10之后，还包括：

S12、购物数据库更新步骤，当所述货品变动信号为货品减少信号时，录入所述被检测用户的购物信息至该用户的购物数据库；当所述货品变动信号为货品增加信号时，从所述被检测用户的购物数据库中删除该用户的购物信息；所述购物信息包括在所述检测时间段内所述被检测用户手上货品的种类。

在本实施例中，即使用户将货品放置在错误位置，如其他货架或其他托盘上，服务器或计算机也可以准确判断出用户并未消费该货品，从而将该货品从该用户的购物记录中移除。如果有另一用户从错误的位置将该货品重新取走，服务器或计算机还是可以准确判断出此用户的购物行为，将该商品添加至此用户的购物记录中。因此，本实施例可以有效解决用户将货品胡乱摆放、错拿乱放的问题。但是，该错误位置必须是封闭空间内的货架上，如果有一货品被一用户放在地上，或者放在货架以外的其他位置，都会被视为被该用户购买了此货品。

实施例2

如图8、图9所示，实施例2中包括实施例1中大部分的技术特征，其区别在于，实施例2中的传感器40为距离传感器，而不是实施例1中的重量传感器。在其他实施例中，所述传感器40也可同时包括距离传感器及重量传感器。

具体的，实施例2所述货品识别系统100的所述货架20上，每一托盘上只放置同一种类的至少一货品，在一托盘21上从托盘前端向后被紧密排列为一列；传感器40为距离传感器，且与被排成一列的货品位于同一直线上。

如图8所示，当所述距离传感器设置于所述托盘21的前端时，所述实时感应值为至少一货品的总长度；所述处理器12判断所述距离传感器的实时感应值的变化差值是否为正数，若为正数，生成货品增加信号；若为负数，生成货品减少信号。

如图9所示，当所述距离传感器设置于所述托盘21的后端时，所述实时感应值为托盘21前后方向的长度与所述至少一货品的总长度的差值；所述处理器12判断所述距离传感器的实时感应值的变化差值是否为正数，若为正数，生成货品减少信号；若为负数，生成货品增加信号。

在所述货品识别方法中，在步骤S1的硬件设置步骤中，至少一货品在一托盘21上从前端向后被紧密排列为一列；传感器40为距离传感器，设置于所述托盘21的前端或后端，且与被排成一列的货品位于同一直线上；所述实时感应值为至少一货品的总长度；或者，为所述托盘21前后方向的长度与所述至少一货品的总长度的差值。

当一货架的托盘上有货品被取走或被放回时，处理器12根据距离传感器的实时感应值的变化差值判断货架20上的货品数量是增加或是减少，生成货品变动信号，如货品减少信号或货品增加信号。

本实施例在货架20上实时获取一货品变动信号，记录发生货品变动的托盘的重量变动时段，截取在发生货品变动的托盘的重量变动时段之前或之后的检测时间段内截取手部所处的空间影像，识别构成该影像的多帧手部空间图片从而快速准确地判断货品种类。由于三维影像的拍摄速度为10-50帧/秒，在检测时间段内，计算机可以连续获取多张图片进行识别。在识别出货品种类后，结合计算机中预存的每一种类货品的单品长度值，可以计算出被取走或被放回的该种类货品的数量。

在本实施例中，即使用户将货品放置在错误位置，如其他货架或其他托盘上，服务器或计算机也可以准确判断出用户并未消费该货品，从而将该货品从该用户的购物记录中移除。如果有另一用户从错误的位置将该货品重新取走，服务器或计算机还是可以准确判断出此用户的购物行为，将该商品添加至此用户的购物记录中。因此，本实施例可以有效解决用户将货品胡乱摆放、错拿乱放的问题。

本发明的有益效果在于，提供一种货品识别系统100、货品识别方法及电子设备10，实时监控货品识别系统100的货架20，实时获取一货品变动信号，记录发生货品变动的托盘的重量变动时段，截取在发生货品变动的托盘的重量变动时段之前或之后的一预设时间段内截取手部所处的空间影像，识别多帧手部空间图片从而快速准确地判断货品种类。

进一步地，本发明还可以准确识别被取走或被放回的货品的数量，从而实时调整更新用户的购物记录。即使在一个货架20上的同一个托盘21内放置多种不同种类的货品，电子设备也可准确识别出被拿取或放回的货品的种类及数量，从根源上有效解决了错拿乱放的问题，很好的提升了用户体验，有利于推广应用。

以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种货品识别方法，其特征在于，包括如下步骤：

用户影像采集步骤，实时采集每一用户在一封闭空间内的实时影像；至少一货架被设置于所述封闭空间内，至少一种货品被摆放至所述货架的至少一托盘上；

信号获取步骤，获取一货品变动信号；所述货品变动信号为货品减少信号或货品增加信号；所述货品变动信号包括发生货品变动的托盘的位置及发生货品变动的托盘的重量变动时段；

影像截取步骤，从至少一用户的实时影像中，截取在一检测时间段内至少一被检测用户在一检测空间内的手部所处的空间影像，包括连续多帧手部空间图片；以及 货品种类判断步骤，根据所述多帧手部空间图片及一货品识别模型判断在所述检测时间段内所述被检测用户手上货品的种类。

2.如权利要求1所述的货品识别方法，其特征在于，

在所述用户影像采集步骤之前，还包括：

用户身份识别步骤，一用户在进入所述封闭空间时，或者，在进入所述封闭空间前，获取该用户的身份信息；

在所述信号获取步骤之后，还包括：

取放状态判断步骤，根据所述货品变动信号判断货品的取放状态；当所述货品变动信号为货品减少信号时，判断所述货架上有货品被取走；当所述货品变动信号为货品增加信号时，判断有货品被放至所述货架。

3.如权利要求1所述的货品识别方法，其特征在于，

在所述信号获取步骤与所述影像截取步骤之间，还包括：

变动时间点获取步骤，根据发生货品变动的托盘的重量变动时段，获取托盘重量发生变动的起始时间点T1及托盘重量停止变动的结束时间点T2；以及

检测时间段计算步骤，计算检测时间段的范围，所述检测时间段为所述时间点T1之前或所述时间T2之后的一预设时间段；

当所述货品变动信号为货品增加信号时，所述检测时间段为T1-T3到T1这一时段；

当所述货品变动信号为货品减少信号时，所述检测时间段为T2到T2+T4这一时段；其中，T3、T4为预设时长。

4.如权利要求1所述的货品识别方法，其特征在于，

在所述信号获取步骤与所述影像截取步骤之间，还包括：

检测空间范围计算步骤，根据所述发生货品变动的货架的位置计算一检测空间的范围；所述检测空间为所述货架内部空间和/或所述货架前方一预设的空间；

手部位置获取步骤，获取每一用户的两个手部的任一关键点的位置；

被检测用户判断步骤，将每一用户的两个手部位置与所述检测空间的范围对比，当一用户的至少一手部在所述检测时间段内位于所述检测空间内时，该用户即为被检测用户；以及

手部空间范围计算步骤，计算所述被检测用户位于所述检测空间内的手部所处的手部空间的范围。

5.如权利要求4所述的货品识别方法，其特征在于，

所述检测空间的长度与所述货架长度一致，

所述检测空间的宽度为0.1~1米，所述检测空间的高度为0.1~2.5米；

所述手部空间的形状包括球体或正方体；和/或，

所述手部空间的中心点为用户位于所述检测空间内的手部的一关键点。

6.如权利要求5所述的货品识别方法，其特征在于，

所述手部位置获取步骤，具体包括如下步骤：

实时影像采集步骤，实时获取所述封闭空间的三维影像，将所述三维影像分解为三维图；以及

关键点检测步骤，将至少一帧三维图输入至一骨骼追踪模型，所述骨骼追踪模型输出至少一用户身体的关键点的坐标，包括用户手部的关键点坐标；

（如果连续N次执行所述关键点检测步骤，连续输入N帧三维图至骨骼追踪模型，可以得到连续N个用户手部关键点坐标形成的运动轨迹）；

（所述骨骼追踪模型为基于深度学习的3D pose estimation模型，该模型可以实时记录特定空间内的每一个用户的多个骨骼关键点的运动轨迹）。

7.如权利要求1所述的货品识别方法，其特征在于，

在所述货品种类判断步骤之前，还包括步骤：

模型构建步骤，构建货品识别模型，用以识别至少一种货品；

所述模型构建步骤包括：

样本采集步骤，采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；以及 模型训练步骤，根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取所述货品识别模型。

8.如权利要求1所述的货品识别方法，其特征在于， 所述货品种类判断步骤包括如下步骤： 组别标识获取步骤，将所述至少一帧手部空间图片依次输入至所述货品识别模型，获取每一帧手部空间图片所对应的组别标识，将可能出现的至少一种组别标识作为可能性结论；以及 标识可信度计算步骤，计算每一种组别标识的可信度，所述可信度为所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值；可信度最大的组别标识所对应的货品的种类即为所述手部图片上显示的货品的种类。

9.如权利要求1所述的货品识别方法，其特征在于，

在所述货品种类判断步骤之后，还包括：

货品数量计算步骤，根据安装在每一托盘处的传感器的实时感应值的变化差值、每一种类货品的单品特征值以及每一托盘上发生变动的货品种类计算每一托盘上的货品的变动数量。

10.如权利要求1所述的货品识别方法，其特征在于，

在所述货品种类判断步骤之后，还包括：

购物数据库更新步骤，当所述货品变动信号为货品减少信号时，录入所述被检测用户的购物信息至该用户的购物数据库；当所述货品变动信号为货品增加信号时，从所述被检测用户的购物数据库中删除该用户的购物信息；所述购物信息包括在所述检测时间段内所述被检测用户手上货品的种类及数量。

11.如权利要求1所述的货品识别方法，其特征在于，

在所述用户影像采集步骤之前，还包括：

硬件设置步骤，在所述封闭空间顶部设置平均分布的两个以上三维摄像头，所述摄像头的视野范围覆盖所述封闭空间的全部底面；在所述货架上设置至少一传感器，用以获取实时感应值；其中，所述传感器、所述摄像头连接至至少一处理器；所述处理器根据所述传感器的实时感应值的变化差值 判断所述货架上的货品数量的变化，生成货品减少信号或货品增加信号。

12.如权利要求11的货品识别方法，其特征在于，

在所述硬件设置步骤中，

所述传感器为重量传感器，被设置于一托盘的下方；

所述实时感应值为所述托盘及托盘上货品的实时重量值。

13.如权利要求11的货品识别方法，其特征在于，

在所述硬件设置步骤中，

至少一货品在一托盘上从所述托盘前端向后被紧密排列为一列；

所述传感器为距离传感器，设置于所述托盘的前端或后端，且与被排成一列的货品位于同一直线上；

所述实时感应值为至少一货品的总长度；或者，为所述托盘前后方向的长度与所述至少一货品的总长度的差值。

14.一种电子设备，包括：

存储器，用于存储可执行程序代码；以及

处理器，连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行如权利要求1-11中任一项所述的货品识别方法中的步骤。

15.一种货品识别系统，包括权利要求14所述的电子设备。

16.如权利要求15所述的货品识别系统，其特征在于，还包括

至少一货架，设置于一封闭空间内；以及

两个以上三维摄像头，平均分布于所述封闭空间顶部，所述三维摄像头的视野范围覆盖所述封闭空间的全部底面。

17.如权利要求15所述的货品识别系统，其特征在于，还包括

至少一货架，每一货架包括至少一托盘，每一托盘上被放置有至少一货品；至少一传感器，被设置于每一货架内部或外部，用以获取实时感应值；以及

至少一处理器，连接至所述传感器，根据所述传感器的实时感应值的变化差值判断所述货架上的货品数量的变化，生成货品减少信号或货品增加信号。

18.如权利要求15所述的货品识别系统，其特征在于，

所述传感器为重量传感器，被设置于一托盘的下方；

所述实时感应值为所述托盘及托盘上货品的实时重量值；

其中，所述处理器判断所述重量传感器的实时感应值的变化差值是否为正数，若为正数，生成货品增加信号；若为负数，生成货品减少信号。

19.如权利要求16所述的货品识别系统，其特征在于，

至少一货品在一托盘上从所述托盘前端向后被紧密排列为一列；

所述传感器为距离传感器，设置于所述托盘的前端，且与被排成一列的货品位于同一直线上；所述实时感应值为至少一货品的总长度；

其中，所述处理器判断所述距离传感器的实时感应值的变化差值是否为正数，若为正数，生成货品增加信号；若为负数，生成货品减少信号。

20.如权利要求16所述的货品识别系统，其特征在于，

至少一货品在一托盘上从所述托盘前端向后被紧密排列为一列；

所述传感器为距离传感器，设置于所述托盘的后端，且与被排成一列的货品位于同一直线上；所述实时感应值为托盘前后方向的长度与所述至少一货品的总长度的差值；

其中，所述处理器判断所述距离传感器的实时感应值的变化差值是否为正数，若为正数，生成货品减少信号；若为负数，生成货品增加信号。

Images