CN108509847B - 货品分类系统及货品分类方法 - Google Patents

Abstract

本发明提供一种货品分类系统及货品分类方法，所述货品分类系统包括：至少一种图形标识，设于至少一种货品表面，同一种类的货品被设置有相同的图形标识；以及图形识别装置，用以识别一货品的图形标识，并判断该货品的种类。所述货品分类方法包括如下步骤：图形标识设置步骤，在货品表面设置图形标识，同一种类的货品被设置有相同的图形标识；以及图形标识识别步骤，用以识别一货品的图形标识，并判断该货品的种类。本发明的有益效果在于，可以实时监控货架上货品的取放状态，可以根据货架前方空间的实时图片判断出被取走或被放回的货品的价格。

Description

货品分类系统及货品分类方法

技术领域

本发明涉及一种用于零售业的货品感知技术，具体地说，涉及一种货品分类系统及货品分类方法。

背景技术

传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判定用户从货架上取走货品的数量及价格，以便自动为用户实现结算。

现有技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID读写器，其不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0.5-1元左右，标签会提升每一种货品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠市民用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市营业过程中的风险较大。

本发明的申请人希望开发一种基于影像监测的技术，利用成像设备实时监控到每一货品被用户取走或被用户放回的过程，并获取被取走或被放回的货品的价格，以便为用户结算。如果货架上的货品为标品，其同类产品的外观特征都是相同或近似相同的，成像设备可以很捕捉货品的图片，并从中找出特征区域（如货品的整体形状、某一区域的颜色及图案等），利用卷积神经网络模型和机器学习方法，根据一货品被用户取走或被用户放回的影像或图片，判断被取走或被放回的货品的种类及数量，从而计算货品价格并为用户进行结算。如果货架上的货品为非标品，其即使是同类产品，其外观特征也可能有较大的区别，如简单包装的蔬菜、水果、便当等，因此，对于非标品来说，普通的影像监测方法无法准确区分非标品的种类及价格，也无法有效监控非标品的取放状态，用户结算不便。

发明内容

本发明的目的在于，提供一种用于非标货品分类的解决方案，可以解决现有技术存在的非标货品的识别困难、非标品的取放状态无法有效监控的技术问题。

为实现上述目的，本发明提供一种货品分类系统，包括：至少一种图形标识，设于至少一种货品表面，同一种类的货品被设置有相同的图形标识；以及图形识别装置，用以识别一货品的图形标识，并判断该货品的种类。

进一步地，在不同实施例中，每一货品表面设有两个以上相同的图形标识；所述两个以上图形标识排列于同一直线上或排列成矩阵。

进一步地，在不同实施例中，所述图形标识被印刷或被喷涂于每一货品外表面。

进一步地，在不同实施例中，所述货品分类系统还包括标识层，全部地或局部地包覆于每一货品表面；所述图形标识被印刷或被喷涂于所述标识层外表面。

进一步地，在不同实施例中，所述货品的分类标准为所述货品的价格；同一种类的货品的价格相同。

进一步地，在不同实施例中，所述货品分类系统还包括至少一货架，所述货品被放置于至少一货架上；当一货品从一货架上被取走或被放回至一货架时，所述图形识别装置识别该货品的图形标识，并判断该货品的种类。

进一步地，在不同实施例中，所述图形识别装置包括：第一成像装置，用以拍摄每一货品多个角度多个距离的图片；第二成像装置，用以拍摄一货架前方空间的实时图片；以及数据处理设备，分别连接至所述第一成像装置及所述第二成像装置。

进一步地，在不同实施例中，所述第二成像装置设有镜头；所述第二成像装置的镜头的视野范围覆盖所述货架前方空间；和/或，所述第二成像装置的镜头朝向所述货架前方的空间区域的中部。

进一步地，在不同实施例中，所述数据处理设备包括：样本采集单元，连接至所述第一成像装置，用以采集多组图片样本，每一组图片样本包括一货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；模型训练单元，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；实时图片采集单元，连接至所述第二成像装置，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括货品图片的部分或全部；以及货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类。

为实现上述目的，本发明还提供一种货品分类方法，包括如下步骤：图形标识设置步骤，在货品表面设置图形标识，同一种类的货品被设置有相同的图形标识；以及图形标识识别步骤，用以识别一货品的图形标识，并判断该货品的种类。

进一步地，在不同实施例中，所述货品分类方法还包括：货品放置步骤，将所述货品放置于货架上；以及成像装置设置步骤，在货架附近设置成像装置，所述成像装置的镜头的视野范围覆盖所述货架前方空间。

进一步地，在不同实施例中，所述图形标识设置步骤包括：标识层设置步骤，所述图形标识被印刷或被喷涂于一标识层外表面；以及标识层包覆步骤，所述标识层全部地或局部地包覆于每一货品表面。

进一步地，在不同实施例中，所述图形标识识别步骤包括：样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；实时图片采集步骤，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括货品图片的一部分或全部；以及货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。

本发明的有益效果在于，提供一种货品分类系统及货品分类方法，在每一货品上设置可视觉识别的多个重复性图形标识，利用成像设备实时监测货架前方空间的影像，判断是否有货品被从货架上取走或被放回至货架，利用机器学习中的物体检测算法推断出被取走或被放回的货品的价格及数量。若结合用户身份识别技术和用户定位跟踪技术，还可以准确判断被取走或被放回的货品的用户身份，从而在该用户购物数据库中准确添加或删除购物记录，以便用户购物结束后自动结算。

附图说明

图1为本发明实施例所述的无人超市俯视图；

图2为本发明实施例所述货架的整体结构示意图；

图3为本发明实施例所述标识层的结构示意图；

图4为本发明实施例所述货品的结构框图；

图5为本发明实施例所述用户身份识别系统的结构框图；

图6为本发明实施例所述货品分类系统的结构框图；

图7为本发明实施例所述第二成像装置与货架的位置关系图；

图8为本发明实施例所述购物用户判断系统的结构框图；

图9为本发明实施例所述购物数据库系统的结构框图；

图10为本发明实施例所述结算系统的结构框图。

图11为本发明实施例所述货品分类方法的流程图；

图12为本发明实施例所述图形标识设置步骤的流程图；

图13为本发明实施例所述图形标识识别步骤的流程图；

图14为本发明实施例所述模型训练步骤的流程图；

图15为本发明实施例所述分组模型训练步骤的流程图；

图16为本发明实施例所述交叉验证步骤的流程图；

图17为本发明实施例所述种类判断步骤的流程图；

图18为本发明实施例所述组别标识获取步骤的流程图。

图中各个部件标号如下：

1封闭空间，2货架，3支架，4托盘，5架板，7数据处理设备；

100用户身份识别系统，

101门禁装置，102身份识别装置；103用户入口，104用户出口；

1021扫码装置，1022身份获取单元；

300图形标识，301货品，302标识层；

400图形识别装置，401样本采集单元，402模型训练单元，403实时图片采集单元，404货品种类获取单元，405第一成像装置，406第二成像装置；

4021样本分类单元，4022分组模型训练单元，4023交叉验证单元；

40221特征提取单元，40222候选区域生成单元，40223候选区域映射单元，40224分类器生成单元；40231测试样本输入单元，40232准确率计算单元；

4041组别标识获取单元，4042标识可信度计算单元；

40411第二特征提取单元，40412第二候选区域生成单元，40413第二候选区域映射单元，40414组别获取单元；

500购物用户判断系统，501货品信息存储单元，502架板坐标存储单元，503架板与用户匹配判断单元，504货品与用户匹配判断单元；

600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；

700结算系统，701总金额计算单元，702支付单元。

具体实施方式

以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。本发明所提到的方向用语，例如，上、下、前、后、左、右、内、外、上表面、下表面、侧面、顶部、底部、前端、后端、末端等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。

当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上；也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装”或“连接”，或者一个部件通过一中间部件间接“安装至”或“连接至”另一个部件。

本实施例涉及一种货品分类系统，是用于无人超市的无人售货系统中的一部分。如图1~2所示，所述无人售货系统包括一封闭空间1，其内设有多个货架2，每一货架2包括支架3及可拆卸式安装在支架3上的多个托盘4，多个托盘4在不同高度彼此平行或者在同一高度彼此平齐。每一托盘4上设有多个并列设置的架板5，每一架板5上放置有至少一种货品。本实施例架板5上放置的货品需要便于用户取走或放回，因此，以架板5朝向用户的一端作为架板5的前端。本实施例中，每一架板5皆为一个敞口的盒体，可以被放置有一种或多种货品。

所述货品可以为标品，同一种类的货品的外观和重量都相同或近似，成像装置可以捕捉到货品的外观图片，并从中找出特征区域（如货品的整体形状、某一区域的颜色及图案等），利用卷积神经网络模型和机器学习方法，根据一货品被用户取走或被用户放回的影像或图片，判断被取走或被放回的货品的种类及数量，从而计算货品价格并为用户进行结算。

所述货品也可以为非标品，如简单包装的蔬菜、水果、便当等，即使是同类产品，非标货品的外观特征不一致，其重量、单价也不一致，因此只能预先对每一货品定价，并以不同形状、不同颜色、不同图案的图形标识来标识不同货品的价格，并根据价格对货品进行分类，同样价格的货品被视为同一种类。成像装置可以捕捉到非标货品的外观图片，并从中找出特征区域（如货品的图形标识），利用卷积神经网络模型和机器学习方法，根据一货品被用户取走或被用户放回的影像或图片，判断被取走或被放回的货品的种类及数量，从而计算货品价格并为用户进行结算。

如图3~4所示，货品分类系统包括多种图形标识300及图形识别装置400，放置于货架上的每一货品301表面设有一种图形标识300，当一货品从一货架上被取走或被放回至一货架时，图形识别装置400识别该货品301的图形标识，并判断该货品的种类。

同一种类的货品被设置有相同的图形标识，不同种类的货品被设置有不同的图形标识，图形标识300为二维图形，其图形特征包括图案的线条、图案的形状组合及色彩组合。图形标识300可以为黑白色或彩色。所述图形标识可以被印刷或被喷涂于每一货品外表面，或者，在每一货品301外表面全部地或局部地包覆一标识层302，图形标识300被印刷或被喷涂于所述标识层外表面。标识层302可以为印花胶带或印花贴纸，印花胶带的长度较长，可以缠绕货品一周；印花贴纸的面积较大，可包覆货品的全部或大部分。

每一货品表面设有两个以上相同的图形标识300，所述两个以上图形标识排列于同一直线上或排列成矩阵，当用户将货品拿在手中时，即使有部分图形标识被用户手部或身体遮挡，也会有部分图形标识被成像设备的镜头捕捉到。每一图形标识的长度或宽度一般在1CM-20CM的范围内，其具体尺寸与成像设备到货架前方区域中部的距离成正比例，以确保货品外部的图形标识在取走及放回过程中，可以被该成像设备的镜头捕捉到。有一成像设备的镜头正对货架前方区域，可以监测到每一货品被取走或被放回时的影像，捕捉包含图形标识的图片，并从中找出特征区域（如图形标识的形状、颜色及图案等），利用卷积神经网络模型和机器学习方法，判断被取走或被放回的货品的种类及价格，从而计算货品价格并为用户进行结算。

本实施例还包括数据处理设备7，如服务器或计算机等，数据处理设备7内部设有多个数据处理软件，具有多个功能模块，可以通过数据线连接至多个硬件，以软硬件结合方式实现多种功能。

如图1、图5所示，本实施例还包括用户身份识别系统100，用以识别每一用户的身份信息。用户身份识别系统100包括门禁装置101及身份识别装置102，本实施例所述封闭空间1不是绝对密封空间，而是相对封闭的空间，封闭空间1设有一个或多个出入口，优选一个用户入口103及一个用户出口104，所有用户由用户入口103进入此封闭空间1，由用户出口104离开此封闭空间1。

封闭空间1的每一出入口处都设置有门禁装置101，优选一自动闸机。身份识别装置102用以获取用户的身份信息，包括连接至数据处理设备7的扫码装置1021以及数据处理设备7内的身份获取单元1022。扫码装置1021设置于用户入口103处的门禁装置101的内部或外部，优选设于自动闸机的外表面，用以扫描身份识别码，优选二维码；身份获取单元1022为数据处理设备7中的一个功能模块，可以根据所述身份识别码获取用户的身份信息。用户出口104处的门禁装置101无需设置身份识别装置102。

本实施例中，每个用户将与无人超市配套使用的专用应用软件（APP）下载到移动通信终端（手机、平板电脑等）中，在应用软件（APP）中注册账号，关联至支付软件；或者，每个用户将支付软件（如微信/支付宝）下载到移动通信终端中，在支付软件中嵌入与无人超市配套使用的小程序，在支付软件中注册账号，专用应用软件（APP）或支付软件内设有用户注册信息及电子支付信息，包括用户身份信息、银行账号信息、支付密码等。注册完成后，用户身份信息会存储于数据处理设备7的用户数据库中。

移动通信终端中的应用软件（APP）可以生成一二维码，该二维码内存储有用户的身份信息等，当某一用户需要从外部进入封闭空间1时，将应用软件生成的二维码正对扫码装置1021的扫描端，扫码后扫码装置1021对此二维码进行解码处理，将解码结果传送至数据处理设备7，如果二维码是可识别的，且识别出的身份信息与预先存储在用户数据库的身份信息相匹配，确定该用户身份合法，门禁装置101打开允许该用户进入封闭空间1，用户入口103处的门禁装置101设有感应装置，如红外传感器等，当该用户进入封闭空间1之后，门禁装置101感知到有人走过门禁，然后自动关闭。当用户购物结束需要离开封闭空间1时，用户出口104处的门禁装置101感应到有人从封闭空间1内部靠近门禁装置101时，该门禁装置会自动打开，待用户离开封闭空间1后，门禁装置101感知到有人走过门禁，然后自动关闭。

身份获取单元1022根据所述身份识别码获取用户的身份信息后，数据处理设备7可以生成该用户的购物数据库，在用户购物过程中根据用户每一次购物行为获取购物信息更新该购物数据库。由于用户随身携带的移动通信终端通过应用软件（APP）与数据处理设备7进行实时数据交换，用户的购物数据库也可以显示在移动通信终端中的应用软件（APP）中，形成购物车界面，以便用户了解自己的购物记录及后续结算。

本实施例还包括目标物定位系统，用以获取每一目标物在封闭空间1的实时位置，所述目标物为用户及其延伸部的全部或局部。所述目标物定位系统在所述封闭空间内建立三维坐标系，用以获取用户整体或局部（如头部、手部等）的坐标集，如头部、肩部、肘部、腕部、手部等。

当用户伸出手时，目标物定位系统的三维影像传感器可以捕捉到用户臂部、肘部、腕部、手部的位置坐标集。如果将某一时刻下该用户的头部、肩部、肘部、腕部、手部都连成一条折线或曲线，即可将用户的手部与头部位置建立对应关系，也就是说，数据处理设备7可以实时获取到某一手部的位置，同时可以判断出该手部属于哪一用户。

由于所述封闭空间内货架的位置固定，每一架板上方空间的坐标集也是可确定的，当某一架板上方空间的坐标集与某一用户手部的坐标集出现部分重合时，说明该用户将其手部放置于该架板上方空间内，该架板上的货品可能被该用户取走或者该用户将货品放回至该架板上，从而进一步确定取走或放回货品的用户的身份。

进一步地，三维影像传感器的视野范围也可以覆盖出入口外部的部分空间，当用户在出入口外部时，该用户的影像就可以被三维影像传感器获取到。用户使用所述无人售货系统的全部过程，包括出入口处身份识别过程、进入封闭空间1的过程、在封闭空间1内行走或驻留过程、离开封闭空间1过程，全部处于三维影像传感器的监控下，可以实时监控已知身份的某一用户及其身体的一部分在封闭空间1内的实时位置。扫码装置1021读取用户的二维码时，数据处理设备7即可获取其身份信息，三维影像传感器从扫码装置1021读码时开始定位及实时跟踪该用户位置，监控该用户是否与某一货架匹配。当三维影像传感器无法获取该用户的实时三维影像时，可以认定该用户购物结束，从而对其进行结算。

如图6所示，本实施例所述图形识别装置400包括数据处理设备7，数据处理设备7包括如下四个功能模块：样本采集单元401、模型训练单元402、实时图片采集单元403以及货品种类获取单元404。

图形识别装置400还包括第一成像装置405及第二成像装置406，第一成像装置405连接至数据处理设备7中的样本采集单元401，用以拍摄每一货品多个角度多个距离的图片。第二成像装置406连接至数据处理设备7中的实时图片采集单元403，用以拍摄一货架前方空间的实时图片。图形识别装置400可以监控货架前方空间的实时影像，判断被取走或被放回的货品的种类。

如图7所示，优选地，第二成像装置406的数量为两个，设置于货架2的外部，两个第二成像装置406分别朝向货架2左上角或右上角。货架2的多个架板5的最前端位于同一平面上，该平面称之为货架平面，第二成像装置406设有镜头，两个第二成像装置406镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被至少一第二成像装置拍摄到。所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方空间一般是指货架前方30~50厘米宽度的区域范围，每一个第二成像装置406的镜头朝向所述货架前方空间区域的中部。

在其他实施例中，第二成像装置406的数量为四个，设置于货架2的外部，四个第二成像装置406分别朝向货架2的四个角落处，每一个第二成像装置406的镜头朝向所述货架前方空间区域的中部。四个第二成像装置406镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被至少一第二成像装置拍摄到。

在前述两个实施例中，优选地，第二成像装置406的镜头的中轴线与水平面夹角为30-60度；和/或，第二成像装置406的镜头与货架2上端或下端的距离为0.8-1.2米；和/或，第二成像装置406的镜头与货架2一侧边的距离为0.8-1.2米，确保第二成像装置406的视野范围可以完全覆盖货架前方空间，当货品被从货架2上被取下或者被放置在货架2上时，取下过程或放置过程的影像被至少一第二成像装置406拍摄到。在取下过程或放置过程中，即使货品的一部分被用户手部挡住，货品的其他部分也会被至少一第二成像装置406拍摄到。

在其他实施例中，第二成像装置406的数量为四个，设置于货架2的外部，两个第二成像装置406分别设于货架2的上方，其镜头朝下，其镜头中轴线垂直于水平面；另外两个第二成像装置406分别设于货架2的下方，其镜头朝上，其镜头中轴线垂直于水平面。四个第二成像装置406镜头的视野范围覆盖所述货架前方空间，当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被至少一第二成像装置拍摄到。如图6所示，样本采集单元401用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识代表该组图片样本对应的货品的种类。本实施例中，货品的分类标准为货品的价格，相同种类的货品具有相同的价格，也可以说，组别标识与货品价格是一一对应的，组别标识即代表货品价格。

优选地，第一成像装置405对货架2上每种货品需要拍摄不同角度不同距离的3000~5000张图片，并传送至数据处理设备7的样本采集单元401。这些图片中，有些是独立拍摄货品的图片，有些是有背景的货品图片，有些是货品被某人拿在手中的图片，有些是多个同类产品叠放在一起的图片。由于本实施例涉及的无人超市中所销售的货品为可以为非标货品，价格相同的非标货品被认为属于同一种类，同类货品的外表面都被设有相同的图形标识，而每一货品外表面被包覆有较长的印花胶带，可缠绕货品一周，或者被包覆有较大的印花贴纸，可包覆货品的全部或大部分，因此，第一成像装置405拍摄的图片中，大部分都包含有至少一个图形标识。在同一种类货品中只要选择一个或几个产品，拍摄其带有多个图形标识的图片，对其进行多次拍照处理即可完成该类货品训练样本的采样。

模型训练单元402用以根据多组图片样本中的每一样本图片及每一样本图片的组别标识训练卷积神经网络（CNN）模型，获取货品识别模型。卷积神经网络（ConvolutionalNeuralNetwork，简称CNN）是一种前馈神经网络，对于大型图像处理有出色表现。优选地，本实施例中的卷积神经网络模型是目前准确率最高、响应速度最快的FasterRCNN网络模型，该模型的最快响应速度只要0.2秒左右，可以在极短的时间准确识别出图片的货品的种类及数量。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证的过程，可以获得更加精确的模型。模型训练单元402包括样本分类单元4021、分组模型训练单元4022以及交叉验证单元4023。

样本分类单元4021将多组所述图片样本随机分成两类，分别为训练样本和测试样本；分组模型训练单元4022将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；交叉验证单元4023用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率；当所述分组模型的准确率小于预设阈值（如90%）时，返回所述样本分类单元；当所述分组模型的准确率大于或等于所述预设阈值（如90%）时，所述分组模型为货品识别模型。如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证单元。

如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用FasterRCNN网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。在其他实施例中，模型训练单元402可以只包括分组模型训练单元4022，将样本采集单元401采集的多组图片样本的全部或部分作为训练样本，将每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。

分组模型训练单元4022包括特征提取单元40221、候选区域生成单元40222、候选区域映射单元40223以及分类器生成单元40224。特征提取单元40221将每一训练样本的图片输入卷积神经网络，进行特征提取，获取特征图像（featuremap），该特征图像对应训练图片中显示一个或多个图形标识的区域作为特征区域；候选区域生成单元40222将每一训练样本的图片输入候选区域网络（RPN），生成多个候选区域（regionproposals）；候选区域映射单元40223把每一训练样本的图片候选区域映射到卷积神经网络最后一层卷积层的特征图像上；分类器生成单元40224收集多个训练样本的图片特征图像和候选区域，计算出候选区域的特征图像（也即前文所述的图形标识），并送入分类器网络（classfier网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像（图形标识）与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类，也即为对应货品的价格。

交叉验证单元4023包括测试样本输入单元40231，准确率计算单元40232，测试样本输入单元40231将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识；准确率计算单元40232将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，样本分类单元4021将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。

实时图片采集单元403用以连续采集货架前方空间的至少一实时图片，每一实时图片包括一个或多个货品图片的部分或全部。实时图片采集单元403连接至多个第二成像装置406，设置于所述货架的边缘处，实时拍摄一货架前方区域的图片。当有用户从货架的某一架板上取走货品时，或者，当有用户放置货品或货品至货架的某一架板时，第二成像装置406可以拍摄到货品在货架前的图片，该图片中包括此货品的全部或局部的照片，显示该货品的图形标识，包括该图形标识的形状、图案及色彩。优选地，第二成像装置406快速获取该货品的多张实时图片，传送至实时图片采集单元403。

在连续获取的多帧图片中，每一帧图片中货品与货架边缘处的距离都是不同的，数据处理设备7可以计算所述距离的变化判断货品与货架距离变化，如果所述距离变大，可以认为货品被从货架上取走，如果所述距离变小，可以认为货品被放置在货架上。

在货品被取下过程中或被放回过程中，用户手持货品在货架前方的影像被至少一第二成像装置406拍摄到，数据处理设备7可以连续获取同一货品不同角度的多张实时图片，优选60张，每一图片的显示内容可以包括用户的手部及货品的局部。如果实时图片中不包含任何货品内容，例如某些货品体型较小，某些图片中只能显示用户的手部，或者，某些图片只显示背景影像，这样的图片可以筛除；如果某些图片中可以显示货品的外观特征，包括整体或部分形状特征、图案特征或颜色特征，即可将其输入至所述货品识别模型，以判断货品种类。本实施例不能适用于尺寸极小的货品，如果货品完全被用户手部包住，就不能识别出货品种类。

第二成像装置406可以为长时间持续运行的设备，也可以在货架板上设置一个红外开关，连接至第二成像装置406，平时为断电状态，当有用户行进至货架附近时，红外开关感应到热量并连通，第二成像装置406通电启动；当用户离开时，红外开关感应到不到热量从而断开，第二成像装置406断电关闭。

货品种类获取单元404用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。货品种类获取单元404包括组别标识获取单元4041以及标识可信度计算单元4042。

组别标识获取单元4041获取多幅包含某一货品内容的实时图片，将其输入至所述货品识别模型，获取该模型输出的、多个实时图片所对应的多个组别标识，作为可能性结论。组别标识获取单元4041包括第二特征提取单元40411、第二候选区域生成单元40412、第二候选区域映射单元40413以及第二组别获取单元40414。第二特征提取单元40411将一实时图片输入卷积神经网络，进行特征提取，获取特征图像；第二候选区域生成单元40412将所述实时图片输入候选区域网络，生成多个候选区域；第二候选区域映射单元40413把所述实时图片的候选区域映射到卷积神经网络最后一层的特征图像上；组别获取单元40414收集多个图片的特征图像和候选区域，计算出候选区域的特征图像，并送入分类器网络，获取该实时图片所对应的组别标识。每一实时图片被输入至所述货品识别模型之后，都可以判断出该图片对应的组别标识的可能性结论以及每一种可能性结论的概率，例如，某一货品的实时图片被输入至所述货品识别模型之后，所述货品识别模型判断出该货品对应的货品标识有90%的可能性与货品A的标识一致，即可认定该货品的种类为货品A。如果第二成像装置连续采集到60张图片，且每一图片上都有显示某货品，将其输入货品识别模型，就可以获取60个组别标识。

标识可信度计算单元4042计算所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品A的次数为36，出现货品B的次数为18，出现货品C的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品A。（为了进一步提供种类判断的准确率，可以连续采集多张包含该货品的实时图片，如3~10张实时图片，将其依次输入至所述货品识别模型，从而获取3~10个可能性结论及其概率，如果所有的可能性结论都一致，即可认定该可能性结论即为正确结论。如果有某些个可能性结论的概率较低（如低于70%），即可筛除该可能性结论，将其他可能性概率较高的（如大于90%或95%）的、且结论内容一致的可能性结论作为正确结论，从而判定其准确的组别标识，并判断货品的种类。）

如果第二成像装置406采集到的图片上包括不同的多种图形标识，货品种类获取单元404会分别识别出多个图形标识对应的货品种类，同时获取多个货品的价格。

图形识别装置的有益效果在于，在每一货品上设置可视觉识别的多个重复性图形标识，利用成像设备实时监测货架前方空间的影像，判断是否有货品被从货架上取走或被放回至货架，利用机器学习中的卷积算法推断出货品的种类的可能性结论，并选择其中可信度最高的结果作为最后结论，从而判断出被取走或被放回的货品的价格及数量。

如图8所示，本实施例还包括购物用户判断系统500，其为数据处理设备7中的功能模块，当任一种类货品被取走或被放回时，根据所述用户的身份信息及所述用户的实时位置获取取走或放回货品的用户身份。购物用户判断系统500包括货品信息存储单元501、架板坐标存储单元502、架板与用户匹配判断单元503以及货品与用户匹配判断单元504。

数据处理设备7内设有货品数据库，存储于货品信息存储单元501中，所述货品数据库包括每一货品信息；所述货品信息包括每一货品的货品名、型号、净含量及单价等，还包括放置该货品的货架编号、放置该货品的架板编号及货品编号。

所述目标物定位系统在所述封闭空间内建立三维坐标系，由于货架2及架板5的位置确定，因此建立坐标系后即可获取各个货架2及各个架板5的坐标，将货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度（如30CM），即可获取所述架板空间的坐标集。

所述目标物定位系统在所述封闭空间内建立三维坐标系，由于货架2及架板5的位置确定，因此建立坐标系后即可获取各个货架2及各个架板5的坐标，将货架坐标集及架板坐标集存储于架板坐标存储单元502中，设置架板上方的用以放置货品的架板空间的高度（如30CM），即可获取所述架板空间的坐标集。

所述目标物定位系统可以获取每一已知身份用户的手部的实时坐标集，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板与该用户匹配，可以认为该用户将手部伸入至该架板上方的架板空间。

货品分类系统400通过第二成像装置406监控货架前方空间的实时影像，可以根据连续获取的多帧图片中货品与货架的距离变化来判断货品的取放状态，并判断被取走或被放回的货品的种类及价格。所述取放状态包括货品静置状态、被取走状态及被放回状态。

当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，货品与用户匹配判断单元504判定该货品与该用户匹配，该货品在这一时刻被该用户从该架板上取走或放置到该架板上，从而确定取走货品或放回货品的该用户的身份。

如图9所示，本实施例还包括购物信息记录单元600，其为数据处理设备7中的功能模块，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。购物信息记录单元600包括购物数据库生成单元601以及购物数据库更新单元602。

当一用户的身份被用户身份识别系统100识别时，身份获取单元1022获取用户的身份信息，购物数据库生成单元601根据所述用户的身份信息在数据处理设备7中生成该用户的购物数据库，初始状态下的购物数据库无任何购物信息。

购物数据库更新单元602根据被取走货品的种类及数量以及取走货品的用户的身份信息生成一组购物信息，并存储至该用户的购物数据库，该购物信息中包括此刻被取走货品的种类及数量，以及该货品的货品信息，如货品名、型号、净含量及单价，等等。用户在封闭空间1内多次取走货品之后，其购物数据库内包括多组购物信息，由于用户随身携带的移动通信终端与数据处理设备7以无线通信方式连接并进行数据交换，因此，购物数据库中的购物信息也可以显示在用户的移动通信终端的APP界面上，形成用户的电子购物车。

当货品与一用户匹配时，若货品分类系统400监控到某一货品被放置于该架板上，可以判断出该货品的种类及数量。数据处理设备7在该用户的购物数据库中查询每一购物信息，判断是否有已购货品的种类值与该货品种类相匹配，也即判断是否用户的购物数据库中是否有一个或多个已购货品与被放置到架板上的货物相同。

如果货品分类系统400还可以判断被放回的货品的种类与该架板上原有货品种类是否一致，如果不一致，可选择地生成一个报警信号，提醒管理人员或用户发生误放现象。如果货品分类系统400无法判断被放回货品种类，即可确认被放回架板的货品并非该无人超市中的既有货品，有可能是用户自带的货品，如雨伞、手机等，此时可选择地生成一个报警信号，必要时，可以将该架板的架板编号显示在某一显示器上，以便提醒管理人员或用户。

在其他实施例中，所述无人售货系统还可以包括基于重量监测的货品感知系统，在每一架板上只放置一种货品，在架板内设置重量传感器，实时感知每一种架板的重量变化，与本实施例中货品分类系统配合工作，可以更精准的判断货品取放状态、被取放货品的种类及数量。

如图10所示，本实施例还包括结算系统700，其为数据处理设备7中的功能模块，用以根据所述用户的购物数据库中所有货品的种类及数量结算费用。用户购物过程结束后，可以自行从出入口的门禁装置处离开离开封闭空间1。当用户定位系统200的影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，结算系统700为该用户结算费用。

结算系统700包括总金额计算单元701及支付单元702。当所述用户离开所述封闭空间时，总金额计算单元701根据所述用户的购物数据库中全部货品的种类及数量计算总金额，由于每一种类货品的单价作为货品信息预存在数据处理设备7中，因此多种货品单价与数量的乘积的总和的金额即为该用户需要支付的总金额。进一步地，在其他实施例中，用户可以享受到货品折扣或使用优惠券、抵用券等，用户需要支付的总金额为多种货品单价与数量的乘积的总和的金额内减去优惠券和/或抵用券金额和/或折扣金额。支付单元702为结算系统700自带的支付软件或第三方支付软件，可以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与该用户需要支付的总金额相同。

如图11所示，本实施例还提供一种货品分类方法，也就是前述货品分类系统的实现方法，包括如下步骤：步骤S101）图形标识设置步骤、步骤S102）货品放置步骤、步骤S103）成像装置设置步骤以及步骤S104）图形标识识别步骤。

步骤S101）图形标识设置步骤，在货品表面设置图形标识，同一种类的货品被设置有相同的图形标识。本实施例中，所述货品的分类标准为所述货品的价格；同一种类的货品的价格相同，所述图形标识可以为黑白色或彩色。同一种类的货品被设置有相同的图形标识，不同种类的货品被设置有不同的图形标识，图形标识的外观特征，如形状、图案及色彩等，是可以被成像装置识别出的。

步骤S102）货品放置步骤，将多个不同种类的货品放置于货架上。

步骤S103）成像装置设置步骤，在货架附近设置成像装置，所述成像装置的镜头的视野范围覆盖所述货架前方空间。优选地，所述成像装置为前文所述的第二成像装置406，其数量为两个或四个，设置于货架2的外部，每一第二成像装置406朝向货架2的一个角落处。

步骤S104）图形标识识别步骤，当一货品被从货架取下或被放回至一货架时，用以识别一货品的图形标识，并判断被取下或被放回的货品的种类及数量，从而获取该货品的价格。

如图12所示，步骤S101）所述图形标识设置步骤包括步骤S1011）标识层设置步骤以及步骤S1012）标识层包覆步骤。在步骤S1011）标识层设置步骤中，所述图形标识被印刷或被喷涂于一标识层外表面；在步骤S1012）标识层包覆步骤中，所述标识层全部地或局部地包覆于每一货品表面。所述标识层可以为印花胶带或印花贴纸，印花胶带的长度较长，可以缠绕货品一周；印花贴纸的面积较大，可包覆货品的全部或大部分。在其他实施例中，所述图形标识可以直接被印刷或被喷涂于每一货品外表面。每一货品表面设有两个以上相同的图形标识，所述两个以上图形标识排列于同一直线上或排列成矩阵，当用户将货品拿在手中时，即使有部分图形标识被用户手部或身体遮挡，也会有部分图形标识被成像设备的镜头捕捉到。每一图形标识的长度或宽度一般在1CM-20CM的范围内，其具体尺寸与成像设备到货架前方区域中部的距离成正比例，以确保货品外部的图形标识在取走及放回过程中，可以被该成像设备的镜头捕捉到。

在步骤S103）成像装置设置步骤中，货架2的多个架板5的最前端位于同一平面上，该平面称之为货架平面，第二成像装置406设有镜头，该镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被所述第二成像装置拍摄到。所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方空间一般是指货架前方30~50厘米宽度的区域范围，每一个第二成像装置406的镜头朝向所述货架前方空间区域的中部。优选地，第二成像装置406的镜头的中轴线与水平面夹角为30-60度；和/或，第二成像装置406的镜头与货架2上端或下端的距离为0.8-1.2米；和/或，第二成像装置406的镜头与货架2一侧边的距离为0.8-1.2米，确保第二成像装置406的视野范围可以完全覆盖货架前方空间，当货品被从货架2上被取下或者被放置在货架2上时，取下过程或放置过程的影像被第二成像装置406拍摄到。优选地，第二成像装置406的数量为两个或四个，设置于货架2的外部，每一第二成像装置406朝向货架2的一个角落处。第二成像装置406设有镜头，该镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被所述第二成像装置拍摄到。

如图13所示，步骤S104）图形标识识别步骤包括如下步骤：步骤S201）样本采集步骤、步骤S202）模型训练步骤、步骤S203）实时图片采集步骤以及步骤S204）货品种类获取步骤。本实施例涉及的无人超市中所销售的货品可以为非标货品。

步骤S201）样本采集步骤，在货品被放置与货架前，利用前文所述的第一成像装置405采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；对应同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类。在所述样本采集步骤中，连续拍摄每一货品多个角度多个距离的图片，优选地，拍摄次数为3000~5000次，过多则成本太高，过少则模型误差较大。每种货品拍摄不同角度不同距离的5000张图片，有些是独立拍摄货品的图片，有些是有背景的货品图片，有些是货品被某人拿在手中的图片，甚至可以是多个同类货品被叠放在一起后的图片。

步骤S202）模型训练步骤，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型。

如果模型训练的样本较少，或者，样本的清晰度比较低，只训练一次获得的分组模型，在判断图片中显示的货品的种类时可能误差较大，因此最好能有交叉验证步骤。如图14所示，步骤S202）模型训练步骤包括步骤S2021）样本分类步骤、步骤S2022）分组模型训练步骤以及步骤S2023）交叉验证步骤。

步骤S2021）样本分类步骤，用以将多组所述图片样本随机分成两类，分别为训练样本和测试样本；在前述的步骤S201）样本采集步骤，拍摄每一货品拍摄不同角度不同距离的4000张图片。将每一货品对应的4000张图片随机分成两部分，训练样本和测试样本各有2000张左右的图片。

步骤S2022）分组模型训练步骤，用以将多组训练样本的每一样本图片及每一样本图片的组别标识输入至卷积神经网络模型，经训练后获取分组模型。如图15所示，步骤S2022）分组模型训练步骤包括步骤S20221）特征提取步骤、步骤S20222）候选区域生成步骤、步骤S20223）候选区域映射步骤以及步骤S20224）分类器生成步骤。步骤S20221）特征提取步骤，用以将每一训练样本的图片输入卷积神经网络（CNN），进行特征提取，获取特征图像（featuremap），对应训练图片中显示全部或部分货品的区域。例如，某一货品的2000张图片，在每一张图片上找出与货品整体或局部相关的特征图像（featuremap）。对于彩色图片，每一像素点的RGB三原色分别对应一个二维矩阵，每个矩阵经过3*3或者5*5的卷积核进行卷积运算之后，产生三个新的二维矩阵，也就是特征图像（featuremap）。步骤S20222）候选区域生成步骤，用以将每一训练样本的图片输入候选区域网络（RPN），生成多个候选区域（regionproposals），优选地，每张图片生成300个候选区域。候选区域网络（RegionProposalNetworks，简称RPN）是FasterRCNN模型中的proposal生成网络，由于目标检测的目标尺度可能相差很大，因此我们需要尽可能产生不同尺寸的候选区域regionproposals。步骤S20223）候选区域映射步骤，先将不同尺寸的候选区域转化为同一尺寸的图片，然后把每一训练样本的图片的候选区域（regionproposals）映射到卷积神经网络最后一层卷积层的特征图像（featuremap）上。步骤S20224）分类器生成步骤用以收集多个训练样本的图片特征图像（featuremaps）和候选区域（regionproposals），计算出候选区域的特征图像（proposalfeaturemaps），并送入分类器网络（classfier网络），生成分类器。在该分类器网络中，将对应同一货品的所有训练样本图片的特征图像与该货品的组别标识形成对应关系，该组别标识即为该组图片样本对应的货品的种类。

步骤S2023）交叉验证步骤，用以根据多组测试样本的每一图片及每一组测试样本的组别标识对所述分组模型进行验证，计算模型准确率。如图16所示，步骤S2023）交叉验证步骤包括步骤S20231）测试样本输入步骤以及步骤S20232）准确率计算步骤。步骤S20231）测试样本输入步骤用以将多个测试样本的每一图片输入至所述分组模型，获取多个测试样本的测试组别标识。步骤S20232）准确率计算步骤，用以将多个测试样本的测试组别标识与所述测试样本的组别标识对比，计算相同标识的数量与所述测试样本的数量的比值，该比值即为所述初级数据模型的准确率。当所述分组模型的准确率小于一个预先设置的预设阈值时，返回所述样本分类步骤；当所述分组模型的准确率大于或等于所述预设阈值时，所述分组模型为货品识别模型。优选地，将预设阈值设置为90%，当分组模型的准确率小于90%时，返回所述样本分类步骤，将样本重新分组、重新训练；当所述分组模型的准确率大于或等于90%时，可以认为所述分组模型即为货品识别模型。

如果模型训练的样本够多，样本的清晰度比较高，直接训练一次，就可以利用FasterRCNN网络模型训练出一个分组模型，该分组模型可以有效判断图片中显示的货品的种类。步骤S202）模型训练步骤包括步骤S2022）分组模型训练步骤即可，将步骤S201）样本采集步骤中采集的多组图片样本的全部或部分作为训练样本，将每一训练图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型，所述分组模型即为货品识别模型。

步骤S203）实时图片采集步骤，用以连续采集至少一实时图片，每一实时图片包括一货品影像的一部分或全部。步骤S203）实时图片采集步骤包括第二图片采集步骤，连续拍摄每一货品一幅或多幅多个图片，拍摄次数为1~200次。所述货架外部设置有一个第二成像装置206，分别对应所述货架的四个角落，每一第二成像装置206的视野范围覆盖所述货架前方的空间区域，每一个第二成像装置206的镜头朝向所述货架平面的中心区域。当用户伸手将某一货品从货架上取下或者将某一货品放置会货架上时，四个第二成像装置206会从不同角度拍到该货品整体或局部图片。假设用户手持货品在货架前方停留1秒钟，四个第二成像装置206拍摄图片，四个第二成像装置206可以在1秒钟内获取不同角度的120张实时图片，每一图片的显示内容可以包括用户的手部及货品的局部。第二成像装置206可以为长时间通电或启动的设备，也可以在货架板上设置一个红外开关，连接至第二成像装置206，平时为断电状态，当有用户行进至货架附近时，红外开关感应到热量并连通，第二成像装置206通电启动；当用户离开时，红外开关感应到不到热量从而断开，第二成像装置206断电关闭。

步骤S204）货品种类获取步骤，用以根据所述实时图片及所述货品识别模型判断所述实时图片中显示的货品的种类。如图17所示，步骤S204）种类判断步骤还包括步骤S2041）组别标识获取步骤以及步骤S2042）标识可信度计算步骤。步骤S2041）组别标识获取步骤，用以将多个实时图片输入至所述货品识别模型，获取多个实时图片所对应的多个组别标识；步骤S2042）标识可信度计算步骤，计算每一种组别标识的数量与全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类即为所述实时图片上显示的货品的种类。步骤S204）执行完毕后，返回步骤S203）实时图片采集步骤，以待下一次有货品被取走或被放回时，及时拍摄到货品图片。

如图18所示，步骤S2041）组别标识获取步骤包括：步骤S20411）第二特征提取步骤、步骤S20412）第二候选区域生成步骤、步骤S20413）第二候选区域映射步骤以及步骤S20414）组别获取步骤。步骤S20411）第二特征提取步骤用以将一实时图片输入卷积神经网络（CNN），进行特征提取，获取特征图像featuremap。步骤S20412）第二候选区域生成步骤用以将所述实时图片输入候选区域网络（RPN），生成多个候选区域（regionproposals），每张实时图片生成300个候选区域。步骤S20413）第二候选区域映射步骤用以把所述实时图片的候选区域（regionproposals）映射到卷积神经网络最后一层的特征图像（featuremap）上。步骤S20414）组别获取步骤用以收集多个图片的特征图像（featuremaps）和候选区域（regionproposals），计算出候选区域的特征图像（proposalfeaturemaps），并送入分类器网络（classfier网络），获取该实时图片所对应的组别标识。

步骤S2042）标识可信度计算步骤，用以计算所述可能性结论中所述可能性结论中每一种组别标识的数量与所述可能性结论中全部组别标识总数的比值，该比值即为每一种组别标识的可信度，可信度最大的组别标识所对应的货品的种类和/或数量即为所述实时图片上显示的货品的种类和/或数量。对比上述的60个组别标识，如果与60个组别标识相应的60个货品种类中，出现货品A的次数为36，出现货品B的次数为18，出现货品C的次数为6，则三者的可信度分别为60%、30%及10%，可以认定所述实时图片上所显示的货品的种类为可信度最高的货品A。如果第二成像装置406采集到的图片上包括不同的多种图形标识，货品种类获取单元404会分别识别出多个图形标识对应的货品种类，同时获取多个货品的价格。

前文所述的货品分类方法，在每一货品上设置可视觉识别的多个重复性图形标识，利用成像设备实时监测货架前方空间的影像，判断是否有货品被从货架上取走或被放回至货架，利用机器学习中的卷积算法推断出货品的种类的可能性结论，并选择其中可信度最高的结果作为最后结论，从而判断出被取走或被放回的货品的价格及数量。若结合用户身份识别技术和用户定位跟踪技术，还可以准确判断被取走或被放回的货品的用户身份，从而在该用户购物数据库中准确添加或删除购物记录，以便用户购物结束后自动结算。

在本发明的其他实施例中，本发明所述的货品分类系统及货品分类方法，还可以应用于其他领域。例如，在物流业中，快递包裹为非标货品，需要工作人员根据其目的地对大量快递包裹进行分类，现有技术需要对每一个货品上的条形码进行扫码处理以区分目的地，对其进行分类和记录，每一件包裹都要扫码一次，工作效率较低，如果由工作人员人工分拣，其效率更低。采用本发明的技术方案，可以将每一货品贴一个图形标识，每一图形标识可以代表一个目的地，以每一货品的目的地作为分类标准；然后，利用成像装置对流水线上的货品进行实时监控，并对其进行分类处理。

以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践本发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种货品分类系统，其特征在于，包括：

至少一货架，至少一种货品被放置于所述货架上；

至少一种图形标识，设于至少一种货品表面，同一种类的货品被设置有相同的图形标识；

标识层，缠绕一货品至少一周，或者，包覆一货品的全部表面；当所述标识层被展开平置时，两个以上图形标识在一标识层外表面被排列于同一直线上或被排列成矩阵；以及

图形识别装置，所述图形识别装置包括：

两个以上第二成像装置，用以拍摄一货架前方空间的实时图片；当一货品从一货架上被取走或被放回至一货架时，所述实时图片中包括图形标识；所述货架前方空间为货架前方一定宽度的空间区域；所述第二成像装置的镜头的视野范围覆盖所述货架前方空间；和/或，所述第二成像装置的镜头朝向所述货架前方空间的中部；以及

数据处理设备，用以识别所述货品的图形标识，并判断该货品的种类。

2.如权利要求1所述的货品分类系统，其特征在于，

所述图形识别装置包括

第一成像装置，连接至所述数据处理设备，用以拍摄每一货品多个角度多个距离的图片。

3.如权利要求1所述的货品分类系统，其特征在于，

所述数据处理设备包括：

样本采集单元，连接至第一成像装置，用以采集多组图片样本，每一组图片样本包括一货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的图形标识，该图形标识即为该组图片样本对应的货品的种类；

模型训练单元，用以根据多组图片样本中的每一样本图片及其图形标识训练卷积神经网络模型，获取货品识别模型；

实时图片采集单元，连接至所述第二成像装置，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括货品图片的部分或全部；以及

货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类。

4.一种货品分类方法，其特征在于，包括如下步骤：

标识设置步骤，在至少一标识层的外表面设置图形标识，每一标识层设有两个以上相同的图形标识，被排列于同一直线上或被排列成矩阵；

标识层包覆步骤，在至少一货品表面包覆一标识层，每一标识层缠绕一货品至少一周，或者，包覆一货品的全部表面；同一种类的货品被设置有相同的图形标识；

成像装置设置步骤，在货架附近设置两个以上成像装置，用以拍摄货架前方空间的实时图片，所述货架前方空间为货架前方的空间区域；所述成像装置的镜头的视野范围覆盖所述货架前方空间；和/或，所述成像装置的镜头朝向所述货架前方空间的中部；

货品放置步骤，将至少一种所述货品放置于所述货架上；

图形标识拍摄步骤，当一货品从一货架上被取走或被放回至一货架时，所述成像装置拍摄到至少一图形标识；以及

图形标识识别步骤，识别所述货品的图形标识，并判断该货品的种类。

5.如权利要求4所述的货品分类方法，其特征在于，

所述图形标识被印刷或被喷涂于一标识层外表面。

6.如权利要求4所述的货品分类方法，其特征在于，

所述图形标识识别步骤包括：

样本采集步骤，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的图形标识，该图形标识即为该组图片样本对应的货品的种类；

模型训练步骤，用以根据多组图片样本中的每一样本图片及其图形标识训练卷积神经网络模型，获取货品识别模型；

实时图片采集步骤，用以连续采集所述货架前方空间的至少一实时图片，每一实时图片包括货品图片的一部分或全部；以及

货品种类获取步骤，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。

Images