CN109389753A - 散装商品自助销售系统 - Google Patents

Abstract

本发明提供了一种基于图像识别技术的散装商品自助销售系统，其基本方法是消费者使用带标识的选购工具选购商品，系统将选购工具和消费者账户进行关联，在选购过程中，安装在不同位置的摄像头会从不同角度连续拍摄商品选购区域内的图像信息，系统将从这些图像信息中识别出选购工具以及盛放在所述选购工具之上的散装商品，并对所述散装商品的重量和配料比例进行估算，由此计算出消费者的消费金额并进行结算。在消费者选购多种散装商品时，即使选购过程中将多种商品堆叠在一起时也能识别出消费者选购的各种商品及其重量，同时由于减少了称重计费和收银的设备和步骤，节省了成本的同时也节省了消费者的时间，也可以减少对散装商品额外的包装处理，节约销售成本。该系统可应用于自助餐厅等场景时可以鼓励就餐者按需取餐，有利节约粮食。

Description

散装商品自助销售系统

技术领域

本发明涉及智能电子设备技术领域和销售领域，尤其涉及一种具有散装商品种类识别和重量估测功能的电子设备。

背景技术

随着图像识别技术的发展，其在商品自动化结算和销售中也得到应用，例如在专利号为CN201410668443.8、CN201410311841.4、CN201620845421.9 CN201310564959.3、CN201310565053.3等的发明中，系统通过对餐盘形状颜色的识别对应出相关菜肴的价格，从而在餐厅进行自动化结算，这些发明大大节省了结算的成本。但已有的发明中自动结算仍然是按数量或按份进行结算，对于一些散装的商品，消费者要购买多种任意重量的商品时，现有的方式还是只采用逐项称重的方式获得重量和结算金额。例如消费者在进行餐饮消费时，其购买的整份菜肴常常由于不能完全消费造成浪费；而在现有不限量自助餐厅中一般是按人数计费，消费者可以按量取食，同时可以获得很丰富的品种，但消费者为了不吃亏，经常存在暴饮暴食的现象，这不仅是对粮食的浪费，更不利于消费者的身体健康。之所以出现上述问题，是因为当前的销售系统，要么是按份计费、要么是按人数计费，不能根据消费随意消费的种类和重量进行精细化计费。在有些消费场景中，也可以通过称重形式进行精细化计费，但是单个消费者挑选的品种较多的情况，则需要花费很多成本和时间，在很多情况下难以采用。

已有的基于图像识别的结算系统一般是将摄像头置于结算收银单元，对销售商品进行拍摄和图片识别，再进行结算。随着摄像头清晰度的提高，价格成本的降低，它逐渐被布置到更多位置获取销售场所的全程录像。与此同时图像识别技术的近年来快速发展，且已成为一种基础性的技术，例如Google公司发布的Cloud Vision API能实现成千上万种物体图像的识别，在其基础上开发者只需提供图片样本库就可实现特定领域的图像识别和分类。已有的技术除了可以根据单一图像信息实现物体的识别，还可以根据多个角度拍摄的图像绘制物体的三维轮廓，进而估算出物体的体积，如在专利号为 CN201310319567.0的专利（《具有尺寸和重量估测功能的智能移动电子设备》）中通过图像处理技术，实现了对物品尺寸和重量的估计。上述图像识别技术也可应用于散装商品的自助销售领域，根据销售场所各个位置和角度的摄像头采集的全程图像信息，对消费者选购的商品进行种类识别和重量估测，从而构建快速、便捷和精细化的计价和结算。但是距今为止，尚未见到此类技术的销售设备的报道。

发明内容

（一）要解决的技术问题

为解决上述问题，本发明提供一种实现快速、便捷和精细化的散装商品品种识别、重量估测和价格合计功能的销售系统。

（二）技术方案

本发明提供了一种基于图像识别的散装商品销售系统，可以应用于自助餐厅等场景，它包括：摄像头、价格设置单元、带标识的选购工具及其分发和回收结算单元，商品识别单元和综合控制单元。该系统的基本技术方案为：在消费者取用选购工具时，选购工具分发单元会拍摄消费者即将拿走的选购工具上的标识，同时拍摄消费者的账户标识，它可以是消费者的生物特征、消费者展示的会员卡信息或者消费者展示的移动付款码等，系统由此将选购工具和消费者进行关联；消费者在选购商品时，商品识别单元会识别各时刻选购工具上盛放的商品种类、配料比例，并估算其重量，并将这些商品信息和选购工具关联；当消费者将选购工具置于工具回收单元时，结算单元根据选购工具关联的商品信息计算出相关消费者的消费金额并进行扣费。

（三）有益效果

从上述技术方案可以看出，本发明的散装商品销售系统具有以下有益效果：

（1）散装商品可以不用进行按份包装也可以进行定量计费，减少包装成本同时减少称重收银的时间和成本

（2）消费者可以进行更加多样化的购物，同时节省结算时间，提升了消费体验

（3）该系统应用于餐厅消费场景可以减少浪费，在传统的食堂，消费者按份购食品，不能吃完的只能浪费，而在不限量自助餐厅，消费者往往获取超过自身消费能力的食品，从而导致浪费，而本发明由于是按量计费的方式，消费者可以按需消费，减少浪费。

具体实施方式

当前图像识别技术突飞猛进，已经开始在很多技术领域得到应用，目前已有的技术不仅可以摄像头拍摄的照片中识别出二维码、文字以及人的指纹、虹膜等生物学特征信息，还可以对摄像头拍摄的物体的种类进行识别和分类。另外，根据多个角度的图像还可以构建物体的三维轮廓，并计算物体的体积，这在专利号为 CN201310319567.0的专利（《具有尺寸和重量估测功能的智能移动电子设备》）中已经实现。

图1本发明实施例的散装商品销售系统的结构框图，请参照图1，本发明实施例的散装商品销售系统，包括：1-摄像头；2-价格设置单元；3-带标识的选购工具；4-选购工具分发单元；5-商品识别单元；6-选购工具回收结算单元；7-综合控制单元；8-警报提示单元；9-反馈建议单元。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合一个具体场景中实施例，并参照附图1，对本发明进一步详细说明。本文以自助餐厅中的食品销售作为一个具体的场景对本发明的一个较为完整的实例的实施方式进行说明。

（1）摄像头：被安装于销售场地的多个位置，从多个位置多个角度拍摄消费者、选购工具、商品相关的图片信息。

（2）价格设置单元：工作人员根据所述单元对待售的各种类别的商品的单价进行设置，若商品包含多种配料，不同配料容易被挑拣且单价差异较大时，工作人员也可以对不同配料分别设置单价，例如在菜品“萝卜炖牛腩”的销售中，可以通过价格设置单元对该菜品中的萝卜和牛腩可以分别设置单价，从而避免消费者专挑其中一种配料，导致剩余的菜品比例失调。

（3）带标识的选购工具：选购工具上印有一个或多个标识，且每个选购工具上的标记具有唯一性，这些标识可以是二维码、特殊图案或特殊花纹，同时所述标识在使用过程不会被完全遮挡，只有部分标识被摄像头拍摄到就可以被识别，在自助餐厅的应用场景中所述带标识的选购工具可以是上下都印有标识的餐具。在消费过程中选购工具和消费者账户信息会被关联在一起，一个消费者账户可以同时关联一个或多个选购工具。

（4）选购工具分发单元：该单元是能被指定摄像头视野覆盖的区域或设备。会员消费者在取用选购工具时先向指定摄像头展示能表征其会员身份的图形、二维码或生物特征等信息，然后即可取走所述分发单元上放置的选购工具，选购工具分发单元会在同时拍摄到该选购工具上的标记，并将选购工具和消费者账户进行关联。非会员消费者在取用选购工具时可向指定摄像头展示其移动支付付款码，在系统扣取消费者一定额度的预付金额后，消费者可取走指定位置的选购工具，同时系统将消费者移动付款码中的账户信息和选购工具进行关联。

（5）商品识别单元：消费者选购商品时，按需将商品置于选购工具上。所述单元按如下方法识别消费选购商品的信息：

a，所述单元每个一定时间间隔（例如1秒钟）获取选购区域所有摄像头拍摄的图片；

b，从所有图片中识别出选购工具上的标识，并记录所有标识在图片中的位置；

c，对于某一个已被识别的选购工具标识，根据其在某个摄像头拍摄的图片中的位置，可以计算选购工具相对摄像头的方位。由所述选购工具相对两个或多个摄像头的方位，结合摄像头的安装位置和角度可以计算出所述选购工具在空间中的具体位置；

d，根据步骤c计算出的选购工具的空间位置可以确定各个摄像头的视野是否覆盖所述选购工具，如果某些摄像头的视野覆盖所述选购工具，可进一步计算所述选购工具在所述摄像头拍摄的照片中的位置和所占画面的大致面积，并据此获取所述摄像头拍摄的关于所述选购工具及附近空间的图像截片；

e，由步骤d获得的关于某一个选购工具及附近空间的多角度拍摄的图像截片，构建出所述选购工具与其上堆放的商品共同构成的3维轮廓，由此计算出堆放商品的体积。将所上述体积值和上一个时刻同样方法计算得到的体积值相减，获得期间新增的体积值，同时将所得3维轮廓和上一时刻用同样方法获得的3维轮廓进行对比，计算出其中轮廓有变化部分。计算上述轮廓变化部分所占空间在各摄像头视野中的位置区域，据此从各摄像头拍摄图片中截取和新增商品有关的截图；

f， 根据步骤e获得的新增商品的多个摄像头截图，利用图像识别的方法对商品的种类进行识别，如果需要对商品配料的比例进行识别，则可以将上述截图裁成很多更小的片段，根据图像识别技术对每个小片段按配料的种类进行分类，最后可由每种配料对应的小片段的数目除以小片段总数估算每种配料的占比；

g，商品识别单元根据骤e-f获得的选购工具上新增商品种类、体积和配料比例，结合数据库种预存的各种商品和配料的密度数据，进一步计算出所述商品的重量或其中配料的重量，并将这些信息和选购工具进行关联，并进一步和消费者账户进行关联；

上述步骤a-g在商品销售期间不停的重复，由此获得每一个时间间隔内消费者选购的商品信息，进一步获得消费者的实时消费明细和累积消费金额。

（6）选购工具回收结算单元：该单元是一个能被指定摄像头覆盖的区域或设备，消费者在使用选购工具进行选购和消费之后，将选购工具放置到回收单元，回收单元则根据摄像头拍摄到的被回收选购工具上的标记，获得其关联的消费者账户信息并同其结算。对于会员消费者，可从其账户余额中扣费，对于采用移动支付预付方式的非会员消费者，在扣除其消费金额后将剩余金额返还至消费者的移动支付账户，并在结算之后解除消费者和选购工具的关联。

（7）综合控制单元：控制和协调各单元的工作，存储和处理销售过程产生的各种信息。

（8）警报提示单元：进一步的本发明还可以包含警报提示系统，该系统识别销售区域内的选购工具标识，当某选购工具处于“未使用状态”时，该设备会发出相应的警报提示；当某选购工具关联的消费者的累积消费金额超过会员账户余额或预先扣取费用时该设备会发出相应的警报提示。

（9）反馈提示单元：消费者完成消费后，该单元可以通过电子通信向消费者发送消费的明细，对于餐厅的应用实例还可以根据消费者的消费情况给出健康饮食的消费建议。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的散装商品自助销售系统有了清楚的认识。

需要说明的是，在附图或说明书正文中涉及到的图像识别和分类和多角度图像构建物体三维轮廓等技术均为已有发明并已经得到广泛应用的技术，因此本文未描述具体的实现方式。此外，本说明书为便于说明本发明的技术方案选出了一个具体场景的一个实例加以阐述，上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

综上所述，本发明的散装商品自助销售系统，通过光学图像的方式对商品的种类、重量和配料比例进行识别和估算，并将消费者与其消费的商品进行关联，从何实现散装商品的自助销售，在减少收银成本的同时，消费者还可以进行更加多样的选购，减少结算时间也提升消费体验，同时减少浪费的发生。另外该系统可以获得消费者详细准确消费信息，在此基础上还可为消费者制定更健康的消费建议。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.散装商品自助销售系统，其特征在于它包括：

A, 价格设置单元：用于设置不同商品单位重量的价格

B，摄像头：所述摄像头为多个，它被安装在销售场所的多个地方，朝多个角度连续拍摄

C，带标识的选购工具：消费者使用具有唯一性标识的选购工具进行选购商品的活动，在消费过程中选购工具和消费者账户信息被关联在一起，一个消费者账户可以同时关联一个或多个选购工具

D，选购工具分发单元：所述单元向消费者分发带标识的选购工具并其和消费者账户信息进行关联，被分发的选购工具被标记为“使用状态”

F，商品识别单元：所述单元处理摄像头拍摄的图像，从中识别选购工具在“使用状态”期间各时刻盛放的商品的种类、并估算其重量，并将这些商品种类和重量信息和选购工具进行关联，并进一步和消费者账户进行关联，据此获得对应消费者实时消费明细和累积消费金额

E，选购工具回收结算单元：消费者返还带标识选购工具时，该单元设备识别选购工具上的标识，获得其关联的消费者账户信息后同消费者进行结算，之后该选购工具和消费者的关联被解除，并被标记为“未使用状态”

H，综合控制单元：控制和协调各单元的工作，存储和处理销售过程产生的各种信息。

2.如1所述设备，其特征包括：若散装商品为由多种易被挑拣分离的配料混合构成，为避免消费者专挑其中部分配料导致所述商品比例失衡，价格设置单元可设置所述商品各种配料单位重量的价格，商品识别单元可识别被选购商品中各种配料的比例，并根据被选购商品的种类、重量和配料比例计算出消费额。

3.如1-2所述设备，其特征在于

带标识选购工具分发单元可以通过摄像头拍摄的图像信息获取会员的图形、文字、二维码或生物特征等形式账户和被分发的选购工具上的标识，实现会员账户和选购工具的绑定；选购工具回收结算单元可以从会员账户中扣取相应消费金额。

4.如1-2所述设备，其特征在于

带标识选购工具分发单元可以通过摄像头拍摄消费者展示的移动支付付款码，通过移动支付扣取消费者一定费用，选购工具被回收时，回收结算单元将消费者支付的费用减除其实际消费额，计算出剩余金额，并通过移动支付将剩余金额退还给消费者。

5.如3-4所述设备，其特征还包括

I，警报提示设备：识别销售区域内的选购工具标识，当某选购工具处于“未使用状态”时，该设备会发出相应的警报提示；当某选购工具关联的消费者的累积消费金额超过会员账户余额或预先扣取费用时该设备会发出相应的警报提示。

6.如3-4所述设备，其特征还包括：

反馈建议单元：通过消费者消费内容的分析，借助移动设备应用软件推送消费信息或建议给消费者。

7.如 1-6所述设备，其特征在于它被用于超市、自助餐厅或食堂进行商品销售。