CN113066225A - 一种基于共享冰箱的购物方法及共享冰箱 - Google Patents

Abstract

本发明公开了一种基于共享冰箱的购物方法及共享冰箱，方法包括检测到共享冰箱柜门打开时，启动第一摄像头；通过所述第一摄像头的拍摄和识别，获取用户待购买的物品信息；当检测到共享冰箱柜门关闭时，根据待购买的物品信息通过终端自动扣款。本发明旨在通过内外摄像头的识别以及各称重传感器重量检测，确定用户所取出的物品后根据物品信息自动扣款，无需扫码支付，无需排队付款，提高购买效率，简化操作流程，同时预警提示人为破坏或食用了物品，方便用户。

Description

一种基于共享冰箱的购物方法及共享冰箱

技术领域

本发明涉及网上购物技术领域，具体涉及一种基于共享冰箱的购物方法及共享冰箱。

背景技术

随着人工智能技术中的物体识别、人脸识别技术的的不断推进，生活中出现越来越多无人超市和共享冰柜、冰箱，大大减少了经营零售所需要的人力资源开支，用户可以在没有收银人员的参与下，自助完成购物。商户可以将共享冰箱大量、低成本、方便地覆盖各种商场、运动休闲等人流密集的场所，无需额外租用大面积的商铺。用户可以方便去自助购买商品，而不需要额外前往超市。这样不仅提高了人们的生活质量，也给人们带来了许多便利。

然而传统的货物冰箱都是需要用户先提前在货物冰箱外面选择自己想要购买的货物，然后再扫码付款或投币付款，最后由冰箱将指定的货物从特定的出口提供给用户。这样，不仅增加用户操作，造成支付过程的繁琐，购买效率低，而且用户不能直接接触并挑选自己想要的物品，用户体验低。

因此，现有技术有待于改进和发展。

发明内容

基于此，有必要针对上述技术问题，提供一种基于共享冰箱的购物方法及共享冰箱，旨在通过内外摄像头的识别以及各称重传感器重量检测，确定用户所取出的物品后根据物品信息自动扣款，无需扫码支付，无需排队付款，提高购买效率，简化操作流程，同时预警提示人为破坏或食用了物品，方便用户。

为了达到上述目的，本发明采取了以下技术方案：

一种基于共享冰箱的购物方法，所述共享冰箱包括箱体，在所述箱体内设置有若干个储物盒，每个储物盒均设置有一称重组件，各储物盒中存储有若干数量的同类物品，所述基于共享冰箱的购物方法包括以下步骤：

检测到共享冰箱柜门打开时，启动第一摄像头；

通过所述第一摄像头以及各储物盒对应的称重组件的识别，获取用户待购买的物品信息；

当检测到共享冰箱柜门关闭时，根据待购买的物品信息，通过终端自动扣款。

所述的基于共享冰箱的购物方法，其中，所述检测到共享冰箱柜门打开时，启动第一摄像头之前包括：

预先设置并记录各储物盒中所存放物品的相关信息；

通过与各储物盒一一对应设置的称重组件，获取并记录各储物盒的重量；

根据各储物盒的重量，计算并记录所有储物盒的总重量。

所述的基于共享冰箱的购物方法，其中，所述检测到共享冰箱柜门打开时，启动第一摄像头之前还包括：

检测到用户的扫码操作时，判断用户是否为首次扫码操作；

当用户为首次扫码操作时，通过注册获取用户的注册信息；

将所述注册信息与第三方应用绑定，生成用户的账户信息并存储。

所述的基于共享冰箱的购物方法，其中，所述将所述注册信息与第三方支付应用绑定，生成用户的账户信息并存储之后包括：

采集用户的指纹信息；

将所述指纹信息与该用户对应的账户信息绑定，并存储。

所述的基于共享冰箱的购物方法，其中，所述检测到共享冰箱柜门打开时，启动第一摄像头具体包括：

获取用户开启共享冰箱柜门的方式，所述方式包括扫码开启共享冰箱柜门方式和指纹开启共享冰箱柜门方式中的一种；

根据用户开启共享冰箱柜门的方式，获取并验证用户的身份信息；

当用户的身份信息与预先存储的身份信息匹配时，控制共享冰箱柜门自动开启；

当共享冰箱柜门自动开启时，启动设置在所述箱体内的第一摄像头。

所述的基于共享冰箱的购物方法，其中，所述通过所述第一摄像头以及各储物盒对应的称重组件的识别，获取用户待购买的物品信息具体包括：

通过所述第一摄像头的拍摄以确定是否存在用户拿取物品和/或用户放置物品的图像；

若只存在用户拿取物品且没有放置物品，则获取拿取图像，并识别所述拿取图像，以获取用户待购买的物品信息；

若只存在用户放置物品且没有拿取物品，获取放置图像，并识别所述放置图像以获取所述放置图像中物品的相关信息，将所述物品的相关信息作为异常信息提示用户；

若存在用户既拿取又放置物品，通过摄像头分别获取拿取图像和放置图像中物品信息以及所属的储物盒，并分别通过所述储物盒对应的各称重组件所测量的重量变化以确定用户待购买的物品信息。

所述的基于共享冰箱的购物方法，其中，所述若存在用户既拿取又放置物品，通过所述第一摄像头分别获取拿取图像和放置图像中物品信息以及所属的储物盒，并分别通过所述储物盒对应的各称重组件所测量的重量变化以确定用户待购买的物品信息具体包括：

通过所述第一摄像头获取拿取图像和放置图像；

识别所述拿取图像中的物品、数量以及其所属的原储物盒；

识别所述放置图像中的物品、数量以及其所属的新储物盒；

判断所述拿取图像中的物品和放置图像中的物品是否均与所述共享冰箱预先记录的物品相匹配；

当所述拿取图像中的物品和放置图像中的物品均与所述共享冰箱预先记录的物品匹配时，通过所述第一摄像头和称重组件的协同识别，确定用户待购买的物品信息。

所述的基于共享冰箱的购物方法，其中，所述当所述拿取图像中的物品和放置图像中的物品均与所述共享冰箱预先记录的物品匹配时，通过所述第一摄像头和称重组件的协同识别，确定用户待购买的物品信息具体包括：

当所述拿取图像中的物品和放置图像中的物品均与所述共享冰箱预先记录的物品匹配时，判断新储物盒所被放置的物品是否全部属于原储物盒被拿取的物品；

当新储物盒被放置的物品全部属于所述原储物盒被拿取的物品中的一种或多种时，比较所述原储物盒重量的变化值与新储物盒重量的变化值的大小；

根据比较结果，再次协同所述第一摄像头和称重组件的识别以确定用户待购买的物品信息。

所述的基于共享冰箱的购物方法，其中，所述根据比较结果，再次协同所述第一摄像头和称重组件的识别以确定用户待购买的物品信息具体包括：

当所述原储物盒重量的变化值与所述新储物盒重量的变化值相等时，判断所放置的物品的数量与所拿取的同一种物品对应的数量是否相等；

当所放置的物品的数量与所拿取的同一种物品对应的数量相等时，判断所放置物品对应的所述新储物盒是否为所述原储物盒；

当所放置物品对应的新储物盒不是原储物盒时，更新所述原储物盒和所述新储物盒中所记录的物品信息。

所述的基于共享冰箱的购物方法，其中，所述根据比较结果，再次协同所述第一摄像头和称重组件的识别以确定用户待购买的物品信息还包括：

当所述原储物盒重量的变化值大于所述新储物盒重量的变化值时，通过所述第二摄像头识别用户是否食用或破坏了物品；

当识别到用户没有食用或破坏了物品时，则获取属于所拿取的物品且不属于所放置物品的物品及数量，以用于用户的结算。

本发明还提供一种共享冰箱，包括箱体以及设置于所述箱体内的若干储物盒，各储物盒分别存储有物品，所述箱体包括柜门，其还包括处理器、存储器、第一摄像头、第二摄像头以及与各储物盒一一对应设置的称重组件，所述称重组件称重组件、第一摄像头、第二摄像头以及存储器均与处理器连接，所述存储器存储有基于共享冰箱的购物程序，所述处理器执行时用于实现上述所述的基于共享冰箱的购物方法中的步骤。

有益效果：

相较于现有技术，本发明提供的一种基于共享冰箱的购物方法及共享冰箱，所述方法包括检测到共享冰箱柜门打开时，启动第一摄像头；通过所述第一摄像头以及各储物盒对应的称重组件的识别，获取用户待购买的物品信息；当检测到共享冰箱柜门关闭时，根据待购买的物品信息通过终端自动扣款。本发明旨在通过内外摄像头的识别以及各称重传感器重量检测，确定用户所取出的物品后根据物品信息自动扣款，无需扫码支付，无需排队付款，提高购买效率，简化操作流程，同时预警提示人为破坏或食用了物品，方便用户。

附图说明

图1为本发明提供的一种基于共享冰箱的购物方法的流程图。

图2为本发明所述基于共享冰箱的购物方法的具体实施例的流程图。

图3为本发明共享冰箱的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1是本发明提供的一种基于共享冰箱的购物方法的流程图，应该说明的是，本发明实施方式的基于共享冰箱的购物方法并不限于图1所示的流程图中的步骤及顺序，根据不同的需求，流程图中的步骤可以增加、移除或者改变顺序。

如图1所示，本发明提供的基于共享冰箱的购物方法包括以下步骤：

S10、检测到共享冰箱柜门打开时，启动第一摄像头。

在本实施例中，预先设置各储物盒所存放物品的种类信息，以便用户根据所述储物盒的种类信息摆放物品，提高管理效率。同一储物盒可存储不同种类的物品，但本实施例中仅考虑同一储物盒存储同一种类的若干数量的物品。在本实施例中，设置各储物盒存放物品的种类信息的方式有多种，用户可以利用设置于所述共享冰箱箱体上的输入装置(如物理按键、触摸屏、触摸按键)手动输入每个储物盒所存放物品的信息，也可以利用设置于所述共享冰箱箱体上的语音装置通过获取用户的语音信息录入物品的种类信息，以减少手动操作的繁琐以及方便不识字的用户输入；还可以利用设置于共享冰箱箱体上的条码扫描装置对储物盒上的条码或物品包装上的条码进行扫描来记录物品的种类信息，提升工作效率；还可以根据共享冰箱中数据库提供的物品类别，以通过用户的选择来指定当前共享冰箱存储的种类信息。

各储物盒分别对应设置一称重组件。通过各称重组件，获取并记录单位数量的同类物品的重量，存储至本地或云端。当各储物盒存储满各物品时，记录各储物盒中物品的物品信息，同时通过各储物盒连接的各称重组件，获取储满状态时各储物盒的总重量，根据各储物盒的总重量，计算所有储物盒的总重量。所述物品信息包括物品种类、单个重量、原始数量、原始总重、实际数量、实际总重、储物盒编号等。同一类物品具有多个时，通过数量＊单个物品的重量得到同一类物品的总重。所述物品信息形成储物列表，以存储在本地数据库中，如下表1所示，表1仅示例部分，下述编号仅用于示例，可根据实际应用进行修改。需要说明的是，原始数量以及原始总重均是指储物盒存满时对应的数量和总重，且在理想状态下，同一种类各数量对应的物品重量相等。

表1

在一些实施例中，所述称重组件指的是称重传感器，其用于检测各储物盒中存放的物品的重量，各称重组件的初始值为零。需要说明的是，本实施例中理想状态下不考虑储物盒本身重量。

为了提高购买效率以及减少用户的手动操作，首次使用共享冰箱购物时通过二维码扫描进行注册，得到注册信息，因此，检测到用户的扫码操作时，判断用户是否为首次扫码操作；当用户为首次扫码操作时，通过注册获取用户的注册信息；所述注册信息包括用于登陆和支付的唯一注册账号，并将所述注册账号绑定用于自动扣款的第三方应用，如微信、支付宝等，生成用户的账户信息，并存储。注册成功后，提示用户是否绑定指纹信息，若用户选择肯定操作时，通过设置在所述共享冰箱上的指纹识别装置采集用户的指纹信息，并将指纹信息与用户对应的账户信息绑定，存储至本地数据库中或云端，以便再次使用时，可通过指纹方式登陆而自动开启柜门，而无需手动开门，节省时间，简化操作流程。当然，为了实现自动扣款，在绑定用于扣款的第三方时还需要进行授权操作，这样就无需打开终端进行支付。需要说明的是，可根据用户需求设置扣款的方式，如免密支付或指纹支付等。

在检测到用户的扫码操作时，自动启动设置在所述共享冰箱外的第二摄像头，通过所述第二摄像头的人脸识别，获取用户的人脸信息，将所述人脸信息与所述账户信息进行绑定，生成用户的身份信息，存储在本地数据库中或云端。

当然，在一些实施例中，为了确保支付安全性，在自动扣款操作前，还可增加一确认操作，即当存在待结算物品信息时，弹窗提示用户当前待结算物品的信息是否正确，当用户选择确定答复时，自动从指定支付应用扣款。

另外，用户也可通过指纹方式开启共享冰箱柜门，当检测到用户触摸共享冰箱的操作时，获取用户的指纹信息，将用户的指纹信息与指纹库中预先存储的指纹信息匹配，当匹配一致时，控制共享冰箱柜门自动开启。当匹配不一致时，说明用户未录制过指纹信息或注册，提示用户注册。在通过指纹方式开启所述共享冰箱柜门时，同样通过外置的第二摄像头获取用户的人脸信息，如人脸图像，可用以识别对应用户以及用户使用所述共享冰箱中待结算物品信息的依据以及用作提供用户破坏物品等预警依据。

进一步地，所述检测到共享冰箱柜门打开时，启动第一摄像头具体包括：也就是说，

S11，获取用户开启共享冰箱柜门的方式，所述方式包括扫码开启共享冰箱柜门方式和指纹开启共享冰箱柜门方式中的一种；

S12，根据用户开启共享冰箱柜门的方式，获取并验证用户的身份信息；

S13，当用户的身份信息与预先存储的身份信息匹配时，控制共享冰箱柜门自动开启；

当用户开启共享冰箱的方式为扫码开启共享柜门时，通过注册账号或已绑定的第三方应用登陆，获取用户的账户信息，验证数据库中是否存储有该账户信息，若不存在，则说明用户首次扫码，若存在，则立即控制共享冰箱柜门自动开启，无需手动开门。

当用户开启共享冰箱柜门的方式为指纹开启共享冰箱柜门，则在获取到用户的身份信息，如指纹信息，验证该指纹信息与指纹库中预先存储的指纹信息是否匹配，当用户的指纹信息遍历指纹库中预先存储的指纹信息后，均不匹配，则说明用户首次登陆，此时通过语音装置语音提示或显示屏弹窗提示用户进行扫码注册。

也就是说，通过指纹匹配方式进行柜门自动开启，无需手动开门，以便于降低共享冰箱成本，避免人为损坏。

当用户的指纹信息与指纹库中预先存储的指纹信息匹配后，自动获取该指纹信息所绑定的账户信息，并根据所述账户信息，获取用户的人脸信息等相关用户的身份信息。

当然也可通过人脸信息与库中所存储的身份信息中的人脸信息匹配，以确定用户的注册信息，获取用户用于自动扣款的注册账号。

所述二维码位于所述共享冰箱上。

S13，当共享冰箱柜门自动开启时，启动设置在所述箱体内的第一摄像头。

本实施例中，判断当用户取出的物品是多类物品的组合时，称重传感器无法判断其物品具体的种类，因此，通过第一摄像头的图片和识别，来确认物品的种类信息等。

在本实施例中摄像头有两个，一个是外置于共享冰箱的摄像头，即第二摄像头，用于获取用户的人脸信息，并将获取到的人脸信息存储至云端或本地数据库。另一个是内置于共享冰箱箱体内的摄像头，即第一摄像头，用于获取用户取出物品或者放置物品的图像，通过获取的拿取图像和放置图像进行识别，以得到图像中的物品信息。

进一步地，在柜门未启动时，第一摄像头处于不工作状态，这样避免在柜门处于关闭时的长时间工作导致的能耗，延长使用寿命，降低成本。

S20、通过所述第一摄像头以及各储物盒对应的称重组件的识别，获取用户待购买的物品信息。

具体地，用户在选购过程中，会出现如下几种情况：1.仅从储物盒取出；2.从原储物盒取出多数量又全部放回原储物盒同样数量；3从原储物盒取出多数量又部分放回原储物盒同样数量.4.从原储物盒取出的物品全部放回至其他储物盒；5.从原储物盒取出的物品部分放回至其他储物盒；6.从原储物盒取出，但放回等重量不等价的所述共享冰箱原先记录的物品或放回等重量不等价的不属于所述共享冰箱原先记录的物品或放回不等重量的物品至原储物盒或其他储物盒；7.取出了物品，但仅放回相同数量的空包装；8.放置非存储的物品等。

现有技术中只通过一个摄像头识别物品，但是对于出现用户损坏或食用了某物品，而将该物品的外包装放回至冰箱内的情况，现有技术摄像头是无法识别出，因此，本发明改进于现有技术，协同各储物盒中通过称重组件所测量的重量来规避上述现象，以确保商户财产安全。

下面针对上述所列情况，通过本发明的技术方案进一步详细说明予以解决：

首先，第一摄像头在柜门开启至柜门关闭时间段内工作，以检测用户是否存在拿取物品和/或放置物品的操作。

具体地，当检测到用户没有拿取物品或放置物品，则所述第一摄像头发送提示信息至所述共享冰箱，所述共享冰箱接收到所述提示信息控制柜门自动关闭。

而当存在用户拿取物品和/或放置物品的操作时，分以下情况进行确定用户是否存在待购买的物品信息。

S21，若检测到用户只是从若干个储物盒中拿取了若干物品而没有出现放置物品的操作，说明用户所拿取的物品是需要购买的，因此，通过摄像头，获取拿取图像，并识别所述拿取图像，获取拿取图像中物品的种类、数量以及其所属的原储物盒等。然后根据储物列表中获取原储物盒所述物品的单价计算所述物品的价格，生成所述物品的结算信息以作为付款依据。所述结算信息包括物品名称、单价、数量、总价、应付款等。所述拿取图像指的是用户取出物品所形成的图像。

由于有些物品是根据重量及数量来计算物品的价钱，因此，当所识别的物品为称重计价的物品，则根据其所属的储物盒以及物品种类，可在储物列表中查找到该物品种类对应的单个数量的重量和单价，并根据拿取物品对应的数量，计算出对应物品的总重量以及总价，从而生成物品相关结算信息。

S22，若只存在用户放置物品且没有拿取物品，说明用户在开启共享冰箱后将不属于共享冰箱的物品放入至某一储物盒中，此时可知，共享冰箱内储物盒的总重量是增加的，当称重组件测量到的总重量变化为增大时，为异常，此时发送异常信息用以提示用户。所述异常信息可通过识别第一摄像头所捕获的放置图像中物品的相关信息，在识别该物品的相关信息过程中可通过本地数据库或网络数据库进行搜索与匹配。所述放置图像指的是用户放回的物品所形成的图像。

S23，若存在用户既拿取又放置物品，即出现上述罗列的2－7点，此时，通过第一摄像头分别获取拿取图像和放置图像中物品信息以及所属的储物盒，并分别通过所述储物盒对应的各称重组件所测量的重量变化以确定用户将要购买的物品信息。

具体地，通过第一摄像头获取拿取图像和放置图像；分别识别所述拿取图像和放置图像，以分别获取所述拿取图像中的物品、数量以及其所属的原储物盒和所述放置图像中的物品、数量以及其所属的新储物盒；然后判断所述拿取图像中的物品和放置图像中的物品是否均与所述共享冰箱预先记录的物品相匹配：

1.当所述拿取图像中的物品不属于所述共享冰箱预先记录的物品和/或放置图像中的物品不属于所述共享冰箱预先记录的物品时，即存在不匹配时，例如拿不属于所述共享冰箱原先所记录的物品放回至原储物盒或新储物盒中，则发送异常信息至云端并预警提示用户，所述异常信息为识别所述放置图像中不属于所述共享冰箱预先记录的物品相关信息，如物品名称、数量、所放置的储物盒等。其中，所述预警的方式有短信预警、语音预警、声光预警或显示屏显示预警等。

2.当所述拿取图像中的物品和放置图像中的物品均与所述共享冰箱预先记录的物品相匹配时，继续判断放置图像中的物品是否全部属于拿取图像中的物品，a.若放置图像中的物品全部属于拿取图像中的物品的一种或多种，则判断原储物盒重量的变化值与新储物盒重量的变化值是否相等，其中所述原储物盒重量的变化值与新储物盒重量的变化值的获取过程具体为获取原储物盒预先记录的重量，记为原重，然后通过原储物盒对应的称重传感器测量此时原储物盒的重量，记为实重，然后计算出原储物盒重量的变化值，即原重与实重的差值作为原储物盒重量的变化值。同样的，获取新储物盒预先记录的重量，记为原重，然后通过新储物盒对应的称重传感器测量此时新储物盒的重量，记为实重，然后计算出新储物盒重量的变化值，即原重与实重的差值作为新储物盒重量的变化值。

若原储物盒重量的变化值与新储物盒重量的变化值相等，则继续比对放置图像中物品对应的数量与拿取图像中同一种物品对应的数量是否相等，若相等，则说明用户从原储物盒中拿取的物品又放回至原储物盒或新储物盒，此时，判断放置物品所对应的新储物盒是否为原储物盒，若是，无需更新原储物盒的信息，若否，分别更新原储物盒和新储物盒所记录的物品相关信息。若放置图像中物品对应的数量与拿取图像中同一种物品对应的数量存在差值，则发送异常信息至云端，并提示。

需要说明的是，此时，用户放回了不等数量的同一种物品，例如拿了每袋10斤的1袋小米、每袋20斤的1袋小麦，放回了3袋小米，则获取放置图像和拿取图像中数量存在差值所对应的物品信息，根据共享冰箱所记录的物品的单价，计算并生成数量存在差值的物品对应的费用信息。在一些实施例中，将拿取物品的费用信息减去放回物品的费用信息作为待扣款的费用信息。

若原储物盒重量的变化值大于新储物盒重量的变化值，说明用户从原储物盒中拿取的物品中仅放回了部分物品至新储物盒，存在用户待购买的物品信息或者仅放回了同种物品的空包装(即食用了或破坏了)，则通过第二摄像头识别图像，判断用户是否食用了或破坏了物品，若是，则确定所食用的物品对应的物品信息，作为异常信息发送云端并预警。若第二摄像头识别用户没有食用物品或破坏物品，则根据拿取物品所记录的原重、原储物盒重量的变化值、放置物品所记录的原重以及新储物盒重量的变化值共同比对，确定未放回的物品所对应的物品信息，以用作用户待购买的物品信息，并计算所述物品信息对应的费用信息。

若原储物盒重量的变化值小于新储物盒重量的变化值，说明用户放回了多于原来拿的物品所对应的数量，则发送异常信息至云端，并预警提示。

b.若放置图像中所有物品中仅存在部分物品属于拿取图像中的物品，即放回的物品中存在不属于原储物盒所记录的物品信息，例如，拿了2袋小米，放回了1袋小米和1袋花生(花生属于共享冰箱记录的物品，但花生并非是从该共享冰箱取得的)，则通过第一摄像头识别放置图像中属于所拿的物品及其数量和不属于所拿的物品及其数量：

将放置图像中不属于所拿的物品及其数量所形成的信息发送至云端以提示并预警。如放置其他储物盒中的物品到新储物盒时，提示错误。

将放置图像中属于所拿的物品及数量与拿取图像中的同一物品及数量比对，获取具有差异且属于拿取图像中的物品及其差值数量，并根据称重传感器的原储物盒和新储物盒所记录的物品重量，以形成用户待购买的物品信息，根据所记录的物品对应的单价，生成待购买的物品的费用信息，用于结算。

c.若放置图像中所有物品均不属于拿取图像中的物品，即用户所拿的物品没有放回，而放回了其他物品且该其他物品属于共享冰箱所记录的物品，则将放置图像中的物品及数量作为异常信息发送云端，同时对应的协同称重传感器的重量识别，获取所拿的物品重量，并根据拿取图像所识别的物品及数量，生成用户待购买的物品信息。

S30、当检测到共享冰箱柜门关闭时，根据待购买的物品信息通过终端自动扣款。

具体地，检测所述共享冰箱的柜门是否关闭，若关闭，则获取基于步骤S20得到的物品信息，根据所述物品信息以及物品对应的单价，生成物品对应的费用信息，并将所述费用信息发送至终端，所述终端接收到所述费用信息后，根据用户所绑定的支付应用，自动扣款。

为了确保用户信息的准确性，在扣款前，将所述费用信息显示在终端，并提示用户。

需要说明的是，由于通过检测到柜门关闭才进行结算，因此，为了避免柜门无法关闭而漏结算的问题，通过第二摄像头识别用户是否离开所述共享冰箱，当识别到用户离开所述共享冰箱时，所述共享冰箱根据第二摄像头发送的用户以离开柜门的信息，自动控制柜门关闭。

当然，也可通过设定一超时时间，在超过所述超时时间时，所述柜门将自动关闭。

为了更好的理解本发明的技术方案，下面用一具体实施例加以说明，如图2所示：

S110，用户扫码/指纹开启柜门，执行步骤S111；

S111，外部摄像头(即第二摄像头)人脸识别以获取用户的相关信息，然后执行步骤S112；

S112，启动内置摄像头(即第一摄像头)，识别用户是否存在拿取物品和/或放置物品的操作，若不存在，执行步骤S120，若仅存在拿取物品的操作，则执行步骤S130，若仅存在放置物品的操作，则执行步骤S140；若同时存在拿取物品和放置物品的操作，则执行步骤S150；

S120，所述共享冰箱控制柜门自动关闭；

S130，获取所拿取物品对应的拿取图像，然后执行步骤S131；

S131，识别拿取图像，获取所拿的物品信息，然后执行步骤S170；

S140，获取所放置物品对应的放置图像，然后执行步骤S141；

S141，识别所述放置图像，根据数据库或网络库获取所放的物品信息，然后执行步骤S142；

S142，将所述物品信息作为异常信息发送云端，并提示；

S150，分别获取拿取图像和放置图像，然后执行步骤S151；

S151，分别识别所述拿取图像和所述放置图像，得到原储物盒所拿取的物品、数量和新储物盒所放置的物品、数量，然后执行步骤S152；

S152，判断拿的物品和放的物品是否均与共享冰箱预先所记录的物品相匹配，若否，然后执行步骤S153；若是，然后执行步骤S154；

S153，识别不属于所述共享冰箱预先记录的物品相关信息，并将所述物品的相关信息发送至云端，并预警；

S154，判断所放的物品是否全部属于所拿的物品，若是，即所放的物品全部属于所拿的物品中的一种或多种，则执行步骤S157；若所放的物品均不属于所拿的物品，则执行步骤S156；若所放的物品仅部分属于所拿的物品，即所放的物品中存在不属于原储物盒所拿的物品，但属于整个共享冰箱所记录的物品，则执行步骤S155；

S155，将放置图像中属于所拿的物品及数量与拿取图像中的同一物品及数量比对以获取存在差异且属于拿取图像中的物品及其差值数量，形成用户待购买的物品信息，然后执行步骤S170；

S156，根据拿取图像所识别的物品及数量，协同物品对应的重量，生成用户待购买的物品信息，然后执行步骤S170；

S157，计算原储物盒重量的变化值和新储物盒重量的变化值，然后执行步骤S158；

S158，比较原储物盒重量的变化值和新储物盒重量的变化值的大小，若原储物盒重量的变化值大于新储物盒重量的变化值，则执行步骤S159；若原储物盒重量的变化值小于新储物盒重量的变化值，执行步骤S162；若原储物盒重量的变化值等于新储物盒重量的变化值，则执行步骤S163；

S159，通过外置摄像头的识别，判断用户是否食用了或破坏了物品，若是，执行步骤S160，若否，执行步骤S161；

S160，确定所食用的物品对应的物品信息，作为异常信息发送云端；

S161，确定未放回属于拿取的物品信息，用作用户待结算的物品信息，然后执行步骤S170；

S162，发送异常信息至云端，并提示；

S163，比对所放物品的数量是否与所拿的同种物品数量一致，若是，执行步骤S164，若否，执行步骤S162；

S164，判断所放物品的新储物盒是否为原储物盒，若是，执行步骤S170，若否，执行步骤S165；

S165，更新新储物盒和原储物盒所记录的物品信息，然后执行步骤S170；

S170，检测柜门是否关闭，若是，执行步骤S171，若否，执行步骤S112；

S171，根据用户待购买的物品信息，结算所述物品，自动扣款。

实施例二

基于上述基于共享冰箱的购物方法，本发明还相应提供了一种共享冰箱，如图3所示，所述共享冰箱100包括箱体101以及若干设置于所述箱体101内的储物盒01，所述箱体101包括柜门1011，所述共享冰箱100还包括处理器11、存储器22、摄像头以及与各储物盒01一一对应设置的称重组件02，所述摄像头包括第一摄像头332和第二摄像头331，所述第一摄像头332与各称重组件02连接，所述称重组件02、外置摄像头331、柜门1011以及所述存储器22均与处理器11连接。所述称重组件02为称重传感器，图3仅示出了共享冰箱100的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器22在一些实施例中可以是所述共享冰箱100的内部存储单元，例如共享冰箱100的内存。所述存储器22在另一些实施例中也可以是所述共享冰箱100的外部存储设备，例如所述共享冰箱100上配备的插接式U盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器22还可以既包括所述共享冰箱100的内部存储单元也包括外部存储设备。所述存储器22用于存储安装于所述共享冰箱100的应用软件及各类数据，例如所述基于共享冰箱的购物程序代码等。所述存储器22还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器22上存储有基于共享冰箱的购物程序，该基于共享冰箱的购物程序可被处理器11所执行，从而实现本申请中基于共享冰箱的购物方法，具体如上述方法所述。

所述处理器11在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器，手机基带处理器或其他数据处理芯片，用于运行所述存储器22中存储的程序代码或处理数据，例如执行所述基于共享冰箱的购物方法等，具体如上述方法所述。

综上所述，本发明提供了一种基于共享冰箱的购物方法及共享冰箱，方法包括检测到共享冰箱柜门打开时，启动第一摄像头；通过第一摄像头以及各储物盒对应的称重组件的识别，获取用户待购买的物品信息；当检测到共享冰箱柜门关闭时，根据待购买的物品信息通过终端自动扣款。本发明旨在通过内外摄像头的识别以及各称重传感器重量检测，确定用户所取出的物品后根据物品信息自动扣款，无需扫码支付，无需排队付款，提高购买效率，简化操作流程，同时预警提示人为破坏或食用了物品，方便用户。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于共享冰箱的购物方法，其特征在于，所述共享冰箱包括箱体，在所述箱体内设置有若干个储物盒，每个储物盒均设置有一称重组件，各储物盒中存储有若干数量的同类物品，所述基于共享冰箱的购物方法包括以下步骤：

检测到共享冰箱柜门打开时，启动第一摄像头；

通过所述第一摄像头以及各所述储物盒对应的称重组件的识别，获取用户待购买的物品信息；

当检测到共享冰箱柜门关闭时，根据待购买的物品信息，通过终端自动扣款。

2.根据权利要求1所述的基于共享冰箱的购物方法，其特征在于，所述检测到共享冰箱柜门打开时，启动第一摄像头之前包括：

检测到用户的扫码操作时，判断用户是否为首次扫码操作；

当用户为首次扫码操作时，通过注册获取用户的注册信息；

将所述注册信息与第三方应用绑定，生成用户的账户信息并存储。

3.根据权利要求2所述的基于共享冰箱的购物方法，其特征在于，所述将所述注册信息与第三方支付应用绑定，生成用户的账户信息并存储之后包括：

采集用户的指纹信息；

将所述指纹信息与该用户对应的账户信息绑定，并存储。

4.根据权利要求2或3所述的基于共享冰箱的购物方法，其特征在于，所述检测到共享冰箱柜门打开时，启动第一摄像头具体包括：

获取用户开启共享冰箱柜门的方式，所述方式包括扫码开启共享冰箱柜门方式和指纹开启共享冰箱柜门方式中的一种；

根据用户开启共享冰箱柜门的方式，获取并验证用户的身份信息；

当用户的身份信息与预先存储的身份信息匹配时，控制共享冰箱柜门自动开启；

当共享冰箱柜门自动开启时，启动设置在所述箱体内的第一摄像头。

5.根据权利要求1所述的基于共享冰箱的购物方法，其特征在于，所述通过所述第一摄像头以及各储物盒对应的称重组件的识别，获取用户待购买的物品信息具体包括：

通过所述第一摄像头的拍摄以确定是否存在用户拿取物品和/或用户放置物品的图像；

若只存在用户拿取物品且没有放置物品，则获取拿取图像，并识别所述拿取图像，以获取用户待购买的物品信息；

若只存在用户放置物品且没有拿取物品，获取放置图像，并识别所述放置图像以获取所述放置图像中物品的相关信息，将所述物品的相关信息作为异常信息提示用户；

若存在用户既拿取又放置物品，通过所述第一摄像头分别获取拿取图像和放置图像中物品信息以及所属的储物盒，并分别协同通过所述储物盒对应的各称重组件所测量的重量变化以确定用户待购买的物品信息。

6.根据权利要求5所述的基于共享冰箱的购物方法，其特征在于，所述若存在用户既拿取又放置物品，通过所述第一摄像头分别获取拿取图像和放置图像中物品信息以及所属的储物盒，并分别协同通过所述储物盒对应的各称重组件所测量的重量变化以确定用户待购买的物品信息具体包括：

通过所述第一摄像头获取拿取图像和放置图像；

识别所述拿取图像中的物品、数量以及其所属的原储物盒；

识别所述放置图像中的物品、数量以及其所属的新储物盒；

判断所述拿取图像中的物品和放置图像中的物品是否均与所述共享冰箱预先记录的物品相匹配；

当所述拿取图像中的物品和放置图像中的物品均与所述共享冰箱预先记录的物品匹配时，通过所述第一摄像头和称重组件的协同识别，确定用户待购买的物品信息。

7.根据权利要求6所述的基于共享冰箱的购物方法，其特征在于，所述当所述拿取图像中的物品和放置图像中的物品均与所述共享冰箱预先记录的物品匹配时，通过所述第一摄像头和称重组件的协同识别，确定用户待购买的物品信息具体包括：

当所述拿取图像中的物品和所述放置图像中的物品均与所述共享冰箱预先记录的物品匹配时，判断新储物盒所被放置的物品是否全部属于所述原储物盒被拿取的物品；

当新储物盒被放置的物品全部属于所述原储物盒被拿取的物品中的一种或多种时，比较所述原储物盒重量的变化值与新储物盒重量的变化值的大小；

根据比较结果，再次协同所述第一摄像头和称重组件的识别以确定用户待购买的物品信息。

8.根据权利要求7所述的基于共享冰箱的购物方法，其特征在于，所述根据比较结果，再次协同所述第一摄像头和称重组件的识别以确定用户待购买的物品信息具体包括：

当所述原储物盒重量的变化值与所述新储物盒重量的变化值相等时，判断所放置的物品的数量与所拿取的同一种物品对应的数量是否相等；

当所放置的物品的数量与所拿取的同一种物品对应的数量相等时，判断所放置物品对应的所述新储物盒是否为所述原储物盒；

当所放置物品对应的所述新储物盒不是所述原储物盒时，更新所述原储物盒和所述新储物盒中所记录的物品信息。

9.根据权利要求7所述的基于共享冰箱的购物方法，其特征在于，所述根据比较结果，再次协同所述第一摄像头和称重组件的识别以确定用户待购买的物品信息还包括：

当所述原储物盒重量的变化值大于新储物盒重量的变化值时，通过所述第二摄像头识别用户是否食用或破坏了物品；

当识别到用户没有食用或破坏了物品时，则获取属于所拿取的物品且不属于所放置物品的物品及数量，以用于用户的结算。

10.一种共享冰箱，包括箱体以及设置于所述箱体内的若干储物盒，各储物盒分别存储有物品，所述箱体包括柜门，其特征在于，还包括处理器、存储器、第一摄像头、第二摄像头以及与各储物盒一一对应设置的称重组件，所述称重组件、第一摄像头、第二摄像头以及存储器均与处理器连接，所述存储器存储有基于共享冰箱的购物程序，所述处理器执行时用于实现如权利要求1－9任一项所述的基于共享冰箱的购物方法中的步骤。

Images