CN108139317B - 存储结构的对象识别 - Google Patents

Abstract

在一个方面，将描述用于检测对象和/或管理库存的方法。在存储结构处检测对象的运动。获取对象的至少一部分的一个或多个图像。确定对象的运动方向。基于所述一个或多个图像来识别对象。在各种实施例中，基于运动方向确定和对象标识来更新存储结构的库存。

Description

存储结构的对象识别

技术领域

本发明大体上涉及用于识别对象的过程。

背景技术

随着时间的推移，冰箱已经变得越来越复杂，并提供了日益增长的大量特征。然而，一个进展相对有限的领域是库存管理。也就是说，冰箱的用户通常使用器具来存储水果、蔬菜、饮料、剩菜以及各种其他食物、物品或药物。然而，非常容易忘记冰箱里有什么物品、它们何时被放在那里以及某些物品何时会到期或应当被更换。

当然，用户可以依靠手写或输入到智能手机或计算机中的笔记。然而，这种方法很麻烦，这是因为必须手动地且定期地更新记录才能生效。因此，提供这样一种库存管理系统将是有益的，该库存管理系统将允许用户容易地回想冰箱的当前内含物并对冰箱的当前内含物做出反应。

发明内容

技术问题

如背景技术中所指出的那样，对针对诸如冰箱的存储结构的改进的库存管理系统存在持续的需求。许多现代冰箱缺乏这样的系统。也就是说，它们不会向用户提醒或通知冰箱的内含物。因此，用户容易忘记冰箱内包含的物品。结果，易腐食物可能会到期，可能会进行多余的购买，并且可能不能及时补充所需的货物。

技术方案

在一个方面中，将描述用于检测对象和/或管理库存的方法。

在存储结构处检测对象的运动。获取对象的至少一部分的一个或多个图像。确定对象的运动方向。基于所述一个或多个图像来识别对象。在各种实施例中，基于运动方向确定和对象的标识来更新存储结构的库存。还描述了与上述方法相关的各种设备、结构、系统和软件。

存储结构可以包括各种附加特征。在一些实施例中，例如，存储结构包括用于获得与对象相关的更详细的信息的扫描仪。一些方法涉及基于对象的标识、对对象的扫描和/或更新的库存记录来向用户提供信息。

可以在各种各样的存储结构处实现上述方法。在一些实施例中，例如，存储结构是冰箱。然而，应当清楚的是，存储结构可以是用于帮助存储或保存对象的任何类型的结构，包括但不限于柜子、存储容器、库房和仓库。

有益效果

在各种实施例中，对象识别过程用于帮助管理存储结构处的库存。

此外，在各种实施例中，基于运动方向确定和对象标识来更新存储结构的库存。

附图说明

通过参考结合附图给出的以下描述，可以最好地理解本发明及其优点，在附图中：

图1是示出了根据本发明的特定实施例的用于识别对象和管理库存系统的方法的流程图。

图2是示出了根据本发明的另一实施例的用于管理库存系统的方法的流程图。

图3是根据本发明的特定实施例的存储系统的图。

图4是示出了根据本发明的特定实施例的用于扫描对象的方法的流程图。

图5a 和图5b 是根据本发明的各种实施例的具有扫描仪的存储结构的图。

图6a 至图6c 是指示了根据本发明的各种实施例的为用户显示的不同类型的信息的图表。

图7是示出了根据本发明的特定实施例的用于确定存储结构处的库存的方法的流程图。

图8是被配置为执行图7中所示的方法的示例存储结构的框图。

图9是示出了根据本发明的特定实施例的用于使用反馈来校准相机的方法的流程图。

图10是根据本发明的特定实施例的存储结构。

图11a 和图11b 是根据本发明的一个实施例的在特定方向上移动的载体和对象的图。

在附图中，相似的附图标记有时用于表示相似的结构元件。还应当理解的是，附图中的描述是示意性的而不是按比例的。

具体实施方式

如背景技术中所指出的那样，对针对诸如冰箱的存储结构的改进的库存管理系统存在持续的需求。许多现代冰箱缺乏这样的系统。也就是说，它们不会向用户提醒或通知冰箱的内含物。因此，用户容易忘记冰箱内包含的物品。结果，易腐食物可能会到期，可能会进行多余的购买，并且可能不能及时补充所需的货物。

本发明的各种实现方式解决了上述问题中的一个或多个问题。现在参考图1和图3，将描述根据本发明的特定实施例的用于识别物品和管理库存系统的方法。图1是示例方法100的流程图。图3示出了用于执行方法100的示例存储系统300的框图。

存储系统300包括存储结构305和载体310(例如，人的手、结构或其他机构，其将对象313添加到存储结构305或从存储结构305 中移除对象313)。存储结构305包括库存记录数据库315和与存储结构305耦接的一个或多个相机320。应当注意的是，在一些实施例中，库存记录数据库315(也)被存储在通过网络与存储结构305耦接的远程设备(例如，基于云的服务器)处。

在本申请中的这个示例和其他示例中，存储结构305是冰箱，但是应当清楚的是，本申请中描述的方法和技术不限于冰箱。它们可以应用于任何适合的存储结构，包括但不限于冰箱、搁架、柜子、存储容器、仓库或用于存储或保存任何类型的物品的任何其他结构或机构。本文所述的技术还可以应用于诸如食物、药物、工具、产品、材料、容器等任何物品的存储。

在本申请中，载体被理解为用于将对象移入或移出存储结构的任何结构、对象或机构。可以使用各种各样的载体。在所示的实施例中，例如，载体310是将食物或其他物品移入和移出冰箱的用户的手。在其他实现方式中，用户以外的其他事物与存储结构305交互。举例来说，如果存储结构305是仓库，则可以使用卡车、购物车、机器人或手推车来将对象移入或移出存储结构。在各种实现方式中，载体310 可以是但不限于用户、用户的手、车辆(例如，叉车或卡车)、承载工具、机械臂或任何其他适合的机构。

再次参考图1，在步骤105，存储结构305检测对象313的运动。对象313可以是任何适合的对象或物品。举例来说，如果存储结构305 是冰箱，则对象313可以是食物、容器、消耗品、饮料等。如果存储结构305是仓库，则对象313可以是盒子、集装箱、包、多个物品的集合等。在一些实施例中，存储结构305直接跟踪对象313的运动。备选地或附加地，存储结构305通过跟踪另一相关结构(例如，通过跟踪承载对象313的载体310的运动)来间接地跟踪对象313的运动。

在一些实施例中，存储结构313被布置为检测在载体310或对象 313移动之前的动作，例如冰箱门的打开。如在本申请中稍后将讨论的，这样的动作可以触发存储结构305执行其他操作，例如激活一个或多个相机。

跟踪的运动、对象和载体可能会有很大的不同，这取决于特定应用的需要。在所示的实施例中，例如，存储结构305是冰箱，载体310 是手，并且手握着对象313，该对象313是苹果。存储结构305被布置为检测手或苹果何时被移动到冰箱的入口区域。

可以以任何适合的方式来执行运动的检测。在一些实施例中，存储结构与一个或多个运动检测器、相机和/或扫描仪耦接或包括一个或多个运动检测器、相机和/或扫描仪，所述一个或多个运动检测器、相机和/或扫描仪用于帮助检测对象313、载体310和/或其他相关结构和动作的移动或存在。

在步骤110，存储结构305获取对象313和/或载体310的至少一部分的一个或多个图像。这可以以各种方式执行。在一些方法中，例如，在存储结构中存在一个或多个相机320。相机320被布置为捕获载体和/或对象的一个或多个图像。在一些实施例中，通过检测到的运动(例如，如结合步骤105所讨论的，检测到冰箱的入口处的运动或者冰箱门的打开)来触发相机320对图像的捕获。在各种方法中，当检测到的运动的量超过预定阈值时，触发相机。

一些实现方式涉及放置在存储结构305内的多个位置处的多个相机320。因此，当载体310朝向或远离存储结构305移动对象313时，相机320能够从不同的角度捕获载体和/或对象的多个图像。在一些实施例中，相机320被放置在存储结构320的门的内部或外部和/或存储结构305的入口附近或入口处，使得载体310和/或对象313的图像可以刚好在对象开始进入或离开存储结构时被捕获。在各种实现方式中，相机320分布在存储结构305周围，使得它们共同覆盖存储结构的整个入口。在所示的实施例中，例如，相机320被放置为使得冰箱的入口处于其视场325中。

在步骤115，存储结构305确定对象313的运动方向。这可以使用任何适合的技术或技巧来执行。在所示的实施例中，例如，载体310 (例如，手)正朝向冰箱移动对象313(例如，苹果)。相机320捕获手和苹果正在移动时的多个图像(例如，步骤110)。存储结构305对图像进行分析以确定手和苹果正在移动的方向，即朝向存储结构而不是远离存储结构。举例来说，可以在不同的图像帧之间比较载体/手的移动部分的位置差异。基于该比较，存储结构305确定载体/手正在移动的方向。该方向信息被用于帮助确定对象313是正从存储结构305中移除还是正放入存储结构305中。

在图11a 和图11b 中示出了上述方向确定的简化示例。图11a 示出了在特定时间T0时的存储系统300和承载对象313(例如，苹果) 的载体310(例如，手)。相机在T0时捕获对象和手的图像。图11b 示出了在稍后的时间T1时的存储系统300、载体310和对象313。载体和对象现在已经移动至接近冰箱。相机在T1时捕获对象和手的图像。存储系统和/或存储结构从相机获得图像，对在T0和T1时拍摄的图像进行比较，并基于比较来确定载体和/或对象正朝向存储结构305 而不是远离存储结构305移动。可以使用有些类似的过程来确定载体310和对象313何时远离存储结构305移动，即在图11b 取而代之地表示在T0时载体/对象的位置并且图11a 表示在T1时载体/对象的位置的情况下。

返回图1，在步骤120，存储结构305基于在步骤110中捕获的载体310和/或对象313的一个或多个图像来识别对象313。在各种实施例中，存储结构305对图像进行分析和/或处理以帮助隔离对象313。也就是说，如果图像包括载体310、存储结构305和对象313的一部分，则可以至少部分地移除图像中与载体310和存储结构305相对应的元素，以便于对图像中的对象313进行分析。然后，存储结构305 对经处理的图像进行分析以确定对象313的标识。在所示的实施例中，例如，存储结构305拍摄手和对象313的多个图像，对图像中的对象313进行分析，并确定对象313是苹果。

当相机320不能捕获对象313的完整图像时，以上处理技术可能会是有帮助的。考虑这样的示例，即，载体310和对象313分别是手和苹果。手通常会覆盖苹果的一部分，甚至可能覆盖苹果的大部分。因此，相机230仅捕获示出苹果的在手所覆盖的部分之外可见的部分的图像(例如，步骤110)。然后，存储结构305被布置为隔离和/或分析图像中的苹果的可见部分，并且使用它们来识别苹果本身(例如，步骤120)。

可以使用任何适合的技巧或技术来执行上述处理和识别操作。在一些方法中，例如，存储结构305使用边界框检测算法来帮助从背景中分离载体310(例如，图3中的手)和对象313(例如，苹果)。任何已知的对象识别算法都可以用于帮助识别对象313。在一些方法中，存储结构305使用支持向量机(SVM)来识别对象313。可以使用例如稠密尺度不变特征变换(SIFT)特征结合词袋(BOW)策略来训练 SVM。存储结构305还可以使用其他算法(例如，可变形部分描述符 (DPD)和深度学习(DP))来帮助识别对象313。

应当注意的是，识别过程可能并不是有成效的。换句话说，存储结构305可能不能基于捕获的图像来辨别对象313的标识。如果发生这种情况，可以采取各种步骤。在一些实现方式中，存储结构305在显示面板上显示消息，该消息指示识别过程具有问题并提示用户输入。然后，用户可以(例如，通过键入词“苹果”)输入对象313的标识。备选地，存储结构305可以包括麦克风。在来自存储结构305的音频或视觉提示之后，用户然后说出对象的标识。

可以使用不同的技术来识别各种各样的对象。在一些实施例中，例如，对象313是对象的集合(例如，一堆对象、一袋土豆或其他物品等)，而不是单个物品。可以使用任何上述算法来识别对象，但是也可以使用其他技术。例如，在某些情况下，物品包括或显示标签、代码或词，并且识别过程涉及扫描和阅读标签、代码或词。在其他实施例中，对象313(例如，消耗品、包等)包括条形码，并且存储系统中的存储结构305、相机、传感器、扫描仪或其他设备读取条形码并基于条形码来识别物品。

此后，在步骤125，存储结构305基于对象313的标识和对象313 的运动方向来更新库存记录数据库315。在所示的实施例中，例如，存储结构305确定对象313正朝向冰箱移动，并且对象313是苹果。基于这些结论，存储结构305确定苹果已经被添加到存储结构305并相应地更新库存记录数据库315。

应当清楚的是，更新库存的决定可以基于上面未描述的各种其他分析步骤。例如，一个人很可能会将握着苹果的手伸向冰箱，但是不将苹果存放在冰箱中。也就是说，这个人可能会在下一个运动中撤回苹果。在这种情况下，假设苹果被添加到冰箱将是错误的。因此，各种实现方式涉及跟踪用户的手朝向和远离冰箱的多个移动，并针对每个移动确定手是空的还是满的。然后，使用该信息来确定是确实已经将物品添加到冰箱还是从冰箱中扣除物品。稍后将结合图2来描述这种实现方式的更详细的示例。

可以以各种方式来布置库存记录数据库315中的数据。在一些实施例中，例如，数据库315包括存储在存储结构305中的对象的列表。每个对象与一个或多个特性(例如，对象的名称、对象被放入冰箱中的时间/日期)、对象的特征(例如，它是易腐的吗、到期日等)或者任何其他适合的特性相关联。

当新的对象被添加到存储结构305时，存储结构305将上述信息适当地输入到数据库315中。当物品被移除时，与该对象相关联的数据库记录被移除。备选地，该对象在数据库315中被标记为已移除的，但是相关联的记录被保存在数据库315中。存储结构可以使用这样的记录来确定用户的消耗趋势，即特定物品多久被更换或从冰箱中移除。

可选地，在步骤130，存储结构305基于更新的库存来布置信息的显示。在一些实施例中，存储结构305包括基于更新的库存向用户提供信息的显示面板/显示屏或与该显示面板/显示屏耦接。在其他实施例中，存储结构305通过网络向显示信息的设备发送消息。该设备可以是任何适合的计算设备或装置，包括但不限于台式计算机、膝上型计算机、智能手机、智能手表、智能眼镜等。

可以显示各种类型的信息。举例来说，如果对象已被添加到存储结构或已从存储结构中移除，则存储结构305可以显示库存记录数据库已被相应地更新的确认。如果对象是易腐食物，则存储结构305可以显示指示应当在截止日期之前食用食物的提醒。稍后可以向用户的设备发送提醒和/或在截止日期之前将提醒显示预定时间。在一些实施例中，冰箱显示可以基于冰箱中存储的物品制作的一个或多个食谱。例如，如果香蕉刚刚被放入冰箱，则存储结构可以建议用于制作香蕉面包或香蕉奶昔的食谱。

接下来参考图2，将描述根据本发明的另一实施例的用于检测运动和管理库存的方法200。可以使用图3所示的存储系统305来执行方法200。它也可以与图1的方法100中描述的操作中的任何一个、一些或全部组合。该示例性方法200包括在图1的方法100中没有具体提及的各种操作，并提供了与运动跟踪和库存调整相关的附加细节。

在步骤203，存储结构305可选地检测存储结构305的门、闩锁或封条的打开。该检测步骤可以帮助指示对象313将很快从存储结构 305中移除和/或放入存储结构305中。在一些实施例中，检测到开门触发相机320或传感器的激活，相机320或传感器可用于检测或跟踪运动(例如，如结合图1的步骤110、图2的步骤205、210和215所讨论的)。在一些实施例中，当关门时，相机320被去激活、断电和/ 或处于待机状态。然后，当开门时，相机320被激活，并且当再次关门时，相机被再次去激活。这种方法可以帮助减少相机的功耗。

在步骤205，存储结构305检测载体310的运动。在该示例方法中，假定存储结构305是冰箱并且载体310是用户的手，但是该方法的步骤可以应用于任何适合类型的存储结构或载体。在所示的实施例中，冰箱(例如，存储结构305)被布置为检测手在冰箱入口处或附近的运动或存在。可以使用任何适合的运动感测技术来检测手。

在该示例中，假定用户与冰箱的交互通常可涉及两个基本运动。首先，用户的手朝向冰箱移动。此后，用户的手远离冰箱移动。(在下文中将这些运动分别称为靠近运动和撤回运动。)该示例中的冰箱被布置为跟踪两种类型的运动。可以使用任何适合的技术或系统来跟踪这些运动(例如，结合图1的步骤105至110和图3所描述的任何相机或传感器)。

存储结构对在冰箱入口处或附近的上述用户运动中的每一个进行分析。然后，它确定每个运动正在沿哪个方向移动(步骤210)，并且针对每个运动，确定在运动期间对象313是否被握在手中(步骤215)。如果对象313被握在手中，则对对象313进行识别(步骤215)。可以使用结合图1的步骤115描述的任何操作来执行针对每个运动的方向确定。

可以使用结合图1的步骤120描述的技术中的任一种来执行以下操作：确定对象313是否在手中，并且如果是，则确定对象313的标识。在一些实施例中，例如，一个或多个相机315捕获手的至少一部分的图像。然后，存储结构对图像进行分析以确定手是否正握着对象 313。如果手握着对象313，则对象313的一部分可能被包括在图像中的至少一些中。如果确定手正握着对象，则使用结合图1的步骤120 所描述的技术来识别对象313。

涉及确定运动方向、手握着的对象的存在和对象的标识的步骤 210和215可以导致四种结果。也就是说，基于这些步骤，存储结构305确定用户的运动和动作与以下四种模型之一相匹配：

空入、空出(步骤220)。在这种情况下，存储结构305检测到两个连续的运动(步骤205)。存储结构305确定第一运动是靠近运动(步骤210)。另外，存储结构305还确定在该运动期间，手是空的(步骤 215)。第二运动被确定为撤回运动(步骤210)。存储结构确定在第二运动期间手也是空的(步骤215)。

非空入、空出(步骤225)。在这种情况下，存储结构305检测到两个连续的运动(步骤205)。存储结构305确定第一运动是靠近运动 (步骤210)。另外，存储结构305还确定在该运动期间，手握着对象 313(步骤215)，该对象被识别。第二运动被确定为撤回运动(步骤210)。存储结构确定在第二运动期间，手是空的(步骤215)。

非空入、非空出(步骤230)。在这种情况下，存储结构检测到两个连续的运动(步骤205)。存储结构305确定第一运动是靠近运动(步骤210)。另外，存储结构305还确定在该运动期间，手握着对象313 (步骤215)，该对象被识别。第二运动被确定为撤回运动(步骤210)。存储结构确定在第二运动期间，手握着对象(步骤215)，该对象被识别。

空入、非空出(步骤235)。在这种情况下，存储结构检测到两个连续的运动(步骤205)。存储结构305确定第一运动是靠近运动(步骤210)。另外，存储结构还确定在该运动期间，手未握着对象(步骤 215)。第二运动被确定为撤回运动(步骤210)。存储结构305确定在第二运动期间，手握着对象313(步骤215)，该对象313被识别。

存储结构305确定上述四种模型中的哪一个与用户的运动和动作相匹配。基于该确定，存储结构305随后更新库存记录数据库315(步骤240)。调整数据库315的方式取决于所选择的模型：

空入、非空出：这意味着用户已经进入冰箱并取出识别的对象。因此，存储结构305更新库存记录数据库315以指示所识别的对象已经从存储结构305中移除。

非空入、空出：这意味着用户已经将所识别的对象放入冰箱中并且撤回空的手。因此，存储结构305更新库存记录数据库以指示所识别的对象已经被添加到存储结构305。

空入、空出：这意味着用户已经将空的手伸向冰箱并从冰箱撤回空的手。因此，存储结构不改变库存记录数据库，这是因为库存还未改变。备选地，存储结构305更新库存记录数据库315以包括指示动作在特定时间发生和/或库存还未改变的记录。

非空入、非空出：这意味着用户的手在握着识别的第一对象的同时进入冰箱。此后，用户的手在握着识别的第二对象的同时从冰箱中撤出。在这种情况下，存储结构确定第一对象和第二对象是否相同。如果第一对象和第二对象相同，则假定库存还未改变和/或库存记录数据库被更新以记录动作。

如果第一对象和第二对象被识别(步骤215 )并且发现是不同的，则这意味着用户将第一对象放入冰箱中，并从冰箱中取出不同的第二对象。然后，存储结构305 相应地更新库存记录数据库315(即，以指示从存储的库存中移除第二对象并将第一对象添加到库存)。

此后，存储结构305可选地基于更新的库存来显示信息(步骤245 )。可以使用结合图1的步骤130描述的任何特征来执行该步骤。

图1和图2的方法100和200的一些实施例的优点在于可以对对象进行分析而不需要将对象握着静止不动一段时间。也就是说，对对象进行识别并且确定对象的运动方向(例如，图1的步骤105 至125 和/或图2的步骤205 至240)，而不需要用户/载体停止移动对象，直到载体实际上将对象留在存储结构内为止。换句话说，从最初检测到载体/对象的运动的时间直到对象被放置到存储结构305 中的时间，载体和/或对象可以处于连续运动。然而，在其他实施例中，载体310或用户可以握着对象静止不动以便于上述确定。

接下来参考图4和图5a ，将描述用于对对象进行扫描并基于扫描提供信息的示例方法400。在所示的实施例中，使用图5a 中所示的存储结构305 来实现方法400，该存储结构与图3所示的存储结构305 相同。也就是说，在各种实施例中，图5a 的存储结构305 包括图3 中所示的任何或全部特征/组件，即使在图5a 中没有具体示出这样的特征/组件。另外，方法400的步骤中的任何一个、一些或全部可以在图1的方法100中的步骤中的任何一个期间、之后或之前执行。

在图5a 中，存储结构305包括扫描仪505。载体310(例如，人的手)正握着被放置在扫描仪505附近的对象313(例如，苹果)。在该特定的示例中，存储结构305是冰箱，并且扫描仪505被放置在冰箱上、附近和/或内，但是这不是必需的，并且如前所讨论的，存储结构305可以是用于保持物品的任何适合的结构。

首先，在步骤405，存储结构305检测对象313的存在。在所示的实施例中，例如，载体310(例如，用户的手)将对象313(例如，苹果)放置在扫描仪505的附近。当对象313进入扫描仪505的范围时，存储结构305和/或扫描仪505检测对象313。在存储结构305内、上或附近的任何适合的技术或设备可以用于检测对象，例如接近传感器、图像传感器、光传感器、相机等。对对象的存在的检测可以与图 1的步骤105同时发生和/或使用与图1的步骤105中的硬件或技术相同的硬件或技术中的任何一个。

在步骤410，响应于对象313的检测，扫描仪505对对象313进行扫描。扫描仪505可以使用任何适合的扫描技术。在所示的实施例中，例如，扫描仪505是近红外(NIR)扫描仪。一些扫描仪实现方式朝向对象313投射特定波长(例如，750nm到2500nm)的光。扫描仪505包括接收和分析反射光的接收机。反射的光可以揭示与对象 313的分子结构相关的信息。可以使用任何已知的化学计量学和/或 NIR光谱学方法来扫描和分析对象313。

存储结构305可以显示消息或提供音频提示以指示扫描何时完成。在一些实施例中，例如，载体310或用户可能需要在扫描仪505的前方握着对象313达至少预定时间段，以使扫描成功完成。当扫描成功完成时，存储结构305可以显示针对该效果的消息。备选地或另外地，存储结构305可以发出相关联的音频提示(例如，话音、音调、铃声等)以指示已经成功地完成了扫描。在其他实施例中，载体310不需要在固定的位置握着对象313以进行扫描。也就是说，扫描在载体310 在运动并且载体310正在将对象313移动到它在存储结构305中的搁置位置或从搁置位置移走的同时发生并且完成。

在步骤415，存储结构305从在步骤310中执行的扫描过程获得扫描数据。对数据进行处理以获得与对象的特性(例如，其质量、特征、状况等)相关的有用信息。在一些实施例中，数据由存储结构305 本身处理。在其他实施例中，存储结构305将扫描数据发送到远程设备(例如，基于云的服务器)以进行处理。然后，外部设备将信息(例如，与对象相关的质量信息)发送回存储结构305。

可以使用任何适合的技术来执行扫描数据的处理。在一些实施例中，例如，识别引擎(例如，在远程设备/服务器中或在存储结构305 处)从扫描数据获得所选择的特征(例如，与期望的感兴趣区域相关的数据，诸如糖含量、卡路里、成熟度等)。将这些特征输入到统计模型中，该统计模型产生期望的质量信息(例如，糖含量、卡路里、成熟度水平等的测量)

上述的扫描和分析操作可以产生与对象相关的各种不同类型的质量信息。在一些实施例中，可以获得例如与食物质量相关的信息(例如，细菌检测、成熟度、预期到期日等)和/或与食物类型相关的信息 (例如，将对象识别为水果、蔬菜、酒、油、玉米、肉、发酵食物等)。如果对象不是食物，则可以获得与其状况或成分相关的信息(例如，用于制作对象的材料、对对象造成的损坏程度等)。

在步骤420，存储结构确定将什么质量/特性信息显示给用户、提供给应用或以其他方式揭示。如稍后将在本申请中更详细讨论的，这可以根据对象的标识(例如，如上所述，在图1的步骤120、图2的步骤215中确定的和/或使用扫描过程本身所确定的)而变化。对象的不同特征(这取决于对象是什么)可能是令人感兴趣的。例如，如果对象是水果，则可能需要糖含量和/或成熟度信息。如果对象是一块肉，则可能需要新鲜度信息。稍后在本申请中结合图6a 至图6c 提供这种方法的附加示例。

此后，存储结构305显示所确定的质量/特性信息(步骤425)。举例来说，可以在与存储结构305耦接的显示屏上显示这样的信息。另外地或备选地，存储结构305可以将质量/特性信息发送到外部设备 (例如，智能手表、手机、智能眼镜、计算机、膝上型计算机等)以供用户查看。

根据存储结构305的性质，获得或显示的质量信息的类型可以广泛地变化。例如，如果存储结构305是冰箱，则质量信息可以涉及食物质量、新鲜度和营养(例如，卡路里、成熟度、维生素和矿物质含量、脂肪和纤维水平等)。如果存储结构305是用于存储非食物物品的柜子或搁架，则质量信息可以涉及对象的构造的质量，该对象可以是某种类型的产品或设备。

例如，考虑用于存储包括如上结合方法400所述的扫描仪505的电子产品的柜子的示例。然后，用户将损坏的手机放置在扫描仪附近。基于手机的扫描，与柜子耦接的显示面板然后产生指示手机中的裂缝或损坏的严重程度的信息。

应当清楚的是，在一些实施例中，存储结构305还可以提供基于所确定的质量信息的附加推荐或服务供应。在上面的示例中，例如，存储结构305可以推荐可以修理手机的地方或者考虑到所确定的对手机造成的损坏的手机的可能转售价格。如果发现食物具有特定的新鲜度水平，则存储结构305可以显示适合于该新鲜度水平的推荐食谱。举例来说，如果食物对象被识别为牛肉或鱼，并且对其进行扫描以确定其新鲜度水平超过预定义的阈值，则推荐仅涉及略微烹饪牛肉(例如，三分熟)或者吃生鱼的食谱。在另一个示例中，如果食物对象是菠菜并且对其进行扫描以确定其新鲜度水平超过预定义的阈值，则推荐菠菜沙拉。否则，对于更萎蔫的菠菜，推荐菠菜汤。

存储结构能够提供各种有用的推荐，特别是当存储结构能够执行图1的方法100和图4的方法400二者时。在各种实施例中，这样的存储结构因此包括一个或多个相机以及扫描仪。

考虑以下涉及具有上述能力的存储结构305的示例。在该示例中，载体310(例如，在这种情况下，用户)将对象放入存储结构305(例如，冰箱)中。检测该运动(例如，图1的步骤105和/或图2的步骤 205)，捕获对象313或用户的一个或多个图像(例如，图1的步骤110)，并且确定运动方向(例如，图1的步骤115和/或图2的步骤210)。对对象进行识别(例如，图1的步骤120和/或图2的步骤215)。然后，用户将对象313放在与存储结构305耦接的扫描仪505的前面。对对象313进行检测和扫描，并且获得扫描数据(例如，如图4的步骤405 至415中所述)。应当注意的是，步骤405、410和/或415也可以与图 1的步骤105至120和图2的步骤205至235基本上同时执行。

在该示例中，在进行标识和扫描确定之后，存储结构305基于这两个确定向用户提供推荐。也就是说，根据对象的标识(例如，如图 1的步骤120和图2的步骤215中所确定的)和对象的质量/特征(例如，如图4的步骤410、415和420中所确定的)，向用户显示的信息不同。图6a 至图6c 是指示这种方法的示例的图表。每个图表的Y 轴表示使用上述扫描过程确定的可能的质量特征/信息。每个图表的X 轴表示对象313的可能标识(例如，如在图1的步骤120和/或图2的步骤215中确定的)。应当清楚的是，图表仅仅表示一些示例性实现方式，并且其他实现方式可以偏离图中所示的实现方式。

在图6a 中，图表601指示所显示的信息根据对象313是否被识别为水果而不同。如果确定对象是水果，则基于获得的扫描数据显示糖含量信息(结果605)。如果对象313不是水果，则不显示糖含量信息，而是可能可以基于扫描数据显示其他营养信息(例如，纤维、脂肪或含热量)(结果610)。这是基于这样的假设：用户可能对水果中的糖水平特别感兴趣，糖水平可以指示其成熟度或甜度，但是如果对象不是水果(例如，取而代之地，是一块肉或粮食)，则对糖含量信息不太感兴趣。

在图6b 中，图表603指示所显示的信息根据食物对象是否被识别为发酵食物(例如，酸奶或泡菜)以及还根据扫描是否指示检测到细菌而变化。结果615指示当食物发酵并且存在细菌时，显示细菌计数。这是因为用户可能有兴趣了解发酵食物的细菌计数，因为高计数可能指示更大的健康益处。然而，如果食物没有发酵并且检测到细菌，则显示警告，这是因为这可能指示食物变质(结果620)。如果对象被识别为发酵食物并且使用扫描没有发现细菌，则显示不同的警告，该警告指示发酵食物不包含健康的细菌(结果625)。最后，如果对象被识别为不是发酵食物并且没有检测到细菌，则显示这样的信息，该信息指示没有发现细菌并且食物看起来是新鲜的、卫生的和/或食用安全的(结果630)。

在图6c 中，图表606指示所显示的信息根据食物对象是否处于特定的状态或状况而变化。图6c 涉及这样的特定示例，即，所显示的信息基于食物对象是否被识别为当过熟时可食用的食物的类型(例如，香蕉)以及还根据扫描是否指示食物对象是过熟的(即，具有超过预定阈值的成熟程度或成熟水平)而变化。结果635指示如果对象 313具有上述食物类型(例如，香蕉)并且也是过熟的，则显示尝试利用成熟度的食谱(例如，香蕉面包食谱)的推荐。如结果640中所指示的，如果食物对象具有上述食物类型并且它不是过熟的，则显示不同的消息(例如，关于食物对象的营养信息、关于香蕉益于独自食用而无需进一步准备或烹饪的指示、使用非过熟的香蕉的食谱(例如，香蕉圣代)等)。如果食物对象不具有上述类型并且被确定为过熟的，则显示警告消息，该警告消息指示食物对象可能过度成熟(结果645)。如果食物对象不具有上述类型并且它不是过熟的，则显示指示与食物相关的营养信息或其他信息的消息(例如，卡路里计数)、指示食物相当新鲜和/或不太成熟的消息等(步骤650)。

另一种方法涉及根据不同类型的食物的到期日推荐。例如，如果食物对象是奶酪，则可以基于细菌水平和/或某些化学材料给出估计的到期日。另一种可能的应用涉及基于冰箱中已知的未加工食物材料以及它们的新鲜度的食谱推荐。例如，如果一块三文鱼被扫描，则推荐系统可以建议使用芦笋做烤三文鱼。该建议基于这样的事实，即，用户在冰箱里有三文鱼和芦笋二者，并且芦笋几乎已经过期。

还可以在存储结构305处基于(例如，使用图1和图2的方法100 和200获得的)库存数据和(例如，使用图4的方法400获得的)质量信息的组合来显示各种其他类型的信息。考虑这样的示例，即，存储结构305是冰箱，该冰箱记录由用户取出(食用)和由用户放入的食物的标识以及与这些动作相关联的时间/日期。另外，对放在冰箱中的每个食物进行扫描，因此每个食物对象的卡路里含量是已知的并且与食物对象的标识相关联地记录在库存记录数据库315中。此外，通过扫描过程来确定与每个食物对象相关的维生素/矿物质含量或营养统计数据，并且该数据还与食物对象的标识相关联并存储在数据库中。

因此，通过对上述信息进行分析，存储结构305可以估计特定用户所食用的卡路里以及该食用的营养成分。在一些实施例中，基于该分析，存储结构305提供各种类型的信息。举例来说，存储结构305 显示或传送对用户在他或她的上次进餐中或在特定时间段(例如，每天、每周或每月)食用了多少卡路里加以指示的信息。备选地，存储结构305显示或传送指示太多特定食物(例如，啤酒、薯片等)正被食用的信息。在一些实现方式中，存储结构305显示指示用户已经在食用的维生素和矿物质的统计数据，并且提出与将解决该食用中的维生素或矿物质缺乏的食谱或食物相关的推荐。举例来说，基于上述分析，存储结构305可以确定用户每周食用的欧米加3太少，因此可以显示指示该问题和/或建议食用更多的油性鱼类或欧米加3补充物的消息。

上述示例中的许多示例是指与冰箱耦接的扫描仪505，但这不是必需的，并且扫描仪505可以放置在任何适合的存储结构中或与任何适合的存储结构耦接。图5b 是示出了作为微波炉或传统烤箱的存储结构510的图。存储结构510包括扫描仪505和显示面板530。在该示例实施例中，扫描仪被放置在发生烹饪的微波的内部隔室中。

烤箱的示例性用法可以描述如下。用户将食物对象515放入烤箱中。烤箱检测对象515的存在(图4的步骤405)。烤箱中的扫描仪505 对对象进行扫描(步骤410)。获得扫描数据(步骤415)。在一些实施例中，烤箱还被布置为(例如，使用结合图1的步骤110和120描述的任何技术)识别对象515。烤箱基于对象的扫描和/或识别为用户确定与对象515相关的质量信息(步骤420)(例如，如结合图6a 至图6c 所讨论的)。在一些实施例中，烤箱响应于用户输入然后加热和烹饪食物对象。可选地，在烹饪完成之后重复上述检测、扫描、识别和/或质量信息确定步骤。因此，烤箱可以获得指示烹饪对食物对象的影响的质量信息和/或将其与在烹饪之前获得的质量信息进行比较。举例来说，基于这样的质量信息，烤箱的显示面板530可以显示各种消息，例如，食物被良好烹饪、食物未被烹饪、食物应当在特定温度下在特定时间段内被烹饪更长的时间、与食物相关的营养信息等。

接下来参考图7，将描述用于跟踪存储结构中的库存的示例性方法700。通常，方法700涉及用于捕获存储结构800(例如，冰箱)的内部的图像以确定其库存的技术。可以使用图8所示的存储结构800 来执行该方法700。存储结构800包括门805、光发射机810、光接收机815、控制器820、一个或多个相机830和库存记录数据库850。存储结构还可以包括任何特征并且执行结合图1至图6c 所述的任何操作。

首先，在步骤705，存储结构800检测门805的关闭。可以以各种各样的方式来检测门的关闭。在一些实施例中，例如，光发射机810 被放置在门805上，使得其朝向存储结构800的内部发射光。还存在放置在存储结构800的基体840上的光接收机815。(在一些实施例中，光发射机810和光接收机815的位置被颠倒，即，发射机在门上而接收机在基体上)。当打开或关上门805时，接收机815从光发射机810 接收的光量发生变化。也就是说，由接收机815接收的光量基于门805 相对于存储结构800的基体840(或其他选择的表面)的角度A而变化。应当清楚的是，可以使用任何技术或传感器来检测门805的关闭和/或角度A。在其他实施例中，使用基于接近度的传感器、基于电位计的传感器或软件控制的传感器。

当接收机815接收到的光量或角度A达到特定的阈值和/或范围时，接收机815向控制器820发送信号。然后，控制器820触发一个或多个相机830的激活，一个或多个相机830捕获存储结构的内部的一个或多个图像(步骤710)。在各种实现方式中，相机830被放置在门上，使得在触发时，它们具有存储结构800的内含物的广阔而清晰的视图。也就是说，相机830捕获存储结构800的内部中的多个位置 (例如，水果/农产品隔间、顶部搁架、中间搁架、下部搁架、蛋容器等)的图像以及处于那些位置的任何对象。

一旦捕获了存储结构800的内含物的图像，存储结构800就对图像进行分析并识别图像中的一个或多个

对象(步骤320)。这可以以各种各样的方式来执行。在一些实施例中，存储结构800首先校正图像中的失真，然后识别图像中的各个对象。另外，各种实现方式涉及基于图像来确定每个对象在存储结构中的相对位置

。该位置和标识信息可以被存储在库存记录数据库850中。(库存记录数据库850可以与图3的数据库315相似或相同。)举例来说，在一些方法中，以指示存储结构800中的每个对象的位置、时间和标识信息的图形的形式存储信息。

应当注意的是，在各种实施例中，上述图像捕获和分析操作随时间重复，例如，每当存储结构800的门805关闭时。因此，存储结构 800和/或数据库850可以存储指示冰箱中的对象的消失和出现的历史信息。基于该历史信息，即使从相机的视场来看特定对象被另一个对象部分地阻挡，存储结构800有时也可以确定该特定对象的标识。例如，考虑这样的示例，即，历史信息指示牛奶总是被放置在特定位置并经常被更换。基于方法700的步骤705和710，存储结构800确定新的对象已经被放在该相同的位置中，并且在所捕获的图像中不能清楚地看到(例如，步骤710和715)。然后，存储结构800基于历史信息来确定新的对象是牛奶。

在步骤715，存储结构800更新库存记录数据库850以反映对存储结构的库存进行的任何改变。更新基于图像和对图像中识别的对象的任何改变的检测(例如，步骤710和715)。为了使用简单的示例，在过去捕获的图像(例如，步骤710)可以指示牛奶盒和三个果汁瓶在冰箱的门上的搁架中。之后，再次捕获图像(例如，步骤710)，该图像指示在该位置处牛奶盒缺失并且三个果汁瓶仍然在搁架上。基于图像之间的差异，存储结构800更新库存数据库850以指示存储结构不再包含牛奶盒。

在步骤720，存储结构基于存储在数据库850中的库存数据和/或上述更新在显示面板上显示信息。另外地或备选地，从存储结构800 向外部设备(例如，智能手机、智能眼镜、智能手表、膝上型计算机或台式计算机等)发送信息并在外部设备中显示该信息。

可以显示各种不同类型的信息。在一些实施例中，显示在步骤710 中捕获的图像的至少一部分。考虑这样的示例，即，用户最近将桔子放在冰箱(例如，存储结构800)中。冰箱捕获冰箱中多个对象(包括新放置的桔子)的图像。冰箱将新图像与较早拍摄的图像进行比较，并确定刚添加了桔子。然后，冰箱显示图像的一部分(例如，仅显示桔子的部分，而不显示图像中的其他对象)。另外，还可以显示适合的消息(“你在你的冰箱里添加了桔子。库存已更新”)。也可以在该步骤处执行结合图1的步骤130和图2的步骤245描述的显示操作中的任何一个。

有时存储结构800中的相机830可以提供次优图像，如果相机830 的控制参数被调整，则可以改善这种次优图像。接下来参考图9，将描述示出了用于调整相机830的控制参数的方法900的流程图。通常可以与图7的方法700同时和/或结合图7的方法700来执行图9的方法900。在步骤905，支撑结构800检测引起相机830捕获图像的触发事件(例如，门的关闭)。可以通常与图7的步骤705相同或相似地执行步骤905。

在图9的步骤910，支撑结构800校准相机830的控制参数。可以校准任何适合的控制参数，包括但不限于曝光、自动对焦(开/关) 和帧速率。在步骤915，存储结构800对所捕获的图像进行分析以确定其是否具有足够的质量。质量可能以各种方式而不足。例如，图像可能不能覆盖存储结构800中的足够范围的对象/位置。图像可能曝光过度或可能需要自动对焦。在一些情况下，图像是次优的，这是因为当门805已经达到不同的角度时(如结合图7的步骤705和图8所讨论的)应当捕获图像。

如果质量不足，则向步骤905和910提供反馈。也就是说，视情况对步骤905的触发事件(例如，门角度阈值)进行调整和/或对一个或多个其他相机控制参数(步骤910)进行改变。因此，在将来，相机830将使用调整的参数和设置来捕获图像。一旦相机已经产生了适合的图像，就在步骤920中可选地显示该图像(例如，如结合图7的步骤725所讨论的)。

各种条件或因素可能会触发相机控制参数的调整。举例说明，在一些实施例中，存储系统、存储结构800、相机830和/或传感器检测环境光水平。然后，基于检测到的环境光水平来调整相机控制参数。这可以帮助提高使用相机捕获的图像的质量。

接下来参考图10，将描述根据本发明的特定实施例的存储结构 1000。存储结构1000(可以是本申请中描述的任何存储结构(例如图 3、图5a 和图8的存储结构305/800))包括处理器单元1005(处理器单元1005包括一个或多个处理器)、存储单元1010、显示单元1020、网络接口单元1015、相机单元1035、扫描仪单元1030、库存控制模块1025和库存记录数据库1040。存储结构1000还可以包括结合图3、图5a 、图5b 和图8所述的设备和特征中的任何一个，例如多个内部搁架和隔室、显示屏、门、一个或多个相机或运动跟踪传感器、光发射机、光接收机、扫描仪等。存储结构1000可以是被布置为容纳对象的任何结构或设备，包括但不限于冰箱、柜子、存储容器、仓库等。

存储单元1010是适合于存储数据或可执行计算机代码的任何硬件。存储单元1010可以包括但不限于硬盘驱动器、闪存驱动器、非易失性存储器、易失性存储器或任何其他类型的计算机可读存储介质。在本申请中描述的用于存储结构或冰箱的任何操作或方法(例如，分别为图1、图2、图4、图7和图9的方法100、200、400、700和900) 可以以可执行计算机代码或指令的形式存储在存储单元1010中。处理器单元1005对计算机代码或指令的执行使得存储结构1000或与存储结构耦接的适合设备执行前述操作或方法中的任何一个。

网络接口单元1015包括适合于使存储结构1000能够与外部设备通信的任何硬件或软件。在一些实施例中，例如，存储结构1000将消息和信息传送给外部设备(例如，智能手机、智能眼镜、智能手表等) 以供显示(例如，如结合图1的步骤130所讨论的)。另外，存储结构 1000可以将图像和传感器数据发送到外部设备(例如，服务器)，使得对该数据的一些或全部处理(例如，图1的步骤115和120)在外部设备处发生。可以使用网络接口单元1015将使用本文描述的技术获得的任何信息发送到外部设备/服务器，使得其可以被其他设备访问。网络接口单元2015被布置为使用任何适当的网络(例如，LAN、互联网等)或通信协议(例如，蓝牙、WiFi、NFC、IEEE 802.15.4、IEEE 802.11等)来发送数据和接收数据。

相机/传感器单元1035包括可以被放置在存储结构处、附近、上和/或内部的一个或多个相机、传感器或其他监视设备。相机/传感器被布置为使用本文描述的任何技术(例如，如结合图1的步骤110、图2的步骤205、图4的步骤405、图7的步骤705和710和/或图9 的方法900所述的)来操作。

扫描仪单元1030包括一个或多个扫描仪。扫描仪被布置为获得与扫描的对象相关的详细信息。可以使用任何适合的扫描仪。在一些实施例中，例如，扫描仪是近红外(NIR)扫描仪。扫描仪被布置为使用本文所述的任何扫描技术(例如，图4的方法400)来操作。

库存控制模块1025是用于执行与存储结构1000中的库存的监视或更新有关的操作的任何硬件或软件。模块1025被布置为执行或协调与图像和/或传感器数据的收集和分析、对象和方向移动的识别、对象的扫描以及库存记录数据库的相应更新有关的任何操作，例如，结合图1、图2、图4和图7的方法100、200、400和700所述的任何操作。在各种实施例中，库存控制模块1024协调并操作相机单元1035、扫描仪单元1030和/或存储结构1000的其他特征和设备。

库存记录数据库1040是用于存储与存储结构1000的库存有关的任何信息的任何硬件或软件。在一些实施例中，例如，数据库1040 包括存储结构1000中的所有检测到的对象的当前库存。与每个对象相关的附加信息也可以被存储在数据库1040中，例如，对象的名称、对象被放在存储结构中的时间和/或日期、对象的到期日、以及涉及对象的特征、类别或其他笔记等。数据库1040还可以包含历史信息。也就是说，在各种实现方式中，库存记录数据库在存储结构中存储库存随时间的历史记录。任何适合的数据库技术或硬件都可以用于存储记录。可以使用库存记录数据库1040来执行涉及在本文中描述的库存记录数据库的任何操作。

显示单元1020是被布置为为用户显示信息的任何硬件或软件。可以使用任何适合的显示技术来显示信息，例如，触敏(电容)屏、电子墨水显示器、LCD或OLED显示器等。存储结构1000可以在显示单元1020处显示本文描述的任何类型的消息或信息，例如，如结合图1的步骤130、图2的步骤245、图4的步骤425和图7的步骤720 所讨论的。应当注意的是，在各种实现方式中，(也)通过来自与存储结构1000耦接的扬声器的音频陈述向用户传达上述信息中的任何一个。在又一些实施例中，存储结构1000被布置为经由有线或无线网络将任何这样的消息或信息发送到外部设备(例如，智能手表、智能电话、计算机眼镜、膝上型计算机、计算机等)以进行显示。

本申请描述了用于收集数据(例如，图像、扫描数据等)、对数据进行分析、然后基于分析和数据来更新库存记录的各种操作。在本文描述的一些示例中，存储结构执行这些步骤。然而，应当注意的是，数据的收集和处理也可以在诸如服务器等的远程设备处发生。也就是说，在各种实现方式中，存储结构获取数据(例如，图1的步骤105 和110；图2的步骤205和215；以及图4的步骤405、410和415)。此后，存储结构通过适合的网络(例如，内联网或因特网)将数据发送到远程设备(例如，云服务器)。然后，远程设备对数据进行分析(例如，图1的步骤115和120、图2的步骤210至235、图4的步骤420)。在各种实施例中，远程设备然后将分析的结果(例如，运动方向、对象标识、库存记录等)发送到存储结构以进行存储。存储结构使用所接收的结果来更新本地库存记录数据库(例如，图1、图2和图7的步骤125、240和715)。备选地，库存记录数据库被存储在远程设备处，并且在该远程设备中发生更新。也就是说，在一些方法中，在远程设备处执行与库存相关的数据的所有处理和存储，并且存储结构的作用主要是获得成像/传感器/扫描数据并向用户显示消息和信息。在各种实施例中，存储结构响应于来自存储结构/用户的请求和/或由于外部设备将信息推送到存储结构，从外部设备接收要显示的信息(例如，与库存有关的数据、质量信息、与对象有关的信息等)。

本申请描述了各种存储结构设计和方法。应当注意的是，一个图中的存储结构的任何特征或组件可以并入任何其他图的存储结构中。此外，来自一种方法的任何操作可以被包括在本文描述的任何其他方法中。举例说明，本申请构思了存储结构执行图1、图2、图4和图7 的方法100、200、400和700的一些实施例。此外，存储结构包括图 3、图5a 、图8和图10中所示的存储结构的所有特征和组件。此外，存储结构被布置为基于对象的识别和扫描来显示信息，如结合图6a 至图6c 所讨论的。

在本申请中，提到了执行各种操作(例如，检测运动、获取图像、确定对象的运动方向、在图1、图2、图4和图7中提到的操作)的存储结构。应当清楚的是，在一些实施例中，这些相同的操作由存储系统(例如，存储系统300)和/或与存储结构耦接的一个或多个控制设备来执行。简化的示例可以描述如下。存储系统包括存储结构、控制设备和相机/传感器(例如，如图10中所述)。控制设备与相机/传感器耦接和/或被放置在存储结构中或与存储结构耦接。载体将对象承载到存储结构中。控制设备使用相机/传感器检测对象的运动(例如，图1的步骤105)，获取图像(例如，步骤110)，确定对象的运动方向(例如，步骤115)，并识别对象(例如，步骤120)。在另一示例性实现方式中，相机和/或传感器与控制设备分离，但是通过网络与控制设备耦接。因此，传感器设备检测对象的运动(例如，步骤105)。相机设备获取图像(例如，步骤110)。传感器和相机设备分别将它们的传感器数据和图像数据发送到控制设备，控制设备确定对象的运动方向(例如，步骤115)并识别对象(例如，步骤120)。换句话说，归因于本申请中的存储结构的任何操作也可以由任何适合的存储系统和/或与存储结构耦接和/或放置在存储结构中或附近的一个或多个单独的联网设备的组合来执行。

尽管仅详细描述了本发明的几个实施例，但应当清楚的是，在不脱离本发明的精神或范围的情况下，本发明可以以许多其他形式实现。例如，本申请和附图描述了执行特定操作的各种方法。应当清楚的是，在一些实施例中，这些操作/步骤中的一个或多个可以被修改、重新排序和/或删除。另外，一些附图(例如，图3、图5a 、图5b 、图8和图10)描述了包含各种组件的设备。应当注意的是，在一些实施例中，这些组件中的一个或多个可以合并在一起。在其他实施例中，一个或多个组件可被分离成更多数量的组件。一个组件的特征可以被转移到另一个组件并且/或者被适当地修改。每个设备可以具有超出相应图中所示的组件的附加组件。被示出为特定对象的一部分的特定模块或设备可以取而代之地例如通过有线或无线连接与对象耦接。在图10中，例如，相机单元可以是存储结构的一部分；备选地，相机单元可以是存储系统的一部分，存储系统包括存储结构和与存储结构耦接的相机单元。因此，呈现的实施例应被认为是说明性的而不是限制性的，并且本发明不限于本文给出的细节。

Claims (14)

1.一种用于在存储结构处识别对象的方法，所述方法包括：

在所述存储结构处使用与所述存储结构耦接的一个或多个传感器来检测对象的运动；

获取所述对象的至少一部分的一个或多个图像；

确定所述对象的运动方向；以及

基于所述一个或多个图像来识别所述对象，

其中，所述方法还包括：

通过检测所述存储结构的门的角度达到门角度阈值来检测所述存储结构的门的关闭，其中所述门角度阈值被设置为第一阈值；

在所述门正在关闭的同时使用一个或多个相机来捕获所述存储结构的内部的一个或多个图像，其中所述一个或多个相机位于所述存储结构的门上；

基于所述存储结构的内部的所述一个或多个图像来更新库存记录数据；

分析所捕获的所述存储结构的内部的所述一个或多个图像；以及

基于所述分析，将所述门角度阈值从所述第一阈值调整为第二阈值。

2.根据权利要求1所述的方法，还包括：

基于所述方向确定，来确定所述对象是被添加到所述存储结构还是从所述存储结构中移除。

3.根据权利要求1所述的方法，其中所述存储结构是冰箱。

4.根据权利要求1所述的方法，还包括：

基于所识别的对象和所确定的方向来更新所述存储结构的库存记录数据。

5.根据权利要求4所述的方法，还包括：

基于所述库存记录数据来显示信息。

6.根据权利要求1所述的方法，包括：

检测移动通过所述存储结构的入口区域的载体；

确定所述载体是否正承载所述对象；

确定所述载体正在移动的方向；以及

基于所述载体方向确定以及关于所述载体是否正承载所述对象的确定来更新所述存储结构的库存记录数据。

7.根据权利要求6所述的方法，还包括：

确定所述载体在第一时间期间正朝向所述存储设备移动；

确定所述载体是否在所述第一时间期间正承载所述对象；

确定所述载体在第二时间期间正远离所述存储设备移动；以及

确定所述载体是否在所述第二时间期间正承载所述对象。

8.根据权利要求7所述的方法，还包括：

当确定所述载体在所述第一时间期间未承载对象并且所述载体在所述第二时间期间正承载所述对象时，调整所述库存记录数据以指示所述对象已经从所述存储结构中移除。

9.根据权利要求7所述的方法，还包括：

当确定所述载体在所述第一时间期间正承载所述对象并且在所述第二时间期间未承载所述对象时，调整所述库存记录数据以指示所述对象已经被添加到所述存储结构。

10.根据权利要求1所述的方法，包括：

检测所述对象在与所述存储结构耦接的扫描仪的扫描范围内的存在；

使用所述扫描仪来扫描所述对象；

从所述扫描仪获得指示所述对象的特性的扫描数据；以及

基于所述扫描数据来存储与所述对象相关的特性信息。

11.根据权利要求10所述的方法，还包括：

基于所述扫描数据和所识别的对象来确定消息；以及

显示所述消息。

12.一种存储系统，包括：

存储结构；

与所述存储结构耦接的一个或多个传感器；

与所述存储结构耦接的一个或多个相机；

与所述存储结构耦接的至少一个处理器；以及

与所述存储结构耦接的至少一个存储器电路，所述至少一个存储器电路包括计算机可读存储介质，所述计算机可读存储介质包括以有形的形式存储的计算机代码，其中所述计算机代码在由所述至少一个处理器执行时使所述存储系统执行以下操作：

在所述存储结构处使用所述一个或多个传感器来检测对象的运动；

获取所述对象的至少一部分的一个或多个图像；

确定所述对象的运动方向；以及

基于所述一个或多个图像来识别所述对象，

其中，所述计算机代码在由所述至少一个处理器执行时还使所述存储系统执行以下操作：

通过检测所述存储结构的门的角度达到门角度阈值来检测所述存储结构的门的关闭，其中所述门角度阈值被设置为第一阈值；

在所述门正在关闭的同时使用所述一个或多个相机来捕获所述存储结构的内部的一个或多个图像，其中所述一个或多个相机位于所述存储结构的门上；

基于所述存储结构的内部的所述一个或多个图像来更新库存记录数据；

分析所捕获的所述存储结构的内部的所述一个或多个图像；以及

基于所述分析，将所述门角度阈值从所述第一阈值调整为第二阈值。

13.根据权利要求12所述的存储系统，其中，所述计算机代码在由所述至少一个处理器执行时还使所述存储系统执行以下操作：

基于所述方向确定来确定所述对象是被添加到所述存储结构还是从所述存储结构中移除。

14.根据权利要求12所述的存储系统，还包括：

显示面板，与所述存储结构耦接并且用于为用户显示消息；

扫描仪，与所述存储结构耦接并且被布置为扫描并获得与所述对象的特性有关的数据；

其中，所述计算机代码在由所述至少一个处理器执行时还使所述存储系统执行以下操作：

基于所述对象的标识和由所述扫描仪确定的所述对象的特性，在所述显示面板处向用户显示信息。

Images