CN112242940A - 一种箱柜食物智能管理系统及管理方法 - Google Patents

Abstract

本发明公开了一种箱柜食物智能管理系统及管理方法，包括有食物识别系统、用户APP端、运营管理系统，其中：所述食物识别系统，包括有识别机构、视频流服务器、识别服务器和存储服务器；所述用户APP端，包括有设备绑定模块、分区分类管理模块、食物管理模块、店铺商品模块、菜单食谱模块和数据处理模块；所述运营管理系统，包括有基础管理模块、用户管理模块、设备管理模块、店铺管理模块、消息管理模块和广告管理模块；该箱柜食物智能管理系统及管理方法识别效果较好，能够自动进行录入更改，且具备后端服务，智能化程度较高。

Description

一种箱柜食物智能管理系统及管理方法

技术领域

本发明具体涉及一种箱柜食物智能管理系统及管理方法。

背景技术

智能家居(smarthome,homeautomation)是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。

近年来，随着智能家居的普及，越来越多的家用设备进行了智能化更迭，而现有智能家居中的用于存储食物的冷柜、箱柜、食物柜或置物柜等，目前，在可以通过视觉识别食物进出箱柜并进行管理的产品还未出现在市场上，箱柜自带食品管理的功能仅仅是使用手动录入或更改，而且此类智能箱柜由于购买价格较高，因此家庭使用比较小众，且未提供后台端服务，智能化程度较低。

发明内容

针对现有技术中的不足，本发明的目的是提供一种识别效果较好，能够自动进行录入更改，且具备后端服务，智能化程度较高的箱柜食物智能管理系统及管理方法。

本发明解决其技术问题所采用的技术方案是：

一种箱柜食物智能管理系统，用于存储食物的箱柜，包括有食物识别系统、用户APP端、运营管理系统，其中：

所述食物识别系统，包括有识别机构、视频流服务器、识别服务器和存储服务器，根据采集的食物进出信息进行分析判断，将分析判断所得到的食物数据信息进行存储；

所述用户APP端，包括有设备绑定模块、分区分类管理模块、食物管理模块、店铺商品模块、菜单食谱模块和数据处理模块，用于接收食物识别系统所存储的食物数据信息，并根据食物数据信息进行管理维护，以及提供线上食物购买服务；

所述运营管理系统，包括有基础管理模块、用户管理模块、设备管理模块、店铺管理模块、消息管理模块和广告管理模块，用于店铺的线上运营管理。

作为优选，所述的箱柜为箱柜、冷柜、食物柜、置物柜中的一种。

本发明所要解决的另一技术问题为提供一种箱柜食物智能管理方法，应用如上所述的箱柜食物智能管理系统，包括如下步骤：

1)进行图像的获取，通过摄像头对准箱柜门前面区域，拍摄物品放入或者取出箱柜的画面，摄像头个数至少一个，且每一个摄像头都有一个ID，绑定本台箱柜，并与远程服务器连接；

2)进行图像的传输及分配，每台箱柜获取的图像需要上传至视频流服务器，由视频流服务器分配至识别服务器；

3)进行食物的识别，由识别服务器加载的识别模型识别出相应图片，如果含有目标，那么保留当前箱柜的ID，图片信息，开启食物追踪模式；

4)进行食物的追踪，通过连续多帧中食物的移动趋势，判定食物所处状态，其中当模型识别出箱柜门开启后，当食物靠近箱柜可以判定是放食物，食物远离箱柜可以判定是取食物；

5)进行食物的管理，识别服务器，得出食物状态后，根据不同的状态做出反馈，当判断是放食物时，将食物的相关数据发送给存储服务器，存储，更新箱柜食物信息，并将结果同时发送给终端显示；当判断是取食物时，则将该食物的相关数据发送给存储服务器，并接收存储服务器返回的同类型食物特征，对同类型食物比对筛选出最可能的一种食物，返回给存储服务器，存储，更新食物信息，同时将结果发送给APP显示；

6)使用户携带的智能设备中的APP与箱柜进行绑定，并从存储服务器获取该箱柜对应的设备号和分区号/分类号；

7)根据设备号、分区号/分类号对分区、分类的信息内容进行增、删、改的操作，完成后将信息发送至存储服务器进行存储；

8)访问存储服务器，根据设备号获取该设备下的所有食物信息并进行维护；

9)通过智能设备进行定位，并将位置信息发送至存储服务器，经存储服务器筛选出附近店铺信息，并根据店铺信息选择店铺和购买食品。

作为优选，在步骤1)中，所述摄像头的识别处理方法如下：

1)获取摄像头视频数据：摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，视频接收器收到信号后与摄像头建立socket连接，连接建立成功后摄像头往视频接收器发送视频数据；

2)对视频数据进行解码处理：视频接收器将获取到的视频数据发送给视频分段处理器，视频分段处理器在收到一段数据后开始一个新的线程，持续监控接下来一段时间获取到的原始视频数据，并将此段数据进行解码，并且抓取图片，每段视频首次抓取图片成功后会新建一个视频图片处理器，且将此视频放入视频图片处理器调度线程中的队列，每次抓取到的图片放入视频图片处理器中，整段视频抓取完毕后标识这个视频图片处理器为已抓取完毕；

3)对视频图片进行处理：在服务器启动时会开启一个视频图片处理器调度线程，这个线程会去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，图片识别接口调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果，将其结果指定到一个图片识别结果处理器。

进一步的，所述图片识别结果处理器的判断方法为：通过网络摄像头，拍摄并捕捉视野范围内的运动目标，分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，对图像数据进行训练，用训练好的模型对目标对象进行识别，给出识别的目标位置，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。

更进一步的，其中，用训练好的模型对目标对象进行识别，对象包括手掌A、手掌-手持物品B、物品C，给出识别的目标位置box、类别class、得分score，分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C。

优选的，其中，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，判定是否包含class_A，如果不包含，认为此帧没有目标，等待下一帧的检测，如果包含class_A，则保存相关的class_A、box_A、score_A的数据，并继续去检查class_B和class_C，如果存在，则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据，通过不同的class_A与class_C目标的交并比IOU_{A_C}来判定哪些目标是一体的，剔除错误目标，而

多组IOU_{A_C}构成集合E(IOU_{A_C})，通过非极大值抑制nms，去掉集合E(IOU_{A_c})和多个class_B的集合E(class_B)中重复的目标。

优选的，其中，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定，轨迹共有取、放、不确定三种状态，依靠当前目标box_now中心点与前一帧的目标box_pre的位置差确认轨迹的状态，设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)，趋势判定为

if box_now.x＞box_pre.x and box_now.y＞box_pre.y：take

if box_now.x＜box_pre.x and box_now.y＜box_pre.y：put

if(box_now.x-box_pre.x)*(box_now.y-box_pre.y)＜0：unsure

如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致，该对象属于该轨迹，更新轨迹，如果不一致，则在E(object)中依次选择目标与E(track)的轨迹进行比较，如果都没有匹配，则将当前E(object)列为疑似轨迹加入E(track)中，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。

作为优选，在步骤4)中，所述食物的追踪方法为：

通过相机安装的位置确定食物的进出方向，令P(x，y)表示食物在相机中的坐标，P_pre(x，y)表示前一帧食物坐标，P_now(x，y)表示当前帧食物坐标，P_diff(x，y)表示两者之差，具体公式如下：P_diff(x，y)＝P_now(x，y)-P_pre(x，y)，如靠近相机认为是放食物，此时P_diff(x，y)值为正，远离相机认为是取食物，此时P_diff(x，y)值为负；当连续N帧中的食物的坐标P_diff(x，y)都为正，N为算法预设值，则认为此时的状态为放食物，当连续N帧中的食物坐标P_diff(x，y)为负，则认为此时状态为取食物。

进一步的，在步骤6)中，所述的APP与箱体进行绑定的方法包括以下步骤：

A01：判断app中此次登录账号有无选择展示内容的设备，登录app后会判断SharePreferences中有无存储的设备编号，若有则可选择执行其余流程，若无则进行A02；

A02：判断次账号有无绑定过设备，访问服务端查询此账号绑定设备的列表内容数是否为0，若不为0则执行A03，若为0则执行04、05；

A03：选择要展示内容的设备，进入绑定设备列表页面，获取服务端返回的此账号对应的所有已绑定的设备，点击要选择的设备存入SharePreferences中，刷新主页面；

A04：辅助设备连接网络，根据当前手机所连接的wifi信息生成二维码，复位设备后，使其扫描此二维码，完成设备的连网操作；

A05：绑定一个新的设备，通过app中的“扫一扫”功能，获取服务端给予设备初始化的参数，获取成功后，将app与设备连接，继而进行设备的初始化设置，设置成功后将设备编号上传至服务端与账号进行关联绑定，同时将此设备存入SharePreferences，刷新主页面。

本发明的有益效果是：

由用户APP、运营管理系统、食物识别分析组成，通过用户帐户及摄像头的关联绑定对用户冰箱的食物进行存进、取出的行为对食物即时识别分析，提取特征码及图片发送给用户APP，用户可以真实有效管理食物保质情况；通过与商铺的关联可以对用户冰箱食物过时行全理补充，避免食物堆积浪费。

附图说明

图1是本发明的关于抓取物品的视频识别处理方法的整体实施流程图；

图2是本发明的手持物品的多目标跟踪和行为判定方法的整体实施流程图；

图3是本发明的箱柜食物识别装置的安装示意图；

图4是本发明的存储服务器的模块示意图。

图5是本发明的食物识别系统的整体流程示意图；

图6是本发明的用户APP端的绑定设备流程图；

图7是本发明的用户APP端的分区、分类管理模块的流程图；

图8是本发明的用户APP端的食物管理模块的流程图；

图9是本发明的用户APP端的店铺模块的流程图；

图10是本发明的用户APP端的菜谱模块的流程图；

图11是本发明的用户APP端的功能结构的示意图；

图12是本发明的运营管理系统的管理后台流程图；

图13是本发明的运营管理系统的功能结构的示意图；

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例

根据图1的流程，通过用户安装在冰箱、储物柜等储物空间的摄像头对食物等物品进行摄像移动侦测，当储物空间有物品存进或取出时，摄像头向云端服务器发起移动侦测信号，云端服务器收到信号后，发送指令给摄像头进行视频抓取，同时将该视频发送给服务器，服务端根据用户帐号与摄像头的绑定关系，并存储物品特征码与移动侦测图片。

具体过程如下：

1.获取摄像头视频数据：

摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，例如定时触发、事件(物品移动)触发、服务器软触发，连接建立成功后摄像头往视频接收器发送视频数据，发送数据包括视频字节，摄像头id(cameraId)，每段视频唯一id(requestId：用来区分同一摄像头不同时间段的视频)。

2.对视频数据进行解码处理

视频接收器将获取到的视频数据发送给视频分段处理器，因为摄像头每次发送的视频数据是急促的，每次接收到的数据不足以合成一张图片，所以需要使用视频分段处理器来对原始数据进行处理。视频分段处理器会在收到一段数据后开始一个新的线程，以摄像头id(cameraId)作为标识，持续监控接下来一分钟获取到的原始视频数据，每隔3秒钟将此段累计数据进行h264解码，并且抓取图片，每秒抓取10帧(左右)图片，每段视频(通过requestId区分)首次抓取图片成功后会新建一个视频图片处理器，且将此处理器放入视频图片处理器调度线程中的队列。每次抓取到的图片放入视频图片处理器中的容器中，整段视频抓取完毕后会标识这个视频图片处理器为已抓取完毕。

3.对视频图片进行处理

在服务器启动时会开启一个视频图片处理器调度线程，这个线程回去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，该调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果(包含动作是取出或者存放和对食物等物品猜测的品类还有食物等物品的数量)，然后将其结果指定到一个图片识别结果处理器。

4.图片识别结果处理

图片识别结果处理器会将得到的结果进行云端存储，例如在a冰箱放入苹果1个、放入西瓜3个、取出牛肉2盒。

本实例提供一种手持物品的多目标跟踪和行为判定的装置和方法，根据图2的流程，通过网络摄像头获取图像，图像数据上传至服务器，由运行在服务器中的程序，判定是否是人手持物品，并最终判定是放物品，还是取物品。

具体的，整个系统分为成像模块、标注模块、训练模块，识别模块、轨迹跟踪模块、行为判定模块。成像模块，通过外接网络摄像头，放置在固定位置，拍摄并捕捉视野范围内的运动目标。

标注模块，给训练模块提供训练数据，分为三部分，第一部分就是对手掌进行标注，第二部分是对手-手持物品进行标注，第三部分是针对不同物品进行不同种类的标注。

训练模块，对标注的图像可以选择不同的模型进行训练。比如采用两步法的rcnn系列模型或者一步法的yolo系列。训练类别包括3类，一类是手掌，一类是手掌-手持的物品，一类是物品。前两类是固定的，最后一类物品，是根据实际需要来选择，可以是一种物品，也可以是多种物品。

识别模块，用训练好的模型对图片进行识别，对象包括手掌A，手掌-手持的物品B，手持物品C，给出识别的目标位置box、类别class、得分score。之所以要对三者进行识别，原因在于手持物体本身容易被遮挡，识别率低。而手掌本身识别率高，通过手掌作为辅助判定条件，更容易降低误判率。

轨迹跟踪模块，具体步骤如下：

1.目标类别及位置判定。判定识别模块返回的类别class是否包含类别手掌class_A，如果不包含，认为此帧没有目标，等待下一帧的检测。如果包含class_A，保存box_A，score_A的数据，并继续去检查class_B，class_C。如果存在则保存相关class、box、score这些相关数据。

2.目标的组合。由于是多目标检测。可能会存在多个class_A，class_B，class_C。可以通过不同的class_A与class_C目标的交并比IOU_{A_C}来判定，哪些目标是一体的。从而剔除，错误目标。公式如下：

多组IOU_{A_C}构成集合E(IOU_{A_C})，集合E(IOU_{A_C})内部按IOU_{A_C}值递增排序。

3.去重。由于集合

和多个class_B的集合E(class_B)代表的都是手掌-手持物体，因此有可能会出现重复，通过非极大值抑制nms，去掉双方集合中重复的目标。nms一般是通过score来剔除重叠的box，这里面集合E(class_B)中存在类别B的得分score_B，但是集合E(class_B)里面是IOU_{A_C}无法与score_B比对，可以设定

再比较。

行为判定模块，连续帧中，确认轨迹。轨迹共有三种状态，取、放、不确定。状态的确认是通过趋势判定，也就是依靠当前目标box_now中心点与前一帧用来比较的目标box_pre的位置差。假设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)具体判定步骤如下：

1.趋势判定，if box_now.x＞box_pre.x and box_now.y＞box_pre.y：take

if box_now.x＜box_pre.x and box_now.y＜box_pre.y：put

if(box_now.x-box_pre.x)*(box_n。w.y-box_pre.y)＜0：unsure

2.轨迹更新，如果E(object)的第一个对象obj移动趋势与E(track)中某个轨迹track_x一致，那么认为该对象属于该轨迹，更新轨迹。如果不一致，那么在E(object)中依次选择目标与E(track)的轨迹进行比较。如果都没有匹配的话，将当前E(object)列为疑似轨迹加入E(track)中。

3.轨迹剔除，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。

图像的获取，主要通过安装在冰箱上的摄像头获取，具体如图3装置安装示意图所示，在冰箱的上方和前面安装有相机1和相机2。目的是为了拍摄到冰箱门打开时，食物的进出。本实例是两个相机，实际安装时，根据冰箱大小以及安装环境，安装相机个数及位置根据实际情况变化。

图像的传输及分配，在图像传输之前需要相机ID与冰箱ID绑定在一起，实例性的，本实例中所有相机都是网络摄像机，能够连接远端服务器。初始化时，服务器将连接的相机ID同冰箱绑定，后面每次连接都可以确认数据来自哪台冰箱。

本实例中图像分配如图4所示，与冰箱绑定的相机，通过网络将图像数据上传至视频流服务器，相机与视频流服务器的关系是N对1，每台视频流服务器接收N台相机上传的数据。同时视频流服务器将经过处理的图像数据转发至识别服务器，视频流服务器与识别服务器的关系是1对N，视频流服务器做为中间服务器，一方面连接终端的相机，将不同相机传输的图像数据进行缓存、初步处理。一方面连接识别服务器，根据识别服务器的处理进度，对图像数据进行分发调度，分发给不同的识别服务器。

如图4所示，识别服务器在判定过程中，会根据处理情况同存储服务器进行数据交换，比如说，在判断是取食物时，会从存储服务器中取出对应食物，作比对，并将比对结果返回存储服务器存储。在判断是放食物时，会将包括食物种类、冰箱ID、食物特征等数据发送给存储服务器存储。识别服务器与存储服务器对应关系是N对1。一台存储服务器可以同时连接多台识别服务器。

食物的识别，具体的，在识别服务器中加载有事先训练好的识别模型，接收到来自视频流服务器传送过来的数据，包括但不限于相机ID、图像数据、图像时间戳等。如果图像中不包含目标，那么结束此次识别。如果图像中包含目标，那么将当前相机ID、图像数据、图像时间戳、目标区域、种类、可信度等信息，存储至存储服务器，并开启食物追踪模式。

食物的追踪，主要目的是判定食物是否正在进出冰箱，本实例的判定方法是，首先通过相机安装的位置确定食物的进出方向，令P(x,y)表示食物在相机中的坐标，P_pre(x，y)表示前一帧食物坐标，P_now(x，y)表示当前帧食物坐标，P_diff(x，y)表示两者之差，具体公式如下：

P_diff(x，y)＝P_now(x，y)-P_pre(x，y)

比如靠近相机认为是放食物，此时P_diff(x，y)值为正，远离相机认为是取食物，此时P_diff(x，y)值为负。通过连续多帧中同一类食物的移动趋势，来判定食物所处状态。比如连续N帧中的食物的坐标P_diff(x，y)都为正，N为算法预设值，那么认为此时的状态为放食物，如果连续N帧中的食物坐标P_diff(x，y)为负，那么认为此时状态为取食物。

参阅图5所示，一种箱柜食物识别方法，包括如下步骤：

1)进行图像的获取，通过摄像头对准箱柜门前面区域，拍摄物品放入或者取出箱柜的画面，摄像头个数至少一个，且每一个摄像头都有一个ID，绑定本台箱柜，并与远程服务器连接；

2)进行图像的传输及分配，每台箱柜获取的图像需要上传至视频流服务器，由视频流服务器分配至识别服务器；

3)进行食物的识别，由识别服务器加载的识别模型识别出相应图片，如果含有目标，那么保留当前箱柜的ID，图片信息，开启食物追踪模式；

4)进行食物的追踪，通过连续多帧中食物的移动趋势，判定食物所处状态，其中当模型识别出箱柜门开启后，当食物靠近箱柜可以判定是放食物，食物远离箱柜可以判定是取食物；

5)进行食物的管理，识别服务器，得出食物状态后，根据不同的状态做出反馈，当判断是放食物时，将食物的相关数据发送给存储服务器，存储，更新箱柜食物信息，并将结果同时发送给终端显示；当判断是取食物时，则将该食物的相关数据发送给存储服务器，并接收存储服务器返回的同类型食物特征，对同类型食物比对筛选出最可能的一种食物，返回给存储服务器，存储，更新食物信息，同时将结果发送给终端显示。

食物的管理，主要涉及到几个模块之间的数据流向。具体的，当识别服务器得出食物状态后，根据不同的状态做出不同的反馈。当判断是放食物时，将包括食物种类、冰箱ID、食物特征等数据发送给存储服务器，存储，更新冰箱食物信息，并将结果同时发送给终端显示。当判断是取食物时，则将该种类食物、冰箱ID等数据发送给存储服务器，并接收存储服务器返回的同类型食物特征，对同类型食物比对筛选出最可能的一种食物，返回给存储服务器，存储，更新食物信息，同时将结果发送给终端显示。当业务量不大时，视频流服务器与存储服务器可以部署在同一个服务器中。具体的，显示终端，包括但不限于手机APP，微信小程序，智能终端冰箱的显示屏幕。

图6是本发明实例软件中绑定设备的流程图。该方法包括：

A01：判断app中此次登录账号有无选择展示内容的设备(“观察”冰箱的摄像头)。

此实例作用是判断冰箱可用于后续展示、更新及上传。

具体步骤为：登录app后会判断SharePreferences(app数据本地存储方式的一种)中有无存储的设备编号(deviceId)，若有则可选择执行其余流程。若无则进行A02。

A02：判断次账号有无绑定过设备(“观察”冰箱的摄像头)。

此实例的作用是判断此账号有无可选择的设备(“观察”冰箱的摄像头)。

具体步骤为：访问服务端查询此账号绑定设备的列表内容数是否为0，若不为0则执行A03。若为0则执行04、05。

A03：选择要展示内容的设备(“观察”冰箱的摄像头)。

此实例作用是为此账号提供切换展示设备(“观察”冰箱的摄像头)的功能

具体步骤为：进入“绑定设备”列表页面，获取服务端返回的此账号对应的所有已绑定的设备(“观察”冰箱的摄像头)。点击要选择的设备存入SharePreferences(app数据本地存储方式的一种)中。刷新主页面。

A04：辅助设备连接网络。

此实例的作用是为设备(“观察”冰箱的摄像头)连接网络。

具体步骤为：根据当前手机所连接的wifi信息生成二维码，复位设备后，使其扫描此二维码，完成设备(“观察”冰箱的摄像头)的连网操作。

A05：绑定一个新的设备

此实例的作用是为用户绑定新的设备(“观察”冰箱的摄像头)

具体步骤为：通过app中的“扫一扫”功能，获取服务端给予设备初始化的参数(如：报警地址等)。获取成功后，将app与设备(“观察”冰箱的摄像头)连接，继而进行设备的初始化设置(如：设置时区、设置移动侦测等)，设置成功后将设备编号上传至服务端与账号进行关联绑定。同时将此设备存入SharePreferences(app数据本地存储方式的一种)中。刷新主页面。

图7是本发明实例软件中分区、分类管理模块的流程图。该方法包括：

B01：获取分区、分类信息

此实例的作用是获取该设备下的分区、分类信息

具体步骤：根据设备号(deviceId)从服务端获取分区、分类的数量及名称、图片等。以便B02的操作。方法：进入页面后直接访问服务端获取数据并展示。

B02：分区、分类信息管理

此实例的作用是对该设备下的分区、分类进行维护

具体步骤：根据设备号(deviceId)、分区号(id)/分类号(foodTypeId)可对分区、分类的信息内容进行增、删、改的操作，完成后将信息发送至服务端进行存储。方法：点击“创建分区”或“创建分类”会弹出编写分区、分类内容的弹窗，编辑好内容后点击右上角的创建将数据发送至服务端进行存储；点击某一条分区、分类内容会弹出编辑此条内容的弹窗，编辑完成后，点击右上角编辑按钮，将内容发送至服务端并由id、foodTypeId将对应条目的内容进行修改；当想删除某一条分类、分区时，要点击条目右上角的删除符号，在弹窗中点击确定，将请求发送至服务端，若同意则可删除。

图8是本发明实例软件中食物管理模块的流程图。该方法包括：

C01：获取食物列表信息

此实例的作用是获取食物的列表信息及单个食物信息(如保质期，分类，名称等)

具体步骤：访问服务端，可根据设备号(deviceId)获取该设备下的所有食物信息；也可根据设备号(deviceId)及分类号(foodTypeId)获取某一分类下的食物信息。方法：进入页面后直接访问服务端获取数据并展示。

C02：食物信息管理

此实例的作用是对设备下某一食物进行维护

具体步骤：根据设备号(deviceId)、分类号(foodTypeId)可对食物的信息内容进行增、删、改的操作，完成后将信息发送至服务端进行存储。也可进行保质期的维护来进行“逾期提醒”的维护。方法：点击“创建食物”会弹出编写食物内容的弹窗，编辑好内容后点击右上角的创建将数据发送至服务端进行存储；点击某一条食物内容会弹出编辑此条内容的弹窗，编辑完成后，点击右上角编辑按钮，将内容发送至服务端进行修改；当想删除某一条食物记录时，要点击条目右上角的删除符号，在弹窗中点击确定，将请求发送至服务端，若同意则可删除。在创建/编辑弹窗中，左上角点击可选择分类，正上方点击可选择放入冰箱的时间。

图9：是本发明实例软件中店铺模块的流程图

D01：获取附近的使用设备的商家店铺位置

此实例的作用是获取附近店铺位置信息，从而方便用户进行选择

具体步骤：登录/打开app后，根据依赖的百度地图/高德地图的定位API，获取当前手机的位置信息，将此信息发送至服务端，经服务端判断筛选后，返回附近的店铺信息列表。

D02：选择店铺

此实例的作用是用户可根据服务端返回的店铺信息来判断如何选择店铺

具体步骤：进入店铺列表后，向服务端请求手机位置附近的店铺数据信息，信息会以距离递增的效果以列表形式展示在界面上。用户可根据店铺不同的编号(storeId)进入对应店铺选择购买需要的东西。

D03：选择商品

此实例的作用是方便用户购买商品做的统一管理

具体步骤：在进入店铺后，用户可根据需要点击底部“加入购物车”将食品加入，进行统一管理(如：数量的修改，食品的删除、价格的计算等)

D04：结算

此实例的作用是对用户购物车内的商品进行交易

具体步骤：在“购物车”中选择要购买的商品后，点击下方“结算”按钮后选择支付方式(如：微信支付——调用微信支付API等方式)。

图10：是本发明实例软件中菜谱模块的流程图

E01：编写菜谱

此实例的作用是用户可编写自己的菜谱

具体步骤：点击“菜谱”板块中的“我要写菜谱”进入菜谱编写界面。此界面利用richText(安卓中一种富文本编辑框架)框架进行内容的编写，完成后将内容上传至服务端。

E02：菜谱记录

此实例的作用是记录用户发布的所有菜谱

具体步骤：打开此界面后，访问服务器根据不同用户返回相应的菜谱记录列表，同时可对每一条记录进行维护(增、删、改操作)。

E03：分享菜谱

此实例作用是用户可将自己所有的菜谱，通过微信、qq等发送给朋友。也可将此菜谱公开。

具体步骤：在菜谱记录的列表页面中，选择要分享的菜谱，后点击右上角分享按钮——选择分享方式(如：QQ、微信、冰眸等)。

如分享方式为QQ、微信等时，则运用mob分享平台进行内容的分享。收到的用户点击内容会看到相应的内容。

如分享方式为冰眸分享时，会将此菜谱放入“秀三餐”(优秀菜谱)

E04：展示优秀菜谱

此实例的作用是用于展示所有用户公开出的菜谱。

E05：推荐菜谱

此实例的作用为用户利用现有食品推荐合适菜谱

具体步骤：服务端会根据冰箱中剩余的食品自动匹配相应菜谱发送通知到app，app收到后会得到通知消息，点击此消息后，跳转到菜谱的详情页可查看内容。

图11：是本发明实例软件中功能结构的示意图。包括设备绑定模块S01；分区、分类管理模块S02；食物管理模块S03；店铺商品模块S04；菜单、食谱模块S05；数据处理模块S06。

设备绑定模块S01：用于用户绑定设备。

对于用户端，只有绑定设备并且选择可操作的设备后，才可针对相应的冰箱及内部食品进行操作。

分区、分类管理模块S02：用于用户对不同设备下的冰箱进行分区、食物分类进行管理。

可对不同设备下的分区、分类进行维护操作。使app使用更符合用户个人习惯。

食物管理模块S03：用于用户对不同设备下冰箱中的食物进行管理

可对用户设备下的所有食品进行维护。

店铺商品模块S04：用于用户购买食品。

用户可根据实际情况，购买最近距离的商品，补充冰箱。

菜单、食谱模块S05：用于用户自己展示餐食及学习食物制作。

用于用户自身餐食的记录、展示及参考菜谱的推荐。

数据处理模块S06：用于辅助服务端进行识别分析。

为减轻服务端的压力，在经过用户同意后，app会执行收到服务端的图片进行识别分析操作，将结果返回服务端。

参阅图12所示，一种对用户食物交易及摄像头管理的运营管理系统针对食物APP的食物管理及相关应用进行运营管理的系统，该系统应用包括：

基础管理

基本信息处理及设定，包括前端APP及小程序的版本信息更新、角色管理、帐户密码以及操作日志跟踪。

用户管理

对用户的等级(如会员、冰眸会员、高级会员)行为动作进行记录，同时可以更改用户等级

设备管理

对冰眸配套硬件进行管理(进出库、使用状态)，帮用户进行设备协助绑定，如绑定不同的供应商、硬件型号，根据产品的发展情况进行硬件升级或优化。

商铺管理

商家入驻审核工作、店铺状态管理，对售卖的食物进行分类管理、设立模版。对每个店铺或每笔交易订单进行跟踪，设置支付方式，跟进退款管理。

菜谱管理

对用户发布的菜谱进和审核，查看用户的菜谱操作日志及跟踪；查看菜谱收藏及热度情况，同时对菜谱进行手动操作处理。

消息管理

发送信息给用户，推送利好消息及优惠，通过短信平台，还可以提醒用户的食物预警。

广告管理

设定广告分类，投放广告至用户APP的页面；对外部提交的广告投放申请进行审核；与外部的广告代理系统进行接口开发。

参阅图13所示，在服务端的运营管理体系中可以对食物的存储情况、食物的交易、摄像头与用户的绑定、广告在用户APP上的投放进行管理，其具体的步骤为：

步骤一：对系统日志、配套资源(如APP、小程序)的管理，对本系统登录帐户及角色权限的管理；

步骤二：对运营商的摄像头进行出入库管理、损件或退换摄像头管理，根据用户的需求进行协助绑定；

步骤三：对用户帐号信息及密码管理，修改用户基本信息，协助绑定摄像头；

步骤四：实时记录用户的冰箱食物的进出情况，记录用户对食物信息的更改，并将用户的操作行为进行记录；

步骤五：审核实体商铺入驻，开通商铺帐户；对商铺的商品上架进行审核，系统对商品交易行为进行监控；

步骤六：对商铺的资金帐户进行管理，设置商品交易的支付方式，对帐户资金充值或提现；

步骤七：发布菜谱贴子至用户APP或小程序对应模块，可以对用户发布的菜谱贴子进行审核管理；

步骤八：发布信息(两种，一种是用户APP或小程序内部信息，一种是移动营运商的信息)至用户端的管理；

步骤九：将广告投放至用户APP的页面中，同时可以对广告代理进行分润管理。

1.系统管理

资源管理：对冰眸平台下属分类程序的管理，如APP、小程序、H5页面、商家后台等就用的更新及记录。

角色管理：针对后端系统不同的运营角色进行权限、帐户划分的管理，使得运营管理方式可控而有效。

帐号管理：管理平台所有模块关联的帐户，包括运营后台、店铺帐户、普通操作用户等。

日志管理：对运营管理后端的操作轨迹进行记录跟踪，记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。

2.设备管理

对摄像头进入库、出库、维修、报废等基础管理，查看并编辑用户的摄像头使用、APP或小程关联等。

3.用户管理

批量增加用户、管理并设定用户等级，查看用户的活跃度及行为等。支持对个别用户的基础信息操作，对用户管理实现个性化及行为数据分析。

4.店铺管理

店铺基础管理，对新开店铺进行审核，设定平台上可售商品的分理管理及品牌管理，关联用户的冰箱食物管理与食物交易的行为。

5.交易管理

交易信息统计，对商品交易进行监看及强制性防风险操作。查看订单信息、对用户退款情况进行强制作操作等。

6.支付管理

设定“惠享”商品销售的支付渠道，对支付方式进行配置。关联商户帐户的提现功能，实现资金帐户的在食物交易中的便捷使用。

7.菜谱管理

菜谱的发布与审核工作，可根据用户使用情况设定其在APP上用应的分类管理，该菜谱可以增加用户在APP上使用的粘性及频率。

8.消息管理

用户端的信息管理，主要分为两大模块，一是冰眸主功能的食物存储信息提醒功能，二是活动促销主动发送给用户的信息(可以是APP内消息，也可以是手机短信)。

9.图片管理

为用户端广告管理模块，如在某个APP或小程页面投放某个广告，同时也可以以代理的方式向广告代理商开放接口，审核通过后直接投放至APP或小程页面，并且保留了广告分润模式。

本实例中，仅以冰箱作为存储食物的箱柜进行实用情况举例，包括但不限于箱柜、冷柜、食物柜、置物柜，具体如下：

当食物被放入冰箱时，安装在冰箱上的摄像头会抓取该食物图片并发送至服务端进行视觉识别，并将该食物特征图片传送至用户的APP中，用户可根据该食物图片定义其保质期；该食物取走，则用户APP会自动删除该食物图片，当保质期剩余24小时，则发送信息至用户APP中提醒使用该食物；如果用户发现APP及冰箱缺少某一种食物，可以通过用户APP的食物销售模块进行食物挑选购买；如果用户对做菜比较热衷，可以在APP中菜谱模块进行分享或者学习其他用户的做菜方法。一种通过视觉识别对冰箱食物存储保质的方法及食物交易的系统，还设计了对摄像头、用户、食物交易、菜谱、APP广告的管理运营系统，通过对摄像头的管理可以与用户进行摄像头和APP的关联，实现视频流的抓取并发送至服务端；通过对用户的管理可以实现同一冰箱食物多人管理，对用户的基本信息、帐户的管理；通过对食物交易的管理可以审核在APP进行销售的商家审核，对用户与商家的交易行为进行监督；通过对菜谱的管理可以审核用户发布菜谱，避免违法违规信息在APP上的散布；通过对APP广告的管理，可以根据商家或第三方广告代理在APP上某个页面进行广告投放。

本发明的有益效果是：

由用户APP、运营管理系统、食物识别分析组成，通过用户帐户及摄像头的关联绑定对用户冰箱的食物进行存进、取出的行为对食物即时识别分析，提取特征码及图片发送给用户APP，用户可以真实有效管理食物保质情况；通过与商铺的关联可以对用户冰箱食物过时行全理补充，避免食物堆积浪费。。

本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (10)

1.一种箱柜食物智能管理系统，用于存储食物的箱柜，其特征在于，包括有食物识别系统、用户APP端、运营管理系统，其中：

所述食物识别系统，包括有识别机构、视频流服务器、识别服务器和存储服务器，根据采集的食物进出信息进行分析判断，将分析判断所得到的食物数据信息进行存储；

所述用户APP端，包括有设备绑定模块、分区分类管理模块、食物管理模块、店铺商品模块、菜单食谱模块和数据处理模块，用于接收食物识别系统所存储的食物数据信息，并根据食物数据信息进行管理维护，以及提供线上食物购买服务；

所述运营管理系统，包括有基础管理模块、用户管理模块、设备管理模块、店铺管理模块、消息管理模块和广告管理模块，用于店铺的线上运营管理。

2.如权利要求1所述的一种箱柜食物智能管理系统，其特征在于：所述的箱柜为箱柜、冷柜、食物柜、置物柜中的一种。

3.一种箱柜食物智能管理方法，其特征在于，应用如权利要求1所述的箱柜食物智能管理系统，包括如下步骤：

1)进行图像的获取，通过摄像头对准箱柜门前面区域，拍摄物品放入或者取出箱柜的画面，摄像头个数至少一个，且每一个摄像头都有一个ID，绑定本台箱柜，并与远程服务器连接；

2)进行图像的传输及分配，每台箱柜获取的图像需要上传至视频流服务器，由视频流服务器分配至识别服务器；

3)进行食物的识别，由识别服务器加载的识别模型识别出相应图片，如果含有目标，那么保留当前箱柜的ID，图片信息，开启食物追踪模式；

4)进行食物的追踪，通过连续多帧中食物的移动趋势，判定食物所处状态，其中当模型识别出箱柜门开启后，当食物靠近箱柜可以判定是放食物，食物远离箱柜可以判定是取食物；

5)进行食物的管理，识别服务器，得出食物状态后，根据不同的状态做出反馈，当判断是放食物时，将食物的相关数据发送给存储服务器，存储，更新箱柜食物信息，并将结果同时发送给终端显示；当判断是取食物时，则将该食物的相关数据发送给存储服务器，并接收存储服务器返回的同类型食物特征，对同类型食物比对筛选出最可能的一种食物，返回给存储服务器，存储，更新食物信息，同时将结果发送给APP显示；

6)使用户携带的智能设备中的APP与箱柜进行绑定，并从存储服务器获取该箱柜对应的设备号和分区号/分类号；

7)根据设备号、分区号/分类号对分区、分类的信息内容进行增、删、改的操作，完成后将信息发送至存储服务器进行存储；

8)访问存储服务器，根据设备号获取该设备下的所有食物信息并进行维护；

9)通过智能设备进行定位，并将位置信息发送至存储服务器，经存储服务器筛选出附近店铺信息，并根据店铺信息选择店铺和购买食品。

4.如权利要求3所述的一种箱柜食物智能管理方法，其特征在于，在步骤1)中，所述摄像头的识别处理方法如下：

1)获取摄像头视频数据：摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，视频接收器收到信号后与摄像头建立socket连接，连接建立成功后摄像头往视频接收器发送视频数据；

2)对视频数据进行解码处理：视频接收器将获取到的视频数据发送给视频分段处理器，视频分段处理器在收到一段数据后开始一个新的线程，持续监控接下来一段时间获取到的原始视频数据，并将此段数据进行解码，并且抓取图片，每段视频首次抓取图片成功后会新建一个视频图片处理器，且将此视频放入视频图片处理器调度线程中的队列，每次抓取到的图片放入视频图片处理器中，整段视频抓取完毕后标识这个视频图片处理器为已抓取完毕；

3)对视频图片进行处理：在服务器启动时会开启一个视频图片处理器调度线程，这个线程会去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，图片识别接口调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果，将其结果指定到一个图片识别结果处理器。

5.如权利要求4所述的一种箱柜食物智能管理方法，其特征在于，所述图片识别结果处理器的判断方法为：通过网络摄像头，拍摄并捕捉视野范围内的运动目标，分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，对图像数据进行训练，用训练好的模型对目标对象进行识别，给出识别的目标位置，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。

6.如权利要求5所述的一种箱柜食物智能管理方法，其特征在于，其中，用训练好的模型对目标对象进行识别，对象包括手掌A、手掌-手持物品B、物品C，给出识别的目标位置box、类别class、得分score，分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C。

7.如权利要求6所述的一种箱柜食物智能管理方法，其特征在于，其中，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，判定是否包含class_A，如果不包含，认为此帧没有目标，等待下一帧的检测，如果包含class_A，则保存相关的class_A、box_A、score_A的数据，并继续去检查class_B和class_C，如果存在，则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据，通过不同的class_A与class_C目标的交并比IOU_{A_C}来判定哪些目标是一体的，剔除错误目标，而

多组IOU_{A_C}构成集合E(IOU_{A_C})，通过非极大值抑制nms，去掉集合E(IOU_{A_C})和多个class_B的集合E(class_B)中重复的目标。

8.如权利要求7所述的一种箱柜食物智能管理方法，其特征在于，其中，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定，轨迹共有取、放、不确定三种状态，依靠当前目标box_now中心点与前一帧的目标box_pre的位置差确认轨迹的状态，设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)，趋势判定为

if box_nowx＞box_pre.x and box_now.y＞box_pre.y：take

if box_now.x＜box_pre.x and box_now.y＜box_pre.y：put

if(box_now.x-box_pre.x)*(box_now.y-box_pre.y)＜0：unsure

如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致，该对象属于该轨迹，更新轨迹，如果不一致，则在E(object)中依次选择目标与E(track)的轨迹进行比较，如果都没有匹配，则将当前E(object)列为疑似轨迹加入E(track)中，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。

9.如权利要求3所述的一种箱柜食物智能管理方法，其特征在于，在步骤4)中，所述食物的追踪方法为：

通过相机安装的位置确定食物的进出方向，令P(x，y)表示食物在相机中的坐标，P_pre(x，y)表示前一帧食物坐标，P_now(x，y)表示当前帧食物坐标，P_diff(x，y)表示两者之差，具体公式如下：P_diff(x，y)＝P_now(x，y)-P_pre(x，y)，如靠近相机认为是放食物，此时P_diff(x，y)值为正，远离相机认为是取食物，此时P_diff(x，y)值为负；当连续N帧中的食物的坐标P_diff(x，y)都为正，N为算法预设值，则认为此时的状态为放食物，当连续N帧中的食物坐标P_diff(x，y)为负，则认为此时状态为取食物。

10.如权利要求9所述的一种箱柜食物智能管理方法，其特征在于，在步骤6)中，所述的APP与箱体进行绑定的方法包括以下步骤：

A01：判断app中此次登录账号有无选择展示内容的设备，登录app后会判断SharePreferences中有无存储的设备编号，若有则可选择执行其余流程，若无则进行A02；

A02：判断次账号有无绑定过设备，访问服务端查询此账号绑定设备的列表内容数是否为0，若不为0则执行A03，若为0则执行04、05；

A03：选择要展示内容的设备，进入绑定设备列表页面，获取服务端返回的此账号对应的所有已绑定的设备，点击要选择的设备存入SharePreferences中，刷新主页面；

A04：辅助设备连接网络，根据当前手机所连接的wifi信息生成二维码，复位设备后，使其扫描此二维码，完成设备的连网操作；

A05：绑定一个新的设备，通过app中的“扫一扫”功能，获取服务端给予设备初始化的参数，获取成功后，将app与设备连接，继而进行设备的初始化设置，设置成功后将设备编号上传至服务端与账号进行关联绑定，同时将此设备存入SharePreferences，刷新主页面。

Images