CN107527363B - 一种冷藏装置存储物管理系统和冷藏装置 - Google Patents

Abstract

本发明一种冷藏装置存储物管理系统，包括：视频输入模块，用于输入冷藏装置入口处的视频集；3D卷积神经网络，用于捕捉所述视频集中的空间信息和运动信息。本发明同时还提出一种冷藏装置。本发明所提出的冷藏装置存储物管理系统可以利用3D卷积神经网络自动在时间和空间两个维度学习、交互、识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。

Description

一种冷藏装置存储物管理系统和冷藏装置

技术领域

本发明涉及制冷设备技术领域，尤其涉及一种冷藏装置存储物管理系统和冷藏装置。

背景技术

很多人认为食物放进冷藏装置就会安全，不会出现变味或者变质。实际上，冷藏装置只是通过降温的方式，抑制细菌的繁殖速度。但是食物存放时间过长，一样会出现变质，食用后可能会出现恶心、呕吐和腹泻等情况。家用冷藏装置一般不设置统计食材的功能，食物存放期限通过用户经验决定，很容易出现遗漏导致食物变质，影响身体健康。对于大型冷冻仓储行业来说，食材统计更需要专人负责，成本较高。一旦出现遗漏，会造成批量的食物变质销毁，导致很高的经济损失。

为解决上述问题，现有技术中提出了冷藏装置内食材的管理系统，如发明专利（申请号2014106605313）中所公开的技术方案，当检测到冷藏装置门打开时，接收用户输入的语音信息。该语音信息中包括用户对冷藏装置内食材的变更操作对应的基本食材变更信息。冷藏装置识别用户输入的语音信息，并进行预处理，生成用户对冷藏装置内食材变更操作对应的变更信息并传输至终端，使得终端生成冷藏装置内食材变更后的食材管理信息。不但看出，在上述技术方案中，为了统计冷藏装置内食材的信息，必须增加语音输入的步骤，这实际上使得整个操作变得较为复杂，并不符合人们日常使用冷藏装置的习惯。如果偶尔忘记了输入语音信息，则会使得统计信息的准确率大幅降低。

综上所述，现有技术中的冷藏装置内食材管理系统存在不符合用户使用习惯，统计信息准确率低的问题。

发明内容

本发明提供一种冷藏装置存储物管理系统，旨在克服现有技术中存储物统计不符合传统使用习惯且管理成本高的缺陷。本发明所提供的具体技术方案包括：

一种冷藏装置存储物管理系统，包括：

视频输入模块，用于输入冷藏装置入口处的视频集；

3D卷积神经网络，用于捕捉所述视频集中的空间信息和运动信息。

进一步的，所述视频输入模块还用于输入冷藏装置内的静态图像；

所述存储物管理系统还包括：

第一估算模块，用于根据冷藏装置入口视频集和3D卷积神经网络的输出估算存入或取出目标存储物的轮廓面积；

第二估算模块，用于根据静态图像再次估算目标存储物轮廓面积，

校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；

当所述卷积神经网络输出结果确定有目标存储物存入/取出时，第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将测试值与标准值进行比较，确定存储物数量。

进一步的，还包括统计模块，所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。

进一步的，所述3D卷积神经网络包括：

原始处理层，用于堆叠所述视频集中的多个连续的原始帧组成卷积立方体；

特征提取层，用于提取所述原始帧的多个通道信息；

时空卷积层，用于利用3D卷积核对每一个通道分别进行卷积；

特征采样层，用于对时空卷积层的输出进行池化；

分类器，用于根据所述特征采样层的输出结果学习分类，确定是否有目标存储物存入冷藏设备或从冷藏设备中取出。

优选的，所述通道信息包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。

进一步的，所述3D卷积神经网络包括多个时空卷积层和特征采样层，每一个所述时空卷积层的输出结果均通过一个独立的特征采样层池化。

优选的，多个时空卷积层的3D卷积核的尺寸为3*3*3，其中第一个特征采样层中的池化窗口的尺寸为1*2*2，其余特征采样层中的池化窗口的尺寸为2*2*2。

进一步的，所述分类器包括全连接层和softmax分类器。

优选的，所述视频集为冷藏装置入口处人体手部动作的动态场景，所述静态图像为冷藏装置内货架上的静态图像。

本发明所提出的冷藏装置存储物管理系统可以利用3D卷积神经网络自动在时间和空间两个维度学习、交互、识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。

本发明同时公开了一种冷藏装置，包括所述冷藏装置存储物管理系统，所述冷藏装置存储物管理系统包括视频输入模块，用于输入冷藏装置入口处的视频集； 3D卷积神经网络，用于捕捉所述视频集中的空间信息和运动信息。

本发明所公开的冷藏装置具有自动学习交互统计存储物的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提出的冷藏装置存储物管理系统一种实施例的流程图；

图2为本发明所提出的冷藏装置存储物管理系统第二种实施例的流程图；

图3为冷藏装置存储物管理系统识别模块中的损失函数曲线示例；

图4为冷藏装置存储物管理系统识别模块中错误率曲线的示例；

图5为冷藏装置存储物管理系统识别模块中学习曲线的示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的具体实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明所提出的冷藏装置存储物管理系统一个实施例的流程图。在本实施例中，冷藏装置存储物管理系统包括训练模块、识别模块、检测模块、估算模块和统计模块，其中所述训练模块、识别模块和检测模块均是基于卷积神经网络实现的，还可以包括显示模块，用于实时显示统计模块的检测值。如图所示，本实施例所提出的冷藏装置存储物管理系统具体包括：

训练模块学习检测目标存储物。在本实施例中，学习检测目标存储物即使得卷积神经网络学习区分是否为目标存储物。对于冷藏装置来说，目标存储物可以是常见的食品、也可以是药品或其它需要冷藏的物品，如实验制剂、标本等。首先建立存储目标存储物的静态图片的数据库，数据库中包括大量的图片形成训练集，训练集中静态图片的数量级可以达到十万级甚至更高。静态图片中包括多个目标存储物的互相遮挡及区分各个部位的图像。

处理模块对数据库中的静态图片进行处理，具体来说，处理包括在一幅静态图片上划分多个矩形框，每个矩形框中框出一个目标存储物。对框出的目标存储物进行分类，并根据不同类别进行标注，添加标签，并在每一幅静态图片上制作针对不同类别的标注文件，形成标注原始图像。数据库中针对每一种类型的目标存储物的静态图片数量平均要在500张以上，防止过拟合。框选的区域被认为是训练模块中的检测区域，在输入卷积神经网络之前，优选对标注原始图像进行预处理，消除图像中的一些干扰因素，具体预处理的方法包括但不限于灰度变换、直方图修正、图像平滑去噪等等。

卷积神经网络是训练模块也是整个存储物管理系统的核心。卷积神经网络包括特征提取层。特征提取层根据标注原始图像中框选区域，也就是检测区域的像素值提取特征，特征提取层将检测区域的像素值转换为多个通道的数据。每个通道的信息独立获取。通道个数可以为多个。分别对每个通道进行卷积池化得到框选区域的特征图，简称框选特征图，特征采样层利用窗口分别逐一滑过所述框选特征图，即利用卷积核采样的方式逐个采样框选特征图，得到低维向量。特征映射层将低维向量映射至全连接层。全连接层包括用于定位的回归层和用于分类的分类层，以使得卷积神经网络通过交互学习到目标存储物在标注原始图像上的位置和目标存储物的类型。全连接层输出结果，确定是否检测到目标存储物。

对卷积神经网络进行训练调整，管理系统的识别模块用于使卷积神经网络学习识别输入图像中是否有目标存储物以及目标存储物的种类。识别模块包括优化模块，优化模块首先根据训练模块生成的损失函数曲线、错误率曲线和学习曲线调整第一卷积网络的超参数。具体来说，通过损失函数曲线调整超参数中的学习率，根据训练模块生成的损失函数有多种形态。如图3所示第一种形态中损失函数曲线振荡，说明学习率过大，第二种形态中下降速度太慢，说明学习率过小。还可以通过错误率曲线调整正则项系数，如图4所示Train曲线代表的是训练错误率，vali曲线代表的是验证错误率。在训练模块中，正则项系数的设置值通常为1，根据训练后生成的train曲线和vali曲线可以调整正则项系数的值。根据学习曲线调整卷积神经网络的大小，也就是卷积神经网络的层数，图中箭头方向代表的及时层数变化的趋势。如图5所示，还可以根据学习曲线调整验证图像的数量和训练时间。根据损失函数曲线、错误率曲线和学习曲线调整后的卷积神经网络明显优于训练前的卷积神经网络。超参数的调整不限于上述三项，还可以根据训练结果调整其它超参数。

验证模块将验证图像数据库中的图像输入至优化后的卷积神经网络，卷积神经网络识别验证图像数据库输入的验证图像中是否有目标存储物以及目标存储物的种类并输出结果。验证图像类似需要识别的真实图像，不再通过处理模块处理。根据输出结果对超参数进行第二次调整，得到优化卷积神经网络。

测试模块对优化卷积神经网络经行测试。将采集到的冷藏设备入口处和冷藏设备中的视频处理为单独帧并作为测试图像分帧输入至优化卷积神经网络中进行识别，确定是否有目标存储物以及目标存储物的种类，输出识别结果。识别结果以视频格式或文本格式保存，并进行再次分析，利用分析结果再次优化卷积神经网络，得到最优化网络模型。

通过训练、验证、测试完毕的冷藏装置存储物管理系统进行冷藏装置中存储物数量和种类的管理。具体来说，目标存储物数量的变化主要由放入和取出目标存储物实现。由于在冷藏或冷冻过程中，目标存储物的形状和形态不会发生过大的变化，所以，存储物管理系统中的图像交互处理可以忽略其变形产生的变化，训练、验证、测试完毕的冷藏装置存储物管理系统最关键的难点在于存储时会出现目标存储物的相互遮挡。因此，通过以下方式实现准确识别统计。

在冷藏装置的入口处设置有用于拍摄视频的摄像装置。摄像装置可以是静止的，也可以是随着冷藏装置入口处的动作而摇动动作的，摄像装置采集冷藏装置入口处视频，其视野范围涵盖整个入口处及入口处附近的连续景象。对于家用的冷藏设备来说，摄像装置主要采集的是手部伸入冷藏装置入口或从冷藏装置入口处抽出的动作状态。对于大型的冷柜来说，摄像装置采集的视频包括人进入或从冷藏装置中走出的动作，以及人进入或走出时手部的动作和手中的目标存储物。摄像装置可以设置在冷藏装置上，也可以设置在冷藏装置附近的固定结构上，保证工作的稳定性。在冷藏装置内部也同样设置有摄像装置，用于拍摄冷藏装置内部目标存储物的存储状态，比如冷藏装置内货架上的静态场景。摄像装置可以由独立的多个摄像机实现，也可以通过设置在冷藏装置入口或门体上的一个摄像机同时实现冷藏装置入口处及冷藏装置内的图像采集。

摄像装置将采集到图像存储为视频集，并将冷藏装置入口处的视频集及冷藏装置内的视频集输入至存储物管理系统的视频输入模块。为了分别识别动作是放入目标存储物还是取出目标存储物，以及目标存储物的种类和数量，图像分解模块将视频集中的视频文件中的每一帧拆分处理成静态成分和运动成分。不同于现有技术中的人体运动识别中不可预见的运动目标以及运动方式，针对冷藏装置入口处和冷藏装置内的视频图像处理是有相对固定的检测区域、检测区域背景以及相对稳定运动模式的，因此，需要使用一种识别精度更高、处理速度更快的识别方式以实现准确的管理统计。

参见图1所示为本发明所公开的冷藏装置存储物管理系统第一种实施例的流程图，最优化网络模型为一个3D卷积神经网络。本实施例所提供的3D卷积神经网络通过3D卷积核去提取测试模块输入的冷藏装置入口处的动态视频组成的视频集中的时间和空间特征，是在时间和空间两个维度上的同时处理。

具体来说，3D卷积神经网络具体包括原始处理层、特征提取层、时空卷积层、特征采样层和分类器。其中原始处理层将视频集中多个连续的原始帧组成卷积立方体。特征提取层对每一原始帧提取多个通道信息。为了实现时空两个维度的采样，特征提取层提取五个独立通道信息，包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。时空卷积层对每一个通道分别进行卷积。时空卷积层包括多个，每一个时空卷积层的输出结果通过一个独立的特征采样层进行池化。卷积时优选的3D卷积核为3*3*3的窗口。第一特征采样层中池化窗口为1*2*2的窗口，其中特征采样层中的池化窗口为2*2*2的窗口。池化窗口的选择是为了实现最优的采样结果，第一特征采样层中的池化窗口的维度为1，避免过早的进行采样，以保留更多的图像输入信息。

特征采样层的输出结果映射至两个全连接层和softmax分类器，从而通过一个3D卷积网络同时确定是否有目标存储物，以及是否有目标存储物存入冷藏设备或从冷藏设备中取出。

在很多种情况下，单次放入冷藏装置中目标存储物的数量是不同的，这可能导致如果直接统计检测模块的输出结果存在偏差，因此，在管理系统中还设置有估算模块。估算模块的功能主要用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量。具体来说估算模块包括第一估算模块和第二估算模块，当3D卷积神经网络的输出结果确定在单次取放动作中有目标存储物、目标存储物的种类以及目标存储物是放入冷藏装置中的，则估算模块先根据冷藏装置入口处动态场景视频集中的空间流第一次估算存储物的轮廓面积并作为标准值A₁，此时，默认手部动作中的目标存储物是不存在不同种目标存储物的相互遮挡的，标准值A₁的准确性较高。第二估算模块连续接收冷藏装置中的静态图像，当静态图像中目标存储物的轮廓面积发生变化时，第二估算模块生成变化值，并将变化值作为存入冷藏装置中目标存储物的测试值A₂。估算模块中还设置有校准模块，校准模块将标准值和测试值进行比较，如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定存入冷藏装置中目标存储物的数量。

类似的，当有目标存储物从冷藏装置中取出时，第一估算模块用于先根据冷藏装置入口处的动态场景视频集的空间流估算取出目标存储物的轮廓面积并作为标准值。第二估算模块再根据冷藏装置内的静态场景再次估算冷藏装置中静态图像目标存储物的轮廓面积变化值，并将变化值作为从冷藏装置中取出的目标存储物的测试值。校准模块将标准值和测试值进行比较。如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定从冷藏装置中取出目标存储物的数量。

估算模块将输出结果输出至统计模块。统计模块在测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。统计模块的输出结果可以直接输出至显示模块。显示模块接收输出结果并根据使用习惯生成显示值，所述显示值可以包括目标物的种类、存放期限以及数量等信息。显示模块生成的显示通过显示屏显示，显示屏可以设置在冷藏装置上，或者使用与冷藏装置进行通信的其它终端上的显示屏，用于可以通过显示装置随时随地地了解和查询冷藏装置中目标存储物的种类、每一类目标存储物的数量。整个过程中无需改变传统的使用习惯，同时实现了自动统计、自动判断和自动显示，有效地简化了存储物统计的过程，降低了检测统计使用成本。

参见图2所示为本发明所公开的冷藏装置存储物管理系统第二种实施例的结构示意图，在本实施例中所采用的3D卷积神经网络也可以是根据实际使用需求搭建的具有原始处理层、特征提取层、时空卷积层和特征采样层的3D卷积神经网络。存储物管理系统的视频输入模块、图像分解模块、卷积神经网络、第一估算模块、第二估算模块和校准模块的交互、识别、统计流程与第一实施例一致，在此不再赘述。

本发明同时提出了一种采用上述实施例所具体公开的冷藏装置存储物管理系统的冷藏装置。管理系统的具体实施方式请参见上述第一实施例和第二实施例的详细描述，本发明所公开的冷藏装置具有冷藏装置存储物管理系统的技术效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种冷藏装置存储物管理系统，其特征在于，包括：

视频输入模块，用于输入冷藏装置入口处的视频集；

3D卷积神经网络，所述3D卷积神经网络通过3D卷积核提取所述冷藏装置入口处的视频集中的时间特征和空间特征，所述时间特征用于识别动作是放入目标存储物或取出目标存储物，所述空间特征用于识别目标存储物的种类和数量；

其中，所述3D卷积神经网络包括最优化网络模型，所述最优化网络模型的生成包括：

训练模块，所述训练模块配置为建立目标存储物的静态图片的数据库，其中所述静态图片包括多个目标存储物的互相遮挡及区分各个部位的图像；

识别模块，所述识别模块配置为使卷积神经网络学习识别输入图像中是否有目标存储物以及目标存储物的种类，训练并得到所述识别模块优化的卷积神经网络；

验证模块，所述验证模块配置为将验证图像数据库中的图像输入至所述识别模块优化的卷积神经网络使所述识别模块优化的卷积神经网络识别所述验证图像数据库输入的验证图像中是否有目标存储物以及目标存储物的种类并输出结果，根据输出结果进行再次调整，得到所述验证模块优化的卷积神经网络；和

测试模块，所述测试模块对所述验证模块优化的卷积神经网络进行测试，将采集到的冷藏设备入口处和冷藏设备中的视频处理为单独帧并作为测试图像分帧输入至所述验证模块优化的卷积神经网络中进行识别，确定是否有目标存储物以及目标存储物的种类，输出识别结果，并根据识别结果再次优化所述验证模块优化的卷积神经网络，得到所述最优化网络模型。

2.根据权利要求1所述的冷藏装置存储物管理系统，其特征在于，所述视频输入模块还用于输入冷藏装置内的静态图像；所述存储物管理系统还包括：

第一估算模块，用于根据冷藏装置入口视频集和3D卷积神经网络的输出估算存入或取出目标存储物的轮廓面积；

第二估算模块，用于根据静态图像再次估算目标存储物轮廓面积，

校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；

当所述3D卷积神经网络输出结果确定有目标存储物存入或取出时，第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将测试值与标准值进行比较，确定存储物数量。

3.根据权利要求2所述的冷藏装置存储物管理系统，其特征在于，还包括统计模块，所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。

4.根据权利要求1至3任一项所述的冷藏装置存储物管理系统，其特征在于，所述3D卷积神经网络包括：

原始处理层，用于堆叠所述视频集中的多个连续的原始帧组成卷积立方体；

特征提取层，用于提取所述原始帧的多个通道信息；

时空卷积层，用于利用3D卷积核对每一个通道分别进行卷积；

特征采样层，用于对时空卷积层的输出进行池化；

分类器，用于根据所述特征采样层的输出结果学习分类，确定是否有目标存储物存入冷藏设备或从冷藏设备中取出。

5.根据权利要求4所述的冷藏装置存储物管理系统，其特征在于，所述通道信息包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。

6.根据权利要求5所述的冷藏装置存储物管理系统，其特征在于，所述3D卷积神经网络包括多个时空卷积层和特征采样层，每一个所述时空卷积层的输出结果均通过一个独立的特征采样层池化。

7.根据权利要求6所述的冷藏装置存储物管理系统，其特征在于，多个时空卷积层的3D卷积核的尺寸为3*3*3，其中第一个特征采样层中的池化窗口的尺寸为1*2*2，其余特征采样层中的池化窗口的尺寸为2*2*2。

8.根据权利要求6所述的冷藏装置存储物管理系统，其特征在于，所述分类器包括全连接层和softmax分类器。

9.根据权利要求8所述的冷藏装置存储物管理系统，其特征在于，所述视频集为冷藏装置入口处人体手部动作的动态场景，静态图像为冷藏装置内货架上的静态图像。

10.一种冷藏装置，其特征在于，包括如权利要求1至9任一项所述的冷藏装置存储物管理系统。

Images