CN109945594A - 基于动态视频检测的智能视觉冰箱 - Google Patents

Abstract

本发明公开了基于动态视频检测的智能视觉冰箱，解决了当前市场上存在的智能冰箱，只是在单一的使用重量分类系统或者是图像分类系统，对于光照等干扰噪声处理不强，易受外部环境影响，降低视频检测结果正确性，容易产生商品遮挡，造成商品的漏检和误检，以及数量的检测错误的问题，其包括箱体，所述箱体的一侧通过铰链固定有箱门，箱门的外侧中心处嵌入安装有显示模块，箱体的底部内部通过焊接固定有主控系统，主控系统包括视频运动检测模块、图像分类模块、重量分类模块和终端预测模块。本发明利用智能的图像处理算法和深度学习网络来优化检测和分类的准确性，还有机的结合了图像分类和重量分类的优点。

Description

基于动态视频检测的智能视觉冰箱

技术领域

本发明涉及智能视觉冰箱技术领域，具体为基于动态视频检测的智能视觉冰箱。

背景技术

智能视觉冰箱结合利用数字图像处理、计算机视觉、深度学习以及重力感应技术检测用户的商品购买行为，实时分析得到用户的商品购买种类与数量。但是现有的智能视觉冰箱具有如下问题：

1、对于光照等干扰噪声处理不强，易受外部环境影响，降低视频检测结果正确性；

2、容易产生商品遮挡，造成商品的漏检和误检，以及数量的检测错误；

3、片面依托于视频检测或重力检测的结果。因此，设计一种基于动态视频检测的智能视觉冰箱是很有必要的。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供基于动态视频检测的智能视觉冰箱，有效的解决了当前市场上存在的智能冰箱，只是在单一的使用重量分类系统或者是图像分类系统，对于光照等干扰噪声处理不强，易受外部环境影响，降低视频检测结果正确性，容易产生商品遮挡，造成商品的漏检和误检，以及数量的检测错误的问题。

为实现上述目的，本发明提供如下技术方案：本发明包括箱体，所述箱体的一侧通过铰链固定有箱门，箱门的外侧中心处嵌入安装有显示模块，箱体的底部内部通过焊接固定有主控系统，主控系统包括视频运动检测模块、图像分类模块、重量分类模块和终端预测模块，箱体的左上角和右下角均通过螺栓固定有高清摄像头，箱体的内部设置有若干个隔板，且隔板上嵌入安装有重力感应器。

根据上述技术方案，所述视频运动检测模块通过RS485串口电缆与高清摄像头连接，基于互信息特征的运动视频检测算法，用于检测用户取放商品的行为区段；

图像分类模块通过RS485串口电缆与高清摄像头连接，基于深度神经网络技术，通过深度学习，用于对视频中不同角度的商品进行产品分类；

重量分类模块通过RS485串口电缆与重力感应器连接，用于结合检测到的用户取放商品的行为区段，通过差分策略对取出或放入的商品得到基于概率的判断结果；

终端预测模块，用于采用权重算法对图像分类算法和重量分类算法中的结果向量进行求和融合，生成最终的预测向量。

根据上述技术方案，所述视频运动检测模块中运动视频检测算法具体为对于检测图像区域S，运动报警的判定条件为：

其中，S_c(i,j,t)为亮度图像序列在t时刻，点(i,j)处的灰度值，Th为某个灰度阙值；

考虑到图像光照条件的变化，对判定条件进行了改进，加入了对整体光照敏感的添加项，即改进的判定条件为：

其中γ为抑制系数，Ns为检测区域S内的像素数目，在假定检测区域的像素足够多的前提下，如果图像光照变化较小，添加项的值趋近与零，式(2)近似与式(1)。

根据上述技术方案，所述图像分类模块中图像分类算法包括：

S1、将获取到的输入图像输入到交替层叠卷积层和池化层构成最大池化卷积神经网络，通过深度卷积神经网络与结合基于CUDA架构的cuDNN并行运算策略依次计算获得输入图像的特征矩阵；

S2、通过分类器对特征矩阵进行分类获得该输入图像的类别。

根据上述技术方案，所述深度卷积神经网络在CUDA-cuDNN上的训练过程为：

a、串行代码根据算法预设的网络结构和学习率、训练子集大小等参数来初始化待训练的DCNN；

b、通过创建CUDA-cuDNN句柄等来初始化运行时环境，将图像数据集以矩阵的形式读取到CPU内存中，分配所需显存空间和定义传输数据格式为四维张量，并将一批训练样本传送至GPU显存中；

c、由CUDA-cuDNN调用内核函数来运行GPU设备并行代码；

d、实现DCNN的前向传递和反向传递两个并行运算过程，即前向传递过程和反向传递过程；

e、串行代码从GPU显存中取回相应参数的梯度，并更新各层的权重和偏置；

f、将下一批训练样本传送至GPU显存中重复步骤(c)、(d)的过程，直至最后一个训练子集；

g、反复重复训练上述步骤(b)～(e)的过程若干次，以使算法收敛于最优值。

根据上述技术方案，所述重量分类模块中重量分类算法包括：

a、输入层：该层共有1个节点，主要作用是将已经获得的重量数据输入到下一层进行处理；

b、模糊化层：该层有9个节点，每一个节点分别代表相应输入量的一个模糊子集，主要作用是根据输入量，得到其属于某个模糊子集的隶属度，隶属度函数为：

其中，c_ij和б_ij表示隶属函数的中心和宽度；

c、隐层：该层共有2个节点，它的主要作用是匹配模糊规则的前件，计算出每条规则的合适度，即：

其中，i₁∈{1，2，…，m₁}，i₂∈{1，2，…，m₂}，i₃∈{1，2，…，m₃)，j＝1，2，…，m；

d、归一化层：层节点数与第三层相同，它的主要作用是实现归一化运算，即：

e、输出层：该层有1个节点，完成解模糊功能，

输出层的值设为固定的数值0和1。

根据上述技术方案，所述终端预测模块，用于采用权重算法对图像分类算法和重量分类算法中的结果向量进行求和融合的具体方案为：

a、由于图像分类会出现缺失效应，所以对图像分类向量应用衰减效应处理；

b、每次动作后，将会生成两个图像矢量，一个是放货行为图像向量IN，另一个是是取货行为图像向量OUT；

c、每次动作后，同样也会有一个或两个重量向量，如果有两个向量，则第一个是IN，第二个是OUT，如果只有一个向量，那么将添加为零向量，以补足两个完备的重量向量；

d、最后对图像分类和重量分类的IN和OUT向量做相应的加权融合，生成最终的预测向量，从而充分发挥两种分类各自的优点，得到最准确的判断。

本发明的有益效果为：1、利用运动视频检测算法对数字图像处理主要用于视频质量的优化，视频质量的优化主要指均衡视频中光照和对比度的变化，提供更加清晰可见的视频，为后续处理提供高质量的视频输入，另外，规范化视频的质量参数，为后续视频中各帧之间的分析比较减少不必要的噪声影响；

2、计算机视觉主要用于差分图像检测和手部跟踪，通过提出的基于互信息的差分图像检测，可以分析得到是否有拿出或放入行为发生，为后续跟踪处理提供触发机制，手部跟踪可以更快速准确的定位手部的位置，从而锁定运动中商品的位置，为后续视频检测处理提供有效输入，另外能节省CPU运算；

3、深度学习主要用于检测已优化处理过的视频帧中的商品，该检测算法利用处于不同空间位置的双摄像头，可以有效的避免有意或无意的遮挡行为，检测并综合分析得到商品的种类及相应的数量信息；

4、重力感应技术主要用于检测隔层上商品重量的变化，该检测技术可用于验证动态视频检测的结果，融合产生最终的检测结果，另外，可用于分析捕捉用户恶意的盗喝与盗吃行为，并产生报警信息。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明整体三维结构示意图；

图2是本发明冰箱箱门打开状态三维结构示意图；

图3是本发明整体正视结构示意图；

图4为本发明主控系统组成结构方框图；

图中标号：1、箱体；2、箱门；3、显示模块；4、主控系统；5、隔板；6、重力感应器；7、高清摄像头；8、视频运动检测模块；9、图像分类模块；10、重量分类模块；11、终端预测模块。

具体实施方式

下面结合附图1-4对本发明的具体实施方式做进一步详细说明。

由图1-4给出，本发明包括箱体1，箱体1的一侧通过铰链固定有箱门2，箱门2的外侧中心处嵌入安装有显示模块3，箱体1的底部内部通过焊接固定有主控系统4，主控系统4包括视频运动检测模块8、图像分类模块9、重量分类模块10和终端预测模块11，箱体1的左上角和右下角均通过螺栓固定有高清摄像头7，箱体1的内部设置有若干个隔板5，且隔板5上嵌入安装有重力感应器6。

根据上述技术方案，视频运动检测模块8通过RS485串口电缆与高清摄像头7连接，基于互信息特征的运动视频检测算法，用于检测用户取放商品的行为区段；

图像分类模块9通过RS485串口电缆与高清摄像头7连接，基于深度神经网络技术，通过深度学习，用于对视频中不同角度的商品进行产品分类；

重量分类模块10通过RS485串口电缆与重力感应器6连接，用于结合检测到的用户取放商品的行为区段，通过差分策略对取出或放入的商品得到基于概率的判断结果；

终端预测模块11，用于采用权重算法对图像分类算法和重量分类算法中的结果向量进行求和融合，生成最终的预测向量。

根据上述技术方案，视频运动检测模块8中运动视频检测算法具体为对于检测图像区域S，运动报警的判定条件为：

其中，S_c(i,j,t)为亮度图像序列在t时刻，点(i,j)处的灰度值，Th为某个灰度阙值；

考虑到图像光照条件的变化，对判定条件进行了改进，加入了对整体光照敏感的添加项，即改进的判定条件为：

其中γ为抑制系数，Ns为检测区域S内的像素数目，在假定检测区域的像素足够多的前提下，如果图像光照变化较小，添加项的值趋近与零，式(2)近似与式(1)。

根据上述技术方案，图像分类模块9中图像分类算法包括：

S1、将获取到的输入图像输入到交替层叠卷积层和池化层构成最大池化卷积神经网络，通过深度卷积神经网络与结合基于CUDA架构的cuDNN并行运算策略依次计算获得输入图像的特征矩阵；

S2、通过分类器对特征矩阵进行分类获得该输入图像的类别。

根据上述技术方案，深度卷积神经网络在CUDA-cuDNN上的训练过程为：

a、串行代码根据算法预设的网络结构和学习率、训练子集大小等参数来初始化待训练的DCNN；

b、通过创建CUDA-cuDNN句柄等来初始化运行时环境，将图像数据集以矩阵的形式读取到CPU内存中，分配所需显存空间和定义传输数据格式为四维张量，并将一批训练样本传送至GPU显存中；

c、由CUDA-cuDNN调用内核函数来运行GPU设备并行代码；

d、实现DCNN的前向传递和反向传递两个并行运算过程，即前向传递过程和反向传递过程；

e、串行代码从GPU显存中取回相应参数的梯度，并更新各层的权重和偏置；

f、将下一批训练样本传送至GPU显存中重复步骤(c)、(d)的过程，直至最后一个训练子集；

g、反复重复训练上述步骤(b)～(e)的过程若干次，以使算法收敛于最优值。

根据上述技术方案，重量分类模块10中重量分类算法包括：

a、输入层：该层共有1个节点，主要作用是将已经获得的重量数据输入到下一层进行处理；

b、模糊化层：该层有9个节点，每一个节点分别代表相应输入量的一个模糊子集，主要作用是根据输入量，得到其属于某个模糊子集的隶属度，隶属度函数为：

其中，c_ij和б_ij表示隶属函数的中心和宽度；

c、隐层：该层共有2个节点，它的主要作用是匹配模糊规则的前件，计算出每条规则的合适度，即：

其中，i₁∈{1，2，…，m₁}，i₂∈{1，2，…，m₂}，i₃∈{1，2，…，m₃)，j＝1，2，…，m；

d、归一化层：层节点数与第三层相同，它的主要作用是实现归一化运算，即：

e、输出层：该层有1个节点，完成解模糊功能，

输出层的值设为固定的数值0和1。

根据上述技术方案，终端预测模块11，用于采用权重算法对图像分类算法和重量分类算法中的结果向量进行求和融合的具体方案为：

a、由于图像分类会出现缺失效应，所以对图像分类向量应用衰减效应处理；

b、每次动作后，将会生成两个图像矢量，一个是放货行为图像向量IN，另一个是是取货行为图像向量OUT；

c、每次动作后，同样也会有一个或两个重量向量，如果有两个向量，则第一个是IN，第二个是OUT，如果只有一个向量，那么将添加为零向量，以补足两个完备的重量向量；

d、最后对图像分类和重量分类的IN和OUT向量做相应的加权融合，生成最终的预测向量，从而充分发挥两种分类各自的优点，得到最准确的判断。

本发明利用运动视频检测算法对数字图像处理主要用于视频质量的优化，视频质量的优化主要指均衡视频中光照和对比度的变化，提供更加清晰可见的视频，为后续处理提供高质量的视频输入，另外，规范化视频的质量参数，为后续视频中各帧之间的分析比较减少不必要的噪声影响；

计算机视觉主要用于差分图像检测和手部跟踪，通过提出的基于互信息的差分图像检测，可以分析得到是否有拿出或放入行为发生，为后续跟踪处理提供触发机制，手部跟踪可以更快速准确的定位手部的位置，从而锁定运动中商品的位置，为后续视频检测处理提供有效输入，另外能节省CPU运算；

深度学习主要用于检测已优化处理过的视频帧中的商品，该检测算法利用处于不同空间位置的双摄像头，可以有效的避免有意或无意的遮挡行为，检测并综合分析得到商品的种类及相应的数量信息；

重力感应技术主要用于检测隔层上商品重量的变化，该检测技术可用于验证动态视频检测的结果，融合产生最终的检测结果，另外，可用于分析捕捉用户恶意的盗喝与盗吃行为，并产生报警信息。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于动态视频检测的智能视觉冰箱，包括箱体(1)，其特征在于，所述箱体(1)的一侧通过铰链固定有箱门(2)，箱门(2)的外侧中心处嵌入安装有显示模块(3)，箱体(1)的底部内部通过焊接固定有主控系统(4)，主控系统(4)包括视频运动检测模块(8)、图像分类模块(9)、重量分类模块(10)和终端预测模块(11)，箱体(1)的左上角和右下角均通过螺栓固定有高清摄像头(7)，箱体(1)的内部设置有若干个隔板(5)，且隔板(5)上嵌入安装有重力感应器(6)。

2.根据权利要求1所述的基于动态视频检测的智能视觉冰箱，其特征在于，所述视频运动检测模块(8)通过RS485串口电缆与高清摄像头(7)连接，基于互信息特征的运动视频检测算法，用于检测用户取放商品的行为区段；

图像分类模块(9)通过RS485串口电缆与高清摄像头(7)连接，基于深度神经网络技术，通过深度学习，用于对视频中不同角度的商品进行产品分类；

重量分类模块(10)通过RS485串口电缆与重力感应器(6)连接，用于结合检测到的用户取放商品的行为区段，通过差分策略对取出或放入的商品得到基于概率的判断结果；

终端预测模块(11)，用于采用权重算法对图像分类算法和重量分类算法中的结果向量进行求和融合，生成最终的预测向量。

3.根据权利要求2所述的基于动态视频检测的智能视觉冰箱，其特征在于，所述视频运动检测模块(8)中运动视频检测算法具体为对于检测图像区域S，运动报警的判定条件为：

其中，S_c(i,j,t)为亮度图像序列在t时刻，点(i,j)处的灰度值，Th为某个灰度阙值；

考虑到图像光照条件的变化，对判定条件进行了改进，加入了对整体光照敏感的添加项，即改进的判定条件为：

其中γ为抑制系数，Ns为检测区域S内的像素数目，在假定检测区域的像素足够多的前提下，如果图像光照变化较小，添加项的值趋近与零，式(2)近似与式(1)。

4.根据权利要求2所述的基于动态视频检测的智能视觉冰箱，其特征在于，所述图像分类模块(9)中图像分类算法包括：

S1、将获取到的输入图像输入到交替层叠卷积层和池化层构成最大池化卷积神经网络，通过深度卷积神经网络与结合基于CUDA架构的cuDNN并行运算策略依次计算获得输入图像的特征矩阵；

S2、通过分类器对特征矩阵进行分类获得该输入图像的类别。

5.根据权利要求4所述的基于动态视频检测的智能视觉冰箱，其特征在于，所述深度卷积神经网络在CUDA-cuDNN上的训练过程为：

a、串行代码根据算法预设的网络结构和学习率、训练子集大小等参数来初始化待训练的DCNN；

b、通过创建CUDA-cuDNN句柄等来初始化运行时环境，将图像数据集以矩阵的形式读取到CPU内存中，分配所需显存空间和定义传输数据格式为四维张量，并将一批训练样本传送至GPU显存中；

c、由CUDA-cuDNN调用内核函数来运行GPU设备并行代码；

d、实现DCNN的前向传递和反向传递两个并行运算过程，即前向传递过程和反向传递过程；

e、串行代码从GPU显存中取回相应参数的梯度，并更新各层的权重和偏置；

f、将下一批训练样本传送至GPU显存中重复步骤(c)、(d)的过程，直至最后一个训练子集；

g、反复重复训练上述步骤(b)～(e)的过程若干次，以使算法收敛于最优值。

6.根据权利要求2所述的基于动态视频检测的智能视觉冰箱，其特征在于，所述重量分类模块(10)中重量分类算法包括：

a、输入层：该层共有1个节点，主要作用是将已经获得的重量数据输入到下一层进行处理；

b、模糊化层：该层有9个节点，每一个节点分别代表相应输入量的一个模糊子集，主要作用是根据输入量，得到其属于某个模糊子集的隶属度，隶属度函数为：

其中，c_ij和б_ij表示隶属函数的中心和宽度；

c、隐层：该层共有2个节点，它的主要作用是匹配模糊规则的前件，计算出每条规则的合适度，即：

其中，i₁∈{1，2，…，m₁}，i₂∈{1，2，…，m₂}，i₃∈{1，2，…，m₃)，j＝1，2，…，m；

d、归一化层：层节点数与第三层相同，它的主要作用是实现归一化运算，即：

e、输出层：该层有1个节点，完成解模糊功能，

输出层的值设为固定的数值0和1。

7.根据权利要求2所述的基于动态视频检测的智能视觉冰箱，其特征在于，所述终端预测模块(11)，用于采用权重算法对图像分类算法和重量分类算法中的结果向量进行求和融合的具体方案为：

a、由于图像分类会出现缺失效应，所以对图像分类向量应用衰减效应处理；

b、每次动作后，将会生成两个图像矢量，一个是放货行为图像向量IN，另一个是是取货行为图像向量OUT；

c、每次动作后，同样也会有一个或两个重量向量，如果有两个向量，则第一个是IN，第二个是OUT，如果只有一个向量，那么将添加为零向量，以补足两个完备的重量向量；

d、最后对图像分类和重量分类的IN和OUT向量做相应的加权融合，生成最终的预测向量，从而充分发挥两种分类各自的优点，得到最准确的判断。