CN113743530B - 一种基于动态视觉的自动售货识别方法 - Google Patents

Abstract

本发明涉及自动售货技术领域，尤其涉及一种基于动态视觉的自动售货识别方法，包括以下步骤：A、对购物过程进行拍摄并生成购物视频数据；B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；C、识别、提取目标区域并对非目标区域进行分割；D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；E、将采样的关键帧输入至商品识别模型中进行比对处理；F、通过结合行为算法对购物行为进行识别并得出最终购物结果；本发明不仅能够快速、精准地实现自动售货识别，而且对商品摆放位置没有限制要求，便于商品的摆放及能够提升售货柜的整体空间利用率，能够很好地适用于无人自动售货柜。

Description

一种基于动态视觉的自动售货识别方法

技术领域：

本发明涉及自动售货技术领域，尤其涉及一种基于动态视觉的自动售货识别方法。

背景技术：

随着技术的发展，近年来零售业蓬勃发展，市面上出现了一些无人自动售货柜，能够实现无人自动售货。

现有的无人自动售货柜大多基于静态识别的方式实现自动售货识别，如现有技术中申请号为CN201910708702.8的中国发明专利，其公开了一种基于图像采集装置的自动售货机，其在用户开启柜门时通过摄像头获取原始图片，在用户关闭柜门时通过摄像头获取当前图片，通过对比原始图片与当前图片，获取所售商品种类及各个所售商品种类分别所对应的商品数量；其不仅需要在售货柜内的每层售货架都安装设置1-2个摄像头，而且为了能够拍到售货架上商品的全貌，摄像头安装距离摆放的商品具有一定的高度要求，即相邻两层的售货架之间需要较大的间隔空间，从而导致整体空间利用率低，摆放较少的商品；另外，对商品的摆放位置要求较高，商品需要摆放整齐且不能叠放，不仅摆放较为麻烦，而且只能摆放较少的商品。

发明内容：

本发明的目的就是针对现有技术存在的不足而提供一种基于动态视觉的自动售货识别方法，不仅能够快速、精准地实现自动售货识别，而且对商品摆放位置没有限制要求，便于商品的摆放及能够提升售货柜的整体空间利用率，能够很好地适用于无人自动售货柜。

为了实现上述目的，本发明采用的技术方案是：一种基于动态视觉的自动售货识别方法，包括以下步骤：

A、对购物过程进行拍摄并生成购物视频数据；

B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

C、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；

D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；

E、将采样的关键帧输入至商品识别模型中进行比对处理，得出关键帧中所包含的商品种类及各个商品种类分别所对应的商品数量；

F、通过结合行为算法对购物行为进行识别并得出最终购物结果，所述最终购物结果包括所售商品种类及各个所售商品种类分别所对应的商品数量。

对上述方案的进一步改进为，所述步骤A具体包括以下步骤：

A1、当接收到开始拍摄信号时，对拍摄区的光线强度进行检测，将拍摄区的光线强度调节至预设光线强度大小，启动摄像头并开始对购物过程进行拍摄；

A2、当接收到停止拍摄信号时，关闭摄像头、停止拍摄并生成购物视频数据；

所述步骤D中的关键帧采样具体包括以下步骤：

D1、将各个视频帧中所包含的商品特征数量进行比较；

D2、将包含较多商品特征数量的视频帧作为关键帧。

对上述方案的进一步改进为，所述步骤E中的比对处理具体包括以下步骤：

E1、分别以至少两个角度进行深度特征提取；

E2、将各个角度提取的深度特征进行特征融合；

E3、根据特征融合结果进行特征比对并得出分类结果；

E4、得出商品数量结果；

所述步骤E3前预先进行：E31、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；

所述步骤E3在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；

所述步骤E4具体包括以下步骤：

E41、通过特征识别结果来获得商品数量结果N1；

E42、通过结合分类结果进行回归计算并得出商品数量结果N2；

E43、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入。

对上述方案的进一步改进为，所述步骤F中的行为算法具体包括以下步骤：

F1、对商品进行识别并得出商品所处位置；

F2、将商品当前所处位置与前一时间节点的商品所处位置进行比较；当商品当前所处位置相较于前一时间节点的商品所处位置靠近货物摆放区域，则判断商品为放回行为；当商品当前所处位置相较于前一时间节点的商品所处位置远离货物摆放区域，则判断商品为拿出行为。

对上述方案的进一步改进为，所述步骤A前预先进行：G、构建并导入商品识别模型；

所述步骤G具体包括以下步骤：

G1、构建商品训练数据集并进行第一阶段训练，得到商品识别基础模型；

G2、构建视频训练数据集并将视频训练数据集输入到商品识别基础模型中进行第二阶段训练，得到商品识别可部署模型。

对上述方案的进一步改进为，所述步骤G1中的构建商品训练数据集具体包括以下步骤：

G11、设定商品分类并对每类商品拍摄多角度模板图像；

G12、分别对各张模板图像进行裁剪处理，并获得训练图像集一；

G13、分别对训练图像集一中的各张图像进行亮度调整处理，并获得训练图像集二；

G14、分别对训练图像集二中的各张图像进行旋转操作处理，并获得训练图像集三；

分别对训练图像集二中的各张图像进行透视变换处理，并获得训练图像集四；

G15、分别对训练图像集三及训练图像集四中的各张图像进行模糊处理，并获得训练图像集五；

G16、分别对训练图像集三中的各张图像进行透视变换处理，并获得训练图像集六；

G17、分别对训练图像集六中的各张图像进行模糊处理，并获得训练图像集七；

G18、将训练图像集五、训练图像集七进行合并，并形成商品训练数据集；

其中，所述模糊处理包括高斯模糊处理和/或运动模糊处理。

对上述方案的进一步改进为，所述步骤G1中的第一阶段训练具体包括以下步骤：

G21、将商品训练数据集输入到已经通过ImageNet数据集预处理好的算法模型中；

G22、对步骤G21中的算法模型的各项参数进行微调；

G23、通过反向传播算法来进行步骤G21中的参数的梯度更新、通过调节学习率来控制步骤G21中的参数更新的幅度、通过Adam优化算法来实现网络参数的优化；

G24、直至准确率达到预设准确率大小，停止训练，并形成商品识别基础模型。

对上述方案的进一步改进为，所述步骤G2中的构建视频训练数据集具体包括以下步骤：

G31、分别以至少两个角度对购物过程进行拍摄，将各个角度拍摄的购物视频数据进行分隔存放；

G32、对G31步骤中的购物视频数据集进行购物视频数据预处理；

G33、将预处理后的购物视频数据集分成用于训练的训练集、用于验证识别精度的验证集、用于测试精度的测试集，得到视频训练数据集；

所述步骤G32中的购物视频数据集预处理具体包括以下步骤：

G321、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

G322、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；

G323、对购物视频数据中的各个视频帧进行固定数量的关键帧采样。

对上述方案的进一步改进为，所述步骤G2中的第二阶段训练具体包括以下步骤：

G41、将视频训练数据集输入到商品识别基础模型中进行比对处理；

G42、对步骤G41中的商品识别基础模型中的各项参数进行微调；

G43、通过反向传播算法来进行步骤G42中的参数的梯度更新、通过调节学习率来控制步骤G42中的参数更新的幅度、通过Adam优化算法来实现网络参数的优化；

G44、直至准确率达到预设准确率大小，停止训练，并形成商品识别可部署模型；

所述步骤G41中的比对处理具体包括以下步骤；

G411、分别以至少两个角度进行深度特征提取；

G412、将各个角度提取的深度特征进行特征融合；

G413、根据特征融合结果进行特征识别并得出分类结果；

G414、得出商品数量结果；

所述步骤G413前预先进行：G4131、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；

所述步骤G413在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；

所述步骤G414具体包括以下步骤：

G4141、通过特征识别结果来获得商品数量结果N1；

G4142、通过结合分类结果进行回归计算并得出商品数量结果N2；

G4143、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入。

对上述方案的进一步改进为，本发明还包括：H、通过异常购物行为算法对购物行为进行监测，当出现异常购物行为，系统发出警报并通知人工介入。

本发明有益效果在于：本发明提供的一种基于动态视觉的自动售货识别方法，包括以下步骤：

A、对购物过程进行拍摄并生成购物视频数据；

B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

C、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；

D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；

E、将采样的关键帧输入至商品识别模型中进行比对处理，得出关键帧中所包含的商品种类及各个商品种类分别所对应的商品数量；

F、通过结合行为算法对购物行为进行识别并得出最终购物结果，所述最终购物结果包括所售商品种类及各个所售商品种类分别所对应的商品数量；

相较于现有技术，本发明具有以下优点：

1、本发明基于动态视觉实现自动售货识别，整个售货柜只需安装两个摄像头，对商品摆放位置没有限制要求，商品摆放较为方便，能够将商品进行叠放且摆满整个售货柜，能够大大地提高售货柜的整体空间利用率，能够一次摆放较多的商品，无需频繁进行补货，能够很好地适用于无人自动售货柜；

2、本发明通过识别、提取目标区域，只对目标区域进行识别处理，即只对拍摄区中包含商品特征的区域进行识别处理，所述拍摄区为货物摆放区域外侧与货柜门内侧之间的区域，能够大大地减少待处理数据量，能够大大地节省运算资源及提高运算速度，从而能够快速、精准地实现自动售货识别并降低运算成本；

3、由于每次购物过程的时间长短难免会不同，即每次生成的购物视频具有不同的视频长度，本发明通过对购物视频数据中的各个视频帧进行固定数量的帧采样，能够使输入到商品识别模型中的数据具有相同的纬度，以适用于各个具有不同视频长度的购物视频；

4、相较于将购物视频数据的各个视频帧均输入至商品识别模型中进行比对处理，本发明通过对包含较多商品特征数量的视频帧进行关键帧采样，只将采样的关键帧输入至商品识别模型中进行比对处理，能够大大地减少待处理数据量，能够大大地节省运算资源及提高运算速度，从而能够快速、精准地实现自动售货识别并降低运算成本。

附图说明：

图1为本发明自动售货识别的流程示意图。

图2为本发明商品识别模型构建的流程示意图。

具体实施方式：

下面结合附图对本发明作进一步的说明，如图1-2所示，本发明包括以下步骤：

A、对购物过程进行拍摄并生成购物视频数据；

B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

C、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；

D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；

E、将采样的关键帧输入至商品识别模型中进行比对处理，得出关键帧中所包含的商品种类及各个商品种类分别所对应的商品数量；

F、通过结合行为算法对购物行为进行识别并得出最终购物结果，所述最终购物结果包括所售商品种类及各个所售商品种类分别所对应的商品数量。

本发明基于动态视觉实现自动售货识别，整个售货柜只需安装两个摄像头，对商品摆放位置没有限制要求，商品摆放较为方便，能够将商品进行叠放且摆满整个售货柜，能够大大地提高售货柜的整体空间利用率，能够一次摆放较多的商品，无需频繁进行补货，能够很好地适用于无人自动售货柜；

本发明通过识别、提取目标区域，只对目标区域进行识别处理，即只对拍摄区中包含商品特征的区域进行识别处理，所述拍摄区为货物摆放区域外侧与货柜门内侧之间的区域，能够大大地减少待处理数据量，能够大大地节省运算资源及提高运算速度，从而能够快速、精准地实现自动售货识别并降低运算成本；

由于每次购物过程的时间长短难免会不同，即每次生成的购物视频具有不同的视频长度，本发明通过对购物视频数据中的各个视频帧进行固定数量的帧采样，能够使输入到商品识别模型中的数据具有相同的纬度，以适用于各个具有不同视频长度的购物视频；

所述步骤A具体包括以下步骤：

A1、当接收到开始拍摄信号时，对拍摄区的光线强度进行检测，将拍摄区的光线强度调节至预设光线强度大小，启动摄像头并开始对购物过程进行拍摄；

A2、当接收到停止拍摄信号时，关闭摄像头、停止拍摄并生成购物视频数据；

本实施例中的开始拍摄信号为打开货柜门，停止拍摄信号为盖合货柜门，当货柜门被打开时，通过光线传感器对拍摄区的当前光线强度进行检测，通过可变亮度的光线调节装置对拍摄区进行光线强度调节并将拍摄区的光线强度调节至预设光线强度大小，启动摄像头并开始对购物过程进行拍摄；由于售货柜周围的光线强度会因不同的时间段及环境而发生变化，如果直接启动摄像头并开始对购物过程进行拍摄，所生成的购物视频的质量无法得到保证，会对后续的识别造成影响并降低识别准确率；相较于直接启动摄像头并开始对购物过程进行拍摄，本发明在启动摄像头进行拍摄前会对拍摄区的光线强度进行检测并将拍摄区的光线强度调节至预设光线强度大小，能够保证每次拍摄时的拍摄区内的光线强度的一致性，能够使所生成的购物视频的质量得到保证，从而使识别的准确率能够得到保证。

所述步骤D中的关键帧采样具体包括以下步骤：

D1、将各个视频帧中所包含的商品特征数量进行比较；

D2、将包含较多商品特征数量的视频帧作为关键帧。

相较于将购物视频数据的各个视频帧均输入至商品识别模型中进行比对处理，本发明通过对包含较多商品特征数量的视频帧进行关键帧采样，只将采样的关键帧输入至商品识别模型中进行比对处理，能够大大地减少待处理数据量，能够大大地节省运算资源及提高运算速度，从而能够快速、精准地实现自动售货识别并降低运算成本。

所述步骤E中的比对处理具体包括以下步骤：

E1、分别以至少两个角度进行深度特征提取；

E2、将各个角度提取的深度特征进行特征融合；

E3、根据特征融合结果进行特征比对并得出分类结果；

E4、得出商品数量结果；

相较于只通过单一角度进行深度特征提取，容易因受到遮挡而无法精准地对商品进行识别，本发明通过至少两个角度进行深度特征提取，各个角度所提取的深度特征可以相互辅助并补全彼此缺失的信息，能够有效地减少单一角度造成的目标商品信息缺失的影响，从而能够大大地提高识别准确率。

所述步骤E3前预先进行：E31、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；

所述步骤E3在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；

相较于将特征融合结果与商品数据总库进行比对，本发明根据具体售卖需求分别在各台售货柜输入包含不同商品数据信息的商品数据分库，例如商品数据总库包含1000款商品数据，而一台只是用于售卖只包含10款饮料的售货柜，将商品数据总库中的所述10款饮料数据组成商品数据分库并输入该售货柜中，该售货柜在进行比对处理时，只会将特征融合结果与所述10款饮料数据进行比对，不仅能够大大地节省运算资源及提高运算速度，而且能够提高识别准确率并降低运算成本。

所述步骤E4具体包括以下步骤：

E41、通过特征识别结果来获得商品数量结果N1；

E42、通过结合分类结果进行回归计算并得出商品数量结果N2；

E43、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入。

本发明分别通过两种方式获得商品数量结果，只有当两种方式获得的商品数量结果一致时，才会输出商品数量结果，能够使商品数量识别结果的准确率得到保证，能够避免识别结果出错及造成后续发生错误扣费，从而能够提升用户对无人售货柜的使用体验感。

所述步骤F中的行为算法具体包括以下步骤：

F1、对商品进行识别并得出商品所处位置；

F2、将商品当前所处位置与前一时间节点的商品所处位置进行比较；当商品当前所处位置相较于前一时间节点的商品所处位置靠近货物摆放区域，则判断商品为放回行为；当商品当前所处位置相较于前一时间节点的商品所处位置远离货物摆放区域，则判断商品为拿出行为；本发明通过行为算法能够快速、精准地对所售商品种类及各个所售商品种类分别所对应的商品数量进行识别、判断。

所述步骤A前预先进行：G、构建并导入商品识别模型；

所述步骤G具体包括以下步骤：

G1、构建商品训练数据集并进行第一阶段训练，得到商品识别基础模型；

G2、构建视频训练数据集并将视频训练数据集输入到商品识别基础模型中进行第二阶段训练，得到商品识别可部署模型。

相较于现有技术，本发明通过先构建商品训练数据集、进行第一阶段训练并形成商品识别基础模型，再在商品识别基础模型的基础上进行第二阶段训练并得到商品识别可部署模型，通过依次进行第一阶段训练及第二阶段训练的方式能够大大地提高所构建的商品识别模型的识别准确率，通过本发明的构建方法能够构建具有高识别准确率的商品识别模型，构建的商品识别模型能够对自动售货进行快速、精准识别，能够很好地适用于无人自动售货柜。

所述步骤G1中的构建商品训练数据集具体包括以下步骤：

G11、设定商品分类并对每类商品拍摄多角度模板图像；

G12、分别对各张模板图像进行裁剪处理，并获得训练图像集一；

G13、分别对训练图像集一中的各张图像进行亮度调整处理，并获得训练图像集二；

G14、分别对训练图像集二中的各张图像进行旋转操作处理，并获得训练图像集三；

分别对训练图像集二中的各张图像进行透视变换处理，并获得训练图像集四；

G15、分别对训练图像集三及训练图像集四中的各张图像进行模糊处理，并获得训练图像集五；

G16、分别对训练图像集三中的各张图像进行透视变换处理，并获得训练图像集六；

G17、分别对训练图像集六中的各张图像进行模糊处理，并获得训练图像集七；

G18、将训练图像集五、训练图像集七进行合并，并形成商品训练数据集；

其中，所述模糊处理包括高斯模糊处理和/或运动模糊处理。

本发明通过对每类商品的多角度模板图像进行裁剪处理、亮度调整处理、旋转操作处理、透视变换处理等处理对商品训练数据集进行扩充并获得多张训练图像，使商品训练数据集具有非常丰富的训练图像，能够提前对商品识别过程中可能出现的各种情况进行训练、识别，从而能够提高识别的准确率并能够对各种情况下的商品进行精准识别；本发明通过对进行高斯模糊处理和/或运动模糊处理后的训练图像进行识别，能够对商品快速移动的情况进行模拟训练，从而能够在商品快速移动的情况下对商品进行精准识别。

所述步骤G1中的第一阶段训练具体包括以下步骤：

G21、将商品训练数据集输入到已经通过ImageNet数据集预处理好的算法模型中；

G22、对步骤G21中的算法模型的各项参数进行微调；

G23、通过反向传播算法来进行步骤G21中的参数的梯度更新、通过调节学习率来控制步骤G21中的参数更新的幅度、通过Adam优化算法来实现网络参数的优化；

G24、直至准确率达到预设准确率大小，停止训练，并形成商品识别基础模型。

本发明的已经通过ImageNet数据集预处理好的算法模型在训练过程中，分别采用二分类交叉熵loss和最小平方差loss对商品种类和商品数量进行优化，当所述算法模型在验证集上的损失在几轮训练完成后都不下降时，则暂停训练；然后调整学习率来控制参数更新的幅度，例如，将学习率从0.001减小到0.0001，再次进行优化训练，直到所述算法模型在验证集上达到预期的效果，则最终停止训练，所述预期的效果可以自行设置，例如，对于训练集中的目标商品，将所述算法的识别准确率设置为99％，当所述算法模型在验证集上验证到所述训练集中所有商品的识别准确率达到99％，则最终停止训练。

所述步骤G2中的构建视频训练数据集具体包括以下步骤：

G31、分别以至少两个角度对购物过程进行拍摄，将各个角度拍摄的购物视频数据进行分隔存放，如分别命名并按类按次形成文件件进行区分存放；

G32、对G31步骤中的购物视频数据集进行购物视频数据预处理；

G33、将预处理后的购物视频数据集分成用于训练的训练集、用于验证识别精度的验证集、用于测试精度的测试集，得到视频训练数据集；

所述步骤G32中的购物视频数据集预处理具体包括以下步骤：

G321、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

G322、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；

G323、对购物视频数据中的各个视频帧进行固定数量的关键帧采样。

本发明通过对购物视频数据集进行预处理，能够大大地减少待处理数据量，能够大大地节省运算资源及提高运算速度，从而能够快速、精准地实现后续识别训练并降低运算成本。

所述步骤G2中的第二阶段训练具体包括以下步骤：

G41、将视频训练数据集输入到商品识别基础模型中进行比对处理；

G42、对步骤G41中的商品识别基础模型中的各项参数进行微调；

G43、通过反向传播算法来进行步骤G42中的参数的梯度更新、通过调节学习率来控制步骤G42中的参数更新的幅度、通过Adam优化算法来实现网络参数的优化；

G44、直至准确率达到预设准确率大小，停止训练，并形成商品识别可部署模型；

本发明的商品识别基础模型在训练过程中，分别采用二分类交叉熵loss和最小平方差loss对商品种类和商品数量进行优化，当所述算法模型在验证集上的损失在几轮训练完成后都不下降时，则暂停训练；然后调整学习率来控制参数更新的幅度，例如，将学习率从0.001减小到0.0001，再次进行优化训练，直到所述算法模型在验证集上达到预期的效果，则最终停止训练，所述预期的效果可以自行设置，例如，对于训练集中的目标商品，将所述算法的识别准确率设置为99％，当所述算法模型在验证集上验证到所述训练集中所有商品的识别准确率达到99％，则最终停止训练。

本发明在构建深度卷积神经网络模型时，采用的是基于TensorFlow的Keras框架下的Inception_v3模型，所述模型结构类似于一个沙漏形状，多输入多输出，多输入目的是对来自多个视角的视频数据分别同时处理，多输出的目的是分别计算商品种类以及商品数量；所述模型的特征提取部分采用平行的网络结构，每个平行分支由Inception_v3中mixed8之前的网络层组成，之后将各分支融合在一起；所述模型最后的识别部分分成两个分支，一个分支识别商品种类，另一分支识别商品数量。

所述步骤G41中的比对处理具体包括以下步骤；

G411、分别以至少两个角度进行深度特征提取；

G412、将各个角度提取的深度特征进行特征融合；

G413、根据特征融合结果进行特征比对并得出分类结果；

G414、得出商品数量结果；

相较于只通过单一角度进行深度特征提取，容易因受到遮挡而无法精准地对商品进行识别，本发明通过至少两个角度进行深度特征提取，各个角度所提取的深度特征可以相互辅助并补全彼此缺失的信息，能够有效地减少单一角度造成的目标商品信息缺失的影响，从而能够大大地提高识别准确率。

所述步骤G413前预先进行：G4131、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；

所述步骤G413在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；

相较于将特征融合结果与商品数据总库进行比对，本发明根据具体售卖需求分别在各台售货柜输入包含不同商品数据信息的商品数据分库，例如商品数据总库包含1000款商品数据，而一台只是用于售卖只包含10款饮料的售货柜，将商品数据总库中的所述10款饮料数据组成商品数据分库并输入该售货柜中，该售货柜在进行比对处理时，只会将特征融合结果与所述10款饮料数据进行比对，不仅能够大大地节省运算资源及提高运算速度，而且能够提高识别准确率并降低运算成本。

所述步骤G414具体包括以下步骤：

G4141、通过特征识别结果来获得商品数量结果N1；

G4142、通过结合分类结果进行回归计算并得出商品数量结果N2；

G4143、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入。

本发明分别通过两种方式获得商品数量结果，只有当两种方式获得的商品数量结果一致时，才会输出商品数量结果，能够使商品数量识别结果的准确率得到保证，能够避免识别结果出错及造成后续发生错误扣费，从而能够提升用户对无人售货柜的使用体验感。

本发明还包括：H、通过异常购物行为算法对购物行为进行监测，当出现异常购物行为时，系统发出警报并通知人工介入。

异常购物行为算法具体包括以下步骤：通过重量传感器对售货柜内的货物整体重量进行监测，当售货柜内货物整体重量发生的变化与所售出商品的总体重量不一致时，系统判定本次购物疑似存在偷盗行为，如通过一些外来物品(背包、挡板等)对摄像头视角进行遮挡而将货物取出，摄像头无法对商品进行识别而导致购物结果判定不准确，系统发出警报并通知人工介入，通过异常购物行为算法能够防止售货柜内的货物被盗取，从而能够避免发生经济损失；

异常购物行为算法还包括以下步骤：在购买选取货物的过程中，如果售货柜内的商品从货物摆放区域进入拍摄区并从拍摄区中向柜门外离开后又再次返回拍摄区中，系统判定本次购物疑似存在异常行为，如在摄像头的拍摄死角范围对商品进行偷换(将一些过期商品与售货柜内的正常商品进行替换)，系统发出警报并通知人工介入，通过异常购物行为算法能够使售货柜内货物的安全质量得到保证，从而能够使用户对无人售货柜的使用更加放心。

工作原理：

首先构建并导入商品识别模型；对购物过程进行拍摄并生成购物视频数据；通过目标提取算法对购物视频数据中连续的多帧图像进行计算；识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；对购物视频数据中的各个视频帧进行固定数量的关键帧采样；将采样的关键帧输入至商品识别模型中进行比对处理，得出关键帧中所包含的商品种类及各个商品种类分别所对应的商品数量；通过结合行为算法对购物行为进行识别并得出最终购物结果，所述最终购物结果包括所售商品种类及各个所售商品种类分别所对应的商品数量；本发明不仅能够快速、精准地实现自动售货识别，而且对商品摆放位置没有限制要求，便于商品的摆放及能够提升售货柜的整体空间利用率，能够很好地适用于无人自动售货柜。

当然，以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种基于动态视觉的自动售货识别方法，其特征在于，包括以下步骤：

A、对购物过程进行拍摄并生成购物视频数据；

B、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

C、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域，所述拍摄区为货物摆放区域外侧与货柜门内侧之间的区域；

D、对购物视频数据中的各个视频帧进行固定数量的关键帧采样；所述步骤D中的关键帧采样具体包括以下步骤：

D1、将各个视频帧中所包含的商品特征数量进行比较；

D2、将包含较多商品特征数量的视频帧作为关键帧；

E、将采样的关键帧输入至商品识别模型中进行比对处理，得出关键帧中所包含的商品种类及各个商品种类分别所对应的商品数量；所述步骤E中的比对处理具体包括以下步骤：

E1、分别以至少两个角度进行深度特征提取；

E2、将各个角度提取的深度特征进行特征融合；

E3、根据特征融合结果进行特征比对并得出分类结果；

E4、得出商品数量结果；

所述步骤E3前预先进行：E31、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；

所述步骤E3在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；

所述步骤E4具体包括以下步骤：

E41、通过特征识别结果来获得商品数量结果N1；

E42、通过结合分类结果进行回归计算并得出商品数量结果N2；

E43、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入；

F、通过结合行为算法对购物行为进行识别并得出最终购物结果，所述最终购物结果包括所售商品种类及各个所售商品种类分别所对应的商品数量。

2.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤A具体包括以下步骤：

A1、当接收到开始拍摄信号时，对拍摄区的光线强度进行检测，将拍摄区的光线强度调节至预设光线强度大小，启动摄像头并开始对购物过程进行拍摄；

A2、当接收到停止拍摄信号时，关闭摄像头、停止拍摄并生成购物视频数据。

3.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤F中的行为算法具体包括以下步骤：

F1、对商品进行识别并得出商品所处位置；

F2、将商品当前所处位置与前一时间节点的商品所处位置进行比较；当商品当前所处位置相较于前一时间节点的商品所处位置靠近货物摆放区域，则判断商品为放回行为；当商品当前所处位置相较于前一时间节点的商品所处位置远离货物摆放区域，则判断商品为拿出行为。

4.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于：所述步骤A前预先进行：G、构建并导入商品识别模型；

所述步骤G具体包括以下步骤：

G1、构建商品训练数据集并进行第一阶段训练，得到商品识别基础模型；

G2、构建视频训练数据集并将视频训练数据集输入到商品识别基础模型中进行第二阶段训练，得到商品识别可部署模型。

5.根据权利要求4所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤G1中的构建商品训练数据集具体包括以下步骤：

G11、设定商品分类并对每类商品拍摄多角度模板图像；

G12、分别对各张模板图像进行裁剪处理，并获得训练图像集一；

G13、分别对训练图像集一中的各张图像进行亮度调整处理，并获得训练图像集二；

G14、分别对训练图像集二中的各张图像进行旋转操作处理，并获得训练图像集三；

分别对训练图像集二中的各张图像进行透视变换处理，并获得训练图像集四；

G15、分别对训练图像集三及训练图像集四中的各张图像进行模糊处理，并获得训练图像集五；

G16、分别对训练图像集三中的各张图像进行透视变换处理，并获得训练图像集六；

G17、分别对训练图像集六中的各张图像进行模糊处理，并获得训练图像集七；

G18、将训练图像集五、训练图像集七进行合并，并形成商品训练数据集；

其中，所述模糊处理包括高斯模糊处理和/或运动模糊处理。

6.根据权利要求4所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤G1中的第一阶段训练具体包括以下步骤：

G21、将商品训练数据集输入到已经通过ImageNet数据集预处理好的算法模型中；

G22、对步骤G21中的算法模型的各项参数进行微调；

G23、通过反向传播算法来进行步骤G21中的参数的梯度更新、通过调节学习率来控制步骤G21中的参数更新的幅度、通过Adam优化算法来实现网络参数的优化；

G24、直至准确率达到预设准确率大小，停止训练，并形成商品识别基础模型。

7.根据权利要求4所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤G2中的构建视频训练数据集具体包括以下步骤：

G31、分别以至少两个角度对购物过程进行拍摄，将各个角度拍摄的购物视频数据进行分隔存放；

G32、对G31步骤中的购物视频数据集进行购物视频数据预处理；

G33、将预处理后的购物视频数据集分成用于训练的训练集、用于验证识别精度的验证集、用于测试精度的测试集，得到视频训练数据集；

所述步骤G32中的购物视频数据集预处理具体包括以下步骤：

G321、通过目标提取算法对购物视频数据中连续的多帧图像进行计算；

G322、识别、提取目标区域并对非目标区域进行分割，所述目标区域为拍摄区中包含商品特征的区域；

G323、对购物视频数据中的各个视频帧进行固定数量的关键帧采样。

8.根据权利要求4所述的一种基于动态视觉的自动售货识别方法，其特征在于，所述步骤G2中的第二阶段训练具体包括以下步骤：

G41、将视频训练数据集输入到商品识别基础模型中进行比对处理；

G42、对步骤G41中的商品识别基础模型中的各项参数进行微调；

G43、通过反向传播算法来进行步骤G42中的参数的梯度更新、通过调节学习率来控制步骤G42中的参数更新的幅度、通过Adam优化算法来实现网络参数的优化；

G44、直至准确率达到预设准确率大小，停止训练，并形成商品识别可部署模型；

所述步骤G41中的比对处理具体包括以下步骤；

G411、分别以至少两个角度进行深度特征提取；

G412、将各个角度提取的深度特征进行特征融合；

G413、根据特征融合结果进行特征比对并得出分类结果；

G414、得出商品数量结果；

所述步骤G413前预先进行：G4131、构建商品数据总库，根据具体售卖需求从商品数据总库中挑选部分商品数据组成商品数据分库；

所述步骤G413在进行特征比对时，通过将特征融合结果与商品数据分库进行比对并得出分类结果；

所述步骤G414具体包括以下步骤：

G4141、通过特征识别结果来获得商品数量结果N1；

G4142、通过结合分类结果进行回归计算并得出商品数量结果N2；

G4143、将商品数量结果N1与商品数量结果N2进行比较；当商品数量结果N1与商品数量结果N2一致时，将商品数量结果N1或商品数量结果N2作为商品数量结果进行输出；当商品数量结果N1与商品数量结果N2结果不一致时，系统发出警报并通知人工介入。

9.根据权利要求1所述的一种基于动态视觉的自动售货识别方法，其特征在于，还包括：H、通过异常购物行为算法对购物行为进行监测，当出现异常购物行为时，系统发出警报并通知人工介入。

Images