CN107480660A - 危险物品识别系统及其方法 - Google Patents

Abstract

本发明公开一种危险物品识别系统及其方法，该系统首先通过智能终端上的摄像头获取需识别的物品，并将图像信息传递到物品识别服务器中，服务器管理模块将图像信息发送到推理模块进行图像识别，推理模块通过离线训练模块所学习的资料进行物品的识别，当读取物品为危险物品时，推理模块传递到报警器进行危险提示，当读取物品不是危险物品时，推理模块发送到智能终端进行物品信息展示。本发明的识别方案是离线学习，建立离线训练模型，使用者不依赖网络，根据使用者需求，可进行二次开发，周期短，根据应用场景，调试优化，效果更好。

Description

危险物品识别系统及其方法

技术领域

本发明涉及人工智能的技术领域，尤其涉及一种危险物品识别系统及其方法。

背景技术

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。

传统的零售业是劳动密集型的工作，工作时间长，流程规整，规律，人工智能技术替代难度不高。大家都在技术研发初期，市面上还没有相对完善，成熟的技术方案。因为当前还没有成熟的人工智能销售技术的方案在商业场景中应用，相关方案缺失，所以相关技术方案会受到非常高的瞩目。

发明内容

针对上述技术中存在的不足之处，本发明提供一种便利而节省劳动力的危险物品识别系统及其方法。

为了达到上述目的，本发明一种危险物品识别系统，包括物品识别服务器、带摄像头的智能终端以及报警器；

所述物品识别服务器包括：

离线训练模块，对标注好的物品图像进行训练并储存相关物品图像的特征，基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

推理模块，判断物品种类，以30分之一秒采集一帧的速度，通过已经训练好的特征分类器进行特征提取，然后进行特征分布概率统计，根据特征概率分布，判断物品种类；

识别反馈模块，对推理模块识别错误的破坏性用例进行收集，并发送到训练模块进行重复识别学习；

以及服务器管理模块，根据应用场景，调试优化训练模块以及推理模块的运行；

所述智能终端包括：

图像采集模块，通过摄像头获取待识别物品各角度的图像信息；

识别展示模块，根据推理模块所识别的正常物品种类，将该物品的信息进行展示；

主控模块，协调图像采集模块、识别展示模块以及危险报警模块之间的信息传递与分析；

所述报警器上设有危险报警模块，根据推理模块所识别的破坏性物品种类，发出报警提示；

所述离线训练模块以及推理模块均与服务器管理模块通讯连接，所述识别反馈模块的输入端与推理模块相连，所述识别反馈模块的输出端与服务器管理模块通讯连接；述图像采集模块的输出端与主控模块相连，所述识别展示模块的输入端与主控模块相连，所述危险报警模块的输入端与服务器管理模块相连。

其中，所述训练模块包括将系统已经标注的图像进行采集并预处理的已知图像采集单元，对采集的图像特征进行归纳和总结的特征学习单元，比较已学习图像的共有特征的Softmax统计单元，以及将图像进行分类并对图像共有特征进行实时更新的分类更新单元，所述已知图像采集单元的输入端与系统已有数据库相连，所述已知图像采集单元的输出端与特征学习单元的输入端相连，所述Softmax统计单元的输入端与特征学习单元的输出端相连，所述Softmax统计单元的输出端与分类更新单元相连。

其中，所述特征学习单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征总结的低粒度特征总结块，进行图像局部图案特征总结的中粒度特征总结块，以及进行图像整体图案特征总结的高粒度特征总结块。

其中，所述推理模块包括将待识别物品图像进行采集并预处理的识别图像采集单元，对采集的图像特征进行分析与提取的特征提取单元，计算识别特征与训练好的特征近似度的分类计算单元，以及通过过滤规则判断是否为危险物品的精准判断单元，所述识别图像采集单元的输出端与特征提取单元的输入端相连，所述特征提取单元的输出端与分类计算单元的输入端相连，所述分类计算单元的输出端与与精准判断单元的输入端相连。

其中，所述特征提取单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征提取的低粒度特征提取块，进行图像局部图案特征提取的中粒度特征提取块，以及进行图像整体图案特征提取的高粒度特征提取块。

其中，所述智能终端为PC智能终端，所述主控模块通过网页浏览器连接到服务器管理模块，所述离线训练模块上训练形成离线可读特征分类器，所述推理模块通过离线可读特征分类器进行图像信息的识别。

其中，所述智能终端为移动智能终端，所述主控模块通过外置应用软件连接到服务器管理模块，所述离线训练模块上训练形成离线可读特征分类器，所述推理模块通过离线可读特征分类器进行图像信息的识别。

本发明一种危险物品识别方法，包括以下步骤：

S1、物品识别服务器的识别训练，系统将标注好的图像发送到离线训练模块中使离线训练模块训练并储存相关物品图像的特征形成特征分类器；基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

S2、图像信息的采集，智能终端通过摄像头将物品的图像信息传递到图像采集模块并传送到主控模块，由主控模块传递到服务器管理模块；

S3、物品的推理，推理模块以30分之一秒采集一帧的速度从服务器管理模块提取图像，通过已经训练好的特征分类器进行特征提取，然后进行特征分布统计概率，根据特征概率分布，判断物品种类；

S4、识别结果展示，推理模块将识别的物品种类通过服务器管理模块传递到主控模块，主控模块根据物品种类发送到识别展示模块进行物品展示，若是别的物品种类为危险物品，则报警器发出报警提示；

S5、特征分类器更新，当物品识别率波动大，识别反馈模块提醒离线训练模块对失败的用例进行分析处理，在系统进行重新标注后，再次进行训练，当训练完成时，系统自动在线更新特征分类器的模型，实现模型自动在线更新。

其中，在S1的物品识别服务器的识别训练具体过程如下：

S11、采集图像，已知图像采集单元将系统已经标注的图像进行采集并预处理；

S12、特征学习，特征学习单元依次进行图像像素块特征总结、图像局部图案特征总结以及图像整体图案特征总结；

S13、Softmax统计，Softmax统计单元比较已学习图像的共有特征，不断归纳与更新同一类别的共有特征；

S14、分类，分类更新单元将图像按照标注的类别进行分类并对图像共有特征进行实时更新储存。

其中，在S3的物品的推理具体过程如下：

S31、采集图像，识别图像采集单元将待识别物品图像进行采集并预处理；

S32、特征提取，特征提取单元依次进行图像像素块特征提取、图像局部图案特征提取以及图像整体图案特征提取，从而对采集的图像特征进行分析与提取；

S33、分类，分类计算单元计算识别特征与训练好的特征近似度；

S34、判断物品，精准判断单元通过过滤规则判断是否为危险物品；

S35、识别处理，如果通过过滤规则判断该物品为危险物品，则报警器发出报警提示，如果判断该物品不是危险物品，则进行识别物品展示。

本发明的有益效果是：

与现有技术相比，本发明的危险物品识别系统首先通过智能终端上的摄像头获取需识别的物品，并将图像信息传递到物品识别服务器中，服务器管理模块将图像信息发送到推理模块进行图像识别，推理模块通过离线训练模块所学习的资料进行物品的识别，当读取物品为危险物品时，推理模块传递到报警器进行危险提示，当读取物品不是危险物品时，推理模块发送到智能终端进行物品信息展示。本发明的识别方案是离线学习，建立离线训练模型，使用者不依赖网络，根据使用者需求，可进行二次开发，周期短，根据应用场景，调试优化，效果更好。这个物品识别系统，增加了识别反馈模块，识别反馈模块能对破坏性的用例收集，离线训练模块不断对失败用例学习，最终实现识别准确度越来越准确。

附图说明

图1为本发明危险物品识别系统的结构示意图；

图2为本发明危险物品识别系统的硬件构架图；

图3为本发明危险物品识别方法的流程框架图；

图4为本发明危险物品识别方法的训练流程框架图；

图5为本发明危险物品识别方法的推理流程框架图；

图6为本发明危险物品识别方法的模拟训练数据统计图。

主要元件符号说明如下：

1、物品识别服务器 2、智能终端

3、报警器

11、离线训练模块 12、推理模块

13、服务器管理模块 14、识别反馈模块

21、主控模块 22、图像采集模块

23、识别展示模块

31、危险报警模块。

具体实施方式

为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。

参阅图1-2，本发明一种危险物品识别系统，包括物品识别服务器1、带摄像头的智能终端2以及报警器3；

物品识别服务器1包括：

离线训练模块11，对标注好的物品图像进行训练并储存相关物品图像的特征，基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

推理模块12，判断物品种类，以30分之一秒采集一帧的速度，通过已经训练好的特征分类器进行特征提取，然后进行特征分布概率统计，根据特征概率分布，判断物品种类；

识别反馈模块14，对推理模块12识别错误的破坏性用例进行收集，并发送到训练模块进行重复识别学习；

以及服务器管理模块13，根据应用场景，调试优化训练模块以及推理模块12的运行；

智能终端2包括：

图像采集模块22，通过摄像头获取待识别物品各角度的图像信息；

识别展示模块23，根据推理模块12所识别的正常物品种类，将该物品的信息进行展示；

主控模块21，协调图像采集模块22、识别展示模块23以及危险报警模块31之间的信息传递与分析；

报警器3上设有危险报警模块31，根据推理模块12所识别的破坏性物品种类，发出报警提示；

离线训练模块11以及推理模块12均与服务器管理模块13通讯连接，识别反馈模块14的输入端与推理模块12相连，识别反馈模块14的输出端与服务器管理模块13通讯连接；述图像采集模块22的输出端与主控模块21相连，识别展示模块23的输入端与主控模块21相连，危险报警模块31的输入端与服务器管理模块13相连。

相较于现有技术，本发明的危险物品识别系统首先通过智能终端2上的摄像头获取需识别的物品，并将图像信息传递到物品识别服务器1中，服务器管理模块13将图像信息发送到推理模块12进行图像识别，推理模块12通过离线训练模块11所学习的资料进行物品的识别，当读取物品为危险物品时，推理模块12传递到报警器3进行危险提示，当读取物品不是危险物品时，推理模块12发送到智能终端2进行物品信息展示。本发明的识别方案是离线学习，建立离线训练模型，使用者不依赖网络，根据使用者需求，可进行二次开发，周期短，根据应用场景，调试优化，效果更好。这个物品识别系统，增加了识别反馈模块14，识别反馈模块14能对破坏性的用例收集，离线训练模块11不断对失败用例学习，最终实现识别准确度越来越准确。

在本实施例中，训练模块包括将系统已经标注的图像进行采集并预处理的已知图像采集单元，对采集的图像特征进行归纳和总结的特征学习单元，比较已学习图像的共有特征的Softmax统计单元，以及将图像进行分类并对图像共有特征进行实时更新的分类更新单元，已知图像采集单元的输入端与系统已有数据库相连，已知图像采集单元的输出端与特征学习单元的输入端相连，Softmax统计单元的输入端与特征学习单元的输出端相连，Softmax统计单元的输出端与分类更新单元相连。

在本实施例中，特征学习单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征总结的低粒度特征总结块，进行图像局部图案特征总结的中粒度特征总结块，以及进行图像整体图案特征总结的高粒度特征总结块。

在本实施例中，推理模块12包括将待识别物品图像进行采集并预处理的识别图像采集单元，对采集的图像特征进行分析与提取的特征提取单元，计算识别特征与训练好的特征近似度的分类计算单元，以及通过过滤规则判断是否为危险物品的精准判断单元，识别图像采集单元的输出端与特征提取单元的输入端相连，特征提取单元的输出端与分类计算单元的输入端相连，分类计算单元的输出端与与精准判断单元的输入端相连。

在本实施例中，特征提取单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征提取的低粒度特征提取块，进行图像局部图案特征提取的中粒度特征提取块，以及进行图像整体图案特征提取的高粒度特征提取块。

在本实施例中，智能终端2为PC智能终端2，主控模块21通过网页浏览器连接到服务器管理模块13，离线训练模块11上训练形成离线可读特征分类器，推理模块12通过离线可读特征分类器进行图像信息的识别。

在本实施例中，智能终端2为移动智能终端2，主控模块21通过外置应用软件连接到服务器管理模块13，离线训练模块11上训练形成离线可读特征分类器，推理模块12通过离线可读特征分类器进行图像信息的识别。

进一步参阅图3，本发明还公开了一种危险物品识别方法，包括以下步骤：

S1、物品识别服务器1的识别训练，系统将标注好的图像发送到离线训练模块11中使离线训练模块11训练并储存相关物品图像的特征形成特征分类器；基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

S2、图像信息的采集，智能终端2通过摄像头将物品的图像信息传递到图像采集模块22并传送到主控模块21，由主控模块21传递到服务器管理模块13；

S3、物品的推理，推理模块12以30分之一秒采集一帧的速度从服务器管理模块13提取图像，通过已经训练好的特征分类器进行特征提取，然后进行特征分布统计概率，根据特征概率分布，判断物品种类；

S4、识别结果展示，推理模块12将识别的物品种类通过服务器管理模块13传递到主控模块21，主控模块21根据物品种类发送到识别展示模块23进行物品展示，若是别的物品种类为危险物品，则报警器3发出报警提示；

S5、特征分类器更新，当物品识别率波动大，识别反馈模块14提醒离线训练模块11对失败的用例进行分析处理，在系统进行重新标注后，再次进行训练，当训练完成时，系统自动在线更新特征分类器的模型，实现模型自动在线更新。

参阅图4，在S1的物品识别服务器1的识别训练具体过程如下：

S11、采集图像，已知图像采集单元将系统已经标注的图像进行采集并预处理；

S12、特征学习，特征学习单元依次进行图像像素块特征总结、图像局部图案特征总结以及图像整体图案特征总结；

S13、Softmax统计，Softmax统计单元比较已学习图像的共有特征，不断归纳与更新同一类别的共有特征；

S14、分类，分类更新单元将图像按照标注的类别进行分类并对图像共有特征进行实时更新储存。

参阅图5，在S3的物品的推理具体过程如下：

S31、采集图像，识别图像采集单元将待识别物品图像进行采集并预处理；

S32、特征提取，特征提取单元依次进行图像像素块特征提取、图像局部图案特征提取以及图像整体图案特征提取，从而对采集的图像特征进行分析与提取；

S33、分类，分类计算单元计算识别特征与训练好的特征近似度；

S34、判断物品，精准判断单元通过过滤规则判断是否为危险物品；

S35、识别处理，如果通过过滤规则判断该物品为危险物品，则报警器3发出报警提示，如果判断该物品不是危险物品，则进行识别物品展示。

具体的训练过程为，物品10个种类，每个种类300个图片，迭代20万次，训练耗用18小时。推理阶段，每个图片100ms便完成结果计算。系统的实时性，准确性都比较好。经过三次不同数据集300k，600k，900k，分为80%数据量为训练集，20%为测试数据集。进行训练的神经网络模型，在训练过程中统计准确度如图6所示。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种危险物品识别系统，其特征在于，包括物品识别服务器、带摄像头的智能终端以及报警器；

所述物品识别服务器包括：

离线训练模块，对标注好的物品图像进行训练并储存相关物品图像的特征，基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

推理模块，判断物品种类，以30分之一秒采集一帧的速度，通过已经训练好的特征分类器进行特征提取，然后进行特征分布概率统计，根据特征概率分布，判断物品种类；

识别反馈模块，对推理模块识别错误的破坏性用例进行收集，并发送到训练模块进行重复识别学习；

以及服务器管理模块，根据应用场景，调试优化训练模块以及推理模块的运行；

所述智能终端包括：

图像采集模块，通过摄像头获取待识别物品各角度的图像信息；

识别展示模块，根据推理模块所识别的正常物品种类，将该物品的信息进行展示；

主控模块，协调图像采集模块、识别展示模块以及危险报警模块之间的信息传递与分析；

所述报警器上设有危险报警模块，根据推理模块所识别的破坏性物品种类，发出报警提示；

所述离线训练模块以及推理模块均与服务器管理模块通讯连接，所述识别反馈模块的输入端与推理模块相连，所述识别反馈模块的输出端与服务器管理模块通讯连接；述图像采集模块的输出端与主控模块相连，所述识别展示模块的输入端与主控模块相连，所述危险报警模块的输入端与服务器管理模块相连。

2.根据权利要求1所述的危险物品识别系统，其特征在于，所述训练模块包括将系统已经标注的图像进行采集并预处理的已知图像采集单元，对采集的图像特征进行归纳和总结的特征学习单元，比较已学习图像的共有特征的Softmax统计单元，以及将图像进行分类并对图像共有特征进行实时更新的分类更新单元，所述已知图像采集单元的输入端与系统已有数据库相连，所述已知图像采集单元的输出端与特征学习单元的输入端相连，所述Softmax统计单元的输入端与特征学习单元的输出端相连，所述Softmax统计单元的输出端与分类更新单元相连。

3.根据权利要求2所述的危险物品识别系统，其特征在于，所述特征学习单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征总结的低粒度特征总结块，进行图像局部图案特征总结的中粒度特征总结块，以及进行图像整体图案特征总结的高粒度特征总结块。

4.根据权利要求1所述的危险物品识别系统，其特征在于，所述推理模块包括将待识别物品图像进行采集并预处理的识别图像采集单元，对采集的图像特征进行分析与提取的特征提取单元，计算识别特征与训练好的特征近似度的分类计算单元，以及通过过滤规则判断是否为危险物品的精准判断单元，所述识别图像采集单元的输出端与特征提取单元的输入端相连，所述特征提取单元的输出端与分类计算单元的输入端相连，所述分类计算单元的输出端与与精准判断单元的输入端相连。

5.根据权利要求4所述的危险物品识别系统，其特征在于，所述特征提取单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征提取的低粒度特征提取块，进行图像局部图案特征提取的中粒度特征提取块，以及进行图像整体图案特征提取的高粒度特征提取块。

6.根据权利要求1所述的危险物品识别系统，其特征在于，所述智能终端为PC智能终端，所述主控模块通过网页浏览器连接到服务器管理模块，所述离线训练模块上训练形成离线可读特征分类器，所述推理模块通过离线可读特征分类器进行图像信息的识别。

7.根据权利要求1所述的危险物品识别系统，其特征在于，所述智能终端为移动智能终端，所述主控模块通过外置应用软件连接到服务器管理模块，所述离线训练模块上训练形成离线可读特征分类器，所述推理模块通过离线可读特征分类器进行图像信息的识别。

8.一种危险物品识别方法，其特征在于，包括以下步骤：

S1、物品识别服务器的识别训练，系统将标注好的图像发送到离线训练模块中使离线训练模块训练并储存相关物品图像的特征形成特征分类器；基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

S2、图像信息的采集，智能终端通过摄像头将物品的图像信息传递到图像采集模块并传送到主控模块，由主控模块传递到服务器管理模块；

S3、物品的推理，推理模块以30分之一秒采集一帧的速度从服务器管理模块提取图像，通过已经训练好的特征分类器进行特征提取，然后进行特征分布统计概率，根据特征概率分布，判断物品种类；

S4、识别结果展示，推理模块将识别的物品种类通过服务器管理模块传递到主控模块，主控模块根据物品种类发送到识别展示模块进行物品展示，若是别的物品种类为危险物品，则报警器发出报警提示；

S5、特征分类器更新，当物品识别率波动大，识别反馈模块提醒离线训练模块对失败的用例进行分析处理，在系统进行重新标注后，再次进行训练，当训练完成时，系统自动在线更新特征分类器的模型，实现模型自动在线更新。

9.根据权利要求8所述的危险物品识别方法，其特征在于，在S1的物品识别服务器的识别训练具体过程如下：

S11、采集图像，已知图像采集单元将系统已经标注的图像进行采集并预处理；

S12、特征学习，特征学习单元依次进行图像像素块特征总结、图像局部图案特征总结以及图像整体图案特征总结；

S13、Softmax统计，Softmax统计单元比较已学习图像的共有特征，不断归纳与更新同一类别的共有特征；

S14、分类，分类更新单元将图像按照标注的类别进行分类并对图像共有特征进行实时更新储存。

10.根据权利要求8所述的危险物品识别方法，其特征在于，在S3的物品的推理具体过程如下：

S31、采集图像，识别图像采集单元将待识别物品图像进行采集并预处理；

S32、特征提取，特征提取单元依次进行图像像素块特征提取、图像局部图案特征提取以及图像整体图案特征提取，从而对采集的图像特征进行分析与提取；

S33、分类，分类计算单元计算识别特征与训练好的特征近似度；

S34、判断物品，精准判断单元通过过滤规则判断是否为危险物品；

S35、识别处理，如果通过过滤规则判断该物品为危险物品，则报警器发出报警提示，如果判断该物品不是危险物品，则进行识别物品展示。