CN112906811B - 基于物联网架构的工程车载设备图像自动分类方法 - Google Patents

Abstract

本发明公开一种基于物联网架构的工程车载设备图像自动分类方法，主要解决了现有技术在对工程车载设备图像进行分类时可靠性和准确性低的问题，其实现方案是：采集工程车载设备图像和手写标签；将设备图像和手写标签上传至云存储服务器；存储服务器将图像递交给识别服务器，通过图像识别网络为图像生成内容标签向量，再返回存储服务器；存储服务器根据归一化手写标签和归一化内容标签计算图像的分类权值向量；存储服务器根据图像分类权值的大小对图像进行分类。本发明减少了由于传输问题导致的图片标类信息丢失，提高了图片标类的可靠性和准确率。可应用于对工程车辆设备检修时工人拍摄上传的大量图像进行自动的整理与分类。

Description

基于物联网架构的工程车载设备图像自动分类方法

技术领域

本发明属于图像处理技术领域，特别涉及一种图像自动分类方法，可应用于对工程车辆设备检修时工人拍摄上传的大量图像进行自动的整理与分类。

背景技术

物联网技术的迅速发展，为人们提供了一种凭借便携的移动互联网设备就可以享受强大的服务器计算性能的途径，这其中最热门的应用领域之一，就是物联网技术与深度学习技术的结合，该领域的研究目前也已取得了较为瞩目的成就。而作为物联网领域内重要的组成部分，车联网技术也随之迎来了巨大的发展机遇。但是，目前的商家将过多的目光关注于民用普通汽车的车联网技术，而工程车辆的车联网并没有太多关注度，尤其是在探索如何将工程车辆物联网技术与人工智能技术相结合的范畴内，目前仍旧是一片蓝海。

在工程车辆的日常使用中，通常会有定期设备检修以及故障处理的需求，检修人员会拍摄大量的工程车辆设备相关图片，这些图片上传到云服务器后，如果不进行有效的归类与整理，图片数据的价值会随着冗余图像的增多、类别的增多、信息有效性的减少而不断被稀释。为了避免图像数据的价值稀释问题，需要解决以下两个方面的技术难题。

一是要保证在上传数据量较大，例如日数据量达到亿条级别时数据上报的高上报率。虽然在目前已发表和申请的专利中，已经有较多关于可靠数据传输链路的相关技术，但其中大部分公开方法解决的都是小规模数据量的可靠传输问题。例如，在公开号为CN104468061A的专利申请中，公开了一种低速网络环境下的实时可靠数据传输的方法，其方案是将数据先分包，再提前发送包序号到服务器，由服务器根据包序号确定数据是否完整，若不完整则请求终端重传。该方法虽说可以在一定程度上降低低速网络环境下数据的丢包率，但由于对服务器端包序号的完整性检验在数据量较大时容易对服务器造成过大的计算压力而引起崩溃，且未考虑到在终端设备处于长期断网或者无网状态下时，上报数据会在多次尝试失败后被直接丢弃的问题，因而无法保证大数据量的移动应用事件上报时的高可靠性。

二是需要通过一定的策略，为图像划定合适的标类，从而可以基于此对图像进行合理的分类划分。目前较通常的做法是，在存储图像时只会根据人工上传图片时提供的极为有限的手动图像标签对图像进行标类，而人工提供的手动标签通常具有较大的随意性，在描述图像内容上往往并不全面，只根据手动标签为图像进行标类，因而会不可避免的产生价值稀释问题。而如果通过人工检查的方式对图片的标签进行整理又是一件极为耗时费力的工作。

发明内容

本发明的目的在于针对已有技术的不足，提出一种物联网下的工程车载设备图像自动分类方法，以减少大规模标签数据上报时的数据丢失，且避免仅依赖手动标签对图像进行标类的片面性，增强大规模标签数据的上报可靠性，提高对工程车载设备图片进行标类的准确率。

为实现上述目的，本发明的技术方案如下：

(1)使用移动设备对工程车载设备图像进行采集，并对设备图像键入部分手写标签；

(2)采用基于本地数据库以及轮询机制的上报策略，将设备图像和手写标签上传至云存储服务器：

(2a)采用字符串格式将手写标签打包成log日志，并将该日志与其对应的图像进行二进制编码，生成二进制编码文件，优先存入本地数据库；

(2b)开启子线程，在子线程中创建轮询任务，定时的从本地数据库中取出设定数量的数据，并通过网络模块上报到存储服务器；

(2c)存储服务器接收到数据后，解码并提取图像与手写标签向量；

(2d)将手写标签向量归一化；

(3)存储服务器将设备图像递交给图像识别服务器，并在识别服务器上搭载图像识别网络，通过该识别网络为图像生成内容标签向量；

(4)将内容标签向量归一化后，递交回存储服务器，存储服务器根据图像的归一化内容标签向量和(2d)获得的归一化手写标签向量，计算图像的分类权值向量y：

其中，y代表该图像的分类权值向量，其记录了该图像在最有可能的n个类别上的分类权值；y_i是图像的分类权值，代表判定该图像属于第i个分类类别的置信程度取值；maxn{...}为取最大值函数，其值为使大括号内表达式值取最大的前n个类别；k是类别总数，w_i和z_i分别代表手写标签向量和内容标签向量在第i种分类类别的取值，μ和σ分别为手写标签向量和内容标签向量的影响权重，f_classify(z_i)为类别过滤函数，其取值由如下公式给定：

(5)根据图像分类权值的大小对图像进行分类，得到图像的类别标定，并将类别标定和相应图像的磁盘地址存入数据库中。

本发明与现有技术相比具有以下优点：

第一、本发明由于采用了基于移动终端本地数据库以及轮询机制的数据上报策略，能够保证在大规模数据量上报时的数据上报可靠性，减少由于传输问题导致的图片标类信息丢失，提高图片标类的准确率；

第二、本发明由于采用人工提供的手写标签以及图像识别网络提供的内容标签对图像类别进行综合标定，避免了仅依赖手动标签对图像进行标定的片面性，提高了图片标类的准确率。

附图说明

图1为本发明的实现总流程图；

图2为本发明中移动端数据上报策略的示意图；

图3为本发明中图像内容标签的获取子流程图；

图4为用本发明和现有两种不同上报策略的上报率仿真曲线图；

图5为用本发明和现有两种不同图像分类方法的分类准确率面积图。

具体实施方式

下面结合附图对本发明的实施例和效果作详细描述。

参照图1，本发明的实现步骤如下：

步骤1、使用移动设备对工程车载设备图像进行采集，并对设备图像键入部分手写标签。

所述工程车载设备图像，是指在人工检修工程车辆设备时使用移动终端拍摄的工程车辆车载设备的图像；

所述对设备图像键入部分手写标签，是指人工拍摄工程车设备图像时，根据预先提供的类别选项卡，人工选择该图像的所属类别。

步骤2、采用基于本地数据库以及轮询机制的上报策略，将设备图像和手写标签上传至云存储服务器。

所述上报策略在不同的移动终端系统中有不同的具体实现手段，本发明选用但不限于以安卓系统为例。

参照图2，本实例具体实现如下：

2.1)采用字符串格式将手写标签打包成log日志，即将移动终端采集到的手写标签改写成一串由key-value对和间隔符组成的字符串日志，其中key代表图像分类类别，value的取值根据人工分类的结果指定，取0代表不属于该类别，取1代表属于该类别；

2.2)将打包成的日志与其对应的图像进行二进制编码，生成二进制编码文件，优先存入本地数据库；

2.3)终端系统开启子线程，并在子线程中创建轮询任务，轮询任务会按照设定时间周期从数据库中取设定数量的数据条数，这里轮询任务的时间周期和一次取出的数据条数可以根据具体事件的重要性以及服务器运算性能具体设定，本实施例设但不限于时间周期为5s，一次从数据库中取不超过32条数据事件；

2.4)移动终端系统对取出的数据事件进行标号，并将事件标号暂存到内存中的任务队列里，同时启动网络模块将事件上报到存储服务器，上报成功后删除任务队列里的事件标号以及本地数据库的相应存储，若上报失败只删除任务队列里的事件标号；

2.5)存储服务器接收到数据后，解码并提取图像与手写标签向量，再将手写标签向量归一化，暂存在本地，所述手写标签向量的归一化处理公式如下：

式中，w为归一化后的手写标签向量，w'为原始手写标签向量，w'_i为原始手写标签向量在第i个类别上的取值，k为分类类别数量。

步骤3、识别服务器通过图像识别网络获取内容标签向量。

参照图3，本步骤的具体实现如下：

3.1)在图像识别服务器上搭载图像识别网络：

3.1.1)从工程车辆制造企业车间采集工程车载设备的图像，构建工程车载设备图像集，该图像集包含共计7个类别的12340张工程车载设备图像；

3.1.2)基于深度学习技术搭建初始图像识别网络，并使用工程车载设备图像集对初始图像识别网络进行训练，并将训练后的图像识别网络搭载到图像识别服务器。

3.2)存储服务器将设备图像递交给图像识别服务器；

3.3)图像识别服务器在其缓存中查看是否已有处理结果：

如果有，则直接读取缓存中的内容标签向量，将其递交回存储服务器；

如果没有，则将待处理图像输入到自己的识别网络进行处理，得到内容标签向量，并将该内容标签向量和图像编号存入缓存中后，再将标签向量递交回存储服务器。

所述内容标签向量是一列常数，其数值代表代表着判决该图像属于对应分类的置信程度，向量取值介于0到1之间，越靠近1代表图像与该类别越接近，越靠近0代表图像离该类别越疏远。

步骤4、存储服务器计算图像的分类权值向量。

4.1)存储服务器将内容标签向量归一化，得到归一化内容标签向量z：

式中，z'为原始内容标签向量，z'_i为原始内容标签向量在第i个类别上的取值，k为分类类别数量；

4.2)根据图像的归一化内容标签向量和步骤2获得的归一化手写标签向量，通过如下公式计算图像的分类权值向量：

其中，y代表该图像的分类权值向量，其记录了该图像在最有可能的n个类别上的分类权值；y_i是图像的分类权值，代表判定该图像属于第i个分类类别的置信程度取值；maxn{...}为取最大值函数，其值为使大括号内表达式值取最大的前n个类别；k是类别总数，w_i和z_i分别代表手写标签向量和内容标签向量在第i种分类类别的取值，μ和σ分别为手写标签向量和内容标签向量的影响权重，f_classify(z_i)为类别过滤函数，其取值由如下公式给定：

步骤5、根据图像分类权值的大小对图像进行分类，得到图像的类别标定。

5.1)从分类权值向量y中取出该图像的分类权值y_i；

5.2)根据图像类别之间的相似程度设置判决阈值l，本实例设l＝0.75；

5.3)将分类权值y_i与判决阈值l相比较：

若y_i≥l，则判定该图像属于第i个分类类别；

若y_i＜l，则判定该图像不属于第i个分类类别。

步骤6、将图像类别标定和图像的磁盘地址存入存储服务器数据库中。

下面结合仿真结果对本实例的效果作进一步说明：

一、仿真条件：

安卓移动终端设备：具备网络连接功能的安卓手机设备；

存储服务器：具备数据接收功能的云服务器；

测试数据集：包含七类工程车载设备图像，每个类别包含200张图像；

图像识别网络：基于深度学习技术，通过工程车载设备图像数据集训练后生成的图像识别网络；

二.仿真内容：

仿真1，仿真不同数据上报方法的上报率效果。

1.1)用安卓移动终端设备分别使用本发明和现有的两种移动终端上报策略向存储服务器传输数据事件，并测量这三种上报方法在一天内上报不同规模数据量时服务器实际接收的数据事件数，并通过下式计算上报率：

式中，n为存储服务器实际接收到的数据事件数，N为移动终端上报的数据事件数；

1.2)由计算结果绘制三种上报方法的上报率曲线图，如图4所示。

图4中横轴代表单日上报数据的规模以10为底取对数，纵轴代表数据上报率，曲线1为本方法使用的基于本地数据库和轮询任务策略的上报率曲线，曲线2为现有基于服务器验全以及终端失败重传策略的上报率曲线，曲线3为现有基于本地缓存以及事件过滤策略的上报率曲线。

从图4可见，在单日上报数据规模较小，低于十万条数据事件时，三种上报方法的上报率都在98％以上，没有明显的性能差别，而当单日上报数据规模到达亿条数据事件时，本发明的上报率接近99％，性能明显高于另外两种上报策略的上报率。

仿真2，仿真不同图像分类方法的准确率效果。

2.1)使用工程车载设备图像测试数据集，人工模拟得到手写标签，通过图像识别网络得到内容标签，根据本发明所述流程得到分类权值，并分别测量使用手写标签、内容标签、分类权值对图像进行分类时分类准确的图像数，并通过下式计算分类准确率：

式中，m为准确分类的图像数，M为该类别图像总数；

2.2)由计算结果绘制三种分类方法的准确率面积图，如图5所示。

图5中横轴代表七类工程车载设备图像的类别，纵轴代表分类准确率，曲线1代表只依靠人工提供的手写标签对图像进行分类的分类准确率，曲线2代表只依靠图像识别算法提供的内容标签对图像进行分类的分类准确率，曲线3代表使用分类权值对图像进行标类的分类准确率。

从图5可见，使用内容权值对图像进行分类的方法在对横坐标所述的七种类别的工程车载图像分类中都能达到较高的准确率，并且性能优于只依赖手写标签和只依赖内容标签对图像进行分类的效果。

Claims (6)

1.一种基于物联网架构的工程车载设备图像自动分类方法，其特征在于，包括如下：

(1)使用移动设备对工程车载设备图像进行采集，并对设备图像键入部分手写标签；

(2)采用基于本地数据库以及轮询机制的上报策略，将设备图像和手写标签上传至云存储服务器：

(2a)采用字符串格式将手写标签打包成log日志，并将该日志与其对应的图像进行二进制编码，生成二进制编码文件，优先存入本地数据库；

(2b)开启子线程，在子线程中创建轮询任务，定时的从本地数据库中取出设定数量的数据，并通过网络模块上报到存储服务器；

(2c)存储服务器接收到数据后，解码并提取图像与手写标签向量；

(2d)将手写标签向量归一化；

(3)存储服务器将设备图像递交给图像识别服务器，并在识别服务器上搭载图像识别网络，通过该识别网络为图像生成内容标签向量；

(4)将内容标签向量归一化后，递交回存储服务器，存储服务器根据图像的归一化内容标签向量和(2d)获得的归一化手写标签向量，计算图像的分类权值向量y：

其中，y代表该图像的分类权值向量，其记录了该图像在最有可能的n个类别上的分类权值；y_i是图像的分类权值，代表判定该图像属于第i个分类类别的置信程度取值；maxn{...}为取最大值函数，其值为使大括号内表达式值取最大的前n个类别；k是类别总数，w_i和z_i分别代表手写标签向量和内容标签向量在第i种分类类别的取值，μ和σ分别为手写标签向量和内容标签向量的影响权重，f_classify(z_i)为类别过滤函数，其取值由如下公式给定：

(5)根据图像分类权值的大小对图像进行分类，得到图像的类别标定，并将类别标定和相应图像的磁盘地址存入数据库中。

2.根据权利要求1所述的方法，其特征在于，(1)中对设备图像键入部分手写标签，是在人工采集工程车设备图像时，根据预先提供的类别选项卡，人工选择该图像的所属类别。

3.根据权利要求1所述的方法，其特征在于，(2a)中采用字符串格式将手写标签打包成log日志，是将移动终端采集到的手写标签改写成一串由key-value对和间隔符组成的字符串日志，其中key代表图像分类类别，value的取值根据人工分类的结果指定，取0代表不属于该类别，取1代表属于该类别。

4.根据权利要求1所述的方法，其特征在于，(2d)中将手写标签向量归一化，通过下式进行：

式中，w为归一化后的手写标签向量，w'为原始手写标签向量，'

w_i为原始手写标签向量在第i个类别上的取值，k是类别总数。

5.根据权利要求1所述的方法，其特征在于，(3)所述的在识别服务器上搭载图像识别网络，通过该识别网络为图像生成内容标签向量，实现如下：

(3a)从工程车辆制造企业车间采集工程车载设备的图像，构建工程车载设备图像集，该图像集包含共计7个类别的12340张工程车载设备图像；

(3b)基于深度学习技术搭建初始图像识别网络，并使用工程车载设备图像集对初始图像识别网络进行训练，并将训练后的图像识别网络搭载到图像识别服务器；

(3c)图像识别服务器接收到存储服务器递交的图像后，输入到训练后的图像识别网络对图像中，得到内容标签向量，该内容标签向量的取值介于0到1之间，值的大小代表着判决该图像属于对应分类的置信程度，越靠近1代表图像与该类别越接近，越靠近0代表图像离该类别越疏远。

6.根据权利要求1所述的方法，其特征在于，(5)中根据图像分类权值的大小对图像进行分类，实现如下：

(5a)从分类权值向量y中取出该图像的分类权值y_i，分类权值代表判定该图像属于第i个分类类别的置信程度取值；

(5b)设定判决阈值l＝0.75；

(5c)将分类权值y_i与判决阈值l相比较：

若y_i≥l，则判定该图像属于第i个分类类别；

若y_i＜l，则判定该图像不属于第i个分类类别。

Images