CN115984989A - 汽车生产线上的自动化vin码采集与溯源系统及方法 - Google Patents

Abstract

本发明公开一种汽车生产线上的自动化VIN码采集与溯源系统及方法，包括系统控制模块、数据采集模块、算法识识别模块、后台质检模块、可信溯源模块和数据查询模块，所述系统控制模块分别与数据采集模块、算法识识别模块、后台质检模块、可信溯源模块连接，所述数据采集模块，用于通过激光传感器对产品车进行定位，对不同的预设车型进行数据的采集，借助生产机械臂来实现信息传输以及产品车VIN码拓印的图像和数据采集；所述算法识识别模块，用于对采集到的VIN码拓印图像进行VIN码的数字内容识别，利用神经网络的数据增强后的特性，本方案能够有效提高VIN码拓印膜的甄别效率与识别精度，并采用可信溯源技术让生产系统与营销服务系统具有强耦合性。

Description

汽车生产线上的自动化VIN码采集与溯源系统及方法

技术领域

本发明属于主机厂机动车VIN码全自动化数据采集、甄别与可信溯源技术领域，具体涉及一种汽车生产线上的自动化VIN码采集与溯源系统及方法。

背景技术

当前我国的汽车制造正在迈向“工业4.0—网络化生产，虚实融合”等阶段，智能的自动化系统软件技术是实现制造业智能化的核心所在，利用信息技术实现现场控制总、数据识别处理设备以及其他市场营销系统的连接是主机厂数字化改造升级的方向，而车辆识别码正是这些关联系统进行数据交互的核心主键之一。如何高效的自动化识别机动车的VIN码，并且具有数据不可篡改性，是当前主机厂都在探讨的技术问题。

车辆识别码(Vehicle Identification Number)，简称VIN码。由17位字符组成的机动车识别码，包含了车辆的生产厂家、年代、车型、车身型式及代码、发动机代码及组装地点等信息。主机厂在车辆生产过程中，将会给每一辆车打印上一个唯一的VIN码。并在生产系统采集相关数据，及录入到车辆识别代码(VIN码)管理系统中，后续4S店将通过车辆识别代码(VIN码)管理系统中存储的数据，经过校验后将最终产品车所需上牌电子资料传送至车管所业务系统，方便客户在4S店一站式购车上牌，减化办理上牌手续，提高用户购车体验。

前市场上主流的VIN拓印采集系统，主要是通过手持扫描枪进行相关的图像数据采集，然后通过特征学习来进行数据比对。具体的技术实现：

步骤1、通过手持扫描枪对提取原始VIN码拓印膜，并保存成相同格式的图像文件，作为后续的VIN码拓印的原始数据文档。

步骤2、提取待甄别拓印膜的图像文件，并分别提取原始VIN码拓印膜图像和待甄别拓印膜图像中位于VIN码字符区域相同位置的VIN码特征点，构成一组特征点对，并以相同方法提取另一组特征点对；

步骤3、使用机器学习的图像归一化处理技术，根据两组特征点对的位置，对原始VIN码拓印膜图像和待甄别拓印膜图像的VIN码字符区域进行归一化图像显示，得到原始VIN码拓印膜VIN码字符图像以及待甄别拓印膜VIN码字符图像；

步骤4、图像组合叠加，将原始VIN码拓印膜VIN码字符图像以及待甄别拓印膜VIN码字符图像以甄别线为边界进行组合叠加，获取甄别结果，根据一定规则调整甄别线进行扫描甄别，得到甄别结果。

综上所述，现有的机动车VIN码的数据管理主要是使用图像识别的机器学习的方法，该方法作为单一的图像识别应用，仅仅只能使用到机动车年审和维修场景，该技术的社会综合经济效益相对较低，无法有效解决主机厂现在工业化4.0的数字化转型升级的需求，因此主机厂需要从机动车生产开始的数据采集、识别到可信溯源的自动化的全流程管理系统。

发明内容

本发明的目的是为了解决上述现有技术上存在的问题，提供一种汽车生产线上的自动化VIN码采集与溯源系统及方法，VIN码拓印采集与溯源系统是主机厂智能制造技术升级的一个功能改进部分，本系统主要涉及主机厂机动车生产VIN拓印过程中的全自动化流程管理，基于智能生产线自动化定位、机器学习的半监督学习、可信数据网络校验的信息化技术。

本发明的目的之一是提供一种汽车生产线上的自动化VIN码采集与溯源系统，包括系统控制模块、数据采集模块、算法识别模块、后台质检模块和可信溯源模块，所述系统控制模块分别与数据采集模块、算法识别模块、后台质检模块、可信溯源模块通信连接；

所述系统控制模块，用于实现对数据采集模块、算法识识别模块、后台质检模块、可信溯源模块、数据查询模块的基础管理功能；

所述数据采集模块，用于通过激光传感器对产品车进行定位，使用极值坐标测试的方式，对不同的预设车型进行数据的采集，并借助生产机械臂来实现信息传输以及产品车VIN码拓印的图像和数据采集；

所述算法识别模块，用于对采集到的VIN码拓印图像进行VIN码的数字内容识别，使用MixMatch的半监督学习方法来来构建VIN拓印图像的识别模型，将训练好的模型的参数和计算图结构进行固化为pb文件，然后让算法识别模块的应用程序进行应用调用，应用程序将识别出的VIN拓印图像结构的内容记录为z_n＝x_n＝1,2，...，N；并将识别后的内容z_n传送给后台质检模块；

所述后台质检模块，用于接收产品车需要拓印的内容，并存储为w_n＝x_n＝1,2，...，N；然后通过数据对比功能，进行w_n与z_n数据的比对；

所述可信溯源模块，用于将所述后台质检模块质检后的数据进行上链处理，并进行系统的安全认证。

作为优选方案，还包括数据查询模块，所述数据查询模块与系统控制模块通信连接，用户对相关数据进行可信溯源查询时，数据查询模块会先查询可信溯源模块中MySQL数据库中的内容数据，用户如果需要校验最终可信节点区块链上的数据，点击系统的数据校验，即实时查询LevelDB的链上数据。

本发明的目的之二是提供一种汽车生产线上的自动化VIN码采集与溯源系统的采集溯源方法，包括如下步骤：步骤一、数据采集模块采集VIN码的数据，包括与生产机械臂的信息传输以及产品车VIN码拓印的图像信息采集；

步骤二、算法识别模块使用MixMatch的半监督学习方法对步骤一采集到的VIN拓印图像进行VIN码的数字内容识别；

步骤三、后台质检模块通过系统控制模块接收产品车需要拓印的内容，并进行数据的比对质检；；

步骤四、可信溯源模块将步骤三质检后的数据进行上链处理，提供基于区块链的VIN码数据可信溯源功能；

步骤五、用户对相关数据进行可信溯源查询时，数据查询模块会先查询可信溯源模块中MySQL数据库中的内容数据，用户如果需要校验最终可信节点区块链上的数据，点击系统的数据校验，即实时查询LevelDB的链上数据。

作为优选方案，所述步骤一的具体步骤如下：

步骤S11、通过激光传感器对产品车进行定位，要测量产品车在生产线的定位，需要对生产线产品的进行位置的标定，建立生产线、生产机械臂与产品车的映射关系，激光传感器与产品车的距离和方向利用极坐标或直角坐标描述：

s_n＝(ρ_n，δ_n)^T；

u_n＝(x_n,y_n)^Tn＝1,2，...，N

其中，ρ_n和δ_n分别用于描述原点间的距离和倾斜角，

N为用于描述产品车扫描点数量。

步骤S12、通过多激光传感器获得产品车的扫描数据；接着，使用提升法矢量求解精度并进行高斯映射变换处理；然后，基于产品车的轮廓带进行加权最小二乘平面拟合，确定产品车的VIN码准确位置；

步骤S13、产品车到达采集工位后，由读码器识别车架号VIN与生产队列比对校验，得到当前车辆正确数据输出看板并指示机械臂开始拓印作业并触发摄像头采集若干秒作业视频，采集数据经上位机传给算法识别模块。

作为优选方案，所述步骤二的具体步骤如下：

步骤S21、使用MixMatch的半监督学习方法来来构建VIN拓印图像的识别模型；

步骤S211、根据各类车型的车驾号的图像的特点，选择正负样本来进行模型的训练；对正负样本量进行业务数据的标注，为提供数据标注的自动化水平，设计出自动生成样本标注结果的系统工具RecSampleInit.py，指定VIN码采用的的原始图像存放路径后，可自动对图像进行预处理并生成标注文件；

步骤S212、标注完正负识别样本数据后，使用MixMatch的半监督学习方法，来进行VIN码拓印图像识别的训练，利用数据增强后的特性，数据增强得到的无标注样本估计低熵标签，并利用MixUp来混合标注和无标注数据，进而更好地学习增强后的无标签样本之间的一致性；由于深度神经网络每层的维度大小的是固定，在输入进网络模型中进行训练前，将所有影像的大小统一压缩为256×256，格式统一为RGB；

步骤S213、将数据增强后的256×256的图像输入到此神经网络模型中，可以得到一个二维的预测向量，每维的值代表着每类的预测概率，根据此预测向量以及图像的标签或者伪标签计算损失函数并更新模型的参数；

步骤S22、将训练好的模型的参数和计算图结构进行固化为pb文件，然后让算法识别模块的应用程序进行应用调用，应用程序将识别出的VIN拓印图像结构的内容记录为z_n＝x_n＝1,2，...，N；并将识别后的内容z_n传送给后台质检模块。

作为优选方案，所述步骤三的具体步骤如下：后台质检模块通过系统控制模块接收产品车需要拓印的内容，并存储为w_n＝x_n＝1,2，...，N；然后通过数据对比功能，进行w_n与z_n数据的比对，如发现数据内容不一致的情况，系统将提示VIN码岗的工作人员进行人工干预，同时系统具体人工干预后的数据输入与修订功能。

作为优选方案，所述步骤四的具体步骤如下：

步骤S41、后台质检模块向可信溯源模块发起CA申请验证以获得数字签名；之后后台质检模块凭借数字签名向可信节点发送数据上链的申请，可信节点验证身份后的结果返回给后台质检模块，后台质检模块就将相关的机动车VIN码相关信息发送给可信节点；

步骤S42、可信节点对相关VIN内容数据源进行上链处理，可信节点的区块以Merkle树为基础保存VIN内容数据，区块头包含时间戳并采用Hash算法进行加密；区块体的内容是以非对称加密算法处理；

步骤S43、为提高数据的查询速度可信溯源模块采用“双轨”的数据存储机制，使用LevelDB进行链上数据存储，使用MySQL数据库进行链下数据的存储，“双轨”的数据存储内容完全一致。

本发明至少具有如下有益效果：

其一、本发明公开了主机厂机动车VIN码全自动化数据采集、甄别与可信溯源技术领域中用于自动化数据捕获、图像的半监督学习、可信数据溯源的计算机系统。能够有效提高VIN码拓印膜的甄别效率与识别精度，并采用可信溯源技术让生产系统与营销服务系统具有强耦合性。本系统核心解决了主机厂从生产制造到营销服务过程中因多系统对接和人工数据处理过程中导致的各数据错误的问题(如，因生产员工使用扫描枪采集图片的抖动操作，获取了不格图像导致的返工，影响了生产进度；或将车架号错误的图像照片提交至车管所，导致消费者车辆无法上牌风险等)，从而大幅提升主机厂的数字化应用的能力。

其二、本发明对主机厂来说，原有的VIN数据采集岗实现了全自动化的数字升级改造，每条生产线的人工成本每年至少减少20万/年。

其三、本系统引入了可信溯源模块，让VIN码能够实现主机厂与机动车的后续营销与服务系统进行了可信数据的交互，让机动车在后续服务流程中，可以获得真实有效的出厂数据，让每一台机动车都可以进行溯源管理。

其四、本系统的算法识别模块的性能优秀在VIN码拓印场景下的小数据样本快速建模中，ACC指标达到了91.4，基于半监督学习建模的原理，随着标注数据的增加，ACC还将自我线性提升。

附图说明

为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统功能模块图；

图2为本发明系统架构图；

图3为本发明数据采集模块功能涉及的工作内容；

图4为本发明实施实例中算法模型训练过程的图像标注示意图；

图5为本发明VIN数据采集岗的后台质检系统界面示意图；

图6为采集识别后的拓印VIN码字符图像的区块链存储流程图；

图7为业务查询模块中的VIN数据溯源展示界面；

具体实施方式

以下通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益的结合到其它实施方式中。

需要说明的是：除非另做定义，本文所使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中所使用的“一个”、“一”或者“该”等类似词语不表述数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同，但并不排除其他具有相同功能的元件或者物件。

本发明提供一种汽车生产线上的自动化VIN码采集与溯源系统，包括：系统控制模块、数据采集模块、算法识别模块、后台质检模块和可信溯源模块，所述系统控制模块分别与数据采集模块、算法识别模块、后台质检模块、可信溯源模块通信连接。

其中，系统控制模块，是本系统的管理功能模块具有对内与对外的管理功能，通过系统控制模块实现对内部系统数据采集模块、算法识识别模块、后台质检模块、可信溯源模块、数据查询模块的内部通信连接管理、登录管理、日志管理等基础管理功能，并还提供dashboard数据可视化的技术，通过报表拖拽的便捷操作方式让用户实现个性化的报表管理；同时对外通过规范化的http协议的实现与外部系统的数据交互，并支持单点登录功能，让本系统可以与其它生产系统实现松耦合的系统集成。

本实施例，数据采集模块，用于VIN码的数据采集包括与生产机械臂的信息传输以及产品车VIN码拓印的图像信息采集；主机厂的生产线目前基本都是基于一体化MES系统来进行智能化的制造，在机动车的生产过程中，借助激光传感器对车辆进行相关的定位，并传输信号给机械臂跟随产品车拍照和拓印，并采集相关的VIN码拓印信息。

数据采集模块中的行程开关和激光传感器会安装在机动车的生产线上，对不同的产品车的类型进行机动车的定位；数据采集模块中，构建不同车型的车型扫描参数，当生产线的行程开关被激活后，激光传感器会以固定角度连续发射激光，激光碰到产品车后发生反射，并被接收后转发回数据采集模块。数据采集模块就会对产品车辆进行测量信息运算，判断产品车辆是否到达位置指定的位置；数据采集模块根据预先设置好的车型参数，借助机械臂中的上位机系统会触发OCR相机采集车身规格纸二维码和VIN拓印图像，从而获取车架号，并将VIN绑定到当前产品车辆。

本方案中，算法识别模块，使用MixMatch的半监督学习方法对采集到的VIN拓印图像进行VIN码的数字内容识别。自动化收集VIN拓印图像比标注图像的样本标签的成本小多了，随着主机厂的智能制造能力的提升，具有错误类型的数据样本的标签的数据样本量小，同时因拓印过程中的特殊问题会产生一些未知的错误，会导致对半监督学习的算法的性能下降，无法有效识别有质量问题的车辆，导致VIN码拓印图像的录入错误，算法识别模块使用通用增量极限学习机，解决分类器的性能以及处理标注过程中出现的数据类别不平衡问题。算法识别模块使用半监督深度学习和模型集成的方法，在错误标签数据不多时，利用数量更多的无标签数据里的图像信息，训练出一个效果良好的图像识别模型。

算法识别模块通过OCR相机将采集的VIN码拓印图像根据车型进行分类，为算法识别模型构建各车型的图像识别模型，模型构建使用半监督深度学习方法MixMatch方法实现，在各车型的训练集中分别随机选择1000张正常采集的VIN码拓印图像为正向训练基图像和100张有瑕疵的图像为负向训练图像，并对其进行图像的数据标注组成有标签的训练机，同时在随机挑选1100张的VIN码拓印图像作为无标签的训练基。

本方案，算法识别模块在进行数据训练时，先将训练的原图数据执行90°的旋转变换，以生成多组变换数据，这样可以得到一个增广视图，这些增广数据相对原数据产生较大的分布差异，如数字图像分类的{6vs 9}，在进行数据增加的过程中，有标签数据和无标签数据都各增加一次，这种训练中的图像增幅方法，用公式来表示数据增强的过程：

其中，

是对VIN码拓印图像x使用数据增强(90°的旋转)得到的新图像。

算法识别模块使用MixMatch对有标签的和无标签的VIN码图像进行计算，产生新的有标签数据和新的带伪标签的无标签数据；同时也对旋转后的数据增加数据进行计算，用公式来表示整个计算过程：

其中，x为一批的有标VIN码图像，v为一批的无标签图像。t，k以及a是MixMatch的超参数；x’为计算后得到的一批新的有标签数据，u’是新的带伪标签的无标签数据，

是进行数据增强后的数据。

本实施例，为了满足半监督深度学习的熵最小化原则，即分类边界不通过数据密集区域。减小无标签数据的熵，将此平均向量进行温度锐化，即减小平均预测分布的不确定程度。经过这一步，得到无标签样本的预测标签，将其作为无标签样本的标签。使用常用做法，基于一致性的半监督方法为无标签样本生成预测标签。

本方案，在模型训练过程中，通过有标签样本和无标签样本的混合，模型可以从无标签样本中学习到有标签样本的信息。然后使用的损失函数来计算模型的损失，用公式来表示损失函数的计算过程：

Loss＝Loss_l+λLoss_ul

其中，Loss_l为有标签样本标签和模型预测之间的损失，Loss_ul为无标签样本的预测标签和模型预测之间的损失，λ为无标签样本的损失权重。通过梯度下降法最小化损失函数Loss，不断迭代直至模型收敛。

本实施例，经过100次训练后，模型的准确度(Accuracy，Acc)达到了91.4。将训练好的各类车型图像识别模型安装入算法识识别模块中，对生产线实时采集的VIN拓印图像进行自动化的识别，当图像识别的准确度低于93时，系统会当前图片进行报错提示，VIN岗的数据采集人员就会对报错的图像进行人工干预，并对该图像重新进行人工标注，并将标注的结构传送给模型，并进行模型的自动迭代优化。

本实施例，后台质检模块通过系统控制模块，接收产品车需要拓印的内容，并存储为w_n＝x_n＝1,2，...，N；然后通过数据对比功能，进行w_n与z_n数据的比对，如发现数据内容不一致的情况，系统将提示VIN码岗的工作人员进行人工干预，同时系统具体人工干预后的数据输入与修订功能。对采集后的VIN码拓印数据经算法模型数据处理，准确识别拓印图像，并判断VIN图像提取车架号的正确性。现场VIN采集岗的工作人员可以通过后台查看作业实绩及车辆监控，对识别出错的图像进行人工干预，并进行相关的补录数据工作，对正常的识别数据按照工作岗位的质检要求，进行人工的数据抽查核对工作。

本实施例，可信溯源模块将质检后的数据进行上链处理，提供了基于区块链的VIN码数据可信溯源功能。对后台质检模块进行身份认证，身份认证通过后，将采集的到拓印图像存储到，主机厂搭建的可信区块链的系统上，作为机动车厂家出厂的可信VIN码数据来源。

本方案，通过溯源系统的PKI架构，为后台校验模块提供了Fabric CA的身份认证，台校验模块做为受信任的一方，可以向可信网络的存储节点送相关的VIN码的拓印图像和车型相关数据，进行数据上链。

本实施例中，为保障可信溯源模的tps不低于200，系统将将每块的数据大小标准设置为2M/块，出块时间设置为2S。这样可以有效可信溯源模块与生产系统的业务同步性。

本方案，可信溯源模块会将相关的图像信息和数据信息压缩到1.8M以下，这样让每份数据都可以独立存储在一个可信区块链的块中，让可信区块链的系统保持数据存储与读取的综合效率最大化。

本方案，可信区块链的节点对相关的VIN拓码图像进行base64的处理，这时候将得到VIN拓码图像的哈希值，可信节点会将计算所得的哈希值与VIN拓码图像一起进行相关的存储，从而保障VIN拓码图像的真实有效可信。

本实施例中，可信溯源模块为保障系统的安全，采用MySQL数据库进行链下数据的存储，使用LevelDB对链上数据(包括链下数据的hash摘要值)以K-V形式进行存储，实现数据双备份的方式。

本方案，后台质检模块向可信溯源模块发起CA申请验证以获得数字签名；之后后台质检模块凭借数字签名向可信节点发送数据上链的申请，可信节点验证身份后的结果返回给后台质检模块，后台模块就将相关的机动车VIN码相关信息发送给可信节点(如：车辆基本信息、生产工厂、生产日期、生产批号、VIN码、VIN码拓印图像等)。

本方案，可信节点对相关VIN内容数据源进行上链处理。可信节点的区块以Merkle树为基础保存VIN内容数据，区块头包含时间戳并采用Hash算法进行加密；区块体的内容是以非对称加密算法处理。

本实施例中，为提高数据的查询速度可信溯源模块采用“双轨”的数据存储机制，使用LevelDB进行链上数据存储，使用MySQL数据库进行链下数据的存储，“双轨”的数据存储内容完全一致。

本方案，数据查询模块中，用户对相关数据进行可信溯源查询时，数据查询模块会先查询可信溯源模块中MySQL数据库中的内容数据，用户如果需要校验最终可信节点区块链上的数据，点击系统的数据校验，即实时查询LevelDB的链上数据，通过“双轨”的数据存储机制使得数据查询模块可以达到10000人次/每秒级别的业务承载能力。

本实施例，4S店等营销渠道在开展机动车销售的过程中，需要对机动车进行相应的销售业务管理，VIN码作为机动车的唯一识别码，是其它业务系统查询机动车出厂信息的重要标识，通过对可信节点数据的查询，实现机动车出厂数据的溯源，提高业务服务的质量。

为了提高数据的查询速度，业务查询模块第一对可信溯源模块发起数据查询时，优先查询MySQL数据库内的相关数据，作为业务数据的展示；

本方案，相关的工作人员和用户如需对相关的数据进行验证时，根据图中所示溯源查询功能，点击“数据校验”按钮，可信溯源模块会当前用户查询的数据进行MySQL和LevelDB链上数据进行比对，如果两份数据一致，系统就好现实验证成功的“图标”信息，如验证不成功就不提示“数据不匹配”的信息。最终保障查询的数据为可信的不可更改的数据。

本方案，为保障MySQL上的数据实时性，系统每天晚上12：00都会定时进行MySQL和LevelDB链上数据的全量对比，如LevelDB链上数据发生改变，数据就会同步到MySQL，减少MySQL上出现数据延时的现象。

本实施例，4S店最终将产品车所需上牌电子资料经过校验后传送至车管所业务系统。

本发明通过给主机厂提供一种实现全自动化流程的VIN管理系统，采用激光传感器的自动数据提取方式，用MixMatch半监督学习的VIN拓印图像的自动识别，最终还借助区块链技术来最终保障自动化工具处理后的数据可溯源性，帮助主机厂进行数字化的转型升级，最终提高主机厂的市场化竞争力。

本实施例还提供一种汽车生产线的VIN码拓印采集与溯源系统的采集溯源方法。

步骤一、数据采集模块采集VIN码的数据，包括与生产机械臂的信息传输以及产品车VIN码拓印的图像信息采集；

步骤S11、通过激光传感器对产品车进行定位，要测量产品车在生产线的定位，需要对生产线产品的进行位置的标定，建立生产线、机械臂与产品车的映射关系，激光传感器与产品车的距离和方向可利用极坐标或直角坐标描述：

s_n＝(ρ_n，δ_n)^T；

u_n＝(x_n,y_n)^T _n＝1,2，...，N

其中，ρ_n和δ_n分别用于描述原点间的距离和倾斜角，

N为用于描述产品车扫描点数量。

步骤S12、通过多激光传感器获得产品车的扫描数据；接着，使用提升法矢量求解精度并进行高斯映射变换处理；然后，基于产品车的轮廓带进行加权最小二乘平面拟合，确定产品车的VIN码准确位置。

步骤S13、产品车到达采集工位后，由读码器识别车架号VIN与生产队列比对校验，得到当前车辆正确数据输出看板并指示机械臂开始拓印作业并触发摄像头采集10秒作业视频，采集数据经上位机传给算法识识别模块。

步骤二、算法识别模块使用MixMatch的半监督学习方法对步骤一采集到的VIN拓印图像进行VIN码的数字内容识别；

步骤S21、使用MixMatch的半监督学习方法来来构建VIN拓印图像的识别模型。

步骤S211、根据各类车型的车驾号的图像的特点，选择正负样本来进行模型的训练。对正负样本量进行业务数据的标注，为提供数据标注的自动化水平，设计出自动生成样本标注结果的系统工具RecSampleInit.py，指定VIN码采用的的原始图像存放路径后，可自动对图像进行预处理并生成标注文件，减少工作人员的人工标注工作量。

步骤S212、标注完正负识别样本数据后，使用MixMatch的半监督学习方法，来进行VIN码拓印图像识别的训练，利用数据增强后的特性，数据增强得到的无标注样本估计(guess)低熵标签，并利用MixUp来混合标注和无标注数据，进而更好地学习增强后的无标签样本之间的一致性。由于深度神经网络每层的维度大小是固定的，在输入进本方案的网络模型中进行训练前，本方案将所有影像的大小统一压缩为256×256，格式统一为RGB。

步骤S213、将数据增强后的256×256的图像输入到此神经网络模型中，可以得到一个二维的预测向量，每维的值代表着每类的预测概率，根据此预测向量以及图像的标签或者伪标签计算损失函数并更新模型的参数。优化器使用随机梯度下降法，本模型的学习率策略使用余弦退火，周期为100，经训练后模型的准确度(Accuracy，Acc)达到了91.4。

步骤S22、将训练好的模型的参数和计算图结构进行固化为pb文件，然后让算法模块的应用程序进行应用调用，应用程序将识别出的VIN拓印图像结构的内容记录为z_n＝x_n＝1,2，...，N；并将识别后的内容z_n传送给后台质检模块。

步骤三、后台质检模块通过系统控制模块接收产品车需要拓印的内容；并存储为w_n＝x_n＝1,2，...，N；然后通过数据对比功能，进行w_n与z_n数据的比对，如发现数据内容不一致的情况，系统将提示VIN码岗的工作人员进行人工干预，同时系统具体人工干预后的数据输入与修订功能。

步骤四、可信溯源模块将步骤三质检后的数据进行上链处理，提供基于区块链的VIN码数据可信溯源功能；

步骤S41、后台质检模块向可信溯源模块发起CA申请验证以获得数字签名；之后后台质检模块凭借数字签名向可信节点发送数据上链的申请，可信节点验证身份后的结果返回给后台质检模块，后台模块就将相关的机动车VIN码相关信息发送给可信节点(如：车辆基本信息、生产工厂、生产日期、生产批号、VIN码、VIN码拓印图像等)。

步骤S42、可信节点对相关VIN内容数据源进行上链处理。可信节点的区块以Merkle树为基础保存VIN内容数据，区块头包含时间戳并采用Hash算法进行加密；区块体的内容是以非对称加密算法处理。

步骤S43、为提高数据的查询速度可信溯源模块采用“双轨”的数据存储机制，使用LevelDB进行链上数据存储，使用MySQL数据库进行链下数据的存储，“双轨”的数据存储内容完全一致。

步骤五、用户对相关数据进行可信溯源查询时，数据查询模块会先查询可信溯源模块中MySQL数据库中的内容数据，用户如果需要校验最终可信节点区块链上的数据，点击系统的数据校验，即实时查询LevelDB的链上数据。通过“双轨”的数据存储机制使得数据查询模块可以达到10000人次/每秒级别的业务承载能力。

以上所述，仅为本发明是考虑系统整体效率最大化的实施方案，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.汽车生产线上的自动化VIN码采集与溯源系统，其特征在于：包括系统控制模块、数据采集模块、算法识别模块、后台质检模块和可信溯源模块，所述系统控制模块分别与数据采集模块、算法识别模块、后台质检模块、可信溯源模块通信连接；

所述系统控制模块，用于实现对数据采集模块、算法识识别模块、后台质检模块、可信溯源模块的基础管理功能；

所述数据采集模块，用于通过激光传感器对产品车进行定位，使用极值坐标测试的方式，对不同的预设车型进行数据的采集，并借助生产机械臂来实现信息传输以及产品车VIN码拓印的图像和数据采集；

所述算法识别模块，用于对采集到的VIN码拓印图像进行VIN码的数字内容识别，使用MixMatch的半监督学习方法来来构建VIN拓印图像的识别模型，将训练好的模型的参数和计算图结构进行固化为pb文件，然后让算法识别模块的应用程序进行应用调用，应用程序将识别出的VIN拓印图像结构的内容记录为z_n＝x_n＝1，2，...，N；并将识别后的内容z_n传送给后台质检模块；

所述后台质检模块，用于接收产品车需要拓印的内容，并存储为w_n＝x_n＝1，2，…，N；然后通过数据对比功能，进行w_n与z_n数据的比对；

所述可信溯源模块，用于将所述后台质检模块质检后的数据进行上链处理，并进行系统的安全认证。

2.根据权利要求1所述的汽车生产线上的自动化VIN码采集与溯源系统，其特征在于：还包括数据查询模块，所述数据查询模块与系统控制模块通信连接，用户对相关数据进行可信溯源查询时，数据查询模块会先查询可信溯源模块中MySQL数据库中的内容数据，用户如果需要校验最终可信节点区块链上的数据，点击系统的数据校验，即实时查询LevelDB的链上数据。

3.根据权利要求2所述的汽车生产线上的自动化VIN码采集与溯源系统的采集溯源方法，其特征在于：包括如下步骤：

步骤一、数据采集模块采集VIN码的数据，包括与生产机械臂的信息传输以及产品车VIN码拓印的图像信息采集；

步骤二、算法识别模块使用MixMatch的半监督学习方法对步骤一采集到的VIN拓印图像进行VIN码的数字内容识别；

步骤三、后台质检模块通过系统控制模块接收产品车需要拓印的内容，并进行数据的比对质检；

步骤四、可信溯源模块将步骤三质检后的数据进行上链处理，提供基于区块链的VIN码数据可信溯源功能；

步骤五、用户对相关数据进行可信溯源查询时，数据查询模块会先查询可信溯源模块中MySQL数据库中的内容数据，用户如果需要校验最终可信节点区块链上的数据，点击系统的数据校验，即实时查询LevelDB的链上数据。

4.根据权利要求3所述的汽车生产线上的自动化VIN码采集与溯源系统的采集溯源方法，其特征在于：所述步骤一的具体步骤如下：

步骤S11、通过激光传感器对产品车进行定位，要测量产品车在生产线的定位，需要对生产线产品的进行位置的标定，建立生产线、生产机械臂与产品车的映射关系，激光传感器与产品车的距离和方向利用极坐标或直角坐标描述：

s_n＝(ρ_n，δ_n)^T；

u_n＝(x_n，y_n)^Tn＝1，2，...，N

其中，ρ_n和δ_n分别用于描述原点间的距离和倾斜角，

N为用于描述产品车扫描点数量。

步骤S12、通过多激光传感器获得产品车的扫描数据；接着，使用提升法矢量求解精度并进行高斯映射变换处理；然后，基于产品车的轮廓带进行加权最小二乘平面拟合，确定产品车的VIN码准确位置；

步骤S13、产品车到达采集工位后，由读码器识别车架号VIN与生产队列比对校验，得到当前车辆正确数据输出看板并指示机械臂开始拓印作业并触发摄像头采集若干秒作业视频，采集数据经上位机传给算法识别模块。

5.根据权利要求3所述的汽车生产线上的自动化VIN码采集与溯源系统的采集溯源方法，其特征在于：所述步骤二的具体步骤如下：

步骤S21、使用MixMatch的半监督学习方法来来构建VIN拓印图像的识别模型；

步骤S211、根据各类车型的车驾号的图像的特点，选择正负样本来进行模型的训练；对正负样本量进行业务数据的标注，为提供数据标注的自动化水平，设计出自动生成样本标注结果的系统工具RecSampleInit.py，指定VIN码采用的原始图像存放路径后，可自动对图像进行预处理并生成标注文件；

步骤S212、标注完正负识别样本数据后，使用MixMatch的半监督学习方法，来进行VIN码拓印图像识别的训练，利用数据增强后的特性，数据增强得到的无标注样本估计低熵标签，并利用MixUp来混合标注和无标注数据，进而更好地学习增强后的无标签样本之间的一致性；在输入进网络模型中进行训练前，将所有影像的大小统一压缩为256×256，格式统一为RGB；

步骤S213、将步骤S212数据增强后的256×256的图像输入到此神经网络模型中，可以得到一个二维的预测向量，每维的值代表着每类的预测概率，根据此预测向量以及图像的标签或者伪标签计算损失函数并更新模型的参数；

步骤S22、将训练好的模型的参数和计算图结构进行固化为pb文件，然后让算法识别模块的应用程序进行应用调用，应用程序将识别出的VIN拓印图像结构的内容记录为z_n＝x_n＝1，2，...，N；并将识别后的内容z_n传送给后台质检模块。

6.根据权利要求5所述的汽车生产线上的自动化VIN码采集与溯源系统的采集溯源方法，其特征在于：所述步骤三的具体步骤如下：后台质检模块通过系统控制模块接收产品车需要拓印的内容，并存储为w_n＝x_n＝1，2，...，N；然后通过数据对比功能，进行w_n与z_n数据的比对，如发现数据内容不一致的情况，系统将提示VIN码岗的工作人员进行人工干预，同时系统具体人工干预后的数据输入与修订功能。

7.根据权利要求5所述的汽车生产线上的自动化VIN码采集与溯源系统的采集溯源方法，其特征在于：所述步骤四的具体步骤如下：

步骤S41、后台质检模块向可信溯源模块发起CA申请验证以获得数字签名；之后后台质检模块凭借数字签名向可信节点发送数据上链的申请，可信节点验证身份后的结果返回给后台质检模块，后台质检模块就将相关的机动车VIN码相关信息发送给可信节点；

步骤S42、可信节点对相关VIN内容数据源进行上链处理，可信节点的区块以Merkle树为基础保存VIN内容数据，区块头包含时间戳并采用Hash算法进行加密；区块体的内容是以非对称加密算法处理；

步骤S43、为提高数据的查询速度可信溯源模块采用“双轨”的数据存储机制，使用LevelDB进行链上数据存储，使用MySQL数据库进行链下数据的存储，“双轨”的数据存储内容完全一致。

Images