CN111291748B - 一种级联分布式的人工智能箱号识别系统 - Google Patents

Abstract

本发明提出了一种级联分布式的人工智能箱号识别系统，包括：边缘计算检测设备，所述边缘计算检测设备自动检测进入视频区域的车辆，对车牌和箱号进行初步识别处理，如果待识别车辆的所有车牌及箱号的识别结果置信度均满足第一阈值，则直接以初步识别结果作为系统的最终识别结果；否则，将相关视频帧传输给云识别中心服务器；云识别中心服务器，利用SPSS神经网络模型进行深度学习，将深度学习输出的识别结果作为最终识别结果；所述SPSS神经网络模型包括输入层、3个卷积层、池化层、全连接层以及输出层；所述输入层接收相关视频帧图像，所述3个卷积层包括第一卷积层至第三卷积层，所述第一卷积层至第三卷积层的卷积核的个数分别为32、64、32，所述全连接层连接所有的特征，将输出值送给softmax分类器，所述输出层用于输出最终的识别结果。

Description

一种级联分布式的人工智能箱号识别系统

技术领域

本发明所涉及的技术包括：人工智能边缘计算、视频/图像检测与识别、云服务、深度神经网络等技术领域，尤其涉及一种级联分布式的人工智能箱号识别系统。边缘计算是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理，将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。视频识别主要通过前端视频信息的采集，采集到的视频流通过智能识别模块，对视频画面进行检测、识别、分析，对视频画面中的出现的物体做目标分析；图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术；云服务是一种基于网络相关服务的增加、使用和交互的模式，它可以通过互联网来提供动态、易扩展、虚拟化的资源；深度神经网络是机器学习领域的一种技术，相对于传统的神经网络而言，具有多个中间层。

背景技术

伴随着全球一体化的发展以及信息化和工业自动化进程的深入，很多现代信息技术都朝着智能化、网络化、自动化的方向发展，出现了一些大于实际生产与生活需要的现代信息技术集成式应用，在这种信息化创新的趋势下，物联网技术及人工智能的发展得到了较多的重视，随之而来的技术革新给很多行业的发展提供了高效的服务。

技术简介：

传统的箱号识别技术是基于图像识别(OCR)技术对图像进行识别，识别率偏低收外界干扰大；新兴的基于人工智能技术的视频流集装箱箱号识别系统虽然最终识别率高但是初始识别率低，识别率提升慢，同时对硬件资源要求高成本高。

如果为了提升箱号识别率，可以将待识别视频数据全部放在云端服务器进行深度学习，但是需要传输的数据量巨大，会产生较大的识别延迟，降低用于体验。

本发明基于边缘计算的集装箱箱号云识别系统，首先利用边缘计算检测设备进行初步识别，运用本发明提出的初步识别算法能够在初始识别率一般能达到92％-95％，如果识别结果置信度大于第一阈值，则直接输出识别结果，否则，将相关图像帧发送给云识别中心服务器进行处理，由于云识别中心服务器具有深度学习能力，识别率可以无限提升趋近100％。

本发明的创新性贡献一方面在边缘检测设备端首创性地提出了具有较高识别率的初步识别算法，能达到95％左右，另一方面在云识别中心服务器架构了基于SPSS神经网络模型进行深度学习，其中池化层和惩罚函数的设计使得系统具有极高的识别率，能无限接近于100％，由于边缘检测设备端具备极高的识别率，因此仅需将少量无法识别出的数据传输给云识别中心服务器，大大降低了边缘计算检测设备与云识别中心服务器之间数据的传输量和云识别中心服务器的压力，加快了整个系统的识别效率，提升了用户体验。

其中初步识别算法设计如下：初步识别包括：步骤1，对箱号位置区域进行检测，获得感兴趣区域；步骤2，对感兴趣区域内的图像进行图像增强，得到增强后的图像；步骤3，对增强后的图像的各个字符进行分割，获得分割后的M个字符；步骤4:依次对各个字符及字符模板提取特征向量，计算待识别字符与各模板向量之间的相似度，所述相似度计算公式表示为：

其中Si,j表示相似度，1≤i≤M；1≤j≤N，M表示待识别字符总数，N表示字符模板总数；α、β>0.1且α+β＝1，P_i为第i个待识别字符，Q_j表示第j个字符模板，MIN表示取最小值函数。

其中SPSS神经网络模型如下：

包括输入层、3个卷积层、池化层、全连接层以及输出层；所述输入层接收相关视频帧图像，所述3个卷积层包括第一卷积层至第三卷积层，所述第一卷积层至第三卷积层的卷积核的个数分别为32、64、32，所述全连接层连接所有的特征，将输出值送给softmax分类器，所述输出层用于输出最终的识别结果；

所述池化层的池化方法如下：

S^e＝f(elogw+φ(J^e))

其中，S^e表示当前层的输出，J^e表示损失函数的输入，f()表示激励函数，w表示当前层的权重，φ表示损失函数，S^e-1表示上一层的输出，δ表示常数；

利用惩罚函数优化识别精度，使识别置信度达到第二阈值，所述惩罚函数为：

式中

其中N为训练样本数量；θ_yi,i为样本xi与其对应标签yi的权重夹角，θ_j,i为样本xi与输出节点j处的权重夹角，m为预设参数，2≤m≤5；k＝abs(sign(cosθ_j,i))。

本发明至少解决了以下技术问题：

1.减少了数据传输量，减轻识别服务器的压力。

2.识别服务器可以进行云端化。

3.初次安装本发明系统集装箱箱号识别也可以获得达到92-95％的识别率。

发明内容

本发明提出了一种级联分布式的人工智能箱号识别系统，包括：

边缘计算检测设备，所述边缘计算检测设备自动检测进入视频区域的车辆，对车牌和箱号进行初步识别处理，如果待识别车辆的所有车牌及箱号的识别结果置信度均大于第一阈值，则直接以初步识别结果作为系统的最终识别结果；否则，将相关视频帧传输给云识别中心服务器；

云识别中心服务器，利用SPSS神经网络模型进行深度学习，将深度学习输出的识别结果作为最终识别结果；

所述SPSS神经网络模型包括输入层、3个卷积层、池化层、全连接层以及输出层；所述输入层接收相关视频帧图像，所述3个卷积层包括第一卷积层至第三卷积层，所述第一卷积层至第三卷积层的卷积核的个数分别为32、64、32，所述全连接层连接所有的特征，将输出值送给softmax分类器，所述输出层用于输出最终的识别结果；

本发明的初步识别步骤包括：步骤1，对箱号位置区域进行检测，获得感兴趣区域；步骤2，对感兴趣区域内的图像进行图像增强，得到增强后的图像；步骤3，对增强后的图像的各个字符进行分割，获得分割后的M个字符；步骤4:依次对各个字符及字符模板提取特征向量，计算待识别字符与各模板向量之间的相似度，所述相似度计算公式表示为：

其中S_i,j表示相似度，1≤i≤M；1≤j≤N，M表示待识别字符总数，N表示字符模板总数；α、β>0.1且α+β＝1，P_i为第i个待识别字符，Q_j表示第j个字符模板，MIN表示取最小值函数；

本发明池化层的池化方法如下：

S^e＝f(elogw+φ(J^e))

其中，S^e表示当前层的输出，J^e表示损失函数的输入，f()表示激励函数，w表示当前层的权重，φ表示损失函数，S^e-1表示上一层的输出，δ表示常数；

本发明还利用惩罚函数优化识别精度，使识别置信度达到第二阈值，所述惩罚函数为：

式中

其中N为训练样本数量；θ_yi,i为样本x_i与其对应标签y_i的权重夹角，θ_j,i为样本x_i与输出节点j处的权重夹角，m为预设参数，2≤m≤5；k＝abs(sign(cosθ_j,i))。

附图说明

图1是一种级联分布式的人工智能箱号识别系统流程图；

图2是另一实施例的流程图；

图3是待识别的图像帧示意图。

具体实施方式

本发明系统可以大幅减轻识别服务器的压力，并降低成本。

为达到设计目的玖峰设计开发了一款边缘计算检测设备，硬件及算法采用的是目前世界最先进的技术，用于完成对复杂视频环境下物体及字体的检测；检测完成后将检测结果交由采用使用普通游戏显卡的工作站组成的识别服务器识别出最终结果。

识别服务器云端化可对集团各码头箱号原始采样数据统一管理，在使用过程中完成箱号形态大数据的采样，统一的深度学习模型可以将使用该系统的各码头箱号识别率达到最佳(98％)以上，由于采用统一标准模型后续码头初次安装AI技术的箱号识别也可以获得达到92％以上的识别率。该方法在码头属于创新性应用，可形成全新的箱号识别系统应用模式。经过学习后玖峰可完成箱号识别、箱型识别、港内自定义车牌识别、危险品标识识别、挂车车牌识别、集装箱车门状态识别(开/关/铅封)、空/重车识别。

一种级联分布式的人工智能箱号识别系统，包括：

边缘计算检测设备，所述边缘计算检测设备自动检测进入视频区域的车辆，对车牌和箱号进行初步识别处理，如果待识别车辆的所有车牌及箱号的识别结果置信度均大于第一阈值，则直接以初步识别结果作为系统的最终识别结果；否则，将相关视频帧传输给云识别中心服务器；

云识别中心服务器，利用SPSS神经网络模型进行深度学习，将深度学习输出的识别结果作为最终识别结果；

所述SPSS神经网络模型包括输入层、3个卷积层、池化层、全连接层以及输出层；所述输入层接收相关视频帧图像，所述3个卷积层包括第一卷积层至第三卷积层，所述第一卷积层至第三卷积层的卷积核的个数分别为32、64、32，所述全连接层连接所有的特征，将输出值送给softmax分类器，所述输出层用于输出最终的识别结果；

所述池化层的池化方法如下：

S^e＝f(elogw+φ(J^e))

其中，S^e表示当前层的输出，J^e表示损失函数的输入，f()表示激励函数，w表示当前层的权重，φ表示损失函数，S^e-1表示上一层的输出，δ表示常数。

优选的，所述第一阈值优选设置为92％-95％之间。

优选的，所述系统还能完成箱号识别、箱型识别、港内自定义车牌识别、危险品标识识别、挂车车牌识别、集装箱车门状态识别。

优选的，所述相关视频帧至少包括当前待识别帧的前后各2帧图像所形成的至少5帧视频图像。

优选的，利用惩罚函数优化识别精度，使识别置信度达到第二阈值，所述惩罚函数为：

式中

其中N为训练样本数量；θ_yi,i为样本x_i与其对应标签y_i的权重夹角，θ_j,i为样本x_i与输出节点j处的权重夹角，m为预设参数，2≤m≤5；k＝abs(sign(cosθ_j,i))。

优选的，所述第二阈值＝第一阈值+T，其中0.01<T<0.05。

优选的，所述初步识别包括：步骤1，对箱号位置区域进行检测，获得感兴趣区域；步骤2，对感兴趣区域内的图像进行图像增强，得到增强后的图像；步骤3，对增强后的图像的各个字符进行分割，获得分割后的M个字符；步骤4:依次对各个字符及字符模板提取特征向量，计算待识别字符与各模板向量之间的相似度，所述相似度计算公式表示为：

其中S_i,j表示相似度，1≤i≤M；1≤j≤N，M表示待识别字符总数，N表示字符模板总数；α、β>0.1且α+β＝1，P_i为第i个待识别字符，Q_j表示第j个字符模板，MIN表示取最小值函数。

作为其中一个实施例，云识别中心进行识别之后，还有结果校验步骤。

最为其中一个实施例，对于进闸的车辆，在进行视频流检测时，可能存在无法检测识别的情形，云识别中心服务器还可以基于已经收到的视频帧数据进行学习建模，得到检测模型和识别模型，并且在必要情况下可以将检测模型下发给边缘计算检测设备。

本申请还提出了一种计算机可读介质，存储有计算机程序指令，所述程序指令能够执行本发明提出的级联分布式的人工智能箱号识别系统。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

一种包含上述各实施例的一种面向可追溯的物联网存储方法的计算机可执行指令的存储介质，所述存储介质上存储有能实现上述方法的程序指令。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种级联分布式的人工智能箱号识别系统，包括：

边缘计算检测设备，所述边缘计算检测设备自动检测进入视频区域的车辆，对车牌和箱号进行初步识别处理，如果待识别车辆的车牌及箱号的识别结果置信度均大于第一阈值，则直接以初步识别结果作为系统的最终识别结果；否则，将相关视频帧传输给云识别中心服务器；

云识别中心服务器，利用训练的SPSS神经网络模型进行深度学习，将深度学习输出的识别结果作为最终识别结果；

所述SPSS神经网络模型包括输入层、3个卷积层、池化层、全连接层以及输出层；所述输入层接收相关视频帧图像，所述3个卷积层包括第一卷积层至第三卷积层，所述第一卷积层至第三卷积层的卷积核的个数分别为32、64、32，所述全连接层连接所有的特征，将输出值送给softmax分类器，所述输出层用于输出最终的识别结果；

所述池化层的池化方法如下：

其中，S^e表示当前层的输出，J^e表示损失函数的输入，f()表示激励函数，w表示当前层的权重，φ表示损失函数，S^e-1表示上一层的输出，δ表示常数；

利用惩罚函数优化识别精度，使识别置信度达到第二阈值，所述惩罚函数为：

式中

其中N为训练样本数量；θ_yi,i为样本x_i与其对应标签y_i的权重夹角，θ_j,i为样本x_i与输出节点j处的权重夹角，m为预设参数，2≤m≤5；k＝abs(sign(cosθ_j,i))。

2.根据权利要求1所述的系统，所述第一阈值优选设置为92％-95％之间。

3.根据权利要求1所述的系统，所述系统还能完成箱号识别、箱型识别、港内自定义车牌识别、危险品标识识别、挂车车牌识别、集装箱车门状态识别。

4.根据权利要求1所述的系统，所述相关视频帧至少包括当前待识别帧的前后各2帧图像所形成的至少5帧视频图像。

5.根据权利要求1所述的系统，所述第二阈值＝第一阈值+T，其中0.01<T<0.05。

6.根据权利要求1-4任一项所述的系统，所述初步识别包括：步骤1，对箱号位置区域进行检测，获得感兴趣区域；步骤2，对感兴趣区域内的图像进行图像增强，得到增强后的图像；步骤3，对增强后的图像的各个字符进行分割，获得分割后的M个字符；步骤4:依次对各个字符及字符模板提取特征向量，计算待识别字符与各模板向量之间的相似度，所述相似度计算公式表示为：

其中S_i,j表示相似度，1≤i≤M；1≤j≤N，M表示待识别字符总数，N表示字符模板总数；α、β>0.1且α+β＝1，P_i为第i个待识别字符，Q_j表示第j个字符模板，MIN表示取最小值函数。

Images