CN111428556B - 一种基于胶囊神经网络的交通标志识别方法 - Google Patents
一种基于胶囊神经网络的交通标志识别方法 Download PDFInfo
- Publication number
- CN111428556B CN111428556B CN202010095806.9A CN202010095806A CN111428556B CN 111428556 B CN111428556 B CN 111428556B CN 202010095806 A CN202010095806 A CN 202010095806A CN 111428556 B CN111428556 B CN 111428556B
- Authority
- CN
- China
- Prior art keywords
- image
- capsule
- traffic sign
- layer
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 35
- 230000009191 jumping Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 5
- 238000010606 normalization Methods 0.000 abstract description 2
- 238000004806 packaging method and process Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Abstract
本发明涉及一种基于胶囊神经网络的交通标志识别方法，采用图像均衡化、最大稳定极值区域分割、归一化等方法预处理图像，消除运动模糊、背景干扰、光照以及交通标志局部遮挡破损等因素干扰，并分割出感兴趣区域的图像，可有效提取感兴趣区域图像，提高弱光条件的查全率，增强鲁棒性；引入胶囊神经网络结构，采用卷积层底层特征，通过主胶囊层张量向量后封装成向量化的胶囊单元，采用动态路由聚类和反向传播更新权重参数，实现模型训练和输出模型权重参数，具有较快的训练速度，且减少训练时间；最终根据训练好的模型权重参数和动态路由聚类实现图像的分类，可有效提高弱光照图片的查全率，提高交通标志的识别率。
Description
技术领域：
本发明涉及交通标志检测和识别技术领域，具体涉及一种基于胶囊神经网络的交通标志识别方法。
背景技术：
随着社会经济的发展，汽车已成为世界上使用最多的交通工具，导致交通事故频发和交通阻塞日益严重，造成大量的经济损失。面对这一问题，汽车厂商、学术界和政府专家共同努力致力于研发先进的智能交通系统，以改善和加强交通安全，因此智能交通系统迅速发展，其中道路交通标志识别是智能交通领域中难度较大的问题之一。现今的车载系统，交通标志的提示大多通过数字地图数据获知，但是该方法只限于有地图数据的一部分道路，而无法获知其他情况下的交通标志，因此基于人工智能和机器视觉的识别系统拥有大量的需求。近年来随着物联网、高性能计算机和智能移动终端的普及与发展，图像采集设备和处理能力的提高，交通标志识别成为了实景图像识别的热点研究问题之一。
在交通标志识别方面，目前部分学者侧重于研究机器视觉领域的特征提取以及分类器等方法，实现交通标志图像的识别分类，如戈侠等人针对图像特征提取时由于内部噪点的存在造成交通标志内部指示信息识别错误的问题，提出了一种自适应串行融合特征的识别方法，该方法计算交通标志图像中每一小块的梯度直方图，得到权重系数，选取权重较大的方向梯度直方图特征和内部局部二值模式特征进行自适应串行融合特征，最后使用支持向量机进行识别。Madani A等人针对交通标志图像特征信息较多导致分类识别较差的问题，提出了一种基于颜色、形状和图像文字的交通标志识别方法，可提取交通标志边缘颜色、形状和图像文字等图像特征，使用逻辑门和支持向量机分类方法进行分类。Abdi L等人针对提取交通标志图像时空间特征信息不足的问题，提出了一种基于增强空间视觉词包的交通标志识别方法。该方法将视觉词的出现频率和图像空间信息融入到基于视觉特征的词袋模型中，改进适用于交通标志识别系统的词袋模型。然而上述方法需要人工设计先验知识的特征，且特征提取较复杂，需花费大量的人力和时间。
因此部分学者侧重于研究适用于交通标志识的卷积神经网络(ConvolutionalNeural Network,CNN)等深度学习方法。该方法无需人工构造任何的图像特征，直接提取整张图像像素作为网络输入，避免了传统识别方法中复杂的特征提取和数据重建过程，如伍锡如等人针对在识别图像时由于数据集图像质量较差导致识别效果较差的问题，提出了一种基于图像聚类的CNN交通标志识别方法。该方法优化原始数据，筛选出高质量数据，对样本进行图像聚类，并使用CNN神经网络训练识别交通标志图像。NatarajanS等人针对卷积神经网络提取的交通标志图像特征不足导致识别率不足的问题，提出了一种基于加权多CNN的交通标志识别方法，即训练每个CNNs，采用加权分类器优化分类结构，从而提高交通标志识别性能。黄娜君等人针对卷积网络提取整张图像特征时无关特征过多加大网络计算量的问题，提出了一种基于感兴趣区域和CNN的交通标志识别方法。该方法预处理图像消除背景环境干扰，提取交通标志感兴趣区域，并使用CNN网络训练和识别交通标志图像。上述方法都使用CNN神经网络对交通标志图像进行训练和识别，但是使用连续的池化层会丢失空间等部分有价值信息，导致较难识别出经过旋转、翻转、平移等变化后的同一张图像。
综上所述，目前机器学习的方法着重在人工提取图像特征，特征提取较复杂，需花费大量的人力和时间。CNN等神经网络方法会丢失图像的部分信息，导致在构建训练数据集中需要考虑旋转、翻转、平移等变化的图像，增加了方法的计算量。鉴于现有技术中的各种方法都存在各自的缺陷，发明人通过研究，提出一种全新的交通标志识别方法，即：一种基于胶囊神经网络的交通标志识别方法，本案由此而生。
发明内容：
本发明考虑胶囊神经网络，提出一种基于胶囊神经网络的交通标志识别方法，该方法在预处理和识别图像的过程中能较好的检测交通标志所在区域，可有效提取感兴趣区域图像，提高弱光条件的查全率，增强鲁棒性；在训练阶段，采用胶囊神经网络，具有较快的训练速度，减少训练时间；在识别阶段，可有效提高了弱光照图片的查全率，提高了交通标志的识别率。
为了实现上述发明目的，本发明所采用的技术方案为：
一种基于胶囊神经网络的交通标志识别方法，内容包括：
1)将交通标志图像分成若干不同类型并构建交通标志数据集，每一类交通标志图像中随机选取若干张交通标志图像，用实际摄像头所拍摄的交通标志图像予以替换，最终获得用于模型训练的训练集；
2)判断当前的模型状态：如果当前状态是训练状态，则加载训练集的RGB图像数据；如果当前状态为识别状态，则加载训练好的网络模型，并读取摄像头采集的RGB图像数据；
3)读取当前的RGB图像数据，将当前的RGB图像转化为YCbCr图像，采用公式(1)对图像的亮度分量Y进行直方化处理，并将处理后的YCbCr图像转化为RGB图像，更新当前的图像；
其中，Sn表示处理后的亮度分量值，Xi表示亮度分量值为i的像素个数，N表示像素个数总和；
4)将当前的RGB图像进行颜色增强，对交通标志特有的红色、黄色、蓝色三色进行增强，对非交通标志的其他颜色进行抑制；
5)通过颜色筛选当前图像潜在区域，将当前RGB颜色模型转化为HSV颜色模型，然后对整幅图像进行目标颜色提取，判断蓝色区域是否满足公式(2)，红色区域是否满足公式(3)，黄色区域是否满足公式(4)，筛选出满足公示(2)～(4)条件的区域并转化为RGB图像；
230≤H≤255||0≤H≤15,160≤S≤240，V≥180 (2)
170≤H≤180，S＞40，30≤V＜235 (3)
15≤H≤45,S≥145,60≤V≤235 (4)
其中，H表示图像颜色色调，S表示图像饱和度，V表示图像亮度；
6)通过图像区域块分割方法，从图像增强和颜色筛选处理后的当前图像中分割出交通标志所在的区域图像；
7)使用最邻近插值法将分割出来的交通标志潜在区域图像规格化，获得32×32的固定大小图像；
8)判断图像是否处理完成：如果每一个图像处理完，则跳到步骤9)，否则判断当前状态，如果当前状态是训练状态，则读取训练集中下一个图像，跳到步骤3)，否则读取摄像头采集的下一个图像，跳到步骤3)；
9)将规格化后的图像输入胶囊神经网络的卷积层，提取交通标志底层各个部分特征，输出底层特征张量；
10)将胶囊神经网络模型卷积层提取的底层特征张量输入胶囊神经网络模型主胶囊层，将特征张量向量化输出；
11)将主胶囊层输出的向量胶囊单元传入模型的数字胶囊层，且在数字胶囊层进行动态路由聚类，获得耦合系数和连接一致性参数，获得高层胶囊单元，实现分类；
12)根据数字胶囊层输出的若干个类别的胶囊单元向量，计算向量模长即为向量的长度；如果当前状态是训练状态，则跳到步骤13)，若为识别状态则每个类别向量的长度为输出图像时该类别的概率，并选择概率最大的类别即为类结果，输出类结果，重新读取摄像头采集的RGB图像数据，跳到步骤3)；
13)根据公式(14)构建损失函数，计算各个类别的损失值，累加各个Lk，获得总的损失值Loss；如果Loss小于阈值Lyu，则训练完成，获得可固定胶囊网络模型的权重参数，获得网络模型，令当前状态为识别状态，读取摄像头采集的RGB图像数据，跳到步骤3)；若Loss大于等于阈值Lyu，则跳到步骤14)；
Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (14)
其中，Lk表示分类类别k的损失值且k的取值范围为1～43，Tk表示分类类别k的指示函数，如果不属于类别k，则Tk＝1，否则Tk＝0，vk表示动态路由聚类为类别k的向量单元，m+为上边界，m-为下边界，λ为权重降低损失值；
14)利用损失值反向传播，通过公式(15)更新网络中动态路由的权重矩阵w，然后跳到步骤9)：
其中，表示更新后的权重矩阵，η表示学习率，即梯度，/>表示更新前的权重矩阵。
进一步，所述步骤1)中的交通标志图像分成43类，将43类交通标志图像分开存储；从每一类交通标志图像中随机选取30张交通标志图像，共1290张图像，用实际摄像头所拍摄的交通标志图像予以替换，最终获得具有43类不同类型交通标志的39209张图像的训练集。
所述步骤6)中交通标志的图像区域块分割方法步骤如下：
(6.1)将当前图像转换成灰度图像，对灰度图像中每一列的灰度值从大到小排序；
(6.2)将排序后的灰度值放入与原图像尺寸大小相同的矩阵中，使用并查集方法判断排序好后的每列灰度值点之间是否链接，如果存在链接，输出灰度值点排在相邻位置的矩阵，令t＝0；
(6.3)选取二值化阈值t-Δ，t和t+Δ，其中Δ表示阈值的变化量，分别选择灰度值为该阈值的像素点组成的多个区域，计算这些区域面积 和/>通过公式(5)计算第i个区域的变化率/>
其中，表示选取二值化阈值t时的第i个区域的面积；
(6.4)令t＝t+1，如果t小于256，则重新跳到步骤(6.3)，否则完成变化率的计算，并选择具有最小变化率/>的区域为最大极值稳定区域Rt；
(6.5)计算区域Rt的纵横比为R，计算区域与其外接矩形的面积比A，判断R是否满足公式(6)和A是否满足公式(7)：
Rmin＜R＜Rmax (6)
A＞Amin (7)
其中，Rmin表示纵横比最小值，Rmax表示纵横比最大值，Amin表示面积比最小值；如果R满足公式(6)且A满足公式(7)，则跳到步骤(6.6)，否则表示当前图像中没有交通标志的区域块，直接跳到步骤(8)；
(6.6)令筛选出的极大值稳定区域的灰度值为255，其他灰度值为0，使用公式(8)计算图像每一个灰度值和周围区域灰度值的标准差，将标准差最大的灰度值点为交通标志潜在区域边界的灰度点，连接这些灰度值点组成图像区域，获得区域的图像坐标；分割该坐标内所有像素点，得到交通标志图像的潜在区域；
其中，yi表示第i个灰度值，Z表示周围区域内灰度值的总个数，σ为标准差。
所述步骤9)中胶囊神经网络模型的第一层卷积层中256个卷积核大小均为9×9，深度和步幅均为1，采用非线性激活函数提升卷积层的运算能力，输出24×24×256的底层特征张量。
所述步骤10)中胶囊神经网络模型主胶囊层通过8×32个大小为9×9和步长为2的卷积核，进行32次的通道数为8的不同卷积，生成8个6×6×1×32的张量，将这8个张量合并成6×6×8×32的向量胶囊单元输出。
所述步骤11)中的动态路由聚类方法的步骤如下：
11.1)输入低层胶囊单元的胶囊单元和连接权重矩阵，通过公式(9)计算所有的预测向量：
其中，ui表示低层胶囊单元的第i个胶囊单元，wij表示第i胶囊单元与第j个预测胶囊单元的连接权重矩阵，Uj|i表示第i个胶囊单元到第j个预测胶囊单元的预测向量，令当前胶囊所在的层数为L，且L＝0，令路由迭代次数为D次，令当前循环次数r＝1；
11.2)令bij表示L层第i个胶囊单元连接L+1层第j个胶囊单元的一致性参数，且其初始值全为0；
11.3)如果当前循环次数小于D，则跳到步骤11.4)，否则跳到步骤11.8)；
11.4)通过公式(10)，计算每一个胶囊单元的耦合系数cij；
其中，bij表示第i个胶囊单元与下一层第j个胶囊单元的连接一致性参数，bik表示第i个胶囊单元与下一层第k个胶囊单元的连接一致性参数，且k的取值范围为k∈[1,43)，exp()表示以e为底的指数函数；
11.5)通过公式(11)，计算第L+1层的所有胶囊单元的加权和；
其中，sj表示第j个胶囊单元的加权和；
11.6)通过公式(12)采用squash压缩激活函数压缩加权和sj，获得L+1层的所有胶囊单元；
其中，vj表示L+1层的第j个胶囊单元，||sj||表示加权和向量的模长；
11.7)根据L层的所有预测向量Uj|i和L+1层的所有胶囊单元vj的连接关系，通过公式(13)更新参数bij，r＝r+1，跳到步骤11.3)；
11.8)输出固定动态路由过程中使用的耦合系数cij和连接一致性参数bij，输出高层胶囊单元vj。
与现有技术相比，本发明有益效果主要表现在：本方法采用图像均衡化、最大稳定极值区域分割、归一化等方法预处理图像，从而消除运动模糊、背景干扰、光照以及交通标志局部遮挡破损等因素干扰，并分割出感兴趣区域的图像，从而在预处理和识别图像的过程中能较好的检测交通标志所在区域，可有效提取感兴趣区域图像，提高弱光条件的查全率，增强鲁棒性。同时，引入胶囊神经网络结构，采用卷积层底层特征，通过主胶囊层张量向量后封装成向量化的胶囊单元，采用动态路由聚类和反向传播更新权重参数，实现模型训练和输出模型权重参数，具有较快的训练速度，且减少训练时间。最终根据训练好的模型权重参数和动态路由聚类实现图像的分类，可有效提高弱光照图片的查全率，提高交通标志的识别率。
附图说明：
图1为本发明实施例中交通标志识别方法的工作流程示意图。
具体实施方式：
本实施例公开一种基于胶囊神经网络的交通标志识别方法，如图1所示，主要步骤如下：
1)将交通标志图像按类型分成43类不同类型，构建交通标志数据集，将43类交通标志图像分开存储；从每一类交通标志图像中随机选取30张交通标志图像，共1290张图像，并用实际摄像头所拍摄的交通标志图像予以替换，最终获得具有43类不同类型交通标志的39209张图像的训练集。
2)判断当前模型状态是训练状态还是识别状态，如果当前状态是训练状态，则加载训练集的RGB图像数据；如果当前状态为识别状态，则加载训练好的网络模型，并读取摄像头采集的RGB图像数据。
3)读取当前的RGB图像数据，将当前的RGB图像转化为YCbCr图像，采用公式(1)对图像的亮度分量Y进行直方化处理，并将处理后的YCbCr图像转化为RGB图像，更新当前的图像。
其中，Sn表示处理后的亮度分量值，Xi表示亮度分量值为i的像素个数，N表示像素个数总和。
4)将当前的RGB图像进行颜色增强，对交通标志特有的红色、黄色、蓝色三色进行增强，对非交通标志的其他颜色进行抑制。
5)通过颜色筛选当前图像潜在区域，将当前RGB颜色模型转化为HSV颜色模型，然后对整幅图像进行目标颜色提取，判断蓝色区域是否满足公式(2)，红色区域是否满足公式(3)，黄色区域是否满足公式(4)，筛选出满足公示(2)～(4)条件的区域并转化为RGB图像。
230≤H≤255||0≤H≤15,160≤S≤240，V≥180 (2)
170≤H≤180，S＞40，30≤V＜235 (3)
15≤H≤45,S≥145,60≤V≤235 (4)
其中，H表示图像颜色色调，S表示图像饱和度，V表示图像亮度。
6)通过图像区域块分割方法，从图像增强和颜色筛选处理后的当前图像中分割出交通标志所在的区域图像。其中交通标志的图像区域块分割方法步骤如下：
(6.1)将当前图像转换成灰度图像，对灰度图像中每一列的灰度值从大到小排序。
(6.2)将排序后的灰度值放入与原图像尺寸大小相同的矩阵中，使用并查集方法判断排序好后的每列灰度值点之间是否链接。如果存在链接，输出灰度值点排在相邻位置的矩阵。令t＝0。
(6.3)选取二值化阈值t-Δ，t和t+Δ，其中Δ表示阈值的变化量，分别选择灰度值为该阈值的像素点组成的多个区域，计算这些区域面积 和/>通过公式(5)计算第i个区域的变化率/>
其中，表示选取二值化阈值t时的第i个区域的面积。
(6.4)令t＝t+1，如果t小于256，则重新跳到步骤(6.3)，否则完成变化率的计算，并选择具有最小变化率/>的区域为最大极值稳定区域Rt。
(6.5)计算区域Rt的纵横比为R，计算区域与其外接矩形的面积比A，判断R是否满足公式(6)和A是否满足公式(7)：
Rmin＜R＜Rmax (6)
A＞Amin (7)
其中，Rmin表示纵横比最小值，Rmax表示纵横比最大值，Amin表示面积比最小值。如果R满足公式(6)且A满足公式(7)，则跳到步骤(6.6)，否则表示当前图像中没有交通标志的区域块，直接跳到步骤(8)。
(6.6)令筛选出的极大值稳定区域的灰度值为255(白色)，其他灰度值为0(黑色)。使用公式(8)计算图像每一个灰度值和周围区域灰度值的标准差，将标准差最大的灰度值点为交通标志潜在区域边界的灰度点，连接这些灰度值点组成图像区域，获得区域的图像坐标。分割该坐标内所有像素点，得到交通标志图像的潜在区域。
其中，yi表示第i个灰度值，Z表示周围区域内灰度值的总个数，σ为标准差。
7)使用最邻近插值法将分割出来的交通标志潜在区域图像规格化，获得32×32的固定大小图像。
8)判断图像是否处理完成。如果每一个图像处理完，则跳到步骤9)，否则判断当前状态，如果当前状态是训练状态，则读取训练集中下一个图像，跳到步骤3)，否则读取摄像头采集的下一个图像，跳到步骤3)。
9)设置胶囊神经网络模型的第一层卷积层中256个卷积核大小均为9×9，深度和步幅均为1，采用非线性激活函数提升卷积层的运算能力。将规格化后的图像输入胶囊神经网络的卷积层，提取交通标志底层各个部分特征，输出24×24×256的张量。
10)将胶囊神经网络模型卷积层提取的底层特征张量输入胶囊神经网络模型主胶囊层，同时主胶囊层通过8×32个大小为9×9和步长为2的卷积核，进行32次的通道数为8的不同卷积，生成8个6×6×1×32的张量。将这8个张量合并成6×6×8×32的向量胶囊单元输出。
11)将主胶囊层输出的向量胶囊单元传入模型的数字胶囊层，且在数字胶囊层进行动态路由聚类，获得耦合系数和连接一致性参数，获得高层胶囊单元，实现分类。其中动态路由聚类方法的步骤如下：
11.1)输入低层胶囊单元的胶囊单元和连接权重矩阵，通过公式(9)计算所有的预测向量：
其中，ui表示低层胶囊单元的第i个胶囊单元，wij表示第i胶囊单元与第j个预测胶囊单元的连接权重矩阵，Uj|i表示第i个胶囊单元到第j个预测胶囊单元的预测向量，令当前胶囊所在的层数为L，且L＝0，令路由迭代次数为D次，令当前循环次数r＝1；
11.2)令bij表示L层第i个胶囊单元连接L+1层第j个胶囊单元的一致性参数，且其初始值全为0；
11.3)如果当前循环次数小于D，则跳到步骤11.4)，否则跳到步骤11.8)；
11.4)通过公式(10)，计算每一个胶囊单元的耦合系数cij；
其中，bij表示第i个胶囊单元与下一层第j个胶囊单元的连接一致性参数，bik表示第i个胶囊单元与下一层第k个胶囊单元的连接一致性参数，且k的取值范围为k∈[1,43)，exp()表示以e为底的指数函数。
11.5)通过公式(11)，计算第L+1层的所有胶囊单元的加权和；
其中，sj表示第j个胶囊单元的加权和；
11.6)通过公式(12)采用squash压缩激活函数压缩加权和sj，获得L+1层的所有胶囊单元；
其中，vj表示L+1层的第j个胶囊单元，||sj||表示加权和向量的模长。
11.7)根据L层的所有预测向量Uj|i和L+1层的所有胶囊单元vj的连接关系，通过公式(13)更新参数bij，r＝r+1，跳到步骤11.3)；
11.8)输出固定动态路由过程中使用的耦合系数cij和连接一致性参数bij，输出高层胶囊单元vj。
12)根据数字胶囊层输出的43个类别的胶囊单元向量，计算向量模长即为向量的长度。如果当前状态是训练状态，则跳到步骤13)，若为识别状态则每个类别向量的长度为输出图像时该类别的概率，并选择概率最大的类别即为类结果，输出类结果，重新读取摄像头采集的RGB图像数据，跳到步骤3)。
13)根据公式(14)构建损失函数，计算各个类别的损失值，累加各个Lk，获得总的损失值Loss。如果Loss小于阈值Lyu，则训练完成，获得可固定胶囊网络模型的权重参数，获得网络模型，令当前状态为识别状态，读取摄像头采集的RGB图像数据，跳到步骤3)；若Loss大于等于阈值Lyu，则跳到步骤14)。
Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (14)
其中，Lk表示分类类别k的损失值且k的取值范围为1～43，Tk表示分类类别k的指示函数(如果不属于类别k，则Tk＝1，否则Tk＝0)，vk表示动态路由聚类为类别k的向量单元，m+为上边界，m-为下边界，λ为权重降低损失值。
14)利用损失值反向传播，通过公式(15)更新网络中动态路由的权重矩阵w，然后跳到步骤9)：
其中，表示更新后的权重矩阵，η表示学习率，即梯度，/>表示更新前的权重矩阵。
Claims (5)
1.一种基于胶囊神经网络的交通标志识别方法，其特征在于：内容包括：
1)将交通标志图像分成若干不同类型并构建交通标志数据集，每一类交通标志图像中随机选取若干张交通标志图像，用实际摄像头所拍摄的交通标志图像予以替换，最终获得用于模型训练的训练集；
2)判断当前的模型状态：如果当前状态是训练状态，则加载训练集的RGB图像数据；如果当前状态为识别状态，则加载训练好的网络模型，并读取摄像头采集的RGB图像数据；
3)读取当前的RGB图像数据，将当前的RGB图像转化为YCbCr图像，采用公式(1)对图像的亮度分量Y进行直方化处理，并将处理后的YCbCr图像转化为RGB图像，更新当前的图像；
其中，Sn表示处理后的亮度分量值，Xi表示亮度分量值为i的像素个数，N表示像素个数总和；
4)将当前的RGB图像进行颜色增强，对交通标志特有的红色、黄色、蓝色三色进行增强，对非交通标志的其他颜色进行抑制；
5)通过颜色筛选当前图像潜在区域，将当前RGB颜色模型转化为HSV颜色模型，然后对整幅图像进行目标颜色提取，判断蓝色区域是否满足公式(2)，红色区域是否满足公式(3)，黄色区域是否满足公式(4)，筛选出满足公示(2)～(4)条件的区域并转化为RGB图像；
230≤H≤255||0≤H≤15,160≤S≤240，V≥180 (2)
170≤H≤180，S＞40，30≤V＜235 (3)
15≤H≤45,S≥145,60≤V≤235 (4)
其中，H表示图像颜色色调，S表示图像饱和度，V表示图像亮度；
6)通过图像区域块分割方法，从图像增强和颜色筛选处理后的当前图像中分割出交通标志所在的区域图像，具体方法步骤如下：
(6.1)将当前图像转换成灰度图像，对灰度图像中每一列的灰度值从大到小排序；
(6.2)将排序后的灰度值放入与原图像尺寸大小相同的矩阵中，使用并查集方法判断排序好后的每列灰度值点之间是否链接，如果存在链接，输出灰度值点排在相邻位置的矩阵，令t＝0；
(6.3)选取二值化阈值t-Δ，t和t+Δ，其中Δ表示阈值的变化量，分别选择灰度值为该阈值的像素点组成的多个区域，计算这些区域面积和/>通过公式(5)计算第i个区域的变化率/>
其中，表示选取二值化阈值t时的第i个区域的面积；
(6.4)令t＝t+1，如果t小于256，则重新跳到步骤(6.3)，否则完成变化率的计算，并选择具有最小变化率/>的区域为最大极值稳定区域Rt；
(6.5)计算区域Rt的纵横比为R，计算区域与其外接矩形的面积比A，判断R是否满足公式(6)和A是否满足公式(7)：
Rmin＜R＜Rmax (6)
A＞Amin (7)
其中，Rmin表示纵横比最小值，Rmax表示纵横比最大值，Amin表示面积比最小值；如果R满足公式(6)且A满足公式(7)，则跳到步骤(6.6)，否则表示当前图像中没有交通标志的区域块，直接跳到步骤8)；
(6.6)令筛选出的极大值稳定区域的灰度值为255，其他灰度值为0，使用公式(8)计算图像每一个灰度值和周围区域灰度值的标准差，将标准差最大的灰度值点为交通标志潜在区域边界的灰度点，连接这些灰度值点组成图像区域，获得区域的图像坐标；分割该坐标内所有像素点，得到交通标志图像的潜在区域；
其中，yi表示第i个灰度值，Z表示周围区域内灰度值的总个数，σ为标准差；
7)使用最邻近插值法将分割出来的交通标志潜在区域图像规格化，获得32×32的固定大小图像；
8)判断图像是否处理完成：如果每一个图像处理完，则跳到步骤9)，否则判断当前状态，如果当前状态是训练状态，则读取训练集中下一个图像，跳到步骤3)，否则读取摄像头采集的下一个图像，跳到步骤3)；
9)将规格化后的图像输入胶囊神经网络的卷积层，提取交通标志底层各个部分特征，输出底层特征张量；
10)将胶囊神经网络模型卷积层提取的底层特征张量输入胶囊神经网络模型主胶囊层，将特征张量向量化输出；
11)将主胶囊层输出的向量胶囊单元传入模型的数字胶囊层，且在数字胶囊层进行动态路由聚类，获得耦合系数和连接一致性参数，获得高层胶囊单元，实现分类；
12)根据数字胶囊层输出的若干个类别的胶囊单元向量，计算向量模长即为向量的长度；如果当前状态是训练状态，则跳到步骤13)，若为识别状态则每个类别向量的长度为输出图像时该类别的概率，并选择概率最大的类别即为类结果，输出类结果，重新读取摄像头采集的RGB图像数据，跳到步骤3)；
13)根据公式(14)构建损失函数，计算各个类别的损失值，累加各个Lk，获得总的损失值Loss；如果Loss小于阈值Lyu，则训练完成，获得可固定胶囊网络模型的权重参数，获得网络模型，令当前状态为识别状态，读取摄像头采集的RGB图像数据，跳到步骤3)；若Loss大于等于阈值Lyu，则跳到步骤14)；
Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (14)
其中，Lk表示分类类别k的损失值且k的取值范围为1～43，Tk表示分类类别k的指示函数，如果不属于类别k，则Tk＝1，否则Tk＝0，vk表示动态路由聚类为类别k的向量单元，m+为上边界，m-为下边界，λ为权重降低损失值；
14)利用损失值反向传播，通过公式(15)更新网络中动态路由的权重矩阵w，然后跳到步骤9)：
其中，表示更新后的权重矩阵，η表示学习率，即梯度，/>表示更新前的权重矩阵。
2.根据权利要求1所述的一种基于胶囊神经网络的交通标志识别方法，其特征在于：所述步骤1)中的交通标志图像分成43类，将43类交通标志图像分开存储；从每一类交通标志图像中随机选取30张交通标志图像，共1290张图像，用实际摄像头所拍摄的交通标志图像予以替换，最终获得具有43类不同类型交通标志的39209张图像的训练集。
3.根据权利要求1所述的一种基于胶囊神经网络的交通标志识别方法，其特征在于：所述步骤9)中胶囊神经网络模型的第一层卷积层中256个卷积核大小均为9×9，深度和步幅均为1，采用非线性激活函数提升卷积层的运算能力，输出24×24×256的底层特征张量。
4.根据权利要求3所述的一种基于胶囊神经网络的交通标志识别方法，其特征在于：所述步骤10)中胶囊神经网络模型主胶囊层通过8×32个大小为9×9和步长为2的卷积核，进行32次的通道数为8的不同卷积，生成8个6×6×1×32的张量，将这8个张量合并成6×6×8×32的向量胶囊单元输出。
5.根据权利要求1所述的一种基于胶囊神经网络的交通标志识别方法，其特征在于：所述步骤11)中的动态路由聚类方法的步骤如下：
11.1)输入低层胶囊单元的胶囊单元和连接权重矩阵，通过公式(9)计算所有的预测向量：
其中，ui表示低层胶囊单元的第i个胶囊单元，wij表示第i胶囊单元与第j个预测胶囊单元的连接权重矩阵，Uj|i表示第i个胶囊单元到第j个预测胶囊单元的预测向量，令当前胶囊所在的层数为L，且L＝0，令路由迭代次数为D次，令当前循环次数r＝1；
11.2)令bij表示L层第i个胶囊单元连接L+1层第j个胶囊单元的一致性参数，且其初始值全为0；
11.3)如果当前循环次数小于D，则跳到步骤11.4)，否则跳到步骤11.8)；
11.4)通过公式(10)，计算每一个胶囊单元的耦合系数cij；
其中，bij表示第i个胶囊单元与下一层第j个胶囊单元的连接一致性参数，bik表示第i个胶囊单元与下一层第k个胶囊单元的连接一致性参数，且k的取值范围为k∈[1,43)，exp()表示以e为底的指数函数；
11.5)通过公式(11)，计算第L+1层的所有胶囊单元的加权和；
其中，sj表示第j个胶囊单元的加权和；
11.6)通过公式(12)采用squash压缩激活函数压缩加权和sj，获得L+1层的所有胶囊单元；
其中，vj表示L+1层的第j个胶囊单元，||sj||表示加权和向量的模长；
11.7)根据L层的所有预测向量Uj|i和L+1层的所有胶囊单元vj的连接关系，通过公式(13)更新参数bij，r＝r+1，跳到步骤11.3)；
11.8)输出固定动态路由过程中使用的耦合系数cij和连接一致性参数bij，输出高层胶囊单元vj。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010095806.9A CN111428556B (zh) | 2020-02-17 | 2020-02-17 | 一种基于胶囊神经网络的交通标志识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010095806.9A CN111428556B (zh) | 2020-02-17 | 2020-02-17 | 一种基于胶囊神经网络的交通标志识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428556A CN111428556A (zh) | 2020-07-17 |
| CN111428556B true CN111428556B (zh) | 2024-01-19 |
Family
ID=71547093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010095806.9A Active CN111428556B (zh) | 2020-02-17 | 2020-02-17 | 一种基于胶囊神经网络的交通标志识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428556B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011243A (zh) * | 2021-01-13 | 2021-06-22 | 苏州元启创人工智能科技有限公司 | 基于胶囊网络的面部表情分析方法 |
| CN112906813A (zh) * | 2021-03-09 | 2021-06-04 | 中南大学 | 一种基于密度聚类和胶囊神经网络的浮选工况识别方法 |
| CN113011360B (zh) * | 2021-03-29 | 2023-11-24 | 江苏思玛特科技有限公司 | 基于注意力胶囊网络模型的道路交通标志线检测方法及系统 |
| CN113129306B (zh) * | 2021-05-10 | 2022-12-02 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
| CN113536942B (zh) * | 2021-06-21 | 2024-04-12 | 上海赫千电子科技有限公司 | 一种基于神经网络的道路交通标志识别方法 |
| CN113505860B (zh) * | 2021-09-07 | 2021-12-31 | 天津所托瑞安汽车科技有限公司 | 盲区检测训练集的筛选方法、装置、服务器及存储介质 |
| CN114973207B (zh) * | 2022-08-01 | 2022-10-21 | 成都航空职业技术学院 | 一种基于目标检测的路标识别方法 |
| CN117874286A (zh) * | 2024-03-13 | 2024-04-12 | 广州宇中网络科技有限公司 | 一种基于SaaS云应用的云基视频分析方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122776A (zh) * | 2017-04-14 | 2017-09-01 | 重庆邮电大学 | 一种基于卷积神经网络的交通标志检测与识别方法 |
| CN108154102A (zh) * | 2017-12-21 | 2018-06-12 | 安徽师范大学 | 一种道路交通标志识别方法 |
| CN109800817A (zh) * | 2019-01-25 | 2019-05-24 | 西安电子科技大学 | 基于融合语义神经网络的图像分类方法 |
| CN110490107A (zh) * | 2019-08-06 | 2019-11-22 | 北京工商大学 | 一种基于胶囊神经网络的指纹识别技术 |
| CN110765890A (zh) * | 2019-09-30 | 2020-02-07 | 河海大学常州校区 | 基于胶囊网络深度学习架构的车道及车道标识检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015149009A1 (en) * | 2014-03-27 | 2015-10-01 | Georgia Tech Research Corporation | Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same |
-
2020
- 2020-02-17 CN CN202010095806.9A patent/CN111428556B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122776A (zh) * | 2017-04-14 | 2017-09-01 | 重庆邮电大学 | 一种基于卷积神经网络的交通标志检测与识别方法 |
| CN108154102A (zh) * | 2017-12-21 | 2018-06-12 | 安徽师范大学 | 一种道路交通标志识别方法 |
| CN109800817A (zh) * | 2019-01-25 | 2019-05-24 | 西安电子科技大学 | 基于融合语义神经网络的图像分类方法 |
| CN110490107A (zh) * | 2019-08-06 | 2019-11-22 | 北京工商大学 | 一种基于胶囊神经网络的指纹识别技术 |
| CN110765890A (zh) * | 2019-09-30 | 2020-02-07 | 河海大学常州校区 | 基于胶囊网络深度学习架构的车道及车道标识检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Multi-Scale CapsNet: A Novel Traffic Sign Recognition Method;Chen Gongbin et al.;《Frontiers in Signal Processing》;第3卷(第4期);93-99 * |
| Novel Deep Learning Model for Traffic Sign Detection Using Capsule Networks;Amara Dinesh Kumar et al.;《arXiv》;1-5 * |
| 基于ROI和CNN的交通标志识别研究;黄娜君;汪慧兰;朱强军;洪名佳;;无线电通信技术(第02期);160-164 * |
| 基于融合语义和CapsNet的图像识别方法研究;冯依好;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-1423 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428556A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN107729801B (zh) | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 | |
| Liu et al. | FPCNet: Fast pavement crack detection network based on encoder-decoder architecture | |
| CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN108108761A (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
| CN107122776A (zh) | 一种基于卷积神经网络的交通标志检测与识别方法 | |
| US11854244B2 (en) | Labeling techniques for a modified panoptic labeling neural network | |
| CN111539343B (zh) | 一种基于卷积注意力网络的黑烟车检测方法 | |
| CN110163077A (zh) | 一种基于全卷积神经网络的车道识别方法 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN112861690A (zh) | 多方法融合的遥感影像变化检测方法及系统 | |
| CN113159043A (zh) | 基于语义信息的特征点匹配方法及系统 | |
| CN117197763A (zh) | 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| CN112464731B (zh) | 一种基于图像处理的交通标志检测识别方法 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN115761667A (zh) | 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法 | |
| CN111754459B (zh) | 基于统计深度特征的染色伪造图像检测方法及电子装置 | |
| CN115035429A (zh) | 一种基于复合主干网络和多预测头的航拍目标检测方法 | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
| Fan et al. | New network based on D-LinkNet and ResNeXt for high resolution satellite imagery road extraction | |
| CN112634162A (zh) | 一种基于智慧交通的人工智能图像处理方法及系统 | |
| Han et al. | Automatic used mobile phone color determination: Enhancing the used mobile phone recycling in China |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |