CN107239730A - 智能汽车交通标志识别的四元数深度神经网络模型方法 - Google Patents
智能汽车交通标志识别的四元数深度神经网络模型方法 Download PDFInfo
- Publication number
- CN107239730A CN107239730A CN201710249003.2A CN201710249003A CN107239730A CN 107239730 A CN107239730 A CN 107239730A CN 201710249003 A CN201710249003 A CN 201710249003A CN 107239730 A CN107239730 A CN 107239730A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- msubsup
- quaternary number
- traffic sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
智能汽车能利用传感器收集道路信息，通过计算分析进行驾驶辅助，有利于保障交通安全。对交通标志进行自动识别是智能汽车的关键技术之一，然而，现有方法仍未在一个统一框架中有效对交通标志重要的颜色，轮廓及时间域信息进行联合挖掘学习。针对以上问题，本发明基于四元数的数学表示框架，提出了一种四元数深度神经网络模型方法以提高交通标志识别的鲁棒性，从而为智能汽车的辅助驾驶研究提供了更准确的模型保障。
Description
技术领域
本发明涉及智能汽车交通标志自动识别。
背景技术
智能汽车是智能交通领域的一个重要发展方向，它能利用传感器收集汽车周围的障碍物和道路信息，通过计算机软件计算分析进行驾驶辅助，有利于保障交通安全，减少交通事故发生。交通标志是使用图文信息传达路况的交通设施，对交通标志进行自动识别是智能汽车的关键技术之一。
现有交通标志的识别方法主要分为基于颜色，基于形状，基于手工特征提取加分类器和基于深度学习模型的四种方法。
基于交通标志颜色的识别方法将输入图像在某个颜色空间进行阈值分析进而分割识别，该方法严重依赖于交通标志的彩色信息，在一些极端的光照条件下颜色变化非常大，所以此类方法的鲁棒性和准确性不高。
基于交通标志形状的检测识别方法对于光照变化具有良好的鲁棒性，但是受旋转变化影响较大，即当交通标志发生倾斜时，此类方法会出现明显的漏检。
基于手工特征提取加分类器的方法首先通过某种特征算子提取特征，再联合分类器进行分类识别，如何选择提取合适的特征对结果影响较大，因此该方法并不能较好地适应不同的工作环境。
基于深度学习模型的方法通过对原始图片进行特征自动学习和分类识别。相比前三类方法，此类方法可靠性最高，但是交通标志最重要的颜色，轮廓及时间域信息仍然未能在一个统一的框架中被有效的联合挖掘学习，交通标志识别的鲁棒性仍需要提高。
发明内容
针对如何提高智能汽车交通标志识别的鲁棒性问题，本发明提供了一个基于四元数深度神经网络的模型方法。在四元数的数学框架下将传统标量卷积神经网络拓展为超复数卷积神经网络，构建了对颜色及时间维度进行联合挖掘学习的深度神经网络，提高了交通标志识别的准确和稳定性，从而为智能汽车的辅助驾驶研究提供了更准确的模型保障。
本发明采用的技术方案具体步骤如下：
一种智能汽车交通标志识别的四元数深度神经网络模型方法，具体方法包括如下步骤：
步骤1.基于四元数视觉注意模型的交通标志感兴趣区域提取；
首先对给定的视频图像帧进行预处理，然后采用四元数视觉注意模型构建前景目标显著图，最后根据显著图进行阈值分割提取感兴趣区域。
步骤2.基于四元数卷积神经网络的交通标志检测；
根据提出的四元数卷积神经网络，从感兴趣区域中检测出交通标志，在时间域上对检测结果进行匹配，构建包含当前帧及其前后帧的交通标志图像组。
步骤3.基于颜色时间域联合学习的深度神经网络的交通标志识别。
根据提出的深度神经网络对颜色及时间维度进行联合挖掘学习，完成对交通标志的识别分类。
本发明基于四元数的数学表示框架，提出了一种四元数深度神经网络模型方法以提高交通标志识别的鲁棒性，从而为智能汽车的辅助驾驶研究提供了更准确的模型保障。
附图说明
图1为本发明方法系统结构流程图。
图2四元数卷积神经网络结构图。
图3四元数卷积神经网络感受野及特征图生成示意图。
图4对颜色及时间维度进行联合挖掘学习的深度神经网络结构图。
图5对颜色维度进行特征学习的一个示例。
图6对时间维度进行特征学习的一个示例。
图7特征图优化筛选算法流程图。
图8特征图融合及筛选的一个示例。
具体实施方式
本发明的具体实施过程如图1所示，包括如下3个方面：
①基于四元数视觉注意模型的感兴趣区域提取
②基于四元数卷积神经网络的交通标志检测
③基于颜色及时间域联合学习深度神经网络模型的交通标志识别
各个步骤详述如下。
一、基于四元数视觉注意模型的感兴趣区域提取
对于给定的视频当前帧彩色图像，首先计算其亮度信息图(R,G,B分别代表红，绿，蓝颜色通道)，然后采用Gabor滤波器计算其方向特征图O,通过时间维度的帧差生成时间特征图T，接着采用四元数视觉注意模型将此三个维度信息分别编码到四元数的3个虚轴i,j和k，即
V＝Ii+Oj+Tk (1)
对该模型求模获得表征前景目标的显著图
对该显著图进行阈值分割则可获得相应模板，据此可从原始图像中提取对应的感兴趣区域。
二、基于四元数卷积神经网络(QCNN)的交通标志检测
经过提取的感兴趣区域包含交通标志的正样本和负样本，每个区域都是一个彩色图像，可以由四元数表示为f＝Ri+Gj+Bk，经过训练的四元数卷积神经网络可用于在感兴趣区域中检测出正确的交通标志。图2所示为提出的四元数卷积神经网络，包含了多个四元数卷积层，下采样层，用于分类的全连接层和输出标签层。
相比较于传统的神经元模型，四元数神经元将每个点扩展为四元数，能通过四元数乘法运算实现对编码在不同轴上的信息进行融合学习，从而获得更好的特征学习性能。给定一个实部pr为0的纯虚输入四元数数据x＝pii+pjj+pkk，设其对应的权值为w＝qr+qii+qjj+qkk，w∈K4，K4表示四元数集合，则对应此四元数神经元的输出y为
y＝f(s) (3)
其中s表示为：
输出信号s是神经元的输入x通过权值w进行旋转操作，用权值w的模实现膨胀操作，公式(4)表明输入的三维信息x通过四元数的乘法规则，在不同的虚轴上进行了充分的融合，其中每个输出虚轴都包含了权值w和输入x所有实、虚轴的代数运算。平移算子的表达通过加减一个偏置b实现。输出神经元y采用Sigmoid函数：
图3表示了四元数卷积神经网络的感受野及输入图像经过多个核进行四元数卷积生成多张特征图的过程。下采样过程是将四元数卷积层后得到的四元数特征图，分别提取三个虚轴矩阵，即得到三个标量矩阵，然后对各个标量矩阵做传统的下采样操作。四元数全连接层将最末下采样层得到的特征矩阵变换为1*kn的特征向量，n为特征矩阵纯虚四元数像素点的个数，k为四元数特征图的数量。四元数卷积神经网络的权值采用四元数BP反向传播算法来训练确定。
三、基于颜色及时间域联合学习深度神经网络模型的交通标志识别
如图1所示，检测得到的交通标志在时间域进行匹配，首先构成包含当前帧及其前后帧的交通标志图像组，然后通过深度神经网络模型对颜色及时间域信息进行联合挖掘学习从而分类识别。
图4为提出的联合学习深度神经网络模型结构图，首先分别将颜色通道及时间维度的3帧灰度交通标志图编码到2个四元数的对应虚轴上，然后采用2个四元数卷积神经网络分别进行特征学习提取，获得的特征图表征了原始输入的颜色、轮廓及运动特征信息，将所有轴上的特征图融合在一起经过一个优化算法进行特征图筛选以降低参数数量，经过筛选的特征图再输入到一个传统的标量卷积神经网络进行最终的交通标志分类识别。图5和图6分别表示了通过四元数卷积神经网络在颜色和时间维度进行特征提取学习的结果，图7为所提特征图优化筛选方法的流程图，图8表示了经过特征图筛选的结果。
对于每个输入图像Si( 表示输入图像集合)，设其第n个特征图的二值化图像为( 表示特征图二值化后的图像集合)，采用突出分数计算在前景图中每个特征图像掩码针对输入图像Si中交通标志特征的能量值，这个能量可以表示这个特征图的重要程度。
公式(6)中，分子是特征图的二值化矩阵和输入图像Si矩阵点乘得到矩阵的1范数，分母是二值化图像矩阵的1范数，商为突出分数。对于四元数卷积神经网络，输入是编码在四元数三个虚轴上的三张图像，因此每一张特征图对应三个突出分数，采用融合颜色及时间维度信息的深度神经网络模型总共产生6个突出分数。将6个突出分数的算术平均值作为此特征图的最终突出分数，用表示，计算公式如下：
其中Sij表示第i组输入的第j个图像(1≤j≤6)，第i组的前三个图像为t时刻彩色图像的RGB三个通道分量，后面三个是t-1、t、t+1时刻的灰度图，符号“·”定义为元素范围的乘法。基于此可构建一个初始值为0的直方图H，给定一个阈值τk，如果特征图的则相应的H(n)值加1，直方图H(n)的计算方法如下：
将直方图H(n)按降序排列，得到前n个最大值对应的序号，其对应的特征图则为筛选结果。
创新点
提出了一种四元数深度神经网络模型方法用于智能汽车交通标志识别，提高了交通标志识别的鲁棒性，为智能汽车辅助驾驶的相关研究提供了理论模型基础。针对提高智能汽车交通标志检测识别鲁棒性的问题，本发明采用四元数视觉注意模型建立前景目标显著图对感兴趣区域进行提取，构建了四元数卷积神经网络对交通标志进行检测，通过时间域匹配生成交通标志图像组，给出了一个深度神经网络模型对交通标志的颜色，轮廓及时间域特征进行联合挖掘学习，最终对交通标志分类识别，本发明所提方法为提升智能汽车辅助驾驶性能提供了更准确的模型保障。
Claims (5)
1.一种智能汽车交通标志识别的四元数深度神经网络模型方法，其特征在于，具体方法包括如下步骤：
步骤1.基于四元数视觉注意模型的交通标志感兴趣区域提取；
首先对给定的视频图像帧进行预处理，然后采用四元数视觉注意模型构建前景目标显著图，最后根据显著图进行阈值分割提取感兴趣区域。
步骤2.基于四元数卷积神经网络的交通标志检测；
根据提出的四元数卷积神经网络，从感兴趣区域中检测出交通标志，在时间域上对检测结果进行匹配，构建包含当前帧及其前后帧的交通标志图像组。
步骤3.基于颜色时间域联合学习的深度神经网络的交通标志识别。
根据提出的深度神经网络对颜色及时间维度进行联合挖掘学习，完成对交通标志的识别分类。
2.如权利要求1所述的智能汽车交通标志识别的四元数深度神经网络模型方法，其特征在于，所述步骤1，过程如下：
对于给定的视频当前帧彩色图像，首先计算其亮度信息图(R,G,B分别代表红，绿，蓝颜色通道)，然后采用Gabor滤波器(“Gabor滤波器”本身在图像处理领域已为现有技术)计算其方向特征图O,通过时间维度的帧差生成时间特征图T，接着采用四元数视觉注意模型将此三个维度信息分别编码到四元数的3个虚轴i,j和k，即
V＝Ii+Oj+Tk (1)
对该模型求模获得表征前景目标的显著图
<mrow>
<mi>S</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>I</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>O</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>T</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
对该显著图进行阈值分割则可获得相应模板，据此可从原始图像中提取对应的感兴趣区域。
3.如权利要求1所述的智能汽车交通标志识别的四元数深度神经网络模型方法，其特征在于，所述步骤2，过程如下：
经过步骤1提取的感兴趣区域包含交通标志的正样本和负样本，筛选出正样本，每个区域都是一个彩色图像，由四元数表示为f＝Ri+Gj+Bk，
所述四元数卷积神经网络，包含了多个四元数卷积层，下采样层，用于分类的全连接层和输出标签层。
所述每个四元数卷积层，其四元数神经元将每个点扩展为四元数，能通过四元数乘法运算实现对编码在不同轴上的信息进行融合学习，从而获得更好的特征学习性能。给定一个实部pr为0的纯虚输入四元数数据x＝pii+pjj+pkk，设其对应的权值为w＝qr+qii+qjj+qkk，w∈K4，K4表示四元数集合，则对应此四元数神经元的输出y为
y＝f(s) (3)
其中s表示为：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>w</mi>
<mo>&CircleTimes;</mo>
<mi>x</mi>
<mo>&CircleTimes;</mo>
<msup>
<mi>w</mi>
<mo>*</mo>
</msup>
</mrow>
<mrow>
<mo>|</mo>
<mi>w</mi>
<mo>|</mo>
</mrow>
</mfrac>
<mo>&PlusMinus;</mo>
<mi>b</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<msubsup>
<mi>q</mi>
<mi>r</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mi>j</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
<mo>&lsqb;</mo>
<mo>(</mo>
<msubsup>
<mi>q</mi>
<mi>r</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>j</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>r</mi>
</msub>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>r</mi>
</msub>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mi>i</mi>
<mo>+</mo>
<mo>(</mo>
<msubsup>
<mi>q</mi>
<mi>r</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mi>j</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>r</mi>
</msub>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>r</mi>
</msub>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
<mi>j</mi>
<mo>+</mo>
<mo>(</mo>
<msubsup>
<mi>q</mi>
<mi>r</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>j</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>r</mi>
</msub>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<mn>2</mn>
<msub>
<mi>q</mi>
<mi>r</mi>
</msub>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mi>k</mi>
<mo>&rsqb;</mo>
<mo>&PlusMinus;</mo>
<mi>b</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
输出信号s是神经元的输入x通过权值w进行旋转操作，用权值w的模实现膨胀操作，公式(4)表明输入的三维信息x通过四元数的乘法规则，在不同的虚轴上进行了充分的融合，其中每个输出虚轴都包含了权值w和输入x所有实、虚轴的代数运算。平移算子的表达通过加减一个偏置b实现。输出神经元y采用Sigmoid函数：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>i</mi>
<mo>+</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>j</mi>
<mo>+</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>k</mi>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>x</mi>
</mrow>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
所述下采样层，下采样过程是将四元数卷积层后得到的四元数特征图，分别提取三个虚轴矩阵，即得到三个标量矩阵，然后对各个标量矩阵做下采样操作。
所述四元数全连接层，将最末下采样层得到的特征矩阵变换为1*kn的特征向量，n为特征矩阵纯虚四元数像素点的个数，k为四元数特征图的数量。
所述输出标签层，四元数卷积神经网络的权值采用四元数BP反向传播算法来训练确定，输出在感兴趣区域中检测出的正确的交通标志。
4.如权利要求1所述的智能汽车交通标志识别的四元数深度神经网络模型方法，其特征在于，所述步骤3：将步骤2检测得到的交通标志在时间域进行匹配，首先构成包含当前帧及其前后帧的交通标志图像组，然后通过深度神经网络模型对颜色及时间域信息进行联合挖掘学习从而分类识别。
5.如权利要求4所述的智能汽车交通标志识别的四元数深度神经网络模型方法，其特征在于，所述步骤3，具体过程如下：
首先分别将颜色通道及时间维度的3帧灰度交通标志图编码到2个四元数的对应虚轴上，然后采用2个四元数卷积神经网络分别进行特征学习提取，获得的特征图表征了原始输入的颜色、轮廓及运动特征信息，将所有轴上的特征图融合在一起经过一个优化算法进行特征图筛选以降低参数数量，经过筛选的特征图再输入到标量卷积神经网络(“标量卷积神经网络”已为现有技术)进行最终的交通标志分类识别。
对于每个输入图像Si( 表示输入图像集合)，设其第n个特征图的二值化图像为( 表示特征图二值化后的图像集合)，采用突出分数计算在前景图中每个特征图像掩码针对输入图像Si中交通标志特征的能量值，这个能量可以表示这个特征图的重要程度。
<mrow>
<msubsup>
<mi>c</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>&CenterDot;</mo>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>/</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>F</mi>
<mi>n</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(6)中，分子是特征图的二值化矩阵和输入图像Si矩阵点乘得到矩阵的1范数，分母是二值化图像矩阵的1范数，商为突出分数。对于四元数卷积神经网络，输入是编码在四元数三个虚轴上的三张图像，因此每一张特征图对应三个突出分数，采用融合颜色及时间维度信息的深度神经网络模型总共产生6个突出分数。将6个突出分数的算术平均值作为此特征图的最终突出分数，用表示，计算公式如下：
<mrow>
<msubsup>
<mi>k</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>6</mn>
</msubsup>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>&CenterDot;</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>F</mi>
<mi>n</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>/</mo>
<mn>6</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Sij表示第i组输入的第j个图像(1≤j≤6)，第i组的前三个图像为t时刻彩色图像的RGB三个通道分量，后面三个是t-1、t、t+1时刻的灰度图，符号“·”定义为元素范围的乘法。基于此可构建一个初始值为0的直方图H，给定一个阈值τk，如果特征图的则相应的H(n)值加1，直方图H(n)的计算方法如下：
将直方图H(n)按降序排列，得到前n个最大值对应的序号，其对应的特征图则为筛选结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710249003.2A CN107239730B (zh) | 2017-04-17 | 2017-04-17 | 智能汽车交通标志识别的四元数深度神经网络模型方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710249003.2A CN107239730B (zh) | 2017-04-17 | 2017-04-17 | 智能汽车交通标志识别的四元数深度神经网络模型方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107239730A true CN107239730A (zh) | 2017-10-10 |
| CN107239730B CN107239730B (zh) | 2020-09-15 |
Family
ID=59983049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710249003.2A Active CN107239730B (zh) | 2017-04-17 | 2017-04-17 | 智能汽车交通标志识别的四元数深度神经网络模型方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107239730B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909059A (zh) * | 2017-11-30 | 2018-04-13 | 中南大学 | 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 |
| CN108734123A (zh) * | 2018-05-18 | 2018-11-02 | 武昌理工学院 | 高速公路标志识别方法、电子设备、存储介质及系统 |
| CN108985145A (zh) * | 2018-05-29 | 2018-12-11 | 同济大学 | 小尺寸交通标志检测识别的反向连接深度神经网络模型方法 |
| CN109040673A (zh) * | 2018-07-19 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 视频图像处理方法、装置及具有存储功能的装置 |
| CN109284855A (zh) * | 2018-07-25 | 2019-01-29 | 同济大学 | 基于城市场景中车联网时空数据分析的车辆节点之间连通强度的预测度量模型 |
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN110443227A (zh) * | 2019-08-19 | 2019-11-12 | 重庆大学 | 一种基于学习超像素和qcnn的极化sar地物识别方法 |
| CN111109240A (zh) * | 2020-01-03 | 2020-05-08 | 东北农业大学 | 一种多信息融合的变量喷药方法和装置 |
| CN111178188A (zh) * | 2019-12-17 | 2020-05-19 | 南京理工大学 | 基于频域先验的视频显著性目标检测方法 |
| CN113076800A (zh) * | 2021-03-03 | 2021-07-06 | 惠州市博实结科技有限公司 | 一种道路标志牌检测方法及装置 |
| CN113485319A (zh) * | 2021-06-08 | 2021-10-08 | 中兴智能汽车有限公司 | 基于5g车路协同的自动驾驶系统 |
| CN113780109A (zh) * | 2021-08-24 | 2021-12-10 | 聊城大学 | 基于四元数时空卷积神经网络的斑马线检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839269A (zh) * | 2014-03-21 | 2014-06-04 | 南京大学 | 基于四元数和模糊c均值聚类的图像分割方法 |
| WO2015054666A1 (en) * | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| WO2016077027A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Hyper-class augmented and regularized deep learning for fine-grained image classification |
| CN105938564A (zh) * | 2016-04-29 | 2016-09-14 | 无锡中科智能农业发展有限责任公司 | 基于主成分分析和神经网络的水稻病害识别方法及系统 |
| CN106092600A (zh) * | 2016-05-31 | 2016-11-09 | 东南大学 | 一种针对汽车试验场强化道路的路面识别方法 |
| CN106482749A (zh) * | 2016-12-07 | 2017-03-08 | 西北工业大学 | 基于逆向导航算法的捷联惯导与转速计组合对准方法 |
-
2017
- 2017-04-17 CN CN201710249003.2A patent/CN107239730B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015054666A1 (en) * | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| CN103839269A (zh) * | 2014-03-21 | 2014-06-04 | 南京大学 | 基于四元数和模糊c均值聚类的图像分割方法 |
| WO2016077027A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Hyper-class augmented and regularized deep learning for fine-grained image classification |
| CN105938564A (zh) * | 2016-04-29 | 2016-09-14 | 无锡中科智能农业发展有限责任公司 | 基于主成分分析和神经网络的水稻病害识别方法及系统 |
| CN106092600A (zh) * | 2016-05-31 | 2016-11-09 | 东南大学 | 一种针对汽车试验场强化道路的路面识别方法 |
| CN106482749A (zh) * | 2016-12-07 | 2017-03-08 | 西北工业大学 | 基于逆向导航算法的捷联惯导与转速计组合对准方法 |
Non-Patent Citations (7)
| Title |
|---|
| AARON GREENBLATT ET AL.: "Quaternion Neural Networks Applied to Prostate Cancer Gleason Grading", 《2013 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS》 * |
| JG PARK ET AL.: "Design of a visual perception model with edge-adaptive Gabor filter and support vector machine for traffic sign detection", 《EXPERT SYST APPL 2013》 * |
| LU W ET AL.: "Local quaternionic Gabor bi⁃ nary patterns for color face recognition", 《PROCEEDINGS OF THE 2008 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PISCATAWAY, USA:IEEE》 * |
| 帅建伟 等: "四元数神经网络模型：彩色图像的识别", 《计算机学报》 * |
| 张津剑，顾晓东: "自适应注意力选择与脉冲耦合神经网络相融合的沙漠车辆识别", 《计算机辅助设计与图形学学报》 * |
| 徐航 等: "基于四元数视觉注意力模型的肇事车辆匹配方法", 《计算机科学》 * |
| 罗亚兰: "基于四元彩色Gabor特征的人脸识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11645835B2 (en) * | 2017-08-30 | 2023-05-09 | Board Of Regents, The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN107909059A (zh) * | 2017-11-30 | 2018-04-13 | 中南大学 | 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 |
| CN108734123B (zh) * | 2018-05-18 | 2021-09-17 | 武昌理工学院 | 高速公路标志识别方法、电子设备、存储介质及系统 |
| CN108734123A (zh) * | 2018-05-18 | 2018-11-02 | 武昌理工学院 | 高速公路标志识别方法、电子设备、存储介质及系统 |
| CN108985145A (zh) * | 2018-05-29 | 2018-12-11 | 同济大学 | 小尺寸交通标志检测识别的反向连接深度神经网络模型方法 |
| CN109040673A (zh) * | 2018-07-19 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 视频图像处理方法、装置及具有存储功能的装置 |
| CN109284855B (zh) * | 2018-07-25 | 2021-10-29 | 同济大学 | 基于城市场景中车联网时空数据分析的车辆节点之间连通强度的预测度量模型 |
| CN109284855A (zh) * | 2018-07-25 | 2019-01-29 | 同济大学 | 基于城市场景中车联网时空数据分析的车辆节点之间连通强度的预测度量模型 |
| CN110443227A (zh) * | 2019-08-19 | 2019-11-12 | 重庆大学 | 一种基于学习超像素和qcnn的极化sar地物识别方法 |
| CN111178188A (zh) * | 2019-12-17 | 2020-05-19 | 南京理工大学 | 基于频域先验的视频显著性目标检测方法 |
| CN111178188B (zh) * | 2019-12-17 | 2022-09-20 | 南京理工大学 | 基于频域先验的视频显著性目标检测方法 |
| CN111109240A (zh) * | 2020-01-03 | 2020-05-08 | 东北农业大学 | 一种多信息融合的变量喷药方法和装置 |
| CN111109240B (zh) * | 2020-01-03 | 2023-09-29 | 东北农业大学 | 一种多信息融合的变量喷药装置 |
| CN113076800A (zh) * | 2021-03-03 | 2021-07-06 | 惠州市博实结科技有限公司 | 一种道路标志牌检测方法及装置 |
| CN113485319A (zh) * | 2021-06-08 | 2021-10-08 | 中兴智能汽车有限公司 | 基于5g车路协同的自动驾驶系统 |
| CN113780109A (zh) * | 2021-08-24 | 2021-12-10 | 聊城大学 | 基于四元数时空卷积神经网络的斑马线检测方法及系统 |
| CN113780109B (zh) * | 2021-08-24 | 2023-11-24 | 聊城大学 | 基于四元数时空卷积神经网络的斑马线检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107239730B (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107239730A (zh) | 智能汽车交通标志识别的四元数深度神经网络模型方法 | |
| CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN111612807B (zh) | 一种基于尺度和边缘信息的小目标图像分割方法 | |
| CN107633220A (zh) | 一种基于卷积神经网络的车辆前方目标识别方法 | |
| CN107862261A (zh) | 基于多尺度卷积神经网络的图像人群计数方法 | |
| CN110188817A (zh) | 一种基于深度学习的实时高性能街景图像语义分割方法 | |
| CN107886073A (zh) | 一种基于卷积神经网络的细粒度车辆多属性识别方法 | |
| CN111915592A (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN107134144A (zh) | 一种用于交通监控的车辆检测方法 | |
| CN107133974A (zh) | 高斯背景建模与循环神经网络相结合的车型分类方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN104463241A (zh) | 一种智能交通监控系统中的车辆类型识别方法 | |
| CN110009648A (zh) | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 | |
| CN110348396B (zh) | 一种基于深度学习的道路上方文字交通标志识别方法及装置 | |
| CN112381101B (zh) | 一种基于类别原型回归的红外道路场景分割方法 | |
| CN107506765A (zh) | 一种基于神经网络的车牌倾斜校正的方法 | |
| CN109670392A (zh) | 基于混合自动编码器道路图像语义分割方法 | |
| CN106599848A (zh) | 基于深度视觉特征和支持向量机的地表纹理识别算法 | |
| CN109543672A (zh) | 基于稠密特征金字塔网络的物体检测方法 | |
| CN109993058A (zh) | 基于多标签分类的道路交通标志的识别方法 | |
| CN116630702A (zh) | 一种基于语义分割网络的路面附着系数预测方法 | |
| Liu et al. | CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection | |
| CN106529391B (zh) | 一种鲁棒的限速交通标志检测与识别方法 | |
| CN109543519B (zh) | 一种用于物体检测的深度分割引导网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |