CN113780109A - 基于四元数时空卷积神经网络的斑马线检测方法及系统 - Google Patents
基于四元数时空卷积神经网络的斑马线检测方法及系统 Download PDFInfo
- Publication number
- CN113780109A CN113780109A CN202110976237.3A CN202110976237A CN113780109A CN 113780109 A CN113780109 A CN 113780109A CN 202110976237 A CN202110976237 A CN 202110976237A CN 113780109 A CN113780109 A CN 113780109A
- Authority
- CN
- China
- Prior art keywords
- quaternion
- neural network
- time
- layer
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 72
- 241000283070 Equus zebra Species 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000036544 posture Effects 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000011897 real-time detection Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于四元数时空卷积神经网络的斑马线检测方法及系统，其方法包括，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并划分为训练样本和检测样本；将训练样本输入至预先构建的四元数时空卷积神经网络中进行训练，得到训练好的四元数时空卷积神经网络；将检测样本输入至训练好的四元数时空卷积神经网络中进行检测，得到检测结果；本发明将交通场景图像序列直接作为网络输入，在空间卷积层将R、G、B三个通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于四元数时空卷积神经网络的斑马线检测方法及系统。
背景技术
复杂交通场景中的斑马线实时检测问题主要针对城市中车辆的安全驾驶以及行人交通安全问题而产生，属于人工智能和机器视觉等多学科交叉的研究问题，在城市智能交通和智能导航系统中有着非常重要的社会安全意义和实际应用价值。实际的城市交通场景中，由于交通的参与者众多且情况复杂，复杂路口的斑马线会受传感器成像视角的影响产生几何形变，同时也会由于行人和车辆的影响出现不同程度的遮挡，还会由于不同的天气和光照条件使得图像质量受损。在实际交通场景中，斑马线实时检测是一个复杂的动态过程，不仅需要提取到包含视频中单帧图像的视觉信息和空间特征，还需要包含多帧之间的时间特征。如何有效提取视频中斑马线区域的特征信息，并对其实现准确地检测是辅助车辆安全驾驶和行人安全的重要问题。
现有斑马线检测方法主要分为两类：基于人工特征提取和分类器的斑马线检测方法和基于深度卷积网络的斑马线检测方法。基于人工特征提取的斑马线检测方法的步骤为特征提取、特征信息表达和目标分类，其中视觉特征包含颜色、梯度直方图、线特征等，分类器可使用SVM或者级联分类器等。然而，复杂场景交通图像序列中，目标的几何特征提取难度增大，且受光照或者天气条件影响很大，计算复杂度高。基于深度卷积网络框架的斑马线检测方法是通过逐层参数训练的方式自动提取原始图像中的特征，从而获得能够区分不同条件下的抽象特征表达，是目标检测和识别领域中应用最广泛、最有效的深度学习算法之一。目前的卷积神经网络模型主要针对灰度图像序列或RGB颜色三通道分别处理的，未考虑到三通道之间的相关性和整体性，破坏了场景图像的颜色特征，影响检测方法在实际交通环境中的准确性和鲁棒性。
发明内容
本发明所要解决的技术问题是提供一种基于四元数时空卷积神经网络的斑马线检测方法及系统，将R、G、B三个颜色通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。
本发明解决上述技术问题的技术方案如下：基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，
S1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
S2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
S3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
基于上述一种基于四元数时空卷积神经网络的斑马线检测方法，本发明还提供一种基于四元数时空卷积神经网络的斑马线检测系统。
基于四元数时空卷积神经网络的斑马线检测系统，包括以下模块，
样本制作模块，其用于将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
网络训练模块，其用于将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
检测模块，其用于将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
其中，所述检测模块具体用于，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
本发明的有益效果是：本发明一种基于四元数时空卷积神经网络的斑马线检测方法及系统将交通场景图像序列直接作为网络输入，在空间卷积层将R、G、B三个通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高；本发明可自动提取实时交通场景中图像序列的时空特征，并进行斑马线的实时检测，提高车辆驾驶的安全性，同时可对行人在复杂的城市交通网络中的安全性提供智能导航支持，避免发生潜在的交通事故。
附图说明
图1为本发明基于四元数时空卷积神经网络的斑马线检测方法的流程图；
图2四元数时空卷积神经网络的结构示意图；
图3为本发明基于四元数时空卷积神经网络的斑马线检测系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，
S0，采集包含多种斑马线姿态的多组原始图像序列，并分别对每组原始图像序列进行预处理，得到包含多种斑马线姿态的多组图像序列。
其中，原始图像序列为实时交通场景中的图像序列，对任一组原始图像序列进行预处理的具体步骤为，采用码本模型，以预设大小的检测窗口(例如a×d的检测窗口，a和d为常数)提取任一组原始图像序列中斑马线所在的感兴趣区域，并保存为区域图像；采用最近邻插值法将所述区域图像缩放至预设大小的像素(例如g×h的像素，g和h为常数)中并保存，得到对应组图像序列。
检测窗口的大小根据图像中感兴趣区域的大小进行选择，以在包括目标的条件下尽可能小的尺寸；为了减少网络训练参数，采用最近邻插值法缩放图像。
提取原始图像序列中斑马线所在的感兴趣区域的具体步骤为，采用背景建模的方法对原始图像序列进行图像处理，得到背景和前景分割的二值图像；计算所述二值图像中前景像素的中心点，并将前景像素的中心点作为所述检测窗口的中心点，在原始图像序列中提取出斑马线所在的感兴趣区域。
斑马线是具有鲜明区域特征的目标，在背景建模的过程中，区域亮度的定义为，
其中，α和β均为可调阈值，可随不同的视频序列进行调整，可在网络训练中确定该参数的自适应值范围；xt是区域ri的像素，<ri,rj>为像素坐标，
为像素平均最小值，
为像素平均最大值，xi是区域ri的像素值；
在四元数时空卷积神经网络中，颜色被定义为，
其中，xt是区域ri的像素，Ri、Gi、Bi分别是区域ri的R、G、B三个颜色通道的颜色值，
分别是区域ri的R、G、B三个颜色通道的颜色均值；
当区域ri的像素xt满足区域亮度的定义时，则判定该像素xt属于背景，否则属于前景；以前景像素为中心的邻域都属于斑马线所在的感兴趣区域。
S1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本。
图像Y中(x,y)位置的像素可用纯四元数表示为：Q(x,y)＝Qr(x,y)i+Qg(x,y)j+Qb(x,y)k，其中，Qr(x,y)、Qg(x,y)和Qb(x,y)分别为图像的红、绿、蓝三个颜色通道。由此，传感器图像可以表示为一个纯四元数矩阵。
例如，有X组图像序列，那么，将其中x组图像序列作为训练样本，将剩余X-x组图像序列作为检测样本。
S2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络。
在训练四元数时空卷积神经网络的过程中，利用后向传播方法对训练集样本进行训练。
预先构建的四元数时空卷积神经网络是基于Softmax型分类器的神经网络，在所述S2中，采用BP算法对预先构建的四元数时空卷积神经网络进行训练；
所述S2具体为，
S21，随机初始化预先构建的四元数时空卷积神经网络中的权值和偏置，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，逐层计算出预先构建的四元数时空卷积神经网络中每层的输入和输出；
S22，根据预先构建的四元数时空卷积神经网络中每层的输入和输出，采用梯度下降法确定预先构建的四元数时空卷积神经网络的最优权值和最优偏置，并依据最优权值和最优偏置获得训练样本的分类准确率；
S23，根据训练样本的分类准确率调整预先构建的四元数时空卷积神经网络的卷积核的数量、大小以及网络的层数，选取获得最高分类准确率的网络结构作为训练好的四元数时空卷积神经网络。
网络训练方法为BP算法，学习率取值范围为(0.01～0.05)，实时交通图像训练时batch的尺寸为80，迭代次数设定为9次，此时斑马线的检测准确率和网络的训练时间取得平衡，可以获得高效率的斑马线检测结果。
S3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；所述空间卷积层、所述时间卷积层和所述下采样层依次层叠并循环多次后，依次连接所述全连接层、所述长短时记忆单元以及所述分类器。例如，训练好的四元数时空卷积神经网络包括3M+1层结构外加长短时记忆单元以及分类器；其中，空间卷积层、时间卷积层、下采样层依次循环M次，得到3M层，最后连接一层全连接层。
利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行实时检测的过程具体为，
S31，所述空间卷积层将R、G、B三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作，得到第一特征图序列；
S32，所述时间卷积层将所述第一特征图序列中的每个颜色通道分别进行时间卷积操作，以提取每个颜色通道的连续帧间目标的动态信息，得到第二特征图序列；
S33，所述下采样层对所述第二特征图序列中的每个通道进行下采样操作，得到第三特征图序列；
S34，基于所述第三特征图序列，循环执行S31-S33多次，得到最终特征图序列；
S35，所述全连接层将所述最终特征图序列中的每一个特征图都拉伸成一个特征向量，得到多个特征向量；
S36，所述长短时记忆单元将所有所述特征向量输送至所述分类器；
S37，所述分类器对所有所述特征向量进行检测，得到检测结果。
训练好的四元数时空卷积神经网络的卷积核为四元数形式，且所述卷积核的四元数的表示形式为W＝(Wr,Wg,Wb)，设输入所述空间卷积层的四元数形式的图像为Q＝(Qr,Qg,Qb)，则第i层第j个特征图中(x,y)位置的空间卷积运算结果为，
其中，Zi,j(x,y)为第i层第j个特征图中(x,y)位置的空间卷积运算结果；激活函数f为sigmoid函数；bi,j为第i层第j个特征图的偏置；
为第i层第j个特征图和第i-1层第p个特征图之间的卷积核(n,m)位置的权值向量，n和m分别是卷积核的长和宽；Q(i-1),p×(x+n,y+m)是第i-1层第p个特征图中(x+n,y+m)位置的像素；
W×Q＝(WgQb-WbQg,WbQr-WrQb,WrQg-WgQr)；卷积操作
是将两个纯四元数向量元素分别对应相乘，可提取每个通道上的空间特征；×操作是叉积操作，用来提取不同颜色通道的空间关系。
交通图像中斑马线实时检测中，不同目标帧图像之间的运动信息至关重要，可在时间卷积层分别提取三个颜色通道的近邻帧动态信息。令所述空间卷积层输出的第一特征图序列为Z＝{Z1,Z2,...,Zt}，则每个颜色通道在所述时间卷积层中进行时间卷积操作的结果为，
其中，
表示第i层第t帧第c颜色通道的卷积运算结果；f是sigmoid激活函数，bi是第i层特征图的偏置，c是指特征图的第c个颜色通道，s是指时间卷积核的第s维，共S维；
是第i层第c个颜色通道第s时间维的权值；假设输入视频图像的帧数为T，则时间卷积层输出的帧数为T-S+1。
所述下采样层具体采用平均值的方法对所述第二特征图序列中的每个通道进行下采样操作。
下面以具体实例对本发明的方法进行具体说明：
将数据集中不同自然条件下的包含斑马线的图序列像作为所述包含多种感兴趣区域的N组图像输入；所采用的四元数时空卷积神经网络为7层结构，其结构如图2所示；检测窗口的大小为90×90，缩放后的区域图像像素为36×36。
输入大小为36×36×5的图像序列，其中，36×36为每一帧的分辨率，5为图像序列的帧数；
在第一层的四元数空间卷积层C1中，卷积核尺寸为5×5×3,其中5×5为图像分辨率，3为图像的颜色通道数，用3个卷积核产生3个32×32×5的特征图序列；
在第二层的时间卷积层C2中，将第一层产生的特征图中的每个通道用1×1×3卷积核进行时间卷积操作，其中，3为时间维度，得到3个32×32×3的特征图序列；
在第三层的下采样层S3中，采用2×2窗口对第二层产生的特征图中的每个颜色通道进行下采样操作，得到3个16×16×3的特征图序列；
在第四层的四元数空间卷积层C4中，卷积核尺寸为5×5×3,用6个卷积核对第三层产生的特征图进行四元数卷积操作，产生6个12×12×3的特征图序列；
在第五层的时间卷积层C5中，将第四层产生的特征图中的每个颜色通道用1×1×3卷积核进行时间卷积操作，产生6个12×12×1的特征图序列；
在第六层的下采样层S6中，采用3×3窗口对第五层产生的特征图中的每个颜色通道进行下采样操作，得到6个4×4×1的特征图序列；
在第七层的全连接层F7中，将第六层产生的每一个特征图都拉伸成一个特征向量，得到288维度的特征向量；
在长短时记忆单元中，输入第七层的全连接层产生的特征向量，并连接分类器进行动作分类。
基于上述一种基于四元数时空卷积神经网络的斑马线检测方法，本发明还提供一种基于四元数时空卷积神经网络的斑马线检测系统。
如图3所示，一种基于四元数时空卷积神经网络的斑马线检测系统，包括以下模块，
样本制作模块，其用于将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
网络训练模块，其用于将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
检测模块，其用于将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
其中，所述检测模块具体用于，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
本发明提出一种基于四元数时空卷积神经网络的斑马线检测方法及系统，与现有技术中其他基于卷积神经网络的斑马线检测方法不同，本发明将图像序列直接作为网络的输入，在空间卷积层将R、G、B三个颜色通道作为一个整体进行卷积操作，保持各个颜色通道间相互的信息关联，并在时间卷积层提取到连续帧间的动态信息，使得提取的特征信息更加丰富，准确率更高。本发明可用于城市智能交通以及智能导航系统中，可在复杂交通场景中车辆的安全行驶提供预警信号，提高驾驶安全。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：包括以下步骤，
S1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
S2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
S3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
2.根据权利要求1所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：在所述S1之前还包括如下步骤，
S0，采集包含多种斑马线姿态的多组原始图像序列，并分别对每组原始图像序列进行预处理，得到包含多种斑马线姿态的多组图像序列；
其中，对任一组原始图像序列进行预处理的具体步骤为，
采用码本模型，以预设大小的检测窗口提取任一组原始图像序列中斑马线所在的感兴趣区域，并保存为区域图像；
采用最近邻插值法将所述区域图像缩放至预设大小的像素中并保存，得到对应组图像序列。
3.根据权利要求2所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：提取原始图像序列中斑马线所在的感兴趣区域的具体步骤为，
采用背景建模的方法对原始图像序列进行图像处理，得到背景和前景分割的二值图像；
计算所述二值图像中前景像素的中心点，并将前景像素的中心点作为所述检测窗口的中心点，在原始图像序列中提取出斑马线所在的感兴趣区域。
4.根据权利要求3所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：在背景建模的过程中，区域亮度的定义为，
其中，α和β均为可调阈值，xt是区域ri的像素，<ri,rj>为像素坐标，
为像素平均最小值，
为像素平均最大值，xi是区域ri的像素值；
在四元数时空卷积神经网络中，颜色被定义为，
其中，xt是区域ri的像素，Ri、Gi、Bi分别是区域ri的R、G、B三个颜色通道的颜色值，
分别是区域ri的R、G、B三个颜色通道的颜色均值；
当区域ri的像素xt满足区域亮度的定义时，则判定该像素xt属于背景，否则属于前景；以前景像素为中心的邻域都属于斑马线所在的感兴趣区域。
5.根据权利要求1至4任一项所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；
所述空间卷积层、所述时间卷积层和所述下采样层依次层叠并循环多次后，依次连接所述全连接层、所述长短时记忆单元以及所述分类器；
利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行实时检测的过程具体为，
S31，所述空间卷积层将R、G、B三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作，得到第一特征图序列；
S32，所述时间卷积层将所述第一特征图序列中的每个颜色通道分别进行时间卷积操作，以提取每个颜色通道的连续帧间目标的动态信息，得到第二特征图序列；
S33，所述下采样层对所述第二特征图序列中的每个通道进行下采样操作，得到第三特征图序列；
S34，基于所述第三特征图序列，循环执行S31-S33多次，得到最终特征图序列；
S35，所述全连接层将所述最终特征图序列中的每一个特征图都拉伸成一个特征向量，得到多个特征向量；
S36，所述长短时记忆单元将所有所述特征向量输送至所述分类器；
S37，所述分类器对所有所述特征向量进行检测，得到检测结果。
6.根据权利要求5所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：训练好的四元数时空卷积神经网络的卷积核为四元数形式，且所述卷积核的四元数的表示形式为W＝(Wr,Wg,Wb)，设输入所述空间卷积层的四元数形式的图像为Q＝(Qr,Qg,Qb)，则第i层第j个特征图中(x,y)位置的空间卷积运算结果为，
其中，Zi,j(x,y)为第i层第j个特征图中(x,y)位置的空间卷积运算结果；激活函数f为sigmoid函数；bi,j为第i层第j个特征图的偏置；
为第i层第j个特征图和第i-1层第p个特征图之间的卷积核(n,m)位置的权值向量，n和m分别是卷积核的长和宽；Q(i-1),p×(x+n,y+m)是第i-1层第p个特征图中(x+n,y+m)位置的像素；
W×Q＝(WgQb-WbQg,WbQr-WrQb,WrQg-WgQr)。
7.根据权利要求6所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：令所述空间卷积层输出的第一特征图序列为Z＝{Z1,Z2,...,Zt}，则每个颜色通道在所述时间卷积层中进行时间卷积操作的结果为，
其中，
表示第i层第t帧第c颜色通道的卷积运算结果；f是sigmoid激活函数，bi是第i层特征图的偏置，c是指特征图的第c个颜色通道，s是指时间卷积核的第s维，共S维；
是第i层第c个颜色通道第s时间维的权值。
8.根据权利要求5所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：所述下采样层具体采用平均值的方法对所述第二特征图序列中的每个通道进行下采样操作。
9.根据权利要求5所述的基于四元数时空卷积神经网络的斑马线检测方法，其特征在于：所述分类器具体为Softmax型分类器，在所述S2中，采用BP算法对预先构建的四元数时空卷积神经网络进行训练；
所述S2具体为，
S21，随机初始化预先构建的四元数时空卷积神经网络中的权值和偏置，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，逐层计算出预先构建的四元数时空卷积神经网络中每层的输入和输出；
S22，根据预先构建的四元数时空卷积神经网络中每层的输入和输出，采用梯度下降法确定预先构建的四元数时空卷积神经网络的最优权值和最优偏置，并依据最优权值和最优偏置获得训练样本的分类准确率；
S23，根据训练样本的分类准确率调整预先构建的四元数时空卷积神经网络的卷积核的数量、大小以及网络的层数，选取获得最高分类准确率的网络结构作为训练好的四元数时空卷积神经网络。
10.基于四元数时空卷积神经网络的斑马线检测系统，其特征在于：包括以下模块，
样本制作模块，其用于将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；
网络训练模块，其用于将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；
检测模块，其用于将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；
其中，所述检测模块具体用于，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110976237.3A CN113780109B (zh) | 2021-08-24 | 2021-08-24 | 基于四元数时空卷积神经网络的斑马线检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110976237.3A CN113780109B (zh) | 2021-08-24 | 2021-08-24 | 基于四元数时空卷积神经网络的斑马线检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113780109A true CN113780109A (zh) | 2021-12-10 |
| CN113780109B CN113780109B (zh) | 2023-11-24 |
Family
ID=78839186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110976237.3A Active CN113780109B (zh) | 2021-08-24 | 2021-08-24 | 基于四元数时空卷积神经网络的斑马线检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780109B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714336A (zh) * | 2012-10-08 | 2014-04-09 | 陈建成 | 基于八元数和回声状态网络的织物图像边缘检测方法 |
| CN105938564A (zh) * | 2016-04-29 | 2016-09-14 | 无锡中科智能农业发展有限责任公司 | 基于主成分分析和神经网络的水稻病害识别方法及系统 |
| CN107239730A (zh) * | 2017-04-17 | 2017-10-10 | 同济大学 | 智能汽车交通标志识别的四元数深度神经网络模型方法 |
| CN107341452A (zh) * | 2017-06-20 | 2017-11-10 | 东北电力大学 | 基于四元数时空卷积神经网络的人体行为识别方法 |
| CN107633220A (zh) * | 2017-09-13 | 2018-01-26 | 吉林大学 | 一种基于卷积神经网络的车辆前方目标识别方法 |
| CN110363151A (zh) * | 2019-07-16 | 2019-10-22 | 中国人民解放军海军航空大学 | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 |
| CN110610144A (zh) * | 2019-08-28 | 2019-12-24 | 首都师范大学 | 隐私保护的表情识别方法及系统 |
-
2021
- 2021-08-24 CN CN202110976237.3A patent/CN113780109B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714336A (zh) * | 2012-10-08 | 2014-04-09 | 陈建成 | 基于八元数和回声状态网络的织物图像边缘检测方法 |
| CN105938564A (zh) * | 2016-04-29 | 2016-09-14 | 无锡中科智能农业发展有限责任公司 | 基于主成分分析和神经网络的水稻病害识别方法及系统 |
| CN107239730A (zh) * | 2017-04-17 | 2017-10-10 | 同济大学 | 智能汽车交通标志识别的四元数深度神经网络模型方法 |
| CN107341452A (zh) * | 2017-06-20 | 2017-11-10 | 东北电力大学 | 基于四元数时空卷积神经网络的人体行为识别方法 |
| CN107633220A (zh) * | 2017-09-13 | 2018-01-26 | 吉林大学 | 一种基于卷积神经网络的车辆前方目标识别方法 |
| CN110363151A (zh) * | 2019-07-16 | 2019-10-22 | 中国人民解放军海军航空大学 | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 |
| CN110610144A (zh) * | 2019-08-28 | 2019-12-24 | 首都师范大学 | 隐私保护的表情识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113780109B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN107341452B (zh) | 基于四元数时空卷积神经网络的人体行为识别方法 | |
| CN113421269B (zh) | 一种基于双分支深度卷积神经网络的实时语义分割方法 | |
| CN106845478B (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
| CN107016357B (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN111539343B (zh) | 一种基于卷积注意力网络的黑烟车检测方法 | |
| CN110097028B (zh) | 基于三维金字塔图像生成网络的人群异常事件检测方法 | |
| CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
| CN113627228B (zh) | 一种基于关键点回归与多尺度特征融合的车道线检测方法 | |
| CN113393457B (zh) | 一种结合残差密集块与位置注意力的无锚框目标检测方法 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| CN111008632A (zh) | 一种基于深度学习的车牌字符分割方法 | |
| CN111199255A (zh) | 基于darknet53网络的小目标检测网络模型及检测方法 | |
| CN114898284B (zh) | 一种基于特征金字塔局部差异注意力机制的人群计数方法 | |
| CN113158905A (zh) | 一种基于注意力机制的行人重识别方法 | |
| CN116109947A (zh) | 一种基于大核等效卷积注意力机制的无人机图像目标检测方法 | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN114220126A (zh) | 一种目标检测系统及获取方法 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| CN118212572A (zh) | 一种基于改进YOLOv7的道路损坏检测方法 | |
| CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
| CN115187621A (zh) | 融合注意力机制的U-Net医学影像轮廓自动提取网络 | |
| CN116863227A (zh) | 一种基于改进YOLOv5的危化品车辆检测方法 | |
| CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |