CN113989773A - 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置 - Google Patents
用于自动驾驶的基于BiSeNet的交通标志识别方法及装置 Download PDFInfo
- Publication number
- CN113989773A CN113989773A CN202111258409.XA CN202111258409A CN113989773A CN 113989773 A CN113989773 A CN 113989773A CN 202111258409 A CN202111258409 A CN 202111258409A CN 113989773 A CN113989773 A CN 113989773A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- branch
- layer
- different sizes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002776 aggregation Effects 0.000 claims abstract description 79
- 238000004220 aggregation Methods 0.000 claims abstract description 79
- 239000010410 layer Substances 0.000 claims description 177
- 230000004927 fusion Effects 0.000 claims description 36
- 238000006116 polymerization reaction Methods 0.000 claims description 15
- 239000013047 polymeric layer Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种用于自动驾驶的基于BiSeNet的交通标志识别方法及装置。该方法包括：将包含路面交通标志的图像输入改进的BiSeNet模型，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接；在所述图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征；按设定规则将所述细节分支输出的多个不同尺寸的特征与所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征；根据所述获得的合并后的特征，输出所述图像的路面交通标志信息。本申请提供的方案，能够准确地识别路面交通标志。
Description
技术领域
本申请涉及导航技术领域，尤其涉及一种用于自动驾驶的基于BiSeNet的交通标志识别方法及装置。
背景技术
随着自动驾驶技术的发展，车辆的自动感知能力和自动识别能力越来越强。自动驾驶车辆对车道线等路面交通标志的准确识别，是自动驾驶车辆完成安全、智能行驶的重要前提。对车道线等路面交通标志的准确识别，能够为自动驾驶车辆的导航提供准确的道路信息，使得自动驾驶车辆能够实现安全的自动驾驶功能。
相关技术中，自动驾驶车辆对路面交通标志的识别极易受到其他路面交通标志等因素的干扰，无法得到准确的识别结果。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种用于自动驾驶的基于BiSeNet的交通标志识别方法及装置，能够准确地识别路面交通标志。
本申请第一方面提供一种自动驾驶的基于BiSeNet的交通标志识别方法，所述方法包括：
将包含路面交通标志的图像输入改进的BiSeNet模型，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接；
在所述图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征；
按设定规则将所述细节分支输出的多个不同尺寸的特征与所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征；
根据所述获得的合并后的特征，输出所述图像的路面交通标志信息。
优选的，所述在所述图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征，包括：
在所述图像前向传播中，获得所述细节分支3个阶段输出的3个不同尺寸的特征，所述3个不同尺寸的特征包括尺寸为所述图像尺寸1/2的1/2特征、尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征；
在所述图像前向传播中，获得所述语义分支4个阶段输出的4个不同尺寸的特征，所述4个不同尺寸的特征包括尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征、尺寸为所述图像尺寸1/16的1/16特征、尺寸为所述图像尺寸1/32的1/32特征。
优选的，所述按设定规则将所述细节分支输出的多个不同尺寸的特征与所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征，包括：
按设定规则，将所述细节分支不同阶段输出的不同尺寸的特征与所述语义分支不同阶段输出的不同尺寸的特征引入所述聚合层的不同融合模型，采用级联残差的方式进行合并，获得合并后的特征。
优选的，所述按设定规则，将所述细节分支不同阶段输出的不同尺寸的特征与所述语义分支不同阶段输出的不同尺寸的特征引入所述聚合层的不同融合模型，采用级联残差的方式进行合并，获得合并后的特征，包括：
将所述语义分支的1/32特征和所述细节分支的1/8特征引入所述聚合层的第一融合模型，并融合生成第一特征；
将所述语义分支的1/16特征和所述细节分支的1/4特征引入所述聚合层的第二融合模型，并融合生成第二特征；
将所述语义分支的1/8特征和所述细节分支的1/2特征引入所述聚合层的第三融合模型，并融合生成第三特征；
将所述第一特征和第二特征在所述聚合层融合生成第四特征；
将所述第一特征和第四特征在所述聚合层拼接生成第五特征；
将所述第五特征和第三特征在所述聚合层融合生成第六特征；
将所述第六特征和第五特征在所述聚合层拼接生成第七特征，所述第七特征为所述获得的合并后的特征。
优选的，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层的不同融合模型进行短路连接。
本申请第二方面提供一种自动驾驶的基于BiSeNet的交通标志识别装置，所述装置包括：
输入模块，用于将包含路面交通标志的图像输入改进的BiSeNet模型，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接；
特征获取模块，用于在所述输入模块输入的图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征；
合并模块，用于按设定规则将所述特征获取模块获得的所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征；
输出模块，用于根据所述合并模块获得的合并后的特征，输出所述图像的路面交通标志信息。
优选的，所述特征获取模块包括第一特征获取子模块、第二特征获取子模块；
所述第一特征获取子模块，用于在所述输入模块输入的图像前向传播中，获得所述细节分支3个阶段输出的3个不同尺寸的特征，所述3个不同尺寸的特征包括尺寸为所述图像尺寸1/2的1/2特征、尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征；
所述第二特征获取子模块，用于在所述输入模块输入的图像前向传播中，获得所述语义分支4个阶段输出的4个不同尺寸的特征，所述4个不同尺寸的特征包括尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征、尺寸为所述图像尺寸1/16的1/16特征、尺寸为所述图像尺寸1/32的1/32特征。
优选的所述合并模块还用于：
将所述第二特征获取子模块获得的所述语义分支的1/32特征和所述第一特征获取子模块获得的所述细节分支的1/8特征引入所述聚合层的第一融合模型，并融合生成第一特征；
将所述第二特征获取子模块获得的所述语义分支的1/16特征和所述第一特征获取子模块获得的所述细节分支的1/4特征引入所述聚合层的第二融合模型，并融合生成第二特征；
将所述第二特征获取子模块获得的所述语义分支的1/8特征和所述第一特征获取子模块获得的所述细节分支的1/2特征引入所述聚合层的第三融合模型，并融合生成第三特征；
将所述第一特征和第二特征在所述聚合层融合生成第四特征；
将所述第一特征和第四特征在所述聚合层拼接生成第五特征；
将所述第五特征和第三特征在所述聚合层融合生成第六特征；
将所述第六特征和第五特征在所述聚合层拼接生成第七特征，所述第七特征为所述获得的合并后的特征。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的技术方案，将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型的细节分支的各个层和语义分支的各个层分别与聚合层连接；能够将细节分支的各个层和语义分支的各个层提取的特征直接引入到BiSeNet模型的聚合层，按设定规则将细节分支的不同尺寸的特征分别与语义分支的不同尺寸的特征在聚合层合并，获得合并后的特征；根据合并后的特征，输出图像的路面交通标志信息，能够充分利用浅层网络提取的不同尺寸的特征，提高图像中路面交通标志的识别效果，能够准确地识别路面交通标志。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法的流程示意图；
图2是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法的另一流程示意图；
图3是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法的改进的BiSeNet模型的部分的示意图；
图4是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别装置的结构示意图；
图5是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别装置的另一结构示意图；
图6是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本申请实施例提供一种用于自动驾驶的基于BiSeNet的交通标志识别方法，能够准确地识别路面交通标志。
以下结合附图详细描述本申请实施例的技术方案。
实施例一：
图1是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法的流程示意图。
参见图1，一种用于自动驾驶的基于BiSeNet的交通标志识别方法，包括：
在步骤S101中，将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接。
在一种实施方式中，自动驾驶车辆设有拍摄设备，拍摄设备可以设置于车辆的前挡风玻璃处，以便车辆自动行驶过程拍摄设备能够拍摄包含路面交通标志的图像。将包含路面交通标志的图像输入改进的BiSeNet(Bilateral Segmentation Network，双分割网络)模型，改进的BiSeNet模型在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接。
在步骤S102中，在图像前向传播中，分别获得细节分支输出的多个不同尺寸的特征和语义分支输出的多个不同尺寸的特征。
在一种实施方式中，细节分支负责空间细节。在图像前向传播中，细节分支提取多个不同尺寸的输出特征，多个不同尺寸的输出特征可以分别对应不同比例的原始输入的分辨率。语义分支与细节分支并行，语义分支旨在捕获高级语义。在图像前向传播中，语义分支提取多个不同尺寸的输出特征，多个不同尺寸的输出特征的感受野相同。
在步骤S103中，按设定规则将细节分支输出的多个不同尺寸的特征与语义分支输出的多个不同尺寸的特征在聚合层合并，获得合并后的特征。
在一种实施方式中，细节分支和语义分支的特征表示是互补的，改进的BiSeNet模型的细节分支的各个层和语义分支的各个层分别与聚合层连接，可以将细节分支提取的多个不同尺寸的输出特征和语义分支提取的多个不同尺寸的输出特征直接引入聚合层，按设定规则在聚合层进行合并，获得合并后的特征。
在步骤S104中，根据获得的合并后的特征，输出图像的路面交通标志信息。
在一种实施方式中，根据获得的合并后的特征，通过改进的BiSeNet模型输出图像的路面交通标志信息。
本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法，将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型的细节分支的各个层和语义分支的各个层分别与聚合层连接；能够将细节分支的各个层和语义分支的各个层提取的特征直接引入到BiSeNet模型的聚合层，按设定规则将细节分支的不同尺寸的特征分别与语义分支的不同尺寸的特征在聚合层合并，获得合并后的特征；根据合并后的特征，输出图像的路面交通标志信息，能够充分利用浅层网络提取的不同尺寸的特征，提高图像中路面交通标志的识别效果，能够准确地识别路面交通标志。
实施例二：
图2是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法的另一流程示意图。图2相对于图1更详细描述了本申请的方案。
参见图2，一种用于自动驾驶的基于BiSeNet的交通标志识别方法，包括：
在步骤S201中，将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层的不同融合模型进行短路连接。
在一种实施方式中，自动驾驶车辆设有拍摄设备，拍摄设备可以设置于车辆的前挡风玻璃处，以便车辆自动行驶过程拍摄设备能够拍摄包含路面交通标志的图像。将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层的不同融合模型进行短路连接。
如图3所示，细节分支包括3个阶段：第一阶段、第二阶段、第三阶段，每个阶段可以用于一个层级表示，第一阶段为第一层311，第二阶段为第二层312，第三阶段为第三层313。语义分支包括4个阶段：第一阶段、第二阶段、第三阶段、第四阶段，每个阶段也可以用于一个层级表示，第一阶段为第一层321，第二阶段为第二层322，第三阶段为第三层323，第四阶段为第四层324。以图像在BiSeNet模型的输入端向输出端的传播方向301为BiSeNet模型的深浅方向，图像先经过细节分支的第一阶段，再经过第二阶段，最后经过第三阶段，即图像先经过细节分支的第一层311，再经过第二层312，最后经过第三层313，细节分支的第一层311、第二层312、第三层313在细节分支的网络层次逐层加深；同理，语义分支第一层321、第二层322、第三层323、第四层324在语义分支的网络层次也是逐层加深的。细节分支的第一层311和语义分支的第二层322与聚合层的第三融合模型(BGA)333短路连接，细节分支的第二层312和语义分支的第三层323与聚合层的第二融合模型332短路连接，细节分支的第三层313和语义分支的第四层324与聚合层的第一融合模型331短路连接。以图像在BiSeNet模型的输入端向输出端的传播方向301为BiSeNet模型的深浅方向，聚合层的第一融合模型331、第二融合模型332、第三融合模型333在聚合层的网络层次也是逐层加深的。
在步骤S202中，在图像前向传播中，分别获得细节分支3个阶段输出的3个不同尺寸的特征和语义分支4个阶段输出的4个不同尺寸的特征。
在一种实施方式中，细节分支负责空间细节。语义分支与细节分支并行，语义分支旨在捕获高级语义。在图像前向传播中，细节分支提取多个不同尺寸的输出特征，多个不同尺寸的输出特征可以分别对应不同比例的原始输入的分辨率；语义分支提取多个不同尺寸的输出特征，多个不同尺寸的输出特征的感受野相同。如图3所示，在图像前向传播中，获得细节分支3个阶段输出的3个不同尺寸的特征，3个不同尺寸的特征包括尺寸为图像尺寸1/2的1/2特征、尺寸为图像尺寸1/4的1/4特征、尺寸为图像尺寸1/8的1/8特征；获得语义分支4个阶段输出的4个不同尺寸的特征，4个不同尺寸的特征包括尺寸为图像尺寸1/4的1/4特征、尺寸为图像尺寸1/8的1/8特征、尺寸为图像尺寸1/16的1/16特征、尺寸为图像尺寸1/32的1/32特征。细节分支和语义分支每个阶段都会对图像特征缩小一倍，细节分支三阶段结束后输出特征尺寸变为原始图像的1/8，即三阶段结束后输出特征分辨率变为原始图像的1/8。语义分支四阶段结束后输出特征尺寸变为原始图像的1/32，即四阶段结束后输出特征分辨率变为原始图像的1/32。细节分支的第一阶段输出特征尺寸变为原始图像的1/2，输出特征分辨率变为原始图像的1/2，可以标记为1/2特征；第二阶段输出特征尺寸变为原始图像的1/4，输出特征分辨率变为原始图像的1/4，可以标记为1/4特征；第三阶段输出特征尺寸变为原始图像的1/8，输出特征分辨率变为原始图像的1/8，可以标记为1/8特征。语义分支的第一阶段输出特征尺寸变为原始图像的1/4，输出特征分辨率变为原始图像的1/4，可以标记为1/4特征；第二阶段输出特征尺寸变为原始图像的1/8，输出特征分辨率变为原始图像的1/8，可以标记为1/8特征；第三阶段输出特征尺寸变为原始图像的1/16，输出特征分辨率变为原始图像的1/16，可以标记为1/16特征；第四阶段输出特征尺寸变为原始图像的1/32，输出特征分辨率变为原始图像的1/32，可以标记为1/32特征。
在一种实施方式中，张量是神经网络使用的主要数据结构，神经网络中的输入、输出和变换都是用张量表示的。张量可以理解为由若干坐标系改变时满足一定坐标转化关系的有序数组成的集合。本申请实施例的特征可以是张量数据，标量是0阶张量，矢量是1阶张量，矩阵是二阶张量，三阶张量是立方体矩阵(可以理解为三阶数组)，N阶数组是N阶张量。
在步骤S203中，按设定规则，将细节分支不同阶段输出的不同尺寸的特征与语义分支不同阶段输出的不同尺寸的特征引入聚合层的不同融合模型，采用级联残差的方式进行合并，获得合并后的特征。
在一种实施方式中，细节分支和语义分支的特征表示是互补的，细节分支使用小感受野提取图像中路面交通标志的细节信息，比如路面交通标志的边缘信息等。语义分支使用大感受野提取图像中路面交通标志的语义信息。将细节分支不同阶段输出的不同尺寸特征和语义分支不同阶段输出的不同尺寸特征进行组合，在聚合层的不同BGA进行合并，获得合并后的特征。
在一种具体实施方式中，按设定规则，采用级联残差的方式合并细节分支不同阶段输出的不同尺寸的特征和语义分支不同阶段输出的不同尺寸的特征，获得合并后的特征。如图3所示，细节分支的不同层和语义分支的不同层分别与聚合层的不同BGA进行短路连接，可以将细节分支不同层(不同阶段)提取的不同尺寸的输出特征和语义分支不同层(不同阶段)提取的不同尺寸的输出特征直接引入聚合层的不同BGA；可以将语义分支的1/32特征和细节分支的1/8特征引入聚合层的第一BGA，在聚合层的第一BGA融合生成第一特征A；可以将语义分支的1/16特征和细节分支的1/4特征引入聚合层的第二BGA，在聚合层的第二BGA融合生成第二特征B；将语义分支的1/8特征和细节分支的1/2特征引入聚合层的第三BGA，在聚合层的第三BGA融合生成第三特征C；将第一特征A和第二特征B在聚合层融合生成第四特征B1；将第一特征A和第四特征B1在聚合层拼接生成第五特征B2；将第五特征B2和第三特征C在聚合层融合生成第六特征C1；将第六特征C1和第五特征B2在聚合层拼接生成第七特征D，获得合并后的第七特征D。合并后的第七特征D的尺寸可以与输入改进的BiSeNet模型的图像尺寸大小一致。
在一种具体实施方式中，可以将第一特征A和第四特征B1在聚合层直接拼接生成第五特征B2；可以将第六特征C1和第五特征B2在聚合层直接拼接生成第七特征D。
在步骤S204中，根据获得的合并后的特征，输出图像的路面交通标志信息。
在一种实施方式中，根据获得的合并后的第七特征D，通过改进的BiSeNet模型输出图像的路面交通标志信息。
本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法，将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型的细节分支的各个层和语义分支的各个层分别与聚合层连接；能够将细节分支的各个层和语义分支的各个层提取的特征直接引入到BiSeNet模型的聚合层，按设定规则将细节分支的不同尺寸的特征分别与语义分支的不同尺寸的特征在聚合层合并，获得合并后的特征；根据合并后的特征，输出图像的路面交通标志信息，能够充分利用浅层网络提取的不同尺寸的特征，提高图像中路面交通标志的识别效果，能够准确地识别路面交通标志。
进一步地，本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别方法，改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层的不同融合模型进行短路连接，能够将细节分支的各个层和语义分支的各个层提取的特征直接引入到BiSeNet模型的聚合层的不同融合模型，有助于梯度信息的反向传播，使梯度信息能够更好地向浅层传播，减弱梯度信息的消失，避免了特征融合阶段的梯度信息的消失现象，将细节分支不同尺寸的特征分别与语义分支不同尺寸的特征在聚合层的不同融合模型合并，能够充分利用浅层网络提取的不同尺寸的特征，能够融合不同尺寸的特征，提高图像中不同尺寸路面交通标志的识别效果，能够准确地识别路面交通标志。
实施例三：
与前述应用功能实现方法实施例相对应，本申请还提供了一种用于自动驾驶的基于BiSeNet的交通标志识别装置、电子设备及相应的实施例。
图4是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别装置的结构示意图。
参见图4，一种用于自动驾驶的基于BiSeNet的交通标志识别装置，包括输入模块401、特征获取模块402、合并模块403、输出模块404。
输入模块401，用于将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接。
在一种实施方式中，自动驾驶车辆设有拍摄设备，拍摄设备可以设置于车辆的前挡风玻璃处，以便车辆自动行驶过程拍摄设备能够拍摄包含路面交通标志的图像。输入模块401将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接。
特征获取模块402，用于在输入模块401输入的图像前向传播中，分别获得细节分支输出的多个不同尺寸的特征和语义分支输出的多个不同尺寸的特征。
在一种实施方式中，细节分支负责空间细节。在图像前向传播中，细节分支提取多个不同尺寸的输出特征，多个不同尺寸的输出特征可以分别对应不同比例的原始输入的分辨率。语义分支与细节分支并行，语义分支旨在捕获高级语义。在图像前向传播中，语义分支提取多个不同尺寸的输出特征，多个不同尺寸的输出特征的感受野相同。在图像前向传播中，特征获取模块402分别获得细节分支提取的多个不同尺寸的输出特征和语义分支提取的多个不同尺寸的输出特征。
合并模块403，用于按设定规则将特征获取模块402获得的细节分支输出的多个不同尺寸的特征和语义分支输出的多个不同尺寸的特征在聚合层合并，获得合并后的特征。
在一种实施方式中，特征获取模块402获得细节分支和语义分支的特征表示是互补的，改进的BiSeNet模型的细节分支的各个层和语义分支的各个层分别与聚合层连接，合并模块403可以将细节分支提取的多个不同尺寸的输出特征和语义分支提取的多个不同尺寸的输出特征直接引入聚合层，按设定规则在聚合层进行合并，获得合并后的特征。
输出模块404，用于根据合并模块403获得的合并后的特征，输出图像的路面交通标志信息。
在一种实施方式中，输出模块404根据合并模块403获得的合并后的特征，通过改进的BiSeNet模型输出图像的路面交通标志信息。
本申请实施例示出的技术方案，将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型的细节分支的各个层和语义分支的各个层分别与聚合层连接；能够将细节分支的各个层和语义分支的各个层提取的特征直接引入到BiSeNet模型的聚合层，按设定规则将细节分支的不同尺寸的特征分别与语义分支的不同尺寸的特征在聚合层合并，获得合并后的特征；根据合并后的特征，输出图像的路面交通标志信息，能够充分利用浅层网络提取的不同尺寸的特征，提高图像中路面交通标志的识别效果，能够准确地识别路面交通标志。
实施例四：
图5是本申请实施例示出的用于自动驾驶的基于BiSeNet的交通标志识别装置的另一结构示意图。
参见图5，一种用于自动驾驶的基于BiSeNet的交通标志识别装置，包括输入模块401、特征获取模块402、合并模块403、输出模块404。
输入模块401，用于将包含路面交通标志的图像输入改进的BiSeNet模型，改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层的不同融合模型进行短路连接。
特征获取模块402包括第一特征获取子模块4021、第二特征获取子模块4022；特征获取模块402在输入模块401输入的图像前向传播中，分别获得细节分支输出的多个不同尺寸的特征和语义分支输出的多个不同尺寸的特征。
第一特征获取子模块4021，用于在输入模块401输入的图像前向传播中，获得细节分支3个阶段输出的3个不同尺寸的特征，3个不同尺寸的特征包括尺寸为图像尺寸1/2的1/2特征、尺寸为图像尺寸1/4的1/4特征、尺寸为图像尺寸1/8的1/8特征。
第二特征获取子模块4022，用于在输入模块401输入的图像前向传播中，获得语义分支4个阶段输出的4个不同尺寸的特征，4个不同尺寸的特征包括尺寸为图像尺寸1/4的1/4特征、尺寸为图像尺寸1/8的1/8特征、尺寸为图像尺寸1/16的1/16特征、尺寸为图像尺寸1/32的1/32特征。
合并模块403，用于按设定规则，将第一特征获取子模块4021获得的细节分支不同阶段输出的不同尺寸的特征与第二特征获取子模块4022获得的语义分支不同阶段输出的不同尺寸的特征引入聚合层的不同融合模型，采用级联残差的方式进行合并，获得合并后的特征。
在一种实施方式中，合并模块403还用于将第二特征获取子模块4022获得的语义分支的1/32特征和第一特征获取子模块4021获得的细节分支的1/8特征引入聚合层的第一融合模型，并融合生成第一特征；将第二特征获取子模块4022获得的语义分支的1/16特征和第一特征获取子模块4021获得的细节分支的1/4特征引入聚合层的第二融合模型，并融合生成第二特征；将第二特征获取子模块4022获得的语义分支的1/8特征和第一特征获取子模块4021获得的细节分支的1/2特征引入聚合层的第三融合模型，并融合生成第三特征；将第一特征和第二特征在聚合层融合生成第四特征；将第一特征和第四特征在聚合层拼接生成第五特征；将第五特征和第三特征在聚合层融合生成第六特征；将第六特征和第五特征在聚合层拼接生成第七特征，第七特征为获得的合并后的特征。
输出模块404，用于根据合并模块403获得的合并后的特征，输出图像的路面交通标志信息。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图6是本申请实施例示出的电子设备的结构示意图。
参见图6，电子设备60包括存储器601和处理器602。
处理器602可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器601可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器602或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器601可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器601可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器601上存储有可执行代码，当可执行代码被处理器602处理时，可以使处理器602执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种用于自动驾驶的基于BiSeNet的交通标志识别方法，其特征在于，包括：
将包含路面交通标志的图像输入改进的BiSeNet模型，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接；
在所述图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征；
按设定规则将所述细节分支输出的多个不同尺寸的特征与所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征；
根据所述获得的合并后的特征，输出所述图像的路面交通标志信息。
2.根据权利要求1所述的方法，其特征在于，所述在所述图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征，包括：
在所述图像前向传播中，获得所述细节分支3个阶段输出的3个不同尺寸的特征，所述3个不同尺寸的特征包括尺寸为所述图像尺寸1/2的1/2特征、尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征；
在所述图像前向传播中，获得所述语义分支4个阶段输出的4个不同尺寸的特征，所述4个不同尺寸的特征包括尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征、尺寸为所述图像尺寸1/16的1/16特征、尺寸为所述图像尺寸1/32的1/32特征。
3.根据权利要求2所述的方法，其特征在于，所述按设定规则将所述细节分支输出的多个不同尺寸的特征与所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征，包括：
按设定规则，将所述细节分支不同阶段输出的不同尺寸的特征与所述语义分支不同阶段输出的不同尺寸的特征引入所述聚合层的不同融合模型，采用级联残差的方式进行合并，获得合并后的特征。
4.根据权利要求3所述的方法，其特征在于，所述按设定规则，将所述细节分支不同阶段输出的不同尺寸的特征与所述语义分支不同阶段输出的不同尺寸的特征引入所述聚合层的不同融合模型，采用级联残差的方式进行合并，获得合并后的特征，包括：
将所述语义分支的1/32特征和所述细节分支的1/8特征引入所述聚合层的第一融合模型，并融合生成第一特征；
将所述语义分支的1/16特征和所述细节分支的1/4特征引入所述聚合层的第二融合模型，并融合生成第二特征；
将所述语义分支的1/8特征和所述细节分支的1/2特征引入所述聚合层的第三融合模型，并融合生成第三特征；
将所述第一特征和第二特征在所述聚合层融合生成第四特征；
将所述第一特征和第四特征在所述聚合层拼接生成第五特征；
将所述第五特征和第三特征在所述聚合层融合生成第六特征；
将所述第六特征和第五特征在所述聚合层拼接生成第七特征，所述第七特征为所述获得的合并后的特征。
5.根据权利要求3或4所述的方法，其特征在于，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层的不同融合模型进行短路连接。
6.一种用于自动驾驶的基于BiSeNet的交通标志识别装置，其特征在于，包括：
输入模块，用于将包含路面交通标志的图像输入改进的BiSeNet模型，所述改进的BiSeNet模型为：在BiSeNet模型的基础上分别将细节分支的各个层和语义分支的各个层与聚合层进行连接；
特征获取模块，用于在所述输入模块输入的图像前向传播中，分别获得所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征；
合并模块，用于按设定规则将所述特征获取模块获得的所述细节分支输出的多个不同尺寸的特征和所述语义分支输出的多个不同尺寸的特征在所述聚合层合并，获得合并后的特征；
输出模块，用于根据所述合并模块获得的合并后的特征，输出所述图像的路面交通标志信息。
7.根据权利要求6所述的装置，其特征在于：所述特征获取模块包括第一特征获取子模块、第二特征获取子模块；
所述第一特征获取子模块，用于在所述输入模块输入的图像前向传播中，获得所述细节分支3个阶段输出的3个不同尺寸的特征，所述3个不同尺寸的特征包括尺寸为所述图像尺寸1/2的1/2特征、尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征；
所述第二特征获取子模块，用于在所述输入模块输入的图像前向传播中，获得所述语义分支4个阶段输出的4个不同尺寸的特征，所述4个不同尺寸的特征包括尺寸为所述图像尺寸1/4的1/4特征、尺寸为所述图像尺寸1/8的1/8特征、尺寸为所述图像尺寸1/16的1/16特征、尺寸为所述图像尺寸1/32的1/32特征。
8.根据权利要求7所述的装置，其特征在于，所述合并模块还用于：
将所述第二特征获取子模块获得的所述语义分支的1/32特征和所述第一特征获取子模块获得的所述细节分支的1/8特征引入所述聚合层的第一融合模型，并融合生成第一特征；
将所述第二特征获取子模块获得的所述语义分支的1/16特征和所述第一特征获取子模块获得的所述细节分支的1/4特征引入所述聚合层的第二融合模型，并融合生成第二特征；
将所述第二特征获取子模块获得的所述语义分支的1/8特征和所述第一特征获取子模块获得的所述细节分支的1/2特征引入所述聚合层的第三融合模型，并融合生成第三特征；
将所述第一特征和第二特征在所述聚合层融合生成第四特征；
将所述第一特征和第四特征在所述聚合层拼接生成第五特征；
将所述第五特征和第三特征在所述聚合层融合生成第六特征；
将所述第六特征和第五特征在所述聚合层拼接生成第七特征，所述第七特征为所述获得的合并后的特征。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258409.XA CN113989773B (zh) | 2021-10-27 | 2021-10-27 | 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258409.XA CN113989773B (zh) | 2021-10-27 | 2021-10-27 | 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989773A true CN113989773A (zh) | 2022-01-28 |
| CN113989773B CN113989773B (zh) | 2024-05-31 |
Family
ID=79742902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111258409.XA Active CN113989773B (zh) | 2021-10-27 | 2021-10-27 | 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989773B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550137A (zh) * | 2022-02-22 | 2022-05-27 | 智道网联科技(北京)有限公司 | 识别交通标志牌的方法、装置和电子设备 |
| CN114565766A (zh) * | 2022-03-01 | 2022-05-31 | 智道网联科技(北京)有限公司 | 基于BiSeNet V2的路面图像语义分割方法及装置 |
| CN114677517A (zh) * | 2022-05-30 | 2022-06-28 | 山东巍然智能科技有限公司 | 一种无人机用语义分割网络模型及图像分割识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127470A (zh) * | 2019-12-24 | 2020-05-08 | 江西理工大学 | 一种基于上下文和浅层空间编解码网络的图像语义分割方法 |
| CN111160312A (zh) * | 2020-01-02 | 2020-05-15 | 重庆紫光华山智安科技有限公司 | 目标识别方法、装置和电子设备 |
| CN111563909A (zh) * | 2020-05-10 | 2020-08-21 | 中国人民解放军91550部队 | 一种复杂街景图像语义分割方法 |
| US20200334819A1 (en) * | 2018-09-30 | 2020-10-22 | Boe Technology Group Co., Ltd. | Image segmentation apparatus, method and relevant computing device |
| CN113011429A (zh) * | 2021-03-19 | 2021-06-22 | 厦门大学 | 一种基于阶段性特征语义对齐的实时街景图像语义分割方法 |
-
2021
- 2021-10-27 CN CN202111258409.XA patent/CN113989773B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200334819A1 (en) * | 2018-09-30 | 2020-10-22 | Boe Technology Group Co., Ltd. | Image segmentation apparatus, method and relevant computing device |
| CN111127470A (zh) * | 2019-12-24 | 2020-05-08 | 江西理工大学 | 一种基于上下文和浅层空间编解码网络的图像语义分割方法 |
| CN111160312A (zh) * | 2020-01-02 | 2020-05-15 | 重庆紫光华山智安科技有限公司 | 目标识别方法、装置和电子设备 |
| CN111563909A (zh) * | 2020-05-10 | 2020-08-21 | 中国人民解放军91550部队 | 一种复杂街景图像语义分割方法 |
| CN113011429A (zh) * | 2021-03-19 | 2021-06-22 | 厦门大学 | 一种基于阶段性特征语义对齐的实时街景图像语义分割方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550137A (zh) * | 2022-02-22 | 2022-05-27 | 智道网联科技(北京)有限公司 | 识别交通标志牌的方法、装置和电子设备 |
| CN114550137B (zh) * | 2022-02-22 | 2024-04-09 | 智道网联科技(北京)有限公司 | 识别交通标志牌的方法、装置和电子设备 |
| CN114565766A (zh) * | 2022-03-01 | 2022-05-31 | 智道网联科技(北京)有限公司 | 基于BiSeNet V2的路面图像语义分割方法及装置 |
| CN114677517A (zh) * | 2022-05-30 | 2022-06-28 | 山东巍然智能科技有限公司 | 一种无人机用语义分割网络模型及图像分割识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113989773B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113989773B (zh) | 用于自动驾驶的基于BiSeNet的交通标志识别方法及装置 | |
| Janai et al. | Computer vision for autonomous vehicles: Problems, datasets and state of the art | |
| TWI709919B (zh) | 車險圖像處理方法、裝置、伺服器及系統 | |
| CN111627078B (zh) | 自动图像合成装置与方法 | |
| US8744190B2 (en) | System and method for efficient image feature extraction | |
| CN113269164B (zh) | 车道线检测方法及其检测装置 | |
| Farag | A lightweight vehicle detection and tracking technique for advanced driving assistance systems | |
| CN114440903A (zh) | 一种高精地图构建方法、装置、存储介质及电子设备 | |
| CN117079069A (zh) | 一种基于自监督辅助学习的目标检测方法与装置 | |
| Bougharriou et al. | Vehicles distance estimation using detection of vanishing point | |
| CN114997264A (zh) | 训练数据生成、模型训练及检测方法、装置及电子设备 | |
| Zhu et al. | Co-occurrent structural edge detection for color-guided depth map super-resolution | |
| CN114782914A (zh) | 自动驾驶车辆定位方法及装置、电子设备、存储介质 | |
| CN113989759A (zh) | 用于自动驾驶的基于BiSeNet的车道线识别方法及装置 | |
| CN114241446A (zh) | 一种路牌角点的标记方法、装置、设备及存储介质 | |
| CN113724390A (zh) | 匝道生成方法及装置 | |
| CN117953454A (zh) | 应用于自动驾驶的目标检测方法、装置及电子设备 | |
| CN114565766B (zh) | 基于BiSeNet V2的路面图像语义分割方法及装置 | |
| CN116092039B (zh) | 自动驾驶仿真系统的显示控制方法及装置 | |
| CN113743340B (zh) | 用于自动驾驶的计算机视觉网络模型优化方法及相关装置 | |
| CN115661577B (zh) | 用于对象检测的方法、设备和计算机可读存储介质 | |
| CN115953656A (zh) | 目标物的识别方法、装置、电子设备及存储介质 | |
| CN114882449B (zh) | 一种基于Car-Det网络模型的车辆检测方法及装置 | |
| US20240161478A1 (en) | Multimodal Weakly-Supervised Three-Dimensional (3D) Object Detection Method and System, and Device | |
| CN113255609B (zh) | 基于神经网络模型的交通标识识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |