CN111160206A - 一种交通环境元素视觉感知方法及装置 - Google Patents
一种交通环境元素视觉感知方法及装置 Download PDFInfo
- Publication number
- CN111160206A CN111160206A CN201911347148.1A CN201911347148A CN111160206A CN 111160206 A CN111160206 A CN 111160206A CN 201911347148 A CN201911347148 A CN 201911347148A CN 111160206 A CN111160206 A CN 111160206A
- Authority
- CN
- China
- Prior art keywords
- traffic environment
- image
- network
- target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000016776 visual perception Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000008447 perception Effects 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 abstract description 41
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种交通环境元素视觉感知方法及装置，其中，该装置包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；图像处理模块用于获取交通环境的原始图像，将原始图像进行降分辨率处理得到交通环境图像；多任务网络用于根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象；小目标图像提取模块用于根据定位结果提取原始图像中与定位结果相对应的目标图像；小目标分类网络用于根据目标图像获取目标对象的分类结果。该装置不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量，更快的得到在图像中占比较小的目标图像的分类结果。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种交通环境元素视觉感知方法及装置。
背景技术
近年来，随着自动驾驶技术的发展，基于视觉的交通环境元素感知技术逐渐成为该领域的研究热点。交通环境元素视觉感知的主要过程是首先使用相机捕获交通环境图像，然后采取卷积神经网络处理图像信息，最终实现交通环境元素在图像上精准地定位与分类，需要感知的交通环境元素主要包括障碍物、车道线、交通灯、交通标志等。但这些研究都集中在单个交通环境元素感知任务上，并没有考虑如何准确高效地感知所有交通环境元素。虽然随着基于卷积神经网络交通环境元素感知技术的发展，任一环境元素都能做到实时准确地感知。但对于自动驾驶来说，单一环境元素无法覆盖复杂场景下的感知需求。而多种环境元素感知任务中，例如交通灯与交通标志等环境元素的实际物理尺寸较小，导致这些目标在图像中的占比较小，可用的图像像素有限，现有技术很难实现准确的识别。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的无法同时感知多种环境元素的缺陷，从而提供一种交通环境元素视觉感知方法及装置。
本发明第一方面提供了一种交通环境元素视觉感知装置，包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；图像处理模块用于获取交通环境的原始图像，将原始图像进行降分辨率处理得到交通环境图像；多任务网络用于根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象；小目标图像提取模块用于根据定位结果提取原始图像中与定位结果相对应的目标图像；小目标分类网络用于根据目标图像获取目标对象的分类结果。
可选地，多任务网络包括：共享特征提取网络、小目标定位分支网络、感知任务分支网络；共享特征提取网络用于根据交通环境图像获取共享特征，并将共享特征输入小目标定位分支网络和感知任务分支网络；小目标定位分支网络用于根据共享特征获取目标对象在交通环境图像中的定位结果；感知任务分支网络用于根据共享特征获取交通环境元素的预测结果。
可选地，小目标定位分支网络包括第一特征层、第一输出层；第一特征层用于根据共享特征提取第一特征；第一输出层用于根据第一特征输出目标对象在交通环境图像中的定位结果。
可选地，感知任务分支网络包括第二特征层、第二输出层；第二特征层用于根据共享特征提取第二特征；第二输出层用于根据第二特征输出交通环境元素的预测结果。
本发明第二方面提供了一种交通环境元素视觉感知方法，包括：获取交通环境的原始图像，并将原始图像进行降分辨率处理得到交通环境图像；根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象；根据定位结果提取原始图像中与定位结果相对应的目标图像；根据目标图像获取目标对象的分类结果。
可选地，根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果的步骤，包括：根据交通环境图像获取共享特征；根据共享特征获取目标对象在交通环境图像中的定位结果及交通环境元素的预测结果。
可选地，本发明提供的交通环境元素视觉感知方法通过如下步骤获取目标对象在交通环境图像中的定位结果：根据共享特征提取第一特征；根据第一特征获得目标对象在交通环境图像中的定位结果。
可选地，本发明提供的交通环境元素视觉感知方法通过如下步骤获取交通环境元素的预测结果：根据共享特征提取第二特征；根据第二特征获得交通环境元素的预测结果。
本发明第三方面提供一种计算机设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，从而执行如本发明第二方面提供的交通环境元素视觉感知方法。
本发明第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本发明第二方面提供的交通环境元素视觉感知方法。
本发明技术方案，具有如下优点：
1.本发明提供的交通环境元素视觉感知装置，可以通过多任务网络获取除目标对象外的多种交通环境元素的预测结果，对于交通环境图像中占比较小、无法准确识别的目标对象，先通过多任务网络获取目标对象在交通环境图像中的定位结果，然后小目标图像提取模块根据定位结果提取原始图像中与定位结果相对应的目标图像，将目标图像输入小目标分类网络得到目标对象的分类结果，一方面，相较于通过降分辨率后的交通环境图像对图像中占比较小的目标图像进行分类，本发明提供的交通环境元素视觉感知装置得到的目标图像的分类结果更为准确可靠，另一方面，相较于直接将原始图像输入神经网络中进行目标对象的分类，本发明提供的交通环境元素视觉感知装置只将从原始图像中截取的有效的目标图像输入小目标分类网络得到目标对象的分类结果，计算量更小，计算效率更高。综上所述，本发明提供的交通环境元素视觉感知装置不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量更快的得到在图像中占比较小的目标图像的分类结果。
2.本发明提供的交通环境元素视觉感知装置，多任务网络包括共享特征提取网络、小目标定位分支网络、感知任务分支网络，通过共享特征提取网络获取用于各小目标定位分支网络和感知任务分支网络的共享特征，各小目标定位分支网络和感知任务分支网络在进一步计算定位结果和预测结果时，只需基于该共享特征进一步进行计算即可，而传统的多任务神经网络只是将多个不同任务的神经网络进行简单堆叠，实际执行不同任务时，各神经网络之间无法实现特征共享，每个神经网络都需完整计算所有特征，导致结构臃肿、计算开销冗余，无法满足实时计算的需求，因此本申请提供的交通环境元素视觉感知装置相较于现有的多任务神经网络结构简单、计算效率高，可以满足实时计算的需求。
3.本发明提供的交通环境元素视觉感知装置，小目标定位分支网络包括第一特征层和第一输出层，第一特征层只需在已有的共享特征计算与该小目标分支网络的定位任务相关的更深层次的特征即可，减少了小目标定位分支网络的计算开销。
4.本发明提供的交通环境元素视觉感知装置，感知任务分支网络包括第二特征层和第二输出层，第二特征层只需在已有的共享特征计算与感知任务分支网络的预测任务相关的更深层次的特征即可，减少了感知任务分支网络的计算开销。
5.本发明提供的交通环境元素视觉感知方法，可以同时获取除目标对象外的多种交通环境元素的预测结果，对于交通环境图像中占比较小、无法准确识别的目标对象，先获取目标对象在交通环境图像中的定位结果，然后根据定位结果提取原始图像中与定位结果相对应的目标图像，根据目标图像得到目标对象的分类结果，一方面，相较于通过降分辨率后的交通环境图像对图像中占比较小的目标图像进行分类，本发明提供的交通环境元素视觉感知方法得到的目标图像的分类结果更为准确可靠，另一方面，相较于直接根据原始图像进行目标对象的分类，本发明提供的交通环境元素视觉感知方法只根据从原始图像中截取的有效的目标图像进行计算得到目标对象的分类结果，计算量更小，计算效率更高。综上所述，本发明提供的交通环境元素视觉感知方法不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量更快的得到在图像中占比较小的目标图像的分类结果。
6.本发明提供的交通环境元素视觉感知方法，先根据交通环境图像获取用于各小目标定位分支网络和感知任务分支网络的共享特征，再基于共享特征进一步进行计算定位结果和预测结果时，而传统的对多种元素的感知方法中，只是简单的将多种计算方法进行叠加，对每一种元素的感知都需完整计算所有特征，导致计算开销冗余，无法满足实时计算的需求，因此本申请提供的交通环境元素视觉感知方法相较于现有的多元素感知方法计算效率高，可以满足实时计算的需求。
7.本发明提供的交通环境元素视觉感知方法，获取目标对象在交通环境图像中的定位结果时，先根据已有的共享特征计算与特定的定位任务相关的更深层次的特征，然后根据更深层次的特征计算得到定位结果，在共享特征的基础上计算更深层次的特征，减少了计算开销。
8.本发明提供的交通环境元素视觉感知方法，获取交通元素的预测结果时，先根据已有的共享特征计算与特定的预测任务相关的更深层次的特征，然后根据更深层次的特征计算得到预测结果，在共享特征的基础上计算更深层次的特征，减少了计算开销。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中交通环境元素视觉感知装置的一个原理框图；
图2为本发明实施例中多任务网络的一个原理框图；
图3为本发明实施例中小目标定位分支网络的一个原理框图；
图4为本发明实施例中感知任务分支网络的一个原理框图；
图5为本发明实施例中训练多任务网络的一个流程图；
图6-图8为本发明实施例中交通环境元素视觉感知方法的流程图；
图9为本发明实施例中计算机设备示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种交通环境元素视觉感知装置，如图1所示，包括：图像处理模块10、多任务网络20、小目标图像提取模块30、小目标分类网络40；
图像处理模块10用于获取交通环境的原始图像，将原始图像进行降分辨率处理得到交通环境图像。在实际应用中，通过自动驾驶汽车上的视觉传感器捕获交通场景的RGB图像，将RGB图像3个通道的像素值进行归一化处理，映射到[0,1]的区间内，得到原始图像。
多任务网络20用于根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象。在具体实施例中，目标对象可以是物理尺寸较小、在原始图像中占比较小的元素，例如为交通灯、交通标志等，由于可用图像像素有限，在降分辨率后的交通环境图像中对此类尺寸较小的元素进行分类识别较为困难，因此先在交通环境图像中对此类目标图像进行定位，目标对象在交通环境图像中的定位结果以矩形框的形式定位目标对象的边界。交通元素物理尺寸较大，在原始图像中占比也较大，例如可以是障碍物、车道线等，障碍物的分类以标签的形式明确目标属于行人、两轮车、机动车、动物等的哪一类；车道线的检测结果以区域像素的形式从图像中分割出车道所属区域。
小目标图像提取模块30用于根据定位结果提取原始图像中与定位结果相对应的目标图像。在一具体实施例中，从原始图像中提取目标图像时，将目标对象的边界投影至原始图像中，并裁剪该投影区域，得到的包含目标对象的高分辨率图像块为目标图像。
小目标分类网络40用于根据目标图像获取目标对象的分类结果。当目标对象为交通灯时，交通灯的分类结果包括颜色与形状两部分，如绿色圆形；当目标对象为交通标志时，交通标志的分类结果为可直接用于自动驾驶汽车决策的具体语义信息，如限速40。
本发明提供的交通环境元素视觉感知装置，可以通过多任务网络20获取除目标对象外的多种交通环境元素的预测结果，对于交通环境图像中占比较小、无法准确识别的目标对象，先通过多任务网络20获取目标对象在交通环境图像中的定位结果，然后小目标图像提取模块30根据定位结果提取原始图像中与定位结果相对应的目标图像，将目标图像输入小目标分类网络40得到目标对象的分类结果，一方面，相较于通过降分辨率后的交通环境图像对图像中占比较小的目标图像进行分类，本发明提供的交通环境元素视觉感知装置得到的目标图像的分类结果更为准确可靠，另一方面，相较于直接将原始图像输入神经网络中进行目标对象的分类，本发明提供的交通环境元素视觉感知装置只将从原始图像中截取的有效的目标图像输入小目标分类网络40得到目标对象的分类结果，计算量更小，计算效率更高。综上，本发明提供的交通环境元素视觉感知装置不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量更快的得到在图像中占比较小的目标图像的分类结果。
在一可选实施例中，如图2所示，多任务网络20包括：共享特征提取网络21、小目标定位分支网络22、感知任务分支网络23。在一具体实施例中，可以根据实际需求在多任务网络20中添加多个不同任务的小目标定位分支网络22和感知任务分支网络23，例如，在图2中，小目标定位分支网络22包括交通灯感知分支网络和交通标志感知分支网络，感知任务分支网络23包括障碍物感知分支网络和车道线感知分支网络。
共享特征提取网络21用于根据交通环境图像获取共享特征，并将共享特征输入小目标定位分支网络22和感知任务分支网络23。
在一具体实施例中，共享特征提取网络21是一种浅层的卷积神经网络，其组合了少量多种不同数量的卷积层与池化层，可以提取用于所有交通环境元素感知任务所需的丰富的低阶图像共享特征，共享特征为组成目标所需的低阶几何特征，几何特征包括但不限于点、线条、纹理、颜色等。共享特征适用于小目标定位分支网络22和感知任务分支网络23，避免了每个任务分支网络重复提取低阶图像基础特征，能够有效减少网络整体的参数总量，进而减小网络模型的计算复杂度。
在提取特征时，卷积层主要是利用一定尺寸的卷积核对前一层输出特征图进行图像卷积操作，主要的卷积形式包含但不限于普通卷积、可分离深度卷积、空洞卷积、反卷积等，其通用数学表达形式为：
式中f是卷积层中的激活函数；
表示第l层特征图中第i行j列单元值，
表示第l层尺寸为k卷积核中第m行n列单元值，bl表示第l层的偏置值。池化层分为最大池化与平均池化两种，最大池化是取局部特征图单元值的最大，后一个是计算局部特征图单元值的平均。其通用表达式为：
其中，AVE与MAX分别指取一个区域中的平均值与最大值操作。共享特征提取网络21可用但不限于AlexNet、VGGNet、GoogleNet、ResNet、DenseNEt、DarkNet、MobileNet、ShuffleNet等结构。
小目标定位分支网络22用于根据共享特征获取目标对象在交通环境图像中的定位结果。
感知任务分支网络23用于根据共享特征获取交通环境元素的预测结果。
本发明实施例提供的交通环境元素视觉感知装置，多任务网络20包括共享特征提取网络21、小目标定位分支网络22、感知任务分支网络23，通过共享特征提取网络21获取用于各小目标定位分支网络22和感知任务分支网络23的共享特征，各小目标定位分支网络22和感知任务分支网络23在进一步计算定位结果和预测结果时，只需基于该共享特征进一步进行计算即可，而传统的多任务神经网络只是将多个不同任务的神经网络进行简单堆叠，实际执行不同任务时，各神经网络之间无法实现特征共享，每个神经网络都需完整计算所有特征，导致结构臃肿、计算开销冗余，无法满足实时计算的需求，因此本申请提供的交通环境元素视觉感知装置相较于现有的多任务神经网络结构简单、计算效率高，可以满足实时计算的需求。
在一可选实施例中，如图3所示，小目标定位分支网络22包括第一特征层221、第一输出层222。
第一特征层221用于根据共享特征提取第一特征。第一特征层221在原有低阶共享特征的基础上再提取更深层次的图像特征，这些深层次特征是图像的高维语义信息表示，其在不同小目标定位分支网络22上具有明显的差异化，避免不同感知目标间的过度耦合，能捕捉到各个目标间的区别，通过整合更深层次的特征，可预测出具体环境元素目标的定位结果。深层次的图像特征提取及整合可采用卷积层或全连接层的组合实现，其中全连接层的通用表达式为：
式中
表示第l全连接层中第i个节点，W表示全连接层权重，b表示全连接层偏置。
第一输出层222用于根据第一特征输出目标对象在交通环境图像中的定位结果。
本发明提供的交通环境元素视觉感知装置，小目标定位分支网络22包括第一特征层221和第一输出层222，第一特征层221只需在已有的共享特征计算与该小目标分支网络的定位任务相关的更深层次的特征即可，减少了小目标定位分支网络22的计算开销。
在一可选实施例中，如图4所示，感知任务分支网络23包括第一特征层231、第一输出层232；
第一特征层231用于根据共享特征提取第二特征，对第一特征层231的详细描述见上述对第一特征层221的描述。
第一输出层232用于根据第二特征输出交通环境元素的预测结果。
本发明提供的交通环境元素视觉感知装置，感知任务分支网络23包括第一特征层231和第一输出层232，第一特征层231只需在已有的共享特征计算与感知任务分支网络23的预测任务相关的更深层次的特征即可，减少了感知任务分支网络23的计算开销。
在一具体实施例中，小目标分类网络40是一个浅层的卷积神经网络，网络由少量的卷积层与池化层提取特征，并在网络的输出端利用全连接层对目标进行准确分类，由于输入小目标分类网络40的目标图形是根据目标对象的定位结果进行裁剪后的图像，因此小目标分类网络40不需要检测目标对象的边界，只需对目标图像中的目标对象进行识别即可，因此在选用网络模型时，可以灵活使用池化层减少模型参数，且利用少量卷积层提取到的低阶图像特征就可以实现目标的准确分类。小目标分类网络40结构可用但不限于Lenet-5结构。
在一具体实施例中，为了使本发明实施例中所使用的到的卷积神经网络可以更好地实现其各自的功能，在通过本发明实施例提供的交通环境元素视觉感知装置对交通环境元素进行识别、定位前，还需对该装置中用到的网络模型进行训练。本发明实施例中以对多任务网络20的训练过程为例进行说明。
对多任务网络20的训练过程如图5所示，包括：
步骤S1：对交通场景RGB图像进行归一化操作以及降分辨率操作等图像预处理操作。
步骤S2：将预处理图像传递到多任务网络20，获取交通环境元素的预测结果。若处于初始化阶段，参照一定的规则初始化网络参数，规则包括但不限于加载预训练网络参数，按正态分布或随机生成网络参数等；然后利用当前网络参数预测图像中的交通环境元素的分类信息，预测结果的输出形式包括但不限于包含目标的矩形框、目标在图像中的像素级标签、目标的所属类别等。
步骤S3：利用损失(Loss)函数计算网络的预测结果与交通环境图像对应的真实标签值间的损失值。交通环境图像的标签值为通过人工或机器确定的目标在图像中定位边界框或区域以及具体的类别等。
步骤S4：判断损失值是否小于预设最小损失阈值。最小损失阈值可以根据实际需求进行调整。若小于设定的最小损失阈值则认为网络训练完成，终止网络训练过程，否则继续执行步骤S5。
步骤S5：根据计算的损失值、计算损失降低时参数更新方向，并按照一定步长更新模型参数返回步骤S1操作。
由于本发明实施例的多任务网络20中包含多个分支子网络，因此多任务网络20损失函数可以表示为多个分支网络损失之和，其中每个分支网络的损失又包含回归损失与分类损失两项。损失函数是卷积神经网络的核心，损失函数决定模型训练时参数的优化速度与收敛有效性，有效的损失函数可以提高模型参数收敛速度与收敛的准确性。因此，为准确描述目标检测、识别、分割损失，多任务网络20的整体损失函数可由下式表示：
其中N，B，C分别表示分支网络的数量，回归边界框数量以及类别数量。λi表示第i个分支网络损失的权重。GIOUi,j表示第i个分支网络的回归损失项,表示为目标预测边界与目标真实边界的交并比。Ci,k与
分别表示第i个分支网络第k个类别的真值与预测值。
对小目标分类网络40的训练过程与上述对多任务网络20的训练过程一致，在训练小目标分类网络40时，上述损失函数中的N值为1。
实施例2
本发明实施例提供一种交通环境元素视觉感知方法，如图6所示，包括：
步骤S10：获取交通环境的原始图像，并将原始图像进行降分辨率处理得到交通环境图像，详细描述见上述实施例1中对图像处理模块10的描述。
步骤S20：根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象，详细描述见上述实施例1中对多任务网络20的描述。
步骤S30：根据定位结果提取原始图像中与定位结果相对应的目标图像，详细描述见上述实施例1中对小目标图像提取模块30的描述。
步骤S40：根据目标图像获取目标对象的分类结果，详细描述见上述实施例1中对小目标分类网络40的描述。
本发明实施例提供的交通环境元素视觉感知方法，可以同时获取除目标对象外的多种交通环境元素的预测结果，对于交通环境图像中占比较小、无法准确识别的目标对象，先获取目标对象在交通环境图像中的定位结果，然后根据定位结果提取原始图像中与定位结果相对应的目标图像，根据目标图像得到目标对象的分类结果，一方面，相较于通过降分辨率后的交通环境图像对图像中占比较小的目标图像进行分类，本发明提供的交通环境元素视觉感知方法得到的目标图像的分类结果更为准确可靠，另一方面，相较于直接根据原始图像进行目标对象的分类，本发明提供的交通环境元素视觉感知方法只根据从原始图像中截取的有效的目标图像进行计算得到目标对象的分类结果，计算量更小，计算效率更高。综上，本发明提供的交通环境元素视觉感知方法不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量更快的得到在图像中占比较小的目标图像的分类结果。
在一可选实施例中，如图7所示，上述步骤S20具体包括：
步骤S21：根据交通环境图像获取共享特征，详细描述见上述实施例1中对共享特征提取网络21的描述。
步骤S22：根据共享特征获取目标对象在交通环境图像中的定位结果及交通环境元素的预测结果，详细描述见上述实施例1中对小目标定位分支网络22和感知任务分支网络23的描述。
本发明实施例提供的交通环境元素视觉感知方法，先根据交通环境图像获取用于各小目标定位分支网络22和感知任务分支网络23的共享特征，再基于共享特征进一步进行计算定位结果和预测结果时，而传统的对多种元素的感知方法中，只是简单的将多种计算方法进行叠加，对每一种元素的感知都需完整计算所有特征，导致计算开销冗余，无法满足实时计算的需求，因此本申请提供的交通环境元素视觉感知方法相较于现有的多元素感知方法计算效率高，可以满足实时计算的需求。
在一可选实施例中，如图8所示，上述步骤S22中，通过如下步骤获取目标对象在交通环境图像中的定位结果：
步骤S221：根据共享特征提取第一特征，详细描述见上述实施例1中对第一特征层221的描述。
步骤S222：根据第一特征获得目标对象在交通环境图像中的定位结果，详细描述见上述实施例1中对第一输出层222的描述。
本发明实施例提供的交通环境元素视觉感知方法，获取目标对象在交通环境图像中的定位结果时，先根据已有的共享特征计算与特定的定位任务相关的更深层次的特征，然后根据更深层次的特征计算得到定位结果，在共享特征的基础上计算更深层次的特征，减少了计算开销。
在一可选实施例中，如图8所示，上述步骤S22中，通过如下步骤获取交通环境元素的预测结果：
步骤S223：根据共享特征提取第二特征，详细描述见上述实施例1中对第一特征层231的描述。
步骤S224：根据第二特征获得交通环境元素的预测结果，详细描述见上述实施例1中对第一输出层232的描述。
本发明实施例提供的交通环境元素视觉感知方法，获取交通元素的预测结果时，先根据已有的共享特征计算与特定的预测任务相关的更深层次的特征，然后根据更深层次的特征计算得到预测结果，在共享特征的基础上计算更深层次的特征，减少了计算开销。
实施例3
本发明实施例提供一种计算机设备，如图9所示，该计算机设备主要包括一个或多个处理器51以及存储器52，图9中以一个处理器51为例。
该计算机设备还可以包括：输入装置53和输出装置54。
处理器51、存储器52、输入装置53和输出装置54可以通过总线或者其他方式连接，图9中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为图形处理器(GraphicsProcessingUnit，GPU)、其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路
(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列
(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据交通环境元素视觉感知装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至交通环境元素视觉感知装置。输入装置53可接收用户输入的计算请求(或其他数字或字符信息)，以及产生与交通环境元素视觉感知装置有关的键信号输入。输出装置54可包括显示屏等显示设备，用以输出计算结果。
实施例4
本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的交通环境元素视觉感知方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种交通环境元素视觉感知装置，其特征在于，包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；
所述图像处理模块用于获取交通环境的原始图像，将所述原始图像进行降分辨率处理得到交通环境图像；
所述多任务网络用于根据交通环境图像获取目标对象在所述交通环境图像中的定位结果及所述交通环境图像中的交通环境元素的预测结果，所述交通环境元素不包含所述目标对象；
所述小目标图像提取模块用于根据所述定位结果提取原始图像中与所述定位结果相对应的目标图像；
所述小目标分类网络用于根据所述目标图像获取所述目标对象的分类结果。
2.根据权利要求1所述的交通环境元素视觉感知装置，其特征在于，所述多任务网络包括：共享特征提取网络、小目标定位分支网络、感知任务分支网络；
所述共享特征提取网络用于根据交通环境图像获取共享特征，并将所述共享特征输入所述小目标定位分支网络和感知任务分支网络；
所述小目标定位分支网络用于根据所述共享特征获取所述目标对象在所述交通环境图像中的定位结果；
所述感知任务分支网络用于根据所述共享特征获取所述交通环境元素的预测结果。
3.根据权利要求2所述的交通环境元素视觉感知装置，其特征在于，所述小目标定位分支网络包括第一特征层、第一输出层；
所述第一特征层用于根据所述共享特征提取第一特征；
所述第一输出层用于根据所述第一特征输出所述目标对象在所述交通环境图像中的定位结果。
4.根据权利要求2所述的交通环境元素视觉感知装置，其特征在于，所述感知任务分支网络包括第二特征层、第二输出层；
所述第二特征层用于根据所述共享特征提取第二特征；
所述第二输出层用于根据所述第二特征输出所述交通环境元素的预测结果。
5.一种交通环境元素视觉感知方法，其特征在于，包括：
获取交通环境的原始图像，并将所述原始图像进行降分辨率处理得到交通环境图像；
根据所述交通环境图像获取目标对象在所述交通环境图像中的定位结果及所述交通环境图像中的交通环境元素的预测结果，所述交通环境元素不包含所述目标对象；
根据所述定位结果提取所述原始图像中与所述定位结果相对应的目标图像；
根据所述目标图像获取所述目标对象的分类结果。
6.根据权利要求5所述的交通环境元素视觉感知方法，其特征在于，所述根据所述交通环境图像获取目标对象在所述交通环境图像中的定位结果及所述交通环境图像中的交通环境元素的预测结果的步骤，包括：
根据交通环境图像获取共享特征；
根据所述共享特征获取所述目标对象在所述交通环境图像中的定位结果及所述交通环境元素的预测结果。
7.根据权利要求6所述的交通环境元素视觉感知方法，其特征在于，通过如下步骤获取所述目标对象在所述交通环境图像中的定位结果：
根据所述共享特征提取第一特征；
根据所述第一特征获得所述目标对象在所述交通环境图像中的定位结果。
8.根据权利要求6所述的交通环境元素视觉感知方法，其特征在于，通过如下步骤获取交通环境元素的预测结果：
根据所述共享特征提取第二特征；
根据所述第二特征获得所述交通环境元素的预测结果。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，从而执行如权利要求5-8中任一项所述的交通环境元素视觉感知方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求5-8中任一项所述的交通环境元素视觉感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347148.1A CN111160206A (zh) | 2019-12-24 | 2019-12-24 | 一种交通环境元素视觉感知方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347148.1A CN111160206A (zh) | 2019-12-24 | 2019-12-24 | 一种交通环境元素视觉感知方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111160206A true CN111160206A (zh) | 2020-05-15 |
Family
ID=70558131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911347148.1A Pending CN111160206A (zh) | 2019-12-24 | 2019-12-24 | 一种交通环境元素视觉感知方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160206A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818853A (zh) * | 2021-02-01 | 2021-05-18 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
| WO2021139302A1 (zh) * | 2020-07-17 | 2021-07-15 | 平安科技（深圳）有限公司 | 图像交通信号灯检测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791710A (zh) * | 2017-02-10 | 2017-05-31 | 北京地平线信息技术有限公司 | 目标检测方法、装置和电子设备 |
| CN106886755A (zh) * | 2017-01-19 | 2017-06-23 | 北京航空航天大学 | 一种基于交通标志识别的交叉口车辆违章检测系统 |
| CN108520247A (zh) * | 2018-04-16 | 2018-09-11 | 腾讯科技（深圳）有限公司 | 对图像中的对象节点的识别方法、装置、终端及可读介质 |
| CN108985269A (zh) * | 2018-08-16 | 2018-12-11 | 东南大学 | 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型 |
| CN109934192A (zh) * | 2019-03-20 | 2019-06-25 | 京东方科技集团股份有限公司 | 目标图像定位方法及装置、视线追踪设备 |
-
2019
- 2019-12-24 CN CN201911347148.1A patent/CN111160206A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886755A (zh) * | 2017-01-19 | 2017-06-23 | 北京航空航天大学 | 一种基于交通标志识别的交叉口车辆违章检测系统 |
| CN106791710A (zh) * | 2017-02-10 | 2017-05-31 | 北京地平线信息技术有限公司 | 目标检测方法、装置和电子设备 |
| CN108520247A (zh) * | 2018-04-16 | 2018-09-11 | 腾讯科技（深圳）有限公司 | 对图像中的对象节点的识别方法、装置、终端及可读介质 |
| CN108985269A (zh) * | 2018-08-16 | 2018-12-11 | 东南大学 | 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型 |
| CN109934192A (zh) * | 2019-03-20 | 2019-06-25 | 京东方科技集团股份有限公司 | 目标图像定位方法及装置、视线追踪设备 |
Non-Patent Citations (1)
| Title |
|---|
| 曹前: "智能交通中的目标检测技术研究" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021139302A1 (zh) * | 2020-07-17 | 2021-07-15 | 平安科技（深圳）有限公司 | 图像交通信号灯检测方法、装置、电子设备及存储介质 |
| CN112818853A (zh) * | 2021-02-01 | 2021-05-18 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
| CN112818853B (zh) * | 2021-02-01 | 2022-07-19 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN110298262B (zh) | 物体识别方法及装置 | |
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| WO2019223586A1 (zh) | 车位使用状况的检测方法、装置、电子设备及存储介质 | |
| CN111401517B (zh) | 一种感知网络结构搜索方法及其装置 | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN111899515B (zh) | 一种基于智慧道路边缘计算网关的车辆检测系统 | |
| CN113591872A (zh) | 一种数据处理系统、物体检测方法及其装置 | |
| CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN113808098A (zh) | 道路病害识别方法、装置、电子设备及可读存储介质 | |
| CN114418895A (zh) | 驾驶辅助方法及装置、车载设备及存储介质 | |
| CN113033321A (zh) | 目标行人属性识别模型的训练方法及行人属性识别方法 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN117036895B (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 | |
| CN112861917A (zh) | 基于图像属性学习的弱监督目标检测方法 | |
| DE102021203020A1 (de) | Generative-adversarial-network-modelle zur detektion kleiner strassenobjekte | |
| CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
| CN111160206A (zh) | 一种交通环境元素视觉感知方法及装置 | |
| CN115240168A (zh) | 感知结果获取方法、装置、计算机设备、存储介质 | |
| CN114419603A (zh) | 一种自动驾驶车辆控制方法、系统和自动驾驶车辆 | |
| CN115743150A (zh) | 一种可解释的自动驾驶决策系统及方法 | |
| CN115731530A (zh) | 一种模型训练方法及其装置 | |
| CN113269150A (zh) | 基于深度学习的车辆多属性识别的系统及方法 | |
| CN112633134A (zh) | 基于图像识别的车内人脸识别方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |
|
| RJ01 | Rejection of invention patent application after publication |