CN117893990A - 道路标志检测方法、装置和计算机设备 - Google Patents
道路标志检测方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117893990A CN117893990A CN202410304718.3A CN202410304718A CN117893990A CN 117893990 A CN117893990 A CN 117893990A CN 202410304718 A CN202410304718 A CN 202410304718A CN 117893990 A CN117893990 A CN 117893990A
- Authority
- CN
- China
- Prior art keywords
- layer
- sampling
- network
- feature
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 160
- 238000010586 diagram Methods 0.000 claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims description 326
- 230000004927 fusion Effects 0.000 claims description 86
- 238000012545 processing Methods 0.000 claims description 78
- 238000004590 computer program Methods 0.000 claims description 37
- 230000007246 mechanism Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种道路标志检测方法、装置和计算机设备。所述方法包括:获取包含道路标志的待检测图像;通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果,能够提高识别交通标志的准确性。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种道路标志检测方法、装置和计算机设备。
背景技术
智能驾驶是指汽车通过搭载传感器、控制器、执行器和通讯模块等设备实现协助驾驶员对车辆的操控,甚至完全代替驾驶员实现无人驾驶的功能。准确识别道路上的交通标志,是实现智能驾驶的过程中重要的环节。
传统技术中,通常利用深度学习的检测算法来检测道路上的交通标志。但是,在道路上的交通标志处于复杂环境的情况下,例如,在雨、雾或阳光直射等环境中,或者拍摄视角存在遮挡,再或者交通标志由于长期暴露在室外引起的褪色等情况时,传统技术中的检测算法存在交通标志识别不准确的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种道路标志检测方法、装置和计算机设备,能够提高识别交通标志的准确性。
第一方面,本申请提供了一种道路标志检测方法,所述方法包括:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
在其中一个实施例中,所述特征提取网络包括主干网络和包含扩张率连续的接受域模块的颈部网络;所述主干网络包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同;
相应的,所述通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图,包括:
将所述待检测图像输入至所述主干网络,得到所述主干网络中各基础特征层输出的基础特征图;
将各基础特征图输入至所述颈部网络,得到多个不同分辨率的目标特征图。
在其中一个实施例中,所述颈部网络还包括上采样网络和下采样网络;
其中,所述上采样网络包括多个首尾相连的上采样层,以及所述下采样网络包括多个首尾相连的下采样层;
所述主干网络中的基础特征层与所述上采样网络中的上采样层一一对应,所述上采样网络中的上采样层和所述下采样网络中的下采样层一一对应,所述接受域模块位于所述上采样网络中的末尾上采样层与所述下采样网络中的首个下采样层之间。
在其中一个实施例中,所述将各基础特征图输入至所述颈部网络,得到多个不同分辨率的目标特征图,包括:
将各基础特征图输入至所述上采样网络中对应的上采样层,得到所述上采样网络中上采样层基于上采样输入特征输出的上采样特征图;其中,所述上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;所述上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图;
将所述上采样网络中上采样层输出的上采样特征图输入至所述下采样网络中对应的下采样层,得到所述下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图;其中,所述下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经所述接受域模块处理得到的扩张特征图;所述下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
在其中一个实施例中,所述首个上采样层输出的上采样特征图是对所述末尾基础特征层输出的基础特征图进行卷积处理得到的;
所述上采样网络中末尾上采样层输出的上采样特征图是将所述末尾上采样层的上采样输入特征中基础特征图,与所述末尾上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图进行拼接得到的;
所述上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的;
所述第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的;
所述初始融合特征图是将该上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中基础特征图进行拼接得到的。
在其中一个实施例中,所述首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,所述第二融合特征图是基于注意力机制模块对所述扩张特征图进行处理得到的;
所述下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;
所述第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;
所述拼接特征图是对该下采样层的下采样输入特征中上采样特征图,与该下采样层的下采样输入特征中目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
在其中一个实施例中,所述接受域模块包括融合卷积层、激活函数层和多个卷积扩张层;其中,所述多个卷积扩张层的扩张率连续。
在其中一个实施例中,所述方法还包括:
将所述末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图;
将各卷积扩张层的输出特征图输入至所述融合卷积层进行融合处理,得到第四融合特征图;
将所述第四融合特征图和所述末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至所述激活函数层,得到所述扩张特征图。
第二方面,本申请还提供了一种道路标志检测装置,所述装置包括:
获取模块,用于获取包含道路标志的待检测图像;
特征提取模块,用于通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
检测模块,用于通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
确定模块,用于根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
第五方面,本申请还提供了一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
上述道路标志检测方法、装置和计算机设备,将获取的包含道路标志的待检测图像输入至特征提取网络中,该特征提取网络包括扩张率连续的接受域模块;通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;其中,扩张率连续的接受域模块用于扩展特征图的感受野,即使待检测图像是在距离道路标志较远的地方拍摄的,依然能够准确地提取待检测图像的图像特征,进一步使得得到的多个不同分辨率的目标特征图具有更加丰富的图像特征;在通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测时,使得得到的各目标特征图对应的道路标志检测结果更加准确,进而根据各目标特征图对应的道路标志检测结果,确定的待检测图像的道路标志检测结果也更为准确。
附图说明
图1为一个实施例中道路标志检测方法的应用环境图;
图2为一个实施例中道路标志检测方法的流程示意图;
图3为一个实施例中获取不同分辨率的目标特征图的流程示意图;
图4为一个实施例中主干网络的结构示意图;
图5为一个实施例中颈部网络的结构示意图;
图6为一个实施例中ResNet对待检测图像进行处理的流程示意图;
图7为一个实施例中获取目标特征图的示意图;
图8为一个实施例中获取目标特征图的流程示意图;
图9为一个实施例中接受域模块的结构示意图;
图10为一个实施例中获取扩张特征图的流程示意图;
图11为一个实施例中上采样网络中各上采样层的结构示意图;
图12为一个实施例中下采样网络中各下采样层的结构示意图;
图13为一个实施例中用于检测道路标志的网络检测模型结构示意图;
图14为另一个实施例中道路标志检测方法的流程示意图;
图15为一个实施例中道路标志检测装置的结构框图;
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的道路标志检测方法,可以应用于车辆自动驾驶过程中,车辆自动识别道路标志的应用环境中。可以理解的是,在自动驾驶过程中,为了保证驾驶人员的安全,车辆需要尽早识别出交通标志,例如,车辆可以利用车载相机拍摄包含道路标志的待检测图像,若此时道路标志在整个图像上的占比较小,且特征比较模糊,在此种远距离且道路标志物体较小的情况下,存在分辨率较小、所携带的信息量少且易受到背景信息干扰等问题。由此本申请实施例提供了一种道路标志检测方法,用于解决上述问题,以提高远距离且道路标志物体较小的情况下,检测道路标志的准确性。
该方法可以由服务器来执行,也可以由算力比较强大的车载终端来执行,或者还可以由车载终端和服务器交互来实现。例如,图1是本申请实施例中提供的一种道路标志检测方法的应用环境图。其中,车载终端102可以通过网络向服务器104发送待检测图像,数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104中可集成有包括扩张率连续的接受域模块的特征提取网络和检测头网络,进而服务器104可以通过特征提取网络和检测头网络,来对待检测图像进行道路标志检测,最终得到待检测图像对应的道路标志检测结果。可选的,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种道路标志检测方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S201,获取包含道路标志的待检测图像。
车辆在完成自动驾驶的过程中,识别道路标志是必要的环节,由此可以利用车载终端控制车辆的车载相机自动采集包含道路标志的待检测图像,并将待检测图像传输至服务器。其中,道路标志包括但不限于道路指示牌、驾驶要求和驾驶提示信息。
S202,通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图。
服务器内部集成了特征提取网络和检测头网络,在服务器获取到待检测图像后,将待检测图像输入至包括扩张率连续的接受域模块的特征提取网络中,通过包括扩张率连续的接受域模块(Receptive Field Block,RFB)的特征提取网络对待检测图像进行特征提取,以得到多个不同分辨率的目标特征图,其中,目标特征图为特征提取网络对待检测图像进行特征提取得到的不同分辨率的特征图。
可以理解的是,扩张率连续的接受域模块可以提升特征提取网络对小目标进行特征提取的能力,例如,在车载相机拍摄的道路标志较小的情况下,道路标志的特征较难提取,由此可以利用扩张率连续的接受域模块来提升特征提取网络对小目标进行特征提取的能力,进而能够在道路标志较小的情况下,提取到更多的图像特征。
S203,通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果。
可选的,在得到多个不同分辨率的目标特征图后,将多个不同分辨率的目标特征图输入至检测头网络中,通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果。示例性的,检测头网络可以是包括分类网络和回归检测网络,用于根据目标特征图进行道路标志检测,以输出各目标特征图对应的道路标志检测结果。
S204,根据各目标特征图对应的道路标志检测结果,确定待检测图像的道路标志检测结果。
可选的,对各目标特征图对应的道路标志检测结果进行融合,综合不同分辨率的目标特征图对应的道路标志检测结果,来确定待检测图像最终的道路标志检测结果,可以兼顾更多的图像特征,进而使得确定的待检测图像的道路标志检测结果更加准确。
本申请实施例中,将获取的包含道路标志的待检测图像输入至特征提取网络中,该特征提取网络包括扩张率连续的接受域模块;通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;其中,扩张率连续的接受域模块用于扩展特征图的感受野,即使待检测图像是在距离道路标志较远的情况下拍摄的,依然能够准确地提取待检测图像的图像特征,进一步使得得到的多个不同分辨率的目标特征图具有更加丰富的图像特征;在通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测时,使得得到的各目标特征图对应的道路标志检测结果更加准确,进而根据各目标特征图对应的道路标志检测结果,确定的待检测图像的道路标志检测结果也更为准确。
在一些可选的实现方式中,特征提取网络可以包括主干网络和包含扩张率连续的接受域模块的颈部网络;其中,主干网络可以包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同。在此情况下,多个不同分辨率的目标特征图可通过以下方式获取:
参见图3,图3提供了一种获取不同分辨率的目标特征图的流程示意图,具体包括以下步骤:
S301,将待检测图像输入至主干网络,得到主干网络中各基础特征层输出的基础特征图。
示例性的,主干网络可以包括多个基础特征层,以主干网络包括四个基础特征层,且以待检测图像的大小为640(高)×640(宽)×3(通道数)的图像为例,进行介绍。可选的,每一基础特征层均可以包括一个或多个卷积层,还可以包括一个跨级部分(Cross StagePartial,CSP);进一步的,不同基础特征层中所包含的卷积层的卷积核不同。
参见图4,图4提供了一种主干网络的结构示意图,将待检测图像输入至主干网络中,主干网络中的Focus层首先对原始的640×640×3的图像进行切片操作,变成320×320×12的特征图,再经过拼接和卷积操作,最终变成320×320×64的特征图。然后将320×320×64的特征图输入至主干网络中的基础特征层,各基础特征层对输入的特征图进行特征提取,进而输出基础特征图。例如输出160×160×128的基础特征图、80×80×256的基础特征图、40×40×512的基础特征图和20×20×1024的基础特征图。
可以理解的是,基础特征层中的卷积(Convolutional,Conv)层用于提取输入特征图的空间信息,它通过卷积操作对输入特征图进行滤波,进而提取特征图的图像特征;卷积层由一系列卷积核组成,每个卷积核负责检测输入的特征图的某种特定特征。基础特征层中的跨级部分用于将卷积层向其输入的特征图分成两部分,经过不同的处理后再进行整合,以促进信息的流动。
末尾基础特征层中还可以包括一个空间金字塔池化(Spatial Pyramid Pooling,SPP)层,用于将多个不同分辨率的特征图进行融合,得到更多有效的特征信息。另外,加入空间金字塔池化层还可以有效缓解由输入的每张图片尺寸不一致而导致检测速度下降的问题。
本申请实施例考虑到远距离道路标志小物体在深层的网络层中自身的特征信息容易丢失,由此将主干网络设置为多尺度基础特征层。进一步的,在多尺度基础特征层中引入160×160尺度的基础特征层,用以保留道路标志更多的位置信息和浅层信息,以提高远距离道路标志的检测结果准确性。
S302,将各基础特征图输入至颈部网络,得到多个不同分辨率的目标特征图。
进一步地,将各基础特征图输入至颈部网络中,颈部网络对基础特征图继续进行特征提取,得到多个不同分辨率的目标特征图。
本申请实施例中,特征提取网络通过设置主干网络和颈部网络,并且主干网络设置多个基础特征层,可以提取到更多的待检测图像的图像特征,也即得到具有更多图像特征的目标特征图,便于后续进行道路标志检测时,提高道路标志检测结果的准确性。
在一些可选的实施方式中,参见图5,图5提供了一种颈部网络的结构示意图,图5示出了颈部网络还包括上采样网络和下采样网络,其中,上采样网络包括多个首尾相连的上采样层,以及下采样网络包括多个首尾相连的下采样层;主干网络中的基础特征层与上采样网络中的上采样层一一对应,上采样网络中的上采样层和下采样网络中的下采样层一一对应,接受域模块位于上采样网络中的末尾上采样层与下采样网络中的首个下采样层之间。
可以理解的是,主干网络中的基础特征层与上采样网络中的上采样层一一对应,可以理解为主干网络中的基础特征层输出的基础特征图,输入至一一对应的上采样层中;上采样网络中的上采样层和下采样网络中的下采样层一一对应,可以理解为,各上采样层输出的上采样特征图,输入至一一对应的下采样层中。
示例性的,颈部网络结构可以设置为特征金字塔结构(Feature PyramidNetworks,FPN),FPN是一个利用深度卷积神经网络中固有的多尺度特征图,通过加入侧向连接和上采样,来以极小的附加计算量构建不同尺度的具有高级语义信息的特征金字塔的网络结构。对于图像检测模型而言,FPN结构并不是模型中独立的一个模块,而是作为原始骨干网络的附加项,融合在卷积神经网络之中。FPN结构可分为由下至上的通路(Bottom-uppathway),以及由上至下的通路Top-down pathway和横向连接(lateral connections)两条主线。
Bottom-up pathway等价于标准残差网络(Residual Neural Network,ResNet),参见表1,表1为本申请实施例提供的一种ResNet的结构处理待检测图像的原理流程;参见图6,图6为本申请实施例的一种ResNet对待检测图像进行处理的流程示意图。假设ResNet18网络的原始输入特征图大小为(224×224),随后经由步幅stride=2的卷积层或池化层,将特征图大小逐步缩放至(112×112)、(56×56)、(28×28)、(14×14)和(7×7),此时的特征图根据分辨率由大到小依次排开,就形成了一个特征金字塔的结构。此时可将这每个网络层的输出按顺序标记为{C1,C2,C3,C4,C5}。
表1:
Top-down pathway和lateral connections可以分为“由上至下的通路”以及“侧向连接”两部分,也就是FPN结构图右侧的结构。对特征图处理的规则一为:通过侧向连接取左侧Bottom-up pathway的顶层输出C5(size=7×7),经由1×1的卷积调整通道数后,所得的结果即为Top-down pathway和lateral connections结构的顶层,可标记为M5(size=7×7)。对特征图处理的规则二为:通过侧向连接取左侧的输出C4(size=14×14),并将所得的M5通过最近邻值插值法进行2倍上采样(size=14×14),再将C4与上采样的结果进行加和,所得结果可标记为M4(size=14×14)。以此类推,后续还可获得M3(size=28×28)、M2(size=56×56)。
参见图7,图7提供了一种获取目标特征图的示意图,上述步骤所获得的结果可按顺序标记为{M2,M3,M4,M5}。由于上采样过程中产生的混叠效应会对后续道路标志检测造成影响,由此需要对所有经由上采样得到的上采样特征图进行一次3x3的卷积,来消除混叠效应造成的影响并获得最终的输出结果,输出结果可标记为{P2,P3,P4,P5}。由于M5并不是由上采样所得,故只需对{M2,M3,M4}做卷积即可。
本申请实施例提供了上采样网络和下采样网络,上采样网络用于增加特征图的空间分辨率,即增大特征图的宽度和高度。以便于还原待检测图像的细节和边缘信息,提高网络对小物体或细节的感知能力;上采样可以通过插值等操作实现。下采样网络通常用于降低特征图的空间分辨率,即减小特征图的宽度和高度,以便于提取更高级别的特征,同时减少计算复杂性;下采样可以通过池化层(例如最大池化或平均池化)来实现。
进一步地,在图5的基础上,参见图8,图8提供了一种获取目标特征图的流程示意图,具体包括以下步骤:
S801,将各基础特征图输入至上采样网络中对应的上采样层,得到上采样网络中上采样层基于上采样输入特征输出的上采样特征图。
可选的,上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图。
S802,将上采样网络中上采样层输出的上采样特征图输入至下采样网络中对应的下采样层,得到下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图。
可选的,下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经接受域模块处理得到的扩张特征图;下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
示例性的,参见图9,图9提供了一种接受域模块的结构示意图,该接受域模块可以包括融合卷积层、激活函数层和多个卷积扩张层;其中,激活函数可以为Relu函数;多个卷积扩张层的扩张率连续,例如可以设置4个卷积扩张层,各扩张率分别为1、2、3和4;设置扩张率连续的扩张卷积层,可以确保网络提取到连续的特征信息,解决局部信息提取不连续的问题;并且,各卷积扩张层在第一层之后额外增加了一层大小为1×1的卷积核来扩展网络的深度,增强网络的稳定性与学习能力;最后将不同感受野的特征图进行拼接,有效的提高了特征提取网络对远距离道路标志物体的检测效果。
本申请实施例中,将基础特征图经过上采样处理得到的上采样特征图输入至对应的下采样网络中,并利用下采样网络对输入的上采样特征图和基础特征图进行特征提取,得到不同分辨率的目标特征图,使得目标特征图具有更加丰富的图像特征;并且引入了接受域模块,可以提高特征提取网络对远距离道路标志物体的检测效果,进而便于提高待检测图像中道路标志识别的准确率。
在图9的基础上,参见图10,图10提供了一种获取扩张特征图的流程示意图,具体包括以下步骤:
S1001,将末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图。
本申请实施例以四个卷积扩张层为例进行说明。将末尾上采样层输出的上采样特征图分别输入至各卷积扩张层中,得到各卷积扩张层的输出特征图。
S1002,将各卷积扩张层的输出特征图输入至融合卷积层进行融合处理,得到第四融合特征图。
可选的,融合卷积层可以包括连接层和1×1的卷积层,将各卷积扩张层的输出特征图分别输入至融合卷积层进行融合处理,得到第四融合特征图。
S1003,将第四融合特征图和末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至激活函数层,得到扩张特征图。
首先对末尾上采样层输出的上采样特征图经残差处理得到残差特征图,进而将残差特征图和第四融合特征图进行加和处理,将加和后的特征图输入至激活函数层,进而得到扩张特征图。
本申请实施例中,通过设置扩张率连续的扩张卷积层,可以确保网络提取到连续的特征信息,解决局部信息提取不连续的问题;并且,各卷积扩张层在第一层之后额外增加了一层大小为1×1的卷积核来扩展网络的深度,增强网络的稳定性与学习能力;最后将不同感受野的特征图进行拼接,有效的提高了特征提取网络对远距离道路标志物体的检测效果。
更进一步地,参见图11,图11提供了一种上采样网络中各上采样层的结构示意图,首个上采样层包括卷积层;末尾上采样层包括上采样层和连接层;上采样网络中其他任一上采样层包括首尾相连的上采样(Upsample)层、连接(concat)层、注意力机制模块(Convolutional Block Attention Module,CBAM)、跨级部分和卷积层。跨级部分用于改善图像检测网络的信息流动,计算量少,能兼顾检测精度的同时,降低内存成本,以提高检测网络性能和训练速度。
下面结合图11和图9对上述图9中各上采样层输出的上采样特征图的获取方式进行介绍。
首个上采样层输出的上采样特征图是对末尾基础特征层输出的基础特征图进行卷积处理得到的。上采样网络中末尾上采样层输出的上采样特征图是将末尾上采样层的上采样输入特征中的基础特征图,与末尾上采样层的上采样输入特征中的上采样特征图经上采样处理得到的中间特征图进行拼接得到的。上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的。第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的。初始融合特征图是将该上采样层的上采样输入特征中的上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中的基础特征图进行拼接得到的。
相应的,参见图12,图12提供了一种下采样网络中各下采样层的结构示意图,首个下采样层包括注意力机制模块和跨级部分;下采样网络中其他任一下采样层包括首尾相连的卷积层、连接层、注意力机制模块和跨级部分。下面结合图12和图9对上述图9中各下采样层输出的目标特征图的获取方式进行介绍。
首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,第二融合特征图是基于注意力机制模块对扩张特征图进行处理得到的;下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;拼接特征图是对该下采样层的下采样输入特征中的上采样特征图,与该下采样层的下采样输入特征中的目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
本申请实施例中,在上采样层中和下采样层中引入注意力机制模块,注意力机制模块结合了通道注意力机制和空间注意力机制,来实现抑制因图像背景复杂对检测结果造成的影响,以提高待检测图像中道路标志检测结果的准确性。
在一些可选的实施例中,参见图13,图13提供了一种用于检测道路标志的网络检测模型结构示意图,下面结合图13所示的检测道路标志的网络模型示意图介绍另一种道路标志检测方法,具体参见图14,图14提供了另一种道路标志检测方法的流程示意图,具体包括以下步骤:
S1401,利用样本待检测图像数据训练网络检测模型。
首先,可以在车顶安装相机,用于采集包含道路标志的样本待检测图像,假设相机的安装高度为h,可以设置相机的镜头垂直于O-XZ平面,且水平于O-YZ平面。
接着,利用张正友标定法对相机的内参进行标定。对于图像畸变的处理,可以采用硬纸材质作为平面载体,通过Matlab的角点提取技术,对每张图像中的角点进行定位,每张标定板可通过世界坐标与像素坐标的关系,求解二者间的单应性矩阵,进一步求解出相机的畸变系数,以消除由于相机成像非理想而导致的图像失真问题。
进而,利用相机采集道路标志图片,并对图片中每个视觉目标进行类别和位置信息框的标注,从而构建样本待检测图像数据训练集。
最后,利用样本待检测图像数据训练集对初始网络检测模型进行训练,不断调整网络权重,达到预期检测效果,得到最终的网络检测模型。
S1402,获取包含道路标志的待检测图像。
S1403,将待检测图像输入至经训练的网络检测模型中的主干网络,得到主干网络中各基础特征层输出的基础特征图。
S1404,将各基础特征图输入至经训练的网络检测模型中的上采样网络中对应的上采样层,得到上采样网络中上采样层基于上采样输入特征输出的上采样特征图。
S1405,将上采样网络中上采样层输出的上采样特征图输入至经训练的网络检测模型中的下采样网络中对应的下采样层,得到下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图。
S1406,通过经训练的网络检测模型中的检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果。
S1407,根据各目标特征图对应的道路标志检测结果,确定待检测图像的道路标志检测结果。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的道路标志检测方法的道路标志检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个道路标志检测装置实施例中的具体限定可以参见上文中对于道路标志检测方法的限定,在此不再赘述。
在一个实施例中,如图15所示,提供了一种道路标志检测装置,包括:
获取模块10,用于获取包含道路标志的待检测图像;
特征提取模块20,用于通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
检测模块30,用于通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
确定模块40,用于根据各目标特征图对应的道路标志检测结果,确定待检测图像的道路标志检测结果。
上述道路标志检测装置,将获取的包含道路标志的待检测图像输入至特征提取网络中,该特征提取网络包括扩张率连续的接受域模块;通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;其中,扩张率连续的接受域模块用于扩展特征图的感受野,即使待检测图像是在距离道路标志较远的情况下拍摄的,依然能够准确地提取待检测图像的图像特征,进一步使得得到的多个不同分辨率的目标特征图具有更加丰富的图像特征;在通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测时,使得得到的各目标特征图对应的道路标志检测结果更加准确,进而根据各目标特征图对应的道路标志检测结果,确定的待检测图像的道路标志检测结果也更为准确。
在一个实施例中,特征提取网络包括主干网络和包含扩张率连续的接受域模块的颈部网络;主干网络包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同;特征提取模块20具体包括:
第一检测单元,用于将待检测图像输入至主干网络,得到主干网络中各基础特征层输出的基础特征图;
第二检测单元,用于将各基础特征图输入至颈部网络,得到多个不同分辨率的目标特征图。
在一个实施例中,颈部网络还包括上采样网络和下采样网络;其中,上采样网络包括多个首尾相连的上采样层,以及下采样网络包括多个首尾相连的下采样层;主干网络中的基础特征层与上采样网络中的上采样层一一对应,上采样网络中的上采样层和下采样网络中的下采样层一一对应,接受域模块位于上采样网络中的末尾上采样层与下采样网络中的首个下采样层之间。
在一个实施例中,第二检测单元具体包括:
第一检测子单元,用于将各基础特征图输入至上采样网络中对应的上采样层,得到上采样网络中上采样层基于上采样输入特征输出的上采样特征图;其中,上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图;
第一检测子单元,用于将上采样网络中上采样层输出的上采样特征图输入至下采样网络中对应的下采样层,得到下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图;其中,下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经接受域模块处理得到的扩张特征图;下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
在一个实施例中,首个上采样层输出的上采样特征图是对末尾基础特征层输出的基础特征图进行卷积处理得到的;上采样网络中末尾上采样层输出的上采样特征图是将末尾上采样层的上采样输入特征中基础特征图,与末尾上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图进行拼接得到的;上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的;第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的;初始融合特征图是将该上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中基础特征图进行拼接得到的。
首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,第二融合特征图是基于注意力机制模块对扩张特征图进行处理得到的;下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;拼接特征图是对该下采样层的下采样输入特征中上采样特征图,与该下采样层的下采样输入特征中目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
在一个实施例中,接受域模块包括融合卷积层、激活函数层和多个卷积扩张层;其中,多个卷积扩张层的扩张率连续。
在一个实施例中,第一检测子单元还用于:
将末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图;将各卷积扩张层的输出特征图输入至融合卷积层进行融合处理,得到第四融合特征图;将第四融合特征图和末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至激活函数层,得到扩张特征图。
上述道路标志检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待检测图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种道路标志检测方法。
本领域技术人员可以理解,图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定待检测图像的道路标志检测结果。
在一个实施例中,特征提取网络包括主干网络和包含扩张率连续的接受域模块的颈部网络;主干网络包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同;处理器执行计算机程序时还实现以下步骤:
将待检测图像输入至主干网络,得到主干网络中各基础特征层输出的基础特征图;将各基础特征图输入至颈部网络,得到多个不同分辨率的目标特征图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
颈部网络还包括上采样网络和下采样网络,其中,上采样网络包括多个首尾相连的上采样层,以及下采样网络包括多个首尾相连的下采样层;主干网络中的基础特征层与上采样网络中的上采样层一一对应,上采样网络中的上采样层和下采样网络中的下采样层一一对应,接受域模块位于上采样网络中的末尾上采样层与下采样网络中的首个下采样层之间。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将各基础特征图输入至上采样网络中对应的上采样层,得到上采样网络中上采样层基于上采样输入特征输出的上采样特征图;其中,上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图;将上采样网络中上采样层输出的上采样特征图输入至下采样网络中对应的下采样层,得到下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图;其中,下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经接受域模块处理得到的扩张特征图;下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
首个上采样层输出的上采样特征图是对末尾基础特征层输出的基础特征图进行卷积处理得到的;上采样网络中末尾上采样层输出的上采样特征图是将末尾上采样层的上采样输入特征中基础特征图,与末尾上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图进行拼接得到的;上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的;第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的;初始融合特征图是将该上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中基础特征图进行拼接得到的。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,第二融合特征图是基于注意力机制模块对扩张特征图进行处理得到的;下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;拼接特征图是对该下采样层的下采样输入特征中上采样特征图,与该下采样层的下采样输入特征中目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
接受域模块包括融合卷积层、激活函数层和多个卷积扩张层;其中,多个卷积扩张层的扩张率连续。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图;将各卷积扩张层的输出特征图输入至融合卷积层进行融合处理,得到第四融合特征图;将第四融合特征图和末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至激活函数层,得到扩张特征图。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定待检测图像的道路标志检测结果。
在一个实施例中,特征提取网络包括主干网络和包含扩张率连续的接受域模块的颈部网络;主干网络包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同;计算机程序被处理器执行时还实现以下步骤:
将待检测图像输入至主干网络,得到主干网络中各基础特征层输出的基础特征图;将各基础特征图输入至颈部网络,得到多个不同分辨率的目标特征图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
颈部网络还包括上采样网络和下采样网络,其中,上采样网络包括多个首尾相连的上采样层,以及下采样网络包括多个首尾相连的下采样层;主干网络中的基础特征层与上采样网络中的上采样层一一对应,上采样网络中的上采样层和下采样网络中的下采样层一一对应,接受域模块位于上采样网络中的末尾上采样层与下采样网络中的首个下采样层之间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各基础特征图输入至上采样网络中对应的上采样层,得到上采样网络中上采样层基于上采样输入特征输出的上采样特征图;其中,上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图;将上采样网络中上采样层输出的上采样特征图输入至下采样网络中对应的下采样层,得到下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图;其中,下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经接受域模块处理得到的扩张特征图;下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
首个上采样层输出的上采样特征图是对末尾基础特征层输出的基础特征图进行卷积处理得到的;上采样网络中末尾上采样层输出的上采样特征图是将末尾上采样层的上采样输入特征中基础特征图,与末尾上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图进行拼接得到的;上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的;第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的;初始融合特征图是将该上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中基础特征图进行拼接得到的。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,第二融合特征图是基于注意力机制模块对扩张特征图进行处理得到的;下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;拼接特征图是对该下采样层的下采样输入特征中上采样特征图,与该下采样层的下采样输入特征中目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
接受域模块包括融合卷积层、激活函数层和多个卷积扩张层;其中,多个卷积扩张层的扩张率连续。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图;将各卷积扩张层的输出特征图输入至融合卷积层进行融合处理,得到第四融合特征图;将第四融合特征图和末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至激活函数层,得到扩张特征图。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定待检测图像的道路标志检测结果。
在一个实施例中,特征提取网络包括主干网络和包含扩张率连续的接受域模块的颈部网络;主干网络包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同;计算机程序被处理器执行时还实现以下步骤:
将待检测图像输入至主干网络,得到主干网络中各基础特征层输出的基础特征图;将各基础特征图输入至颈部网络,得到多个不同分辨率的目标特征图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
颈部网络还包括上采样网络和下采样网络,其中,上采样网络包括多个首尾相连的上采样层,以及下采样网络包括多个首尾相连的下采样层;主干网络中的基础特征层与上采样网络中的上采样层一一对应,上采样网络中的上采样层和下采样网络中的下采样层一一对应,接受域模块位于上采样网络中的末尾上采样层与下采样网络中的首个下采样层之间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各基础特征图输入至上采样网络中对应的上采样层,得到上采样网络中上采样层基于上采样输入特征输出的上采样特征图;其中,上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图;将上采样网络中上采样层输出的上采样特征图输入至下采样网络中对应的下采样层,得到下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图;其中,下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经接受域模块处理得到的扩张特征图;下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
首个上采样层输出的上采样特征图是对末尾基础特征层输出的基础特征图进行卷积处理得到的;上采样网络中末尾上采样层输出的上采样特征图是将末尾上采样层的上采样输入特征中基础特征图,与末尾上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图进行拼接得到的;上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的;第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的;初始融合特征图是将该上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中基础特征图进行拼接得到的。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,第二融合特征图是基于注意力机制模块对扩张特征图进行处理得到的;下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;拼接特征图是对该下采样层的下采样输入特征中上采样特征图,与该下采样层的下采样输入特征中目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
接受域模块包括融合卷积层、激活函数层和多个卷积扩张层;其中,多个卷积扩张层的扩张率连续。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图;将各卷积扩张层的输出特征图输入至融合卷积层进行融合处理,得到第四融合特征图;将第四融合特征图和末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至激活函数层,得到扩张特征图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种道路标志检测方法,其特征在于,所述方法包括:
获取包含道路标志的待检测图像;
通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
2.根据权利要求1所述的方法,其特征在于,所述特征提取网络包括主干网络和包含扩张率连续的接受域模块的颈部网络;所述主干网络包括多个首尾相连的基础特征层,且不同基础特征层的分辨率不同;
相应的,所述通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图,包括:
将所述待检测图像输入至所述主干网络,得到所述主干网络中各基础特征层输出的基础特征图;
将各基础特征图输入至所述颈部网络,得到多个不同分辨率的目标特征图。
3.根据权利要求2所述的方法,其特征在于,所述颈部网络还包括上采样网络和下采样网络;
其中,所述上采样网络包括多个首尾相连的上采样层,以及所述下采样网络包括多个首尾相连的下采样层;
所述主干网络中的基础特征层与所述上采样网络中的上采样层一一对应,所述上采样网络中的上采样层和所述下采样网络中的下采样层一一对应,所述接受域模块位于所述上采样网络中的末尾上采样层与所述下采样网络中的首个下采样层之间。
4.根据权利要求3所述的方法,其特征在于,所述将各基础特征图输入至所述颈部网络,得到多个不同分辨率的目标特征图,包括:
将各基础特征图输入至所述上采样网络中对应的上采样层,得到所述上采样网络中上采样层基于上采样输入特征输出的上采样特征图;其中,所述上采样网络中首个上采样层的上采样输入特征包括主干网络中末尾基础特征层输出的基础特征图;所述上采样网络中其他任一上采样层的上采样输入特征包括该上采样层的上一上采样层输出的上采样特征图,以及该上采样层对应的基础特征层输出的基础特征图;
将所述上采样网络中上采样层输出的上采样特征图输入至所述下采样网络中对应的下采样层,得到所述下采样网络中下采样层基于下采样输入特征输出的多个不同分辨率的目标特征图;其中,所述下采样网络中首个下采样层的下采样输入特征包括末尾上采样层输出的上采样特征图经所述接受域模块处理得到的扩张特征图;所述下采样网络中其他任一下采样层的下采样输入特征包括该下采样层的上一下采样层输出的目标特征图,以及该下采样层对应的上采样层输出的上采样特征图。
5.根据权利要求4所述的方法,其特征在于,所述首个上采样层输出的上采样特征图是对所述末尾基础特征层输出的基础特征图进行卷积处理得到的;
所述上采样网络中末尾上采样层输出的上采样特征图是将所述末尾上采样层的上采样输入特征中基础特征图,与所述末尾上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图进行拼接得到的;
所述上采样网络中其他任一上采样层输出的上采样特征图是对该上采样层的上采样输入特征对应的第一融合特征图进行卷积处理得到的;
所述第一融合特征图是基于注意力机制模块对初始融合特征图进行处理得到的;
所述初始融合特征图是将该上采样层的上采样输入特征中上采样特征图经上采样处理得到的中间特征图,与该上采样层的上采样输入特征中基础特征图进行拼接得到的。
6.根据权利要求4所述的方法,其特征在于,所述首个下采样层输出的目标特征图是对第二融合特征图进行卷积处理得到的,所述第二融合特征图是基于注意力机制模块对所述扩张特征图进行处理得到的;
所述下采样网络中其他任一下采样层输出的目标特征图是对第三融合特征图进行卷积处理得到的;
所述第三融合特征图是基于注意力机制模块对拼接特征图进行处理得到的;
所述拼接特征图是对该下采样层的下采样输入特征中上采样特征图,与该下采样层的下采样输入特征中目标特征图经卷积处理得到的卷积特征图进行拼接得到的。
7.根据权利要求4所述的方法,其特征在于,所述接受域模块包括融合卷积层、激活函数层和多个卷积扩张层;其中,所述多个卷积扩张层的扩张率连续。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
将所述末尾上采样层输出的上采样特征图分别输入至多个卷积扩张层,得到各卷积扩张层的输出特征图;
将各卷积扩张层的输出特征图输入至所述融合卷积层进行融合处理,得到第四融合特征图;
将所述第四融合特征图和所述末尾上采样层输出的上采样特征图经残差处理得到的残差特征图输入至所述激活函数层,得到所述扩张特征图。
9.一种道路标志检测装置,其特征在于,所述装置包括:
获取模块,用于获取包含道路标志的待检测图像;
特征提取模块,用于通过包括扩张率连续的接受域模块的特征提取网络对所述待检测图像进行特征提取,得到多个不同分辨率的目标特征图;
检测模块,用于通过检测头网络对多个不同分辨率的目标特征图进行道路标志检测,得到各目标特征图对应的道路标志检测结果;
确定模块,用于根据各目标特征图对应的道路标志检测结果,确定所述待检测图像的道路标志检测结果。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410304718.3A CN117893990A (zh) | 2024-03-18 | 2024-03-18 | 道路标志检测方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410304718.3A CN117893990A (zh) | 2024-03-18 | 2024-03-18 | 道路标志检测方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117893990A true CN117893990A (zh) | 2024-04-16 |
Family
ID=90651083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410304718.3A Pending CN117893990A (zh) | 2024-03-18 | 2024-03-18 | 道路标志检测方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117893990A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461217A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
CN114694002A (zh) * | 2022-03-11 | 2022-07-01 | 中国电子科技集团公司第五十四研究所 | 一种基于特征融合与注意力机制的红外目标检测方法 |
CN115205568A (zh) * | 2022-07-13 | 2022-10-18 | 昆明理工大学 | 一种多尺度特征融合的道路交通多要素检测方法 |
CN116342867A (zh) * | 2023-03-20 | 2023-06-27 | 郑州轻工业大学 | 一种基于自适应递归金字塔的YOLOv4小目标检测方法 |
CN116403120A (zh) * | 2023-03-27 | 2023-07-07 | 湖北工业大学 | 一种基于优化ssd算法的遥感图像目标检测方法及系统 |
CN116486244A (zh) * | 2023-03-31 | 2023-07-25 | 重庆大学 | 基于细节增强的水下目标检测方法 |
CN116563913A (zh) * | 2023-04-14 | 2023-08-08 | 三峡大学 | 一种基于多层特征融合的口罩规范佩戴检测方法 |
CN116580235A (zh) * | 2023-05-15 | 2023-08-11 | 智道网联科技(北京)有限公司 | 基于YOLOv4网络优化的目标检测装置、方法、设备和介质 |
CN116704476A (zh) * | 2023-06-12 | 2023-09-05 | 郑州轻工业大学 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
-
2024
- 2024-03-18 CN CN202410304718.3A patent/CN117893990A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461217A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
CN114694002A (zh) * | 2022-03-11 | 2022-07-01 | 中国电子科技集团公司第五十四研究所 | 一种基于特征融合与注意力机制的红外目标检测方法 |
CN115205568A (zh) * | 2022-07-13 | 2022-10-18 | 昆明理工大学 | 一种多尺度特征融合的道路交通多要素检测方法 |
CN116342867A (zh) * | 2023-03-20 | 2023-06-27 | 郑州轻工业大学 | 一种基于自适应递归金字塔的YOLOv4小目标检测方法 |
CN116403120A (zh) * | 2023-03-27 | 2023-07-07 | 湖北工业大学 | 一种基于优化ssd算法的遥感图像目标检测方法及系统 |
CN116486244A (zh) * | 2023-03-31 | 2023-07-25 | 重庆大学 | 基于细节增强的水下目标检测方法 |
CN116563913A (zh) * | 2023-04-14 | 2023-08-08 | 三峡大学 | 一种基于多层特征融合的口罩规范佩戴检测方法 |
CN116580235A (zh) * | 2023-05-15 | 2023-08-11 | 智道网联科技(北京)有限公司 | 基于YOLOv4网络优化的目标检测装置、方法、设备和介质 |
CN116704476A (zh) * | 2023-06-12 | 2023-09-05 | 郑州轻工业大学 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
Non-Patent Citations (1)
Title |
---|
张刚 等: ""基于轻量化 SSD 的交通标志检测算法"", 《实验技术与管理》, vol. 41, no. 1, 31 January 2024 (2024-01-31), pages 63 - 69 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200234447A1 (en) | Computer vision system and method | |
CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
JP2022507077A (ja) | 区画線属性検出方法、装置、電子機器及び可読記憶媒体 | |
CN112801158A (zh) | 基于级联融合和注意力机制的深度学习小目标检测方法及装置 | |
CN113762209A (zh) | 一种基于yolo的多尺度并行特征融合路标检测方法 | |
CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
CN112348116B (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
CN111582339A (zh) | 一种基于深度学习的车辆检测与识别的方法 | |
CN111523439A (zh) | 一种基于深度学习的目标检测的方法、系统、设备及介质 | |
CN111127516A (zh) | 无搜索框的目标检测和跟踪方法及系统 | |
CN112101205A (zh) | 基于多任务网络的训练方法和装置 | |
CN116052026A (zh) | 一种无人机航拍图像目标检测方法、系统及存储介质 | |
US20230087261A1 (en) | Three-dimensional target estimation using keypoints | |
CN112699711A (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
CN117011819A (zh) | 基于特征引导注意力的车道线检测方法、装置及设备 | |
US20220292806A1 (en) | Methods and Systems for Object Detection | |
CN117893990A (zh) | 道路标志检测方法、装置和计算机设备 | |
WO2022205018A1 (zh) | 车牌字符识别方法、装置、设备及存储介质 | |
CN113780189A (zh) | 一种基于U-Net改进的车道线检测方法 | |
CN112348044A (zh) | 车牌检测方法、装置及设备 | |
CN114882449B (zh) | 一种基于Car-Det网络模型的车辆检测方法及装置 | |
CN115861316B (zh) | 行人检测模型的训练方法及其装置、行人检测方法 | |
CN112197747B (zh) | 利用无线定位辅助目标检测的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |