CN111160370A - 车头位置估计方法、装置、计算机设备和存储介质 - Google Patents
车头位置估计方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111160370A CN111160370A CN201911379997.5A CN201911379997A CN111160370A CN 111160370 A CN111160370 A CN 111160370A CN 201911379997 A CN201911379997 A CN 201911379997A CN 111160370 A CN111160370 A CN 111160370A
- Authority
- CN
- China
- Prior art keywords
- image
- driving image
- driving
- filtering
- vehicle head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001914 filtration Methods 0.000 claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000010586 diagram Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 230000003137 locomotive effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000016776 visual perception Effects 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种车头位置估计方法、装置、计算机设备和存储介质。所述方法包括：获取行驶图像序列；利用系统已有的目标检测深度神经网络对行驶图像序列中各行驶图像进行特征提取，获取目标检测深度神经网络中间层输出的特征图，得到各行驶图像对应的原始特征图；分别将各行驶图像的原始特征图进行特征融合过滤，得到各行驶图像的过滤特征图；基于各行驶图像的过滤特征图进行连续帧背景建模，得到各行驶图像的车头边缘图；从车头边缘图中确定各行驶图像的车头位置。采用本方法能够提高估计精度。
Description
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种车头位置估计方法、装置、计算机设备和存储介质。
背景技术
随着计算机软硬件能力的不断提升，以及各种传感器精度的普遍提升，自动驾驶技术成为一个重要的研究领域，受到了学术界和工业界广泛的关注。自动驾驶系统主要可以分为感知层、决策层和控制层三个层次。其中，感知层是这三个模块层的基础，用来完成对车辆周围环境的感知识别。而感知层需要用到各种类型的感知技术协同工作，例如摄像头、毫米波雷达、激光雷达、超声波雷达、红外夜视以及用于定位和导航的GPS(GlobalPosition System,全球定位系统)和IMU(Inertial Measurement Unit,惯性测量单元)等传感器。另外还有类虽然不是主动式的探测元件，但是属于协同式的全局数据辅助可以扩展车辆的环境感知能力，例如高精度地图和车联网技术等。每种类型的感知技术通过相互补充融合，最终使得车辆达到驾驶场景下非常高的安全性要求。近几年，随着深度学习技术的快速发展，使得计算机视觉领域的很多传统任务的精度能够得到大幅度的提升。加之摄像头价格的低廉以及其能够弥补一些其他传感器无法完成的工作的综合优势让基于视觉的感知算法得到了广泛的研究和应用，并在自动驾驶和辅助驾驶领域真正落地使用。
目前，基于视觉的高级驾驶辅助系统(Advanced Driver Assistance Systems，ADAS)已经在很多的量产车型上广泛使用，该系统分为前装和后装两种方式。前装系统是指在车辆出厂前，作为车辆标准配件的一部分已经安装在车上的系统。由于前装系统在设计之初就兼顾了车型的装配要求，因此可以使得摄像头等各种传感器的标定处在一个非常理想的状态，从而可以保证算法的准确率相对较高。而后装系统是在车辆出厂后，由用户单独购买独立于车辆单独开发需要用户自主安装的系统。但是，由于每个用户的车型和安装方式都不相同，很多用户安装时会把车头的一部分拍摄到相机中，从而影响了算法的准确率。因此，为了对检测算法不造成影响通常需要定位车头部分并进行滤除。
传统车头位置定位的方式通常是通过边缘检测算法，例如利用Canny算子确定车头的边缘信息后再定位车头。然而，Canny算子这类传统边缘检测算法易受噪声干扰，从而降低了车头定位的精准性。同时，由于实际工业化生成中应用于自动驾驶中的嵌入式系统的算力都相当有限。而Canny算子这类边缘检测对于嵌入式系统CPU(central processingunit，中央处理器)又都是一个不小的运算负担。因此，传统的边缘检测不仅降低了精准性还加重了系统运算负担。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高估计精度和减轻运算负担的车头位置估计方法、装置、计算机设备和存储介质。
一种车头位置估计方法，所述方法包括：
获取行驶图像序列；
利用系统已有的目标检测深度神经网络对所述行驶图像序列中各行驶图像进行特征提取，获取所述目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图；
分别将各所述行驶图像的原始特征图进行特征融合过滤，得到各所述行驶图像的过滤特征图；基于各所述行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图；
从所述车头边缘图中确定各所述行驶图像的车头位置。
在其中一个实施例中，所述利用系统已有的目标检测深度神经网络对所述行驶图像序列中各行驶图像进行特征提取，获取所述目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图，包括：
调用系统已有的目标检测深度神经网络；所述目标检测深度神经网络包括主干网络和各分支网络；
分别将各所述行驶图像输入所述目标检测深度神经网络的主干网络，通过所述主干网络对各所述行驶图像进行特征提取，输出得到各所述行驶图像对应的原始特征图。
在其中一个实施例中，其特征在于，所述分别将各所述行驶图像的原始特征图进行特征融合过滤，得到各所述行驶图像的过滤特征图，包括：
分别将各所述原始特征图对应的图像矩阵按各所述原始特征图的特征通道数进行求和，得到融合特征图；
对所述融合特征图进行图像二值化，得到过滤特征图。
在其中一个实施例中，其特征在于，所述基于各所述行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图，包括：
将各所述行驶图像的过滤特征图对应的图像矩阵进行累加，得到累加图像矩阵；
对所述累加图像矩阵中各矩阵元素进行阈值过滤，确定高于第一阈值的矩阵元素；
获取高于所述第一阈值的所述矩阵元素组成的图像，得到车头边缘图。
在其中一个实施例中，其特征在于，所述从所述车头边缘图中确定各所述行驶图像的车头位置，包括：
将所述车头边缘图按列求和，得到和所述车头边缘图的图像行等长度的一维向量；
对所述一维向量进行高斯滤波和极大值检测，得到所述一维向量对应的极大值；
确定高于第二阈值的所述极大值所在的行数为车头位置。
在其中一个实施例中，所述方法还包括：
当存在多个高于第二阈值的所述极大值时，获取各所述极大值对应的行数；
比较各所述极大值对应的行数的数值，确定数值最小的行数为车头位置。
在其中一个实施例中，所述方法还包括：
获取所述车头位置对应的坐标值；
将初始坐标值更新为所述坐标值。
一种车头位置估计装置，所述装置包括：
获取模块，用于获取行驶图像序列；
检测模块，用于利用系统已有的目标检测深度神经网络对所述行驶图像序列中各行驶图像进行特征提取，获取所述目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图；
过滤模块，用于分别将各所述行驶图像的原始特征图进行特征融合过滤，得到各所述行驶图像的过滤特征图；
背景建模模块，用于基于各所述行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图；
确定模块，用于从所述车头边缘图中确定各所述行驶图像的车头位置。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的车头位置估计方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的车头位置估计方法的步骤。
上述车头位置估计方法、装置、计算机设备和存储介质，获取行驶图像序列之后，利用系统中已有的目标检测深度神经网络对各行驶图像进行特征提取，获取中间层输出的特征图从而得到原始特征图，进而基于原始特征图进行特征融合过滤、连续帧背景建模得到车头边缘图，最终从车头边缘图中确定车头位置。该方法由于直接利用已有的目标检测深度神经网络的中间层得到原始特征图，无需引入额外的计算量，适合嵌入式设备部署，同时通过特征融合过滤等处理手段能够加强噪声的抑制，从而减少运算的同时还能提高精度性。
附图说明
图1为一个实施例中车头位置估计方法的应用环境图；
图2为一个实施例中车头位置估计方法的流程示意图；
图3为一个实施例中从车头边缘图中确定各行驶图像的车头位置步骤的流程示意图；
图4为一个实施例中多任务神经网络的网络结构的结构示意图；
图5为一个实施例中感兴趣区域的示意图；
图6为一个实施例中处理行驶图像的图像示意图；
图7为一个实施例中车头位置估计装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车头位置估计方法，可以应用于如图1所示的应用环境中。该应用环境涉及摄像设备102和计算机设备104，可以应用于自动驾驶系统中。其中，摄像设备102通过网络与计算机设备104进行通信。当摄像设备102采集到行驶图像序列之后，将行驶图像序列发送给计算机设备104。计算机设备104获取行驶图像序列；计算机设备104利用系统已有的目标检测深度神经网络对行驶图像序列中各行驶图像进行特征提取，获取目标检测深度神经网络中间层输出的特征图，得到各行驶图像对应的原始特征图；计算机设备104分别将各行驶图像的原始特征图进行特征融合过滤，得到各行驶图像的过滤特征图；计算机设备104基于各行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图；计算机设备104从车头边缘图中确定各行驶图像的车头位置。其中，摄像设备102包括但不限于是相机、摄像头或者携带有摄像功能的设备。计算机设备104可以是终端或者服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种车头位置估计方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S202，获取行驶图像序列。
其中，行驶图像序列包括多帧行驶图像，是由摄像设备所采集且需要进行车头位置估计的图像。比如，自动驾驶系统中安装于自动驾驶车辆上的摄像设备所采集的图像。在本实施例中，安装于自动驾驶车辆的摄像设备的安装位置是需要能够拍摄到车头的位置，例如摄像设备可以安装靠近车内后视镜的位置。
具体地，当车辆在行驶过程中，摄像设备持续进行图像采集，得到多帧连续的行驶图像。然后，将采集的连续的行驶图像发送给计算机设备，计算机设备由此获取到包括多张连续行驶图像的行驶图像序列。应当理解的是，摄像设备可以是将采集的多帧行驶图像一帧一帧发送给计算机设备，也可以是多帧行驶图像全部采集完成之后一并发送给计算机设备。
步骤S204，利用系统已有的目标检测深度神经网络对行驶图像序列中各行驶图像进行特征提取，获取目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图。
其中，系统已有的目标检测深度神经网络是已经部署在自动驾驶系统的神经网络，部署在自动驾驶系统中的目标检测深度神经网络为自动驾驶的视觉感知所用。比如，自动驾驶系统中视觉感知层通常需要进行车道线语义分割、车道线实例分割、线型分类网络、路面标志分类、通行区域检测、路面障碍物分类以及车辆行人实例分割等任务。而自动驾驶系统中的视觉感知层进行该些目标检测任务的深度神经网络均可以是本实施例中所说的系统已有的目标检测深度神经网络，当进行车头位置估计时即可直接调用已系统已有的目标检测深度神经网络。神经网络一般包括输入层、隐藏层和输出层，隐藏层通常又称为中间层，所以本实例中的中间层可以理解为是目标检测深度神经网络的隐藏层。原始特征图即中间层输出的特征图。具体地，当计算机设备获取到行驶图像序列之后，分别利用系统中已有的目标检测深度神经网络对行驶图像序列中的各行驶图像进行特征提取，获取已有的目标检测深度神经网络的中间层输出的特征，从而得到各个行驶图像的原始特征图。
步骤S206，分别将各行驶图像的原始特征图进行特征融合过滤，得到各行驶图像的过滤特征图。
其中，由于目标检测深度神经网络中间层输出的原始特征图是多通道特征图，因此特征融合过滤是指将多通道的原始特征图按照特征通道数进行特征融合之后再进行过滤。
在一个实施例中，分别将各行驶图像的原始特征图进行特征融合过滤，得到各行驶图像的过滤特征图，包括：分别将各原始特征图对应的图像矩阵按各原始特征图的特征通道数进行求和，得到融合特征图；对融合特征图进行图像二值化，得到过滤特征图。
具体地，每一帧行驶图像的原始特征图按照对应的特征通道数进行特征相加，本实施例的特征融合是特征进行相加。例如，n通道原始特征图，对这n张特征图对应的图像矩阵中对应位置的矩阵元素相加，得到融合特征矩阵。而融合特征矩阵对应的图即为融合特征图。然后，利用预设的二值化阈值对融合特征图进行二值化，得到过滤后的融合特征图，即最终得到的过滤特征图。
步骤S208，基于各行驶图像的过滤特征图进行连续帧背景建模，得到各行驶图像的车头边缘图。
其中，背景建模是将图像中所有像素分为背景和前景的方法。背景和前景是相对的概念，可以理解为不变动的区域和变动的区域。连续帧背景建模是利用连续的图像进行背景建模。在本实施例中，连续帧即为行驶图像序列中各连续的行驶图像。而行驶过程中采集得到的行驶图像中，车头所在的区域为背景区域，其他变换的场景为前景区域。车头边缘图是指包括车头区域的图像，同时该图像中包括车头的边缘。
具体地，由于行驶图像序列中各行驶图像时连续的，所以各行驶图像的原始特征图也是连续的。所有，当通过特征融合过滤得到行驶图像的原始特征图之后，基于各个行驶图像的各个过滤特征图进行连续帧背景建模，得到对应的车头边缘图。而由于行驶图像序列中的各行驶图像都是基于一个摄像设备所采集，所以各行驶图像中车头所在区域相同。因此得到的车头边缘图适用于所有行驶图像。连续帧背景建模可以采用任一种方法，例如帧差法。帧差法是通过从各个行驶图像对应的各个过滤特征图中指定一幅过滤特征图作为背景图。然后将其他的过滤特征图与指定的背景图进行比较，确定其他的过滤特征图与背景图的差异。差异之处即为两幅过滤特征图的不同之处，而车头在各行驶图像中永远是静止不变的，所有差异之处即为前景区域。将前景区域滤除掉，剩余的其他区域为背景区域图像，即最终得到的车头边缘图。同时还能根据实际需求对差异进行一定的过滤之后确定过滤后的差异之处为前景区域。
步骤S210，从车头边缘图中确定各行驶图像的车头位置。
其中，由于自动驾驶系统中滤除车头是确定车头边缘位置之后，从车头的边缘位置进行图像截取得到。所以本实施例中的车头位置即为车头的边缘位置。而由于车头边缘图中包括车头的边缘位置，因此通过在车头边缘图中定位车头的边缘位置，得到车头位置。
在一个实施例中，如图3所示，从车头边缘图中确定各行驶图像的车头位置，包括以下步骤：
步骤S302，将车头边缘图按列求和，得到和车头边缘图的图像行等长度的一维向量；
步骤S304，一维向量进行高斯滤波和极大值检测，得到一维向量对应的极大值；
步骤S306，确定高于第二阈值的极大值所在的行数为车头位置。
其中，滤波通常是指将信号中的特定波段频率滤除的操作，是抑制和防止干扰的措施。在本实施例中，滤波为用于消除高斯噪声的一维高斯滤波。极大值检测则在指定窗口中寻找序列中的极大值。第二阈值为预先设定用于过滤极大值的数值。
具体地，当得到车头边缘图之后，将车头边缘图按列进行求和，得到一个和车头边缘图的图像行等长度的一维向量。由于图像在计算机设备中表示为矩阵，因此可以将车头边缘图理解为是一个图像矩阵，图像矩阵中的各个矩阵元素就是组成车头边缘图的像素点。当进行车头边缘图按列求和时，将属于同一行的像素点进行累加，从而得到与车头边缘图对应的图像矩阵的行等长度的一维向量。当得到一维向量之后，对一维向量进行一维高斯滤波，即将一维向量中的各个像素点进行加权平均，从而得到过滤后的一维向量。然后，对过滤后的一维向量进行极大值检测得到对应的极大值，确定高于第二阈值的极大值所在的行数为车头位置。
在一个实施例中，当存在多个高于第二阈值的极大值时，获取各极大值对应的行数；比较各极大值对应的行数的数值，确定数值最小的行数为车头位置。
具体地，由于车头包括车头的内边缘和外边缘，内边缘是指与车头与挡风玻璃连接的边缘，外边缘就是车头对外的边缘。因此摄像设备采集的行驶图像中可能会存在同时包括内边缘和外边缘的情况。当行驶图像中存在两条边缘时，根据行驶图像得到的车头边缘图过滤融合所得到的高于第二阈值的极大值可能会存在两个。所以需要在两个极大值中确定其中一个极大值所在的行数为本实施例中需要得到的车头位置。而本实施例中需要得到的车头位置是外边缘，且行驶图像上的外边缘通常位于内边缘之上。所以通过极大值对应的行数中，确定行数的数值最小的行数为车头位置。例如，极大值1所处的行数为第一行，极大值2所处的行数为第四行，那么确定极大值1所在的第一行为车头位置。
上述车头位置估计方法，获取行驶图像序列之后，利用系统中已有的目标检测深度神经网络对各行驶图像进行特征提取，获取中间层输出的特征图从而得到原始特征图，进而基于原始特征图进行特征融合过滤、连续帧背景建模得到车头边缘图，最终从车头边缘图中确定车头位置。该方法由于直接利用已有的目标检测深度神经网络的中间层得到原始特征图，无需引入额外的计算量，适合嵌入式设备部署，同时通过融合过滤等处理手段加强噪声的抑制，提高精度。
在一个实施例中，利用系统已有的目标检测深度神经网络对行驶图像序列中各行驶图像进行特征提取，获取目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图，包括：调用系统已有的目标检测深度神经网络；目标检测深度神经网络包括主干网络和至少一个分支网络；分别将各行驶图像输入目标检测深度神经网络的主干网络，通过主干网络对各行驶图像进行特征提取，输出得到各行驶图像对应的原始特征图。
具体地，如图4所示，提供一种应用于自动驾驶系统的视觉感知层的目标检测深度神经网络的网络结构示意图。基于图4所示的目标检测深度神经网络对特征提取进行详细说明。
参考图4，本实施例提供的应用于自动驾驶系统的视觉感知中的目标检测深度神经网络为多任务神经网络的网络结构。该多任务神经网络包括一个多分辨率U型结构的主干网络40和七个分支网络。七个分支网络分别是车道线语义分割网络401、车道线实例分割网络402、线型分类网络403、路面标志分类网络404、通行区域检测网络405、车辆行人实例分割网络406和路面障碍物分类网络407。七个分支网络可采用Deconvolution(反卷积)或Pixel Shuffle(像素重组)的方式进行上采样操作。主干网络40用于对需要进行视觉感知的图像进行图像特征的初步提取，然后提取得到的特征图分别输入至七个分支网络进行对应任务的检测。例如，车道线语义分割网络401进行基于语义分割的车道线检测、车道线实例分割网络402进行基于实例分割的车道线检测、线型分类网络403进行车道线线型的检测、路面标志分类网络404进行路面标志的检测、通行区域检测网络405进行可通行区域、路沿、车辆和行人的检测、车辆行人实例分割网络406进行基于实例分割的车辆和行人的检测、以及路面障碍物分类网络407进行障碍物的检测。
由于车头位置的定位只需要提取中间层的图像特征，因此，当自动驾驶系统的视觉感知层中的目标检测网络为本实施例提供的多任务神经网络时，本实施例即可以复用多任务神经网络中主干网络40对行驶图像进行特征提取，输出得到行驶图像的原始特征图，主干网络40输出的原始特征图的特征通道数与主干网络40的通道数对应的。特征通道数对应的特征图作为原始特征图。比如，当主干网络有n个通道时，输出原始特征图即为的n通道原始特征图。在本实施例中，由于通过对深度神经网络的中间层进行可视化可得，深度神经网络能够学习到诸如边缘、角点等纹理性的特征。因此通过复用自动驾驶系统中已有的神经网络进行图像特征的提取，能够减少运算量。
在一个实施例中，基于各行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图，包括：将各行驶图像的过滤特征图对应的图像矩阵进行累加，得到累加图像矩阵；对累加图像矩阵中各矩阵元素进行阈值过滤，确定高于第一阈值的矩阵元素；获取高于第一阈值的矩阵元素组成的图像，得到车头边缘图。
具体地，当得到各行驶图像对应的过滤特征图之后，对各行驶图像对应的各过滤特征图对应的图像矩阵进行累加。将各过滤特征图对应的各图像矩阵中对应位置的矩阵元素进行相加，得到累加图像矩阵。然后，获取预设的第一阈值，第一阈值为预先设置用于过滤背景点的阈值。将累加图像矩阵中的矩阵元素与第一阈值进行比较，确定大于第一阈值的矩阵元素。大于第一阈值的矩阵元素即为背景点。而背景点是不变动的区域，所以背景点所在的区域就是背景区域，也就是不变动的车头区域。因此，由高于第一阈值的矩阵元素组成的图像，即为车头边缘图。应当理解的是，各行驶图像对应的过滤特征图累加得到的累加图像矩阵中a行b列的矩阵元素是背景点，则各行驶图像中a行b列的像素点均是各行驶图像中对应的背景点。
在一个实施例中，获取车头位置对应的坐标值；将初始坐标值更新为坐标值。
具体地，由于用户在车辆上安装自行驾驶系统硬件设备的时候，不同的用户安装方式千差万别，导致很多时候车头在摄像设备采集的图像中占据很大一部分区域。而该区域又不含有任何有效信息同时又会造成自动驾驶系统的算法误检。因此，自动驾驶系统中需要在系统运行的过程中动态的估计车头位置，然后根据车头位置动态的更新系统检测算法的感兴趣区域到理想状态，同时根据车头位置将车头部分滤除，从而保证系统算法的精准度。而系统安装后，初始是不知道车头的具体位置的，所以系统的检测算法从摄像设备采集的图像中截取感兴趣区域的初始坐标是以图像底端为截取终点。
所以，当本申请应用于自动驾驶系统中时，在确定车头位置之后，获取车头位置在行驶图像上对应的坐标值。除了根据坐标值可以直接将车头区域从行驶图像上滤除，得到不包括车头区域的行驶图像之外。还可以将自动驾驶系统中截取图像的初始坐标动态更新为本申请确定的车头位置的坐标值。后续系统截取感兴趣区域时，根据更新后的坐标值能够将初始的以图像底端作为截取终点更新为将车头位置作为截取终点，从而能够得到理想的感兴趣区域，保证后续系统算法的精准度。如图5所示，提供一种感兴趣区域的示意图。参考图5，白色实线内的区域为滤除车头部分的理想感兴趣区域，而白色虚线内的区域为包括车头部分的不理想感兴趣区域。
在一个实施例中，如图6所示，提供一种处理行驶图像的图像示意图。参考图6对车头位置估计方法进行说明解释。参考图6，第一列图像为不同摄像设备采集的行驶图像、第二列图像为融合特征图、第三列图像为过滤特征图、第四列图像为车头边缘图。
具体地，获取到如第一列图像中的行驶图像之后，将行驶图像分别输入至多任务神经网络的主干网络40中。通过主干网络40对行驶图像进行特征提取，得到行驶图像的原始特征图。将原始特征图按照特征通道数进行特征相加，得到第二列图像所示的融合特征图。然后，利用阈值对第二列图像所示的融合特征图进行二值化，得到过滤后的融合特征图，即第三列图像所示的过滤特征图。最后，基于第三列图像所示的过滤特征图进行连续帧背景建模得到车头边缘图。将第三列图像所示的过滤特征图对应的图像矩阵进行累加得到累加图像矩阵，利用预设的第一阈值对累加图像矩阵中各矩阵元素进行过滤，确定高于第一阈值的矩阵元素，该些矩阵元素组成的图为车头边缘图。在将第四列的车头边缘按列求和得到的一维向量进行一维高斯滤波和极大值检测，确定高于第二阈值的极大值所在的行数为车头位置。第四列图像中的虚线即为车头位置。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种车头位置估计装置，包括：获取模块702、检测模块704、过滤模块706，背景建模模块708和确定模块710，其中：
获取模块702，用于获取行驶图像序列。
检测模块704，用于利用系统已有的目标检测深度神经网络对行驶图像序列中各行驶图像进行特征提取，获取目标检测深度神经网络中间层输出的特征图，得到各行驶图像对应的原始特征图。
过滤模块706，用于分别将各行驶图像的原始特征图进行特征融合过滤，得到各行驶图像的过滤特征图。
背景建模模块708，用于基于各行驶图像的过滤特征图进行连续帧背景建模，得到各行驶图像的车头边缘图。
确定模块710，用于从车头边缘图中确定各行驶图像的车头位置。
在一个实施例中，检测模块704还用于调用系统已有的目标检测深度神经网络；目标检测深度神经网络包括主干网络和至少一个分支网络；分别将各行驶图像输入目标检测深度神经网络的主干网络，通过主干网络对各行驶图像进行特征提取，输出得到各行驶图像对应的原始特征图。
在一个实施例中，过滤模块706还用于分别将各原始特征图对应的图像矩阵按各原始特征图的特征通道数进行求和，得到融合特征图；对融合特征图进行图像二值化，得到过滤特征图。
在一个实施例中，背景建模模块706还用于将各行驶图像的过滤特征图对应的图像矩阵进行累加，得到累加图像矩阵；对累加图像矩阵中各矩阵元素进行阈值过滤，确定高于第一阈值的矩阵元素；获取高于第一阈值的矩阵元素组成的图像，得到车头边缘图。
在一个实施例中，确定模块708还用于将车头边缘图按列求和，得到和车头边缘图的图像行等长度的一维向量；一维向量进行高斯滤波和极大值检测，得到一维向量对应的极大值；确定高于第二阈值的极大值所在的行数为车头位置。
在一个实施例中，确定模块708还用于当存在多个高于第二阈值的极大值时，获取各极大值对应的行数；比较各极大值对应的行数的数值，确定数值最小的行数为车头位置。
在一个实施例中，车头位置估计装置还包括更新模块，用于获取车头位置对应的坐标值；将初始坐标值更新为所述坐标值。
关于车头位置估计装置的具体限定可以参见上文中对于车头位置估计方法的限定，在此不再赘述。上述车头位置估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车头位置估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请任意一个实施例中提供的车头位置估计方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的车头位置估计方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车头位置估计方法，所述方法包括：
获取行驶图像序列；
利用系统已有的目标检测深度神经网络对所述行驶图像序列中各行驶图像进行特征提取，获取所述目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图；
分别将各所述行驶图像的原始特征图进行特征融合过滤，得到各所述行驶图像的过滤特征图；基于各所述行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图；
从所述车头边缘图中确定各所述行驶图像的车头位置。
2.根据权利要求1所述的方法，其特征在于，所述利用系统已有的目标检测深度神经网络对所述行驶图像序列中各行驶图像进行特征提取，获取所述目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图，包括：
调用系统已有的目标检测深度神经网络；所述目标检测深度神经网络包括主干网络和至少一个分支网络；
分别将各所述行驶图像输入所述目标检测深度神经网络的主干网络，通过所述主干网络对各所述行驶图像进行特征提取，输出得到各所述行驶图像对应的原始特征图。
3.根据权利要求1所述的方法，其特征在于，所述分别将各所述行驶图像的原始特征图进行特征融合过滤，得到各所述行驶图像的过滤特征图，包括：
分别将各所述原始特征图对应的图像矩阵按各所述原始特征图的特征通道数进行求和，得到融合特征图；
对所述融合特征图进行图像二值化，得到过滤特征图。
4.根据权利要求1所述的方法，其特征在于，所述基于各所述行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图，包括：
将各所述行驶图像的过滤特征图对应的图像矩阵进行累加，得到累加图像矩阵；
对所述累加图像矩阵中各矩阵元素进行阈值过滤，确定高于第一阈值的矩阵元素；
获取高于所述第一阈值的所述矩阵元素组成的图像，得到车头边缘图。
5.根据权利要求1所述的方法，其特征在于，所述从所述车头边缘图中确定各所述行驶图像的车头位置，包括：
将所述车头边缘图按列求和，得到和所述车头边缘图的图像行等长度的一维向量；
对所述一维向量进行高斯滤波和极大值检测，得到所述一维向量对应的极大值；
确定高于第二阈值的所述极大值所在的行数为车头位置。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当存在多个高于第二阈值的所述极大值时，获取各所述极大值对应的行数；
比较各所述极大值对应的行数的数值，确定数值最小的行数为车头位置。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述车头位置对应的坐标值；
将初始坐标值更新为所述坐标值。
8.一种车头位置估计装置，其特征在于，所述装置包括：
获取模块，用于获取行驶图像序列；
检测模块，用于利用系统已有的目标检测深度神经网络对所述行驶图像序列中各行驶图像进行特征提取，获取所述目标检测深度神经网络中间层输出的特征图，得到各所述行驶图像对应的原始特征图；
过滤模块，用于分别将各所述行驶图像的原始特征图进行特征融合过滤，得到各所述行驶图像的过滤特征图；
背景建模模块，用于基于各所述行驶图像的过滤特征图进行连续帧背景建模，得到车头边缘图；
确定模块，用于从所述车头边缘图中确定各所述行驶图像的车头位置。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911379997.5A CN111160370B (zh) | 2019-12-27 | 2019-12-27 | 车头位置估计方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911379997.5A CN111160370B (zh) | 2019-12-27 | 2019-12-27 | 车头位置估计方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160370A true CN111160370A (zh) | 2020-05-15 |
| CN111160370B CN111160370B (zh) | 2024-02-27 |
Family
ID=70558703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911379997.5A Active CN111160370B (zh) | 2019-12-27 | 2019-12-27 | 车头位置估计方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160370B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256633A (zh) * | 2017-05-09 | 2017-10-17 | 西安理工大学 | 一种基于单目摄像头三维估计的车型分类方法 |
| CN109145928A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| WO2019228211A1 (zh) * | 2018-05-31 | 2019-12-05 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
-
2019
- 2019-12-27 CN CN201911379997.5A patent/CN111160370B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256633A (zh) * | 2017-05-09 | 2017-10-17 | 西安理工大学 | 一种基于单目摄像头三维估计的车型分类方法 |
| CN109145928A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| WO2019228211A1 (zh) * | 2018-05-31 | 2019-12-05 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160370B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520536B (zh) | 一种视差图的生成方法、装置及终端 | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| CN111178253A (zh) | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 | |
| CN111178245A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| Brunner et al. | Selective combination of visual and thermal imaging for resilient localization in adverse conditions: Day and night, smoke and fire | |
| WO2018229549A2 (en) | System and method for digital environment reconstruction | |
| CN111954886B (zh) | 对象追踪的系统和方法 | |
| CN110634153A (zh) | 目标跟踪模板更新方法、装置、计算机设备和存储介质 | |
| KR20190078292A (ko) | 뉴럴 네트워크 연산을 수행하는 장치 및 이의 동작 방법 | |
| EP2960829A2 (en) | Lane boundary estimation device and lane boundary estimation method | |
| EP2713308A2 (en) | Method and system for using fingerprints to track moving objects in video | |
| JP2014071902A5 (zh) | ||
| CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| EP3314883B1 (en) | Video frame processing | |
| CN111738033A (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| US20220351413A1 (en) | Target detection method, computer device and non-transitory readable storage medium | |
| CN103366155A (zh) | 通畅路径检测中的时间相干性 | |
| CA3136990A1 (en) | PRINCIPAL POINT DETECTION METHOD OF A HUMAN BODY, APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA | |
| CN111832515B (zh) | 一种密集行人检测方法、介质、终端和装置 | |
| CN113112525A (zh) | 目标跟踪方法、网络模型及其训练方法、设备和介质 | |
| CN114910927A (zh) | 使用单色成像的基于事件的车辆姿态估计 | |
| KR20190060679A (ko) | 이동 객체의 자세 학습 방법 및 장치 | |
| CN112001378A (zh) | 基于特征空间的车道线处理方法、装置、车载终端和介质 | |
| CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
| CN111178224A (zh) | 物体规则判断方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230428 Address after: 1201, 12th Floor, Building 1, No. 10 Caihefang Road, Haidian District, Beijing, 100080 Applicant after: Youjia Innovation (Beijing) Technology Co.,Ltd. Address before: 518051 1101, west block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |