CN113408375B - 一种道路车辆行驶姿态分类方法、装置及其系统 - Google Patents

一种道路车辆行驶姿态分类方法、装置及其系统 Download PDF

Info

Publication number
CN113408375B
CN113408375B CN202110619819.6A CN202110619819A CN113408375B CN 113408375 B CN113408375 B CN 113408375B CN 202110619819 A CN202110619819 A CN 202110619819A CN 113408375 B CN113408375 B CN 113408375B
Authority
CN
China
Prior art keywords
vehicle
road
classification
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110619819.6A
Other languages
English (en)
Other versions
CN113408375A (zh
Inventor
周翔
刘国清
朱晓东
季思文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202110619819.6A priority Critical patent/CN113408375B/zh
Publication of CN113408375A publication Critical patent/CN113408375A/zh
Application granted granted Critical
Publication of CN113408375B publication Critical patent/CN113408375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种道路车辆行驶姿态分类方法、装置及其系统，获取车辆前方的道路图像；将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息。本方法对道路上行驶的各种姿态车辆进行类别的区分，为后续更精细地对各种车辆做出行驶轨迹和碰撞报警预判，以提升整个前车防撞预警系统的鲁棒性。

Description

一种道路车辆行驶姿态分类方法、装置及其系统
技术领域
本发明涉及一种道路车辆行驶姿态分类方法、装置及其系统，属于ADAS技术领域。
背景技术
随着城市交通的发展以及科技水平的进步，汽车的智能化已然成为近几年各大车企的重点发展方向。各车企都尽可能采取各种智能化的设备和技术来提高汽车的主动安全性能，减少交通事故和人员的伤亡。现阶段普及较快的前车防撞预警系统(FCWS)主要是对同向前方车辆进行探测，在危险来临时能够及时做出预警，但此类系统也存在明显的盲区，在狭窄道路上的对向来车以及路口常常遇到的横穿车辆无法做到探测并给出及时的预警。
本发明旨在通过神经网络技术融合目标检测及目标分类方法，对道路上各种行驶姿态的车辆进行精细分类，以供后续的模块针对不同姿态的车辆做出不同距离及相对速度的判定，进而给出更精准的报警预测。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种道路车辆行驶姿态分类方法、装置及其系统，对道路上行驶车辆进行精细的姿态分类，提供尽可能多的可靠先验信息，以供后续的模块针对不同姿态的车辆做出不同距离及相对速度的判定，进而给出更精准的报警预测。
为达到上述目的，本发明提供
一种道路车辆行驶姿态分类方法，包括：
获取车辆前方的道路图像；
将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；
将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息。优先地，各个车辆的位置信息送入分类图像预处理方法中，抠取相应的图像块Patch，包括：从道路车辆检测模块获得某车辆的位置信息，位置信息包括该车辆车架的左上角坐标(x1，y1)和该车辆车架的右下角坐标(x2，y2)，中心点的计算方式为：
Figure BDA0003099101980000011
检测框标出该车辆所在区域范围，检测框宽度W＝(x2-x1)，检测框高度H＝(y2-y1),检测框宽度和检测框高度相同；
采用检测框宽度和检测框高度中的最大值外扩若干倍做为新的检测框宽度和新的检测框高度，公式为：
T＝1.2*(max(W,H))，根据中心点P及目标框T来抠取相应的Patch；
若该车辆的部分车体与道路图像的边界有交叉，则用同一个目标框标出包括该交叉的图像边界和该车辆的部分车的区域范围；
将Patch归一化缩放到姿态分类网络所需要的大小。
优先地，姿态类别包括：同向车、对向车、横穿车和截断车；部分姿态车辆的两面分割线为车辆的相邻两面连接处的分割线。
优先地，道路图像获取模块，通过车载摄像头实时获取本车正前方的道路图像数据。
一种道路车辆行驶姿态分类装置，采用上述所述的方法，其中，
车辆检测神经网络框架基于yolov5的检测框架，采用MobilenetV2网络作为车辆检测的主干网络。
优先地，姿态分类网络使用Inception模块及残差结构的网络结构，最终的输出拆分为两支，一支做为15个类别的车辆姿态的分类输出，一支做为两面分割线的回归分支；其中分类模块用的是交叉熵loss，回归的loss用的是L2 Loss。
一种道路车辆行驶姿态分类系统，包括：
道路图像获取模块，用于获取车辆前方的道路图像；
道路车辆检测模块，用于将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；
车辆姿态分类模块，用于各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；用于将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息。
一种道路车辆行驶姿态
本发明所达到的有益效果：
本方法对道路上行驶的各种姿态车辆进行类别的区分，为后续更精细地对各种车辆做出行驶轨迹和碰撞报警预判，以提升整个前车防撞预警系统的鲁棒性。
附图说明
图1是本发明的框架图；
图2是本发明中道路车辆检测模块的结构图；
图3是本发明中获取目标图像中的车辆位置信息示意图；
图4是本发明中同向车的示意图；
图5是本发明中对向车示意图；
图6是本发明中横穿车示意图；
图7是本发明中截断车示意图；
图8是本发明中分割线示例图；
图9是本发明中Inception模块的结构图；
图10是本发明中残差结构的结构图；
图11是本发明中姿态分类网络的结构图；
图12是本发明中车辆姿态分类模块的结果示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
需要说明，若本发明实施例中有方向性指示(诸如上、下、左、右、前、后......)，则其仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。姿态分类网络，采用目前主流的分类网络，属于现有技术，本发明不再详细阐述。
实施例1
本发明实施例中提供了一种道路车辆行驶姿态分类方法，包括：
获取车辆前方的道路图像；
将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；
将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息。进一步地，本实施例中各个车辆的位置信息送入分类图像预处理方法中，抠取相应的图像块Patch，包括：
从道路车辆检测模块获得某车辆的位置信息，位置信息包括该车辆车架的左上角坐标(x1，y1)和该车辆车架的右下角坐标(x2，y2)，中心点的计算方式为：
Figure BDA0003099101980000031
检测框标出该车辆所在区域范围，检测框宽度W＝(x2-x1)，检测框高度H＝(y2-y1),检测框宽度和检测框高度相同；
采用检测框宽度和检测框高度中的最大值外扩若干倍做为新的检测框宽度和新的检测框高度，公式为：
T＝1.2*(max(W,H))，根据中心点P及目标框T来抠取相应的Patch；
若该车辆的部分车体与道路图像的边界有交叉，则用同一个目标框标出包括该交叉的图像边界和该车辆的部分车的区域范围；
将Patch归一化缩放到姿态分类网络所需要的大小。
进一步地，本实施例中姿态类别包括：同向车、对向车、横穿车和截断车；部分姿态车辆的两面分割线为车辆的相邻两面连接处的分割线。
进一步地，本实施例中道路图像获取模块，通过车载摄像头实时获取本车正前方的道路图像数据。
实施例2
本发明实施例中提供了一种道路车辆行驶姿态分类装置，采用实施例1所述的方法，其中，车辆检测神经网络框架基于yolov5的检测框架，采用MobilenetV2网络作为车辆检测的主干网络。
进一步地，本实施例中姿态分类网络使用Inception模块及残差结构的网络结构，最终的输出拆分为两支，一支做为15个类别的车辆姿态的分类输出，一支做为两面分割线的回归分支；其中分类模块用的是交叉熵loss，回归的loss用的是L2 Loss。
实施例3
本发明实施例中提供了一种道路车辆行驶姿态分类系统，包括：
道路图像获取模块，用于获取车辆前方的道路图像；
道路车辆检测模块，用于将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；
车辆姿态分类模块，用于各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；
用于将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息。
在本发明实施例的一种具体实施方式中，所述道路图像获取模块可以选用车载单目摄像头，具体地，把车载单目摄像头安装在车辆内的前车窗玻璃上，车载单目摄像头采集车辆行驶过程中本车正前方的道路信息以及车况信息。采集图片的输入尺寸为1280*720P。
在本发明实施例的一种具体实施方式中，所述道路车辆检测模块使用yolov5的检测框架，采用MobilenetV2网络作为车辆检测的主干网络，将摄像头获取的图像进行缩放后输入MobilenetV2网络得到车辆在图像中的位置信息；通过三层特征图对应anchor的解码，获取目标图像中的车辆位置信息，保证轻量化网络参数的同时获得不错的检测性能。
通过对Yolov5 head网络输出进行解码，从三层不同大小的特征图中解码出不同尺度的目标，保证了道路车辆维持在较高的召回率。
在本发明实施例的一种具体实施方式中，所述车辆姿态分类模块根据图像中车辆的位置信息，抠取相对应的patch，预处理后送入车辆姿态分类网络中，获得当前车辆的姿态类别以及部分姿态下的两面分割线。正常道路车辆有如下的姿态类别：同向车、对向车、横穿车和截断车，同向车为与本车辆同方向行驶的车辆，对向车为与本车辆行驶方向相反的车辆，横穿车为行驶方向与本车辆垂直的车辆，截断车为只有部分车体出现在车辆图像中的车辆。
此分类方式主要根据其在图像中大概会出现的位置以及车辆行驶方向信息来进行精细划分，以便后续的模块更准确的判定出不同危险等级的车辆信息，给出更精准的预警信息。由于道路中绝大部分姿态的车辆在图像中会呈现出两个面(单侧面+尾部或者单侧面+头部)，为了更准确的车辆的角度信息，需要对包含两个面姿态的车辆进行一次回归操作，找到两个面的分割线。分割线示例图如图9所示。
车载单目摄像头上述部件在现有技术中可采用的型号很多，本领域技术人员可根据实际需求选用合适的型号，本实施例不再一一举例。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种道路车辆行驶姿态分类方法，其特征在于，包括：
获取车辆前方的道路图像；
将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；
各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；
将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息；
各个车辆的位置信息送入分类图像预处理方法中，抠取相应的图像块Patch，包括：
从道路车辆检测模块获得某车辆的位置信息，位置信息包括该车辆车架的左上角坐标(x 1 ,y 1 )和该车辆车架的右下角坐标(x 2 ,y 2 )，中心点的计算方式为：
Figure 846737DEST_PATH_IMAGE002
，
检测框标出该车辆所在区域范围，检测框宽度W=(x 2 - x 1 )，检测框高度H=(y2- y1),检测框宽度和检测框高度相同；
采用检测框宽度和检测框高度中的最大值外扩若干倍做为新的检测框宽度和新的检测框高度，公式为：
T= 1.2*（max(W , H)），根据中心点P及目标框T来抠取相应的Patch；
若该车辆的部分车体与道路图像的边界有交叉，则用同一个目标框标出包括该交叉的图像边界和该车辆的部分车的区域范围；
将Patch归一化缩放到姿态分类网络所需要的大小。
2.根据权利要求1所述的一种道路车辆行驶姿态分类方法，其特征在于，
姿态类别包括：同向车、对向车、横穿车和截断车；部分姿态车辆的两面分割线为车辆的相邻两面连接处的分割线。
3.根据权利要求1所述的一种道路车辆行驶姿态分类方法，其特征在于，道路图像获取模块，通过车载摄像头实时获取本车正前方的道路图像数据。
4.一种道路车辆行驶姿态分类装置，其特征在于，采用权利要求1-3任一项所述的方法，其中，
车辆检测神经网络框架基于yolov5的检测框架，采用MobilenetV2网络作为车辆检测的主干网络。
5.根据权利要求4所述的一种道路车辆行驶姿态分类装置，其特征在于，
姿态分类网络使用Inception模块及残差结构的网络结构，最终的输出拆分为两支，一支做为15个类别的车辆姿态的分类输出，一支做为两面分割线的回归分支；其中分类模块用的是交叉熵loss，回归的loss用的是L2 Loss。
6.一种道路车辆行驶姿态分类系统，其特征在于，包括：
道路图像获取模块，用于获取车辆前方的道路图像；
道路车辆检测模块，用于将获取的道路图像送入车辆检测神经网络框架中，获取道路图像中各个车辆的位置信息；
车辆姿态分类模块，用于各个车辆的位置信息送入分类图像预处理方法中，抠取相应的Patch；
用于将Patch送入姿态分类网络，得到相应的姿态类别以及部分姿态车辆的两面分割线信息；
各个车辆的位置信息送入分类图像预处理方法中，抠取相应的图像块Patch，包括：
从道路车辆检测模块获得某车辆的位置信息，位置信息包括该车辆车架的左上角坐标(x 1 ,y 1 )和该车辆车架的右下角坐标(x 2 ,y 2 )，中心点的计算方式为：
Figure DEST_PATH_IMAGE003
，
检测框标出该车辆所在区域范围，检测框宽度W=(x 2 - x 1 )，检测框高度H=(y2- y1),检测框宽度和检测框高度相同；
采用检测框宽度和检测框高度中的最大值外扩若干倍做为新的检测框宽度和新的检测框高度，公式为：
T= 1.2*（max(W , H)），根据中心点P及目标框T来抠取相应的Patch；
若该车辆的部分车体与道路图像的边界有交叉，则用同一个目标框标出包括该交叉的图像边界和该车辆的部分车的区域范围；
将Patch归一化缩放到姿态分类网络所需要的大小。
CN202110619819.6A 2021-06-03 2021-06-03 一种道路车辆行驶姿态分类方法、装置及其系统 Active CN113408375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110619819.6A CN113408375B (zh) 2021-06-03 2021-06-03 一种道路车辆行驶姿态分类方法、装置及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110619819.6A CN113408375B (zh) 2021-06-03 2021-06-03 一种道路车辆行驶姿态分类方法、装置及其系统

Publications (2)

Publication Number Publication Date
CN113408375A CN113408375A (zh) 2021-09-17
CN113408375B true CN113408375B (zh) 2022-06-07

Family

ID=77676166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110619819.6A Active CN113408375B (zh) 2021-06-03 2021-06-03 一种道路车辆行驶姿态分类方法、装置及其系统

Country Status (1)

Country Link
CN (1) CN113408375B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216004B2 (en) * 2017-11-07 2022-01-04 Uatc, Llc Map automation—lane classification
CN110232379A (zh) * 2019-06-03 2019-09-13 上海眼控科技股份有限公司 一种车辆姿态检测方法及系统
CN110458225A (zh) * 2019-08-08 2019-11-15 北京深醒科技有限公司 一种车辆检测和姿态分类联合识别方法

Also Published As

Publication number Publication date
CN113408375A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN103021177B (zh) 一种雾天交通监控视频图像的处理方法和系统
Assidiq et al. Real time lane detection for autonomous vehicles
Cheng et al. Lane detection with moving vehicles in the traffic scenes
CN101916383B (zh) 基于多摄像机的车辆检测跟踪识别系统
García-Garrido et al. Fast road sign detection using hough transform for assisted driving of road vehicles
CN110309764B (zh) 一种基于深度学习的多阶段驾驶员打电话行为检测方法
CN101964145A (zh) 一种自动车牌识别方法及其系统
CN112132789A (zh) 基于级联式神经网络的受电弓在线检测装置及方法
CN103400113B (zh) 基于图像处理的高速公路隧道行人检测方法
CN104157160B (zh) 车辆行驶控制方法、装置及车辆
García-Garrido et al. Robust traffic signs detection by means of vision and V2I communications
CN105205785A (zh) 一种可定位的大型车辆运行管理系统及其运行方法
US20180114073A1 (en) Method and device for counting pedestrians based on identification of head top of human body
CN105512641B (zh) 一种标定雨雪状态下视频中的动态行人及车辆的方法
Dow et al. A crosswalk pedestrian recognition system by using deep learning and zebra‐crossing recognition techniques
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN110458050A (zh) 基于车载视频的车辆切入检测方法及装置
CN104574993A (zh) 一种道路监控的方法及装置
Kamijo et al. Pedestrian detection algorithm for on-board cameras of multi view angles
CN107918775B (zh) 一种辅助车辆安全驾驶的斑马线检测方法及系统
CN114387533A (zh) 道路违规识别的方法、装置、电子设备及存储介质
CN116958195A (zh) 物件追踪整合方法及整合装置
CN106295546A (zh) 一种基于视频的交通标志检测与识别方法
CN113408375B (zh) 一种道路车辆行驶姿态分类方法、装置及其系统
CN103295003A (zh) 一种基于多特征融合的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant