CN111144383A - 一种检测车辆偏转角度的方法 - Google Patents
一种检测车辆偏转角度的方法 Download PDFInfo
- Publication number
- CN111144383A CN111144383A CN202010039889.XA CN202010039889A CN111144383A CN 111144383 A CN111144383 A CN 111144383A CN 202010039889 A CN202010039889 A CN 202010039889A CN 111144383 A CN111144383 A CN 111144383A
- Authority
- CN
- China
- Prior art keywords
- cnn
- angle
- vehicle
- data set
- mcr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种检测车辆偏转角度的方法,建立了可以检测车辆偏转角度的MCR‑CNN模型。该方法首先根据具体的检测环境确定MCR‑CNN模型中的CNN回归网络个数,然后制作车辆俯视图像数据集,再然后将图像数据集输入到多个CNN回归网络中进行训练,建立成MCR‑CNN模型,其次将待检测图像输入到MCR‑CNN模型中,得到多个检测结果,最后对比分析得到该图像对应的车辆偏转角度。本发明提供的方法能实现利用俯视图精确地检测出车辆的偏转角度,为无人驾驶的路径规划提供基础条件,提高智慧停车管理系统对已停放车辆偏转角度检测的精度。
Description
技术领域
本发明属于车辆环境感知领域,涉及一种检测车辆偏转角度的方法。
背景技术
随着地面上车辆的日益增多,交通枢纽的压力越来越大,停车难的问题越来越显著。因此,随之而来的就是智能交通网络和智慧停车管理系统的发展。其中智能交通网络中的重要一环——无人驾驶技术也在逐步发展着。在无人驾驶领域,面对越来越复杂的交通网络,提前预知目标物体的动作显得很有必要。而在智慧停车管理系统中,检测车辆的位置和姿态也是必不可少的一步。
目前为了确保无人驾驶车辆对环境的理解和把握,无人驾驶系统的环境感知部分通常需要获取车辆周围环境的大量信息,具体来说包括:其他车辆的偏转角度,障碍物的位置、速度以及可能的行为,可行驶的区域,交通规则等。其中无人驾驶车辆检测路面其他车辆的偏转角度和智慧停车管理系统检测已停放车辆的偏转角度时,通常是通过融合激光雷达、相机、毫米波雷达等多种传感器的数据整合后得出车辆偏转角度的。
而目前无论是无人驾驶车辆检测周围车辆的偏转角度,还是智慧停车管理系统检测已停放车辆的偏转角度,均是利用路面拍摄图像来分析目标车辆偏转角度的。利用路面拍摄图像分析车辆偏转角度易受到其他障碍物的干扰,给目标车辆偏转角度的检测造成很大困扰,因此对被测环境要求较高。如果是在车辆密集的停车场等复杂环境条件下对目标车辆偏转角度进行检测时,检测结果的误差会比较大。
发明内容
针对车辆偏转角度在检测时对被测环境要求较高、检测结果误差较大等技术问题,本发明的目的在于,提供一种基于多CNN (Convolutional Neural Networks)回归网络协作的MCR-CNN(Multi-collaborative Regression CNN)模型来检测车辆偏转角度的方法,将无人机、卫星等拍摄的车辆俯视图像输入到MCR-CNN模型中,MCR-CNN模型中的多个CNN回归网络对车辆俯视图像进行检测,得出多个检测结果,再对所有检测结果进行数据处理,得到图像中车辆的精确偏转角度。
本发明所提供的技术方案如下所描述:
一种检测车辆偏转角度的方法,采用的是基于多CNN回归网络协作的MCR-CNN模型进行检测,所述的MCR-CNN模型包含m个CNN回归网络,m个CNN回归网络分别为CNN1、CNN2、CNN3、…、CNNm,m为不小于3的正奇整数,
进一步地,所述的MCR-CNN模型包含m个CNN回归网络,m个CNN回归网络采用相同的网络架构。
更进一步地,m个不同的角度标签值组中的前f个角度标签值组在标定时需进行修
正,前f个角度标签值组中的所有角度标签值分别加上设定值,则所述的MCR-CNN模型中
的第t个CNN回归网络在训练时采用第t个数据集,第t个数据集对应的角度标签值组为,其中,
本发明与现有技术相比具有显著的优点和有益效果:
(1)本发明提供的检测车辆偏转角度的方法是利用无人机、卫星等拍摄车辆图像来检测车辆偏转角度的。对被测环境的要求偏低,有效解决了利用地面拍摄图像来检测车辆偏转角度时,障碍物干扰较大的问题;因此,此方法适用的环境范围较广。
(2)本发明创建多CNN回归网络协作的MCR-CNN模型,同一张图像通过MCR-CNN模型检测得出多个检测结果,再对比分析得出车辆偏转角度。有效解决了用一个CNN回归网络模型检测车辆偏转角度时误差较大的问题,MCR-CNN模型检测得出的车辆偏转角度误差较小,模型鲁棒性较强。
(3)本发明可以根据现实的传感器精度和路径规划时所需要的检测精度来改变MCR-CNN模型中的CNN回归网络个数。并且对不同CNN回归网络个数的MCR-CNN模型给出了不同的数据处理方法,适用范围广。
(4)本发明在创建数据集时,所有数据集的制作可以采用同一组照片,因此数据集制作简单方便。并且所述的MCR-CNN模型中的所有CNN回归网络可都采用相同的回归网络框架,模型简单,容易创建。
(5)本发明在创建数据集对应的角度标签值组时,前f个角度标签值组需要进行修正。这样避免了角度标签值组在归一化之后,角度标签值组中的前后标签值的数量级相差太大的问题,大大减小了检测误差。
附图说明
图1为本发明所用的车辆角度检测坐标系;
图2为一种CNN回归网络的网络架构示意图;
图3为本发明提供的技术方案的流程图;
图4为CNN1回归网络的检测误差分布;
图5为CNN2回归网络的检测误差分布;
图6为CNN3回归网络的检测误差分布;
图7为由3个CNN回归网络组成的MCR-CNN模型检测车辆偏转角度误差分布。
具体实施方式
本发明的目的在于提供一种采用基于多CNN(Convolutional Neural Networks)回归网络协作的MCR-CNN(Multi-collaborative Regression CNN)模型来检测车辆偏转角度的方法,以车辆的俯视图像为检测对象来检测目标车辆的偏转角度,用来解决车辆偏转角度在检测时对被测环境要求较高、检测结果误差较大等技术问题。为了使本发明的发明目的、技术方案和有益效果更加清楚,下面将通过实施方式对本发明作进一步地详细描述。
一种检测车辆偏转角度的方法,采用的是基于多CNN回归网络协作的MCR-CNN模型进行检测车辆偏转角度的,所述的MCR-CNN模型包含m个CNN回归网络,m个CNN回归网络分别为CNN1、CNN2、CNN3、…、CNNm,m为不小于3的正奇整数。例如,当车辆偏转角度的检测精度要求不高时,m可以确定为3,则此时所述的MCR-CNN模型中包含3个CNN回归网络,分别为CNN1、CNN2、CNN3。当然m也可以确定为5,则此时所述的MCR-CNN模型中包含5个CNN回归网络,分别为CNN1、CNN2、CNN3、CNN4、CNN5。通常来说,包含5个CNN回归网络的MCR-CNN模型比包含3个CNN回归网络的MCR-CNN模型对车辆偏转角度的检测精度更高。
其中所述的MCR-CNN模型中的m个CNN回归网络采用相同的网络架构。所述的MCR-CNN模型中无论是包含3个CNN回归网络还是包含5个CNN回归网络,亦或是包含更多个CNN回归网络,这里的所有CNN回归网络都是采用相同的回归网络架构。例如,可以采用如图2所示的网络架构,该网络架构包含1个数据层,3个卷积层,3个池化层, 2个全连接层,5个激活函数和1个损失函数。每个卷积层后面都跟有相应的激活函数,这里的激活函数可以采用Prelu函数。2个全连接层后跟的激活函数可以分别是Prelu函数和Sigmoid函数。m个CNN回归网络的架构确定后,所述的MCR-CNN模型中的m个CNN回归网络需要输入数据集进行训练后才可以检测车辆偏转角度。而m个CNN回归网络需要采用m不同的数据集进行训练。
当然,m个CNN回归网络也可以采用不同的网络架构,也就是说,m个CNN回归网络中的若干个回归网络的网络架构可以相同,也可以不同,也可以部分相同。
例如,当所述的MCR-CNN模型中包含3个CNN回归网络时,3个CNN回归网络采用3个
不同的数据集进行训练,3个不同的数据集对应着3个不同的角度标签值组。则第1个CNN回
归网络在训练时采用第1个数据集,第1个数据集对应的角度标签值组为;第2个CNN
回归网络在训练时采用第2个数据集,第2个数据集对应的角度标签值组为;第
3个CNN回归网络在训练时采用第3个数据集,第3个数据集对应的角度标签值组为。
当然,所述的MCR-CNN模型中也可以包含5个CNN回归网络。此时5个CNN回归网络采
用5个不同的数据集进行训练,5个不同的数据集对应着5个不同的角度标签值组。则第1个
CNN回归网络在训练时采用第1个数据集,第1个数据集对应的角度标签值组为;第
2个CNN回归网络在训练时采用第2个数据集,第2个数据集对应的角度标签值组为;第3个CNN回归网络在训练时采用第3个数据集,第3个数据集对应的角度标签
值组为;第4个CNN回归网络在训练时采用第4个数据集,第4个数据集对应的
角度标签值组为;第5个CNN回归网络在训练时采用第5个数据集,第5个数据
集对应的角度标签值组为。
在确定m个数据集对应的m个角度标签值组后,将m个不同的角度标签值组中的前f
个角度标签值组进行修正,前f个角度标签值组中的所有角度标签值分别加上设定值,则
所述的MCR-CNN模型中的第t个CNN回归网络在训练时采用第t个数据集,第t个数据集对应
的角度标签值组为,其中,
因为未进行修正的前f个角度标签值组中的角度标签值在标签值归一化处理后,标签值组中的前后标签值数量级相差较大,会导致后来的CNN回归网络检测精度下降,所以将前f个角度标签值组中的所有角度标签值分别加上个相应的设定值Xt。这里的归一化是将角度标签值组中的所有角度标签值均规划到[0°,1°]。例如当角度标签值为100°时,则经过归一化处理后该角度标签值对应为0.1°。
但又因为输入到CNN回归网络中训练的数据集图像顺序并未因此改变,所以对应的前f个CNN回归网络在检测时要将检测结果减去这个相应的设定值Xt。当前2个角度标签值组需要进行修正时,则第一个角度标签值组中的所有角度标签值均加上设定值X1,第二个角度标签值组中的所有角度标签值均加上设定值X2。检测时,将第一个CNN回归网络检测的结果均减去相应的设定值X1,第二个CNN回归网络检测的结果均减去相应的设定值X2。
这个设定值Xt的确定需要满足的条件是:对应的标签值组中的标签值加上设定值后,在标签值归一化处理后不影响对应的CNN回归网络检测精度。
将建立好的数据集输入到m个CNN回归网络中进行训练,训练好的m个CNN回归网络
组成MCR-CNN模型。将包含m个CNN回归网络的MCR-CNN模型建立好后,选取一张待检测的车
辆俯视图像,并对车辆俯视图像进行灰度化处理,然后将灰度化处理后的图像输入到所述
的MCR-CNN模型中进行检测,检测后获得m个检测结果,最后对这m个检测结果进行数据处理
得到车辆偏转角度。这时对m个检测结果进行数据处理的具体方法分为和m>9两种情
况:
例如,设当m等于7时,则7个CNN回归网络的7个检测结果分别为: 21.1°,21.8°21.1°,21.1°,18.2°21.3°,21.4°。
首先将这7个CNN回归网络的检测结果按照不减的顺序排列,组成顺序统计量18.2°,21.1°,21.1°,21.1°,21.3°,21.4°,21.8°。
若滑动窗口的宽度设定为d0=0.3°时,再从滑动窗口的左端覆盖顺序统计量18.2°开始,依次向右滑动,直到滑动窗口覆盖顺序统计量21.8°为止。
则滑动窗口的滑动过程为:
第1次覆盖1个量18.2°;
第2次覆盖5个量21.1°,21.1°,21.1°,21.3°,21.4°;
第3次覆盖4个量21.1°,21.1°,21.3°,21.4°;
第4次覆盖3个量21.1°,21.3°,21.4°;
第5次覆盖2个量21.3°,21.4°;
第6次覆盖1个量21.4°;
第7次覆盖1个量21.8°。
那么第2次滑动窗口覆盖的个数最多,以覆盖的5个统计量21.1°,21.1°,21.1°,21.3°,21.4°的平均值21.2°作为车辆偏转角度的检测结果。
情况Q2,当m>9时,将检测获得的m个检测结果用莱以特
准则对粗大误差给予剔除,然后求出余下检测结果的平均值, 最后用表示车辆偏转角
度。如果大或等于360°时,用对360°求余后的结果表示车辆偏转角度。
通常情况下,滑动窗口覆盖的顺序统计量个数最多的情况只有一种。如果出现滑动窗口覆盖的顺序统计量个数最多的情况不止一种时,通过重新设定宽度d0以确保滑动窗口覆盖的顺序统计量个数最多的情况只有一种。也可以用出现的多种情况中所有检测结果的平均值表示车辆偏转角度,其中多种情况中重叠的顺序统计量只记一次。
例如,设当m等于7时,则7个CNN回归网络的7个检测结果分别为: 21.1°,21.2°21.3°,21.2°,21.3°21.4°,21.9°。
首先将这7个CNN回归网络的检测结果按照不减的顺序排列,组成顺序统计量21.1°,21.2°,21.2°,21.3°,21.3°,21.4°,21.9°。
若滑动窗口的宽度设定为d0=0.2°时,再从滑动窗口的左端覆盖顺序统计量21.1°开始,依次向右滑动,直到滑动窗口覆盖顺序统计量21.9°为止。
则滑动窗口的滑动过程为:
第1次覆盖5个量21.1°(1),21.2°(2),21.2°(3),21.3°(4),21.3°(5);
第2次覆盖5个量21.2°(2),21.2°(3),21.3°(4),21.3°(5),21.4°(6);
第3次覆盖4个量21.2°,21.3°,21.3°,21.4°;
第4次覆盖3个量21.3°,21.3°,21.4°;
第5次覆盖2个量21.3°,21.4°;
第6次覆盖1个量21.4°;
第7次覆盖1个量21.9°;
括号“( )”中的数字代表顺序统计量的顺序。
那么第1次和第2次滑动窗口覆盖的顺序统计量个数最多,则以6个统计量21.1°(1),21.2°(2),21.2°(3),21.3°(4),21.3°(5),21.4°(6)的平均值21.25°作为车辆偏转角度的检测结果。
当CNN回归网络检测结果在360°整数倍附近时,需要考虑360°周期问题。例如当m确定为5时,5个CNN回归网络的检测结果分别为359.5°,359.2°,0.7°,0.5°,0.6°。此时,需要用360°加上0.7°,0.5°和0.6°这三个检测结果而得到三个新的检测结果。那么最后对5个新的检测结果进行数据处理,这5个检测结果分别为359.5°,359.2°,360.7°,360.5°,360.6°。
其中CNN回归网络在训练时,m个数据集的制作有很多种方法。可以采用实验的方法,用数码设备拍摄图像。也可以采用计算机三维建模辅助的方法进行,此方法更加简便。采用计算机三维建模辅助的方法时,m个不同的数据集建立的具体步骤为:
步骤S1:利用三维软件建模,建立一个三维的车辆模型;
步骤S2:利用三维软件中的动化仿真功能,以俯视视角,将模型车辆旋转360度并记录视频;
例如,可以使用Pro/e三维建模软件建立个三维的车辆模型,然后用Pro/e软件里自带的动画仿真功能来制作车辆360度旋转视频。
步骤S3:以角度d为间隔,将视频截取成360°/d张车辆模型的俯视图像;
步骤S4:将360°/d张车辆模型的俯视图像进行灰度化处理;
因此,m个数据集对应着m种不同的图像排列顺序,分别为:
……
则所述的MCR-CNN模型中的第1个CNN回归网络在训练时采用第1个数据集,第1个
数据集对应的角度标签值组中的角度标签值分别为0°、d、2d、…、和。
MCR-CNN模型中的第2个CNN回归网络在训练时采用第2个数据集,第2个数据集对应的角度
标签值组中的角度标签值分别为、、、…、和。MCR-CNN模型中的第3个CNN回归网络在训练
时采用第3个数据集,第3个数据集对应的角度标签值组中的角度标签值分别为、、、…、和。
以此类推,MCR-CNN模型中的第m个CNN回归网络在训练时采用第m个数据集,第m个数据集的
角度标签值组中的角度标签值分别为、、、…、和。
其中d的大小是根据车辆偏转角度的检测精度要求确定的,并且确保为整
数。其中d越小,360度被等分的份数越多,数据集里含有的图像数越多,CNN回归网络经过训
练时越复杂,检测车辆偏转角度时的精度越高。d越大,360度被等分的份数越少,数据集里
含有的图像数越少,CNN回归网络经过训练时越简单,但检测车辆偏转角度时的精度越低。
当d为0.25°时,360°被等分成1440份,则每个数据集中都包含着1440张图像,每张图像中的
车辆都对应着不同的偏转角度。当d为0.5°时,360°被等分成720份,则每个数据集中都包含
着720张图像,每张图像中的车辆都对应着不同的偏转角度。通常来说,当d为0.5°的MCR-
CNN模型比当d为0.25°的MCR-CNN模型的检测速度快,但相应的检测精度低。
例如,当m确定为3并且d确定为0.25°时,则3个数据集对应着3种不同的图像排列顺序,分别为:
第一个数据集对应的图像排列顺序为:以模型车辆偏转角度0°、0.25°、0.5°、…、359.5°和359.75°排列;
第二个数据集对应的图像排列顺序为:以模型车辆偏转角度120°、120.25°、120.5°、…、479.5°和479.75°;其中所有超过360°的角度都是模型车辆偏转角度加上360°的结果。例如:479.75°这个角度便是360°加上模型车辆偏转角度119.75°的结果,因此479.75°对应着车辆偏转角度为119.75°的图像。
第三个数据集对应的图像排列顺序为:以模型车辆偏转角度240°、240.25°、240.5°、…、599.5°和599.75°;其中所有超过360°的角度都是模型车辆偏转角度加上360°的结果。例如:599.75°这个角度便是360°加上模型车辆偏转角度239.75°的结果,因此599.75°对应着车辆偏转角度为239.75°的图像。
则所述的MCR-CNN模型中有3个CNN 回归网络,其中第一个CNN 回归网络在训练时采用第一个数据集,第一个数据集对应的角度标签值组中的角度标签值分别为0°、0.25°、0.5°、…、359.5°、359.75°。第二个CNN 回归网络在训练时采用第二个数据集,第二个数据集对应的标签值组中的角度标签值分别为120°、120.25°、120.5°、…、479.5°、479.75°;第三个CNN 回归网络在训练时采用第三个数据集,第三个数据集对应的角度标签值组中的角度标签值分别为240°、240.25°、240.5°、…、599.5°、599.75°。
例如,当m确定为5并且d确定为0.5°时,则5个数据集里对应着5种不同的图像排列顺序,分别为:
第一个数据集对应的图像排列顺序为:以模型车辆偏转角度0°、0.5°、1°、…、359°、359.5°排列;
第二个数据集对应的图像排列顺序为:以模型车辆偏转角度72°、72.5°、73°、…431°、431.5°排列;其中所有超过360°的角度都是模型车辆偏转角度加上360°的结果。例如:431.5°这个角度便是360°加上模型车辆偏转角度71.5°的结果,因此431.5对应着车辆偏转角度为71.5°的图像。
第三个数据集对应的图像排列顺序为:以模型车辆偏转角度144°、144.5°、145°、…、503°、503.5°;其中所有超过360°的角度都是模型车辆偏转角度加上360°的结果。例如:503.5°这个角度便是360°加上模型车辆偏转角度143.5°的结果,因此539.5°对应着车辆偏转角度为143.5°的图像。
第四个数据集对应的图像排列顺序为:以模型车辆偏转角度216°、216.5°、217°、…、575°、575.5°;其中所有超过360°的角度都是模型车辆偏转角度加上360°的结果;例如:575.5°这个角度便是360°加上模型车辆偏转角度215.5°的结果,因此629.5°对应着车辆偏转角度为215.5°的图像。
第五个数据集对应的图像排列顺序为:以模型车辆偏转角度288°、288.5°、289°、…、647°、647.5°;其中所有超过360°的角度都是模型车辆偏转角度加上360°的结果;例如:647.5°这个角度便是360°加上模型车辆偏转角度287.5°的结果,因此629.5°对应着车辆偏转角度为287.5°的图像。
则所述的MCR-CNN模型中有5个CNN 回归网络,其中第一个CNN 回归网络在训练时采用第一个数据集,第一个数据集对应的角度标签值组中的角度标签值分别为0°、0.5°、1°、…、359°、359.5°;第二个CNN 回归网络在训练时采用第二个数据集,第二个数据集对应的角度标签值组中的角度标签值为72°、72.5°、73°、…431°、431.5°;第三个CNN 回归网络在训练时采用第三个数据集,第三个数据集对应的角度标签值组中的角度标签值为144°、144.5°、145°、…、503°、503.5°;第四个CNN 回归网络在训练时采用第四个数据集,第四个数据集对应的角度标签值组中的角度标签值分别为216°、216.5°、217°、…、575°、575.5°;第五个CNN 回归网络在训练时采用第五个数据集,第五个数据集对应的角度标签值组中的角度标签值分别为288°、288.5°、289°、…、647°、647.5°。
当然,m个角度标签值组中的前f个角度标签值组还需要修正。当m确定为3并且d确定为0.25°时,则MCR-CNN模型有3个CNN 回归网络,其中第一个CNN 回归网络在训练时采用第一个数据集,第一个数据集对应的角度标签值组中的角度标签值分别为0°、0.25°、0.5°、…、359.5°、359.75°;第二个CNN 回归网络在训练时采用第二个数据集,第二个数据集对应的角度标签值组中的角度标签值分别为120°、120.25°、120.5°、…、479.5°、479.75°;第三个CNN 回归网络在训练时采用第三个数据集,第三个数据集对应的角度标签值组中的角度标签值分别为240°、240.25°、240.5°、…、599.5°、599.75°。这时对应需要进行修正的,便是第一个数据集对应的角度标签值组。原本第一个数据集对应的角度标签值组中的角度标签值分别为0°、0.25°、0.5°、…、359.5°、359.75°。修正时,将第一个数据集对应的角度标签值组中的所有标签值均加上120°,此时设定值即为120°。这样修正后的结果为:第一个CNN 回归网络在训练时采用第一个数据集,第一个数据集对应的角度标签值组中的角度标签值分别为120°、120.25°、120.5°、…、479.5°、479.75°;第二个CNN 回归网络在训练时采用第二个数据集,第二个数据集对应的标签值组中的角度标签值分别为120°、120.25°、120.5°、…、479.5°、479.75°;第三个CNN 回归网络在训练时采用第三个数据集,第三个数据集对应的角度标签值组中的角度标签值分别为240°、240.25°、240.5°、…、599.5°、599.75°。检测时,将第一个CNN回归网络的检测结果均减去120°。
当m确定为5并且d确定为0.5°时,则MCR-CNN模型有5个CNN 回归网络,其中第一个CNN 回归网络在训练时采用第一个数据集,第一个数据集对应的角度标签值组中的角度标签值分别为0°、0.5°、1°、…、359°、359.5°;第二个CNN 回归网络在训练时采用第二个数据集,第二个数据集对应的角度标签值组中的角度标签值分别为72°、72.5°、73°、…431°、431.5°;第三个CNN 回归网络在训练时采用第三个数据集,第三个数据集对应的角度标签值组中的角度标签值分别为144°、144.5°、145°、…、503°、503.5°;第四个CNN 回归网络在训练时采用第四个数据集,第四个数据集对应的角度标签值组中的角度标签值分别为216°、216.5°、217°、…、575°、575.5°。第五个CNN 回归网络在训练时采用第五个数据集,第五个数据集对应的角度标签值组中的角度标签值分别为288°、288.5°、289°、…、647°、647.5°。这时对应需要进行修正的,便是第一个数据集和第二个数据集对应的角度标签值组。原本第一个数据集对应的角度标签值组中的角度标签值分别为0°、0.5°、1°、…、359°、359.5°、360°,第二个数据集对应的角度标签值组中的角度标签值分别为72°、72.5°、73°、…431°、431.5°。修正时,将第一个数据集对应的角度标签值组中的所有标签值均加上144°,此时的设定值X1即为144°,将第二个数据集对应的角度标签值组中的所有标签值均加上72°,此时的X2设定值即为72°。这样修正后的结果为:第一个CNN 回归网络在训练时采用第一个数据集,第一个数据集对应的角度标签值组中的角度标签值分别为144°、144.5°、145°、…、503°、503.5°;第二个CNN 回归网络在训练时采用第二个数据集,第二个数据集对应的角度标签值组里的角度标签值分别为144°、144.5°、145°、…、503°、503.5°;第三个CNN回归网络在训练时采用第三个数据集,第三个数据集对应的角度标签值组中的角度标签值分别为144°、144.5°、145°、…、503°、503.5°;第四个CNN 回归网络在训练时采用第四个数据集,第四个数据集对应的角度标签值组中的角度标签值分别为216°、216.5°、217°、…、575°、575.5°;第五个CNN 回归网络在训练时采用第五个数据集,第五个数据集对应的角度标签值组中的角度标签值分别为288°、288.5°、289°、…、647°、647.5°。检测时,将第一个CNN回归网络的检测结果均减去144°,第二个CNN回归网络的检测结果均减去72°。
当m确定为3,并且d确定为0.25°时,按照上述步骤建立好数据集,再对数据集对应
的角度标签值组进行标定并修正,然后将数据集输入到CNN回归网络中进行训练,训练后建
立好包含3个CNN回归网络的MCR-CNN模型后,随机选择数据集中一张已经经过灰度化处理
的图像输入到所述的MCR-CNN模型中就会获得三个检测结果,分别为。选择一
张图像,进行模拟实验后,获得三个检测结果,分别为、、。
然后对这三个检测结果进行数据处理,首先将3个检测结果按照不减的顺序排列,组成顺序统计量119.3823°,122.7209°,188.3840°。然后用宽度为d0=15°的滑动窗口去覆盖顺序统计量,从滑动窗口的左端覆盖顺序统计量119.3823°开始,依次向右滑动,直到滑动窗口覆盖顺序统计量188.3840°为止,其中设定值d0是根据三个CNN回归网络的检测精度确定的,当m确定为3时,滑动窗口的宽度d0设定为15°。
则滑动窗口的滑动过程为:
第1次覆盖2个顺序统计量119.3823°,122.7209°;
第2次覆盖1个顺序统计量122.7209°;
第3次覆盖1个顺序统计量188.3840°;
那么第1次滑动窗口覆盖的个数最多,以覆盖的2个统计量119.3823°,122.7209°的平均值121.0516°作为车辆偏转角度结果。
综上所述,本发明提供的一种检测车辆偏转角度的方法,如图3所示,具体应用时,包括以下步骤:
S1:确定CNN回归网络个数;
S2:制作数据集;
S3:建立多个CNN回归网络协作的MCR-CNN模型;
S4:通过检测得到多个检测结果;
S5:对比分析得到车辆偏转角度结果。
步骤S1中确定MCR-CNN模型中CNN回归网络个数时,要考虑传感器等硬件设备的精度和当时所需要的车辆偏转角度检测精度等,对于检测精度要求较高时,可以适当地确定更大的CNN回归网络个数m。但是CNN回归网络个数越多,检测结果相应就越多,在数据处理时就越复杂,模型运算速度就会有所减慢。因此,在确保精度要求能够达到的前提下,采用CNN回归网络个数尽量少的MCR-CNN模型,以提高模型在数据处理时的运算速度。
按照上述方法,当m确定为3,d确定为0.25°时,建立好3个数据集,并将数据集输入
到未被训练的3个CNN回归网络中进行训练,可以得到训练好的3个CNN回归网络,分别为
CNN1、CNN2、CNN3。然后将在建立数据集时制作的1440张图像全部输入到CNN1中,会获得对
应的1440个检测结果,将检测结果与车辆实际偏转角度对比,可以得出对应CNN1的检测误
差。如图4所示,可以看出CNN1在检测的车辆偏转角度时误差较小,在检测和的车辆偏转角度时误差较大。再将在建立数据集时制作的1440张
图像全部输入到CNN2中,会获得对应的1440个检测结果,将检测结果与车辆实际偏转角度
对比,可以得出对应的CNN2的检测误差。如图5所示,可以看出CNN2在检测和的车辆偏转角度时误差较小,在检测的车辆偏转角度时误差较
大。再将在建立数据集时制作的1440张图像全部输入到CNN3中,会获得对应的1440个检测
结果,将检测结果与车辆实际偏转角度对比,可以得出对应的CNN3的检测误差。如图6所示,
可以看出CNN3在检测和的车辆偏转角度时误差较小,在检测的车辆偏转角度时误差较大。因此用一个CNN回归网络模型检测车辆偏转
角度时,误差较大且检测的稳定性差。
再按照上述方法,将在建立数据集时制作的1440张图像输入由上述3个CNN回归网络CNN1、CNN2、CNN3组成的MCR-CNN模型中进行检测,每一张图像都会得到3个检测结果,经过数据处理后得到精确的车辆偏转角度。如图7所示,可以看出利用MCR-CNN模型检测车辆偏转角度时精度较高,而且检测结果的误差也较为稳定。
为了进一步提高MCR-CNN模型的检测精度,所述的MCR-CNN模型中的m个CNN回归网络可以从b个CNN回归网络中进行挑选,选取b个CNN回归网络中检测误差较小的m个CNN回归网络组成所述的MCR-CNN模型,其中b是不小于m的正奇整数。其中建立所述的MCR-CNN模型的具体步骤为:首先将b个CNN回归网络都进行训练,然后将数据集里的所有图像都输入到b个CNN回归网络中获得对应的检测结果,最后选取b个CNN回归网络中m个检测误差较小的CNN回归网络组成所述的MCR-CNN模型。MCR-CNN模型中的每个CNN回归网络的检测精度都是较高的,所述的MCR-CNN模型的检测精度因此提升。
例如:先将m确定为3,d确定为0.25度时,按照上述步骤先建立9个CNN回归网络,分别为CNN1、CNN2、CNN3、CNN4、CNN5、CNN6、CNN7、CNN8和CNN9。然后将数据集里的1440张图像都输入到9个CNN回归网络中获得对应的检测结果,将检测结果与车辆实际偏转角度对比,可以求得这9个CNN回归网络的检测误差,最后从中选择出三个检测误差较小的CNN回归网络组成所述的MCR-CNN模型。用这样经过选择的MCR-CNN模型检测车辆偏转角度时精度会更高。
上述的实施方式中,选择d时,确保为整数。实际上,不必确保为整
数,如果为不为整数时,直接取整即可。在制作数据集时,图像中车辆的偏转角度也可以不
用等分,随机选择车辆偏转角度拍摄图像并进行灰度化处理制作数据集即可。
需要注意的是,上述具体实施仅仅是示例性的,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行各种改进和变形,如将多个检测结果用莱以特准则对粗大误差给予剔除改为用拉依达准则对粗大误差给予剔除等,这些改进或者变形均落在本发明的保护范围内。本领域技术人员应该明白,上述的具体描述只是为了解释本发明的目的,并非用于限制本发明。本发明的保护范围由权利要求及其等同物限定。
Claims (5)
2.根据权利要求1所述的检测车辆偏转角度的方法,其特征在于,所述的MCR-CNN模型中的m个CNN回归网络采用相同的网络架构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010039889.XA CN111144383B (zh) | 2020-01-15 | 2020-01-15 | 一种检测车辆偏转角度的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010039889.XA CN111144383B (zh) | 2020-01-15 | 2020-01-15 | 一种检测车辆偏转角度的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111144383A true CN111144383A (zh) | 2020-05-12 |
CN111144383B CN111144383B (zh) | 2023-03-28 |
Family
ID=70524929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010039889.XA Active CN111144383B (zh) | 2020-01-15 | 2020-01-15 | 一种检测车辆偏转角度的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111144383B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118189898A (zh) * | 2024-05-20 | 2024-06-14 | 四川华腾公路试验检测有限责任公司 | 一种隧道检修道盖板倾斜角度检测分析系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018007079A1 (en) * | 2016-07-08 | 2018-01-11 | Jaguar Land Rover Limited | Improvements in vehicle speed control |
CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
CN108898628A (zh) * | 2018-06-21 | 2018-11-27 | 北京纵目安驰智能科技有限公司 | 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质 |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN109190171A (zh) * | 2018-08-02 | 2019-01-11 | 武汉中海庭数据技术有限公司 | 一种基于深度学习的车辆运动模型优化的方法 |
CN109509223A (zh) * | 2018-11-08 | 2019-03-22 | 西安电子科技大学 | 基于深度学习的前方车辆测距方法 |
-
2020
- 2020-01-15 CN CN202010039889.XA patent/CN111144383B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018007079A1 (en) * | 2016-07-08 | 2018-01-11 | Jaguar Land Rover Limited | Improvements in vehicle speed control |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
CN108898628A (zh) * | 2018-06-21 | 2018-11-27 | 北京纵目安驰智能科技有限公司 | 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质 |
CN109190171A (zh) * | 2018-08-02 | 2019-01-11 | 武汉中海庭数据技术有限公司 | 一种基于深度学习的车辆运动模型优化的方法 |
CN109509223A (zh) * | 2018-11-08 | 2019-03-22 | 西安电子科技大学 | 基于深度学习的前方车辆测距方法 |
Non-Patent Citations (2)
Title |
---|
王荣辉等: "基于深度学习的无人机影像车辆检测研究", 《江西测绘》 * |
阮航等: "基于Faster R-CNN的车辆多属性识别", 《计算机技术与发展》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118189898A (zh) * | 2024-05-20 | 2024-06-14 | 四川华腾公路试验检测有限责任公司 | 一种隧道检修道盖板倾斜角度检测分析系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111144383B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111429514B (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
Lu et al. | Monocular semantic occupancy grid mapping with convolutional variational encoder–decoder networks | |
CN107230218B (zh) | 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备 | |
CN111192293B (zh) | 一种运动目标位姿跟踪方法及装置 | |
CN109829445B (zh) | 一种视频流中的车辆检测方法 | |
CN113447923A (zh) | 目标检测方法、装置、系统、电子设备及存储介质 | |
CN114581887B (zh) | 车道线的检测方法、装置、设备和计算机可读存储介质 | |
CN111860072A (zh) | 泊车控制方法、装置、计算机设备及计算机可读存储介质 | |
CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
CN114155501A (zh) | 一种无人车在烟雾遮挡环境下的目标检测方法 | |
CN111489394A (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
CN113065431B (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
CN115345905A (zh) | 目标对象跟踪方法、装置、终端及存储介质 | |
CN114730472A (zh) | 车载相机的外部参数的标定方法及相关装置 | |
CN112036381A (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
Zhang et al. | PSNet: Perspective-sensitive convolutional network for object detection | |
Ren et al. | Environment influences on uncertainty of object detection for automated driving systems | |
CN110211190B (zh) | 相机自运动参数估计模型的训练方法、装置及存储介质 | |
CN111144383B (zh) | 一种检测车辆偏转角度的方法 | |
Wakai et al. | Rethinking generic camera models for deep single image camera calibration to recover rotation and fisheye distortion | |
CN113269838A (zh) | 一种基于fira平台的障碍物视觉检测方法 | |
Yang et al. | A novel vision-based framework for real-time lane detection and tracking | |
CN115578256A (zh) | 一种无人机航拍绝缘子红外视频全景拼接方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |