CN111339834A - 车辆行驶方向的识别方法、计算机设备及存储介质 - Google Patents
车辆行驶方向的识别方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111339834A CN111339834A CN202010079521.6A CN202010079521A CN111339834A CN 111339834 A CN111339834 A CN 111339834A CN 202010079521 A CN202010079521 A CN 202010079521A CN 111339834 A CN111339834 A CN 111339834A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- map
- scene
- target vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000013528 artificial neural network Methods 0.000 claims abstract description 69
- 238000010586 diagram Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 29
- 238000012360 testing method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种车辆行驶方向的识别方法、计算机设备及计算机可读存储介质,该方法包括:获取目标车辆进入采集区域时抓拍到的车辆识别图;从车辆识别图中提取车辆图及场景图;将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图;将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向。通过上述方式,本申请能够提高对车辆行驶方向识别的准确率。
Description
技术领域
本申请涉及智慧交通领域,特别是涉及一种车辆行驶方向的识别方法、计算机设备及计算机可读存储介质。
背景技术
智慧交通是在智能交通的基础上,在交通领域中充分运用物联网、云计算、互联网、人工智能、自动控制、移动互联网等技术,通过高新技术汇集交通信息,对交通管理、交通运输、公众出行等等交通领域全方面以及交通建设管理全过程进行管控支撑,使交通系统在区域、城市甚至更大的时空范围具备感知、互联、分析、预测、控制等能力,以充分保障交通安全、发挥交通基础设施效能、提升交通系统运行效率和管理水平,为通畅的公众出行和可持续的经济发展服务。
智能交通中,车辆在行驶过程中会经过多个路口,也可能行驶在复杂的交通路道中等,在车辆行驶过程的经过的多个区域需要对车辆的行驶方向进行判定,以提高交通的安全水平以及提高道路网的通行能力。目前,车辆的行驶方向进行识别时,当车流量较多、车道线不清晰、遮挡、不对称路口等情况下,极大的影响对车辆行驶方向识别的准确性。
发明内容
本申请提供一种车辆行驶方向的识别方法、计算机设备及计算机可读存储介质,可以提高对车辆行驶方向识别的准确率。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种车辆行驶方向的识别方法。该方法包括:获取目标车辆进入采集区域时抓拍到的车辆识别图;从车辆识别图中提取车辆图及场景图;将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图;将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机设备。该设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的一种车辆行驶方向的识别方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机可读存储介质。计算机可读存储介质存储有计算机程序,计算机程序被执行以实现上述的一种车辆行驶方向的识别方法。
本申请的有益效果是:获取目标车辆进入采集区域时抓拍到的车辆识别图;从车辆识别图中提取车辆图及场景图;将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图;将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向。通过将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图,输入多个相关特征分别进行学习,再将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向,拼接学习到的多个特征,既学习到了车辆的姿态,也学习了车辆所处场景周围的道路信息,提升了车辆行驶方向识别的准确率。本申请只需获取目标车辆进入采集区域时抓拍到的车辆识别图,并从车辆识别图中提取车辆图及场景图,不依赖于车道线,面对车流量较多、车道线不清晰、遮挡、不对称路口等情况,也可以提高对车辆行驶方向识别的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的车辆行驶方向的识别方法第一实施方式的流程示意图;
图2是本申请提供的提取车辆图及场景图的示意图;
图3是本申请提供的图1中步骤S110的流程示意图;
图4是本申请提供的采集区域的一实施方式的示意图;
图5是本申请提供的采集区域的另一实施方式的示意图;
图6是本申请提供的车辆行驶方向的识别方法第二实施方式的流程示意图;
图7是本申请提供的车辆行驶方向的识别方法第三实施方式的流程示意图;
图8是本申请提供的车辆行驶方向的识别方法第四实施方式的流程示意图;
图9是本申请提供的计算机设备的结构示意图;
图10是本申请提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供一种车辆行驶方向的识别方法,提供车辆行驶方向的识别方法的第一实施方式,请参阅图1,该方法包括以下步骤:
S110:获取目标车辆进入采集区域时抓拍到的车辆识别图。
获取目标车辆进入采集区域时抓拍到的车辆识别图,采集区域可以是车辆在行驶过程中经过的多个路口所在的区域,车辆在采集区域可进行车辆行驶方向变化,当目标车辆进入采集区域,可对目标车辆进行抓拍,所抓拍到的目标的图可以作为车辆行驶方向的车辆识别图,车辆识别图可以表达车辆在多个路口的行驶方向变化。
S120:从车辆识别图中提取车辆图及场景图。
请参阅图2,在车辆识别图F中,识别车辆识别图F中的目标车辆10,以提取包括目标车辆10的车辆图F1。可以按照目标车辆10的位置提取车辆图F1和场景图F2。可以从获取的目标车辆10进入采集区域时抓拍到的车辆识别图F中提取车辆图F1和场景图F2,车辆图F1可以包括目标车辆10的车辆信息,也可以包括目标车辆10的外观姿态,例如目标车辆10的车牌号、颜色、车型等,场景图F2可以包括目标车辆10的周边环境信息、场景信息等。
在车辆识别图F中,可以识别出目标车辆10,目标车辆10可以包括目标车辆10的车牌号、颜色、车型等外观姿态信息。例如可利用机器视觉、图像处理等,从车辆识别图F中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,可以是目标车辆10的车辆图F1或场景图F2的提取区域,可以称为感兴趣区域(region of interest,简称RIO),在Halcon、OpenCV、Matlab、Python等机器视觉软件上可以利用各种算子(Operator)和函数来求得提取区域,从车辆识别图F中识别出目标车辆10的区域作为提取区域,这个区域可以根据用户自定义预先设置第一尺寸,可以将包含目标车辆10的提取区域按照预定设置的第一尺寸以矩形截取图像,可以得到车辆图F1,本申请对车辆图及车辆识别图的尺寸及具体提取方法不作限制。
基于车辆图F1扩大提取范围,以提取包括目标车辆10及目标车辆10周边场景的场景图F2。
场景图F2可以包括目标车辆10,目标车辆10的外观姿态等信息,还可以包括目标车辆10的周边场景的环境信息等。场景图F2可以体现目标车辆10的背景信息,目标车辆10在车辆识别图F中大小,目标车辆10与周围物品比例大小等信息。
可以将从车辆识别图F中识别出目标车辆10的区域作为提取区域,这个区域可以根据用户自定义预先设置第二尺寸,可以将包含目标车辆10的提取区域按照预定设置的第二尺寸以矩形截取图像,可以得到场景图F2,场景图F2的提取区域大于车辆图F1的提取区域,预先设置的第二尺寸大于第一尺寸。也可以基于上述得到车辆图F1的提取区域,进一步扩大的提取范围,可以预先设置扩大的第三尺寸,第三尺寸的大小可以根据具体车辆图F1的大小、车辆识别图F的大小进行设置,本申请对场景图的提取不作限制。
以车辆图F1为中心,扩大提取范围,提取范围为车辆识别图F的1/8~1/5。也可以基于从车辆识别图F中提取车辆图F1,可以以车辆图F1为中心,向车辆图F1的四周扩大提取范围,扩大的提取范围可以是车辆识别图F的1/8~1/5。也可以根据目标车辆10的情况进行分别设置,也可以根据不同的采集区域的环境情况等设置场景图F2的提取区域尺寸,本申请对场景图的提取尺寸不作限制。
S130:将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图。
将从车辆识别图中提取的车辆图和场景图按照一一对应关系分别输入神经网络,将车辆图输入到车辆神经网络,将场景图输入到场景神经网络。其中,神经网络为卷积神经网络(Convolutional Neural Network,CNN),车辆卷积神经网络的卷积层对车辆图进行卷积计算,输出得到车辆特征图,卷积核可以根据车辆图进行设置,卷积层的层数及大小也可以根据车辆图进行设置。场景卷积神经网络的卷积层对场景图进行卷积计算,输出得到场景特征图。
在车辆图输入到车辆神经网络后,卷积层对车辆图进行卷积计算后,场景卷积神经网络的卷积层对场景图进行卷积计算后,池化层还可以使用激活函数例如ReLU函数(TheRectified Linear Unit)对卷积计算的进行修正输出,得到车辆特征图和场景特征图。
其中,车辆图和场景图的尺寸不同,车辆图的尺寸小于场景图的尺寸,将车辆图输入到车辆神经网络输出车辆特征图,将场景图输入到场景神经网络输出场景特征图,输出得到的车辆特征图和场景特征图的尺寸可以是相同的。
本申请通过将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图,在车辆行驶方向的识别中,既重点学习到了目标车辆的车辆姿态,也学习到了目标车辆所处场景周围的道路环境信息,提升了车辆行驶方向的识别准确率。
S140:将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向。
将得到的尺寸相同的车辆特征图和场景特征图输入Concat层进行拼接,Concat层可以将车辆特征图和场景特征图按照在channel或num维度上进行拼接,例如Concat层可以按channel将车辆特征图和场景特征图进行拼接,将两个输入拼接为一个输出至全连接层,全连接层可以将各部分特征汇总产生分类器,进行预测识别目标车辆的行驶方向。其中,连接层确定分类类别,分类类别可以目标车辆的行驶方向,例如分类类别可以是“直行”、“左转”、“右转”或“转弯”等行驶方向分类,以连接层确定分类类别可以识别目标车辆的行驶方向。通过将车辆特征图和场景特征图的尺寸缩放至相同,通过Concat层拼接两个学习到的不同的深度特征,进而继续学习,可以得到更准确的行驶方向分类。
本申请提供的车辆行驶方向的识别方法,通过将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图,输入多个相关特征分别进行学习,再将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向,Concat层拼接学习到的多个特征,既学习到了车辆的姿态,也学习了车辆所处场景周围的道路信息,提升了车辆行驶方向识别的准确率。本申请只需获取目标车辆进入采集区域时抓拍到的车辆识别图,并从车辆识别图中提取车辆图及场景图,不依赖于车道线,面对车流量较多、车道线不清晰、遮挡、不对称路口等情况,也可以提高对车辆行驶方向识别的准确率。
上述步骤S110获取车辆进入采集区域时抓拍到的车辆识别图,请参阅图3,可以包括如下步骤:
S111:获取在采集区域内抓拍到的抓拍图像。
可以将道路的分叉路口作为目标车辆的车辆识别图的采集区域,可以在分叉路口的每一路口采集每一道路的目标车辆的图像。例如可以使用前端相机进行抓拍,也可以使用网络摄像机进行抓拍,也可以是交通道路所设置的相机进行抓拍,可以在分叉路口的每一路口设置相机,相机可以对每一路口驶出的目标车辆进行抓拍,以获取在该采集区域内抓拍到的抓拍图像。
请参阅图4和图5,获取在采集区域内抓拍到的抓拍图像,抓拍的图像可以是目标车辆10从路口A按行道方向30行驶至可以是路口B、路口C或路口D时抓拍的图像,当目标车辆10行驶至路口B、路口C或路口D的停止线40时抓拍的图像可以作为目标车辆10行驶的最后一帧的图像,可以作为车辆识别图。
获取在采集区域内抓拍到的抓拍图像,可以是抓拍的三张目标车辆10的图像,当目标车辆10出现在相机20视野E内,相机20抓拍目标车辆10的第一帧图像;当目标车辆10越过当前路口的停止线40,相机20抓拍目标车辆10的第二帧图像;当目标车辆10驶出当前路口,触发分叉路口另一路口的停止线40,相机20抓拍目标车辆10的第三帧图像。相机20抓拍的三帧图像可以作为在采集区域内抓拍到的抓拍图像。相机20中配置有抓拍区域的,相机20可以根据配置的抓拍区域进行目标车辆10的抓拍。
获取在采集区域内抓拍到的抓拍图像,抓拍图像也可以是抓拍的二张目标车辆10的图像,当目标车辆10出现在相机20视野内,相机20抓拍目标车辆10的第一帧图像;当目标车辆10驶出当前路口,触发分叉路口另一路口的停止线,相机20抓拍目标车辆10的第二帧图像。相机20抓拍的二帧图像可以作为在采集区域内抓拍到的抓拍图像。
获取在采集区域内抓拍到的抓拍图像,抓拍的图像也可以是相机20对路口进行摄像的视频中的帧图像,从帧图像中可以找出所需的目标车辆10在采集区域内抓拍的抓拍图像。抓拍的图像也可以是在采集区域所抓拍的多个目标车辆10的多个图像。
S112:根据目标车辆的特征信息,将与目标车辆相关的抓拍图像作为关联图像集。
识别抓拍图像中目标车辆的特征,以获得特征信息。
可以从多个抓拍图像中识别出目标车辆的特征,以获得特征信息。特征信息可以是目标车辆的外观姿态信息,例如可以是目标车辆的车牌号、颜色、车型或尺寸等特征信息,可以是以目标车辆的车牌号进行关联,也可以是以目标车车辆的车型信息进行关联,特征信息进行抓拍图像的关联,以将与目标车辆相关的抓拍图像作为关联图像集。例如当目标车辆出现在相机视野内,相机抓拍目标车辆的第一帧图像,可以从目标车辆的第一帧图像获取目标车辆的特征信息,以获取的目标信息可以关联第二帧或第三帧的图像,可以将关联的目标车辆的抓拍图像作为关联图像集。
获取抓拍图像中目标车辆的特写图,将特写图作为特征信息。
当获取到抓拍的图像中目标车辆的特写图时,也可以将特写图作为特征信息进行抓拍图像的关联。特写图可以是包括了目标车辆的车牌号、颜色、车型和尺寸等特征信息。例如当目标车辆出现在相机视野内,相机抓拍目标车辆的第一帧图像,可以从目标车辆的第一帧图像获取目标车辆的特写图,可以将此特写图作为特征信息,以获取的目标信息可以关联第二帧或第三帧的图像,可以将关联的目标车辆的抓拍图像作为关联图像集。
S113:将关联图像集中表示目标车辆行驶的最后一帧的图像作为车辆识别图。
在关联的图像集中,可以将表示目标车辆最后一帧的图像作为车辆识别图,表示目标车辆最后一帧的图像可以从当前路口行驶到另一路口停止线时所抓拍的图像,可以表达目标车辆的行驶方向。
请参阅图4和图5,当目标车辆10行驶至路口B、路口C或路口D的停止线40时抓拍的图像可以作为目标车辆10行驶的最后一帧的图像,可以作为车辆识别图,可以作为车辆识别图用以识别图像车辆的行驶方向。
例如目标车辆10从当前路口A按行道方向30行驶到路口B时,可以抓拍到目标车辆10在路口B的停止线40处的抓拍图像,该抓拍图像可以作为目标车辆10行驶的最后一帧图像,可以作为车辆识别图用以识别图像车辆的行驶方向,可以表示目标车辆10的行驶方向为“右转”。目标车辆10从当前路口A行驶到路口C时,可以抓拍到目标车辆10在路口C的停止线40处的抓拍图像,该抓拍图像可以作为目标车辆10行驶的最后一帧图像,可以作为车辆识别图用以识别图像车辆的行驶方向,可以表示目标车辆10的行驶方向为“直行”。目标车辆10从当前路口A行驶到路口D时,可以抓拍到目标车辆10在路口D的停止线40处的抓拍图像,该抓拍图像可以作为目标车辆10行驶的最后一帧图像,可以作为车辆识别图用以识别图像车辆的行驶方向,可以表示目标车辆10的行驶方向为“左转”。目标车辆10从当前路口A按行道方向30行驶到路口A的另一行道方向31时,可以抓拍到目标车辆10在路口A的另一行道方向31的停止线40处的抓拍图像,该抓拍图像可以作为目标车辆10行驶的最后一帧图像,可以表示目标车辆10的行驶方向为“转弯”。
本申请提供一种车辆行驶方向的识别方法,提供车辆行驶方向的识别方法的第二实施方式,请参阅图6,该方法包括以下步骤:
S210:获取目标车辆进入采集区域时抓拍到的车辆识别图。
该步骤的具体过程具体可参考上述实施方式中步骤S110的过程,在此不再赘述。
S220:从车辆识别图中提取车辆图及场景图。
该步骤的具体过程具体可参考上述实施方式中步骤S120的过程,在此不再赘述。
S230:将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图。
该步骤的具体过程具体可参考上述实施方式中步骤S130的过程,在此不再赘述。
S240:将车辆特征图和场景特征图拼接后输入到综合神经网络,以得到综合特征图。
可以将车辆图输入到车辆神经网络输出得到的车辆特征图,将场景图输入到场景神经网络输出得到的场景特征图,得到的尺寸相同的车辆特征图和场景特征图输入Concat层进行拼接,Concat层可以按channel将车辆特征图和场景特征图进行拼接,将两个输入车辆特征图和场景特征图拼接为一个输出拼接结果。拼接后,可以将拼接结果输入到综合神经网络,得到综合特征图。综合神经网络可以是卷积神经网络,其卷积核可以根据拼接结果设置卷积矩阵,拼接结果进行卷积计算后输出综合特征图。其中,车辆神经网络与场景神经网络并联,Concat层与神经网络串联,可以将多个输入拼接为一个输出。将输入多个相关特征分别进行学习,通过Concat层拼接多输入学习到的特征,拼接多个学习到的特征输入综合神经网络进行再学习,可以提升车辆行驶方向的识别准确率。
S250:将综合特征图输入到连接层以确定分类类别,分类类别表示目标车辆的行驶方向。
拼接的多个输入学习到的特征再输入综合神经网络得到的综合特征图,将综合特征图输入全连接层以确定分类类别,分类类别可以目标车辆的行驶方向,例如分类类别可以是“直行”、“左转”、“右转”或“转弯”等行驶方向分类,以连接层确定分类类别可以识别目标车辆的行驶方向。
对于上述实施方式,本申请还提供一种车辆行驶方向的识别方法,对于神经网络的训练方法,车辆神经网络、场景神经网络和连接层由包括行驶方向信息的训练车辆识别图进行训练。本申请提供车辆行驶方向的识别方法的第三实施方式,请参阅图7,该方法包括以下步骤:
S310:获取样本车辆进入采集区域时抓拍到的车辆识别图,以及车辆识别图对应的样本车辆行驶方向。
获取样本车辆进入采集区域时抓拍到的车辆识别图,以及车辆识别图对应的样本车辆行驶方向,可以是将关联图像集中表示样本车辆行驶的最后一帧的图像作为车辆识别图,样本车辆行驶方向可以是样本车辆在实际行驶过程中所行驶的方向。可以将多个样本车辆的车辆识别图分为测试集和训练集,其比例可以是测试集10%,训练集90%,训练集可以用以训练神经网络,测试集可用于对训练的神经网络进行测试,训练集和测试集可以根据具体训练情况而设置,本申请对此不做限制。
S320:从车辆识别图中提取车辆图及场景图。
从样本车辆的车辆识别图中提取车辆图及场景图,车辆图和场景图包括样本车辆的对应的行驶方向,车辆图的尺寸与场景图的尺寸不同。该步骤的具体过程具体可参考上述实施方式中步骤S120的过程,在此不再赘述。
S330:将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图。
将车辆图及对应的样本车辆的行驶方向输入到车辆神经网络获取车辆特征图,将场景图及对应的样本车辆的行驶方向输入到场景神经网络获取场景特征图,其中,车辆图及场景图按照一一对应关系输入卷积神经网络,车辆特征图的尺寸与场景特征图的尺寸相同。该步骤的具体过程具体可参考上述实施方式中步骤S130的过程,在此不再赘述。
S340:将车辆特征图和场景特征图输入到连接层以确定分类类别,分类类别表示样本车辆的行驶方向,得到输出与车辆识别图对应的训练行驶方向。
将车辆特征图和场景特征图输入Concat层进行拼接后,输入全连接层对拼接后的特征图确定分类类别,得到输出与车辆识别图对应的训练行驶方向。该步骤的具体过程具体可参考上述实施方式中步骤S140的过程,在此不再赘述。
S350:以输出的训练行驶方向作为调整目标,调整车辆神经网络、场景神经网络或连接层的参数,以满足预设条件。
可以将车辆识别图中的测试集进行测试,以输出的训练行驶方向作为调整目标,调整车辆神经网络、场景神经网络或连接层的参数,使得输出的训练行驶方向与车辆识别图对应的行驶方向之间的误差最小。若训练行驶方向与车辆识别图对应的行驶方向之间的误差满足预设条件,则可以确定神经网络已训练好。预设条件可以是准确率达到90%,也可以是准确率达到95%,具体准确率可以根据不同道路进行不同设置,本申请对此不做限制。
对于上述实施方式,本申请还提供一种车辆行驶方向的识别方法,对于神经网络的训练方法,车辆神经网络、场景神经网络和连接层由包括行驶方向信息的训练车辆识别图进行训练。本申请提供车辆行驶方向的识别方法的第四实施方式,请参阅图8,该方法包括以下步骤:
S410:获取样本车辆进入采集区域时抓拍到的车辆识别图,以及车辆识别图对应的样本车辆行驶方向。
该步骤的具体过程具体可参考上述实施方式中步骤S310的过程,在此不再赘述。
S420:从车辆识别图中提取车辆图及场景图。
从样本车辆的车辆识别图中提取车辆图及场景图,车辆图和场景图包括样本车辆的对应的行驶方向。该步骤的具体过程具体可参考上述实施方式中步骤S320的过程,在此不再赘述。
S430:将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图。
将车辆图输入到车辆神经网络获取车辆特征图,将场景图输入到场景神经网络获取场景特征图,输出的车辆特征图的尺寸与输出的场景特征图的尺寸相同。该步骤的具体过程具体可参考上述实施方式中步骤S330的过程,在此不再赘述。
S440:将车辆特征图和场景特征图拼接后输入到综合神经网络,以得到综合特征图。
将车辆特征图和场景特征图输入Concat层进行拼接后,输入综合神经网络以得到综合特征图,该步骤的具体过程具体可参考上述实施方式中步骤S240的过程,在此不再赘述。
S450:将综合特征图输入到连接层以确定分类类别,分类类别表示样本车辆的行驶方向,得到输出与车辆识别图对应的训练行驶方向。
将综合特征图输入到连接层可以对特征进行分类以确定分类类别,分类类别表示样本车辆的行驶方向,可以得到输出与车辆识别图对应的训练行驶方向。该步骤的具体过程具体可参考上述实施方式中步骤S340的过程,在此不再赘述。
S460:以输出的训练行驶方向作为调整目标,调整车辆神经网络、场景神经网络、综合神经网络或连接层的参数,以满足预设条件。
可以将车辆识别图中的测试集进行测试,以输出的训练行驶方向作为调整目标,调整车辆神经网络、场景神经网络、综合神经网络或连接层的参数,使得输出的训练行驶方向与车辆识别图对应的行驶方向之间的误差最小。若训练行驶方向与车辆识别图对应的行驶方向之间的误差满足预设条件,则可以确定神经网络已训练好。该步骤的具体过程具体可参考上述实施方式中步骤S350的过程,在此不再赘述。
对于上述实施方式,本申请提出了一种计算机设备,请参阅图9,该计算机设备500包括处理器510和存储器520,其中,处理器510和存储器520耦接,存储器520中存储有可以在处理器上运行的计算机程序,处理器510用于执行计算机程序以实现上述车辆行驶方向的识别方法。
在本实施例中,处理器510还可以称为CPU(Central Processing Unit,中央处理单元)。处理器510可能是一种集成电路芯片,具有信号的处理能力。处理器510还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。
对于上述实施方式的方法,其可以计算机程序的形式存在,因而本申请提出一种计算机可读存储介质,请参阅图10,图10是本申请提供的计算机可读存储介质的结构示意图。本实施例计算机可读存储介质600中存储有计算机程序610,其可被执行以实现上述实施例中的方法。
本实施例计算机可读存储介质600可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质,或者也可以为存储有该程序指令的服务器,该服务器可将存储的程序指令发送给其他设备运行,或者也可以自运行该存储的程序指令。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种车辆行驶方向的识别方法,其特征在于,所述方法包括:
获取目标车辆进入采集区域时抓拍到的车辆识别图;
从所述车辆识别图中提取车辆图及场景图;
将所述车辆图输入到车辆神经网络获取车辆特征图,将所述场景图输入到场景神经网络获取场景特征图;
将所述车辆特征图和所述场景特征图输入到连接层以确定分类类别,所述分类类别表示所述目标车辆的行驶方向。
2.根据权利要求1所述的识别方法,其特征在于,所述获取车辆进入采集区域时抓拍到的车辆识别图,包括:
获取在所述采集区域内抓拍到的抓拍图像;
根据所述目标车辆的特征信息,将与所述目标车辆相关的抓拍图像作为关联图像集;
将所述关联图像集中表示所述目标车辆行驶的最后一帧的图像作为所述车辆识别图。
3.根据权利要求2所述的识别方法,其特征在于,所述根据所述目标车辆的特征信息,将与所述目标车辆相关的抓拍图像作为关联图像集,之前包括:
识别所述抓拍图像中所述目标车辆的特征,以获得特征信息;或者,
获取所述抓拍图像中所述目标车辆的特写图,将所述特写图作为所述特征信息。
4.根据权利要求1所述的识别方法,其特征在于,所述从所述车辆识别图中提取车辆图及场景图,包括:
识别所述车辆识别图中的所述目标车辆,以提取包括所述目标车辆的车辆图;
基于所述车辆图扩大提取范围,以提取包括所述目标车辆及所述目标车辆周边场景的场景图。
5.根据权利要求4所述的识别方法,其特征在于,基于所述车辆图扩大提取范围,以提取包括所述目标车辆及所述目标车辆周边场景的场景图,包括:
以所述车辆图为中心,扩大提取范围,所述提取范围为所述车辆识别图的1/8~1/5。
6.根据权利要求1所述的识别方法,其特征在于,所述车辆图和所述场景图尺寸不同,所述车辆特征图和所述场景特征图尺寸相同。
7.根据权利要求1所述的识别方法,其特征在于,所述将所述车辆特征图和所述场景特征图输入到连接层以确定分类类别,包括:
将所述车辆特征图和所述场景特征图拼接后输入到综合神经网络,以得到综合特征图;
将所述综合特征图输入到连接层以确定所述分类类别。
8.根据权利要求1所述的识别方法,其特征在于,所述车辆神经网络、所述场景神经网络和所述连接层由包括行驶方向信息的训练车辆识别图进行训练。
9.一种计算机设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行以实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010079521.6A CN111339834B (zh) | 2020-02-04 | 2020-02-04 | 车辆行驶方向的识别方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010079521.6A CN111339834B (zh) | 2020-02-04 | 2020-02-04 | 车辆行驶方向的识别方法、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111339834A true CN111339834A (zh) | 2020-06-26 |
CN111339834B CN111339834B (zh) | 2023-06-02 |
Family
ID=71183869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010079521.6A Active CN111339834B (zh) | 2020-02-04 | 2020-02-04 | 车辆行驶方向的识别方法、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339834B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112289040A (zh) * | 2020-11-25 | 2021-01-29 | 浙江大华技术股份有限公司 | 一种车辆行驶方向识别的方法、装置及存储介质 |
CN114170810A (zh) * | 2021-12-28 | 2022-03-11 | 深圳市捷顺科技实业股份有限公司 | 车行方向识别方法、系统及其装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975915A (zh) * | 2016-04-28 | 2016-09-28 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
CN106257490A (zh) * | 2016-07-20 | 2016-12-28 | 乐视控股(北京)有限公司 | 检测行驶车辆信息的方法及系统 |
CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
WO2019047656A1 (zh) * | 2017-09-05 | 2019-03-14 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶车辆的方法和装置 |
US20190092318A1 (en) * | 2017-09-22 | 2019-03-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for rear signal identification using machine learning |
CN109697875A (zh) * | 2017-10-23 | 2019-04-30 | 华为技术有限公司 | 规划行驶轨迹的方法及装置 |
WO2019101720A1 (en) * | 2017-11-22 | 2019-05-31 | Connaught Electronics Ltd. | Methods for scene classification of an image in a driving support system |
CN109948418A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的违反导向违法自动审核方法 |
WO2019201163A1 (zh) * | 2018-04-20 | 2019-10-24 | 深圳市商汤科技有限公司 | 前向碰撞控制方法和装置、电子设备、程序和介质 |
CN110378236A (zh) * | 2019-06-20 | 2019-10-25 | 西安电子科技大学 | 基于深度学习的车辆身份识别模型构建、识别方法和系统 |
CN110414329A (zh) * | 2019-06-19 | 2019-11-05 | 上海眼控科技股份有限公司 | 一种基于图像的车辆行驶方向判断方法 |
CN110443159A (zh) * | 2019-07-17 | 2019-11-12 | 新华三大数据技术有限公司 | 数字识别方法、装置、电子设备及存储介质 |
CN110533925A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 车辆违法视频的处理方法、装置、计算机设备及存储介质 |
CN110633716A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种目标对象的检测方法和装置 |
CN110647839A (zh) * | 2019-09-18 | 2020-01-03 | 深圳信息职业技术学院 | 自动驾驶策略的生成方法、装置及计算机可读存储介质 |
CN110728843A (zh) * | 2019-09-10 | 2020-01-24 | 浙江大华技术股份有限公司 | 车辆抓拍方法及车辆抓拍装置、存储介质 |
-
2020
- 2020-02-04 CN CN202010079521.6A patent/CN111339834B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975915A (zh) * | 2016-04-28 | 2016-09-28 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
CN106257490A (zh) * | 2016-07-20 | 2016-12-28 | 乐视控股(北京)有限公司 | 检测行驶车辆信息的方法及系统 |
WO2019047656A1 (zh) * | 2017-09-05 | 2019-03-14 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶车辆的方法和装置 |
US20190092318A1 (en) * | 2017-09-22 | 2019-03-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for rear signal identification using machine learning |
CN109697875A (zh) * | 2017-10-23 | 2019-04-30 | 华为技术有限公司 | 规划行驶轨迹的方法及装置 |
WO2019101720A1 (en) * | 2017-11-22 | 2019-05-31 | Connaught Electronics Ltd. | Methods for scene classification of an image in a driving support system |
CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
WO2019201163A1 (zh) * | 2018-04-20 | 2019-10-24 | 深圳市商汤科技有限公司 | 前向碰撞控制方法和装置、电子设备、程序和介质 |
CN110633716A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种目标对象的检测方法和装置 |
CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
CN109948418A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的违反导向违法自动审核方法 |
CN110414329A (zh) * | 2019-06-19 | 2019-11-05 | 上海眼控科技股份有限公司 | 一种基于图像的车辆行驶方向判断方法 |
CN110378236A (zh) * | 2019-06-20 | 2019-10-25 | 西安电子科技大学 | 基于深度学习的车辆身份识别模型构建、识别方法和系统 |
CN110443159A (zh) * | 2019-07-17 | 2019-11-12 | 新华三大数据技术有限公司 | 数字识别方法、装置、电子设备及存储介质 |
CN110533925A (zh) * | 2019-09-04 | 2019-12-03 | 上海眼控科技股份有限公司 | 车辆违法视频的处理方法、装置、计算机设备及存储介质 |
CN110728843A (zh) * | 2019-09-10 | 2020-01-24 | 浙江大华技术股份有限公司 | 车辆抓拍方法及车辆抓拍装置、存储介质 |
CN110647839A (zh) * | 2019-09-18 | 2020-01-03 | 深圳信息职业技术学院 | 自动驾驶策略的生成方法、装置及计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112289040A (zh) * | 2020-11-25 | 2021-01-29 | 浙江大华技术股份有限公司 | 一种车辆行驶方向识别的方法、装置及存储介质 |
CN114170810A (zh) * | 2021-12-28 | 2022-03-11 | 深圳市捷顺科技实业股份有限公司 | 车行方向识别方法、系统及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111339834B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102197946B1 (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
CN109977773B (zh) | 基于多目标检测3d cnn的人体行为识别方法及系统 | |
Lyu et al. | Small object recognition algorithm of grain pests based on SSD feature fusion | |
CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
CN113111838B (zh) | 行为识别方法及装置、设备和存储介质 | |
CN104504395A (zh) | 基于神经网络实现人车分类的方法和系统 | |
CN111274886B (zh) | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 | |
CN111191654A (zh) | 道路数据生成方法、装置、电子设备及存储介质 | |
Razalli et al. | Emergency vehicle recognition and classification method using HSV color segmentation | |
CN111783654B (zh) | 车辆重识别方法、装置及电子设备 | |
CN112949578B (zh) | 车灯状态识别方法、装置、设备及存储介质 | |
CN111339834B (zh) | 车辆行驶方向的识别方法、计算机设备及存储介质 | |
CN107977592A (zh) | 一种图像文本检测方法及系统、用户终端及服务器 | |
CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
CN113591758A (zh) | 一种人体行为识别模型训练方法、装置及计算机设备 | |
CN113435232A (zh) | 一种物体的检测方法、装置、设备及存储介质 | |
CN114821519A (zh) | 一种基于坐标注意力的交通标志识别方法及系统 | |
CN113160272B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN113239931A (zh) | 一种物流站车牌识别的方法 | |
Rafi et al. | Performance analysis of deep learning YOLO models for South Asian regional vehicle recognition | |
CN114529885A (zh) | 一种道路交通护栏识别方法及装置 | |
CN114092746A (zh) | 一种多属性识别方法、装置、存储介质及电子设备 | |
CN114627439A (zh) | 一种基于360环视摄像头的移动物体检测方法 | |
CN117710755B (zh) | 一种基于深度学习的车辆属性识别系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |