CN107633684B - 一种用于无人驾驶车的特种车辆识别方法 - Google Patents
一种用于无人驾驶车的特种车辆识别方法 Download PDFInfo
- Publication number
- CN107633684B CN107633684B CN201711175317.9A CN201711175317A CN107633684B CN 107633684 B CN107633684 B CN 107633684B CN 201711175317 A CN201711175317 A CN 201711175317A CN 107633684 B CN107633684 B CN 107633684B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- special
- target
- information
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于无人驾驶车的特种车辆识别方法包括：多通道信息采集、车辆检测与特征提取、特种车辆识别处理。根据深度学习从多通道的实时交通视音频信息中提取目标车辆特征，利用贝叶斯统计学习实现多模态融合的特种车辆身份识别。根据特种车辆的标志及其特有的图像特征，以及警灯和警报的声光特征，可快速识别特种车辆及其工作状态。本发明可实现无人驾驶车对道路中正在执行任务的特种车辆的检测和识别，并及时通知无人驾驶车的操作系统采取避让措施，为无人驾驶车及时规避具有优先通行权的道路参与对象，提供决策依据，本方法可减少特种目标车辆的误识问题，提升无人驾驶车的智能化水平。
Description
技术领域
本发明涉及一种特种车辆识别方法，特别是一种用于无人驾驶车的特种车辆识别方法。
背景技术
我国道路交通安全法规定，在道路行驶的执行紧急任务的警车、消防车、救护车和工程救险车等特种车辆，具有显示身份的权利和义务，不受行驶路线、行驶方向、行驶速度和信号灯限制的通行自由，以及要求其他车辆和行人让行的优先通行权。随着智能交通和无人驾驶技术的日趋成熟，无人驾驶车的操纵系统必须考虑特种车辆的优先通行权问题。
传统方法通常在车辆上安装RFID电子身份设备、构建3D模型、车辆外形轮廓或车牌号来识别特种车辆，一般检测和识别效率较低。即使能识别出其为特种车辆，往往也无法及时判定车辆是否正在执行紧急任务，无法应用于无人驾驶车辆的避让操作。而目前采用车联网的通信相互标识身份的技术与标准尚有待成熟，因此非常有必要进行相关研究。
发明内容
本发明的目的在于提供一种用于无人驾驶车的特种车辆识别方法。它能够克服现有技术的不足，基于声光多模态融合的特种车辆身份识别，可快速识别特种车辆及其任务状态，在交通场景中,当特种目标车辆的图像和声光出现时，能及时通知无人驾驶车的操作系统采取避让措施，可减少特种目标车辆的误识问题，并有效地提升无人驾驶车智能化水平。
其解决方案是：一种用于无人驾驶车的特种车辆识别方法，包括以下步骤：
步骤S1：多通道信息采集，无人驾驶设备的特种车辆识别系统，采用多通道信息采集模块，实时获取道路交通的视音频数据；
所述步骤S1：多通道信息采集包括如下具体步骤：
步骤S11：由无人驾驶设备上的全景摄像头采集实时交通场景的视频信息；
步骤S12：由无人驾驶设备上的定向拾音器采集实时交通场景的音频信息。
步骤S2：车辆检测与特征提取，实时交通场景信息送入车辆检测模块；并对检测出可能有紧急执行任务的特种车辆图像和声音，通过深度神经网络处理，提取网络激活信息作为目标车辆的特征；
所述步骤S2：车辆检测与特征提取，包括如下具体步骤：
步骤S21：从实时交通场景的视频关键帧图像中，检出有警灯闪烁的包含应急特种车辆的最小外包矩形区，通过图像深度神经网络的处理，从目标的关键帧图像中提取激活特征；
步骤S22：从实时交通场景的音频频谱图中，检测出包含应急特种车辆警报声的音频帧；并通过音频深度神经网络的处理，在目标的频谱图中提取激活特征。
步骤S3：特种车辆识别处理，通过概率统计学习，分析送入特种车辆识别模块的多模态的车辆特征信息；根据车辆身份的知识图谱和时空上下文，识别出目标车辆的特种车辆身份；
所述步骤S3：特种车辆识别处理，包括如下具体步骤：
步骤S31：车辆身份的时空上下文，存储目标车辆的时空相对位置和时空变化信息，为无人车对特种车辆目标识别和控制决策提供信息；
步骤S32：车辆身份的知识图谱，存储特种车辆的执行紧急任务时的音视频属性，以及目标对象的概率信息，为特种车辆的多模态目标识别提供先验知识；
步骤S33：多模态贝叶斯推理，根据检出车辆的图像特征和音频特征，以及车辆身份的知识图谱和时空上下文，采用贝叶斯统计学习方法，识别和推断目标车辆的特种身份。
进一步，上述特种车辆识别结果，还可根据目标车辆身份的时空上下文预判目标车辆的行驶轨迹，为无人驾驶设备执行控制指令避让特种车辆提供依据。
本发明采用上述技术方案，基于声光多模态融合的特种车辆身份识别，根据特种车辆的标志及其特有的图像特征，以及警灯和警报声光特征，可快速识别特种车辆及其任务状态。特种车辆按规定安装专用的警灯和警报器，只有在警灯和警报器工作期间，才可认定是属于执行紧急任务而享有优先通行权的特种车辆。在交通场景中，当特种目标车辆的图像和声光出现，可为无人驾驶车的及时检测和识别道路中正在执行任务的特种车辆，为无人驾驶车规避具有优先通行权的道路参与对象，提供有效的决策依据，并通知无人驾驶车的操作系统采取避让措施，减少特种目标车辆的误识问题，提升无人驾驶车智能化水平。
附图说明
图1是一种用于无人驾驶车的特种车辆识别方法的流程图。
具体实施方式
下面结合附图详细描述本发明的具体实施方式。
图1中，一种用于无人驾驶车的特种车辆识别方法，包括如下步骤：
步骤S1：多通道信息采集。无人驾驶车上的特种车辆识别系统，采用多通道信息采集模块，实时获取道路交通场景的视音频信息。
所述步骤S1多通道信息采集的具体方法包括如下步骤：
步骤S11：由无人驾驶车的全景摄像头采集实时交通场景的视频信息TV；
步骤S12：由无人驾驶车的定向拾音器采集实时交通场景的音频信息TA。
从视频信息TV提取目标关键帧的RGB图像Ic，对音频信息数据TA做短时傅立叶分析，获得交通场景音频数据的频谱图Af。二者构成实时交通场景的多模态信息TS<Ic,Af>。
步骤S2：车辆检测与特征提取。将由步骤S1构成的实时交通场景的多模态信息，即实时交通场景信息TS<Ic,Af>送入车辆检测模块；并对检测出可能包含有执行紧急任务的特种车辆图像帧和声音帧kTS<sIc,sAf>，通过深度神经网络DNN处理，提取网络的激活信息构造目标车辆的特征矩阵FC<Fi,Fa>，其中Fi为带有警灯闪烁的目标车辆的视觉特征，Fa为目标车辆警报的听觉特征。深度神经网络DNN可看成对交通场景信息kTS<sIc,sAf>的一种非线性变换，即：
DNN:kTS<sIc,sAf>→FC<Fi,Fa>
所述步骤S2的车辆检测与特征提取的具体方法包括如下步骤：
步骤S21：从实时交通场景的目标关键帧的RGB图像Ic中，检出有警灯闪烁的包含应急特种车辆的最小外包矩形区sIc，通过图像的深度神经网络DNNi处理，在目标的关键帧图像中提取激活特征矩阵Fi，即：
Fi=DNNi(sIc)
步骤S22：从实时交通场景的频谱图Af中，检测出包含应急特种车辆警报声的音频帧sAf；并通过深度神经网络DNNa处理，在目标的频谱图中提取激活特征矩阵Fa，即：
Fa=DNNa(sAf)
步骤S3：特种车辆识别处理。通过概率统计学习，分析送入特种车辆识别模块的多模态的车辆特征矩阵FC<Fi,Fa>，根据车辆身份的知识图谱KG和时空上下文TSC，识别出目标车辆的特种车辆身份SID。
所述步骤S3的特种车辆识别处理具体方法包括如下步骤：
步骤S31：车辆身份的时空上下文TSC，存储目标车辆的时空相对位置四元组<Sti,Stj, Tti, Ttj>和时空变化四元组<dSti, dStj, dTti, dTtj>信息，为无人驾驶车对特种车辆目标识别和控制决策提供信息；
步骤S32：车辆身份的知识图谱三元组KGi<FCi,SIDi,Poi>，存储特种车辆身份SIDi的执行紧急任务时的音视频属性FCi，以及目标对象的概率信息Poi，为特种车辆的多模态目标识别提供先验知识；
步骤S33：多模态贝叶斯推理，根据检出车辆特征矩阵FC<Fi,Fa>，以及车辆身份的知识图谱KG和时空上下文TSC共同构成目标车辆的身份类型判定条件TC<FC,KG,TSC>。由特种车辆的先验概率P(SIDi)，根据贝叶斯统计学习方法，可识别和推断目标车辆的特种身份SIDi，即：
进一步，上述特种车辆识别结果，还可根据目标车辆身份的时空上下文预判目标车辆的行驶轨迹，为无人驾驶车执行控制指令避让特种车辆提供依据。
上列较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施而己，并不用以限制本发明，凡在本发明的总体构思和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种用于无人驾驶车的特种车辆识别方法，包括如下步骤：
步骤S1：多通道信息采集；无人驾驶车上的特种车辆识别系统，采用多通道信息采集模块，实时获取道路交通场景的视音频信息；
所述步骤S1多通道信息采集的具体方法包括如下步骤：
步骤S11：由无人驾驶车的全景摄像头采集实时交通场景的视频信息TV；
步骤S12：由无人驾驶车的定向拾音器采集实时交通场景的音频信息TA；
从视频信息TV提取目标关键帧的RGB图像Ic，对音频信息数据TA做短时傅立叶分析，获得交通场景音频数据的频谱图Af；二者构成实时交通场景的多模态信息TS<Ic,Af>；
步骤S2：车辆检测与特征提取；将由步骤S1构成的实时交通场景的多模态信息，即实时交通场景信息TS<Ic,Af>送入车辆检测模块；并对检测出可能包含有执行紧急任务的特种车辆图像帧和声音帧kTS<sIc,sAf>，通过深度神经网络DNN处理，提取网络的激活信息构造目标车辆的特征矩阵FC<Fi,Fa>，其中Fi为带有警灯闪烁的目标车辆的视觉特征，Fa为目标车辆警报的听觉特征；深度神经网络DNN可看成对交通场景信息kTS<sIc,sAf>的一种非线性变换，
所述步骤S2的车辆检测与特征提取的具体方法包括如下步骤：
步骤S21：从实时交通场景的目标关键帧的RGB图像Ic中，检出有警灯闪烁的包含应急特种车辆的最小外包矩形区，通过图像的深度神经网络DNNi处理，在目标的关键帧图像中提取激活特征矩阵Fi，
步骤S22：从实时交通场景的频谱图Af中，检测出包含应急特种车辆警报声的声音帧sAf；并通过深度神经网络DNN处理，在目标的频谱图中提取激活特征矩阵Fa；
步骤S3：特种车辆识别处理；通过概率统计学习，分析送入特种车辆识别模块的多模态的车辆特征矩阵FC<Fi,Fa>，根据车辆身份的知识图谱KG和时空上下文TSC，识别出目标车辆的特种车辆身份SID；
所述步骤S3的特种车辆识别处理具体方法包括如下步骤：
步骤S31：车辆身份的时空上下文TSC，存储目标车辆的时空相对位置和时空变化信息，为无人车对特种车辆目标识别和控制决策提供信息；
步骤S32：车辆身份的知识图谱三元组KGi<FCi,SIDi,Poi>，存储特种车辆身份SIDi的执行紧急任务时的音视频属性FCi，以及目标对象的概率信息Poi，为特种车辆的多模态目标识别提供先验知识；
步骤S33：多模态贝叶斯推理，根据检出车辆特征矩阵FC<Fi,Fa>，以及车辆身份的知识图谱KG和时空上下文TSC共同构成目标车辆的身份类型判定条件TC<FC,KG,TSC>；由特种车辆的先验概率P(SIDi)，根据贝叶斯统计学习方法，可识别和推断目标车辆的特种身份SIDi，上述特种车辆识别结果，还包括根据目标车辆身份的时空上下文预判目标车辆的行驶轨迹，为无人驾驶车执行控制指令避让特种车辆提供依据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711175317.9A CN107633684B (zh) | 2017-11-22 | 2017-11-22 | 一种用于无人驾驶车的特种车辆识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711175317.9A CN107633684B (zh) | 2017-11-22 | 2017-11-22 | 一种用于无人驾驶车的特种车辆识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107633684A CN107633684A (zh) | 2018-01-26 |
| CN107633684B true CN107633684B (zh) | 2020-11-24 |
Family
ID=61107795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711175317.9A Active CN107633684B (zh) | 2017-11-22 | 2017-11-22 | 一种用于无人驾驶车的特种车辆识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633684B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112400192B (zh) * | 2018-04-20 | 2023-01-24 | 多伦多大学理事会 | 多模态深度交通信号控制的方法和系统 |
| CN109030021A (zh) * | 2018-07-11 | 2018-12-18 | 长安大学 | 一种无人车紧急车辆避让能力测试方法及测试场 |
| CN110733499A (zh) * | 2018-07-18 | 2020-01-31 | 大陆泰密克汽车系统（上海）有限公司 | 自主车辆及其控制方法 |
| CN108958264B (zh) * | 2018-08-03 | 2021-07-23 | 北京智行者科技有限公司 | 基于自动驾驶技术的道路交通稽查方法和车辆 |
| CN109552328B (zh) * | 2018-12-26 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 一种自动避让特种车辆的控制方法及车载系统 |
| CN110494341A (zh) * | 2019-06-28 | 2019-11-22 | 驭势科技（北京）有限公司 | 一种智能驾驶车辆让行方法、装置及车载设备 |
| CN111028859A (zh) * | 2019-12-15 | 2020-04-17 | 中北大学 | 一种基于音频特征融合的杂交神经网络车型识别方法 |
| CN111645073B (zh) * | 2020-05-29 | 2022-04-19 | 武汉理工大学 | 一种机器人视觉语义导航方法、装置及系统 |
| CN111572475A (zh) * | 2020-06-02 | 2020-08-25 | 新石器慧通（北京）科技有限公司 | 一种远程驾驶辅助方法和系统 |
| CN112060089B (zh) * | 2020-08-31 | 2022-03-18 | 深圳优地科技有限公司 | 一种特种车辆的避让方法、装置、机器人及存储介质 |
| CN112180913A (zh) * | 2020-09-01 | 2021-01-05 | 芜湖酷哇机器人产业技术研究院有限公司 | 特种车辆识别方法 |
| CN113793518A (zh) * | 2021-09-13 | 2021-12-14 | 浙江大华技术股份有限公司 | 车辆通行处理方法、装置、电子设备和存储介质 |
| CN113911117A (zh) * | 2021-11-03 | 2022-01-11 | 北京胜能能源科技有限公司 | 一种车辆让路方法、装置、电子设备及存储介质 |
| CN116013095A (zh) * | 2023-03-24 | 2023-04-25 | 中国科学技术大学先进技术研究院 | 红绿灯时间动态控制方法、装置、设备及可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100507971C (zh) * | 2007-10-31 | 2009-07-01 | 北京航空航天大学 | 基于独立分量分析的车辆声音识别方法 |
| CN103020606B (zh) * | 2012-12-27 | 2017-02-22 | 北京大学 | 一种基于时空上下文信息的行人检测方法 |
| US9563199B1 (en) * | 2013-11-27 | 2017-02-07 | Google Inc. | Assisted perception for autonomous vehicles |
| US9576208B2 (en) * | 2013-12-11 | 2017-02-21 | Continental Automotive Systems, Inc. | Emergency vehicle detection with digital image sensor |
| US9720410B2 (en) * | 2014-03-03 | 2017-08-01 | Waymo Llc | Remote assistance for autonomous vehicles in predetermined situations |
| US9278689B1 (en) * | 2014-11-13 | 2016-03-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous vehicle detection of and response to emergency vehicles |
| US10074274B2 (en) * | 2016-02-29 | 2018-09-11 | Faraday & Future Inc. | Emergency signal detection and response |
-
2017
- 2017-11-22 CN CN201711175317.9A patent/CN107633684B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107633684A (zh) | 2018-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633684B (zh) | 一种用于无人驾驶车的特种车辆识别方法 | |
| CN105938657B (zh) | 一种无人驾驶车辆的听觉感知与智能决策系统 | |
| CN107067718B (zh) | 交通事故责任评估方法、交通事故责任评估装置以及交通事故责任评估系统 | |
| TWI430212B (zh) | 利用多特徵自動集群法之異常行為偵測系統與方法 | |
| WO2018058958A1 (zh) | 一种道路车辆交通告警系统及其方法 | |
| CN105488453A (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
| CN104751668B (zh) | 交通信息管理系统 | |
| CN105160884A (zh) | 一种融合视频监控和rfid的车辆识别方法及装置 | |
| US9536157B2 (en) | Method for identification of a projected symbol on a street in a vehicle, apparatus and vehicle | |
| CN110222596B (zh) | 一种基于视觉的驾驶员行为分析防作弊方法 | |
| KR102174556B1 (ko) | 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치 | |
| CN104809887A (zh) | 一种高速公路上车辆逆行检测方法与自动报警装置 | |
| CN109670450B (zh) | 一种基于视频的人车物检测方法 | |
| CN110435672A (zh) | 一种基于场景预判安全驾驶辅助方法及其系统 | |
| CN103907145A (zh) | 用于在注意力不够集中时警告机动车驾驶员的方法和设备 | |
| CN113055649A (zh) | 一种隧道智能视频监控方法、装置、智能终端及存储介质 | |
| US8229170B2 (en) | Method and system for detecting a signal structure from a moving video platform | |
| CN114170585B (zh) | 危险驾驶行为的识别方法、装置、电子设备及存储介质 | |
| CN210666820U (zh) | 一种基于dsp边缘计算的行人异常行为检测系统 | |
| KR101519261B1 (ko) | 차량의 모니터링 방법 및 자동 제동 장치 | |
| CN111564020A (zh) | 一种驾驶安全防控系统、存储介质以及计算机设备 | |
| Jen et al. | Robust detection and tracking of vehicle taillight signals using frequency domain feature based Adaboost learning | |
| CN110705416B (zh) | 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统 | |
| CN116630891A (zh) | 一种交通异常事件检测系统及方法 | |
| CN106530711A (zh) | 一种用于高速车辆的视频图像智能交通分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |