CN110569739B - 一种基于深度学习和胎噪声谱图的汽车辅助系统及方法 - Google Patents
一种基于深度学习和胎噪声谱图的汽车辅助系统及方法 Download PDFInfo
- Publication number
- CN110569739B CN110569739B CN201910754015.XA CN201910754015A CN110569739B CN 110569739 B CN110569739 B CN 110569739B CN 201910754015 A CN201910754015 A CN 201910754015A CN 110569739 B CN110569739 B CN 110569739B
- Authority
- CN
- China
- Prior art keywords
- module
- road surface
- road
- computer
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 29
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000013500 data storage Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000001605 fetal effect Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 240000007651 Rubus glaucus Species 0.000 claims description 3
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 3
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000005094 computer simulation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 6
- 230000008014 freezing Effects 0.000 description 5
- 238000007710 freezing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Optimization (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Biophysics (AREA)
- Pure & Applied Mathematics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Mathematical Analysis (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Computational Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Image Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Atmospheric Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
Abstract
本发明涉及一种基于深度学习和胎噪声谱图的汽车辅助系统及方法，系统与汽车上的行车电脑连接，该系统包括数据采集模块、计算机模块、反馈模块、本地网络模块和云端服务器，计算机模块分别与数据采集模块、反馈模块、行车电脑和本地网络模块连接，本地网络模块分别与反馈模块和云端服务器连接。与现有技术相比，本发明具有利用基于卷积神经网络的深度学习技术对路面图像和胎噪声进行自动识别和特征提取，识别精度和识别效率高，能很好的适应多变天气和路况，利用近红外摄像和彩色摄像头结合，能较好地提高不良光照和气象条件下的成像质量，利用声谱图对胎噪声信息进行分析，鲁棒性和通用性强，行车安全性和区域路况预报能力高等优点。
Description
技术领域
本发明涉及一种汽车辅助系统及方法，尤其是涉及一种基于深度学习和胎噪声谱图的汽车辅助系统及方法。
背景技术
随着时代的发展和人们生活水平的提高，社会对于交通运输的需求日益增加，人们在享受快速发展的交通工具带来的便利的同时，交通事故也成为当今世界面临的严重问题之一。
路面结冰和路面防滑能力过差通常是恶性交通事故发生的主要原因，在车辆行驶过程中，对路面结冰状态和摩擦状态进行监测并实时反馈给驾驶员，能有效降低交通事故的发生率。
车辆行驶过程中的路面状态实时监测是当下智能交通领域的一大研究热点，国内外大量学者进行了路面状态自动识别方面的研究，论文“JiandongZhao,1HongqiangWu,1and LiangliangChen2.Road Surface State Recognition Based on SVM Optimizationand Image Segmentation Processing.Journal of Advanced Transportation”一文利用支持向量机预测道路表面状态，采用图像分割技术，输入特征包含灰度共生矩阵特征，RGB颜色矩阵特征，但是传统机器学习方法存在多种局限且在复杂环境下的识别效果不理想。基于传统机器学习的路面状态识别方法存在以下不足：1、基于传统机器学习的路面状态识别方法的特征提取工程由人工完成，需耗费大量时间；2、基于传统机器学习的路面状态识别方法在不同光照环境，尤其是夜晚及恶劣光照条件下并不能很好的预测路面状态；3、基于传统机器学习的路面状态识别方法算法鲁棒性较差；4、基于传统机器学习的路面状态识别方法采用图像信息对路面摩擦状态进行预测，效果并不理想。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习和胎噪声谱图的汽车辅助系统及方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度学习和胎噪声谱图的汽车辅助系统，所述的系统与汽车上的行车电脑连接，所述的系统包括数据采集模块、计算机模块、反馈模块、本地网络模块和云端服务器，所述的计算机模块分别与数据采集模块、反馈模块、行车电脑和本地网络模块连接，所述的本地网络模块分别与反馈模块和云端服务器连接，
所述的数据采集模块用于采集路面图像和胎噪声，所述的计算机模块基于深度学习算法对采集到的路面图像和胎噪声进行处理，并将处理得到的预测结果传输给本地网络模块、行车电脑和反馈模块，所述的预测结果包括路面结冰情况和路面摩擦状态，所述的本地网络模块用于将预测结果传输给云端服务器、从云端服务器获取天气情况并将天气情况传输给反馈模块和计算机模块，所述的云端服务器用于存储预测结果并向本地网络模块发送天气情况，所述的反馈模块用于将预测结果和天气情况反馈给驾驶员。
所述的数据采集模块包括一个近红外摄像头、一个彩色摄像头和一个麦克风，
所述的近红外摄像头用于采集车辆前方路面的近红外图像，所述的彩色摄像头用于采集车辆前方路面的彩色图像，所述的麦克风用于采集车胎与路面间摩擦的胎噪声。
所述的计算机模块包括数据存储模块和数据处理模块，所述的数据存储模块分别与数据采集模块和数据处理模块连接，所述的数据处理模块分别和反馈模块、行车电脑以及本地网络模块连接，
所述的数据存储模块用于存储采集到的路面图像、胎噪声数据及用于预测路面结冰情况和路面摩擦状态的深度神经网络模型，所述的深度神经网络模型包括根据近红外图像预测路面结冰情况的近红外图像道路结冰状态预测网络、根据彩色图像预测路面结冰情况的彩色图像道路结冰状态预测网络以及根据胎噪声预测路面摩擦状态的声谱图路面摩擦状态预测网络，
所述的数据处理模块包括选择单元、预处理单元、预测单元和输出单元，所述的选择单元用于根据天气情况选择将近红外图像或彩色图像作为道路输入图像，所述的预处理单元用于对道路输入图像和胎噪声数据进行预处理，所述的处理单元用于将预处理后的道路输入图像和胎噪声数据输入到相应的深度神经网络模型中，同时进行路面结冰情况预测和路面结冰情况预测并获取预测结果，所述的输出单元用于将预测结果传输到本地网络模块、行车电脑和反馈模块。
所述的数据处理模块核心为树莓派。
所述的反馈模块包括扬声器和具有分屏显示功能的显示器。
所述的系统还包括与各模块连接供电的电源模块。
一种基于深度学习和胎噪声谱图的汽车辅助方法，该方法包括如下步骤：
S1：数据采集模块采集路面图像和胎噪声并传输给计算机模块；
S2：云端服务器将天气情况传输给本地网络模块；
S3：本地网络模块将天气情况传输给计算机模块和反馈模块；
S4：计算机模块基于深度学习算法并根据天气情况处理采集到的路面图像和胎噪声，获取预测结果，将预测结果传输给本地网络模块、行车电脑和反馈模块；
S5：本地网络模块将预测结果传输给云端服务器；
S6：云端服务器存储预测结果；
S7：反馈模块向驾驶员反馈预测结果和天气情况，行车电脑和驾驶员采取相应的减速、避让或制动措施。
步骤S4具体包括：
S41：在计算机模块中设计深度神经网络模型，所述的深度神经网络模型包括根据近红外图像预测路面结冰情况的近红外图像道路结冰状态预测网络、根据彩色图像预测路面结冰情况的彩色图像道路结冰状态预测网络以及根据胎噪声预测路面摩擦状态的声谱图路面摩擦状态预测网络；
S42：根据深度神经网络模型确定深度神经结构的超参数；
S43：训练深度神经网络模型，并将训练好的深度神经网络模型存储在计算机模型中；
S44：计算机模块根据天气情况选择彩色图像或近红外图像作为路面输入图像，对路面输入图像和胎噪声数据进行预处理，得到预处理数据；
S45：计算机模块将预处理后的道路输入图像和胎噪声数据输入到相应的深度神经网络模型中，进行路面结冰情况预测和路面结冰情况预测并获取预测结果；
S46：将预测结果传输给反馈模块、行车电脑和本地网络模块。
步骤S43中训练深度神经网络时使用SGD优化器。
步骤S43中训练深度神经网络时使用修正线性单元作为激活函数，公式为：
f(x)＝max(0,x)，
其中，x为激活函数的输入。
与现有技术相比，本发明具有如下优点：
(1)本发明系统采用基于卷积神经网络的深度学习技术对路面图像和胎噪声进行自动识别和特征提取，提高了识别精度和识别效率，能很好的适应多变天气和路况对道路冰冻状况进行预测；
(2)本发明利用近红外摄像和彩色摄像头结合采集路面图像，能较好地提高不良光照和气象条件下的成像质量，提升系统精度；
(3)本发明利用声谱图对胎噪声信息进行分析，并对路面摩擦状态进行预测，在多样化的道路环境中具备较强的鲁棒性和通用性，能有效且准确的预测路面摩擦情况；
(4)本发明利用反馈模块对驾驶员和行车电脑进行路况预测结果反馈，提醒驾驶员路面状态，提高行车安全性和区域路况预报能力。
附图说明
图1为本发明一种基于深度学习和胎噪声谱图的汽车辅助系统的结构图；
图2为本发明一种基于深度学习和胎噪声谱图的汽车辅助系统中摄像头和麦克风的安装示意图；
图3为本发明一种基于深度学习和胎噪声谱图的汽车辅助方法的流程图；
图4位本发明一种基于深度学习和胎噪声谱图的汽车辅助方法中步骤S4的具体流程图；
其中，1、数据采集模块，11、彩色摄像头，12、近红外摄像头，13、麦克风，2、计算机模块，21、数据存储模块，22、数据处理模块，3、反馈模块，4、本地网络模块，5，云端服务器。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
一种基于深度学习和胎噪声谱图的汽车辅助系统，该系统与汽车上的行车电脑连接，行车电脑可以控制汽车采取减速、避让或制动措施，如图1所示，系统包括数据采集模块1、计算机模块2、反馈模块3、本地网络模块4和云端服务器5，计算机模块2包括括数据存储模块21和数据处理模块22，数据存储模块21分别与数据采集模块1和数据处理模块22连接，数据处理模块22分别与反馈模块3、行车电脑和本地网络模块4连接，本地网络模块4分别与反馈模块3和云端服务器5连接，本系统还包括无线连接模块及与各模块连接供电的电源模块，所述的本地网络模块4和云端服务器5通过无线连接模块连接。
如图2所示，数据采集模块1包括一个近红外摄像头12、一个彩色摄像头11和一个麦克风13，近红外摄像头12和彩色摄像头11安装于汽车进气格栅处，麦克风13安装在右前轮翼子板处，近红外摄像头12用于采集车辆前方路面的近红外图像，彩色摄像头11用于采集车辆前方路面的彩色图像，麦克风13用于采集车胎与路面间摩擦的胎噪声。
数据存储模块21内设有固态硬盘，用于存储采集到的路面图像、胎噪声数据及用于预测路面结冰情况和路面摩擦状态的深度神经网络模型，所述的深度神经网络模型包括根据近红外图像预测路面结冰情况的近红外图像道路结冰状态预测网络、根据彩色图像预测路面结冰情况的彩色图像道路结冰状态预测网络和根据胎噪声预测路面摩擦状态的声谱图路面摩擦状态预测网络。
数据处理模块22核心为安装有TensorFlow的树莓派B+，数据处理模块22包括选择单元、预处理单元、预测单元和输出单元，选择单元用于根据天气情况选择将近红外图像或彩色图像作为道路输入图像，预处理单元用于对道路输入图像和胎噪声数据进行预处理，处理单元用于将预处理后的道路输入图像和胎噪声数据输入到相应的深度神经网络模型中、进行路面结冰情况预测和路面结冰情况预测并获取预测结果，输出单元将预测结果传输到本地网络模块4、行车电脑和反馈模块3。
本地网络模块4用于将汽车实时坐标和预测结果传输给云端服务器5、从云端服务器5获取天气情况并将天气情况传输给反馈模块3和计算机模块2。
云端服务器5用于存储预测结果并向本地网络模块4发送天气情况。
反馈模块3包括扬声器和具有分屏显示功能的触屏显示器，扬声器设于汽车中控台，对预测结果进行语音提醒，显示器可同时显示摄像头获取的路面图像和预测结果，反馈模块3用于将预测结果和天气情况反馈给驾驶员。
无线连接模块为4G无线模块，实现利用4G网络数据传输预测结果和天气情况。
一种基于深度学习和胎噪声谱图的汽车辅助方法，该方法采用深度卷积网络作为识别算法，实现了图像特征提取的自动化，节省人工提取特征环节带来的时间消耗，有效提高了算法的自动化程度和预测精度。
本方法针对复杂及不良光照条件下传统识别系统成像质量不高的问题，采用彩色摄像头11与近红外摄像头12相结合的图像采集，白昼且天气晴朗条件下，系统采用彩色图像进行路面冰冻状态的预测，夜间或降水条件下，由于光照不理想导致彩色图像成像质量不佳而影响预测精度，故系统采用近红外图像进行路面冰冻状态的预测，以提高光照不良条件下的成像质量及预测精度。
本方法采用麦克风13采集的轮胎与路面间的摩擦噪声作为音频来源，经计算机处理生成胎噪音频的声谱图，声谱图是对音频信号进行连续频谱分析得到的一种二维图谱，其横坐标表示时间，纵坐标表示频率，每个像素点的颜色或灰度值大小反映了相应时刻和相应频率的信号能量密度，声谱图反映了音频信号的动态频谱特性，在音频分析中具有重要价值，被称为可视化的音频信息，在音频识别中具有重要作用，本方法利用胎噪声谱图和卷积神经网络对路面摩擦状态进行预测。
如图3所示，该方法具体包括如下步骤：
步骤S1：数据采集模块1采集路面图像和胎噪声并传输给数据存储模块21；
步骤S2：云端服务器5将天气情况通过无线连接模块传输给本地网络模块4；
步骤S3：本地网络模块4将天气情况传输给数据处理模块22和反馈模块3；
步骤S4：数据处理模块22基于深度学习算法并结合天气情况处理数据存储模块21中的路面图像和胎噪声，获取路面结冰情况和路面摩擦状态预测结果，并将预测结果传输给本地网络模块4和反馈模块3；
步骤S5：本地网络模块4将预测结果通过无线连接模块传输给云端服务器5；
步骤S6：反馈模块3向驾驶员反馈预测结果和天气情况，行车电脑、驾驶员采取相应的减速、避让或制动措施。
如图4所示，步骤S4具体包括：
步骤S41：设计用于分析路面图像和胎噪声数据的3个深度卷积网络模型：彩色图像道路结冰状态预测网络、近红外图像道路结冰状态预测网络和声谱图路面摩擦状态预测网络，彩色图像道路结冰状态预测网络和近红外图像道路结冰状态预测网络的输出结果为4类预测结果：严重冰冻，中度冰冻，轻微冰冻和无冰冻，声谱图路面摩擦状态预测网络输出结果为5类预测结果：1级(抗滑性能良好)，2级(抗滑性能稍差)，3级(抗滑性能较差)，4级(抗滑性能很差)，5级(抗滑性能极差)。
步骤S42：根据深度卷积网络模型确定深度神经结构的超参数，本方法的3个深度模型超参数由多次优化后给定，最终确定的彩色图像道路结冰状态预测网络、近红外图像道路结冰状态预测网络和声谱图路面摩擦状态预测网络的网络超参数依次如表1～3所示：
表1彩色图像路面结冰状态预测网络超参数
| 层 | 类型 | 特征图 | 步长 | 卷积核 | 池化层 |
| 1 | 输入 | 227x227x3 | - | - | - |
| 2 | 卷积1 | 55x55x96 | 4x4 | 11x11x96 | - |
| 3 | 池化 | 27x27x96 | 2x2 | - | 3x3 |
| 5 | 填充 | 31x31x96 | 2x2 | ||
| 5 | 卷积2 | 27x27x256 | 1x1 | 5x5x256 | - |
| 6 | 池化 | 13x13x256 | 2x2 | - | 3x3 |
| 7 | 填充 | 15x15x256 | 1x1 | ||
| 8 | 卷积3 | 13x13x384 | 1x1 | 3x3x384 | - |
| 9 | 池化 | 6x6x384 | 2x2 | - | 3x3 |
| 10 | 全连接 | 1x1x2048 | |||
| 11 | 全连接 | 1x1x4 | - | - | - |
| 12 | 输出 | 1x1x4 | - | - | - |
表2近红外图像路面结冰状态预测网络超参数
| 层 | 类型 | 特征图 | 步长 | 卷积核 | 池化层 |
| 1 | 输入 | 227x227x1 | - | - | - |
| 2 | 卷积1 | 55x55x96 | 4x4 | 11x11x96 | - |
| 3 | 池化 | 27x27x96 | 2x2 | - | 3x3 |
| 5 | 填充 | 31x31x96 | 2x2 | ||
| 5 | 卷积2 | 27x27x256 | 1x1 | 5x5x256 | - |
| 6 | 池化 | 13x13x256 | 2x2 | - | 3x3 |
| 7 | 填充 | 15x15x256 | 1x1 | ||
| 8 | 卷积3 | 13x13x384 | 1x1 | 3x3x384 | - |
| 9 | 池化 | 6x6x384 | 2x2 | - | 3x3 |
| 10 | 全连接 | 1x1x2048 | |||
| 11 | 全连接 | 1x1x4 | - | - | - |
| 12 | 输出 | 1x1x4 | - | - | - |
表3声谱图路面摩擦状态预测网络超参数
| 层 | 类型 | 特征图 | 步长 | 卷积核 | 池化层 |
| 1 | 输入 | 227x227x3 | - | - | - |
| 2 | 卷积1 | 55x55x96 | 4x4 | 11x11x96 | - |
| 3 | 池化 | 27x27x96 | 2x2 | - | 3x3 |
| 5 | 填充 | 31x31x96 | 2x2 | ||
| 5 | 卷积2 | 27x27x256 | 1x1 | 5x5x256 | - |
| 6 | 池化 | 13x13x256 | 2x2 | - | 3x3 |
| 7 | 填充 | 15x15x256 | 1x1 | ||
| 8 | 卷积3 | 13x13x384 | 1x1 | 3x3x384 | - |
| 9 | 池化 | 6x6x384 | 2x2 | - | 3x3 |
| 10 | 全连接 | 1x1x2048 | |||
| 11 | 全连接 | 1x1x5 | - | - | - |
| 12 | 输出 | 1x1x5 | - | - | - |
S43：训练深度神经网络模型，训练时使用SGD优化器，即随机梯度下降优化器，训练速度快且使网络具有良好的泛化能力；同时，使用修正线性单元(ReLU)作为激活函数，公式为：
f(x)＝max(0,x)，
其中，x为激活函数的输入，采用ReLU解决了神经网络训练的梯度消失问题，至少x在正区间内，神经元不会饱和，由于ReLU线性、非饱和的形式，在使用SGD优化器时能够快速收敛。
训练结束后，将训练好的深度神经网络模型存储在数据存储模块21中。
S441：数据处理模块22结合天气情况对路面图像进行预处理：数据处理模块22通过本地网络模块4获取当前天气情况，当天气情况为白昼且天气晴朗条件下，数据处理模块22采用彩色图像作为道路输入图像，当天气情况为夜间或降水条件下，数据处理模块22采用近红外图像作为道路输入图像，将道路输入图像的图片尺寸归一化到224*224像素，完成路面图像数据预处理；
S442：数据处理模块22对胎噪声数据进行预处理：数据处理模块22对胎噪声音频数据进行快速傅里叶变换，本实施例中取采样频率为44100Hz，帧长为2048，采用汉明窗加窗且加窗长度为2048，帧重叠长度取帧长的3/4即1536，生成声谱图，完成胎噪声数据预处理；
S45：当S441中采用彩色图像作为道路输入图像时，将预处理后的道路输入图像输入到彩色图像道路结冰状态预测网络进行预测，当S441中采用近红外图像作为道路输入图像时，将预处理后的道路输入图像输入到近红外图像道路结冰状态预测网络进行预测，得到路面结冰状态预测值J，
将步骤S442得到的声谱图作为输入图像输入至胎噪声谱图路面摩擦状态预测网络进行预测，得到路面摩擦状态预测值M；
S46：将路面结冰状态预测值J和路面摩擦状态预测值M传输给反馈模块3、行车电脑和本地网络模块4。
步骤S5中云端服务器5内的预测结果可供城市路况信息的收集。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (8)
1.一种基于深度学习和胎噪声谱图的汽车辅助系统，所述的系统与汽车上的行车电脑连接，其特征在于，所述的系统包括数据采集模块(1)、计算机模块(2)、反馈模块(3)、本地网络模块(4)和云端服务器(5)，所述的计算机模块(2)分别与数据采集模块(1)、反馈模块(3)、行车电脑和本地网络模块(4)连接，所述的本地网络模块(4)分别与反馈模块(3)和云端服务器(5)连接，
所述的数据采集模块(1)用于采集路面图像和胎噪声，所述的计算机模块(2)基于深度学习算法对采集到的路面图像和胎噪声进行处理，并将处理得到的预测结果传输给本地网络模块(4)、行车电脑和反馈模块(3)，所述的预测结果包括路面结冰情况和路面摩擦状态，所述的本地网络模块(4)用于将预测结果传输给云端服务器(5)、从云端服务器(5)获取天气情况并将天气情况传输给反馈模块(3)和计算机模块(2)，所述的云端服务器(5)用于存储预测结果并向本地网络模块(4)发送天气情况，所述的反馈模块(3)用于将预测结果和天气情况反馈给驾驶员；
所述的数据采集模块(1)包括一个近红外摄像头(12)、一个彩色摄像头(11)和一个麦克风(13)，
所述的近红外摄像头(12)用于采集车辆前方路面的近红外图像，所述的彩色摄像头(11)用于采集车辆前方路面的彩色图像，所述的麦克风(13)用于采集车胎与路面间摩擦的胎噪声；
所述的计算机模块(2)包括数据存储模块(21)和数据处理模块(22)，所述的数据存储模块(21)分别与数据采集模块(1)和数据处理模块(22)连接，所述的数据处理模块(22)分别和反馈模块(3)、行车电脑以及本地网络模块(4)连接，
所述的数据存储模块(21)用于存储采集到的路面图像、胎噪声数据及用于预测路面结冰情况和路面摩擦状态的深度神经网络模型，所述的深度神经网络模型包括根据近红外图像预测路面结冰情况的近红外图像道路结冰状态预测网络、根据彩色图像预测路面结冰情况的彩色图像道路结冰状态预测网络以及根据胎噪声预测路面摩擦状态的声谱图路面摩擦状态预测网络，
所述的数据处理模块(22)包括选择单元、预处理单元、预测单元和输出单元，所述的选择单元用于根据天气情况选择将近红外图像或彩色图像作为道路输入图像，所述的预处理单元用于对道路输入图像和胎噪声数据进行预处理，所述的预测单元用于将预处理后的道路输入图像和胎噪声数据输入到相应的深度神经网络模型中，同时进行路面结冰情况预测和路面结冰情况预测并获取预测结果，所述的输出单元用于将预测结果传输到本地网络模块(4)、行车电脑和反馈模块(3)。
2.根据权利要求1所述的一种基于深度学习和胎噪声谱图的汽车辅助系统，其特征在于，所述的数据处理模块(22)核心为树莓派。
3.根据权利要求1所述的一种基于深度学习和胎噪声谱图的汽车辅助系统，其特征在于，所述的反馈模块(3)包括扬声器和具有分屏显示功能的显示器。
4.根据权利要求1所述的一种基于深度学习和胎噪声谱图的汽车辅助系统，其特征在于，所述的系统还包括与各模块连接供电的电源模块。
5.一种基于深度学习和胎噪声谱图的汽车辅助方法，该方法基于权利要求1～4中任意一项所述的汽车辅助系统，其特征在于，该方法包括如下步骤：
S1：数据采集模块(1)采集路面图像和胎噪声并传输给计算机模块(2)；
S2：云端服务器(5)将天气情况传输给本地网络模块(4)；
S3：本地网络模块(4)将天气情况传输给计算机模块(2)和反馈模块(3)；
S4：计算机模块(2)基于深度学习算法并根据天气情况处理采集到的路面图像和胎噪声，获取预测结果，将预测结果传输给本地网络模块(4)、行车电脑和反馈模块(3)；
S5：本地网络模块(4)将预测结果传输给云端服务器(5)；
S6：云端服务器(5)存储预测结果；
S7：反馈模块(3)向驾驶员反馈预测结果和天气情况，行车电脑和驾驶员采取相应的减速、避让或制动措施。
6.根据权利要求5所述的一种基于深度学习和胎噪声谱图的汽车辅助方法，其特征在于，步骤S4具体包括：
S41：在计算机模块(2)中设计深度神经网络模型，所述的深度神经网络模型包括根据近红外图像预测路面结冰情况的近红外图像道路结冰状态预测网络、根据彩色图像预测路面结冰情况的彩色图像道路结冰状态预测网络以及根据胎噪声预测路面摩擦状态的声谱图路面摩擦状态预测网络；
S42：根据深度神经网络模型确定深度神经结构的超参数；
S43：训练深度神经网络模型，并将训练好的深度神经网络模型存储在计算机模型中；
S44：计算机模块(2)根据天气情况选择彩色图像或近红外图像作为路面输入图像，对路面输入图像和胎噪声数据进行预处理，得到预处理数据；
S45：计算机模块(2)将预处理后的道路输入图像和胎噪声数据输入到相应的深度神经网络模型中，进行路面结冰情况预测和路面结冰情况预测并获取预测结果；
S46：将预测结果传输给反馈模块(3)、行车电脑和本地网络模块(4)。
7.根据权利要求6所述的一种基于深度学习和胎噪声谱图的汽车辅助方法，其特征在于，步骤S43中训练深度神经网络时使用SGD优化器。
8.根据权利要求6所述的一种基于深度学习和胎噪声谱图的汽车辅助方法，其特征在于，步骤S43中训练深度神经网络时使用修正线性单元作为激活函数，公式为：
f(x)＝max(0,x)，
其中，x为激活函数的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910754015.XA CN110569739B (zh) | 2019-08-15 | 2019-08-15 | 一种基于深度学习和胎噪声谱图的汽车辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910754015.XA CN110569739B (zh) | 2019-08-15 | 2019-08-15 | 一种基于深度学习和胎噪声谱图的汽车辅助系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110569739A CN110569739A (zh) | 2019-12-13 |
| CN110569739B true CN110569739B (zh) | 2022-07-05 |
Family
ID=68775571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910754015.XA Active CN110569739B (zh) | 2019-08-15 | 2019-08-15 | 一种基于深度学习和胎噪声谱图的汽车辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110569739B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115966102B (zh) * | 2022-12-30 | 2024-10-08 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习的预警制动方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019091897A1 (en) * | 2017-11-07 | 2019-05-16 | Veoneer Sweden Ab | A vision system and method for autonomous driving and/or driver assistance in a motor vehicle |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104554273B (zh) * | 2014-12-23 | 2017-09-15 | 上海语知义信息技术有限公司 | 通过噪音识别路面信息的系统及方法 |
| CN108074409A (zh) * | 2016-11-11 | 2018-05-25 | 大陆汽车投资（上海）有限公司 | 道路安全驾驶辅助系统 |
| CN107253482B (zh) * | 2017-05-22 | 2019-07-23 | 上海大学 | 一种基于路面图像分析的驾驶安全辅助系统 |
| CN110001608B (zh) * | 2019-03-06 | 2021-09-10 | 江苏大学 | 一种基于路面视觉检测的汽车智能制动系统及其控制方法 |
-
2019
- 2019-08-15 CN CN201910754015.XA patent/CN110569739B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019091897A1 (en) * | 2017-11-07 | 2019-05-16 | Veoneer Sweden Ab | A vision system and method for autonomous driving and/or driver assistance in a motor vehicle |
Non-Patent Citations (2)
| Title |
|---|
| A technical survey on tire-road friction estimation;Seyedmeysam Khaleghian et al.;《Friction》;20170512;第123-146页 * |
| 基于OpenCV+Python的道路结冰检测系统的设计;李颀 等;《陕西科技大学学报(自然科学版)》;20170430;第35卷(第2期);第158-164页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110569739A (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829403B (zh) | 一种基于深度学习的车辆防碰撞预警方法及系统 | |
| CN103794070B (zh) | 一种基于车路协同的动态诱导信息广播方法及系统 | |
| EP2876620B1 (en) | Driving assistance system and driving assistance method | |
| CN102855759B (zh) | 高分辨率卫星遥感交通流信息自动采集方法 | |
| US9664779B2 (en) | Object classification for vehicle radar systems | |
| CN102509291B (zh) | 基于无线网络视频传感器的公路路面病害检测及识别方法 | |
| CN104484911A (zh) | 基于QoE的个性化自动驾驶参数优化设定方法 | |
| CN107392103A (zh) | 路面车道线的检测方法及装置、电子设备 | |
| CN104827968B (zh) | 一种基于安卓的低成本停车等待驾驶提醒系统 | |
| CN112382115B (zh) | 基于视觉感知的驾驶风险预警装置及方法 | |
| CN111723849A (zh) | 一种基于车载摄像头的路面附着系数在线估计方法和系统 | |
| CN104092988A (zh) | 一种公共场合客流管理方法、装置及系统 | |
| CN109977908B (zh) | 一种基于深度学习的车辆行车车道检测方法 | |
| CN102254224A (zh) | 一种基于粗糙集神经网络的图像识别的物联网电动汽车充电桩系统 | |
| CN110395245B (zh) | 一种基于固定路线驾驶信息的混动汽车能量管理系统 | |
| CN102073852A (zh) | 基于最优阈值和随机标号法的多车辆分割方法 | |
| US20240005626A1 (en) | Method and apparatus for obstacle detection under complex weather | |
| CN110516633A (zh) | 一种基于深度学习的车道线检测方法及系统 | |
| CN110610153A (zh) | 一种用于自动驾驶的车道识别方法及系统 | |
| JP2023543714A (ja) | 乗客分布予測モデルのトレーニング方法及びシステム、乗客誘導方法及びシステム | |
| CN110569739B (zh) | 一种基于深度学习和胎噪声谱图的汽车辅助系统及方法 | |
| CN114155720A (zh) | 一种路侧激光雷达的车辆检测和轨迹预测方法 | |
| CN103761870A (zh) | 一种公交车负载计量系统 | |
| CN112613434B (zh) | 道路目标检测方法、装置及存储介质 | |
| CN109285169B (zh) | 一种基于车轮识别的道路救援装备侧方位拖牵诱导方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |