CN110705370B - 基于深度学习的路况识别方法、装置、设备及存储介质 - Google Patents
基于深度学习的路况识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110705370B CN110705370B CN201910846741.4A CN201910846741A CN110705370B CN 110705370 B CN110705370 B CN 110705370B CN 201910846741 A CN201910846741 A CN 201910846741A CN 110705370 B CN110705370 B CN 110705370B
- Authority
- CN
- China
- Prior art keywords
- preset
- vehicle
- starting
- road condition
- processing result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的路况识别方法、装置、设备及存储介质，所述方法包括：若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。本发明基于智能决策的方式解决现有技术中未有效进行车辆危险路况的识别以及提醒，导致交通意外概率过高的技术问题。
Description
技术领域
本发明涉及车辆技术领域，尤其涉及一种基于深度学习的路况识别方法、装置、设备及存储介质。
背景技术
目前，在车辆启动或者行驶过程中，会遇到各式各样的危险路况，比如路标坍塌，行人过马路、动物在车底等等都是会影响车辆启动或者行驶安全的危险路况，在现有技术中，若出现路标坍塌，行人过马路、动物在车底等等危险路况时，往往是通过路边单元检测方式进行检测，而通过路边单元检测方式进行检测，由于视角的问题，存在检测的准确度以及有效性较低的技术问题。
发明内容
本发明的主要目的在于提供一种基于深度学习的路况识别方法、装置、设备及存储介质，旨在解决现有技术中车辆危险路况的检测存在准确度以及有效性低的技术问题。
为实现上述目的，本发明提供一种基于深度学习的路况识别方法，所述基于深度学习的路况识别方法包括：
若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；
将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
可选地，所述基于深度学习的路况识别方法应用于基于深度学习的路况识别设备，所述基于深度学习的路况识别设备中包括cpu，所述将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤之前包括：
读取所述cpu的目标处理性能，根据预设的cpu的处理性能与图像数据中图像块的单次最大处理尺寸的关联关系，确定所述目标处理性能对应的目标处理尺寸；
根据所述目标处理尺寸对所述图像数据中的图像块进行切割处理，得到处理图像数据。可选地，所述将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤包括：
将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果；
将所述初始处理结果与预设阀值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况。
可选地，所述将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果步骤包括：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素；
针对每个待处理识别因素，执行如下步骤：
获取所述待处理识别因素的多个预设识别图像特征，以及所述多个预设识别图像特征分别对应的权值矩阵；
根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果；
对所述卷积处理结果进行池化处理，以得到池化处理结果；
根据所述预设次数，对所述池化处理结果再次进行相应次数的卷积与池化交替处理，以得到初始处理结果。
可选地，所述基于深度学习的路况识别设备中包括GPS子设备，所述获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素步骤包括：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素；
根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段；
若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素。
可选地，所述对所述卷积处理结果进行池化处理，以得到池化处理结果步骤包括：
将所述卷积处理结果分割为多个大小一致的预设像素尺寸的图像矩阵；
获取所述预设像素尺寸的图像矩阵中的平均像素值，将所述平均像素值代替所述预设像素尺寸的图像矩阵，以得到新的图像矩阵；
将所述新的图像矩阵设为所述池化处理结果。
可选地，所述将所述初始处理结果与预设阀值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤包括：
将所述初始处理结果与预设阀值进行比对；
若所述初始处理结果大于等于所述预设分类阀值，则判定所述车辆启动或者行驶过程中存在危险路况；
若所述初始处理结果小于所述预设分类阀值，则判定所述车辆启动或者行驶过程中未存在危险路况。
本发明还提供一种基于深度学习的路况识别装置，所述基于深度学习的路况识别装置包括：
采集模块，用于通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述监控视频的图像数据；
判断模块，用于将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
输出模块，用于若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
可选地，所述基于深度学习的路况识别方法应用于基于深度学习的路况识别设备，所述基于深度学习的路况识别设备中包括cpu，所述判断模块包括：
读取单元，用于读取所述cpu的目标处理性能，根据预设的cpu的处理性能与图像数据中图像块的单次最大处理尺寸的关联关系，确定所述目标处理性能对应的目标处理尺寸；
切割单元，用于根据所述目标处理尺寸对所述图像数据中的图像块进行切割处理，得到处理图像数据；
判断单元，用于将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况。
可选地，所述判断单元包括：
交替处理子单元，用于将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果；
比对子单元，用于将所述初始处理结果与预设阀值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况。
可选地，所述交替处理子单元用于实现：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素；
针对每个待处理识别因素，交替处理子单元还用于实现如下步骤：
获取所述待处理识别因素的多个预设识别图像特征，以及所述多个预设识别图像特征分别对应的权值矩阵；
根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果；
对所述卷积处理结果进行池化处理，以得到池化处理结果；
根据所述预设次数，对所述池化处理结果再次进行相应次数的卷积与池化交替处理，以得到初始处理结果。
可选地，所述基于深度学习的路况识别设备中包括GPS子设备，所述交替处理子单元还用于实现：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素；
根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段；
若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素。
可选地，所述交替处理子单元还用于实现：
将所述卷积处理结果分割为多个大小一致的预设像素尺寸的图像矩阵；
获取所述预设像素尺寸的图像矩阵中的平均像素值，将所述平均像素值代替所述预设像素尺寸的图像矩阵，以得到新的图像矩阵；
将所述新的图像矩阵设为所述池化处理结果。
可选地，所述比对子单元用于实现：
将所述初始处理结果与预设阀值进行比对；
若所述初始处理结果大于等于所述预设分类阀值，则判定所述车辆启动或者行驶过程中存在危险路况；
若所述初始处理结果小于所述预设分类阀值，则判定所述车辆启动或者行驶过程中未存在危险路况。
此外，为实现上述目的，本发明还提供一种基于深度学习的路况识别设备，所述基于深度学习的路况识别设备包括：存储器、处理器，通信总线以及存储在所述存储器上的基于深度学习的路况识别程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述基于深度学习的路况识别程序，以实现以下步骤：
若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；
将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：
若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；
将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
本发明通过预设路边单元每间隔预设时间段采集车辆的行驶距离与抖动距离，以判断车辆是否处于启动或者行驶状态；若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。在本申请中，首先判断车辆是否处于启动或者行驶状态，并根据车辆的摄像头实时采集路况监控视频也即实时采集路况数据，根据预设的三维卷积神经网络模型进行危险路况的识别，并进行危险路况的及时提醒，由于车辆的摄像头实时采集路况监控视频也即实时采集路况数据，并根据预设的三维卷积神经网络模型进行危险路况的识别，并进行危险路况的及时提醒，因而避免视角的问题降低检测的准确度，且由于是实时进行的，因而，提升了检测的有效性。
附图说明
图1为本发明基于深度学习的路况识别方法第一实施例的流程示意图；
图2为本发明基于深度学习的路况识别方法中所述将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤的细化流程示意图；
图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于深度学习的路况识别方法，在本发明基于深度学习的路况识别方法的第一实施例中，参照图1，所述基于深度学习的路况识别方法包括：
步骤S10，通过预设路边单元每间隔预设时间段采集车辆的行驶距离与抖动距离，以判断车辆是否处于启动或者行驶状态；
步骤S20，若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；
步骤S30，将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
步骤S40，若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
具体步骤如下：
步骤S10，通过预设路边单元每间隔预设时间段采集车辆的行驶距离与抖动距离，以判断车辆是否处于启动或者行驶状态；
需要说明的是，在路边是存在各个路边单元的，该路边单元是可以每间隔预设时间段采集车辆的行驶距离与抖动距离，其中，该路边单元通过拍摄的不同时间段的车辆的照片，根据不同时间段照片上车辆的位置不同，以采集车辆的行驶距离与抖动距离，以判断车辆是否处于启动或者行驶状态，例如，根据车辆的行驶距离。
步骤S20，若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；
在本实施例中，车辆中设置有摄像头以进行录像，该摄像头只要在车辆启动后，即开始启动录像功能，该录像功能针对的是车辆行驶或者启动过程中的车辆路况，也即该摄像头对车辆前方预设范围内的路况进行录像。
需要说明的是，该车辆摄像头具体可以是行车记录仪中的摄像头，通过行车记录仪中的摄像头获取路况监控视频。
行车记录仪中的摄像头获取路况监控视频后实时发送给本实施例中的基于深度学习的路况识别设备，也即该基于深度学习的路况识别设备实时获取路况监控视频，路况监控视频是由一系列的图像数据构成，在获取路况监控视频后，也即获取所述路况监控视频的图像数据。
步骤S30，将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况，其中，在本实施例中，需要说明的是，卷积神经网络模型是已经训练完成的，能够进行危险路况判断的模型，且该卷积神经网络模型是三维卷积网络模型，也即在本实施例中，输入参数除了空间特征(X，Y)相关外，还与时间特征Z相关。
其中，预设三维卷积神经网络模型训练过程包括：获取基础数学模型，采集已知的路况数据，该已知的路况数据中包括危险路况数据，以及非危险路况数据，从所述路况数据中提取预设比例的路况数据如75％的路况数据作为训练数据，以对基础数学模型进行训练，将另外25％的路况数据作为测试数据，以对上述训练数据训练后的基础数学模型进行测试，以最终得到预设三维卷积神经网络模型，在训练过程中，需要预先提取危险路况的识别因素，如在启动或者行驶过程中路标异常的识别因素，以及行人过马路的识别因素等，在得到启动或者行驶过程中路标异常的识别因素，以及行人过马路的识别因素等特征后，获取识别因素中的各个图像统计特性，如获取行驶过程中路标异常的识别因素的图像统计特性(预设识别图像特征)，该图像统计特性具体包括的路标轮廓，路标与马路的相对距离等，在得到识别因素的图像统计特性后，对识别因素的各个图像统计特性的权值进行调整，其中，具体各个图像统计特性权值的调整根据训练过程中相应模型输出的预测结果与实际结果的期望差值进行有序调整的，以得到能够准确预测路标异常对应的子预设三维卷积神经网络模型，同样地，进行其他识别因素对应的子预设三维卷积神经网络模型的训练，以最终组合得到预设三维卷积神经网络模型。
其中，参照图2，所述基于深度学习的路况识别方法应用于基于深度学习的路况识别设备，所述基于深度学习的路况识别设备中包括cpu，所述将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤包括：
步骤S31，读取所述cpu的目标处理性能，根据预设的cpu的处理性能与图像数据中图像块的单次最大处理尺寸的关联关系，确定所述目标处理性能对应的目标处理尺寸；
在本实施例中，路况识别设备中预存有cpu的处理性能与图像数据中图像块的单次最大处理尺寸的关联关系(存在关联关系表)，在获取图像数据后，读取路况识别设备中的cpu的目标处理性能，根据该关联关系表以及cpu的目标处理性能以确定所述目标处理性能对应的目标处理尺寸，例如，目标处理尺寸可以为128*128*128尺寸。
步骤S32，根据所述目标处理尺寸对所述图像数据中的图像块进行切割处理，得到处理图像数据；
图像数据的尺寸一般大于目标处理尺寸，因而先对图像数据进行分割处理，以得到分割后的各个处理图像数据。
步骤S33，将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况。
将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况。需要说明的是，得到该处理图像数据的过程也可以在预设三维卷积神经网络模型中执行。
另外，所述将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤还包括：
步骤A1，将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果；
预设三维卷积神经网络最大的优点是在卷积层共享权值，也就是对所有处理图像数据使用同样的权值库。
将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中后，该预设三维卷积神经网络模型对处理图像数据进行预设次数的卷积与池化交替处理，得到初始处理结果。
具体地，所述将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果步骤包括：
步骤B1，将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中；
步骤B2，获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素；
在本实施例中，需要说明的是，针对不同场景，存在不同的待处理识别因素，例如，在高速公路上需要识别的是异常车辆因素、路标异常因素，而不是行人过马路因素，而在市区路段，需要识别行人过马路因素，因而，在本实施例中，在将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中后，需要根据当前车辆的行驶路段或者启动路段，从所述多个识别因素选取待处理识别因素。
针对每个待处理识别因素，执行如下步骤：
步骤B3，获取所述待处理识别因素的多个预设识别图像特征，以及所述多个预设识别图像特征分别对应的权值矩阵；
在得到待处理识别因素后，获取所述待处理识别因素的多个预设识别图像特征也即获取获取所述待处理识别因素的多个图像统计特性，以及所述多个图像统计特性分别对应的权值矩阵，得到预设识别图像特征以及对应的权值矩阵是为了进行卷积。
用以具体实施例进行说明，若待处理识别因素为路标异常识别因素，则对应权值矩阵可以为W1，W2，W3等，若待处理识别因素为行人过马路识别因素，则对应权值矩阵可以为Q1，Q2，Q3等，若待处理识别因素为动物识别因素，则获取共享权值P1，P2，P3等。
步骤B4，根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果；
其中，卷积过程可以理解为：识别因素图像一部分的图像统计特性(识别图像特征)与其他部分是一样的，即是在这一部分学习的图像统计特性也能出现在相应另一部分上，因而将学习到的图像统计特性作为探测器，应用到这个识别因素图像的任意地方中去，即通过小范围图像所学习到的图像统计特性跟原本的大尺寸图像的图像特征作卷积，在数学上，卷积可以是相应图像的图像统计特性矩阵与预先的多个探测矩阵相乘最后相应权值求和，得到卷积处理结果。
在本实施例中，获取所述预设三维卷积神经网络模型中针对所述危险路况的多个待处理识别因素，该多个待处理识别因素包括路标异常的识别因素，以及行人过马路的识别因素等，在获取路标异常的识别因素，以及行人过马路的识别因素后，获取预存的各个识别因素的图像统计特性，并获取预存的该各个图像统计特性的权值矩阵；根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果，也即将多个预设识别图像特征与预先的多个探测矩阵相乘最后相应权值求和，得到卷积处理结果。
例如，若待处理识别因素为路标异常识别因素，则对应权值矩阵可以为W1，W2，W3等，而若预设识别图像特征矩阵为S1，S2，S3，而处理图像数据中某一子数据矩阵为A1，则卷积处理结果可以为W1*A1*S1+W2*A2*S2+W3*A3*S3，需要说明的是，卷积处理结果得到一个值，而由于处理图像数据中包括多个，因而，图像数据是由卷积处理结果的值对应得到新的图像矩阵，需要说明的是，卷积过程还包括下采样过程。
步骤B4，对所述卷积处理结果进行池化处理，以得到池化处理结果；
在得到卷积处理结果后，对所述卷积处理结果进行池化处理，池化包括最大池化，以及均值池化，在对卷积处理结果进行池化后，得到池化处理结果。
具体地，所述对所述卷积处理结果进行池化处理，以得到池化处理结果步骤包括：
步骤C1，将所述卷积处理结果分割为多个大小一致的预设尺寸的图像矩阵；
具体池化过程为：将所述卷积处理结果分割为多个大小一致的预设尺寸的图像矩阵，如将所述卷积处理结果分割为多个3*3维的图像矩阵。
步骤C2，获取所述预设尺寸的图像矩阵中的平均像素值，将所述平均像素值代替所述预设尺寸的图像矩阵，以得到新的图像矩阵；
获取所述预设尺寸的图像矩阵中的平均像素值，将所述平均像素值代替所述预设尺寸的图像矩阵，以得到新的图像矩阵，如3*3维的图像矩阵中平均像素值为1，则将1代替所述3*3维的图像矩阵，由于卷积处理结果中包括多个3*3维的图像矩阵，因而，最后能够得到新的图像矩阵。
步骤C3，将所述新的图像矩阵设为所述池化处理结果。
在得到新的图像后，将所述新的图像矩阵设为所述池化处理结果。
步骤B5，根据所述预设次数，对所述池化处理结果再次进行相应次数的卷积与池化交替处理，以得到初始处理结果。
上述B1-B4为一次卷积以及池化交替处理过程，在本实施例中，需要进行预设次数的卷积以及池化的交替处理过程，以得到初始处理结果。
步骤A2，将所述初始处理结果与预设阀值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况。
将所述初始处理结果与预设阀值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况，若初始处理结果大于预设阀值，则确定车辆启动或者行驶过程中存在危险路况
步骤S40，若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
在本实施例中，若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述驾驶员，该预设提醒信息可以是“请注意，前方人行道上有行车，请减速慢行”等内容。
本发明通过预设路边单元每间隔预设时间段采集车辆的行驶距离与抖动距离，以判断车辆是否处于启动或者行驶状态；若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。在本申请中，首先判断车辆是否处于启动或者行驶状态，并根据车辆的摄像头实时采集路况监控视频也即实时采集路况数据，根据预设的三维卷积神经网络模型进行危险路况的识别，并进行危险路况的及时提醒，由于车辆的摄像头实时采集路况监控视频也即实时采集路况数据，并根据预设的三维卷积神经网络模型进行危险路况的识别，并进行危险路况的及时提醒，因而避免视角的问题降低检测的准确度，且由于是实时进行的，因而，提升了检测的有效性。
进一步地，本发明提供基于深度学习的路况识别方法的另一实施例，在该实施例中，所述基于深度学习的路况识别设备中包括GPS子设备，所述获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素步骤包括：
步骤D1，获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素；
步骤D2，根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段；
在本实施例中，预设三维卷积神经网络模型中危险路况的多个识别因素是确定的，为了加快处理速度，在本实施例中，还进行具体车辆场景的判断，以选取合适的识别因素而不是所有的识别因素都进行识别，具体地，根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段。
步骤D3，若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素。
若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素作为待处理识别因素，在得到待处理识别因素识别因素后，针对每个待处理识别因素，执行如下步骤：获取所述路标识别因素、行人识别因素、动物识别因素分别对应的多个预设识别图像特征，以及所述多个预设识别图像特征分别对应的权值矩阵；根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果；对所述卷积处理结果进行池化处理，以得到池化处理结果；根据所述预设次数，对所述池化处理结果再次进行相应次数的卷积与池化交替处理，以得到初始处理结果。
在本实施例中，通过获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素；根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段；若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素。在本实施例中，根据市区路段的场景进行待识别因素的选取，提升处理效率。
进一步地，本发明提供基于深度学习的路况识别方法的另一实施例，在该实施例中，所述将所述初始处理结果与预设阀值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤包括：
步骤E1，将所述初始处理结果与预设阀值进行比对；
步骤E2，若所述初始处理结果大于等于所述预设分类阀值，则判定所述车辆启动或者行驶过程中存在危险路况；
步骤E3，若所述初始处理结果小于所述预设分类阀值，则判定所述车辆启动或者行驶过程中未存在危险路况。
在本实施例中，若所述初始处理结果大于等于所述预设分类阀值，则判定所述车辆启动或者行驶过程中存在危险路况，若所述初始处理结果小于所述预设分类阀值，则判定所述车辆启动或者行驶过程中未存在危险路况，以准确进行危险路况的预测。
参照图3，图3是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例基于深度学习的路况识别设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等终端设备。
如图3所示，该基于深度学习的路况识别设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该基于深度学习的路况识别设备还可以包括目标用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。目标用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选目标用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的基于深度学习的路况识别设备结构并不构成对基于深度学习的路况识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及基于深度学习的路况识别程序。操作系统是管理和控制基于深度学习的路况识别设备硬件和软件资源的程序，支持基于深度学习的路况识别程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与基于深度学习的路况识别设备中其它硬件和软件之间通信。
在图3所示的基于深度学习的路况识别设备中，处理器1001用于执行存储器1005中存储的基于深度学习的路况识别程序，实现上述任一项所述的基于深度学习的路况识别方法的步骤。
本发明基于深度学习的路况识别设备具体实施方式与上述基于深度学习的路况识别方法各实施例基本相同，在此不再赘述。
本发明还提供一种基于深度学习的路况识别装置，所述基于深度学习的路况识别装置包括：
采集模块，用于通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述监控视频的图像数据；
判断模块，用于将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
输出模块，用于若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员。
本发明基于深度学习的路况识别装置具体实施方式与上述基于深度学习的路况识别方法各实施例基本相同，在此不再赘述。
本发明提供了一种存储介质，所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于深度学习的路况识别方法的步骤。
本发明存储介质具体实施方式与上述基于深度学习的路况识别方法各实施例基本相同，在此不再赘述。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利处理范围内。
Claims (5)
1.一种基于深度学习的路况识别方法，其特征在于，所述基于深度学习的路况识别方法包括：
通过预设路边单元每间隔预设时间段采集车辆的行驶距离与抖动距离，以判断车辆是否处于启动或者行驶状态；
若车辆处于启动或者行驶状态，通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述路况监控视频的图像数据；
将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员；
其中，根据目标处理尺寸对所述图像数据中的图像块进行切割处理，得到处理图像数据，将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤包括：
将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果；
将所述初始处理结果与预设阈值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况；
所述将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果步骤包括：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素；
针对每个待处理识别因素，执行如下步骤：
获取所述待处理识别因素的多个预设识别图像特征，以及所述多个预设识别图像特征分别对应的权值矩阵；
根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果；
对所述卷积处理结果进行池化处理，以得到池化处理结果；
根据所述预设次数，对所述池化处理结果再次进行相应次数的卷积与池化交替处理，以得到初始处理结果；
所述基于深度学习的路况识别设备中包括GPS子设备，所述获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素步骤包括：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素；
根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段；
若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素；
所述对所述卷积处理结果进行池化处理，以得到池化处理结果步骤包括：
将所述卷积处理结果分割为多个大小一致的预设像素尺寸的图像矩阵；
获取所述预设像素尺寸的图像矩阵中的平均像素值，将所述平均像素值代替所述预设像素尺寸的图像矩阵，以得到新的图像矩阵；
将所述新的图像矩阵设为所述池化处理结果；
所述将所述初始处理结果与预设阈值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤包括：
将所述初始处理结果与预设阈值进行比对；
若所述初始处理结果大于等于预设分类阈值，则判定所述车辆启动或者行驶过程中存在危险路况；
若所述初始处理结果小于所述预设分类阈值，则判定所述车辆启动或者行驶过程中未存在危险路况。
2.如权利要求1所述的基于深度学习的路况识别方法，其特征在于，所述基于深度学习的路况识别方法应用于基于深度学习的路况识别设备，所述基于深度学习的路况识别设备中包括cpu，
所述将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况步骤之前包括：
读取所述cpu的目标处理性能，根据预设的cpu的处理性能与图像数据中图像块的单次最大处理尺寸的关联关系，确定所述目标处理性能对应的目标处理尺寸；
根据所述目标处理尺寸对所述图像数据中的图像块进行切割处理，得到处理图像数据。
3.一种基于深度学习的路况识别装置，其特征在于，所述基于深度学习的路况识别装置包括：
采集模块，用于通过车辆的摄像头，实时采集车辆启动或者行驶过程中的路况监控视频，以获取所述监控视频的图像数据；
判断模块，用于将所述图像数据作为输入数据输入至预设三维卷积神经网络模型中，以判断所述车辆启动或者行驶过程中是否存在危险路况；
输出模块，用于若所述车辆启动或者行驶过程中存在危险路况，则输出预设提醒信息以提醒所述车辆的驾驶员；
其中，根据目标处理尺寸对所述图像数据中的图像块进行切割处理，得到处理图像数据，所述判断模块用于实现：
将所述处理图像数据作为输入数据输入至预设三维卷积神经网络模型中，以对所述输入数据进行预设次数的卷积与池化交替处理，得到初始处理结果；
将所述初始处理结果与预设阈值进行比对，以判断所述车辆启动或者行驶过程中是否存在危险路况；
所述判断模块用于实现：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素，并从所述多个识别因素选取待处理识别因素；
针对每个待处理识别因素，所述判断模块用于实现：
获取所述待处理识别因素的多个预设识别图像特征，以及所述多个预设识别图像特征分别对应的权值矩阵；
根据所述多个预设识别图像特征与所述权值矩阵，对所述处理图像数据进行滤波卷积处理，得到卷积处理结果；
对所述卷积处理结果进行池化处理，以得到池化处理结果；
根据所述预设次数，对所述池化处理结果再次进行相应次数的卷积与池化交替处理，以得到初始处理结果；
所述基于深度学习的路况识别设备中包括GPS子设备，所述判断模块用于实现：
获取所述预设三维卷积神经网络模型中针对所述危险路况的多个识别因素；
根据所述GPS子设备，获取所述车辆当前启动或者行驶的路段信息，以判断所述车辆是否在市区路段；
若所述车辆在市区路段，则从所述多个识别因素中选取路标识别因素、行人识别因素、动物识别因素作为待处理识别因素；
所述判断模块用于实现：
将所述卷积处理结果分割为多个大小一致的预设像素尺寸的图像矩阵；
获取所述预设像素尺寸的图像矩阵中的平均像素值，将所述平均像素值代替所述预设像素尺寸的图像矩阵，以得到新的图像矩阵；
将所述新的图像矩阵设为所述池化处理结果；
所述判断模块用于实现：
将所述初始处理结果与预设阈值进行比对；
若所述初始处理结果大于等于预设分类阈值，则判定所述车辆启动或者行驶过程中存在危险路况；
若所述初始处理结果小于所述预设分类阈值，则判定所述车辆启动或者行驶过程中未存在危险路况。
4.一种基于深度学习的路况识别设备，其特征在于，所述基于深度学习的路况识别设备包括：存储器、处理器，通信总线以及存储在所述存储器上的基于深度学习的路况识别程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述基于深度学习的路况识别程序，以实现如权利要求1至2中任一项所述的基于深度学习的路况识别方法的步骤。
5.一种存储介质，其特征在于，所述存储介质上存储有基于深度学习的路况识别程序，所述基于深度学习的路况识别程序被处理器执行时实现如权利要求1至2中任一项所述的基于深度学习的路况识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910846741.4A CN110705370B (zh) | 2019-09-06 | 2019-09-06 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910846741.4A CN110705370B (zh) | 2019-09-06 | 2019-09-06 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110705370A CN110705370A (zh) | 2020-01-17 |
| CN110705370B true CN110705370B (zh) | 2023-08-18 |
Family
ID=69195117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910846741.4A Active CN110705370B (zh) | 2019-09-06 | 2019-09-06 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705370B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401414B (zh) * | 2020-02-29 | 2023-02-10 | 同济大学 | 一种基于自然驾驶数据的危险场景提取及分类方法 |
| CN111862608B (zh) * | 2020-07-22 | 2022-06-24 | 湖北文理学院 | 车辆行驶路况识别方法、装置、设备及存储介质 |
| CN112580535A (zh) * | 2020-12-23 | 2021-03-30 | 恒大新能源汽车投资控股集团有限公司 | 车辆危险警示方法及装置、计算机可读存储介质 |
| CN112633722B (zh) * | 2020-12-29 | 2024-01-12 | 交通运输部公路科学研究所 | 车载道路安全风险评估系统及方法 |
| CN112925241A (zh) * | 2021-01-25 | 2021-06-08 | 常州机电职业技术学院 | 一种汽车开关门自动响应系统及控制方法 |
| CN114973055A (zh) * | 2022-03-25 | 2022-08-30 | 成都臻识科技发展有限公司 | 车辆运动状态检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012048310A (ja) * | 2010-08-24 | 2012-03-08 | Denso Corp | 運転支援システム、車載装置、情報配信装置 |
| CN105575119A (zh) * | 2015-12-29 | 2016-05-11 | 大连楼兰科技股份有限公司 | 路况气候深度学习及识别方法和装置 |
| CN107844746A (zh) * | 2017-10-11 | 2018-03-27 | 苏州天瞳威视电子科技有限公司 | 基于深度学习的复杂路况感知系统及装置 |
| CN108701396A (zh) * | 2018-03-26 | 2018-10-23 | 深圳市锐明技术股份有限公司 | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 |
| US10322728B1 (en) * | 2018-02-22 | 2019-06-18 | Futurewei Technologies, Inc. | Method for distress and road rage detection |
-
2019
- 2019-09-06 CN CN201910846741.4A patent/CN110705370B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012048310A (ja) * | 2010-08-24 | 2012-03-08 | Denso Corp | 運転支援システム、車載装置、情報配信装置 |
| CN105575119A (zh) * | 2015-12-29 | 2016-05-11 | 大连楼兰科技股份有限公司 | 路况气候深度学习及识别方法和装置 |
| CN107844746A (zh) * | 2017-10-11 | 2018-03-27 | 苏州天瞳威视电子科技有限公司 | 基于深度学习的复杂路况感知系统及装置 |
| US10322728B1 (en) * | 2018-02-22 | 2019-06-18 | Futurewei Technologies, Inc. | Method for distress and road rage detection |
| CN108701396A (zh) * | 2018-03-26 | 2018-10-23 | 深圳市锐明技术股份有限公司 | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的客运车辆危险行驶状态辨识技术研究;胡闰秀 等;汽车实用技术(11);第26-28页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110705370A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705370B (zh) | 基于深度学习的路况识别方法、装置、设备及存储介质 | |
| CN110667593B (zh) | 基于深度学习的驾驶提醒方法、装置、设备及存储介质 | |
| CN110096975B (zh) | 一种车位状态识别方法、设备及系统 | |
| CN112163543A (zh) | 一种车辆违法占道的检测方法及系统 | |
| CN112799826B (zh) | 智能分析算法选取方法、装置、系统及电子设备 | |
| CN112163544B (zh) | 一种非机动车辆乱摆放的判断方法及系统 | |
| CN111047874A (zh) | 智能交通违章管理方法及相关产品 | |
| CN113160272B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN112818839A (zh) | 驾驶员违章行为识别方法、装置、设备及介质 | |
| CN115861916A (zh) | 异常停车行为检测方法、装置、计算机设备和存储介质 | |
| CN113450578B (zh) | 交通违章事件取证方法、装置、设备及系统 | |
| CN110807493A (zh) | 一种车辆分类模型的优化方法及设备 | |
| CN113177917B (zh) | 一种抓拍图像优选方法、系统、设备及介质 | |
| CN114724107B (zh) | 一种图像检测方法、装置、设备及介质 | |
| CN111325130A (zh) | 一种基于改进fr-cnn的驾驶员通话检测方法 | |
| CN114724128B (zh) | 一种车牌识别方法、装置、设备和介质 | |
| CN112950961B (zh) | 车流量统计方法、装置、设备和存储介质 | |
| CN115131726A (zh) | 一种车位检测方法、装置、设备及介质 | |
| CN113807125B (zh) | 应急车道占用检测方法、装置、计算机设备和存储介质 | |
| CN114283361A (zh) | 状态信息的确定方法和装置、存储介质及电子装置 | |
| CN114202919A (zh) | 一种非机动车电子车牌遮挡的识别方法、装置及系统 | |
| CN113591543A (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN115861624B (zh) | 摄像头被遮挡的检测方法、装置、设备及存储介质 | |
| CN112365465B (zh) | 合成图像类别确定方法、装置、存储介质及电子装置 | |
| CN117523814A (zh) | 监控区域确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |