CN108701396B - 一种车前积雪与结冰的检测报警方法、存储介质和服务器 - Google Patents
一种车前积雪与结冰的检测报警方法、存储介质和服务器 Download PDFInfo
- Publication number
- CN108701396B CN108701396B CN201880000213.0A CN201880000213A CN108701396B CN 108701396 B CN108701396 B CN 108701396B CN 201880000213 A CN201880000213 A CN 201880000213A CN 108701396 B CN108701396 B CN 108701396B
- Authority
- CN
- China
- Prior art keywords
- snow
- vehicle
- ice
- deep learning
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
- G08B19/02—Alarm responsive to formation or anticipated formation of ice
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种车前积雪与结冰的检测报警方法,用于解决如何检测路面积雪与结冰情况并及时发出相应报警的问题。该方法包括:获取车辆上摄像头拍摄车前场景的第一视频;从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;若所述识别结果为路面上存在积雪或结冰,则发出报警信息。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种车前积雪与结冰的检测报警方法、存储介质和服务器。
背景技术
行车途中,路上若有积雪与结冰是令司机非常头疼的一件事,积雪与结冰是路面行车的不稳定因素,是造成很多交通事故的罪魁祸首,长期以来是司机师傅们的心头大患。
因此,如何检测路面积雪与结冰情况并及时发出相应报警成为本领域技术人员亟需解决的问题。
发明内容
为了解决如何检测路面积雪与结冰情况并及时发出相应报警的问题,本发明实施例提供了一种车前积雪与结冰的检测报警方法、存储介质和服务器。
本发明第一方面,提供了一种车前积雪与结冰的检测报警方法,包括:
获取车辆上摄像头拍摄车前场景的第一视频;
从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;
将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;
若所述识别结果为路面上存在积雪或结冰,则发出报警信息。
可选地,还包括:
获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息;
将所述定位信息与所述识别结果关联存储;
若所述识别结果为路面上存在积雪或结冰,且检测到车辆将要行驶经过所述定位信息对应的地点,则提前预设时间或者预设距离对将要行驶经过的车辆发出预警信息。
可选地,在将所述定位信息与所述识别结果关联存储之后,还包括:
若所述识别结果为路面上存在积雪或结冰,获取所述定位信息对应的地点所属地区的天气情况;
根据所述天气情况确定所述所属地区中积雪或结冰消融所需的时长;
根据确定出的所述时长确定所述定位信息对应的地点上积雪或结冰的消融时间;
当所述消融时间到达时,将与所述定位信息关联存储的识别结果的状态修改为失效。
可选地,所述无监督深度学习模型通过以下步骤预先训练得到:
预先采集多个拍摄自车前场景的样本视频;
从各个所述样本视频中截取出表征路面状况的样本图片;
将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中;
通过所述初始的无监督深度学习模型对所述输入向量进行编码、解码处理,得到输出向量;
计算所述输出向量与所述输入向量之间的输出误差;
若所述输出误差不符合预设条件,则调整所述无监督深度学习模型的模型参数,并将模型参数调整后的无监督深度学习模型作为初始的无监督深度学习模型,返回执行将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中的步骤以及后续步骤;
直到所述输出误差满足所述预设条件,确定所述无监督深度学习模型训练完成。
可选地,还包括:
若所述识别结果为路面上存在积雪或结冰,则将生成的报警信息存储至指定的报警列表;
当接收到查询报警信息的请求时,从所述报警列表中查询所述请求所需的报警信息,然后将所述请求所需的报警信息反馈给请求方。
本发明第二方面,提供了一种车前积雪与结冰的检测报警装置,包括:
拍摄视频获取模块,用于获取车辆上摄像头拍摄车前场景的第一视频;
图片截取模块,用于从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;
识别模块,用于将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;
报警模块,用于若所述识别结果为路面上存在积雪或结冰,则发出报警信息。
可选地,所述车前积雪与结冰的检测报警装置还包括:
定位信息获取模块,用于获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息;
关联存储模块,用于将所述定位信息与所述识别结果关联存储;
提前预警模块,用于若所述识别结果为路面上存在积雪或结冰,且检测到车辆将要行驶经过所述定位信息对应的地点,则提前预设时间或者预设距离对将要行驶经过的车辆发出预警信息。
可选地,所述车前积雪与结冰的检测报警装置还包括:
天气情况获取模块,用于若所述识别结果为路面上存在积雪或结冰,获取所述定位信息对应的地点所属地区的天气情况;
消融时长确定模块,用于根据所述天气情况确定所述所属地区中积雪或结冰消融所需的时长;
消融时间确定模块,用于根据确定出的所述时长确定所述定位信息对应的地点上积雪或结冰的消融时间;
效力修改模块,用于当所述消融时间到达时,将与所述定位信息关联存储的识别结果的状态修改为失效。
本发明第三方面,提供了一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述车前积雪与结冰的检测报警方法的步骤。
本发明第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述车前积雪与结冰的检测报警方法的步骤。
本发明实施例中,首先,获取车辆上摄像头拍摄车前场景的第一视频;然后,从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;接着,将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;若所述识别结果为路面上存在积雪或结冰,则发出报警信息。在本发明实施例中,通过获取摄像头拍摄车前场景的第一视频,并从中截取表征路面状况的图片,将该图片输入至利用无监督深度学习预训练完成的无监督深度学习模型得到识别结果,从而可以得到该车辆当前车前路面上是否存在积雪或结冰,若存在,则发出报警信息,实现了检测路面积雪与结冰情况并及时发出报警信息,大大减轻了积雪与结冰的路面情况对行车带来的不良影响。
附图说明
图1为本发明实施例中一种车前积雪与结冰的检测报警方法一个实施例流程图;
图2为本发明实施例中一种车前积雪与结冰的检测报警方法在一个应用场景下预先训练无监督深度学习模型的流程示意图;
图3为本发明实施例中一种车前积雪与结冰的检测报警方法在一个应用场景下为其它车辆提供预警信息的流程示意图;
图4为本发明实施例中一种车前积雪与结冰的检测报警方法在一个应用场景下估算冰雪消融时间的流程示意图;
图5为本发明实施例中一种车前积雪与结冰的检测报警装置一个实施例结构图;
图6为本发明一实施例提供的服务器的示意图。
具体实施方式
本发明实施例提供了一种车前积雪与结冰的检测报警方法、存储介质和服务器,用于解决如何检测路面积雪与结冰情况并及时发出相应报警的问题。
本发明采用基于无监督深度学习的图像方式实时检测路面积雪与结冰情况并发出实时报警,在此基础上,将所有安装此方法程序或系统的车辆在平台连网,形成一个城市网,在每个城市内的所有车辆间能够信息共享,在一辆车检测出某地存在路面积雪与结冰后能在一定时间内对经过此地的其他车辆进行提前提醒,最大限度上对危险情况进行提前预警,防止不必要的事故发生。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种车前积雪与结冰的检测报警方法一个实施例包括:
步骤S101、获取车辆上摄像头拍摄车前场景的第一视频;
本实施例的执行主体可以是终端设备或者服务器,优选地,本实施例的执行主体为一服务器,比如云端服务器平台。
该车辆可以在车辆前窗玻璃的适当位置上安装ADAS(高级驾驶辅助系统)摄像头,用于拍摄车前场景的视频、录像,从而,服务器可以与车辆的ADAS系统通信获取到该第一视频。该摄像头具体可以安装在车辆前窗玻璃的竖直中心线上,以避免雨刮对其工作造成影响或者对其造成损坏。
需要说明的是车辆上与服务器通信的通信模块具体可以连接在MDVR(MobileDigital Video Recorders)上,并可适用于2G/3G/4G/5G网络带宽,其中,通信模块一般通过相应天线连接设备实现,而室内测试环境下亦可用有线网络通讯。
步骤S102、从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;
可以理解的是,在获取到第一视频之后,可以获取第一视频中各个视频帧,并从视频帧中截取出包含有车前路面状况的图片,即上述的第一图片。
可以理解的是,摄像头通常是固定安装在一个车辆上的,且安装后摄像头的拍摄角度不变,比如可以将该摄像头安装在车辆前窗玻璃的竖直中心线上,摄像头拍摄角度正对车辆前方的路面。这样,摄像头拍摄出来的第一视频中包含的路面状况图像占据视频帧中的区域是固定的。因此,在截取出所述车前场景中表征路面状况的第一图片时,可以截取第一视频的视频帧中的固定区域图像,截取出的固定区域图像即为该第一图片。
具体地,该第一图片的截取可以包括以下步骤:
(1)预先获取车辆上摄像头拍摄车前场景的测试视频;
(2)选取出所述测试视频的视频帧中包含车前场景的路面状况的截取区域,并存储所述截取区域;
(3)在执行步骤S102时,从所述第一视频的视频帧中截取出所述截取区域内的图像,得到所述第一图片。
步骤S103、将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;
在截取出第一图片之后,可以将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,所述无监督深度学习模型对所述第一图片进行识别判断,得到输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰。
可以理解的是,所述无监督深度学习模型是预先经过大量的训练样本训练完成得到的,可以对第一图片中的路面状况进行识别判断,从而得知该第一图片中的路面是否存在积雪或结冰。
其中,上述无监督深度学习模型的预训练过程将在下述内容中进行详细描述。
步骤S104、若所述识别结果为路面上存在积雪或结冰,则发出报警信息。
在本实施例中,若所述识别结果为路面上存在积雪或结冰,则可以认为当前的路面状况存在不稳定因素,因此发出报警信息。具体地,该报警信息可以由车辆上的LED或LCD提示器发出,比如可以向车辆的驾驶员发出语音提示或者画面提示,使得驾驶员能第一时间察觉危险并及时做出减速慢行的处理。
进一步地,为了便于报警信息的管理,若所述识别结果为路面上存在积雪或结冰,则将生成的报警信息存储至指定的报警列表;当接收到查询报警信息的请求时,从所述报警列表中查询所述请求所需的报警信息,然后将所述请求所需的报警信息反馈给请求方。在本实施例中,在报警信息生成后,该报警信息可以传到服务器上,服务器将报警信息添加至指定的报警列表中,可以选择按照时间或者按照报警类型对报警列表中的报警信息分类、排列,以方便查询。另外,服务器还可以根据需要存储第一图片和/或第一视频,其中图片的张数或视频的长度均可以根据需要设置,以留作证据使用,便于后续根据需要来调用这些报警图片或报警视频。
下面,将对上述卷积神经网络的预训练过程进行详细介绍。如图2所示,所述无监督深度学习模型可以通过以下步骤预先训练得到:
步骤S201、预先采集多个拍摄自车前场景的样本视频;
步骤S202、从各个所述样本视频中截取出表征路面状况的样本图片;
步骤S203、将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中;
步骤S204、通过所述初始的无监督深度学习模型对所述输入向量进行编码、解码处理,得到输出向量;
步骤S205、计算所述输出向量与所述输入向量之间的输出误差;
步骤S206、若所述输出误差不符合预设条件,则调整所述无监督深度学习模型的模型参数,并将模型参数调整后的无监督深度学习模型作为初始的无监督深度学习模型,返回执行将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中的步骤以及后续步骤;
步骤S207、直到所述输出误差满足预设条件时,确定所述无监督深度学习模型训练完成。
对于上述步骤S201,在训练无监督深度学习模型之前,需要预先采集用于训练的多个样本视频,这些样本视频均拍摄自车前场景中,包含了车前路面存在积雪或结冰,以及车前路面不存在积雪或结冰的情况。这些样本视频的数据量越大,对无监督深度学习模型的训练效果就越好。
上述步骤S202与上述步骤S102的内容相似,原理基本相同,此处不再赘述。
对于上述步骤S203,在采集、截取到这些训练用的样本图片之后,将这些样本图片转换成向量的形式输入至所述无监督深度学习模型中,即将这些样本图片转换成输入向量输入至所述无监督深度学习模型中,以方便后续的计算与处理。
在此,所述无监督深度学习模型采用一种自动编码方式,即在上述步骤S204中,所述初始的无监督深度学习模型获取这些样本图片的输入向量之后,通过自动编码器将这些输入向量转化为特征编码,以完成编码处理;随后再通过解码器将这些特征编码转换成无监督深度学习模型能够识别的数据形式,即通过解码器的解码处理得到输出向量,以使得无监督深度学习模型能对所要提取的特征进行学习,即学习到对样本图片的特殊表达方式。
对于上述步骤S205,在所述初始的无监督深度学习模型得到输出向量之后,可以计算所述输出向量与样本图片对应的输入向量之间的输出误差,并判断该输出误差是否符合预设条件。
对于上述步骤S206,若该输出误差不符合所述预设条件的话,则调整所述无监督深度学习模型的模型参数,并将模型参数调整后的无监督深度学习模型作为初始的无监督深度学习模型,返回执行将各个样本图片转换成输入向量输入至初始的无监督深度学习模型中的步骤以及后续步骤,以减小输出误差,使得后续训练的输出向量与输入向量之间的误差最小化。
对于上述步骤S207,在反复调整无监督深度学习模型的模型参数,进行多次训练之后,对比每次的输出向量与训练组样本对应的输入向量之间的输出误差,如果该输出误差满足所述预设条件,比如输出误差小于5%,则可以确定所述无监督深度学习模型训练完成。其中,所述预设条件可以在训练具体的无监督深度学习模型时确定,比如设定输出误差小于特定阈值,该特定阈值可以是一个百分比数值,特定阈值越小,则最后训练完成得到的无监督深度学习模型越稳定,识别精度越高。
具体地,所述无监督深度学习模型包括输入层、隐藏层及输出层,所述无监督深度学习模型的模型参数包括权值矩阵、输入层到隐藏层间的第一偏置向量以及隐藏层到输出层间的第二偏向量,所述输入层用于进行数据的输入,所述隐藏层用于对数据进行编码、解码处理,所述输出层用于将编码、解码处理后的数据重新输入至输入层,以开启隐藏层下一次编码、解码的迭代处理,其中,在训练开始时,首先对初始的无监督深度学习模型的权值矩阵、第一偏置向量以及第二偏置向量进行初始化。
因而,所述无监督深度学习模型的训练过程具体如下:将样本图片的输入向量通过输入层输入至所述无监督深度学习模型中;所述无监督深度学习模型中的隐藏层则对该输入向量进行向量重构,得到输出向量,即通过对该输入向量与权值矩阵进行变换生成特征编码,随后再将该特征编码与该权值矩阵的转置矩阵进行运算,得到输出向量;计算此时的输出向量与输入向量之间的输出误差,判断该输出误差是否达到预设的最小误差值,如果是的话,则确定所述无监督深度学习模型训练完成,即当前的权值矩阵、第一偏置向量及第二偏置向量为训练所得的最优模型参数;如果不是的话,则使用梯度下降法将所述输出误差逆传播至隐藏层,以更新权值矩阵、第一偏置向量和第二偏置向量,同时将所述输出向量作为输入重新投入至输入层,开启下一次训练的迭代处理,以减小输出误差。当输出误差满足预设条件,即达到预设的最小误差值时,则终止迭代,完成所述无监督深度学习模型的训练。
在此,采用无监督的学习方式来进行所述无监督深度学习模型的训练,不需要预先进行训练样本的分类以及不需要预先知道训练样本的分类标签,可降低训练样本的获取难度,提高训练效率,增大所述无监督深度学习模型的适用范围。
进一步地,本实施例中的识别结果还可以与定位信息结合起来,为其它车辆提供预警信息。如图3所示,该车前积雪与结冰的检测报警方法还可以包括:
步骤S301、获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息;
步骤S302、将所述定位信息与所述识别结果关联存储;
步骤S303、若所述识别结果为路面上存在积雪或结冰,且检测到车辆将要行驶经过所述定位信息对应的地点,则提前预设时间或者预设距离对将要行驶经过的车辆发出预警信息。
对于上述步骤S301~步骤S303,可以理解的是,服务器可以将GPS定位和高精度地图结合起来,通过获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息,即确定出识别结果对应的路面位置,并将该定位信息与识别结果关联存储,从而服务器可以在高精度地图的对应位置标记上哪个位置存在积雪或结冰、哪个位置不存在积雪或结冰。当服务器与大量的车辆通信连接,车辆行驶过的路面越多时,服务器在高精度地图上标记的已识别的位置也就越多,从而经过一段时间的信息积累之后,服务器理论上可以得知该高精度地图上每一路面位置的路面状况。由于服务器是关联存储所述定位信息与所述识别结果的,因此,当服务器发现有车辆即将行驶经过某个存在积雪或结冰的位置时,服务器可以提前一小段时间或距离对该车辆发出预警信息,以便于车辆上的驾驶员可以提前做出应对措施或准备工作。
进一步地,在将所述定位信息与所述识别结果关联存储之后,如图4所示,该车前积雪与结冰的检测报警方法还可以包括:
步骤S401、若所述识别结果为路面上存在积雪或结冰,获取所述定位信息对应的地点所属地区的天气情况;
步骤S402、根据所述天气情况确定所述所属地区中积雪或结冰消融所需的时长;
步骤S403、根据确定出的所述时长确定所述定位信息对应的地点上积雪或结冰的消融时间;
步骤S404、当所述消融时间到达时,将与所述定位信息关联存储的识别结果的状态修改为失效。
对于步骤S401,对于某个定位信息所关联的识别结果,如果该识别结果为路面上存在积雪或结冰,则代表该定位信息对应的地点存在积雪或结冰,服务器为了估算这个地点的积雪或结冰什么时候消融,需要获取该定位信息对应的地点所属地区的天气情况。具体地,服务器可以从气象局的网站获取到该地区的天气信息,该天气信息包括温度、空气湿度、降雪量等信息。
对于步骤S402,在获取到该定位信息对应的地面所属地区的天气情况之后,可以根据该天气情况确定出积雪或结冰消融所需的时长。该时长可以由预先设置的天气情况与消融时长的对应关系确定得到。比如,可以根据经验值设置“温度在10~20度之间,降雪量为12小时内小于1.0mm”对应的消融时长为1小时。
对于步骤S403,可以理解的是,在得到该所属地区中积雪或结冰消融所需的时长之后,可以计算出该定位信息对应的地面上积雪或结冰的消融时间。具体可以是,消融所需的时长等于消融时间减去第一视频的拍摄时间点,服务器可以获知到第一视频的拍摄时间点,从而可以计算得出消融时间等于第一视频的拍摄时间点加上消融所需的时长。举例说明,假设第一视频的拍摄时间点为上午9点,消融所需的时长为1小时,则消融时间为上午10点。
对于步骤S404,当所述消融时间到达时,可以理解的是,如果该识别结果为路面上存在积雪或结冰,当消融时间到达时,可以认为该定位信息对应地面上的积雪或结冰已经消融,因此该识别结果对于服务器的预警功能来说已经失效了,服务器即可以将与所述定位信息关联存储的识别结果的状态修改为失效,以表明该定位信息对应的路面上已不存在积雪或结冰。
由上述步骤S401~步骤S404的内容可知,本实施例可以最大限度做好对驾驶员行车中的前方出现的积雪或结冰危险进行预警提醒,以及准确判断报警位置处危险信号存在时间长短。这样,服务器便能全面而准确得为驾驶员做好车前积雪或结冰危险实时预警,最大限度地避免交通事故的发生。
本实施例中,首先,获取车辆上摄像头拍摄车前场景的第一视频;然后,从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;接着,将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;若所述识别结果为路面上存在积雪或结冰,则发出报警信息。在本实施例中,通过获取摄像头拍摄车前场景的第一视频,并从中截取表征路面状况的图片,将该图片输入至利用无监督深度学习预训练完成的无监督深度学习模型得到识别结果,从而可以得到该车辆当前车前路面上是否存在积雪或结冰,若存在,则发出报警信息,实现了检测路面积雪与结冰情况并及时发出报警信息,大大减轻了积雪与结冰的路面情况对行车带来的不良影响。
另外,本实施例采用无监督深度学习算法检测路面的积雪或结冰状况,可随样本数量的不断增大不断提高检测的准确率;并且,车辆之间可以通过服务器实现互联,车辆提供的报警信息在对本车实时预警之后,一定时间内可持续为其他经过报警对应地区的其他车辆提供预警,从而形成整体城市(或其他区域)性报警联动网络,提供更加全面的报警策略,同时车联网策略也更加方便全部车辆的运营管理。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种车前积雪与结冰的检测报警方法,下面将对一种车前积雪与结冰的检测报警装置进行详细描述。
图5示出了本发明实施例中一种车前积雪与结冰的检测报警装置一个实施例结构图。
本实施例中,一种车前积雪与结冰的检测报警装置包括:
拍摄视频获取模块501,用于获取车辆上摄像头拍摄车前场景的第一视频;
图片截取模块502,用于从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;
识别模块503,用于将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;
报警模块504,用于若所述识别结果为路面上存在积雪或结冰,则发出报警信息。
进一步地,所述车前积雪与结冰的检测报警装置还可以包括:
定位信息获取模块,用于获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息;
关联存储模块,用于将所述定位信息与所述识别结果关联存储;
提前预警模块,用于若所述识别结果为路面上存在积雪或结冰,且检测到车辆将要行驶经过所述定位信息对应的地点,则提前预设时间或者预设距离对将要行驶经过的车辆发出预警信息。
进一步地,所述车前积雪与结冰的检测报警装置还可以包括:
天气情况获取模块,用于若所述识别结果为路面上存在积雪或结冰,获取所述定位信息对应的地点所属地区的天气情况;
消融时长确定模块,用于根据所述天气情况确定所述所属地区中积雪或结冰消融所需的时长;
消融时间确定模块,用于根据确定出的所述时长确定所述定位信息对应的地点上积雪或结冰的消融时间;
效力修改模块,用于当所述消融时间到达时,将与所述定位信息关联存储的识别结果的状态修改为失效。
进一步地,所述无监督深度学习模型可以通过以下步骤预先训练得到:
样本视频收集模块,用于预先采集多个拍摄自车前场景的样本视频;
样本图片截取模块,用于从各个所述样本视频中截取出表征路面状况的样本图片;
样本图片输入模块,用于将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中;
编解码处理模块,用于通过所述初始的无监督深度学习模型对所述输入向量进行编码、解码处理,得到输出向量;
输出误差计算模块,用于计算所述输出向量与所述输入向量之间的输出误差;
模型参数调整模块,用于若所述输出误差不符合预设条件,则调整所述无监督深度学习模型的模型参数,并将模型参数调整后的无监督深度学习模型作为初始的无监督深度学习模型,返回执行将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中的步骤以及后续步骤;
训练完成确定模块,用于直到所述误差满足预设条件时,确定所述无监督深度学习模型训练完成。
进一步地,所述车前积雪与结冰的检测报警装置还可以包括:
报警列表模块,用于若所述识别结果为路面上存在积雪或结冰,则将生成的报警信息存储至指定的报警列表;
报警信息查询模块,用于当接收到查询报警信息的请求时,从所述报警列表中查询所述请求所需的报警信息,然后将所述请求所需的报警信息反馈给请求方。
图6是本发明一实施例提供的服务器的示意图。如图6所示,该实施例的服务器6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如执行上述车前积雪与结冰的检测报警方法的程序。所述处理器60执行所述计算机程序62时实现上述各个车前积雪与结冰的检测报警方法实施例中的步骤,例如图1所示的步骤S101至步骤S104。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块501至504的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序的指令段,该指令段用于描述所述计算机程序62在所述服务器6中的执行过程。
所述服务器6可以是本地服务器、云端服务器等计算设备。所述服务器可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是服务器6的示例,并不构成对服务器6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述服务器6的内部存储单元,例如服务器6的硬盘或内存。所述存储器61也可以是所述服务器6的外部存储设备,例如所述服务器6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述服务器6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种车前积雪与结冰的检测报警方法,其特征在于,包括:
获取车辆上摄像头拍摄车前场景的第一视频;
从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;
将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,所述无监督深度学习模型为基于自动编码器的无监督深度学习模型,通过所述自动编码器将所述第一图片对应的输入向量与权值矩阵进行变换生成特征编码,并通过所述自动编码器将所述特征编码与所述权值矩阵的转置矩阵进行运算,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;
若所述识别结果为路面上存在积雪或结冰,则发出报警信息;
获取预设时间内将经过所述存在积雪或结冰的路面的其他车辆,并通过所述报警信息对所述其他车辆进行提前预警;
所述方法还包括:
获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息;
将所述定位信息与所述识别结果关联存储;
若所述识别结果为路面上存在积雪或结冰,且检测到车辆将要行驶经过所述定位信息对应的地点,则提前预设时间或者预设距离对将要行驶经过的车辆发出预警信息;
在将所述定位信息与所述识别结果关联存储之后,还包括:
若所述识别结果为路面上存在积雪或结冰,获取所述定位信息对应的地点所属地区的天气情况;
根据所述天气情况确定所述所属地区中积雪或结冰消融所需的时长;
根据确定出的所述时长确定所述定位信息对应的地点上积雪或结冰的消融时间,所述消融所需的时长等于消融时间减去第一视频的拍摄时间点;
当所述消融时间到达时,将与所述定位信息关联存储的识别结果的状态修改为失效。
2.根据权利要求1所述的车前积雪与结冰的检测报警方法,其特征在于,所述无监督深度学习模型通过以下步骤预先训练得到:
预先采集多个拍摄自车前场景的样本视频;
从各个所述样本视频中截取出表征路面状况的样本图片;
将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中;
通过所述初始的无监督深度学习模型对所述输入向量进行编码、解码处理,得到输出向量;
计算所述输出向量与所述输入向量之间的输出误差;
若所述输出误差不符合预设条件,则调整所述无监督深度学习模型的模型参数,并将模型参数调整后的无监督深度学习模型作为初始的无监督深度学习模型,返回执行将各个所述样本图片转换成输入向量输入至初始的无监督深度学习模型中的步骤以及后续步骤;
直到所述输出误差满足预设条件时,确定所述无监督深度学习模型训练完成。
3.根据权利要求1至2中任一项所述的车前积雪与结冰的检测报警方法,其特征在于,还包括:
若所述识别结果为路面上存在积雪或结冰,则将生成的报警信息存储至指定的报警列表;
当接收到查询报警信息的请求时,从所述报警列表中查询所述请求所需的报警信息,然后将所述请求所需的报警信息反馈给请求方。
4.一种车前积雪与结冰的检测报警装置,其特征在于,包括:
拍摄视频获取模块,用于获取车辆上摄像头拍摄车前场景的第一视频;
图片截取模块,用于从所述第一视频的视频帧中截取出所述车前场景中表征路面状况的第一图片;
识别模块,用于将所述第一图片输入至利用无监督深度学习预训练完成的无监督深度学习模型,所述无监督深度学习模型为基于自动编码器的无监督深度学习模型,通过所述自动编码器将所述第一图片对应的输入向量与权值矩阵进行变换生成特征编码,并通过所述自动编码器将所述特征编码与所述权值矩阵的转置矩阵进行运算,得到所述无监督深度学习模型输出的识别结果,所述识别结果为路面上存在积雪或结冰,或者路面上不存在积雪或结冰;
报警模块,用于若所述识别结果为路面上存在积雪或结冰,则发出报警信息;
预警模块,用于获取预设时间内经过所述存在积雪或结冰的路面的其他车辆,并通过所述报警信息对所述其他车辆进行提前预警;
定位信息获取模块,用于获取所述摄像头拍摄车前场景的第一视频时所述车辆的定位信息;
关联存储模块,用于将所述定位信息与所述识别结果关联存储;
提前预警模块,用于若所述识别结果为路面上存在积雪或结冰,且检测到车辆将要行驶经过所述定位信息对应的地点,则提前预设时间或者预设距离对将要行驶经过的车辆发出预警信息;
天气情况获取模块,用于若所述识别结果为路面上存在积雪或结冰,获取所述定位信息对应的地点所属地区的天气情况;
消融时长确定模块,用于根据所述天气情况确定所述所属地区中积雪或结冰消融所需的时长;
消融时间确定模块,用于根据确定出的所述时长确定所述定位信息对应的地点上积雪或结冰的消融时间,所述消融所需的时长等于消融时间减去第一视频的拍摄时间点;
效力修改模块,用于当所述消融时间到达时,将与所述定位信息关联存储的识别结果的状态修改为失效。
5.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述车前积雪与结冰的检测报警方法的步骤。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述车前积雪与结冰的检测报警方法的步骤。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/080477 WO2019183752A1 (zh) | 2018-03-26 | 2018-03-26 | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108701396A CN108701396A (zh) | 2018-10-23 |
CN108701396B true CN108701396B (zh) | 2020-06-16 |
Family
ID=63841486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880000213.0A Active CN108701396B (zh) | 2018-03-26 | 2018-03-26 | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108701396B (zh) |
WO (1) | WO2019183752A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019183752A1 (zh) * | 2018-03-26 | 2019-10-03 | 深圳市锐明技术股份有限公司 | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 |
CN110186471A (zh) * | 2019-05-06 | 2019-08-30 | 平安科技(深圳)有限公司 | 基于历史视频的导航方法、装置、计算机设备及存储介质 |
CN110363070A (zh) * | 2019-05-31 | 2019-10-22 | 合刃科技(武汉)有限公司 | 智能识别道路状态的方法、装置及计算机程序产品 |
CN110705370B (zh) * | 2019-09-06 | 2023-08-18 | 中国平安财产保险股份有限公司 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
CN114022765B (zh) * | 2021-11-03 | 2022-07-08 | 应急管理部国家自然灾害防治研究院 | 一种采用图像识别滑坡崩塌落石智能监测预警方法及系统 |
CN114913477A (zh) * | 2022-05-06 | 2022-08-16 | 广州市城市规划勘测设计研究院 | 城市管线防挖掘预警方法、装置、设备及介质 |
CN114596315A (zh) * | 2022-05-10 | 2022-06-07 | 中国民航大学 | 一种飞机地面检测积冰方法、装置、系统及计算机设备 |
CN114999117B (zh) * | 2022-06-29 | 2023-09-01 | 洛阳腾飞建设工程集团有限公司 | 一种机场道面冰雪状况监测预警方法、系统、终端及介质 |
CN115649455B (zh) * | 2022-12-07 | 2023-03-28 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于电热除冰信号判别结冰的方法及装置 |
CN116469013B (zh) * | 2023-06-20 | 2023-09-08 | 云途信息科技(杭州)有限公司 | 道路积水预测方法、装置、计算机设备及存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61138193A (ja) * | 1984-12-10 | 1986-06-25 | Matsushita Seiko Co Ltd | 路面凍結予知装置 |
JPS63191991A (ja) * | 1987-02-05 | 1988-08-09 | Matsushita Electric Ind Co Ltd | 路面凍結予知装置 |
JPH0786208B2 (ja) * | 1991-12-13 | 1995-09-20 | 古河電気工業株式会社 | 融雪設備の温度制御方法 |
US7280697B2 (en) * | 2001-02-01 | 2007-10-09 | California Institute Of Technology | Unsupervised learning of object categories from cluttered images |
JP3742810B2 (ja) * | 2003-08-29 | 2006-02-08 | クラリオン株式会社 | 路面状況検出システム |
JP2009013703A (ja) * | 2007-07-06 | 2009-01-22 | Msk Corp | 融雪方法 |
CN101235621A (zh) * | 2007-12-25 | 2008-08-06 | 大连理工大学 | 水泥混凝土桥面融雪化冰的电热法 |
CN101621190A (zh) * | 2009-06-17 | 2010-01-06 | 西安工程大学 | 输电线路覆冰及融冰过程在线监测系统 |
CN103208205B (zh) * | 2013-03-20 | 2015-05-13 | 北京航空航天大学 | 一种基于车联网的车辆安全行驶预警方法 |
CN204154308U (zh) * | 2014-07-28 | 2015-02-11 | 张蕾 | 图像与激光复合式遥感路面监测自动报警系统 |
CN104103182A (zh) * | 2014-07-28 | 2014-10-15 | 张蕾 | 道路及通行条件信息采集装置 |
CN104652341B (zh) * | 2015-03-24 | 2017-01-04 | 山东威林特新能源科技有限公司 | 一种路面冰情检测及自动融冰系统 |
US9443153B1 (en) * | 2015-06-12 | 2016-09-13 | Volkswagen Ag | Automatic labeling and learning of driver yield intention |
CN105184271A (zh) * | 2015-09-18 | 2015-12-23 | 苏州派瑞雷尔智能科技有限公司 | 一种基于深度学习的车辆自动检测方法 |
CN105788313A (zh) * | 2016-05-18 | 2016-07-20 | 陕西科技大学 | 一种高速公路路面结冰的监测识别装置及方法 |
CN106504590B (zh) * | 2016-11-21 | 2019-06-25 | 温州云航信息科技有限公司 | 一种交通调度指令确认系统和方法 |
CN107554420A (zh) * | 2017-09-11 | 2018-01-09 | 安徽实运信息科技有限责任公司 | 一种基于道路环境的安全车距报警系统 |
CN107609602A (zh) * | 2017-09-28 | 2018-01-19 | 吉林大学 | 一种基于卷积神经网络的驾驶场景分类方法 |
WO2019183752A1 (zh) * | 2018-03-26 | 2019-10-03 | 深圳市锐明技术股份有限公司 | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 |
-
2018
- 2018-03-26 WO PCT/CN2018/080477 patent/WO2019183752A1/zh active Application Filing
- 2018-03-26 CN CN201880000213.0A patent/CN108701396B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108701396A (zh) | 2018-10-23 |
WO2019183752A1 (zh) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701396B (zh) | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 | |
CN108513674B (zh) | 一种车前积雪与结冰的检测报警方法、存储介质和服务器 | |
EP4152204A1 (en) | Lane line detection method, and related apparatus | |
CN110487562B (zh) | 一种用于无人驾驶的车道保持能力检测系统及方法 | |
CN103871242B (zh) | 一种驾驶行为综合评价系统与方法 | |
US11205284B2 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
CN110889351A (zh) | 视频检测方法、装置、终端设备及可读存储介质 | |
CN111209780A (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
CN108460968A (zh) | 一种基于车联网获取交通路况信息的方法及装置 | |
CN114049382B (zh) | 一种智能网联环境下目标融合跟踪方法、系统和介质 | |
CN103359020A (zh) | 一种机动车驾驶培训或考试监控方法和系统 | |
CN110838230B (zh) | 一种移动视频监控方法、监控中心及系统 | |
CN108549862A (zh) | 异常场景检测方法及装置 | |
CN113469115B (zh) | 用于输出信息的方法和装置 | |
CN117372979A (zh) | 道路巡检方法、装置、电子设备及存储介质 | |
CN113723273A (zh) | 一种车辆轨迹信息确定方法、装置及计算机设备 | |
CN110929606A (zh) | 车辆盲区行人监控方法和装置 | |
CN114264310B (zh) | 定位及导航方法、装置、电子设备、计算机存储介质 | |
CN109344776B (zh) | 数据处理方法 | |
CN111898475A (zh) | 非机动车的状态估计方法及装置、存储介质、电子装置 | |
CN107704836B (zh) | 基于物体检测的疲劳驾驶检测方法 | |
CN115641724A (zh) | 一种路内泊位管理的巡检识别方法、系统及计算机介质 | |
CN113807209B (zh) | 车位检测方法、装置、电子设备及存储介质 | |
CN111539279B (zh) | 道路限高高度检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |