CN117953445B - 基于交通监控相机雨天道路能见度测定方法、系统及介质 - Google Patents
基于交通监控相机雨天道路能见度测定方法、系统及介质 Download PDFInfo
- Publication number
- CN117953445B CN117953445B CN202410347312.3A CN202410347312A CN117953445B CN 117953445 B CN117953445 B CN 117953445B CN 202410347312 A CN202410347312 A CN 202410347312A CN 117953445 B CN117953445 B CN 117953445B
- Authority
- CN
- China
- Prior art keywords
- video
- rainfall
- visibility
- rain
- rainy day
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008033 biological extinction Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000011160 research Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012634 optical imaging Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 3
- 238000001514 detection method Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000790 scattering method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明属于气象学、计算机视觉及深度学习等技术领域，公开了一种基于交通监控相机雨天道路能见度测定方法、系统及介质，分别对监控视频背景和雨线进行建模，以深度学习算法为基础，构建“模型—数据”联合驱动视频雨线提取；在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建“视频雨线—降雨强度”映射模型，实现基于监控视频的降雨强度估算；以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，进而实现对降雨和雨天道路能见度同步测量。本发明无需对监控相机参数进行复杂的标定，部署和实现简单，以减少和规避降雨天气对交通造成的危害，提高雨天交通安全运输水平。
Description
技术领域
本发明属于气象学、计算机视觉及深度学习等技术领域，尤其涉及一种基于交通监控相机雨天道路能见度测定方法、系统及介质。
背景技术
测量交通能见度方法可分为：目测法、器械法、视频检测法。目测法较为传统，观测结果受主观因素影响严重，客观性较差；基于散射法与透射法的测量仪器，如激光能见度测量仪、大气透射仪，应用较广，但设备普遍比较昂贵且测量范围较小，无法对小范围的团雾、雨、雪天气进行预警，而高密度的布设不可避免的会带来成本过高的问题；视频检测法通过建立图像特征与真实场景能见度之间的映射关系，借助图像特征的变化间接求解监控区域的能见度。相比之下，视频检测法可在现有的交通监控系统上布设，运行维护成本较低。此外，海量的交通监控相机可持续的记录降雨事件的发生、实时动态的描述雨情的变化，为高时空分辨率的雨天道路能见度描述提供基础，基于交通监控相机的能见度探测研究已成为领域关注的热点。
现有的视频检测法包括：特征检测法、机器学习法、暗通道法。特征检测法，通过寻找特定目标物图像特征信息与大气消光系数之间的关系，从而计算能见度，由于需要预设目标物，操作比较繁琐，适合固定单点检测。进一步发展的无标记特征检测法，则需对相机参数进行繁杂的标定，导致该方法的应用意义和优势不再明显；近年来，以深度学习为代表的视频解译技术取得巨大突破，众多机器学习算法被广泛应用于视频能见度估算中，但此类方法对训练数据集的场景完备性、多样性要求较高，模型训练成本较大，且所得模型面临可解释性不足的难题；暗通道法，根据暗通道先验知识估算出透射率，进而算出消光系数，反演能见度。该方法比较适合雾天能见度检测，而在雨天，视频图像的平滑性和连续性被雨线破坏严重，暗通道法并不适用。
通过上述分析，现有技术存在的问题及缺陷为：基于交通相机的能见度检测应用前景广阔，但针对雨天道路能见度定量估算问题尚未较好的解决。
发明内容
针对现有技术存在的问题，本发明提供了一种基于交通监控相机雨天道路能见度测定方法、系统及介质。
本发明是这样实现的，本发明以交通监控相机为载体，从监控视频中记录的雨线为线索，以气象学、物理学知识为基础，反演雨滴的尺寸、速度等微观信息，然后借助光学原理，量化不同强度降雨场景下道路的能见度数值。
一种基于交通监控相机雨天道路能见度测定方法，所述基于交通监控相机雨天道路能见度测定方法，包括以下步骤：
第一步，监控信息预处理；
第二步，分别对监控视频背景和雨线进行建模，以深度学习算法为基础，构建“模型—数据”联合驱动视频雨线提取；
第三步，在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建视频雨线、降雨强度映射模型，实现基于监控视频的降雨强度估算；
第四步，以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，实现对降雨和雨天道路能见度同步测量。
进一步，所述第一步，具体包括：
（1-1）获取监控相机的坐标位置，分配监控相机名称，ID信息，实现监控相机的注册；
（1-2）获取监控视频。
进一步，所述第二步，具体包括：
（2-1）降雨视频视为无雨的背景视频与雨线层之间的
线性组合：，分别代表视频的长、宽、帧数，雨线提取的实质是雨线层和背
景层的分离，可见任一方的分离精度均会给对方带来影响；
（2-2）模型驱动的视频雨线提取，分别对背景和雨线进行建模，构建基于张量的监控视频雨线预提取模型：
；
；
式中，为正则化操作；分别为垂直、水平、时间方向差分算子；指张量沿每个维度展开矩阵的秩组成的向量；
参数为可调节的非负权重；
（2-3）使用交替方向乘子法对等式的凸模型进行优化求解；
（2-4）数据驱动的背景分离，以降雨视频为输入，以无雨的视频背景为输出，使用卷积神经网CNN络构建二者的映射关系；
（2-5）同时关注和的提取精度，并将降雨视频分离的残差作为最终的
优化对象，即损失函数，计算如下：
；
其中，代表由视频雨线预提取算法所得雨线层，为模型驱动；指CNN获取的无
雨图像，为数据驱动。
进一步，所述第三步，具体包括：
（3-1）雨滴尺寸推算，根据光学成像原理，直径为与镜头相距的雨滴产生的雨
线长度同相机参数关系如下：
；
；
式中，为焦距；为对焦距离；和代表视频的垂直、水平尺寸；
和代表视频的垂直、水平尺寸；和指雨线的垂直、水平尺寸；
视频中雨滴物距是未知的，如何求解成为雨滴尺寸结算的关键。根据相机成像
原理，雨滴长度和其运动速度关系如下：
；
与此同时，微观物理学给出了雨滴近地面的降落速度计算模型；
；
以雨滴速度为桥梁，联立式、求解变量，实现雨
滴尺寸推算；
（3-2）测雨空间计算，监控视频的测雨空间指景深范围内的立体空间，其体积计算如下：
；
其中，与分别为相机前景点、后景点距离；
（3-3）参考气象学对降雨强度的定义，在获取视频中雨滴尺寸和数量后，使用Gamma气象学给出的分布模型拟合雨滴谱值，进而求解降雨强度与降雨量。Gamma模型计算如下：
；
式中，指采样空间内直径为的雨滴数量；为形状因子；是常数；是雨
强有关的参数。
进一步，所述第四步，具体包括：
（4-1）雨天大气消光系数估算，降雨场景中，大气消光系数由单位体积内雨粒子
的大小和空间密度相关，为从监控视频中反演大气消光系数，拟根据大气科学相关研究成
果，以步骤（3-3）获取的降雨强度为输入，使用下式构建二者之间的映射关系，即可由降
雨强度推算：
；
（4-2）雨天的水平可视距离计算，对比度Constract,的计算如下：
；
式中，为目标的亮度，单位：foot-lamberts；指背景的亮度，单位：foot-
lamberts；
根据Koschmieder定律，结合式，雨天的水平可视距离计算如下：
；
式中，指在距离处观察到目标的对比度，其值介于0.008~0.06，取值为0.055；指在较近的距离观察到目标固有的对比度，当物体为黑色时，；为大气消光系数；为视距；
（4-3）雨天能见度计算，将式带入式中，得：
；
当从监控视频中获取降雨强度数值后，带入式求解出监控
区域的能见度，根据道路能见度判断是否对当前路段进行预警和监管。
进一步，式中视距即能见度的求解改写为：
；
获取大气的消光系数便可求解出能见度的值。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于交通监控相机雨天道路能见度测定方法。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于交通监控相机雨天道路能见度测定方法。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于交通监控相机雨天道路能见度测定方法。
本发明的另一目的在于提供一种实施所述基于交通监控相机雨天道路能见度测定方法的基于交通监控相机雨天道路能见度测定系统，所述基于交通监控相机雨天道路能见度测定系统包括：
雨线提取模块，用于分别对监控视频背景和雨线进行建模，以深度学习算法为基础，构建模型、数据联合驱动视频雨线提取；
强度估算模块，用于在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建视频雨线、降雨强度映射模型，实现基于监控视频的降雨强度估算；
模型构建模块，用于以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，进而实现对降雨和雨天道路能见度同步测量。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明首先，分别对监控视频背景和雨线（即雨滴遮挡的像素）进行建模，以深度学习算法为基础，构建“模型—数据”联合驱动视频雨线提取；其次，在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建“视频雨线—降雨强度”映射模型，实现基于监控视频的降雨强度估算；最后，以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，进而实现对降雨和雨天道路能见度同步测量。本发明无需对监控相机参数进行复杂的标定，部署和实现简单，可充分利用现有的交通监控资源，充分发挥交通监控相机数量多、传输快、可持续的观测优势，形成低成本、高时空分辨率的雨天道路能见度定量计算方法，以减少和规避降雨天气对交通造成的危害，提高雨天交通安全运输水平，具有重要的实际应用价值。
第二，本发明发挥交通摄像头数量多、传输快、可持续的观测优势，可基于交通监控相机建立一套低成本、高时空分辨率雨天道路能见度定量计算策略，形成对雨天道路状态的精准把控，以减少和规避降雨天气对交通造成的危害，提高雨天交通安全运输水平。本发明易于部署和实施，无需对已安装的监控相机进行拆卸和标定，便于交通、气象、城市管理等部门的引入和应用。
本发明与现有技术相比，具有以下技术效果：（1）能够深入挖掘监控视频中所蕴含的降雨信息，并在此基础上实现能见度的可靠推算，提高雨天道路交通的智能监管；（2）无需对监控相机进行拆卸和复杂的标定，方法易于部署和实施；（3）可在现有的监控资源上部署，无需额外的安装硬件设施，维护和运行成本较低。
第三，本发明的技术方案转化后的预期收益和商业价值为：本发明以交通监控相机为载体，以气象学、物理学、光学知识为基础，搭建了降雨、道路能见度一体化观测策略。本发明可在现有的交通监控相机上实现，对相机类型无特别要求，实现简单，便于推广。本发明在提高城市监控资源利用率的同时，弥补了雨天道路能见度高时空分辨率观测方法的空白，解决了雨天道路能见度的实时、可靠感知的难题，避免了传统的大面积、高密度布设能见度测量仪的方式，极大降低了雨天道路监管和维护成本，具有广泛的实用和商业价值。
第四，本发明实施例提供的基于交通监控相机的雨天道路能见度测定方法带来了以下几个显著的技术进步：
1）智能化和自动化的监测方法：
通过使用深度学习算法自动从监控视频中提取雨线，该方法减少了人工干预的需要，提高了监测过程的自动化程度和效率。
2）提高数据准确性和可靠性：
结合气象学和物理学原理构建的“视频雨线—降雨强度”映射模型，提供了比传统方法更准确和可靠的降雨强度估算。
3）实时监测和评估能见度：
通过实时分析交通监控视频，该方法能够即时评估雨天的道路能见度，为交通管理和安全运营提供重要信息。
4）降低监测成本：
利用现有的交通监控系统进行雨天能见度的测定，减少了对额外专业设备的依赖，从而降低了监测成本。
5）提升道路安全与交通管理效率：
通过提供更准确的雨天能见度信息，有助于交通管理部门及时做出调整，如限速指示、交通管制等，从而提升道路安全和交通效率。
6）促进气象和交通数据的综合应用：
将气象数据与交通监控视频数据结合，为城市管理和智能交通系统的发展提供了新的数据源和分析方法，使得交通和气象领域的数据更加融合和互通，为城市智慧管理提供更全面的决策支持。
7）增强环境适应能力：
此方法能够适应不同的气象条件和环境变化，提高了监测系统在各种天气条件下的适用性和稳定性。
8）支持应急响应和规划：
准确的能见度信息对于应急响应和长期城市规划都至关重要，特别是在极端天气事件越来越频繁的背景下。
9）促进科学研究：
提供了一种新的方法和工具，供科研人员在气象学、环境科学、交通工程等多个领域进行数据收集和分析，推动相关学科的发展。
本发明提供的基于交通监控相机的雨天道路能见度测定方法不仅提高了道路交通安全管理的效率和准确性，同时也为相关科学研究提供了新的工具和视角。
附图说明
图1是本发明实施例提供的基于交通监控相机雨天道路能见度测定方法流程图；
图2是本发明实施例提供的基于交通监控相机雨天道路能见度测定系统结构示意图；
图3是本发明实施例提供的基于交通监控相机雨天道路能见度测定方法原理图；
图4是本发明实施例提供的“模型—数据”联合驱动视频雨线提取结构图；
图5是本发明实施例提供的交通监控相机降雨强度测量结构图；
图6是本发明实施例提供的雨天道路能见度计算系统运行界面图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供的基于交通监控相机雨天道路能见度测定方法，包括以下步骤：
S101：分别对监控视频背景和雨线（即雨滴遮挡的像素）进行建模，以深度学习算法为基础，构建“模型—数据”联合驱动视频雨线提取；
S102：在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建“视频雨线—降雨强度”映射模型，实现基于监控视频的降雨强度估算；
S103：以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，进而实现对降雨和雨天道路能见度同步测量。
实施例1：
本发明解决的技术问题是如何基于交通监控相机实现对雨天道路能见度的计算。为解决上述技术问题，本发明包括如下步骤：
（1）监控信息预处理；
（2）“模型—数据”联合驱动视频雨线提取；
（3）“视频雨线—降雨强度”映射模型；
（4）雨天道路能见度计算模型。
具体如下：
（1）监控信息预处理。
（1-1）获取监控相机的坐标位置，分配监控相机名称，ID信息，实现监控相机的注册；
（1-2）获取监控视频；
（2）“模型—数据”联合驱动视频雨线提取。
所述步骤（2）具体包括如下步骤：
（2-1）降雨视频可视为无雨的背景视频与雨线层之间
的线性组合：（分别代表视频的长、宽、帧数）。雨线提取的实质是雨线层（）
和背景层（）的分离，可见任一方的分离精度均会给对方带来影响。
（2-2）模型驱动的视频雨线提取。分别对背景和雨线进行建模，构建基于张量的监控视频雨线预提取模型：
（1）
式中，为正则化操作；分别为垂直、水平、时间方向差分算子；指张量沿其每个维度展开矩阵的秩组成的向
量；参数为可调节的非负权重。
（2-3）使用交替方向乘子法对等式（1）所述的凸模型进行优化求解。
（2-4）数据驱动的背景分离。以降雨视频为输入，以无雨的视频背景为输出，使用卷积神经网（Convolutional Neural Networks, CNN）络构建二者的映射关系。
（2-5）同时关注和的提取精度，并将降雨视频分离的残差（）作为最终
的优化对象（即损失函数），计算如下：
（2）
其中，代表由视频雨线预提取算法所得雨线层，为模型驱动；指CNN获取的无
雨图像，为数据驱动。
（3）“视频雨线—降雨强度”映射模型。
所述步骤（3）具体包括如下步骤：
（3-1）雨滴尺寸推算。根据光学成像原理，直径为与镜头相距的雨滴产生的雨
线长度（）同相机参数关系如下：
（3）
（4）
式中，为焦距；为对焦距离；和代表视频的垂直、水平尺寸；
和代表视频的垂直、水平尺寸；和指雨线的垂直、水平尺寸。
视频中雨滴物距是未知的，如何求解成为雨滴尺寸结算的关键。根据相机成像
原理，雨滴长度和其运动速度关系如下：
（5）
与此同时，微观物理学给出了雨滴近地面的降落速度计算模型，如式（6）。
（6）
以雨滴速度为桥梁，联立式（5）、（6）可求解变量，便可实现雨滴尺寸推算。
（3-2）测雨空间计算。监控视频的测雨空间指景深范围内的立体空间，其体积计算如下：
（7）
其中，与分别为相机前景点、后景点距离。
（3-3）参考气象学对降雨强度的定义，在获取视频中雨滴尺寸和数量后，使用Gamma气象学给出的分布模型拟合雨滴谱值，进而求解降雨强度与降雨量。Gamma模型计算如下：
(8)
式中，指采样空间内直径为的雨滴数量；为形状因子；是常数；是雨
强有关的参数。
至此，实现基于交通监控相机的降雨强度估算。
（4）雨天道路能见度计算模型。
所述步骤（4）具体包括如下步骤：
（4-1）雨天大气消光系数估算。降雨场景中，大气消光系数主要由单位体积内雨
粒子的大小和空间密度相关。为从监控视频中反演大气消光系数，拟根据大气科学相关研
究成果，以步骤（3-3）获取的降雨强度为输入，使用下式构建二者之间的映射关系，即可
由降雨强度（）推算：
（9）
（4-2）雨天的水平可视距离计算。任何物体可以被人眼识别的前提是其与背景具
有一定的亮度差异。对比度（Constract,）的计算如下：
（10）
式中，为目标的亮度（单位：foot-lamberts）；指背景的亮度（单位：foot-
lamberts）。
根据Koschmieder定律，结合式（8），雨天的水平可视距离计算如下：
（11）
式中，指在距离处观察到目标的对比度，其值介于0.008~0.06，通常较保守的
取值为0.055；指在较近的距离观察到目标固有的对比度，当物体为黑色时，；为
大气消光系数；为视距。
式（9）中视距即能见度（）的求解可改写为：
（12）
根据上式可知，获取大气的消光系数便可求解出能见度的值。
（4-3）雨天能见度计算。将式（9）带入式（12）中，可得：
（13）
当从监控视频中获取降雨强度数值后，带入式（13）便可求解出监控区域的能见度，根据道路能见度判断是否对当前路段进行预警和监管。
如图2所示，本发明实施例提供的基于交通监控相机雨天道路能见度测定系统，包括：
雨线提取模块，用于分别对监控视频背景和雨线（即雨滴遮挡的像素）进行建模，以深度学习算法为基础，构建“模型—数据”联合驱动视频雨线提取；
强度估算模块，用于在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建“视频雨线—降雨强度”映射模型，实现基于监控视频的降雨强度估算；
模型构建模块，用于以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，进而实现对降雨和雨天道路能见度同步测量。
在某高速路段使用已布设的交通监控相机，对雨天道路能见度进行测量。如图6，该时刻雨量计显示的降雨强度为15mm/h，能见度仪测量的道路能见度为285m，监控相机估测的降雨强度和道路能见度分别为：13mm/h和260m，测量结果较为准确可靠。
本发明最大优势在于：可在已有的交通监控相机的基础上，实现低成本、高时空分辨率的雨天道路能见度感知，为道路状态监管、通行安全提供有效支持。
本实验的方法的整体结构如图3所示。南京大学与南京交通气象研究院所研发的交通监控相机雨天道路能见度计算方法整体结构如图3所示，视频雨线提取方法系统结构运行界面如图4所示。在图4所示的方法中，以任一监控相机为例，假定需从该相机数据中计算道路能见度提取视频雨线：图5是本发明实施例提供的交通监控相机降雨强度测量结构图；图6是本发明实施例提供的雨天道路能见度计算系统运行界面图。
第一步，确定监控相机的位置；
第二步，将交通监控相机数据回传，从中获得监控视频数据；
第三步，使用基于张量的方法，提取监控视频中的雨线。方法核心代码如下：
for ideration=100
# 张量雨线提取模型相关参数初始化
opts.tol = 5*0.001；
opts.beta = 50；
opts.alpha1 = 50；
opts.alpha2 = 30；
opts.alpha3 = 200；
opts.alpha4 = 150；
for it=50
opts.maxit=it；
opts.tol=1*0.01；
tic
O_Rainy=biger(tmpRain,padsize)；
[B_1 iter]=rain_removal_RGSYTL_ver_TV_2_1(O_Rainy,opts)；
B_1=smaller(B_1,padsize)；
toc
PSNR= psnr(B_1,O_clean)；
SSIM=ssim(B_1,O_clean)；
end
end
B_1=gray2color_hsv(O_hsv,B_1)；
R_1= O_Rainy-B_1；
Implay (R_1)；
第四步，使用CNN网络提取监控视频的背景，并将公式（2）作为模型的损失函数。CNN关键代码如下：
# 视频背景提取CNN模块
self.conv1 = Conv2D(filters=64, kernel_size=(3, 3), kernel_regularizer=l2(self.l2_rate), activation='relu')
self.conv2 = Conv2D(filters=128, kernel_size=(3, 3), kernel_regularizer=l2(self.l2_rate), activation='relu')
self.conv3 = Conv2D(filters=256, kernel_size=(3, 3), kernel_regularizer=l2(self.l2_rate), activation='relu')
self.conv4 = Conv2D(filters=64, kernel_size=(3, 3), kernel_regularizer=l2(self.l2_rate), activation='relu')
self.conv5 = Conv2D(filters=64, kernel_size=(3, 3), kernel_regularizer=l2(self.l2_rate))
self.leakyRelu = LeakyReLU(alpha=0.1)
self.bn1 = BatchNormalization()
self.bn2 = BatchNormalization()
self.bn3 = BatchNormalization()
self.bn4 = BatchNormalization()
self.bn5 = BatchNormalization()
self.sd = SpatialDropout2D(self.spatial_dropout_rate_1)
self.maxpool = MaxPooling2D(pool_size=(2, 2))
self.gap = GlobalAveragePooling2D()
self.dense4 = Dense(64, activation='relu')
self.conv2DTranspose1 = Conv2DTranspose(filters=128,kernel_size=(3,3),kernel_regularizer=l2(self.l2_rate),activation='relu')
self.conv2DTranspose2 = Conv2DTranspose(filters=64, kernel_size=(3,3), kernel_regularizer=l2(self.l2_rate), activation='relu')
self.conv2DTranspose3 = Conv2DTranspose(filters=40, kernel_size=(3,3), kernel_regularizer=l2(self.l2_rate), activation='relu')
第五步，雨滴尺寸推算。以气象学、物理学相关知识为基础，采用步骤（3-1）实现雨线与对应雨滴尺寸大小的推算，进而获取视频内雨滴的数量和尺寸；
第六步，降雨强度计算。计算相机观测降雨的空间大小，参照气象学对降雨强度的定义，实现降雨强度的计算。
第七步，雨天大气消光系数计算。以所计算的降雨强度为输入，参考气象学知识，构建降雨强度与大气消光系数之间的计算模型。
第八步，雨天道路能见度计算。在获取大气消光系数后，使用公式（12）计算雨天道路能见度，并根据能见度值决定是否对该路段进行预警。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于交通监控相机雨天道路能见度测定方法，其特征在于，包括以下步骤：
第一步，监控信息预处理；
第二步，分别对监控视频背景和雨线进行建模，以深度学习算法为基础，构建“模型—数据”联合驱动视频雨线提取；
第三步，在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建视频雨线、降雨强度映射模型，实现基于监控视频的降雨强度估算；
第四步，以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，实现对降雨和雨天道路能见度同步测量；
所述第二步，具体包括：
（2-1）降雨视频视为无雨的背景视频/>与雨线层/>之间的线性组合：/>，/>分别代表视频的长、宽、帧数，雨线提取的实质是雨线层/>和背景层的分离，可见任一方的分离精度均会给对方带来影响；
（2-2）模型驱动的视频雨线提取，分别对背景和雨线进行建模，构建基于张量的监控视频雨线预提取模型：
式中，为/>正则化操作；/>分别为垂直、水平、时间方向差分算子；指张量/>沿每个维度展开矩阵的秩组成的向量；参数/>为可调节的非负权重；
（2-3）使用交替方向乘子法对等式的凸模型进行优化求解；
（2-4）数据驱动的背景分离，以降雨视频为输入，以无雨的视频背景为输出，使用卷积神经网CNN络构建二者的映射关系；
（2-5）同时关注和/>的提取精度，并将降雨视频分离的残差/>作为最终的优化对象，即损失函数，/>计算如下：
；
其中，代表由视频雨线预提取算法所得雨线层，为模型驱动；/>指CNN获取的无雨图像，为数据驱动；
所述第三步，具体包括：
（3-1）雨滴尺寸推算，根据光学成像原理，直径为与镜头相距/>的雨滴产生的雨线长度/>同相机参数关系如下：
；
；
式中，为焦距；/>为对焦距离；/>和/>代表视频的垂直、水平尺寸；/>和代表图片的垂直、水平尺寸；/>和/>指雨线的垂直、水平尺寸；
视频中雨滴物距是未知的，如何求解/>成为雨滴尺寸结算的关键；根据相机成像原理，雨滴长度/>和其运动速度/>关系如下：
；
与此同时，微观物理学给出了雨滴近地面的降落速度计算模型；
；
以雨滴速度为桥梁，联立式、/>求解变量/>，实现雨滴尺寸推算；
（3-2）测雨空间计算，监控视频的测雨空间指景深范围内的立体空间，其体积计算如下：
；
其中，与/>分别为相机前景点、后景点距离；
（3-3）参考气象学对降雨强度的定义，在获取视频中雨滴尺寸和测雨空间后，使用Gamma气象学给出的分布模型拟合雨滴谱值，进而求解降雨强度与降雨量；Gamma模型计算如下：
；
式中，指采样空间内直径为/>的雨滴数量；/>为形状因子；/>是常数；/>是雨强有关的参数；
所述第四步，具体包括：
（4-1）雨天大气消光系数估算，降雨场景中，大气消光系数由单位体积内雨粒子的大小和空间密度相关，为从监控视频中反演大气消光系数，拟根据大气科学相关研究成果，以步骤（3-3）获取的降雨强度为输入，使用下式构建二者之间的映射关系，即/>可由降雨强度推算：
；
（4-2）雨天的水平可视距离计算，对比度Constract,的计算如下：
；
式中，为目标的亮度，单位：foot-lamberts；/>指背景的亮度，单位：foot-lamberts；
根据Koschmieder定律，结合式，雨天的水平可视距离计算如下：
；
式中，指在距离/>处观察到目标的对比度，其值介于0.008~0.06，取值为0.055；/>指在较近的距离观察到目标固有的对比度，当物体为黑色时，/>；/>为大气消光系数；/>为视距；
（4-3）雨天能见度计算，将式带入式中，得：
；
当从监控视频中获取降雨强度数值后，带入式求解出监控区域的能见度，根据道路能见度判断是否对当前路段进行预警和监管。
2.如权利要求1所述的基于交通监控相机雨天道路能见度测定方法，其特征在于，所述第一步，具体包括：
（1-1）获取监控相机的坐标位置，分配监控相机名称，ID信息，实现监控相机的注册；
（1-2）获取监控视频。
3.如权利要求1所述的基于交通监控相机雨天道路能见度测定方法，其特征在于，式中视距/>即能见度/>的求解改写为：
；
获取大气的消光系数便可求解出能见度的值。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1~3任意一项所述基于交通监控相机雨天道路能见度测定方法。
5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1~3任意一项所述基于交通监控相机雨天道路能见度测定方法。
6.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1~3任意一项所述基于交通监控相机雨天道路能见度测定方法。
7.一种实施权利要求1~3任意一项所述基于交通监控相机雨天道路能见度测定方法的基于交通监控相机雨天道路能见度测定系统，其特征在于，所述基于交通监控相机雨天道路能见度测定系统包括：
雨线提取模块，用于分别对监控视频背景和雨线进行建模，以深度学习算法为基础，构建模型、数据联合驱动视频雨线提取；
强度估算模块，用于在获取监控视频中的雨线后，结合气象学、物理学相关知识，构建视频雨线、降雨强度映射模型，实现基于监控视频的降雨强度估算；
模型构建模块，用于以降雨强度为输入，以雨天的大气消光系数为桥梁，构建基于交通监控视频的雨天能见度估算模型，进而实现对降雨和雨天道路能见度同步测量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410347312.3A CN117953445B (zh) | 2024-03-26 | 2024-03-26 | 基于交通监控相机雨天道路能见度测定方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410347312.3A CN117953445B (zh) | 2024-03-26 | 2024-03-26 | 基于交通监控相机雨天道路能见度测定方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117953445A CN117953445A (zh) | 2024-04-30 |
| CN117953445B true CN117953445B (zh) | 2024-05-28 |
Family
ID=90801721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410347312.3A Active CN117953445B (zh) | 2024-03-26 | 2024-03-26 | 基于交通监控相机雨天道路能见度测定方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117953445B (zh) |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06249970A (ja) * | 1993-02-24 | 1994-09-09 | Meisei Electric Co Ltd | 視程測定方法、降雨降雪の判別方法、降雨降雪強度の測定方法及び装置 |
| JP2008157765A (ja) * | 2006-12-25 | 2008-07-10 | Ccs Inc | 気象測定装置 |
| CN101382497A (zh) * | 2008-10-06 | 2009-03-11 | 南京大学 | 基于路况监控视频的能见度检测方法 |
| CN101936900A (zh) * | 2010-06-12 | 2011-01-05 | 北京中科卓视科技有限责任公司 | 一种基于视频的能见度检测系统 |
| CN102707340A (zh) * | 2012-06-06 | 2012-10-03 | 南京大学 | 一种基于视频图像的降雨量测量方法 |
| CN103399363A (zh) * | 2013-08-05 | 2013-11-20 | 中国科学院合肥物质科学研究院 | 基于光衰减和散射原理的天气现象在线观测装置及方法 |
| KR101834275B1 (ko) * | 2017-11-08 | 2018-03-06 | 주식회사 크리에이티브솔루션 | 교통 안전정보 전파 시스템 및 방법 |
| CN109147358A (zh) * | 2018-07-19 | 2019-01-04 | 郭忠印 | 一种山区高速公路降雨环境预警系统及方法 |
| CN109543149A (zh) * | 2018-11-06 | 2019-03-29 | 东南大学 | 一种雨天沥青路面安全停车视距计算方法 |
| CN110047041A (zh) * | 2019-03-04 | 2019-07-23 | 辽宁师范大学 | 一种空—频域联合的交通监控视频去雨方法 |
| CN110849807A (zh) * | 2019-11-22 | 2020-02-28 | 山东交通学院 | 一种基于深度学习的适用于道路能见度的监测方法与系统 |
| CN111553851A (zh) * | 2020-04-08 | 2020-08-18 | 大连理工大学 | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 |
| CN112308799A (zh) * | 2020-11-05 | 2021-02-02 | 山东交通学院 | 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 |
| CN114442200A (zh) * | 2021-12-22 | 2022-05-06 | 南京信息工程大学 | 一种基于图像分析的降水测量装置及测量方法 |
| CN114594533A (zh) * | 2022-05-10 | 2022-06-07 | 武汉大学 | 一种基于自适应高斯混合算法的视频雨量监测方法与装置 |
| CN116152089A (zh) * | 2022-12-29 | 2023-05-23 | 北京理工大学 | 一种基于雨线位置先验的夜间图像去雨方法和系统 |
| KR20230143499A (ko) * | 2022-04-05 | 2023-10-12 | 중앙대학교 산학협력단 | Cctv를 활용한 강우입자 분포 및 강우강도 추정 방법 |
| CN117011756A (zh) * | 2023-06-19 | 2023-11-07 | 浙江工业大学 | 一种基于迁移学习方法的视频雨量反演方法 |
| CN117078574A (zh) * | 2023-08-17 | 2023-11-17 | 广东工业大学 | 一种图像去雨方法及装置 |
| CN117333745A (zh) * | 2023-10-10 | 2024-01-02 | 南京工程学院 | 一种监控视听数据融合的降水定量估算方法 |
| CN117332365A (zh) * | 2023-09-22 | 2024-01-02 | 南京大学连云港高新技术研究院 | 一种多波段天气雷达数据融合方法 |
| CN117724191A (zh) * | 2023-12-06 | 2024-03-19 | 璞华软件(武汉)有限公司 | 一种多频段多场景的雨衰减实时预测方法及预测系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144443A1 (zh) * | 2018-01-26 | 2019-08-01 | 中国科学院大气物理研究所 | 一种双线二极管阵列器件及粒子速度测量方法和测量装置 |
| US20230110027A1 (en) * | 2021-09-29 | 2023-04-13 | Nvidia Corporation | Visibility distance estimation using deep learning in autonomous machine applications |
-
2024
- 2024-03-26 CN CN202410347312.3A patent/CN117953445B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06249970A (ja) * | 1993-02-24 | 1994-09-09 | Meisei Electric Co Ltd | 視程測定方法、降雨降雪の判別方法、降雨降雪強度の測定方法及び装置 |
| JP2008157765A (ja) * | 2006-12-25 | 2008-07-10 | Ccs Inc | 気象測定装置 |
| CN101382497A (zh) * | 2008-10-06 | 2009-03-11 | 南京大学 | 基于路况监控视频的能见度检测方法 |
| CN101936900A (zh) * | 2010-06-12 | 2011-01-05 | 北京中科卓视科技有限责任公司 | 一种基于视频的能见度检测系统 |
| CN102707340A (zh) * | 2012-06-06 | 2012-10-03 | 南京大学 | 一种基于视频图像的降雨量测量方法 |
| CN103399363A (zh) * | 2013-08-05 | 2013-11-20 | 中国科学院合肥物质科学研究院 | 基于光衰减和散射原理的天气现象在线观测装置及方法 |
| KR101834275B1 (ko) * | 2017-11-08 | 2018-03-06 | 주식회사 크리에이티브솔루션 | 교통 안전정보 전파 시스템 및 방법 |
| CN109147358A (zh) * | 2018-07-19 | 2019-01-04 | 郭忠印 | 一种山区高速公路降雨环境预警系统及方法 |
| CN109543149A (zh) * | 2018-11-06 | 2019-03-29 | 东南大学 | 一种雨天沥青路面安全停车视距计算方法 |
| CN110047041A (zh) * | 2019-03-04 | 2019-07-23 | 辽宁师范大学 | 一种空—频域联合的交通监控视频去雨方法 |
| CN110849807A (zh) * | 2019-11-22 | 2020-02-28 | 山东交通学院 | 一种基于深度学习的适用于道路能见度的监测方法与系统 |
| CN111553851A (zh) * | 2020-04-08 | 2020-08-18 | 大连理工大学 | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 |
| CN112308799A (zh) * | 2020-11-05 | 2021-02-02 | 山东交通学院 | 基于多传感器海上道路复杂环境能见度优化屏幕显示方法 |
| CN114442200A (zh) * | 2021-12-22 | 2022-05-06 | 南京信息工程大学 | 一种基于图像分析的降水测量装置及测量方法 |
| KR20230143499A (ko) * | 2022-04-05 | 2023-10-12 | 중앙대학교 산학협력단 | Cctv를 활용한 강우입자 분포 및 강우강도 추정 방법 |
| CN114594533A (zh) * | 2022-05-10 | 2022-06-07 | 武汉大学 | 一种基于自适应高斯混合算法的视频雨量监测方法与装置 |
| CN116152089A (zh) * | 2022-12-29 | 2023-05-23 | 北京理工大学 | 一种基于雨线位置先验的夜间图像去雨方法和系统 |
| CN117011756A (zh) * | 2023-06-19 | 2023-11-07 | 浙江工业大学 | 一种基于迁移学习方法的视频雨量反演方法 |
| CN117078574A (zh) * | 2023-08-17 | 2023-11-17 | 广东工业大学 | 一种图像去雨方法及装置 |
| CN117332365A (zh) * | 2023-09-22 | 2024-01-02 | 南京大学连云港高新技术研究院 | 一种多波段天气雷达数据融合方法 |
| CN117333745A (zh) * | 2023-10-10 | 2024-01-02 | 南京工程学院 | 一种监控视听数据融合的降水定量估算方法 |
| CN117724191A (zh) * | 2023-12-06 | 2024-03-19 | 璞华软件(武汉)有限公司 | 一种多频段多场景的雨衰减实时预测方法及预测系统 |
Non-Patent Citations (5)
| Title |
|---|
| Estimation of raindrop size distribution and rain rate with infrared surveillance camera in dark conditions;Jinwook Lee 等;《Atmospheric Measurement Techniques》;20230208;第16卷(第03期);707-725 * |
| Night-time rainfall estimation using ordinarily surveillance camera;Xing Wang 等;《AGU23》;20231130;1-9 * |
| 基于深度学习的高效视觉信号去雨理论与方法研究;陈力;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115(第(2022)01期);I138-2323 * |
| 恶劣天气高速公路限速控制方法与系统研究;王双;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20160815(第(2016)08期);C034-440 * |
| 海面自然现象动态模型仿真技术研究;赵珊珊;《中国优秀硕士学位论文全文数据库 基础科学辑》;20210815(第(2021)08期);A009-54 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117953445A (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109716108B (zh) | 一种基于双目图像分析的沥青路面病害检测系统 | |
| CN112800913B (zh) | 一种基于多源特征融合的路面损伤数据时空分析方法 | |
| CN109948471B (zh) | 基于改进InceptionV4网络的交通雾霾能见度检测方法 | |
| Ellis | Performance metrics and methods for tracking in surveillance | |
| CN103630496B (zh) | 基于路面视亮度和最小二乘法的交通视频能见度检测方法 | |
| CN109186706A (zh) | 一种用于城市雨洪淹没区预警的方法 | |
| CN112649900A (zh) | 一种能见度的监测方法、装置、设备、系统和介质 | |
| CN110826412A (zh) | 高速公路能见度检测系统和方法 | |
| US11580659B2 (en) | Method for size estimation by image recognition of specific target using given scale | |
| CN110503634B (zh) | 基于图像自动识别的能见度测量方法 | |
| CN111814696A (zh) | 一种基于改进YOLOv3的视频船舶目标检测方法 | |
| Zhu et al. | Fine-grained identification of vehicle loads on bridges based on computer vision | |
| CN113361528B (zh) | 一种多尺度目标检测方法及系统 | |
| Chen et al. | A new method for automated monitoring of road pavement aging conditions based on recurrent neural network | |
| Ranyal et al. | Enhancing pavement health assessment: An attention-based approach for accurate crack detection, measurement, and mapping | |
| CN117953445B (zh) | 基于交通监控相机雨天道路能见度测定方法、系统及介质 | |
| CN109166081B (zh) | 一种视频能见度检测过程中目标亮度调节方法 | |
| Sharma et al. | Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada | |
| CN116665125A (zh) | 用于桥隧病害的智能识别系统 | |
| CN116363088A (zh) | 基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质 | |
| CN113706889B (zh) | 基于目标检测分析的高速公路团雾测量系统及方法 | |
| AU2021102276A4 (en) | A Detection Method for Quantity of Residual Plastic Films Based on Heuristic Iterative Algorithm and Its Early Warning System | |
| Laureshyn et al. | Automated video analysis as a tool for analysing road user behaviour | |
| Zhao et al. | Visibility video detection with dark channel prior on highway | |
| Hadzic et al. | Rasternet: Modeling free-flow speed using lidar and overhead imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |