CN118334574A - 基于语义分割的道路积水分析方法、装置、设备及介质 - Google Patents
基于语义分割的道路积水分析方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN118334574A CN118334574A CN202410340210.9A CN202410340210A CN118334574A CN 118334574 A CN118334574 A CN 118334574A CN 202410340210 A CN202410340210 A CN 202410340210A CN 118334574 A CN118334574 A CN 118334574A
- Authority
- CN
- China
- Prior art keywords
- road
- semantic segmentation
- ponding
- pixel
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000004458 analytical method Methods 0.000 title claims abstract description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 44
- 238000012806 monitoring device Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 18
- 238000009825 accumulation Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 13
- 238000004457 water analysis Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 239000002352 surface water Substances 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013507 mapping Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种基于语义分割的道路积水分析方法，模型对监控视频帧进行语义分割得到积水标注结果，获取监控装置和视频帧信息并构建坐标系，将坐标系中的像素坐标系转换为世界坐标系，设置语义分割神经网络模型的约束条件，模型根据约束条件等信息反算地理投影坐标点集合；将地理投影坐标点集合转换为面要素并生成道路积水区域掩膜，根据高程信息和道路积水区域掩膜获取积水图片的栅格数据并计算道路积水图片中的道路积水量。通过利用视频GIS技术和相机标定方法，建立监控视频帧与地理投影坐标系的位置映射模型，通过点集转面得到道路积水掩膜结合栅格数据实现道路积水区域的水量计算，定量分析城市具体路段的积水情况。
Description
技术领域
本发明涉及道路积水分析技术领域，特别涉及一种基于语义分割的道路积水分析方法、装置、电子设备、存储介质。
背景技术
现有技术中，道路积水监测方法主要包括基于硬件传感设备感知方式和道路监控视频定性判断方式，道路积水监测方法主要针对于城市历史水浸黑点和下穿隧道易积水点，通过预先定点埋设电子水尺、超声波测量仪和液位计等硬件设备获取道路积水数据进行定量分析，具有一定的局限性，无法实现大范围城市道路积水情况监测，并且传感器成本高昂，容易受外界因素干扰导致测量结果不可靠，道路监控视频定性判断方式通常运用数字图像处理技术，结合机器学习和深度学习方法进行道路积水监控视频图像积水情况进行定性判断，但无法定量分析城市某一具体路段的积水情况。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于语义分割的道路积水分析方法、装置、设备及介质，能够保证大范围城市道路积水情况的前提下，降低道路视频监控成本。
第一方面，本发明实施例提供了一种基于语义分割的道路积水分析方法，应用于云端，云端连接有多个监控装置，所述方法包括：
所述监控装置通过API接口上传的监控视频帧，其中，所述API接口连接于模型，所述模型预先部署在所述云端，所述云端通过所述API接口与所述监控装置连接；
通过所述模型对所述监控视频帧进行语义分割，得到积水标注结果，获取所述监控装置的像素信息和相机参数，根据所述积水标注结果、所述监控装置的位置构建像素坐标系、图像坐标系、相机坐标系和世界坐标系，将所述像素坐标系转换为所述世界坐标系，所述图像坐标系设置有光心，所述图像坐标系与所述像素坐标系设置于同一平面，其中，所述监控视频帧中设置有道路像素积水点；
将经过所述光心且未与所述世界坐标系中的积水平面平行的直线，以及，所述直线与所述平面的相交的交点为所述语义分割神经网络模型的约束条件，所述语义分割神经网络模型根据所述约束条件、所述相机参数和所述像素信息反算所述道路积水像素点映射的地理投影坐标点集合；
将所述地理投影坐标点集合转换为面要素，根据所述面要素生成道路积水区域掩膜，获取所述监控装置的高程信息，根据所述高程信息和所述道路积水区域掩膜获取所述道路积水图片中的栅格数据，根据所述栅格数据计算所述道路积水图片中的道路积水量。
在本发明的一些实施例中，所述通过所述模型对所述监控视频帧进行语义分割，得到积水标注结果，包括：
对所述监控视频帧进行筛选，获取多个第一图片数据，统一多个所述第一图片数据的格式，对多个统一格式的所述第一图片数据进行标注，得到多个第二图片数据；
将多个所述第二图片数据按比例划分为训练集、验证集和测试集；
根据所述训练集、所述验证集和所述测试集制作道路积水语义分割数据集，构建所述模型，将所述模型部署在所述云端并向所述监控设备发布所述API接口，所述API接口为所述模型的输入接口，其中，所述模型为道路积水语义分割神经网络模型U-Net。
在本发明的一些实施例中，所述根据所述训练集、所述验证集和所述测试集制作道路积水语义分割数据集，构建所述模型，所述模型的损失函数为：
其中，y为所述语义分割神经网络模型对像素的预测值，y’为所述语义分割神经网络模型对像素的真值。
在本发明的一些实施例中，所述将多个所述第二图片数据按比例划分为训练集、验证集和测试集后，所述方法还包括：
获取所述第二图片数据的道路积水像素数量和背景像素数量；
根据所述道路积水像素数量和所述背景像素数量对所述测试集进行评估，计算所述语义分割神经网络模型的精度和召回率；
当所述精度和所述召回率大于等于第一阈值时，完成所述语义分割神经网络模型的构建；
当所述精度和所述召回率小于所述第一阈值时，继续训练所述语义分割神经网络模型。
在本发明的一些实施例中，所述将所述像素坐标系转换为所述世界坐标系，包括：
其中，R为旋转矩阵，T为平移矩阵，f为焦距，(u0，v0)为像素坐标系的中心坐标，dx和dy为单位像素的距离，u和v为像素坐标，Xw为真实世界交点横坐标,Yw为真实世界交点纵坐标,Zw为现实世界交点垂直坐标
在本发明的一些实施例中，所述根据所述栅格数据计算所述道路积水图片中的道路积水量，包括：
获取所述栅格数据进行裁剪，遍历裁剪后的所述栅格数据；
获取所述栅格数据的极值、单元栅格像元值和栅格分辨率，根据所述极值、所述单元栅格像元值和所述栅格分辨率计算所述道路积水图片中当前帧的所述道路积水量。
在本发明的一些实施例中，所述获取所述监控装置的像素信息和相机参数，包括：
根据所述相机参数获取所述监控装置的内参矩阵、外参矩阵和畸变系数，获取所述像素信息的第一像素坐标；
将所述第一像素坐标进行反算得到第二像素坐标，根据所述第一像素坐标和所述第二像素坐标的差值计算所述第一像素坐标与所述第二像素坐标之间的重投影误差值。
第二方面，本发明实施例提供了一种基于语义分割的道路积水分析装置，包括少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的基于语义分割的道路积水分析方法。
第三方面，本发明实施例提供了一种电子设备，包括有如上述第二方面所述的基于语义分割的道路积水分析装置。
第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的基于语义分割的道路积水分析方法。
根据本发明实施例的基于语义分割的道路积水分析方法，至少具有如下有益效果：
监控装置通过API接口上传的监控视频帧，其中，API接口连接于模型，模型预先部署在云端，云端通过所述API接口与监控装置连接；通过模型对监控视频帧进行语义分割，得到积水标注结果，获取监控装置的像素信息和相机参数，根据积水标注结果、监控装置的位置构建像素坐标系、图像坐标系、相机坐标系和世界坐标系，将像素坐标系转换为世界坐标系，图像坐标系设置有光心，图像坐标系与像素坐标系设置于同一平面，其中，监控视频帧中设置有道路像素积水点；将经过光心且未与世界坐标系中的积水平面平行的直线，以及，直线与平面的相交的交点为语义分割神经网络模型的约束条件，语义分割神经网络模型根据约束条件、相机参数和像素信息反算道路积水像素点映射的地理投影坐标点集合；将地理投影坐标点集合转换为面要素，根据面要素生成道路积水区域掩膜，获取监控装置的高程信息，根据高程信息和道路积水区域掩膜获取道路积水图片中的栅格数据，根据栅格数据计算道路积水图片中的道路积水量。在本实施例中，通过利用视频GIS技术和相机标定方法，建立监控视频帧与地理投影坐标系的位置映射模型，通过点集转面的方式得到道路积水掩膜，结合栅格数据实现道路积水区域的水量计算，从而定量分析城市某一具体路段的积水情况。
附图说明
图1是本发明一个实施例提供的基于语义分割的道路积水分析方法的流程图；
图2是本发明一个实施例提供的通过模型对监控视频帧进行语义分割，得到积水标注结果的流程图；
图3是本发明一个实施例提供的将多个第二图片数据按比例划分为训练集、验证集和测试集后的流程图；
图4是本发明一个实施例提供的根据栅格数据计算道路积水图片中的道路积水量的流程图；
图5是本发明一个实施例提供的获取监控装置的像素信息和相机参数的流程图；
图6是本发明一个实施例提供的参数标定的平面示意图；
图7是本发明一个实施例提供的模型服务请求的流程图；
图8是本发明另一个实施例提供的基于语义分割的道路积水分析装置的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明实施例提供了一种基于语义分割的道路积水分析方法，包括：
监控装置通过API接口上传的监控视频帧，其中，API接口连接于模型，模型预先部署在云端，云端通过所述API接口与监控装置连接；通过模型对监控视频帧进行语义分割，得到积水标注结果，获取监控装置的像素信息和相机参数，根据积水标注结果、监控装置的位置构建像素坐标系、图像坐标系、相机坐标系和世界坐标系，将像素坐标系转换为世界坐标系，图像坐标系设置有光心，图像坐标系与像素坐标系设置于同一平面，其中，监控视频帧中设置有道路像素积水点；将经过光心且未与世界坐标系中的积水平面平行的直线，以及，直线与平面的相交的交点为语义分割神经网络模型的约束条件，语义分割神经网络模型根据约束条件、相机参数和像素信息反算道路积水像素点映射的地理投影坐标点集合；将地理投影坐标点集合转换为面要素，根据面要素生成道路积水区域掩膜，获取监控装置的高程信息，根据高程信息和道路积水区域掩膜获取道路积水图片中的栅格数据，根据栅格数据计算道路积水图片中的道路积水量。在本实施例中，通过利用视频GIS技术和相机标定方法，建立监控视频帧与地理投影坐标系的位置映射模型，通过点集转面的方式得到道路积水掩膜，结合栅格数据实现道路积水区域的水量计算，从而定量分析城市某一具体路段的积水情况。
下面基于附图，对本发明实施例的控制方法作进一步阐述。
参照图1、图6和图7，图1为本发明实施例提供的一种基于语义分割的道路积水方法的流程图，该基于语义分割的道路积水方法包括但不限于有以下步骤：
步骤S11，监控装置通过API接口上传的监控视频帧，其中，API接口连接于模型，模型预先部署在云端，云端通过API接口与监控装置连接；
需要说明的是，通过API接口上传监控视频帧至云端，实现云端远程访问监控系统，用户能够通过云端进行监控装置的访问，通过获取语义分割模型，将语义分割模型压缩后部署于云端服务器，采用FlaskRsetfulAPI接口服务供用户调用，其中，接口服务至少包括前端请求参数和返回参数，前端请求参数包括但不限于视频帧ID和视频帧属性，其中，视频帧属性包含空间坐标、拍摄时间以及视频帧连接地址等字段，返回参数为视频帧ID、分割结果标注点坐标和分割结果图片链接。
步骤S12，通过模型对监控视频帧进行语义分割，得到积水标注结果，获取监控装置的像素信息和相机参数，根据积水标注结果、监控装置的位置构建像素坐标系、图像坐标系、相机坐标系和世界坐标系，将像素坐标系转换为世界坐标系，图像坐标系设置有光心，图像坐标系与像素坐标系设置于同一平面，其中，监控视频帧中设置有道路像素积水点；
需要说明的是，通过将像素坐标系转换为世界坐标系，将监控画面的积水区域映射到真实世界中的位置，实现对道路积水情况的精准分析。
步骤S13，将经过光心且未与世界坐标系中的积水平面平行的直线，以及，直线与平面的相交的交点为语义分割神经网络模型的约束条件，语义分割神经网络模型根据约束条件、相机参数和像素信息反算道路积水像素点映射的地理投影坐标点集合；
需要说明的是，通过约束条件限制光心且未与世界坐标系中积水平面平行的直线，并考虑直线与平面的交点，进而帮助模型更准确的识别道路上的积水区域，提高语义分割的准确性，借助相机参数和像素信息，结合约束条件以及交点计算，模型能够将监控装置获取的监控画面中的道路积水像素点准确的应设置地理投影坐标点集合，实现积水平面从图像空间到真实地理空间的精确映射转换，提高监测结果的地理信息化程度，为道路积水灾害风险评估和预警提供精准的数据支持。
步骤S14，将地理投影坐标点集合转换为面要素，根据面要素生成道路积水区域掩膜，获取监控装置的高程信息，根据高程信息和道路积水区域掩膜获取道路积水图片中的栅格数据，根据栅格数据计算道路积水图片中的道路积水量。
需要说明的是，将道路积水的地理投影坐标点集合转换为面要素并生成道路积水区域掩膜，将道路积水掩膜区域与高精度DEM数据进行叠置裁剪，得到积水区域的DEM栅格数据，模型指定DEM面积范围计算裁剪面域的积水量最终计算视频帧中该帧图像所需要计算的道路积水量。
需要说明的是，在本实施例中，通过利用视频GIS技术和相机标定方法，建立监控视频帧与地理投影坐标系的位置映射模型，通过点集转面的方式得到道路积水掩膜，结合栅格数据实现道路积水区域的水量计算，从而定量分析城市某一具体路段的积水情况。
另外，在一实施例中，参照图2，在图1所示实施例的步骤S12中，还包括但不限于有以下步骤：
S21，对监控视频帧进行筛选，获取多个第一图片数据，统一多个第一图片数据的格式，对多个统一格式的第一图片数据进行标注，得到多个第二图片数据；
S22，将多个第二图片数据按比例划分为训练集、验证集和测试集；
S23，根据训练集、验证集和测试集制作道路积水语义分割数据集，构建模型，将模型部署在云端并向监控设备发布API接口，API接口为模型的输入接口，其中，模型为道路积水语义分割神经网络模型U-Net。
需要说明的是，在本实施例中，通过从软件、图片搜索引擎和实底等渠道收集道路积水图片，即第一图片数据，筛选出符合道路积水场景的图片数据500至700张，并将图片数据统一成JPG格式，对统一格式后的第一图片数据采用LabelMe软件进行积水区域数据标注，并按照4:1:1的比例随机划分成训练集、验证集和测试集，通过训练集、验证集和测试集构建模型，将模型部署在云端并提供API接口，监控装置能够通过网络请求调用模型，从而实现快速、实时的道路积水识别，提高监控装置的响应速度和效率。具体地，U-Net是一种专用于图像语义分割的深度学习网络，具备较高的特征提取和图像重建能力，能够实现对道路积水的准确识别，有效区分道路和道路积水区域。
在一实施例中，根据训练集、验证集和测试集制作道路积水语义分割数据集，构建模型，模型的损失函数为：
其中，y为语义分割神经网络模型对像素的预测值，y’为语义分割神经网络模型对像素的真值。
需要说明的是，在本实例中，通过构建道路积水语义分割神经网络模型U-Net模型，并训练道路积水语义分割神经网络模型对测试集进行评估，并根据交叉熵与相似度系数设置损失函数，最终计算出模型对像素的预测值和真值。
另外，在一实施例中，参照图3，在图2所示实施例的步骤S12中，还包括但不限于有以下步骤：
S31，获取第二图片数据的道路积水像素数量和背景像素数量；
S32，根据道路积水像素数量和背景像素数量对测试集进行评估，计算语义分割神经网络模型的精度和召回率；
S33，当精度和召回率大于等于第一阈值时，完成语义分割神经网络模型的构建；
S34，当精度和召回率小于第一阈值时，继续训练语义分割神经网络模型。
需要说明的是，通过获取道路积水像素数量和背景像素数量，并对道路积水像素数量和背景像素数量进行评估，从而计算模型的精度和召回率，其中，训练模型精度可通过如下公式表达：
其中，TP表示正确分类的道路积水像素数量，FP表示背景误分为道路积水像素数量，Precision为精度。
召回率通过如下公式表达：
其中，FN表示道路积水误分为背景像素数量，Recall为召回率。
在一实施例中，将所述像素坐标系转换为所述世界坐标系，包括：
其中，R为旋转矩阵，T为平移矩阵，f为焦距，(u0，v0)为像素坐标系的中心坐标，dx和dy为单位像素的距离，u和v为像素坐标，Xw为真实世界交点横坐标,Yw为真实世界交点纵坐标,Zw为现实世界交点垂直坐标。
进一步地，测量真实世界自定义远点的地理投影坐标，将地理投影坐标记为OCGCS2000(xO，yO)，已知OCGCS2000点与PCGCS2000点方位角θN(参考反向为正北)、直线距离L(不考虑曲率)，推算
另外，在一实施例中，参照图4，在图1所示实施例的步骤S14中，还包括但不限于有以下步骤：
S41，获取栅格数据进行裁剪，遍历裁剪后的所述栅格数据；
S42，获取栅格数据的极值、单元栅格像元值和栅格分辨率，根据极值、单元栅格像元值和栅格分辨率计算道路积水图片中当前帧的道路积水量。
需要说明的是，通过获取栅格数据的机制和单元栅格像元值，结合栅格分辨率以使模型能够准确计算道路积水图片中当前帧的道路积水量，基于裁剪后的栅格数据进行极值和像元值的分析，进而优化模型的道路积水监测算法，提高道路积水识别的速度以及准确性。
具体地，极端道路积水图片中当前帧的道路积水量可通过如下公式表达：
其中，S为栅格分辨率，Vmax为极值，Vij为栅格像元值。
另外，在一实施例中，参照图5，在图1所示实施例的步骤S12中，还包括但不限于有以下步骤：
S51，根据相机参数获取监控装置的内参矩阵、外参矩阵和畸变系数，获取像素信息的第一像素坐标；
S52，将第一像素坐标进行反算得到第二像素坐标，根据第一像素坐标和第二像素坐标的差值计算第一像素坐标与第二像素坐标之间的重投影误差值。
需要说明的是，在本实施例中，通过模型对监控视频帧进行语义分割之前，还包括对道路监控摄像机进行参数标定，利用张正友标定法对监控装置内参数矩阵、外参矩阵和畸变系数，第一像素坐标为像元实际坐标，第二像素坐标为反算像素坐标，根据L-M算法对各像元实际坐标和反算像素坐标计算重投影误差，从而求得重投影误差的最小值。
具体地，重投影误差最小值可通过如下公式进行计算：
其中，A为内参矩阵、R和T为外参矩阵、K1和K2为畸变系数、Iij为像元实际坐标、为反算像素坐标。
如图8所示，图8是本发明一个实施例提供的基于语义分割的道路积水分析装置的结构图。本发明还提供了一种基于语义分割的道路积水分析装置，包括：
处理器801，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器802，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行本申请实施例的基于语义分割的道路积水分析方法；
输入/输出接口803，用于实现信息输入及输出；
通信接口804，用于实现本装置与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线805，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息；
其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种电子设备，包括如上所述的基于语义分割的道路积水分析装置。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于语义分割的道路积水分析方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，实现了以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
Claims (10)
1.一种基于语义分割的道路积水分析方法，其特征在于，应用于云端，云端连接有多个监控装置，所述方法包括：
所述监控装置通过API接口上传的监控视频帧，其中，所述API接口连接于模型，所述模型预先部署在所述云端，所述云端通过所述API接口与所述监控装置连接；
通过所述模型对所述监控视频帧进行语义分割，得到积水标注结果，获取所述监控装置的像素信息和相机参数，根据所述积水标注结果、所述监控装置的位置构建像素坐标系、图像坐标系、相机坐标系和世界坐标系，将所述像素坐标系转换为所述世界坐标系，所述图像坐标系设置有光心，所述图像坐标系与所述像素坐标系设置于同一平面，其中，所述监控视频帧中设置有道路像素积水点；
将经过所述光心且未与所述世界坐标系中的积水平面平行的直线，以及，所述直线与所述平面的相交的交点为所述语义分割神经网络模型的约束条件，所述语义分割神经网络模型根据所述约束条件、所述相机参数和所述像素信息反算所述道路积水像素点映射的地理投影坐标点集合；
将所述地理投影坐标点集合转换为面要素，根据所述面要素生成道路积水区域掩膜，获取所述监控装置的高程信息，根据所述高程信息和所述道路积水区域掩膜获取所述道路积水图片中的栅格数据，根据所述栅格数据计算所述道路积水图片中的道路积水量。
2.根据权利要求1所述的基于语义分割的道路积水方法，其特征在于，所述通过所述模型对所述监控视频帧进行语义分割，得到积水标注结果，包括：
对所述监控视频帧进行筛选，获取多个第一图片数据，统一多个所述第一图片数据的格式，对多个统一格式的所述第一图片数据进行标注，得到多个第二图片数据；
将多个所述第二图片数据按比例划分为训练集、验证集和测试集；
根据所述训练集、所述验证集和所述测试集制作道路积水语义分割数据集，构建所述模型，将所述模型部署在所述云端并向所述监控设备发布所述API接口，所述API接口为所述模型的输入接口，其中，所述模型为道路积水语义分割神经网络模型U-Net。
3.根据权利要求2所述的基于语义分割的道路积水分析方法，其特征在于，所述根据所述训练集、所述验证集和所述测试集制作道路积水语义分割数据集，构建所述模型，所述模型的损失函数为：
其中，y为所述语义分割神经网络模型对像素的预测值，y’为所述语义分割神经网络模型对像素的真值。
4.根据权利要求2所述的基于语义分割的道路积水分析方法，其特征在于，所述将多个所述第二图片数据按比例划分为训练集、验证集和测试集后，所述方法还包括：
获取所述第二图片数据的道路积水像素数量和背景像素数量；
根据所述道路积水像素数量和所述背景像素数量对所述测试集进行评估，计算所述语义分割神经网络模型的精度和召回率；
当所述精度和所述召回率大于等于第一阈值时，完成所述语义分割神经网络模型的构建；
当所述精度和所述召回率小于所述第一阈值时，继续训练所述语义分割神经网络模型。
5.根据权利要求1所述的基于语义分割的道路积水分析方法，其特征在于，所述将所述像素坐标系转换为所述世界坐标系，包括：
其中，R为旋转矩阵，T为平移矩阵，f为焦距，(u0，v0)为像素坐标系的中心坐标，dx和dy为单位像素的距离，u和v为像素坐标，Xw为真实世界交点横坐标,Yw为真实世界交点纵坐标,Zw为现实世界交点垂直坐标。
6.根据权利要求1所述的基于语义分割的道路积水分析方法，其特征在于，所述根据所述栅格数据计算所述道路积水图片中的道路积水量，包括：
获取所述栅格数据进行裁剪，遍历裁剪后的所述栅格数据；
获取所述栅格数据的极值、单元栅格像元值和栅格分辨率，根据所述极值、所述单元栅格像元值和所述栅格分辨率计算所述道路积水图片中当前帧的所述道路积水量。
7.根据权利要求1所述的基于语义分割的道路积水分析方法，其特征在于，获取所述监控装置的像素信息和相机参数，包括：
根据所述相机参数获取所述监控装置的内参矩阵、外参矩阵和畸变系数，获取所述像素信息的第一像素坐标；
将所述第一像素坐标进行反算得到第二像素坐标，根据所述第一像素坐标和所述第二像素坐标的差值计算所述第一像素坐标与所述第二像素坐标之间的重投影误差值。
8.一种基于语义分割的道路积水分析装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于语义分割的道路积水分析方法。
9.一种电子设备，其特征在于，包括权利要求8所述的基于语义分割的道路积水分析装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于语义分割的道路积水分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410340210.9A CN118334574A (zh) | 2024-03-25 | 2024-03-25 | 基于语义分割的道路积水分析方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410340210.9A CN118334574A (zh) | 2024-03-25 | 2024-03-25 | 基于语义分割的道路积水分析方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118334574A true CN118334574A (zh) | 2024-07-12 |
Family
ID=91776683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410340210.9A Pending CN118334574A (zh) | 2024-03-25 | 2024-03-25 | 基于语义分割的道路积水分析方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118334574A (zh) |
-
2024
- 2024-03-25 CN CN202410340210.9A patent/CN118334574A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7155321B2 (ja) | ひび割れ解析データ編集装置、ひび割れ解析データ編集方法、及び、ひび割れ解析データの編集プログラム | |
| JP5776545B2 (ja) | 路面調査プログラム及び路面調査装置 | |
| US9057618B1 (en) | System and method of determining map coordinates from images | |
| US10852444B2 (en) | Accounting for atmospheric and terrestrial obstacles in geographic positioning | |
| US10872247B2 (en) | Image feature emphasis device, road surface feature analysis device, image feature emphasis method, and road surface feature analysis method | |
| CN110415555B (zh) | 一种基于深度学习的有效划线车位识别方法和系统 | |
| CN109271861B (zh) | 多尺度融合的点云交通标识牌自动提取方法 | |
| CN112712023A (zh) | 车型识别方法、系统及电子设备 | |
| CN114359181A (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN115962757A (zh) | 一种无人机测绘方法、系统和可读存储介质 | |
| CN113724259A (zh) | 井盖异常检测方法、装置及其应用 | |
| US11580659B2 (en) | Method for size estimation by image recognition of specific target using given scale | |
| JP2020160840A (ja) | 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム | |
| CN112085778A (zh) | 基于超像素和形态学的倾斜摄影违法建筑检测方法及系统 | |
| CN113420109B (zh) | 一种街道界面渗透率的测量方法、计算机及存储介质 | |
| CN113012215A (zh) | 一种空间定位的方法、系统及设备 | |
| CN118334574A (zh) | 基于语义分割的道路积水分析方法、装置、设备及介质 | |
| CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
| KR102433632B1 (ko) | 라이다 깊이 이미지 채움 장치 및 방법 | |
| US20230081098A1 (en) | Deterioration diagnosis device, deterioration diagnosis method, and recording medium | |
| CN110969875B (zh) | 一种用于道路交叉口交通管理的方法及系统 | |
| CN114791282A (zh) | 一种基于车辆高精度定位的路政设施坐标标定方法及装置 | |
| CN112766068A (zh) | 一种基于网格化标注的车辆检测方法及系统 | |
| CN115114302A (zh) | 道路标牌数据更新方法、装置、电子设备及存储介质 | |
| CN111814555B (zh) | 一种基于多源数据的土地功能智能识别方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |