CN115239794B - 道路积水面积检测方法、装置及电子设备 - Google Patents

道路积水面积检测方法、装置及电子设备 Download PDF

Info

Publication number
CN115239794B
CN115239794B CN202211161479.8A CN202211161479A CN115239794B CN 115239794 B CN115239794 B CN 115239794B CN 202211161479 A CN202211161479 A CN 202211161479A CN 115239794 B CN115239794 B CN 115239794B
Authority
CN
China
Prior art keywords
area
ponding
model
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211161479.8A
Other languages
English (en)
Other versions
CN115239794A (zh
Inventor
廖代海
闾凡兵
吴婷
张建安
卢月红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Hisense Intelligent System Research Institute Co ltd
Original Assignee
Changsha Hisense Intelligent System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Hisense Intelligent System Research Institute Co ltd filed Critical Changsha Hisense Intelligent System Research Institute Co ltd
Priority to CN202211161479.8A priority Critical patent/CN115239794B/zh
Publication of CN115239794A publication Critical patent/CN115239794A/zh
Application granted granted Critical
Publication of CN115239794B publication Critical patent/CN115239794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种道路积水面积检测方法、装置及电子设备。所述方法采用图像分割的方法来确定积水区域的像素面积，相比于目标识别能够比较真实地反映积水区域的像素面积表示，同时采用深度学习模型学习不同摄像头不同角度下的积水区域的像素面积与实际面积的通用映射特征表达，有效地解决了需要根据每个摄像头安装角度和相机内部参数才能确定像素面积与实际面积的映射关系的难题。

Description

道路积水面积检测方法、装置及电子设备
技术领域
本发明涉及图像识别技术领域，尤其涉及一种道路积水面积检测方法、装置及电子设备。
背景技术
城市道路积水会影响交通安全，及时识别出道路积水并确认积水面积，能够有效帮助道路管理者消除安全隐患，提升道路安全程度，现有的道路积水面积估计方法，需要实现单个摄像头下要实现图像坐标系和真实坐标系之间的转换，该转换通常来说需要对单个镜头采用标注工具实现对摄像机内外参数进行标定，这种方法需要对每个摄像头进行标定工作，耗时耗力，缺乏对不同场景下摄像头的通用性的表达。
发明内容
本发明的目的在于提供一种道路积水面积检测方法，采用基于深度学习的统一模型实现像素面积与实际面积之间的映射，可用于任意摄像头下积水实际面积的估计，而不受手摄像头的型号、安装位置、拍摄角度等因素的影响。
为实现上述目的，本发明首先提供一种道路积水面积检测方法，包括：
步骤S1、提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；
步骤S2、将所述第一训练图像集输入积水分割检测模型中，得到各个第一训练图像中的积水区域轮廓坐标及像素面积；
步骤S3、将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；
步骤S4、用所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型；
步骤S5、将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；
步骤S6、将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积。
所述积水分割检测模型通过如下步骤训练得到：
提供第二训练图像集，对所述第二训练图像集中第二训练图像中的积水区域进行分割标注，标注出每一第二训练图像中的积水区域轮廓坐标及像素面积，得到标注后的第二训练图像集；
用标注后的第二训练图像集对积水分割检测模型进行训练，得到训练后的积水分割检测模型。
可选地，所述积水分割检测模型为Bisenetv2双边分割网络模型，包括细节分支和语义分支，所述细节分支通过浅层宽通道来捕获细节并生成高分辨率特征，所述语义分支主干通过Densenet网络结构来获取上下文语义信息。
可选地，所述面积映射关系模型为多元非线性回归模型网络模型，其函数为beta=nlinfit(x,y,model,beta0)，其中x为自变量， y为因变量，model是函数模型；beta0是系统的初始值，nlinfit为nlinfit函数。
可选地，所述步骤S4中训练面积映射关系模型时采用均方代价损失：
Figure DEST_PATH_IMAGE002AA
；
其中ri为积水真实面积，si为积水分割检测模型输出的积水区域的像素面积，MSE为均方代价损失，m为面积训练数据对的数量。
可选地，所述步骤S4中将积水区域轮廓坐标被转换为tensor变量后输入所述面积映射关系模型中。
可选地，所述步骤S1中的不同摄像头至少包括多个不同型号的摄像头以及多个型号相同但安装高度或安装角度不同的摄像头，所述步骤S1中的不同位置至少包括每一摄像头的视野近端和每一摄像头的视野远端。
本发明还提供一种道路积水面积检测装置，包括：
获取单元，用于提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；
分割单元，用于将所述第一训练图像集输入积水分割检测模型中，得到每一第一训练图像中的积水区域轮廓坐标及像素面积；
组合单元，用于将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；
训练单元，用于通过所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型
检测单元，用于将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；
映射单元，用于将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积。
本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
本发明的有益效果：本发明提供一种道路积水面积检测方法、装置及电子设备。所述方法包括：提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；将所述第一训练图像集输入积水分割检测模型中，得到各个第一训练图像中的积水区域轮廓坐标及像素面积；将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；用所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型；将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积，采用图像分割的方法表示出积水的面积能够比较真实地反映积水原有的像素面积表示，更加准确，采用深度学习模型学习不同摄像头不同角度下像素面积与实际面积的通用映射特征表达，能够有效地解决了需要根据每个摄像头安装角度和相机内部参数才能确定像素面积与实际面积的映射关系的难题。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的道路积水面积检测方法的流程图；
图2为本发明的道路积水面积检测方法中积水分割检测模型的训练流程图；
图3为本发明的道路积水面积检测方法中面积映射关系模型的训练流程图；
图4为本发明的道路积水面积检测方法实际应用时的流程图；
图5为改进前的Bisenetv2双边分割网络模型的结构图；
图6为改进后的Bisenetv2双边分割网络模型的语义分支的结构图；
图7为本发明的道路积水面积检测方法中积水轮廓的示意图；
图8至图13为本发明的道路积水面积检测方法实际应用时的场景图；
图14为本发明的道路积水面积检测装置的示意图；
图15为本发明的电子设备的示意图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所述的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所述的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
首先，对于单一固定的摄像头的像素面积与实际面积之间的转换，可以通过摄像机参数和摄像机安装的角度等相关数据通过仿射变换的方式来得到单一镜头下像素面积与实际面积的映射关系，而要解决天网系统下不同摄像头积水的像素面积与实际面积映射关系问题，由于存在的摄像头数量巨大，摄像头安装角度和摄像头参数也多有不同，在如此众多的摄像头下无法一一根据摄像头固有参数的方式来计算每个摄像头像素面积与实际面积的映射关系，为此，本发明提供了一种道路积水面积检测方法，该方法包括两个部分，一部分为通过收集不同摄像头下的数据，训练出能够包含所有摄像头下像素面积与实际面积的面积映射关系模型，另一部分为对任意镜头下的积水区域按照语义分割方法获得积水区域轮廓坐标及像素面积，然后将积水区域轮廓坐标及像素面积输入到映射关系模型中进行推理，获得当前镜头下积水的实际面积。
请参阅图1并结合图2至图4，本发明首先提供一种道路积水面积检测方法包括：
步骤S1、提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像。
具体地，在本发明的一些实施例中，所述步骤S1中的不同摄像头至少包括多个不同型号的摄像头以及多个型号相同但安装高度或安装角度不同的摄像头，所述步骤S1中的不同位置至少包括每一摄像头的视野近端和每一摄像头的视野远端，通过采集自不同摄像头下不同位置的第一训练图像，使得第一训练图像集具有多种不同的图像来源，进而匹配天网系统中的不同摄像头。
步骤S2、将所述第一训练图像集输入积水分割检测模型中，得到各个第一训练图像中的积水区域轮廓坐标及像素面积。
具体地，所述步骤S2中，采用语义分割的方法，对第一训练图像进行语义分割，获得积水区域轮廓坐标，根据积水区域轮廓坐标求取区域轮廓，再根据区域轮廓算子求出区域的像素面积。
进一步地，请参阅图2，所述步骤S2中所述积水分割检测模型通过如下步骤训练得到：
步骤S11、提供第二训练图像集，对所述第二训练图像集中第二训练图像中的积水区域进行分割标注，标注出每一第二训练图像中的积水区域轮廓坐标及像素面积，得到标注后的第二训练图像集；
步骤S12、用标注后的第二训练图像集对积水分割检测模型进行训练，得到训练后的积水分割检测模型。
详细来说，所述步骤S11中采用标注工具lableme对第二训练图像中的积水区域进行分割标注，获得标注数据，生成掩膜（mask）标签图像即标注后的第二训练图像，所述步骤S12中将掩膜标签图像按照一定比例分成训练集和验证集样本数据，在本发明的一些实施例中，所述一定比例为训练集和验证集之比为8：2，然后将将训练集数据批量输入到积水分割检测模型中进行模型迭代训练，获得积水分割的模型权重，再通过验证集进行验证，最终得到训练后的积水分割检测模型。
进一步地，所述积水分割检测模型为经过改进的Bisenetv2双边分割网络模型，包括细节分支和语义分支，所述细节分支通过浅层宽通道来捕获细节并生成高分辨率特征，所述语义分支主干通过Densenet网络结构来获取上下文语义信息。
需要说明的是，如图7所示，在道路中积水区域C2的形状为不规则形状，需采用语义分割的方法对积水边缘进行分割，在现实中积水的边缘往往分界不是很明显，因此对边缘特征的提取需要较强的特征提取网络，因此如图5及图6，本发明采用基于改进的BisenetV2的方法进行特征提取，所述改进的Bisenetv2双边分割网络主要由细节分支和语义分支两部分组成，细节分支通过浅层宽通道以捕获细节并生成高分辨率特征，而语义分支采用窄通道和较深的层，以获取高级上下文语义信息，为增强高层语义捕获特征表达，其中，语义分支即图5中的C1部分，改为图6所示的Densenet网络结构，将结构中的每层都接受前面所有层的输入，这种密集链接将来自不同层的特征图进行融合，可以实现特征重用，提升效率。
步骤S3、将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；
具体地，根据步骤S2中分割出来的积水区域轮廓坐标及像素面积加上实际积水面积共同组成面积训练数据对，所述面积训练数据对具体表示如下：
{{(x11,y11), (x12,y12)…(x1n,y1n),s1},{(x21,y21), (x22,y22)…(x2n,y2n),s2}…{(xm1,ym1), (xm2,ym2)…(xmn,ymn),sm}};
{r1,r2…rm};
其中，sm表示第m个积水区域的像素面积，xmn,ymn表示第m个积水区域的第n个轮廓坐标，rm表示第m个积水像素区域所对应的实际积水面积。
步骤S4、用所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型；
具体地，所述步骤S4中，所述面积映射关系模型为多元非线性回归模型网络模型，其函数为beta=nlinfit(x,y,model,beta0)，其中x为自变量， y为因变量，model是函数模型；beta0是系统的初始值，nlinfit为nlinfit函数。
可选地，所述步骤S4中训练面积映射关系模型时采用均方代价损失：
Figure DEST_PATH_IMAGE003
；
其中ri为积水真实面积，si为积水分割检测模型输出的积水区域的像素面积，MSE为均方代价损失，m为面积训练数据对的数量。
具体地，所述步骤S4中将积水区域轮廓坐标被转换为tensor变量后输入所述面积映射关系模型中。
最后，训练得到所述面积映射关系模型的参数，进而完成面积映射关系模型的训练。
步骤S5、将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；
步骤S6、将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积。
具体地，通过步骤S4学习到不同摄像头下像素面积与实际面积的映射关系，在步骤S5和步骤S6可直接识别待检测图像中积水区域轮廓坐标及像素面积，然后按照映射关系转换即可得到真实场景下积水的面积。
具体地，由于积水区域为不规则区域，如采用目标识别的方法，积水面积采用矩形面积表示，误差较大，而本发明采用语义分割的方法表示出积水的面积能够比较真实地反映积水原有的像素面积表示，更加准确。
进一步地，本发明采用多元非线性回归模型网络模型作为面积映射关键模型深度学习不同摄像头不同角度下像素面积与实际面积的通用映射特征表达，有效地解决了需要根据每个摄像头安装角度和相机内部参数才能确定像素面积与实际面积的映射关系的难题，可在包括天网系统在内各种大型多样化的摄像头网络中进行应用。
实际应用时，首先，接收待检测图像，并将其输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；然后，将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积。
举例来说，如图8所示，待检测图像的中央有一不规则的积水区域，经过分割后得到其积水区域轮廓坐标如图8中的不规则框所包围的区域所示，像素面积为164534像素，经过面积映射关系模型的计算，最终确定的实际面积为107345平方厘米，如图9所示，待检测图像的从近端向远端延伸有一不规则的积水区域，且积水区域围绕图像中的花坛边缘，经过分割后得到其积水区域轮廓坐标如图9中的不规则框所包围的区域所示，像素面积为1010281像素，经过面积映射关系模型的计算，最终确定的实际面积为153248平方厘米，如图10所示，待检测图像的从近端向远端延伸有一不规则的积水区域，且积水区域沿道路的延伸方向铺开，经过分割后得到其积水区域轮廓坐标如图10中的不规则框所包围的区域所示，像素面积为917100像素，经过面积映射关系模型的计算，最终确定的实际面积为1845862平方厘米，如图11所示，待检测图像的几乎布满积水，经过分割后得到其积水区域轮廓坐标如图11中的不规则框所包围的区域所示，像素面积为1717431像素，经过面积映射关系模型的计算，最终确定的实际面积为124589平方厘米，如图12所示，待检测图像的近端角落有一不规则的积水区，经过分割后得到其积水区域轮廓坐标如图12中的不规则框所包围的区域所示，像素面积为123783像素，经过面积映射关系模型的计算，最终确定的实际面积为63256平方厘米，如图13所示，与图12类似，待检测图像的近端角落有一不规则的积水区，但该积水区比图12更大，经过分割后得到其积水区域轮廓坐标如图13中的不规则框所包围的区域所示，像素面积为315070像素，经过面积映射关系模型的计算，最终确定的实际面积为245632平方厘米。
至此，如图8至图13所示，展示本发明的道路积水面积检测方法能够不受摄像头安装角度和相机内部参数的影响，准确推导出道路积水的实际面积，有效解决天网系统下不同摄像头积水的像素面积与实际面积映射关系问题。
请参阅图14，本发明还提供一种道路积水面积检测装置，包括：
获取单元10，用于提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；
分割单元20，用于将所述第一训练图像集输入积水分割检测模型中，得到每一第一训练图像中的积水区域轮廓坐标及像素面积；
组合单元30，用于将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；
训练单元40，用于通过所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型
检测单元50，用于将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；
映射单元60，用于将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积。
请参阅图15，本发明还提供一种电子设备，包括：存储器100和处理器200，所述存储器100存储有计算机程序，所述计算机程序被所述处理器200执行时，使得所述处理器执行上述方法的步骤。
综上所述， 本发明提供一种道路积水面积检测方法、装置及电子设备。所述方法包括：提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；将所述第一训练图像集输入积水分割检测模型中，得到各个第一训练图像中的积水区域轮廓坐标及像素面积；将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；用所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型；将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积，采用图像分割的方法表示出积水的面积能够比较真实地反映积水原有的像素面积表示，更加准确，采用深度学习模型学习不同摄像头不同角度下像素面积与实际面积的通用映射特征表达，能够有效地解决了需要根据每个摄像头安装角度和相机内部参数才能确定像素面积与实际面积的映射关系的难题。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (7)

1.一种道路积水面积检测方法，其特征在于，包括：
步骤S1、提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；
步骤S2、将所述第一训练图像集输入积水分割检测模型中，得到各个第一训练图像中的积水区域轮廓坐标及像素面积；
步骤S3、将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；
步骤S4、用所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型
步骤S5、将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；
步骤S6、将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积；
所述面积映射关系模型为多元非线性回归模型网络模型，其函数为beta=nlinfit(x,y,model,beta0)，其中x为自变量， y为因变量，model是函数模型；beta0是系统的初始值，nlinfit为nlinfit函数；
所述步骤S4中训练面积映射关系模型时采用均方代价损失：
Figure 261055DEST_PATH_IMAGE001
；
其中ri为积水真实面积，si为积水分割检测模型输出的积水区域的像素面积，MSE为均方代价损失，m为面积训练数据对的数量。
2.如权利要求1所述的道路积水面积检测方法，其特征在于，所述积水分割检测模型通过如下步骤训练得到：
提供第二训练图像集，对所述第二训练图像集中第二训练图像中的积水区域进行分割标注，标注出每一第二训练图像中的积水区域轮廓坐标及像素面积，得到标注后的第二训练图像集；
用标注后的第二训练图像集对积水分割检测模型进行训练，得到训练后的积水分割检测模型。
3.如权利要求1所述的道路积水面积检测方法，其特征在于，所述积水分割检测模型为Bisenetv2双边分割网络模型，包括细节分支和语义分支，所述细节分支通过浅层宽通道来捕获细节并生成高分辨率特征，所述语义分支主干通过Densenet网络结构来获取上下文语义信息。
4.如权利要求1所述的道路积水面积检测方法，其特征在于，所述步骤S4中将积水区域轮廓坐标被转换为tensor变量后输入所述面积映射关系模型中。
5.如权利要求1所述的道路积水面积检测方法，其特征在于，所述步骤S1中的不同摄像头至少包括多个不同型号的摄像头以及多个型号相同但安装高度或安装角度不同的摄像头，所述步骤S1中的不同位置至少包括每一摄像头的视野近端和每一摄像头的视野远端。
6.一种道路积水面积检测装置，其特征在于，包括：
获取单元，用于提供第一训练图像集，所述第一训练图像集包括采集自不同摄像头下不同位置的多幅带有实际积水面积标注的第一训练图像；
分割单元，用于将所述第一训练图像集输入积水分割检测模型中，得到每一第一训练图像中的积水区域轮廓坐标及像素面积；
组合单元，用于将各个第一训练图像的实际积水面积、积水区域轮廓坐标及像素面积分别对应组合，得到多个面积训练数据对；
训练单元，用于通过所述多个面积训练数据对面积映射关系模型进行训练，得到训练后的面积映射关系模型
检测单元，用于将待检测图像输入积水分割检测模型，得到待检测图像中的积水区域轮廓坐标及像素面积；
映射单元，用于将待检测图像中的积水区域轮廓坐标及像素面积输入面积映射关系模型，得到待检测图像中的积水实际面积；
所述面积映射关系模型为多元非线性回归模型网络模型，其函数为beta=nlinfit(x，y，model，beta0)，其中x为自变量，y为因变量，model是函数模型；beta0是系统的初始值，nlinfit为nlinfit函数；
其中训练面积映射关系模型时采用均方代价损失：
Figure 509633DEST_PATH_IMAGE001
；
其中ri为积水真实面积，si为积水分割检测模型输出的积水区域的像素面积，MSE为均方代价损失，m为面积训练数据对的数量。
7.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-5中任一项所述方法的步骤。
CN202211161479.8A 2022-09-23 2022-09-23 道路积水面积检测方法、装置及电子设备 Active CN115239794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211161479.8A CN115239794B (zh) 2022-09-23 2022-09-23 道路积水面积检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211161479.8A CN115239794B (zh) 2022-09-23 2022-09-23 道路积水面积检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN115239794A CN115239794A (zh) 2022-10-25
CN115239794B true CN115239794B (zh) 2023-02-07

Family

ID=83667387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211161479.8A Active CN115239794B (zh) 2022-09-23 2022-09-23 道路积水面积检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115239794B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965927B (zh) * 2023-03-16 2023-06-13 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780598A (zh) * 2016-12-05 2017-05-31 歌尔科技有限公司 一种基于无人机的水面漂浮物检测方法和无人机
CN111462218A (zh) * 2020-03-16 2020-07-28 西安理工大学 一种基于深度学习技术的城市内涝积水面积监测方法
CN112862815A (zh) * 2021-03-12 2021-05-28 江苏鑫源烟草薄片有限公司 一种基于单目视觉的再造梗丝宽度检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780598A (zh) * 2016-12-05 2017-05-31 歌尔科技有限公司 一种基于无人机的水面漂浮物检测方法和无人机
CN111462218A (zh) * 2020-03-16 2020-07-28 西安理工大学 一种基于深度学习技术的城市内涝积水面积监测方法
CN112862815A (zh) * 2021-03-12 2021-05-28 江苏鑫源烟草薄片有限公司 一种基于单目视觉的再造梗丝宽度检测方法

Also Published As

Publication number Publication date
CN115239794A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN102236798B (zh) 一种图像匹配方法及其装置
Shao et al. Application of a fast linear feature detector to road extraction from remotely sensed imagery
CN110570435B (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN106548169A (zh) 基于深度神经网络的模糊文字增强方法及装置
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN115239794B (zh) 道路积水面积检测方法、装置及电子设备
CN113643365B (zh) 一种相机位姿估计方法、装置、设备以及可读存储介质
CN108629782B (zh) 基于地面线索传播的道路目标深度估计方法
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
Wang et al. Vehicle license plate recognition based on wavelet transform and vertical edge matching
CN114419165A (zh) 相机外参校正方法、装置、电子设备和存储介质
Hongquan et al. Video scene invariant crowd density estimation using geographic information systems
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN112528994A (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN116071721A (zh) 一种基于Transformer的高精地图实时预测方法和系统
CN112115737A (zh) 一种车辆朝向的确定方法、装置及车载终端
CN114120201A (zh) 一种车站计算机联锁道岔状态信息检测系统及其方法
CN112270357A (zh) Vio视觉系统及方法
Xiao et al. Utilizing edge to extract roads in high-resolution satellite imagery
CN111435537A (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
CN111435086A (zh) 基于拼接图的导航方法和装置
CN116895022B (zh) 基于点云数据处理的建筑物边界提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant