CN113724259A - 井盖异常检测方法、装置及其应用 - Google Patents

井盖异常检测方法、装置及其应用 Download PDF

Info

Publication number
CN113724259A
CN113724259A CN202111291305.9A CN202111291305A CN113724259A CN 113724259 A CN113724259 A CN 113724259A CN 202111291305 A CN202111291305 A CN 202111291305A CN 113724259 A CN113724259 A CN 113724259A
Authority
CN
China
Prior art keywords
well lid
image
manhole cover
deformation
street view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111291305.9A
Other languages
English (en)
Other versions
CN113724259B (zh
Inventor
李开民
章东平
毛云青
钟梓尹
徐剑炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202111291305.9A priority Critical patent/CN113724259B/zh
Publication of CN113724259A publication Critical patent/CN113724259A/zh
Application granted granted Critical
Publication of CN113724259B publication Critical patent/CN113724259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种井盖异常检测方法，包括：获取包含图像深度信息的路面视频图像、拍摄路面视频图像时拍摄设备的倾斜角度以及拍摄设备的内参系数；从路面视频图像中获取井盖图像和井盖状态，根据拍摄设备的倾斜角度和内参系数以及图像深度信息计算井盖图像点阵化后每一图像点的变形深度或变形高度；基于每一图像点的变形深度或变形高度判断不同井盖状态下井盖是否存在异常。该方法通过采集包含图像深度信息的路面视频图像，从中获取井盖图像并检测获取井盖状态，计算每一图像点的变形深度或变形高度，再根据每一图像点的变形深度或变形高度判断在不同井盖状态下井盖是否存在异常。

Description

井盖异常检测方法、装置及其应用
技术领域
本申请涉及城市管理和图像识别技术领域，特别是涉及一种井盖异常检测方法、装置及其应用。
背景技术
随着我国经济水平的高速发展，人们的物质消费水平不断提升，相对应的汽车数量也在迅速增长，因此引起路面井盖异常的问题也日益突出。井盖广泛分布在现代城市中的各个角落，例如常见的自来水井盖和下水道井盖等，电力和通信等行业也基本采用低下走线的方式。然而近年来时常发生井盖丢失、井盖破损、以及井盖变形导致无法闭合等情况，对公众的生命和财产存在巨大的安全隐患。
现有的路面井盖异常情况检查主要是通过人工在城市管理作业车上进行视觉判断，不仅效率低下，而且相当耗费时间和人力。以及最近发明的智能井盖，可以对自身的情况进行识别和上报，但这样的智能井盖成本较高，且极易由于环境因素或人为因素导致智能井盖中的电子元件失灵，报废率较高。
发明内容
本申请实施例提供了一种井盖异常检测方法、装置及其应用，通过拍摄设备采集包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数，检测路面视频图像中的井盖状态，计算井盖图像每一图像点的变形深度或变形高度，并根据每一图像点的变形深度或变形高度判断不同井盖状态下井盖是否存在异常。
第一方面，本申请实施例提供了一种井盖异常检测方法，包括以下步骤：
获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数；
从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若所述井盖状态属于非正常状态，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点；
根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述拍摄设备的倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标表示对应所述图像点的变形深度或变形高度；
当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或所述变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
进一步的，在一些申请实施例中，“根据所有所述井盖破损点计算井盖破损面积”包括步骤：根据所有所述破损点基于聚合点法生成破损最小边界，其中所述最小边界内为井盖破损点云；通过网格算法重建所述井盖破损点云得到至少一三角网格数据，再累加所有所述三角网格数据的面积得到井盖破损面积。
具体的，在一些申请实施例中，“根据所有所述井盖破损点计算井盖破损面积”包括步骤：根据所有所述破损点基于聚合点法生成破损最小边界，其中所述最小边界内为井盖破损点云；通过网格算法重建所述井盖破损点云得到至少一三角网格数据，再累加所有所述三角网格数据的面积得到井盖破损面积。
在一些申请实施例中，当所述井盖状态为井盖凹陷或井盖凸起时，将所有所述图像点的所述变形深度或所述变形高度作为变形集合表达所述井盖的变形程度；当所述井盖状态为井盖破损时，变形程度等于所述井盖破损面积。
在一些申请实施例中，在“将所述井盖图像点阵化得到井盖图像点云”后，包括步骤：采用移动最小二乘法对所述井盖图像点云进行平滑和重新采样。
在一些申请实施例中，“获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数”包括步骤：对拍摄设备进行标定得到所述拍摄设备的内参系数，使用所述拍摄设备保持倾斜角度连续发射光脉冲，通过探测所述光脉冲的往返时间获得包含图像深度信息的路面视频图像。
进一步的，在一些申请实施例中，“对拍摄设备进行标定得到所述拍摄设备的内参系数”包括步骤：用黑白相间的矩形构成的棋盘图作为标定板，拍摄所述标定板在不同位置、不同角度、不同姿态下的多张图片作为标定图像，提取所述标定图像中所述标定板的内角点，并根据所述内角点的图像坐标进行标定得到拍摄设备的内参系数。
优选的，在一些申请实施例中，在“根据所述内角点的图像坐标进行标定”前，包括步骤：对所述内角点提取亚像素信息，并根据所述亚像素信息获得对应所述内角点的图像坐标。
在一些申请实施例中，“从所述路面视频图像中获取井盖图像”包括步骤：将所述路面视频图像输入目标检测模型，若输出井盖包围框，通过所述井盖包围框从所述路面视频图像中截取井盖图像。
具体的，所述目标检测模型包括：第一输入端、第一主干网络和第一预测模块；所述第一输入端的用于输入所述路面视频图像；所述第一主干网络包括focus层、多个卷积层、跨阶段局部网络以及空间金字塔池化，用于提取所述路面视频图像的浅层特征、中层特征以及深层特征；所述第一预测模块用于根据所述浅层特征、所述中层特征以及所述深层特征输出所述井盖包围框。
在一些申请实施例中，“检测所述井盖图像得到井盖状态”包括步骤：将所述井盖图像输入井盖异常检测模型获取井盖状态，若所述井盖状态为井盖凹陷、井盖凸起和井盖破损中任意一种，判定所述井盖存在异常。
具体的，所述井盖异常检测模型包括：第二输入端、第二主干网络和第二预测模块；所述第二输入端用于输入所述井盖图像；所述第二主干网络包括多个卷积层、多个最大池化层卷积层以及多个全连接层，用于提取所述井盖图像的井盖特征；所述第二预测模块用于根据所述井盖特征输出所述井盖状态。
在一些申请实施例中，在“从所述路面视频图像中获取井盖图像”前，包括步骤：若从所述路面视频图像中检测到井口，则判定所述所述井盖存在异常，并不再继续后续步骤。
在一些申请实施例中，该方法还包括：若所述井盖存在异常，获取与所述路面视频图像同一时刻获取的同一所述目标地点对应的街景视频图像，计算所述街景视频图像与街景样本图像库每一街景样本图像的匹配度，其中所述街景样本图像库中每一所述街景样本图像对应一实际地点，获取所述匹配度最高的所述街景样本图像对应的所述实际地点。
具体的，“计算所述街景视频图像与街景样本图像库每一街景样本图像的匹配度”包括步骤：将所述街景视频图像和每一所述街景样本图像输入地点定位模型，所述地点定位模型包括：第三输入端、多个卷积神经网络、NetVLAD层以及输出层；所述第三输入端用于输入所述街景视频图像和所述街景样本图像；所述卷积神经网络采用VGG-16网络模型，用于提取所述街景视频图像和所述街景样本图像对应的街景特征，所述VGG-16网络模型通过网络分段增加网络深度、采用多层小卷积代替一层大卷积，所述NetVLAD层用于得到所述街景视频图像或所述街景样本图像的街景特征的聚类中心向量，所述输出层用于根据所述聚类中心向量输出所述街景视频图像与所述街景样本图像的匹配度。
在一些申请实施例中，所述街景视频图像为包括同一时刻、同一所述目标地点多个不同角度的街景视频图像集合。
在一些申请实施例中，在“获取所述匹配度最高的所述街景样本图像对应的所述实际地点”后，包括步骤：派遣执行人员达到所述实际地点进行处理，并记录派遣时间，所述执行人员处理完成后上报结束时间与处理后图像证据。
第二方面，本申请实施例提供了一种井盖异常检测装置，用于实现第一方面中所述的井盖异常检测方法，该装置包括以下模块：
获取模块，用于获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数；
检测模块，用于从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若所述井盖状态属于非正常状态，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点；
第一计算模块，用于根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述拍摄设备的倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标表示对应所述图像点的变形深度或变形高度；
第二计算模块，用于当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或所述变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以如上任意申请实施例所述的井盖异常检测方法。
第四方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行如上任一申请实施例所述的井盖异常检测方法。
第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据如上任意申请实施例所述的井盖异常检测方法。
本申请实施例的主要贡献和创新点如下：
本申请实施例提供了一种井盖异常检测方法、装置及其应用，通过获取路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数，并从路面视频图像中提取出井盖图像，根据井盖图像判断其中井盖的井盖状态，当井盖状态属于非正常状态时，通过将井盖图像点阵化得到包括多个图像点的井盖图像点云，以及根据路面视频图像中包含的图像深度信息和相机倾斜角度计算每一图像点的变形深度或变形高度，当井盖状态为井盖凹陷或井盖凸起时，基于每一图像点的变形深度或变形高度判断井盖是否存在异常，当井盖状态为井盖破损时，根据变形高度或变身深度超过变形阈值的所有图像点作为井盖破损点，进一步计算井盖破损面积，并根据井盖破损面积判断井盖是否存在异常。
其中特别的是，本申请实施例在根据拍摄设备的内参系数和图像深度信息计算到井盖图像上每一图像点的第一世界坐标后，根据拍摄设备的旋转角度构建旋转矩阵，使用旋转矩阵将图像点的第一世界坐标转换为拍摄设备光心朝下时的第二世界坐标，该第二世界坐标的纵坐标可以表示图像点的变形深度或变形高度。当井盖凹陷和井盖凸起时，根据每一图像点的变形深度或变形高度可以直接判断井盖是否存在异常；当井盖破损时，根据每一图像点的变形深度或变形高度可以确定井盖破损点，进一步通过计算井盖破损面积来判断井盖是否存在异常。
并在一些申请实施例中，根据每一图像点的变形深度或变形高度统计井盖整体的变形程度，为相关处理人员提供了可靠数据衡量井盖的整体状态。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的井盖异常检测方法的流程图；
图2是根据本申请实施例的目标检测模型的结构示意图；
图3是根据本申请实施例的井盖异常检测模型的结构示意图；
图4是根据本申请实施例的地点定位模型的结构示意图；
图5是根据本申请实施例的井盖异常检测的整体流程图；
图6是根据本申请实施例的井盖异常检测装置的结构框图；
图7是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本实施例提供了一种井盖异常检测方法，如图1所示，该方法包括步骤S1-S4：
步骤S1：获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数。
在该步骤中，首先获取包含图像深度信息的路面视频图像、拍摄该路面视频图像的拍摄设备的倾斜角度以及该拍摄设备设置的内参系数。
在一些实施例中，“获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数”包括步骤：对拍摄设备进行标定得到所述拍摄设备的内参系数，使用所述拍摄设备保持倾斜角度连续发射光脉冲，通过探测所述光脉冲的往返时间获得包含图像深度信息的路面视频图像。该拍摄设备可以搭载于移动载具上，跟随移动载具在城市道路上以各种角度实时采集路面视频图像，采集路面视频图像时相机的倾斜角度作为对应路面视频图像的相机倾斜角度一同进行上传。具体的，该拍摄设备可以是深度相机，并且搭载于城市作业车上，或者无人机上。
拍摄设备在使用前需要通过相机标定以设置参数，在一些实施例中，“对拍摄设备进行标定得到所述拍摄设备的内参系数”包括步骤：用黑白相间的矩形构成的棋盘图作为标定板，拍摄所述标定板在不同位置、不同角度、不同姿态下的多张图片作为标定图像，提取所述标定图像中所述标定板的内角点，并根据所述内角点的图像坐标进行标定得到拍摄设备的内参系数。
具体的，内参系数包括相机焦距、像素大小等。使用OpenCV中的findChessboardCorners函数（找到棋盘角落函数）提取标定板上的内角点，并使用OpenCV中的calibrateCamera函数（相机标定函数）根据该内角点的图像坐标进行标定得到内参系数。
其中，为了降低相机标定偏差，提高标定精度，在“根据内角点的图像坐标进行标定”前，包括步骤：对内角点提取亚像素信息，根据亚像素信息获得对应内角点的图像坐标。具体的，在“根据内角点的图像坐标进行标定”前，使用OpenCV中的cornerSubPix函数（亚像素角点函数）对提取到的内角点进一步提取亚像素信息，并根据提取到的亚像素信息获得更为准确的内角点的图像坐标。
步骤S2：从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若所述井盖状态属于非正常状态，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点。
在该该步骤中，从路面视频图像中获取井盖图像，并对井盖图像进行检测得到其中的井盖状态，如果根据井盖状态可以判断该井盖图像中的井盖处于非正常状态，再将该井盖图像点阵化得到井盖图像点云，也就是该井盖图像像素点的集合，因此井盖图像点云包括多个图像点。
在一些实施例中，“从所述路面视频图像中获取井盖图像”包括步骤：将路面视频图像输入目标检测模型，若输出井盖包围框，通过井盖包围框从路面视频图像中截取井盖图像。具体的，将路面视频图像作为目标检测模型的输入，若目标检测模型的输出为井盖包围框，根据井盖包围框从路面视频图像中截取对应的井盖图像。并且，当路面视频图像包括一个或多个井盖时，目标检测模型会对应每个井盖输出一个井盖包围框，根据井盖包围框分别截取对应的井盖图像。
在另一些实施例中，在“从所述路面视频图像中获取井盖图像”前，包括步骤：若从路面视频图像中检测到井口，则判定井盖存在异常，并不再继续后续步骤。具体的，可以将路面视频图像输入目标检测模型，若输出井口包围框，则说明对应该井口的井盖已丢失，则判定井盖存在异常。
该目标检测模型需要事先经过训练，可以分别一个训练专门检测井盖的目标检测模型以及一个专门检测井口的目标检测模型，也可以训练一个既可以检测井盖又可以检测井口的目标检测模型。
具体的，在一些实施例中，该目标检测模型包括：第一输入端、第一主干网络和第一预测模块；第一输入端的用于输入路面视频图像；第一主干网络包括focus层、多个卷积层、跨阶段局部网络以及空间金字塔池化，用于提取路面视频图像的浅层特征、中层特征以及深层特征；第一预测模块用于根据浅层特征、中层特征以及深层特征输出井盖包围框。
也就是说，在一些实施例中，目标检测模型的结构如图2所示，主要包括第一输入端，第一主干网络以及第一预测模块三个部分。第一输入端用于输入路面视频图像到第一主干网络，第一主干网络用于提取出路面视频图像的浅层特征图、中层特征图以及低层特征图，并输入第一预测模块进行预测。
其中，第一主干网络的第一层为focus结构，其主要作用是对待检测图像进行切片。例如能将一张4*4*3图像切片后变成2*2*12的特征图。从浅层特征图中，周期性地抽出像素点重构到深层特征图中，即为从高分辨率特征图相邻的四个位置进行堆叠到低分辨率特征图中，该结构的设计主要是减少计算量，加快计算速度。以Yolov5s结构为例，原始608*608*3的图像输入到Focus结构，采用切片操作，先变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图。第一主干网络的第二层为卷积层，第三层为跨阶段局部网络（CSPNet），该结构通过来自Dense layers更新权重的梯度变化从头到尾地将各个分辨率特征图进行融合，也就是将浅层、中层以及深层特征图进行融合，在减少大量计算量的同时，增强了CNN的学习能力以保证准确率。
以训练既可以检测井盖又可以检测井口的目标检测模型为例：将大量标记了井盖和井口的路面图像样本作为训练数据，输入该目标检测模型进行训练，并设置BatchSize以及随机初始化各层的连接权值W和偏置b，也就是CSPnet里的连接权值W和偏置b，再给定学习速率η，最终得到可识别井盖和井口的目标检测模型。具体的，BatchSize可以设置为64。
最后将路面视频图像输入训练好的目标检测模型，进行井口和井盖的检测，如果该目标检测模型只输出井口包围框，表示该路面视频图像中只存在井口，可以直接判定该路面视频图像对应的目标地点存在安全隐患；如果该目标检测模型输出了至少一个井盖包围框，表示该路面视频图像中至少存在一个井盖，就根据井盖包围框截取对应的井盖图像。
得到井盖图像后，对该井盖图像中的井盖进行检测得到井盖状态。在一些实施例中，井盖状态包括井盖正常、井盖凹陷、井盖凸起和井盖破损中，如果井盖状态为井盖凹陷、井盖凸起和井盖破损中任意一种，表示该井盖处于非正常状态。
具体的，可以通过训练一种目标检测模型来检测井盖状态，将该模型作为井盖异常检测状态，在一些实施例中，该井盖异常检测模型的结构可以参考如图3，包括：第二输入端、第二主干网络和第二预测模块；所述第二输入端用于输入所述井盖图像；所述第二主干网络包括多个卷积层、多个最大池化层卷积层以及多个全连接层，用于提取所述井盖图像的井盖特征；所述第二预测模块用于根据所述井盖特征输出所述井盖状态。具体的如图3所示，井盖图像从第二输入端进入第二主干网络，并依次经过卷积层、最大池化层、卷积层、最大池化层、3个卷积层、最大池化层、全连接层以及Softmax全连接层，最后进入第二预测模块。
在该井盖异常检测模型中，多个卷积模块形成每一层的卷积层，并且每个卷积模块都要经过反向传播算法获取其参数，每个卷积层从井盖图像中提取特征信息。卷积层的第一层只能提取一些不太重要的特征，如边缘、角等，而更深层的网络可以迭代地从较低级别的特征中提取更多复杂的特征信息。如果卷积层的输出值越高，则表示匹配度越高，则可以更好地显示图像属性。
在一些实施例中，该井盖异常检测模型具体的训练方法为：采集大量的井盖样本图像，并对每个井盖样本图像进行标注井盖状态和井盖位置，即（ci，xi，yi，wi，hi)。其中ci表示井盖状态，ci=0表示井盖正常，ci=1表示井盖破损，ci=2表示井盖凹陷，ci=3表示井盖凸起，即ci大于0时表示井盖状态为异常；（xi，yi）表示井盖位置左上角顶点的坐标，（wi，hi）表示井盖位置的宽和高，将标注好的数据样本按照一定比例划分为训练集和测试集。对模型中的参数赋初始值，设置网络的最大迭代次数m,将准备好的训练集和测试集输入网络，进行训练。如果loss值一直下降，则继续训练，直到迭代到达一定次数后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型。
具体的，将步骤S1获得的井盖图像输入训练好的井盖异常检测模型，并输出井盖状态和井盖位置，且井盖状态表示井盖正常、井盖破损、井盖凹陷以及井盖凸起中的任意一种，当井盖状态为井盖破损、井盖凹陷以及井盖凸起中的任意一种时，表示该井盖处于非正常状态，则将井盖图像点阵化得到包括多个图像点的井盖图像点云以便于后续计算每一图像点的变形深度或变形高度。
步骤S3：根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述拍摄设备的倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标表示对应所述图像点的变形深度或变形高度。
在步骤S1中获取的路面视频图像包含图像深度信息，以及拍摄该路面视频图像时的相机倾斜角度和拍摄设备的内参系数，在步骤S2中将井盖图像转化成了井盖图像点云，因此在该步骤中，根据内参系数和图像深度信息得到每一图像点的第一世界坐标，也就是说根据内参系数和图像深度信息将图像坐标系转换成世界坐标系，并根据该拍摄设备拍摄时的的倾斜角度的余角构建旋转矩阵，将第一世界坐标和旋转矩阵相乘得到每一图像点对应的第二世界坐标。
具体的，第一世界坐标表示为（Xw, Yw, Zw），通过内参系数和图像深度信息将井盖图像点云的图像坐标系转换成世界坐标系，得到每一图像点的第一世界坐标，已知拍摄设备拍倾斜角度β，计算出倾斜角度的余角α并构建旋转矩阵R：
Figure DEST_PATH_IMAGE002
，
将旋转矩阵R与第一世界坐标相乘得到第二世界坐标(Xw’,Yw’,Zw’)，该第二世界坐标即表示拍摄设备光心朝下时的世界坐标。
其中，第二世界坐标中的纵坐标表示对应图像点的变形深度或变形高度，也就是说，“Zw’”取绝对值时为对应图像点的变形深度或变形高度。
步骤S4：当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或所述变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
具体的，如果井盖状态为井盖凹陷，那么任一图像点的变形深度超过异常阈值，就判定井盖存在异常；如果井盖状态为井盖凸起，那么任一图像点的变形高度超过异常阈值，就判定井盖存在异常；但如果井盖状态为井盖破损，需要筛选出井盖破损点，也就是变形深度或变形高度超过变形阈值对应的图像点，并根据所有筛选出的井盖破损点进一步计算井盖的破损面积，当井盖破损面积大于破损阈值时，再判定井盖存在异常。
通常，井盖出现凹陷、凸起或者破损的情况，表示井盖存在一定程度的损坏，但在实际的井盖管理中，需要当井盖的损坏达到一定程度后才需要进行更换。也就是说，当井盖凹陷或凸起到一定程度，或者井盖破损面积过大，表示该井盖变形或损坏严重，可能会形成安全隐患，再派工作人员去进行一些处理，井盖所在的地点就是工作人员需要到达的目标地点。
因此，在一些实施例中，异常阈值包括第一异常阈值和第二异常够阈值，当井盖状态为井盖凹陷时，该井盖图像中的任一图像点的变形深度超过第一异常阈值就判定井盖存在异常；当井盖状态为井盖凸起时，该井盖图像的任一图像点的变形高度超过第二异常阈值就判定该井盖存在异常；另外，当井盖状态为井盖破损时，需要将变身深度或变形高度超过变形阈值的每一图像点作为井盖破损点，根据所有井盖破损点的集合计算井盖破损面积，若所述井盖破损面积超过破损阈值时，判定该井盖存在异常。
其中，“根据所有所述井盖破损点计算井盖破损面积”包括步骤：根据所有所述破损点基于聚合点法生成破损最小边界，其中所述最小边界内为井盖破损点云；通过网格算法重建所述井盖破损点云得到至少一三角网格数据，再累加所有所述三角网格数据的面积得到井盖破损面积。
也就是说，先通过每一图像点的变身深度或变形高度来确定井盖破损点，若图像点的变形程度超过设定的变形阈值，将该图像点作为井盖破损点以计算井盖破损面积，井盖破损点集合可表示为P={（x1，y1）,(x2,y2)……(xi,yi)}。
计算井盖破损面积的公式为：
Figure DEST_PATH_IMAGE004
，
其中， A为每个三角网格的面积，单位为cm2，r为三角网格序号，S为井盖破损面积，单位为cm2，n为三角网格总数。在一些实施例中，是通过Mesh网格算法重建井盖破损点云，由无序点云数据得到上述三角网格数据。
优选的，为避免井盖破损点云的测量误差或测量异常值影响最终结果，在将所述井盖图像点阵化得到井盖图像点云”后，包括步骤：采用移动最小二乘法对井盖图像点云进行平滑和重新采样。
特别的是，本实施例还为相关工作人员提供了衡量井盖整体状态的方法。当井盖状态为井盖凹陷或凸起时，将所有图像点的变身深度或变形高度作为井盖的变形集合，用于表达井盖整体的变形程度；当井盖状态为井盖破损时，可以用井盖破损面积来表达井盖整体的变形程度。
优选的，当井盖状态为井盖凹陷,可以将所有图像点的变身深度最大的变身深度用作表达井盖的变形程度，以突出井盖目标的整体状态，同理的，当井盖状态为井盖凸起,可以将所有图像点的变身高度最大的变身高度用作表达井盖的变形程度。以变形高度为例，最大的变形高度对应的图像点的周围图像点也会相对有大小不一的变形高度，通常情况下两者的变形高度是呈正比的，也就是说最大的变形高度的值越大，周围图像点的变形高度也会相应偏大。
另外，在获取路面视频图像的同一时刻还获取了同一地点对应的街景视频图像，当判定井盖存在异常时，将街景视频图像与实现采集的街景样本图像库中每一街景样本图像进行逐一匹配，并获取匹配度最高的街景样本图像对应的实际地点，该实际地点就是工作人员需要到达的目标地点。
因此，在一些实施例中，该方法还包括：若所述井盖存在异常，获取与路面视频图像同一时刻获取的同一目标地点对应的街景视频图像，计算街景视频图像与街景样本图像库中每一街景样本图像的匹配度，其中街景样本图像库中的每一街景样本图像对应一实际地点，最后获取匹配度最高的街景样本图像对应的实际地点。其中，街景视频图像可以为多个普通相机在同一时刻、同一目标地点多个不同角度采集到的街景视频图像的图像集合。
并且，在“获取匹配度最高的街景样本图像对应的实际地点”后，包括步骤：派遣执行人员达到实际地点进行处理，并记录派遣时间，执行人员处理完成后上报结束时间与处理后图像证据。也就是说，根据匹配度最好的街景样本图像对应的实际地点，派遣相关的执行人员达到该实际地点进行相应的处理，记录派遣时间，待执行人员处理完成后上传结束时间与处理后的图像证据，以实现一种井盖的智能处理逻辑，进一步的可为“智慧城市”提供相应的技术支持。
其中，“将街景视频图像与街景样本图像库进行匹配”包括：将街景视频图像和每一街景样本图像输入地点定位模型，地点定位模型包括：第三输入端、多个卷积神经网络、NetVLAD层以及输出层；第三输入端用于输入街景视频图像和街景样本图像，卷积神经网络采用VGG-16网络模型，用于提取街景视频图像和街景样本图像对应的街景特征，VGG-16网络模型通过网络分段增加网络深度、采用多层小卷积代替一层大卷积，所述NetVLAD层用于得到所述街景视频图像或所述街景样本图像的街景特征的聚类中心向量，所述输出层用于根据所述聚类中心向量输出所述街景视频图像与所述街景样本图像的匹配度。
具体的地点定位模型可以参考图4，街景视频图像和每一街景样本图像从第三输入端输入该模型，经过VGG-16网络提取街景视频图像和街景样本图像对应的街景特征，并通过网络分段增加网络深度、采用多层小卷积代替一层大卷积，强调了卷积网络深度的增加对于性能的提升有着重要的意义。NetVLAD层提供了一个强大的池化机制，具有可学习的参数，可以很容易地插入到任何其他CNN架构中。由于NetVLAD层中的所有函数都是可微的，因此在网络中使用时，它可以提供端到端方式。
该地点定位模型是由一种图像识别模型训练得到的，针对每一实际地点，在同一时刻从多个不同角度拍摄得到街景样本图像集合。对每一街景样本图像标注对应的实际地点，例如GPS值，然后将标注后的街景样本图像按照一定比例分为训练集和测试集。将训练集输入该模型进行训练，并使用测试集输入该模型进行多次迭代之后的预测的GPS值会更加精准。
得到训练好的目标地点定位模型后，将街景视频图像输入该地点定位模型中，与街景样本图像库中每一街景样本图像进行匹配，获取匹配度最高的街景样本图像对应的实际地点。也就是说，街景样本图像库中的每一街景样本图像都对应一个实际地点，并且该实际地点通常为表达某一具体地点的GPS值。具体的，在获取到实际地点的GPS值后，自动派遣距离执行人员去实际地点进行一些处理消除存在的安全隐患。通常是派遣距离实际地点最近的执行人员去处理，并记录下派遣时间，以及执行人员在处理完后上报结束时间以及提交处理后的图像证据，例如拍摄的实际地点包括井盖正常的照片进行提交。
综上所述，井盖异常检测的整体流程可以参考图5。如图5所示，
首先进行相机标定得到深度相机的具体参数，同一时刻使用深度相机获取目标地点的路面视频图像，并且记录深度相机的倾斜角度和内参系数，以及使用普通相机获取目标地点的街景视频图像，其中路面视频图像包含了图像深度信息。然后对路面视频图像进行检测，如果检测到井口，表示对应该井口的井盖已丢失，直接判定对应的井盖存在异常；如果检测到至少一井盖，则获取对应的井盖图像进一步检测该井盖的井盖状态；如果井盖状态为井盖凹陷或井盖凸起，表示井盖存在变形，根据图像深度信息和倾斜角度计算井盖图像点云中每一图像点的变形深度或变形高度，如果井盖状态为井盖凹陷且变形深度超过第一异常阈值，或者井盖状态为井盖凸起且变形高度超过第二异常阈值，则判定该井盖存在异常；如果井盖状态为井盖破损，同样根据图像深度信息和倾斜角度计算井盖图像点云中每一图像点的变形深度或变形高度，筛选出变形深度或变形高度超过变形阈值的图像点，将这些图像点作为破损点，得到破损点集合，并计算井盖破损面积，如果该井盖破损面积超过破损阈值，同样判定该井盖存在异常。最后根据井盖存在异常的路面视频图像对应的街景视频图像获取井盖存在的实际地点，也就是将街景视频图像和街景样本图像库中的街景样本图像进行一一匹配，获取匹配度最高的街景样本图像对应的GPS坐标。进一步的，可以将该坐标上报至相应的部门或系统，后续及时派遣相关执行人员进行处理和反馈。
实施例二
基于相同的构思，本实施例还提供了一种井盖异常检测装置，用于实现实施例一中所描述的井盖异常检测方法。如图6所示，该装置主要包括以下模块：
获取模块，用于获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数；
检测模块，用于从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若所述井盖状态属于非正常状态，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点；
第一计算模块，用于根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述拍摄设备的倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标的绝对值表示对应所述图像点的变形深度或变形高度；
第二计算模块，用于当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或所述变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
实施例三
本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述实施例一中的任意一种井盖异常检测方法的步骤。
具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（Solid State Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerial Bus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random Access Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（ErasableProgrammable Read-Only Memory，简称为EPROM）、电可擦除PROM（Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM）、电可改写ROM（ElectricallyAlterable Read-Only Memory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-AccessMemory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种井盖异常检测方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是当前数据表例如疫情流调文档、特征数据、模板表等，输出的信息可以是特征指纹、指纹模板、文本分类推荐信息、文件模板配置映射表、文件模板配置信息表等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数；
从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若根据所述井盖状态判定井盖存在异常，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点；
根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标的绝对值表示对应所述图像点的变形深度或变形高度；
当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或所述变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例一中的任意一种井盖异常检测方法，本申请实施例可一种计算机程序产品来实现。该计算机程序产品该计算机程序产品包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行实现上述实施例一中的任意一种井盖异常检测方法。
并且，结合上述实施例一中的任意一种井盖异常检测方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例一中的任意一种井盖异常检测方法。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (20)

1.井盖异常检测方法，其特征在于，包括以下步骤：
获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数；
从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若所述井盖状态属于非正常状态，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点；
根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标表示对应所述图像点的变形深度或变形高度；
当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
2.根据权利要求1所述的井盖异常检测方法，其特征在于，“根据所有所述井盖破损点计算井盖破损面积”包括步骤：根据所有所述破损点基于聚合点法生成破损最小边界，其中所述最小边界内为井盖破损点云；通过网格算法重建所述井盖破损点云得到至少一三角网格数据，再累加所有所述三角网格数据的面积得到井盖破损面积。
3.根据权利要求1所述的井盖异常检测方法，其特征在于，当所述井盖状态为井盖凹陷或井盖凸起时，将所有所述图像点的所述变形深度或所述变形高度作为变形集合表达所述井盖的变形程度；当所述井盖状态为井盖破损时，变形程度等于所述井盖破损面积。
4.根据权利要求1所述的井盖异常检测方法，其特征在于，在“将所述井盖图像点阵化得到井盖图像点云”后，包括步骤：采用移动最小二乘法对所述井盖图像点云进行平滑和重新采样。
5.根据权利要求1所述的井盖异常检测方法，其特征在于，“获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数”包括步骤：对拍摄设备进行标定得到所述拍摄设备的内参系数，使用所述拍摄设备保持倾斜角度连续发射光脉冲，通过探测所述光脉冲的往返时间获得包含图像深度信息的路面视频图像。
6.根据权利要求5所述的井盖异常检测方法，其特征在于，“对拍摄设备进行标定得到所述拍摄设备的内参系数”包括步骤：用黑白相间的矩形构成的棋盘图作为标定板，拍摄所述标定板在不同位置、不同角度、不同姿态下的多张图片作为标定图像，提取所述标定图像中所述标定板的内角点，并根据所述内角点的图像坐标进行标定得到拍摄设备的内参系数。
7.根据权利要求6所述的井盖异常检测方法，其特征在于，在“根据所述内角点的图像坐标进行标定”前，包括步骤：对所述内角点提取亚像素信息，并根据所述亚像素信息获得对应所述内角点的图像坐标。
8.根据权利要求1所述的井盖异常检测方法，其特征在于，“从所述路面视频图像中获取井盖图像”包括步骤：将所述路面视频图像输入目标检测模型，若输出井盖包围框，通过所述井盖包围框从所述路面视频图像中截取井盖图像。
9.根据权利要求8所述的井盖异常检测方法，其特征在于，所述目标检测模型包括：第一输入端、第一主干网络和第一预测模块；所述第一输入端的用于输入所述路面视频图像；所述第一主干网络包括focus层、多个卷积层、跨阶段局部网络以及空间金字塔池化，用于提取所述路面视频图像的浅层特征、中层特征以及深层特征；所述第一预测模块用于根据所述浅层特征、所述中层特征以及所述深层特征输出所述井盖包围框。
10.根据权利要求1所述的井盖异常检测方法，其特征在于，“检测所述井盖图像得到井盖状态”包括步骤：将所述井盖图像输入井盖异常检测模型获取井盖状态，若所述井盖状态为井盖凹陷、井盖凸起和井盖破损中任意一种，判定所述井盖存在异常。
11.根据权利要求10所述的井盖异常检测方法，其特征在于，所述井盖异常检测模型包括：第二输入端、第二主干网络和第二预测模块；所述第二输入端用于输入所述井盖图像；所述第二主干网络包括多个卷积层、多个最大池化层卷积层以及多个全连接层，用于提取所述井盖图像的井盖特征；所述第二预测模块用于根据所述井盖特征输出所述井盖状态。
12.根据权利要求1所述的井盖异常检测方法，其特征在于，在“从所述路面视频图像中获取井盖图像”前，包括步骤：若从所述路面视频图像中检测到井口，则判定井盖存在异常，并不再继续后续步骤。
13.根据权利要求1所述的井盖异常检测方法，其特征在于，还包括：若所述井盖存在异常，获取与所述路面视频图像同一时刻获取的同一目标地点对应的街景视频图像，计算所述街景视频图像与街景样本图像库中每一街景样本图像的匹配度，其中所述街景样本图像库中每一所述街景样本图像对应一实际地点，获取所述匹配度最高的所述街景样本图像对应的所述实际地点。
14.根据权利要求13所述的井盖异常检测方法，其特征在于，“计算所述街景视频图像与街景样本图像库中每一街景样本图像的匹配度”包括步骤：将所述街景视频图像和每一所述街景样本图像输入地点定位模型，所述地点定位模型包括：第三输入端、多个卷积神经网络、NetVLAD层以及输出层；所述第三输入端用于输入所述街景视频图像和所述街景样本图像，所述卷积神经网络采用VGG-16网络模型，用于提取所述街景视频图像和所述街景样本图像对应的街景特征，所述VGG-16网络模型通过网络分段增加网络深度、采用多层小卷积代替一层大卷积，所述NetVLAD层用于得到所述街景视频图像或所述街景样本图像的街景特征的聚类中心向量，所述输出层用于根据所述聚类中心向量输出所述街景视频图像与所述街景样本图像的匹配度。
15.根据权利要求13所述的井盖异常检测方法，其特征在于，所述街景视频图像为包括同一时刻、同一所述目标地点多个不同角度的街景视频图像集合。
16.根据权利要求13所述的井盖异常检测方法，其特征在于，在“获取所述匹配度最高的所述街景样本图像对应的所述实际地点”后，包括步骤：派遣执行人员达到所述实际地点进行处理，并记录派遣时间，所述执行人员处理完成后上报结束时间与处理后图像证据。
17.井盖异常检测装置，其特征在于，包括以下模块：
获取模块，用于获取包含图像深度信息的路面视频图像、拍摄所述路面视频图像时拍摄设备的倾斜角度以及所述拍摄设备的内参系数；
检测模块，用于从所述路面视频图像中获取井盖图像，并检测所述井盖图像得到井盖状态，若所述井盖状态属于非正常状态，将所述井盖图像点阵化得到井盖图像点云，其中所述井盖图像点云包括多个图像点；
第一计算模块，用于根据所述内参系数和所述图像深度信息得到所述井盖图像点云中每一所述图像点的第一世界坐标，并根据所述拍摄设备的倾斜角度的余角构建旋转矩阵，将所述第一世界坐标和所述旋转矩阵相乘得到每一所述图像点对应的第二世界坐标，其中所述第二世界坐标中纵坐标表示对应所述图像点的变形深度或变形高度；
第二计算模块，用于当所述井盖状态为井盖凹陷或井盖凸起时，若任一所述图像点的所述变形深度或所述变形高度超过异常阈值，判定所述井盖存在异常；当所述井盖状态为井盖破损时，将所述变形深度或所述变形高度超过变形阈值对应的每一所述图像点作为井盖破损点，根据所有所述井盖破损点计算井盖破损面积，若所述井盖破损面积超过破损阈值，判定所述井盖存在异常。
18.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至16任一所述的井盖异常检测方法。
19.一种计算机程序产品，其特征在于，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行根据权利要求1至16任一项所述的井盖异常检测方法。
20.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至16任一项所述的井盖异常检测方法。
CN202111291305.9A 2021-11-03 2021-11-03 井盖异常检测方法、装置及其应用 Active CN113724259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111291305.9A CN113724259B (zh) 2021-11-03 2021-11-03 井盖异常检测方法、装置及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291305.9A CN113724259B (zh) 2021-11-03 2021-11-03 井盖异常检测方法、装置及其应用

Publications (2)

Publication Number Publication Date
CN113724259A true CN113724259A (zh) 2021-11-30
CN113724259B CN113724259B (zh) 2022-02-11

Family

ID=78686549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111291305.9A Active CN113724259B (zh) 2021-11-03 2021-11-03 井盖异常检测方法、装置及其应用

Country Status (1)

Country Link
CN (1) CN113724259B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170301A (zh) * 2022-02-09 2022-03-11 城云科技（中国）有限公司 异常市政设施的定位方法、装置及其应用
CN116310764A (zh) * 2023-05-18 2023-06-23 西南交通大学 一种路面井盖智能检测方法及系统
CN116912805A (zh) * 2023-09-07 2023-10-20 山东博昂信息科技有限公司 一种基于无人清扫车的井盖异常智能检测识别方法及系统
CN117408923A (zh) * 2023-12-07 2024-01-16 中海油田服务股份有限公司 全井眼电成像仪器的图像处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608584A (zh) * 2012-03-19 2012-07-25 中国测绘科学研究院 基于多项式反演模型的时间序列InSAR形变监测方法及装置
CN110030951A (zh) * 2019-05-14 2019-07-19 武汉大学 一种基于三维激光扫描技术的引水竖井缺陷检测方法
CN110728650A (zh) * 2019-08-27 2020-01-24 深圳大学 一种基于智能终端的井盖凹陷检测方法及相关设备
CN111932537A (zh) * 2020-10-09 2020-11-13 腾讯科技（深圳）有限公司 对象形变检测方法、装置、计算机设备和存储介质
CN112668478A (zh) * 2020-12-29 2021-04-16 河南橡树智能科技有限公司 一种井盖监控方法、装置、电子设备和存储介质
CN112861620A (zh) * 2020-12-31 2021-05-28 桂林海威科技股份有限公司 一种道路井盖破损识别系统及方法
CN113139477A (zh) * 2021-04-27 2021-07-20 北京市商汤科技开发有限公司 训练井盖检测模型的方法、装置、设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608584A (zh) * 2012-03-19 2012-07-25 中国测绘科学研究院 基于多项式反演模型的时间序列InSAR形变监测方法及装置
CN110030951A (zh) * 2019-05-14 2019-07-19 武汉大学 一种基于三维激光扫描技术的引水竖井缺陷检测方法
CN110728650A (zh) * 2019-08-27 2020-01-24 深圳大学 一种基于智能终端的井盖凹陷检测方法及相关设备
CN111932537A (zh) * 2020-10-09 2020-11-13 腾讯科技（深圳）有限公司 对象形变检测方法、装置、计算机设备和存储介质
CN112668478A (zh) * 2020-12-29 2021-04-16 河南橡树智能科技有限公司 一种井盖监控方法、装置、电子设备和存储介质
CN112861620A (zh) * 2020-12-31 2021-05-28 桂林海威科技股份有限公司 一种道路井盖破损识别系统及方法
CN113139477A (zh) * 2021-04-27 2021-07-20 北京市商汤科技开发有限公司 训练井盖检测模型的方法、装置、设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱代先: "基于NB-IoT的智慧井盖监测系统设计与实现", 《计算机测量与控制》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170301A (zh) * 2022-02-09 2022-03-11 城云科技（中国）有限公司 异常市政设施的定位方法、装置及其应用
CN114170301B (zh) * 2022-02-09 2022-05-17 城云科技（中国）有限公司 异常市政设施的定位方法、装置及其应用
WO2023151401A1 (zh) * 2022-02-09 2023-08-17 城云科技（中国）有限公司 异常市政设施的定位方法、装置及其应用
CN116310764A (zh) * 2023-05-18 2023-06-23 西南交通大学 一种路面井盖智能检测方法及系统
CN116310764B (zh) * 2023-05-18 2023-07-21 西南交通大学 一种路面井盖智能检测方法及系统
CN116912805A (zh) * 2023-09-07 2023-10-20 山东博昂信息科技有限公司 一种基于无人清扫车的井盖异常智能检测识别方法及系统
CN116912805B (zh) * 2023-09-07 2024-02-02 山东博昂信息科技有限公司 一种基于无人清扫车的井盖异常智能检测识别方法及系统
CN117408923A (zh) * 2023-12-07 2024-01-16 中海油田服务股份有限公司 全井眼电成像仪器的图像处理方法及装置
CN117408923B (zh) * 2023-12-07 2024-02-09 中海油田服务股份有限公司 全井眼电成像仪器的图像处理方法及装置

Also Published As

Publication number Publication date
CN113724259B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113724259B (zh) 井盖异常检测方法、装置及其应用
JP7099509B2 (ja) 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN111832489A (zh) 一种基于目标检测的地铁人群密度估计方法及系统
KR20200091331A (ko) 다중 카메라 혹은 서라운드 뷰 모니터링에 이용되기 위해, 타겟 객체 통합 네트워크 및 타겟 영역 예측 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 적응 가능한 cnn 기반 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN109543616B (zh) 一种震后目标实物的损毁评估方法、装置、设备及介质
CN104463240B (zh) 一种仪表定位方法及装置
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN106780727B (zh) 一种车头检测模型重建方法及装置
CN113903009A (zh) 一种基于改进YOLOv3网络的铁路异物检测方法与系统
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN110390261A (zh) 目标检测方法、装置、计算机可读存储介质及电子设备
Shi et al. A method to detect earthquake-collapsed buildings from high-resolution satellite images
CN115424111A (zh) 一种抗原检测试剂盒智能识别方法、装置、设备及介质
JP6698191B1 (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN115861408A (zh) 基于激光点跟踪的无人机巡检路面坑洞方法及其应用
CN105631849B (zh) 多边形目标的变化检测方法及装置
JP2014016710A (ja) 対象物検出装置及びプログラム
CN110738229B (zh) 一种细粒度图像分类方法、装置及电子设备
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
CN115984687A (zh) 河工动床模型试验水边界测量方法、装置、设备及介质
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
WO2014165787A1 (en) System and method for detection of structures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant