CN112883778A - 一种基于计算机视觉的道路井盖高差识别方法及设备 - Google Patents

一种基于计算机视觉的道路井盖高差识别方法及设备 Download PDF

Info

Publication number
CN112883778A
CN112883778A CN202110006827.3A CN202110006827A CN112883778A CN 112883778 A CN112883778 A CN 112883778A CN 202110006827 A CN202110006827 A CN 202110006827A CN 112883778 A CN112883778 A CN 112883778A
Authority
CN
China
Prior art keywords
well lid
height difference
manhole cover
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110006827.3A
Other languages
English (en)
Other versions
CN112883778B (zh
Inventor
王枫
吴华勇
赵荣欣
邢云
贾鹏飞
周子杰
赵琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Building Science Research Institute Co Ltd
Original Assignee
Shanghai Building Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Building Science Research Institute Co Ltd filed Critical Shanghai Building Science Research Institute Co Ltd
Priority to CN202110006827.3A priority Critical patent/CN112883778B/zh
Publication of CN112883778A publication Critical patent/CN112883778A/zh
Application granted granted Critical
Publication of CN112883778B publication Critical patent/CN112883778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及病害检测技术领域，具体来说是一种基于计算机视觉的道路井盖高差识别方法及设备，包括如下步骤：S1.采集井盖图像；S2.通过井盖识别模型检测井盖的有无，若存在井盖，则对井盖图像中的井盖进行边缘识别；S3.对井盖图像进行尺寸变换，并结合边缘识别的结果进行高差识别。本发明针对道路窑井盖在使用过程中产生的高差，通过车载摄像机实现图像的采集，通过处理器通过深度学习方法对采集到的图像进行识别和处理，以实现对道路窑井盖高差的快速识别与计算，并且随着不断的识别与处理，可以基于获得的识别结果进一步优化处理模型，改善处理效果，具有实时、智能化程度高、处理效率高、成本低、可测量、覆盖广的特点。

Description

一种基于计算机视觉的道路井盖高差识别方法及设备
技术领域
本发明涉及病害检测技术领域，具体来说是一种基于计算机视觉的道路井盖高差识别方法及设备。
背景技术
目前，城镇道路上分布着成千上万的井盖，每年因为井盖缺失、移动、破损等原因造成的车祸及行人受伤事件层出不穷，现阶段主要采用人工检查及智能传感器的方式对井盖进行检测与监测。人工检测采用木直尺与钢塞尺对井盖高差进行较为准确的测量，然而人工测量效率极低，由于道路通行的要求，对于大量井盖的检测采用传统人工方式不可行。采用智能传感器，目前由于井盖检测环境条件的限制，仅能采用GPS定位技术与倾角传感器判断井盖是否移动或缺失。井盖高差是影响行车平稳与舒适度的重要指标，目前尚未有快速有效测量井盖高差的方法。
发明内容
本发明的目的在于解决现有技术的不足，提供一种基于计算机视觉的道路井盖高差识别方法及设备，实现道路井盖高差的检测。
为了实现上述目的，设计一种基于计算机视觉的道路井盖高差识别方法，所述的方法包括如下步骤：S1.采集井盖图像；S2.通过井盖识别模型检测井盖的有无，若存在井盖，则对井盖图像中的井盖进行边缘识别；S3.对所述的井盖图像进行尺寸变换，并结合边缘识别的结果进行高差识别。
本发明还具有如下优选的技术方案：
采用车载摄像机采集所述的井盖图像，所述的车载摄像机的安装角度与车辆的前进方向平行。
所述的井盖识别模型通过如下方法获得：先采集若干井盖的图片，并通过深度学习的方法对井盖的图片进行训练，以获得井盖识别模型。
对所述的井盖的图片进行分类和标注后进行训练，分类和标注的参数包括：井盖的位置、形状与尺寸。
所述的井盖的图片的获取来源包括：a)网上公开的井盖照片或公开的数据集；b)道路检测单位采集的路面照片；c)公交车、出租车、私家车采集到的路面照片。
通过建立井盖的盖框差、井盖二维边框尺度、相机参数朝向和相机距路面高度之间的关系，计算井盖的盖框差。
所述的S3中的高差识别具体如下：令：
Figure BDA0002883421440000021
假设井盖的底部坐标为[x,0,z]’，顶部坐标为[x,hj,z]’，将三维空间上的井盖投影到二维平面上可得：
Figure BDA0002883421440000022
Figure BDA0002883421440000023
目标物体井盖的高差可通过下式获得：
Figure BDA0002883421440000031
式中，θ是相机朝向与水平面的夹角，v0是相机所在高度的水平面在图像中的位置，vc是相机光心在图像中的位置，f为相机焦距，vt是井盖的顶部在图像中的位置、vb是井盖的底部在图像中的位置，hj为井盖在图像中的盖框差，hcam为井盖的实际高差。
所述的方法通过深度学习网络对若干相机参数与得到的井盖的实际高差进行深度学习并获得模型，并通过模型对识别结果进行优化。
本发明还涉及一种基于计算机视觉的道路井盖高差识别设备，包括移动载具、车载摄像机和处理器，所述的移动载具上搭载有所述的车载摄像机，以用于采集井盖图像，所述的处理器与所述的车载摄像机信号相连，以用于根据所述的基于计算机视觉的道路井盖高差识别方法进行井盖高差的识别。
发明的有益效果
本发明同现有技术相比，其优点在于：针对道路窑井盖在使用过程中产生的高差，提供了一种基于计算机视觉的窑井盖高差识别方法，通过车载摄像机实现图像的采集，通过处理器通过深度学习方法对采集到的图像进行识别和处理，以实现对道路窑井盖高差的快速识别与计算，并且随着不断的识别与处理，可以基于获得的识别结果进一步优化处理模型，改善处理效果，具有实时、智能化程度高、处理效率高、成本低、可测量、覆盖广的特点。
附图说明
图1示例性示出了本发明中方法的整体步骤流程示意图。
图2示例性示出了本发明中井盖高差的识别示意图。
具体实施方式
下面结合附图对本发明作进一步说明，这种装置及方法的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施方式示出了一种基于计算机视觉的道路井盖高差识别设备，包括移动载具、车载摄像机和处理器，所述的移动载具上搭载有所述的车载摄像机，以用于采集井盖图像，所述的处理器与所述的车载摄像机信号相连，以用于根据基于计算机视觉的道路井盖高差识别方法进行井盖高差的识别。
而所述的基于计算机视觉的道路井盖高差识别方法，则包括如下步骤：
S1.采集井盖图像；
S2.通过井盖识别模型检测井盖的有无，若存在井盖，则对井盖图像中的井盖进行边缘识别；
S3.对所述的井盖图像进行尺寸变换，并结合边缘识别的结果进行高差识别。
实施例1
具体而言，参见图1所示，在实施例1中，所述的计算机视觉的窑井盖高差的识别方法，包括如下步骤：
步骤1：确定需要评估的窑井盖在道路上的位置，比如车道线内、车道线上、斑马线上、非机动车道内、弯道内、路口区域等。
步骤2：确定在上述步骤1中，井盖的形状与尺寸，如圆形井盖直径，矩形井盖的长度与宽度。
步骤3：确定车载摄像机的参数，主要包括：焦距、感光面积、像素等。
步骤4：确定车载摄像机的安装位置，如车头、顶部与车尾等，根据不同的车辆高度，选择合适的安装位置，摄像机安装角度与车辆前进方向平行。
步骤5：进行井盖图像的采集，主要是采集步骤1中多种位置处的井盖图像。
步骤6：对采集的图像进行分析处理。
步骤7：将井盖高差识别算法布置在可移动车辆上，实现道路窑井盖高差识别，包括：判断图像中是否有井盖，井盖的盖框差值的大小；通过车载算法可实时调用摄像机数据，对井盖高差进行实时识别与评估计算。
其中，所述的步骤6包含以下主要内容：
1)提取具有井盖的照片，并进行分类与标注。
2)采用深度学习的方法对井盖图片进行训练，获得井盖识别模型。
3)通过训练好的模型对井盖有无进行判断，对于有井盖的照片，采用边缘检测算法，提取井盖轮廓。
4)采用摄影测量原理，对井盖照片进行尺寸变换，结合井盖边缘识别结果，计算井框高差。
实施例2
本实施例做出进一步的示例，以示例性说明实施例1中的对采集图像的方法。
在本实施例中，井盖图像的获取来源包括如下几种：
a)网上公开的井盖照片或公开的数据集。
b)道路检测单位采集的路面照片。
c)由公交车、出租车、私家车等采集到的路面照片。
实施例2
本实施例做出进一步的示例，以示例性说明实施例1中的对图像进行分析处理的方法。
a)通过对路面井盖照片进行标注，获取包括路面井盖高数据样本库、相机参数及井盖高差的先验模型。
b)通过深度学习方法对道路井盖样本进行训练，获取井盖识别模型，然后通过井盖识别模型实现对井盖边框的识别。
c)通过建立井盖的盖框差、井盖二维边框尺度、相机参数朝向和相机距路面高度等变量之间的关系，计算井盖的盖框差，其步骤如下：
①基于摄影测量成像过程建立的井盖高度、二维目标检测框尺寸、相机朝向参数、相机离地面高度等变量之间的约束关系如下：
参见图2所示，图1中显示了相机对场景的成像过程和在图像上的2D测量结果。其中θ是相机朝向与水平面的夹角(偏航角和翻滚角假设为0)；v0是相机所在高度水平面在图像中的位置，vc是相机光心在图像上位置，vt和vb是井盖在图像中的顶部和底部。黑色为像平面，相机焦距为f，高度为hcam，图中井盖的盖框差为hj。
根据三角形的关系，可以利用焦距、图像中心vc水平位置v0表示出θ：
Figure BDA0002883421440000071
假设井盖在地面上其底部坐标为[x,0,z]’，顶部坐标为[x,hj,z]’，将三维空间上的井盖投影到相片二维平面上可得：
Figure BDA0002883421440000072
Figure BDA0002883421440000073
从上面的公式，可利用焦距f、俯仰角θ、相机高度、目标框的顶部与底部高度，计算目标物体井盖高差的计算公式：
Figure BDA0002883421440000074
利用该公式，即可根据相机参数及照片中井盖高差目标框的位置来计算井盖的实际高差。
②利用相机标定模块计算相机俯仰角、利用上述步骤b)中的深度学习目标识别模型，计算井盖高差的关键点与检测框的高度。将得到的参数放进步骤a)中的相机参数与井盖高差的先验模型中进行处理，基于先验模型计算的井盖高差不断优化相机参数与井盖高差的计算结果。
实施例3
本实施例在实施例2的基础上，进一步提供了一种本方法的详细示例说明，具体如下。
步骤1：根据需要评估的窑井盖在道路上的位置，对井盖进行分类。比如车道线内、车道线上、斑马线上、非机动车道内、弯道内、路口区域等几种类型井盖。
步骤2：查询各种井盖设计规范，确定道路窑井盖的形状与尺寸，如圆形井盖直径范围，矩形井盖的长度与宽度。
步骤3：根据井盖盖框差计算精度的要求，选择合适车载摄像机的参数，主要包括：焦距、感光面积、像素等。
步骤4：根据所选取的摄像机及待安装车辆的外形与尺寸，确定车载摄像机的安装位置，包括车头、顶部与车尾等，摄像机安装角度应与车辆前进方向平行。
步骤5：车载摄影机安装完成后，即可开始井盖图像的采集。车辆行驶速度宜低于80km/h，行车时尽量以某条车道匀速行驶，以使拍摄的图像清晰。
步骤6：对采集的图像进行分析处理，在摄像机拍摄的视频中提取具有井盖的照片，并进行分类与标注。采用深度学习的算法对井盖图片进行训练，当计算结果收敛时，即可获得较为满意的井盖识别模型；通过训练好的模型对井盖有无进行判断，对于深度学习人工智能判别出有井盖的照片，并计算出井盖高差边框，结合边缘检测算法，对井盖高差边框进行修正。采用摄影测量3维重建原理，结合深度学习网络，对井盖照片进行相机参数识别与井盖盖框差关键点和检测目标边框的计算，通过深度学习网络，对目标检测框和井盖高差的计算结果进行误差计算与优化，最终得到经过验证的深度学习计算模型与井盖高差计算结果。
步骤7：将井盖识别与高差计算算法布置在可移动车辆上，在摄像机采集图像的同时，算法实时调用摄像机采集数据，对井盖有无进行判别，对有井盖的照片进行井盖高差计算。

Claims (9)

1.一种基于计算机视觉的道路井盖高差识别方法，其特征在于所述的方法包括如下步骤：
S1.采集井盖图像；
S2.通过井盖识别模型检测井盖的有无，若存在井盖，则对井盖图像中的井盖进行边缘识别；
S3.对所述的井盖图像进行尺寸变换，并结合边缘识别的结果进行高差识别。
2.如权利要求1所述的基于计算机视觉的道路井盖高差识别方法，其特征在于采用车载摄像机采集所述的井盖图像，所述的车载摄像机的安装角度与车辆的前进方向平行。
3.如权利要求1所述的基于计算机视觉的道路井盖高差识别方法，其特征在于所述的井盖识别模型通过如下方法获得：先采集若干井盖的图片，并通过深度学习的方法对井盖的图片进行训练，以获得井盖识别模型。
4.如权利要求3所述的基于计算机视觉的道路井盖高差识别方法，其特征在于对所述的井盖的图片进行分类和标注后进行训练，分类和标注的参数包括：井盖的位置、形状与尺寸。
5.如权利要求3所述的基于计算机视觉的道路井盖高差识别方法，其特征在于所述的井盖的图片的获取来源包括：
a)网上公开的井盖照片或公开的数据集；
b)道路检测单位采集的路面照片；
c)公交车、出租车、私家车采集到的路面照片。
6.如权利要求1所述的基于计算机视觉的道路井盖高差识别方法，其特征在于通过建立井盖的盖框差、井盖二维边框尺度、相机参数朝向和相机距路面高度之间的关系，计算井盖的盖框差。
7.如权利要求1所述的基于计算机视觉的道路井盖高差识别方法，其特征在于所述的S3中的高差识别具体如下：
令：
Figure FDA0002883421430000021
假设井盖的底部坐标为[x,0,z]’，顶部坐标为[x,hj,z]’，将三维空间上的井盖投影到二维平面上可得：
Figure FDA0002883421430000022
Figure FDA0002883421430000023
目标物体井盖的高差可通过下式获得：
Figure FDA0002883421430000024
式中，θ是相机朝向与水平面的夹角，v0是相机所在高度的水平面在图像中的位置，vc是相机光心在图像中的位置，f为相机焦距，vt是井盖的顶部在图像中的位置、vb是井盖的底部在图像中的位置，hj为井盖在图像中的盖框差，hcam为井盖的实际高差。
8.如权利要求7所述的基于计算机视觉的道路井盖高差识别方法，其特征在于通过深度学习网络对若干相机参数与得到的井盖的实际高差进行深度学习并获得模型，并通过模型对识别结果进行优化。
9.一种基于计算机视觉的道路井盖高差识别设备，其特征在于包括移动载具、车载摄像机和处理器，所述的移动载具上搭载有所述的车载摄像机，以用于采集井盖图像，所述的处理器与所述的车载摄像机信号相连，以用于根据如权利要求1-8任一所述的基于计算机视觉的道路井盖高差识别方法进行井盖高差的识别。
CN202110006827.3A 2021-01-05 2021-01-05 一种基于计算机视觉的道路井盖高差识别方法及设备 Active CN112883778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110006827.3A CN112883778B (zh) 2021-01-05 2021-01-05 一种基于计算机视觉的道路井盖高差识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110006827.3A CN112883778B (zh) 2021-01-05 2021-01-05 一种基于计算机视觉的道路井盖高差识别方法及设备

Publications (2)

Publication Number Publication Date
CN112883778A true CN112883778A (zh) 2021-06-01
CN112883778B CN112883778B (zh) 2024-04-16

Family

ID=76046843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110006827.3A Active CN112883778B (zh) 2021-01-05 2021-01-05 一种基于计算机视觉的道路井盖高差识别方法及设备

Country Status (1)

Country Link
CN (1) CN112883778B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114935776A (zh) * 2022-07-26 2022-08-23 广东省有色工业建筑质量检测站有限公司 一种道路检查井井盖的监测分析系统及监测分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334678A (zh) * 2019-07-12 2019-10-15 哈尔滨理工大学 一种基于视觉融合的行人检测方法
US20200217656A1 (en) * 2017-06-28 2020-07-09 Boe Technology Group Co., Ltd. Method and apparatus for measuring distance using vehicle-mounted camera, storage medium, and electronic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200217656A1 (en) * 2017-06-28 2020-07-09 Boe Technology Group Co., Ltd. Method and apparatus for measuring distance using vehicle-mounted camera, storage medium, and electronic device
CN110334678A (zh) * 2019-07-12 2019-10-15 哈尔滨理工大学 一种基于视觉融合的行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付梦印;李博;王美玲;: "一种基于逆投影变换的智能车道路识别方法", 光学技术, no. 03 *
周世涛;李照宇;: "无人机倾斜摄影测量在1:500大比例尺地形图中的应用", 经纬天地, no. 03 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114935776A (zh) * 2022-07-26 2022-08-23 广东省有色工业建筑质量检测站有限公司 一种道路检查井井盖的监测分析系统及监测分析方法

Also Published As

Publication number Publication date
CN112883778B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN111855664B (zh) 一种可调节隧道病害三维检测系统
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
JP4363295B2 (ja) ステレオ画像による平面推定方法
GB2511612A (en) Apparatus and method for detecting vehicle weave
CN109635737B (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
JPH10124683A (ja) 立体画像−物体検出方法
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
KR20140109990A (ko) 3d 카메라를 사용한 차량 주변의 높이 윤곽 확인
CN109060820B (zh) 基于激光检测的隧道病害检测方法及隧道病害检测装置
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN113221648B (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN112819895A (zh) 一种摄像机标定方法及装置
CN111694011A (zh) 一种摄像机和三维激光雷达数据融合的路沿检测方法
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
CN112883778B (zh) 一种基于计算机视觉的道路井盖高差识别方法及设备
CN116631187B (zh) 一种案件现场勘查信息智能采集分析系统
WO2020194570A1 (ja) 標識位置特定システム及びプログラム
Li et al. Road Damage Evaluation via Stereo Camera and Deep Learning Neural Network
CN114519732A (zh) 一种基于红外双目结构光的道路检测方法与系统
CN110969875B (zh) 一种用于道路交叉口交通管理的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant