CN115047008B - 基于Faster R-CNN的道路裂纹检测系统 - Google Patents

基于Faster R-CNN的道路裂纹检测系统 Download PDF

Info

Publication number
CN115047008B
CN115047008B CN202210852818.0A CN202210852818A CN115047008B CN 115047008 B CN115047008 B CN 115047008B CN 202210852818 A CN202210852818 A CN 202210852818A CN 115047008 B CN115047008 B CN 115047008B
Authority
CN
China
Prior art keywords
detection
detected
image data
crack
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210852818.0A
Other languages
English (en)
Other versions
CN115047008A (zh
Inventor
徐向阳
杨浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210852818.0A priority Critical patent/CN115047008B/zh
Publication of CN115047008A publication Critical patent/CN115047008A/zh
Application granted granted Critical
Publication of CN115047008B publication Critical patent/CN115047008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种基于Faster R‑CNN的道路裂纹检测系统，属于图像处理技术领域。其包括：监控采样设备、与监控采样设备建立有通信连接的检测计算机子系统；监控采样设备，用于使用预设检测方式对待检测目标物进行检测，得到待检测目标物的图像数据，图像数据中包括待检测目标物上的若干个实际检测点；基于通信连接将图像数据发送至检测计算机子系统；检测计算机子系统，用于在接收到图像数据后，获取预先训练的验证识别逻辑模型，将图像数据输入验证识别逻辑模型，对裂纹检测识别。可以提高道路裂纹识别的效率。

Description

基于Faster R-CNN的道路裂纹检测系统
技术领域
本申请属于图像处理技术领域，具体涉及基于Faster R-CNN的道路裂纹检测系统。
背景技术
道路在长时间的使用后，路面难免会发生形变，导致出现裂纹和坑洞，对车辆和行人构成威胁，因此，国家和地方交通管理维护部门有必要对道路裂纹进行定期检测，以保证交通安全运行。
传统的道路裂纹检测，包括：包括使用全站仪和应力应变片检测道路中的变形区域。
然而，使用全站仪和应力应变片检测道路中的变形区域，识别准确度较低、普适性差且自动化程度低等缺点，存在道路裂纹检测效率和准确率较低的问题。
发明内容
本申请提供了基于Faster R-CNN的道路裂纹检测系统，可以解决道路裂纹检测效率和准确率较低的问题。
本申请提供如下技术方案：
第一方面，提供了一种基于Faster R-CNN的道路裂纹检测系统，包括：监控采样设备、与所述监控采样设备建立有通信连接的检测计算机子系统；
所述监控采样设备，用于使用预设检测方式对待检测目标物进行检测，得到所述待检测目标物的图像数据，所述图像数据中包括所述待检测目标物上的若干个实际检测点；基于所述通信连接将所述图像数据发送至所述检测计算机子系统；其中，所述预设检测方式包括单应性矩阵法和/或棋盘标定法；
所述检测计算机子系统，用于在接收到所述图像数据后，获取预先训练的验证识别逻辑模型，将所述图像数据输入所述验证识别逻辑模型，对裂纹检测识别；其中，所述验证识别逻辑模型包括Faster R-CNN子模型、BP神经网络子模型和LSTM神经网络子模型，所述BP神经网络子模型与所述LSTM神经网络子模型并联，并分别与所述Faster R-CNN子模型连接。
可选地，所述将所述图像数据输入所述验证识别逻辑模型，对裂纹检测识别，包括：通过所述Faster R-CNN子模型对所述图像数据进行裂纹检测，得到裂纹特征；将所述裂纹特征分别输入所述LSTM神经网络子模型和所述BP神经网络子模型，验证所述裂纹检测的精度和准确度。
可选地，所述通过所述Faster R-CNN子模型对所述图像数据进行裂纹检测，得到裂纹特征，包括：识别所述若干个实际检测点在所述图像数据中的位置；对所述若干个实际检测点进行语义分割处理，得到所述若干个实际检测点对应的若干个检测点像素；对各检测点像素采用双线性内插法进行亚像素处理，得到各检测点像素值。
可选地，所述将所述图像数据输入所述验证识别逻辑模型，对裂纹检测识别，还包括：基于所述各检测点像素值，得到所述若干个检测点在所述待检测目标物上的实际坐标值；将所述实际坐标值与所述待检测目标物的实际检测点进行比对，得到所述待检测目标物在实际检测点坐标系中的坐标。
可选地，所述使用预设检测方式对待检测目标物进行检测，得到所述待检测目标物的图像数据之前，还包括：在所述待检测目标物上设置所述若干个实际检测点；在所述待检测目标物对应的图纸上，设置若干个与所述若干个实际检测点一一对应的所述虚拟检测点；对所述实际检测点和所述标虚拟检测点进行位置匹配验证，以使所述实际检测点与所述虚拟检测点的位置坐标和大小尺寸一致。
可选地，所述监控采样设备包括至少一个检测组件和承载机体；其中，每个所述检测组件包括一个检测头和一个三维位移台，所述承载机体通过所述三维位移台与所述检测头连接；所述检测头为轴向界面呈矩形的柱状腔体结构，所述检测头上设置有若干个检测设备；所述三维位移台上设置有至少一个角度传感器。
可选地，所述监控采样设备还包括驱动电路板；所述驱动电路包括串口通讯电路、无线数据通讯电路及GNSS卫星定位电路；所述驱动电路板设置于所述承载机体的内部；所述驱动电路板与所述至少一个检测组件和所述若干个检测设备电气连接，用于驱动所述至少一个检测组件和所述若干个检测设备。
可选地，所述驱动电路还包括以下几种芯片中的至少一种：FPGA芯片、DSP芯片。
可选地，所述若干个检测设备包括激光测距雷达、激光光标灯、CCD摄像头和三维扫描仪。所述激光测距雷达、所述激光光标灯、所述CCD摄像头和所述三维扫描仪嵌于所述检测头的侧表面；所述激光测距雷达、CCD摄像头及三维扫描仪环绕激光光标灯均布，且激光测距雷达、激光光标灯、CCD摄像头、三维扫描仪的光轴平行分布，并与所述检测头的检测轴线垂直分布；所述检测轴线与水平面呈0°至90°夹角。
可选地，所述若干个检测设备还包括至少两个补光灯和亮度传感器；所述至少两个补光灯环绕所述检测轴线均布在所述检测头的外侧面，每个所述补光灯的光轴与所述检测轴线垂直；所述亮度传感器嵌于所述检测头的上端面，并与所述检测轴线同轴分布。
可选地，所述若干个检测设备还包括水平仪和三维陀螺仪；所述水平仪和所述三维陀螺仪嵌于所述检测头的内部，其中，所述三维陀螺仪位于所述检测头的重心位置处。
可选地，所述承载基体包括导航机构和避障机构；所述承载基体为包括以下几种中的至少一种：无人飞行器、无人车辆、无人船舶。
本申请的有益效果至少包括：通过监控采样设备检测待检测目标物，得到待检测目标物的图像数据，图像数据中包括待检测目标物上的若干个实际检测点，将图像数据输入预先训练的验证识别逻辑模型中，进行裂纹检测识别，得到待检测目标物的裂纹特征。可以解决道路裂纹检测效率较低的问题。在监控采样设备移动至待检测目标物处时，检测得到待检测物的图像数据，将图像数据发送至检测计算机子系统，由检测计算机子系统将图像数据输入预先训练的验证识别逻辑模型即可，无需使用全站仪或者应变片检测道路中的变形区域，因此，可以提高道路裂纹检测的效率和准确率。
另外，通过Faster R-CNN子模型对图像数据进行识别检测，得到裂纹特征，再通过BP神经网络子模型和LSTM神经网络子模型对裂纹特征的精度和准确度进行验证，可以提高道路裂纹检测的准确率。
另外，验证识别逻辑模型还用于在识别出裂纹特征后，确定待检测目标物在实际检测点坐标系中的位置坐标，进而确定待检测目标物的位置，以便道路维修人员能够快速前往进行维修，提高交通安全性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于Faster R-CNN的道路裂纹检测系统的示意图；
图2是本申请一个实施例提供的监控采样设备的结构图；
图3是本申请一个实施例提供的基于Faster R-CNN的道路裂纹检测方法的流程图；
图4是本申请一个实施例提供的基于Faster R-CNN的道路裂纹检测装置的框图；
图5是本申请一个实施例提供的电子设备的框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本申请中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的，或者是针对部件本身在竖直、垂直或重力方向上而言的；同样地，为便于理解和描述，“内、外”是指相对于各部件本身的轮廓的内、外，但上述方位词并不用于限制本申请。
下面对本申请提供的基于Faster R-CNN的道路裂纹检测系统进行详细介绍。
如图1所示，本申请的实施例提供一种基于Faster R-CNN的道路裂纹检测系统，该方法系统至少包括：监控采样设备110、与监控采样设备建立有通信连接的检测计算机子系统120。
其中，通信连接可以是有线通信连接或者无线通信连接，本实施例不对通信连接的实现方式作限定。
本实施例中，监控采样设备110，用于使用预设检测方式对待检测目标物进行检测，得到待检测目标物的图像数据。其中，图像数据中包括待检测目标物上的若干个实际检测点；待检测目标物可以是不同环境中存在裂纹的路面。
可选地，预设检测方式包括单应性矩阵法和/或棋盘标定法。
监控采样设备120对实际检测点进行拍照时，监控采样设备120的采样相机标定针对中心透视及径向畸变两个问题进行相机标定。
在监控采样设备120对待检测目标物进行检测之前，还需要先在待检测目标物上选取实际检测点。
具体地，使用预设检测方式对待检测目标物进行检测，得到待检测目标物的图像数据之前，还至少包括步骤S11至步骤S13：
步骤S11，在待检测目标物上设置若干个实际检测点。
步骤S12，在待检测目标物对应的图纸上，设置若干个与若干个实际检测点一一对应的虚拟检测点。
步骤S13，对实际检测点和虚拟检测点进行位置匹配验证，以使实际检测点与虚拟检测点的位置坐标和大小尺寸一致。
本实施例中，实际检测点在对待检测目标物进行裂纹检测之前，在待检测目标物上设置的。在设置实际检测点时，待检测目标物可以是未出现裂纹或者出现裂纹的地面，在对待检测目标物进行裂纹检测时，待检测目标物的裂纹可以与设置实际检测点时的待检测目标物中裂纹相同或者不同。
比如：在设置实际检测点时，待检测目标物中不存在裂纹，在对待检测目标物进行裂纹检测时，待检测目标物中存在新增的裂纹；或者，在设置实际检测点时，待检测目标物中已经存在裂纹，在对待检测目标物进行裂纹检测时，待检测目标物中的裂纹变大或者已经被修复。
如图2所示，监控采样设备110包括承载机体1和至少一个检测组件。
本实施例中，承载基体1包括导航机构和避障机构。
可选地，承载基体1为包括以下几种中的至少一种：无人飞行器、无人车辆、无人船舶。
本实施例中，每个检测组件包括一个检测头2和一个三维位移台12，承载机体1通过三维位移台12与检测头1连接。
其中，三维位移台12可以是电动三维位移台或者液压三维位移台，本实施例不对三维位移台12的实现方式作限定。
本实施例中，检测头2为轴向界面呈矩形的柱状腔体结构，其中，检测头1上设置有若干个检测设备；三维位移台12上设置有至少一个角度传感器13。
可选地，角度传感器13可以是倾斜角度传感器、无触点角度传感器或者磁敏感角度出传感器，本实施例不对角度传感器的实现方式作限定。
本实施例中，若干个检测设备包括激光测距雷达3、激光光标灯4、CCD摄像头5和三维扫描仪6。
其中，激光测距雷达3、激光光标灯4、CCD摄像头5和三维扫描仪6嵌于检测头2的侧表面。
具体地，激光测距雷达3、CCD摄像头5及三维扫描仪6环绕激光光标灯4均匀分布，且激光测距雷达3、激光光标灯4、CCD摄像头5、三维扫描仪6的光轴平行分布，并与检测头2的检测轴线垂直分布；
其中，检测轴线与水平面呈0°至90°夹角。
可选地，若干个检测设备还包括至少两个补光灯7和亮度传感器8；至少两个补光灯7环绕检测轴线均匀分布在检测头2的外侧面，每个补光灯7的光轴与检测轴线垂直。亮度传感器8嵌于检测头2的上端面，并与检测轴线同轴分布。
本实施例中，补光灯7可以为LED灯珠、灯带中的任意一种。
另外，若干个检测设备还包括水平仪9和三维陀螺仪10。
水平仪9和三维陀螺仪10嵌于检测头2的内部，其中，三维陀螺仪10位于检测头2的重心位置处。
另外，监控采样设备110还包括驱动电路板11，其中，驱动电路11包括串口通讯电路、无线数据通讯电路及GNSS卫星定位电路。
可选地，驱动电路11还包括以下几种芯片中的至少一种：FPGA芯片、DSP芯片。
本实施例中，驱动电路板11设置于承载机体1的内部。驱动电路板11与至少一个检测组件和若干个检测设备电气连接，用于驱动至少一个检测组件和若干个检测设备。
本实施例中，通过承载基体1按照监控路基依次运行通过各待检测目标物的实际检测点，并在到达实际检测点时由三维位移台12调整检测头2位置，使检测头2上的激光光标灯4的光斑落在实际检测点上并与实际检测点同轴分布，然后一方面通过CCD摄像头5进行拍照采集作业，另一方面通过三维扫描仪6对当前实际检测点及其周边结构信息进行采集，同时通过激光测距雷达3对检测头2与当前实际检测点间间距进行检测定位，从而得到到精确全面的实际检测点的信息。
在得到图像数据后，监控采样设备110还用于基于通信连接将图像数据发送至检测计算机子系统120。
本实施例中，计算机子系统120用于在接收到图像数据后，获取预先训练的验证识别逻辑模型，将图像数据输入验证识别逻辑模型，对裂纹检测识别。
其中，验证识别逻辑模型包括Faster R-CNN子模型、BP神经网络子模型和LSTM神经网络子模型，BP神经网络子模型与LSTM神经网络子模型并联，并分别与Faster R-CNN子模型连接。
本实施例中，验证识别逻辑模型是使用训练数据对预设的神经网络模型训练得到的。
具体地，对预设的神经网络模型训练具体包括以下两个方面：
第一方面，对预设的Faster R-CNN神经网络进行训练，相应地，训练数据包括样本实际检测点、和样本实际检测点对应的样本预设检测点、和样本实际检测点对应的样本裂纹特征。
其中，样本实际检测点包括监控采样设备110对若干个不同的待检测目标物采样得到的实际检测点。
具体地，对预设的Faster R-CNN神经网络进行训练至少包括步骤S21至S23：
步骤S21，将样本实际检测点和样本实际检测点对应的预设检测点输入预设的Faster R-CNN神经网络模型，得到训练结果。
步骤S22，将训练结果和样本裂纹特征输入损失函数，得到损失结果。
步骤S23，基于损失结果对Faster R-CNN神经网络模型进行训练，以缩小训练结果和对应的样本裂纹特征之间的差异值，直至Faster R-CNN神经网络模型收敛，得到FasterR-CNN子模型。
第二方面，对预设的BP神经网络模型和预设的LSTM神经网络模型进行训练，相应地，训练数据包括样本裂纹特征和与样本裂纹特征对应的样本精度和准确度。
具体地，对预设的BP神经网络模型和预设的LSTM神经网络模型进行训练至少包括步骤S31至S35：
步骤S31，将样本裂纹特征分别输入预设的BP神经网络模型和预设的LSTM神经网络模型，分别得到BP训练结果和LSTM训练结果。
步骤S32，将BP训练结果、样本精度和准确度输入损失函数，得到损失结果。
步骤S33，基于损失结果对BP神经网络模型进行训练，以缩小训练结果和对应的样本裂纹特征之间的差异值，直至BP神经网络模型收敛，得到BP神经网络子模型。
步骤S34，将LSTM训练结果、样本精度和准确度输入损失函数，得到损失结果。
步骤S35，基于损失结果对LSTM神经网络模型进行训练，以缩小训练结果和对应的样本裂纹特征之间的差异值，直至LSTM神经网络模型收敛，得到LSTM神经网络子模型。
本实施例中，将图像数据输入验证识别逻辑模型，对裂纹检测识别，至少包括步骤S41至步骤S42：
步骤S41，通过Faster R-CNN子模型对图像数据进行裂纹检测，得到裂纹特征。
具体地，通过Faster R-CNN子模型对图像数据进行裂纹检测，得到裂纹特征，包括：识别若干个实际检测点在图像数据中的位置；对若干个实际检测点进行语义分割处理，得到若干个实际检测点对应的若干个检测点像素；对各检测点像素采用双线性内插法进行亚像素处理，得到各检测点像素值。
步骤S42，将裂纹特征分别输入LSTM神经网络子模型和BP神经网络子模型，验证裂纹检测的精度和准确度。
本实施例中，验证识别逻辑模型还用于确定待检测目标物所在的位置，这样，在检测到待检测目标物存在裂纹后，可以快速确定待检测目标物的位置，以方便对待检测目标物进行维修。
具体地，将图像数据输入验证识别逻辑模型，对裂纹检测识别，还包括：基于各检测点像素值，得到若干个检测点在待检测目标物上的实际坐标值；将实际坐标值与待检测目标物的虚拟检测点进行比对，得到待检测目标物在实际检测点坐标系中的坐标。
其中，实际检测点坐标系为世界坐标系。
本实施例中，通过监控采样设备检测待检测目标物，得到待检测目标物的图像数据，图像数据中包括待检测目标物上的若干个实际检测点，将图像数据输入预先训练的验证识别逻辑模型中，进行裂纹检测识别，得到待检测目标物的裂纹特征。可以解决道路裂纹检测效率较低的问题。在监控采样设备移动至待检测目标物处时，检测得到待检测物的图像数据，将图像数据发送至检测计算机子系统，由检测计算机子系统将图像数据输入预先训练的验证识别逻辑模型即可，无需使用全站仪或者应变片检测道路中的变形区域，因此，可以提高道路裂纹检测的效率和准确率。
下面对本申请提供的基于Faster R-CNN的道路裂纹检测方法进行详细介绍。如图3所示，本申请的实施例提供一种基于Faster R-CNN的道路裂纹检测方法，以该方法应用于上述实施例中的基于Faster R-CNN的道路裂纹检测系统中为例，该方法至少包括：
步骤301，获取待检测目标物的图像数据。
其中，图像数据是由监控采样设备采集的图像数据，图像数据中包括待检测目标物的实际检测点。
步骤302，获取预先训练的验证识别逻辑模型。
本实施例中，验证识别逻辑模型包括Faster R-CNN子模型、BP神经网络子模型和LSTM神经网络子模型；BP神经网络子模型与LSTM神经网络子模型并联，并分别与Faster R-CNN子模型连接。
其中，Faster R-CNN子模型用于对图像数据进行裂纹检测，得到裂纹特征；BP神经网络子模型与LSTM神经网络子模型用于对裂纹特征进行精度和准确度的验证。
具体地，Faster R-CNN子模型用于对图像数据进行裂纹检测，得到裂纹特征，包括：识别若干个实际检测点在图像数据中的位置；对若干个实际检测点进行语义分割处理，得到若干个实际检测点对应的若干个检测点像素；对各检测点像素采用双线性内插法进行亚像素处理，得到各检测点像素值。
另外，本实施例中，验证识别逻辑模型还用于确定待检测目标物所在的位置，这样，在检测到待检测目标物存在裂纹后，可以快速确定待检测目标物的位置，以方便对待检测目标物进行维修。
具体地，将图像数据输入验证识别逻辑模型，对裂纹检测识别，还包括：基于各检测点像素值，得到若干个检测点在待检测目标物上的实际坐标值；将实际坐标值与待检测目标物的实际检测点进行比对，得到待检测目标物在实际检测点坐标系中的坐标。
其中，实际检测点坐标系为世界坐标系。
步骤303，将图像数据输入验证识别逻辑模型，得到待检测目标物的裂纹特征和位置坐标。
综上，本实施例中，通过监控采样设备检测待检测目标物，得到待检测目标物的图像数据，图像数据中包括待检测目标物上的若干个实际检测点，将图像数据输入预先训练的验证识别逻辑模型中，进行裂纹检测识别，得到待检测目标物的裂纹特征。可以解决道路裂纹检测效率较低的问题。在监控采样设备移动至待检测目标物处时，检测得到待检测物的图像数据，将图像数据发送至检测计算机子系统，由检测计算机子系统将图像数据输入预先训练的验证识别逻辑模型即可，无需使用全站仪或者应变片检测道路中的变形区域，因此，可以提高道路裂纹检测的效率和准确率。
另外，通过Faster R-CNN子模型对图像数据进行识别检测，得到裂纹特征，再通过BP神经网络子模型和LSTM神经网络子模型对裂纹特征的精度和准确度进行验证，可以提高道路裂纹检测的准确率。
另外，验证识别逻辑模型还用于在识别出裂纹特征后，确定待检测目标物在实际检测点坐标系中的位置坐标，进而确定待检测目标物的位置，以便道路维修人员能够快速前往进行维修，提高交通安全性。
本实施例提供一种基于Faster R-CNN的道路裂纹检测装置，如图4所示。该装置包括至少以下几个模块：数据获取模块410、模型获取模块420、及裂纹检测模块430。
数据获取模块410，用于采集待检测目标物的图像数据；
模型获取模块420，用于获取预先训练的验证识别逻辑模型；
裂纹检测模块430，用于将图像数据输入验证识别逻辑模型，得到待检测目标物的裂纹特征和位置坐标。
相关细节参考上述方法和系统实施例。
需要说明的是：上述实施例中提供的基于Faster R-CNN的道路裂纹检测装置在进行道路裂纹检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于Faster R-CNN的道路裂纹检测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于Faster R-CNN的道路裂纹检测装置与基于Faster R-CNN的道路裂纹检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本实施例提供一种电子设备，如图5所示。该电子设备至少包括处理器501和存储器502。
处理器501可以包括一个或至少一个处理核心，比如：4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或至少一个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或至少一个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的基于Faster R-CNN的道路裂纹检测方法。
在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，计算机可读存储介质中存储有程序，程序由处理器加载并执行以实现上述方法实施例的基于Faster R-CNN的道路裂纹检测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，上述所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，可以做出其它不同形式的变化或变动，都应当属于本申请保护的范围。

Claims (12)

1.一种基于Faster R-CNN的道路裂纹检测系统，其特征在于，所述系统包括：监控采样设备、与所述监控采样设备建立有通信连接的检测计算机子系统；
所述监控采样设备，用于使用预设检测方式对待检测目标物进行检测，得到所述待检测目标物的图像数据，所述图像数据中包括所述待检测目标物上的若干个实际检测点；基于所述通信连接将所述图像数据发送至所述检测计算机子系统；其中，所述预设检测方式包括单应性矩阵法和/或棋盘标定法；
所述检测计算机子系统，用于在接收到所述图像数据后，获取预先训练的验证识别逻辑模型，将所述图像数据输入所述验证识别逻辑模型，对裂纹检测识别；其中，所述验证识别逻辑模型包括Faster R-CNN子模型、BP神经网络子模型和LSTM神经网络子模型，所述BP神经网络子模型与所述LSTM神经网络子模型并联，并分别与所述Faster R-CNN子模型连接。
2.根据权利要求1所述的系统，其特征在于，所述将所述图像数据输入所述验证识别逻辑模型，对裂纹检测识别，包括：
通过所述Faster R-CNN子模型对所述图像数据进行裂纹检测，得到裂纹特征；
将所述裂纹特征分别输入所述LSTM神经网络子模型和所述BP神经网络子模型，验证所述裂纹检测的精度和准确度。
3.根据权利要求2所述的系统，其特征在于，所述通过所述Faster R-CNN子模型对所述图像数据进行裂纹检测，得到裂纹特征，包括：
识别所述若干个实际检测点在所述图像数据中的位置；
对所述若干个实际检测点进行语义分割处理，得到所述若干个实际检测点对应的若干个检测点像素；
对各检测点像素采用双线性内插法进行亚像素处理，得到各检测点像素值。
4.根据权利要求3所述的系统，其特征在于，所述将所述图像数据输入所述验证识别逻辑模型，对裂纹检测识别，还包括：
基于所述各检测点像素值，得到所述若干个检测点在所述待检测目标物上的实际坐标值；
将所述实际坐标值与所述待检测目标物的虚拟检测点进行比对，得到所述待检测目标物在实际检测点坐标系中的坐标。
5.根据权利要求4所述的系统，其特征在于，所述使用预设检测方式对待检测目标物进行检测，得到所述待检测目标物的图像数据之前，还包括：
在所述待检测目标物上设置所述若干个实际检测点；
在所述待检测目标物对应的图纸上，设置若干个与所述若干个实际检测点一一对应的所述虚拟检测点；
对所述实际检测点和所述虚拟检测点进行位置匹配验证，以使所述实际检测点与所述虚拟检测点的位置坐标和大小尺寸一致。
6.根据权利要求1所述的系统，其特征在于，所述监控采样设备包括至少一个检测组件和承载机体；其中，每个所述检测组件包括一个检测头和一个三维位移台，所述承载机体通过所述三维位移台与所述检测头连接；
所述检测头为轴向界面呈矩形的柱状腔体结构，所述检测头上设置有若干个检测设备；所述三维位移台上设置有至少一个角度传感器。
7.根据权利要求6所述的系统，其特征在于，所述监控采样设备还包括驱动电路板；所述驱动电路包括串口通讯电路、无线数据通讯电路及GNSS卫星定位电路；
所述驱动电路板设置于所述承载机体的内部；
所述驱动电路板与所述至少一个检测组件和所述若干个检测设备电气连接，用于驱动所述至少一个检测组件和所述若干个检测设备。
8.根据权利要求7所述的系统，其特征在于，所述驱动电路还包括以下几种芯片中的至少一种：FPGA芯片、DSP芯片。
9.根据权利要求6所述的系统，其特征在于，所述若干个检测设备包括激光测距雷达、激光光标灯、CCD摄像头和三维扫描仪；
所述激光测距雷达、所述激光光标灯、所述CCD摄像头和所述三维扫描仪嵌于所述检测头的侧表面；
所述激光测距雷达、CCD摄像头及三维扫描仪环绕激光光标灯均布，且激光测距雷达、激光光标灯、CCD摄像头、三维扫描仪的光轴平行分布，并与所述检测头的检测轴线垂直分布；所述检测轴线与水平面呈0°至90°夹角。
10.根据权利要求9所述的系统，其特征在于，所述若干个检测设备还包括至少两个补光灯和亮度传感器；
所述至少两个补光灯环绕所述检测轴线均布在所述检测头的外侧面，每个所述补光灯的光轴与所述检测轴线垂直；
所述亮度传感器嵌于所述检测头的上端面，并与所述检测轴线同轴分布。
11.根据权利要求6所述的系统，其特征在于，所述若干个检测设备还包括水平仪和三维陀螺仪；
所述水平仪和所述三维陀螺仪嵌于所述检测头的内部，其中，所述三维陀螺仪位于所述检测头的重心位置处。
12.根据权利要求1至11任一所述的系统，其特征在于，所述承载基体包括导航机构和避障机构；
所述承载基体为包括以下几种中的至少一种：无人飞行器、无人车辆、无人船舶。
CN202210852818.0A 2022-07-19 2022-07-19 基于Faster R-CNN的道路裂纹检测系统 Active CN115047008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210852818.0A CN115047008B (zh) 2022-07-19 2022-07-19 基于Faster R-CNN的道路裂纹检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210852818.0A CN115047008B (zh) 2022-07-19 2022-07-19 基于Faster R-CNN的道路裂纹检测系统

Publications (2)

Publication Number Publication Date
CN115047008A CN115047008A (zh) 2022-09-13
CN115047008B true CN115047008B (zh) 2024-04-30

Family

ID=83166673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210852818.0A Active CN115047008B (zh) 2022-07-19 2022-07-19 基于Faster R-CNN的道路裂纹检测系统

Country Status (1)

Country Link
CN (1) CN115047008B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910343A (zh) * 2019-09-29 2020-03-24 北京建筑大学 路面裂缝检测的方法、装置及计算机设备
WO2021217859A1 (zh) * 2020-04-30 2021-11-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN114511620A (zh) * 2021-12-28 2022-05-17 南通大学 一种基于Mask R-CNN的结构位移监测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910343A (zh) * 2019-09-29 2020-03-24 北京建筑大学 路面裂缝检测的方法、装置及计算机设备
WO2021217859A1 (zh) * 2020-04-30 2021-11-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN114511620A (zh) * 2021-12-28 2022-05-17 南通大学 一种基于Mask R-CNN的结构位移监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉和神经网络检测鸡蛋裂纹的研究;潘磊庆;屠康;苏子鹏;杨佳丽;李宏文;;农业工程学报;20070531(第05期);全文 *

Also Published As

Publication number Publication date
CN115047008A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN112184818B (zh) 基于视觉的车辆定位方法及应用其方法的停车场管理系统
KR101617948B1 (ko) Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
CN109918977B (zh) 确定空闲车位的方法、装置及设备
EP3407294A1 (en) Information processing method, device, and terminal
CN109141347A (zh) 车载摄像机测距方法及装置、存储介质和电子设备
CN111125283B (zh) 电子地图构建方法、装置、计算机设备和存储介质
CN109916415B (zh) 道路类型确定方法、装置、设备及存储介质
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN111046746A (zh) 一种车牌检测方法及装置
CN108876857A (zh) 无人驾驶车辆的定位方法、系统、设备及存储介质
CN113424240B (zh) 行驶道路识别装置
CN113899367B (zh) 无人机降落的定位方法、装置、计算机设备及存储介质
KR101768522B1 (ko) Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN115047008B (zh) 基于Faster R-CNN的道路裂纹检测系统
CN113761255A (zh) 机器人室内定位方法、装置、设备及存储介质
CN114693865A (zh) 数据处理方法及相关装置
CN117058912A (zh) 巡检车检测异常停车方法、装置、存储介质及电子设备
CN113673288A (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN115631169A (zh) 产品检测方法、装置、电子设备及存储介质
CN112241697B (zh) 角点颜色判定方法、装置、终端设备及可读存储介质
CN114511620A (zh) 一种基于Mask R-CNN的结构位移监测方法
CN114120795A (zh) 一种地图绘制方法及装置
CN114581890B (zh) 确定车道线的方法、装置、电子设备和存储介质
CN111223139A (zh) 目标定位方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant