CN110728650A - 一种基于智能终端的井盖凹陷检测方法及相关设备 - Google Patents

一种基于智能终端的井盖凹陷检测方法及相关设备 Download PDF

Info

Publication number
CN110728650A
CN110728650A CN201910796505.6A CN201910796505A CN110728650A CN 110728650 A CN110728650 A CN 110728650A CN 201910796505 A CN201910796505 A CN 201910796505A CN 110728650 A CN110728650 A CN 110728650A
Authority
CN
China
Prior art keywords
well lid
intelligent terminal
acceleration
acceleration value
concavity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910796505.6A
Other languages
English (en)
Other versions
CN110728650B (zh
Inventor
周宝定
郭文浩
赵文剑
李清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910796505.6A priority Critical patent/CN110728650B/zh
Publication of CN110728650A publication Critical patent/CN110728650A/zh
Application granted granted Critical
Publication of CN110728650B publication Critical patent/CN110728650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于智能终端的井盖凹陷检测方法,该方法包括:获取智能终端运动时前方的路面图像,并识别路面图像中是否含有井盖;当识别出井盖,则获取智能终端从井盖上经过时的加速度值;将加速度值输入到已训练的凹陷度识别模型,得到与加速度值相对应的井盖凹陷度等级。本发明所述方法通过智能终端摄像头就可对井盖进行识别,通过加速度对井盖的的凹陷度进行等级划分,使得检测路面井盖的凹陷时方便快捷,检测周期短且有效提升的路面井盖的检测的效率,无需增加任何硬件设施,为检测带来了方便,对井盖定位分享,可以提前预知路面情况,减少交通事故隐患,提高终端的智能性,为用户带来方便。此外本发明还公开了一种智能终端及相关设备。

Description

一种基于智能终端的井盖凹陷检测方法及相关设备
技术领域
本发明涉及智能终端应用领域,尤其涉及的是一种基于智能终端的井盖凹陷检测方法及相关设备。
背景技术
目前,智能终端已经成为在日常生活中用户不可或缺的工具,产品的更新换代也使得其功能越来越多,但是平时主要是起到通讯的作用,以及附加的娱乐功能,然而在针对不同场景实现不同功能的功能还不够完善,比如:在车俩的行驶过程中,路面上井盖的凹陷往往会影响到驾驶的舒适性,严重的甚至会造成交通事故,现有技术中,对道路巡查主要通过人工定期巡查或者是通过激光雷达传感器获取的井盖点云数据进行井盖检测,但是无论是人工还是依赖专业检测设备实现,成本都高且效率低采集路面的周期较长,无法获取实时的路面质量情况,路面井盖的检测效率较低,限制了该方法的大规模应用,如果在车辆行驶中能够充分利用智能终端的优势,将其功能予以结合,那么就能在没有专业检测设备的情况下来对路面井盖凹陷进行实时的检测。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于智能终端的井盖凹陷检测方法及相关设备,旨在通过将日常所使用的的智能终端应用到路面井盖凹陷检测中,解决现有技术中路面检测设备检测周期长导致效率低的问题。
本发明解决技术问题所采用的技术方案如下:
第一方面,本发明实施例提供了一种基于智能终端的井盖凹陷检测方法,包括:
获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖;
当所述路面图像中识别出井盖,则获取智能终端从所述井盖上经过时的加速度值;
将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级;所述凹陷度识别模型是基于标注有井盖凹陷度等级的加速度值样本数据训练而成的。
作为进一步的改进技术方案,所述获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖的步骤包括:
将所述路面图像输入到已训练的图像识别模型,得到图像中是否含有井盖的识别结果;所述图像识别模型是基于标注有井盖特征的训练图像样本训练而成的。
作为进一步的改进技术方案,所述凹陷度识别模型的训练步骤包括:
收集所述智能终端从所述井盖上经过时的加速度数据集,其中,所述加速度数据集包括多个从所述井盖上经过时的加速度值;
对收集到的所述加速度数据集中的加速值进行井盖凹陷度等级标注;
将标注完成的所述加速度数据集输入预设的卷积神经网络模型,得到所述卷积神经网络模型输出的与各个加速度值相对应的井盖凹陷度等级的预测值;
根据各个加速值所对应井盖凹陷度等级的真实值与所述预测值之间的误差对所述卷积神经网络模型的参数进行修正,重复将所述加速度数据集输入预设卷积神经网络模型的步骤,直至所述误差在预设范围内,得到训练完成的凹陷度识别模型。
作为进一步的改进技术方案,所述凹陷度识别模型的训练步骤还包括:
计算从所述井盖上经过时x、y、z三个方向的加速度值的合成加速度acc,根据所述合成加速度acc的变化率Δacc,设定所述井盖凹陷度等级划分阈值。
作为进一步的改进技术方案,所述将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级的步骤之前还包括;
将经过所述井盖时的加速度值通过消除趋势项处理,得到修正后的加速度值;
将所述修正后的加速度值通过卡尔曼滤波进行消除噪音处理,得到消除噪音后的加速度值。
作为进一步的改进技术方案,所述将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级的步骤之后还包括:
获取经过所述井盖时的三维空间坐标信息和时间信息,结合所述井盖凹陷度等级,将所述井盖凹陷度等级标注到所述三维空间坐标信息中,完成对所述井盖的空间标记定位。
作为进一步的改进技术方案,所述获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖的步骤还包括:
开启智能终端的摄像头,获取智能终端运动时前方的路面视频图像,每隔预定时间获取所述路面视频图像视频关键帧,识别所述视频关键帧中是否含有井盖。
第二方面,本发明实施例提供了一种智能终端,包括:
图像识别模块,用于获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖;
加速度检测模块,用于当识别出井盖,则获取智能终端从所述井盖上经过时的加速度值;
凹陷度识别模块,用于将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级;所述凹陷度识别模型是基于智能终端经过井盖时的加速度值与井盖凹陷度等级之间的对应关系训练而成的;
井盖定位模块,用于获取经过所述井盖时的三维空间坐标信息和时间信息,结合所述井盖凹陷度等级,将所述井盖凹陷度等级标注到所述三维空间坐标信息中,完成对所述井盖的空间标记定位。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中,所述处理器执行所述计算机程序时实现所述方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述的方法的步骤。
与现有技术相比,本发明实施例具有以下优点:
根据本发明实施方式提供的方法,通过获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖,当识别出井盖,则获取智能终端从所述井盖上经过时的加速度值,将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级,并结合获取经过所述井盖时的位置信息完成对所述井盖的空间标记定位,实现了基于智能终端对路面井盖凹陷情况的实时检测。由于本实施例中只需利用现有智能终端摄像头就可对井盖进行识别,以及通过加速度对井盖的的凹陷度进行等级划分,以使得检测路面井盖的凹陷时方便快捷,检测周期短且有效提升的路面井盖的检测的效率,同时无需增加任何硬件设施,为检测带来了方便,同时结合定位功能对井盖定位分享,使得用户可以提前预知路面情况,减少交通事故隐患,提高了终端的智能性,为用户带来方便。
附图说明
图1是本发明基于智能终端的井盖凹陷检测方法的较佳实施例的流程图;
图2是本发明基于智能终端的井盖凹陷检测方法的技术路线图;
图3是本发明基于智能终端的井盖凹陷检测方法的井盖凹陷度自动识别意图;
图4是本发明基于智能终端的井盖凹陷检测方法的井盖位置确定示意图;
图5是本发明一种智能终端的较佳实施例的功能原理框图;
图6是本发明一种智能终端的较佳实施例的工作流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1是本发明基于智能终端的井盖凹陷检测方法的较佳实施例的流程图。如图1所示,本发明实施例所述的基于智能终端的井盖凹陷检测方法,包括:
步骤S100、获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖。
本发明实施例中,比如在汽车行驶过程中,开启智能摄像头的拍摄功能,可在每隔预定时间内对行驶前方的路面图像进行拍照,也可主动拍摄,通过获取所拍摄的图像,识别路面中是否包含有井盖。
需要说明的是,在开启智能终端的摄像头时,不仅可以通过拍摄照片来获取前方路面的图像,还可通关开启智能终端的摄像功能,获取前方路面的拍摄视频,每隔预定时间从所述拍摄视频中提取所述路面视频图像视频关键帧,识别所述视频关键帧中是否含有井盖,可以想到的是上述获取图像的方式可以通过行驶的路面不同以及交通工具不同的情况下自由切换。
本步骤中对所述路面图像中的井盖识别是使用神经网络模型来实现,具体的,使用预先设置的图像识别模型识别所述路面图像中是否含有井盖的步骤包括:
首先,训练用于识别出图像中井盖的图像识别模型,将所述路面图像输入到已训练的图像识别模型,得到识别出的井盖特征信息。
所述图像识别模型是基于输入图像与所述输入图像中所含井盖图像边框所在所述输入图像中的位置信息之间的应关系训练而成的,其训练方法包括以下步骤:
首先收集大量用于对所述图像识别模型进行训练的井盖图片数据集,所述井盖图片数据集中含有大量不同种类井盖的图片,同时对采集到的图片标注出井盖的信息,用于训练井盖的图像数据和智能识别。
将标注完成的井盖图片数据集输入预设的神经网络模型,得到神经网络模型输出的与井盖图片相对应的井盖边框在所述井盖图片中所占位置的预测值;
根据输出的与井盖图片相对应的井盖边框在所述井盖图片中所占位置比例的预测值与真实值进行比较,得到本次训练的误差,并根据误差对神经网络模型进行调整,重复将标注完成的井盖图片数据集输入预设的神经网络模型的步骤,直至所述误差在预设范围内,得到训练完成的图像识别模型。
具体的,通过对采集到的井盖图片数据和标注信息做基于深度学习的训练,用于得到能够自动识别井盖分类的权重信息;井盖数据训练使用bounding box(边框)的坐标预测方式进行预测,tx、ty、tw、th为模型的预测输出。cx和cy表示图像grid cell(网格单元格)的坐标。pw和ph表示预测前bounding box的size。bx、by、bw和bh是预测得到的boundingbox的中心的坐标和size。坐标的损失采用的是平方误差损失。具体公式如下:
bx=σ(tx)+cx
by=σ(ty)+cy
bw=pwetw
bh=pheth
进一步地,还可通过未用于井盖数据训练的井盖图片数据做数据测试,测试训练得到的权重信息的精度,以对图像识别模型的精度进行校验与修正,井盖的自动识别分类通过对图片中的物体进行检测,可同时检测多个井盖类别,用于提高井盖分类的效率和使用的便捷性。
步骤S200、当所述路面图像中识别出井盖,则获取智能终端从所述井盖上经过时的加速度值。
本发明实施例中,当识别出路面图像中包含井盖的时候,在智能终端启动加速度传感器检测此刻经过所述井盖时的加速度值,具体的在智能终端中集成有加速度传感器,当车辆以一定的速度沿路表面轨迹行驶时,在路面不平度的激励作用下,系统产生振动,智能终端中的加速度计能够记录车辆的振动,调用智能手机中加速度计传感器接口获取到三轴加速度数据(x,y,z)。
步骤S201、将经过所述井盖时的加速度值通过消除趋势项处理,得到修正后的加速度值;
将所述修正后的加速度值通过卡尔曼滤波进行消除噪音处理,得到消除噪音后的加速度值。
本发明实施例中,在加速度信号采集过程中,由于受到系统外部和内部各种因素的影响,经传感器采样得到的数据夹杂着许多不需要的成分,因此,需要对采集到的数据进行初步加工处理。
在加速度信号数据采集的过程中,由于放大器随温度变化产生的零点漂移、传感器频率范围外低频性能的不稳定以及传感器周围的环境干扰,采集的信号数据往往会偏离基线,甚至偏离基线的大小还会随时间变化。信号震荡偏离基线随时间变化的整个过程被称为信号的趋势项,为消除趋势项对信号的正确性的影响,常用多项式最小二乘法进行数据处理:
实测加速度的采样数据为{xk}(k=1,2,3,…,n),数据采样频率为100Hz,故采样时间间隔Δt=0.01,用m阶多项式来拟合这些数据,得到一个多项式函数:
x^k=a0+a1k+a2k2+……amkm(k=1,2,3,……,n)
确定函数x^k的每一个待定系数aj(j=0,1,2,…,m),使得函数x^k与离散数据xk的误差平方和最小。
进一步地,通过卡尔曼滤波,消除加速度数据信号中的噪声,通过建立适用数据采集系统的滤波算法,以递推的方式从含有噪声的数据中得到均方差最小的真实数据,实现了对数据的优化估计,运用卡尔曼滤波对数据进行滤波处理,既保留了原有数据的起伏趋势,又剔除了细小波动。
步骤S300、将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级;所述凹陷度识别模型是基于智能终端经过井盖时的加速度值与井盖凹陷度等级之间的对应关系训练而成的。
本步骤中对所述井盖凹陷度识别是使用已训练的凹陷度识别模型来实现的,具体的,所述凹陷度识别模型的训练包括以下步骤:
首先,收集所述智能终端从所述井盖上经过时的加速度数据集,其中,所述加速度数据集包括多个从所述井盖上经过时的加速度值;
对收集到的所述加速度数据集中的加速值进行井盖凹陷度等级标注,值得说明的是,通过计算从所述井盖上经过时x、y、z三个方向的加速度值的合成加速度acc,根据所述合成加速度acc的变化率Δacc,设定所述井盖凹陷度等级划分阈值,根据加速度的变化率可划分为三个等级,而不同等级的加速度变化率等级也就对应着不同的井盖凹陷等级;
将标注完成的所述加速度数据集输入预设的卷积神经网络模型,得到所述卷积神经网络模型输出的与各个加速度值相对应的井盖凹陷度等级的预测值;其中,将各个加速度值单独输入到预设的卷积神经网络模型,以输出与之相对应的预测值;
根据各个加速值所对应井盖凹陷度等级的真实值与所述预测值之间的误差对所述卷积神经网络模型的参数进行修正,重复将所述加速度数据集输入预设卷积神经网络模型的步骤,直至所述误差在预设范围内,得到训练完成的凹陷度识别模型。
下面通过一实施例具体说明,请参阅图2,基于已训练的凹陷度识别模型,自动检测井盖凹陷度及凹陷等级划分:
不同的井盖凹陷度对车辆的颠簸度不同,智能终端所记录的加速度信息也不相同,井盖的凹陷度越大,智能终端记录的加速度变化幅度就越大,如2所示;通过收集车辆经过不同井盖的所产生加速度数据,当t时刻加速度传感器值为(accx,accy,accz)时,合成加速度为acc:
每一条数据格式变成(accx,accy,accz,acc),车辆的速度V,井盖的直径L,车辆经过井盖的时间T=L/V,每个时间段为T的采集的数据只包含一项井盖评价等级,加速度计传感器的采样频率为f,则每T个时间段的采集的数据S=4*fT,acc变化率越小说明井盖的凹陷度越小,对应的等级为优;变化率越大则井盖的凹陷度越大对应的等级为差;变化率适中则等级对应为中;根据acc的变化率Δacc,设定等级划分阈值m1,m2(阈值m的设定由道路等级n,车辆速度V而定,m=knV,k为常数),将变化率划分为三个等级(等级label为优、中、差);
获得标签信息label,整理成的数据集是包含活动标签的5*fT多维数据集,接着将收集的数据进行分段处理,以便进行特征提取,基于滑动窗口的方法,选择T秒的滑动窗口,使用滑动窗口方法的重叠率为50%即0.5T秒,利用卷积神经网络算法(CNN)对数据集进行训练,得到可用于自动评价井盖凹陷度的凹陷度识别模型。
步骤S400、获取经过所述井盖时的三维空间坐标信息和时间信息,结合所述井盖凹陷度等级,将所述井盖凹陷度等级标注到所述三维空间坐标信息中,完成对所述井盖的空间标记定位。
本发明实施例中,请参阅图3,通过调用智能终端的GPS传感器实时获取智能终端在运动过程中的位置,记录智能终端的位置信息,按照智能终端系统中的统一时间标准——时间戳,将载体车辆运动轨迹与加速度传感器获取的数据在相同时间线上进行同步,用于确定检测井盖的空间位置,可以想到的是在确定井盖位置后,为了便于后续对井盖的数据进行整理,可以将经过井盖时的加速度数据所对应的凹陷等级标注到井盖的位置信息中,并行成相应的ID号码。
通过手机GPS传感器采集到的GPS数据,即包含GPS定位所得的三维坐标和时间(X,Y,Z,t),具有时间稀疏性,其构建时间线的采样时间密度与加速度传感器构建时间线的采样时间密度可能存在不一致的情形,则本发明通过一个短时间段内的GPS轨迹位置点进行时间距离加权方式计算井盖位置,设检测出的井盖在时间线上的时间点为t0,所处的σ时间段为T0=[t0-σ,t0+σ],该井盖平面位置坐标(x0,y0)计算公式为:
Figure BDA0002181112220000101
其中,(xi,yi,ti)为一个手机GPS模块所采集到的定位记录,利用手机GPS数据构建载体车辆运动轨迹,耦合井盖识别,可实现对井盖及其凹陷度问题的空间定位。
为了对上述方法进行更加详细的说明,结合图4以其具体应用实施对本发明所述的方法做更进一步的解析。
较好的,所述智能终端可以是智能手机,车辆行驶在路面时智能手机内置的摄像头、加速度计和GPS传感器,手机摄像头自动开启,用户将摄像头对准路面,智能手机进行视频录制或者拍摄照片,方便用户可实时观察路面的路况,做到图像可视化,将摄像头所拍摄图片输入到预先训练好的图像识别模型,以对路面图像中的井盖进行自动识别,同时通过加速度计获取经过井盖时x、y、z三个方向的加速度数据,以及加速度数据的变化率来划分对应的井盖凹陷等级,将获取到的加速度数据输入已训练的井盖凹陷度识别模型输出相对应的井盖凹陷度等级,例如经过井盖时车辆加速度变化率小,则输出的等级为优,变化率越大则井盖的凹陷度越大输出的等级为差,变化率适中则输出等级为中,进一步地,在获取到井盖的凹陷度等级后需要对井盖进行定位,以保证井盖与其凹陷度等级相匹配,通过获取相同时间线上车辆经过井盖的加速度变化信息与此时车辆的空间位置信息来对井盖定位,并将井盖凹陷等级标注到井盖位置信息中以形成井盖ID号码进行分享,以便通过位置信息就可判断井盖的ID,进而得到其凹陷等级,通过此方法可以有效的帮助测量人员减少测量成本,提高测量的效率,并且在对井盖的凹陷经过定位分享后可以让用户提前知道路面情况,有效的避免因井盖凹陷而引起的交通事故,从而方便用户。
由上可见,本发明提供了基于智能终端的井盖凹陷检测方法,旨在通过将日常所使用的的智能终端应用到路面井盖凹陷检测中,丰富了道路井盖凹陷度测量手段,且能检测到专业检测车载设备无法达到的路段,扩大了道路井盖的可获取区域范围,使得民众在实际生活中也可进行道路井盖凹陷度的采集,为开源地理数据库提供了一种新的数据来源方式,大大降低了路面井盖凹陷度的检测成本,提高了检测的效率,为检测人员带来了方便。
基于上述方法实施例,如图5所示,本发明还提供了一种智能终端,所述智能终端包括:
图像识别模块510,用于获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖;具体如上所述。
加速度检测模块520,用于当识别出井盖,则获取智能终端从所述井盖上经过时的加速度值;具体如上所述。
凹陷度识别模块530,用于将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级;所述凹陷度识别模型是基于智能终端经过井盖时的加速度值与井盖凹陷度等级之间的对应关系训练而成的;具体如上所述。
井盖定位模块540,用于获取经过所述井盖时的三维空间坐标信息和时间信息,结合所述井盖凹陷度等级,将所述井盖凹陷度等级标注到所述三维空间坐标信息中,完成对所述井盖的空间标记定位;具体如上所述。
为了对上述模块进行更加详细的说明,结合图6对其具体应用实施做更进一步的解析;
基于车辆中智能手机内置的摄像头、加速度计和GPS传感器,手机摄像头自动开启,用户将摄像头对准路面,摄像头视觉图像信息传入图像识别模块,对道路上的井盖进行自动识别,加速度检测模块中的加速度计获取经过井盖时的加速度值,将加速度值输入到井盖凹陷度识别模块,分析车辆经过加速度变化,将加速度值进行等级划分(优、中、差),再使用深度学习技术对这些数据进行模型的训练,得到的训练模型可以对由井盖凹陷度自动进行等级划分,最后,井盖定位模块实时调用GPS数据,对检测的井盖进行定位,通过此方法将有效地解决道路井盖凹陷检测需要大量人力、物力的问题,为人们对道路中井盖凹陷度的检测提供有力的技术支持。
在上述方法的基础上,本发明还公开了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中,所述处理器执行所述计算机程序时实现所述方法的步骤。
在上述方法的基础上,本发明还公开了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述的方法的步骤。
本发明提供了一种基于智能终端的井盖凹陷检测方法及相关设备,通过获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖,当识别出井盖,则获取智能终端从所述井盖上经过时的加速度值,将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级,并结合获取经过所述井盖时的位置信息完成对所述井盖的空间标记定位。本发明所述方法通过基于智能终端对路面井盖凹陷情况的实时检测,只需利用现有智能终端摄像头就可对井盖进行识别,以及通过加速度对井盖的凹陷度进行等级划分,以使得检测路面井盖的凹陷时方便快捷,检测周期短且有效提升的路面井盖的检测的效率,同时无需增加任何硬件设施,为检测带来了方便,另外结合定位功能对井盖定位分享,使得用户可以提前预知路面情况,减少交通事故隐患,提高了终端的智能性,为用户带来方便。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于智能终端的井盖凹陷检测方法,其特征在于,所述方法包括:
获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖;
当所述路面图像中识别出井盖,则获取智能终端从所述井盖上经过时的加速度值;
将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级;所述凹陷度识别模型是基于标注有井盖凹陷度等级的加速度值样本数据训练而成的。
2.根据权利要求1所述的基于智能终端的井盖凹陷检测方法,其特征在于,所述获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖的步骤包括:
将所述路面图像输入到已训练的图像识别模型,得到图像中是否含有井盖的识别结果;所述图像识别模型是基于标注有井盖特征的训练图像样本训练而成的。
3.根据权利要求1所述的基于智能终端的井盖凹陷检测方法,其特征在于,所述凹陷度识别模型的训练步骤包括:
收集所述智能终端从所述井盖上经过时的加速度数据集,其中,所述加速度数据集包括多个从所述井盖上经过时加速度值;
对收集到的所述加速度数据集中的加速值进行井盖凹陷度等级标注;
将标注完成的所述加速度数据集输入预设的卷积神经网络模型,得到所述卷积神经网络模型输出的与各个加速度值相对应的井盖凹陷度等级的预测值;
根据各个加速值所对应井盖凹陷度等级的真实值与所述预测值之间的误差对所述卷积神经网络模型的参数进行修正,重复将所述加速度数据集输入预设卷积神经网络模型的步骤,直至所述误差在预设范围内,得到训练完成的凹陷度识别模型。
4.根据权利要求3所述的基于智能终端的井盖凹陷检测方法,其特征在于,所述凹陷度识别模型的训练步骤还包括:
计算从所述井盖上经过时x、y、z三个方向的加速度值的合成加速度acc,根据所述合成加速度acc的变化率Δacc,设定所述井盖凹陷度等级划分阈值。
5.根据权利要求4所述的基于智能终端的井盖凹陷检测方法,其特征在于,所述将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级的步骤之前还包括;
将经过所述井盖时的加速度值通过消除趋势项处理,得到修正后的加速度值;
将所述修正后的加速度值通过卡尔曼滤波进行消除噪音处理,得到消除噪音后的加速度值。
6.根据权利要求5所述的基于智能终端的井盖凹陷检测方法,其特征在于,所述将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级的步骤之后还包括:
获取经过所述井盖时的三维空间坐标信息和时间信息,结合所述井盖凹陷度等级,将所述井盖凹陷度等级标注到所述三维空间坐标信息中,完成对所述井盖的空间标记定位。
7.根据权利要求1所述的基于智能终端的井盖凹陷检测方法,其特征在于,所述获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖的步骤还包括:
开启智能终端的摄像头,获取智能终端运动时前方的路面视频图像,每隔预定时间获取所述路面视频图像视频关键帧,识别所述视频关键帧中是否含有井盖。
8.一种智能终端,其特征在于,包括:
图像识别模块,用于获取智能终端运动时前方的路面图像,并识别所述路面图像中是否含有井盖;
加速度检测模块,用于当识别出井盖,则获取智能终端从所述井盖上经过时的加速度值;
凹陷度识别模块,用于将所述加速度值输入到已训练的凹陷度识别模型,得到与所述加速度值相对应的井盖凹陷度等级;所述凹陷度识别模型是基于智能终端经过井盖时的加速度值与井盖凹陷度等级之间的对应关系训练而成的;
井盖定位模块,用于获取经过所述井盖时的三维空间坐标信息和时间信息,结合所述井盖凹陷度等级,将所述井盖凹陷度等级标注到所述三维空间坐标信息中,完成对所述井盖的空间标记定位。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910796505.6A 2019-08-27 2019-08-27 一种基于智能终端的井盖凹陷检测方法及相关设备 Active CN110728650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910796505.6A CN110728650B (zh) 2019-08-27 2019-08-27 一种基于智能终端的井盖凹陷检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910796505.6A CN110728650B (zh) 2019-08-27 2019-08-27 一种基于智能终端的井盖凹陷检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN110728650A true CN110728650A (zh) 2020-01-24
CN110728650B CN110728650B (zh) 2023-04-18

Family

ID=69217786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910796505.6A Active CN110728650B (zh) 2019-08-27 2019-08-27 一种基于智能终端的井盖凹陷检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN110728650B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508916A (zh) * 2020-12-12 2021-03-16 江西洪都航空工业集团有限责任公司 一种基于移动视频分析的道路井盖破损与丢失检测方法
CN112781556A (zh) * 2020-12-18 2021-05-11 西安中星测控有限公司 一种基于多数据融合滤波的井盖异动监测方法和装置
CN112906611A (zh) * 2021-03-05 2021-06-04 新疆爱华盈通信息技术有限公司 一种井盖检测方法、装置、电子设备及存储介质
CN112907739A (zh) * 2021-01-22 2021-06-04 中北大学 一种井盖高程差信息获取方法、装置及系统
CN113109591A (zh) * 2021-03-26 2021-07-13 浙江网新帮德信息服务有限公司 一种井盖松动检测方法、装置及存储介质
CN113362284A (zh) * 2021-05-20 2021-09-07 同济大学 一种道路井框差测量方法
CN113609891A (zh) * 2021-06-15 2021-11-05 北京瞭望神州科技有限公司 一种船只识别监测方法及系统
CN113724259A (zh) * 2021-11-03 2021-11-30 城云科技(中国)有限公司 井盖异常检测方法、装置及其应用
CN116852348A (zh) * 2023-06-01 2023-10-10 中国航空油料集团有限公司 井盖定位方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104442827A (zh) * 2014-11-12 2015-03-25 上海交通大学 基于智能手机的路面坑洞探测方法
CN109137993A (zh) * 2018-08-31 2019-01-04 浙江高韵天键通讯设备有限公司 一种智能井盖管理方法和系统
CN109798870A (zh) * 2019-03-13 2019-05-24 武汉夕睿光电技术有限公司 一种井盖沉降监测装置及移动设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104442827A (zh) * 2014-11-12 2015-03-25 上海交通大学 基于智能手机的路面坑洞探测方法
CN109137993A (zh) * 2018-08-31 2019-01-04 浙江高韵天键通讯设备有限公司 一种智能井盖管理方法和系统
CN109798870A (zh) * 2019-03-13 2019-05-24 武汉夕睿光电技术有限公司 一种井盖沉降监测装置及移动设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508916A (zh) * 2020-12-12 2021-03-16 江西洪都航空工业集团有限责任公司 一种基于移动视频分析的道路井盖破损与丢失检测方法
CN112781556A (zh) * 2020-12-18 2021-05-11 西安中星测控有限公司 一种基于多数据融合滤波的井盖异动监测方法和装置
CN112907739A (zh) * 2021-01-22 2021-06-04 中北大学 一种井盖高程差信息获取方法、装置及系统
CN112906611A (zh) * 2021-03-05 2021-06-04 新疆爱华盈通信息技术有限公司 一种井盖检测方法、装置、电子设备及存储介质
CN112906611B (zh) * 2021-03-05 2024-04-26 新疆爱华盈通信息技术有限公司 一种井盖检测方法、装置、电子设备及存储介质
CN113109591A (zh) * 2021-03-26 2021-07-13 浙江网新帮德信息服务有限公司 一种井盖松动检测方法、装置及存储介质
CN113109591B (zh) * 2021-03-26 2024-01-23 浙江网新帮德信息服务有限公司 一种井盖松动检测方法、装置及存储介质
CN113362284A (zh) * 2021-05-20 2021-09-07 同济大学 一种道路井框差测量方法
CN113609891A (zh) * 2021-06-15 2021-11-05 北京瞭望神州科技有限公司 一种船只识别监测方法及系统
CN113724259A (zh) * 2021-11-03 2021-11-30 城云科技(中国)有限公司 井盖异常检测方法、装置及其应用
CN116852348A (zh) * 2023-06-01 2023-10-10 中国航空油料集团有限公司 井盖定位方法、装置和系统
CN116852348B (zh) * 2023-06-01 2023-12-15 中国航空油料集团有限公司 井盖定位方法、装置和系统

Also Published As

Publication number Publication date
CN110728650B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110728650B (zh) 一种基于智能终端的井盖凹陷检测方法及相关设备
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
US20190130216A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN110753892A (zh) 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统
Douangphachanh et al. A study on the use of smartphones for road roughness condition estimation
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN109664820A (zh) 基于行车记录仪的驾驶提示方法、装置、设备和存储介质
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN111693972A (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
CN111735523B (zh) 基于视频识别的车重检测方法、装置及存储介质
CN113312508A (zh) 一种车辆图像检索方法及装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
JP2019220084A (ja) 解析装置、車載器、及びパターン解析補助装置
Daraghmi et al. Crowdsourcing-based road surface evaluation and indexing
CN112927303A (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
KR20150042544A (ko) 위치정보를 제공하는 단말기, 위치정보 측정 방법 및 시스템
CN108319931A (zh) 一种图像处理方法、装置及终端
US11837084B2 (en) Traffic flow estimation apparatus, traffic flow estimation method, traffic flow estimation program, and storage medium storing traffic flow estimation program
Al-Shargabi et al. A novel approach for the detection of road speed bumps using accelerometer sensor
CN108981729A (zh) 车辆定位方法和装置
WO2020194570A1 (ja) 標識位置特定システム及びプログラム
CN108765954B (zh) 基于snn密度st-optics改进聚类算法的道路交通安全状况监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant