CN108898085B - 一种基于手机视频的道路病害智能检测方法 - Google Patents

一种基于手机视频的道路病害智能检测方法 Download PDF

Info

Publication number
CN108898085B
CN108898085B CN201810637986.1A CN201810637986A CN108898085B CN 108898085 B CN108898085 B CN 108898085B CN 201810637986 A CN201810637986 A CN 201810637986A CN 108898085 B CN108898085 B CN 108898085B
Authority
CN
China
Prior art keywords
road
images
disease
mobile phone
road disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810637986.1A
Other languages
English (en)
Other versions
CN108898085A (zh
Inventor
吴艳兰
杨辉
朱晓峻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201810637986.1A priority Critical patent/CN108898085B/zh
Publication of CN108898085A publication Critical patent/CN108898085A/zh
Application granted granted Critical
Publication of CN108898085B publication Critical patent/CN108898085B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • G06V20/39Urban scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了道路检测技术领域的一种基于手机视频的道路病害智能检测方法,包括以下步骤:第一步、采集道路病害图像,制作成不同类型的道路病害训练样本集,构建一个深度学习网络,对搜集的样本进行训练,得到一个好的深度学习模型;第二步、用手机采集具有GPS信息的视频,并将视频分割成不同时间序列的图像;第三步、将采集的视频图像代入训练好的模型中,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标;第四步、对手机参数进行标定,获取单目视觉量测的计算参数,根据获取道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置等信息;本发明适用于更多道路病害类型、准确度高。

Description

一种基于手机视频的道路病害智能检测方法
技术领域
本发明涉及道路检测技术领域,具体涉及一种基于手机视频的道路病害智能检测方法。
背景技术
随着我国基础交通建设的不断完善,道路交通在我国经济和人民生活占有重要的地位。然而随着道路的建设,后期的养护成为主要问题,如何能在道路病害出现初期发现问题,并采取相应的措施,这样可以大大节约路面养护费用,所有如何在不影响正常交通秩序的情况下,快速对整段路面做全面地调查并定位到问题区,成为急待解决的一大难题。传统的基于人工的处理方法已不能适应道路发展的要求。速度慢、危险、影响交通、不精确是人工方法的主要缺点,因此需要研究一种快速的方法来提高检测的效率。传统基于人工视觉的道路病害检测方法已经不能满足道路养护的需求,并存在很多不足,如检测人员的安全、检测效率低下、检测成本高。
近几年,基于图像或者视频的道路病害检测方法的出现大大提高了道路病害的检测效率。如专利CN201410037445.7公开了一种道路病害成因检测顺序的确定方法,包括如下步骤:(1)根据以往养护工程资料进行统计,建立病害现象对应的病害成因发生概率矩阵A;(2)根据以往养护工程资料进行统计,建立病害成因引起各病害现象的概率矩阵B;(3)根据以往养护工程资料进行统计,建立归一化向量h;(4)根据现场技术检测,建立病害现象发生向量w;(5)计算病害成因分布概率p;(6)依据病害成因分布概率的大小,确定病害成因检测顺序。该方法确定病害成因分布概率时,综合考虑了已发生病害现象对道路病害成因的贡献和未发生病害现象对道路病害成因额影响,计算过程更加科学合理,计算结果可靠度更高,能更科学地指导病害成因的检测工作。然而这些基于图像或者视频的检测方法仍存在一些问题,如需要大量图像的预处理工作、采用的模式识别的方法识别道路病害种类有限、检测中一些阈值需要花费大量的人力进行调参。基于此,本发明设计了一种基于手机视频的道路病害智能检测方法,以解决上述问题。
发明内容
本发明的目的在于提供一种基于手机视频的道路病害智能检测方法,以解决上述背景技术中提出的现有装置检测效率低的问题。
为实现上述目的,本发明提供如下技术方案:一种基于手机视频的道路病害智能检测方法,所述具体步骤如下:
第一步:采集各种道路病害图像,制作成不同类型的道路病害训练样本集,构建一个道路病害图像识别的卷积神经网络,并将训练集导入进行训练,使有效特征层层传递,最终训练出一个好的模型。
第二步:采用一个固定姿态的手机对待检测道路进行视频记录,同时采集不同时间视频的GPS位置信息,视频采集完成后,将视频分割成不同时间序列的图像,并对不同时间时间序列图像的GPS信息进行插值,得到不同图像的GPS位置;
第三步:将采集的视频图像代入训练好的模型中,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标;
第四步:利用已知实际坐标的标靶对与采集视频时相同姿态的手机进行标定,获取单目视觉量测的计算参数,同时利用所述第二步中不同图像GPS信息、所述第三步中获取道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置等信息。
优选的,所述深度学习模型是采用事先采集各种道路病害图像样本,制作成不同类型的道路病害训练样本集,通过深度学习方法训练的模型。
优选的,所述采集各种道路病害图像具体步骤为在被检测道路上行驶,通过手机视频录制记录道路影像,并将影像中具体特征的道路病害情况做成图片。
优选的,所述将采集的视频图像代入训练好的模型进行识别,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标。
优选的,所述获取单目视觉量测的计算参数后,储存计算参数,然后根据图像GPS信息和道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置等信息,形成分析图表。
与现有技术相比,本发明的有益效果是:本发明通过深度学习的方法对手机视频中道路进行检测,获取道路病害信息,相比传统人工方法,安全、效率高、成本低,相比基于模式识别的道路图像识别方法,适用于更多道路病害类型、准确度高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种基于手机视频的道路病害智能检测方法,具体步骤如下:
第一步:采集各种道路病害图像,制作成不同类型的道路病害训练样本集,构建一个道路病害图像识别的卷积神经网络,并将训练集导入进行训练,使有效特征层层传递,最终训练出一个好的模型。
第二步:采用一个固定姿态的手机对待检测道路进行视频记录,同时采集不同时间视频的GPS位置信息,视频采集完成后,将视频分割成不同时间序列的图像,并对不同时间时间序列图像的GPS信息进行插值,得到不同图像的GPS位置;
第三步:将采集的视频图像代入训练好的模型中,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标;
第四步:利用已知实际坐标的标靶对与采集视频时相同姿态的手机进行标定,获取单目视觉量测的计算参数,同时利用第二步中不同图像GPS信息、第三步中获取道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置等信息。
其中,深度学习模型是采用事先采集各种道路病害图像样本,制作成不同类型的道路病害训练样本集,通过深度学习方法训练的模型,事先采集,工作高效,采集各种道路病害图像具体步骤为在被检测道路上行驶,通过手机视频录制记录道路影像,并将影像中具体特征的道路病害情况做成图片,将采集的视频图像代入训练好的模型进行识别,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标,获取单目视觉量测的计算参数后,储存计算参数,然后根据图像GPS信息和道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置等信息,形成分析图表。
本实施例的一个具体应用为:首先对道路病害的图像进行采集,对每个图像样本标注好病害类别标签,再根据不同道路病害将图像样本分成不同的道路病害训练集,然后构建一个道路病害图像识别的卷积神经网络,并将训练集导入进行训练,使有效特征层层传递,最终训练出一个好的模型。然后采用一个固定姿态的手机对待检测道路进行视频记录,同时采集不同时间视频的GPS位置信息,视频采集完成后,将视频分割成不同时间序列的图像,将图像代入训练好的模型中进行道路病害识别,识别出不同病害类型的道路,采用语义分割的方法提取道路病害的外轮廓边界,并对不同图像的GPS位置进行插值,获取病害图像的GPS位置。为了更好的获取道路病害的信息,在手机采集视频之前进行相机参数的标定,计算出相机的位置参数,根据已提取道路病害边界和相机参数,计算道路病害的尺寸、面积以及位置,为后期的道路养护提供丰富的道路病害信息。
传统人工检测方法为了保证工作人员安全,需要频繁封锁道路,对交通流畅程度产生影响,而该方法只需要从检测道路上行驶,记录道路影像即可;传统人工检测检测程度低,道路病害的判断需要一定的检验,而普通检测人员往往检验却反,造成检测率较低,而该方法采用深度学习方法,事先对道路病害的样本进行学习,对道路病害的判断统一采用一个衡量标准,检测率较高;传统人工检测的方法成本高,人工检测一条路往往需要几天时间,甚至更长时间,而该方法仅需花时间在电脑中进行计算,人力成本较低。
该方法适用更多道路病害类型、准确度高。模式识别方法提取道路病害需要人为根据道路病害提取相应的图像特征,设定相应的阈值,如果实际道路病害图像与人为设定的阈值有差别,会出现无法提取的现象,而基于深度学习的道路病害采用大量样本让智能算法自动学习建立相应的模型,人工干预少,最终提取的道路病害更加准确。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于手机视频的道路病害智能检测方法,其特征在于:具体步骤如下:
第一步:采集各种道路病害图像,制作成不同类型的道路病害训练样本集,构建一个道路病害图像识别的卷积神经网络,并将训练集导入进行训练,使有效特征层层传递,最终训练出一个好的模型;
第二步:采用一个固定姿态的手机对待检测道路进行视频记录,同时采集不同时间视频的GPS位置信息,视频采集完成后,将视频分割成不同时间序列的图像,并对不同时间时间序列图像的GPS信息进行插值,得到不同图像的GPS位置;
第三步:将采集的视频图像代入训练好的模型中,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标;
第四步:利用已知实际坐标的标靶对与采集视频时相同姿态的手机进行标定,获取单目视觉量测的计算参数,同时利用所述第二步中不同图像GPS信息、所述第三步中获取道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置信息。
2.根据权利要求1所述的一种基于手机视频的道路病害智能检测方法,其特征在于:所述模型是采用事先采集各种道路病害图像样本,制作成不同类型的道路病害训练样本集,通过深度学习方法训练的模型。
3.根据权利要求1所述的一种基于手机视频的道路病害智能检测方法,其特征在于:所述采集各种道路病害图像具体步骤为在被检测道路上行驶,通过手机视频录制记录道路影像,并将影像中具体特征的道路病害情况做成图片。
4.根据权利要求1所述的一种基于手机视频的道路病害智能检测方法,其特征在于:所述将采集的视频图像代入训练好的模型进行识别,识别出不同类型的道路病害,同时利用语义分割提取道路病害的矢量边界以及相应图像中像素坐标。
5.根据权利要求1所述的一种基于手机视频的道路病害智能检测方法,其特征在于:所述获取单目视觉量测的计算参数后,储存计算参数,然后根据图像GPS信息和道路病害边界的像素坐标,计算道路病害的尺寸、面积、实际位置信息,形成分析图表。
CN201810637986.1A 2018-06-20 2018-06-20 一种基于手机视频的道路病害智能检测方法 Expired - Fee Related CN108898085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810637986.1A CN108898085B (zh) 2018-06-20 2018-06-20 一种基于手机视频的道路病害智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810637986.1A CN108898085B (zh) 2018-06-20 2018-06-20 一种基于手机视频的道路病害智能检测方法

Publications (2)

Publication Number Publication Date
CN108898085A CN108898085A (zh) 2018-11-27
CN108898085B true CN108898085B (zh) 2022-06-21

Family

ID=64345555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810637986.1A Expired - Fee Related CN108898085B (zh) 2018-06-20 2018-06-20 一种基于手机视频的道路病害智能检测方法

Country Status (1)

Country Link
CN (1) CN108898085B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598731B (zh) * 2018-12-07 2022-04-15 北京中交睿达科技有限公司 一种经济型道路巡查方法
CN109685124A (zh) * 2018-12-14 2019-04-26 斑马网络技术有限公司 基于神经网络的道路病害识别方法及装置
CN110349119B (zh) * 2019-05-27 2020-05-19 北京邮电大学 基于边缘检测神经网络的路面病害检测方法和装置
CN110189317A (zh) * 2019-05-30 2019-08-30 上海卡罗网络科技有限公司 一种基于深度学习的道路影像智能采集和识别方法
CN111638229B (zh) * 2019-10-08 2023-07-18 上海大学 基于Web的机场道面病害与卫星图双向定位关联方法
CN110910354A (zh) * 2019-11-07 2020-03-24 安徽乐道信息科技有限公司 道路检测车及道路检测方法、装置
CN111080620B (zh) * 2019-12-13 2024-03-19 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111553236B (zh) * 2020-04-23 2022-06-07 福建农林大学 基于道路前景图像的路面病害目标检测与实例分割方法
CN112198899A (zh) * 2020-09-30 2021-01-08 安徽乐道信息科技有限公司 基于无人飞行器的道路检测方法、设备和存储介质
CN113111704B (zh) * 2021-03-02 2023-05-12 郑州大学 基于深度学习的机场道面病害异物检测方法及系统
CN113592798B (zh) * 2021-07-21 2023-08-15 山东理工大学 一种道路病害智能辨识方法、系统、终端及介质
CN113963285B (zh) * 2021-09-09 2022-06-10 山东金宇信息科技集团有限公司 一种基于5g的道路养护方法及设备
CN113808098A (zh) * 2021-09-14 2021-12-17 丰图科技(深圳)有限公司 道路病害识别方法、装置、电子设备及可读存储介质
CN115115823B (zh) * 2022-08-25 2023-02-03 深圳市城市交通规划设计研究中心股份有限公司 道路病害定位矫正方法、装置、设备及可读存储介质
CN115424232B (zh) * 2022-11-04 2023-02-14 深圳市城市交通规划设计研究中心股份有限公司 一种路面坑槽的识别和评价方法、电子设备及存储介质
CN116012327A (zh) * 2022-12-28 2023-04-25 北京道仪数慧科技有限公司 道路病害检测方法及载具
CN116485843B (zh) * 2023-05-24 2024-08-06 江苏全栈智能科技有限公司 一种道路病害识别追踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8364334B2 (en) * 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US10943148B2 (en) * 2016-12-02 2021-03-09 Apple Inc. Inspection neural network for assessing neural network reliability
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术(北京)有限公司 用于检测道路的方法和装置
CN107230202B (zh) * 2017-05-16 2020-02-18 淮阴工学院 路面病害图像的自动识别方法和系统

Also Published As

Publication number Publication date
CN108898085A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108898085B (zh) 一种基于手机视频的道路病害智能检测方法
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN113903081B (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN112233092A (zh) 一种用于无人机电力巡检智能缺陷检测的深度学习方法
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN113435336B (zh) 一种基于人工智能的跑步智能计时系统及方法
CN107833213A (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN109615862A (zh) 道路车辆交通运动状态参数动态获取方法及装置
CN113065578A (zh) 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN114565675B (zh) 一种在视觉slam前端去除动态特征点的方法
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN109684986B (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
CN111027377A (zh) 一种双流神经网络时序动作定位方法
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN115719475B (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
CN112633722A (zh) 车载道路安全风险评估系统及方法
CN109635717A (zh) 一种基于深度学习的矿用行人检测方法
CN102663491A (zh) 一种基于surf特征的高密度人群计数方法
CN113837063B (zh) 一种基于强化学习的冰壶运动现场分析和辅助决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220621

CF01 Termination of patent right due to non-payment of annual fee