CN111783700B - 一种路面异物自动识别预警方法和系统 - Google Patents

一种路面异物自动识别预警方法和系统 Download PDF

Info

Publication number
CN111783700B
CN111783700B CN202010642646.5A CN202010642646A CN111783700B CN 111783700 B CN111783700 B CN 111783700B CN 202010642646 A CN202010642646 A CN 202010642646A CN 111783700 B CN111783700 B CN 111783700B
Authority
CN
China
Prior art keywords
foreign matters
image information
target
image
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010642646.5A
Other languages
English (en)
Other versions
CN111783700A (zh
Inventor
白雪娇
李江涛
耿丹阳
艾云飞
孙云华
孙士凯
苏飞
赵鹏志
邓蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cccc Information Technology National Engineering Laboratory Co ltd
China Transport Telecommunications And Information Center
Original Assignee
Cccc Information Technology National Engineering Laboratory Co ltd
China Transport Telecommunications And Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cccc Information Technology National Engineering Laboratory Co ltd, China Transport Telecommunications And Information Center filed Critical Cccc Information Technology National Engineering Laboratory Co ltd
Priority to CN202010642646.5A priority Critical patent/CN111783700B/zh
Publication of CN111783700A publication Critical patent/CN111783700A/zh
Application granted granted Critical
Publication of CN111783700B publication Critical patent/CN111783700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种路面异物自动识别预警方法和系统，该方法包括以下步骤：数据采集单元通过各地灾隐患点安装摄像头获取图像信息；将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；通过结构相似度识别相邻时间段获取的图像信息的差异性；采用数学形态学方法简化提取的特征信息；采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测。本发明通过比较图像间在空间结构上的差异同时采用YOLOv2多目标检测识别模型从而识别和检测路面落石及其他地质灾害，解决公路路面及边坡地质灾害自动识别和预测预警的问题，提高图像识别和目标检测精度。

Description

一种路面异物自动识别预警方法和系统
技术领域
本发明涉及公路灾害防护技术领域，尤其涉及一种路面异物自动识别预警方法和系统。
背景技术
公路是国家交通大动脉，公路的安全、稳定是人民生命安全的保障。目前北京市对普通公路地质灾害监测尤其是路面落石主要以人工巡查为主，养护单位通过对山区公路及地质灾害隐患点段进行巡查、看守、值守，及时发现路面落石和地灾隐患点山体变化情况，以及时进行道路清理和预警宣传和车辆疏导等工作。然而人工巡查不可能实时巡查所有路段，对路面异物及隐患的发现是非实时的。同时，当遇到恶劣天气或发生地质灾害时，人工巡查存在一定的危险性。通过在公路沿线安装视频监控设备，利用视频监控技术实时的获取海量的影像和图像数据，及时获取路面和公路边坡状况，发现路面落石、塌方等地质灾害和潜在地质灾害，以便于各级管理人员实时查看地灾隐患点和路面和周边的实时图像。视频监控是了解公路运行状态的耳目，具有实时、直观、信息丰富、可追溯等特点，在一定程度上弥补了人工巡查的不足，在地质灾害隐患点实时监控、安全防范和应急指挥方面具有重要作用。但是视频监控系统获取的海量的视频和图片数据，远超过人类的手动处理能力，必须借助计算机自动化完成。同时，对公路地质灾害防护的要求是以主动提防为首要任务，因此实现系统中图像自动识别和目标检测，实现路面落石和地灾隐患的实时监测和主动预警，改革传统的公路路面异物及地质灾害巡查和管理模式，从根本上提高公路路面异物和地质灾害识别和管理的智能化水平，显著提高公路网安全性能和服务水平以及应急处置能力。
路面异物的自动识别预警即是应用目标自动识别技术通过一系列图像数据实现对路面异物等目标的自动地提取和识别。目前目标自动识别方法应用较广泛的是基于统计学习的自动目标识别方法，主要是利用神经网络、支持向量机、AdBaoost算法等统计学习方法通过对大量目标样本和非目标样本的学习得到一系列的统计特征，然后根据这些特征构建相应的模型，用于检测和识别目标。由于在构建模型的参数是从大量样本中提取的统计特征，因此能够更好的反应样本间的本质区别，具有较好的鲁棒性。但是对于本系统中路面异物自动识别检测，基于统计学习的自动目标识别方法具有较大的局限性。基于统计学习的自动目标识别方法需要对大量的目标样本和非目标样本进行训练学习获取特征，而现阶段路面异物样本的积累无法满足方法训练学习过程对样本量的需求，因此，需要通过图像识别路面异物，以达到有效提供路面异物预警信息。
发明内容
为克服相关技术中存在的问题，本发明实施例提供一种路面异物自动识别预警方法和系统，解决了遇到恶劣天气或发生地质灾害时，人工巡查存在一定的危险性和滞后性的问题。
本发明实施例提供一种路面异物自动识别预警方法，包括以下步骤：
数据采集单元通过各地灾隐患点安装摄像头获取图像信息；
将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；
通过结构相似度识别相邻时间段获取的图像信息的差异性；
采用数学形态学方法简化提取的特征信息；
采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为出现的机动车辆、非机动车辆和行人进行检测；
结合差异性信息和YOLOv2多目标检测识别模型的检测结果对路面异物进行识别预警。
进一步的，所述获取图像信息包括视频和抓拍图片。
进一步的，所述图像预处理技术包括图像滤波、变换、恢复、平滑以及增强。
进一步的，通过对比相邻时间段图像/视频间在亮度、对比度和结构度三个方面的差异性，从而识别相邻时间段图像中是否存在的异物。
进一步的，差异性公式如下：S(X,Y)＝l(X,Y)α·c(X,Y)β·s(X,Y)γ，式中l(X,Y)、c(X,Y)和s(X,Y)分别为亮度比较函数、对比度比较函数和结构比较函数；
μX、μY——X、Y子块像素值的均值，δX、δY——X、Y子块像素值方差，δXY——X和Y子块像素值的协方差，α、β、γ——均大于零，分别用来调整3个比较函数所占比重，取α＝β＝γ＝1，C1、C2、C3——用于避免分式出现异常情况引入的常量，其中C3＝C2/2，考虑到图像像素值的值域范围(0–1)及其对SSIM值的影响，所以C1＝C2＝0.0001。
进一步的，所述检测包括五个最大池化层及二十个卷积层，使用Linear激活函数，初始学习率为千分之一，学习过程中样本为在不同种类车辆在不同路段、光照下已标定好的机动车辆、非机动车辆和行人数据各五百张。
还包括，输出特征图，将图像分为nxn个区域，如果标注目标的中心位于某一区域，则该区域负责对该区域的图像进行计算，得到其bounding box的位置及置信度；通过bounding box和其对应的待检测目标概率、bounding box和真实位置区域的IOU积的关系反应该bounding box预测位置的精度，公式如下：其中，Pr(Object)为区域中是否检测到目标的概率，Pr(Object)＝1表示存在目标，Pr(Object)＝0表示不存在；为预测目标框与真实目标框的面积相交比，area(boxpred∩boxtruth)为预测目标框与真实目标框相交的面积，area(boxpred∪boxtruth)为预测目标框与真实目标框并集的面积；
如在区域中检测到目标，则对目标继续进一步分类判断，使用表示最终判断概略，同时将其与置信度Confidence相乘，得到该目标类别M的置信度Confidence(M)，如公式所示： 最终根据分类判断道路中存在的异物是否为通过车辆和行人，如检测结果为异物全部为车辆或行人，则表示道路中没有落石等危险物；如不全为车辆或行人，则进行警报提醒相关工作人员对该区域进行人工识别，以便对该区域实际情况进行判断。
一种路面异物自动识别预警系统，包括数据采集单元、通讯单元、数据库单元、数据分析单元和可视化显示单元，数据采集单元与通讯单元连接，数据库单元与数据采集单元连接，数据库单元与数据分析单元，数据分析单元与可视化显示单元连接，其中，
数据采集单元包括前端摄像头和云台，摄像头用于实时采集视频和图片信号，云台用于远程控制摄像头的监控区域和监控角度，还可控制画面调焦；
通讯单元采用DTU通信模块，兼容SMS短消息、GPRS/3G/4G等移动通信网络多种通信方式；
数据库单元用于存储视频和图像信号，并将获得的具有不同属性值的数据按照一定的阈值进行合并；
数据分析单元用于存储海量数据的数据库；
可视化显示单元用于将最终的分析结果通过不同方式显示出来，同时发布预警结果。
进一步的，所述数据分析单元还包括，运用数据挖掘技术从海量数据中提取有价值信息；然后运用图像分析识别技术，综合分析判断一定时间间隔的图像间的空间结构的差异以识别出异物，然后基于YOLOv2多目标检测识别模型对异物是否为路过的机动车辆、非机动车辆和行人进行检测，从而识别和检测路面落石等路面异物。
本发明的实施例提供的技术方案具有以下有益效果：通过比较图像间在空间结构上的差异同时采用YOLOv2多目标检测识别模型从而识别和检测路面落石及其他地质灾害，解决公路路面及边坡地质灾害自动识别和预测预警的问题，提高图像识别和目标检测精度，推动地质灾害自动识别理论的发展，通过将路面异物和地质灾害检测自动化，从而可以有效规避一些地质灾害危险，减少道路交通事故的发生。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明实施例中路面异物自动识别预警方法的流程图。
图2是本发明实施例中路面异物自动识别预警方法中的SSIM图。
图3是本发明实施例中路面异物自动识别预警系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置及相关应用、方法的例子。
图1是本发明实施例中路面异物自动识别预警方法的流程图，图2是本发明实施例中路面异物自动识别预警方法中的SSIM图，如图1和图2所示，该路面异物自动识别预警方法，包括以下步骤：
步骤101、数据采集单元通过各地灾隐患点安装摄像头获取图像信息。
获取图像信息包括视频和抓拍图片。
步骤102、将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取。
获取的数字图像中往往存在噪声比较多，图像中实体特征不清晰等原因，并且由于光线、气流、光学系统失真、相对运动以及图像在进行传输过程中受到噪声污染等影响，具体需要做的是消除源图像中的噪声，同时提高目标在源图像中的能量。
图像预处理技术包括图像滤波、变换、恢复、平滑以及增强，常采用图像压缩、图像平滑、图像去噪、图像灰度化以及图像二值化等方法，这些方法在具体应用时则是根据图像识别系统的需求。
步骤103、通过结构相似度识别相邻时间段获取的图像信息的差异性。
通过对比相邻时间段图像/视频间在亮度、对比度和结构度三个方面的差异性，从而识别相邻时间段图像中是否存在的异物。
差异性公式如下：S(X,Y)＝l(X,Y)α·c(X,Y)β·s(X,Y)γ，式中l(X,Y)、c(X,Y)和s(X,Y)分别为亮度比较函数、对比度比较函数和结构比较函数；
μX、μY——X、Y子块像素值的均值，δX、δY——X、Y子块像素值方差，δXY——X和Y子块像素值的协方差，α、β、γ——均大于零，分别用来调整3个比较函数所占比重，取α＝β＝γ＝1，C1、C2、C3——用于避免分式出现异常情况引入的常量，其中C3＝C2/2，考虑到图像像素值的值域范围(0–1)及其对SSIM值的影响，所以C1＝C2＝0.0001。
因摄像头的拍摄角度和方式保持不变，同一监控点图像中路面空间位置保持不变，确定公路路面所在空间位置为研究区域，取相邻时间段获取的图像A和B，定义图像A和B的研究区域的左上角第1行开始3×3局部像元子块为X域和Y域，考虑到图像的拍摄方式，采用横向循环比较，依次循环计算整个图A和B对比的SSIM值，生成SSIM值图。SSIM图中表现出的颜色越暗，表示区域内SSIM值越低，说明2个局部像元子块由亮度、对比度和结构度构成的结构信息差异越大，即路面上有异物。
根据生成的研究区域SSIM图中偏亮(SSIM值较大)和偏暗(SSIM值较小)局部区域的地理位置、大小和明暗程度对公路路面异物空间位置进行确定，并提取图像中异物图斑，SSIM法处理生成的SSIM图，能够明确区分目标和背景，但直接检测出的运动目标中既包括异物又有噪声斑点，还会存在正在通行的车，因此还需要对初步检测的结构进行后续处理，以得到正确的异物目标。
步骤104、采用数学形态学方法简化提取的特征信息。
步骤105、采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为出现的机动车辆、非机动车辆和行人进行检测。
检测包括五个最大池化层及二十个卷积层，使用Linear激活函数，初始学习率为千分之一，学习过程中样本为在不同种类车辆在不同路段、光照下已标定好的机动车辆、非机动车辆和行人数据各五百张。
采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测，输出特征图，将图像分为nxn个区域，如果标注目标的中心位于某一区域，则该区域负责对该区域的图像进行计算，得到其bounding box的位置及置信度；通过bounding box和其对应的待检测目标概率、bounding box和真实位置区域的IOU积的关系反应该bounding box预测位置的精度，公式如下：其中，Pr(Object)为区域中是否检测到目标的概率，Pr(Object)＝1表示存在目标，Pr(Object)＝0表示不存在；为预测目标框与真实目标框的面积相交比，area(boxpred∩boxtruth)为预测目标框与真实目标框相交的面积，area(boxpred∪boxtruth)为预测目标框与真实目标框并集的面积；
如在区域中检测到目标，则对目标继续进一步分类判断，使用表示最终判断概略，同时将其与置信度Confidence相乘，得到该目标类别M的置信度Confidence(M)，如公式所示： 最终根据分类判断道路中存在的异物是否为通过车辆和行人，如检测结果为异物全部为车辆或行人，则表示道路中没有落石等危险物；如不全为车辆或行人，则进行警报提醒相关工作人员对该区域进行人工识别，以便对该区域实际情况进行判断。
步骤106、结合差异性信息和YOLOv2多目标检测识别模型的检测结果对路面异物进行识别预警。
图3是本发明实施例中路面异物自动识别预警系统的结构示意图，如图3所示，该路面异物自动识别预警系统，包括数据采集单元1、通讯单元2、数据库单元3、数据分析单元4和可视化显示单元5，数据采集单元与通讯单元连接，数据库单元与数据采集单元连接，数据库单元与数据分析单元，数据分析单元与可视化显示单元连接。
数据采集单元包括前端摄像头和云台，摄像头用于实时采集视频和图片信号，云台用于远程控制摄像头的监控区域和监控角度，还可控制画面调焦。
通讯单元采用DTU通信模块，兼容SMS短消息、GPRS/3G/4G等移动通信网络多种通信方式。
数据库单元用于存储视频和图像信号，并将获得的具有不同属性值的数据按照一定的阈值进行合并。
数据分析单元用于存储海量数据的数据库，数据分析单元还包括，运用数据挖掘技术从海量数据中提取有价值信息；然后运用图像分析识别技术，综合分析判断一定时间间隔的图像间的空间结构的差异以识别出异物，然后基于YOLOv2多目标检测识别模型对异物是否为路过的机动车辆、非机动车辆和行人进行检测，从而识别和检测路面落石等路面异物。
可视化显示单元用于将最终的分析结果通过不同方式显示出来，同时发布预警结果。
采用了上述发明的实施例，通过比较图像间在空间结构上的差异同时采用YOLOv2多目标检测识别模型从而识别和检测路面落石及其他地质灾害，解决公路路面及边坡地质灾害自动识别和预测预警的问题，提高图像识别和目标检测精度，推动地质灾害自动识别理论的发展，通过将路面异物和地质灾害检测自动化，从而可以有效规避一些地质灾害危险，减少道路交通事故的发生。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (7)

1.一种路面异物自动识别预警方法，其特征在于，包括以下步骤：
数据采集单元通过各地灾隐患点安装摄像头获取图像信息；
将获取的图像信息进行处理，增强源图后像将获取的图像信息中各类特征进行提取；
通过结构相似度识别相邻时间段获取的图像信息的差异性，进一步通过对比相邻时间段图像/视频间在亮度、对比度和结构度三个方面的差异性，从而识别相邻时间段图像中是否存在的异物，
差异性公式如下：S(X，Y)＝1(X，Y)α·c(X，Y)β·s(X，Y)γ，式中I(X，Y)、c(X，Y)和s(X，Y)分别为亮度比较函数、对比度比较函数和结构比较函数；
μX、μY——X、Y子块像素值的均值，δX、δY——X、Y子块像素值方差，δXY——X和Y子块像素值的协方差，α、β、γ——均大于零，分别用来调整3个比较函数所占比重，取α＝β＝γ＝1，C1、C2、C3——用于避免分式出现异常情况引入的常量，其中C3＝C2/2，考虑到图像像素值的值域范围(0-1)及其对SSIM值的影响，所以C1＝C2＝0.0001；
采用数学形态学方法简化提取的特征信息；
采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测；
结合差异性信息和YOLOv2多目标检测识别模型的检测结果对路面异物进行识别预警。
2.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述获取图像信息包括视频和抓拍图片。
3.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述图像预处理技术包括图像滤波、变换、恢复、平滑以及增强。
4.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述检测包括五个最大池化层及二十个卷积层，使用Linear激活函数，初始学习率为千分之一，学习过程中样本为在不同种类车辆在不同路段、光照下已标定好的机动车辆、非机动车辆和行人数据各五百张。
5.根据权利要求1所述的路面异物自动识别预警方法，其特征在于，所述采用YOLOv2多目标检测识别模型对获取的图像信息中异物是否为机动车辆、非机动车辆和行人进行检测还包括，输出特征图，将图像分为nxn个区域，如果标注目标的中心位于某一区域，则该区域负责对该区域的图像进行计算，得到其bounding box的位置及置信度；通过bounding box和其对应的待检测目标概率、bounding box和真实位置区域的IOU积的关系反应该bounding box预测位置的精度，公式如下：
其中，Pr(Object)为区域中是否检测到目标的概率，Pr(Object)＝1表示存在目标，Pr(Object)＝0表示不存在；/>为预测目标框与真实目标框的面积相交比，area(boxpred∩boxtruth)为预测目标框与真实目标框相交的面积，area(boxpred∪boxtruth)为预测目标框与真实目标框并集的面积；
如在区域中检测到目标，则对目标继续进一步分类判断，使用表示最终判断概略，同时将其与置信度Confidence相乘，得到该目标类别M的置信度Confidence(M)，如公式所示： 最终根据分类判断道路中存在的异物是否为通过车辆和行人，如检测结果为异物全部为车辆或行人，则表示道路中没有落石等危险物；如不全为车辆或行人，则进行警报提醒相关工作人员对该区域进行人工识别，以便对该区域实际情况进行判断。
6.一种路面异物自动识别预警系统，其特征在于，包括数据采集单元、通讯单元、数据库单元、数据分析单元和可视化显示单元，数据采集单元与通讯单元连接，数据库单元与数据采集单元连接，数据库单元与数据分析单元，数据分析单元与可视化显示单元连接，其中，
数据采集单元包括前端摄像头和云台，摄像头用于实时采集视频和图片信号，云台用于远程控制摄像头的监控区域和监控角度，还可控制画面调焦；
通讯单元采用DTU通信模块，兼容SMS短消息、GPRS/3G/4G等移动通信网络多种通信方式；
数据库单元用于存储视频和图像信号，并将获得的具有不同属性值的数据按照一定的阈值进行合并；
数据分析单元用于存储海量数据的数据库；
可视化显示单元用于将最终的分析结果通过不同方式显示出来，同时发布预警结果。
7.根据权利要求6所述的路面异物自动识别预警系统，其特征在于，所述数据分析单元还包括，运用数据挖掘技术从海量数据中提取有价值信息；然后运用图像分析识别技术，综合分析判断一定时间间隔的图像间的空间结构的差异以识别出异物，然后基于YOLOv2多目标检测识别模型对异物是否为路过的机动车辆、非机动车辆和行人进行检测，从而识别和检测路面落石等路面异物。
CN202010642646.5A 2020-07-06 2020-07-06 一种路面异物自动识别预警方法和系统 Active CN111783700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010642646.5A CN111783700B (zh) 2020-07-06 2020-07-06 一种路面异物自动识别预警方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010642646.5A CN111783700B (zh) 2020-07-06 2020-07-06 一种路面异物自动识别预警方法和系统

Publications (2)

Publication Number Publication Date
CN111783700A CN111783700A (zh) 2020-10-16
CN111783700B true CN111783700B (zh) 2023-11-24

Family

ID=72759063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010642646.5A Active CN111783700B (zh) 2020-07-06 2020-07-06 一种路面异物自动识别预警方法和系统

Country Status (1)

Country Link
CN (1) CN111783700B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610039B (zh) * 2021-08-17 2024-03-15 北京融合汇控科技有限公司 基于云台相机的风漂异物识别方法
CN113902045B (zh) * 2021-12-09 2022-04-01 成都车晓科技有限公司 一种基于图像识别的车险现场快速定损方法
CN114973664A (zh) * 2022-05-17 2022-08-30 保银信科信息技术(湖北)有限公司 一种基于机器视觉的城市交通在线智能监测预警管理系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914688A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种城市道路障碍物识别系统
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN107548466A (zh) * 2016-04-27 2018-01-05 华为技术有限公司 一种检测道路障碍物的方法及装置
KR20180058624A (ko) * 2016-11-24 2018-06-01 고려대학교 산학협력단 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
CN108256424A (zh) * 2017-12-11 2018-07-06 中交信息技术国家工程实验室有限公司 一种基于深度学习的高分辨率遥感图像道路提取方法
CN108284793A (zh) * 2018-01-10 2018-07-17 深圳市鑫汇达机械设计有限公司 一种车辆辅助控制装置
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
EP3422321A1 (en) * 2017-06-30 2019-01-02 Advanced Digital Broadcast S.A. A road accident warning system and method
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法
CN110443208A (zh) * 2019-08-08 2019-11-12 南京工业大学 一种基于YOLOv2的车辆目标检测方法、系统及设备
CN110728308A (zh) * 2019-09-25 2020-01-24 华南理工大学 基于改进Yolov2目标检测和语音识别的交互式导盲系统及方法
CN110781757A (zh) * 2019-09-29 2020-02-11 中国航空无线电电子研究所 一种机场道面异物识别定位方法及系统
KR20200036079A (ko) * 2018-09-18 2020-04-07 전남대학교산학협력단 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
WO2020072918A1 (en) * 2018-10-05 2020-04-09 The Trustees Of Princeton University Automated system to measure multi-animal body part dynamics
CN111091049A (zh) * 2019-11-01 2020-05-01 东南大学 一种基于反向特征匹配的路面障碍物检测方法
CN111160199A (zh) * 2019-12-23 2020-05-15 云南省交通规划设计研究院有限公司 一种基于高分辨率遥感影像的公路灾害信息检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796202B2 (en) * 2017-09-21 2020-10-06 VIMOC Technologies, Inc. System and method for building an edge CNN system for the internet of things
CN113228042A (zh) * 2018-12-28 2021-08-06 辉达公司 自主机器应用中障碍物检测的距离

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914688A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种城市道路障碍物识别系统
CN107548466A (zh) * 2016-04-27 2018-01-05 华为技术有限公司 一种检测道路障碍物的方法及装置
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
KR20180058624A (ko) * 2016-11-24 2018-06-01 고려대학교 산학협력단 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
EP3422321A1 (en) * 2017-06-30 2019-01-02 Advanced Digital Broadcast S.A. A road accident warning system and method
CN108256424A (zh) * 2017-12-11 2018-07-06 中交信息技术国家工程实验室有限公司 一种基于深度学习的高分辨率遥感图像道路提取方法
CN108284793A (zh) * 2018-01-10 2018-07-17 深圳市鑫汇达机械设计有限公司 一种车辆辅助控制装置
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
KR20200036079A (ko) * 2018-09-18 2020-04-07 전남대학교산학협력단 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
WO2020072918A1 (en) * 2018-10-05 2020-04-09 The Trustees Of Princeton University Automated system to measure multi-animal body part dynamics
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法
CN110443208A (zh) * 2019-08-08 2019-11-12 南京工业大学 一种基于YOLOv2的车辆目标检测方法、系统及设备
CN110728308A (zh) * 2019-09-25 2020-01-24 华南理工大学 基于改进Yolov2目标检测和语音识别的交互式导盲系统及方法
CN110781757A (zh) * 2019-09-29 2020-02-11 中国航空无线电电子研究所 一种机场道面异物识别定位方法及系统
CN111091049A (zh) * 2019-11-01 2020-05-01 东南大学 一种基于反向特征匹配的路面障碍物检测方法
CN111160199A (zh) * 2019-12-23 2020-05-15 云南省交通规划设计研究院有限公司 一种基于高分辨率遥感影像的公路灾害信息检测方法

Also Published As

Publication number Publication date
CN111783700A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783700B (zh) 一种路面异物自动识别预警方法和系统
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
CN103824452B (zh) 一种轻量级的基于全景视觉的违章停车检测装置
TWI409718B (zh) 移動中車輛之車牌定位方法
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
CN105809679A (zh) 一种基于视觉分析的山区铁路边坡落石检测方法
KR20100119476A (ko) 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
KR101515166B1 (ko) 객체인식 기반의 주차장 이벤트 검지 시스템
CN101286239A (zh) 航拍交通视频车辆快速检测方法
CN111523397B (zh) 一种智慧灯杆视觉识别装置、方法及其系统和电子设备
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN109448365A (zh) 一种跨尺度空基平台区域道路交通系统综合监视方法
CN108765453B (zh) 基于视频流数据的高速公路团雾识别方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN110255318B (zh) 基于图像语义分割的电梯轿厢闲置物品检测的方法
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN109086682A (zh) 一种基于多特征融合的智能视频黑烟车检测方法
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
US8229170B2 (en) Method and system for detecting a signal structure from a moving video platform
CN107169969B (zh) 一种基于fpga的公路危岩崩塌堆积物大小测量及报警系统
CN115600124A (zh) 地铁隧道巡检系统及巡检方法
KR20210133827A (ko) 딥러닝 모델을 학습시키기 위한 장치 및 그 방법
CN110691224A (zh) 一种变电站周界视频智能检测系统
CN110909607B (zh) 一种智慧地铁运营中客流感知的装置系统
CN117294818A (zh) 一种用于机场施工的工地全景监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant