CN111325079A - 一种应用于车载视觉系统的路面凹坑检测方法 - Google Patents

一种应用于车载视觉系统的路面凹坑检测方法 Download PDF

Info

Publication number
CN111325079A
CN111325079A CN201811544770.7A CN201811544770A CN111325079A CN 111325079 A CN111325079 A CN 111325079A CN 201811544770 A CN201811544770 A CN 201811544770A CN 111325079 A CN111325079 A CN 111325079A
Authority
CN
China
Prior art keywords
image
pit
closed
area
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811544770.7A
Other languages
English (en)
Inventor
许静
张立平
刘轩
张品
乐国庆
苏帅
陈渊博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huahang Radio Measurement Research Institute
Original Assignee
Beijing Huahang Radio Measurement Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huahang Radio Measurement Research Institute filed Critical Beijing Huahang Radio Measurement Research Institute
Priority to CN201811544770.7A priority Critical patent/CN111325079A/zh
Publication of CN111325079A publication Critical patent/CN111325079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明旨在提供一种应用于车载视觉系统的路面凹坑检测方法,包括以下步骤:步骤S1、图像采集:获取行驶道路前方的的路面凹坑图像作为输入图像;步骤S2、对输入图像进行逆透视变换,将图像坐标变换到世界坐标平面,将透视图像效果转换为俯视效果;步骤S3、对逆透视变换图像,进行边缘提取;步骤S4、对边缘检测结果图像进行形态学处理;步骤S5、封闭边缘轮廓检测,提取该区域;步骤S6、对该区域凹坑判定,若满足,则输出该区域位置。本发明能有效检测和识别凹坑。

Description

一种应用于车载视觉系统的路面凹坑检测方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种应用于车载视觉系统的路面凹坑检测方法。
背景技术
路面凹坑一般是指路面向下凹陷,呈碗状的区域。近年来,由于路面凹坑而给交通安全带来的隐患越来越大,导致交通事故不断增长。基于车载视觉系统的道路凹坑检测算法是指通过视觉方法对行驶方向前方道路图像进行路面凹坑检测,并提供凹坑所在位置预警并指导驾车人员进行规避,从而大大提高行车的安全性。
路面凹坑检测问题的难点在于需对高速行驶道路上的凹坑和对具有不同形状的凹坑进行有效检测,主要难点如下:(1)由于实际道路受到不同外力、不同风化、损伤的影响,形成的凹坑形状差别较大,凹坑极容易和裂缝、路面斑块相混淆。当凹坑损伤面较大的情况下,凹坑比较容易检测,但是当凹坑损伤面较小时,凹坑难以检测。(2)当凹坑距离汽车较远时,即凹坑在图像中的成像面积较小且容易形变,难以准确的检测到凹坑。
目前应用于路面凹坑检测的方法国内外学者研究较少,从现有文献可知,目前的检测方法主要借助于LED线光源辅助的检测方法。其主要思想是通过LED线光源光带成像是否为一条直线来判断,如果路面存在凹坑,光带则会在凹坑处发生形状的变化,通过光带形状的变化来进行是否存在凹坑的判断,有较少基于视觉的路面凹坑检测方法研究。
发明内容
鉴于上述的分析,本发明旨在提供一种应用于车载视觉系统的路面凹坑检测方法,有效检测和识别凹坑。
本发明包括以下步骤:
步骤S1、图像采集:获取行驶道路前方的的路面凹坑图像作为输入图像;
步骤S2、对输入图像进行逆透视变换,将图像坐标变换到世界坐标平面,将透视图像效果转换为俯视效果;
步骤S3、对逆透视变换图像,进行边缘提取;
步骤S4、对边缘检测结果图像进行形态学处理;
步骤S5、封闭边缘轮廓检测,提取该区域;
步骤S6、对该区域凹坑判定,若满足,则输出该区域位置。
进一步,所述步骤S2的逆透视变换公式如下:
Figure BDA0001909065670000021
图像坐标:(u,v);世界坐标系的Z平面,表示为图像坐标的函数:X(u,v),Y(u,v);摄像头水平与垂直视场角的一半:α,β;摄像头的俯仰角和偏航角:θ,γ;图像的宽、高像素数:m,n;摄像头的中心在世界坐标系中的位置:x,y,h。
进一步,所述步骤S3采用边缘检测算法进行边缘提取。
进一步,所述S5封闭边缘轮廓检测利用连通域检测算法。
进一步,所述S6用圆形率进行判断该封闭区域是否满足凹坑的条件。
进一步,所述S6的圆形率进行判断的方法为:
步骤S601、由步骤S5获得闭合连通区域的面积A和闭合区域的边界长度l;
步骤S602、根据圆形率的定义公式,判断图中闭合区域是否接近圆形,从而判定是否为凹坑;圆形率的计算公式如下:
Figure BDA0001909065670000022
其中l为闭合区域的边界长度,A为闭合区域的面积,M表示待判定的闭合区域,com表示圆形率;
步骤S603、凹坑的具体判定方法为设置一个经验值p来进行阈值处理,即com<p认为是凹坑,否则判定为其它。
本发明有益效果如下:
本发明适用于车载视觉系统应用环境中的路面凹坑检测,基于凹坑边界具有一定的圆形率的特征,通过提取凹坑区域的典型特征,有效检测出路面凹坑的具体位置,从而给驾驶员提供预警进而规避。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明提供的目标检测方法流程图;
图2为路面凹坑图像;
图3为逆透视变换图像。
图4为边缘检测图像。
图5为封闭区域填充后图像。
图6为凹坑检测结果图像。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理。
本发明的一个具体实施例,公开了一种用于车载视觉系统的路面凹坑检测方法;如图1所示,包括以下步骤:
步骤S1、图像采集。根据车载视觉系统的应用场景,需关注当前行驶方向前方的路面凹坑,因此获取行驶道路前方的的路面凹坑图像作为输入图像,如图2所示。
步骤S2、对输入图像进行逆透视变换,逆透视变换结果如图3所示。由于输入的图像属于图像坐标视角,凹坑呈现出来的状态为扁圆形,再远的地方就只能呈现为一条短线,这将不利于凹坑的检测。因此需将输入图像进行逆透视变换将图像坐标变换到世界坐标平面,将透视图像效果转换为俯视效果,对路面凹坑进行形状还原,并在此基础上进行检测。
根据相机成像原理推导出其逆透视变换的公式,具体如下:
Figure BDA0001909065670000031
根据摄像头安装位置和具体型号,可获得采图摄像头的内参和外参,具体如下:
(1)图像坐标:(u,v)
(2)世界坐标系的Z平面,表示为图像坐标的函数:X(u,v),Y(u,v)
(3)摄像头水平与垂直视场角的一半:α,β
(4)摄像头的俯仰角和偏航角:θ,γ
(5)图像的宽、高像素数:m,n
(6)摄像头的中心在世界坐标系中的位置:x,y,h
步骤S3、对逆透视变换图像,采用边缘检测算法进行边缘提取,结果如图4所示。对逆透视变换图像进行统计,发现大部分的凹坑都为圆形或类圆形,其边缘大部分为闭合的形状,因此采用边缘检测算法,根据图像的闭合情况来实现凹坑的检测。
步骤S4、对边缘检测结果图像进行形态学处理,实现断裂边缘的连接,从而获得最终闭合边缘图像,如图5所示。边缘检测算法中相关参数的设置可能会导致检测出的边缘存在非闭合的情况,需使用形态学处理实现断裂边缘的连接。
步骤S5、封闭边缘轮廓检测。利用连通域检测算法找出图中的闭合轮廓,并提取该区域。
步骤S6、凹坑判定。用圆形率进行判断该封闭区域是否满足凹坑的条件,若满足,则输出该区域位置。
具体包括以下子步骤:
步骤S601、由步骤S5获得闭合连通区域的面积A和闭合区域的边界长度l。
步骤S602、根据圆形率的定义公式,判断图中闭合区域是否接近圆形,从而判定是否为凹坑。圆形率的计算公式如下:
Figure BDA0001909065670000041
其中l为闭合区域的边界长度,A为闭合区域的面积,M表示待判定的闭合区域,com表示圆形率。
步骤S603、凹坑的具体判定方法为设置一个经验值p来进行阈值处理,即com<p认为是凹坑,否则判定为其它。
步骤S7、输出结果。对步骤S6中输出凹坑区域位置,将逆透视视角坐标转换为图像坐标,并标出实际检测到的位置,如图6所示。
综上所述,本发明实施例提供的用于车载视觉系统的路面凹坑检测方法,适用于车载视觉系统中的路面凹坑检测。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种应用于车载视觉系统的路面凹坑检测方法,包括以下步骤:
步骤S1、图像采集:获取行驶道路前方的的路面凹坑图像作为输入图像;
步骤S2、对输入图像进行逆透视变换,将图像坐标变换到世界坐标平面,将透视图像效果转换为俯视效果;
步骤S3、对逆透视变换图像,进行边缘提取;
步骤S4、对边缘检测结果图像进行形态学处理;
步骤S5、封闭边缘轮廓检测,提取该区域;
步骤S6、对该区域凹坑判定,若满足,则输出该区域位置。
2.如权利要求1所述的方法,其特征在于,所述步骤S2的逆透视变换公式如下:
Figure FDA0001909065660000011
图像坐标:(u,v);世界坐标系的Z平面,表示为图像坐标的函数:X(u,v),Y(u,v);摄像头水平与垂直视场角的一半:α,β;摄像头的俯仰角和偏航角:θ,γ;图像的宽、高像素数:m,n;摄像头的中心在世界坐标系中的位置:x,y,h。
3.如权利要求1所述的方法,其特征在于,所述步骤S3采用边缘检测算法进行边缘提取。
4.如权利要求1所述的方法,其特征在于,所述S5封闭边缘轮廓检测利用连通域检测算法。
5.如权利要求1所述的方法,其特征在于,所述S6用圆形率进行判断该封闭区域是否满足凹坑的条件。
6.如权利要求5所述的方法,其特征在于,所述S6的圆形率进行判断的方法为:
步骤S601、由步骤S5获得闭合连通区域的面积A和闭合区域的边界长度l;
步骤S602、根据圆形率的定义公式,判断图中闭合区域是否接近圆形,从而判定是否为凹坑;圆形率的计算公式如下:
Figure FDA0001909065660000021
其中l为闭合区域的边界长度,A为闭合区域的面积,M表示待判定的闭合区域,com表示圆形率;
步骤S603、凹坑的具体判定方法为设置一个经验值p来进行阈值处理,即com<p认为是凹坑,否则判定为其它。
CN201811544770.7A 2018-12-17 2018-12-17 一种应用于车载视觉系统的路面凹坑检测方法 Pending CN111325079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811544770.7A CN111325079A (zh) 2018-12-17 2018-12-17 一种应用于车载视觉系统的路面凹坑检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811544770.7A CN111325079A (zh) 2018-12-17 2018-12-17 一种应用于车载视觉系统的路面凹坑检测方法

Publications (1)

Publication Number Publication Date
CN111325079A true CN111325079A (zh) 2020-06-23

Family

ID=71168481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811544770.7A Pending CN111325079A (zh) 2018-12-17 2018-12-17 一种应用于车载视觉系统的路面凹坑检测方法

Country Status (1)

Country Link
CN (1) CN111325079A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787669A (zh) * 2020-07-13 2020-10-16 福建夜夜明新能源科技有限公司 一种基于物联网技术的太阳能路灯管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法
US20130079990A1 (en) * 2011-09-28 2013-03-28 Honda Research Institute Europe Gmbh Road-terrain detection method and system for driver assistance systems
WO2016207749A1 (en) * 2015-06-23 2016-12-29 Mobile Telephone Networks (Proprietary) Limited A device and method of detecting potholes
CN106503636A (zh) * 2016-10-12 2017-03-15 同济大学 一种基于视觉图像的道路视距检测方法及装置
CN108564629A (zh) * 2018-03-23 2018-09-21 广州小鹏汽车科技有限公司 一种车载摄像头外部参数的标定方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法
US20130079990A1 (en) * 2011-09-28 2013-03-28 Honda Research Institute Europe Gmbh Road-terrain detection method and system for driver assistance systems
WO2016207749A1 (en) * 2015-06-23 2016-12-29 Mobile Telephone Networks (Proprietary) Limited A device and method of detecting potholes
CN106503636A (zh) * 2016-10-12 2017-03-15 同济大学 一种基于视觉图像的道路视距检测方法及装置
CN108564629A (zh) * 2018-03-23 2018-09-21 广州小鹏汽车科技有限公司 一种车载摄像头外部参数的标定方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王江波, 要求5做了进一步限定。对比文件3(《住区避难圈》,王江波, *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787669A (zh) * 2020-07-13 2020-10-16 福建夜夜明新能源科技有限公司 一种基于物联网技术的太阳能路灯管理系统

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
CN107392103B (zh) 路面车道线的检测方法及装置、电子设备
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
US8983136B2 (en) Traffic sign detecting method and traffic sign detecting device
US9754172B2 (en) Three-dimenisional object detection device
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN107891808B (zh) 行车提醒方法、装置及车辆
RU2568777C2 (ru) Устройство обнаружения движущихся тел и система обнаружения движущихся тел
Yan et al. A method of lane edge detection based on Canny algorithm
JP5223675B2 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
US9189691B2 (en) Three-dimensional object detection device and three-dimensional object detection method
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
CN110659552B (zh) 有轨电车障碍物检测及报警方法
JP5874831B2 (ja) 立体物検出装置
EP2717219A1 (en) Object detection device, object detection method, and object detection program
CN106679633A (zh) 一种车载测距系统及方法
CN104077756A (zh) 一种基于车道线置信度的方向滤波方法
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
Chiu et al. Real-time traffic light detection on resource-limited mobile platform
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
CN111325079A (zh) 一种应用于车载视觉系统的路面凹坑检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200623