CN106951837A - 一种面向飞行校验的斑马线检测定位方法 - Google Patents

一种面向飞行校验的斑马线检测定位方法 Download PDF

Info

Publication number
CN106951837A
CN106951837A CN201710126355.9A CN201710126355A CN106951837A CN 106951837 A CN106951837 A CN 106951837A CN 201710126355 A CN201710126355 A CN 201710126355A CN 106951837 A CN106951837 A CN 106951837A
Authority
CN
China
Prior art keywords
zebra stripes
keyunit
central point
processing unit
bright fringes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710126355.9A
Other languages
English (en)
Other versions
CN106951837B (zh
Inventor
史晓峰
罗晓燕
周亮宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710126355.9A priority Critical patent/CN106951837B/zh
Publication of CN106951837A publication Critical patent/CN106951837A/zh
Application granted granted Critical
Publication of CN106951837B publication Critical patent/CN106951837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明提供一种面向飞行校验的斑马线检测定位方法，首先对于线阵相机获取到的行扫数据以10行作为处理的基本单元，从第一个单元开始对其进行自适应阈值和形态学开闭运算得到预处理后的结果，统计相应的第一行像素值的情况，如果numZebra>nLS‑2且benchmarkL>150，那么就能确定斑马线首次在该单元中出现。然后通过利用与它相邻的3个单元构成一幅包含斑马线中心点的图像，通过之前的关键单元所确定的中心暗条纹的两个边界确定一个感兴趣区域，在该区域内通过角点检测找到相应的两个角点，通过计算这两个角点的中点得到斑马线的中心点。本发明由于能够为飞机的飞行校验提供支持，因此具有广阔的应用价值和市场前景。

Description

一种面向飞行校验的斑马线检测定位方法
技术领域
一种面向飞行校验的斑马线检测定位方法，通过无人机上的线阵相机采集图像，属于数字图像处理领域，特别涉及图像分割和角点检测的数字图像处理技术。
背景技术
飞行校验是指为保证飞行安全，使用装有专门校验设备的飞行校验飞机，按照飞行校验的有关规范，检查和评估各种导航、雷达、通信等设备的空间信号的质量及其容限，以及机场的进、离港飞行程序，并依据检查和评估的结果出具飞行校验报告的过程。
而飞机在进入跑道时，通过检测出来的斑马线的位置信息能够确定出激发点的时间，从而根据这一时刻的接收到的导航信号进行飞机导航系统的纠偏，对顺利完成飞行校验有着重要的辅助作用。
由于飞机降落的时间不定，早晚都有可能，所以设计的算法还需在不同的光照条件下有一定的鲁棒性，以保证在各种光照强度下都能够检测出斑马线的中心点。从技术上讲，这一过程包括图像的阈值分割、形态学处理、角点检测。
对于获取到的斑马线的图像，一个明显的特点就是其横向像素值的跳变具有明显的规律性。飞机跑道的斑马线的白条纹的宽度是大致相同的，而且对于整个斑马线来说，中间有一个最宽的黑条纹。因此，本文主要就是根据斑马线的这一特点设计算法，最终准确地检测出斑马线的中心点并给出其位置信息。
发明内容
(一)要解决的技术问题
本发明提供一种面向飞行校验的斑马线检测定位方法，本方法采用了自适应阈值的图像分割方法，使得斑马线的中心点检测能够在各种光照条件下进行。而且该方法还采用了形态学的处理手段，对图像中出现的噪声进行了消除以及对斑马线的白条纹的内部孔洞进行填充，使得处理后的斑马线图像能有一个很好的视觉效果。本方法还通过感兴趣区域的提取优化了算法的处理速度和检测精度，使得斑马线中心点的检测实时化。
(二)技术方案
一种机场斑马线中心点实时检测的方法，其特征在于包括以下具体步骤：
步骤一、通过飞机上搭载的线阵相机将获取到的行扫数据输入到计算机中，其中每10行行扫数据作为一个处理单元。
步骤二、从第一个处理单元开始，先对其进行预处理，包括自适应阈值和形态学开闭运算，然后通过检测是否存在斑马线的特征确定包含斑马线的关键单元KeyUnit，并计算KeyUnit中暗条纹的最大值benchmarkB，得到在KeyUnit中斑马线中心暗条纹的左右边界的列坐标：KeyLeft和KeyRight。
步骤三、将第KeyUnit-2、第KeyUnit-1、第KeyUnit和第KeyUnit+1个处理单元拼接成一副图像keyframe，在keyframe中根据KeyLeft和KeyRight确定一个包含斑马线中心暗条纹以及部分左右两条相邻亮条纹的感兴趣区域ROI。然后对其进行预处理，包括自适应阈值和形态学开闭运算。在ROI内进行角点检测找出斑马线中心点左右的两个的亮条纹上的角点，通过计算两个角点的中心点得到斑马线的中心点。
(三)有益效果
现有的关于斑马线检测的专利都是基于城市道路的，其特点是斑马线亮暗条纹均匀分布，而对于机场道面的斑马线来说其分布有一个明显的区别。机场的斑马线中间有一个明显较宽的暗条纹，因此，本发明提出的方法会利用这一特点先确定该较宽的暗条纹的左右边界，然后利用角点检测在感兴趣区域ROI上找到离斑马线中点最近的两条亮条纹上的角点，通过求这两个角点的中点得到斑马线的中心点的位置信息。
本发明采用了各种图像处理的方法来实现斑马线中心点的检测，充分利用了斑马线本身具有的明显特征。针对可能面对的各种光照条件下获取到的图像，我们采用了自适应阈值分割的方法将斑马线和背景有效地分割开。而对于图像中的噪点和斑马线本省内部可能存在的孔洞问题，我们采用了形态学开闭运算的方法。由于实时性的要求，在斑马线中心点的检测过程中我们采用了感兴趣提取的方法来提高处理的速度，而且通过这种方法在缩减了检测区域的同时提高了检测的精度。本方法通过对斑马线的检测和定位为飞机的校验过程提供了激发点的时间信息，通过这一时刻所接受到的导航信息能够对飞机的导航系统进行纠偏，因此具有广阔的应用价值和市场前景。
附图说明
图1：机场斑马线中心点检测方法流程图；
图2：白天条件下KeyUnit的原图；
图3：在ROI中进行角点检测的结果；
图4：在Keyframe中显示斑马线中心点的检测结果；
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。本发明的具体实现流程如图1所示，各部分具体实施细节如下：
1.通过飞机上搭载的线阵相机将获取到的行扫数据输入到计算机中，其中每10行行扫数据作为一个处理单元。
机场道面的行扫数据是通过离地面大约15m的无人机上搭载的线阵相机获取得到的。由于线阵相机在每个时刻得到的都是一行的图像数据，所以为了处理的方便，将每10行的行扫数据拼接得到基本的处理单元，通过对每个单元进行处理分析最终完成对斑马线中心点的检测和定位。
2.从第一个处理单元开始，先对其进行预处理，包括自适应阈值和形态学开闭运算，然后通过检测是否存在斑马线的特征确定包含斑马线的关键单元KeyUnit，并计算KeyUnit中暗条纹的最大值benchmarkB，得到在KeyUnit中斑马线中心暗条纹的左右边界的列坐标：KeyLeft和KeyRight。
对当前处理单元做预处理时，首先通过自适应阈值的方法将斑马线提取出来，然后再利用形态学开闭运算对处理单元像进行去噪和斑马线孔洞粘连。预处理后如果当前处理单元出现宽度几乎一致的数条亮条纹，那么就可以确定该处理单元为关键单元，具体的处理步骤为：
统计当前单元的第1行像素的情况。首先计算像素值由0变255的上升点的纵坐标upi(1≤i≤nup)以及像素值由255变0的下降点的纵坐标downi′(1≤i′≤ndown)，为了能够鲁棒地判断该帧是否是斑马线出现的第一帧，需要完整的亮条纹的个数作为判断依据，所以upi和downi′必须成对匹配，如果up1>down1则从downi′中删除down1，然后将upi和downi′一一对应，得到各个完整亮条纹的长度LightStreaksi(1≤i≤nLS)、亮条纹间暗条纹的长度BlackStreaksi′(1≤i′≤nLS-1)，相应的计算公式如下所示：
LightStreaksi＝downi-upi(1≤i≤nLS) (1)
BlackStreaksi′＝upi′+1-downi′(1≤i′≤nLS-1) (2)
记LightStreaksi中的最大值记为benchmarkL，以threshold1作为阈值，统计LightStreaksi中所有长度与benchmarkL之差在threshold1以内的亮条纹的个数numZebra。如果numZebra>nLS-2且benchmarkL>150则认为该处理单元是KeyUnit。
得到KeyUnit后，计算出BlackStreaksi′中的最大值benchmarkB，然后得到斑马线中心暗条纹的左右边界的列坐标：KeyLeft和KeyRight。
3.将第KeyUnit-2、第KeyUnit-1、第KeyUnit和第KeyUnit+1个处理单元拼接成一副图像keyframe，在keyframe中根据KeyLeft和KeyRight确定一个包含斑马线中心暗条纹以及部分左右两条相邻亮条纹的感兴趣区域ROI。然后对其进行预处理，包括自适应阈值和形态学开闭运算。在ROI内进行角点检测找出斑马线中心点左右的两个的亮条纹上的角点，通过计算两个角点的中心点得到斑马线的中心点。
在步骤2确定了KeyUnit以后，由于斑马线的中心点不一定出现在KeyUnit中，因此需要扩大检测范围，将第KeyUnit-2、第KeyUnit-1、第KeyUnit和第KeyUnit+1个处理单元拼接成一副图像keyframe。根据KeyLeft和KeyRight确定一个包含斑马线中心暗条纹以及部分左右两条相邻亮条纹的感兴趣区域ROI，然后对其进行预处理，包括自适应阈值和形态学开闭运算。该ROI中含有两个明显的强角点，分布在斑马线中心左右两条亮条纹上，通过对ROI进行角点检测得到这两个角点，并计算这两点间的中心点得到斑马线的中心点。
本发明可用于机场斑马线中心点的检测和定位，对于辅助飞机进行飞行校验有着重要意义，具有广阔的市场前景和应用价值。

Claims (1)

1.一种面向飞行校验的斑马线检测定位方法，其特征在于包括以下步骤：
(1)将通过无人机上搭载的线阵相机获取到的机场道面图像输入到计算机中，由于线阵相机在每个时刻得到的都是一行的图像数据，所以为了处理的方便，将每10行的行扫数据拼接得到基本的处理单元，通过对每个单元进行处理分析最终完成对斑马线中心点的检测和定位。
(2)从第一个处理单元开始，先对其进行预处理，首先通过自适应阈值的方法将斑马线提取出来，然后再利用形态学开闭运算对其进行去噪和斑马线孔洞粘连。
(3)预处理后如果当前处理单元出现宽度几乎一致的数条亮条纹，那么就可以确定该处理单元为关键单元KeyUnit，具体的处理步骤为：
统计当前单元的第1行像素的情况。首先计算像素值由0变255的上升点的纵坐标upi(1≤i≤nup)以及像素值由255变0的下降点的纵坐标downi′(1≤i′≤ndown)，为了能够鲁棒地判断该帧是否是斑马线出现的第一帧，需要完整的亮条纹的个数作为判断依据，所以upi和downi′必须成对匹配，如果up1>down1则从downi′中删除down1，然后将upi和downi′一一对应，得到各个完整亮条纹的长度LightStreaksi(1≤i≤nLS)、亮条纹间暗条纹的长度BlackStreaksi′(1≤i′≤nLS-1)，相应的计算公式如下所示：
LightStreaksi＝downi-upi(1≤i≤nLS) (1)
BlackStreaksi′＝upi′+1-downi′(1≤i′≤nLS-1) (2)
记LightStreaksi中的最大值记为benchmarkL，以threshold1作为阈值，统计LightSreaksi中所有长度与benchmarkL之差在threshold1以内的亮条纹的个数numZebra。如果numZebra>nLS-2且benchmarkL>150则认为该处理单元是KeyUnit。
(4)得到KeyUnit后，计算出BlackStreaksi′中的最大值benchmarkB，然后得到斑马线中心暗条纹的左右边界的列坐标：KeyLeft和KeyRight。
(5)在步骤2确定了KeyUnit以后，由于斑马线的中心点不一定出现在KeyUnit中，因此需要扩大检测范围，将第KeyUnit-2、第KeyUnit-1、第KeyUnit和第KeyUnit+1个处理单元拼接成一副图像keyframe。根据KeyLeft和KeyRight确定一个包含斑马线中心暗条纹以及部分左右两条相邻亮条纹的感兴趣区域ROI，然后对其进行预处理，包括自适应阈值和形态学开闭运算。该ROI中含有两个明显的强角点，分布在斑马线中心左右两条亮条纹上，通过对ROI进行角点检测得到这两个角点，并计算这两点间的中心点得到斑马线的中心点。
CN201710126355.9A 2017-03-06 2017-03-06 一种面向飞行校验的斑马线检测定位方法 Active CN106951837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710126355.9A CN106951837B (zh) 2017-03-06 2017-03-06 一种面向飞行校验的斑马线检测定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710126355.9A CN106951837B (zh) 2017-03-06 2017-03-06 一种面向飞行校验的斑马线检测定位方法

Publications (2)

Publication Number Publication Date
CN106951837A true CN106951837A (zh) 2017-07-14
CN106951837B CN106951837B (zh) 2020-07-14

Family

ID=59466758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710126355.9A Active CN106951837B (zh) 2017-03-06 2017-03-06 一种面向飞行校验的斑马线检测定位方法

Country Status (1)

Country Link
CN (1) CN106951837B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784119A (zh) * 2018-12-11 2019-05-21 田丰 光学码生成装置、解码装置、编码、解码方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509089A (zh) * 2011-11-29 2012-06-20 青岛科技大学 逐行扫描识别斑马线及测量斑马线距离的方法
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法
CN103500338A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
JP2015103249A (ja) * 2013-11-27 2015-06-04 富士通株式会社 画像中のゼブラクロッシングの検出装置及び方法
CN106355159A (zh) * 2016-09-07 2017-01-25 遵义师范学院 一种基于垂直投影积分的斑马线快速检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509089A (zh) * 2011-11-29 2012-06-20 青岛科技大学 逐行扫描识别斑马线及测量斑马线距离的方法
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法
CN103500338A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
JP2015103249A (ja) * 2013-11-27 2015-06-04 富士通株式会社 画像中のゼブラクロッシングの検出装置及び方法
CN106355159A (zh) * 2016-09-07 2017-01-25 遵义师范学院 一种基于垂直投影积分的斑马线快速检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. RIVEIRO ET AL.: "Automatic detection of zebra crossings from mobile LiDAR data", 《OPTICS & LASER TECHNOLOGY》 *
赵娟: "斑马线检测与识别算法研究", 《中国优秀硕士学位论文 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784119A (zh) * 2018-12-11 2019-05-21 田丰 光学码生成装置、解码装置、编码、解码方法和系统
CN109784119B (zh) * 2018-12-11 2021-10-26 北京天立秀科技有限公司 光学码生成装置、解码装置、编码、解码方法和系统

Also Published As

Publication number Publication date
CN106951837B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN109636732B (zh) 一种深度图像的空洞修复方法以及图像处理装置
Wu et al. An active contour model based on texture distribution for extracting inhomogeneous insulators from aerial images
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
CN107292297A (zh) 一种基于深度学习和重叠率跟踪的视频车流量检测方法
CN111178161B (zh) 一种基于fcos的车辆追踪方法及系统
CN109389086A (zh) 检测无人机影像目标的方法和系统
CN102903120A (zh) 基于时空条件信息的运动目标检测方法
CN104899839A (zh) 基于ViBe算法的鬼影快速抑制方法
US10861172B2 (en) Sensors and methods for monitoring flying objects
CN104183142A (zh) 一种基于图像视觉处理技术的车流量统计方法
CN104778727A (zh) 基于视频监控处理技术的浮动车统计方法
CN103400155A (zh) 基于图半监督学习的色情视频检测方法
CN110827262A (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN107067752A (zh) 基于无人机航拍图像的车速估算系统及方法
CN111325773A (zh) 运动目标的检测方法、装置、设备及可读存储介质
CN113781526A (zh) 一种家畜计数识别系统
CN106650738A (zh) 一种基于凹点匹配的玉米穗部粘连籽粒分割方法及系统
CN108830204A (zh) 面对目标的监控视频中异常检测方法
CN106951837A (zh) 一种面向飞行校验的斑马线检测定位方法
CN108038856A (zh) 基于改进多尺度分形增强的红外小目标检测方法
CN108960012A (zh) 特征点检测方法、装置及电子设备
CN110136453A (zh) 基于lk局部差分光流法的车流量检测方法
CN112017243B (zh) 一种介质能见度识别方法
CN107742115A (zh) 一种基于视频监控的运动目标物检测追踪的方法及系统
CN109784229B (zh) 一种地面建筑物数据融合的复合识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Yanbo

Inventor after: Shi Xiaofeng

Inventor after: Luo Xiaoyan

Inventor after: Zhou Liangyu

Inventor before: Shi Xiaofeng

Inventor before: Luo Xiaoyan

Inventor before: Zhou Liangyu

GR01 Patent grant
GR01 Patent grant