CN106018409B - 一种机场跑道异物和裂纹的识别系统及其检测识别方法 - Google Patents

一种机场跑道异物和裂纹的识别系统及其检测识别方法 Download PDF

Info

Publication number
CN106018409B
CN106018409B CN201610543353.5A CN201610543353A CN106018409B CN 106018409 B CN106018409 B CN 106018409B CN 201610543353 A CN201610543353 A CN 201610543353A CN 106018409 B CN106018409 B CN 106018409B
Authority
CN
China
Prior art keywords
runway
image
edge
crackle
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610543353.5A
Other languages
English (en)
Other versions
CN106018409A (zh
Inventor
李芃
刘洪丹
王宇超
傅荟璇
张兰勇
孙希威
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201610543353.5A priority Critical patent/CN106018409B/zh
Publication of CN106018409A publication Critical patent/CN106018409A/zh
Application granted granted Critical
Publication of CN106018409B publication Critical patent/CN106018409B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机场跑道异物和裂纹的识别系统及其检测识别方法，该系统包括摄像头、FPGA处理器、DSP处理器，所述摄像头、FPGA处理器、DSP处理器依次连接，所述FPGA处理器和DSP处理器分别连接有显示模块。该识别方法是S1、摄像头采集机场跑道路面的跑道彩色图像；S2、FPGA读取跑道彩色图并转为跑道灰度图像，进行Sobel边缘检测；S3、边缘检测后一路存储到SDRAM中，另一路进行Hough变换，去除标线；S4、形态学滤波；S5、检测跑道图像中是否有异物和裂纹，若有将道面边缘检测图像送DSP处理；S6、对边缘检测图像进行填充，形成特征，S7、特征提取，识别出是异物还是裂纹。

Description

一种机场跑道异物和裂纹的识别系统及其检测识别方法
技术领域
本发明涉及到机场跑道裂纹和异物检测及目标智能识别系统技术领域，具体地说涉及一种机场跑道异物和裂纹的识别系统及其检测识别方法。
背景技术
机场跑道维护是一项重要工作，对于机场而言，机场跑道道面的完好率和机场跑道是否有异物是飞行安全中非常重要的指标。首先在机场跑道上，对飞机起飞降落有一定威胁的是机场跑道裂纹，机场跑道受到飞机起飞降落、自然因素如风吹日晒等影响，跑道形成损坏。在裂纹刚形成时，对飞机安全威胁不大，但如果不能及时发现和维护，裂纹周围的跑道会慢慢被侵蚀，造成裂纹变深变宽，此时飞机起飞和降落高速滑行时，裂纹就会对飞机轮胎造成一定的损伤，严重时可能爆胎，直接影响飞机的起降安全。其次对于飞机起飞降落时，带动气流速度较大，在跑道上的异物在高速气流的作用下可能对飞机造成蒙皮损伤，或者被吸进发动机，损坏发动机，或者划破高速运行的飞机轮胎造成飞机爆胎。因此，跑道上的异物对飞机安全具有严重威胁。
目前针对机场跑道道面的异物和裂纹检测，通常需要工作人员定期人工检查，费时费力，效率低下。国内外研究了大量的基于计算机视觉的跑道道面的异物和裂缝检测方法，但是在成本方面价格昂贵，不适合普及。在技术方面，国内外很多采用基于固定高频雷达扫描检测技术，而我国的高频雷达技术发展缓慢，技术达不到较高的应用要求，造成国内的相关研究进展缓慢。
发明内容
本发明的目的在于针对上述现有技术的缺陷，提供一种机场跑道异物和裂纹的识别系统及其检测识别方法，采用一种全向移动机器人平台，视觉系统采用光学设备作为图像采集设备，结合嵌入式DSP+FPGA架构微处理器和相关图像算法实现机场跑道的异物检测和识别，检测和识别率较高，满足实时性要求，成本较低，便于推广。
为了实现上述目的，本发明的技术方案是：
一种机场跑道异物和裂纹的识别系统及其检测识别方法，包括摄像头、FPGA处理器、DSP处理器，所述摄像头、FPGA处理器、DSP处理器依次连接，所述FPGA处理器和DSP处理器分别连接有显示模块。
作为对上述技术方案的改进，所述摄像头为CMOS摄像头。
作为对上述技术方案的改进，所述FPGA处理器外部扩展有一片SDRAM和一片SRAM；所述DSP处理器外部扩展有2片SDRAM和一片FLASH。
作为对上述技术方案的改进，所述摄像头连接有供电模块和辅助光照模块。
本发明提供了一种利用上述系统对机场跑道异物和裂纹进行检测识别的方法，该方法的步骤是：
S1、摄像头采集机场跑道路面的跑道彩色图像；
S2、FPGA读取摄像头采集的跑道彩色图像，并将跑道彩色图像利用算法转为跑道灰度图像，再将跑道灰度图像利用Sobel算法进行边缘检测；
S3、Sobel边缘检测后的图像分成两路，一路存储到FPGA的SDRAM中，另一路进行Hough变换，检测跑道灰度图像中是否有标线，当有标线时，去除标线；
S4、对边缘检测处理后的跑道图像进行形态学滤波，利用先腐蚀后膨胀的算法，去除跑道边缘检测图像中的细小噪声；
S5、检测跑道图像中是否有异物和裂纹，统计跑道边缘检测图像中的像素值为1的个数，当大于某一个阈值T后认为跑道图像中有异物或者是裂纹，将跑道边缘检测图像通过在FPGA内部构建的异步FIFO发送到DSP进行目标识别；
S6、DSP接收到边缘检测图像后，对边缘图像内部进行填充，使边缘图像成为一个整体；
S7、然后利用算法提取边缘图像的面积，周长，矩形度，圆形度，长宽比特征，利用这些特征，在DSP内部构建的SVM智能分类器上完成识别分类，识别出是异物还是裂纹。
作为对上述技术方案的改进，跑道边缘检测图像中标线的去除方法为：当Hough变换检测到标线后，记录下标线坐标，读出SDRAM存储的图像，同时将记录的标线坐标点的像素值置为零，从而去除掉标线。
与现有技术相比，本发明具有的优点和积极效果是：
本发明的机场跑道异物和裂纹的识别系统及其检测识别方法，采用光学摄像头，使用FPGA+DSP硬件架构，结合相关图像处理算法进行机场跑道异物和裂纹检测识别，1、光学设备，成本低廉，便于维护；2、FPGA+DSP的硬件图像处理架构，可以充分发挥FPGA处理器和DSP处理器的各自的优点，两个处理器分工明确，相互协作；模块化设计，便于以后系统升级和维护；3、图像处理算法是软件算法，采用现有的较为成熟的算法，相互组合配套使用，完成系统功能。算法有便于修改等优点；4、各部分实现模块化设计，方便更换、升级和维护。
附图说明
图1为本发明的结构示意图；
图2为本发明的方法流程步骤图；
图3为本发明的FPGA与DSP的连接示意图。
具体实施方式
下面结合附图和具体实施方式对本发明技术作进一步详细说明。
如图1、2、3所示，本发明的机场跑道异物和裂纹的识别系统，包括摄像头、FPGA处理器、DSP处理器，所述摄像头、FPGA处理器、DSP处理器依次连接，所述FPGA处理器和DSP处理器分别连接有显示模块。
所述摄像头为CMOS摄像头。
所述FPGA处理器外部扩展有一片SDRAM和一片SRAM；所述DSP处理器外部扩展有2片SDRAM和一片FLASH。
所述摄像头连接有供电模块和辅助光照模块。
本发明并提供了一种利用上述系统对机场跑道异物和裂纹进行检测识别的方法，该方法的步骤是：
S1、摄像头采集机场跑道路面的跑道彩色图像；
S2、FPGA读取摄像头采集的跑道彩色图像，并将跑道彩色图像利用算法转为跑道灰度图像，再将跑道灰度图像利用Sobel算法进行边缘检测；
S3、Sobel边缘检测后的图像分成两路，一路存储到FPGA的SDRAM中，另一路进行Hough变换，检测跑道灰度图像中是否有标线，当有标线时，去除标线；
S4、对边缘检测处理后的跑道图像进行形态学滤波，利用先腐蚀后膨胀的算法，去除跑道边缘检测图像中的细小噪声；
S5、检测跑道图像中是否有异物和裂纹，统计跑道边缘检测图像中的像素值为1的个数，当大于某一个阈值T后认为跑道图像中有异物或者是裂纹，将跑道边缘检测图像通过在FPGA内部构建的异步FIFO发送到DSP进行目标识别；
S6、DSP接收到边缘检测图像后，对边缘图像内部进行填充，使边缘图像成为一个整体；
S7、然后利用算法提取边缘图像的面积，周长，矩形度，圆形度，长宽比特征，利用这些特征，在DSP内部构建的SVM智能分类器上完成识别分类，识别出是异物还是裂纹。
作为对上述技术方案的改进，跑道边缘检测图像中标线的去除方法为：当Hough变换检测到标线后，记录下标线坐标，读出SDRAM存储的图像，同时将记录的标线坐标点的像素值置为零，从而去除掉标线。
本发明的机场跑道异物和裂纹的识别系统及其检测识别方法，采用光学摄像头，使用FPGA+DSP硬件架构，结合相关图像处理算法进行机场跑道异物和裂纹检测识别，1、光学设备，成本低廉，便于维护；2、FPGA+DSP的硬件图像处理架构，可以充分发挥FPGA处理器和DSP处理器的各自的优点，两个处理器分工明确，相互协作；模块化设计，便于以后系统升级和维护；3、图像处理算法是软件算法，采用现有的较为成熟的算法，相互组合配套使用，完成系统功能。算法有便于修改等优点；4、各部分实现模块化设计，方便更换、升级和维护。
以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种机场跑道异物和裂纹的检测识别方法，包括机场跑道异物和裂纹的识别系统，该机场跑道异物和裂纹的识别系统包括摄像头、FPGA处理器、DSP处理器，所述摄像头、FPGA处理器、DSP处理器依次连接，所述FPGA处理器和DSP处理器分别连接有显示模块；其特征在于：该检测识别方法的步骤是：
S1、摄像头采集机场跑道路面的跑道彩色图像；
S2、FPGA读取摄像头采集的跑道彩色图像，并将跑道彩色图像利用算法转为跑道灰度图像，再将跑道灰度图像利用Sobel算法进行边缘检测；
S3、Sobel边缘检测后的图像分成两路，一路存储到FPGA的SDRAM中，另一路进行Hough变换，检测跑道灰度图像中是否有标线，当有标线时，去除标线；
S4、对边缘检测处理后的跑道图像进行形态学滤波，利用先腐蚀后膨胀的算法，去除跑道边缘检测图像中的细小噪声；
S5、检测跑道图像中是否有异物和裂纹，统计跑道边缘检测图像中的像素值为1的个数，当大于某一个阈值T后认为跑道图像中有异物或者是裂纹，将跑道边缘检测图像通过在FPGA内部构建的异步FIFO发送到DSP进行目标识别；
S6、DSP接收到边缘检测图像后，对边缘图像内部进行填充，使边缘图像成为一个整体；
S7、然后利用算法提取边缘图像的面积，周长，矩形度，圆形度，长宽比特征，利用这些特征，在DSP内部构建的SVM智能分类器上完成识别分类，识别出是异物还是裂纹。
2.根据权利要求1所述的检测识别方法，其特征在于：跑道边缘检测图像中标线的去除方法为：当Hough变换检测到标线后，记录下标线坐标，读出SDRAM存储的图像，同时将记录的标线坐标点的像素值，置为零，从而去除掉标线。
3.根据权利要求1所述的检测识别方法，其特征在于：所述摄像头为CMOS摄像头。
4.根据权利要求1所述的检测识别方法，其特征在于：所述FPGA处理器外部扩展有一片SDRAM和一片SRAM；所述DSP处理器外部扩展有2片SDRAM和一片FLASH。
5.根据权利要求1所述的检测识别方法，其特征在于：所述摄像头连接有供电模块和辅助光照模块。
CN201610543353.5A 2016-06-29 2016-06-29 一种机场跑道异物和裂纹的识别系统及其检测识别方法 Expired - Fee Related CN106018409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610543353.5A CN106018409B (zh) 2016-06-29 2016-06-29 一种机场跑道异物和裂纹的识别系统及其检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610543353.5A CN106018409B (zh) 2016-06-29 2016-06-29 一种机场跑道异物和裂纹的识别系统及其检测识别方法

Publications (2)

Publication Number Publication Date
CN106018409A CN106018409A (zh) 2016-10-12
CN106018409B true CN106018409B (zh) 2019-04-16

Family

ID=57108883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610543353.5A Expired - Fee Related CN106018409B (zh) 2016-06-29 2016-06-29 一种机场跑道异物和裂纹的识别系统及其检测识别方法

Country Status (1)

Country Link
CN (1) CN106018409B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106597556B (zh) * 2016-12-09 2019-01-15 北京无线电计量测试研究所 一种机场跑道异物检测系统背景对消的方法
CN107263511A (zh) * 2017-05-26 2017-10-20 哈尔滨工程大学 一种全向机场跑道检测机器人系统及其控制方法
CN107481233A (zh) * 2017-08-22 2017-12-15 广州辰创科技发展有限公司 一种应用于fod异物检测雷达中的图像识别方法
CN108573220B (zh) * 2018-03-28 2021-09-28 西北工业大学 一种基于群体多源数据的道路裂纹识别方法
CN108777776A (zh) * 2018-05-03 2018-11-09 中国船舶重工集团公司第七�三研究所 一种机场跑道外来物识别图像处理装置和方法
CN109543647B (zh) * 2018-11-30 2021-07-27 国信优易数据股份有限公司 一种道路异常识别方法、装置、设备及介质
CN112184663B (zh) * 2020-09-27 2021-07-20 哈尔滨市科佳通用机电股份有限公司 一种铁路动车抗蛇行减震器安装座异物检测方法
CN113435287B (zh) * 2021-06-21 2024-10-15 深圳拓邦股份有限公司 草地障碍物识别方法、装置、割草机器人及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783008A (zh) * 2009-10-13 2010-07-21 上海海事大学 一种基于fpga及dsp功能的超高分辨率遥感图像实时处理平台
CN103412345A (zh) * 2013-08-16 2013-11-27 中国舰船研究设计中心 航母飞行甲板异物自动侦测识别系统
CN103499587A (zh) * 2013-10-18 2014-01-08 齐鲁工业大学 基于Camera Link接口的高速纸病检测系统
CN203719638U (zh) * 2014-01-06 2014-07-16 南京信息工程大学 一种工件表面粗糙度非接触检测装置
CN104834895A (zh) * 2015-04-03 2015-08-12 南京理工大学 紫外与可见光双波段融合便携式指纹探测器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783008A (zh) * 2009-10-13 2010-07-21 上海海事大学 一种基于fpga及dsp功能的超高分辨率遥感图像实时处理平台
CN103412345A (zh) * 2013-08-16 2013-11-27 中国舰船研究设计中心 航母飞行甲板异物自动侦测识别系统
CN103499587A (zh) * 2013-10-18 2014-01-08 齐鲁工业大学 基于Camera Link接口的高速纸病检测系统
CN203719638U (zh) * 2014-01-06 2014-07-16 南京信息工程大学 一种工件表面粗糙度非接触检测装置
CN104834895A (zh) * 2015-04-03 2015-08-12 南京理工大学 紫外与可见光双波段融合便携式指纹探测器

Also Published As

Publication number Publication date
CN106018409A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106018409B (zh) 一种机场跑道异物和裂纹的识别系统及其检测识别方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN110532889B (zh) 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN109871799B (zh) 一种基于深度学习的驾驶员玩手机行为的检测方法
CN103810462B (zh) 一种基于线状目标的高压输电线检测方法
CN105426864A (zh) 一种基于等距边缘点匹配的多车道线检测方法
CN113537016B (zh) 一种道路巡查中道路损伤自动检测预警的方法
CN105160362A (zh) 一种跑道fod图像探测方法及装置
CN103077387B (zh) 视频中货运列车车厢自动检测方法
CN105303162B (zh) 一种基于目标建议算法的航拍图像绝缘子识别方法
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN108198417A (zh) 一种基于无人机的道路巡检系统
CN103310006A (zh) 一种车辆辅助驾驶系统中的感兴趣区域提取方法
CN111105398A (zh) 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN202947691U (zh) 一种检测冰雪厚度的装置
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及系统、设备
CN105447431B (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN109325911B (zh) 一种基于注意力增强机制的空基铁轨检测方法
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN105335985B (zh) 一种基于机器视觉的入坞飞机实时捕获方法及系统
CN112508893B (zh) 基于机器视觉的铁路双轨间微小异物检测方法及系统
CN104021557A (zh) 机场近空复杂环境异物监测及预警方法
Guan et al. A visual saliency based railway intrusion detection method by UAV remote sensing image
CN114359195A (zh) 一种玻璃幕墙裂纹检测方法
Zeng et al. Research on recognition technology of vehicle rolling line violation in highway based on visual UAV

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190416