CN105222752A - 一种使用结构光的移动式道面检测装置及方法 - Google Patents

一种使用结构光的移动式道面检测装置及方法 Download PDF

Info

Publication number
CN105222752A
CN105222752A CN201510633672.0A CN201510633672A CN105222752A CN 105222752 A CN105222752 A CN 105222752A CN 201510633672 A CN201510633672 A CN 201510633672A CN 105222752 A CN105222752 A CN 105222752A
Authority
CN
China
Prior art keywords
structured light
face
image
straight line
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510633672.0A
Other languages
English (en)
Other versions
CN105222752B (zh
Inventor
隋运峰
杨晓嘉
钟琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN201510633672.0A priority Critical patent/CN105222752B/zh
Publication of CN105222752A publication Critical patent/CN105222752A/zh
Application granted granted Critical
Publication of CN105222752B publication Critical patent/CN105222752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及主动三维检测和图像识别领域,尤其是涉及一种使用结构光的移动式道面检测装置和方法。本发明所针对现有技术存在的问题,提供一种检测装置及方法,通过定向投射已知结构光图案,辅助二维图像检测,能够快速检测入侵异物、平整度和损坏问题。本发明通过汽车搭载检测单元及控制处理单元,在检测过程中,结构光产生器向道面待检测区域投射已知的结构光图案;同时相机拍摄结构光覆盖的道面,控制处理单元通过提取投射到道面检测区域的结构光图案,计算结构光图案的非线性与不连续性从而判定出道面是否存在平整度或入侵物问题,从而实现整个检测区域的准确检测。

Description

一种使用结构光的移动式道面检测装置及方法
技术领域
本发明涉及主动三维检测和图像识别领域,尤其是涉及一种使用结构光的移动式道面检测装置及方法。
背景技术
机场跑道的道面情况对航班起降安全有直接影响。跑道必须保持平整、洁净,而跑道破损和入侵异物对起降航班的安全构成了严重威胁。跑道破损指由老化、外力等多种原因造成的跑道风化、开裂、破碎、石块脱落等问题。入侵异物指可能损伤航空器的某种外来的物质、碎屑或物体,如金属零件、防水塑料布、碎石块、报纸、瓶子、行李牌等。
为保障航班起降安全,对跑道道面状况应保持检测,及时发现道面破损和入侵异物问题。然而在大型机场实际运行中,难以频繁关闭跑道进行检查。而长时间不对跑道进行检查,增加了跑道入侵异物引发事故的风险。从保障飞行器安全运行的角度出发,大型机场需要自动化检测设备,保持对跑道道面状况的频繁检测。
现有道面检测技术大致可以分成雷达、激光、图像检测三类。本发明与激光检测的相似点在于均使用了激光设备,但差别是很明显的。激光检测中,激光作为测量手段,生成点云三维图像,从而进行检测。而本发明使用激光仅作为结构光的投射光源,所需的能量低、安全性好,且设备复杂度低、成本低。本发明与图像检测更为相似,均从相机拍摄的2D图像中进行检测。然而,普通的图像检测使用的光源仅为照明光源,无特殊结构图案,依靠道面上外观的变化进行判断;本发明使用的光源无需照亮整个被拍摄区域,而是在被拍摄区域上投射已知结构光,通过识别道面投射结构光的形变,计算道面平整度,判断是否存在入侵物,从而实现道面检测。横向比较道面检测技术,本发明提出的装置成本远低于雷达和激光,又解决了图像检测中光源需求和检测算法准确率等技术瓶颈的限制,大幅提高了检测能力与机场适用性。
发明内容
本发明所要解决的技术问题:针对现有技术存在的问题,提供一种使用结构光对检测进行辅助,依靠二维图像识别技术,对三维空间中的物体进行检测和识别的装置及方法,本发明通过汽车搭载检测单元及控制处理单元,在检测过程中,结构光产生器向道面待检测区域投射已知的结构光图案;同时相机拍摄结构光覆盖的道面,控制处理单元通过提取投射到道面检测区域的结构光图案,计算结构光图案的非线性与不连续性从而判定出道面是否存在平整度或入侵物问题,从而实现整个检测区域的准确检测。
本发明采用的技术方案如下:
一种使用结构光的移动式道面检测装置,其特征在于包括:
汽车搭载至少一组检测单元以及一个控制处理单元,每组探测单元包含一个投射结构光图案的结构光产生器和至少一个相机;所述结构光图案为相交于一点的多条直线,将结构光图案中直线交点投射向地平线上无穷远处,使得投射在道面待检测区域的图案为平行线;所述结构光图案的投射区域能覆盖本组所有相机的视野;
检测单元用于对道面待检测区域进行移动式检测,当检测单元中的相机连续以F帧每秒的频率进行拍照,汽车沿道路方向以不超过V米/秒的速度匀速行驶,通过一次或多次从待检测道路的一端驶向另一端,完成道面待检测区的全覆盖检测;其中所述检测单元包含一个产生结构光图案的结构光产生器和至少一个相机;V与F满足V=H×F;其中H为在道面监测区域纵向上,所有相机拍照区域长度的最小值;
检测单元工作时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,根据模板参数对相机实时拍摄的道面待监测区域的像素坐标进行处理,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警;其中所述模板参数是检测单元校正时,即在道面监测区域检测过程中结构光图案投射到正常道面监测区域上,形成多条平行线,各个相机中对所述多条平行线成像后多次统计计算的直线参数。
进一步的,所述模板参数形成过程包括:
步骤11:汽车以不超过V米/秒的速度匀速行驶不少于500米,相机采集正常道面监测区域上的图像;然后删除包含道面问题或入侵异物的彩色图像,控制处理单元保存在正常道面区域拍摄的全部图像;
步骤12:控制处理单元对一个相机拍摄的每一张图像进行处理,具体过程是:首先将彩色图像转变成灰度图,然后将灰度图用阈值T1变成0-1图,即灰度图像中像素值高于或等于阈值T1的像素设值为1,像素值低于阈值T1的像素设值为0;T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤13:模板图像的计算,具体过程是:对所有图像的0-1图做像素级逻辑或操作,生成模板图像,即只有在任意一张0-1图图像中的a行b列像素值为1,模板图像的a行b列的像素值为1,如果在所有0-1图图像中a行b列像素值均为0,模板图像的a行b列的像素值为0;其中模板图像中的“1”代表系统工作中该像素可能被结构光照射,即亮条纹处;“0”代表该像素不应该被结构光照射,即暗条纹处。
步骤14:模板图像中直线参数的计算,具体过程是:令模板图像中所有像素值为1的N1个像素坐标集合为对集合C中的所有点使用Hough变换进行直线检测,得到N2条直线的极坐标体系下参数即模板图像中直线极坐标体系下参数;其中r为结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射到道面监测区域,同时相机监视区域的直线数量;所述原点指的是图像坐标系原点;
步骤15:将集合C中的点(xi,yi)按照公式Di-j=|xicosθj+yisinθj-rj|分别计算到达N2条直线的距离;然后按照Di-j,将集合C中的点(xi,yi)划分入距离最近的直线j对应的子集Cj;对集合C中的所有点重复以上操作,最终将集合C分成N2个子集第j个子集包含第j条直线上的全部的点;子集Cj的接受阈值Tj为集合Cj中的点到直线j的最大距离其中,1≤i≤N1,1≤j≤N2,(xi,yi)∈Cj表示第j条直线上的点;
步骤16:对每一部相机重复步骤12到步骤15的操作,对每一部相机生成一张模板图像,得到模板图像中每条直线N2的参数表达式和接受阈值Tj,即得到模板参数与Tj(1≤j≤N2)。
进一步的,所述检测单元工作时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,对道面待检测区域的图像进行处理,将拍摄图像中提取的结构光像素坐标与模板参数作对比,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警具体步骤包括:
步骤21:将彩色图像转变成灰度图,并将强度值高于判定阈值T1的M1个像素的坐标收入集合T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤22:根据权利要求2,得到图案参数的结构光图案直线参数表达式以及对应直线的接受阈值Tj,1≤j≤N2;其中r结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射入相机视野的直线数量;所述原点指的是图像坐标系原点;
步骤23:根据步21,若集合B中点(xk,yk)到任意直线的距离均大于该直线接受阈值Tj的2倍,即|xkcosθj+yksinθj-rj|>2Tj,则忽略该点;否则,根据步骤22中得到图案参数中的结构光图案直线参数表达式将集合B中点(xk,yk)按距离最小原则划分入对应直线的子集Bj,共分成N2个子集其中,第j个子集包含第j条直线上的全部的点;1≤k≤M1,1≤j≤N2;(备注:B与Bj不同,B为所有亮点坐标,Bj为属于第j条直线的亮点坐标,亮点指高于T1的像素);
步骤24:根据步骤23,将集合B中的点(xk,yk)按照序列值vjk=-xksinθj+ykcosθj的大小排序,然后从头到尾依次计算排序中相邻两个点的序列值相差的绝对值|vk(i+1)-vki|,如果|vk(i+1)-vki|>T2,则道面平整度有问题或者道面上存在入侵物,发出报警,并提供将存在入侵物或者平整度有问题的道面区域坐标,其中T2为2倍到10倍Tj
步骤25:对所有拍摄的图像重复步骤21到步骤24,完成所有彩色图像中入侵物检测和判断道面的平整度是否达到要求,对发现的异常状况进行报警,并提供所有存在入侵物或者平整度有问题的道面区域坐标。
进一步的,所述当所述检测单元只有一组时,所述检测单元放置于汽车头部、尾部或者一侧;当所述检测单元为多组时,检测单元同时放置在汽车头部和汽车侧面,或者汽车尾部和汽车侧面。
进一步的,所述相机和结构光产生器与其检测区域内任意一点连线的夹角应大于5度。
一种使用结构光的移动式道面检测方法包括:
步骤1:汽车搭载至少一组检测单元以及一个控制处理单元,每组探测单元包含一个投射结构光图案的结构光产生器和至少一个相机;所述结构光图案为相交于一点的多条直线,将结构光图案中直线交点投射向地平线上无穷远处,使得投射在道面待检测区域的图案为平行线;所述结构光图案的投射区域能覆盖本组所有相机的视野;
步骤2:检测单元用于对道面待检测区域进行移动式检测,当检测单元中的相机连续以F帧每秒的频率进行拍照,汽车沿道路方向以不超过V米/秒的速度匀速行驶,通过一次或多次从待检测道路的一端驶向另一端,完成道面待检测区的全覆盖检测;其中所述检测单元包含一个产生结构光图案的结构光产生器和至少一个相机;V与F满足V=H×F;其中H为在道面监测区域纵向上,所有相机拍照区域长度的最小值;
步骤3:与步骤2同时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,根据模板参数对相机实时拍摄的道面待监测区域的像素坐标进行处理,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警;其中所述模板参数是检测单元校正时,即在道面监测区域检测过程中结构光图案投射到正常道面监测区域上,形成多条平行线,各个相机中对所述多条平行线成像后多次统计计算的直线参数。
进一步的,所述模板图像的制作过程是所述模板参数形成过程包括:
步骤11:汽车以不超过V米/秒的速度匀速行驶不少于500米,相机采集正常道面监测区域上的图像;然后删除包含道面问题或入侵异物的彩色图像,控制处理单元保存在正常道面区域拍摄的全部图像;
步骤12:控制处理单元对一个相机拍摄的每一张图像进行处理,具体过程是:首先将彩色图像转变成灰度图,然后将灰度图用阈值T1变成0-1图,即灰度图像中像素值高于或等于阈值T1的像素设值为1,像素值低于阈值T1的像素设值为0;T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤13:模板图像的计算,具体过程是:对所有图像的0-1图做像素级逻辑或操作,生成模板图像,即只有在任意一张0-1图图像中的a行b列像素值为1,模板图像的a行b列的像素值为1,如果在所有0-1图图像中a行b列像素值均为0,模板图像的a行b列的像素值为0;其中模板图像中的“1”代表系统工作中该像素可能被结构光照射,即亮条纹处;“0”代表该像素不应该被结构光照射,即暗条纹处。
步骤14:模板图像中直线参数的计算,具体过程是:令模板图像中所有像素值为1的N1个像素坐标集合为对集合C中的所有点使用Hough变换进行直线检测,得到N2条直线的极坐标体系下参数即模板图像中直线极坐标体系下参数;其中r为结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射到道面监测区域,同时相机监视区域的直线数量;所述原点指的是图像坐标系原点;
步骤15:将集合C中的点(xi,yi)按照公式Di-j=|xicosθj+yisinθj-rj|分别计算到达N2条直线的距离;然后按照Di-j,将集合C中的点(xi,yi)划分入距离最近的直线j对应的子集Cj;对集合C中的所有点重复以上操作,最终将集合C分成N2个子集第j个子集包含第j条直线上的全部的点;子集Cj的接受阈值Tj为集合Cj中的点到直线j的最大距离其中,1≤i≤N1,1≤j≤N2,(xi,yi)∈Cj表示第j条直线上的点;
步骤16:对每一部相机重复步骤12到步骤15的操作,对每一部相机生成一张模板图像,得到模板图像中每条直线N2的参数表达式和接受阈值Tj,即得到模板参数与Tj(1≤j≤N2)。
进一步的,所述测单元工作时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,对道面待检测区域的图像进行处理,将拍摄图像中提取的结构光像素坐标与模板参数作对比,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警具体步骤包括:
步骤21:将彩色图像转变成灰度图,并将强度值高于判定阈值T1的M1个像素的坐标收入集合T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤22:根据权利要求2,得到图案参数的结构光图案直线参数表达式以及对应直线的接受阈值Tj,1≤j≤N2;其中r结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射入相机视野的直线数量;所述原点指的是图像坐标系原点;
步骤23:根据步21,若集合B中点(xk,yk)到任意直线的距离均大于该直线接受阈值Tj的2倍,即|xkcosθj+yksinθj-rj|>2Tj,则忽略该点;否则,根据步骤22中得到图案参数中的结构光图案直线参数表达式将集合B中点(xk,yk)按距离最小原则划分入对应直线的子集Bj,共分成N2个子集其中,第j个子集包含第j条直线上的全部的点;1≤k≤M1,1≤j≤N2;(备注:B与Bj不同,B为所有亮点坐标,Bj为属于第j条直线的亮点坐标,亮点指高于T1的像素);
步骤24:根据步骤23,将集合B中的点(xk,yk)按照序列值vjk=-xksinθj+ykcosθj的大小排序,然后从头到尾依次计算排序中相邻两个点的序列值相差的绝对值|vk(i+1)-vki|,如果|vk(i+1)-vki|>T2,则道面平整度有问题或者道面上存在入侵物,发出报警,并提供将存在入侵物或者平整度有问题的道面区域坐标,其中T2为2倍到10倍Tj
步骤25:对所有拍摄的图像重复步骤21到步骤24,完成所有彩色图像中入侵物检测和判断道面的平整度是否达到要求,对发现的异常状况进行报警,并提供所有存在入侵物或者平整度有问题的道面区域坐标。
进一步的,当所述检测单元只有一组时,所述检测单元放置于汽车头部、尾部或者一侧;当所述检测单元为多组时,检测单元同时放置在汽车头部和汽车侧面,或者汽车尾部和汽车侧面。
进一步的,所述相机和结构光产生器与其检测区域内任意一点连线的夹角应大于5度。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1)首次使用结构光辅助图像检测方法进行道面状况检测,解决了在低光照条件下无法检测的问题;
2)改变了图像探测的算法,简化了目标检测算法的复杂度,提高了对目标的检测能力,降低了误警率,大幅提升了视频/图像检测系统的性能;
3)相比雷达和激光等解决同样问题的主动检测手段,设备成本低,易于安装调试。
附图说明
图1是本装置示意图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
工作原理:
本发明使用结构光在理想跑道面上的投影为平行线。在FOD或者跑道缺陷出现的情况下,平行线会发生扭曲或者中断。基于这一原理,调节平行线间距离,并借助车辆移动结构光覆盖范围,可以实现在整个跑道区域进行FOD探测。
本专利相关说明:
1、控制处理单元是通过处理器实现。
一种使用结构光的移动式道面检测装置包括:
一个或多个固定在车上的结构光产生器,结构光产生器产生的是激光,能够定向投射出特定结构光图案,结构光图案的光源频段可以是红外光和可见光,结构光产生器的个数由检测面积需要决定;所述结构光图案为多条相交于一点的直线,或多条间距渐变的平行直线,其在道面上的投影为等间距平行直线,间距小于最小检测目标的半径,如图所示。
一个或多个固定在车上的相机,相机感光频段范围须包含光源频段,使用定焦镜头,相机的个数由检测面积需要决定。
一个控制处理单元,负责控制结构光光源、相机进行工作,记录设备工作采集数据,运行道面入侵异物、平整度和损坏检测算法,对发现的异常状况进行报警并提供坐标。
结构光产生器与相机可以安装在车辆的两侧或者前后方;其中多个结构光光源投射区域之间不能有重叠,避免相互干扰;其中多个相机的视野之间以尽量少重叠的方式进行无缝拼接组合;其中相机视野与结构光光源投射区域和共同覆盖的区域为该相机的检测区域(如图所示),相机和结构光光源与其检测区域内任意一点连线的夹角应大于5度,所有相机检测区域的集合为移动式道面检测装置的检测区域。结构光是平行线。
一种典型的安装方式为在车辆前方安装一个结构光产生器和一个相机,在车辆的两侧分别安装一个结构光光源和三个相机。整套系统包括1辆汽车、3个结构光产生器、7个相机、1个控制处理单元;车辆静止时设备的能覆盖的监视区域如图所示,平行线条处为结构光图案在道面监测区域的投影,封闭框内为相机拍摄区域。
一种使用结构光的移动式道面检测装置的基本工作流程为:
开启所有设备,相机以连续拍照的模式进行工作,帧率F帧每秒,汽车沿道路方向以不超过V米/秒的速度行驶,从待检测道路的一端驶向另一端。如果道路有异常状况,当系统探测到该区域时会发出警报。操作人员可以停车对报警进行确认和处理。如果系统覆盖宽度W小于道路宽度,则需要车辆多次往返完成对道路的全覆盖检测。V与F的关系满足V=H×F。其中H为在道面监测区域纵向上,所有相机拍照区域长度的最小值。以示例图为例,H为H1和H2中较小的值H=min(H1,H2)。
所述控制处理单元对图像运行目标检测的方法为:
设备在车辆上安装好后,可以通过校正提高探测的处理速度。在校正过程中,利用结构光与相机相对静止的特点,计算出在车辆行驶在正常路面上结构光投影成像的区域,作为模板图像。并计算出模板图像中结构光直线的参数表达式和分布范围。
校正步骤1:按照基本工作流程,在道路上以正常工作速度行驶不少于500米,删除包含道面问题的图像,保存在正常道面区域拍摄的全部图像;
校正步骤2:对系统中一个相机拍摄的每一张图像,首先将彩色图像转变成灰度图,然后将灰度图用阈值T1变成0-1图,即灰度图像中像素值高于或等于阈值T1的像素设值为1,像素值低于阈值T1的像素设值为0,一般T1取值在最高强度值的50%到95%之间;
校正步骤3:(算出模板图像)对该相机拍摄的所有图像做像素级逻辑或操作,生成模板图像,即只有在任意一张图像中的a行b列像素值为1,模板图像的a行b列的像素值为1,如果在所有图像中a行b列像素值均为0,模板图像的a行b列的像素值为0;(模板图像中的“1”代表系统工作中该像素可能被结构光照射,即亮条纹处;“0”代表该像素不应该被结构光照射,即暗条纹处)。
校正步骤4:(模板图像中直线参数表达式的计算)令模板图像中所有像素值为1的N1个像素坐标集合为对集合C中的所有点使用Hough变换进行直线检测,得到N2条直线的极坐标参数表达其中r为直线距离原点的距离,θ为直线的旋转角度,N2为结构光投射入相机视野的直线数量;
校正步骤5:(模板图像中直线接收阈值的计算)将集合C中的点(xi,yi),1≤i≤N1按照公式Di-j=|xicosθj+yisinθj-rj|分别计算到达N2条直线的距离;然后按照Di-j=|xicosθj+yisinθj-rj|,将点(xi,yi),1≤i≤N1划分入距离最近的直线j(1≤j≤N2)对应的子集Cj;对集合C中的所有点重复以上操作,并将集合C分成N2个子集第j个子集包含第j条直线上的全部的点;集合C的接受阈值Tj为集合C中的点到该直线N2的最大距离rj表示第j条直线上的点(xj,yj);
校正步骤6:对每一部相机重复步骤2到步骤4的操作,对每一部相机生成一张模板图像,并计算出模板图像中每条直线的参数表达式和接受阈值Tj
在检测过程中,将拍摄图像中提取的结构光像素坐标与模板图中参数表达式作对比,可以快速探测到凸起和凹陷的异常区域。
探测步骤1:对系统中一个相机拍摄的每一张图像,首先将彩色图像转变成灰度图,并将强度值高于判定阈值T1的M1个像素的坐标收入集合阈值的设定取决于结构光的亮度设定,一般T1取值在最高强度值的50%到95%之间;
探测步骤2:根据拍摄相机,读取校正过程中计算出对应的结构光图案直线参数表达式和每条直线的接受阈值Tj,1≤j≤N2
探测步骤3:根据校正步骤6计算出的直线参数式将集合B中点(xk,yk),1≤k≤M1按距离最小原则划分入对应直线的子集Bj,1≤j≤N2,且当距离不大于该直线的接受阈值的2倍|xkcosθj+yksinθj-rj|<2Tj,将集合B共分成N2个子集第j个子集包含第j条直线上的全部的点;(备注:B与Bj不同,B为所有亮点坐标,Bj为属于第j条直线的亮点坐标,亮点指高于T1的像素)
探测步骤4:将每一个子集Bj中的点(xk,yk)按照序列值vjk=-xksinθj+ykcosθj的大小排序,然后从头到尾依次计算排序中相邻两个点的序列值相差的绝对值,如果相邻两个点的序列值相差的绝对值大于连续性判定阈值T2(取值一般为2倍到10倍Tj),则认为道面平整度有问题,或者道面上存在入侵物,发出报警,并提供将该两点对应的道面区域。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种使用结构光的移动式道面检测装置,其特征在于包括:
汽车搭载至少一组检测单元以及一个控制处理单元,每组探测单元包含一个投射结构光图案的结构光产生器和至少一个相机;所述结构光图案为相交于一点的多条直线,将结构光图案中直线交点投射向地平线上无穷远处,使得投射在道面待检测区域的图案为平行线;所述结构光图案的投射区域能覆盖本组所有相机的视野;
检测单元用于对道面待检测区域进行移动式检测,当检测单元中的相机连续以F帧每秒的频率进行拍照,汽车沿道路方向以不超过V米/秒的速度匀速行驶,通过一次或多次从待检测道路的一端驶向另一端,完成道面待检测区的全覆盖检测;其中所述检测单元包含一个产生结构光图案的结构光产生器和至少一个相机;V与F满足V=H×F;其中H为在道面监测区域纵向上,所有相机拍照区域长度的最小值;
检测单元工作时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,根据模板参数对相机实时拍摄的道面待监测区域的像素坐标进行处理,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警;其中所述模板参数是检测单元校正时,即在道面监测区域检测过程中结构光图案投射到正常道面监测区域上,形成多条平行线,各个相机中对所述多条平行线成像后多次统计计算的直线参数。
2.根据权利要求1所述的一种使用结构光的移动式道面检测装置,其特征在于所述模板参数形成过程包括:
步骤11:汽车以不超过V米/秒的速度匀速行驶不少于500米,相机采集正常道面监测区域上的图像;然后删除包含道面问题或入侵异物的彩色图像,控制处理单元保存在正常道面区域拍摄的全部图像;
步骤12:控制处理单元对一个相机拍摄的每一张图像进行处理,具体过程是:首先将彩色图像转变成灰度图,然后将灰度图用阈值T1变成0-1图,即灰度图像中像素值高于或等于阈值T1的像素设值为1,像素值低于阈值T1的像素设值为0;T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤13:模板图像的计算,具体过程是:对所有图像的0-1图做像素级逻辑或操作,生成模板图像,即只有在任意一张0-1图图像中的a行b列像素值为1,模板图像的a行b列的像素值为1,如果在所有0-1图图像中a行b列像素值均为0,模板图像的a行b列的像素值为0;其中模板图像中的“1”代表系统工作中该像素可能被结构光照射,即亮条纹处;“0”代表该像素不应该被结构光照射,即暗条纹处;
步骤14:模板图像中直线参数的计算,具体过程是:令模板图像中所有像素值为1的N1个像素坐标集合为对集合C中的所有点使用Hough变换进行直线检测,得到N2条直线的极坐标体系下参数即模板图像中直线极坐标体系下参数;其中r为结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射到道面监测区域,同时相机监视区域的直线数量;所述原点指的是图像坐标系原点;
步骤15:将集合C中的点(xi,yi)按照公式Di-j=|xicosθj+yisinθj-rj|分别计算到达N2条直线的距离;然后按照Di-j,将集合C中的点(xi,yi)划分入距离最近的直线j对应的子集Cj;对集合C中的所有点重复以上操作,最终将集合C分成N2个子集第j个子集包含第j条直线上的全部的点;子集Cj的接受阈值Tj为集合Cj中的点到直线j的最大距离其中,1≤i≤N1,1≤j≤N2,(xi,yi)∈Cj表示第j条直线上的点;
步骤16:对每一部相机重复步骤12到步骤15的操作,对每一部相机生成一张模板图像,得到模板图像中每条直线N2的参数表达式和接受阈值Tj,即得到模板参数与Tj(1≤j≤N2)。
3.根据权利要求1所述的一种使用结构光的移动式道面检测装置,其特征在于所述检测单元工作时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,对道面待检测区域的图像进行处理,将拍摄图像中提取的结构光像素坐标与模板参数作对比,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警具体步骤包括:
步骤21:将彩色图像转变成灰度图,并将强度值高于判定阈值T1的M1个像素的坐标收入集合T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤22:根据权利要求2,得到图案参数的结构光图案直线参数表达式以及对应直线的接受阈值Tj,1≤j≤N2;其中r结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射入相机视野的直线数量;所述原点指的是图像坐标系原点;
步骤23:根据步21,若集合B中点(xk,yk)到任意直线的距离均大于该直线接受阈值Tj的2倍,即|xkcosθj+yksinθj-rj|>2Tj,则忽略该点;否则,根据步骤22中得到图案参数中的结构光图案直线参数表达式将集合B中点(xk,yk)按距离最小原则划分入对应直线的子集Bj,共分成N2个子集其中,第j个子集包含第j条直线上的全部的点;1≤k≤M1,1≤j≤N2
步骤24:根据步骤23,将集合B中的点(xk,yk)按照序列值vjk=-xksinθj+ykcosθj的大小排序,然后从头到尾依次计算排序中相邻两个点的序列值相差的绝对值|vk(i+1)-vki|,如果|vk(i+1)-vki|>T2,则道面平整度有问题或者道面上存在入侵物,发出报警,并提供将存在入侵物或者平整度有问题的道面区域坐标,其中T2为2倍到10倍Tj
步骤25:对所有拍摄的图像重复步骤21到步骤24,完成所有彩色图像中入侵物检测和判断道面的平整度是否达到要求,对发现的异常状况进行报警,并提供所有存在入侵物或者平整度有问题的道面区域坐标。
4.根据权利要求1至3之一所述的一种使用结构光的移动式道面检测装置,其特征在于所述当所述检测单元只有一组时,所述检测单元放置于汽车头部、尾部或者一侧;当所述检测单元为多组时,检测单元同时放置在汽车头部和汽车侧面,或者汽车尾部和汽车侧面。
5.根据权利要求4所述的一种使用结构光的移动式道面检测装置,其特征在于所述相机和结构光产生器与其检测区域内任意一点连线的夹角应大于5度。
6.一种使用结构光的移动式道面检测方法,其特征在于包括:
步骤1:汽车搭载至少一组检测单元以及一个控制处理单元,每组探测单元包含一个投射结构光图案的结构光产生器和至少一个相机;所述结构光图案为相交于一点的多条直线,将结构光图案中直线交点投射向地平线上无穷远处,使得投射在道面待检测区域的图案为平行线;所述结构光图案的投射区域能覆盖本组所有相机的视野;
步骤2:检测单元用于对道面待检测区域进行移动式检测,当检测单元中的相机连续以F帧每秒的频率进行拍照,汽车沿道路方向以不超过V米/秒的速度匀速行驶,通过一次或多次从待检测道路的一端驶向另一端,完成道面待检测区的全覆盖检测;其中所述检测单元包含一个产生结构光图案的结构光产生器和至少一个相机;V与F满足V=H×F;其中H为在道面监测区域纵向上,所有相机拍照区域长度的最小值;
步骤3:与步骤2同时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,根据模板参数对相机实时拍摄的道面待监测区域的像素坐标进行处理,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警;其中所述模板参数是检测单元校正时,即在道面监测区域检测过程中结构光图案投射到正常道面监测区域上,形成多条平行线,各个相机中对所述多条平行线成像后多次统计计算的直线参数。
7.根据权利要求6所述的一种使用结构光的移动式道面检测方法,其特征在于所述模板图像的制作过程是所述模板参数形成过程包括:
步骤11:汽车以不超过V米/秒的速度匀速行驶不少于500米,相机采集正常道面监测区域上的图像;然后删除包含道面问题或入侵异物的彩色图像,控制处理单元保存在正常道面区域拍摄的全部图像;
步骤12:控制处理单元对一个相机拍摄的每一张图像进行处理,具体过程是:首先将彩色图像转变成灰度图,然后将灰度图用阈值T1变成0-1图,即灰度图像中像素值高于或等于阈值T1的像素设值为1,像素值低于阈值T1的像素设值为0;T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤13:模板图像的计算,具体过程是:对所有图像的0-1图做像素级逻辑或操作,生成模板图像,即只有在任意一张0-1图图像中的a行b列像素值为1,模板图像的a行b列的像素值为1,如果在所有0-1图图像中a行b列像素值均为0,模板图像的a行b列的像素值为0;其中模板图像中的“1”代表系统工作中该像素可能被结构光照射,即亮条纹处;“0”代表该像素不应该被结构光照射,即暗条纹处;
步骤14:模板图像中直线参数的计算,具体过程是:令模板图像中所有像素值为1的N1个像素坐标集合为对集合C中的所有点使用Hough变换进行直线检测,得到N2条直线的极坐标体系下参数即模板图像中直线极坐标体系下参数;其中r为结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射到道面监测区域,同时相机监视区域的直线数量;所述原点指的是图像坐标系原点;
步骤15:将集合C中的点(xi,yi)按照公式Di-j=|xicosθj+yisinθj-rj|分别计算到达N2条直线的距离;然后按照Di-j,将集合C中的点(xi,yi)划分入距离最近的直线j对应的子集Cj;对集合C中的所有点重复以上操作,最终将集合C分成N2个子集第j个子集包含第j条直线上的全部的点;子集Cj的接受阈值Tj为集合Cj中的点到直线j的最大距离其中,1≤i≤N1,1≤j≤N2,(xi,yi)∈Cj表示第j条直线上的点;
步骤16:对每一部相机重复步骤12到步骤15的操作,对每一部相机生成一张模板图像,得到模板图像中每条直线N2的参数表达式和接受阈值Tj,即得到模板参数与Tj(1≤j≤N2)。
8.根据权利要求7所述的一种使用结构光的移动式道面检测方法,其特征在于所述测单元工作时,控制处理单元控制结构光产生器和相机进行工作;然后控制处理单元接收相机实时拍摄的图像,对道面待检测区域的图像进行处理,将拍摄图像中提取的结构光像素坐标与模板参数作对比,判断道面待检测区域是否有入侵物和或判断道面的平整度是否达到要求,对发现的异常状况进行报警具体步骤包括:
步骤21:将彩色图像转变成灰度图,并将强度值高于判定阈值T1的M1个像素的坐标收入集合T1取值在结构光图案成像亮度最低强度值的50%到95%之间;
步骤22:根据权利要求2,得到图案参数的结构光图案直线参数表达式以及对应直线的接受阈值Tj,1≤j≤N2;其中r结构光图案成像后直线到原点的距离,θ为结构光图案成像后直线的旋转角度,N2为结构光图案投射入相机视野的直线数量;所述原点指的是图像坐标系原点;
步骤23:根据步21,若集合B中点(xk,yk)到任意直线的距离均大于该直线接受阈值Tj的2倍,即|xkcosθj+yksinθj-rj|>2Tj,则忽略该点;否则,根据步骤22中得到图案参数中的结构光图案直线参数表达式将集合B中点(xk,yk)按距离最小原则划分入对应直线的子集Bj,共分成N2个子集其中,第j个子集包含第j条直线上的全部的点;1≤k≤M1,1≤j≤N2
步骤24:根据步骤23,将集合B中的点(xk,yk)按照序列值vjk=-xksinθj+ykcosθj的大小排序,然后从头到尾依次计算排序中相邻两个点的序列值相差的绝对值|vk(i+1)-vki|,如果|vk(i+1)-vki|>T2,则道面平整度有问题或者道面上存在入侵物,发出报警,并提供将存在入侵物或者平整度有问题的道面区域坐标,其中T2为2倍到10倍Tj
步骤25:对所有拍摄的图像重复步骤21到步骤24,完成所有彩色图像中入侵物检测和判断道面的平整度是否达到要求,对发现的异常状况进行报警,并提供所有存在入侵物或者平整度有问题的道面区域坐标。
9.根据权利要求6至8之一所述的一种使用结构光的移动式道面检测方法,其特征在于当所述检测单元只有一组时,所述检测单元放置于汽车头部、尾部或者一侧;当所述检测单元为多组时,检测单元同时放置在汽车头部和汽车侧面,或者汽车尾部和汽车侧面。
10.根据权利要求9所述的一种使用结构光的移动式道面检测方法,其特征在于所述相机和结构光产生器与其检测区域内任意一点连线的夹角应大于5度。
CN201510633672.0A 2015-09-29 2015-09-29 一种使用结构光的移动式道面检测装置及方法 Active CN105222752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510633672.0A CN105222752B (zh) 2015-09-29 2015-09-29 一种使用结构光的移动式道面检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510633672.0A CN105222752B (zh) 2015-09-29 2015-09-29 一种使用结构光的移动式道面检测装置及方法

Publications (2)

Publication Number Publication Date
CN105222752A true CN105222752A (zh) 2016-01-06
CN105222752B CN105222752B (zh) 2017-12-26

Family

ID=54991843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510633672.0A Active CN105222752B (zh) 2015-09-29 2015-09-29 一种使用结构光的移动式道面检测装置及方法

Country Status (1)

Country Link
CN (1) CN105222752B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016010373A1 (de) 2016-08-26 2018-03-01 Daimler Ag Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores
CN108333859A (zh) * 2018-02-08 2018-07-27 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN111465819A (zh) * 2017-12-14 2020-07-28 康蒂-特米克微电子有限公司 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测
CN111765433A (zh) * 2019-04-02 2020-10-13 宁波舜宇车载光学技术有限公司 车灯探测投影系统及其操作方法
CN112560707A (zh) * 2020-12-18 2021-03-26 中国民用航空总局第二研究所 基于激光光源的移动式道面检测方法及系统
CN114088624A (zh) * 2021-11-09 2022-02-25 北京中检葆泰生物技术有限公司 用于谷物颗粒表面规则度检测设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470080A (zh) * 2007-12-26 2009-07-01 南京理工大学 基于结构光投射的表面形状图象检测系统
US20110123096A1 (en) * 2009-11-26 2011-05-26 Institute For Information Industry Three-dimensional image analysis system, process device, and method thereof
CN102706880A (zh) * 2012-06-26 2012-10-03 哈尔滨工业大学 基于二维图像和深度信息的路面信息提取装置及使用该装置实现路面裂纹信息的检测方法
CN203094055U (zh) * 2013-03-11 2013-07-31 上海市第一中学 车载路面检测系统
CN103234526A (zh) * 2013-05-06 2013-08-07 西南交通大学 轮轨接触关系可视化检测装置及其检测方法
JP2014194361A (ja) * 2013-03-28 2014-10-09 Fujitsu Ltd 移動距離推定装置、移動距離推定方法、及びプログラム
CN104197850A (zh) * 2014-08-11 2014-12-10 东莞市乐琪光电科技有限公司 一种基于机器视觉的元件管脚检测方法及其装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470080A (zh) * 2007-12-26 2009-07-01 南京理工大学 基于结构光投射的表面形状图象检测系统
US20110123096A1 (en) * 2009-11-26 2011-05-26 Institute For Information Industry Three-dimensional image analysis system, process device, and method thereof
CN102706880A (zh) * 2012-06-26 2012-10-03 哈尔滨工业大学 基于二维图像和深度信息的路面信息提取装置及使用该装置实现路面裂纹信息的检测方法
CN203094055U (zh) * 2013-03-11 2013-07-31 上海市第一中学 车载路面检测系统
JP2014194361A (ja) * 2013-03-28 2014-10-09 Fujitsu Ltd 移動距離推定装置、移動距離推定方法、及びプログラム
CN103234526A (zh) * 2013-05-06 2013-08-07 西南交通大学 轮轨接触关系可视化检测装置及其检测方法
CN104197850A (zh) * 2014-08-11 2014-12-10 东莞市乐琪光电科技有限公司 一种基于机器视觉的元件管脚检测方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
史文建等: "基于激光结构光技术的路形病害检测系统", 《交通科技》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016010373A1 (de) 2016-08-26 2018-03-01 Daimler Ag Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores
WO2018036646A1 (de) 2016-08-26 2018-03-01 Daimler Ag Vefahren und vorrichtung zur erkennung des öffnungszustands eines garagentores
US10586120B2 (en) 2016-08-26 2020-03-10 Daimler Ag Method and apparatus for identifying the opening state of a garage door
DE102016010373B4 (de) 2016-08-26 2024-02-01 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores
CN111465819A (zh) * 2017-12-14 2020-07-28 康蒂-特米克微电子有限公司 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测
CN111465819B (zh) * 2017-12-14 2023-07-25 康蒂-特米克微电子有限公司 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测
CN108333859A (zh) * 2018-02-08 2018-07-27 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN108333859B (zh) * 2018-02-08 2024-03-12 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN111765433A (zh) * 2019-04-02 2020-10-13 宁波舜宇车载光学技术有限公司 车灯探测投影系统及其操作方法
CN112560707A (zh) * 2020-12-18 2021-03-26 中国民用航空总局第二研究所 基于激光光源的移动式道面检测方法及系统
CN112560707B (zh) * 2020-12-18 2022-10-21 中国民用航空总局第二研究所 基于激光光源的移动式道面检测方法及系统
CN114088624A (zh) * 2021-11-09 2022-02-25 北京中检葆泰生物技术有限公司 用于谷物颗粒表面规则度检测设备

Also Published As

Publication number Publication date
CN105222752B (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN105222752A (zh) 一种使用结构光的移动式道面检测装置及方法
CN105157626B (zh) 一种使用结构光的固定式道面检测装置及方法
CN102081801B (zh) 多特征自适应融合船舶跟踪和航迹检测方法
CN103473554B (zh) 人流统计系统及方法
US20160238703A1 (en) Object detection apparatus and method
KR101689567B1 (ko) 구간 속도 산출 시스템 및 그 방법
CN109164443A (zh) 基于雷达及图像分析的铁路线路异物检测方法及系统
Puente et al. Automatic detection of road tunnel luminaires using a mobile LiDAR system
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN103761877B (zh) 基于雷达触发的闯红灯自动记录系统及方法
CN104268851A (zh) 一种基于深度信息的atm自助营业厅行为分析方法
EP3224820B1 (en) Double stereoscopic sensor
CN106327880B (zh) 一种基于监控视频的车速识别方法及其系统
Malinovskiy et al. Video-based vehicle detection and tracking using spatiotemporal maps
CN208208040U (zh) 跑道防侵入监控系统
Lu et al. Vision-based structural displacement measurement under ambient-light changes via deep learning and digital image processing
CN104166137A (zh) 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法
CN110189363A (zh) 一种机场场面移动目标低视角视频测速方法
CN103149603B (zh) 一种基于视频的道路气象检测方法
An et al. The distance measurement based on corner detection for rebar spacing in engineering images
Balali et al. Image-based retro-reflectivity measurement of traffic signs in day time
KR20160116686A (ko) 레이저 센서와 저해상도 카메라를 이용한 fpga기반 다차선 과속 단속시스템
CN104867331B (zh) 基于微波的交通事件检测方法及装置
CN108122244B (zh) 一种视频图像的视频测速方法及装置
CN112802058A (zh) 一种非法运动目标的跟踪方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant