CN114140742A - 一种基于光场深度图像的轨道异物入侵检测方法 - Google Patents
一种基于光场深度图像的轨道异物入侵检测方法 Download PDFInfo
- Publication number
- CN114140742A CN114140742A CN202111300346.XA CN202111300346A CN114140742A CN 114140742 A CN114140742 A CN 114140742A CN 202111300346 A CN202111300346 A CN 202111300346A CN 114140742 A CN114140742 A CN 114140742A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- track
- foreign matter
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000009545 invasion Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光场深度图像的轨道异物入侵检测方法,该方法包括如下步骤:利用光场相机拍摄并采集直线轨道的背景图像,通过Lytro Desktop软件得到背景图像的原始RGB图像和深度图像;在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口;利用光场相机拍摄并采集轨道危险区域检测图像,对所获得的RGB图像和深度图像进行预处理;对预处理后的轨道危险区域检测图像进行显著物检测,获得异物图像,标记异物图像中的异物;若监测到异物,则发出报警信号,否则,继续监测异物。该发明利用光场相机可以同时获得RGB图像和深度图像的特点,引入深度差特征实现了对轨道异物入侵的自动检测,节省人力和成本,有效避免列车运行过程中的交通事故。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于光场相机的轨道异物入侵检测方法。
背景技术
铁路运输具有运输能力强、效率高、运营成本低等优点,近年来在我国得到了飞速发展,异物侵入铁路安全限界可能引发交通事故,危害铁路交通的安全与稳定,已引起社会的高度重视。一旦有异物侵入铁路轨道,就会对铁路系统的安全运行造成危害,甚至可能威胁到乘客的生命安全。因此,及时准确地检测铁路轨道区域内的异物对铁路安全至关重要。
光场相机作为一种新型相机,有着巨大的发展潜力与广泛的应用前景,截至到目前为止,还没有应用光场相机去做轨道异物入侵检测的研究。光场相机机身外形与普通传统相机差不多,但内部结构大有不同。传统相机的工作原理是主镜头捕捉光线,聚焦在镜头后的胶片或感光器上,其中所有的光线总和形成相片上的小点,以显示成像。而光场相机最大的结构特点是在主镜头与感光器之间,有一个布满9万个微型镜片的显微镜阵列,每一个微小透镜阵列接收由主镜而来的光线后,尽管只记录了光线的强度信息,但却因其相对于某个微透镜的位置而记录了光线的方向信息,同时将光线资料转换,以数码方式记下。相机内置软件操作已‘扩大光场’,追踪每光线在不同距离的影像上的落点,经数码重新对焦后,便能拍出完美照片。并且,光场相机可以保持原有相机的大孔径所带来的增加光度、减少拍照时间及起粒的情况,不用牺牲景深及及影像清晰度。更重要的是,光场相机造价成本低,使用高效、快捷,能同时输出2D图像和深度图像,并且后期应用Lytro Desktop软件对图像的处理也方便快捷。
发明内容
本申请的目的在于提供一种基于光场深度图像的铁路异物入侵监测方法,该方法检测准确度高,节省人力,自动报警,成本较低。
为达到上述目的,本申请提供一种铁路异物入侵监测方法,该方法包括:利用光场相机拍摄并采集直线轨道的背景图像,通过Lytro Desktop软件得到背景图像的原始RGB图像和深度图像;在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口;利用光场相机拍摄并采集轨道危险区域检测图像,对图像进行预处理;对预处理后的轨道危险区域检测图像进行显著物检测,获得异物图像,标记异物图像中的异物;若监测到异物,则发出报警信号,否则,继续监测异物。
其中,提取背景图像轨道危险区域检测窗口的方法包括如下子步骤:对背景图像的轨道通过高斯高通滤波器提取轨道边缘,利用霍夫变换进行直线提取;根据轨道的形状和位置,在轨道外周侧建立危险区域异物检测窗口;将位于危险区域异物检测窗口外侧的图像分割出来,保留位于危险区域异物检测窗口内侧的图像,形成背景图像轨道危险区域检测窗口。
如上的,其中,对背景图像的轨道提取中,通过高斯低通滤波器得到明显的轨道边缘特征,计算公式如下:
其中,对轨道危险区域检测图像进行预处理的方法包括如下子步骤:对轨道危险区域检测图像的深度图像进行快速引导滤波处理并做深度差异计算;对轨道危险区域检测图像的RGB图像利用ITTI模型进行显著物提取处理融合轨道危险区域检测图像的RGB显著图和深度差异图得到最终差异图;结束预处理。
其中,对轨道危险区域检测图像的深度图像进行快速引导滤波处理的算法步骤如下:
输入图像为深度图像P,引导图像为RGB图像R,输出图像为优化深度图像Q,滤波函数的输入P和输出Q是一个局部线性模型。计算公式如下:
系数ak和bk可用线性回归最小二乘法求得:
其中对轨道危险区域检测图像的深度图像做深度差异计算的具体算法步骤如下:
沿着图像像素点八个方向执行扫描,LYTRO相机得到的深度图中,深度越大,灰度值越大;对于每一条扫描线,根据图像深度信息与灰度信息的关系将最大深度值的像素点作为背景像素点,计算当前像素点与背景像素点之间的差值作为扫描值;深度差异值为八个方向扫描值的和,以圆形坐标系,八个方向分别为:0°,45°,90°,135°,180°,225°,270°,315°,深度差异数学描述为:
表示沿扫描线L的像素p的灰度值,L是扫描线的长度,取决于图像的大小,max(dL)表示扫描线L上的最大灰度值,d(p)是像素p的深度值,Ddf(p)是像素点p在八个方向上的差异值的总和。即深度差异值。
融合轨道危险区域检测图像的RGB显著图和深度差异图公式表示为:
S(i)=C(i)·D(i)
其中C(i)为RGB显著图,D(i)为深度差异图,S(i)表示图像中的第i个像素。融合图S能够进一步突显目标,抑制背景,取得更好的检测结果。
本发明采用以光场成像技术为背景的光场相机作为实验设备,光场相机只包括一个传感器,可以通过一次曝光即可同时获取原始RGB图像和深度图像。首次将轨道异物的深度特征引入到检测算法中,并具有较好可行性效果,实现了对轨道异物入侵的自动检测,节省一定的人力和成本。
附图说明
图1为本申请实施例的一种铁路异物入侵检测方法的流程图。
图2为对深度图像计算差异值的操作实例。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示,本申请提供一种铁路异物入侵检测方法,该方法包括如下步骤:
步骤S1:建立危险区域异物检测窗口。
步骤S110:利用LYTRO光场相机拍摄直线型轨道背景图像,并只需要其RGB图像;
步骤S120:高斯高通滤波,图像的频率是表征图像中灰度变化剧烈程度的指标,是灰度在平面空间上的梯度。而边缘或线条等细节部分与图像频谱的高频分量相对应,因此采用高通滤波让高频分量顺利通过,使图像的边缘或线条细节变得清楚,实现轨道的边缘提取。对FFT变换后的轨道图通过高通滤波器,该滤波器会阻止所有低频,仅允许高频通过。对经过了滤波器的图像进行逆FFT变换,得到明显的轨道边缘特征。滤波器公式如下:
S130:根据提取的轨道边缘通过Hough变换得到直线方程,调整方程参数,划定危险区域异物检测范围,建立危险区域异物检测窗口。
步骤S2:监测图像预处理。
步骤S210:利用LYTRO光场相机拍摄模拟异物入侵的场景,并通过Lytro Desktop软件得到所拍摄图像的原始RGB图像和深度图像;
步骤S220:利用边缘信息丰富的RGB图像作为边缘信息基准,采用改进的快速引导滤波算法将深度图加以引导,实现引导图像边缘保持及被引导图像局部平滑特性,以获得噪声更低和边缘更准确的深度图。该算法的时间复杂度与滤波窗口大小无关,大大提高处理速度,并且可以突出深度图像的边缘和起到平滑作用。
输入图像P为深度图像,引导图像R为对应的RGB图像,输出图像Q为优化的深度图像,滤波函数的输入R和输出Q是一个局部线性模型。
系数ak和bk可用线性回归最小二乘法求得:
快速引导滤波的算法实现过程,伪代码为:
1:R'=fsubsample(R,s)
P'=fsubsample(P,s)
r'=r/s
2:meanR=fmean(R',r')
meanp=fmean(P',r')
corrR=fmean(R.*R)
corrRP=fmean(R.*P)
3:varR=corrR-meanR.*meanR
covRP=corrR-meanR.*meanR
4:a=covRP./(varR+ε)
b=meanP-a.*meanR
5:meana=fmean(a,r')
meanb=fmean(b,r')
6:meana=fupsample(meana,s)
meanb=fupsample(meanb,s)
Q=meana.*R+meanb
系数为s,之后用低分辨率图像R'、P'作为输入计算得到,再对其进行上采样计算得到。利用该加速方法可使计算复杂度由O(N)降至O(N/S2),使计算速度得到大幅提升。
步骤S3:提取预处理过后的检测图像的显著性特征。
步骤S310:对检测图像的RGB图像采用ITTI模型提取显著特征。利用ITTI的视觉注意力模型对原始图像提取初始的颜色、亮度和方向的特征图,并对这些特征图进行多尺度几何分解、合并及归一化,得到颜色、亮度和方向三个通道的显著图,相加得到RGB图像的最终显著图。
步骤S320:对轨道危险区域检测图像的深度图像做深度差异计算。
沿着图像像素点八个方向执行扫描,LYTRO相机得到的深度图中,深度越大,灰度值越大;对于每一条扫描线,根据图像深度信息与灰度信息的关系将最大深度值的像素点作为背景像素点,计算当前像素点与背景像素点之间的差值作为扫描值;深度差异值为八个方向扫描值的和,以圆形坐标系,八个方向分别为:0°,45°,90°,135°,180°,225°,270°,315°,深度差异数学描述为:
表示沿扫描线L的像素p的灰度值,L是扫描线的长度,取决于图像的大小,max(dL)表示扫描线L上的最大灰度值,d(p)是像素p的深度值,Ddf(p)是像素点p在八个方向上的差异值的总和。即深度差异值。
步骤S330:融合RGB显著图和深度差异图。将两个显著图对应像素的显著值直接相乘作为融合图的显著值。公式如下所示:
S(i)=C(i)·D(i)
其中C(i)为RGB显著图,D(i)为深度差异图,S(i)表示图像中的第i个像素。融合图S能够进一步突显目标,抑制背景,取得更好的检测结果。
步骤S4:检测图像是否存在异物并显示ROI区域。
步骤S410:对融合图采用Ostu法进行阈值分割,提取感兴趣区域,并显示在轨道危险区域检测图像的RGB图像中,若检测到异物,系统发出报警信号,否则,继续检测异物。
上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。
Claims (7)
1.一种基于光场深度图像的轨道异物入侵检测方法,其特征在于,该方法包括如下步骤:
1)利用光场相机拍摄并采集直线轨道的背景图像,在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口;
2)利用光场相机拍摄并采集轨道危险区域检测图像,对图像进行预处理;
3)提取预处理过后的检测图像显著性特征;
4)检测图像是否存在异物并提取ROI区域,发出报警信号。
2.根据权利要求1所述的一种基于光场深度图像的轨道异物入侵检测方法,其特征在于:所述步骤1)和步骤2)中的光场相机采用LYTRO公司生产的第二代Lytro Illum相机。
4.根据权利要求1所述的基于光场深度图像的轨道异物入侵检测方法,其特征在于:所述步骤2)中利用光场相机拍摄并采集轨道危险区域检测图像,对图像进行预处理的方法包括:
a)对轨道危险区域检测图像的深度图像进行快速引导滤波处理;
b)对优化后的深度图像深度差异计算;
c)融合检测图像的RGB图显著图和优化后的深度差异图。
6.根据权利要求4所述的基于光场深度图像的轨道异物入侵检测方法,其特征在于:所述步骤b)中对优化后的深度图像深度差异计算的方法包括:
沿着图像像素点八个方向执行扫描,对于每一条扫描线,根据图像深度信息与灰度信息的关系,将最大深度值的像素点作为背景像素点,计算当前像素点与背景像素点之间的差值作为扫描值;深度差异值为八个方向扫描值的和,以圆形坐标系,八个方向分别为:0°,45°,90°,135°,180°,225°,270°,315°,深度差异数学描述为:
7.根据权利要求4所述的基于光场深度图像的轨道异物入侵检测方法,其特征在于:所述步骤c)中融合检测图像的RGB图显著图和优化后的深度差异图的公式如下:
S(i)=C(i)·D(i)
其中C(i)为RGB显著图,D(i)为深度差异图,S(i)表示图像中的第i个像素,融合图S能够进一步突显目标,抑制背景,取得更好的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111300346.XA CN114140742A (zh) | 2021-11-04 | 2021-11-04 | 一种基于光场深度图像的轨道异物入侵检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111300346.XA CN114140742A (zh) | 2021-11-04 | 2021-11-04 | 一种基于光场深度图像的轨道异物入侵检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114140742A true CN114140742A (zh) | 2022-03-04 |
Family
ID=80392324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111300346.XA Pending CN114140742A (zh) | 2021-11-04 | 2021-11-04 | 一种基于光场深度图像的轨道异物入侵检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140742A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114694125A (zh) * | 2022-05-31 | 2022-07-01 | 杭州蓝芯科技有限公司 | 一种用于轨道异物识别的数据处理方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2706211A1 (fr) * | 1993-06-08 | 1994-12-16 | Thomson Csf | Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. |
CN106023184A (zh) * | 2016-05-16 | 2016-10-12 | 南京大学 | 一种基于各向异性中心环绕差异的深度显著性检测方法 |
WO2018171008A1 (zh) * | 2017-03-21 | 2018-09-27 | 深圳市未来媒体技术研究院 | 一种基于光场图像的高光区域修复方法 |
CN109697424A (zh) * | 2018-12-19 | 2019-04-30 | 浙江大学 | 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法 |
CN110349132A (zh) * | 2019-06-25 | 2019-10-18 | 武汉纺织大学 | 一种基于光场相机深度信息提取的织物瑕疵检测方法 |
CN110866421A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 一种基于光场相机与hog、sift混合特征的行人识别方法 |
CN111626204A (zh) * | 2020-05-27 | 2020-09-04 | 北京伟杰东博信息科技有限公司 | 一种铁路异物入侵监测方法及系统 |
WO2021120406A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
-
2021
- 2021-11-04 CN CN202111300346.XA patent/CN114140742A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2706211A1 (fr) * | 1993-06-08 | 1994-12-16 | Thomson Csf | Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. |
CN106023184A (zh) * | 2016-05-16 | 2016-10-12 | 南京大学 | 一种基于各向异性中心环绕差异的深度显著性检测方法 |
WO2018171008A1 (zh) * | 2017-03-21 | 2018-09-27 | 深圳市未来媒体技术研究院 | 一种基于光场图像的高光区域修复方法 |
CN110866421A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 一种基于光场相机与hog、sift混合特征的行人识别方法 |
CN109697424A (zh) * | 2018-12-19 | 2019-04-30 | 浙江大学 | 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法 |
CN110349132A (zh) * | 2019-06-25 | 2019-10-18 | 武汉纺织大学 | 一种基于光场相机深度信息提取的织物瑕疵检测方法 |
WO2021120406A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
CN111626204A (zh) * | 2020-05-27 | 2020-09-04 | 北京伟杰东博信息科技有限公司 | 一种铁路异物入侵监测方法及系统 |
Non-Patent Citations (5)
Title |
---|
丁江华;韩燮;孙福盛;: "基于微透镜阵列的光场图像深度估计", 科学技术与工程, no. 17, 18 June 2016 (2016-06-18) * |
侯涛;李丹丹;: "基于双背景建模与差分图像的轨道异物识别", 兰州交通大学学报, no. 01, 15 February 2017 (2017-02-15) * |
崔丽群;陈晶晶;任茜钰;王柏涵;: "融合多特征与先验信息的显著性目标检测", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) * |
王宁: "基于特征融合的铁路入侵行人分类算法", 中国优秀硕士学位论文全文数据库电子期刊工程科技Ⅱ辑, 15 January 2020 (2020-01-15) * |
胡良梅;姬长动;张旭东;张骏;王丽娟;: "聚焦性检测与彩色信息引导的光场图像深度提取", 中国图象图形学报, no. 02, 16 February 2016 (2016-02-16) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114694125A (zh) * | 2022-05-31 | 2022-07-01 | 杭州蓝芯科技有限公司 | 一种用于轨道异物识别的数据处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11221107B2 (en) | Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing | |
CN107253485B (zh) | 异物侵入检测方法及异物侵入检测装置 | |
WO2022027931A1 (zh) | 基于视频图像的运动车辆前景检测方法 | |
US20050201612A1 (en) | Method and apparatus for detecting people using stereo camera | |
US9613266B2 (en) | Complex background-oriented optical character recognition method and device | |
CN104048969A (zh) | 一种隧道病害的识别方法 | |
Krishnan et al. | A survey on different edge detection techniques for image segmentation | |
JP2012038318A (ja) | ターゲット検出方法及び装置 | |
CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
CN105184308B (zh) | 一种基于全局优化决策的遥感图像建筑物检测分类方法 | |
CN116823694B (zh) | 基于多聚焦信息整合的红外与可见光图像融合方法及系统 | |
CN107564041B (zh) | 一种可见光图像空中运动目标的检测方法 | |
CN117036259A (zh) | 一种基于深度学习的金属板材表面缺陷检测方法 | |
Lam et al. | Highly accurate texture-based vehicle segmentation method | |
CN114140742A (zh) | 一种基于光场深度图像的轨道异物入侵检测方法 | |
CN104598906B (zh) | 车辆外轮廓检测方法及其装置 | |
KR101205565B1 (ko) | 영상을 이용한 전후방 차량 검출 방법 | |
CN103413138A (zh) | 一种红外图像序列中点目标检测方法 | |
Nguyen et al. | Fast traffic sign detection under challenging conditions | |
CN112613456A (zh) | 一种基于多帧差分图像累积的小目标检测方法 | |
CN117218672A (zh) | 一种基于深度学习的病案文字识别方法及系统 | |
Jo et al. | Pothole detection based on the features of intensity and motion | |
CN115423861A (zh) | 气体泄露检测方法及装置、设备、存储介质 | |
Pal | A fast method for defogging of outdoor visual images | |
JP2003030649A (ja) | 画像処理方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |