CN116519703A - 基于线扫3d图像的集电靴碳滑板图像检测系统及方法 - Google Patents
基于线扫3d图像的集电靴碳滑板图像检测系统及方法 Download PDFInfo
- Publication number
- CN116519703A CN116519703A CN202310529596.3A CN202310529596A CN116519703A CN 116519703 A CN116519703 A CN 116519703A CN 202310529596 A CN202310529596 A CN 202310529596A CN 116519703 A CN116519703 A CN 116519703A
- Authority
- CN
- China
- Prior art keywords
- image
- slide plate
- carbon
- carbon slide
- train
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 132
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000007547 defect Effects 0.000 claims abstract description 48
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 239000002086 nanomaterial Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 10
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 239000000428 dust Substances 0.000 description 4
- 238000007664 blowing Methods 0.000 description 3
- 238000005336 cracking Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于线扫3D图像的集电靴碳滑板图像检测系统及方法，所述系统包括轨旁设备、现场控制机构和远程控制中心，现场控制机构分别与轨旁设备和远程控制中心通信连接；轨旁设备包括进线传感器、离线传感器和线扫3D图像采集设备；线扫3D图像采集设备设置在轨道外侧，以俯拍的方式面向集电靴碳滑板，线扫3D图像采集设备包括面阵相机和线激光。本发明采用线扫3D图像采集设备对列车集电靴碳滑板进行图像采集，通过获取3D和2D图像数据作为碳滑板异常分析的基础，相对于背景技术中的单2D图像检测的方式，获得直观的2D数据和真实精确的3D数据，通过对3D数据的深度信息检测碳滑板的缺陷，能够提高碳滑板异常检测的精度。
Description
技术领域
本发明属于集电靴碳滑板检测技术领域，尤其涉及一种基于线扫3D图像的轨道车辆集电靴碳滑板图像检测系统及方法。
背景技术
近年来，轨道交通以其运输量大、快捷、安全可靠性高等优点得到了迅猛的发展，轨道交通网络的建设成为了城市发展的一张名片，轨道交通也逐渐成为了市民出行的首选，有效地解决了各大城市公共交通拥堵的问题。
集电靴作为轨道列车常用的供电装置，在列车运行中起到稳定持续接触受流、为车辆的稳定运行提供能源的作用。目前轨道列车运行线路上常存在着弯道、道岔等相关情况，有周期性变化的随机载荷、车辆自身运行中的蛇形运动和震动、硬点出阶跃冲击等机械作用，这些都会对集电靴与供电第三轨接触的碳滑板造成损耗和破坏，碳滑板的开裂、破损缺块等异常情况容易造成列车受流异常从而影响列车的稳定安全运行。因此，对列车集电靴碳滑板异常检测对于保证列车的安全运行至关重要。
现阶段，针对集电靴碳滑板检测大多仍以人工目测为主，需要将车辆停到检修库中，然后安排检修人员单独对每个集电靴碳滑板检测，人工检测存在效率低、劳动强度大、检测精度和稳定性受人主观因素影响等问题。
另外，市面上还未见到针对集电靴碳滑板的开裂、破损缺块等异常的可靠图像检测设备，既有的一些检测设备多以2D相机采集平面图像，虽然获得了直观的2D图像，但由于开裂、破损缺块等缺陷以及不规则、形状大小等各异等客观因素，使得通过二维图像数据的分析识别并检测三维物体的缺陷难度较大，导致检出率低、重复精度低，而且无法有效区分滑板上污渍、擦痕及其他干扰和真实损伤，极易造成误报，反而影响工作人员的检测效率。
因此，如何对现有的集电靴碳滑板检测技术进行改进，或者提出一种新的集电靴碳滑板检测系统和检测方法成为了本领域技术人员亟待解决的课题之一。
发明内容
本发明所要解决的问题是针对目前集电靴碳滑板裂纹、破损缺块等缺陷检测技术的不足，提供一种基于线扫3D图像的集电靴碳滑板图像检测系统及检测方法，线扫3D相机利用激光三角法的拍摄方式和CCD复眼技术，实现全面获取集电靴碳滑板图像以及图像上各点对应的深度信息，即一台相机同时获取集电靴碳滑板的2D图像和3D图像，从而更全面准确地了解集电靴碳滑板的损伤情况。
本发明为解决上述技术问题采用以下技术方案：
基于线扫3D图像的集电靴碳滑板图像检测系统，包括轨旁设备、现场控制机构和远程控制中心，现场控制机构分别与轨旁设备和远程控制中心通信连接；轨旁设备包括进线传感器、离线传感器和线扫3D图像采集设备；线扫3D图像采集设备设置在轨道外侧，以俯拍的方式面向集电靴碳滑板，线扫3D图像采集设备包括面阵相机和线激光。
进一步的，所述线扫3D图像采集设备设有两个，分别位于轨道外侧的立柱上。
进一步的，所述轨旁设备还包括测速雷达和车号识别设备，测速雷达检测进线列车的即时速度；车号识别设备识别进线列车的车号。
进一步的，所述进线传感器、测速雷达、车号识别设备、线扫3D图像采集设备、离线传感器的镜头均外镀纳米材料防水膜。
基于线扫3D图像的集电靴碳滑板图像检测系统的检测方法，所述方法包括：
(1)图像采集：当列车车辆接近所述检测系统，通过进线传感器，获得列车进线信号而启动系统工作，线扫3D图像采集设备开始采集集电靴碳滑板的3D图像和2D图像；
(2)图像预处理：通过对采集的图像数据处理，形成列车集电靴碳滑板的2D图像和对应区域的3D图像；通过对3D图像数据分析处理可以得到含完整碳滑板的3D图像；
(3)3D图像缺陷检测和2D图像缺陷展示：通过图像处理技术和深度学习技术对2D图像和3D图像智能识别分析可以检测出碳滑板表面的裂纹、碳滑板的破损缺块，并对检出的缺陷按照车号、缺陷类型、缺陷级别进行定位报警。
进一步的，所述步骤(2)包括：将3D图像进行归一化处理，生成单通道灰度图；对2D图像进行gamma变换。
进一步的，所述步骤(2)还包括：合成得到含完整碳滑板的3D图像：
对2D图像阈值分割，提取灰度值大于10的区域，如不存在灰度大于10的区域则该图像为无碳滑板的空白图像；
对灰度值大于10的区域求取最小外接矩形，最小外接矩形的左上角坐标(x,y)和外接矩形的宽度高度(w,h)；若高度h<450像素或者高度h和宽度w乘积小于45000则该图像为空白图像，其他情况则该图像为含碳滑板的图像；
对含碳滑板的图像，若最小外接矩形左上角的坐标(x,y)中x≥1并且x+w<1999，则该图像为含完整碳滑板的图像，其他情况则该图像为含局部碳滑板的图像；
对含局部碳滑板的图像，若x＝0则前一张图像中也存在局部碳滑板图像且其外接矩形(x-1,y-1,w-1,h-1)的x-1+w-1＝1999，将两幅图像按列方向拼接在一起，拼接图中碳滑板区域外接矩形(x-1,min(y-1,y),w-1+w,max(h-1,h))，且x-1+w-1+w<2000,生成一个0～2000-(x-1+w-1+w)的随机数c-1，从拼接图中截取列区间在[x-1-c-1,x-1-c-1+2000]的图像且保存成包含完整碳滑板区域的新图像；同步将这2张2D图像对应的3D图像也按相同方式拼接和相同的坐标位置截取保存成新的3D图像，即为所述含完整碳滑板的3D图像。
进一步的，所述步骤(3)：对收集的有缺陷区域的2D图像中裂纹区域、破损缺块区域进行图像语义分割标注；将缺陷区域用闭合多边形圈出，多边形及内部区域为标注出的缺陷区域，并填充对应缺陷的标签序号作为该区域的每个像素点的分类值，其他区域作为背景填充背景值零；将上述3D图像和2D图像的标注数据作为训练集，采用神经网络训练采用交叉熵作为损失函数训练；
训练完成后，将待检测的所述含完整碳滑板的3D图像进行归一化处理后得到的单通道灰度图输入上述神经网络，输出的检测结果为一张与原图同尺寸的灰度分割图，灰度分割图中非零值的像素点区域即为检出的各种缺陷区域；
将缺陷区域与原始的2D图像叠加，直观看出2D图像中对应的缺陷区域和缺陷类型。
进一步的，所述步骤(1)：测速雷达获得列车实时过车速度，车号识别设备获得本次过车的车号，线扫3D图像采集设备根据测速雷达获得的实时车速调整采集帧率进而采集集电靴碳滑板图像，使得图像在列车运动方向拉伸趋于一致；
当车轮触发离线传感器时完成集电靴碳滑板图像采集工作，列车离线，线扫3D图像采集设备关闭。
本发明的基于线扫3D图像的集电靴碳滑板图像检测系统及方法具备如下功能：(1)采集集电靴碳滑板2D、3D图像；(2)非接触式集电靴碳滑板裂纹、破损缺块自动检测。
本发明采用线扫3D图像采集设备对列车集电靴碳滑板进行图像采集，通过获取3D和2D图像数据作为碳滑板异常分析的基础，相对于背景技术中的单2D图像检测的方式，获得直观的2D数据和真实精确的3D数据，通过对3D数据的深度信息检测碳滑板的缺陷，能够提高碳滑板异常检测的精度。
附图说明
图1为本发明基于线扫3D图像的集电靴碳滑板图像检测系统的布局示意图；
图2为本发明基于线扫3D图像的集电靴碳滑板图像检测系统的工作流程图；
图3为线扫3D图像采集设备的拍摄视野示意图；
图4为本发明中实施例缺陷检测方法流程图；
图5为线扫3D图像采集设备拍摄的集电靴碳滑板的2D图像示例：(a)无碳滑板区域；(b)含局部碳滑板区域1；(c)含局部碳滑板区域2；(d)含完整碳滑板区域；
图6为检测碳滑板图像的方法流程图；
其中，1、第一支轨，2、第二支轨，3、进线传感器，4、测速雷达，5、车号识别设备，6、线扫3D图像采集设备，7、离线传感器。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
本实施例的基于线扫3D图像的集电靴碳滑板检测系统，包括轨旁设备、现场控制机构和远程控制中心，现场控制机构与轨旁设备和远程控制中心通信连接；所述轨旁设备包括基本检测单元和安装基座，基本检测单元由一组进线传感器3、一个测速雷达4、车号识别设备5、两个集电靴碳滑板三维检测模组(线扫3D图像采集设备6)、一组离线传感器7组成，安装基座由轨道两侧的混凝土基础组成。
进线传感器3通过安装支架抱装在钢轨内侧部，作为整套系统的起始位置，检测进线列车的车轮，获得列车进线信号，控制系统启动。
测速雷达4安装在轨旁安全限界以外的立柱上，检测进线列车的即时速度。
车号识别设备5安装在轨旁安全限界以外的立柱上，识别进线列车的车号。
两个线扫3D图像采集设备6分别安装在轨道两侧安全限界的立柱上，采用俯拍的方式对着碳滑板所在区域，线扫3D图像采集设备6用于对列车集电靴碳滑板进行图像采集。线扫3D图像采集设备6包括面阵相机和线激光，线激光和面阵相机以俯拍的方式面向受电靴碳滑板上表面，在列车经过补光光源时候线激光透射到列车集电靴碳滑板上，便于面阵相机采集投射到碳滑板上的激光线，进而生成3D图像和2D图像。如图1所示，线扫3D图像采集设备6的数量为两个，分布在轨道每个支轨(第一支轨1和第二支轨2)的外侧。
离线传感器7通过安装支架抱装在钢轨内侧部，作为整套系统的终止位置，检测列车的车轮，获得列车离开信号，控制系统关闭。
优选的，线扫3D图像采集设备6还包括吹风除尘机构，对线扫3D图像采集设备6进行自清洁，而且结构体积小，造价低，现场安装和维护十分方便。吹风除尘装置的具体结构可参照CN217037269U一种吹风除尘的舱门装置，此处不再赘述。
优选的，进线传感器3、测速雷达4、车号识别设备5、线扫3D图像采集设备6、离线传感器7的镜头均外镀纳米材料防水膜。
现场控制机构实现所述基本检测单元的供电、控制、数据和图像的采集、分析处理、存储，同时与所述远程控制中心进行通讯；所述现场控制机构包括有图像处理计算机、设备控制箱、车轮传感器处理装置、车号工控机、交换机、数据服务器、不间断电源、防雷箱。
本实施例基于线扫3D图像的集电靴碳滑板图像检测系统的检测方法，包括如下：
(1)当列车车辆接近所述检测系统，通过进线传感器3，获得列车进线信号而启动系统工作，测速雷达4获得列车实时过车速度，车号识别设备5获得本次过车的车号，线扫3D图像采集设备6根据测速雷达4获得的实时车速调整采集帧率进而采集集电靴碳滑板图像，使得图像在列车运动方向拉伸趋于一致；
(2)通过对采集的图像数据处理，形成列车集电靴碳滑板的2D图像和对应区域的3D图像，通过对3D图像数据分析处理可以得到碳滑板所在区域；
(3)通过图像处理技术和深度学习技术对2D图像和3D图像智能识别分析可以检测出集电靴碳滑板区域、碳滑板表面的裂纹、碳滑板的破损缺块，并对检出的缺陷按照车号、缺陷类型、缺陷级别进行定位报警，通知人工确认并检修。
其中，如图2所示，无列车进线时检测系统处于休眠等待接车状态，列车进线，车轮经过进线传感器3，进线传感器3触发有效进线信号系统启动进入接车状态，线扫3D图像采集设备6打开保护舱门，开启窗口玻璃上的吹风除尘装装置，同时窗口玻璃会加热去除水雾。系统启动测速雷达4对过车车速检测，并根据车速计算匹配的相机采集帧率，发送相应频率的脉冲给线扫3D图像采集设备6采集集电靴碳滑板图像；系统将车号识别设备5的识别到的车号信息、测速雷达4的速度信息和采集的3D和2D图像数据分析处理并上传客户端。过车结束列车离线，车轮触发离线传感器7并且离线传感器7触发轮次数与进线传感器3一致，系统完成图像采集，列车离线，线扫3D图像采集设备6关闭，系统进入休眠等待接车状态。
线扫3D图像采集设备6对列车集电靴碳滑板进行图像采集，通过获取3D和2D图像数据作为碳滑板异常分析的基础，相对于背景技术中的单2D图像检测的方式，获得直观的2D数据和真实精确的3D数据，通过对3D数据的深度信息检测碳滑板的缺陷，能够提高碳滑板异常检测的精度。
上述检测方法具体包括：
1)图像采集：线扫3D图像采集设备6用于图像采集的部件为面阵相机和线激光，共计2个线扫3D图像采集设备6分别两根支轨(支轨1和支轨2)外侧，接收到进线传感器3的信号后，系统启动测速雷达4对过车车速检测，并根据车速计算匹配的相机采集帧率，发送相应频率的脉冲给线扫3D图像采集设备6采集集电靴碳滑板的3D和2D图像数据。过车结束，车轮触发离线传感器7并且离线传感器7触发轮次数与进线传感器3一致，系统完成图像采集，列车离线，线扫3D图像采集设备6关闭，系统进入休眠等待接车状态。
2)如图4所示，对采集到的碳滑板图像进行预处理，得到3D图像和清晰的2D图像；利用图像处理算法检测碳滑板所在区域，以及集电靴碳滑板图像中裂纹和破损缺块位置，判断集电靴碳滑板损伤类型和等级：
第一步：图像预处理(上述图像采集线扫得到的图像中可能是空白图像、包含局部碳滑板的图像、包含完整碳滑板的图像，本步骤的图像预处理主要是筛选碳滑板图像，并将存在局部碳滑板的图像合成含完整碳滑板区域图像)。
线扫3D图像采集设备6采用复眼技术一个相机同时采集2D和3D图像，且采集的2D和3D图像无需配准尺寸相同。
因为线扫3D图像采集设备6在系统启动后连续工作采集集电靴碳滑板图像直到列车离线后停止，连续采集导致所获取的图像中存在大量无碳滑板的无效图像(如图5中无碳滑板图像所示)；单个集电靴碳滑板的图像在线扫采集时会出现在一张完整的图像中如图5中碳滑板完整图像所示；单个集电靴碳滑板的图像在线扫采集时会被分割到至多两张图像中，如图5中碳滑板局部1和碳滑板局部2所示。图5中所示图像为3D线扫相机产生的2D可视图像，尺寸为2048*2000，对应的3D图像与2D可视图像尺寸一致，是2D图像中各个像素点对应物体的深度信息。
将3D图像的深度数据进行归一化处理，生成单通道灰度图；对2D图像数据进行gamma变换，提升图像的清晰度。进而提取局部碳滑板图像如图6所示。
具体的，对采集到的2D图像做阈值分割，提取灰度值大于10的区域，如不存在灰度大于10的区域则该图像为无碳滑板的空白图像，对灰度值大于10的区域求取最小外接矩形，得到最小外接矩形左上角坐标(x,y)和外接矩形的宽度高度(w,h)。若高度h<450像素或者高度h和宽度w乘积小于45000则为空白图像，其他情况视为存在碳滑板的图像。
对存在碳滑板的图像，进一步根据外接矩形左上角的坐标(x,y)中x≥1并且x+w<1999的外接矩形，则该图像为存在完整碳滑板的图像，其他情况视为该图像为局部碳滑板的图像。
对局部碳滑板的图像，若x＝0则前一张图像中也存在局部碳滑板图像且其外接矩形(x-1,y-1,w-1,h-1)的x-1+w-1＝1999，将两幅图像按列方向拼接在一起，拼接图中碳滑板区域外接矩形(x-1,min(y-1,y),w-1+w,max(h-1,h))，且x-1+w-1+w<2000,生成一个0～2000-(x-1+w-1+w)的随机数c-1，从拼接图中截取列区间在[x-1-c-1,x-1-c-1+2000]的图像保存成尺寸为宽度2000高度2048的包含完整碳滑板区域的新图像；同步将这2张2D图像对应的3D图像也按相同方式拼接和相同的坐标位置截取保存成新的3D图像。
第二步：3D图像缺陷检测、2D图像缺陷展示。
将第一步中的3D图像归一化处理后得到的单通道灰度图进行标注，又因为3D图像不便于可视化观测和标注，而3D图像与2D图像尺寸一致拍摄对象一致，故采用2D图像输入数据标注软件labelme进行图像语义分割标注。
3D图像缺陷检测：
将收集的有缺陷的碳滑板图像中碳滑板区域、裂纹区域、破损缺块区域进行标注(是对上述2D图像进行图像语义分割标注的具体解释，说明具体标注内容和形式)，将缺陷区域用闭合多边形圈出，多边形及内部区域为标注出的缺陷并填充对应缺陷的标签序号作为该区域的每个像素点的分类值，其他区域作为背景填充背景值零。将3D图像和2D图像的标注数据作为训练集的标准label(用可视的2D图像来标注，又因为2D和3D图像是相同对象的不同表现形式，一个表示反光亮度信息，一个表示深度信息，但都是相同对象的，故2D标注得到的目标文件，对2D和3D数据均适用)，3D图像归一化处理后的单通道灰度图作为训练集，采用u-net神经网络训练采用交叉熵作为损失函数训练。
训练完成后，将待检测的3D图像归一化处理后得到的单通道灰度图(即第一步中或图6所示得到的含完整碳滑板的3D图像)输入u-net神经网络，输出的检测结果为一张与原图同尺寸的灰度分割图，其样式与标注图相似，灰度分割图中非零值的像素点区域即为检出的各种缺陷区域。
2D图像缺陷展示：
因为通过3D图像归一化处理后得到的单通道灰度图检测出碳滑板区域、裂纹区域、破损缺块区域并不便于直观观测，此时可将缺陷区域与原始的2D图像叠加可以直观的看出2D图像中对应的缺陷区域，并根据缺陷类型及大小分级报警。
本发明已以较佳实施例公开如上，但它们并不是用来限定本发明，任何熟悉此技艺这，在不脱离本发明之精神和范围内，自当可作各种变化或者润饰，因此本发明的保护范围应当以本声请的权利要求保护范围所界定的为准。
Claims (9)
1.基于线扫3D图像的集电靴碳滑板图像检测系统，其特征在于，所述系统包括轨旁设备、现场控制机构和远程控制中心，现场控制机构分别与轨旁设备和远程控制中心通信连接；轨旁设备包括进线传感器、离线传感器和线扫3D图像采集设备；线扫3D图像采集设备设置在轨道外侧，以俯拍的方式面向集电靴碳滑板，线扫3D图像采集设备包括面阵相机和线激光。
2.如权利要求1所述的基于线扫3D图像的集电靴碳滑板图像检测系统，其特征在于，所述线扫3D图像采集设备设有两个，分别位于轨道外侧的立柱上。
3.如权利要求1所述的基于线扫3D图像的集电靴碳滑板图像检测系统，其特征在于，所述轨旁设备还包括测速雷达和车号识别设备，测速雷达检测进线列车的即时速度；车号识别设备识别进线列车的车号。
4.如权利要求3所述的基于线扫3D图像的集电靴碳滑板图像检测系统，其特征在于，所述进线传感器、测速雷达、车号识别设备、线扫3D图像采集设备、离线传感器的镜头均外镀纳米材料防水膜。
5.权利要求1所述的基于线扫3D图像的集电靴碳滑板图像检测系统的检测方法，其特征在于，所述方法包括：
(1)图像采集：当列车车辆接近所述检测系统，通过进线传感器，获得列车进线信号而启动系统工作，线扫3D图像采集设备开始采集集电靴碳滑板的3D图像和2D图像；
(2)图像预处理：通过对采集的图像数据处理，形成列车集电靴碳滑板的2D图像和对应区域的3D图像；通过对3D图像数据分析处理可以得到含完整碳滑板的3D图像；
(3)3D图像缺陷检测和2D图像缺陷展示：通过图像处理技术和深度学习技术对2D图像和3D图像智能识别分析可以检测出碳滑板表面的裂纹、碳滑板的破损缺块，并对检出的缺陷按照车号、缺陷类型、缺陷级别进行定位报警。
6.如权利要求5所述的检测方法，其特征在于，所述步骤(2)包括：将3D图像进行归一化处理，生成单通道灰度图；对2D图像进行gamma变换。
7.如权利要求6所述的检测方法，其特征在于，所述步骤(2)还包括：合成得到含完整碳滑板的3D图像：
对2D图像阈值分割，提取灰度值大于10的区域，如不存在灰度大于10的区域则该图像为无碳滑板的空白图像；
对灰度值大于10的区域求取最小外接矩形，最小外接矩形的左上角坐标(x,y)和外接矩形的宽度高度(w,h)；若高度h<450像素或者高度h和宽度w乘积小于45000则该图像为空白图像，其他情况则该图像为含碳滑板的图像；
对含碳滑板的图像，若最小外接矩形左上角的坐标(x,y)中x≥1并且x+w<1999，则该图像为含完整碳滑板的图像，其他情况则该图像为含局部碳滑板的图像；
对含局部碳滑板的图像，若x＝0则前一张图像中也存在局部碳滑板图像且其外接矩形(x-1,y-1,w-1,h-1)的x-1+w-1＝1999，将两幅图像按列方向拼接在一起，拼接图中碳滑板区域外接矩形(x-1,min(y-1,y),w-1+w,max(h-1,h))，且x-1+w-1+w<2000,生成一个0～2000-(x-1+w-1+w)的随机数c-1，从拼接图中截取列区间在
[x-1-c-1,x-1-c-1+2000]的图像且保存成包含完整碳滑板区域的新图像；同步将这2张2D图像对应的3D图像也按相同方式拼接和相同的坐标位置截取保存成新的3D图像，即为所述含完整碳滑板的3D图像。
8.如权利要求5-7任意一项所述的检测方法，其特征在于，所述步骤(3)：对收集的有缺陷区域的2D图像中裂纹区域、破损缺块区域进行图像语义分割标注；将缺陷区域用闭合多边形圈出，多边形及内部区域为标注出的缺陷区域，并填充对应缺陷的标签序号作为该区域的每个像素点的分类值，其他区域作为背景填充背景值零；将上述3D图像和2D图像的标注数据作为训练集，采用神经网络训练采用交叉熵作为损失函数训练；
训练完成后，将待检测的所述含完整碳滑板的3D图像进行归一化处理后得到的单通道灰度图输入上述神经网络，输出的检测结果为一张与原图同尺寸的灰度分割图，灰度分割图中非零值的像素点区域即为检出的各种缺陷区域；
将缺陷区域与原始的2D图像叠加，直观看出2D图像中对应的缺陷区域和缺陷类型。
9.如权利要求5或6所述的检测方法，其特征在于，所述步骤(1)：测速雷达获得列车实时过车速度，车号识别设备获得本次过车的车号，线扫3D图像采集设备根据测速雷达获得的实时车速调整采集帧率进而采集集电靴碳滑板图像，使得图像在列车运动方向拉伸趋于一致；
当车轮触发离线传感器时完成集电靴碳滑板图像采集工作，列车离线，线扫3D图像采集设备关闭。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310529596.3A CN116519703A (zh) | 2023-05-11 | 2023-05-11 | 基于线扫3d图像的集电靴碳滑板图像检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310529596.3A CN116519703A (zh) | 2023-05-11 | 2023-05-11 | 基于线扫3d图像的集电靴碳滑板图像检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116519703A true CN116519703A (zh) | 2023-08-01 |
Family
ID=87399173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310529596.3A Pending CN116519703A (zh) | 2023-05-11 | 2023-05-11 | 基于线扫3d图像的集电靴碳滑板图像检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116519703A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116952765A (zh) * | 2023-09-19 | 2023-10-27 | 西南交通大学 | 一种货车车轮多边形磨损抑制与定量评价方法 |
-
2023
- 2023-05-11 CN CN202310529596.3A patent/CN116519703A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116952765A (zh) * | 2023-09-19 | 2023-10-27 | 西南交通大学 | 一种货车车轮多边形磨损抑制与定量评价方法 |
| CN116952765B (zh) * | 2023-09-19 | 2023-12-12 | 西南交通大学 | 一种货车车轮多边形磨损抑制与定量评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| CN106192634B (zh) | 一种铁路轨道弹条扣件状态自动检测装置以及方法 | |
| CN108491758B (zh) | 一种轨道检测方法及机器人 | |
| CN102759347B (zh) | 一种高铁接触网在线巡检装置、巡检方法以及其检测系统 | |
| KR101602376B1 (ko) | 열차 결함 모니터링 시스템 | |
| CN109238756B (zh) | 货车运行故障动态图像检测设备及检测方法 | |
| CN106124512B (zh) | 悬挂式单轨箱型梁巡检装置 | |
| KR102017870B1 (ko) | 실시간 선로 결함 검측 시스템 | |
| JP2022511313A (ja) | 物理オブジェクトの欠陥を判定するためのシステム及び方法 | |
| CN109242035B (zh) | 车底故障检测装置及方法 | |
| CN109489724A (zh) | 一种隧道列车安全运行环境综合检测装置及检测方法 | |
| CN107187464A (zh) | 轨道板检测车、系统以及方法 | |
| CN111289261A (zh) | 一种库内车底部件检测方法 | |
| CN110646801A (zh) | 一种用于铁路货车车厢的检测装置及其检测方法 | |
| CN116519703A (zh) | 基于线扫3d图像的集电靴碳滑板图像检测系统及方法 | |
| CN113371028A (zh) | 一种电客车载轨道智能巡检系统及方法 | |
| CN112508911A (zh) | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法 | |
| CN210954335U (zh) | 一种用于铁路货车车厢的检测装置 | |
| CN115600124A (zh) | 地铁隧道巡检系统及巡检方法 | |
| CN115184269A (zh) | 一种轨道巡检系统及方法 | |
| CN114572273B (zh) | 一种轨道车辆轮对踏面3d图像检测方法 | |
| Wolf et al. | Asset Detection in Railroad Environments using Deep Learning-based Scanline Analysis. | |
| CN116380928A (zh) | 一种非接触式弓网硬点检测方法和系统 | |
| CN113866184A (zh) | 一种非接触式硬点检测方法及非接触式硬点检测系统 | |
| Nichoha et al. | Development of modern methods and directions of rapid diagnostics of railway tracks defects by television methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |