CN117002947A - 一种基于视觉检测的钢轨分流自动跟踪方法及系统 - Google Patents

一种基于视觉检测的钢轨分流自动跟踪方法及系统 Download PDF

Info

Publication number
CN117002947A
CN117002947A CN202310904286.5A CN202310904286A CN117002947A CN 117002947 A CN117002947 A CN 117002947A CN 202310904286 A CN202310904286 A CN 202310904286A CN 117002947 A CN117002947 A CN 117002947A
Authority
CN
China
Prior art keywords
steel rail
rail
image
track
steel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310904286.5A
Other languages
English (en)
Inventor
石杰
邓能辉
任宝成
崔广礼
杨朝霖
吴昆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
USTB Design and Research Institute Co Ltd
Original Assignee
USTB Design and Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by USTB Design and Research Institute Co Ltd filed Critical USTB Design and Research Institute Co Ltd
Priority to CN202310904286.5A priority Critical patent/CN117002947A/zh
Publication of CN117002947A publication Critical patent/CN117002947A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/26—Devices influencing the relative position or the attitude of articles during transit by conveyors arranging the articles, e.g. varying spacing between individual articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • B65G47/68—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices adapted to receive articles arriving in one layer from one conveyor lane and to transfer them in individual layers to more than one conveyor lane or to one broader conveyor lane, or vice versa, e.g. combining the flows of articles conveyed by more than one conveyor
    • B65G47/69—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices adapted to receive articles arriving in one layer from one conveyor lane and to transfer them in individual layers to more than one conveyor lane or to one broader conveyor lane, or vice versa, e.g. combining the flows of articles conveyed by more than one conveyor the articles being accumulated temporarily
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • B65G47/68—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices adapted to receive articles arriving in one layer from one conveyor lane and to transfer them in individual layers to more than one conveyor lane or to one broader conveyor lane, or vice versa, e.g. combining the flows of articles conveyed by more than one conveyor
    • B65G47/71—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices adapted to receive articles arriving in one layer from one conveyor lane and to transfer them in individual layers to more than one conveyor lane or to one broader conveyor lane, or vice versa, e.g. combining the flows of articles conveyed by more than one conveyor the articles being discharged or distributed to several distinct separate conveyors or to a broader conveyor lane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉检测的钢轨分流自动跟踪方法及系统，该方法包括：在横移台架处的钢轨对齐侧安装图像采集模块；利用图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹；为每个镜面室所对应的辊道进行编号并设置一个缓冲序列；当某条轨迹丢失时，依据辊道编号，将丢失的轨迹所对应的钢轨信息存储到对应的缓冲队列中；当出现钢轨从镜面室倒回的情况时，直接根据新增轨迹对应的辊道编号，将相应缓冲队列中的最近一条记录附加到新增轨迹的属性中。本发明能够实现传统跟踪逻辑中无法量化目标位置引起的跟踪错乱问题，对于复杂场景下的钢轨准确跟踪提供可行的解决方案。

Description

一种基于视觉检测的钢轨分流自动跟踪方法及系统
技术领域
本发明涉及机器视觉检测技术领域，特别涉及一种基于视觉检测的钢轨分流自动跟踪方法及系统。
背景技术
钢轨分流指的是在横移台架处，将来自检测中心出口辊道的钢轨由检测中心分往不同镜面室。目前，钢轨分流是由现场人员直接在二级系统手动操作，物料跟踪系统无法获取分流的信息，跟踪过程也便止步于此，无法进一步跟进。若要实现产线的全线贯通，保证分钢台处的自动分流跟踪是非常有必要的。
目前，常用的跟踪技术主要依赖辊道速度和不同位置点的热检信号综合预测得到相应的跟踪数据，此类方案跟踪的数据存在不稳定、覆盖不全面等问题，因此，对于钢轨分流信息的跟踪是企业跟踪过程中的难点问题，亟需解决。
发明内容
本发明提供了一种基于视觉检测的钢轨分流自动跟踪方法及系统，以解决现有技术所存在的跟踪数据不稳定、覆盖不全面的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种基于视觉检测的钢轨分流自动跟踪方法，所述基于视觉检测的钢轨分流自动跟踪方法包括：
在钢轨分流的横移台架处的钢轨对齐侧安装图像采集模块；其中，所述图像采集模块的采集区域覆盖横移台架处的钢轨分流区域；
利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；
基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹。
进一步地，所述图像采集模块包括多个相机；
多个相机在钢轨分流的横移台架处的钢轨对齐侧均匀分布式固定；每一相机沿钢轨长度方向均能够拍摄预设长度的距离范围，在横移台架的横移方向上，所有相机拍摄的范围组合起来覆盖由检测中心到各个镜面室的区域。
进一步地，利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像，包括：
利用每一相机分别实时拍摄钢轨分流区域的图像；
对每一相机拍摄到的图像进行透视变换；
依据各相机的拍摄范围的重合区域对透视变换后的图像进行裁剪；
将裁剪后的图像拼接为完整的钢轨分流区域监控图像，得到钢轨图像。
进一步地，所述目标跟踪模型包括对象检测模块和匹配跟踪模块；其中，
所述对象检测模块用于检测出每一帧钢轨图像中每一根钢轨的位置；
所述匹配跟踪模块用于基于所述对象检测模块的检测结果，逐帧图像进行钢轨匹配关联，形成每一根钢轨在时序上的运行轨迹；其中，每一根钢轨所对应的轨迹均以其对应的钢轨编号作为唯一区分属性。
进一步地，所述对象检测模型包括实例分割网络和后验处理模块；其中，
所述实例分割网络用于对钢轨图像进行检测，输出完整的钢轨轮廓像素点以及钢轨的尺寸和位置坐标；
所述后验处理模块用于基于所述实例分割网络的输出，根据图像中钢轨所占像素面积与其尺寸来确定是否需要将识别到的一个钢轨对象拆分为多个钢轨对象；其中，拆分的数量通过下式进行计算：
其中，N表示将一个钢轨对象拆分为多个钢轨对象时的拆分的数量；A为图像中钢轨所占的像素区域面积；L为图像中钢轨所占的像素长度；为现场标定参数，表示相机拍摄对应规格的钢轨时，钢轨在图像中所占的像素宽度；[.]表示向下取整运算。
进一步地，在基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹之后，所述基于视觉检测的钢轨分流自动跟踪方法还包括：
为每个镜面室所对应的辊道在图像中对应的矩形区域位置进行编号，并针对每一编号分别对应设置一个缓冲序列；
当所述目标跟踪模型检测到某条轨迹丢失时，依据轨迹丢失前所处位置对应的辊道的编号，将丢失的轨迹所对应的钢轨信息存储到此编号所对应的缓冲队列中；其中，所述钢轨信息包括钢轨编号、钢轨钢种以及钢轨规格；
当出现钢轨从镜面室倒回的情况时，根据新增轨迹所处位置对应的辊道的编号，将此编号对应的缓冲队列中的最近一条记录作为从镜面室倒回的钢轨所对应的钢轨信息附加到新增轨迹的属性中，并将相应的记录从缓冲队列中清除。
进一步地，所述缓冲队列用于保留最近的预设条数的钢轨信息；
当向所述缓冲队列中添加新的钢轨信息时，如果有数据被从所述缓冲队列中挤掉，则将被挤掉的数据存储到后台数据库中备查。
另一方面，本发明还提供了一种基于视觉检测的钢轨分流自动跟踪系统，所述基于视觉检测的钢轨分流自动跟踪系统包括：
图像采集模块，用于安装在钢轨分流的横移台架处的钢轨对齐侧；其中，所述图像采集模块的采集区域覆盖横移台架处的钢轨分流区域；
服务器模块，用于：
利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；
基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
本发明的技术方案通过布置相机，覆盖横移台架处的钢轨分流区域，通过目标跟踪模型形成钢轨的运行轨迹，完成钢轨流向的监控，有助于实现物料跟踪的全线贯通。本方案能够实现传统跟踪逻辑中无法量化目标位置引起的跟踪错乱问题，对于复杂场景、大区监控环境下的准确跟踪提供了可行的解决方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于视觉检测的钢轨分流自动跟踪方法的执行流程示意图；
图2是本发明实施例提供的基于视觉检测的钢轨分流自动跟踪系统布置图；
图3是本发明实施例提供的钢轨跟踪流程及工艺原理图；
图4是本发明实施例提供的后验处理模块工作原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
针对现有技术所存在的跟踪数据不稳定、覆盖不全面的技术问题，本实施例提供了一种基于视觉检测的钢轨分流自动跟踪方法，通过在钢轨由检测中心分往不同镜面室的横移台架处加装监控相机，完成对钢轨的分流跟踪；该方法的执行逻辑可由电子设备实现。该方法的执行流程如图1所示，包括以下步骤：
S1，在钢轨分流的横移台架处的钢轨对齐侧安装图像采集模块；其中，所述图像采集模块的采集区域覆盖横移台架处的钢轨分流区域；
其中，在本实施例中，图像采集模块包括多个相机；多个相机在钢轨分流的横移台架处的钢轨对齐侧均匀分布式固定；每一相机沿钢轨长度方向均可照射距端部8m～12m的范围，在横移台架的横移方向上所有相机拍摄的范围组合起来覆盖由检测中心到各个镜面室的区域，相机覆盖的范围为视觉跟踪区域。
具体地，本实施例将本发明方法应用于某轨梁厂中，其待监控区域台架的长度为100m，宽度为45m，在钢轨对齐侧均匀分布式安装相机，相机沿钢轨长度方向可照射距端部10米的范围，沿台架宽度方向每个相机覆盖12m的范围，在台架横移方向上4个相机拍摄的范围覆盖由检测中心到各个镜面室的范围，相机覆盖的范围为视觉跟踪区域。相机通过带有POE功能的交换机进行供电，可减少布线难度，如图2所示，实时采集的图像送入服务器进行处理。
钢轨由检测中心出口辊道进入视觉跟踪区域，此时从L2中获取当前钢轨的信息，并将其附加到由该钢轨所形成的新轨迹的对象属性中，处于视觉跟踪区域的钢轨由目标跟踪模型进行轨迹识别。其中，L2为企业自动化二级系统，由L2接收的钢轨信息包括：钢轨编号、钢种、规格。
S2，利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；
具体地，在本实施例中，利用图像采集模块得到钢轨图像的过程为：利用每一相机分别实时拍摄钢轨分流区域的图像；所有相机拍摄到的图像先经过透视变换；然后依据各相机的拍摄范围的重合区域对透视变换后的图像进行裁剪；最后将裁剪后的图像拼接为完整的钢轨分流区域监控图像，得到钢轨图像。
S3，基于得到的钢轨图像，通过预设目标跟踪模型，形成钢轨的运行轨迹；
其中，在本实施例中，所述目标跟踪模型由对象检测模块和匹配跟踪模块组成；其中，所述对象检测模块用于检测出每一帧钢轨图像中每一根钢轨的位置；所述匹配跟踪模块用于基于所述对象检测模块的检测结果，利用卡尔曼滤波和匈牙利算法，逐帧图像进行钢轨匹配关联，形成每一根钢轨在时序上的运行轨迹；目标跟踪模型的输出为钢轨在时序上的运行轨迹，其中，每一根钢轨所对应的轨迹均以其对应的钢轨编号作为唯一区分属性。
进一步地，所述对象检测模型由实例分割网络和后验处理模块组成；其中，所述实例分割网络用于对钢轨图像进行检测，输出完整的钢轨轮廓像素点以及钢轨的尺寸和位置坐标，具体地，本实施例中的实例分割网络为SOLOv2网络；所述后验处理模块用于基于所述实例分割网络的输出，根据图像中钢轨所占像素面积与其尺寸来确定是否需要将识别到的一个钢轨对象拆分为多个钢轨对象，如图4所示，其中，拆分的数量通过下式进行计算：
其中，N表示将一个钢轨对象拆分为多个钢轨对象时的拆分的数量；A为图像中钢轨所占的像素区域面积；L为图像中钢轨所占的像素长度；为现场标定参数，表示相机拍摄对应规格的钢轨时，钢轨在图像中所占的像素宽度；[.]表示向下取整运算。
S4，为每个镜面室所对应的辊道在图像中对应的矩形区域位置进行编号，并针对每一编号分别对应设置一个缓冲序列；
S5，当所述目标跟踪模型检测到某条轨迹丢失时，依据轨迹丢失前所处位置对应的辊道的编号，将丢失的轨迹所对应的钢轨信息存储到此编号所对应的缓冲队列中，如图3所示；其中，所述钢轨信息包括：钢轨编号、钢轨钢种以及钢轨规格；所述缓冲队列用于保留最近的预设条数(本实施例为3条)的钢轨信息；当向所述缓冲队列中添加新的钢轨信息时，如果有数据被从所述缓冲队列中挤掉，则将被挤掉的数据存储到后台数据库中备查。
S6，当出现钢轨从镜面室倒回的情况时，根据新增轨迹所处位置对应的辊道的编号，将此编号对应的缓冲队列中的最近一条记录作为从镜面室倒回的钢轨所对应的钢轨信息附加到新增轨迹的属性中，并将该记录从缓冲队列中清除。
其中，需要说明的是，当出现钢轨从镜面室倒回的情况时，本实施例通过判断新增轨迹的位置确定其来源，当确定其并非来自检测中心出口辊道时，则钢轨信息不再从L2获取，而是直接以对应镜面室辊道编号的缓冲队列中最近一条记录作为该钢轨的信息附加到该轨迹的属性中，同时从该缓冲队列中清理掉该记录。由此可以有效降低钢轨重复进入跟踪区域引起的轨迹标签错乱的风险。
综上，本实施例提供了一种基于视觉检测的钢轨分流自动跟踪方法，该方案利用在横移冷床区域布置的多组摄像头监控该区域实时状态，通过目标跟踪模型从图像中分析出不同钢轨的行动轨迹，实现区域的目标跟踪。并且在各镜面室辊道入口设置相应的缓冲队列，保留丢失的目标轨迹，用于降低钢轨重复进入跟踪区域引起的轨迹标签错乱的风险。从而有助于实现物料跟踪的全线贯通。为复杂场景、大区监控环境下的准确跟踪提供了一种切实可行的解决方案。
第二实施例
本实施例提供了一种基于视觉检测的钢轨分流自动跟踪系统，该基于视觉检测的钢轨分流自动跟踪系统的网络结构如图2所示，包括以下模块：
图像采集模块，用于安装在钢轨分流的横移台架处的钢轨对齐侧；其中，所述图像采集模块的采集区域覆盖横移台架处的钢轨分流区域；
服务器模块，用于：
利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；
基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹。
本实施例的基于视觉检测的钢轨分流自动跟踪系统与上述第一实施例的基于视觉检测的钢轨分流自动跟踪方法相对应；其中，本实施例的基于视觉检测的钢轨分流自动跟踪系统中的各功能模块所实现的功能与第一实施例的基于视觉检测的钢轨分流自动跟踪方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (8)

1.一种基于视觉检测的钢轨分流自动跟踪方法，其特征在于，包括：
在钢轨分流的横移台架处的钢轨对齐侧安装图像采集模块；其中，所述图像采集模块的采集区域覆盖横移台架处的钢轨分流区域；
利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；
基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹。
2.如权利要求1所述的基于视觉检测的钢轨分流自动跟踪方法，其特征在于，所述图像采集模块包括多个相机；
多个相机在钢轨分流的横移台架处的钢轨对齐侧均匀分布式固定；每一相机沿钢轨长度方向均能够拍摄预设长度的距离范围，在横移台架的横移方向上，所有相机拍摄的范围组合起来覆盖由检测中心到各个镜面室的区域。
3.如权利要求2所述的基于视觉检测的钢轨分流自动跟踪方法，其特征在于，利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像，包括：
利用每一相机分别实时拍摄钢轨分流区域的图像；
对每一相机拍摄到的图像进行透视变换；
依据各相机的拍摄范围的重合区域对透视变换后的图像进行裁剪；
将裁剪后的图像拼接为完整的钢轨分流区域监控图像，得到钢轨图像。
4.如权利要求1所述的基于视觉检测的钢轨分流自动跟踪方法，其特征在于，所述目标跟踪模型包括对象检测模块和匹配跟踪模块；其中，
所述对象检测模块用于检测出每一帧钢轨图像中每一根钢轨的位置；
所述匹配跟踪模块用于基于所述对象检测模块的检测结果，逐帧图像进行钢轨匹配关联，形成每一根钢轨在时序上的运行轨迹；其中，每一根钢轨所对应的轨迹均以其对应的钢轨编号作为唯一区分属性。
5.如权利要求4所述的基于视觉检测的钢轨分流自动跟踪方法，其特征在于，所述对象检测模型包括实例分割网络和后验处理模块；其中，
所述实例分割网络用于对钢轨图像进行检测，输出完整的钢轨轮廓像素点以及钢轨的尺寸和位置坐标；
所述后验处理模块用于基于所述实例分割网络的输出，根据图像中钢轨所占像素面积与其尺寸来确定是否需要将识别到的一个钢轨对象拆分为多个钢轨对象；其中，拆分的数量通过下式进行计算：
其中，N表示将一个钢轨对象拆分为多个钢轨对象时的拆分的数量；A为图像中钢轨所占的像素区域面积；L为图像中钢轨所占的像素长度；为现场标定参数，表示相机拍摄对应规格的钢轨时，钢轨在图像中所占的像素宽度；[.]表示向下取整运算。
6.如权利要求1～5任一项所述的基于视觉检测的钢轨分流自动跟踪方法，其特征在于，在基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹之后，所述基于视觉检测的钢轨分流自动跟踪方法还包括：
为每个镜面室所对应的辊道在图像中对应的矩形区域位置进行编号，并针对每一编号分别对应设置一个缓冲序列；
当所述目标跟踪模型检测到某条轨迹丢失时，依据轨迹丢失前所处位置对应的辊道的编号，将丢失的轨迹所对应的钢轨信息存储到此编号所对应的缓冲队列中；其中，所述钢轨信息包括钢轨编号、钢轨钢种以及钢轨规格；
当出现钢轨从镜面室倒回的情况时，根据新增轨迹所处位置对应的辊道的编号，将此编号对应的缓冲队列中的最近一条记录作为从镜面室倒回的钢轨所对应的钢轨信息附加到新增轨迹的属性中，并将相应的记录从缓冲队列中清除。
7.如权利要求6所述的基于视觉检测的钢轨分流自动跟踪方法，其特征在于，所述缓冲队列用于保留最近的预设条数的钢轨信息；
当向所述缓冲队列中添加新的钢轨信息时，如果有数据被从所述缓冲队列中挤掉，则将被挤掉的数据存储到后台数据库中备查。
8.一种基于视觉检测的钢轨分流自动跟踪系统，其特征在于，包括：
图像采集模块，用于安装在钢轨分流的横移台架处的钢轨对齐侧；其中，所述图像采集模块的采集区域覆盖横移台架处的钢轨分流区域；
服务器模块，用于：
利用所述图像采集模块实时采集钢轨分流区域的图像，得到钢轨图像；
基于得到的钢轨图像，通过预设的目标跟踪模型，形成钢轨的运行轨迹。
CN202310904286.5A 2023-07-21 2023-07-21 一种基于视觉检测的钢轨分流自动跟踪方法及系统 Pending CN117002947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310904286.5A CN117002947A (zh) 2023-07-21 2023-07-21 一种基于视觉检测的钢轨分流自动跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310904286.5A CN117002947A (zh) 2023-07-21 2023-07-21 一种基于视觉检测的钢轨分流自动跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN117002947A true CN117002947A (zh) 2023-11-07

Family

ID=88572095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310904286.5A Pending CN117002947A (zh) 2023-07-21 2023-07-21 一种基于视觉检测的钢轨分流自动跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN117002947A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117539210A (zh) * 2024-01-09 2024-02-09 江苏精益智控科技有限公司 一种融合机器视觉与过程控制的跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117539210A (zh) * 2024-01-09 2024-02-09 江苏精益智控科技有限公司 一种融合机器视觉与过程控制的跟踪方法
CN117539210B (zh) * 2024-01-09 2024-04-16 江苏精益智控科技有限公司 一种融合机器视觉与过程控制的跟踪方法

Similar Documents

Publication Publication Date Title
CN106952477A (zh) 基于多相机图像联合处理的路侧停车管理方法
CN104809917B (zh) 船舶实时跟踪监控方法
CN117002947A (zh) 一种基于视觉检测的钢轨分流自动跟踪方法及系统
CN109856643B (zh) 基于3d激光的可移动式无感全景感知方法
CN101969548A (zh) 基于双目摄像的主动视频获取方法及装置
CN103607569A (zh) 视频监控中的监控目标跟踪方法和系统
CN108960134A (zh) 一种巡线无人机影像标注及智能识别方法
CN110648319B (zh) 基于双相机的设备图像采集诊断系统及方法
CN110579782A (zh) 一种电力作业人员可视化定位追踪系统及方法
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN110047092B (zh) 一种复杂环境下多目标实时跟踪方法
CN111489380B (zh) 一种目标物体轨迹分析方法
CN108830204B (zh) 面对目标的监控视频中异常检测方法
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN113850237B (zh) 基于视频和轨迹数据的网联车目标检测评价方法及系统
CN114220044A (zh) 一种基于ai算法的河道漂浮物检测方法
CN111950524B (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
Kafetzis et al. UAV-assisted aerial survey of railways using deep learning
Wang et al. Automatic detection and tracking of precast walls from surveillance construction site videos
CN116958884A (zh) 目标追踪的方法和系统
CN116012939A (zh) 违规行为的确定方法和装置、存储介质及电子装置
CN116311034A (zh) 一种基于对比检测的机器人巡检系统
CN113824880B (zh) 一种基于目标检测和uwb定位的车辆跟踪方法
CN115861236A (zh) 滴漏事件的确定方法及装置、存储介质、电子装置
CN111709325B (zh) 一种热轧加热炉板坯的自动照合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination