CN114037752A - 一种基于多模型信息匹配的冷床区钢板跟踪方法 - Google Patents
一种基于多模型信息匹配的冷床区钢板跟踪方法 Download PDFInfo
- Publication number
- CN114037752A CN114037752A CN202111243605.XA CN202111243605A CN114037752A CN 114037752 A CN114037752 A CN 114037752A CN 202111243605 A CN202111243605 A CN 202111243605A CN 114037752 A CN114037752 A CN 114037752A
- Authority
- CN
- China
- Prior art keywords
- steel plate
- cooling bed
- bed area
- tracking
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 186
- 239000010959 steel Substances 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001816 cooling Methods 0.000 claims abstract description 122
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Factory Administration (AREA)
- Control Of Heat Treatment Processes (AREA)
Abstract
本发明提供一种基于多模型信息匹配的冷床区钢板跟踪方法,属于冶金智能制造技术领域。该方法首先利用视觉跟踪模型分析得到T0时刻冷床区钢板状态信息,利用此信息初始化逻辑跟踪模型状态;逻辑跟踪模型依赖T‑1时刻冷床区钢板状态结合冷床速度计算得到当前T时刻冷床区钢板状态信息S1;视觉跟踪模型利用实例分割方法从图像中分析得到当前T时刻冷床区钢板状态信息S2;T时刻下,S1与S2计算匹配情况,分析异常跟踪状态,将S2保存用于下一次计算;进入下一时刻,重复上述过程,实时跟踪冷床区钢板状态。该方法降低了长时序下逻辑跟踪模型的预测误差,利用匹配状态信息能够判断出卡钢、吊运下料等特殊情况,实现了全面、准确、智能的冷床区钢板跟踪。
Description
技术领域
本发明涉及冶金智能制造技术领域,特别是指一种基于多模型信息匹配的冷床区钢板跟踪方法。
背景技术
钢铁产品生产过程中,需要对每块钢板的位置信息进行实时跟踪,而其中冷床区域的跟踪难度最大。冷床区域范围较大且结构相对紧凑,很难在其中安装光检设备,没有传感器反馈实际信息;并且冷床区域处存在行车吊运、冷床卡钢的情况,增加了钢板状态的不确定性;这些因素的综合影响增加了此区域钢板跟踪的难度。
目前企业中常用的冷床区域钢板跟踪方式多为逻辑跟踪,即利用控制冷床运行的速度信息进行钢板位置的计算与预测;由于只是理论计算,缺乏实时的传感器检测信号反馈,因此这种跟踪方式得到的钢板位置状态误差较大;此外由于逻辑跟踪方式无法检测到行车吊运钢板的操作,不能及时的进行钢板信息吊销,很难进行冷床区钢板的全面跟踪。
利用视觉跟踪技术可以直观的监测到冷床区钢板状态信息,相比于逻辑跟踪计算得到的钢板状态信息更加准确。因此本发明中设计了基于逻辑跟踪与视觉跟踪融合匹配的方式进行冷床区钢板跟踪,利用两模型检测数据的匹配分析,不仅可以准确的得到冷床区钢板位置状态信息,而且可以识别到冷床卡钢的现象,能够更加全面的进行冷床区钢板跟踪。
发明内容
本发明要解决的技术问题是提供一种基于多模型信息匹配的冷床区钢板跟踪方法。
该方法包括步骤如下:
(1)利用视觉跟踪模型分析得到T0时刻冷床区钢板状态信息,并利用此信息初始化逻辑跟踪模型的状态;
(2)逻辑跟踪模型依赖T-1时刻冷床区钢板状态并结合冷床速度计算得到当前T时刻冷床区钢板状态信息S1;
(3)视觉跟踪模型利用实例分割模型从图像中分析得到当前T时刻冷床区钢板状态信息S2;
(4)T时刻下,计算冷床区钢板状态信息S1与冷床区钢板状态信息S2的匹配情况,分析异常跟踪状态,然后将冷床区钢板状态信息S2进行保存用于下一次步骤(2)计算;
(5)进入下一时刻,重复步骤(2)至步骤(4)过程,实时跟踪冷床区钢板状态。
在本方法中,T0表示最开始的时刻,T表示开始后的任意时刻,T-1表示T时刻的上一时刻。
该方法中,冷床区钢板均由上冷床辊道运送至冷床区域,然后钢板通过由行车直接吊走或从下冷床辊道运送离开的方式离开冷床区域。
上述视觉跟踪模型中所用相机为红外监控相机,红外监控相机安装于行车运行轨道上方2米,相机数量保证相机拍射范围覆盖整个冷床区域。
钢板状态信息包括T时刻下钢板中心的x和y坐标位置以及T时刻下钢板的长度和宽度。
步骤(3)中视觉跟踪模型所采用的实例分割模型为SOLO、YOLACT中的一种,分割模型输出的钢板区域映射到实物坐标系下,得到T时刻冷床区钢板状态信息S2,S2包括其中和代表T时刻下识别到的钢板中心的x和y坐标位置,和代表T时刻下识别到的钢板的长度和宽度。
步骤(2)中逻辑跟踪模型获取控制冷床速度数据,通过速度对时间的积分得到单位时刻冷床区各钢板的状态量变化,逻辑跟踪模型得到的冷床区钢板状态信息S1分为以下三类情况:
①钢板进入冷床过程中,逻辑跟踪模型为:
②钢板在冷床区运行时,逻辑跟踪模型为:
③钢板离开冷床过程中,逻辑跟踪模型为:
其中,和代表T时刻下跟踪到的钢板中心的x和y坐标位置,lT和wT代表T时刻下跟踪到的钢板的长度和宽度,v为冷床运动速度,和为T-1时刻下跟踪到的钢板中心的x和y坐标位置,lT-1和wT-1为T-1时刻下跟踪到的钢板的长度和宽度。
上述匹配情况与冷床区钢板跟踪的关系为:
①S1中钢板数量大于S2中钢板数量,S1中钢板无法在S2中匹配到,未匹配的钢板为行车吊走的钢板,进行信息吊销;
②S1中钢板数量小于S2中钢板数量,S2中钢板无法在S1中匹配到,未匹配的钢板为刚刚进入冷床区域的钢板,进行信息添加;
③S1中钢板数量等于S2中钢板数量,S1或S2中存在钢板未匹配,判定为出现冷床卡钢并进行报警;
④S1中钢板数量等于S2中钢板数量,S1和S2中钢板完全匹配,为正常的钢板跟踪状态,进行及时的信息更新。
当行车处于冷床正上方吊运钢板时由于存在遮挡,视觉跟踪模型停止跟踪,冷床区钢板状态信息完全由逻辑跟踪模型获得,并且规定行车在冷床区域操作时不允许钢板有沿辊道上冷床或下冷床操作。
本发明的上述技术方案的有益效果如下:
上述方案中,解决了冷床区钢板实时跟踪的问题,提升了冷床区域的智能化水平,减少了人工进行信息核验的过程,提升了产线的生产节奏,给钢铁企业带来了巨大利润。
附图说明
图1为本发明的基于多模型信息匹配的冷床区钢板跟踪方法流程图;
图2为本发明实施例中钢板进入冷床区的示意图;
图3为本发明实施例中钢板在冷床区行进过程的示意图;
图4为本发明实施例中钢板离开冷床区的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明提供一种基于多模型信息匹配的冷床区钢板跟踪方法。
如图1所示,该方法包括步骤如下:
(1)利用视觉跟踪模型分析得到T0时刻冷床区钢板状态信息,并利用此信息初始化逻辑跟踪模型的状态,即用视觉跟踪模型得到的状态信息,一对一变量(位置和宽度长度)赋值进行初始化。;
(2)逻辑跟踪模型依赖T-1时刻冷床区钢板状态并结合冷床速度计算得到当前T时刻冷床区钢板状态信息S1;
(3)视觉跟踪模型利用实例分割模型从图像中分析得到当前T时刻冷床区钢板状态信息S2;
(4)T时刻下,计算冷床区钢板状态信息S1与冷床区钢板状态信息S2的匹配情况,分析异常跟踪状态,然后将冷床区钢板状态信息S2进行保存用于下一次步骤(2)计算;
(5)进入下一时刻,重复步骤(2)至步骤(4)过程,实时跟踪冷床区钢板状态。
下面结合具体实施例予以说明。
以国内某钢厂热处理线为例,冷床宽度为25米,短板生产情况下可同时容纳8块钢板,长板生产情况下可同时容纳4块钢板,冷床上的钢板均由上冷床辊道运送至冷床区域,钢板离开冷床区域途径包含两种方式,一种方式是由行车直接吊走,另一种方式是从下冷床辊道运送离开。
视觉跟踪模型中相机采用海康威视红外监控相机,4mm镜头,79°水平视场角,拍摄图像大小为2560*1440,相机安装于行车运行轨道上方2米位置,距地面高度约为12米,单个相机可拍射范围为整个冷床区域。
视觉跟踪模型所采用的实例分割模型可选SOLO、YOLACT中的一种,可以独立分割得到冷床上每块钢板的位置信息和长宽信息,分割模型输出的钢板状态信息映射到实物坐标系下,得到T时刻冷床区各钢板的状态信息,状态信息包括其中和代表T时刻下识别到的钢板中心的x和y坐标位置,和代表T时刻下识别到的钢板的长度和宽度信息。
逻辑跟踪模型获取控制冷床运动的电机速度数据,通过速度对时间的积分得到单位时刻冷床区各钢板的状态量变化,逻辑跟踪模型状态量变化过程分为以下三类:
如图2所示,钢板进入冷床过程中,逻辑跟踪模型为:
如图3所示,钢板在冷床区运行时,逻辑跟踪模型为:
如图4所示,钢板离开冷床过程中,逻辑跟踪模型为:
匹配情况与冷床区钢板跟踪的关系为:
S1中钢板数量大于S2中钢板数量,S1中钢板无法在S2中匹配到,未匹配的钢板为行车吊走的钢板,进行信息吊销;
S1中钢板数量小于S2中钢板数量,S2中钢板无法在S1中匹配到,未匹配的钢板为刚刚进入冷床区域的钢板,进行信息添加;
S1中钢板数量等于S2中钢板数量,S1或S2中存在钢板未匹配,判定为出现冷床卡钢并进行报警。
S1中钢板数量等于S2中钢板数量,S1和S2中钢板完全匹配,为正常的钢板跟踪状态,进行及时的信息更新。
行车可实时反馈位置信息,当行车处于冷床正上方吊运钢板时由于存在遮挡,视觉跟踪模型停止跟踪,冷床区钢板状态信息完全由逻辑跟踪模型获得,并且规定行车在冷床区域操作时不允许钢板有沿辊道上冷床或下冷床操作。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于多模型信息匹配的冷床区钢板跟踪方法,其特征在于:包括步骤如下:
(1)利用视觉跟踪模型分析得到T0时刻冷床区钢板状态信息,并利用此信息初始化逻辑跟踪模型的状态;
(2)逻辑跟踪模型依赖T-1时刻冷床区钢板状态并结合冷床速度计算得到当前T时刻冷床区钢板状态信息S1;
(3)视觉跟踪模型利用实例分割模型从图像中分析得到当前T时刻冷床区钢板状态信息S2;
(4)T时刻下,计算冷床区钢板状态信息S1与冷床区钢板状态信息S2的匹配情况,分析异常跟踪状态,然后将冷床区钢板状态信息S2进行保存用于下一次步骤(2)计算;
(5)进入下一时刻,重复步骤(2)至步骤(4)过程,实时跟踪冷床区钢板状态。
2.根据权利要求1所述的基于多模型信息匹配的冷床区钢板跟踪方法,其特征在于:该方法中,冷床区钢板均由上冷床辊道运送至冷床区域,然后钢板通过由行车直接吊走或从下冷床辊道运送离开的方式离开冷床区域。
3.根据权利要求1所述的基于多模型信息匹配的冷床区钢板跟踪方法,其特征在于:所述视觉跟踪模型中所用相机为红外监控相机,红外监控相机安装于行车运行轨道上方2米,相机数量保证相机拍射范围覆盖整个冷床区域。
4.根据权利要求1所述的基于多模型信息匹配的冷床区钢板跟踪方法,其特征在于:所述钢板状态信息包括T时刻下钢板中心的x和y坐标位置以及T时刻下钢板的长度和宽度。
8.根据权利要求7所述的基于多模型信息匹配的冷床区钢板跟踪方法,其特征在于:所述匹配情况与冷床区钢板跟踪的关系为:
①S1中钢板数量大于S2中钢板数量,S1中钢板无法在S2中匹配到,未匹配的钢板为行车吊走的钢板,进行信息吊销;
②S1中钢板数量小于S2中钢板数量,S2中钢板无法在S1中匹配到,未匹配的钢板为刚刚进入冷床区域的钢板,进行信息添加;
③S1中钢板数量等于S2中钢板数量,S1或S2中存在钢板未匹配,判定为出现冷床卡钢并进行报警;
④S1中钢板数量等于S2中钢板数量,S1和S2中钢板完全匹配,为正常的钢板跟踪状态,进行及时的信息更新。
9.根据权利要求2所述的基于多模型信息匹配的冷床区钢板跟踪方法,其特征在于:当行车处于冷床正上方吊运钢板时由于存在遮挡,视觉跟踪模型停止跟踪,冷床区钢板状态信息完全由逻辑跟踪模型获得,并且规定行车在冷床区域操作时不允许钢板有沿辊道上冷床或下冷床操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111243605.XA CN114037752B (zh) | 2021-10-25 | 2021-10-25 | 一种基于多模型信息匹配的冷床区钢板跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111243605.XA CN114037752B (zh) | 2021-10-25 | 2021-10-25 | 一种基于多模型信息匹配的冷床区钢板跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114037752A true CN114037752A (zh) | 2022-02-11 |
CN114037752B CN114037752B (zh) | 2024-11-12 |
Family
ID=80135330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111243605.XA Active CN114037752B (zh) | 2021-10-25 | 2021-10-25 | 一种基于多模型信息匹配的冷床区钢板跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037752B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100239A (zh) * | 2022-06-01 | 2022-09-23 | 北京科技大学 | 一种基于目标检测的棒材分流跟踪方法 |
CN117539210A (zh) * | 2024-01-09 | 2024-02-09 | 江苏精益智控科技有限公司 | 一种融合机器视觉与过程控制的跟踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109190616A (zh) * | 2018-08-03 | 2019-01-11 | 东北大学 | 一种基于特征识别的热轧钢板在线视觉跟踪算法 |
CN111681259A (zh) * | 2020-05-17 | 2020-09-18 | 天津理工大学 | 基于无Anchor机制检测网络的车辆跟踪模型建立方法 |
-
2021
- 2021-10-25 CN CN202111243605.XA patent/CN114037752B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109190616A (zh) * | 2018-08-03 | 2019-01-11 | 东北大学 | 一种基于特征识别的热轧钢板在线视觉跟踪算法 |
CN111681259A (zh) * | 2020-05-17 | 2020-09-18 | 天津理工大学 | 基于无Anchor机制检测网络的车辆跟踪模型建立方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100239A (zh) * | 2022-06-01 | 2022-09-23 | 北京科技大学 | 一种基于目标检测的棒材分流跟踪方法 |
CN117539210A (zh) * | 2024-01-09 | 2024-02-09 | 江苏精益智控科技有限公司 | 一种融合机器视觉与过程控制的跟踪方法 |
CN117539210B (zh) * | 2024-01-09 | 2024-04-16 | 江苏精益智控科技有限公司 | 一种融合机器视觉与过程控制的跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114037752B (zh) | 2024-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657575B (zh) | 室外施工人员智能视频跟踪算法 | |
CN114037752A (zh) | 一种基于多模型信息匹配的冷床区钢板跟踪方法 | |
CN101105097B (zh) | 站台屏蔽门智能控制方法 | |
CN102044159A (zh) | 基于fpga的路口排队长度图像检测的交通信号控制机 | |
WO2024098681A1 (zh) | 基于yolo自动识别的水电站平板闸门启闭方法 | |
CN108734117A (zh) | 基于yolo的电缆设备外部腐蚀破损识别方法 | |
CN112183369A (zh) | 一种用于变电站无人巡检的指针仪表读数识别方法 | |
CN107976286A (zh) | 阀体气密性智能监测系统及方法 | |
CN111573200B (zh) | 一种井下皮带转接处堵塞的视觉检测系统及检测方法 | |
Zhang et al. | Belt deviation detection system based on deep learning under complex working conditions | |
CN206140524U (zh) | 一种智能送快递机器人 | |
CN111368833A (zh) | 一种基于机器视觉的板坯号检测全自动装钢方法 | |
CN104772880B (zh) | 一种基于lmdo的注塑机械手模具异常检测方法 | |
CN118013197A (zh) | 一种基于深度学习算法的火炬流量监测应急系统及方法 | |
CN117035669A (zh) | 基于人工智能的企业安全生产管理方法及系统 | |
Wang et al. | Offset detection of grate trolley’s side plate based on YOLOv4 | |
CN110807444A (zh) | 一种基于dsp边缘计算的行人异常行为检测系统和方法 | |
CN116404746A (zh) | 一种变电站设备智能巡检和预警系统 | |
CN117011280A (zh) | 基于点云分割的3d打印混凝土墙质量监测方法及系统 | |
CN116630886A (zh) | 一种烧结机台车车轮摆动的监测与预警方法 | |
CN115205234A (zh) | 基于深度学习的砂石粒度分布曲线检测方法 | |
CN114581840A (zh) | 一种基于计算机视觉的安全反违章视频自动分拣系统模型 | |
Zhao et al. | YOLOv8 Detection and Improved BOT-SORT Tracking Algorithm for Iron Ladles | |
CN115339879B (zh) | 一种基于机器视觉的长材小方坯智能输送跟踪方法及系统 | |
CN115326797B (zh) | 一种垃圾传送异常状态监测与修正方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |