CN111885359A - 一种基于机器视觉的轧线智能监控系统及方法 - Google Patents

Abstract

本发明提供一种基于机器视觉的轧线智能监控系统及方法，系统包括：信息采集模块，数据接入模块，流媒体转发模块，消息处理与分发模块，图像识别模块，资源同步模块，用于对图像数据进行资源同步，所述资源同步包括将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源，客户端，用于对实时监控数据进行展示；本发明实现了前端设备的自动接入，可以使系统高效低延时运行，通过本发明可以准确实时监测轧线生产异常，降低操作人员劳动强度，关联生产场景控制减少异常停机时间，实现智能集中高效管控，具有可靠性高、实时性强、准确性高、分布式模块化部署和成本低等特点，助力钢铁企业生产智能化、无人化发展。

Description

一种基于机器视觉的轧线智能监控系统及方法

技术领域

本发明涉及冶金领域和监控领域，尤其涉及一种基于机器视觉的轧线智能监控系统及方法。

背景技术

随着智能化的蓬勃发展，国内各大钢铁企业都将大量的资源投入到智能化改造升级之中，而目前在钢铁行业的产线智能化应用中，基本都是单个系统产品，目前钢铁领域的机器视觉应用点零散，且单个系统产品成本较高，每个场景都是独立的系统，没有形成产品体系，并没有做到优化人员配置，各个生产场景都需要多个人工参与。另外，在钢铁生产流程过程中，特别是某些自动化生产过程场景中，很多自动化生产结果还需要人工参与实时监测，现场的操作人员需时刻观察现场情况；而在某些生产过程中，也还需人工实时参与确认工艺设备流程的正常，较大的消耗了工人效率价值，工作强度较高；通过人工监控手段存在一定的盲区，人工不能完全发现异常状态。

目前，还没有专门用于钢铁行业的具体工业场景的监控平台，现有的视觉算法呈现出的最终结果数据与实际原始数据延迟较大，不能满足钢铁行业的生产实时性需要，因此，需要一种新的有效可靠的智能监控方法，以解决现有技术中缺乏统一性监控、管理，需要人工依靠经验性判断的问题，以及满足钢铁行业生产实时性的要求。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种基于机器视觉的轧线智能监控系统及方法，以解决上述技术问题。

本发明提供的基于机器视觉的轧线智能监控系统，包括：

信息采集模块，用于采集监控信号，所述监控信号至少包括图像信息和音频信息；

数据接入模块，用于接收采集的监控信号，并对所述监控信号进行预处理；

流媒体转发模块，用于对接入数据进行转发和混合处理；

消息处理与分发模块，与流媒体转发模块连接用于对数据流进行标记，并对标记后的数据中的图像信息和音频信息进行数据同步；

图像识别模块，用于对采集到的轧线生产工艺场景下的图像进行异常状态识别；

资源同步模块，用于对图像数据进行资源同步，所述资源同步包括将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源；

客户端，用于对实时监控数据进行展示。

可选的，还包括：

任务调度模块，用于根据监控需求及监控场景的要求，根据任务调度指令调度计划任务、控制任务生命周期；

图片处理模块，用于对图片数据进行尺寸调整和颜色转换处理。

可选的，对数据流进行标记包括对流媒体转发模块转发的数据流进行统一的标记编码，所述标记编码根据NTP时间同步和设备ID获取。

可选的，所述异常状态识别包括轧机咬钢异常识别、轧机堆钢识别、上料台架弯钢识别、冷床冲顶识别、加热炉双钢识别，所述异常状态识别结果包括识别故障类型、故障代码、故障标记信息。

可选的，所述资源同步模块根据任务调度指令对图像数据进行资源同步，并对进行资源同步后的图像帧中标记编码信息进行更新，所述客户端展示实时监控数据时，通过音频变化曲线在画面中表示某一节点中的实时音频数据。

可选的，根据对设备ID当前图像帧进行检索匹配，获取所述原始图像信息，对更新后的标记编码与同数据源的原始的标记编码信息进行比较，获取信息中的时间差，如所述时间差超过预先设定的阈值，则舍弃当前帧的数据结果。

可选的，还包括存储模块，当进行资源同步时，通过所述存储模块进行多线程多通道并行处理，数据流按时间周期队列进入数据缓存区。

可选的，还包括：

数据库，用于对异常状态识别结果进行特征提取并存储，所述特征提取包括报警数量、报警类别、报警区域，报警名称；

报警模块，用于发送报警信息，并联动报警任务。

本发明还提供一种基于机器视觉的轧线智能监控方法，包括：

采集监控信号，所述监控信号至少包括图像信息和音频信息；

接收采集的监控信号，并对所述监控信号进行预处理；

对接入数据进行转发和混合处理；

标记数据流，并对标记后的数据中的图像信息和音频信息进行数据同步；

对采集到的轧线生产工艺场景下的图像进行异常状态识别；

将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源；

对实时监控数据进行展示。

本发明的有益效果：本发明中的基于机器视觉的轧线智能监控系统及方法，实现了前端设备的自动接入，可以使系统高效低延时运行，通过本发明可以准确实时监测轧线生产异常，降低操作人员劳动强度，关联生产场景控制减少异常停机时间，实现智能集中高效管控，具有可靠性高、实时性强、准确性高、分布式模块化部署和成本低等特点，本发明可以有效助力钢铁企业生产智能化、无人化发展。

附图说明

图1是本发明实施例中基于机器视觉的轧线智能监控系统的工作流程示意图。

图2是本发明实施例中基于机器视觉的轧线智能监控系统的资源同步流程示意图。

图3是本发明实施例中基于机器视觉的轧线智能监控方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

本实施例中的基于机器视觉的轧线智能监控系统，包括：

信息采集模块，用于采集监控信号，所述监控信号至少包括图像信息和音频信息；

数据接入模块，用于接收采集的监控信号，并对所述监控信号进行预处理；

流媒体转发模块，用于对接入数据进行转发和混合处理；

消息处理与分发模块，与流媒体转发模块连接用于对数据流进行标记，并对标记后的数据中的图像信息和音频信息进行数据同步；

图像识别模块，用于对采集到的轧线生产工艺场景下的图像进行异常状态识别；

资源同步模块，用于对图像数据进行资源同步，所述资源同步包括将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源；

客户端，用于对实时监控数据进行展示。

在本实施例中，通过信息采集模块作为前端设备进下信号采集，信息采集模块可以包括摄像机、工业相机、传感器等设备，信息采集模块可以通过通信模块进行数据传输，本实施例中的通信模块可以采用通信专网，例如高速局域网，现场的前端设备可以连接千兆CAT6网线，连接至交换机，通过光电转换器与光纤连接，传输至系统服务器所在区域后，再经光电转换器连接千兆CAT6网线，最终连接至汇聚交换机。数据接入模块，用于接收采集的监控信号，并对所述监控信号进行预处理，数据接入模块可以通过前端设备交付协议实时采集现场数据，有效集成前端设备，管理前端设备注册配置信息，同时实时接入设备数据，数据包含摄像机主码流视频数据、工业相机图像数据、传感器模拟信号数据和报警设备数字信号数据，数据接入模块可有效自动匹配数据类型，然后对数据进行预处理，预处理包含视频、图像、数模信号标准转码处理。通过流媒体转发模块，使数据接入后进入流媒体，通过平台音视频传输协议对数据按需转发、数据混合，可有效控制数据流向及数据量，减少资源占用。任务调度模块可以进行系统智能化调度策略、规则，根据实际监控需求及监控场景的要求，调整智能监控系统的监控策略，调度系统计划任务、控制任务生命周期，任务调度模块可以通过平台业务请求控制协议将任务指令和规则传递给消息处理与分发模块。消息处理与分发模块根据任务调度指令与规则请求，异步处理并分发系统业务消息，控制系统图片处理、各图像算法、资源同步的进程，当消息处理与分发模块启动系统的一个任务进程，消息处理与分发模块判断数据类型：

当数据是图片数据时，可以通过调用图片处理模块处理来自流媒体转发模块传输过来的数据；

当数据是其他数模信号时，系统直接调用资源同步模块；

在本实施例中，消息处理及分发模块对流媒体转发来的数据流作统一的标记编码，标记编码规则由系统NTP时间同步、设备ID共同确定，对视频数据和音频数据分别同步处理。图片处理模块可以对图像数据进行自适应图片大小处理、图片彩色转换处理，包含RGB转灰度图处理，1080P图像分割处理。图片处理完成后传入图像识别模块进行异常状态识别，图像识别可以包含钢铁企业产线中轧线生产工艺场景图像识别，例如包含轧机咬钢异常识别、轧机堆钢识别、上料台架弯钢识别、冷床冲顶识别和加热炉双钢识别，识别的具体算法可以通过现有技术中的识别算法进行，再此不再赘述。

在本实施例中，通过图像识别模块最终给出识别分析结果，包含识别故障类型、故障代码、故障标记信息。当图像识别模块给出当前图像的识别结果后，资源同步模块间将当前图像的识别分析计算结果与流媒体转发模块中的当前图像的原始图像进行叠加，实现图像数据混合同步，同时除图像数据外的数模信号数据根据当前图像的来源，同步到同一数据来源，同步为音视频混合数据。

如图3所示，在本实施例中，是否叠加分析计算结果由任务调度指令和规则确定，叠加结果后客户端数据展示时，画面会实时展示分析计算结果标记信息，更加明确向用户展示实时监测情况，检测到异常时标记发生明显变化，提醒效果更加明显不被遗漏；是否叠加音频数据由任务调度给出任务指令和规则来确定，叠加结果后客户端数据展示时，画面会实时展示音频变化曲线等标记，明确表示该点位含有实时音频数据，可同步播放对应时间段的实时音频数据流；系统中前端设备的输入系统的数据帧率越高，系统所实现的延迟越低，实时展示效果越好；图像识别模块输出识别分析结果后，该图像帧的结果中的标记编码信息进行更新；所有数据叠加同步均采用多线程多通道进行，按时间周期队列进入数据缓存区，等待消费；当前图像帧首先进行ID匹配，查找原始数据，更新后的标记编码信息与同数据源的原始的标记编码信息进行比较，计算信息中的时间差，如果超过预先设定的阈值，则舍弃当前帧的数据结果，通过这样的方式以避免算法处理结果实时性过低问题。

在本实施例中，判断符合要求的结果数据是否包含报警标志信息，包含则进行数据叠加前渲染，本实施例中的渲染可以自定义配置，对视频画面作灰度、增加对比度、虚化等自定义图像渲染，按数据原始分辨率进行最终渲染，据系统调度指令，如存在音频混合叠加需求，则判断是否存在数据源ID是否存在，存在即调取音频缓存区，该缓存区实时按周期性缓存，周期长度不低于系统延时要求；最终完成数据叠加同步。

在本实施例中，当客户端发生回放交互操作时，响应用户操作，可以根据用户指令，调用存储管理模块对应数据返回至客户端，媒体转发模块可以根据智能数据交互协议，将原始音视频数据及音视频混合数据实时传输给客户端，在客户端实现数据展示、音视频播放，同时客户端实现用户登录、原始记录查询、画面配置管理功能。本实施例中还包括数据库，通过数据库对流媒体转发中混合音视频数据进行特征提取并存储，特征提取包括报警数量、报警类别、报警区域，报警名称。通过报警模块查询数据库中时候存在报警信息，若存在报警信息，则检索对应报警详细信息，分发报警信息并联动报警任务。

相应的，本发明还提供一种基于机器视觉的轧线智能监控方法，包括：

S1.采集监控信号，所述监控信号至少包括图像信息和音频信息；

S2.接收采集的监控信号，并对所述监控信号进行预处理；

S3.对接入数据进行转发和混合处理；

S4.标记数据流，并对标记后的数据中的图像信息和音频信息进行数据同步；

S5.对采集到的轧线生产工艺场景下的图像进行异常状态识别；

S6.将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源；

S7.对实时监控数据进行展示。

在本实施例中，利用上述基于机器视觉的轧线智能监控系统，针对钢铁生产领域的轧线进行智能化的监控，具有可靠性高、实时性强、准确性高、分布式模块化部署和成本低等特点，实现了前端设备的自动接入、系统高效低延时运行、实时自动报警处理、典型故障音视频智能分析、个性化展示配置等功能，可准确实时监测轧线生产异常，降低操作人员劳动强度，关联生产场景控制减少异常停机时间，智能集中高效管控的作用，助力钢铁企业生产智能化、无人化发展。

在上述实施例中，说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于机器视觉的轧线智能监控系统，其特征在于，包括：

信息采集模块，用于采集监控信号，所述监控信号至少包括图像信息和音频信息；

数据接入模块，用于接收采集的监控信号，并对所述监控信号进行预处理；

流媒体转发模块，用于对接入数据进行转发和混合处理；

消息处理与分发模块，与流媒体转发模块连接用于对数据流进行标记，并对标记后的数据中的图像信息和音频信息进行数据同步；

图像识别模块，用于对采集到的轧线生产工艺场景下的图像进行异常状态识别；

资源同步模块，用于对图像数据进行资源同步，所述资源同步包括将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源；

客户端，用于对实时监控数据进行展示。

2.根据权利要求1所述的基于机器视觉的轧线智能监控系统，其特征在于，还包括：

任务调度模块，用于根据监控需求及监控场景的要求，根据任务调度指令调度计划任务、控制任务生命周期；

图片处理模块，用于对图片数据进行尺寸调整和颜色转换处理。

3.根据权利要求2所述的基于机器视觉的轧线智能监控系统，其特征在于，对数据流进行标记包括对流媒体转发模块转发的数据流进行统一的标记编码，所述标记编码根据NTP时间同步和设备ID获取。

4.根据权利要求3所述的基于机器视觉的轧线智能监控系统，其特征在于，所述异常状态识别包括轧机咬钢异常识别、轧机堆钢识别、上料台架弯钢识别、冷床冲顶识别、加热炉双钢识别，所述异常状态识别结果包括识别故障类型、故障代码、故障标记信息。

5.根据权利要求3所述的基于机器视觉的轧线智能监控系统，其特征在于，

所述资源同步模块根据任务调度指令对图像数据进行资源同步，并对进行资源同步后的图像帧中标记编码信息进行更新，所述客户端展示实时监控数据时，通过音频变化曲线在画面中表示某一节点中的实时音频数据。

6.根据权利要求5所述的基于机器视觉的轧线智能监控系统，其特征在于，根据对设备ID当前图像帧进行检索匹配，获取所述原始图像信息，对更新后的标记编码与同数据源的原始的标记编码信息进行比较，获取信息中的时间差，如所述时间差超过预先设定的阈值，则舍弃当前帧的数据结果。

7.根据权利要求3所述的基于机器视觉的轧线智能监控系统，其特征在于，还包括存储模块，当进行资源同步时，通过所述存储模块进行多线程多通道并行处理，数据流按时间周期队列进入数据缓存区。

8.根据权利要求1-7任一所述的基于机器视觉的轧线智能监控系统，其特征在于，还包括：

数据库，用于对异常状态识别结果进行特征提取并存储，所述特征提取包括报警数量、报警类别、报警区域，报警名称；

报警模块，用于发送报警信息，并联动报警任务。

9.一种基于机器视觉的轧线智能监控方法，其特征在于，包括：

采集监控信号，所述监控信号至少包括图像信息和音频信息；

接收采集的监控信号，并对所述监控信号进行预处理；

对接入数据进行转发和混合处理；

标记数据流，并对标记后的数据中的图像信息和音频信息进行数据同步；

对采集到的轧线生产工艺场景下的图像进行异常状态识别；

将异常状态识别结果与流媒体转发模块中的原始图像信息进行叠加，并同步非图像数据的数据源；

对实时监控数据进行展示。

Images