CN115100454A - 一种铁前皮带运输海量数据实时感知存储的方法与系统 - Google Patents

一种铁前皮带运输海量数据实时感知存储的方法与系统 Download PDF

Info

Publication number
CN115100454A
CN115100454A CN202210332735.9A CN202210332735A CN115100454A CN 115100454 A CN115100454 A CN 115100454A CN 202210332735 A CN202210332735 A CN 202210332735A CN 115100454 A CN115100454 A CN 115100454A
Authority
CN
China
Prior art keywords
data
belt
module
sensing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210332735.9A
Other languages
English (en)
Inventor
黄丽萍
马寅晨
吴忠华
钱小聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huatian Engineering and Technology Corp MCC
Original Assignee
Huatian Engineering and Technology Corp MCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huatian Engineering and Technology Corp MCC filed Critical Huatian Engineering and Technology Corp MCC
Priority to CN202210332735.9A priority Critical patent/CN115100454A/zh
Publication of CN115100454A publication Critical patent/CN115100454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种铁前皮带运输海量数据实时感知存储的方法。包括通过皮带秤重量传感器数据、图像识别数据和/或作业调度计划执行信息综合判断皮带是否带料，如果皮带没有带料，处于空跑的状态，那么这段时间的视频数据会经过压缩感知算法压缩后，将压缩感知后的数据传输到数据分布式集群存储模块中。本发明方法的应用，可以解决铁前海量皮带数据感知存储的问题，并为对皮带传输过程中掺杂异物进行智能识别提供源数据。

Description

一种铁前皮带运输海量数据实时感知存储的方法与系统
技术领域
本发明涉及领域为钢铁行业。本发明提出了一种铁前皮带运输海量数据实时感知存储的方法。
背景技术
随着工业4.0革命的到来，许多钢厂顺应时代趋势进行生产的数字化转型。目前，虽然取得了不少智能化的突破，但从整体而言，钢铁行业数字化转型仍处于初级阶段。就现实生产运营而言，铁前数据的数字化存在着量多、结构纷繁，关系复杂的问题，要更好地实现生产数字化的转型，对铁前数据的梳理存储工作是必然要解决的重要问题。而作为铁前供料重要途径的皮带运输，相关数据管理的数字化存储则显得尤为重要。但是，就目前而言，皮带信息的数字化，很少有钢厂关注，即使有些钢厂关注了却没将其数据信息做为智能化发展中数据价值进行挖掘利用。同时，由于皮带输送数据是瞬时变化的，中小型的钢厂很少会对这种日积月累的海量数据进行梳理存储，一定程度上造成了数据资产的流失。
发明内容
为克服上述缺陷，本发明的目的在于设计实现了一种铁前皮带运输海量数据实时感知存储的方法。
为达到上述目的，本发明一种铁前皮带运输海量数据实时感知存储的方法，包括：通过皮带秤重量传感器数据、图像识别数据和/或作业调度计划执行信息综合判断皮带是否带料，如果皮带没有带料，处于空跑的状态，那么这段时间的视频数据会经过压缩感知算法压缩后，将压缩感知后的数据传输到数据分布式集群存储模块中。
进一步的，所述的方法还包括利用数据采集器模块采集铁前皮带基础数据信息的步骤，并将采集铁前皮带基础数据信息经数据标签和初步分类后存储到模块中。
进一步的，所述的压缩感知算法步骤：
(1)输入源数据参数：开始时间、结束时间、压缩比率、原视频数据流；
(2)执行压缩感知方法函数：
executorCompressedSensoring(startTime,endTime,compressed,videoStream),通过startTime和endTime对videoStream进行截取，接着对这个流稀疏化，然后按照一定的压缩比率compressed进行压缩，得到压缩后的视频流。
进一步的，所述的基础数据信息包括但不限于皮带自身的数据信息、各类 PLC数据。
本发明方法的应用，可以解决铁前海量皮带数据感知存储的问题，并为对皮带传输过程中掺杂异物进行智能识别提供源数据。本专利方法的提出，能够有效解决铁前海量皮带数据的实时存储问题，有助于保存数据资产，为数据价值的提升提供基础，是实现铁前皮带健康度检测以及带料智能识别的重要一环。
附图说明
图1：一种铁前皮带运输海量数据实时感知存储的方法主体流程图
图2：数据分布式集群存储模块C架构
图3：铁前单条皮带数据实时感知存储作业示意图
具体实施方式
如图1所示，即为本发明针对铁前皮带海量数据实时感知存储的方法主体，主要包括数据采集器模块A、数据压缩感知模块B及数据分布式集群存储模块C。需要说明的是，铁前皮带数据主要包括三种类型：皮带本身的数据(包括皮带长度、皮带宽度、皮带负荷、皮带健康状态、皮带材质、动力装置等)、皮带带料的信息(料种名称、来源、密度、质量、料种批次等)、皮带作业视频流数据 (感知皮带是否有料)。
具体步骤如下：
数据采集器模块A：负责采集铁前皮带相关的基础数据信息(不包括视频流数据的采集)包括但不限于皮带自身的数据信息、各类PLC数据的汇聚等，是各类传感器的数据中转站。所有收集过来的数据会经过该模块中的子模块进行数据标签，将数据进行初步分类，最终根据不同的标签存储到模块C相应的数据库中去。
数据压缩感知模块B：负责视频流数据的采集、处理与传输。该模块集成了压缩感知算法，同时结合皮带秤重量传感器数据、图像识别数据和作业调度计划执行信息实时感知皮带带料情况。首先，通过皮带秤重量传感器数据、图像识别数据和作业调度计划执行信息综合判断皮带是否带料，如果皮带没有带料，处于空跑的状态，那么这段时间的视频数据会经过压缩感知算法，对同样画面的数据进行感知压缩，过滤掉一部分相同的画面流数据，节省数据传输及存储空间，将压缩感知后的数据传输到数据分布式集群存储模块C中。
具体压缩感知算法步骤：
(1)输入源数据参数：开始时间、结束时间、压缩比率、原视频数据流；
(2)执行压缩感知方法函数：
executorCompressedSensoring(startTime,endTime,compressed,videoStream),通过startTime和endTime对videoStream进行截取，接着对这个流稀疏化，然后按照一定的压缩比率compressed进行压缩，得到压缩后的视频流。
数据分布式集群存储模块C：从模块A、模块B中收集过来的数据最终存储到模块C中。考虑到瞬时数据结构复杂和数据的体量，该模块主要是基于分布式集群框架搭分布式数据库来实现数据的分布式存储，数据库类型包括关系型数据库以及大数据文件存储数据库。如图2所示，即为本发明中模块C的架构，采用Hadoop分布式集群框架搭建分布式数据库主要是为了提高海量数据的存储吞吐的同时保证整个系统的高并发下高可用。数据从模块A、模块B中传输过来之后，带有标签的数据会根据不同的标签分类存储到MySQL集群中去，而视频流大文件则会根据Hadoop设定的存储规则存储到分布式HDFS中。
同时铁前皮带运输的过程涉及到的数据是海量的，对这些海量数据的感知压缩高效存储，能够保证数据安全存储的前提下提高数据空间的利用率，提高读写的吞吐量，会进一步实现皮带带料异物智能识别做好铺垫。
实施例，
以单条皮带为例进行描述，图3：铁前单条皮带数据实时感知存储作业示意图。如图3所示，即为本方法应用到的具体钢铁厂的铁前单条皮带数据实时感知存储作业流程大致结构，具体过程如下：
1、数据的采集，包括两个部分数据采集分类模块A以及数据压缩感知模块 B。模块A首先是初始化。其次，采集各类传感器中的数据并对数据进行标签分类。最后，利用自带的网络模块将数据传输存储到模块C中。对于数据压缩感知模块B，为了提高数据的准确性，本专利中在每个皮带上会配置三个模块B，这三者会自动组建一个局域网，进行信息的交互。信息的交互会用到压缩感知的算法，只有当三个节点都检测到皮带没有料时，才会识别为空跑的状态，这段时间的视频数据会自动经过压缩感知算法处理后才上传，对于有料的状况，则会实时传输视频数据到模块C中。
2、数据的实时存储，模块A与模块B处理后的数据最终会汇集到模块C中，而模块C初始化的时候使用了三个节点实现分布式集群数据库，对于模块A过来的数据会经过数据负载均衡算法最终根据既定的策略存储到某个节点上；对于模块B过来的数据，由于是大文件数据，所以使用了HDFS进行存储。为了保证数据在高并发下的高可用，在模块C中还集成了哨兵机制。
3、皮带数据经过以上两步即可实现实时感知存储，为进一步带料异物智能识别做基础。
上述只是举了一个本专利方法实现的单皮带部署实时感知存储的例子，在整个铁前作业的数据中还有其他复杂的场景应用，需要这几个模块的水平扩展的全权参与，最终实现铁前皮带实时感知存储。

Claims (6)

1.一种铁前皮带运输海量数据实时感知存储的方法，其特征在于，所述的方法为：通过皮带秤重量传感器数据、图像识别数据和/或作业调度计划执行信息综合判断皮带是否带料，如果皮带没有带料，处于空跑的状态，那么这段时间的视频数据会经过压缩感知算法压缩后，将压缩感知后的数据传输到数据分布式集群存储模块中。
2.如权利要求1所述的一种铁前皮带运输海量数据实时感知存储的方法，其特征在于，所述的方法还包括利用数据采集器模块采集铁前皮带基础数据信息的步骤，并将采集铁前皮带基础数据信息经数据标签和初步分类后存储到模块中。
3.如权利要求1所述的一种铁前皮带运输海量数据实时感知存储的方法，其特征在于，所述的压缩感知算法步骤：
(1)输入源数据参数：开始时间、结束时间、压缩比率、原视频数据流；
(2)执行压缩感知方法函数：
executorCompressedSensoring(startTime,endTime,compressed,videoStream),通过startTime和endTime对videoStream进行截取，接着对这个流稀疏化，然后按照一定的压缩比率compressed进行压缩，得到压缩后的视频流。
4.如权利要求1所述的一种铁前皮带运输海量数据实时感知存储的方法，其特征在于，所述的基础数据信息包括但不限于皮带自身的数据信息、各类PLC数据。
5.一种铁前皮带运输海量数据实时感知存储的系统，其特征在于，所述的系统包括：
数据采集器模块：负责采集铁前皮带相关的基础数据信息；并对所有收集过来的数据会经过该模块中的子模块进行数据标签和初步分类，根据不同的标签存储到存储模块的相应的数据库中；
数据压缩感知模块：负责视频流数据的采集、处理与传输；用于结合皮带秤重量传感器数据、图像识别数据和/或作业调度计划执行信息实时感知皮带带料情况；如果皮带没有带料，那么这段时间的视频数据会经过压缩感知算法压缩后传输到存储模块中；
存储模块C：用于接收从模块A、模块B中传输过来的数据存储到存储模块。
6.如权利要求5所述的铁前皮带运输海量数据实时感知存储的系统，其特征在于，所述的基础数据信息包括皮带自身的数据信息、各类PLC数据。
CN202210332735.9A 2022-03-30 2022-03-30 一种铁前皮带运输海量数据实时感知存储的方法与系统 Pending CN115100454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210332735.9A CN115100454A (zh) 2022-03-30 2022-03-30 一种铁前皮带运输海量数据实时感知存储的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210332735.9A CN115100454A (zh) 2022-03-30 2022-03-30 一种铁前皮带运输海量数据实时感知存储的方法与系统

Publications (1)

Publication Number Publication Date
CN115100454A true CN115100454A (zh) 2022-09-23

Family

ID=83287771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332735.9A Pending CN115100454A (zh) 2022-03-30 2022-03-30 一种铁前皮带运输海量数据实时感知存储的方法与系统

Country Status (1)

Country Link
CN (1) CN115100454A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117208520A (zh) * 2023-11-07 2023-12-12 江苏瑞材装备有限公司 上料装置及上料装置控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117208520A (zh) * 2023-11-07 2023-12-12 江苏瑞材装备有限公司 上料装置及上料装置控制方法
CN117208520B (zh) * 2023-11-07 2024-02-09 江苏瑞材装备有限公司 上料装置及上料装置控制方法

Similar Documents

Publication Publication Date Title
CN108171117B (zh) 基于多核异构并行计算的电力人工智能视觉分析系统
CN106534344A (zh) 一种云平台视频处理系统及其应用方法
CN103778472A (zh) 行动化建置产品履历系统及产线作业的管控方法
CN110633638A (zh) 一种垃圾收运监管方法、装置、存储介质和智能设备
CN115100454A (zh) 一种铁前皮带运输海量数据实时感知存储的方法与系统
CN109784161A (zh) 一种店内视频监控智能分析系统及方法
CN111723772B (zh) 基于图像识别的易腐垃圾识别方法、装置及计算机设备
CN106534784A (zh) 一种用于视频分析数据结果集的采集分析存储统计系统
CN114238388A (zh) 一种基于多协议的异构数据收集及检索系统
CN108787486A (zh) 基于深度学习的卷烟识别分拣方法及其卷烟识别分拣装置
CN106341660A (zh) 一种图像处理方法、装置及无人机图像处理系统
CN114332659A (zh) 基于轻量化模型下发的输电线路缺陷巡检方法和装置
CN114049368A (zh) 一种“iid+参树网”智能工业设计软件
US10970502B2 (en) Data collection systems and methods to capture images of and decode information from machine-readable symbols
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN116644136A (zh) 一种增量和全量数据的数据采集方法、装置、设备及介质
CN110617670A (zh) 一种基于图像识别的无人售冰箱及其识别方法
CN114494978A (zh) 基于Pipeline的并行视频结构化推理方法及系统
CN115187162A (zh) 快件调度方法、装置、设备及存储介质
CN111754173A (zh) 一种智能化物流管理系统及其物流管理方法
CN113371035A (zh) 一种列车信息的识别方法和识别系统
CN111639134A (zh) 一种基于区块链的产业环节监管方法和系统
CN111783912A (zh) 一种货物信息采集的方法及系统
CN117931914A (zh) 一种煤炭数据处理系统及其处理方法
CN117217639A (zh) 一种基于物联网的智能工厂无人值守物流管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination