CN117135181A - 一种综采设备的数据传输方法、装置及电子设备 - Google Patents
一种综采设备的数据传输方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117135181A CN117135181A CN202311026993.5A CN202311026993A CN117135181A CN 117135181 A CN117135181 A CN 117135181A CN 202311026993 A CN202311026993 A CN 202311026993A CN 117135181 A CN117135181 A CN 117135181A
- Authority
- CN
- China
- Prior art keywords
- data
- streaming
- target
- preset
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005065 mining Methods 0.000 title claims abstract description 185
- 230000005540 biological transmission Effects 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims description 115
- 239000003245 coal Substances 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 239000007788 liquid Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013433 optimization analysis Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种综采设备的数据传输方法、装置及电子设备,涉及数据处理技术领域。数据传输方法包括:获取目标传输数据集;根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的高实时性数据;使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据,本申请能够使与目标综采设备对应的高实时性数据以高质量高传输速度传输至数字孪生平台,进而降低目标综采设备的原始数据上传至数字孪生平台的传输的延迟。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种综采设备的数据传输方法、装置及电子设备。
背景技术
在综采工作面的智慧化改造过程中,一般需要井下集控系统、地面调度系统、AI识别平台和数字孪生平台等,且上述各类上层系统在建设过程中,均需依赖综采设备的原始数据上传。其中,一般的数字孪生平台上建设有数字孪生数据网关,由于,各类上层系统的结构不一,各类系统对应的数据结构均存在物模型结构、JSON字符串等多种方式,因此,各类上层系统对应的网关在软件架构及数据模型部分存在重复,进而在数字孪生平台接入后,对于数据传输实时性要求由原本<300ms延时提高到<200ms延时。
在相关技术中,由于在综采设备的数据传输至数字孪生平台时,会产生对瞬间传输的大通量数据的计算及传输的需求,进而导致数据传输速度被逐步降低,造成数据的时效性愈发不足。
发明内容
本申请提供一种综采设备的数据传输方法、装置及电子设备,以降低目标综采设备的原始数据上传至数字孪生平台的传输的延迟。
第一方面,提供一种综采设备的数据传输方法,包括:
获取目标传输数据集;目标传输数据集包括与数字孪生平台待同步的目标综采设备的原始数据;
根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的高实时性数据;
使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据。
可选地,获取目标传输数据集,包括:
获取目标综采工作面上的各个目标综采设备对应的原始数据;
根据各个目标综采设备分别对应的数据特点信息,确定各个目标综采设备分别对应的预设确定规则;数据特点信息包括平均数据量、平均传输速度、以及数据类型信息中的至少一个;
根据预设确定规则对原始数据进行划分,得到目标综采工作面上各个目标综采设备分别对应的运行信息数据集。
可选地,流式计算框架包括第一数据计算器和第二数据计算器;预设的第一流式处理规则包括通过第一数据计算器对高实时性数据进行清洗校验、以及通过第二数据计算器对第一数据计算器处理后的高实时性数据进行数据综合计算;使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据,包括:
将高实时性数据输入至第一数据计算器进行清洗校验,得到一级高实时性数据;
根据一级高实时性数据,确定目标综采设备的运行趋势数据和姿态趋势数据;
将目标综采设备的运行趋势数据和姿态趋势数据输入至第二数据计算器进行数据综合计算,得到流式高实时性数据;流式高实时性数据包括运行预测信息,运行预测信息包括在预定时间的运行状态信息、以及预计出现目标运行状态的时间信息。
可选地,流式计算框架还包括第三数据计算器,预设的第一流式处理规则还包括通过第三数据计算器用于对第一数据计算器处理后的高实时性数据进行特征关系计算、以及通过第二数据计算器对经第三数据计算器处理后的高实时性数据进行数据综合计算;根据第一处理数据,确定目标综采设备的运行趋势数据和姿态趋势数据之前,还包括:
根据目标综采设备,确定一级高实时性数据是传输至第二数据计算器还是第三数据计算器;
若确定一级高实时性数据是传输至第三数据计算器,则根据目标综采设备的作业信息,提取出与作业信息有关的一级高实时性数据;
将提取到的与作业信息有关的一级高实时性数据输入至第三数据计算器进行特征关系计算,得到经特征提取后的二级高实时性数据;二级高实时性数据包括目标综采设备的运行数据和状态数据之间的特征关系数据、以及作业信息对应的最大或最小值。
可选地,还包括:
根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的块数据;
对块数据进行数据判定,确定块数据是否需要被流式处理;
若需要,则根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据。
可选地,根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据,包括:
使用规则匹配器按照预设的数据判定规则对块数据进行判定,确定对块数据进行流式计算还是全量数据计算;
若确定对块数据进行流式计算,则通过传输单元按照预设的分组规则将块数据进行分组,并将经分组后的块数据流式传输至第一计算单元器;
通过第一计算单元器根据预设的计算规则对经分组后的块数据进行计算,得到用于向数字孪生平台传输的流式块数据;预设的第二流处理规则包括预设的分组规则和预设的计算规则。
可选地,还包括:
若确定对块数据进行全量数据计算,则根据预设的传输规则将块数据传输至第二计算单元器;传输规则包括传输时长规则和缓存规则;
通过第二计算单元器接收块数据对块数据进行计算后,将块数据对应的计算结果流式传输至数字孪生平台。
第二方面,提供一种综采设备的数据传输装置,包括:
目标传输数据集获取模块,用于获取目标传输数据集;目标传输数据集包括与数字孪生平台待同步的目标综采设备的原始数据;
数据划分模块,用于根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的高实时性数据和块数据;
第一流式处理模块,用于使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据。
第三方面,提供一种电子设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行如第一方面或其各实现方式中的方法。
第四方面,提供一种计算机可读存储介质,用于存储计算机程序,计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
通过本申请提供的技术方案,通过获取目标传输数据集,得到与数字孪生平台待同步的目标综采设备的原始数据;再根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,以实现根据目标综采设备对应的原始数据进行定向的数据划分,得到目标综采设备对应的高实时性数据;最后,通过使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据,实现与目标综采设备对应的高实时性数据以高质量高传输速度传输至数字孪生平台,进而降低目标综采设备的原始数据上传至数字孪生平台的传输的延迟。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的的一个实施例的一种应用场景图;
图2为本申请实施例提供的一个实施例的一种综采设备的数据传输方法的流程图;
图3为本申请实施例提供的一个实施例的另一种综采设备的数据传输方法的流程图;
图4为本申请实施例提供的一个实施例的一种综采设备的数据传输方法的示意图;
图5为本申请实施例提供的一个实施例的一种综采设备的数据传输装置900的示意图;
图6是本申请实施例提供的一个实施例的电子设备1000的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如上所述,随着综采设备的智能化升级,设备终端逐步附加更多的传感器以及各类计算单元,其中,传感器的原始数据平均上传时间<50ms;同时各类计算单元(例如:惯导、人员轨迹)会不定时上传大型块数据。在目标综采设备的原始数据接入到数字孪生平台时,会产生对瞬时大通量数据的计算传输的需求,因此,目标综采设备的原始数据向数字孪生平台的传输速度被逐步降低,造成原始数据传输的时效性愈发不足。
为了解决上述技术问题,本申请的发明构思是:电子设备可以获取目标综采设备对应的目标传输数据集,再根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的高实时性数据和块数据,最后,使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据,以避免对瞬时大通量的块数据在向数字孪生平台传输时的计算传输的需求,实现高实时性数据以高质量高传输速度传输至数字孪生平台,进而降低目标综采设备的原始数据上传至数字孪生平台的传输的延迟。
应理解的是,本申请技术方案可以应用于如下场景,但不限于:
在一些可实现方式中,图1为本申请实施例提供的一种应用场景图,如图1所示,该应用场景中可以包括电子设备110和网络设备120。电子设备110可以通过有线网络或者无线网络与网络设备120建立连接。
示例性的,电子设备110可以是台式电脑、笔记本电脑、平板电脑等,但不限于此。网络设备120可以是终端设备或者服务器,但不限于此。在本申请的一种实施例中,电子设备110可以向网络设备120发送请求消息,该请求消息可以用于请求获取目标传输数据集,进一步地,电子设备110可以接收网络设备120发送的响应消息,该响应消息包括获取目标传输数据集。
此外,图1示例性地给出了一个电子设备和一个网络设备,实际上可以包括其他数量的电子设备和网络设备,本申请对此不作限制。
在另一些可实现方式中,本申请技术方案也可以由上述电子设备110执行,或者,本申请技术方案还可以由上述网络设备120执行,本申请对此不做限制。
在介绍了本申请实施例的应用场景之后,下面将对本申请技术方案进行详细阐述:
图2为本申请实施例提供的一种综采设备的数据传输方法的流程图,该方法可以由如图1所示的电子设备110执行,但不限于此。如图2所示,该方法可以包括如下步骤:
S201、获取目标传输数据集。
在本步骤中,目标传输数据集包括与数字孪生平台待同步的目标综采设备的原始数据。这里,目标综采设备可以包括采煤机、支架、三机设备、供液系统、供电系统、运输系统。
通过获取与数字孪生平台待同步的目标综采设备的原始数据,能够针对不同的目标综采设备对原始数据进行分组处理,进而能够针对不同的目标综采设备对应的待同步的原始数据进行通信方式的优化,同时还能够根据不同的目标综采设备定制针对性的数据传输的设备接入单元,以实现通过定制设备接入单元提高原始数据接入的稳定性。示例性的,目标综采设备为六种,并分别对该六种目标综采设备定制设备接入单元,各设备接入单元可分别运行不同的裸金属主机,进而提高工控主机的资源利用率,并提高设备接入单元的稳定性。
S202、根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的高实时性数据。
需要说明的是,预设的传输周期阈值可以为50ms,在目标传输数据集中的原始数据的平均传输周期小于50ms时,该原始数据被划分为高实时性数据;在目标传输数据集中的原始数据的平均传输周期大于50ms时,该原始数据被划分为块数据。
在本步骤中,通过针对目标综采设备的分组接入的目标传输数据集中的各个原始数据分别进行分析,确定目标传输数据集中的各个原始数据为高实时性数据还是块数据,以便于将原始数据根据高实时性数据的数据特点传输至数字孪生平台。
S203、使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据。
这里,流式计算框架可以为轻量化流式计算框架,且这里的流式计算框架能够根据预设的第一流式处理规则对高实时性数据进行处理,并在较短的时间内(例如200ms内)得到经过优化处理后的更精准的流式高实时性数据,以使流式高实时性数据输入至数字孪生平台后,得到目标综采设备对应的数字孪生模型。
采用上述方法,通过获取目标传输数据集,得到与数字孪生平台待同步的目标综采设备的原始数据;再根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,以实现根据目标综采设备对应的原始数据进行定向的数据划分,得到目标综采设备对应的高实时性数据;最后,通过使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据,实现与目标综采设备对应的高实时性数据以高质量高传输速度传输至数字孪生平台,进而降低目标综采设备的原始数据上传至数字孪生平台的传输的延迟。
图3为本发明提供的另一个实施例的综采设备的数据传输方法的流程图。基于图2,如图3所示,在上述S201可以包括:
S301、获取目标综采工作面上的各个目标综采设备对应的原始数据。
示例性的,可以在综采工作面井下设置集控方舱,方舱中可以部署三台工控主机,工控主机的标准配置为八核I7处理器、16G内存、核心显卡;在工控主机上定制南向通信层,这里的南向通信层可以根据综采工作面的井下运行环境进行定制优化,并基于常用数据网关通用化配置,分析各个目标综采设备的主要运行特点,再对各个目标综采设备对应的待同步的原始数据进行专项优化。由于,综采定制南向通信层能够根据综采工作面的井下运行环境,对不同的目标综采设备对应的原始数据进行定制优化,因此,在本步骤中可以基于常用数据网关的通用化配置,分析各个目标综采设备分别对应的数据特点信息,以完成对各个目标综采设备对应的原始数据的专项优化。
S302、根据各个目标综采设备分别对应的数据特点信息,确定各个目标综采设备分别对应的预设确定规则。
在本步骤中,数据特点信息包括平均数据量、平均传输速度、以及数据类型信息中的至少一个。
需要说明的是,采煤机对应的数据特点信息包括其通信的平均数据量为200点数据以内、平均传输速度为100ms,同时,采煤机对应的数据类型信息为其变化速度在截割过程及停机过程中差异较大,故对采煤机对应的预设确定规则可以为根据平均数据量、平均运输速度、以及运行状态信息判定原始数据,再对判定后的原始数据进行分组划分的规则。
支架对应的数据特点信息包括其通信的平均数据量1000点数据以内、平均传输速度为20ms,且支架对应的数据类型信息为其变化速度稳定,支架对应的数据特点信息还可以包括其对应的原始数据是由同一总线统一通信传输的多支架重复性数据,因此,支架对应的预设确定规则可以为根据平均数据量、平均传输速度、以及采用统一通信判定原始数据,再对判定后的原始数据进行分组划分的规则。
供液系统对应的数据特点信息包括其通信的平均数据量200点数据以内、平均传输速度为100ms,此外,供液系统对应的数据特点信息还包括原始数据来自于供液系统上的多部件,且各个部件由明确差分标准,因此,供液系统对应的预设确定规则可以为根据平均数据量、平均传输速度、以及采用标准部件分割判定原始数据,再对判定后的原始数据根据其对应的通信定制进行分组划分的规则。
三机设备、供电系统和运输系统分别对应的数据特点信息均包括其通信的其平均数据量200点数据以内、平均传输速度为100ms,此外,三机设备、供电系统和运输系统分别对应的数据特点信息还可以包括原始数据的类型相对统一,因此,三机设备、供电系统和运输系统分别对应的预设确定规则均可以为根据平均数据量、平均传输速度、以及采用标准定义及少量调整的规则。
S303、根据预设确定规则对原始数据进行划分,得到目标综采工作面上各个目标综采设备分别对应的运行信息数据集。
例如,当采煤机对应的预设确定规则为根据平均数据量、平均运输速度、以及运行状态信息判定原始数据,再对判定后的原始数据进行分组划分的规则时,其中,平均数据量设定为200点数据以内、平均传输速度设定为100ms,若有原始数据符合该预设确定规则,则将该原始数据划分为采煤机对应的原始数据;又例如:当支架对应的预设确定规则可以为根据平均数据量、平均传输速度、以及采用统一通信判定原始数据,再对判定后的原始数据进行分组划分的规则时,其中,平均数据量设定为100点数据以内、平均传输速度设定为20ms,若有原始数据符合该预设确定规则,则将该原始数据划分为支架对应的原始数据。
在本步骤中,通过根据各个目标综采设备分别对应的数据特点信息,所确定出的各个目标综采设备分别对应的预设确定规则对原始数据进行划分,能够准确得到各个目标综采设备分别对应的运行信息数据集,进而在确定目标综采设备后,根据各个目标综采设备对应的运行信息数据集得到目标综采设备对应的运行信息数据集,以便在后续步骤中针对不同的目标综采设备对应的运行信息数据集进行专项优化处理。
在本实施例中,通过获取目标综采工作面上的各个目标综采设备对应的原始数据,再根据各个目标综采设备分别对应的数据特点信息,确定各个目标综采设备分别对应的预设确定规则;最后,根据预设确定规则对原始数据进行划分,得到目标综采工作面上各个目标综采设备分别对应的运行信息数据集,以实现根据各个目标综采设备的特点对原始数据进行划分,以便在后续步骤中针对不同的目标综采设备对应的运行信息数据集进行专项优化处理。
在一些可能实现的实施例中,流式计算框架包括第一数据计算器和第二数据计算器;预设的第一流式处理规则包括通过第一数据计算器对高实时性数据进行清洗校验、以及通过第二数据计算器对第一数据计算器处理后的高实时性数据进行数据综合计算。
这里,流式计算框架可以为轻量化流式计算框架,该轻量化流式计算框架能够提供多级数据计算器,该多级数据计算器可以包括对高实时性数据的清洗校验的第一数据计算器、以及对高实时性数据进行多数据综合计算的第二数据计算器,且第二数据计算器可支持用户自定义的更多多数据综合计算能力。
由于,所有上层系统均存在高实时性数据上传的需求,这里的上层系统可以包括综采自动化监控系统、综采AI识别平台、综采数字孪生平台、综采大数据平台和第三方上层系统,但各个上层系统对高实时性数据传输要求各有不同。例如:综采自动化监控系统以全量最新数据展示为主,自行进行业务数据分析。又例如:综采AI识别平台可以以矿压、行程、倾角等多模数据接入为主;综采数字孪生平台可以以清洗后的可驱动孪生的数据为主,但对于数据处理速度的要求较高;综采大数据平台可以兼顾实时监控及数据分析,但相较综采自动化系统监控数据量所需更少。因此,针对以上上层系统的业务需求,分别定制不同级别的数据计算器,根据业务所需进行不同级别的数据计算器配置,完成对综采设备的原始数据的流转过程配置。其中,对于数字孪生平台所需的数据,则需针对特定数据设置多级的计算处理。
需要说明的是,本步骤中的流式计算框架可以采用标准定义结构,设计按照微服务架构设计,采用容器化编排技术进行加载调用。其中,第一数据计算器和第二数据计算器的具体业务实现由用户自行定义,这里通过定义第一数据计算器和第二数据计算器的计算原则,并利用开源接口工具进行第一数据计算器和第二数据计算器输入输出接口合法性校验。
图4为本发明提供的另一个实施例的综采设备的数据传输方法的流程图。基于图2,如图4所示,在上述S203可以包括:
S401、将高实时性数据输入至第一数据计算器进行清洗校验,得到一级高实时性数据。
在本步骤中,目标综采设备对应的高实时性数据经南向通信层进入第一数据计算器,由第一数据计算器对高实时性数据进行清洗校验处理后,得到一级高实时性数据。
需要说明的是,本实施例的第一数据计算器可以为单数据源输入计算器,计算耗时<100ms,计算资源不超过2核CPU占用,其对高实时性数据的计算结果为单数据输出。例如:高实时性数据中包括原始数据的初采样、脏数据时,则通过第一数据计算器对高实时性数据进行清洗校验。这里,对高实时性数据的校验包括对高实时性数据的数值校验和差分校验。
S402、根据一级高实时性数据,确定目标综采设备的运行趋势数据和姿态趋势数据。
在本步骤中,在第一数据计算器中对一级高实时性数据进行计算和分析,确定目标综采设备的运行趋势数据和姿态趋势数据,这里,一级高实时性数据包括持续性的目标综采设备的姿态数据、定期反馈与目标相关的综采设备所在的位置数据、以及各个不定期变化的与目标相关的综采设备的运行速度数据。
示例性的,当目标综采设备为支架时,一级高实时性数据包括持续性的支架倾角水平及垂直方向数据、定期反馈的采煤机的位置数据、以及不定期变化的采煤机的运行速度数据,根据上述一级高实时性数据确定支架的运行趋势数据和姿态趋势数据。
S403、将目标综采设备的运行趋势数据和姿态趋势数据输入至第二数据计算器进行数据综合计算,得到流式高实时性数据。
在本步骤中,流式高实时性数据包括运行预测信息,运行预测信息包括在预定时间的运行状态信息、以及预计出现目标运行状态的时间信息。例如,当目标综采设备为支架时,此时可确定采煤机为支架相关的综采设备,因此,利用第二数据计算器根据采煤机速度时序变化趋势及支架倾角时序变化趋势,计算采煤机当前位置运行到特定支架时,是否可能发生碰撞,第二数据计算器对应输出的在预定时间的运行状态信息可以为当前位置运行到特定支架时是否可能碰撞,预计出现目标运行状态的时间信息可以为预计碰撞发生时间。
这里,根据第一数据计算器的输出接口定义将目标综采设备的运行趋势数据和姿态趋势数据传输至第二数据计算器。这里第一数据计算器和第二数据计算器之间的数据流转工作可以采用gRpc点对点短期通信、或Http请求实现。
需要说明的是,第二数据计算器可以为10路以下数据源输入型计算器,当1路数据进入后即可触发第二数据计算器计算,而在第二数据计算器等待其他数据源全部进入后才能输出结果,因此,这里需要对第二数据计算器设定等待其他数据的时间阈值及超时处理机制,使其能够支持第一数据计算器及后续步骤中的第三数据计算器的计算结果的输入,且这里的第二数据计算器在触发计算后计算耗时<300ms,计算资源瞬时高峰不超过4核CPU占用,计算结果可以为≤3种数据输出,输出结果也可以支持数值或字符型,其中,输出字节数<1M。
在本实施例中,通过将高实时性数据输入至第一数据计算器进行清洗校验,得到一级高实时性数据,再将一级高实时性数据对应的运行趋势数据和姿态趋势数据输入至第二数据计算器进行数据综合计算,得到流式高实时性数据,这里,通过使流式计算框架包括第一数据计算器和第二数据计算器,对高实时性数据进行二级处理,并使该高实时性数据在200ms内完成数据的快速清洗转换,输出有效数值,以使向上层系统发布的流式高实时性数据能够更精准监控目标综采设备。
进一步的,流式计算框架还包括第三数据计算器,预设的第一流式处理规则还包括通过第三数据计算器用于对第一数据计算器处理后的高实时性数据进行特征关系计算、以及通过第二数据计算器对经第三数据计算器处理后的高实时性数据进行数据综合计算。
这里,针对上层系统的业务需求,可以分别定制不同级别的数据计算器,以实现根据业务所需进行不同级别的数据计算器配置,完成对综采设备的原始数据的流转过程配置。由于数字孪生平台所需的数据,需针对特定数据设置一级到二级、或者一级到三级的计算处理,因此,这里在流式计算框架中设置第三数据计算器,能够对需要被特征关系计算的一级高实时性数据进行特征关系计算,以使第二数据计算器对经第三数据计算器处理后的一级高实时性数据进行数据综合计算。
更进一步的,根据第一处理数据,确定目标综采设备的运行趋势数据和姿态趋势数据之前,还可以包括:
S501、根据目标综采设备,确定一级高实时性数据是传输至第二数据计算器还是第三数据计算器。
由于,对不同的目标综采设备对应的高实时性数据的多级计算是根据目标综采设备的类型有关,例如:当目标综采设备为供电系统时,则将供电系统对应的一级高实时性数据直接发送至第二数据计算器中进行计算;而当目标综采设备为采煤机,则需将采煤机对应的一级高实时性数据进行特征关系计算后,才可将经特征关系计算后的高实时性数据发送至第二数据计算器;因此,本步骤根据目标综采设备确定一级高实时性数据是传输至第二数据计算器还是第三数据计算器,以便于对有需要被特征关系计算的一级高实时性数据进行特征关系计算,以使第二数据计算器对经第三数据计算器处理后的一级高实时性数据进行数据综合计算。
S502、若确定一级高实时性数据是传输至第三数据计算器,则根据目标综采设备的作业信息,提取出与作业信息有关的一级高实时性数据。
例如,目标综采设备为支架,且支架对应的一级高实时性数据需要被传输至第三数据计算器,并根据目标综采设备为支架,确定支架的作业信息可以为工作面矿压、支架顶板压力信息和支架行程信息,因此,这里根据支架的作用信息对与该作业信息有关的一级高实时性数据进行提取。
S503、将提取到的与作业信息有关的一级高实时性数据输入至第三数据计算器进行特征关系计算,得到经特征提取后的二级高实时性数据。
在本步骤中,二级高实时性数据包括目标综采设备的运行数据和状态数据之间的特征关系数据、以及作业信息对应的最大或最小值。例如:目标综采设备为支架,支架的运行数据可以为支架行程信息,设备的状态数据可以为架顶板压力信息,作业信息对应的最大或最小值可以为行程-压力对应特征关系的最大或最小值。在第三数据计算器对一级高实时性数据进行计算时,可以包括:将支架顶板压力信息和支架行程信息输入至第三数据计算器,计算出运行数据和状态数据之间的特征关系数据,并输出特征提取后的运行数据和状态数据及该特征关系数据中的最大状态数据。
需要说明的是,第三数据计算器为3路以下数据源输入型计算器,当1路数据进入第三数据计算器后触发计算,可能等待其他数据源进入第三数据计算器后才能输出结果,需设定等待其他数据的时间阈值及超时处理机制。同时,这里的第三数据计算器可支持第一数据计算器计算出的计算结果,且第三数据计算器被触发计算后计算耗时<100ms,计算资源不超过2核CPU占用,计算结果为≤2种数据输出,输出结构支持数值或字符型。输出字节数<1M。
在本实施例中,通过根据目标综采设备确定一级高实时性数据是传输至第二数据计算器还是第三数据计算器,以便于对有需要被特征关系计算的一级高实时性数据进行特征关系计算;并在确定一级高实时性数据是传输至第三数据计算器时,根据目标综采设备的作业信息,提取出与作业信息有关的一级高实时性数据,最后,将提取到的与作业信息有关的一级高实时性数据输入至第三数据计算器进行特征关系计算,得到经特征提取后的二级高实时性数据,以使第二数据计算器对经第三数据计算器处理后的经特征提取后的二级高实时性数据进行数据综合计算得到流式高实时性数据,输出有效数值,以使向上层系统发布的流式高实时性数据能够更精准监控目标综采设备。
在一些可能实现的实施例中,综采设备的数据传输方法还可以包括:
S601、根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的块数据;
S602、对块数据进行数据判定,确定块数据是否需要被流式处理。
S603、若需要,则根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据。
由于,在针对类似人员轨迹、采煤机惯导数据、电液控参数等大型块数据进行优化分析时,上述块数据的平均传输周期约为4小时一次,单次传输数据量约1M-10M不等,且在上述块数据接入后,平均需在1分钟内完成对块数据的处理分析,并在调用相关机器学习算法后,将计算结果转发给其他设备用于智能运行。因此,需要对块数据进行数据判定,确定块数据是否需要被流式处理,并在确定需要对块数据进行流式处理后,通过使用即时通信技术中的流传输技术结合自定义的流式计算,实现块数据一边传输一边计算,进而提高对块数据的运算效率。
在本实施例中,通过对块数据进行数据判定,确定块数据是否需要被流式处理,再在确定需要被流式处理后,根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据,能够实现通过使用即时通信技术中的流传输技术结合自定义的流式计算,进而实现块数据一边传输一边计算,提高对块数据的运算效率。
在一些可能实现的实施例中,根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据,可以包括:
S701、使用规则匹配器按照预设的数据判定规则对块数据进行判定,确定对块数据进行流式计算还是全量数据计算。
需要说明的是,构建针对块数据计算的第一块计算框架和第二块计算框架,这里的第一块计算框架用于对确定进行流式计算的块数据进行流式计算,第二块计算框架用于对确定进行全量数据计算的块数据进行全量数据计算。其中,第一块计算框架能够为块数据的流式传输提供分解标准、传输速率、校验规则等设置,并在该块数据的传输时提供异常处理、失败处理原则等配置,且第一块计算框架满足综采的主要应用场景。
在本步骤中,通过规则匹配器根据用户指定的预设的数据判定规则对块数据进行数据判定,如果确定该块数据能够被流式计算,则将其转发到第一块计算框架对应的流式计算器中,如果需全量数据,则等待全量数据完成接受后,转发至第二块计算框架对应的全量计算器中。
S702、若确定对块数据进行流式计算,则通过传输单元按照预设的分组规则将块数据进行分组,并将经分组后的块数据流式传输至第一计算单元器。
这里,第一块计算框架对应的流式计算器可以包括传输单元器和第一计算单元器,传输单元器可以部署在轻量低配硬件上,计算单元器可以根据业务需求选择性部署在更高性能硬件上;在传输单元器接收到块数据后,向计算单元器发起gRpc的流传输请求,同时,在规则匹配器中输入预设的分组规则,以使块数据根据预设的分组规则进行分组,并使经分组后的块数据按照预设的分组规则逐步传输给第一计算单元器。
S703、通过第一计算单元器根据预设的计算规则对经分组后的块数据进行计算,得到用于向数字孪生平台传输的流式块数据;预设的第二流处理规则包括预设的分组规则和预设的计算规则。
在本步骤中,第一计算单元器接收到经分组后的块数据并进行计算。这里,可以根据业务需要判定是否将第一计算单元器的中间计算结果通过北向通信传输至数字孪生平台。
需要说明的是,在传输单元器向第一计算单元器发送完块数据后,通过双向握手机制,确认第一计算单元器接收完毕,则断开传输单元器的流传输链接,以降低网络资源占用。
在本实施例中,通过使用规则匹配器按照预设的数据判定规则对块数据进行判定,确定对块数据进行流式计算还是全量数据计算;再在确定对块数据进行流式计算时,通过传输单元按照预设的分组规则将块数据进行分组,并将经分组后的块数据流式传输至第一计算单元器;最后,通过第一计算单元器根据预设的计算规则对经分组后的块数据进行计算,得到用于向数字孪生平台传输的流式块数据,以实现对该块数据通过边传输边计算的方式传输,进而缩短了该块数据的整体计算时间,可保证10M以内工作面块数据在10秒内完成计算、转换、下发、上传。
进一步的,根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据,还可以包括:
S801、若确定对块数据进行全量数据计算,则根据预设的传输规则将块数据传输至第二计算单元器。
在本步骤中,传输规则包括传输时长规则和缓存规则。
需要说明的是,第二计算单元器可以直接部署在更高性能硬件上,由在块数据被规则匹配器判定后,可以直接通过kafka通信送至第二计算单元器,kafka通信由系统进行二次封装,并设定预设的传输规则,这里的预设的传输规则可以包括传输时长规则和缓存机制。在第二计算单元器接收块数据后,可以按照传统的业务应用逻辑,结合流式计算性能要求进行块数据处理。
S802、通过第二计算单元器接收块数据对块数据进行计算后,将块数据对应的计算结果流式传输至数字孪生平台。
需要说明的是,第二计算单元器可以由统一边缘容器编排工具调度管理,针对第二计算单元器定义性能监测规则,检测第二计算单元器的负载计算时间,第二计算单元器瞬时计算资源占用不可高于4核CPU,计算时间不可超过500ms。如出现超时判定为计算器死锁,进行强制重启动、备案节点启动、异常抛出等操作。
在本步骤中,通过北向通信层将块数据对应的计算结果流式传输至数字孪生平台,这里的北向通信层可以针对上层系统,负责根据业务需求进行数据上送。这里,北向通信层提供传输规则匹配、链路管理两大方向,其中,传输规则匹配可以针对业务进行分解,提供消息队列、工业协议两个方向的数据转换业务,对外传输数据复用IOT边缘支撑数据结构,采用物联网中的物模型结构;链路管理可以针对软件技术中的底层通信技术,提供稳定的通信握手、链路监控、健康分析、数据传输能力。
在本实施例中,通过根据预设的传输规则将块数据传输至第二计算单元器;再通过第二计算单元器接收块数据对块数据进行计算后,将块数据对应的计算结果流式传输至数字孪生平台,能够在第二计算单元器接收该块数据后,按照传统的业务应用逻辑,结合流式计算性能要求对该块数据进行改造。
图5是本发明提供的一个实施例的一种综采设备的数据传输装置900的示意图。如图5所示,装置900包括:
目标传输数据集获取模块910,用于获取目标传输数据集;目标传输数据集包括与数字孪生平台待同步的目标综采设备的原始数据;
数据划分模块920,用于根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的高实时性数据;
第一流式处理模块930,用于使用流式计算框架按照预设的第一流式处理规则对高实时性数据进行处理,得到向数字孪生平台传输的流式高实时性数据。
在一些可实现方式中,目标传输数据集获取模块910包括:
原始数据获取单元,用于获取目标综采工作面上的各个目标综采设备对应的原始数据;
预设确定规则确定单元,用于根据各个目标综采设备分别对应的数据特点信息,确定各个目标综采设备分别对应的预设确定规则;数据特点信息包括平均数据量、平均传输速度、以及数据类型信息中的至少一个;
运行信息数据集获得单元,用于根据预设确定规则对原始数据进行划分,得到目标综采工作面上各个目标综采设备分别对应的运行信息数据集。
在一些可实现方式中,流式计算框架包括第一数据计算器和第二数据计算器;预设的第一流式处理规则包括通过第一数据计算器对高实时性数据进行清洗校验、以及通过第二数据计算器对第一数据计算器处理后的高实时性数据进行数据综合计算;第一流式处理模块930包括:
清洗校验单元,用于将高实时性数据输入至第一数据计算器进行清洗校验,得到一级高实时性数据;
趋势数据确定单元,用于根据一级高实时性数据,确定目标综采设备的运行趋势数据和姿态趋势数据;
流式高实时性数据获得单元,用于将目标综采设备的运行趋势数据和姿态趋势数据输入至第二数据计算器进行数据综合计算,得到流式高实时性数据;流式高实时性数据包括运行预测信息,运行预测信息包括在预定时间的运行状态信息、以及预计出现目标运行状态的时间信息。
在一些可实现方式中,流式计算框架还包括第三数据计算器,预设的第一流式处理规则还包括通过第三数据计算器用于对第一数据计算器处理后的高实时性数据进行特征关系计算、以及通过第二数据计算器对经第三数据计算器处理后的高实时性数据进行数据综合计算;第一流式处理模块930还包括:
计算器确定单元,用于根据目标综采设备,确定一级高实时性数据是传输至第二数据计算器还是第三数据计算器;
一级高实时性数据提取单元,用于若确定一级高实时性数据是传输至第三数据计算器,则根据目标综采设备的作业信息,提取出与作业信息有关的一级高实时性数据;
二级高实时性数据计算单元,用于将提取到的与作业信息有关的一级高实时性数据输入至第三数据计算器进行特征关系计算,得到经特征提取后的二级高实时性数据;二级高实时性数据包括目标综采设备的运行数据和状态数据之间的特征关系数据、以及作业信息对应的最大或最小值。
在一些可实现方式中,装置还包括:
块数据划分模块,用于根据预设的传输周期阈值对目标传输数据集中的原始数据进行划分,得到目标综采设备对应的块数据;
块数据判定模块,用于对块数据进行数据判定,确定块数据是否需要被流式处理;
第二流式处理模块,用于若需要,则根据预设的第二流处理规则对块数据流式进行处理,得到向数字孪生平台传输的流式块数据。
在一些可实现方式中,块数据判定模块包括:
块数据判定单元,用于使用规则匹配器按照预设的数据判定规则对块数据进行判定,确定对块数据进行流式计算还是全量数据计算;
分组单元,用于若确定对块数据进行流式计算,则通过传输单元按照预设的分组规则将块数据进行分组,并将经分组后的块数据流式传输至第一计算单元器;
第一块数据计算单元,用于通过第一计算单元器根据预设的计算规则对经分组后的块数据进行计算,得到用于向数字孪生平台传输的流式块数据;预设的第二流处理规则包括预设的分组规则和预设的计算规则。
在一些可实现方式中,块数据判定模块还包括:
第二块数据计算单元,用于块数据传输单元,用于若确定对块数据进行全量数据计算,则根据预设的传输规则将块数据传输至第二计算单元器;传输规则包括传输时长规则和缓存规则;
通过第二计算单元器接收块数据对块数据进行计算后,将块数据对应的计算结果流式传输至数字孪生平台。
应理解的是,装置实施例与综采设备的数据传输方法实施例可以相互对应,类似的描述可以参照综采设备的数据传输方法实施例。为避免重复,此处不再赘述。具体地,图5所示的装置900可以执行上述综采设备的数据传输方法实施例,并且装置900中的各个模块的前述和其它操作和/或功能分别为了实现上述综采设备的数据传输方法中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本发明实施例的装置900。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本发明实施例中的综采设备的数据传输方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本发明实施例公开的综采设备的数据传输方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述综采设备的数据传输方法实施例中的步骤。
图6是本发明提供的一个实施例的电子设备1000的示意性框图。
如图6所示,该电子设备1000可包括:
存储器1001和处理器1002,该存储器1001用于存储计算机程序,并将该程序代码传输给该处理器1002。换言之,该处理器1002可以从存储器1001中调用并运行计算机程序,以实现本发明实施例中的方法。
例如,该处理器1002可用于根据该计算机程序中的指令执行上述方法实施例。
在本发明的一些实施例中,该电子设备1000可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本发明的一些实施例中,该存储器1001包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本发明的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器1001中,并由该处理器1002执行,以完成本发明提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该控制器中的执行过程。
如图6所示,该电子设备1000还可包括:
收发器1003,该收发器1003可连接至该处理器1002或存储器1001。
其中,处理器1002可以控制该收发器1003与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器1003可以包括发射机和接收机。收发器1003还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本发明还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本发明提供的一个实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本发明实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(Digital Video Disc,DVD))、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以该权利要求的保护范围为准。
Claims (10)
1.一种综采设备的数据传输方法,其特征在于,包括:
获取目标传输数据集;所述目标传输数据集包括与数字孪生平台待同步的目标综采设备的原始数据;
根据预设的传输周期阈值对所述目标传输数据集中的原始数据进行划分,得到所述目标综采设备对应的高实时性数据;
使用流式计算框架按照预设的第一流式处理规则对所述高实时性数据进行处理,得到向所述数字孪生平台传输的流式高实时性数据。
2.根据权利要求1所述的方法,其特征在于,所述获取目标传输数据集,包括:
获取目标综采工作面上的各个目标综采设备对应的原始数据;
根据各个所述目标综采设备分别对应的数据特点信息,确定各个所述目标综采设备分别对应的预设确定规则;所述数据特点信息包括平均数据量、平均传输速度、以及数据类型信息中的至少一个;
根据所述预设确定规则对所述原始数据进行划分,得到所述目标综采工作面上各个所述目标综采设备分别对应的运行信息数据集。
3.根据权利要求1所述的方法,其特征在于,所述流式计算框架包括第一数据计算器和第二数据计算器;所述预设的第一流式处理规则包括通过所述第一数据计算器对所述高实时性数据进行清洗校验、以及通过所述第二数据计算器对所述第一数据计算器处理后的高实时性数据进行数据综合计算;所述使用流式计算框架按照预设的第一流式处理规则对所述高实时性数据进行处理,得到向所述数字孪生平台传输的流式高实时性数据,包括:
将所述高实时性数据输入至所述第一数据计算器进行清洗校验,得到一级高实时性数据;
根据所述一级高实时性数据,确定所述目标综采设备的运行趋势数据和姿态趋势数据;
将所述目标综采设备的运行趋势数据和姿态趋势数据输入至所述第二数据计算器进行数据综合计算,得到所述流式高实时性数据;所述流式高实时性数据包括运行预测信息,所述运行预测信息包括在预定时间的运行状态信息、以及预计出现目标运行状态的时间信息。
4.根据权利要求3所述的方法,其特征在于,所述流式计算框架还包括第三数据计算器,所述预设的第一流式处理规则还包括通过所述第三数据计算器用于对所述第一数据计算器处理后的高实时性数据进行特征关系计算、以及通过所述第二数据计算器对经所述第三数据计算器处理后的高实时性数据进行数据综合计算;所述根据所述第一处理数据,确定所述目标综采设备的运行趋势数据和姿态趋势数据之前,还包括:
根据所述目标综采设备,确定所述一级高实时性数据是传输至所述第二数据计算器还是所述第三数据计算器;
若确定所述一级高实时性数据是传输至所述第三数据计算器,则根据所述目标综采设备的作业信息,提取出与所述作业信息有关的所述一级高实时性数据;
将提取到的与所述作业信息有关的所述一级高实时性数据输入至所述第三数据计算器进行特征关系计算,得到经特征提取后的二级高实时性数据;所述二级高实时性数据包括所述目标综采设备的运行数据和状态数据之间的特征关系数据、以及所述作业信息对应的最大或最小值。
5.根据权利要求1所述的方法,其特征在于,还包括:
根据所述预设的传输周期阈值对所述目标传输数据集中的原始数据进行划分,得到所述目标综采设备对应的块数据;
对所述块数据进行数据判定,确定所述块数据是否需要被流式处理;
若需要,则根据预设的第二流处理规则对所述块数据流式进行处理,得到向所述数字孪生平台传输的流式块数据。
6.根据权利要求5所述的方法,其特征在于,所述根据预设的第二流处理规则对所述块数据流式进行处理,得到向所述数字孪生平台传输的流式块数据,包括:
使用规则匹配器按照预设的数据判定规则对所述块数据进行判定,确定对所述块数据进行流式计算还是全量数据计算;
若确定对所述块数据进行流式计算,则通过传输单元按照预设的分组规则将所述块数据进行分组,并将经分组后的所述块数据流式传输至第一计算单元器;
通过所述第一计算单元器根据预设的计算规则对经分组后的所述块数据进行计算,得到用于向所述数字孪生平台传输的流式块数据;所述预设的第二流处理规则包括预设的分组规则和预设的计算规则。
7.根据权利要求6所述的方法,其特征在于,还包括:
若确定对所述块数据进行全量数据计算,则根据预设的传输规则将所述块数据传输至第二计算单元器;所述传输规则包括传输时长规则和缓存规则;
通过所述第二计算单元器接收所述块数据对所述块数据进行计算后,将所述块数据对应的计算结果流式传输至所述数字孪生平台。
8.一种综采设备的数据传输装置,其特征在于,包括:
目标传输数据集获取模块,用于获取目标传输数据集;所述目标传输数据集包括与数字孪生平台待同步的目标综采设备的原始数据;
数据划分模块,用于根据预设的传输周期阈值对所述目标传输数据集中的原始数据进行划分,得到所述目标综采设备对应的高实时性数据;
第一流式处理模块,用于使用流式计算框架按照预设的第一流式处理规则对所述高实时性数据进行处理,得到向所述数字孪生平台传输的流式高实时性数据。
9.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311026993.5A CN117135181B (zh) | 2023-08-15 | 2023-08-15 | 一种综采设备的数据传输方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311026993.5A CN117135181B (zh) | 2023-08-15 | 2023-08-15 | 一种综采设备的数据传输方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117135181A true CN117135181A (zh) | 2023-11-28 |
CN117135181B CN117135181B (zh) | 2024-06-18 |
Family
ID=88850147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311026993.5A Active CN117135181B (zh) | 2023-08-15 | 2023-08-15 | 一种综采设备的数据传输方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117135181B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110727697A (zh) * | 2019-08-29 | 2020-01-24 | 北京奇艺世纪科技有限公司 | 数据的处理方法和装置、存储介质、电子装置 |
CN114493169A (zh) * | 2021-12-31 | 2022-05-13 | 武汉达梦数据库股份有限公司 | 一种数据分析引擎系统、实现方法、设备及存储介质 |
CN114969083A (zh) * | 2022-06-24 | 2022-08-30 | 在线途游(北京)科技有限公司 | 一种实时数据分析方法及系统 |
CN116070171A (zh) * | 2023-03-03 | 2023-05-05 | 广州运帷数孪科技有限公司 | 一种孪生数据融合平台 |
WO2023087442A1 (zh) * | 2021-11-18 | 2023-05-25 | 清华大学 | 数字孪生网络低时延高可靠传输方法、装置、设备及介质 |
-
2023
- 2023-08-15 CN CN202311026993.5A patent/CN117135181B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110727697A (zh) * | 2019-08-29 | 2020-01-24 | 北京奇艺世纪科技有限公司 | 数据的处理方法和装置、存储介质、电子装置 |
WO2023087442A1 (zh) * | 2021-11-18 | 2023-05-25 | 清华大学 | 数字孪生网络低时延高可靠传输方法、装置、设备及介质 |
CN114493169A (zh) * | 2021-12-31 | 2022-05-13 | 武汉达梦数据库股份有限公司 | 一种数据分析引擎系统、实现方法、设备及存储介质 |
CN114969083A (zh) * | 2022-06-24 | 2022-08-30 | 在线途游(北京)科技有限公司 | 一种实时数据分析方法及系统 |
CN116070171A (zh) * | 2023-03-03 | 2023-05-05 | 广州运帷数孪科技有限公司 | 一种孪生数据融合平台 |
Also Published As
Publication number | Publication date |
---|---|
CN117135181B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11315034B2 (en) | Intelligent big data system, and method and apparatus for providing intelligent big data service | |
CN106663028B (zh) | 动态碎片分配调整 | |
US10735536B2 (en) | Scalable data enrichment for cloud streaming analytics | |
CN109710405B (zh) | 区块链智能合约管理方法、装置、电子设备及存储介质 | |
EP3255553B1 (en) | Transmission control method and device for direct memory access | |
US10025620B2 (en) | Incremental parallel processing of data | |
CN107705034A (zh) | 众包平台实现方法及装置、存储介质和电子设备 | |
CN112751729A (zh) | 日志监控方法、装置、介质及电子设备 | |
CN114157701A (zh) | 一种任务测试方法、装置、设备以及存储介质 | |
WO2021101617A1 (en) | Task scheduling for machine-learning workloads | |
CN113139660A (zh) | 模型推理方法、装置、电子设备及存储介质 | |
CN116029391A (zh) | 基于联邦学习的模型训练方法、预测方法、装置 | |
CN114564294A (zh) | 智能服务编排方法、装置、计算机设备及存储介质 | |
CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
CN117135181B (zh) | 一种综采设备的数据传输方法、装置及电子设备 | |
CN107239407B (zh) | 一种内存的无线访问方法和装置 | |
CN114700957B (zh) | 模型低算力需求的机器人控制方法及装置 | |
CN115454443A (zh) | 多系统的数据交互方法、装置和电子设备 | |
CN116993240A (zh) | 一种物流系统控制方法、装置、设备及存储介质 | |
CN104951389A (zh) | 一种实现服务器显示管理的系统及方法 | |
CN104090650A (zh) | 在单机中实现多人操作的控制系统与方法 | |
CN113472638A (zh) | 边缘网关控制方法及系统、装置、电子设备、存储介质 | |
KR102593008B1 (ko) | Opc ua를 이용한 분산형 스마트 팩토리 운영 방법 및 장치 | |
CN115080197A (zh) | 计算任务调度方法、装置、电子设备和存储介质 | |
US10148720B1 (en) | Systems and methods for data serialization and transfer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |