CN116150702B - 一种主备通信融合的数据整合方法及装置 - Google Patents
一种主备通信融合的数据整合方法及装置 Download PDFInfo
- Publication number
- CN116150702B CN116150702B CN202310097071.7A CN202310097071A CN116150702B CN 116150702 B CN116150702 B CN 116150702B CN 202310097071 A CN202310097071 A CN 202310097071A CN 116150702 B CN116150702 B CN 116150702B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- importance
- interpolation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000010354 integration Effects 0.000 title claims abstract description 26
- 238000004891 communication Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims description 48
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 19
- 238000013507 mapping Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009469 supplementation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Alarm Systems (AREA)
Abstract
本申请涉及一种主备通信融合的数据整合方法及装置,属于数据整合的领域,用于解决相关技术数据整合过程中数据插值补充策略无法适应复杂的数据应用需求的问题,该方法及装置中,接收侧根据每个待补充插值数据的第一数据要素信息来确定待补充插值数据的第一数据重要度值和第二数据重要度值,并根据第一数据重要度值第一数据重要度阈值的大小关系以及第一数据紧急度值和第一数据紧急度阈值的大小关系确定待补充插值数据的补充策略,紧急且重要的发送侧采用双信道重新发送,紧急但不重要的发送侧在补发时间与之内通过单信道重新发送,重要但不紧急的发送侧在延长时间阈值内通过单信道重新发送,不重要也不紧急的放弃或计算理论值。本技术能够适应复杂数据应用需求。
Description
技术领域
本申请涉及数据整合的领域,尤其是涉及一种主备通信融合的数据整合方法及装置。
背景技术
数据整合即将不同数据源的数据收集、整理、清洗、转换后加载到一个新的数据源,为数据消费者提供同一数据视图的数据集成方式。在数据发送过程中,为保障数据发送的稳定性和可靠性,发送侧可能通过两路或两路以上的信道进行数据发送,接收侧在接收到该两路或两路以上信道发送的数据后对数据进行数据整合操作,即可得到可利用的新的数据源。
时变数据的传输是一种常见的数据传输场景,该类数据的传输场景一般为将实时采集的数据尽量即时的发送,应理解,即使利用两路或两路以上数据进行时变数据传输时,仍可能出现某些点数据传输失败,这些数据一般成为插值数据。现有的插值数据补充方式一般为即时补发,而即时补发差值数据的方式在复杂的数据应用需求中难以达到很好的效果。
发明内容
本申请提供了一种主备通信融合的数据整合方法及装置,其能够适应复杂的数据应用需求。
第一方面,本申请提供了一种主备通信融合的数据整合方法,采用如下技术方案:
一种主备通信融合的数据整合方法,应用于接收侧,包括:
获取待补充插值数据的第一数据要素信息;所述第一数据要素信息包括时间距离信息,相邻插值信息,所在数据集的插值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;
根据所述第一数据要素信息确定所述第一数据重要度值和第一数据紧急度值;
判断所述第一数据重要度值与第一数据重要度阈值的大小关系,以及判断所述第一数据紧急度值与所述第一数据紧急度阈值的大小关系;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度阈值,则生成第一触发信号,所述第一触发信号用于触发发送侧(110)在补发时间阈值内通过双信道重新发送与所述待补充插值数据对应的原始数据;所述双信道分别为4G公网信道和北斗短报文信道;
若第一数据重要度值不大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度值,则生成第二触发信号,所述第二触发信号用于触发发送侧(110)在补发时间阈值内通过单信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值不大于所述第一数据紧急度值,则生成第三触发信号,所述第三触发信号用于触发发送侧(110)在延长时间阈值内通过单信道重新发送所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且第一数据紧急度值不大于第一数据紧急度阈值,则将待补充插值数据标记为放弃或触发生成第四触发信号,所述第四触发信号用于触发所述接收侧计算所述待补充插值数据的理论值。
通过采用上述技术方案,接收侧可根据待补充插值数据的第一数据要素信息确定待补充插值数据的处理策略,有利于从数据应用角度根据待补充插值数据的紧急、重要程度灵活补充数据,从而能够适应于复杂的数据应用需求。
可选的,根据所述第一数据要素信息确定所述第一数据重要度值包括:
根据所述时间距离信息确定重要度基值,所述时间距离信息反映的时间越长所述重要度基值反映的重要度越高;
根据所述相邻插值信息和所述数据精度要求信息确定第一重要权值;
根据所述插值总量信息和预获取的插值总阈值确定所述第二重要权值;
根据所述重要程度信息确定第三重要权值,所述重要程度信息反映的重要程度越高所述第三重要权值越高;
根据第一预设时间内所述利用频次信息确定重要利用频值,该利用频次信息反映的频次越高所述重要利用频值越高;
根据每一关联数据功能的所述重要度基值、第一重要权值、第二重要权值、第三重要权值以及重要利用频次相应确定一功能重要度值;
根据待补充插值数据的所有关联功能数据的功能重要度值确定该待补充插值数据的第一数据重要度值。
可选的,根据所述第一数据要素信息确定所述第一数据紧急度值包括:
根据所述利用频次信息确定紧急度基值,所述利用频次信息反映的频次越高所述紧急度基值反映的紧急度越高;
根据所述时间距离信息、相邻插值信息和数据精度要求信息确定所述第一紧急权值;
根据每一关联数据功能的所述紧急度基值、第一紧急权值和第一紧急权值相应确定一功能功能紧急度值;
根据待补充插值数据的所有关联功能数据的功能紧急度值确定该待补充插值数据的第一数据紧急度值。
可选的,所述第二触发信号还用于触发接收侧即时计算所述待补充插值数据的理论值,在接收到相应原始数据时以该原始数据作为待补充插值数据。
可选的,所述方法还包括:
获取当前传输数据情况的第二数据要素信息;所述第二数据要素信息包括时间距离信息,相邻插值信息,所在数据集的差值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;
根据第二数据要素信息确定所述第一数据重要度阈值和第一数据紧急度阈值。
可选的,所述第一触发信号、第二触发信号、第三触发信号、第四触发信号触发发送侧(110)发送在后待补充插值数据的优先级低于发送在前待补充插值数据的优先级。
可选的,所述单信道为4G公网信道或北斗短报文信道。
第二方面,本申请提供了一种主备通信融合的数据整合装置,采用如下技术方案:
一种主备通信融合的数据整合装置,包括:
数据要素获取模块,用于获取待补充插值数据的第一数据要素信息;所述第一数据要素信息包括时间距离信息,相邻插值信息,所在数据集的插值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;
数据双值确定模块,用于根据所述第一数据要素信息确定所述第一数据重要度值和第一数据紧急度值;
数据关系判断模块,用于判断所述第一数据重要度值与第一数据重要度阈值的大小关系,以及判断所述第一数据紧急度值与所述第一数据紧急度阈值的大小关系;以及
触发信号生成模块,用于生成第一触发信号、第二触发信号、第三触发信号以及第四触发信号;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度阈值,则生成第一触发信号,所述第一触发信号用于触发发送侧(110)在补发时间阈值内通过双信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度值,则生成第二触发信号,所述第二触发信号用于触发发送侧(110)在补发时间阈值内通过单信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值不大于所述第一数据紧急度值,则生成第三触发信号,所述第三触发信号用于触发发送侧(110)在延长时间阈值内通过单信道重新发送所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且第一数据紧急度值不大于第一数据紧急度阈值,则将待补充插值数据标记为放弃或触发生成第四触发信号,所述第四触发信号用于触发所述接收侧计算所述待补充插值数据的理论值。
第三方面,本申请提供了一种电子设备,包括存储器和处理器,所述存储器存储有能够被处理器加载并执行如以上第一方面所述的任意一种方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序能够被处理器加载并执行如以上第一方面任意一项所述的方法。
综上所述,本申请包括以下至少一种有益技术效果:
1.提供了一种主备通信融合的数据整合方法、装置、电子设备及可读存储介质,其能够从应用角度实时分析待补充插值数据的紧急、重要程度,继而灵活确定待补充插值数据的处理策略;
2.根据待补充插值数据的第一数据重要度值和第一数据紧急度值的具体确定方式使第一数据重要度值和第一数据紧急度值更为准确合理;
3.根据当前传输数据情况确定第一数据重要度阈值和第一数据紧急度阈值,使第一数据重要度阈值和第一数据紧急度阈值能够根据实际情况变化,有利于进一步改善数据插值补充逻辑的合理性。
应当理解,发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征,亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了能够在其中实现本申请实施例的示例性运行环境示意图。
图2示出了接收侧中数据清洗整合模块的原理图。
图3示出了本申请实施例中一种主备通信融合的数据整合方法的流程图。
图4示出了本申请实施例中一种主备通信融合的数据整合装置的方框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请中,在数据整合技术中进行插值数据补充时,根据待补充插值数据的数据要素确定其重要度值和紧急度值,继而根据重要度值和紧急度值确定插值数据的处理策略和补充时机,有利于适应复杂的数据应用需求。
图1示出了能够在其中实现本申请实施例的示例性运行环境100示意图。在运行环境100中包括发送侧110和接收侧120,其中,发送侧110具体可以为北斗三终端,接收侧120可以为数据库或服务器等,发送侧110与接收侧120之间通过两信道连接。
图2示出了接收侧120中数据清洗整合模块的原理图。在本申请实施例中,发送侧110与接收侧120之间的两信道分别为4G公网信道和北斗短报文信道,常态下发送侧110采用4G公网信道发送普通数据,特殊情况下或者特殊数据采用北斗短报文信道发送,在图中两条信道传输的数据分别通过第一分支数据和第二分支数据表示。在实际进行数据传输时,发送侧110可以根据第一信道和第二信道的状况以及数据情况来确定选择第一信道发送、第二信道发送或采用第一信道和第二信道一起发送,每次发送的数据上均具有时间戳,接收侧120在接收到第一分支数据和第二分支数据时,首先会对第一分支数据和第二分支数据分别进行时序分析统计,并基于预设的数据规则进行异常数据(如数据格式异常、数据范围明显超出合理范围的数据)清洗操作,后将第一分支数据和第二分支数据合并进行时序排列去重、时序排列校验以及数据插值补齐等操作,最后即可得到整体的数据集,并将整体数据集进行预处理后输送到第三数据库中作为可供利用的最终数据。
在时序排列去重后,数据集不存在包含相同的时间戳的数据,然而,虽然通过两条信道进行数据传输能够减少数据丢失的可能,但是依然可能存在数据缺失的情况,接收侧120可以通过校验接收到的所有数据的时间戳的方式来确定缺失的数据,即确定待补充插值数据。具体来说,对于一整个时变数据集来说,发送侧110以一定的频率发送、并在发送的数据上打上反映发送时刻的时间戳,发送数据的频率对接收侧120来讲已知,则接收侧120在接收到数据后,可根据不同数据的时间戳的间隔确定两个数据之间是否存在缺失的数据(即待补充插值数据)。对于一个数据集来讲,插值数据在某一时刻可能具有一个,也可能具有多个,两个数据之间可能不存在插值数据、存在一个差值数据或存在多个插值数据。
本申请实施例中数据集的概念可以是指定时间内的一类数据,例如实时采集水位数据,则一小时、一天、一周或一月的时变的水位数据即为水位数据集。
下面对本申请实施例中插值数据补齐方案进行详细介绍。
图3示出了本申请实施例中一种主备通信融合的数据整合方法300的流程图。方法300可以由图1中的接收侧120执行,或者说具体由图2中的数据插值补齐模块执行。
S310:获取待补充插值数据的第一数据要素信息。
本步骤的方法针对每一待补充插值数据等效执行。
以一个待补充插值数据为例进行说明,第一数据要素信息包括时间距离信息,相邻插值信息,所在数据集的插值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息。其中,时间距离信息是指待补充插值数据与接收侧120的实时时钟之间的时间距离;相邻插值信息表示该待补充插值数据所处的两个数据之间存在的待补充插值数据的数量减一(减去该待补充插值数据本身);所在数据集的插值总量信息表示数据集中所有待补充插值数据的总数量。
关联数据功能与数据集绑定,其反映数据集转换后的最终数据的用途,例如水位数据集可能用来分析实时的降雨量变化(降雨量变化致使水位变化),也可以用来分析每月的温度变化(水蒸发量变化致使水位变化),也可能用来分析水库的每小时的蓄水及放水动作(致使水位变化),也可能仅用来记录每天水位变化,也可能用来计算一年的平均水位,也可以计算一天的每分钟降水数据平均值,在这些情况下,假定时变水位数据的采集频率为每分钟一次,不同的关联数据功能对水位数据集的要求是不同的,这种不同的要求主要体现在利用频次信息和数据精度要求信息上,利用频次信息主要反映关联数据功能在以接收侧120当前时刻为基准的至少两个预设时间内会用到多少次,两个预设时间一长一短,例如分别为一小时和一天,关联数据功能用到的次数与实时的情况有关,例如分析降雨量变化的功能可能在一小时内被实时利用(每分钟利用一次计六十次),也可能在半小时后开始被实时利用(每分钟利用一次计三十次),也可能在一天内都不会被利用,在一天内计零次,温度变化功能和蓄水及放水动作功能与分析余量变化的功能类似;数据精度要求是指关联数据功能分析得到较为准确的分析结果需要的数据精度,此处所说的数据精度是指在两个数据之间最多存在多少插值数据之后得到的分析结果会没有参考价值,例如分析实时降雨量变化的功能要求至少每五分钟的水位变化都能够被记录,则其精度要求为三,即两个数据之间最多存在三个插值数据而不影响分析结果,而计算一年的平均水位最多可以仅依照十二个月每个月提取一个水位得到的十二个水位求平均计算得,则该功能最多允许两个数据之间存在4320个待补充插值数据。
当然,关联数据功能还存在预设的重要程度信息,在本申请实施例中重要程度信息为人为确定的一个数值,称为第三重要权值。
S320:根据第一数据要素信息确定第一数据重要度值和第一数据紧急度值。
第一数据重要度值反映待补充插值数据的重要度,即是否有必要补充,第一数据紧急度值反映待补充插值数据的紧急度,即是否有必要在短时间内补充。
根据所述第一数据要素信息确定所述第一数据重要度值包括:根据所述时间距离信息确定重要度基值,所述时间距离信息反映的时间越长所述重要度基值反映的重要度越高;根据所述相邻插值信息和所述数据精度要求信息确定第一重要权值;根据所述插值总量信息和预获取的插值总阈值确定所述第二重要权值;根据所述重要程度信息确定第三重要权值,所述重要程度信息反映的重要程度越高所述第三重要权值越高;根据第一预设时间内所述利用频次信息确定重要利用频值,该利用频次信息反映的频次越高所述重要利用频值越高;根据每一关联数据功能的所述重要度基值、第一重要权值、第二重要权值、第三重要权值以及重要利用频次相应确定一功能重要度值;根据待补充插值数据的所有关联功能数据的功能重要度值确定该待补充插值数据的第一数据重要度值。
在上述内容中,重要度基值和时间距离信息的映射关系、相邻插值信息与数据精度要求比值与第一重要权值的映射关系、插值总量信息与插值总阈值的大小关系与第二重要权值的映射关系、重要程度信息与第三重要权值的映射关系以及第一预设时间(两个预设时间中较长的一个,例如一天)内利用频次信息与重要利用频值的映射关系均预存储于接收侧120内,使相应信息能够进行计算。
根据所述第一数据要素信息确定所述第一数据紧急度值包括:根据所述利用频次信息确定紧急度基值,所述利用频次信息反映的频次越高所述紧急度基值反映的紧急度越高;根据所述时间距离信息、相邻插值信息和数据精度要求信息确定所述第一紧急权值;根据每一关联数据功能的所述紧急度基值、第一紧急权值和第一紧急权值相应确定一功能功能紧急度值;根据待补充插值数据的所有关联功能数据的功能紧急度值确定该待补充插值数据的第一数据紧急度值。
在上述内容中,第二预设时间(两个预设时间中较短的一个,例如一分钟)内利用频次信息与紧急度基值的映射关系、时间距离信息和相邻插值信息之积与数据精度要求信息的比值与第一紧急权值的映射关系均预存储于接收侧120内,以使相应信息能够计算。
上述映射关系可根据实际应用的具体需求具体确定。
基于上述,针对每一待补充插值数据,根据其数据要素信息即可确定其第一数据重要度值和第一数据紧急度值。在本申请实施例中,待补充插值数据的重要度越高其第一数据重要度值越大、其紧急度越高其第一数据紧急度值越大。
S330:判断第一数据重要度值与第一数据重要度阈值的大小关系,以及判断第一数据紧急度值与第一数据紧急度阈值的大小关系。
第一数据重要度阈值和第一数据紧急度阈值被接收侧120预获取。
在本申请的一个实施例中,第一数据重要度阈值和第一数据紧急度阈值可以由相关工作人员根据需求预设。
在本申请的另一个实施例中,第一数据重要度阈值和第一数据紧急度阈值根据当前传输数据情况的第二数据要素信息确定。具体来说,接收侧120获取最新接收的数据的第二数据要素,第二数据要素也包括时间距离信息,相邻插值信息,所在数据集的差值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息。
接收侧120根据第二数据要素信息可确定当前传输数据的重要度和紧急度,确定方式与根据第一数据要素确定第一数据重要度值和第一数据紧急度值的方式类同,此处不作赘述。
S340:根据两个大小关系确定数据插值补齐策略。
具体的数据插值补齐策略包括:
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度阈值,则生成第一触发信号,所述第一触发信号用于触发发送侧(110)在补发时间阈值内通过双信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度值,则生成第二触发信号,所述第二触发信号用于触发发送侧(110)在补发时间阈值内通过单信道重新发送与所述待补充插值数据对应的原始数据;进一步地,所述第二触发信号还用于触发接收侧即时计算所述待补充插值数据的理论值(以该理论值为待补充插值数据的临时值),在接收到相应原始数据时以该原始数据作为待补充插值数据。
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值不大于所述第一数据紧急度值,则生成第三触发信号,所述第三触发信号用于触发发送侧(110)在延长时间阈值内通过单信道重新发送所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且第一数据紧急度值不大于第一数据紧急度阈值,则将待补充插值数据标记为放弃或触发生成第四触发信号,所述第四触发信号用于触发所述接收侧计算所述待补充插值数据的理论值。
在本申请实施例中,可以选择所述第一触发信号、第二触发信号、第三触发信号、第四触发信号触发发送侧(110)发送在后待补充插值数据的优先级低于发送在前待补充插值数据的优先级。理论上来讲,第一触发信号、第二触发信号、第三触发信号在发送侧110的优先级最高,其能够触发发送侧110立即补发(第三触发信号可以使在延长时间阈值后由接收侧120发送至发送侧110)。
在本申请实施例中,输出第一触发信号、第二触发信号、第三触发信号、第四触发信号,若待补充插值数据没有被按照预期策略补充,则重新针对该待补充插值数据重新执行方法300。
以上即为方法300的公开,方法300能够根据待补充插值数据的具体情况灵活确定其补充时机,从而适应更为复杂的数据应用需求,例如不会使不重要的待补充插值数据影响后面重要的正常数据的发送。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本申请所述方案进行进一步说明。
图4示出了根据本申请的实施例的一种主备通信融合的数据整合装置400的方框图。装置400可以被包括在图1的接收侧120中或者被实现为接收侧120。如图4所示,装置400包括:
数据要素获取模块410,用于获取待补充插值数据的第一数据要素信息;所述第一数据要素信息包括时间距离信息,相邻插值信息,所在数据集的插值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;
数据双值确定模块420,用于根据所述第一数据要素信息确定所述第一数据重要度值和第一数据紧急度值;
数据关系判断模块430,用于判断所述第一数据重要度值与第一数据重要度阈值的大小关系,以及判断所述第一数据紧急度值与所述第一数据紧急度阈值的大小关系;以及
触发信号生成模块440,用于生成第一触发信号、第二触发信号、第三触发信号以及第四触发信号;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度阈值,则生成第一触发信号,所述第一触发信号用于触发发送侧(110)在补发时间阈值内通过双信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度值,则生成第二触发信号,所述第二触发信号用于触发发送侧(110)在补发时间阈值内通过单信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值不大于所述第一数据紧急度值,则生成第三触发信号,所述第三触发信号用于触发发送侧(110)在延长时间阈值内通过单信道重新发送所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且第一数据紧急度值不大于第一数据紧急度阈值,则将待补充插值数据标记为放弃或触发生成第四触发信号,所述第四触发信号用于触发所述接收侧计算所述待补充插值数据的理论值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (6)
1.一种主备通信融合的数据整合方法,应用于接收侧(120),其特征在于,包括:
获取待补充插值数据的第一数据要素信息;所述第一数据要素信息包括时间距离信息,相邻插值信息,所在数据集的插值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;其中,时间距离信息是指待补充插值数据与接收侧(120)的实时时钟之间的时间距离,相邻插值信息表示该待补充插值数据所处的两个数据之间存在的待补充插值数据的数量减一,所在数据集的插值总量信息表示数据集中所有待补充插值数据的总数量;利用频次信息主要反映关联数据功能在以接收侧(120)当前时刻为基准的至少两个预设时间内会用到多少次,两个预设时间一长一短;
根据所述第一数据要素信息确定所述第一数据重要度值和第一数据紧急度值;第一数据重要度值反映待补充插值数据的重要度,第一数据紧急度值反映待补充插值数据的紧急度;
判断所述第一数据重要度值与第一数据重要度阈值的大小关系,以及判断所述第一数据紧急度值与所述第一数据紧急度阈值的大小关系;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度阈值,则生成第一触发信号,所述第一触发信号用于触发发送侧(110)在补发时间阈值内通过双信道重新发送与所述待补充插值数据对应的原始数据;所述双信道分别为4G公网信道和北斗短报文信道;
若第一数据重要度值不大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度值,则生成第二触发信号,所述第二触发信号用于触发发送侧(110)在补发时间阈值内通过单信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值不大于所述第一数据紧急度值,则生成第三触发信号,所述第三触发信号用于触发发送侧(110)在延长时间阈值内通过单信道重新发送所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且第一数据紧急度值不大于第一数据紧急度阈值,则将待补充插值数据标记为放弃或触发生成第四触发信号,所述第四触发信号用于触发所述接收侧(120)计算所述待补充插值数据的理论值;
根据所述第一数据要素信息确定所述第一数据重要度值包括:
根据所述时间距离信息确定重要度基值,所述时间距离信息反映的时间越长所述重要度基值反映的重要度越高;
根据所述相邻插值信息和所述数据精度要求信息确定第一重要权值;
根据所述插值总量信息和预获取的插值总阈值确定第二重要权值;
根据所述重要程度信息确定第三重要权值,所述重要程度信息反映的重要程度越高所述第三重要权值越高;
根据第一预设时间内所述利用频次信息确定重要利用频值,该利用频次信息反映的频次越高所述重要利用频值越高;
根据每一关联数据功能的所述重要度基值、第一重要权值、第二重要权值、第三重要权值以及重要利用频值确定功能重要度值;
根据待补充插值数据的所有关联功能数据的功能重要度值确定该待补充插值数据的第一数据重要度值;
根据所述第一数据要素信息确定所述第一数据紧急度值包括:
根据所述利用频次信息确定紧急度基值,所述利用频次信息反映的频次越高所述紧急度基值反映的紧急度越高;
根据所述时间距离信息、相邻插值信息和数据精度要求信息确定第一紧急权值;
根据每一关联数据功能的所述紧急度基值和第一紧急权值确定功能紧急度值;
根据待补充插值数据的所有关联功能数据的功能紧急度值确定该待补充插值数据的第一数据紧急度值。
2.根据权利要求1所述的方法,其特征在于,所述第二触发信号还用于触发接收侧(120)即时计算所述待补充插值数据的理论值,在接收到相应原始数据时以该原始数据作为待补充插值数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取当前传输数据情况的第二数据要素信息;所述第二数据要素信息包括时间距离信息,相邻插值信息,所在数据集的差值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;
根据第二数据要素信息确定所述第一数据重要度阈值和第一数据紧急度阈值。
4.根据权利要求1所述的方法,其特征在于,所述第一触发信号、第二触发信号、第三触发信号、第四触发信号触发发送侧(110)发送在后待补充插值数据的优先级低于发送在前待补充插值数据的优先级。
5.根据权利要求1所述的方法,其特征在于,所述单信道为4G公网信道或北斗短报文信道。
6.一种主备通信融合的数据整合装置,其特征在于,包括:
数据要素获取模块(410),用于获取待补充插值数据的第一数据要素信息;所述第一数据要素信息包括时间距离信息,相邻插值信息,所在数据集的插值总量信息,以及关联数据功能的重要程度信息、利用频次信息和数据精度要求信息;
数据双值确定模块(420),用于根据所述第一数据要素信息确定所述第一数据重要度值和第一数据紧急度值;
数据关系判断模块(430),用于判断所述第一数据重要度值与第一数据重要度阈值的大小关系,以及判断所述第一数据紧急度值与所述第一数据紧急度阈值的大小关系;以及
触发信号生成模块(440),用于生成第一触发信号、第二触发信号、第三触发信号以及第四触发信号;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度阈值,则生成第一触发信号,所述第一触发信号用于触发发送侧(110)在补发时间阈值内通过双信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且所述第一数据紧急度值大于所述第一数据紧急度值,则生成第二触发信号,所述第二触发信号用于触发发送侧(110)在补发时间阈值内通过单信道重新发送与所述待补充插值数据对应的原始数据;
若第一数据重要度值大于第一数据重要度阈值,且所述第一数据紧急度值不大于所述第一数据紧急度值,则生成第三触发信号,所述第三触发信号用于触发发送侧(110)在延长时间阈值内通过单信道重新发送所述待补充插值数据对应的原始数据;
若第一数据重要度值不大于第一数据重要度阈值,且第一数据紧急度值不大于第一数据紧急度阈值,则将待补充插值数据标记为放弃或触发生成第四触发信号,所述第四触发信号用于触发接收侧(120)计算所述待补充插值数据的理论值;
其中,时间距离信息是指待补充插值数据与接收侧(120)的实时时钟之间的时间距离,相邻插值信息表示该待补充插值数据所处的两个数据之间存在的待补充插值数据的数量减一,所在数据集的插值总量信息表示数据集中所有待补充插值数据的总数量;利用频次信息主要反映关联数据功能在以接收侧(120)当前时刻为基准的至少两个预设时间内会用到多少次,两个预设时间一长一短;第一数据重要度值反映待补充插值数据的重要度,第一数据紧急度值反映待补充插值数据的紧急度;
根据所述第一数据要素信息确定所述第一数据重要度值包括:
根据所述时间距离信息确定重要度基值,所述时间距离信息反映的时间越长所述重要度基值反映的重要度越高;
根据所述相邻插值信息和所述数据精度要求信息确定第一重要权值;
根据所述插值总量信息和预获取的插值总阈值确定第二重要权值;
根据所述重要程度信息确定第三重要权值,所述重要程度信息反映的重要程度越高所述第三重要权值越高;
根据第一预设时间内所述利用频次信息确定重要利用频值,该利用频次信息反映的频次越高所述重要利用频值越高;
根据每一关联数据功能的所述重要度基值、第一重要权值、第二重要权值、第三重要权值以及重要利用频值确定功能重要度值;
根据待补充插值数据的所有关联功能数据的功能重要度值确定该待补充插值数据的第一数据重要度值;
根据所述第一数据要素信息确定所述第一数据紧急度值包括:
根据所述利用频次信息确定紧急度基值,所述利用频次信息反映的频次越高所述紧急度基值反映的紧急度越高;
根据所述时间距离信息、相邻插值信息和数据精度要求信息确定第一紧急权值;
根据每一关联数据功能的所述紧急度基值和第一紧急权值确定功能紧急度值;
根据待补充插值数据的所有关联功能数据的功能紧急度值确定该待补充插值数据的第一数据紧急度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310097071.7A CN116150702B (zh) | 2023-02-10 | 2023-02-10 | 一种主备通信融合的数据整合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310097071.7A CN116150702B (zh) | 2023-02-10 | 2023-02-10 | 一种主备通信融合的数据整合方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116150702A CN116150702A (zh) | 2023-05-23 |
CN116150702B true CN116150702B (zh) | 2023-11-10 |
Family
ID=86357834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310097071.7A Active CN116150702B (zh) | 2023-02-10 | 2023-02-10 | 一种主备通信融合的数据整合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116150702B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116405166A (zh) * | 2023-03-10 | 2023-07-07 | 中国水利水电科学研究院 | 基于北斗短报文和公网通信融合的数据整合方法及装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101656653A (zh) * | 2008-08-21 | 2010-02-24 | 中国移动通信集团公司 | 一种应用于多路径传输的接收缓存配置方法及装置 |
CN101939967A (zh) * | 2008-02-07 | 2011-01-05 | 英国电讯有限公司 | 通信方法 |
CN102231642A (zh) * | 2011-06-29 | 2011-11-02 | 绥中时骏科技有限公司 | Td-scdma同步传输、恢复装置 |
JP2012189779A (ja) * | 2011-03-10 | 2012-10-04 | Ricoh Co Ltd | データ送信回路、データ受信回路、データ送受信システム、データ送信方法、及びデータ受信方法 |
CN105356979A (zh) * | 2015-12-11 | 2016-02-24 | 中山大学 | 一种基于双路径并行传输的无线传感网络代码分发方法 |
CN107645430A (zh) * | 2017-08-08 | 2018-01-30 | 深圳市元征科技股份有限公司 | 一种数据处理方法、系统及相关设备 |
CN108966329A (zh) * | 2018-08-27 | 2018-12-07 | 维沃移动通信有限公司 | 一种省电方法及移动终端 |
CN109756917A (zh) * | 2019-03-06 | 2019-05-14 | 天津理工大学 | 一种面向无线传感器网络的并发多路径可靠传输方法 |
CN110011723A (zh) * | 2019-04-15 | 2019-07-12 | 河南大华安防科技股份有限公司 | 一种基于北斗一键报警的短报文图像步进传输方法 |
CN113014483A (zh) * | 2019-12-19 | 2021-06-22 | 华为技术有限公司 | 一种多路径传输的方法及设备 |
CN113783662A (zh) * | 2021-11-12 | 2021-12-10 | 中国信息通信研究院 | 自适应数据传输方法、装置、计算机设备及可读存储介质 |
CN113890691A (zh) * | 2021-09-29 | 2022-01-04 | 天翼物联科技有限公司 | 数据传输控制方法、装置、物联网终端及存储介质 |
CN114650525A (zh) * | 2020-12-21 | 2022-06-21 | 泰斗微电子科技有限公司 | 一种基于北斗卫星导航系统的应急通信方法及系统 |
-
2023
- 2023-02-10 CN CN202310097071.7A patent/CN116150702B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101939967A (zh) * | 2008-02-07 | 2011-01-05 | 英国电讯有限公司 | 通信方法 |
CN101656653A (zh) * | 2008-08-21 | 2010-02-24 | 中国移动通信集团公司 | 一种应用于多路径传输的接收缓存配置方法及装置 |
JP2012189779A (ja) * | 2011-03-10 | 2012-10-04 | Ricoh Co Ltd | データ送信回路、データ受信回路、データ送受信システム、データ送信方法、及びデータ受信方法 |
CN102231642A (zh) * | 2011-06-29 | 2011-11-02 | 绥中时骏科技有限公司 | Td-scdma同步传输、恢复装置 |
CN105356979A (zh) * | 2015-12-11 | 2016-02-24 | 中山大学 | 一种基于双路径并行传输的无线传感网络代码分发方法 |
CN107645430A (zh) * | 2017-08-08 | 2018-01-30 | 深圳市元征科技股份有限公司 | 一种数据处理方法、系统及相关设备 |
CN108966329A (zh) * | 2018-08-27 | 2018-12-07 | 维沃移动通信有限公司 | 一种省电方法及移动终端 |
CN109756917A (zh) * | 2019-03-06 | 2019-05-14 | 天津理工大学 | 一种面向无线传感器网络的并发多路径可靠传输方法 |
CN110011723A (zh) * | 2019-04-15 | 2019-07-12 | 河南大华安防科技股份有限公司 | 一种基于北斗一键报警的短报文图像步进传输方法 |
CN113014483A (zh) * | 2019-12-19 | 2021-06-22 | 华为技术有限公司 | 一种多路径传输的方法及设备 |
CN114650525A (zh) * | 2020-12-21 | 2022-06-21 | 泰斗微电子科技有限公司 | 一种基于北斗卫星导航系统的应急通信方法及系统 |
CN113890691A (zh) * | 2021-09-29 | 2022-01-04 | 天翼物联科技有限公司 | 数据传输控制方法、装置、物联网终端及存储介质 |
CN113783662A (zh) * | 2021-11-12 | 2021-12-10 | 中国信息通信研究院 | 自适应数据传输方法、装置、计算机设备及可读存储介质 |
Non-Patent Citations (6)
Title |
---|
Information Age and Packet Loss Performance Analysis of Energy Harvesting WSNs;A. Hentati et al;《2018 IEEE 88th Vehicular Technology Conference》;1-5 * |
Realistic and Efficient Multi-Channel Communications in Wireless Sensor Networks;Y. Wu et al;《IEEE INFOCOM 2008 - The 27th Conference on Computer Communications》;1193-1201 * |
一种窄带非对称信道的RTU高效数据传输控制方法;金惠英等;《电子测量技术》;第4卷(第11期);170-174 * |
基于动态路径选择的流媒体传输系统的设计;牟春雷等;《微计算机信息》;第25卷(第9期);2020-204 * |
基于时延差控制的有效吞吐量提高方法;陶洋等;《计算机工程与设计》;第39卷(第2期);320-325 * |
软件定义无线传感网的双信道架构研究;王紫印;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2019年卷(第9期);I136-494 * |
Also Published As
Publication number | Publication date |
---|---|
CN116150702A (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104636352B (zh) | 一种基于质量戳的scada 系统历史数据补数与查询处理方法 | |
CN116150702B (zh) | 一种主备通信融合的数据整合方法及装置 | |
CN112102518B (zh) | 车辆保养提醒信息的同步方法、装置、服务器及存储介质 | |
CN106374993A (zh) | 全自动无人值守的卫星遥测监控平台及数据处理方法 | |
WO2020140738A1 (zh) | 配网运行评价方法及系统 | |
CN110097275A (zh) | 一种基于台区停电数据的户变关系校验方法及装置 | |
CN109817319A (zh) | 设备运营状态统计分析系统平台和设备运营状态实时监控方法及系统 | |
CN116231633A (zh) | 配电网碳排放量的监测方法、装置、设备及存储介质 | |
CN103257857A (zh) | 管理加时间戳的事件的缓冲器的系统 | |
CN110427297A (zh) | 诊断信息获取方法、系统及网关和计算机可读介质 | |
CN112332941B (zh) | 一种基于分布式系统的时间误差校正方法 | |
CN104516953B (zh) | 一种用于电力调度自动化海量报文的黑匣子系统 | |
CN116405166A (zh) | 基于北斗短报文和公网通信融合的数据整合方法及装置 | |
CN112579352A (zh) | 业务数据处理链路的质量监控结果生成方法、存储介质及质量监控系统 | |
CN103368790B (zh) | 一种针对电子交易系统的性能延迟监测方法及其系统 | |
CN112751722B (zh) | 数据传输质量监控方法和系统 | |
CN106304122A (zh) | 一种业务数据分析方法及系统 | |
CN111626881B (zh) | 年金组合风险管理系统、方法、服务器及存储介质 | |
CN105446707A (zh) | 一种数据转换方法 | |
CN114114134A (zh) | 一种智能电能表的对时方法 | |
CN113327341A (zh) | 一种基于网络技术的设备预警系统、方法及存储介质 | |
CN115225523B (zh) | 智能终端设备信息采集时间校正系统及方法 | |
CN114866626B (zh) | 一种智能变电站以太网报文处理系统 | |
CN113194003B (zh) | 一种用于二次设备智能管控的子站通信统计方法及模块 | |
CN117524388B (zh) | 一种健康医疗数据实时采集与质量控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |