CN111628909A - 一种用于无线通信的数据重复发送标记系统及方法 - Google Patents
一种用于无线通信的数据重复发送标记系统及方法 Download PDFInfo
- Publication number
- CN111628909A CN111628909A CN202010447145.1A CN202010447145A CN111628909A CN 111628909 A CN111628909 A CN 111628909A CN 202010447145 A CN202010447145 A CN 202010447145A CN 111628909 A CN111628909 A CN 111628909A
- Authority
- CN
- China
- Prior art keywords
- data
- repeated
- submodule
- repetition rate
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 60
- 238000013467 fragmentation Methods 0.000 claims abstract description 51
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 51
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 238000004140 cleaning Methods 0.000 claims abstract description 42
- 238000013508 migration Methods 0.000 claims abstract description 18
- 230000005012 migration Effects 0.000 claims abstract description 18
- 239000012634 fragment Substances 0.000 claims description 97
- 238000012217 deletion Methods 0.000 claims description 77
- 230000037430 deletion Effects 0.000 claims description 74
- 230000004044 response Effects 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于无线通信的数据重复发送标记系统及方法,该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块,目标迁移数据内容读取模块用于对待发送的数据进行扫描,监测其是否存在重复信息,重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记,重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率,数据重复计次监控单元用于对重复数据进行存在合理性预测,重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除,旨在对重复数据进行监测分析,确认数据重复后进行人工确认删除。
Description
技术领域
本发明涉及通信领域,具体是一种用于无线通信的数据重复发送标记系统及方法。
背景技术
无线通信是指多个节点间不经由导体或缆线传播进行的远距离传输通讯,利用收音机、无线电等都可以进行无线通讯。
无线通讯包括各种固定式、移动式和便携式应用,例如双向无线电、手机、个人数码助理及无线网络。其他无线电无线通讯的例子还有GPS、车库门遥控器、无线鼠标等。
大部分无线通讯技术会用到无线电,包括距离只到数米的Wi-fi,也包括和航海家1号通讯、距离超过数百万公里的深空网络。但有些无线通讯的技术不使用无线电,而是使用其他的电磁波无线技术,例如光、磁场、电场等。
无线资料传输是行动运算中不可少的一部分。有许多可用的技术,差异是在地区的可用性、覆盖范围及性能,在一些情形下,用户必须可以布署多种连线方式,并在不同模式中切换。为了简化使用者所花的时间,可以使用连接管理软件,或者使用MVPN,将数个连线处理为一个保安的单一虚拟网络,
Wi-Fi是无线的局域网络,让便携式的运算装置以简单的方式连接到互连网,借由IEEE 802.11a,b,g,n等标准,Wi-Fi的速度接近一些有线的网络。Wi-Fi已成为家中、办公室及公共空间热点的事实上的标准。有些企业是每月收取一次Wi-Fi的费用,有些企业则是免费提供,因为提供Wi-Fi可以提升他们产品的销售额。
目前,在数据发送至,因为发送数据是实时采集,会导致大量重复的数据进行发送,导致客户端接收到大量重复数据进行备份,会导致内存消耗,本申请旨在对重复数据进行监测分析,确认数据重复后进行人工确认删除。
发明内容
本发明的目的在于提供一种用于无线通信的数据重复发送标记系统及方法,以解决现有技术中的问题。
为实现上述目的,本发明提供如下技术方案:
一种用于无线通信的数据重复发送标记系统,所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块,其中,目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接;
所述目标迁移数据内容读取模块用于对待发送的数据进行扫描,监测其是否存在重复信息,重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记,重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率,数据重复计次监控单元用于对重复数据进行存在合理性预测,重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
通过采用上述技术方案:所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块,其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描,将扫描数据发送给重复传输数据信息统计子模块,重复传输数据信息统计子模块用于对扫描数据进行统计,确认该扫描的数据中是否存在重复数据,对扫描出的重复数据预先进行标记。
通过采用上述技术方案:所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块,副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记,数据副本不作为数据重复的统计范围,数据重复节点定位子模块用于对数据监测出的重复区域进行定位,对待发送数据内部的重复区域进行标记,将标记区域发送给重复数据区域片段化分析模块。
通过采用上述技术方案:所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块,重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割,细化重复区域,将细化的重复区域与参考源数据段进行对比,片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
通过采用上述技术方案:所述片段化重复率对比分析子模块设定某一重复区域为P0,重复区域P0参考的源数据段为Ln,重复区域P0与参考的源数据段为Ln进行对比后进行切割,设定重复数据区域切割子模块对重复区域P0切割成Y个分段,其中不同分段为p1、p2、p3、…、pn-1、pn,上述不同分段与参考源数据Ln对比的重复率为K1、K2、K3、…、Kn-1、Kn,其中,设定Kn≥60%为重复率高,对重复率Kn≥60%的分段数据进行标记。
通过采用上述技术方案:设定不同分段与参考源数据Ln对比的重复率Kn≥60%的片段数量为C0,判定该重复区域P0与参考的源数据段Ln之间重复率高,当重新检测不同分段与参考源数据Ln对比的重复率,提取重复率pn∈[40%,60%)之间的片段数据,设定提取出的片段数据数量为C1,设定该片段数据为pl1、pl2、pl3、…、pln,对提取出的片段数据进行再分段,设定再分段的数据为p21、p22、p23、…、p2n,其中,再分段的数据片段数量为C2,C2≥2C1,检测出再分段的数据与参考源数据段Ln对比的重复率设为Km1、Km2、Km3、…、Kmn,提取出Kmn≥80%的片段数据,将Kmn≥80%的片段数据判定为重复率高,进行标记。
通过采用上述技术方案:所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块,其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
通过采用上述技术方案:所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块,通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除请求,将删除请求进行汇总,发送给人工应答子模块,人工应答子模块用于人工接入对删除请求进行人工判定。
一种用于无线通信的数据重复发送标记方法,其特征在于:
S1:利用目标迁移数据内容读取模块对待发送的数据进行扫描,监测其是否存在重复信息,待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描,将扫描数据发送给重复传输数据信息统计子模块,重复传输数据信息统计子模块对扫描数据进行统计,确认该扫描的数据中是否存在重复数据,对扫描出的重复数据预先进行标记;
S2:利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记,副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记,数据副本不作为数据重复的统计范围,数据重复节点定位子模块对数据监测出的重复区域进行定位,对待发送数据内部的重复区域进行标记,将标记区域发送给重复数据区域片段化分析模块;
S3:利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率,重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割,细化重复区域,将细化的重复区域与参考源数据段进行对比,片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析;
S4:利用数据重复计次监控单元对重复数据进行存在合理性预测,高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块;
S5:利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除,通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求,将删除请求进行汇总,发送给人工应答子模块,人工应答子模块人工接入对删除请求进行人工判定。
通过采用上述技术方案:所述步骤S4中,利用数据重复计次监控单元对重复数据进行存在合理性预测,高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块,还包括以下步骤:
所述设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、…、Qn-1、Qn,模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除,在逐一模拟删除的同时,逐一监测当前待发送数据的完整性,设定上述高重复率数据片段逐一模拟删除时,其数据完整性为A1、A2、A3、…、An-1、An,当监测出An=100%,判定该片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除,当监测出An<85%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理,当监测出An∈[85,100),多次监测当前片段数据模拟删除后的数据连贯性Z1、Z2、Z3、…、Zn-1、Zn,其中,计算得出当前片段数据模拟删除后的数据连贯性,设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn,根据公式:
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性,当Bn=100%,判定该片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除,当Bn≠100%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理。
与现有技术相比,本发明的有益效果是:本发明旨在对重复数据进行监测分析,确认数据重复后进行人工确认删除;
利用目标迁移数据内容读取模块用于对待发送的数据进行扫描,监测其是否存在重复信息,重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记,重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率,数据重复计次监控单元用于对重复数据进行存在合理性预测,重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
附图说明
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明。
图1为本发明一种用于无线通信的数据重复发送标记系统的模块结构示意图;
图2为本发明一种用于无线通信的数据重复发送标记方法的具体步骤示意图;
图3为本发明一种用于无线通信的数据重复发送标记方法的实施方法示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1~3,本发明实施例中,一种用于无线通信的数据重复发送标记系统及方法,所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块,其中,目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接;
所述目标迁移数据内容读取模块用于对待发送的数据进行扫描,监测其是否存在重复信息,重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记,重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率,数据重复计次监控单元用于对重复数据进行存在合理性预测,重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
通过采用上述技术方案:所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块,其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描,将扫描数据发送给重复传输数据信息统计子模块,重复传输数据信息统计子模块用于对扫描数据进行统计,确认该扫描的数据中是否存在重复数据,对扫描出的重复数据预先进行标记。
通过采用上述技术方案:所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块,副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记,数据副本不作为数据重复的统计范围,数据重复节点定位子模块用于对数据监测出的重复区域进行定位,对待发送数据内部的重复区域进行标记,将标记区域发送给重复数据区域片段化分析模块。
通过采用上述技术方案:所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块,重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割,细化重复区域,将细化的重复区域与参考源数据段进行对比,片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
通过采用上述技术方案:所述片段化重复率对比分析子模块设定某一重复区域为P0,重复区域P0参考的源数据段为Ln,重复区域P0与参考的源数据段为Ln进行对比后进行切割,设定重复数据区域切割子模块对重复区域P0切割成Y个分段,其中不同分段为p1、p2、p3、…、pn-1、pn,上述不同分段与参考源数据Ln对比的重复率为K1、K2、K3、…、Kn-1、Kn,其中,设定Kn≥60%为重复率高,对重复率Kn≥60%的分段数据进行标记。
通过采用上述技术方案:设定不同分段与参考源数据Ln对比的重复率Kn≥60%的片段数量为C0,判定该重复区域P0与参考的源数据段Ln之间重复率高,当重新检测不同分段与参考源数据Ln对比的重复率,提取重复率pn∈[40%,60%)之间的片段数据,设定提取出的片段数据数量为C1,设定该片段数据为pl1、pl2、pl3、…、pln,对提取出的片段数据进行再分段,设定再分段的数据为p21、p22、p23、…、p2n,其中,再分段的数据片段数量为C2,C2≥2C1,检测出再分段的数据与参考源数据段Ln对比的重复率设为Km1、Km2、Km3、…、Kmn,提取出Kmn≥80%的片段数据,将Kmn≥80%的片段数据判定为重复率高,进行标记。
通过采用上述技术方案:所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块,其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
通过采用上述技术方案:所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块,通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除请求,将删除请求进行汇总,发送给人工应答子模块,人工应答子模块用于人工接入对删除请求进行人工判定。
一种用于无线通信的数据重复发送标记方法,其特征在于:
S1:利用目标迁移数据内容读取模块对待发送的数据进行扫描,监测其是否存在重复信息,待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描,将扫描数据发送给重复传输数据信息统计子模块,重复传输数据信息统计子模块对扫描数据进行统计,确认该扫描的数据中是否存在重复数据,对扫描出的重复数据预先进行标记;
S2:利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记,副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记,数据副本不作为数据重复的统计范围,数据重复节点定位子模块对数据监测出的重复区域进行定位,对待发送数据内部的重复区域进行标记,将标记区域发送给重复数据区域片段化分析模块;
S3:利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率,重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割,细化重复区域,将细化的重复区域与参考源数据段进行对比,片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析;
S4:利用数据重复计次监控单元对重复数据进行存在合理性预测,高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块;
S5:利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除,通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求,将删除请求进行汇总,发送给人工应答子模块,人工应答子模块人工接入对删除请求进行人工判定。
通过采用上述技术方案:所述步骤S4中,利用数据重复计次监控单元对重复数据进行存在合理性预测,高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块,还包括以下步骤:
所述设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、…、Qn-1、Qn,模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除,在逐一模拟删除的同时,逐一监测当前待发送数据的完整性,设定上述高重复率数据片段逐一模拟删除时,其数据完整性为A1、A2、A3、…、An-1、An,当监测出An=100%,判定该片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除,当监测出An<85%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理,当监测出An∈[85,100),多次监测当前片段数据模拟删除后的数据连贯性Z1、Z2、Z3、…、Zn-1、Zn,其中,计算得出当前片段数据模拟删除后的数据连贯性,设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn,根据公式:
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性,当Bn=100%,判定该片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除,当Bn≠100%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理。
实施例1:限定条件,设定重复数据区域切割子模块对重复区域P0切割成4个分段,其中不同分段为p1、p2、p3、p4、p5,上述不同分段与参考源数据Ln对比的重复率为70%、67%、51%、57%、49%,其中,设定Kn≥60%为重复率高,70%≥60%,67%≥60%,对p1、p2分段数据进行标记;
不同分段与参考源数据Ln对比的重复率Kn≥60%的片段数量为2,重新检测不同分段与参考源数据Ln对比的重复率,提取重复率pn∈[40%,60%)之间的片段数据,设定提取出的片段数据数量为3,设定该片段数据为pl1、pl2、pl3,对提取出的片段数据进行再分段,设定再分段的数据为p21、p22、p23、p24、p25、p26,其中,再分段的数据片段数量为6,6=2*3,检测出再分段的数据与参考源数据段Ln对比的重复率设为89%、45%、97%、39%、55%、87%、,提取出p21、p23、p26的片段数据,将Kmn≥80%的片段数据判定为重复率高,对p21、p23、p26片段数据进行标记。
实施例2:限定条件:设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、Q4,模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除,在逐一模拟删除的同时,逐一监测当前待发送数据的完整性,设定上述高重复率数据片段逐一模拟删除时,其数据完整性为100%、89%、100%、79%,监测出模拟删除Q1、Q3数据片段后待发送数据完整性为100%,判定Q1、Q3片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除。
实施例3:限定条件,设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、Q4,模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除,在逐一模拟删除的同时,逐一监测当前待发送数据的完整性,设定上述高重复率数据片段逐一模拟删除时,其数据完整性为100%、89%、100%、79%,监测出模拟删除Q4数据片段后待发送数据完整性为79%,79%<85%,判定该片段数据Q4删除后对待发送数据的完整性有影响,对该片段数据不作处理。
实施例4:限定条件,限定条件:设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、Q4,模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除,在逐一模拟删除的同时,逐一监测当前待发送数据的完整性,设定上述高重复率数据片段逐一模拟删除时,其数据完整性为100%、89%、100%、79%,监测出模拟删除数据片段Q2后待发送数据完整性为89%,89%∈[85,100),多次监测当前片段数据Q2模拟删除后的数据连贯性91%、89%、94%、90%,其中,计算得出当前片段数据模拟删除后的数据连贯性,设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn,根据公式:
Bn=89%+(1-90.5%)=98.5%
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性98.5,Bn≠100%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种用于无线通信的数据重复发送标记系统,其特征在于:所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块,其中,目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接;
所述目标迁移数据内容读取模块用于对待发送的数据进行扫描,监测其是否存在重复信息,重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记,重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率,数据重复计次监控单元用于对重复数据进行存在合理性预测,重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
2.根据权利要求1所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块,其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描,将扫描数据发送给重复传输数据信息统计子模块,重复传输数据信息统计子模块用于对扫描数据进行统计,确认该扫描的数据中是否存在重复数据,对扫描出的重复数据预先进行标记。
3.根据权利要求1所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块,副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记,数据副本不作为数据重复的统计范围,数据重复节点定位子模块用于对数据监测出的重复区域进行定位,对待发送数据内部的重复区域进行标记,将标记区域发送给重复数据区域片段化分析模块。
4.根据权利要求3所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块,重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割,细化重复区域,将细化的重复区域与参考源数据段进行对比,片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
5.根据权利要求4所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述片段化重复率对比分析子模块设定某一重复区域为P0,重复区域P0参考的源数据段为Ln,重复区域P0与参考的源数据段为Ln进行对比后进行切割,设定重复数据区域切割子模块对重复区域P0切割成Y个分段,其中不同分段为p1、p2、p3、…、pn-1、pn,上述不同分段与参考源数据Ln对比的重复率为K1、K2、K3、…、Kn-1、Kn,其中,设定Kn≥60%为重复率高,对重复率Kn≥60%的分段数据进行标记。
6.根据权利要求4所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述设定不同分段与参考源数据Ln对比的重复率Kn≥60%的片段数量为C0,判定该重复区域P0与参考的源数据段Ln之间重复率高,当重新检测不同分段与参考源数据Ln对比的重复率,提取重复率pn∈[40%,60%)之间的片段数据,设定提取出的片段数据数量为C1,设定该片段数据为pl1、pl2、pl3、…、pln,对提取出的片段数据进行再分段,设定再分段的数据为p21、p22、p23、…、p2n,其中,再分段的数据片段数量为C2,C2≥2C1,检测出再分段的数据与参考源数据段Ln对比的重复率设为Km1、Km2、Km3、…、Kmn,提取出Kmn≥80%的片段数据,将Kmn≥80%的片段数据判定为重复率高,进行标记。
7.根据权利要求4所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块,其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
8.根据权利要求1所述的一种用于无线通信的数据重复发送标记系统,其特征在于:所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块,通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除请求,将删除请求进行汇总,发送给人工应答子模块,人工应答子模块用于人工接入对删除请求进行人工判定。
9.一种用于无线通信的数据重复发送标记方法,其特征在于:
S1:利用目标迁移数据内容读取模块对待发送的数据进行扫描,监测其是否存在重复信息,待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描,将扫描数据发送给重复传输数据信息统计子模块,重复传输数据信息统计子模块对扫描数据进行统计,确认该扫描的数据中是否存在重复数据,对扫描出的重复数据预先进行标记;
S2:利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记,副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记,数据副本不作为数据重复的统计范围,数据重复节点定位子模块对数据监测出的重复区域进行定位,对待发送数据内部的重复区域进行标记,将标记区域发送给重复数据区域片段化分析模块;
S3:利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率,重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割,细化重复区域,将细化的重复区域与参考源数据段进行对比,片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析;
S4:利用数据重复计次监控单元对重复数据进行存在合理性预测,高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块;
S5:利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除,通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求,将删除请求进行汇总,发送给人工应答子模块,人工应答子模块人工接入对删除请求进行人工判定。
10.根据权利要求9所述的一种用于无线通信的数据重复发送标记方法,其特征在于:所述步骤S4中,利用数据重复计次监控单元对重复数据进行存在合理性预测,高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段,进行集中统计,形成列表,发送给模拟删除后数据完整性预测子模块,模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据,分析高重复率数据删除后是否影响数据完整性,当对重复率高的片段数据删除时,数据完整性大于设定阈值,将该段重复率高的数据删除申请发送给重复冗杂数据清理模块,还包括以下步骤:
所述设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、…、Qn-1、Qn,模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除,在逐一模拟删除的同时,逐一监测当前待发送数据的完整性,设定上述高重复率数据片段逐一模拟删除时,其数据完整性为A1、A2、A3、…、An-1、An,当监测出An=100%,判定该片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除,当监测出An<85%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理,当监测出An∈[85,100),多次监测当前片段数据模拟删除后的数据连贯性Z1、Z2、Z3、…、Zn-1、Zn,其中,计算得出当前片段数据模拟删除后的数据连贯性,设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn,根据公式:
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性,当Bn=100%,判定该片段数据删除后对待发送数据的完整性没有影响,将该段数据发送给重复冗杂数据清理模块进行人工确认后删除,当Bn≠100%,判定该片段数据删除后对待发送数据的完整性有影响,对该片段数据不作处理。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010447145.1A CN111628909B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统及方法 |
CN202110745357.2A CN113472609B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010447145.1A CN111628909B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统及方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110745357.2A Division CN113472609B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111628909A true CN111628909A (zh) | 2020-09-04 |
CN111628909B CN111628909B (zh) | 2021-08-20 |
Family
ID=72272447
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010447145.1A Active CN111628909B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统及方法 |
CN202110745357.2A Active CN113472609B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110745357.2A Active CN113472609B (zh) | 2020-05-25 | 2020-05-25 | 一种用于无线通信的数据重复发送标记系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111628909B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831222A (zh) * | 2012-08-24 | 2012-12-19 | 华中科技大学 | 一种基于重复数据删除的差量压缩方法 |
CN103678158A (zh) * | 2013-12-26 | 2014-03-26 | 中国科学院信息工程研究所 | 一种数据布局优化方法及系统 |
CN109104732A (zh) * | 2018-06-13 | 2018-12-28 | 珠海格力电器股份有限公司 | 数据发送方法、装置及智能电器 |
US20190065534A1 (en) * | 2016-03-25 | 2019-02-28 | Alibaba Group Holding Limited | Method and device for data deduplication |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10285653A (ja) * | 1997-04-10 | 1998-10-23 | Sony Corp | 伝送速度推定装置及び伝送速度推定方法 |
US8938595B2 (en) * | 2003-08-05 | 2015-01-20 | Sepaton, Inc. | Emulated storage system |
US8238247B2 (en) * | 2009-03-25 | 2012-08-07 | Wi-Lan, Inc. | System and method for proactive repeat transmission of data over an unreliable transmission medium |
US8732133B2 (en) * | 2010-03-16 | 2014-05-20 | Commvault Systems, Inc. | Extensible data deduplication system and method |
CN102221982B (zh) * | 2011-06-13 | 2013-09-11 | 北京卓微天成科技咨询有限公司 | 块级虚拟化存储设备上实现重复数据删除的方法及系统 |
CN102323958A (zh) * | 2011-10-27 | 2012-01-18 | 上海文广互动电视有限公司 | 重复数据删除方法 |
CN103189867B (zh) * | 2012-10-30 | 2016-05-25 | 华为技术有限公司 | 重复数据检索方法及设备 |
US10073853B2 (en) * | 2013-07-17 | 2018-09-11 | International Business Machines Corporation | Adaptive similarity search resolution in a data deduplication system |
CN103580956A (zh) * | 2013-11-05 | 2014-02-12 | 北京锐安科技有限公司 | 一种检测数据完整性的方法及装置 |
CN105808169A (zh) * | 2016-03-14 | 2016-07-27 | 联想(北京)有限公司 | 用于数据去重的方法、装置和系统 |
US10439917B2 (en) * | 2016-11-15 | 2019-10-08 | At&T Intellectual Property I, L.P. | Recovering a replica in an operator in a data streaming processing system |
CN109597574B (zh) * | 2018-11-27 | 2021-09-24 | 深圳市酷开网络科技股份有限公司 | 分布式数据存储方法、服务器及可读存储介质 |
CN109739841B (zh) * | 2018-12-14 | 2022-08-19 | 国网江苏省电力有限公司电力科学研究院 | 一种针对于电力设备在线监测重复数据的整合系统及方法 |
CN111046030A (zh) * | 2019-12-11 | 2020-04-21 | 姚欣 | 一种大数据用数据剔除整合系统 |
-
2020
- 2020-05-25 CN CN202010447145.1A patent/CN111628909B/zh active Active
- 2020-05-25 CN CN202110745357.2A patent/CN113472609B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831222A (zh) * | 2012-08-24 | 2012-12-19 | 华中科技大学 | 一种基于重复数据删除的差量压缩方法 |
CN103678158A (zh) * | 2013-12-26 | 2014-03-26 | 中国科学院信息工程研究所 | 一种数据布局优化方法及系统 |
US20190065534A1 (en) * | 2016-03-25 | 2019-02-28 | Alibaba Group Holding Limited | Method and device for data deduplication |
CN109104732A (zh) * | 2018-06-13 | 2018-12-28 | 珠海格力电器股份有限公司 | 数据发送方法、装置及智能电器 |
Also Published As
Publication number | Publication date |
---|---|
CN113472609B (zh) | 2024-03-19 |
CN111628909B (zh) | 2021-08-20 |
CN113472609A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105404631A (zh) | 图片识别方法和装置 | |
CN112116511A (zh) | 用于城市轨道交通系统的状态监控方法及装置 | |
CN111523777A (zh) | 一种新型智慧城市系统及其应用方法 | |
CN104657437A (zh) | 推广情况数据的监测方法及装置 | |
CN113645625B (zh) | 伪基站定位方法、装置、电子设备和可读介质 | |
CN111628909B (zh) | 一种用于无线通信的数据重复发送标记系统及方法 | |
US8634965B1 (en) | Computer-based method for power system state estimation | |
CN113591803A (zh) | 一种基于边云协同技术的配电房智能远程巡视方法及系统 | |
CN113660687A (zh) | 网络差小区处理方法、装置、设备及存储介质 | |
CN116821777A (zh) | 一种新型基础测绘数据整合方法及系统 | |
CN115981192B (zh) | 基于工业网络协同控制与预判方法 | |
CN115330140A (zh) | 一种基于数据挖掘的建筑风险预测方法及其预测系统 | |
US20220103454A1 (en) | Data inspection system for inspecting operating situations of multiple iot devices in a plurality of target iot systems | |
CN115379456A (zh) | 电力5g网络风险评估方法、装置、电子设备及存储介质 | |
CN114828055A (zh) | 用户业务感知评估方法、装置、设备、介质和程序产品 | |
CN116567519A (zh) | 一种用户住家手机信号网络质量信息获取方法及装置 | |
WO2024138968A1 (zh) | 基站故障诊断方法及装置 | |
CN117560706B (zh) | 根因分析方法、装置、电子设备及存储介质 | |
Ortega‐Sicilia et al. | Design and evaluation of ANR algorithm for LTE real scenario with high interference | |
CN111787557B (zh) | 一种基于无线通信的信息交换回传系统及方法 | |
CN116633673B (zh) | 用于综合能源平台的数据安全传输系统 | |
CN117896231A (zh) | 频发设备识别方法、装置、电子设备和可读存储介质 | |
CN117202236A (zh) | 基站健康度确定方法、装置、电子设备及存储介质 | |
CN116302695A (zh) | 一种电网量测数据的修复方法 | |
CN118052653A (zh) | 分布式电源接入配电网效果的系统评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210802 Address after: 200092 4th floor, building 23, No. 1142, Kongjiang Road, Yangpu District, Shanghai (centralized registration place) Applicant after: Shanghai dewu Information Technology Co.,Ltd. Address before: 215000 No. 495, Yangshu Road, Kunshan City, Suzhou City, Jiangsu Province Applicant before: Wang Yongqiang |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |