CN111628909B - 一种用于无线通信的数据重复发送标记系统及方法 - Google Patents

一种用于无线通信的数据重复发送标记系统及方法 Download PDF

Info

Publication number
CN111628909B
CN111628909B CN202010447145.1A CN202010447145A CN111628909B CN 111628909 B CN111628909 B CN 111628909B CN 202010447145 A CN202010447145 A CN 202010447145A CN 111628909 B CN111628909 B CN 111628909B
Authority
CN
China
Prior art keywords
data
repeated
submodule
repetition rate
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010447145.1A
Other languages
English (en)
Other versions
CN111628909A (zh
Inventor
汪永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai dewu Information Technology Co.,Ltd.
Original Assignee
Shanghai Dewu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dewu Information Technology Co ltd filed Critical Shanghai Dewu Information Technology Co ltd
Priority to CN202110745357.2A priority Critical patent/CN113472609B/zh
Priority to CN202010447145.1A priority patent/CN111628909B/zh
Publication of CN111628909A publication Critical patent/CN111628909A/zh
Application granted granted Critical
Publication of CN111628909B publication Critical patent/CN111628909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种用于无线通信的数据重复发送标记系统及方法，该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除，旨在对重复数据进行监测分析，确认数据重复后进行人工确认删除。

Description

一种用于无线通信的数据重复发送标记系统及方法
技术领域
本发明涉及通信领域，具体是一种用于无线通信的数据重复发送标记系统及方法。
背景技术
无线通信是指多个节点间不经由导体或缆线传播进行的远距离传输通讯，利用收音机、无线电等都可以进行无线通讯。
无线通讯包括各种固定式、移动式和便携式应用，例如双向无线电、手机、个人数码助理及无线网络。其他无线电无线通讯的例子还有GPS、车库门遥控器、无线鼠标等。
大部分无线通讯技术会用到无线电，包括距离只到数米的Wi-fi，也包括和航海家1号通讯、距离超过数百万公里的深空网络。但有些无线通讯的技术不使用无线电，而是使用其他的电磁波无线技术，例如光、磁场、电场等。
无线资料传输是行动运算中不可少的一部分。有许多可用的技术，差异是在地区的可用性、覆盖范围及性能，在一些情形下，用户必须可以布署多种连线方式，并在不同模式中切换。为了简化使用者所花的时间，可以使用连接管理软件，或者使用MVPN，将数个连线处理为一个保安的单一虚拟网络，
Wi-Fi是无线的局域网络，让便携式的运算装置以简单的方式连接到互连网，借由IEEE 802.11a,b,g,n等标准，Wi-Fi的速度接近一些有线的网络。Wi-Fi已成为家中、办公室及公共空间热点的事实上的标准。有些企业是每月收取一次Wi-Fi的费用，有些企业则是免费提供，因为提供Wi-Fi可以提升他们产品的销售额。
目前，在数据发送至，因为发送数据是实时采集，会导致大量重复的数据进行发送，导致客户端接收到大量重复数据进行备份，会导致内存消耗，本申请旨在对重复数据进行监测分析，确认数据重复后进行人工确认删除。
发明内容
本发明的目的在于提供一种用于无线通信的数据重复发送标记系统及方法，以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
一种用于无线通信的数据重复发送标记系统，所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，其中，目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接；
所述目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
通过采用上述技术方案：所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块，其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块用于对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记。
通过采用上述技术方案：所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块，副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块用于对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块。
通过采用上述技术方案：所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块，重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域，将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
通过采用上述技术方案：所述片段化重复率对比分析子模块设定某一重复区域为P0，重复区域P0参考的源数据段为Ln，重复区域P0与参考的源数据段为Ln进行对比后进行切割，设定重复数据区域切割子模块对重复区域P0切割成Y个分段，其中不同分段为p1、p2、p3、…、pn-1、pn，上述不同分段与参考源数据Ln对比的重复率为K1、K2、K3、…、Kn-1、Kn，其中，设定Kn≥60％为重复率高，对重复率Kn≥60％的分段数据进行标记。
通过采用上述技术方案：设定不同分段与参考源数据Ln对比的重复率Kn≥60％的片段数量为C0，
Figure BDA0002506250610000041
判定该重复区域P0与参考的源数据段Ln之间重复率高，当
Figure BDA0002506250610000042
重新检测不同分段与参考源数据Ln对比的重复率，提取重复率pn∈[40％，60％)之间的片段数据，设定提取出的片段数据数量为C1，设定该片段数据为pl1、pl2、pl3、…、pln，对提取出的片段数据进行再分段，设定再分段的数据为p21、p22、p23、…、p2n，其中，再分段的数据片段数量为C2，C2≥2C1，检测出再分段的数据与参考源数据段Ln对比的重复率设为Km1、Km2、Km3、…、Kmn,提取出Kmn≥80％的片段数据，将Kmn≥80％的片段数据判定为重复率高，进行标记。
通过采用上述技术方案：所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块，其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
通过采用上述技术方案：所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块，通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块用于人工接入对删除请求进行人工判定。
一种用于无线通信的数据重复发送标记方法，其特征在于：
S1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；
S2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；
S3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域，将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；
S4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；
S5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定。
通过采用上述技术方案：所述步骤S4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：
所述设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、…、Qn-1、Qn，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为A1、A2、A3、…、An-1、An,当监测出An＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出An＜85％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出An∈[85,100),多次监测当前片段数据模拟删除后的数据连贯性Z1、Z2、Z3、…、Zn-1、Zn，其中，
Figure BDA0002506250610000071
计算得出当前片段数据模拟删除后的数据连贯性，设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn，根据公式：
Figure BDA0002506250610000081
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性，当Bn＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当Bn≠100％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
与现有技术相比，本发明的有益效果是：本发明旨在对重复数据进行监测分析，确认数据重复后进行人工确认删除；
利用目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明一种用于无线通信的数据重复发送标记系统的模块结构示意图；
图2为本发明一种用于无线通信的数据重复发送标记方法的具体步骤示意图；
图3为本发明一种用于无线通信的数据重复发送标记方法的实施方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～3，本发明实施例中，一种用于无线通信的数据重复发送标记系统及方法，所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，其中，目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接；
所述目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
通过采用上述技术方案：所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块，其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块用于对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记。
通过采用上述技术方案：所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块，副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块用于对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块。
通过采用上述技术方案：所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块，重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域，将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
通过采用上述技术方案：所述片段化重复率对比分析子模块设定某一重复区域为P0，重复区域P0参考的源数据段为Ln，重复区域P0与参考的源数据段为Ln进行对比后进行切割，设定重复数据区域切割子模块对重复区域P0切割成Y个分段，其中不同分段为p1、p2、p3、…、pn-1、pn，上述不同分段与参考源数据Ln对比的重复率为K1、K2、K3、…、Kn-1、Kn，其中，设定Kn≥60％为重复率高，对重复率Kn≥60％的分段数据进行标记。
通过采用上述技术方案：设定不同分段与参考源数据Ln对比的重复率Kn≥60％的片段数量为C0，
Figure BDA0002506250610000111
判定该重复区域P0与参考的源数据段Ln之间重复率高，当
Figure BDA0002506250610000112
重新检测不同分段与参考源数据Ln对比的重复率，提取重复率pn∈[40％，60％)之间的片段数据，设定提取出的片段数据数量为C1，设定该片段数据为pl1、pl2、pl3、…、pln，对提取出的片段数据进行再分段，设定再分段的数据为p21、p22、p23、…、p2n，其中，再分段的数据片段数量为C2，C2≥2C1，检测出再分段的数据与参考源数据段Ln对比的重复率设为Km1、Km2、Km3、…、Kmn,提取出Kmn≥80％的片段数据，将Kmn≥80％的片段数据判定为重复率高，进行标记。
通过采用上述技术方案：所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块，其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
通过采用上述技术方案：所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块，通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块用于人工接入对删除请求进行人工判定。
一种用于无线通信的数据重复发送标记方法，其特征在于：
S1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；
S2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；
S3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域，将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；
S4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；
S5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定。
通过采用上述技术方案：所述步骤S4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：
所述设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、…、Qn-1、Qn，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为A1、A2、A3、…、An-1、An,当监测出An＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出An＜85％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出An∈[85,100),多次监测当前片段数据模拟删除后的数据连贯性Z1、Z2、Z3、…、Zn-1、Zn，其中，
Figure BDA0002506250610000141
计算得出当前片段数据模拟删除后的数据连贯性，设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn，根据公式：
Figure BDA0002506250610000151
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性，当Bn＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当Bn≠100％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
实施例1：限定条件，设定重复数据区域切割子模块对重复区域P0切割成4个分段，其中不同分段为p1、p2、p3、p4、p5，上述不同分段与参考源数据Ln对比的重复率为70％、67％、51％、57％、49％，其中，设定Kn≥60％为重复率高，70％≥60％，67％≥60％，对p1、p2分段数据进行标记；
不同分段与参考源数据Ln对比的重复率Kn≥60％的片段数量为2，
Figure BDA0002506250610000152
重新检测不同分段与参考源数据Ln对比的重复率，提取重复率pn∈[40％，60％)之间的片段数据，设定提取出的片段数据数量为3，设定该片段数据为pl1、pl2、pl3，对提取出的片段数据进行再分段，设定再分段的数据为p21、p22、p23、p24、p25、p26，其中，再分段的数据片段数量为6，6＝2*3，检测出再分段的数据与参考源数据段Ln对比的重复率设为89％、45％、97％、39％、55％、87％、,提取出p21、p23、p26的片段数据，将Kmn≥80％的片段数据判定为重复率高，对p21、p23、p26片段数据进行标记。
实施例2：限定条件：设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、Q4，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为100％、89％、100％、79％,监测出模拟删除Q1、Q3数据片段后待发送数据完整性为100％，判定Q1、Q3片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除。
实施例3：限定条件，设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、Q4，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为100％、89％、100％、79％,监测出模拟删除Q4数据片段后待发送数据完整性为79％，79％＜85％，判定该片段数据Q4删除后对待发送数据的完整性有影响，对该片段数据不作处理。
实施例4：限定条件，限定条件：设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、Q4，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为100％、89％、100％、79％,监测出模拟删除数据片段Q2后待发送数据完整性为89％，89％∈[85,100)，多次监测当前片段数据Q2模拟删除后的数据连贯性91％、89％、94％、90％，其中，
Figure BDA0002506250610000171
计算得出当前片段数据模拟删除后的数据连贯性，设定对An∈[85,100)的片段数据监测的二次数据完整性为Bn，根据公式：
Bn＝89％+(1-90.5％)＝98.5％
计算得出模拟删除An∈[85,100)的片段数据监测的二次数据完整性98.5，Bn≠100％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (1)

1.一种用于无线通信的数据重复发送标记方法，其特征在于：
S1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；
S2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；
S3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域，将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；
S4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；
S5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定；
所述步骤S4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：
设定片段化重复率对比分析子模块标记的高重复率数据片段为Q1、Q2、Q3、…、Qn-1、Qn，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定高重复率数据片段逐一模拟删除时，其数据完整性为A1、A2、A3、…、An-1、An,当监测出An＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出An＜85％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出An∈[85,100)％,多次监测当前片段数据模拟删除后的数据连贯性Z1、Z2、Z3、…、Zn-1、Zn，其中，
Figure FDA0002962379620000031
计算得出当前片段数据模拟删除后的数据连贯性，设定对An∈[85,100)％的片段数据监测的二次数据完整性为Bn，根据公式：
Figure FDA0002962379620000032
计算得出模拟删除An∈[85,100)％的片段数据监测的二次数据完整性，当Bn＝100％，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当Bn≠100％，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
CN202010447145.1A 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统及方法 Active CN111628909B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110745357.2A CN113472609B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统
CN202010447145.1A CN111628909B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010447145.1A CN111628909B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统及方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110745357.2A Division CN113472609B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统

Publications (2)

Publication Number Publication Date
CN111628909A CN111628909A (zh) 2020-09-04
CN111628909B true CN111628909B (zh) 2021-08-20

Family

ID=72272447

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010447145.1A Active CN111628909B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统及方法
CN202110745357.2A Active CN113472609B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110745357.2A Active CN113472609B (zh) 2020-05-25 2020-05-25 一种用于无线通信的数据重复发送标记系统

Country Status (1)

Country Link
CN (2) CN111628909B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831222A (zh) * 2012-08-24 2012-12-19 华中科技大学 一种基于重复数据删除的差量压缩方法
CN103678158A (zh) * 2013-12-26 2014-03-26 中国科学院信息工程研究所 一种数据布局优化方法及系统
CN109104732A (zh) * 2018-06-13 2018-12-28 珠海格力电器股份有限公司 数据发送方法、装置及智能电器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285653A (ja) * 1997-04-10 1998-10-23 Sony Corp 伝送速度推定装置及び伝送速度推定方法
US8938595B2 (en) * 2003-08-05 2015-01-20 Sepaton, Inc. Emulated storage system
US8238247B2 (en) * 2009-03-25 2012-08-07 Wi-Lan, Inc. System and method for proactive repeat transmission of data over an unreliable transmission medium
US8732133B2 (en) * 2010-03-16 2014-05-20 Commvault Systems, Inc. Extensible data deduplication system and method
CN102221982B (zh) * 2011-06-13 2013-09-11 北京卓微天成科技咨询有限公司 块级虚拟化存储设备上实现重复数据删除的方法及系统
CN102323958A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 重复数据删除方法
CN103189867B (zh) * 2012-10-30 2016-05-25 华为技术有限公司 重复数据检索方法及设备
US10073853B2 (en) * 2013-07-17 2018-09-11 International Business Machines Corporation Adaptive similarity search resolution in a data deduplication system
CN103580956A (zh) * 2013-11-05 2014-02-12 北京锐安科技有限公司 一种检测数据完整性的方法及装置
CN105808169A (zh) * 2016-03-14 2016-07-27 联想(北京)有限公司 用于数据去重的方法、装置和系统
CN107229660A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种数据去重的方法和设备
US10439917B2 (en) * 2016-11-15 2019-10-08 At&T Intellectual Property I, L.P. Recovering a replica in an operator in a data streaming processing system
CN109597574B (zh) * 2018-11-27 2021-09-24 深圳市酷开网络科技股份有限公司 分布式数据存储方法、服务器及可读存储介质
CN109739841B (zh) * 2018-12-14 2022-08-19 国网江苏省电力有限公司电力科学研究院 一种针对于电力设备在线监测重复数据的整合系统及方法
CN111046030A (zh) * 2019-12-11 2020-04-21 姚欣 一种大数据用数据剔除整合系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831222A (zh) * 2012-08-24 2012-12-19 华中科技大学 一种基于重复数据删除的差量压缩方法
CN103678158A (zh) * 2013-12-26 2014-03-26 中国科学院信息工程研究所 一种数据布局优化方法及系统
CN109104732A (zh) * 2018-06-13 2018-12-28 珠海格力电器股份有限公司 数据发送方法、装置及智能电器

Also Published As

Publication number Publication date
CN113472609A (zh) 2021-10-01
CN111628909A (zh) 2020-09-04
CN113472609B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN107920362B (zh) 一种基于微区域的lte网络性能评估方法
CN111523777A (zh) 一种新型智慧城市系统及其应用方法
CN104657437A (zh) 推广情况数据的监测方法及装置
CN115345466A (zh) 基于网架拓扑与多源数据融合的配电网在线评估系统
Zhao et al. Temporal‐spatial distribution nature of traffic and base stations in cellular networks
CN111628909B (zh) 一种用于无线通信的数据重复发送标记系统及方法
CN109446327B (zh) 一种移动通信客户投诉的诊断方法及系统
CN113591803A (zh) 一种基于边云协同技术的配电房智能远程巡视方法及系统
CN113645625A (zh) 伪基站定位方法、装置、电子设备和可读介质
CN104883275A (zh) 一种通信设备的日志缓存方法及系统
Di Cicco et al. Machine learning-based line-of-sight prediction in urban manhattan-like environments
CN112116511A (zh) 用于城市轨道交通系统的状态监控方法及装置
CN109982373B (zh) Lte频繁回落点分析方法、装置、计算设备及存储介质
Wu et al. Fragmentation of outage clusters during the recovery of power distribution grids
CN115330140A (zh) 一种基于数据挖掘的建筑风险预测方法及其预测系统
CN114828055A (zh) 用户业务感知评估方法、装置、设备、介质和程序产品
CN115379456A (zh) 电力5g网络风险评估方法、装置、电子设备及存储介质
CN104659917A (zh) 一种基于多约简和可信度的故障诊断方法
CN116567519A (zh) 一种用户住家手机信号网络质量信息获取方法及装置
CN117560706B (zh) 根因分析方法、装置、电子设备及存储介质
CN112020087A (zh) 隧道故障监控方法、装置及计算设备
Ortega‐Sicilia et al. Design and evaluation of ANR algorithm for LTE real scenario with high interference
CN111787557B (zh) 一种基于无线通信的信息交换回传系统及方法
CN114866433B (zh) 用户业务感知评估方法、装置、设备及计算机存储介质
CN116633673B (zh) 用于综合能源平台的数据安全传输系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210802

Address after: 200092 4th floor, building 23, No. 1142, Kongjiang Road, Yangpu District, Shanghai (centralized registration place)

Applicant after: Shanghai dewu Information Technology Co.,Ltd.

Address before: 215000 No. 495, Yangshu Road, Kunshan City, Suzhou City, Jiangsu Province

Applicant before: Wang Yongqiang

GR01 Patent grant
GR01 Patent grant