CN111614440B - 一种采用分段式数据结构的数据发送系统及方法 - Google Patents

一种采用分段式数据结构的数据发送系统及方法 Download PDF

Info

Publication number
CN111614440B
CN111614440B CN202010439189.XA CN202010439189A CN111614440B CN 111614440 B CN111614440 B CN 111614440B CN 202010439189 A CN202010439189 A CN 202010439189A CN 111614440 B CN111614440 B CN 111614440B
Authority
CN
China
Prior art keywords
data
segment
sending
different
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010439189.XA
Other languages
English (en)
Other versions
CN111614440A (zh
Inventor
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XI'AN WEBBER SOFTWARE Co.,Ltd.
Original Assignee
Xi'an Webber Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Webber Software Co ltd filed Critical Xi'an Webber Software Co ltd
Priority to CN202110287268.8A priority Critical patent/CN112910606B/zh
Priority to CN202010439189.XA priority patent/CN111614440B/zh
Publication of CN111614440A publication Critical patent/CN111614440A/zh
Application granted granted Critical
Publication of CN111614440B publication Critical patent/CN111614440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
    • H04L1/0007—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0028—Formatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0033—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种采用分段式数据结构的数据发送系统及方法，该系统包括待发送数据实时扫描模块、不同数据流片段划分模块、数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块和数据整合模块，待发送数据实时扫描模块用于对待发送的数据流进行扫描，不同数据流片段划分模块用于对数据根据基本信息确定分段的方式，数据配置对象发送进程对象查询模块用于对数据定位到每一个分段的内容进行查询，分段数据发送速度同步采集模块用于对每一分段的数据进行发送的监测，数据整合模块用于对分段数据发送完成后实时进行整合，旨在对数据量较大的数据发送时进行分段，方便用户实时查看已下载完的数据片段。

Description

一种采用分段式数据结构的数据发送系统及方法
技术领域
本发明涉及数据发送领域，具体是一种采用分段式数据结构的数据发送系统及方法。
背景技术
数据发送系统已广泛应用于工业控制等各个领域，如何提高采集软件的稳定性和数据发送效率成为一个技术难点。传输控制协议(TCP)是Internet中使用最广泛的传输层协议。常见应用如HTTP、FTP、BitTorrent等都使用它来传输数据。在传输过程中,数据发送受到不止一种因素的限制,比如发送方、接收方和网络。数据发送定时器对发送的数据进行定时计数,它是一种减法计数器,当计数值变为0时,数据仍没有收到相应的应答,表示发送的数据已经超过定时范围,需要重发或丢弃。
在传输过程中,数据发送受到不止一种因素的限制,比如发送方、接收方和网络。当用户数据发送速率不快时,他们希望了解发送过程中限制数据发送的主要因素。一旦能够诊断出数据传输中的限制因素,用户就可以通过消除这种限制因素来提高连接的传输速率。比如当限制因素是接收方时,用户可以通过修改主机的配置来提高传输速率；而当限制因素是发送方或者网络时,用户可以通过向服务提供商和ISP反映来解决问题。
目前，在数据发送时，常常是将数据进行打包后集中发送，这样在数据量情况下会发送缓慢，导致集中发送的数据需要在发送完成后统一进行查阅，等待时间较长，本申请旨在对数据量较大的数据发送时进行分段，加快数据的发送速度，方便用户实时查看已下载完的数据片段。
发明内容
本发明的目的在于提供一种采用分段式数据结构的数据发送系统及方法，以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
一种采用分段式数据结构的数据发送系统，所述该系统包括待发送数据实时扫描模块、不同数据流片段划分模块、数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块和数据整合模块，其中，待发送数据实时扫描模块、不同数据流片段划分模块和数据整合模块依次通过内网连接，数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块分别和不同数据流片段划分模块通过内网连接；
所述待发送数据实时扫描模块用于对待发送的数据流进行扫描，判定发送的数据不同的数据格式，不同数据流片段划分模块用于对数据根据基本信息确定分段的方式，数据配置对象发送进程对象查询模块用于对数据定位到每一个分段的内容进行查询，分段数据发送速度同步采集模块用于对每一分段的数据进行发送的监测，数据整合模块用于对分段数据发送完成后实时进行整合。
通过采用上述技术方案：所述待发送数据实时扫描模块包括数据整理集合子模块和不同数据流格式分析匹配子模块，数据整理集合子模块用于对待发送的数据进行整合，将整合数据发送给不同数据流格式分析匹配子模块，不同数据流格式分析匹配子模块用于对待发送数据的数据格式进行分析，判定不同数据的数据格式和不同数据格式中的数据量。
通过采用上述技术方案：所述不同数据流片段划分模块包括数据基本信息分析子模块和数据分段式方案确认子模块，数据基本信息分析子模块用于获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块用于根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认，当待发送数据的格式种类小于等于设定种类时，将待发送数据格式种类发送给数据分段式方案确认子模块进行数据分段，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
通过采用上述技术方案：所述数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、…、Ln-1、Ln，其中，上述不同分段中单段的数据量为R1、R2、R3、…、Rn-1、Rn，设定单段的数据量不低于R0，设定单段中的数据量满足以下公式：
Figure BDA0002503439520000041
当待发送数据单段中的数据量满足上述公式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送，当待发送数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
通过采用上述技术方案：所述数据配置对象发送进程查询模块包括剩余发送数据分段查询子模块和数据发送完成信息呈现子模块，剩余发送数据分段查询子模块用于在不同分段式数据发送过程中实时查询分段数据的发送进程，准确掌握不同分段发送内容，数据发送完成信息呈现子模块用于对不同分段的数据在发送完成后及时进行发送内容信息呈现，实时查看不同分段数据发送完的内容。
通过采用上述技术方案：所述分段数据发送速度同步采集模块包括单段数据发送速度统计子模块和不同分段数据发送速度信息分析子模块，单段数据发送速度统计子模块用于统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块用于对单段数据的发送速度进行分析，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对发送速度小于设定阈值的单段按照每一段相同的数据量重新进行再分段，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前发送速度小于设定阈值的单段的数据格式，按照每一段相同的数据量重新进行再分段发送。
通过采用上述技术方案：所述数据整合模块包括多段数据整合子模块和数据发布子模块，多段数据整合子模块用于对发送完的多段数据进行整合，数据发布子模块用于用于对发送成功后的数据进行整合后发布。
一种采用分段式数据结构的数据发送方法：
S1：利用待发送数据实时扫描模块对待发送的数据流进行扫描，判定发送的数据不同的数据格式，数据整理集合子模块对待发送的数据进行整合，将整合数据发送给不同数据流格式分析匹配子模块，不同数据流格式分析匹配子模块对待发送数据的数据格式进行分析，判定不同数据的数据格式和不同数据格式中的数据量；
S2：利用不同数据流片段划分模块对数据根据基本信息确定分段的方式，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认；
S3：利用数据配置对象发送进程对象查询模块对数据定位到每一个分段的内容进行查询，剩余发送数据分段查询子模块在不同分段式数据发送过程中实时查询分段数据的发送进程，准确掌握不同分段发送内容，数据发送完成信息呈现子模块对不同分段的数据在发送完成后及时进行发送内容信息呈现，实时查看不同分段数据发送完的内容；
S4：利用分段数据发送速度同步采集模块对每一分段的数据进行发送的监测，单段数据发送速度统计子模块统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块对单段数据的发送速度进行分析，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对发送速度小于设定阈值的单段按照每一段相同的数据量重新进行再分段，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前发送速度小于设定阈值的单段的数据格式，按照每一段相同的数据量重新进行再分段发送；
S5：利用数据整合模块对分段数据发送完成后实时进行整合，多段数据整合子模块用于对发送完的多段数据进行整合，数据发布子模块用于用于对发送成功后的数据进行整合后发布。
通过采用上述技术方案：所述步骤S2中，利用不同数据流片段划分模块对数据根据基本信息确定分段的方式，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认，还包括以下步骤：
A1：利用数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，将统计的数据格式种类发送给数据分段式方案确认子模块，利用数据分段式方案确认子模块监测待发送数据的格式种类；
A2：当待发送数据的格式种类小于等于设定种类时，将待发送数据格式种类发送给数据分段式方案确认子模块进行数据分段，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送；
A3：当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、…、Ln-1、Ln，其中，上述不同分段中单段的数据量为R1、R2、R3、…、Rn-1、Rn，设定单段的数据量不低于R0，设定单段中的数据量满足以下公式：
Figure BDA0002503439520000071
当待发送数据单段中的数据量满足上述公式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送，当待发送数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
通过采用上述技术方案：所述步骤S4中，单段数据发送速度统计子模块统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块对单段数据的发送速度进行分析，还包括以下步骤：
所述设定不同的分段数据为L1、L2、L3、…、Ln-1、Ln，提取其中某一分段数据Ln，监测当前分段数据实时发送速度，其中，设定当前分段数据Ln的实时发送速度为V1、V2、V3、…、Vn-1、Vn，利用单段数据发送速度统计子模块监测已发送的分段数据的发送速度为V01、V02、V03、…、V0n-1、V0n，其中，设定某一分段数据Ln的实时发送速度满足以下公式：
Figure BDA0002503439520000081
当分段数据Ln的实时发送速度满足上述公式，不同分段数据发送速度信息分析子模块判定当前分段的实时发送速度在正常情况下，不作处理，当分段数据Ln的实时发送速度不满足上述公式，将分段数据Ln的实时发送速度与设定阈值想对比，当分段数据Ln的实时发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对分段数据Ln按照每一段相同的数据量重新进行再分段，当分段数据Ln的实时发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前分段数据Ln的数据格式，对该数据格式标记后按照每一段相同的数据量重新进行再分段发送发送，将标记的数据格式发送给数据分段式方案确认子模块参考。
与现有技术相比，本发明的有益效果是：本发明旨在对数据量较大的数据发送时进行分段，加快数据的发送速度，方便用户实时查看已下载完的数据片段；
利用待发送数据实时扫描模块用于对待发送的数据流进行扫描，判定发送的数据不同的数据格式，不同数据流片段划分模块用于对数据根据基本信息确定分段的方式，数据配置对象发送进程对象查询模块用于对数据定位到每一个分段的内容进行查询，分段数据发送速度同步采集模块用于对每一分段的数据进行发送的监测，数据整合模块用于对分段数据发送完成后实时进行整合。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明一种采用分段式数据结构的数据发送系统的模块结构示意图；
图2为本发明一种采用分段式数据结构的数据发送方法的步骤示意图；
图3为本发明一种采用分段式数据结构的数据发送系统的具体步骤S2中的具体步骤示意图；
图4为本发明一种采用分段式数据结构的数据发送方法的实施方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～4，本发明实施例中，一种采用分段式数据结构的数据发送系统及方法，该系统包括待发送数据实时扫描模块、不同数据流片段划分模块、数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块和数据整合模块，其中，待发送数据实时扫描模块、不同数据流片段划分模块和数据整合模块依次通过内网连接，数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块分别和不同数据流片段划分模块通过内网连接；
所述待发送数据实时扫描模块用于对待发送的数据流进行扫描，判定发送的数据不同的数据格式，不同数据流片段划分模块用于对数据根据基本信息确定分段的方式，数据配置对象发送进程对象查询模块用于对数据定位到每一个分段的内容进行查询，分段数据发送速度同步采集模块用于对每一分段的数据进行发送的监测，数据整合模块用于对分段数据发送完成后实时进行整合。
通过采用上述技术方案：所述待发送数据实时扫描模块包括数据整理集合子模块和不同数据流格式分析匹配子模块，数据整理集合子模块用于对待发送的数据进行整合，将整合数据发送给不同数据流格式分析匹配子模块，不同数据流格式分析匹配子模块用于对待发送数据的数据格式进行分析，判定不同数据的数据格式和不同数据格式中的数据量。
通过采用上述技术方案：所述不同数据流片段划分模块包括数据基本信息分析子模块和数据分段式方案确认子模块，数据基本信息分析子模块用于获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块用于根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认，当待发送数据的格式种类小于等于设定种类时，将待发送数据格式种类发送给数据分段式方案确认子模块进行数据分段，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
通过采用上述技术方案：所述数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、…、Ln-1、Ln，其中，上述不同分段中单段的数据量为R1、R2、R3、…、Rn-1、Rn，设定单段的数据量不低于R0，设定单段中的数据量满足以下公式：
Figure BDA0002503439520000121
当待发送数据单段中的数据量满足上述公式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送，当待发送数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
通过采用上述技术方案：所述数据配置对象发送进程查询模块包括剩余发送数据分段查询子模块和数据发送完成信息呈现子模块，剩余发送数据分段查询子模块用于在不同分段式数据发送过程中实时查询分段数据的发送进程，准确掌握不同分段发送内容，数据发送完成信息呈现子模块用于对不同分段的数据在发送完成后及时进行发送内容信息呈现，实时查看不同分段数据发送完的内容。
通过采用上述技术方案：所述分段数据发送速度同步采集模块包括单段数据发送速度统计子模块和不同分段数据发送速度信息分析子模块，单段数据发送速度统计子模块用于统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块用于对单段数据的发送速度进行分析，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对发送速度小于设定阈值的单段按照每一段相同的数据量重新进行再分段，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前发送速度小于设定阈值的单段的数据格式，按照每一段相同的数据量重新进行再分段发送。
通过采用上述技术方案：所述数据整合模块包括多段数据整合子模块和数据发布子模块，多段数据整合子模块用于对发送完的多段数据进行整合，数据发布子模块用于用于对发送成功后的数据进行整合后发布。
一种采用分段式数据结构的数据发送方法：
S1：利用待发送数据实时扫描模块对待发送的数据流进行扫描，判定发送的数据不同的数据格式，数据整理集合子模块对待发送的数据进行整合，将整合数据发送给不同数据流格式分析匹配子模块，不同数据流格式分析匹配子模块对待发送数据的数据格式进行分析，判定不同数据的数据格式和不同数据格式中的数据量；
S2：利用不同数据流片段划分模块对数据根据基本信息确定分段的方式，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认；
S3：利用数据配置对象发送进程对象查询模块对数据定位到每一个分段的内容进行查询，剩余发送数据分段查询子模块在不同分段式数据发送过程中实时查询分段数据的发送进程，准确掌握不同分段发送内容，数据发送完成信息呈现子模块对不同分段的数据在发送完成后及时进行发送内容信息呈现，实时查看不同分段数据发送完的内容；
S4：利用分段数据发送速度同步采集模块对每一分段的数据进行发送的监测，单段数据发送速度统计子模块统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块对单段数据的发送速度进行分析，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对发送速度小于设定阈值的单段按照每一段相同的数据量重新进行再分段，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前发送速度小于设定阈值的单段的数据格式，按照每一段相同的数据量重新进行再分段发送；
S5：利用数据整合模块对分段数据发送完成后实时进行整合，多段数据整合子模块用于对发送完的多段数据进行整合，数据发布子模块用于用于对发送成功后的数据进行整合后发布。
通过采用上述技术方案：所述步骤S2中，利用不同数据流片段划分模块对数据根据基本信息确定分段的方式，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认，还包括以下步骤：
A1：利用数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，将统计的数据格式种类发送给数据分段式方案确认子模块，利用数据分段式方案确认子模块监测待发送数据的格式种类；
A2：当待发送数据的格式种类小于等于设定种类时，将待发送数据格式种类发送给数据分段式方案确认子模块进行数据分段，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送；
A3：当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、…、Ln-1、Ln，其中，上述不同分段中单段的数据量为R1、R2、R3、…、Rn-1、Rn，设定单段的数据量不低于R0，设定单段中的数据量满足以下公式：
Figure BDA0002503439520000161
当待发送数据单段中的数据量满足上述公式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送，当待发送数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
通过采用上述技术方案：所述步骤S4中，单段数据发送速度统计子模块统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块对单段数据的发送速度进行分析，还包括以下步骤：
所述设定不同的分段数据为L1、L2、L3、…、Ln-1、Ln，提取其中某一分段数据Ln，监测当前分段数据实时发送速度，其中，设定当前分段数据Ln的实时发送速度为V1、V2、V3、…、Vn-1、Vn，利用单段数据发送速度统计子模块监测已发送的分段数据的发送速度为V01、V02、V03、…、V0n-1、V0n，其中，设定某一分段数据Ln的实时发送速度满足以下公式：
Figure BDA0002503439520000171
当分段数据Ln的实时发送速度满足上述公式，不同分段数据发送速度信息分析子模块判定当前分段的实时发送速度在正常情况下，不作处理，当分段数据Ln的实时发送速度不满足上述公式，将分段数据Ln的实时发送速度与设定阈值想对比，当分段数据Ln的实时发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对分段数据Ln按照每一段相同的数据量重新进行再分段，当分段数据Ln的实时发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前分段数据Ln的数据格式，对该数据格式标记后按照每一段相同的数据量重新进行再分段发送发送，将标记的数据格式发送给数据分段式方案确认子模块参考。
实施例1：限定条件，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、L4，其中，上述不同分段中单段的数据量为120M、98M、131M、117M，设定单段的数据量不低于60M，设定单段中的数据量满足以下公式：
Figure BDA0002503439520000172
当待发送数据单段中的数据量满足上述公式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送。
实施例2：限定条件，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、L4，其中，上述不同分段中单段的数据量为380M、71M、878M、129M，设定单段的数据量不低于60M，设定单段中的数据量满足以下公式：
Figure BDA0002503439520000181
当待发送数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
实施例3：限定条件，设定不同的分段数据为L1、L2、L3、…、Ln-1、Ln，提取其中某一分段数据Ln，监测当前分段数据实时发送速度，其中，设定当前分段数据Ln的实时发送速度为7M/s、11M/s、9M/s、8M/s，利用单段数据发送速度统计子模块监测已发送的分段数据的发送速度为11M/s、10M/s、11M/s、12M/s、13M/s，其中，设定某一分段数据Ln的实时发送速度满足以下公式：
Figure BDA0002503439520000191
当分段数据Ln的实时发送速度满足上述公式，不同分段数据发送速度信息分析子模块判定当前分段的实时发送速度在正常情况下，不作处理。
实施例4：限定条件，设定不同的分段数据为L1、L2、L3、…、Ln-1、Ln，提取其中某一分段数据Ln，监测当前分段数据实时发送速度，其中，设定当前分段数据Ln的实时发送速度为12M/s、15M/s、14M/s、11M/s，利用单段数据发送速度统计子模块监测已发送的分段数据的发送速度为17M/s、21M/s、19M/s，其中，设定某一分段数据Ln的实时发送速度满足以下公式：
Figure BDA0002503439520000192
分段数据Ln的实时发送速度不满足上述公式，将分段数据Ln的实时发送速度与设定阈值想对比，设定阈值为12M/s,分段数据Ln的实时发送速度为11M/s，分段数据Ln的实时发送速度11M/s小于设定阈值12M/s，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对分段数据Ln按照每一段相同的数据量重新进行再分段；
分段数据Ln的实时发送速度11M/s小于设定阈值12M/s，，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前分段数据Ln的数据格式，对该数据格式标记后按照每一段相同的数据量重新进行再分段发送发送，将标记的数据格式发送给数据分段式方案确认子模块参考。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种采用分段式数据结构的数据发送系统，其特征在于：所述系统包括待发送数据实时扫描模块、不同数据流片段划分模块、数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块和数据整合模块，其中，待发送数据实时扫描模块、不同数据流片段划分模块和数据整合模块依次通过内网连接，数据配置对象发送进程对象查询模块、分段数据发送速度同步采集模块分别和不同数据流片段划分模块通过内网连接；
所述待发送数据实时扫描模块用于对待发送的数据流进行扫描，判定发送的数据不同的数据格式，不同数据流片段划分模块用于对数据根据基本信息确定分段的方式，数据配置对象发送进程对象查询模块用于对数据定位到每一个分段的内容进行查询，分段数据发送速度同步采集模块用于对每一分段的数据进行发送的监测，数据整合模块用于对分段数据发送完成后实时进行整合，所述数据整合模块包括多段数据整合子模块和数据发布子模块，多段数据整合子模块用于对发送完的多段数据进行整合，数据发布子模块用于对发送成功后的数据进行整合后发布。
2.根据权利要求1所述的一种采用分段式数据结构的数据发送系统，其特征在于：所述待发送数据实时扫描模块包括数据整理集合子模块和不同数据流格式分析匹配子模块，数据整理集合子模块用于对待发送的数据进行整合，将整合数据发送给不同数据流格式分析匹配子模块，不同数据流格式分析匹配子模块用于对待发送数据的数据格式进行分析，判定不同数据的数据格式和不同数据格式中的数据量。
3.根据权利要求2所述的一种采用分段式数据结构的数据发送系统，其特征在于：所述不同数据流片段划分模块包括数据基本信息分析子模块和数据分段式方案确认子模块，数据基本信息分析子模块用于获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块用于根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认，当待发送数据的格式种类小于等于设定种类时，将待发送数据格式种类发送给数据分段式方案确认子模块进行数据分段，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
4.根据权利要求3所述的一种采用分段式数据结构的数据发送系统，其特征在于：所述数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式分段为L1、L2、L3、…、Ln-1、Ln，其中，上述不同分段中单段的数据量为R1、R2、R3、…、Rn-1、Rn，设定单段的数据量不低于R0，设定单段中的数据量满足以下公式：
Figure 965145DEST_PATH_IMAGE002
当待发送数据单段中的数据量满足上述公式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送，当待发送数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送。
5.根据权利要求1所述的一种采用分段式数据结构的数据发送系统，其特征在于：所述数据配置对象发送进程查询模块包括剩余发送数据分段查询子模块和数据发送完成信息呈现子模块，剩余发送数据分段查询子模块用于在不同分段式数据发送过程中实时查询分段数据的发送进程，准确掌握不同分段发送内容，数据发送完成信息呈现子模块用于对不同分段的数据在发送完成后及时进行发送内容信息呈现，实时查看不同分段数据发送完的内容。
6.根据权利要求3所述的一种采用分段式数据结构的数据发送系统，其特征在于：所述分段数据发送速度同步采集模块包括单段数据发送速度统计子模块和不同分段数据发送速度信息分析子模块，单段数据发送速度统计子模块用于统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块用于对单段数据的发送速度进行分析，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对发送速度小于设定阈值的单段按照每一段相同的数据量重新进行再分段，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前发送速度小于设定阈值的单段的数据格式，按照每一段相同的数据量重新进行再分段发送。
7.一种采用分段式数据结构的数据发送方法，其特征在于：
S1：利用待发送数据实时扫描模块对待发送的数据流进行扫描，判定发送的数据不同的数据格式，数据整理集合子模块对待发送的数据进行整合，将整合数据发送给不同数据流格式分析匹配子模块，不同数据流格式分析匹配子模块对待发送数据的数据格式进行分析，判定不同数据的数据格式和不同数据格式中的数据量；
S2：利用不同数据流片段划分模块对数据根据基本信息确定分段的方式，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认；
S3：利用数据配置对象发送进程对象查询模块对数据定位到每一个分段的内容进行查询，剩余发送数据分段查询子模块在不同分段式数据发送过程中实时查询分段数据的发送进程，准确掌握不同分段发送内容，数据发送完成信息呈现子模块对不同分段的数据在发送完成后及时进行发送内容信息呈现，实时查看不同分段数据发送完的内容；
S4：利用分段数据发送速度同步采集模块对每一分段的数据进行发送的监测，单段数据发送速度统计子模块统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块对单段数据的发送速度进行分析，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对发送速度小于设定阈值的单段按照每一段相同的数据量重新进行再分段，当单段发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前发送速度小于设定阈值的单段的数据格式，按照每一段相同的数据量重新进行再分段发送；
S5：利用数据整合模块对分段数据发送完成后实时进行整合，多段数据整合子模块用于对发送完的多段数据进行整合，数据发布子模块用于对发送成功后的数据进行整合后发布。
8.根据权利要求7所述的一种采用分段式数据结构的数据发送方法，其特征在于：所述步骤S2中，利用不同数据流片段划分模块对数据根据基本信息确定分段的方式，数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，数据分段式方案确认子模块根据数据基本信息分析子模块分析的数据格式种类对数据分段方案进行确认，还包括以下步骤：
A1：利用数据基本信息分析子模块获取不同数据流格式分析匹配子模块检测数据的数据格式，统计不同数据的格式，将统计的数据格式种类发送给数据分段式方案确认子模块，利用数据分段式方案确认子模块监测待发送数据的格式种类；
A2：当待发送数据的格式种类小于等于设定种类时，将待发送数据格式种类发送给数据分段式方案确认子模块进行数据分段，数据分段式方案确认子模块统计其数据的总数据量，将待发送数据按照每一单段相同的数据量进行分段发送；
A3：当待发送数据的格式种类大于设定种类时，获取不同数据流格式分析匹配子模块 检测的不同数据格式中的数据量，分析当前数据格式中的数据量，设定按照不同数据格式 分段为L1、L2、L3、…、Ln-1、Ln，其中，上述不同分段中单段的数据量为R1、R2、R3、…、Rn-1、Rn，设 定单段的数据量不低于R0，设定单段中的数据量满足以下公式：
Figure DEST_PATH_IMAGE003
，当待发送数据单段中的数据量满足上述公 式，将分析数据发送给数据分段式方案确认子模块，数据分段式方案确认子模块统计待发 送数据的数据格式种类，将待发送数据按照不同的数据格式种类进行分段发送，当待发送 数据单段中的数据量不满足上述公式，数据分段式方案确认子模块统计其数据的总数据 量，将待发送数据按照每一单段相同的数据量进行分段发送。
9.根据权利要求8所述的一种采用分段式数据结构的数据发送方法，其特征在于：所述步骤S4中，单段数据发送速度统计子模块统计不同分段式数据的发送速度，将统计的发送速度与单段数据进行匹配后制成列表发送给不同分段数据发送速度信息分析子模块，不同分段数据发送速度信息分析子模块对单段数据的发送速度进行分析，还包括以下步骤：
所述设定不同的分段数据为L1、L2、L3、…、Ln-1、Ln，提取其中某一分段数据Ln，监测当前分段数据实时发送速度，其中，设定当前分段数据Ln的实时发送速度为V1、V2、V3、…、Vn-1、Vn，利用单段数据发送速度统计子模块监测已发送的分段数据的发送速度为V01、V02、V03、…、V0n-1、V0n，其中，设定某一分段数据Ln的实时发送速度满足以下公式：
Figure 9849DEST_PATH_IMAGE004
-
Figure DEST_PATH_IMAGE005
当分段数据Ln的实时发送速度满足上述公式，不同分段数据发送速度信息分析子模块判定当前分段的实时发送速度在正常情况下，不作处理，当分段数据Ln的实时发送速度不满足上述公式，将分段数据Ln的实时发送速度与设定阈值相对比，当分段数据Ln的实时发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照每一单段相同的数据量进行分段发送，对分段数据Ln按照每一段相同的数据量重新进行再分段，当分段数据Ln的实时发送速度小于设定阈值，且数据分段式方案确认子模块将待发送数据按照不同的数据格式种类进行分段发送，提取当前分段数据Ln的数据格式，对该数据格式标记后按照每一段相同的数据量重新进行再分段发送，将标记的数据格式发送给数据分段式方案确认子模块参考。
CN202010439189.XA 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统及方法 Active CN111614440B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110287268.8A CN112910606B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统
CN202010439189.XA CN111614440B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439189.XA CN111614440B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统及方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110287268.8A Division CN112910606B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统

Publications (2)

Publication Number Publication Date
CN111614440A CN111614440A (zh) 2020-09-01
CN111614440B true CN111614440B (zh) 2021-04-20

Family

ID=72205177

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110287268.8A Active CN112910606B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统
CN202010439189.XA Active CN111614440B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110287268.8A Active CN112910606B (zh) 2020-05-22 2020-05-22 一种采用分段式数据结构的数据发送系统

Country Status (1)

Country Link
CN (2) CN112910606B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722405B (zh) * 2021-08-23 2024-11-01 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 一种针对智慧能源终端数据的数据预处理方法
CN117349322B (zh) * 2023-12-05 2024-03-08 摩尔元数(福建)科技有限公司 基于分析控制图的spc实时分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995876A (zh) * 2019-04-11 2019-07-09 深圳市永兴元科技股份有限公司 文件传输方法、装置、系统和计算机存储介质
CN110035069A (zh) * 2019-03-15 2019-07-19 河南高通物联网有限公司 一种物联网信息安全保护方法
CN110232136A (zh) * 2019-06-19 2019-09-13 浙江中普科技咨询有限公司 一种基于云计算的大数据处理系统
CN111090618A (zh) * 2019-10-29 2020-05-01 厦门网宿有限公司 一种数据读取方法、系统及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713596B2 (en) * 2007-05-15 2020-07-14 Intellireal, Llc Transforming property data into sufficiently sized, relatively homogeneous data segments for configuring automated modeling systems
CN107229872A (zh) * 2016-03-26 2017-10-03 肖哲 一种分离存储查询逻辑与分段数据的隐私数据保护方法
CN106649691A (zh) * 2016-12-19 2017-05-10 雷桦松 一种流数据存储方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035069A (zh) * 2019-03-15 2019-07-19 河南高通物联网有限公司 一种物联网信息安全保护方法
CN109995876A (zh) * 2019-04-11 2019-07-09 深圳市永兴元科技股份有限公司 文件传输方法、装置、系统和计算机存储介质
CN110232136A (zh) * 2019-06-19 2019-09-13 浙江中普科技咨询有限公司 一种基于云计算的大数据处理系统
CN111090618A (zh) * 2019-10-29 2020-05-01 厦门网宿有限公司 一种数据读取方法、系统及设备

Also Published As

Publication number Publication date
CN112910606B (zh) 2022-08-02
CN111614440A (zh) 2020-09-01
CN112910606A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN111614440B (zh) 一种采用分段式数据结构的数据发送系统及方法
CN108337652B (zh) 一种检测流量欺诈的方法及装置
US20090185503A1 (en) Network traffic analyzing device, network traffic analyzing method and network traffic analyzing system
CN111970353A (zh) 云计算平台物联网中异构设备的数据处理方法及装置
CN108667747A (zh) 网络流应用类型识别的方法、装置及计算机可读存储介质
CN110536324B (zh) 一种WiFi信号数据的采集和处理方法及其系统
CN106506557B (zh) 一种端口扫描检测方法及装置
CN105871585A (zh) 终端关联方法及装置
CN116540597A (zh) 一种基于边缘计算的工业控制系统
CN115955691A (zh) 5g专网感知评价方法、装置、电子设备及可读存储介质
CN104021348B (zh) 一种隐匿p2p程序实时检测方法及系统
CN111741007B (zh) 一种基于网络层报文解析的金融业务实时监控系统及方法
CN112235309B (zh) 一种云平台网络隐蔽信道多尺度检测系统
CN107517237B (zh) 一种视频识别方法和装置
CN108881306B (zh) 一种基于数据包大小序列的加密流量分析防御方法
CN116647389A (zh) 一种工业控制系统网络访问安全性预警系统及方法
CN109618139A (zh) 一种基于视觉路由的智能视频监控系统及方法
CN111404832B (zh) 一种基于连续tcp链接的业务分类方法和装置
CN105871573A (zh) 一种报文分析过滤方法及装置
CN105282050B (zh) 聚合数据流的方法和装置
CN107360474A (zh) 基于局部纹理特征和全局亮度特征的视频迟滞帧检测方法
CN111614786A (zh) 一种基于区块链的远程服务器对数据高速处理系统及方法
CN114363944B (zh) 一种基于c-v2x的设备通信性能测试系统及其测试方法
CN117313004B (zh) 一种在物联网中基于深度学习的QoS流分类方法
CN116094778B (zh) 一种基于互联网的实时监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210331

Address after: No.01, 13 / F, building 201, 125 Jinye Road, high tech Zone, Xi'an, Shaanxi 710000

Applicant after: XI'AN WEBBER SOFTWARE Co.,Ltd.

Address before: 215000 88 beixieyu street, Wuzhong District, Suzhou City, Jiangsu Province

Applicant before: Chen Jie

GR01 Patent grant
GR01 Patent grant