CN113572683B - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113572683B
CN113572683B CN202010356081.4A CN202010356081A CN113572683B CN 113572683 B CN113572683 B CN 113572683B CN 202010356081 A CN202010356081 A CN 202010356081A CN 113572683 B CN113572683 B CN 113572683B
Authority
CN
China
Prior art keywords
distribution
transmission
data
data file
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010356081.4A
Other languages
English (en)
Other versions
CN113572683A (zh
Inventor
文烨斌
邱锦涛
朱虹
刘保原
胡林红
罗朝亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010356081.4A priority Critical patent/CN113572683B/zh
Publication of CN113572683A publication Critical patent/CN113572683A/zh
Application granted granted Critical
Publication of CN113572683B publication Critical patent/CN113572683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/28—Routing or path finding of packets in data switching networks using route fault recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本公开提供了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系。本公开实施例能够提高数据传输路径的传输性能表现。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及数据传输领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在数据传输过程中，常常会由于数据传输路径中路径节点的原因导致传输性能发生异常。在这种情况下，需要定位到确切的路径节点，并确认异常是否与该路径节点相关，从而在此基础上对数据传输路径进行优化，以提高数据传输路径的传输性能表现。
发明内容
本公开的一个目的在于提出一种数据处理方法、装置、电子设备及存储介质，能够提高数据传输路径的传输性能表现。
根据本公开实施例的一方面，公开了一种数据处理方法，所述方法包括：
针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；
针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；
基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系。
根据本公开实施例的一方面，公开了一种数据处理装置，所述装置包括：
第一获取模块，配置为针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；
第二获取模块，配置为针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；
确定模块，配置为基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系。
在本公开的一示例性实施例中，所述装置配置为：
于所述数据传输路径上传输预设次数的所述目标数据文件，并获取在每次传输过程中的所述目标数据文件在所述数据传输路径上的第一传输耗时；
基于所述第一传输耗时获取所述第一分布；
获取在每次传输过程中的所述中间数据文件在所述中间路径节点上的第二传输耗时；
基于所述第二传输耗时获取所述第二分布。
在本公开的一示例性实施例中，所述装置配置为：同步所述端点路径节点之间的时间信息。
在本公开的一示例性实施例中，所述装置配置为：
获取所述第一分布的第一数据特征；
获取所述第二分布的第二数据特征；
基于所述第一数据特征与所述第二数据特征的对比，确定所述中间路径节点与所述异常的关联关系。
在本公开的一示例性实施例中，所述装置配置为：
确定所述异常在所述第一分布中所对应的异常区域；
基于所述异常区域与所述第二分布中目标区域的匹配，确定所述中间路径节点与所述异常的关联关系，其中，所述目标区域与所述异常区域的区域范围差异小于或等于预设阈值。
在本公开的一示例性实施例中，所述装置配置为：
获取所述异常区域的第一区域特征；
获取所述目标区域的第二区域特征；
基于所述第一区域特征与所述第二区域特征的匹配，确定所述中间路径节点与所述异常的关联关系。
在本公开的一示例性实施例中，所述装置配置为：
确定目标传输方向，所述目标传输方向用于描述所述目标数据文件在所述端点路径节点之间的单向传输方向；
获取在所述目标传输方向上的所述第一分布；
获取在所述目标传输方向上的所述第二分布。
根据本公开实施例的一方面，公开了一种数据处理电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行以上权利要求中的任一个所述的方法。
根据本公开实施例的一方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行以上权利要求中的任一个所述的方法。
本公开实施例中，基于对数据文件的传输耗时的分析，通过将在数据传输路径上传输耗时的第一分布与在中间路径节点上传输耗时的第二分布进行对比，确定中间路径节点是否与数据传输路径的传输性能所发生的异常有关，从而能够在此基础上对数据传输路径进行传输性能的优化，提高数据传输路径的传输性能表现。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参考附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本公开一个实施例的数据传输路径的网络架构。
图2示出了根据本公开一个实施例的数据处理方法的流程图。
图3示出了根据本公开一个实施例的客户端与服务端之间通信耗时的数据分布图。
图4示出了根据本公开一个实施例的汇总了请求耗时的数据分布图。
图5示出了根据本公开一个实施例的汇总了响应耗时的数据分布图。
图6示出了根据本公开一个实施例的公安外网侧FTP上传耗时的数据分布图。
图7示出了根据本公开一个实施例的公安外网侧FTP下载耗时的数据分布图。
图8示出了根据本公开一个实施例的公安内网侧FTP上传耗时的数据分布图。
图9示出了根据本公开一个实施例的公安内网侧FTP下载耗时的数据分布图。
图10示出了根据本公开一个实施例的数据处理装置的框图。
图11示出了根据本公开一个实施例的数据处理电子设备的硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
首先对本公开实施例涉及到的概念进行解释说明。
数据传输路径指的是数据从发送端传输到接收端所经过的完整路径，数据传输路径具有方向。参考图1，“第一终端->第一网络侧的边界设备->跨网设备->第二网络侧的边界设备->第二终端->第二网络侧的边界设备->跨网设备->第一网络侧的边界设备->第一终端”是一条数据传输路径，用于描述第一终端与第二终端相互通信的过程中相应数据所经过的完整路径；“第一终端->第一网络侧的边界设备->跨网设备->第二网络侧的边界设备->第二终端”是一条数据传输路径，用于描述第一终端发送请求的过程中相应数据所经过的完整路径。
端点路径节点指的是位于数据传输路径端点的路径节点。参考图1，第一终端是一个端点路径节点，第二终端是一个端点路径节点。需要说明的是，端点路径节点的数量并不仅限于两个，随着数据传输路径的拓扑结构的变化，相应的端点路径节点的数量可以为三个、四个或者更多。
中间路径节点指的是位于数据传输路径中间的路径节点。参考图1，第一网络侧的边界设备是一个中间路径节点，第二网络侧的边界设备是一个中间路径节点。
目标数据文件指的是位于端点路径节点上的数据文件。参考图1，位于第一终端上的请求数据包是目标数据文件，位于第二终端上的请求数据包是目标数据文件，位于第二终端上的响应数据包是目标数据文件，位于第一终端上的响应数据包是目标数据文件。
中间数据文件指的是与目标数据文件所对应的位于中间路径节点上的数据文件。参考图1，当目标数据文件为位于第一终端上的请求数据包时，第一网络侧的边界设备所接收到的请求数据包以及该边界设备对请求数据包进行处理后得到的数据文件均是中间数据文件。
图1示出了本公开一实施例的数据传输路径的网络架构。
该实施例中，第一终端10与第二终端20分别位于两个相互隔离的网络环境中，第一终端10与第二终端20通过设于二者之间的基于单向光闸的跨网设备进行通信。其中，该跨网设备近似于一个黑盒子，无法在其上面进行登录、信息搜集等操作。
具体的，第一终端10将请求数据包传输至第一网络侧的边界设备，第一网络侧的边界设备对请求数据包进行转换处理、切片处理或者其他类型的处理后，得到处理后的数据文件(例如：以dat为后缀的、若干数量的数据文件)并将处理后的数据文件传输至该跨网设备；跨网设备基于单向光闸通过文件传输服务的映射(例如：FTP服务的映射，其中，FTP指的是File Transfer Protocol，文件传输协议)将处理后的数据文件发送至第二网络侧的边界设备；第二网络侧的边界设备对接收到的数据文件进行组合，还原成原本的请求数据包，并将该请求数据包传输至第二终端20处。
第二终端20接收到第一终端10的请求数据包后，作出响应，生成响应数据包并通过跨网设备将响应数据包传输至第一终端10。可以理解的，第二终端20通过跨网设备将响应数据包传输至第一终端10的过程，与第一终端10通过跨网设备将请求数据包传输至第二终端20的过程同理，故在此不再赘述。
从中可以看出，在数据包转换成数据文件、数据文件的传输、数据文件还原成数据包的过程中，避免不了传输性能的损耗，进而会影响到第一终端10与第二终端20之间的通信效果。如果其中一个处理节点出现了问题，将会导致整体的传输性能的异常(例如：请求超时、响应超时)。
该实施例中，可以在第一终端10、第二终端20以及边界设备上布置控制系统，对对应设备终端传输数据的传输耗时进行监控。当第一终端10与第二终端20之间的传输性能发生异常时，通过控制系统监控采集到的数据获取第一终端10与第二终端20之间整体的传输耗时的第一分布、第一网络侧的边界设备的传输耗时的第二分布、第二网络侧的边界设备的传输耗时的第二分布，进而将得到的第一分布与各第二分布进行对比，从而确定异常具体是与哪一处理节点相关。可以理解的，一般情况下，第一终端10与第二终端20对传输性能造成的影响可以忽略不计，故优选的，不考虑第一终端10与第二终端20与异常的关联关系。
需要说明的是，该实施例只是示例性地示出了一种数据传输路径的网络架构，并不代表本公开实施例只能应用于该网络架构的数据传输路径。可以理解的，本公开实施例能够普遍应用于各种多路径节点的网络中，以确定其中传输性能所发生的异常具体与其中哪一路径节点相关。
图2示出了本公开一实施例的数据处理方法，示例性的以布置于数据传输路径上的控制系统为执行主体，该方法包括：
步骤S310、针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；
步骤S320、针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；
步骤S330、基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系。
本公开实施例中，基于对数据文件的传输耗时的分析，通过将在数据传输路径上传输耗时的第一分布与在中间路径节点上传输耗时的第二分布进行对比，确定中间路径节点是否与数据传输路径的传输性能所发生的异常有关，从而能够在此基础上对数据传输路径进行传输性能的优化，提高数据传输路径的传输性能表现。
在一实施例中，获取用于描述目标数据文件在该数据传输路径上传输耗时的第一分布，包括：
于该数据传输路径上传输预设次数的该目标数据文件，并获取在每次传输过程中的该目标数据文件在该数据传输路径上的第一传输耗时；
基于该第一传输耗时获取该第一分布。
该实施例中，控制系统通过于数据传输路径上传输预设次数的目标数据文件，并获取每次传输目标数据文件在数据传输路径上的第一传输耗时，进而在此基础上获取用于描述目标数据文件在数据传输路径上传输耗时的第一分布。
该实施例中，获取用于描述中间数据文件在该中间路径节点上传输耗时的第二分布，包括：
获取在每次传输过程中的该中间数据文件在该中间路径节点上的第二传输耗时；
基于该第二传输耗时获取该第二分布。
该实施例中，控制系统在通过传输预设次数的目标数据文件以获取第一分布的过程中，除了会获取每次传输过程中目标数据文件在数据传输路径上的第一传输耗时，还会获取该次传输过程中中间数据文件在中间路径节点上的第二传输耗时，进而在此基础上获取用于描述中间数据文件在该中间路径节点上传输耗时的第二分布。
例如：参考图1，对于“第一终端->第一网络侧的边界设备->跨网设备->第二网络侧的边界设备->第二终端->第二网络侧的边界设备->跨网设备->第一网络侧的边界设备->第一终端”该条数据传输路径，每次传输过程，控制系统控制第一终端向第二终端发送请求数据包，并监控第一终端接收到该请求数据包对应的响应数据包的时间点，从而确定该次传输过程从发送请求到接收响应的第一传输耗时。如此重复2000次，进而按照传输次序的顺序将得到的这2000个第一传输耗时进行排列，从而获取到用于描述目标数据文件在该数据传输路径上传输耗时的第一分布。
对于该条数据传输路径中的第一网络侧的边界设备这一中间路径节点，每次传输过程，控制系统监控该次传输过程中，第一网络侧的边界设备处理请求数据包、传输请求数据包对应的处理后的数据文件、处理响应数据包对应的处理后的数据文件、传输响应数据包的总耗时，即，该次传输过程中中间数据文件在第一网络侧的边界设备上的第二传输耗时。如此重复2000次，进而按照传输次序的顺序将得到的这2000个第二传输耗时进行排列，从而获取到用于描述目标数据文件在第一网络侧的边界设备上传输耗时的第二分布。
该实施例的优点在于，通过多次的数据传输进而统计得到对应的分布，随着数据传输次数的增加，所得到的分布越能精准地反应出数据传输路径的传输性能表现。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
在一实施例中，在每次传输过程之前，还包括：同步该端点路径节点之间的时间信息。
该实施例中，控制系统在每次传输过程之前，同步端点路径节点之间的时间信息，从而能够保证获取到的第一传输耗时的准确性。具体的，控制系统可以通过设置标志信息同步端点路径节点之间的时间信息，也可以通过NTP协议(Network Time Protocol，网络时间协议)同步端点路径节点之间的时间信息。
该实施例的优点在于，通过同步时间信息保证了信息采集的有效性。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
在一实施例中，基于该第一分布与该第二分布的对比，确定该中间路径节点与该异常的关联关系，包括：
获取该第一分布的第一数据特征；
获取该第二分布的第二数据特征；
基于该第一数据特征与该第二数据特征的对比，确定该中间路径节点与该异常的关联关系。
该实施例中，控制系统根据分布的整体的数据特征的对比，对第一分布与第二分布进行对比。
具体的，针对分布的数据特征预先设置对应的各个属性项，控制系统获取到第一分布以及第二分布后，按照该各个属性项对第一分布以及第二分布进行分析，确定第一分布在各个属性项的表现，以及第二分布在各个属性项的表现，进而根据对应属性项的表现衡量第一分布与第二分布的相似度，从而确定第一分布与第二分布是否相似。若二者相似，则可以确定中间路径节点与异常相关；若二者不相似，则可以确定中间路径节点与异常不相关。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
在一实施例中，基于该第一分布与该第二分布的对比，确定该中间路径节点与该异常的关联关系，包括：
确定该异常在该第一分布中所对应的异常区域；
基于该异常区域与该第二分布中目标区域的匹配，确定该中间路径节点与该异常的关联关系，其中，该目标区域与该异常区域的区域范围差异小于或等于预设阈值。
该实施例中，控制系统根据分布中区域的对比，对第一分布与第二分布进行对比。
具体的，对于传输性能发生了异常的数据传输路径，控制系统在获取数据传输路径对应的第一分布以及中间路径节点对应的第二分布后，确定该异常在第一分布中所对应的异常区域，并将第二分布中与该异常区域的区域范围差异小于或等于预设阈值的区域确定为目标区域(例如：以数据包的序列号间隔作为衡量区域范围大小的标准，每多间隔1个数据包代表对应区域范围增大1个范围单位；预设阈值为4个范围单位。若异常区域为第一分布中从第5个数据包至第10个数据包的区域，则该异常区域所对应的目标区域为第二分布中从第3个数据包至第12个数据包的区域)。进而将该异常区域与该目标区域进行匹配，从而在此基础上确定该中间路径节点与该异常是否相关。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
在一实施例中，基于该异常区域与该第二分布中目标区域的匹配，确定该中间路径节点与该异常的关联关系，包括：
获取该异常区域的第一区域特征；
获取该目标区域的第二区域特征；
基于该第一区域特征与该第二区域特征的匹配，确定该中间路径节点与该异常的关联关系。
该实施例中，控制系统通过区域特征的匹配，将异常区域与目标区域进行匹配。其中，区域特征包括区域的最高点、区域的最低点、区域的面积以及其他用于描述区域的特征。
具体的，控制系统可以将异常区域与目标区域进行归一化处理后，以目标区域为基准，将异常区域于目标区域上进行滑动，滑动预定次数。每次滑动后，根据区域特征确定异常区域与重叠区域(目标区域中与异常区域所重叠的区域)的相似度。选取该预定次数中最大的相似度，根据该最大的相似度确定异常区域与目标区域是否相似。
控制系统还可以将异常区域与目标区域进行归一化处理后，通过图像处理的方法分别将二者转换为对应的图像，进而通过对比所得到的两个图像，根据这两个图像的相似度确定该异常区域与该目标区域是否相似。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
在一实施例中，该方法还包括：确定目标传输方向，该目标传输方向用于描述该目标数据文件在该端点路径节点之间的单向传输方向；
获取用于描述目标数据文件在该数据传输路径上传输耗时的第一分布，包括：获取在该目标传输方向上的该第一分布；
获取用于描述中间数据文件在该中间路径节点上传输耗时的第二分布，包括：获取在该目标传输方向上的该第二分布。
该实施例中，控制系统针对特定传输方向上的数据传输，确定在该特定传输方向上，中间路径节点与异常的关联关系。
参考图1，控制系统若需要至分析请求耗时的过程中，中间路径节点与异常的关联关系。则控制系统可以将目标传输方向确定为“从第一终端到第二终端”，该目标传输方向对应的数据传输路径为“第一终端->第一网络侧的边界设备->跨网设备->第二网络侧的边界设备->第二终端”。
进而控制系统获取在“从第一终端到第二终端”方向上的第一分布，以及在“从第一终端到第二终端”方向上的第二分布，进而通过对比该第一分布与该第二分布，确定请求耗时的异常具体与哪一中间路径节点相关。
该实施例的优点在于，通过限制目标传输方向，从而能够针对性地确定在与该目标传输方向相对应的业务上，中间路径节点与该业务上的异常是否相关。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
参考图1所示的网络架构，在一实施例中，该网络架构示例性地示出了跨网公安网络的网络架构，其中，第一网络为公安外网，第二网络为公安内网，第一终端为客户端，第二终端为服务端，数据文件为以dat为后缀的dat文件，文件传输服务为FTP服务。其中，单向光闸设备与FTP服务端不在控制系统的控制范围内；边界设备单线程工作。
在使用过程中，发现该跨网公安网络的所有接口的响应偶发缓慢，其中涉及到客户端、FTP服务器、光闸设备、服务端等因素。在客户端与服务器可控的情况下，通过本公开实施例提供的方法对该跨网公安网络进行检测，定位异常。
具体的，控制系统同步客户端与服务端的时间信息，保证二者的时间信息一致。控制系统控制客户端发送一定次数的请求给服务端，进而根据对这些次数的请求以及相应响应的相关数据的采集，绘制相应的数据分布图，进而根据数据分布图定位异常。
首先，对各过程耗时的关系进行分析。
将请求到达服务端的耗时记为Tsend，将响应到达客户端的耗时记为Tresponse，将整体通信耗时记为Ttotal。
根据该网络架构，可以确定以下关系：
Ttotal＝Tsend+Tresponse；
Tsend＝T边界转换+TFTP上传+T光闸传输+TFTP下载+T边界转换；
Tresponse＝T边界转换+TFTP上传+T光闸传输+TFTP下载+T边界转换(其中，服务端处理请求的时间可以忽略不计)。
其中，T边界转换相对固定，可以看作常数C，从而可以进一步确定以下关系：
Tsend＝TFTP上传+T光闸传输+TFTP下载+2C；
Tresponse＝TFTP上传+T光闸传输+TFTP下载+2C。
由此可见，通过对比Tsend、Tresponse、TFTP上传、TFTP下载的数据分布图，可以确定数据传输性能所发生的异常与FTP服务端、单向光闸设备的相关性。
对Tsend与Tresponse的获取进行分析，以绘制Tsend、Tresponse的数据分布图。
具体的，客户端发送一个数据体中携带唯一标识id的请求，并记录发起请求时间的时间戳start_time。
服务端接收到请求后，进行响应并返回id与此时的时间戳server_time，该过程可以认为无耗时。
客户端接收到响应后，记录此时的时间戳finish_time。
从而可以确定以下关系：
Tsend＝server_time-start_time；
Tresponse＝finish_time-server_time。
对FTP的相关操作进行分析，以绘制TFTP上传、TFTP下载的数据分布图。
具体的，将FTP上传耗时记为TFTP上传，将FTP下载耗时记为TFTP下载。
由于边界设备是单线程工作，故边界设备的FTP上传的过程为：发送上传指令，进而获取上传成功的返回值；边界设备的FTP下载的过程为：获取下载列表LIST，对dat文件进行下载操作，完成所有dat文件的下载后，马上发送下一次LIST。
控制系统在边界设备上进行捉包，分析数据包，找到携带id的请求对应的dat文件，定位包含该dat文件的数据包的上下两个LIST的时间点，然后计算这两个时间点的时间间隔td。
假设两次LIST之间共有k个dat文件，两次LIST之间空白期(即与传输无关的FTP操作)为a，可得平均每个dat文件的传输耗时为td/k。假设携带id的请求对应的dat文件排在这k个dat文件中的第n个，则该携带id的请求对应的dat文件的传输耗时TFTP下载＝n*(td/k)，其中，n大于等于1。将a的时长归纳到第一次FTP下载耗时，则得到TFTP下载＝a+n*(td/k)。
从而可以确定以下关系：
TFTP上传＝收到返回值的时间点-发送指令的时间点；
TFTP下载＝a+n*(td/k)。
图3至图9示出了该实施例中，根据确定的Tsend、Tresponse、TFTP上传、TFTP下载的耗时关系，对控制系统采集到的数据进行处理后所绘制得到的数据分布图。其中，横坐标代表的是数据包序列号，纵坐标代表的是耗时时长。出于直观明了的目的，该实施例中横纵坐标的具体数字是对真实实验数据简化处理后得到的，主要用于展示数据之间的顺序关系，不应对本公开实施例造成限制。
具体的，图3示出了该实施例中汇总了客户端与服务端之间通信耗时的数据分布图，即包含有Tsend以及Tresponse的数据分布图。通过图3中的两个突出的高峰可以看出，在该跨网公安网络中，有时会出现数据传输耗时严重的异常情况。
图4示出了该实施例中汇总了请求耗时的数据分布图，即Tsend的数据分布图。
图5示出了该实施例中汇总了响应耗时的数据分布图，即Tresponse的数据分布图。
图6示出了该实施例中公安外网侧FTP上传耗时的数据分布图。
图7示出了该实施例中公安外网侧FTP下载耗时的数据分布图。
图8示出了该实施例中公安内网侧FTP上传耗时的数据分布图。
图9示出了该实施例中公安内网侧FTP下载耗时的数据分布图。
通过图6至图9，可以看出：FTP上传操作，耗时较为稳定均匀；而FTP下载操作，部分情况下耗时严重且集中。通过对比图4与图9，并对比图5与图7，可以进一步看出：FTP下载操作的数据分布与请求耗时中异常的数据分布、响应耗时中异常的数据分布均基本一致，从而可以确定该跨网公安网络的传输性能异常是由FTP下载操作引起的。进而，可以对FTP服务端所提供的下载服务进行优化，提高该跨网公安网络的传输性能表现。
需要说明的是，该实施例只是示例性的说明，不应对本公开的功能和使用范围造成限制。
根据本公开一实施例，如图10所示，还提供了一种数据处理装置，所述装置包括：
第一获取模块410，配置为针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；
第二获取模块420，配置为针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；
确定模块430，配置为基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系。
在本公开的一示例性实施例中，所述装置配置为：
于所述数据传输路径上传输预设次数的所述目标数据文件，并获取在每次传输过程中的所述目标数据文件在所述数据传输路径上的第一传输耗时；
基于所述第一传输耗时获取所述第一分布；
获取在每次传输过程中的所述中间数据文件在所述中间路径节点上的第二传输耗时；
基于所述第二传输耗时获取所述第二分布。
在本公开的一示例性实施例中，所述装置配置为：同步所述端点路径节点之间的时间信息。
在本公开的一示例性实施例中，所述装置配置为：
获取所述第一分布的第一数据特征；
获取所述第二分布的第二数据特征；
基于所述第一数据特征与所述第二数据特征的对比，确定所述中间路径节点与所述异常的关联关系。
在本公开的一示例性实施例中，所述装置配置为：
确定所述异常在所述第一分布中所对应的异常区域；
基于所述异常区域与所述第二分布中目标区域的匹配，确定所述中间路径节点与所述异常的关联关系，其中，所述目标区域与所述异常区域的区域范围差异小于或等于预设阈值。
在本公开的一示例性实施例中，所述装置配置为：
获取所述异常区域的第一区域特征；
获取所述目标区域的第二区域特征；
基于所述第一区域特征与所述第二区域特征的匹配，确定所述中间路径节点与所述异常的关联关系。
在本公开的一示例性实施例中，所述装置配置为：
确定目标传输方向，所述目标传输方向用于描述所述目标数据文件在所述端点路径节点之间的单向传输方向；
获取在所述目标传输方向上的所述第一分布；
获取在所述目标传输方向上的所述第二分布。
下面参考图11来描述根据本公开实施例的数据处理电子设备50。图11显示的数据处理电子设备50仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，数据处理电子设备50以通用计算设备的形式表现。数据处理电子设备50的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图2中所示的各个步骤。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
数据处理电子设备50也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该数据处理电子设备50交互的设备通信，和/或与使得该数据处理电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。输入/输出(I/O)接口550与显示单元540相连。并且，数据处理电子设备50还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与数据处理电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合数据处理电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。
根据本公开的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (9)

1.一种数据处理方法，其特征在于，所述方法包括：
针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；
针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；
基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系；
其中，基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系，包括：
确定所述异常在所述第一分布中所对应的异常区域；
基于所述异常区域与所述第二分布中目标区域的匹配，确定所述中间路径节点与所述异常的关联关系，其中，所述目标区域与所述异常区域的区域范围差异小于或等于预设阈值。
2.根据权利要求1所述的方法，其特征在于，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，包括：
于所述数据传输路径上传输预设次数的所述目标数据文件，并获取在每次传输过程中的所述目标数据文件在所述数据传输路径上的第一传输耗时；
基于所述第一传输耗时获取所述第一分布；
获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，包括：
获取在每次传输过程中的所述中间数据文件在所述中间路径节点上的第二传输耗时；
基于所述第二传输耗时获取所述第二分布。
3.根据权利要求2所述的方法，其特征在于，在每次传输过程之前，还包括：同步所述端点路径节点之间的时间信息。
4.根据权利要求1所述的方法，其特征在于，基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系，包括：
获取所述第一分布的第一数据特征；
获取所述第二分布的第二数据特征；
基于所述第一数据特征与所述第二数据特征的对比，确定所述中间路径节点与所述异常的关联关系。
5.根据权利要求1所述的方法，其特征在于，基于所述异常区域与所述第二分布中目标区域的匹配，确定所述中间路径节点与所述异常的关联关系，包括：
获取所述异常区域的第一区域特征；
获取所述目标区域的第二区域特征；
基于所述第一区域特征与所述第二区域特征的匹配，确定所述中间路径节点与所述异常的关联关系。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定目标传输方向，所述目标传输方向用于描述所述目标数据文件在所述端点路径节点之间的单向传输方向；
获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，包括：获取在所述目标传输方向上的所述第一分布；
获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，包括：获取在所述目标传输方向上的所述第二分布。
7.一种数据处理装置，其特征在于，所述装置包括：
第一获取模块，配置为针对传输性能发生异常的数据传输路径，获取用于描述目标数据文件在所述数据传输路径上传输耗时的第一分布，所述目标数据文件为位于所述数据传输路径的端点路径节点上的数据文件；
第二获取模块，配置为针对所述数据传输路径的中间路径节点，获取用于描述中间数据文件在所述中间路径节点上传输耗时的第二分布，所述中间数据文件为所述目标数据文件所对应的位于所述中间路径节点上的数据文件；
确定模块，配置为基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系；
其中，基于所述第一分布与所述第二分布的对比，确定所述中间路径节点与所述异常的关联关系，包括：
确定所述异常在所述第一分布中所对应的异常区域；
基于所述异常区域与所述第二分布中目标区域的匹配，确定所述中间路径节点与所述异常的关联关系，其中，所述目标区域与所述异常区域的区域范围差异小于或等于预设阈值。
8.一种数据处理电子设备，其特征在于，包括：
存储器，存储有计算机可读指令；
处理器，读取存储器存储的计算机可读指令，以执行权利要求1-6中的任一个所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-6中的任一个所述的方法。
CN202010356081.4A 2020-04-29 2020-04-29 数据处理方法、装置、电子设备及存储介质 Active CN113572683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010356081.4A CN113572683B (zh) 2020-04-29 2020-04-29 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010356081.4A CN113572683B (zh) 2020-04-29 2020-04-29 数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113572683A CN113572683A (zh) 2021-10-29
CN113572683B true CN113572683B (zh) 2023-07-04

Family

ID=78158526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010356081.4A Active CN113572683B (zh) 2020-04-29 2020-04-29 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113572683B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918564A (zh) * 2017-11-13 2018-04-17 泰康保险集团股份有限公司 数据传输异常处理方法、装置、电子设备及存储介质
CN109815042A (zh) * 2019-01-21 2019-05-28 南方科技大学 异常因素的定位方法、装置、服务器和存储介质
CN110333969A (zh) * 2019-06-17 2019-10-15 Oppo广东移动通信有限公司 系统升级后应用启动异常处理方法及装置、介质和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8566441B2 (en) * 2010-11-22 2013-10-22 Microsoft Corporation Network latency estimation for mobile devices
WO2017015462A1 (en) * 2015-07-22 2017-01-26 Dynamic Network Services, Inc. Methods, systems, and apparatus to generate information transmission performance alerts
CN107197443B (zh) * 2017-06-21 2020-09-25 深圳市盛路物联通讯技术有限公司 一种基于物联网的数据传输控制方法及系统
CN108964977B (zh) * 2018-06-05 2021-06-01 平安科技（深圳）有限公司 节点异常处理方法及系统，存储介质和电子设备
CN108920326B (zh) * 2018-06-14 2022-04-29 创新先进技术有限公司 确定系统耗时异常的方法、装置及电子设备
CN110635962B (zh) * 2018-06-25 2022-12-16 阿里巴巴集团控股有限公司 用于分布式系统的异常分析方法及装置
CN110908792B (zh) * 2018-09-17 2023-04-14 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN110086709B (zh) * 2019-03-22 2021-09-03 同济大学 针对超大规模片上网络容忍众故障的确定性路径路由方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918564A (zh) * 2017-11-13 2018-04-17 泰康保险集团股份有限公司 数据传输异常处理方法、装置、电子设备及存储介质
CN109815042A (zh) * 2019-01-21 2019-05-28 南方科技大学 异常因素的定位方法、装置、服务器和存储介质
CN110333969A (zh) * 2019-06-17 2019-10-15 Oppo广东移动通信有限公司 系统升级后应用启动异常处理方法及装置、介质和设备

Also Published As

Publication number Publication date
CN113572683A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
US9871582B2 (en) Optical channel telemetry
RU2422891C2 (ru) Система и способ для ускорения поисков в базе данных для множественных синхронизированных потоков данных
US8521868B2 (en) Platform-level indicators of application performance
EP2688296A1 (en) Video monitoring system and method
CN111625473B (zh) 接口测试用例生成方法、装置、存储介质和电子设备
CN100489716C (zh) 处理度量流数据的方法及采样设备
US20040181709A1 (en) Method, system, and article of manufacture for fault determination
CN109672722B (zh) 数据部署方法及装置、计算机存储介质和电子设备
CN114389975B (zh) 网络带宽预估方法、装置、系统、电子设备及存储介质
WO2018142703A1 (ja) 異常要因推定装置、異常要因推定方法及びプログラム
KR20180029900A (ko) 전자 시스템들에서의 로그 데이터의 관리
CN111030888A (zh) 域名系统dns容量测量方法、装置、设备及介质
EP3890312B1 (en) Distributed image analysis method and system, and storage medium
US7386417B1 (en) Method and apparatus for clustering telemetry signals to facilitate computer system monitoring
CN113572683B (zh) 数据处理方法、装置、电子设备及存储介质
CN107003691B (zh) 用于基于全局时钟对计数器进行同步采样的技术
US10339019B2 (en) Packet capturing system, packet capturing apparatus and method
CN111459577B (zh) 应用安装来源跟踪方法、装置、设备及存储介质
EP3811572B1 (en) Processing local area network diagnostic data
US11354215B2 (en) Computing device and method for analyzing device
EP3767882B1 (en) Network traffic monitoring device
US20160143082A1 (en) Method for detecting a message from a group of packets transmitted in a connection
CN110543509A (zh) 用户访问数据的监控系统、方法、装置及电子设备
US20220318618A1 (en) Multi-api metric modeling using lstm system
JP7372876B2 (ja) 異常検出システム、異常検出装置及び異常検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant