CN115348195B - 地球系统模式数据的传输测速方法及系统 - Google Patents

Abstract

本发明涉及数据传输测速技术领域，提供一种地球系统模式数据的传输测速方法及系统，该方法基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，包括：获取地球系统网格联盟中的数据节点和其上存放的数据信息，生成节点列表；根据接收到的测速请求，由节点列表中筛选出待测速数据节点并生成测速队列；根据测速队列，顺次对待测速数据节点进行测速，得到用户端的测速结果；汇总各用户端的测速结果，得到测速报告。该方法用以解决现有技术中因无法定量衡量各地科研人员对数据的下载能力，所造成的难以分析地区间数据获取能力和服务能力的差异的缺陷，实现各用户端与数据节点间的数据传输能力的定量衡量。

Description

地球系统模式数据的传输测速方法及系统

技术领域

本发明涉及数据传输测速技术领域，尤其涉及一种地球系统模式数据的传输测速方法及系统。

背景技术

地球系统模式是进行全球变化研究最重要的科学工具之一。它采用数值模拟方法研究地球各个圈层之间联系及其演变规律，理解过去气候演变过程并预测未来可能的全球气候变化。模式模拟不同的地球系统过程会产生大量的输出数据，研究者需要通过对不同模式的输出数据进行定性与定量的对比分析研究，了解不同模式模拟结果的差异与优劣，为更好地模拟地球系统过程提供依据。

目前通过采用分布式存储架构的地球系统网格联盟(Earth System GridFederation,，ESGF)站点存储并发布模式NetCDF格式的数据，这些数据节点分布在全球各模式开发机构，其中的一级节点提供集中查询和检索下载等功能。通过传统方式开展模式数据的对比分析，研究人员需要首先完成数据查询，下载等步骤，而后在本地完成分析工作。由于需要将大量的模式输出数据下载到本地，模式数据节点到客户端的网络传输速率是制约模式对比工作效率的主要因素。而网络传输问题给模式数据比较工作带来的主要挑战和需求在于:

1、模式模拟数据量快速增长，但不同地区的网络速度存在不均衡性，积累数据量有较大差异，形成了科研壁垒。

2、由于硬件投入不同，不同数据节点间能够提供的数据传输速度不同。

3、缺乏能够方便地衡量用户-数据节点和数据节点-用户之间数据传输速度的技术，因此难以分析地区间数据获取能力和服务能力的差异，并做出评价和改进。

网页端测速软件能够在测速时，通过测速网页选择任意一个测速节点，获取下载、上传、延迟、抖动信息，并记录用户地址、网络提供商、地理距离。但是受限于目前网页端测速软件的测速设计原理，必须依赖后端软件包才可以正常运行，然而ESGF各数据节点的软件栈在安装后更新风险太大，无法要求所有数据节点管理者部署此软件后端。因此，使用现有的网页端测速软件完全无法实现评价ESGF数据节点服务能力之目标。

发明内容

本发明提供一种地球系统模式数据的传输测速方法及方法，用以解决现有技术中因无法定量衡量各地科研人员对数据的下载能力，所造成的难以分析地区间数据获取能力和服务能力的差异的缺陷，实现各用户端与数据节点间的数据传输能力的定量衡量。

本发明还提供一种地球系统模式数据的传输测速方法，基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，所述方法包括：

获取所述地球系统网格联盟中的所述数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；

根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；

根据所述测速队列，顺次对所述待测速数据节点进行测速，得到所述用户端的测速结果；

汇总各所述用户端的测速结果，得到测速报告。

根据本发明所述的地球系统模式数据的传输测速方法，所述根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点前，还包括：

向所述节点列表中的所述数据节点逐个发起访问请求；

将对所述访问请求无应答或返回错误应答信息的所述数据节点，由所述节点列表中移除。

根据本发明所述的地球系统模式数据的传输测速方法，所述根据所述测速队列，对所述待测速数据节点进行测速，包括：

获取所述待测速数据节点的地址和测速任务类型；所述测速任务类型包括：下载延迟、下载抖动和下载速度；

当所述测速任务类型为下载延迟时，基于向所述待测数据节点发起所述访问请求的时刻，以及所述待测数据节点响应所述访问请求的时刻，得到所述用户端针对所述待测速数据节点的下载延迟；

当所述测速任务类型为下载抖动时，基于向所述待测数据节点多次发起所述访问请求，以及所述待测数据节点响应多次所述访问请求的时刻的变化情况，得到所述用户端针对所述带测速数据节点的下载抖动；

当所述测速任务类型为下载速度时，由所述待测速数据节点多次下载所述测试数据信息；

根据每次下载的数据量和下载时间，计算得到针对所述待测速数据节点的下载速度；

根据由所述多次下载得到的针对所述待测速数据节点的所述下载速度，计算得到针对所述待测速数据节点的下载平均速度；

根据针对所述待测速数据节点的下载平均速度，得到所述用户端针对所述测速队列中所有所述待测速数据节点的平均下载速度；

将针对所述测速队列中所有所述待测数据节点的平均下载速度，作为所述用户端的测速结果。

根据本发明所述的地球系统模式数据的传输测速方法，所述根据所述测速队列，顺次对所述待测速数据节点进行测速，还包括：

显示当前正在测速的所述待测速数据节点的动态测速结果，以及以列表形式呈现的已完成测速的所述待测速数据节点的测速结果信息。

根据本发明所述的地球系统模式数据的传输测速方法，汇总各所述用户端的测速结果，得到测速报告，包括：

汇总在预设周期内进行所述测速的各所述用户端的信息和各所述用户端对所述待测速数据节点的测速结果信息；

根据汇总的结果，得到各所述用户端对所述待测速数据节点的下载平均速度对比图表；

根据所述下载平均速度对比图表，得到各所述用户端对所述待测速数据节点的下载平均速度热度图；

将所述热度图作为所述测速报告，并进行显示。

根据本发明所述的地球系统模式数据的传输测速方法，所述汇总各所述用户端的测速结果，得到测速报告，还包括：

以表格形式显示各所述用户端对所述待测速数据节点的下载平均速度；

为所述用户端针对所述待测速数据节点的每次下载的所述下载速度，生成专属的查看链接；

将所述查看链接添加至所述表格中。

本发明还提供一种地球系统模式数据的传输测速系统，包括布置于用户端的后台服务器和用户端界面；其中，

所述后台服务器用于获取地球系统网格联盟中的数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；根据测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；根据所述测速队列，顺次对所述待测速数据节点进行测速；以及汇总各所述用户端的测速结果，得到测速报告；

所述用户端界面用于接收所述测速请求，以及显示所述测速报告。

本发明还提供一种地球系统网格联盟，应用如上述所述的地球系统模式数据的传输测速系统。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的地球系统模式数据的传输测速方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的地球系统模式数据的传输测速方法。

本发明提供的一种地球系统模式数据的传输测速方法及系统，通过在用户端运行的网页端测速工具获取地球系统网格联盟ESGF的数据节点和数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息生成节点列表后，然后在接收到用户的测速请求时，由节点列表中筛选出待测速数据节点以生成测速队列，之后根据测速队列的顺序，顺次对待测速数据节点进行测速，进而得到用户端的测速结果，最后将各用户端的测速结果进行汇总，得到测速报告。实现基于网页端测速工具对ESGF的数据节点的测速，不仅使各用户端对自身的数据传输能力得以了解，还反映了各数据节点以及各用户端间的数据传输能力的区别，进而实现对ESGF的数据节点的服务能力的评价，以给网络设施以及服务软件的调整提供科学的依据，更好了满足用户的使用需求，并促进科研环境的公平性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是地球系统网格联盟的体系结构架构示意图；

图2是本发明提供的一种地球系统模式数据的传输测速方法的流程示意图；

图3是应用本发明提供的地球系统模式数据的传输测速方法的业务流程图；

图4是本发明提供的一种地球系统模式数据的传输测速方法的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，地球系统网格联盟(Earth System Grid Federation,，ESGF)已经建立了一套十分完善的数据分发和共享体系，其体系结构架构如图1所示，包含了数据节点，索引节点，用户认证节点以及计算节点。具体地，在ESGF的软件框架中，不同节点间通过P2P协议联系，每个节点必须提供数据服务功能，而其他服务可以根据需求选择安装。节点中部分模块由ESGF开发，另一些则是吸纳了第三方的开源软件，例如Tomcat、LAS、THREDDS等。

在数据服务方面，节点使用了分布式环境数据服务器THREDDS，可对分布式的NetCDF数据进行有效的分发和共享，支持数据发布和FTP协议的下载，同时在数据安全方面也提供了数据授权服务以及基于OpenID的访问控制。在索引服务方面，ESGF提供了较为强大的数据检索服务和web页面。而在计算服务方面，ESGF提供了LAS，它基于一个海洋气象方面的交互式计算机可视化和数据分析系统Ferret，提供数据远程访问和制图服务。

对于分布式数据检索，ESGF通过元数据库进行查询，用户向某一节点发送请求后，该节点会将请求分发到各个节点，针对用户搜索条件获取查询结果，最后将各个节点的搜索结果汇总返回给用户。

然而，ESGF软件栈目前以数据的检索和访问为主要功能，只能实现基于数据下载量的可视化和对比。其数据节点安装的Dashboard功能有限，尤其是该功能界面缺失了数据节点到用户、用户到数据节点的下载速度信息，也无法将所有模式数据节点对比展示，不能体现出各数据节点的服务能力。同时，下载速度、数据量等情况无法按照详细的国家地区分类，不便于分析具体的数据获取量、获取速度情况。而在数据搜索节点上，ESGF软件只能以表格展示各数据节点是否正常工作，不能对服务能力做出评价。

基于此，如果想对各用户端与ESGF各数据节点的数据传输能力进行测试，进而衡量各用户端与数据节点间的数据传输速度，以分析得到地区间数据获取能力和服务能力的差异，以做出评价和改进，使不同地区的网络速度均衡，则至少需要经过以下流程：

第一步、设计从数据节点测速的方法规范和测速结果的传输规范，发送给一定数量的用户测速。

第二步、每个用户编写下载和速度测试脚本，从所有的模式数据节点下载相应数据，获得测速结果。

第三步、用户将测速结果转为标准格式后发送给数据汇总方。

第四步、数据汇总方收集数据、分类汇总、制作数据图表，并制作汇总网站将结果公开。

而每当有数据节点更新或用户新发送测速结果后，则需要重复上述步骤并更新数据图表。

可见由于标准制定执行、沟通传输等成本过高，此方式难以保证测速结果的完整性与更新的及时性。

基于此，本发明实施例提供了一种基于在用户端运行的网页端测速工具对数据节点的数据传输速度测试的方法，实现对各用户端与各数据节点的传输能力的测试，从而综合反映各数据节点以及各用户端间的数据传输能力的区别，为给网络设施以及服务软件的调整提供科学的依据。

下面结合图2和图3描述本发明的一种地球系统模式数据的传输测速方法，基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，如图2所示，所述方法包括：

101、获取所述地球系统网格联盟中的所述数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；

102、根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；

103、根据所述测速队列，顺次对所述待测速数据节点进行测速，得到所述用户端的测速结果；

104、汇总各所述用户端的测速结果，得到测速报告。

可以理解的是，ESGF的服务器包括ESGF的搜索节点和数据节点。ESGF搜索节点通过搜索API提供了数据节点和节点上存放数据的检索功能，用户可检索到检点名称、机构、下载服务URL、存放节点列表等。ESGF的数据节点存储了各机构的模式输出数据。本发明实施例所述的地球系统模式数据的传输测速方法，基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，则在用户端有显示相应网页的页面。

需要说明的是，现有的网页测速工具在接收到测速请求后，一般只取一个连接最快的节点进行测速，具体地，测速节点服务器生成一定量的随机数据，然后由测速网页下载后计算速度，进而得到的是用户端的最高速度，这对于ESGF的模式数据来说，至少由以下几个问题：一是不能直接将模式数据下载服务器用作测速节点；二是只针对一个节点测试，无法实现ESGF用户端间，以及数据节点间的测试结果的比较；三是需要测试节点安装php服务器，然后由服务端脚本生成测试数据，而ESGF不具备安装php服务器的条件，且ESGF需要以模式数据为测试数据；四是现有网页测速工具要求测速网页与测速节点服务器处于同一域名下，或开放相应的跨域访问权限，否则无法通过测速网页下载数据，完成测速，而模式数据节点无法满足以上条件。所以，现有的网页测速工具并不能应用于ESGF模式数据的测速。

具体地，本发明实施例所述的传输测速方法，通过在用户端安装浏览器插件的方式，来实现网页端测速工具在用户端的浏览器端运行，用户使用唯一ID在网页上登陆后，通过借助下载API从ESGF的服务器获取数据节点和数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，如文件名、下载地址等，进而生成节点列表。用户通过在网页端测速工具的前端网页上的操作，可以在生成的节点列表上选择想要测速的数据节点，网页端测速工具在收到提交的测速请求后，将根据模板生成具体的测速任务，并顺序执行队列中的所有待测速数据节点的测速任务，最后通过汇总各所述用户端的测速结果，就能得到用于指导用户调整网络设施和服务软件的测速报告。

更具体地，基于用户在生成的节点列表上选择的想要测速的数据节点，可以生成对节点列表中的选择的数据节点的逐个测速，和对单个数据节点的测速。生成的测速报告可以包括测试的用户数、待测速数据节点数、以及用户针对某个待测速数据节点的数据传输速度等统计信息，进而，通过测速报告能够使用户实时了解各数据节点间的服务能力差异，进而便于分析地区间数据获取能力和服务能力的差异，并做出评价和改进。

进一步地，还可以在网页上显示应用于本发明实施例的传输测速方法的网页端测速工具的介绍和用户指引，其中，在介绍页面上为用户描述本网站的实施背景与科学意义；而用户指引页面上可以包括用户完成测速的详细步骤说明，以及本测速工具在全球各区域的使用情况，进而有助于分析模式下载速度问题的地区分布。

采用本发明实施例所述的地球系统模式数据的传输测速方法本，实现了基于网页的CIMP6模式生成数据的全球传输测速、测速结果分析查询、分析结果分享、用户指引等功能，能够定量衡量世界各地科研人员的数据下载速度状况，并帮助数据节点通过这些性能指标来调整网络设施和服务软件，同时，采用在用户端安装插件的方式，还避免了测试中的跨域访问错误。

作为本发明的一种实施例，所述根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点前，还包括：

向所述节点列表中的所述数据节点逐个发起访问请求；

将对所述访问请求无应答或返回错误应答信息的所述数据节点，由所述节点列表中移除。

具体地，考虑到并不是所有的用户能够访问的数据节点均相同，因而当用户基于节点列表中的所有数据节点进行待测速数据节点选择时，在测速中容易出现多个数据节点无法访问的状况，如果全部等待至测速超时将占用用户过多的时间，因而在用户进入测速页面时，可以通过先进行节点可用性检查，并同时提醒用户完成查看操作指引的方式来将无法访问的数据节点由节点列表中删除，并使用户了解具体地测速操作过程，以保证测速的顺利进行。

更具体地，通过首先获取后台服务器中的所有节点列表，并向列表中的数据节点逐个发起访问请求，以测试地址的有效性、可用性，最后，把无法访问或返回错误应答信息，以致于适于对所述数据节点的数据传输速度进行测试的数据信息无法下载的数据节点移出测速列表，进而使测速页面对用户展示的节点列表为针对所述用户均可用的数据节点。

进一步地，访问请求一般为HTTP HEAD请求，用户可以在经过数据节点移出后的节点列表中选择全部测速，或选择某一数据节点测速。选择并提交测速任务后，测速工具将接收到用户选择的测速节点列表，形成测速任务队列。随后程序为队列中每一个数据节点测速任务开启一个web worker线程，在其中解析队列中的测速节点地址、测速任务类型(延迟、抖动、下载速度)等配置信息，然后开始测速。

作为本发明的一种实施例，所述根据所述测速队列，对所述待测速数据节点进行测速，包括：

获取所述待测速数据节点的地址和测速任务类型；

所述测速任务类型包括：下载延迟、下载抖动和下载速度；

当所述测速任务类型为下载延迟时，基于向所述待测数据节点发起所述访问请求的时刻，以及所述待测数据节点响应所述访问请求的时刻，得到所述用户端针对所述待测速数据节点的下载延迟；

当所述测速任务类型为下载抖动时，基于向所述待测数据节点多次发起所述访问请求，以及所述待测数据节点响应多次所述访问请求的时刻的变化情况，得到所述用户端针对所述带测速数据节点的下载抖动；

当所述测速任务类型为下载速度时，由所述待测速数据节点多次下载所述测试数据信息；

根据每次下载的数据量和下载时间，计算得到针对所述待测速数据节点的下载速度；

根据由所述多次下载得到的针对所述待测速数据节点的所述下载速度，计算得到针对所述待测速数据节点的下载平均速度；

根据针对所述待测速数据节点的下载平均速度，得到所述用户端针对所述测速队列中所有所述待测速数据节点的平均下载速度；

将针对所述测速队列中所有所述待测数据节点的平均下载速度，作为所述用户端的测速结果。

具体地，在用户端的测速工具去到待测速数据节点的地址和测速任务类型时，则可根据测速任务的类型进行相应的相应测速。

更具体地，测速任务类型可以包括：延迟、抖动、下载速度等的测速。其中，对于下载延迟和下载抖动的测试，可以从网页发出访问请求到收到模式节点响应的时间和该时间的变化情况来得到；对于下载速度的测速可以根据每次下载的数据量和下载时间，计算得到针对所述待测速数据节点的下载速度，然后根据由所述多次下载得到的针对所述待测速数据节点的所述下载速度，计算得到针对所述待测速数据节点的下载平均速度，最后根据针对所述待测速数据节点的下载平均速度，得到所述用户端针对所述测速队列中所有所述待测速数据节点的平均下载速度，即体现所述用户端的下载能力的测速结果。

作为本发明的一种实施例，所述根据所述测速队列，顺次对所述待测速数据节点进行测速，还包括：

显示当前正在测速的所述待测速数据节点的动态测速结果，以及以列表形式呈现的已完成测速的所述待测速数据节点的测速结果信息。

具体地，通过显示当前正在测速的所述待测速数据节点的动态测速结果，以及以列表形式呈现的已完成测速的所述待测速数据节点的测速结果信息，能够使用户直观的了解正在测速数据节点的延迟、抖动和下载速度数值，以及已完成测速的待测速数据节点的测速结果信息。

作为本发明的一种实施例，汇总各所述用户端的测速结果，得到测速报告，包括：

汇总在预设周期内进行所述测速的各所述用户端的信息和各所述用户端对所述待测速数据节点的测速结果信息；

根据汇总的结果，得到各所述用户端对所述待测速数据节点的下载平均速度对比图表；

根据所述下载平均速度对比图表，得到各所述用户端对所述待测速数据节点的下载平均速度热度图；

将所述热度图作为所述测速报告，并进行显示。

具体地，通过预设周期的设置，例如12分钟、15分钟等，使得测速的结果能够以预设周期进行更新，进而在后台持续地获取测速数据并更新，保证测速结果的高频率自动更新。

更具体地，通过定时获取预设周期内的测速结果信息，并据此计算出测速结果总览，以绘制比较分析图表，最终基于对比较分析图表的渲染，得到各用户端对各待测速数据节点的下载平均速度热度图，能够直观的分析比较各用户端与数据节点的数据传输能力，通过从测试用户角度比较，可发现不同国家、地区间的下载速度差异；而从数据节点角度对比，可得出不同类型模式数据机构提供稳定、高速的数据传输服务的差异。即通过这一热度图用户可以定量衡量世界各地科研人员的数据下载速度状况，也能够基于这些数据来调整网络设施和服务软件。

作为本发明的一种实施例，所述汇总各所述用户端的测速结果，得到测速报告，还包括：

以表格形式显示各所述用户端对所述待测速数据节点的下载平均速度；

为所述用户端针对所述待测速数据节点的每次下载的所述下载速度，生成专属的查看链接；

将所述查看链接添加至所述表格中。

具体地，通过将用户端针对待测速节点的每次下载的下载生成专属的查看链接，并将查看链接添加至表格中，使得在点击查看链接时，能够共享各用户端的测速结果。

更具体地，通过将各用户端针对待测速数据节点的下载速度生成专属的查看链接，还可以帮助用户根据自身节点测速结果评估各模式数据节点的数据服务能力，即直观展示了各数据服务节点对该用户的数据传输服务能力，同时，可以理解的是，该能力可能与机构大小、网络距离等因素相关。从而使得用户可根据此结果合理选择数据镜像网站，提高获取数据的效率。

综上可以理解的是，采用本发明实施例所述的地球系统模式数据的传输测速方法，进行地球系统模式数据的测速的业务流程如图3所示，由测速网站、用户和ESGF系统三部分互相交互完成。

下面提供一个采用本发明实施例所述的地球系统模式数据的传输测速方法，进行地球系统模式数据的测速的一个实例。

具体地，测速网站所能提供的服务可以由PHP编写，包括配置信息、测速结果数据库和供用户访问的功能页面。服务提供了维护测速节点信息、测速结果储存与获取、定时导出结果、更新结果分析报告等功能。

其中，针对测速结果数据库在测速网站的后台服务器配置有MySQL数据库和数据库管理工具、PHP环境和数据库网页管理工具(如phpMyAdmin)。在全部安装完成后，配置好MySQL服务的本地IP、端口和路径，并建立存储测速结果数据的信息表。信息表的具体设计如表1所示：

表1存储测速结果数据的信息表示例

字段	类型	默认值	其他属性
				id(主键)	int(11)	AUTO_INCREMENT	NOT NULL
timestamp	timestamp	CURRENT_TIMESTAMP	NOT NULL
				ip	text		NOT NULL
ispinfo	text
				extra	text
ua	text		NOT NULL
				lang	text		NOT NULL
dl	text
				ul	text
ping	text
				jitter	text
log	longtext

针对后台服务器安装apache2和PHP环境。首先把服务器后端文件拷贝到指定目录，配置后台服务的IP、端口和根路径，随后为测速结果记录服务配置MySQL数据库的连接参数，完成数据库连接。

针对图3中1.1和1.2的数据节点和测试数据信息维护服务也使用PHP编写，通过ESGF搜索API获取数据节点列表，并指定数据节点再次搜索，以获取节点上存放的数据列表。将获取的节点、数据信息转化为后台系统所需格式，后以人工方式检查节点和数据下载列表的正确性。

针对图4中4.1的结果定时导出服务首先配置导出结果路径、数据库定时导出时间等。随后本服务以定时任务形式，使用数据库导出命令将数据库中的测速结果导出，导出结果表中的一条记录示例如表2所示：

表2测速结果中一条记录的示例

针对图3中4.2和4.3的测速结果分析报告更新服务安装conda-python3环境，并安装jupyter、pytz、pandas、numpy、seaborn、matplotlib等python包，随后配置后台服务地址、数据导出路径等，以成功运行分析报告更新任务。

分析报告为预先排版好的jupyter notebook形式模板，内置了总览、图表、分析结果等板块。在更新时，jupyter将使用导出数据计算统计量、绘制图表，再将结果分析页渲染为网页文件，最后该文件将替换前端的分析结果。

用户界面业务流程的业务逻辑完全采用JavaScript实现，仅需要apache2环境就可以完成部署；数据层调用php接口与数据库交互。用户在了解工具介绍和操作指引信息后，提交希望执行的测速任务，获取测速结果，最后查看结果分析报告。

其中，针对前端页面服务在前端服务器上配置apache2软件，并设置服务器的端口与地址等参数。在将前端服务软件部署到指定服务器目录后，完成前端网页根目录的地址、端口，ISP查询服务地址、密钥，各后端服务器API地址等信息的配置。

针对图3中3.4的测速任务提交解析执行，在测速页面上展示可用的数据节点列表，用户可选择全部测速，或选择某一节点测速。选择并提交测速任务后，本服务将读取用户选择的测速节点列表，形成测速任务队列。随后程序为队列中每一个数据节点测速任务开启一个web worker线程，在其中解析队列中的测速节点地址、测速任务类型(延迟、抖动、下载速度)等配置信息。在测试下载速度任务时，使用http请求多次下载二进制模式数据文件，记录每次下载数据量和测试时间，计算以Mbps为单位的下载速度，并持续向前端页面更新。

针对图3中3.4的任务结果查看，则在测速的同时，于页面上动态展示正在测速数据节点的延迟、抖动和下载速度数值，以及下载速度相对大小的图表；获取用户的请求IP，通过ISP查询服务获取、展示其网络服务商信息。待所有测速完成后，于页面中提示测试数据节点个数、平均下载速度，此速度在全部已测试用户中的百分比排名。而各节点测速结果将以如表3所示的表格形式展示。表格的最后一列将提供每次测速的结果查看链接，通过后台的结果获取服务返回可共享测速结果。

表3各数据节点的测速结果显示表

针对用户的操作流程，则首先需要下载安装、启用Allow CORS Access Control扩展。

具体地，为正确完成数据下载测试，用户应优选使用chrome内核浏览器，安装Allow CORS:Access-Control-Allow-Origin扩展。用户可通过chrome web store安装扩展，或使用测速网站提供的测速文件本地安装。完成安装后，点击扩展图表，选择启用扩展即可。然后，用户进入测速页面，点击全部测试，或选择任意希望测试的节点开始下载速度测试。当所有测试结束后，将会提示用户测速完成。最后在测速页面以表格形式显示测速结果，每次测速的ID在结果URL列展示，用户通过URL访问单次测速的结果。同时，访问结果页面，可以查看测速结果总览、分析图表和单点测速结果的示例。另外，由于Allow CORSAccess Control扩展仅用于开发目的，为保证系统安全，完成上述步骤后，用户应右键点击扩展图标，选择“从Chrome删除扩展”。

针对测速结果对比分析报告主要分为图3中5所示的总览、结果分析图表和单点测速结果示例三个部分。其中，测速结果总览部分提供本报告更新时间(例如：每10分钟)、测速独立IP数量、包含数据节点列表、测试点城市列表等。同时，计算出所有测试的平均下载速度(MB/S)，其中，测试城市列表可为表4所示，待测数据节点列表可为表5所示：

表4测试城市列表示例

表5待测数据节点列表示例

/>

针对可视化比较分析，通过所有测速结果的热度图，分析比较用户和数据节点的数据传输能力。

采用本发明实施例所述的地球系统模式数据的传输测速方法，实现了完全基于网页端的对分布式科学数据节点的全球用户传输测速，以及测速结果的可视化对比分析，并能够测量用户-数据节点和数据节点-用户的多种下载性能指标，保证数据来源的广泛与全面性；能够在后台持续地获取测速数据并更新，保证测速结果的高频率自动更新；提供了自动化的测速方式和使用指引，用户不许具有任何基础知识就可以完成测速；以图表形式横向比较数据节点和测速用户的下载速度，直观反映了实际的数据传输情况。

下面结合图4对本发明提供的一种地球系统模式数据的传输测速系统进行说明，下文说明的一种地球系统模式数据的传输测速系统与上文描述的一种地球系统模式数据的传输测速方法可相互对应参照。

本发明实施例所述的地球系统模式数据的传输测速系统，如图4所示，包括：布置于用户端的后台服务器410和用户端界面420；其中，

所述后台服务器410用于获取地球系统网格联盟中的数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；根据测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；根据所述测速队列，顺次对所述待测速数据节点进行测速；以及汇总各所述用户端的测速结果，得到测速报告；

所述用户端界面420用于接收所述测速请求，以及显示所述测速报告。

具体地，通过在用户端运行的网页端测速工具获取地球系统网格联盟ESGF的数据节点和数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息生成节点列表后，然后在接收到用户的测速请求时，由节点列表中筛选出待测速数据节点以生成测速队列，之后根据测速队列的顺序，顺次对待测速数据节点进行测速，进而得到用户端的测速结果，最后将各用户端的测速结果进行汇总，得到测速报告。实现基于网页端测速工具对ESGF的数据节点的测速，不仅使各用户端对自身的数据传输能力得以了解，还反映了各数据节点以及各用户端间的数据传输能力的区别，进而实现对ESGF的数据节点的服务能力的评价，以给网络设施以及服务软件的调整提供科学的依据，更好了满足用户的使用需求，并促进科研环境的公平性。

作为优选的，所述后台服务器还用于向所述节点列表中的所述数据节点逐个发起访问请求；并将对所述访问请求无应答或返回错误应答信息的所述数据节点，由所述节点列表中移除。

作为优选的，所述后台服务器还用于获取所述待测速数据节点的地址和测速任务类型；所述测速任务类型包括：下载延迟、下载抖动和下载速度；当所述测速任务类型为下载延迟时，基于向所述待测数据节点发起所述访问请求的时刻，以及所述待测数据节点响应所述访问请求的时刻，得到所述用户端针对所述待测速数据节点的下载延迟；当所述测速任务类型为下载抖动时，基于向所述待测数据节点多次发起所述访问请求，以及所述待测数据节点响应多次所述访问请求的时刻的变化情况，得到所述用户端针对所述带测速数据节点的下载抖动；当所述测速任务类型为下载速度时，由所述待测速数据节点多次下载所述测试数据信息；根据每次下载的数据量和下载时间，计算得到针对所述待测速数据节点的下载速度；根据由所述多次下载得到的针对所述待测速数据节点的所述下载速度，计算得到针对所述待测速数据节点的下载平均速度；根据针对所述待测速数据节点的下载平均速度，得到所述用户端针对所述测速队列中所有所述待测速数据节点的平均下载速度；将针对所述测速队列中所有所述待测数据节点的平均下载速度，作为所述用户端的测速结果。

作为优选的，所述用户端界面还用于显示当前正在测速的所述待测速数据节点的动态测速结果，以及以列表形式呈现的已完成测速的所述待测速数据节点的测速结果信息。

作为优选的，所述后台服务器还用于汇总在预设周期内进行所述测速的各所述用户端的信息和各所述用户端对所述待测速数据节点的测速结果信息；根据汇总的结果，得到各所述用户端对所述待测速数据节点的下载平均速度对比图表；根据所述下载平均速度对比图表，得到各所述用户端对所述待测速数据节点的下载平均速度热度图；将所述热度图作为所述测速报告，并进行显示。

作为优选的，所述用户端界面还用于以表格形式显示各所述用户端对所述待测速数据节点的下载平均速度；所述后台服务器还用于为所述用户端针对所述待测速数据节点的每次下载的所述下载速度，生成专属的查看链接；将所述查看链接添加至所述表格中。

本发明还提供一种地球系统网格联盟，应用如上述所述的地球系统模式数据的传输测速系统。

可以理解的是，所述包括如上述实施例所述的地球系统模式数据的传输测速系统的地球系统网格联盟，具有所述地球系统模式数据的传输测速系统的所有优点和技术效果，此处不再赘述。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行地球系统模式数据的传输测速方法，所述方法基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，包括：获取所述地球系统网格联盟中的所述数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；根据所述测速队列，顺次对所述待测速数据节点进行测速，得到所述用户端的测速结果；汇总各所述用户端的测速结果，得到测速报告。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的地球系统模式数据的传输测速方法，所述方法基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，包括：获取所述地球系统网格联盟中的所述数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；根据所述测速队列，顺次对所述待测速数据节点进行测速，得到所述用户端的测速结果；汇总各所述用户端的测速结果，得到测速报告。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法所提供的地球系统模式数据的传输测速方法，所述方法基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，包括：获取所述地球系统网格联盟中的所述数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；根据所述测速队列，顺次对所述待测速数据节点进行测速，得到所述用户端的测速结果；汇总各所述用户端的测速结果，得到测速报告。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种地球系统模式数据的传输测速方法，其特征在于，基于在用户端运行的网页端测速工具对地球系统网格联盟中数据节点的数据传输速度进行测试，所述方法包括：

通过在用户端安装浏览器插件的方式，实现网页端测速工具在用户端的浏览器端运行，用户使用唯一ID在网页上登陆后，通过借助下载API，从地球系统网格联盟的服务器获取所述地球系统网格联盟中的所述数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；

根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；

根据所述测速队列，顺次对所述待测速数据节点进行测速，得到所述用户端的测速结果；

汇总各所述用户端的测速结果，得到测速报告。

2.根据权利要求1所述的地球系统模式数据的传输测速方法，其特征在于，所述根据接收到的测速请求，由所述节点列表中筛选出待测速数据节点前，还包括：

向所述节点列表中的所述数据节点逐个发起访问请求；

将对所述访问请求无应答或返回错误应答信息的所述数据节点，由所述节点列表中移除。

3.根据权利要求2所述的地球系统模式数据的传输测速方法，其特征在于，所述根据所述测速队列，对所述待测速数据节点进行测速，包括：

获取所述待测速数据节点的地址和测速任务类型；所述测速任务类型包括：下载延迟、下载抖动和下载速度；

当所述测速任务类型为下载延迟时，基于向所述待测速数据节点发起所述访问请求的时刻，以及所述待测数据节点响应所述访问请求的时刻，得到所述用户端针对所述待测速数据节点的下载延迟；

当所述测速任务类型为下载抖动时，基于向所述待测数据节点多次发起所述访问请求，以及所述待测数据节点响应多次所述访问请求的时刻的变化情况，得到所述用户端针对所述待测速数据节点的下载抖动；

当所述测速任务类型为下载速度时，由所述待测速数据节点多次下载测试数据；

根据每次下载的数据量和下载时间，计算得到针对所述待测速数据节点的下载速度；

根据由所述多次下载得到的针对所述待测速数据节点的所述下载速度，计算得到针对所述待测速数据节点的下载平均速度；

根据针对所述待测速数据节点的下载平均速度，得到所述用户端针对所述测速队列中所有所述待测速数据节点的平均下载速度；

将针对所述测速队列中所有所述待测数据节点的平均下载速度，作为所述用户端的测速结果。

4.根据权利要求3所述的地球系统模式数据的传输测速方法，其特征在于，所述根据所述测速队列，顺次对所述待测速数据节点进行测速，还包括：

显示当前正在测速的所述待测速数据节点的动态测速结果，以及以列表形式呈现的已完成测速的所述待测速数据节点的测速结果信息。

5.根据权利要求4所述的地球系统模式数据的传输测速方法，其特征在于，汇总各所述用户端的测速结果，得到测速报告，包括：

汇总在预设周期内进行所述测速的各所述用户端的信息和各所述用户端对所述待测速数据节点的测速结果信息；

根据汇总的结果，得到各所述用户端对所述待测速数据节点的下载平均速度对比图表；

根据所述下载平均速度对比图表，得到各所述用户端对所述待测速数据节点的下载平均速度热度图；

将所述热度图作为所述测速报告，并进行显示。

6.根据权利要求5所述的地球系统模式数据的传输测速方法，其特征在于，所述汇总各所述用户端的测速结果，得到测速报告，还包括：

以表格形式显示各所述用户端对所述待测速数据节点的下载平均速度；

为所述用户端针对所述待测速数据节点的每次下载的所述下载速度，生成专属的查看链接；

将所述查看链接添加至所述表格中。

7.一种地球系统模式数据的传输测速系统，其特征在于，包括布置于用户端的后台服务器和用户端界面；其中，

所述后台服务器用于通过在用户端安装浏览器插件的方式，实现网页端测速工具在用户端的浏览器端运行，用户使用唯一ID在网页上登陆后，通过借助下载API，从地球系统网格联盟的服务器获取地球系统网格联盟中的数据节点和所述数据节点上存放的适于对所述数据节点的数据传输速度进行测试的数据信息，生成节点列表；根据测速请求，由所述节点列表中筛选出待测速数据节点，并生成测速队列；根据所述测速队列，顺次对所述待测速数据节点进行测速；以及汇总各所述用户端的测速结果，得到测速报告；

所述用户端界面用于接收所述测速请求，以及显示所述测速报告。

8.一种地球系统网格联盟，其特征在于，应用如权利要求7所述的地球系统模式数据的传输测速系统。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的地球系统模式数据的传输测速方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的地球系统模式数据的传输测速方法。