CN112181634A - 切换装置和切换方法 - Google Patents

切换装置和切换方法 Download PDF

Info

Publication number
CN112181634A
CN112181634A CN202010626368.4A CN202010626368A CN112181634A CN 112181634 A CN112181634 A CN 112181634A CN 202010626368 A CN202010626368 A CN 202010626368A CN 112181634 A CN112181634 A CN 112181634A
Authority
CN
China
Prior art keywords
data
server
movement
transmission speed
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010626368.4A
Other languages
English (en)
Inventor
饭嶋直辉
雨宫宏一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN112181634A publication Critical patent/CN112181634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

涉及切换装置和切换方法。一种处理包括：基于尚未从执行任务处理功能的第二服务器读取的未处理数据的数据量、根据第一服务器的带宽的传输速度和作为由第一服务器保存的数据的移动目的地的第三服务器的带宽的传输速度确定的第一传输速度、以及作为从第二服务器读取数据的传输速度的第二传输速度，计算由第一服务器保存的数据之中的要移动的数据的数据移动量；基于所计算出的数据移动量，指定在由第一服务器保存的数据中的从第一服务器移动至第三服务器的数据的移动开始位置；以及从移动开始位置开始从第一服务器向第三服务器的数据移动。

Description

切换装置和切换方法
技术领域
本文讨论的实施方式涉及切换装置和切换方法。
背景技术
在相关技术中，存在其中收集数据并且基于所收集的数据执行特定处理的系统。作为这样的系统，例如使用所谓的分布式文件系统，在该分布式文件系统中由多个服务器共享不同的处理。
例如，存在提供分布式文件系统的资源以执行作为特定处理的任务的技术。在这种技术中，基于分布式文件系统的负载平衡的需要对任务、调度器和池进行重新分配。
还存在降低时间同步处理所需的开销并且提高由数据收集设备进行的数据收集处理的效率的技术。在这种技术中，对于执行消息传输处理的中继终端，传输处理所需的时间(传输延迟时间)被测量为测量延迟时间，并且将该传输处理所需的时间(传输延迟时间)添加至传输消息的时间信息中。
另外，存在防止外部应用的读取性能降低的技术。在这种技术中，对数据进行重新定位以平衡分布式文件系统中的负载。在重新定位中，将最大重新定位量设置为在一个数据重新定位执行处理中要被重新定位的数据量。此外，最靠近重新定位目的地数据服务器的数据服务器用作块复制源的数据服务器。
例如，在国际专利申请的日本国家公布第2015-503811号和日本公开特许公报第2011-091624号和第2015-022327号中公开了相关技术。
发明内容
本公开内容的一个方面抑制伴随着服务器功能的切换而产生的流量(traffic)并且缩短处理的中断时间。
根据实施方式的一个方面，一种非暂态计算机可读记录介质，在该非暂态计算机可读记录介质中存储有使计算机执行处理的切换程序，该处理包括：当执行从设备接收数据的接收功能的第一服务器接收到用于将功能从接收功能切换至处理数据的任务处理功能的计算请求时，基于尚未从执行任务处理功能的第二服务器读取的未处理数据的数据量、根据第一服务器的带宽的传输速度(transfer speed)和作为由第一服务器保存的数据的移动目的地的第三服务器的带宽的传输速度确定的第一传输速度、以及作为从第二服务器读取数据的传输速度的第二传输速度，计算由第一服务器保存的数据之中的要移动的数据的数据移动量；基于所计算出的数据移动量，指定在由第一服务器保存的数据中从第一服务器移动至第三服务器的数据的移动开始位置；以及从移动开始位置开始从第一服务器向第三服务器的数据移动。
附图说明
图1是将管理系统应用于边缘计算环境的情况的图像图；
图2是示出当切换服务器的功能时中断数据的读取的情况的示例的图；
图3是示出当切换服务器的功能时预先移动数据的情况的示例的图；
图4是示出要读取的数据与要移动的数据之间的关系的图；
图5是示出数据量之间的关系的图像图；
图6是示出当切换服务器的功能时计算数据的数据移动量的情况的示例的图；
图7是示出根据本公开内容的实施方式的管理系统的示意性配置的框图；
图8是示出管理系统的每个服务器的配置的细节的框图；
图9是示出用作管理服务器的计算机的示意性配置的框图；
图10是示出用作数据接收服务器或任务处理服务器的计算机的示意性配置的框图；
图11是示出数据处理和任务处理以及周期性处理的流程的序列图；
图12是示出路由表DB的示例的图；
图13是示出数据DB的示例的图；
图14是示出任务处理DB的示例的图；
图15是示出任务DB的示例的视图；
图16是示出负载信息DB的示例的图；
图17是示出带宽信息DB的示例的图；
图18是示出根据本公开内容的实施方式的技术的当将数据接收服务器切换至任务处理服务器时的处理流程的序列图；
图19是示出根据切换处理的流程的管理系统的配置的图；以及
图20是示出数据、主题和任务之间的关系的示例的图像图。
具体实施方式
在分布式文件系统中，每个服务器的角色被划分为例如接收和收集数据的功能以及获取数据并且执行作为特定处理的任务的功能。关于服务器的类型，接收数据的服务器被定义为数据接收服务器，并且执行任务的服务器被定义为任务处理服务器。在这种情况下，根据扮演每个角色的服务器的负载来执行切换服务器的功能的处理。
然而，在相关技术中，当切换数据接收服务器时，存在关于伴随着切换而出现的数据移动的问题。
在相关技术中，存在数据接收服务器的切换引起在已经从数据接收服务器获取数据的任务处理服务器中发生等待时间的问题。
此外，即使在向任务处理服务器通知切换指令之前移动数据的情况下，也存在要移动的数据的流量的问题。这是因为不能够掌握数据接收服务器的切换定时，并且需要在开始移动时移动所有数据或剩余数据。在这种情况下，由于在切换之前由任务处理服务器读取的数据也被复制到移动目的地的数据接收服务器，因此生成了无用的流量。另外，当由于某种原因改变了移动目的地时，例如当移动目的地的数据接收服务器停止时，存在生成更多无用的流量的另一问题。
在下文中，将参照附图详细描述根据抑制由服务器功能的切换引起的流量并且缩短处理的中断时间的技术的实施方式的示例。
首先，将对实施方式所基于的背景和本实施方式的概况进行描述。本实施方式的技术应用于其中收集数据并且基于所收集的数据执行作为特定处理的任务的管理系统。管理系统是所谓的分布式文件系统。在分布式文件系统中，不同的服务器共享不同的角色。根据角色，管理系统中的服务器的类型被分为作为接收数据的服务器的数据接收服务器和作为执行任务的服务器的任务处理服务器，并且这些服务器分别执行数据接收功能和任务处理功能。
管理系统用于执行各种任务，例如收集机动车的数据并且分析机动车的操作信息，以及收集和分析设施中的人的移动状态。
管理系统被用在所谓的边缘计算环境中。边缘计算具有如下结构：其中将每个用户终端附近的服务器标识为边缘并且将服务器分布在每个边缘站点处以通过分布式处理提供具有高实时性能的服务。在边缘计算中，对于每个边缘站点，收集在负责边缘站点的区域中生成的流数据，并且处理所收集的数据。图1是将管理系统应用于边缘计算环境的情况的图像图。如图1所示，存在边缘站点和负责边缘站点的服务区域。多个数据接收服务器和多个任务处理服务器共享并执行针对每个边缘站点的处理。在服务区域中，从每个设备例如道路上的机动车和传感器生成作为流数据的大量的数据，并且这些数据经由网络从服务区域中的每个设备被传送至边缘站点。
此处，假定数据的数据量和任务的任务量改变。数据量和任务量根据例如数据源(例如机动车)的移动或事件例如突发事故而变化。因此，难以预先估计数据量和任务量。出于该原因，需要切换管理系统中的服务器的功能。管理系统不根据数据量和任务量来固定数据接收服务器的数目与任务处理服务器的数目的比率，而是切换角色以动态地调整服务器的比率。这样，切换服务器的功能以更实时地分配负载并执行处理。
当将任务处理服务器切换至数据接收服务器时，在要被切换的任务处理服务器中等待处理的任务被重新定位至另一任务处理服务器。当将数据接收服务器切换至任务处理服务器时，保存在要被切换的数据接收服务器中的数据被移动至另一移动目的地的数据接收服务器。在任何时候生成的数据的目的地还会改变DNS服务器的路由使得数据被发送至移动目的地的数据接收服务器。
此处，将对当将数据接收服务器切换至任务处理服务器时发生的问题进行描述。当将数据的数据接收服务器切换至任务处理服务器时，需要将存储在该数据接收服务器中的数据移动至另一数据接收服务器。然而，在那期间，从任务处理服务器的数据读取被中断。图2是示出当切换服务器的功能时中断数据的读取的情况的示例的图。如图2所示，任务处理服务器接收读取中断请求并且中断数据的读取。要被切换的数据接收服务器开始将数据移动至数据的移动目的地的数据接收服务器。任务处理服务器中断数据的读取，直到完成向移动目的地的数据接收服务器的数据移动为止。因此，当切换数据接收服务器时，在数据正在移动的同时发生任务处理服务器的等待时间。作为结果，任务处理服务器的处理时间变得较长。
另外，当为了消除上述等待时间而在切换之前预先移动数据时，存在生成不必要的流量的问题。图3是示出当切换服务器的功能时预先移动数据的情况的示例的图。如图3所示，当预先移动数据时，可以缩短数据读取的中断。然而，由于任务处理服务器即使在移动期间也读取数据，因此即使在执行移动时不读取的额外数据也会被移动，并且生成额外的流量。
因此，在本实施方式中，在尚未读取的未处理数据之中，计算在移动期间读取的数据与在移动完成之后读取的数据(即要移动的数据)之间的数据量比率。图4是示出要读取的数据与要移动的数据之间的关系的图。如图4所示，将在移动期间读取的数据和要移动的数据分开。
将描述计算数据量比率的方法。根据以下等式(1)和等式(2)计算数据量比率，使得在移动期间读取的数据的读取时间和要移动的数据的传输时间可以变得相等。
Figure BDA0002566645680000051
Figure BDA0002566645680000052
此处，符号“Dc”是指要移动的数据的数据量，符号“Dr”是指在移动期间从服务器i读取的数据的数据量，以及符号“Da”是指尚未读取的未处理数据的数据量。数据量的单位是比特。假定要被切换的数据接收服务器是i，并且移动目的地的数据接收服务器是j。符号“TPi,j”是指服务器i与服务器j之间的带宽的传输速度，并且
Figure BDA0002566645680000053
(在下文中，被称为RDr)是指从任务处理服务器进行读取的传输速度。传输速度的单位是bps。图5是示出数据量之间的关系的图像图。如图5所示，未处理数据量Da是数据量Dc和数据量Dr的和。通过以这种方式计算比率，可以将数据量Dc计算为数据移动量。
当带宽的传输速度TPi,j与读取的传输速度RDr相同时，数据量Dc和数据量Dr相对于数据量Da均是数据量Da的1/2。
将描述读取时间与传输时间相同的情况。例如，假定未处理数据的数据量Da为600Mbps，带宽的传输速度TPi,j为6Mbps，并且读取的传输速度RDr为6Mbps。在这种情况下，可以根据上述等式(2)将数据量Dc和数据量Dr计算为300兆比特。此外，可以将上述等式(1)中的读取时间和传输时间分别计算为50秒。也就是说，可以指定数据移动开始位置是从最后读取的数据起300兆比特的位置。
将描述读取时间和传输时间不相同的情况。例如，假定未处理数据的数据量Da为600Mbps，带宽的传输速度TPi,j为6Mbps，并且读取的传输速度RDr为2Mbps。在这种情况下，可以根据上述等式(2)将数据量Dc和数据量Dr分别计算为450兆比特和150兆比特。此外，可以将上述等式(1)中的读取时间和传输时间分别计算为75秒。也就是说，可以指定数据移动开始位置是从最后读取的数据起450兆比特的位置。同时，即使当带宽与读取的传输速度之间的关系颠倒时，也可以执行相同的计算。
图6是示出当切换服务器的功能时计算数据的数据移动量的情况的示例的图。如图6所示，读取的中断是短暂的，并且没有生成额外的流量。
上面已经描述了获得数据量比率的方法。在以下描述的实施方式中，对于作为数据类型的每个主题执行相同的计算。稍后将在操作的说明中描述主题的细节。
在本实施方式中，通过使用上述方法来实现管理系统中服务器的功能切换。在下文中，将描述本公开内容的实施方式的配置。
图7是示出根据本公开内容的实施方式的管理系统的示意性配置的框图。如图7所示，根据本实施方式的管理系统10包括管理服务器100、多个数据接收服务器200、多个任务处理服务器300、DNS服务器400和代理服务器500。每个服务器经由网络N例如因特网连接。
图8是示出管理系统10的每个服务器的配置的细节的框图。每个服务器经由设置在每个服务器中的通信单元102、202、302、402和502之一进行通信，并且发送和接收各种信息。另外，由于将在稍后描述的操作中描述在每个服务器中执行的每个处理，因此在此处将省略对每个单元的处理的描述。
管理服务器100包括通信单元102、数据任务控制器104、负载控制器106、切换控制器108、任务处理DB(数据库)120、负载信息DB 122和带宽信息DB 124。
由于多个数据接收服务器200在每个服务器中具有相同的配置，因此将一个数据接收服务器200的配置作为示例。数据接收服务器200包括通信单元202、负载响应单元204、数据处理单元206、切换处理单元208和数据DB 220。
由于多个任务处理服务器300在每个服务器中具有相同的配置，因此将一个任务处理服务器300的配置作为示例。任务处理服务器300包括通信单元302、负载响应单元304、任务处理单元306、切换处理单元308和任务DB 320。
DNS服务器400包括通信单元402、路由注册单元404、响应单元406和路由表DB420。
代理服务器500包括通信单元502、确定单元504和路由单元506。
管理服务器100可以由例如图9所示的计算机20实现。计算机20包括中央处理单元(CPU)21、用作临时存储区域的存储器22和非易失性存储单元23。此外，计算机20包括输入/输出设备24、控制从存储介质29读取数据和向存储介质29写入数据的读/写(R/W)单元25以及与网络例如因特网连接的通信接口(I/F)26。CPU 21、存储器22、存储单元23、输入/输出设备24、R/W单元25和通信I/F 26经由总线27彼此连接。
存储单元23可以由硬盘驱动器(HDD)、固态驱动器(SSD)、闪速存储器等实现。用作存储介质的存储单元23存储使计算机20用作管理服务器100的管理程序30。管理程序30包括通信处理32、数据任务控制处理33、负载控制处理34以及切换控制处理35。
CPU 21从存储单元23读出管理程序30，在存储器22中展开(expand)程序，并且顺序地执行管理程序30的处理。CPU 21通过执行通信处理32而操作为图8所示的通信单元102。另外，CPU 21通过执行数据任务控制处理33而操作为图8所示的数据任务控制器104。此外，CPU 21通过执行负载控制处理34而操作为图8所示的负载控制器106。CPU 21通过执行切换控制处理35而操作为图8所示的切换控制器108。此外，CPU 21从信息存储区域39读取信息，并且在存储器22中展开任务处理DB 120、负载信息DB 122和带宽信息DB 124中的每一个。因此，执行管理程序30的计算机20用作管理服务器100。同时，执行程序的CPU 21是硬件。
同时，由管理程序30实现的功能可以很好地由例如半导体集成电路更具体地专用集成电路(ASIC)等实现。
由于数据接收服务器200和任务处理服务器300具有相同的配置，因此这些服务器可以由例如图10所示的计算机40实现。计算机40包括CPU 41、用作临时存储区域的存储器42和非易失性存储单元43。此外，计算机40包括输入/输出设备44、控制从存储介质49读取数据和向存储介质49写入数据的R/W单元45以及与网络例如因特网连接的通信I/F 46。CPU41、存储器42、存储单元43、输入/输出设备44、R/W单元45和通信I/F 46经由总线47彼此连接。
存储单元43可以由HDD、SSD、闪速存储器等实现。作为存储介质的存储单元43存储使计算机40用作任务处理服务器300或数据接收服务器200的处理程序50。处理程序50具有通信处理52、负载响应处理53、主处理处理(main processing process)54和切换处理处理(switching processing process)55。
CPU 41从存储单元43读出处理程序50，在存储器42中展开程序，并且顺序地执行处理程序50的处理。
将描述在数据接收服务器200的情况下的操作。CPU 41通过执行通信处理52而操作为图8所示的通信单元202。此外，CPU 41通过执行负载响应处理53而操作为图8所示的负载响应单元204。CPU 41还通过执行主处理处理54而操作为图8所示的数据处理单元206。CPU 41通过执行切换处理处理55而操作为图8所示的切换处理单元208。此外，CPU 41从信息存储区域59读取信息，并且在存储器42中展开数据DB 220。因此，已经执行处理程序50的计算机40用作数据接收服务器200。同时，执行程序的CPU 41是硬件。此外，将描述在任务处理服务器300的情况下的操作。CPU 41通过执行通信处理52而操作为图8所示的通信单元302。此外，CPU 41通过执行负载响应处理53而操作为图8所示的负载响应单元304。CPU 41还通过执行主处理处理54而操作为图8所示的任务处理单元306。CPU 41通过执行切换处理处理55而操作为图8所示的切换处理单元308。此外，CPU 41从信息存储区域59读取信息，并且在存储器42中展开任务DB 320。因此，已经执行处理程序50的计算机40用作任务处理服务器300。
同时，由处理程序50实现的功能可以很好地由例如半导体集成电路更具体地ASIC等实现。
由于DNS服务器400和代理服务器500可以由一般的DNS服务器和用作代理服务器的服务器来实现，因此将省略对计算机的配置的描述。
接下来，将描述根据本实施方式的管理系统10的操作。首先，将参照图11的序列图来描述作为本实施方式的方法的前提的处理的流程。图11是示出数据处理和任务处理以及周期性处理的流程的序列图。
首先，将参照图11描述数据处理和任务处理。数据的处理和任务的处理是本实施方式中预想的处理，但是不是主要处理，并且因此将以简化的方式进行描述。
代理服务器500接收数据或任务的信息(S10)。代理服务器500的确定单元504确定信息是数据还是任务(S12)。
数据包括目的地地址、源地址、主题和数据实体。主题表示数据的类型并且是其中将由任务读取的数据放在一起的单元。任务读取主题并且执行任务。此外，数据可以与多个主题相关联。同时，目的地地址是代理服务器500的地址，并且源地址是已经发送该数据的设备的地址。
任务包括目的地地址、源地址、任务ID(标识符)和处理任务所需的主题。通过以主题为单位读取数据来执行任务。同时，目的地地址是代理服务器500的地址，并且源地址是已经发送该任务的设备的地址。
当在S12中确定的信息是数据时，代理服务器500通过路由单元506注册或参考(refer to)DNS服务器400(S14)。当数据主题的路由目的地在路由表DB 420中时，获取地址作为目的地。当数据主题的路由目的地不在路由表DB 420中时，路由注册单元404在路由表DB 420中注册路由。对于要注册的数据接收服务器200的地址，例如，可以参考管理服务器100的负载信息DB 122来注册资源存储器使用率低的数据接收服务器200的地址。
如图12所示，路由表DB 420存储作为服务器的地址的地址、服务器的角色以及与任务对应的主题。角色是指示服务器是管理服务器100的“管理”或指示服务器是数据接收服务器200的“数据接收”。
代理服务器500通过路由单元506参考路由表DB 420的地址(S14)，并且将数据发送至通过参考该地址而获得的地址的数据接收服务器200(S16)。数据处理单元206将由数据接收服务器200接收的数据存储在数据DB 220中(S18)。
如图13所示，数据DB 220存储数据所指代的主题、数据的数据ID和数据实体。数据实体是在任务中要处理的任意文件，例如XML或JPG。
当在S12中做出的确定是任务时，代理服务器500使用路由单元506将任务发送至管理服务器100(S20)。通过管理服务器100接收在S20中发送的任务，并且数据任务控制器104确定执行任务的任务处理服务器300以更新任务处理DB 120(S22)。执行任务的任务处理服务器可以参考负载信息DB 122，并且选择具有低存储器使用率的任务处理服务器300。同时，数据任务控制器104可以调度并且确定任务执行定时。
如图14所示，任务处理DB 120存储任务处理服务器300的地址和任务ID。
数据任务控制器104将接收到的任务发送至在任务处理DB 120中的相应地址处的任务处理服务器300(S24)。由任务处理服务器300接收到的任务被存储在任务DB 320中(S26)。
如图15所示，任务DB 320存储任务ID和执行文件。执行文件以压缩形式存储，其中描述了任务的处理内容的执行文件被压缩。
任务处理服务器300以存储在任务DB 320中的顺序执行任务(S28)。当执行任务时，任务处理单元306参考路由到DNS服务器400的数据(S28-1)，并且接收从其中读取数据的数据接收服务器200的地址。任务处理单元306从接收到的数据接收服务器200的地址中读取包括在处理任务所需的主题中的数据(S28-2)，并且执行任务。
此外，在管理系统10中，收集负载信息和带宽信息作为周期性处理。任务处理服务器300和数据接收服务器200将负载信息发送至管理服务器100(S30，S32)。负载信息被存储在负载信息DB 122中(S34)。此外，管理服务器100收集带宽信息(S36，S38)，并且将该信息存储在带宽信息DB 124中(S40)。
如图16所示，负载信息DB 122存储服务器地址、服务器角色、资源例如诸如CPU和存储器、以及资源使用率。角色是“数据接收”或“任务处理”。
如图17所示，带宽信息DB 124存储服务器地址和服务器带宽传输速度(Mbps)。
任务处理服务器300的负载响应单元304和数据接收服务器200的负载响应单元204将它们自己的服务器的负载信息周期性地发送至管理服务器100。
接下来，参照图18的序列图，将描述当切换数据接收服务器200的角色时的处理流程。图18的序列图是用于说明通过根据本公开内容的实施方式的方法将数据接收服务器200切换至任务处理服务器300时的处理流程的序列图。图19是示出根据切换处理的流程的管理系统的配置的图。在图19的配置中，将描述其中通过将数据接收服务器200A作为切换目标将数据移动至数据接收服务器200B的示例。在下面的描述中，将由管理系统10管理的所有数据接收服务器200称为“各个数据接收服务器200”。此外，将要被切换的数据接收服务器200称为“数据接收服务器200A”，并且将数据的移动目的地的数据接收服务器200称为“数据接收服务器200B”。此外，将由管理系统10管理的所有任务处理服务器300称为“各个任务处理服务器300”，并且将从要被切换的数据接收服务器200A读取数据的任务处理服务器300称为“任务处理服务器300”。同时，数据接收服务器200A是执行从设备接收数据的接收功能的第一服务器的示例。任务处理服务器300A是执行处理数据的任务处理功能的第二服务器的示例。数据接收服务器200B是作为数据的移动目的地的第三服务器的示例。
同时，由于以主题为单位执行数据移动量和移动时间的计算，因此组织了数据、主题和任务之间的关系。图20是示出数据、主题和任务之间的关系的示例的图像图。读取一个或更多个主题，并且针对每个主题执行任务。主题包含多个数据。假定在主题中确定了读取数据的顺序。主题是处理单元的示例。
在图18的序列图中，管理服务器100的负载控制器106首先确定在负载信息DB 122中是否存在负载超过预定阈值的任务处理服务器300(S50)。负载可以根据负载信息DB 122的资源使用率来确定。当确定尚未超过阈值时，重复该确定处理。同时，将省略对确定数据接收服务器200上的负载的情况的描述。负载控制器106将移动时间计算请求发送至每个数据接收服务器200(S52)。
在每个数据接收服务器200中，切换处理单元208针对数据DB 220的每个主题根据以上等式(2)计算数据移动量并且根据以上等式(1)计算移动时间(S54)。基于未处理数据的数据量Da、读取的传输速度RDr和带宽的传输速度TPi,j来执行计算。关于带宽的传输速度TPi,j，可以参考在管理服务器100的带宽信息DB 124中数据接收服务器200与另一数据接收服务器200之间的带宽的传输速度，并且可以采用较低带宽的传输速度。此处，可以选择具有最高带宽传输速度的服务器作为另一数据接收服务器200。当已经执行了计算的数据接收服务器200成为切换目标时，此处选择的数据接收服务器200成为移动目的地的数据接收服务器200B。关于读取的传输速度RDr，可以参考在管理服务器100的带宽信息DB 124中正在读取数据的任务处理服务器300与数据接收服务器200之间的带宽的传输速度，并且可以采用较低带宽的传输速度。假定针对每个主题计算出的移动时间之中的最长移动时间是切换数据接收服务器200所需的移动时间。假定计算结果是具有最长的移动时间的主题、主题的数据移动量以及主题的移动时间。同时，用于计算的带宽的传输速度可以包括在计算请求中。
每个数据接收服务器200将计算结果发送至管理服务器100(S56)。管理服务器100使切换控制器108确定在数据接收服务器200的计算结果之中具有最短的移动时间的数据接收服务器200作为要被切换的数据接收服务器200A(S58)，并且向要被切换的数据接收服务器200A发送切换请求(S60-1)。另外，将路由目的地改变请求发送至DNS服务器400(S60-2)。该改变请求包括计算结果的主题(topic)、数据接收服务器200A的地址以及移动目的地的数据接收服务器200B的地址。
当数据接收服务器200A通过切换处理单元208A接收切换请求时，切换处理单元208A根据包括在具有最长移动时间的主题中的数据的数据移动量指定移动开始位置(S62)。此处，将描述根据数据移动量指定的移动开始位置。例如，假定主题的未处理数据量是600Mbit，并且主题的数据移动量是300Mbit。假定未处理数据量的细目分类包括10条60MB的数据作为未处理主题数据，每条数据以A、B、C、D、E、F、G、H、I和J的顺序读取。在这种情况下，由于300兆比特的数据移动量是600兆比特的未处理数据量的一半，因此可以将第五个之后的第六个数据F确定为移动开始位置。同时，确定方法仅是示例，并且当可以基于数据移动量确定移动开始位置时可以使用任何确定方法。
数据接收服务器200A的切换处理单元208A开始将数据从指定的移动开始位置移动至数据接收服务器200B(S64)。数据接收服务器200A确定在切换处理单元208A中是否已经完成从主题移动开始位置起的所有数据的移动(S66)。当确定已经完成移动时，处理进行至S70-1。当确定尚未完成移动时，重复该确定，并且等待移动的完成。
在接收到路由目的地改变请求时，DNS服务器400改变计算结果的主题的路由目的地(S68)。具体地，主题的地址从数据接收服务器200A的地址改变为数据接收服务器200B的地址。通过以这种方式改变路由，由代理服务器500从设备接收到的主题的数据的目的地变成为数据接收服务器200B。
当已经完成数据移动时，数据接收服务器200A使切换处理单元208A将读取目的地切换请求发送至任务处理服务器300A(S70-1)。另外，向管理服务器100发送移动完成通知(S70-2)。同时，读取目的地切换请求可以包括数据移动开始位置。通过包括移动开始位置，任务处理服务器300A可以检查是否可以读取移动开始位置之前的数据。当不能够读取至移动开始位置的数据时，从数据接收服务器200A读取可能无法读取的数据，并且从移动开始位置起，从数据接收服务器200B读取数据。这使得可以防止由于数据丢失引起的不一致。
当任务处理服务器300A接收到读取目的地切换请求时，切换处理单元308A中断读取(S72-1)并且向DNS服务器400查询路由(S72-2)。切换处理单元308A根据查询结果改变数据读取目的地，并且重新开始数据读取(S74)。切换处理单元308A向管理服务器100发送读取重新开始通知(S76)。
在从数据接收服务器200A接收到移动完成通知并且从任务处理服务器300A接收到读取重新开始通知后，管理服务器100向数据接收服务器200A通知任务分配开始请求(S78)。在接收到任务分配开始请求后，数据接收服务器200A将服务器的功能切换至任务处理(S80)。
如上所述，根据本实施方式的管理系统基于传输速率和未处理数据量来计算数据移动量和移动时间。根据数据移动量来指定数据移动开始位置。出于该原因，可以抑制伴随着服务器的功能的切换而产生的流量并且缩短处理的中断时间。
此外，例如，在上述实施方式中，已经对数据接收服务器200计算数据移动量和移动时间的情况作为示例进行了描述，但是本公开内容不限于此。例如，可以从数据接收服务器200向管理服务器100发送必要的信息，并且管理服务器100可以计算数据移动量和移动时间。而且，可以从存储介质读取各种程序。

Claims (10)

1.一种非暂态计算机可读记录介质，在所述非暂态计算机可读记录介质中存储有使计算机执行处理的切换程序，所述处理包括：
当执行从设备接收数据的接收功能的第一服务器接收到用于将功能从所述接收功能切换至处理数据的任务处理功能的计算请求时，
基于尚未从执行所述任务处理功能的第二服务器读取的未处理数据的数据量、根据所述第一服务器的带宽的传输速度和作为由所述第一服务器保存的数据的移动目的地的第三服务器的带宽的传输速度确定的第一传输速度、以及作为从所述第二服务器读取数据的传输速度的第二传输速度，计算由所述第一服务器保存的数据之中的要移动的数据的数据移动量；
基于所计算出的数据移动量，指定在由所述第一服务器保存的数据中从所述第一服务器移动至所述第三服务器的数据的移动开始位置；以及
从所述移动开始位置开始从所述第一服务器向所述第三服务器的数据移动。
2.根据权利要求1所述的非暂态计算机可读记录介质，其中，计算所述数据移动量，使得基于所述第一传输速度和移动至所述第三服务器的数据量的数据移动的从开始到完成的时间段与基于所述第二传输速度和从所述第一服务器读取的数据量的所述第二服务器的读出时间匹配。
3.根据权利要求1或2所述的非暂态计算机可读记录介质，其中，在所述第一服务器包括多个数据处理单元的情况下，针对所述第一服务器的所述多个数据处理单元中的每一个，基于所述未处理数据的数据量、所述第一传输速度和所述第二传输速度来计算所述数据移动量，根据所述数据移动量计算要移动的数据的移动时间，并且将所述多个数据处理单元中的为针对所述多个数据处理单元中的每一个计算出的移动时间之中的最长移动时间的数据处理单元的数据移动量定义为所述第一服务器的数据移动量。
4.根据权利要求3所述的非暂态计算机可读记录介质，其中，在存在多个第一服务器的情况下，将具有最短移动时间的第一服务器定义为要被切换的第一服务器。
5.根据权利要求1至4中任一项所述的非暂态计算机可读记录介质，其中，用于切换要被通知给所述第二服务器的读出目的地的切换请求包括所述移动开始位置。
6.一种切换装置，包括：
存储器；和
处理器，其耦接至所述存储器并且被配置成：
当执行从设备接收数据的接收功能的第一服务器接收到用于将功能从所述接收功能切换至处理数据的任务处理功能的计算请求时，
基于尚未从执行所述任务处理功能的第二服务器读取的未处理数据的数据量、根据所述第一服务器的带宽的传输速度和作为由所述第一服务器保存的数据的移动目的地的第三服务器的带宽的传输速度确定的第一传输速度、以及作为从所述第二服务器读取数据的传输速度的第二传输速度，计算由所述第一服务器保存的数据之中的要移动的数据的数据移动量；
基于所计算出的数据移动量，指定在由所述第一服务器保存的数据中从所述第一服务器移动至所述第三服务器的数据的移动开始位置；以及
从所述移动开始位置开始从所述第一服务器向所述第三服务器的数据移动。
7.根据权利要求6所述的切换装置，其中，计算所述数据移动量，使得基于所述第一传输速度和移动至所述第三服务器的数据量的数据移动的从开始到完成的时间段与基于所述第二传输速度和从所述第一服务器读取的数据量的所述第二服务器的读出时间匹配。
8.根据权利要求6或7所述的切换装置，其中，在所述第一服务器包括多个数据处理单元的情况下，针对所述第一服务器的所述多个数据处理单元中的每一个，基于所述未处理数据的数据量、所述第一传输速度和所述第二传输速度来计算所述数据移动量，根据所述数据移动量计算要移动的数据的移动时间，并且将所述多个数据处理单元中的为针对所述多个数据处理单元中的每一个计算出的移动时间之中的最长移动时间的数据处理单元的数据移动量定义为所述第一服务器的数据移动量。
9.根据权利要求8所述的切换装置，其中，在存在多个第一服务器的情况下，将具有最短的移动时间的第一服务器定义为要被切换的第一服务器。
10.一种切换方法，包括：
当执行从设备接收数据的接收功能的第一服务器接收到用于将功能从所述接收功能切换至处理数据的任务处理功能的计算请求时，
基于尚未从执行所述任务处理功能的第二服务器读取的未处理数据的数据量、根据所述第一服务器的带宽的传输速度和作为由所述第一服务器保存的数据的移动目的地的第三服务器的带宽的传输速度确定的第一传输速度、以及作为从所述第二服务器读取数据的传输速度的第二传输速度，计算由所述第一服务器保存的数据之中的要移动的数据的数据移动量；
基于所计算出的数据移动量，指定在由所述第一服务器保存的数据中从所述第一服务器移动至所述第三服务器的数据的移动开始位置；以及
由处理器从所述移动开始位置开始从所述第一服务器向所述第三服务器的数据移动。
CN202010626368.4A 2019-07-04 2020-07-02 切换装置和切换方法 Pending CN112181634A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019125175A JP2021012464A (ja) 2019-07-04 2019-07-04 切替プログラム、装置、および方法
JP2019-125175 2019-07-04

Publications (1)

Publication Number Publication Date
CN112181634A true CN112181634A (zh) 2021-01-05

Family

ID=71401585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010626368.4A Pending CN112181634A (zh) 2019-07-04 2020-07-02 切换装置和切换方法

Country Status (4)

Country Link
US (1) US20210004261A1 (zh)
EP (1) EP3761174A1 (zh)
JP (1) JP2021012464A (zh)
CN (1) CN112181634A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254149A (ja) * 2003-02-21 2004-09-09 Nippon Telegr & Teleph Corp <Ntt> データ伝送制御方法およびシステム
US20090198830A1 (en) * 2008-02-06 2009-08-06 Inventec Corporation Method of adjusting network data sending speed according to data processing speed at client
CN102185841A (zh) * 2011-04-25 2011-09-14 上海爱数软件有限公司 一种分类数据传输方法及系统
US20140344414A1 (en) * 2011-09-21 2014-11-20 Nec Corporation Content distribution system, cache server, and content distribution method
US20150100960A1 (en) * 2013-10-08 2015-04-09 Fujitsu Limited Method for resuming process and information processing system
CN109391694A (zh) * 2018-10-26 2019-02-26 深圳壹账通智能科技有限公司 基于sftp的文件传输方法及相关设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091624A (ja) 2009-10-22 2011-05-06 Mitsubishi Electric Corp メッシュネットワークシステム及びその時刻同期方法
US9170849B2 (en) 2012-01-09 2015-10-27 Microsoft Technology Licensing, Llc Migration of task to different pool of resources based on task retry count during task lease
JP5758449B2 (ja) 2013-07-16 2015-08-05 日本電信電話株式会社 データ再配置装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254149A (ja) * 2003-02-21 2004-09-09 Nippon Telegr & Teleph Corp <Ntt> データ伝送制御方法およびシステム
US20090198830A1 (en) * 2008-02-06 2009-08-06 Inventec Corporation Method of adjusting network data sending speed according to data processing speed at client
CN102185841A (zh) * 2011-04-25 2011-09-14 上海爱数软件有限公司 一种分类数据传输方法及系统
US20140344414A1 (en) * 2011-09-21 2014-11-20 Nec Corporation Content distribution system, cache server, and content distribution method
US20150100960A1 (en) * 2013-10-08 2015-04-09 Fujitsu Limited Method for resuming process and information processing system
CN109391694A (zh) * 2018-10-26 2019-02-26 深圳壹账通智能科技有限公司 基于sftp的文件传输方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑石平;冯学智;: "基于TCP的跨网段文件传输", 计算机工程与设计, no. 05, 16 March 2007 (2007-03-16) *

Also Published As

Publication number Publication date
US20210004261A1 (en) 2021-01-07
JP2021012464A (ja) 2021-02-04
EP3761174A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
US20190245808A1 (en) Adaptive service chain management
US9143452B2 (en) Data processing
CN109144972B (zh) 一种数据迁移的方法以及数据节点
CN107454017B (zh) 一种云数据中心网络中混合数据流协同调度方法
US9197566B2 (en) Information processing method, recording medium, and information processing apparatus
US20120221730A1 (en) Resource control system and resource control method
WO2010072085A1 (zh) 分布式系统的业务数据管理方法、装置及分布式系统
US9191330B2 (en) Path selection for network service requests
Nahir et al. Replication-based load balancing
CN107967164B (zh) 一种虚拟机热迁移的方法及系统
US20160203030A1 (en) Load calculation method, load calculation program, and load calculation apparatus
CN114867065B (zh) 基站算力负载均衡方法、设备及存储介质
Yildirim et al. End-to-end data-flow parallelism for throughput optimization in high-speed networks
KR102287566B1 (ko) 분산 시스템 아키텍처에서 애플리케이션을 실행하기 위한 방법
CN114697256B (zh) 基于集中式控制器的动态网络带宽分配与管理
WO2016082078A1 (zh) 路径管理的系统、装置和方法
US10951707B2 (en) Selection device, device selection method, and program
WO2020235055A1 (ja) 仮想マシン監視装置、仮想マシン監視方法およびプログラム
CN112181634A (zh) 切换装置和切换方法
CN112379978B (zh) 后端服务调用方法、装置、设备和存储介质
US11362890B2 (en) System management device, system management method, program, and information processing system
JP6721106B2 (ja) 第１の制御装置、装置、方法、プログラム、記録媒体、及びシステム
WO2013065151A1 (ja) 計算機システム、データ転送方法、および、データ転送プログラム
JP4089506B2 (ja) ファイル共有システム及びサーバー並びにプログラム
JP5056346B2 (ja) 情報処理装置、情報処理システム、仮想サーバの移動処理の制御方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination