CN105991694B - 一种实现分布式服务调用的方法与设备 - Google Patents
一种实现分布式服务调用的方法与设备 Download PDFInfo
- Publication number
- CN105991694B CN105991694B CN201510059744.5A CN201510059744A CN105991694B CN 105991694 B CN105991694 B CN 105991694B CN 201510059744 A CN201510059744 A CN 201510059744A CN 105991694 B CN105991694 B CN 105991694B
- Authority
- CN
- China
- Prior art keywords
- service
- computer room
- equipment
- same computer
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请的目的是提供一种实现分布式服务调用的方法与设备。具体地,获取关于分布式服务的服务调用请求;获取服务调用设备所对应的服务注册设备中的全量服务注册信息;根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。与现有技术相比,本申请通过获取服务调用请求后所获取的全量服务注册信息,确定对应的归属同一机房的服务提供设备地址并向其发送服务调用请求,从而实现分布式服务在同机房的调用,提升服务的调用速度,降低跨机房调用所涉及的网络费用开销以及服务响应用时,提升用户体验。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种实现分布式服务调用的技术。
背景技术
在大数据时代,互联网服务规模日益扩大,数据处理和服务调用的需求陡增。单机房因其可靠性不佳,以及在复杂网络环境下无法满足用户需求等问题逐渐被分布式机房所取代。
然而,分布式机房在实际应用中,也存在跨机房服务调用时的网络费用开销以及远距离通讯带来的服务延时等问题,从而带来运营成本的增加和用户体验的下降。
发明内容
本申请的目的是提供一种实现分布式服务调用的方法与设备。
根据本申请的一个方面,提供了一种在服务调用设备端用于实现分布式服务调用的方法,其中,该方法包括:
获取关于分布式服务的服务调用请求;
获取服务调用设备所对应的服务注册设备中的全量服务注册信息;
根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;
通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。
根据本申请的另一方面,还提供了一种在配置设备端用于实现分布式服务调用的方法,其中,该方法包括:
建立关于同机房服务的调度配置信息;
将所述调度配置信息发布至对应的服务调用设备。
根据本申请的另一方面,还提供了一种用于实现分布式服务调用的服务调用设备,其中,该服务调用设备包括:
第一装置,用于获取关于分布式服务的服务调用请求;
第三装置,用于获取服务调用设备所对应的服务注册设备中的全量服务注册信息;
第五装置,用于根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;
第七装置,用于通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。
根据本申请的另一个方面,还提供了一种用于实现分布式服务调用的配置设备,其中,该配置设备包括:
第二装置,用于建立关于同机房服务的调度配置信息;
第四装置,用于将所述调度配置信息发布至对应的服务调用设备。
根据本申请的再一方面,还提供了一种用于实现分布式服务调用的系统,其中,该系统设备包括如前所述根据本发明一个方面的一种用于实现分布式服务调用的服务调用设备,以及如前所述根据本发明另一个方面的一种用于实现分布式服务调用的配置设备。
与现有技术相比,本申请通过获取关于分布式服务的服务调用请求,以及对应的服务注册设备中的全量服务注册信息,以根据全量服务注册信息确定对应的服务提供设备的地址信息,其中,服务提供设备与所述服务调用设备归属同一机房,通过所述地址信息向所述服务提供设备发送服务调用请求来调用对应的分布式服务,从而实现了分布式服务在同机房的调用,提升了服务的响应速度,降低了跨机房调用所涉及的网络费用开销以及服务响应用时,提升了用户体验。而且,本申请还可建立关于同机房服务的调度配置信息,将调度配置信息发布至对应的服务调用设备上,使得服务调用更精细更有针对性,同时使得资源的利用更加合理有度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请的一个方面的一种用于实现分布式服务调用的服务调用设备的示意图。
图2示出根据本申请另一个方面的一种用于实现分布式服务调用的服务调用设备和配置设备示的设备意图;
图3示出根据本申请的一个方面的一种在服务调用设备端用于实现分布式服务调用的方法流程图。
图4示出根据本申请另一个方面的服务调用设备和配置设备配合实现一种用于实现分布式服务调用的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
图1示出根据本申请的一个方面的一种用于实现分布式服务调用的服务调用设备1。其中,所述服务调用设备1包括第一装置111、第三装置112、第五装置113和第七装置114。
具体地,服务调用设备1的第一装置111获取关于分布式服务的服务调用请求;第三装置112获取服务调用设备所对应的服务注册设备中的全量服务注册信息;第五装置113根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;第七装置114通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。
具体地,第一装置111获取关于分布式服务的服务调用请求。在此,分布式网络服务框架中的服务需求端在需要服务的时候,向分布式网络发出请求,此时,服务调用设备会获取该请求。例如,在阿里巴巴的分布式系统中,消费者在通过一定的方式获取并需要使用自己关心的服务时,会向阿里巴巴的分布式远程服务框架HSF2.0发出调用请求,而HSF2.0在接受到调用请求后会触发服务调用流程。
本领域技术人员应能理解上述获取服务调用请求的方式仅为举例,其他现有的或今后可能出现的述获取服务调用请求的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
接着,第三装置112获取服务调用设备所对应的服务注册设备中的全量服务注册信息。具体地,服务调用设备在接受到调用请求后,会获取对应服务注册设备中的全量服务注册信息。在此,服务注册设备在分布式网络中可以有多个,每个设备中都有整个分布式网络中全量的服务注册信息,而服务注册信息包括所需调用的服务所对应服务提供设备的地址信息,从而可以快捷地在任意一个服务设备中查询到所有的服务提供设备的地址信息。例如,在阿里巴巴的分布式系统在接收到调用请求后,会从类似DNS的服务器上获取可用的地址注册中心的服务器列表,此列表一般情况下是本机房的地址注册中心的服务器列表,据此向地址注册中心查询所需调用的服务所对应的地址信息,其中,地址注册中心即所述服务注册设备。
本领域技术人员应能理解上述获取服务调用设备所对应的服务注册设备中的全量服务注册信息的方式仅为举例,其他现有的或今后可能出现的述获取服务调用设备所对应的服务注册设备中的全量服务注册信息的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
优选地,所述全量服务注册信息包括所述服务注册设备通过与其他服务注册设备进行数据同步所获得的、所述其他服务注册设备中的服务注册信息。具体地,为保证在分布式网络中的多个服务注册设备中的服务注册信息都是全量的,服务注册设备之间的服务注册信息需要进行数据同步,基于此可以提升对服务注册信息的查找效率,从而提升分布式网络中的服务调用响应速度。更优选地,可以基于tcp长连接对服务注册设备之间进行实时同步,同步的粒度可以精确到基于每个服务,服务注册信息的同步可以有短暂的不一致,最终达到一致即可。
接着,第五装置113根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。具体地,在获取所述全量服务注册信息后,因为所有可调用的服务对应注册信息中包括其所对应的服务提供设备的地址信息,在分布式调用中,若服务调用设备所在的机房与最终的服务提供设备所在的机房分属于两个机房,则会引发跨机房调用所涉及的网络费用开销,同时服务响应用时将会延长,从而导致用户体验下降。例如,从上海的机房发出的服务请求最终响应的服务提供设备是在成都的机房中,这一过程中远距离通讯会带来网络延时。据此,在分布式网络中服务,服务提供设备与服务调用设备归属同一机房会避免上述状况。
接着,第七装置114通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。具体地,获得服务调用所对应服务提供设备的地址后,服务调用设备就可以依据地址信息向服务提供设备发出服务调用请求,服务提供设备接到请求后开始响应并提供服务,从而完成分布式服务调用。
图2示出根据本申请一个方面的一种用于实现分布式服务调用的服务调用设备1和配置设备2的设备示意图。其中,所述服务调用设备1包括第一装置111、第三装置112、第五装置113、第七装置114和第九装置115,配置设备2包括第二装置121和第四装置122。
具体地,配置设备2的第二装置121建立关于同机房服务的调度配置信息;第四装置122将所述调度配置信息发布至对应的服务调用设备,相应地,服务调用设备1的第九装置115获取对应配置设备中对应的关于同机房服务的调度配置信息;服务调用设备1的第一装置111获取关于分布式服务的服务调用请求;第三装置112获取服务调用设备所对应的服务注册设备中的全量服务注册信息;第五装置113根据所述调度配置信息及所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;第七装置114通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。
具体地,服务调用设备1的第一装置、第三装置和第七装置与图1中的相同或相似,在此不再赘述。
配置设备2第二装置121建立关于同机房服务的调度配置信息。在此,关于同机房服务的调度配置信息记录了在同机房服务调度中涉及的一些关于如何确定服务设备提供端地址的信息,会与服务注册设备中的全量服务注册信息配合,使得分布式服务调用更加容易适应分布式网络的复杂环境,同时也更加精确和灵活。例如,在某些需要将两个物理机房在逻辑上认同为同一个机房的情况下,关于两个机房服务提供端的地址信息需要进行算法规则的处理,从而达到在分布式网络中的服务调用中服务调用设备与服务提供设备归属同一机房的效果。这种情况下,所述的两个机房服务提供端的地址信息在算法规则处理后就会被上传到配置设备2的关于同机房服务的调度配置信息中。
本领域技术人员应能理解上述建立关于同机房服务的调度配置信息的方式仅为举例,其他现有的或今后可能出现的述获取服务调用设备所对应的服务注册设备中的建立关于同机房服务的调度配置信息的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
接着,第四装置122将所述调度配置信息发布至对应的服务调用设备。在此,所述调度配置信息需要及时发布至对应的服务调用设备,从而有利于分布式服务调度过程中减少调度失误,提升调度的效率。例如,在阿里巴巴的分布式系统中,分布式服务框架HSF2.0每隔一定的周期,例如30秒,和配置中心检测配置信息是否有更新,若有,则拉取到内存中,继而刷新服务注册设备中的相关地址列表,从而避免配置的变动引发的服务调用的重新发布。
本领域技术人员应能理解上述将所述调度配置信息发布至对应的服务调用设备的方式仅为举例,其他现有的或今后可能出现的将所述调度配置信息发布至对应的服务调用设备的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
相应地,服务调用设备1的第九装置115获取对应配置设备2中对应的关于同机房服务的调度配置信息。
接着,第五装置113根据所述调度配置信息及所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。在此,所述的调度配置信息可以和全量服务注册信息共同确定对应的服务提供设备的地址,从而更加精确和灵活地进行分布式服务调用。
优选地,所述调度配置信息包括以下至少任一项:
同机房匹配规则信息;
同机房设置开启信息。
具体地,同机房匹配规则信息是指在分布式调用中为了尽可能的在同一机房进行服务调用而采用的,对服务注册信息进行机房归属辨别的机制。在分布式网络中,为了准确辨别在服务注册信息中的可用服务提供设备地址与服务调用设备地址是否处于同一机房,需要对服务注册信息中的上述地址列表进行判定。同时,在机房数据巨大的分布式网络中,在特定的时间会发生服务调用请求的爆发,例如阿里巴巴的分布式系统在双十一等活动期间商品查看,付款等服务调用量剧增,此时在对地址的机房归属进行判断若依赖于第三方的服务,例如通过访问特定运维系统中所存储的设备的硬件信息对地址机房归属进行直接判断,此时作为单纯提供服务查询的运维系统会难以承担巨大的查询服务,从而致使分布式系统在服务调用量爆发时段的稳定和可靠性降低。据此,需要对服务调用设备以及服务提供设备的地址信息进行一定规则下的直接辨别,这样的辨别机制可不依赖于第三方服务,从而可使得整个分布式服务框架稳定可靠。
相应地,同机房设置开启信息是指在分布式网络中为避免某些机房彼此依赖以及本机房可用服务提供设备不足的情况下,对是否进行同机房调用进行控制的一种机制。例如,在阿里巴巴分布式系统的历史架构是默认机房和机房之间是彼此依赖的,一些服务可能会因为历史原因只在一个机房进行了部署从而导致在服务调用设备不在同一机房时引发调用请求的失败和错误,带来较差的用户体验,同时,本机房的可用服务提供设备是有限的,若在其可用数量不足的情况下进行同机房服务调用,会导致服务请求失败或者等待时间过长,为保障系统的稳定性和用户体验,此时可允许服务调用跨机房进行。据此,就需要根据实际情况对是否进行同机房服务调用进行精确地控制,从而提升系统稳定性,同时对分布式网络资源进行合理使用。
优选地,对于同机房设置开启信息,当所述调度配置信息包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。当所述调度配置信息未包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房或不同机房。
具体地,因为当调度配置信息不包括所述同机房设置开启信息时,即可能默认为允许跨机房调用,此时若存在某些服务因为自身或者历史原因未在本机房部署,则分布式服务调用仍可正常进行,同时会产生网络通讯开销和带来一定的延时风险;反之,在调度配置信息包括同机房设置开启信息的情况下,会因为选择为同机房调用,导致调用这些因为自身或历史原因未在本机房部署的服务失败,带来较差的用户体验。
进一步地,所述同机房匹配规则信息包括:
若两台设备的地址满足以下至少任一项,则所述两台设备归属同一机房:
具有同一个同机房地址段;
属于同一个同机房地址集合;
属于同一个同机房地址范围;
具有同一个同机房地址正则运算结果;
符合同一个同机房子网掩码。
其中,同机房匹配规则信息可帮助服务调用设备准确辨别在服务注册信息中的可用服务提供设备地址与服务调用设备地址是否处于同一机房。
优选的,具有同一个同机房地址段匹配规则是指同机房设备中的所有地址的某段或者某几段是一致的,据此可以直接对两者地址是否归属同一机房进行判断,例如,在机房建立时即在运维阶段就将同一机房的设备的IP地址前两位设置为相同的地址段,即A1机房的IP都统一为10.23.*.*,A2机房的IP都同一为10.24.*.*。属于同一个同机房地址集合匹配规则是指将不同设备可能无一定规律的地址指定为同一机房的地址,例如,将设备IP地址10.236.17.0、172.23.11.25、10.236.10.111指定为同一机房地址。属于同一个同机房地址范围匹配规则是指将某段或者某几段在一定连续范围内的变化的设备地址指定为同一机房的地址,例如,将IP地址范围在172.28.[11-12].[25-199]内的设备指定为同一机房地址。具有同一个同机房地址正则运算结果匹配规则是指设备地址在相同的算法规则下若呈现同样的结果,则将相应设备指定为同一机房的地址,例如,A3:^10.124.2\d.1\d?$,A3是一个机房,符合A3的正则的地址就归属为A3机房。符合同一个同机房子网掩码匹配规则是指子网掩码也可以依据上述规则进行匹配,对于子网掩码符合条件的,可指定为同一机房。
本领域技术人员应能理解上述同机房匹配规则建立的方式仅为举例,其他现有的或今后可能出现的同机房匹配规则建立的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
更优选地,所述调度配置信息包括同机房匹配规则信息或同机房设置开启信息;其中,所述同机房匹配规则信息包括一个或多个配置组,具有同一个配置组中的IP地址的不同设备归属同一机房。具体地,基于同机房匹配规则,其符合规则的地址所对应的设备可在物理上归属同一机房,亦可在逻辑上归属同一机房,从而克服IP地址的稀缺性所致的机房IP段的多样化,或者满足将物理机房合并或拆分的需求。据此,可在逻辑上依照同机房匹配规则对设备地址进行划分,从而形成虚拟机房,如下是在逻辑上划分虚拟机房的典型举例,其中每行的cmgroup元素代表一个特定的虚拟机房:
本领域技术人员应能理解上述划分逻辑机房的方式仅为举例,其他现有的或今后可能出现的划分逻辑机房的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
相应地,当所述调度配置信息包括所述同机房设置开启信息时,所述调度配置信息还包括基于服务粒度的同机房服务启用规则信息。当调度配置信息不包括所述同机房设置开启信息时,即可能默认为允许跨机房调用,此时分布式服务调用仍可正常进行,但是一旦选择为跨机房调用,则会产生网络通讯开销和带来一定的延时风险,鉴于在一个完整的分布式网络系统中,存在大量的不同地服务,因此需要依据实际情况,基于服务粒度对每个服务进行判断,从而杜绝统一设定同机房设置是否开启带来的调用失败或者是资源浪费。例如A服务没有部署在DC1机房,B服务部署在DC1机房以及其它机房,当服务调用设备在DC1调用A服务时,若设定为需选择本机房服务提供端地址进行调用,则会导致调用A服务失败,但B服务确因为部署在本机房调用成功;若设定为不选择本机房服务提供端进行调用,则会调用A服务成功,但是B服务调用确舍近求远调用其它机房的设备提供服务,从而浪费了本机房的资源。对于这一情况,即可对A服务和B服务的调用分别设置同机房设置开启信息,例如用on|off在配置设备的后台编码中对A服务进行开关控制。对于B服务,在机房可提供服务设备充足的情况下,开启同机房设置,反之则关闭,例如通过设置一个同机房设置开启阈值对其进行控制,其中,同机房设置开启阈值可以是服务可用比例=本机房可用服务提供设备数量/所有服务提供设备数量,当服务可用比例大于阈值时,启用同机房设置,反之则不启用。
图3示出根据本申请的一个方面的一种在服务调用设备端用于实现分布式服务调用的方法流程图。
具体地,在步骤S11中服务调用设备1获取关于分布式服务的服务调用请求;在步骤S12中服务调用设备1获取服务调用设备所对应的服务注册设备中的全量服务注册信息;在步骤S13中服务调用设备1根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;在步骤S14中服务调用设备1通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。
具体地,在步骤S11中服务调用设备1获取关于分布式服务的服务调用请求。在此,分布式网络服务框架中的服务需求端在需要服务的时候,向分布式网络发出请求,此时,服务调用设备会获取该请求。例如,在阿里巴巴的分布式系统中,消费者在通过一定的方式获取并需要使用自己关心的服务时,会向阿里巴巴的分布式远程服务框架HSF2.0发出调用请求,而HSF2.0在接受到调用请求后会触发服务调用流程。
本领域技术人员应能理解上述获取服务调用请求的方式仅为举例,其他现有的或今后可能出现的述获取服务调用请求的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
接着,在步骤S12中服务调用设备1获取服务调用设备所对应的服务注册设备中的全量服务注册信息。具体地,服务调用设备在接受到调用请求后,会获取对应服务注册设备中的全量服务注册信息。在此,服务注册设备在分布式网络中可以有多个,每个设备中都有整个分布式网络中全量的服务注册信息,而服务注册信息包括所需调用的服务所对应服务提供设备的地址信息,从而可以快捷地在任意一个服务设备中查询到所有的服务提供设备的地址信息。例如,在阿里巴巴的分布式系统在接收到调用请求后,会从类似DNS的服务器上获取可用的地址注册中心的服务器列表,此列表一般情况下是本机房的地址注册中心的服务器列表,据此向地址注册中心查询所需调用的服务所对应的地址信息,其中,地址注册中心即所述服务注册设备。
本领域技术人员应能理解上述获取服务调用设备所对应的服务注册设备中的全量服务注册信息的方式仅为举例,其他现有的或今后可能出现的述获取服务调用设备所对应的服务注册设备中的全量服务注册信息的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
优选地,所述全量服务注册信息包括所述服务注册设备通过与其他服务注册设备进行数据同步所获得的、所述其他服务注册设备中的服务注册信息。具体地,为保证在分布式网络中的多个服务注册设备中的服务注册信息都是全量的,服务注册设备之间的服务注册信息需要进行数据同步,基于此可以提升对服务注册信息的查找效率,从而提升分布式网络中的服务调用响应速度。更优选地,可以基于tcp长连接对服务注册设备之间进行实时同步,同步的粒度可以精确到基于每个服务,服务注册信息的同步可以有短暂的不一致,最终达到一致即可。
接着,在步骤S13中服务调用设备1根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。具体地,在获取所述全量服务注册信息后,因为所有可调用的服务对应注册信息中包括其所对应的服务提供设备的地址信息,在分布式调用中,若服务调用设备所在的机房与最终的服务提供设备所在的机房分属于两个机房,则会引发跨机房调用所涉及的网络费用开销,同时服务响应用时将会延长,从而导致用户体验下降。例如,从上海的机房发出的服务请求最终响应的服务提供设备是在成都的机房中,这一过程中远距离通讯会带来网络延时。据此,在分布式网络中服务,服务提供设备与服务调用设备归属同一机房会避免上述状况。
接着,在步骤S14中服务调用设备1通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。具体地,获得服务调用所对应服务提供设备的地址后,服务调用设备就可以依据地址信息向服务提供设备发出服务调用请求,服务提供设备接到请求后开始响应并提供服务,从而完成分布式服务调用。
图4示出根据本申请另一个方面的服务调用设备和配置设备配合实现一种用于实现分布式服务调用的方法流程图。
具体地,在步骤S21中配置设备2建立关于同机房服务的调度配置信息;在步骤S22中配置设备2将所述调度配置信息发布至对应的服务调用设备,相应地,服务调用设备1获取对应配置设备中对应的关于同机房服务的调度配置信息;在步骤S11中服务调用设备1获取关于分布式服务的服务调用请求;在步骤S12中服务调用设备1获取服务调用设备所对应的服务注册设备中的全量服务注册信息;在步骤S13中服务调用设备1根据所述调度配置信息及所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;在步骤S14中服务调用设备1通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务。
具体地,步骤S11、S12和S14与图3中的步骤相同或相似,在此不再赘述。
在步骤S21中配置设备2建立关于同机房服务的调度配置信息。在此,关于同机房服务的调度配置信息记录了在同机房服务调度中涉及的一些关于如何确定服务设备提供端地址的信息,会与服务注册设备中的全量服务注册信息配合,使得分布式服务调用更加容易适应分布式网络的复杂环境,同时也更加精确和灵活。例如,在某些需要将两个物理机房在逻辑上认同为同一个机房的情况下,关于两个机房服务提供端的地址信息需要进行算法规则的处理,从而达到在分布式网络中的服务调用中服务调用设备与服务提供设备归属同一机房的效果。这种情况下,所述的两个机房服务提供端的地址信息在算法规则处理后就会被上传到配置设备2的关于同机房服务的调度配置信息中。
本领域技术人员应能理解上述建立关于同机房服务的调度配置信息的方式仅为举例,其他现有的或今后可能出现的述获取服务调用设备所对应的服务注册设备中的建立关于同机房服务的调度配置信息的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
接着,在步骤S22中配置设备2将所述调度配置信息发布至对应的服务调用设备。在此,所述调度配置信息需要及时发布至对应的服务调用设备,从而有利于分布式服务调度过程中减少调度失误,提升调度的效率。例如,在阿里巴巴的分布式系统中,分布式服务框架HSF2.0每隔一定的周期,例如30秒,和配置中心检测配置信息是否有更新,若有,则拉取到内存中,继而刷新服务注册设备中的相关地址列表,从而避免配置的变动引发的服务调用的重新发布。
本领域技术人员应能理解上述将所述调度配置信息发布至对应的服务调用设备的方式仅为举例,其他现有的或今后可能出现的将所述调度配置信息发布至对应的服务调用设备的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
相应地,在步骤S22中服务调用设备1获取对应配置设备2中对应的关于同机房服务的调度配置信息。
接着,在步骤S13中服务调用设备1根据所述调度配置信息及所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。在此,所述的调度配置信息可以和全量服务注册信息共同确定对应的服务提供设备的地址,从而更加精确和灵活地进行分布式服务调用。
优选地,所述调度配置信息包括以下至少任一项:
同机房匹配规则信息;
同机房设置开启信息。
具体地,同机房匹配规则信息是指在分布式调用中为了尽可能的在同一机房进行服务调用而采用的,对服务注册信息进行机房归属辨别的机制。在分布式网络中,为了准确辨别在服务注册信息中的可用服务提供设备地址与服务调用设备地址是否处于同一机房,需要对服务注册信息中的上述地址列表进行判定。同时,在机房数据巨大的分布式网络中,在特定的时间会发生服务调用请求的爆发,例如阿里巴巴的分布式系统在双十一等活动期间商品查看,付款等服务调用量剧增,此时在对地址的机房归属进行判断若依赖于第三方的服务,例如通过访问特定运维系统中所存储的设备的硬件信息对地址机房归属进行直接判断,此时作为单纯提供服务查询的运维系统会难以承担巨大的查询服务,从而致使分布式系统在服务调用量爆发时段的稳定和可靠性降低。据此,需要对服务调用设备以及服务提供设备的地址信息进行一定规则下的直接辨别,这样的辨别机制可不依赖于第三方服务,从而可使得整个分布式服务框架稳定可靠。
相应地,同机房设置开启信息是指在分布式网络中为避免某些机房彼此依赖以及本机房可用服务提供设备不足的情况下,对是否进行同机房调用进行控制的一种机制。例如,在阿里巴巴分布式系统的历史架构是默认机房和机房之间是彼此依赖的,一些服务可能会因为历史原因只在一个机房进行了部署从而导致在服务调用设备不在同一机房时引发调用请求的失败和错误,带来较差的用户体验,同时,本机房的可用服务提供设备是有限的,若在其可用数量不足的情况下进行同机房服务调用,会导致服务请求失败或者等待时间过长,为保障系统的稳定性和用户体验,此时可允许服务调用跨机房进行。据此,就需要根据实际情况对是否进行同机房服务调用进行精确地控制,从而提升系统稳定性,同时对分布式网络资源进行合理使用。
优选地,对于同机房设置开启信息,当所述调度配置信息包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。当所述调度配置信息未包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房或不同机房。
具体地,因为当调度配置信息不包括所述同机房设置开启信息时,即可能默认为允许跨机房调用,此时若存在某些服务因为自身或者历史原因未在本机房部署,则分布式服务调用仍可正常进行,同时会产生网络通讯开销和带来一定的延时风险;反之,在调度配置信息包括同机房设置开启信息的情况下,会因为选择为同机房调用,导致调用这些因为自身或历史原因未在本机房部署的服务失败,带来较差的用户体验。
进一步地,所述同机房匹配规则信息包括:
若两台设备的地址满足以下至少任一项,则所述两台设备归属同一机房:
具有同一个同机房地址段;
属于同一个同机房地址集合;
属于同一个同机房地址范围;
具有同一个同机房地址正则运算结果;
符合同一个同机房子网掩码。
其中,同机房匹配规则信息可帮助服务调用设备准确辨别在服务注册信息中的可用服务提供设备地址与服务调用设备地址是否处于同一机房。
优选的,具有同一个同机房地址段匹配规则是指同机房设备中的所有地址的某段或者某几段是一致的,据此可以直接对两者地址是否归属同一机房进行判断,例如,在机房建立时即在运维阶段就将同一机房的设备的IP地址前两位设置为相同的地址段,即A1机房的IP都统一为10.23.*.*,A2机房的IP都同一为10.24.*.*。属于同一个同机房地址集合匹配规则是指将不同设备可能无一定规律的地址指定为同一机房的地址,例如,将设备IP地址10.236.17.0、172.23.11.25、10.236.10.111指定为同一机房地址。属于同一个同机房地址范围匹配规则是指将某段或者某几段在一定连续范围内的变化的设备地址指定为同一机房的地址,例如,将IP地址范围在172.28.[11-12].[25-199]内的设备指定为同一机房地址。具有同一个同机房地址正则运算结果匹配规则是指设备地址在相同的算法规则下若呈现同样的结果,则将相应设备指定为同一机房的地址,例如,A3:^10.124.2\d.1\d?$,A3是一个机房,符合A3的正则的地址就归属为A3机房。符合同一个同机房子网掩码匹配规则是指子网掩码也可以依据上述规则进行匹配,对于子网掩码符合条件的,可指定为同一机房。
本领域技术人员应能理解上述同机房匹配规则建立的方式仅为举例,其他现有的或今后可能出现的同机房匹配规则建立的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
更优选地,所述调度配置信息包括同机房匹配规则信息或同机房设置开启信息;其中,所述同机房匹配规则信息包括一个或多个配置组,具有同一个配置组中的IP地址的不同设备归属同一机房。具体地,基于同机房匹配规则,其符合规则的地址所对应的设备可在物理上归属同一机房,亦可在逻辑上归属同一机房,从而克服IP地址的稀缺性所致的机房IP段的多样化,或者满足将物理机房合并或拆分的需求。据此,可在逻辑上依照同机房匹配规则对设备地址进行划分,从而形成虚拟机房,如下是在逻辑上划分虚拟机房的典型举例,其中每行的cmgroup元素代表一个特定的虚拟机房:
本领域技术人员应能理解上述划分逻辑机房的方式仅为举例,其他现有的或今后可能出现的划分逻辑机房的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
相应地,当所述调度配置信息包括所述同机房设置开启信息时,所述调度配置信息还包括基于服务粒度的同机房服务启用规则信息。当调度配置信息不包括所述同机房设置开启信息时,即可能默认为允许跨机房调用,此时分布式服务调用仍可正常进行,但是一旦选择为跨机房调用,则会产生网络通讯开销和带来一定的延时风险,鉴于在一个完整的分布式网络系统中,存在大量的不同地服务,因此需要依据实际情况,基于服务粒度对每个服务进行判断,从而杜绝统一设定同机房设置是否开启带来的调用失败或者是资源浪费。例如A服务没有部署在DC1机房,B服务部署在DC1机房以及其它机房,当服务调用设备在DC1调用A服务时,若设定为需选择本机房服务提供端地址进行调用,则会导致调用A服务失败,但B服务确因为部署在本机房调用成功;若设定为不选择本机房服务提供端进行调用,则会调用A服务成功,但是B服务调用确舍近求远调用其它机房的设备提供服务,从而浪费了本机房的资源。对于这一情况,即可对A服务和B服务的调用分别设置同机房设置开启信息,例如用on|off在配置设备的后台编码中对A服务进行开关控制。对于B服务,在机房可提供服务设备充足的情况下,开启同机房设置,反之则关闭,例如通过设置一个同机房设置开启阈值对其进行控制,其中,同机房设置开启阈值可以是服务可用比例=本机房可用服务提供设备数量/所有服务提供设备数量,当服务可用比例大于阈值时,启用同机房设置,反之则不启用。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (17)
1.一种在服务调用设备端用于实现分布式服务调用的方法,其中,该方法包括:
获取关于分布式服务的服务调用请求;
获取服务调用设备所对应的服务注册设备中的全量服务注册信息;
获取对应配置设备中对应的关于同机房服务的调度配置信息;所述调度配置信息包括同机房匹配规则信息;根据所述调度配置信息及所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;
通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务;其中,服务注册信息包括所调用的服务所对应服务提供设备的地址信息,每个所述服务注册设备都设有分布式网络的全量服务注册信息;
其中,所述同机房匹配规则信息包括:
若两台设备的地址满足以下至少任一项,则所述两台设备归属同一机房:
具有同一个同机房地址段;
属于同一个同机房地址集合;
属于同一个同机房地址范围;
具有同一个同机房地址正则运算结果;
符合同一个同机房子网掩码。
2.根据权利要求1所述的方法,其中,所述调度配置信息还包括:
同机房设置开启信息。
3.根据权利要求2所述的方法,其中,所述根据所述全量服务注册信息确定对应服务提供设备的地址信息包括:
当所述调度配置信息包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。
4.根据权利要求3所述的方法,其中,所述根据所述全量服务注册信息确定对应服务提供设备的地址信息还包括:
当所述调度配置信息未包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房或不同机房。
5.根据权利要求1至4中任一项所述的方法,其中,所述全量服务注册信息包括所述服务注册设备通过与其他服务注册设备进行数据同步所获得的、所述其他服务注册设备中的服务注册信息。
6.一种在配置设备端用于实现分布式服务调用的方法,其中,该方法包括:
建立关于同机房服务的调度配置信息;
将所述调度配置信息发布至对应的服务调用设备;
还包括:
获取关于分布式服务的服务调用请求;
获取服务调用设备所对应的服务注册设备中的全量服务注册信息;获取对应配置设备中对应的关于同机房服务的调度配置信息;所述调度配置信息包括同机房匹配规则信息;其中,所述同机房匹配规则信息包括一个或多个配置组,具有同一个配置组中的IP地址的不同设备归属同一机房;
根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;
通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务;
其中,服务注册信息包括所调用的服务所对应服务提供设备的地址信息,每个所述服务注册设备都设有分布式网络的全量服务注册信息;
其中,若两台设备的地址满足以下至少任一项,则所述两台设备归属同一机房:
具有同一个同机房地址段;
属于同一个同机房地址集合;
属于同一个同机房地址范围;
具有同一个同机房地址正则运算结果;
符合同一个同机房子网掩码。
7.根据权利要求6所述的方法,其中,所述调度配置信息还包括同机房设置开启信息。
8.根据权利要求7所述的方法,其中,当所述调度配置信息包括所述同机房设置开启信息时,所述调度配置信息还包括基于服务粒度的同机房服务启用规则信息。
9.一种用于实现分布式服务调用的服务调用设备,其中,该服务调用设备包括:
第一装置,用于获取关于分布式服务的服务调用请求;
第三装置,用于获取服务调用设备所对应的服务注册设备中的全量服务注册信息;获取对应配置设备中对应的关于同机房服务的调度配置信息;所述调度配置信息包括同机房匹配规则信息;
第五装置,用于根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;
第七装置,用于通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务;
其中,服务注册信息包括所调用的服务所对应服务提供设备的地址信息,每个所述服务注册设备都设有分布式网络的全量服务注册信息;
其中,所述同机房匹配规则信息包括:
若两台设备的地址满足以下至少任一项,则所述两台设备归属同一机房:
具有同一个同机房地址段;
属于同一个同机房地址集合;
属于同一个同机房地址范围;
具有同一个同机房地址正则运算结果;
符合同一个同机房子网掩码。
10.根据权利要求9所述的服务调用设备,其中,所述调度配置信息还包括:
同机房设置开启信息。
11.根据权利要求10所述的服务调用设备,其中,所述第五装置用于:
当所述调度配置信息包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房。
12.根据权利要求11所述的服务调用设备,其中,所述第五装置还用于:
当所述调度配置信息未包括同机房设置开启信息时,根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房或不同机房。
13.根据权利要求9至12中任一项所述的服务调用设备,其中,所述全量服务注册信息包括所述服务注册设备通过与其他服务注册设备进行数据同步所获得的、所述其他服务注册设备中的服务注册信息。
14.一种用于实现分布式服务调用的配置设备,其中,该配置设备包括:
第二装置,用于建立关于同机房服务的调度配置信息;
第四装置,用于将所述调度配置信息发布至对应的服务调用设备;
其中,服务调用设备包括:
第一装置,用于获取关于分布式服务的服务调用请求;
第三装置,用于获取服务调用设备所对应的服务注册设备中的全量服务注册信息;获取对应配置设备中对应的关于同机房服务的调度配置信息;所述调度配置信息包括同机房匹配规则信息;其中,所述同机房匹配规则信息包括一个或多个配置组,具有同一个配置组中的IP地址的不同设备归属同一机房;
第五装置,用于根据所述全量服务注册信息确定对应服务提供设备的地址信息,其中,所述服务提供设备与所述服务调用设备归属同一机房;
第七装置,用于通过根据所述地址信息向所述服务提供设备发送所述服务调用请求来调用对应的分布式服务;
其中,服务注册信息包括所调用的服务所对应服务提供设备的地址信息,每个所述服务注册设备都设有分布式网络的全量服务注册信息;
其中,若两台设备的地址满足以下至少任一项,则所述两台设备归属同一机房:
具有同一个同机房地址段;
属于同一个同机房地址集合;
属于同一个同机房地址范围;
具有同一个同机房地址正则运算结果;
符合同一个同机房子网掩码。
15.根据权利要求14所述的配置设备,其中,所述调度配置信息还包括同机房设置开启信息。
16.根据权利要求15所述的配置设备,其中,当所述调度配置信息包括所述同机房设置开启信息时,所述调度配置信息还包括基于服务粒度的同机房服务启用规则信息。
17.一种用于实现分布式服务调用的系统,其中,该系统包括如权利要求9至13中任一项所述的服务调用设备,以及如权利要求14至16中任一项所述的配置设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510059744.5A CN105991694B (zh) | 2015-02-05 | 2015-02-05 | 一种实现分布式服务调用的方法与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510059744.5A CN105991694B (zh) | 2015-02-05 | 2015-02-05 | 一种实现分布式服务调用的方法与设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105991694A CN105991694A (zh) | 2016-10-05 |
CN105991694B true CN105991694B (zh) | 2019-11-15 |
Family
ID=57037233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510059744.5A Active CN105991694B (zh) | 2015-02-05 | 2015-02-05 | 一种实现分布式服务调用的方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105991694B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107102905B (zh) * | 2017-04-13 | 2020-08-11 | 华南理工大学 | 基于Artifact的大数据服务的平台及平台处理方法 |
CN107592229B (zh) * | 2017-09-22 | 2021-07-27 | 银联商务股份有限公司 | 一种服务调用方法、装置及系统 |
CN110324167B (zh) * | 2018-03-30 | 2023-02-17 | 阿里巴巴集团控股有限公司 | 服务治理规则的配置方法、装置、系统以及电子设备 |
CN110049089A (zh) * | 2019-01-09 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种服务注册中心 |
CN111182062B (zh) * | 2019-12-30 | 2023-05-19 | 苏宁云计算有限公司 | 服务多活调用方法、系统及电子设备 |
CN113329047B (zh) * | 2020-02-29 | 2023-04-18 | 华为技术有限公司 | 一种分布式服务调度方法及相关装置 |
CN111915892B (zh) * | 2020-07-29 | 2023-10-20 | 腾讯科技(深圳)有限公司 | 数据请求的响应方法、装置、计算机设备以及介质 |
CN113037512A (zh) * | 2021-03-02 | 2021-06-25 | 北京金山云网络技术有限公司 | 网络资源消耗的统计方法、装置和服务器 |
CN115118652A (zh) * | 2022-07-18 | 2022-09-27 | 中信百信银行股份有限公司 | 路由分配方法、装置和设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034541A (zh) * | 2012-11-16 | 2013-04-10 | 北京奇虎科技有限公司 | 一种分布式消息系统及其中的设备和方法 |
CN103401897A (zh) * | 2013-07-15 | 2013-11-20 | 云南电网公司普洱供电局 | 一种分布式服务注册中心构建方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7962545B2 (en) * | 2002-12-27 | 2011-06-14 | Intel Corporation | Dynamic service registry for virtual machines |
US20080293403A1 (en) * | 2007-05-22 | 2008-11-27 | Colin Shong Chin Quon | Mobile communication service bridging |
CN102394928B (zh) * | 2011-10-31 | 2014-02-12 | 华南理工大学 | 一种分布式环境下的语义web服务系统 |
CN102932440A (zh) * | 2012-10-26 | 2013-02-13 | 北京奇虎科技有限公司 | 用于分布式数据存储系统的数据管理方法、设备和系统 |
-
2015
- 2015-02-05 CN CN201510059744.5A patent/CN105991694B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034541A (zh) * | 2012-11-16 | 2013-04-10 | 北京奇虎科技有限公司 | 一种分布式消息系统及其中的设备和方法 |
CN103401897A (zh) * | 2013-07-15 | 2013-11-20 | 云南电网公司普洱供电局 | 一种分布式服务注册中心构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105991694A (zh) | 2016-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105991694B (zh) | 一种实现分布式服务调用的方法与设备 | |
US11368376B2 (en) | Provisioning dedicated network resources with API services | |
US20190115264A1 (en) | Client-initiated leader election in distributed client-server systems | |
CN109862051A (zh) | 一种微服务架构下多租户的实现方法及系统 | |
CN105208047B (zh) | 分布式系统服务器上下线方法及服务器 | |
CN105913847A (zh) | 语音控制系统、用户端设备、服务器和中央控制单元 | |
CN109412878A (zh) | 多租户业务接入实现方法、装置及电子设备 | |
CN110442610A (zh) | 负载均衡的方法、装置、计算设备以及介质 | |
US10212286B2 (en) | System and method for allocation and management of shared virtual numbers | |
CN106034138A (zh) | 一种远程服务调用方法及装置 | |
CN108256069A (zh) | 一种页面跨域访问的方法和装置 | |
CN105930249B (zh) | 应用监控方法和装置 | |
CN106713353A (zh) | 一种地理信息服务的智能化无缝聚合方法及系统 | |
CN104935616A (zh) | 一种数据处理方法、设备和esb系统 | |
CN105933154A (zh) | 一种云计算资源的管理方法 | |
CN112799970B (zh) | 测试数据处理方法、装置、电子设备及介质 | |
CN114218046A (zh) | 一种业务监控方法、介质、电子设备及可读存储介质 | |
US10936968B2 (en) | Ticket routing | |
US10776172B1 (en) | Cost optimized services for dynamic service levels | |
CN107547607B (zh) | 一种集群迁移方法及装置 | |
WO2016202220A1 (zh) | 一种实现vtm业务的方法及系统 | |
US8412817B1 (en) | Load balancing voicemail server system | |
US11854061B2 (en) | Service provisioning | |
CN110958148A (zh) | 一种分布式接入设备的部署系统 | |
CN110099121A (zh) | 公有云服务处理方法、计算机装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211103 Address after: Room 554, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: TAOBAO (CHINA) SOFTWARE CO.,LTD. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Patentee before: ALIBABA GROUP HOLDING Ltd. |
|
TR01 | Transfer of patent right |