CN112738284A - 服务集成中的数据传输方法、装置、设备及存储介质 - Google Patents

服务集成中的数据传输方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112738284A
CN112738284A CN202110353970.XA CN202110353970A CN112738284A CN 112738284 A CN112738284 A CN 112738284A CN 202110353970 A CN202110353970 A CN 202110353970A CN 112738284 A CN112738284 A CN 112738284A
Authority
CN
China
Prior art keywords
service
address
connector
target service
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110353970.XA
Other languages
English (en)
Other versions
CN112738284B (zh
Inventor
孙彬
李云帆
李克新
黄明波
冯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110353970.XA priority Critical patent/CN112738284B/zh
Publication of CN112738284A publication Critical patent/CN112738284A/zh
Application granted granted Critical
Publication of CN112738284B publication Critical patent/CN112738284B/zh
Priority to PCT/CN2022/082006 priority patent/WO2022206452A1/zh
Priority to JP2023538140A priority patent/JP2024504006A/ja
Priority to EP22778635.7A priority patent/EP4236207A1/en
Priority to US17/991,474 priority patent/US11856065B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051Service on demand, e.g. definition and deployment of services in real time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/046Network management architectures or arrangements comprising network management agents or mobile agents therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Abstract

本申请提供了一种服务集成中的数据传输方法、装置、设备及计算机可读存储介质;方法包括:iPaaS系统的网关接收iPaaS系统的连接器发送的数据传输请求,iPaaS系统部署在云网络中iPaaS系统所属租户的第一VPC上;基于预先配置的服务配置信息,确定连接器要访问的目标服务的地址标识,以及网关与目标服务的服务代理进行数据传输的第一传输连接;服务代理部署在租户的内网中,目标服务部署在内网或租户的第二VPC中,第一传输连接为基于服务代理发起的第一连接建立请求预先建立的;通过第一传输连接,将数据传输请求和目标服务的地址标识发送至服务代理,以使服务代理基于地址标识,将数据传输请求发送至目标服务。通过本申请,实现iPaaS系统与租户内网之间网络的互通。

Description

服务集成中的数据传输方法、装置、设备及存储介质
技术领域
本申请涉及云计算服务领域,尤其涉及一种服务集成中的数据传输方法、装置、设备及计算机可读存储介质。
背景技术
集成平台即服务(Integration Platform as a Service,iPaaS)集成应用是为了将不同系统和服务按照一定逻辑集成起来而开发的应用程序。相关技术中,目标客户的很多内部系统、数据库、私有软件即服务(Software-as-a-Service,SaaS)系统都是部署在客户内网中的,而iPaaS系统通常部署在公有云上的虚拟私有云(Virtual Private Cloud,VPC)上,因而iPaaS系统不能直连客户内网的私有服务和数据库,从而无法完成对内网的私有服务和数据库的集成逻辑。此外,对于部分部署在不同的虚拟私有云上的待集成系统和数据库,由于跨地域之间的VPC无法通过客户内网直连,因此也无法通过部署在VPC上的iPaaS系统进行集成。可见,相关技术中的iPaaS服务集成方案在部分场景下存在网络不通的限制因素,无法很好地满足服务集成需求。
发明内容
本申请实施例提供一种服务集成中的数据传输方法、装置、设备及计算机可读存储介质,能够实现iPaaS系统与租户内网之间网络的互通,并实现对内网中服务的集成逻辑,从而可以实现对同一租户不同内网或不同VPC中服务的集成逻辑,进而可以完善iPaaS系统的服务集成能力,并能有效降低iPaaS系统的开发、维护和迭代成本。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种服务集成中的数据传输方法,包括:
集成平台即服务iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一虚拟私有云VPC上;
基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
本申请实施例提供一种服务集成中的数据传输方法,包括:
服务代理接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中;
基于所述地址标识,将所述连接器的数据传输请求发送至所述接器要访问的目标服务;
在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述目标连接器。
在一些实施例中,在所述服务代理接收到所述连接器要访问的目标服务发送的响应数据之前,所述方法还包括:所述服务代理向所述网关发送第一连接建立请求,以使所述网关与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表,以使所述网关在建立所述第一传输连接后,针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至服务配置信息中。
在一些实施例中,所述基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务,包括:基于所述地址标识,确定所述服务代理与所述连接器要访问的目标服务之间预先建立的第三传输连接;通过所述第三传输连接,将所述连接器的数据传输请求发送至所述目标服务;所述通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器,包括:通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器以及与所述连接器预先建立的第一传输连接,并通过所述第一传输连接将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,在基于所述地址标识,确定所述服务代理与所述连接器要访问的目标服务之间预先建立的第三传输连接之前,所述方法还包括:在接收到所述网关发送的携带所述连接器要访问的目标服务的地址标识的第三连接建立请求的情况下,基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
在一些实施例中,所述基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务,包括:基于所述地址标识,查询所述服务代理的连接状态跟踪表,得到所述服务代理的地址和所述连接器要访问的目标服务的地址;通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;在接收到所述连接器要访问的目标服务发送的响应数据的情况下,在所述基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接之前,还包括:获取所述连接器要访问的目标服务的地址和接收所述目标服务的响应数据的服务代理的地址;基于所述目标服务的地址和所述服务代理的地址,查询所述服务代理的连接状态跟踪表,得到所述目标服务的地址标识。
在一些实施例中,所述基于所述地址标识,查询所述服务代理的连接状态跟踪表,得到所述服务代理的地址和所述连接器要访问的目标服务的地址,包括:在所述服务代理的连接状态跟踪表中查询不到所述地址标识对应的记录的情况下,基于所述连接器要访问的目标服务的地址,为所述目标服务分配服务代理的地址;将所述目标服务的地址、所述服务代理的地址和所述地址标识组成的记录添加至所述服务代理的连接状态跟踪表中。
本申请实施例提供一种服务集成中的数据传输装置,包括:
第一接收模块,用于集成平台即服务iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一虚拟私有云VPC上;
第一映射模块,用于基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
第一发送模块,用于通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在一些实施例中,所述装置还包括:第一建立模块,用于在接收到所述服务代理发起的第一连接建立请求的情况下,与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表;第一分配模块,用于针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至所述服务配置信息中。
在一些实施例中,所述数据传输请求为所述连接器通过与所述网关预先建立的第二传输连接发送的,所述第一映射模块还用于:基于所述第二传输连接的标识,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;所述第一发送模块还用于:通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,确定与目标服务预先建立的第三传输连接,并通过所述第三传输连接,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在一些实施例中,所述装置还包括:第二接收模块,用于通过所述第一传输连接,接收所述服务代理返回的响应数据和所述目标服务的地址标识;其中,所述响应数据为所述目标服务通过所述第三传输连接发送至所述服务代理的;第一查询模块,用于基于所述目标服务的地址标识,查询所述服务配置信息,得到所述第二传输连接的标识;第二发送模块,用于基于所述第二传输连接的标识,将所述响应数据通过所述第二传输连接发送至所述连接器。
在一些实施例中,所述装置还包括:第二建立模块,用于在接收到所述连接器发送的第二连接建立请求的情况下,与所述连接器建立第二传输连接;第二查询模块,用于基于所述第二连接建立请求所请求的转发代理地址,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及与所述目标服务的服务代理进行数据传输的第一传输连接;第三发送模块,用于基于所述第一传输连接,将携带所述目标服务的地址标识的第三连接建立请求发送至所述服务代理,以使所述服务代理基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
在一些实施例中,所述第一映射模块还用于:获取发送所述数据传输请求的连接器的地址、接收所述数据传输请求的转发代理的地址以及所述连接器要访问的目标服务的地址;基于所述连接器的地址和所述转发代理的地址,查询所述网关的连接状态跟踪表,得到所述连接器要访问的目标服务的地址标识;基于所述转发代理的地址,查询预先配置的服务配置信息,得到所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;所述第一发送模块还用于:通过所述第一传输连接,将所述数据传输请求、所述目标服务的地址和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,查询所述服务代理的连接状态跟踪表,确定所述服务代理的地址,并通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在一些实施例中,所述第一映射模块还用于:在所述网关的连接状态跟踪表中查询不到所述连接器的地址和所述转发代理的地址对应的记录的情况下,基于所述目标服务的地址,生成所述连接器要访问的目标服务的地址标识;将所述连接器的地址、所述转发代理的地址和所述目标服务的地址标识组成的记录添加至所述网关的连接状态跟踪表中。
在一些实施例中,所述装置还包括:第三接收模块,用于通过所述第一传输连接,接收所述服务代理返回的响应数据和所述连接器要访问的目标服务的地址标识;第三查询模块,用于基于所述目标服务的地址标识,查询所述网关的连接状态跟踪表,得到发送所述响应数据的转发代理的地址以及接收所述响应数据的连接器的地址;第四发送模块,用于基于所述转发代理的地址和所述连接器的地址,将所述响应数据发送至所述连接器。
本申请实施例提供一种服务集成中的数据传输装置,包括:
第四接收模块,用于服务代理接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中;
第五发送模块,用于基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;
第五接收模块,用于在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
第六发送模块,用于通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,所述装置还包括:第三建立模块,用于所述服务代理向所述网关发送第一连接建立请求,以使所述网关与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表,以使所述网关在建立所述第一传输连接后,针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至服务配置信息中。
在一些实施例中,所述第五发送模块还用于:基于所述地址标识,确定所述服务代理与所述连接器要访问的目标服务之间预先建立的第三传输连接;通过所述第三传输连接,将所述连接器的数据传输请求发送至所述目标服务;所述第六发送模块还用于:通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器以及与所述连接器预先建立的第一传输连接,并通过所述第一传输连接将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,所述装置还包括:第四建立模块,用于在接收到所述网关发送的携带所述连接器要访问的目标服务的地址标识的第三连接建立请求的情况下,基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
在一些实施例中,所述第五发送模块还用于:基于所述地址标识,查询所述服务代理的连接状态跟踪表,得到所述服务代理的地址和所述连接器要访问的目标服务的地址;通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;所述第五接收模块还用于:获取所述连接器要访问的目标服务的地址和接收所述目标服务的响应数据的服务代理的地址;基于所述目标服务的地址和所述服务代理的地址,查询所述服务代理的连接状态跟踪表,得到所述目标服务的地址标识。
在一些实施例中,所述第五发送模块还用于:在所述服务代理的连接状态跟踪表中查询不到所述地址标识对应的记录的情况下,基于所述连接器要访问的目标服务的地址,为所述目标服务分配服务代理的地址;将所述目标服务的地址、所述服务代理的地址和所述地址标识组成的记录添加至所述服务代理的连接状态跟踪表中。
本申请实施例提供一种服务集成中的数据传输设备,包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于被处理器执行时,实现本申请实施例提供的方法。
本申请实施例具有以下有益效果:
通过部署在第一VPC上的iPaaS系统的网关接收iPaaS系统的连接器发送的数据传输请求,并基于预先配置的服务配置信息,对该数据传输请求进行地址映射处理,得到数据传输请求的目标服务的地址标识,以及网关与目标服务的服务代理进行数据传输的第一传输连接,其中,服务代理部署在租户的内网中,目标服务部署在该内网或第二VPC中,且第一传输连接为基于服务代理发起的第一连接建立请求预先建立的,通过第一传输连接,将数据传输请求和目标服务的地址标识发送至服务代理,以使服务代理基于该地址标识,将该数据传输请求发送至目标服务。这样,能够实现iPaaS系统与租户内网之间网络的互通,并实现对内网中服务的集成逻辑,从而可以实现对同一租户不同内网或不同VPC中服务的集成逻辑,进而可以完善iPaaS系统的服务集成能力,并能有效降低iPaaS系统的开发、维护和迭代成本。
附图说明
图1A是相关技术中部署iPaaS系统的一个可选的场景示意图;
图1B是相关技术中部署iPaaS系统的一个可选的场景示意图;
图1C是相关技术中部署iPaaS系统的一个可选的场景示意图;
图1D是相关技术中iPaaS系统私有化部署的一个可选的架构示意图;
图1E是本申请实施例提供的集成服务系统的一个可选的架构示意图;
图2A是本申请实施例提供的服务集成中的数据传输设备的一个可选的结构示意图;
图2B是本申请实施例提供的服务集成中的数据传输设备的一个可选的结构示意图;
图3是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图4是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图5A是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图5B是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图5C是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图6A是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图6B是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图7是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图8A是本申请实施例提供的服务集成系统的一种实现架构示意图;
图8B是本申请实施例提供的服务集成系统的一种实现架构示意图;
图8C是本申请实施例提供的服务集成系统中各模块之间的交互流程示意图;
图8D是本申请实施例提供的服务集成系统中私有云元数据的状态转移示意图;
图9是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图;
图10是本申请实施例提供的采用流量转发模式进行端口映射的服务集成系统的组成架构示意图;
图11是本申请实施例提供的采用NAT模式进行端口映射的服务集成系统的组成架构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
为了更好地理解本申请实施例提供的服务集成中的数据传输方法,下面先对相关技术中的iPaaS系统的部署方案进行说明。
相关技术中,iPaaS系统在某些场景下存在限制因素,无法满足集成需求。例如在如下的场景中,通过iPaaS系统无法完成集成逻辑:
1)场景1:
参见图1A,在该场景下,目标租户的内部系统11、数据库12部署在内网10中、内部私有SaaS 21部署在内网20中,而iPaaS系统31部署在公有云VPC上,在没有任何代理、虚拟专有网络(virtual private network,VPN)等第三方工具的辅助时,iPaaS系统31可以直连公网SaaS 32,但不能直连内网10中的内部系统11和数据库12,以及内网20中的内部私有SaaS 21,从而无法完成对内部系统11、数据库12以及私有SaaS 21的集成逻辑;
2)场景2:
参见图1B,在该场景下,商户系统41和数据库42部署在腾讯云中的商户VPC 40上,iPaaS系统51部署在腾讯云中的iPaaS VPC 50上,当商户VPC 40与iPaaS VPC 50属于不同地域(region)时,由于跨地域之间的VPC无法通过内网直连,因此也无法通过部署在iPaaSVPC 50上的iPaaS系统51对商户系统41和数据库42进行集成。同样的,参见图1C,HR系统61和数据库62部署在腾讯云中的自研VPC 60上,iPaaS系统71部署在腾讯云中的iPaaS VPC70上,当自研VPC 60与iPaaS VPC 70属于不同地域时,也无法通过部署在iPaaS VPC 70上的iPaaS系统71对HR系统61和数据库62进行集成。
可见,在上述场景中,由于iPaaS系统与租户的内网不能互通,并且iPaaS系统无法通过内网线路访问公有云VPC或自研VPC上的服务,导致相关技术中的iPaaS系统的应用场景受限,无法很好地满足服务集成需求。
针对上述问题,参见图1D,相关技术中采用在目标租户的内网80部署一套完整的私有iPaaS系统81的方式,利用私有iPaaS系统81打通同一个内网中的数据库82、内部私有SaaS 83,同时私有iPaaS系统81支持与公网SaaS 32的互通,但是私有iPaaS系统81与部署在另一内网90中的数据库91和内部私有SaaS 92之间的网络并不互通。
因此,上述相关技术中iPaaS系统私有化部署的方式并不能完全解决内网互通问题,存在如下问题:1)无法支持对多个不互通的内网或VPC中的服务集成,假如租户拥有一个以上内网时,一套私有iPaaS不能满足多个不互通的内网之间服务和数据库的集成;2)成本高,多个客户需要部署多套私有iPaaS系统,资源要求高;3)迭代更新周期长,iPaaS系统每次迭代更新的同时,需要同步更新所有部署在租户内网的私有iPaaS系统;4)维护难,不同客户的资源、网络等方面存在差异,私有iPaaS系统的运维成本会很大。
本申请实施例提供一种服务集成中的数据传输方法、装置、设备和计算机可读存储介质,能够实现iPaaS系统与租户内网之间网络的互通,并实现对内网中服务的集成逻辑,从而可以实现对同一租户不同内网或不同VPC中服务的集成逻辑,进而可以完善iPaaS系统的服务集成能力,并能有效降低iPaaS系统的开发、维护和迭代成本。下面说明本申请实施例提供的服务集成中的数据传输设备的示例性应用,本申请实施例提供的服务集成中的数据传输设备可以是iPaaS系统的网关,也可以是部署在租户内网中的服务代理。在实施时,该网关和该服务代理均可以实施为笔记本电脑,平板电脑,台式计算机,车载导航仪,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明作为服务集成中的数据传输设备的网关和服务代理均实施为服务器时的示例性应用。
参见图1E,图1E是本申请实施例提供的集成服务系统100的一个可选的架构示意图,可以将内网中的服务按照一定逻辑集成起来,该集成服务系统100包括部署在租户的内网(示例性示出了内网400-1和内网400-2)中的服务代理(示例性示出了服务代理410-1和服务代理410-2)和服务(示例性示出了服务420-1和服务420-2),部署在第一虚拟私有云上的iPaaS系统500,以及iPaaS系统500的网关510,服务代理与网关510之间可以实现网络互通,iPaaS系统可以通过网关510和服务代理,与相应的服务之间进行数据传输互通,同时iPaaS系统500还支持与公网SaaS 32的互通。
网关510用于:接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一虚拟私有云VPC上;基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
服务代理用于:接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中;基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,网关510和服务代理均可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。网关和服务代理可以通过有线或无线通信方式进行直接或间接地连接,本发明实施例中不做限制。
在一些实施例中,网关510和服务代理也均可以是区块链系统中的节点,其中,区块链系统可以是由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成的分布式节点,节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)之上的应用层协议。在区块链系统中,任何机器如服务器、终端都可以加入而成为节点。
参见图2A,图2A是本申请实施例提供的一种网关200的结构示意图,图2A所示的网关200包括:至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。道路匹配设备200中的各个组件通过总线系统240耦合在一起。可理解,总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2A中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me-mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor-y)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中,存储器250能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统251,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块252,用于经由一个或多个(有线或无线)网络接口220到达其他计算设备,示例性的网络接口220包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块253,用于经由一个或多个与用户接口230相关联的输出装置231(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块254,用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的服务集成中的数据传输装置可以采用软件方式实现,图2A示出了存储在存储器250中的服务集成中的数据传输装置255,其可以是程序和插件等形式的软件,包括以下软件模块:第一接收模块2551、第一映射模块2552和第一发送模块2553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的服务集成中的数据传输装置还可以采用硬件方式实现,作为示例,本申请实施例提供的服务集成中的数据传输装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的道路匹配方法,例如,硬件译码处理器形式的处理器可以采用一个或多个专用集成电路(Application SpecificIntegrated Circuit,ASIC)、DSP、可编程逻辑器件(Programmable Logic Device,PLD)、复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或其他电子元件。
参见图2B,图2B是本申请实施例提供的一种服务代理300的结构示意图,图2B所示的服务代理300包括:至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。道路匹配设备300中的各个组件通过总线系统340耦合在一起。可理解,总线系统340用于实现这些组件之间的连接通信。总线系统340除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2B中将各种总线都标为总线系统340。
处理器310可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器350可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。
存储器350包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是ROM,易失性存储器可以是RAM。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。
在一些实施例中,存储器350能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统351,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块352,用于经由一个或多个(有线或无线)网络接口320到达其他计算设备,示例性的网络接口320包括:蓝牙、WiFi和USB等;
呈现模块353,用于经由一个或多个与用户接口330相关联的输出装置331(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块354,用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的服务集成中的数据传输装置可以采用软件方式实现,图2B示出了存储在存储器350中的服务集成中的数据传输装置355,其可以是程序和插件等形式的软件,包括以下软件模块:第四接收模块3551、第五发送模块3552、第五接收模块3553和第六发送模块3554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的服务集成中的数据传输装置还可以采用硬件方式实现,作为示例,本申请实施例提供的服务集成中的数据传输装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的道路匹配方法,例如,硬件译码处理器形式的处理器可以采用一个或多个ASIC、DSP、PLD、CPLD、FPGA或其他电子元件。
下面将结合本申请实施例提供的网关的示例性应用和实施,说明本申请实施例提供的服务集成中的数据传输方法。
参见图3,图3是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,下面将结合图3示出的步骤进行说明,下述步骤的执行主体可以是前文的网关。
在步骤S101中,集成平台即服务iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一虚拟私有云VPC上。
这里,第一VPC可以是公有云上任意合适的可以部署iPaaS系统的VPC,iPaas系统的连接器需要通过连接相应的服务来实现服务的集成逻辑。数据传输请求为连接器要向目标服务获取数据的请求。
在步骤S102中,基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的。
这里,连接器要访问的目标服务为连接器发送该数据传输请求最终需要访问的服务,目标服务的服务代理为用于协助网关与目标服务进行数据传输的代理服务器。目标服务的地址标识为可以唯一确定目标服务的地址的标识信息,可以是目标服务的网际互联协议(Internet Protocol,IP)地址与端口的组合,也可以是基于目标服务的IP地址和端口生成的唯一标识,这里并不限定。第一传输连接为基于服务代理发起的第一连接建立请求预先建立的,可以是TCP连接,也可以是远程过程调用(Remote Procedure Call,RPC)连接。
服务配置信息可以是预先配置的用于对连接器的地址与目标服务器的地址进行地址映射所需的配置信息,可以包括但不限于表征连接器的地址与目标服务的地址之间的对应关系的信息、表征网关中接收数据传输请求的转发代理的地址与目标服务的地址之间的对应关系的信息、表征连接器与转发代理的地址组合与目标服务和目标服务的服务代理的地址组合之间的对应关系的信息等,还可以包括但不限于表征连接器的地址与第一传输连接之间的对应关系的信息、表征接收网关中接收数据传输请求的转发代理的地址与第一传输连接之间的对应关系的信息等。在实施时,可以根据实际情况采用合适的服务配置信息,这里并不限定。
例如,服务配置信息中可以包括连接器的地址与目标服务的地址标识,以及第一传输连接之间的映射关系,对数据传输请求进行地址映射处理时,可以根据发送数据传输请求的连接器的地址,查询服务配置信息,得到与该连接器的地址对应的目标服务的地址标识以及第一传输连接。再如,服务配置信息中可以包括网关中接收数据传输请求的转发代理的地址与目标服务的地址标识,以及第一传输连接之间的映射关系,对数据传输请求进行地址映射处理时,可以根据接收数据传输请求的转发代理的地址,查询服务配置信息,得到与该转发代理的地址对应的目标服务的地址标识以及第一传输连接。
目标服务的服务代理部署在租户的内网,目标服务可以是部署在内网中,也可以部署在租户的第二VPC中,这样,网关可以通过内网中的服务代理与内网中的服务进行网络互通,也可以通过内网中的服务代理与第二VPC中的服务进行网络互通。
在步骤S103中,通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
这里,网关可以通过第一传输连接,将数据传输请求和目标服务的地址标识发送至目标服务的服务代理,服务代理可以基于目标服务的地址标识确定目标服务的IP地址和端口,并基于确定的IP地址和端口,将数据传输请求发送至目标服务。
本申请实施例中,通过部署在第一VPC上的iPaaS系统的网关接收iPaaS系统的连接器发送的数据传输请求,并基于预先配置的服务配置信息,确定连接器要访问的目标服务的地址标识,以及网关与目标服务的服务代理进行数据传输的第一传输连接,其中,服务代理部署在租户的内网中,目标服务部署在该内网或第二VPC中,且第一传输连接为基于服务代理发起的第一连接建立请求预先建立的,通过第一传输连接,将数据传输请求和目标服务的地址标识发送至服务代理,以使服务代理基于该地址标识,将该数据传输请求发送至目标服务。这样,能够实现iPaaS系统与租户内网之间网络的互通,并实现对内网中服务的集成逻辑,从而可以实现对同一租户不同内网或不同VPC中服务的集成逻辑,进而可以完善iPaaS系统的服务集成能力,并能有效降低iPaaS系统的开发、维护和迭代成本。
在一些实施例中,参见图4,图4是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,基于图3,在步骤S101之前还可以执行如下步骤S401至步骤S402,下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的网关。
步骤S401中,在接收到所述服务代理发起的第一连接建立请求的情况下,与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表。
这里,服务代理可以主动向网关发起网络连接请求,网关在接收到服务代理发起的第一连接建立请求后,可以与该服务代理建立第一传输连接。
服务代理的服务列表中可以包括该服务代理可以连接的至少一个服务。
步骤S402中,针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至所述服务配置信息中。
这里,转发代理地址为网关为服务列表中的每一服务分配的用于转发该服务对应的数据包的地址,可以是用于转发数据报文的端口,也可以包括用于转发数据报文的IP地址和端口。在实施时,网关在与服务代理建立连接之后。可以从当前可用的端口中选择一端口作为转发代理地址。
服务的地址标识可以是在服务列表中获取的服务的IP地址和端口,也可以是网关基于服务的IP地址和端口分配的唯一标识,这里并不限定。
服务配置信息可以是由网关存储维护的,也可以是由其他系统或模块存储维护的,例如,可以在第一VPC中部署一注册中心,用于存储维护服务配置信息。
本申请实施例中,服务代理可以主动向网关发起网络连接请求,网关在接收到服务代理发起的第一连接建立请求后,可以与该服务代理建立第一传输连接,并将该服务代理的服务列表中的每一服务分配一转发代理地址,将每一服务的地址标识与相应的转发代理地址之间的对应关系添加至服务配置信息中。这样,在连接器向目标服务进行数据传输时,网关可以基于接收数据传输请求的转发代理端口从服务配置信息中获取目标服务的地址标识。
在一些实施例中,参见图5A,图5A是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,基于图3,所述数据传输请求为所述连接器通过与所述网关预先建立的第二传输连接发送的,步骤S102可通过如下步骤S501实现,步骤S103可以通过如下步骤S502实现,下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的网关。
步骤S501中,基于所述第二传输连接的标识,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接。
这里,第二传输连接为连接器与网关之间预先建立的连接,第二传输连接的标识为表征唯一第二传输连接的信息,可以是在建立第二传输连接时由连接器或网关生成的,也可以是该连接器的IP地址和端口的组合,或者是该网关中与该连接器连接的IP地址和端口的组合,这里并不限定。
服务配置信息中可以包括第二传输连接的标识与服务的地址标识,以及第一传输连接之间的对应关系,也可以包括第二传输连接的标识与转发代理的地址之间的对应关系,以及转发代理的地址与服务的地址标识、第一传输连接之间的对应关系,这里并不限定。
步骤S502中,通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,确定与目标服务预先建立的第三传输连接,并通过所述第三传输连接,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
这里,服务代理可以与目标服务预先建立第三传输连接,服务代理在接收到网关通过第一传输连接发送的目标服务的地址标识之后,可以基于该地址标识,确定与该目标服务对应的第三传输连接。
本申请实施例中,可以预先在连接器与网关之间建立第二传输连接,在网关与目标服务的服务代理之间建立第一传输连接,在目标服务的服务代理与目标服务之间建立第三传输连接,并基于第二传输连接的标识可以确定目标服务的地址标识和第一传输连接,基于目标服务的地址标识可以确定第三传输连接。这样,可以基于预先建立的连接器与目标服务之间的全链路连接,在进行数据传输时基于预先建立的全链路连接,可以简单快速地实现第一VPC中的iPaaS系统与内网或第二VPC中的目标服务之间的网络互通。
在一些实施例中,参见图5B,图5B是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,基于图5A,该方法还可以包括如下步骤S503至步骤S505,下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的网关。
步骤S503中,通过所述第一传输连接,接收所述服务代理返回的响应数据和所述目标服务的地址标识;其中,所述响应数据为所述目标服务通过所述第三传输连接发送至所述服务代理的。
这里,响应数据可以为目标服务通过服务代理返回给网关的响应数据包。
步骤S504中,基于所述目标服务的地址标识,查询所述服务配置信息,得到所述第二传输连接的标识。
这里,服务配置信息中可以包括表征目标服务于第二传输连接之间的对应关系的信息,通过查询该对应关系,可以确定目标服务的地址标识对应的第二传输连接的标识。
步骤S505中,基于所述第二传输连接的标识,将所述响应数据通过所述第二传输连接发送至所述连接器。
本申请实施例中,通过预先建立的第三传输连接、第一传输连接和第二传输连接,可以将目标服务的响应数据发送至iPaaS系统的连接器,这样,可以简单快速地实现目标服务与iPaaS系统的连接器之间的网络互通。
在一些实施例中,参见图5C,图5C是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,基于图5A,在步骤S101之前还可以执行如下步骤S506至步骤S508,下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的网关。
步骤S506中,在接收到所述连接器发送的第二连接建立请求的情况下,与所述连接器建立第二传输连接。
这里,连接器可以主动向网关发送第二连接建立请求,从而网关可以与该连接器建立第二传输连接。在实施时,第二传输连接可以是TCP连接,也可以是RPC连接,这里并不限定。
步骤S507中,基于所述第二连接建立请求所请求的转发代理地址,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及与所述目标服务的服务代理进行数据传输的第一传输连接。
这里,连接器可以在第二连接建立请求中携带要请求的转发代理地址,转发代理地址可以包括转发代理的IP地址和端口。
步骤S508中,基于所述第一传输连接,将携带所述目标服务的地址标识的第三连接建立请求发送至所述服务代理,以使所述服务代理基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
这里,网关可以基于预先建立的第一传输连接向目标服务的服务代理发送第三连接建立请求,目标服务的服务代理在接收到第三连接建立请求后,可以基于目标服务的地址标识确定要连接的目标服务,从而与该目标服务建立第三传输连接。
本申请实施例中,网关在接收到连接器发送的第二连接建立请求的情况下,与连接器建立第二传输连接。并基于第二连接建立请求所请求的转发代理地址,确定连接器要访问的目标服务的地址标识,以及与目标服务的服务代理进行数据传输的第一传输连接,基于第一传输连接,将携带目标服务的地址标识的第三连接建立请求发送至服务代理,以使服务代理基于目标服务的地址标识,与目标服务建立第三传输连接。这样,可以快速建立iPaaS系统与目标服务之间的全链路连接。
在一些实施例中,参见图6A,图6A是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,基于图3,步骤S102可以通过如下步骤S601至步骤S603实现,步骤S103可以通过如下步骤S604实现,下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的网关。
步骤S601中,获取发送所述数据传输请求的连接器的地址、接收所述数据传输请求的转发代理的地址以及所述连接器要访问的目标服务的地址。
这里,可以通过解析数据传输请求报文,获取请求报文的源地址和目的地址,请求报文的源地址即发送所述数据传输请求的连接器的地址,请求报文的目的地址即为接收所述数据传输请求的转发代理的地址。数据传输请求报文中还可以携带连接器要访问的目标服务的地址。
步骤S602中,基于所述连接器的地址和所述转发代理的地址,查询所述网关的连接状态跟踪表,得到所述连接器要访问的目标服务的地址标识。
这里,网关的连接状态跟踪表用于记录网关中连接器的地址或转发代理的地址与目标服务的地址标识之间的对应关系。连接器要访问的目标服务的地址标识,可以是网关在接收到连接器发送的数据传输请求后,基于连接器的地址和转发代理的地址为连接器要访问的目标服务的地址分配的唯一标识。在实施时,连接器要访问的目标服务的地址标识可以与连接器的地址或转发代理的地址进行绑定后,记录在网关的连接状态跟踪表中。
步骤S603中,基于所述转发代理的地址,查询预先配置的服务配置信息,得到所述网关与所述目标服务的服务代理进行数据传输的第一传输连接。
步骤S604中,通过所述第一传输连接,将所述数据传输请求、所述目标服务的地址和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,查询所述服务代理的连接状态跟踪表,确定所述服务代理的地址,并通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
这里,服务代理的地址可以包括服务代理中用于与目标服务进行数据传输的端口。服务代理的连接状态跟踪表用于记录服务代理中目标服务的地址标识与服务代理的地址之间的对应关系。目标服务的服务代理可以在接收到网关发送的数据传输请求、目标服务的地址和目标服务的地址标识后,查询服务代理的连接状态跟踪表中是否有与该目标服务的地址标识对应的记录,若没有,则基于接收到的目标服务的地址,为该目标服务分配一服务代理的地址,并将分配的服务代理的地址与目标服务的地址标识进行绑定后,记录在服务代理的连接状态跟踪表中。
在一些实施例中,上述步骤S602可以通过如下步骤S621至步骤S622实现:步骤S621中,在所述网关的连接状态跟踪表中查询不到所述连接器的地址和所述转发代理的地址对应的记录的情况下,基于所述目标服务的地址,生成所述连接器要访问的目标服务的地址标识;步骤S622中,将所述连接器的地址、所述转发代理的地址和所述目标服务的地址标识组成的记录添加至所述网关的连接状态跟踪表中。
本申请实施例中,通过网关的连接状态跟踪表记录网关中连接器的地址或转发代理的地址与目标服务的地址标识之间的对应关系,通过服务代理的连接状态跟踪表记录服务代理中目标服务的地址标识与服务代理的地址之间的对应关系。这样,在网关与服务代理进行数据传输时,可以基于网关的连接状态跟踪表和服务代理的连接状态跟踪表实现连接器的地址或转发代理的地址与服务代理的地址之间的映射,从而实现连接器的地址或转发代理的地址与目标服务的地址之间的映射,由于连接器通过网关及服务代理向目标服务发送数据的过程中仅需维持第一传输连接,从可以在一定程度减小数据传输的延迟,提高数据传输效率。
在一些实施例中,参见图6B,图6B是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,基于图6A,该方法还可以执行如下步骤S605至步骤S607,下面将结合各步骤进行说明,下述步骤的执行主体可以是前文的网关。
步骤S605中,通过所述第一传输连接,接收所述服务代理返回的响应数据和所述连接器要访问的目标服务的地址标识。
步骤S606中,基于所述目标服务的地址标识,查询所述网关的连接状态跟踪表,得到发送所述响应数据的转发代理的地址以及接收所述响应数据的连接器的地址。
步骤S607中,基于所述转发代理的地址和所述连接器的地址,将所述响应数据发送至所述连接器。
本申请实施例中,网关通过第一传输连接接收服务代理返回的响应数据和目标服务的地址标识,并基于目标服务的地址标识,查询网关的连接状态跟踪表,得到发送响应数据的转发代理的地址以及接收响应数据的连接器的地址,从而基于转发代理的地址和连接器的地址,将响应数据发送至连接器。这样,可以快速地将目标服务的响应数据返回至连接器。
下面将结合本申请实施例提供的服务代理的示例性应用和实施,说明本申请实施例提供的服务集成中的数据传输方法。
参见图7,图7是本申请实施例提供的服务集成中的数据传输方法的一个可选的流程示意图,下面将结合图7示出的步骤进行说明,下述步骤的执行主体可以是前文的服务代理。
在步骤S701中,服务代理接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中。
在步骤S702中,基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在步骤S703中,在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的。
在步骤S704中,通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器。
这里,连接器为iPaaS系统中接收该目标服务发送的响应数据的连接器。
本申请实施例中,通过部署在租户内网中的服务代理接收部署在第一VPC上的iPaaS系统的网关发送的数据传输请求和目标服务的地址标识,基于该地址标识,将数据传输请求发送至部署在该内网或第二VPC中的目标服务,在接收到目标服务发送的响应数据的情况下,基于该目标服务的地址标识,确定服务代理与该网关进行数据传输的第一传输连接,其中,该第一传输连接为基于该服务代理发起的第一连接建立请求预先建立的,通过该第一传输连接,将响应数据和目标服务的地址标识发送至该网关,以使该网关基于地址标识,确定iPaaS系统中的要访问该目标服务的连接器,并将响应数据发送至该连接器。这样,能够实现iPaaS系统与租户内网之间网络的互通,并实现对内网中服务的集成逻辑,从而可以实现对同一租户不同内网或不同VPC中服务的集成逻辑,进而可以完善iPaaS系统的服务集成能力,并能有效降低iPaaS系统的开发、维护和迭代成本。
在一些实施例中,在步骤S703之前,该方法还可以执行如下步骤S801:
步骤S801中,所述服务代理向所述网关发送第一连接建立请求,以使所述网关与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表,以使所述网关在建立所述第一传输连接后,针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至服务配置信息中。
在一些实施例中,步骤S702可以通过如下步骤S901至步骤S902实现:
步骤S901中,基于所述地址标识,确定所述服务代理与所述连接器要访问的目标服务之间预先建立的第三传输连接。
步骤S902中,通过所述第三传输连接,将所述连接器的数据传输请求发送至所述目标服务。
对应地,步骤S704可以通过如下步骤S903实现:
步骤S903中,通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器以及与所述连接器预先建立的第一传输连接,并通过所述第一传输连接将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,在步骤S901之前,该方法还可以执行如下步骤S904:
步骤S904中,在接收到所述网关发送的携带所述连接器要访问的目标服务的地址标识的第三连接建立请求的情况下,基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
在一些实施例中,步骤S702可以通过如下步骤S1001至步骤S1002实现:
步骤S1001中,基于所述地址标识,查询所述服务代理的连接状态跟踪表,得到所述服务代理的地址和所述连接器要访问的目标服务的地址。
步骤S1002中,通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
对应地,步骤S703之前还可以执行如下步骤S1003至步骤S1004:
步骤S1003中,获取所述连接器要访问的目标服务的地址和接收所述目标服务的响应数据的服务代理的地址。
步骤S1004中,基于所述目标服务的地址和所述服务代理的地址,查询所述服务代理的连接状态跟踪表,得到所述目标服务的地址标识。
在一些实施例中,上述步骤S1001可以通过如下步骤S1005至步骤S1006实现:
步骤S1005中,在所述服务代理的连接状态跟踪表中查询不到所述地址标识对应的记录的情况下,基于所述连接器要访问的目标服务的地址,为所述目标服务分配服务代理的地址。
步骤S1006中,将所述目标服务的地址、所述服务代理的地址和所述地址标识组成的记录添加至所述服务代理的连接状态跟踪表中。
需要说明的是,以上服务代理侧的方法实施例的描述,与上述网关侧的方法实施例的描述是类似的,具有同网关侧的方法实施例相似的有益效果。对于本申请服务代理侧的方法实施例中未披露的技术细节,请参照本申请网关侧的方法实施例的描述而理解。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
以iPaaS系统中Connector(连接器)和目标客户内网中的服务(service)的集成互通为例,本申请实施例提供一种服务集成系统,参见图8A,图8A为本申请实施例提供的服务集成系统的一种实现架构示意图,该系统包括在客户内网110中部署的服务代理(Agent)111、内部系统112和数据库113,在客户内网120中部署的服务代理(Agent)121、内部私有SaaS 122,在公有云VPC上部署的iPaaS系统130,以及在公有云上部署的公网SaaS 141,其中,Agent可以访问公有云但无法在公有云进行监听,通过Agent主动访问iPaaS系统130,可以实现Agent与iPaaS系统130之间的网络互通,同时考虑到对已有iPaaS系统的兼容和改造成本,降低耦合度,在iPaaS内部设置网关(Gateway)131,Gateway 131可以协助打通iPaaS系统130与客户内网110和120之间的网络互通,从而可以实现内部系统112、数据库113、内部私有SaaS 122以及公网SaaS 141之间的集成逻辑。
参见图8B,图8B为本申请实施例提供的服务集成系统的一种实现架构示意图,为了实现部署在iPaaS VPC上的iPaaS系统中Connector(示例性示出Connector 1321、Connector 1322和Connector 132n,n为正整数)和客户内网中的Service(示例性示出Service 1121、Service 1122和Service 112n)集成互通,新增三个模块:Gateway 131、注册中心133和Agent(示例性示出Agent 1111和Agent 111n),其中Gateway 131和注册中心133部署在iPaaS VPC,Agent部署在客户内网,同时允许客户内网中根据地域/服务划分,部署多个Agent。与此同时,在Gateway中,为客户内网的每个Service创建一个相对应的转发代理Proxy(示例性示出Proxy 1311、Proxy 1312和Proxy 131n),两者之间一一对应,Connector与Proxy通讯等效于直接和该Proxy对应的Service通讯,对iPaaS系统的用户无感知。该实现架构的优点主要在于:1)已有iPaaS系统中Connector的改动成本最小,不需要改通讯相关的代码,只需要新增Service IP/Port和Proxy IP/Port的映射逻辑,按原来连接Service的方式连接对应Proxy即可;2)可以降低代码耦合度,Connector组件内部只关注业务处理逻辑,具体网络互联统一由Gateway处理。
参见图8C,图8C为本申请实施例提供的服务集成系统中各模块之间的交互流程示意图,该流程包括如下步骤:
步骤S1101,Agent主动请求与Gateway建立连接,即AgentConnection;
步骤S1102,Gateway首先为Agent的每个Service创建对应的Proxy;
步骤S1103,Gateway创建Proxy成功之后将创建的Proxy注册到注册中心;
步骤S1104,Connector连接Service IP/Port时,从注册中心根据Service IP/Port找到对应的Proxy IP/Port;
步骤S1105,Connector直接与对应的Proxy IP/Port通讯;
步骤S1106,Gateway通过AgentConnection将Connector与Proxy的通讯映射为Agent与Service的通讯,数据传输完成后,返回给Connector完成一次完整的通讯。
上述交互流程中包括如下实体:私有云(Private Cloud)、Gateway、Proxy、Agent,注册中心中维护了各实体对应的元数据和配置文件,其中,注册中心保存的主要元数据包括:
1)私有云元数据PrivateCloudMeta:
该元数据中可以包括应用标识AppId、云标识CloudId、云名称CloudName、服务列表Services、源IP地址白名单SourceIpWhiteList、状态Status、AgentConnection列表AgentConnectionList,其中,私有云元数据的状态Status可以是可用状态ENABLED、正在禁用DISABLING、禁用状态DISABLED中的一种,参见图8D,图8D为本申请实施例提供的服务集成系统中私有云元数据的状态转移示意图,ENABLED状态下该私有云元数据被禁用时,进入DISABLING状态,私有云元数据禁用完成后,进入DISABLED状态,在DISABLED状态下,该私有云元数据被启用时,则进入ENABLED状态。服务列表Services中可以包括至少一个服务,每一服务可以包括IP、端口Port、模式Mode,Mode中可以包括网络地址转换(Network AddressTranslation,NAT)模式、转发(Forward)模式,AgentConnection列表中可以包括至少一个AgentConnection,每一AgentConnection可以包括AgentConnection的标识AgentConnectionId、Gateway的标识GatewayId和状态Status,AgentConnection的状态Status可以是连接状态CONNECTED或者断开状态DISCONNECTED。
2)Gateway元数据GatewayMeta:
该元数据中可以包括Gateway的标识GatewayId、Gateway的IP地址GatewayIp、状态Status、心跳信息Heartbeat。这里,Gateway的状态Status可以是活跃状态ACTIVE或者不可用状态UNAVAILABLE。
3)Proxy元数据ProxyMeta:
该元数据中可以包括云标识CloudId、服务的IP地址ServiceIp、服务的端口ServicePort、转发代理的IP地址ProxyIp、转发代理的端口ProxyPort、连接Proxy的AgentConnection的标识AgentConnectionId。
注册中心保存的配置文件包括Agent配置文件,Agent配置文件中可以包括应用的验证序号AppKey、应用的验证密钥AppSecret、云标识CloudId和服务白名单ServiceWhiteList。
本申请实施例提供一种服务集成中的数据传输方法,参见图9,该方法包括如下步骤S1201至步骤S1213:
步骤S1201,客户在注册中心创建安全网关(即私有云);
步骤S1202,客户在客户内网创建Agent配置文件,部署并启动Agent程序;
步骤S1203,Agent启动后,主动与Gateway建立连接,即建立AgentConnection;
步骤S1204,连接成功后,Agent向Gateway发送握手指令,握手指令包括参数AppKey、AppId、CloudId、ServiceWhiteList、AppSecret的签名Signature;
步骤S1205,Gateway收到握手指令后,通过鉴权获得AppId,再根据AppId+CloudId从注册中心获取到私有云元数据;
步骤S1206,如果鉴权失败,或私有云不存在,或私有云的Status不是可用状态,或握手指令的源IP不在SourceIpWhiteList中,或者可用端口数不足,则Gateway返回对应的错误;
步骤S1207,校验通过后,Gateway为该连接分配AgentConnectionId与之关联,并将该连接注册到私有云元数据的AgentConnectionList;
步骤S1208,Gateway获取私有云元数据中的所有Service,若握手报文中指定了ServiceWhiteList,则从私有云元数据中的所有Service中筛选出ServiceWhiteList中包含的每个Service,为每一Service分配代理端口;
针对每一Service,可以执行如下操作:
步骤S1208a,在Gateway的可用端口池中分配ProxyPort;
步骤S1208b,Gateway尝试监听分配的ProxyPort,若监听失败,则休眠1s后,将该ProxyPort放回端口池,并跳转至步骤S1208a,若监听成功,则跳转至步骤S1208c;
步骤S1208c,Gateway在注册中心创建Proxy元数据,其中,Proxy元数据的ProxyIp为该Gateway节点的内网IP,ProxyPort为分配的ProxyPort,AgentConnectionId为该连接关联的AgentConnectionId,Service IP/Port对应当前Service的IP地址和端口。
步骤S1209,客户在配置Connector时,可指定私有云;
步骤S1210,Connector在与目标服务建立连接时,如果参数指定了CloudId,则根据AppId+CloudId从注册中心获取私有云元数据,如果私有云元数据不存在,或者状态不是可用状态,则报错;
步骤S1211,如果目标Service IP/Port不在Service列表中,则Connector直接连接目标Service IP/Port进行通讯,否则,Connector根据目标IP、Port、AppId、CloudId查找状态为ACTIVE的Gateway中Heartbeat没超时,且AgentConnection处于CONNECTED状态的Proxy,如果没找到,则报错;
步骤S1212,Connector从找到的至少一个Proxy中按负载均衡策略选取一个Proxy,与选取的Proxy IP/Port连接通讯;
步骤S1213,由Gateway、Agent共同完成Proxy IP/Port与Service IP/Port之间端口映射的职能,在实施时,端口映射支持NAT和流量转发两种模式。
在上述流程中,控制台的操作可以包括:1)创建私有云;2)启停私有云;3)停止状态下,维护/删除私有云元数据;4)查看私有云与Agent连接的网络结构拓扑图。
Gateway可以通过执行如下步骤实现系统控制:
步骤S1301,Gateway启动后获取GatewayIP;
步骤S1302,在注册中心按照GatewayIP查询ACTIVE的Gateway并剔除;这样,可以避免重复启动相同IP的Gateway;
步骤S1303,分配GatewayId并注册到注册中心;
步骤S1304,初始化端口池;
这里,可以采用如下步骤S1304a至步骤S1304d实现端口池的初始化:
步骤S1304a,从注册中心找到所有Gateway IP相同、被剔除的、最后心跳时间在最大代理生命时长(Max Proxy Lifetime,MPL)内的GatewayId,并从注册中心找到对应的端口(Port);
这里,MPL用于防止Proxy被错误连接,在Proxy的MPL内,同一组IP/Port不会被复用,Connector的客户端Client需要确保使用Proxy IP/Port时在Proxy的MPL内,MPL可以默认是10分钟。
步骤S1304b,将每个Port放入延时队列,时间为Port对应的GatewayId的最后心跳时间+MPL;
步骤S1304c,将剩余的可用端口放入延时队列头部,得到的延时队列即为端口池。
步骤S1305,开始接收来自Agent的连接;
步骤S1306,定时更新注册中心Gateway的心跳时间,如果发现自己被剔除了,则中断所有Agent Connection,停止Proxy Port并重启服务;
步骤S1307,定时剔除心跳超时的Gateway;
步骤S1308,Gateway定期探活AgentConnection,当AgentConnection不可用时,断开连接,并更新该AgentConnection的状态为DISCONNECTED;
这里,Agent也会定期探活AgentConnection,当AgentConnection不可用时,断开连接,并重新建立连接。
步骤S1309,Gateway进行私有云禁用时,可以执行如下操作:
步骤S1309a,将要禁用的私有云元数据中的状态标记为DISABLING;
步骤S1309b,依次调用每个AgentConnection对应的Gateway的断开连接接口,调用完成后,将私有云元数据中的状态标记为DISABLED。
在本申请实施例提供的服务集成中的数据传输方法中,需要保证私有云状态、Gateway状态以及AgentConnection状态各自的一致性。各状态具有如下一致性优先级:私有云状态一致性>Gateway状态一致性>AgentConnection状态一致性。针对Gateway状态以及AgentConnection状态一致性的保证,可以采用如下方式:
1)Gateway状态一致性保证:
若Gateway不可用了,导致状态不一致,则在心跳超时后,该Gateway被其它节点剔除,保证状态一致;
若Gateway分区了,在心跳超时后,会被其它节点剔除,分区恢复后,导致状态不一致,心跳检测发现被剔除后,Gateway主动重启,保证状态一致。
2)AgentConnection状态一致性保证:
若Gateway不可用了,Agent连不上Gateway,则Agent自动重启,状态达到一致;
若Agent不可用了,Gateway连不上Agent,则将相应的AgentConnection标记为DISCONNECTED,状态达到一致;
若Gateway网络不通,Agent连不上Gateway,则Agent自动重启,Gateway网络连通后,若Agent不可用了,Gateway连不上Agent,则将相应的AgentConnection标记为DISCONNECTED,状态达到一致;
若Agent网络不通,AgentConnection断开连接,并将连接状态标记为DISCONNECTED,当Agent网络连通时,重新连接,若Gateway网络不通,Agent连不上Gateway,则Agent自动重启,Gateway网络连通后,若Agent不可用了,Gateway连不上Agent,则将相应的AgentConnection标记为DISCONNECTED,状态达到一致。
综上所述,在本申请实施例提供的服务集成中的数据传输方法中,由部署在iPaaS内网中的Gateway和部署在客户内网的Agent共同完成Proxy IP/Port与Service IP/Port之间端口映射的职能,并且支持NAT和流量转发两种端口映射模式。以下将展开介绍两种模式的端口映射原理。
1)流量转发模式
参见图10,图10为本申请实施例提供的采用流量转发模式进行端口映射的服务集成系统的组成架构示意图,在流量转发模式下,iPaaS系统的连接器Connector 1010与目标服务Service 1040之间的完整链路需要建立三次TCP连接,包括Connector 1010与Gateway1020的转发代理Proxy 1021之间建立的连接ClientConnector,Gateway 1020的转发代理Proxy 1021与Agent 1030之间建立的AgentConnection,以及Agent 1030与Service 1040之间建立的ServiceConnection,Gateway 1020和Agent 1030可以共同作为分布式代理网关。
在服务集成中,基于流量转发模式进行数据传输时,主要包括全链路连接建立和数据传输两个流程,同时需要考虑连接中断与错误处理。下面分别对各流程进行说明。
全链路连接建立可以包括如下步骤S1401至步骤S1405:
步骤S1401,Connector的客户端Client通过TCP的三次握手与Proxy建立连接ClientConnection;
步骤S1402,Gateway为该ClientConnection分配标识ConnectionId;
步骤S1403,Gateway发送建立连接指令给Proxy对应的AgentConnection,等待返回;
这里,Gateway与Agent之间的连接为RPC连接,建立连接指令对应的RPC报文格式如下:
Cmd:Establish
ConnectionId:xxx
Service IP/PORT:xxx:xxx;
其中,Cmd为控制类型,Establish表示建立连接,ConnectionId是为ClientConnection分配的唯一标识,Service IP/PORT为目标服务的IP地址/端口。
步骤S1404,Agent通过TCP的三次握手与与目标服务Service IP/Port建立连接ServiceConnection,并将该连接与ConnectionId绑定;
步骤S1405,Agent向Gateway返回建立成功或失败。
数据传输流程包括上行数据传输和下行数据传输两部分,在上述步骤S1402之后可以执行上行数据传输流程,包括如下步骤S1411至步骤S1416:
步骤S1411,Connector通过ClientConnection发送数据流给Proxy;
这里,发送数据流时可以包括对数据流进行的拆包、组包等操作,Connector向Proxy发送数据包时的TCP报文格式如下:
Src:Client IP/Port
Dst:Proxy IP/Port
Flag:DATA
Payload;
其中,报文的源地址Src为Connector的客户端的IP地址和端口,也即Client IP/Port,报文的目的地址Dst为Proxy的IP地址和端口,也即Proxy IP/Port,Flag为报文标志,DATA表示数据发送报文,Payload为要传输的数据。
此外,Proxy接收到Connector发送的报文后,会向Connector返回一个确认报文。
步骤S1412,Gateway根据ClientConnection获取对应的ConnectionId,并根据Proxy获取对应的AgentConnection;
步骤S1413,Gateway通过AgentConnection发送数据流指令给Agent,等待返回;
这里,发送数据流时可以包括对数据流进行的拆包、组包等操作,AgentConnection可以是TCP连接也可以是RPC连接,Gateway向AgentConnection发送数据包时的RPC报文格式如下:
Cmd:DATA
ConnectionId:xxx
Payload;
其中,Cmd为控制类型,DATA表示数据发送,Payload为要传输的数据,ConnectionId为ClientConnection的标识。如果该ConnectionId的前一个上行数据传输指令还没有返回,则放入等待队列,等待发送。
步骤S1414,Agent根据ConnectionId找到对应的ServiceConnection;
步骤S1415,Agent通过ServiceConnection将数据流发送给Service;
这里,发送数据流时可以包括对数据流进行的拆包、组包等操作,Agent向Service发送数据包时的TCP报文格式如下:
Src:Agent IP/Port
Dst:Service IP/Port
Flag:DATA
Payload;
其中,报文的源地址Src为Agent的IP地址和端口,也即Agent IP/Port,报文的目的地址Dst为Service的IP地址和端口,也即Service IP/Port,Flag为报文标志,DATA表示数据发送报文,Payload为要传输的数据。
步骤S1416,Service返回发送成功或失败。
此外,Service接收到Agent发送的报文后,会向Agent返回一个表示发送成功或失败的确认报文。
下行数据传输流程,包括如下步骤S1421至步骤S1426:
步骤S1421,Service通过ServiceConnection发送数据流给Agent;
这里,发送数据流时可以包括对数据流进行的拆包、组包等操作,Service向Agent发送数据包时的TCP报文格式如下:
Src:Service IP/Port
Dst:Agent IP/Port
Flag:DATA
Payload;
其中,报文的源地址Src为Service的IP地址和端口,也即ServiceIP/Port,报文的目的地址Dst为Agent的IP地址和端口,也即Agent IP/Port,Flag为报文标志,DATA表示数据发送报文,Payload为要传输的数据。
此外,Agent接收到Service发送的报文后,会向Service返回一个确认报文。
步骤S1422,Agent根据ServiceConnection确定ConnectionId;
步骤S1423,Agent通过AgentConnection发送数据流指令给Proxy;
这里,发送数据流时可以包括对数据流进行的拆包、组包等操作,AgentConnection可以是TCP连接也可以是RPC连接,Agent通过AgentConnection发送数据包时的RPC报文格式如下:
Cmd:DATA
ConnectionId:xxx
Payload;
其中,Cmd为控制类型,DATA表示数据发送,Payload为要传输的数据,ConnectionId为ClientConnection的标识。如果该ConnectionId的前一个下行数据传输指令还没有返回,则放入等待队列,等待发送。
步骤S1424,Gateway根据ConnectionId确定对应的Client Connection;
步骤S1425,Gateway通过ClientConnection将数据流发送给Connector;
这里,发送数据流时可以包括对数据流进行的拆包、组包等操作,Gateway向Connector发送数据包时的TCP报文格式如下:
Src:Proxy IP/Port
Dst:Client IP/Port
Flag:DATA
Payload;
其中,报文的源地址Src为Proxy的IP地址和端口,也即Proxy IP/Port,报文的目的地址Dst为Connector的客户端的IP地址和端口,也即Client IP/Port,Flag为报文标志,DATA表示数据发送报文,Payload为要传输的数据。
步骤S1426,Connector返回发送成功或失败。
这里,Connector接收到Proxy发送的报文后,会向Proxy返回一个表示发送成功或失败的确认报文。
在上述本申请实施例提供的采用流量转发模式进行端口映射的数据传输方法中,对于各连接的中断与错误处理可以包括:
(1)Client Connection被动断开的处理过程如下:
a、Gateway检测到ClientConnection断开,如超时、重启或收到Connector的断开;
b、Gateway标记ConnectionId状态为已断开;
c、Gateway通过AgentConnection发送断开指令给Agent,断开指令中携带参数ConnectionId;
d、Agent收到指令后,标记ConnectionId状态为已断开,断开对应的ServiceConnection;
e、Gateway后续收到通过AgentConnection发来的该ConnectionId的下行指令时返回错误。
(2)Service Connection被动断开的处理过程如下:
a、Agent检测到ServiceConnection断开,如超时、重启或收到Service的断开;
b、Agent标记ConnectionId为已断开
c、Agent通过AgentConnection发送断开指令给Gateway,断开指令中携带参数ConnectionId;
d、Gateway收到指令后,标记ConnectionId为已断开,断开对应的ClientConnection;
e、Agent后续收到Gateway通过AgentConnection发来的该ConnectionId的上行指令时返回错误。
(3)Gateway发送上行指令返回错误时,标记对应的ConnectionId为已断开,断开对应的ClientConnection;
(4)Agent发送下行指令返回错误时,标记对应的ConnectionId为已断开,断开对应的ServiceConnection。
在上述本申请实施例提供的采用流量转发模式进行端口映射的数据传输方法,实现简单,连接可靠,且能充分利用操作系统内核中现有的TCP协议支持能力,数据传输性能好。
2)NAT模式
参见图11,图11为本申请实施例提供的采用NAT模式进行端口映射的服务集成系统的组成架构示意图,在NAT模式下,iPaaS系统的连接器Connector 1010与目标服务Service 1040之间进行数据传输时,需要通过Gateway 1020和Agent 1030进行地址转换,Gateway 1020中的每一Proxy 1021与Agent 1030之间预先建立了AgentConnection,基于AgentConnection进行数据传输时,通过Gateway维护的Gateway连接状态跟踪表(GatewayConnection Track)1022,以及Agent维护的Agent连接状态跟踪表(Agent ConnectionTrack)1031实现Proxy IP/Port与Service IP/Port之间的映射,从而实现Connector与Service之间的网络互通。
在服务集成中,基于NAT模式进行数据传输时,可以包括如下步骤S1501至步骤S1517:
步骤S1501,Client向Proxy发送TCP握手报文SYN包;
步骤S1502,Gateway收到SYN包后,根据Client IP/Port+Proxy Port从Gateway的连接状态跟踪表中查找ConnectionId及对应的状态数据;
步骤S1503,判断SYN包类型,并根据不同的SYN包类型进行如下操作:
a、若Gateway的连接状态跟踪表的记录中不存在Client IP/Port+Proxy Port对应的ConnectionId,则此包为首次到达的包,分配新的ConnectionId后,注册到Gateway的连接状态跟踪表后,跳转至步骤S1504;
b、若Gateway的连接状态跟踪表的记录中ClientFlag==SYN且Client Seq==seq1,则此包为重传包,跳转至步骤S1504;否则,此包为乱序包,忽略。
步骤S1504,Gateway通过AgentConnection发送同步指令给Agent;
这里,可以采用RPC方式进行指令发送,同步指令的报文中可以包括ConnectionId、Service IP/Port以及去掉端口号的原TCP报文。
步骤S1505,Agent收到同步指令后,按照ConnectionId从Agent的连接状态跟踪表中查找Agent端口(AgentPort)和状态数据;
步骤S1506,Agent判断报文类型,包括:
a、若Agent的连接状态跟踪表的记录中不存在ConnectionId对应的AgentPort,则此包为首次到达的包,分配AgentPort后,将该AgentPort注册到Agent的连接状态跟踪表,并更新对应记录中的ClientFlag、ClientSeq后,跳转至步骤S1507;
b、若Agent的连接状态跟踪表的记录中,ConnectionId对应的记录的ClientFlag==SYN且Client Seq==seq1,则此包为重传包,跳转至步骤S1507,否则此包为乱序包,忽略。
步骤S1507,Agent通过AgentPort发送TCP报文给Service IP/Port,TCP报文中源地址为Agent IP/Port,目的地址为Service IP/Port,报文标志位为SYN,也即发送的为SYN包,Seq为seq1;
步骤S1508,Service收到SYN包后,回复SYN|ACK包,对应的TCP报文中源地址为Service IP/Port,目的地址为Agent IP/Port,报文标志位为SYN|ACK,Seq为seq2,Ack为seq1+1;
步骤S1509,Agent收到SYN|ACK包后,根据Service IP/Port和Agent Port从Agent的连接状态跟踪表中查找ConnectionId和对应的状态数据;
步骤S1510,Agent判断报文类型,包括:
a、若Agent的连接状态跟踪表的记录中不存在Service IP/Port与Agent Port对应的ConnectionId,则此包为乱序包,忽略;
b、若Agent的连接状态跟踪表的记录中,ConnectionId对应的记录的ClientFlag!=SYN或者ClientSeq!=该包Ack(即seq1+1),则此包为乱序包,忽略;
c、若Agent的连接状态跟踪表的记录中,ConnectionId对应的记录的ServiceFlag==nil、ServiceSeq==nil,则此包为首个SYN|ACK包,更新ServiceFlag、ServiceSeq,跳转至步骤S1511;
d、若Agent的连接状态跟踪表的记录中,ConnectionId对应的记录的ServiceFlag==该包Flag(即SYN|ACK)、ServiceSeq==该包Seq(即seq2),则此包为重传包,跳转至步骤S1511;
e、否则此包为乱序包,忽略。
步骤S1511,Agent发送同步答复指令给Gateway,答复指令的RPC报文中包括控制字段Cmd、ConnectionId以及去掉端口号的原TCP报文;
步骤S1512,Gateway收到同步答复指令时,根据ConnectionId从Gateway的连接状态跟踪表中查找Client IP/Port、Proxy Port和状态数据;
步骤S1513,Gateway判断报文类型,包括:
a、若Gateway的连接状态跟踪表的记录中不存在ConnectionId对应的Client IP/Port和Proxy Port,则此包为乱序包,忽略;
b、若Gateway的连接状态跟踪表的记录中不存在ConnectionId对应的记录中ClientFlag!=SYN或者ClientSeq!=该包Ack(即seq1+1),则此包为乱序包,忽略;
c、若Gateway的连接状态跟踪表的记录中不存在ConnectionId对应的记录中ServiceFlag==nil、ServiceSeq==nil,则此包为首个SYN|ACK包,更新ServiceFlag、ServiceSeq,跳转至步骤S1514;
d、若Gateway的连接状态跟踪表的记录中不存在ConnectionId对应的记录中ServiceFlag==该包Flag(即SYN|ACK)、ServiceSeq ==该包Seq(即seq2),则此包为重传包,跳转至步骤S1514;
e、否则此包为乱序包,忽略。
步骤S1514,Gateway通过Proxy的端口(Port)发送TCP报文给Client IP/Port,发送的TCP报文中源地址为Proxy IP/Port,目的地址为Client IP/Port,标志位Flag为SYN|ACK,Seq为seq2,Ack为seq1+1;
步骤S1515,Client收到Gateway发送的SYN|ACK包后,回复ACK包或ACK|PSH包;
步骤S1516,Gateway收到Client发来的ACK包或PSH|ACK包或PSH包时或连接断开相关的控制报文时,根据Client IP/Port和Proxy IP/Port,匹配Gateway的连接状态跟踪表,判断报文类型,包括:
a、若为后继报文,更新Gateway的连接状态跟踪表后,发指令给AgentConnection;这里,后继报文指按照顺序正常接收的报文。
b、若为重传报文,直接发指令给AgentConnection;
c、若为乱序报文,忽略;
Agent收到指令后,与Gateway类似,根据ConnectionId,匹配Agent的连接状态跟踪表,判断报文类型,包括:
a、若为后继报文,更新Agent的连接状态跟踪表后,经Agent的端口(AgentPort)将接收的数据包发送给Service IP/Port;
b、若为重传报文,直接经AgentPort将接收的数据包发送给Service IP/Port
c、若为乱序报文,忽略。
步骤S1517、Agent收到Service发来的ACK包或PSH|ACK包或PSH包时或连接断开相关的控制报文时,根据Service IP/Port,匹配Agent的连接状态跟踪表,判断报文类型:
a、若为后继报文,更新Agent的连接状态跟踪表后发指令给AgentConnection;
b、若为重传报文,直接发指令给AgentConnection;
c、若为乱序报文,忽略。
Gateway收到指令后,根据ConnectionId,匹配Gateway的连接状态跟踪表,判断报文类型:
a、若为后继报文,更新Gateway的连接状态跟踪表后,经Proxy的端口(ProxyPort)发送接收的数据包给Client IP/Port;
b、若为重传报文,直接经ProxyPort发送接收的数据包给Client IP/Port;
c、若为乱序报文,忽略。
此外,对于每一ProxyPort,当Gateway收到针对该ProxyPort的RST报文或者检测到对应的AgentConnection的四次挥手结束后,放入延时为2倍报文最大生存时间(MaximumSegment Lifetime,MSL)的延时队列,随后放回可用的Proxy端口池中。
对于每一AgentPort,当Agent收到针对该AgentPort的RST报文或者检测到对应的AgentConnection的四次挥手结束后,放入延时为2倍报文最大生存时间(Maximum SegmentLifetime,MSL)的延时队列,随后放回可用的Agent端口池中。
在上述本申请实施例提供的采用NAT模式进行端口映射的数据传输方法中,TCP状态为真实状态,不会出现全链路未真正建立连接时已返回连接状态的情况,此外,整个数据传输过程在一条TCP连接上进行,延时更低。
本申请实施例提供的服务集成系统相较相关技术中私有化部署iPaaS的方案,开发、维护、迭代成本都大大降低,同时能够满足同一客户多个内网之间的网络打通,能更进一步完善iPaaS系统自身的服务集成能力。
下面继续说明本申请实施例提供的服务集成中的数据传输装置255的实施为软件模块的示例性结构,在一些实施例中,如图2A所示,存储在存储器250的服务集成中的数据传输装置255中的软件模块可以包括:
第一接收模块2551,用于iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一虚拟私有云VPC上;
第一映射模块2552,用于基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
第一发送模块2553,用于通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在一些实施例中,所述装置还包括:第一建立模块,用于在接收到所述服务代理发起的第一连接建立请求的情况下,与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表;第一分配模块,用于针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至所述服务配置信息中。
在一些实施例中,所述数据传输请求为所述连接器通过与所述网关预先建立的第二传输连接发送的,所述第一映射模块还用于:基于所述第二传输连接的标识,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;所述第一发送模块还用于:通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,确定与目标服务预先建立的第三传输连接,并通过所述第三传输连接,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在一些实施例中,所述装置还包括:第二接收模块,用于通过所述第一传输连接,接收所述服务代理返回的响应数据和所述目标服务的地址标识;其中,所述响应数据为所述目标服务通过所述第三传输连接发送至所述服务代理的;第一查询模块,用于基于所述目标服务的地址标识,查询所述服务配置信息,得到所述第二传输连接的标识;第二发送模块,用于基于所述第二传输连接的标识,将所述响应数据通过所述第二传输连接发送至所述连接器。
在一些实施例中,所述装置还包括:第二建立模块,用于在接收到所述连接器发送的第二连接建立请求的情况下,与所述连接器建立第二传输连接;第二查询模块,用于基于所述第二连接建立请求所请求的转发代理地址,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及与所述目标服务的服务代理进行数据传输的第一传输连接;第三发送模块,用于基于所述第一传输连接,将携带所述目标服务的地址标识的第三连接建立请求发送至所述服务代理,以使所述服务代理基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
在一些实施例中,所述第一映射模块还用于:获取发送所述数据传输请求的连接器的地址、接收所述数据传输请求的转发代理的地址以及所述连接器要访问的目标服务的地址;基于所述连接器的地址和所述转发代理的地址,查询所述网关的连接状态跟踪表,得到所述连接器要访问的目标服务的地址标识;基于所述转发代理的地址,查询预先配置的服务配置信息,得到所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;所述第一发送模块还用于:通过所述第一传输连接,将所述数据传输请求、所述目标服务的地址和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,查询所述服务代理的连接状态跟踪表,确定所述服务代理的地址,并通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
在一些实施例中,所述第一映射模块还用于:在所述网关的连接状态跟踪表中查询不到所述连接器的地址和所述转发代理的地址对应的记录的情况下,基于所述目标服务的地址,生成所述连接器要访问的目标服务的地址标识;将所述连接器的地址、所述转发代理的地址和所述目标服务的地址标识组成的记录添加至所述网关的连接状态跟踪表中。
在一些实施例中,所述装置还包括:第三接收模块,用于通过所述第一传输连接,接收所述服务代理返回的响应数据和所述连接器要访问的目标服务的地址标识;第三查询模块,用于基于所述目标服务的地址标识,查询所述网关的连接状态跟踪表,得到发送所述响应数据的转发代理的地址以及接收所述响应数据的连接器的地址;第四发送模块,用于基于所述转发代理的地址和所述连接器的地址,将所述响应数据发送至所述连接器。
下面继续说明本申请实施例提供的服务集成中的数据传输装置355的实施为软件模块的示例性结构,在一些实施例中,如图2B所示,存储在存储器350的服务集成中的数据传输装置355中的软件模块可以包括:
第四接收模块3551,用于服务代理接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中;
第五发送模块3552,用于基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;
第五接收模块3553,用于在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
第六发送模块3554,用于通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,所述装置还包括:第三建立模块,用于所述服务代理向所述网关发送第一连接建立请求,以使所述网关与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表,以使所述网关在建立所述第一传输连接后,针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至服务配置信息中。
在一些实施例中,所述第五发送模块还用于:基于所述地址标识,确定所述服务代理与所述连接器要访问的目标服务之间预先建立的第三传输连接;通过所述第三传输连接,将所述连接器的数据传输请求发送至所述目标服务;所述第六发送模块还用于:通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器以及与所述连接器预先建立的第一传输连接,并通过所述第一传输连接将所述目标服务的响应数据发送至所述连接器。
在一些实施例中,所述装置还包括:第四建立模块,用于在接收到所述网关发送的携带所述连接器要访问的目标服务的地址标识的第三连接建立请求的情况下,基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
在一些实施例中,所述第五发送模块还用于:基于所述地址标识,查询所述服务代理的连接状态跟踪表,得到所述服务代理的地址和所述连接器要访问的目标服务的地址;通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;所述第五接收模块还用于:获取所述连接器要访问的目标服务的地址和接收所述目标服务的响应数据的服务代理的地址;基于所述目标服务的地址和所述服务代理的地址,查询所述服务代理的连接状态跟踪表,得到所述目标服务的地址标识。
在一些实施例中,所述第五发送模块还用于:在所述服务代理的连接状态跟踪表中查询不到所述地址标识对应的记录的情况下,基于所述连接器要访问的目标服务的地址,为所述目标服务分配服务代理的地址;将所述目标服务的地址、所述服务代理的地址和所述地址标识组成的记录添加至所述服务代理的连接状态跟踪表中。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的服务集成中的数据传输方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的服务集成中的数据传输方法,例如,如图3示出的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本申请实施例能够实现iPaaS系统与租户内网之间网络的互通,并实现对内网中服务的集成逻辑,从而可以实现对同一租户不同内网或不同VPC中服务的集成逻辑,进而可以完善iPaaS系统的服务集成能力,并能有效降低iPaaS系统的开发、维护和迭代成本。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (15)

1.一种服务集成中的数据传输方法,其特征在于,包括:
集成平台即服务iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一虚拟私有云VPC上;
基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
2.根据权利要求1所述的方法,其特征在于,在所述iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求之前,所述方法还包括:
在接收到所述服务代理发起的第一连接建立请求的情况下,与所述服务代理建立第一传输连接;其中,所述第一连接建立请求中包括所述服务代理的服务列表;
针对所述服务列表中的每一服务,为所述服务分配一转发代理地址,并将所述服务的地址标识与所述转发代理地址之间的对应关系添加至所述服务配置信息中。
3.根据权利要求1所述的方法,其特征在于,所述数据传输请求为所述连接器通过与所述网关预先建立的第二传输连接发送的,所述基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接,包括:
基于所述第二传输连接的标识,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;
所述通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务,包括:
通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,确定与目标服务预先建立的第三传输连接,并通过所述第三传输连接,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
通过所述第一传输连接,接收所述服务代理返回的响应数据和所述目标服务的地址标识;其中,所述响应数据为所述目标服务通过所述第三传输连接发送至所述服务代理的;
基于所述目标服务的地址标识,查询所述服务配置信息,得到所述第二传输连接的标识;
基于所述第二传输连接的标识,将所述响应数据通过所述第二传输连接发送至所述连接器。
5.根据权利要求3所述的方法,其特征在于,在所述iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求之前,所述方法还包括:
在接收到所述连接器发送的第二连接建立请求的情况下,与所述连接器建立第二传输连接;
基于所述第二连接建立请求所请求的转发代理地址,查询所述服务配置信息,得到所述连接器要访问的目标服务的地址标识,以及与所述目标服务的服务代理进行数据传输的第一传输连接;
基于所述第一传输连接,将携带所述目标服务的地址标识的第三连接建立请求发送至所述服务代理,以使所述服务代理基于所述目标服务的地址标识,与所述目标服务建立第三传输连接。
6.根据权利要求1所述的方法,其特征在于,所述基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接,包括:
获取发送所述数据传输请求的连接器的地址、接收所述数据传输请求的转发代理的地址以及所述连接器要访问的目标服务的地址;
基于所述连接器的地址和所述转发代理的地址,查询所述网关的连接状态跟踪表,得到所述连接器要访问的目标服务的地址标识;
基于所述转发代理的地址,查询预先配置的服务配置信息,得到所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;
所述通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务,包括:
通过所述第一传输连接,将所述数据传输请求、所述目标服务的地址和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,查询所述服务代理的连接状态跟踪表,确定所述服务代理的地址,并通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
7.根据权利要求6所述的方法,其特征在于,所述基于所述连接器的地址和所述转发代理的地址,查询所述网关的连接状态跟踪表,得到所述连接器要访问的目标服务的地址标识,包括:
在所述网关的连接状态跟踪表中查询不到所述连接器的地址和所述转发代理的地址对应的记录的情况下,基于所述目标服务的地址,生成所述连接器要访问的目标服务的地址标识;
将所述连接器的地址、所述转发代理的地址和所述目标服务的地址标识组成的记录添加至所述网关的连接状态跟踪表中。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
通过所述第一传输连接,接收所述服务代理返回的响应数据和所述连接器要访问的目标服务的地址标识;
基于所述目标服务的地址标识,查询所述网关的连接状态跟踪表,得到发送所述响应数据的转发代理的地址以及接收所述响应数据的连接器的地址;
基于所述转发代理的地址和所述连接器的地址,将所述响应数据发送至所述连接器。
9.一种服务集成中的数据传输方法,其特征在于,包括:
服务代理接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中;
基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;
在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器。
10.根据权利要求9所述的方法,其特征在于,所述基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务,包括:
基于所述地址标识,确定所述服务代理与所述连接器要访问的目标服务之间预先建立的第三传输连接;
通过所述第三传输连接,将所述连接器的数据传输请求发送至所述目标服务;
所述通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器,包括:
通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器以及与所述连接器预先建立的第一传输连接,并通过所述第一传输连接将所述目标服务的响应数据发送至所述连接器。
11.根据权利要求9所述的方法,其特征在于,所述基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务,包括:
基于所述地址标识,查询所述服务代理的连接状态跟踪表,得到所述服务代理的地址和所述连接器要访问的目标服务的地址;
通过所述服务代理的地址和所述目标服务的地址将所述连接器的数据传输请求发送至所述目标服务;
在接收到所述连接器要访问的目标服务发送的响应数据的情况下,在所述基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接之前,还包括:
获取所述连接器要访问的目标服务的地址和接收所述目标服务的响应数据的服务代理的地址;
基于所述目标服务的地址和所述服务代理的地址,查询所述服务代理的连接状态跟踪表,得到所述目标服务的地址标识。
12.一种服务集成中的数据传输装置,其特征在于,包括:
第一接收模块,用于iPaaS系统的网关接收所述iPaaS系统的连接器发送的数据传输请求;所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上;
第一映射模块,用于基于预先配置的服务配置信息,确定所述连接器要访问的目标服务的地址标识,以及所述网关与所述目标服务的服务代理进行数据传输的第一传输连接;其中,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
第一发送模块,用于通过所述第一传输连接,将所述数据传输请求和所述目标服务的地址标识发送至所述服务代理,以使所述服务代理基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务。
13.一种服务集成中的数据传输装置,其特征在于,包括:
第四接收模块,用于服务代理接收iPaaS系统的网关发送的所述iPaaS系统的连接器的数据传输请求和所述连接器要访问的目标服务的地址标识;其中,所述iPaaS系统部署在云网络中所述iPaaS系统所属租户的第一VPC上,所述服务代理部署在所述租户的内网中,所述目标服务部署在所述内网或所述租户的第二VPC中;
第五发送模块,用于基于所述地址标识,将所述连接器的数据传输请求发送至所述连接器要访问的目标服务;
第五接收模块,用于在接收到所述连接器要访问的目标服务发送的响应数据的情况下,基于所述目标服务的地址标识,确定所述服务代理与所述网关进行数据传输的第一传输连接;其中,所述第一传输连接为基于所述服务代理发起的第一连接建立请求预先建立的;
第六发送模块,用于通过所述第一传输连接,将所述目标服务的响应数据和所述目标服务的地址标识发送至所述网关,以使所述网关基于所述地址标识,确定所述连接器,将所述目标服务的响应数据发送至所述连接器。
14.一种服务集成中的数据传输设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至11任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至11任一项所述的方法。
CN202110353970.XA 2021-04-01 2021-04-01 服务集成中的数据传输方法、装置、设备及存储介质 Active CN112738284B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110353970.XA CN112738284B (zh) 2021-04-01 2021-04-01 服务集成中的数据传输方法、装置、设备及存储介质
PCT/CN2022/082006 WO2022206452A1 (zh) 2021-04-01 2022-03-21 服务集成中的数据传输方法、装置、设备、存储介质及计算机程序产品
JP2023538140A JP2024504006A (ja) 2021-04-01 2022-03-21 サービス統合におけるデータ伝送方法、装置、機器及びコンピュータープログラム
EP22778635.7A EP4236207A1 (en) 2021-04-01 2022-03-21 Data transmission method, apparatus and device in service integration, and storage medium and computer program product
US17/991,474 US11856065B2 (en) 2021-04-01 2022-11-21 Data transmission for service integration between a virtual private cloud and an intranet

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110353970.XA CN112738284B (zh) 2021-04-01 2021-04-01 服务集成中的数据传输方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112738284A true CN112738284A (zh) 2021-04-30
CN112738284B CN112738284B (zh) 2021-06-04

Family

ID=75596298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110353970.XA Active CN112738284B (zh) 2021-04-01 2021-04-01 服务集成中的数据传输方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US11856065B2 (zh)
EP (1) EP4236207A1 (zh)
JP (1) JP2024504006A (zh)
CN (1) CN112738284B (zh)
WO (1) WO2022206452A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452592A (zh) * 2021-06-09 2021-09-28 北京奥星贝斯科技有限公司 混合云架构下的跨云数据访问方法及装置
CN114025009A (zh) * 2021-10-20 2022-02-08 北京奥星贝斯科技有限公司 转发请求的方法、系统、代理服务器和装置
CN114125025A (zh) * 2021-11-23 2022-03-01 北京奥星贝斯科技有限公司 一种多目标网络下的数据传输方法及装置
CN114827260A (zh) * 2022-04-13 2022-07-29 度小满科技(北京)有限公司 一种数据传输方法及相关装置
CN115150242A (zh) * 2022-06-23 2022-10-04 北京青云科技股份有限公司 一种PaaS应用的部署方法和系统
WO2022206452A1 (zh) * 2021-04-01 2022-10-06 腾讯科技(深圳)有限公司 服务集成中的数据传输方法、装置、设备、存储介质及计算机程序产品
CN115883655A (zh) * 2022-12-07 2023-03-31 中科驭数(北京)科技有限公司 服务请求处理方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579458B (zh) * 2024-01-17 2024-04-23 成都谐盈科技有限公司 基于软件通信体系结构的数据传输方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833251A (zh) * 2018-08-01 2018-11-16 北京百度网讯科技有限公司 用于控制网络互联的方法和装置
CN111030912A (zh) * 2018-10-09 2020-04-17 华为技术有限公司 虚拟私有云vpc之间互通的方法
CN111066300A (zh) * 2018-01-26 2020-04-24 Nicira股份有限公司 通过跨多个虚拟私有云共享的控制虚拟私有云为工作负载提供联网和安全
CN111431956A (zh) * 2019-01-10 2020-07-17 阿里巴巴集团控股有限公司 跨网络的服务访问方法、设备、系统及存储介质
US20200382345A1 (en) * 2018-02-19 2020-12-03 Huawei Technologies Co., Ltd. Multi-cloud vpc routing and registration
US10880273B2 (en) * 2018-07-26 2020-12-29 Insight Sciences Corporation Secure electronic messaging system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374389B2 (en) * 2014-04-25 2016-06-21 Intuit Inc. Method and system for ensuring an application conforms with security and regulatory controls prior to deployment
US10171292B1 (en) * 2015-09-29 2019-01-01 Amazon Technologies, Inc. Deploying a cloud infrastructure in a remote site
CN108650182B (zh) * 2018-04-20 2020-09-25 腾讯科技(深圳)有限公司 网络通信方法、系统、装置、设备及存储介质
CN110535964B (zh) * 2019-09-03 2021-12-14 北京首都在线科技股份有限公司 基于Paas连接器实现的数据处理方法及装置
CN110545205B (zh) * 2019-09-03 2021-11-30 北京首都在线科技股份有限公司 基于Paas网络的租户数据处理方法及处理装置
CN112243036B (zh) * 2020-10-21 2022-03-15 北京首都在线科技股份有限公司 PaaS服务的数据处理方法及装置、设备、存储介质
CN112738284B (zh) * 2021-04-01 2021-06-04 腾讯科技(深圳)有限公司 服务集成中的数据传输方法、装置、设备及存储介质
US20230004447A1 (en) * 2021-07-04 2023-01-05 CloudNatix, Inc. Harvesting and using excess capacity on legacy workload machines
US11470182B1 (en) * 2021-10-04 2022-10-11 Monday.com Ltd. Multi-region cloud architecture

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066300A (zh) * 2018-01-26 2020-04-24 Nicira股份有限公司 通过跨多个虚拟私有云共享的控制虚拟私有云为工作负载提供联网和安全
US20200382345A1 (en) * 2018-02-19 2020-12-03 Huawei Technologies Co., Ltd. Multi-cloud vpc routing and registration
US10880273B2 (en) * 2018-07-26 2020-12-29 Insight Sciences Corporation Secure electronic messaging system
CN108833251A (zh) * 2018-08-01 2018-11-16 北京百度网讯科技有限公司 用于控制网络互联的方法和装置
CN111030912A (zh) * 2018-10-09 2020-04-17 华为技术有限公司 虚拟私有云vpc之间互通的方法
CN111431956A (zh) * 2019-01-10 2020-07-17 阿里巴巴集团控股有限公司 跨网络的服务访问方法、设备、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐壮壮: ""基于OpenStack的容器跨区域网络自动化管理"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206452A1 (zh) * 2021-04-01 2022-10-06 腾讯科技(深圳)有限公司 服务集成中的数据传输方法、装置、设备、存储介质及计算机程序产品
US11856065B2 (en) 2021-04-01 2023-12-26 Tencent Technology (Shenzhen) Company Limited Data transmission for service integration between a virtual private cloud and an intranet
CN113452592A (zh) * 2021-06-09 2021-09-28 北京奥星贝斯科技有限公司 混合云架构下的跨云数据访问方法及装置
CN114025009A (zh) * 2021-10-20 2022-02-08 北京奥星贝斯科技有限公司 转发请求的方法、系统、代理服务器和装置
CN114025009B (zh) * 2021-10-20 2024-04-16 北京奥星贝斯科技有限公司 转发请求的方法、系统、代理服务器和装置
CN114125025A (zh) * 2021-11-23 2022-03-01 北京奥星贝斯科技有限公司 一种多目标网络下的数据传输方法及装置
CN114125025B (zh) * 2021-11-23 2024-02-13 北京奥星贝斯科技有限公司 一种多目标网络下的数据传输方法及装置
CN114827260A (zh) * 2022-04-13 2022-07-29 度小满科技(北京)有限公司 一种数据传输方法及相关装置
CN114827260B (zh) * 2022-04-13 2023-08-25 度小满科技(北京)有限公司 一种数据传输方法及相关装置
CN115150242A (zh) * 2022-06-23 2022-10-04 北京青云科技股份有限公司 一种PaaS应用的部署方法和系统
CN115150242B (zh) * 2022-06-23 2023-04-25 北京青云科技股份有限公司 一种PaaS应用的部署方法和系统
CN115883655A (zh) * 2022-12-07 2023-03-31 中科驭数(北京)科技有限公司 服务请求处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4236207A1 (en) 2023-08-30
JP2024504006A (ja) 2024-01-30
US11856065B2 (en) 2023-12-26
WO2022206452A1 (zh) 2022-10-06
US20230078546A1 (en) 2023-03-16
CN112738284B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112738284B (zh) 服务集成中的数据传输方法、装置、设备及存储介质
US9953612B2 (en) Systems and methods for facilitating communication between mobile devices and display devices
US9244817B2 (en) Remote debugging in a cloud computing environment
CN109496415B (zh) 一种虚拟机访问远端加速设备方法及系统
EP2075991A1 (en) Local device redirection
CN109474936B (zh) 应用于多个lora网关之间的物联网通讯方法及系统
CN109417492B (zh) 一种网络功能nf管理方法及nf管理设备
CN113225214B (zh) 协同管理边缘cdn节点的方法、装置及计算机可读介质
CN109167670B (zh) Pfcp连接处理方法、装置、网元、系统及存储介质
KR20150013860A (ko) 클라이언트 없는 클라우드 컴퓨팅
EP2922246B1 (en) Method and data center network for cross-service zone communication
JP2003208365A (ja) 適応ディスパッチャを有する仮想ネットワーク
CN102801702B (zh) 服务器连接方法、信息提供方法、云计算网络及操作方法
EP1912404B1 (en) File transfer server
CN111327668B (zh) 网络管理方法、装置、设备和存储介质
CN116633775B (zh) 一种多容器网络接口的容器通信方法及系统
CN113364741A (zh) 一种应用访问方法及代理服务器
WO2022067830A1 (zh) 一种应用上下文的迁移方法及装置
EP3439238A1 (en) Architecture, method and apparatus for realizing network function communication
US8539109B1 (en) Third party direct memory access protocol extension to separate data path from control path
JP2006227763A (ja) データ共有システム、データ共有方法及びプログラム
KR100597405B1 (ko) 소켓 어플리케이션 프로그램을 이용한 데이터 중계 시스템및 데이터 중계 방법
WO2023029974A1 (zh) 云服务方法、电子设备和计算机可读存储介质
KR101921275B1 (ko) 메신저에서의 파일 전송 시 기기 간 통신 기술을 활용하는 방법 및 시스템
CN110110004B (zh) 一种数据操作方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042595

Country of ref document: HK