CN108123963B - 一种跨境电商的api辅助系统及处理方法 - Google Patents

一种跨境电商的api辅助系统及处理方法 Download PDF

Info

Publication number
CN108123963B
CN108123963B CN201810055606.3A CN201810055606A CN108123963B CN 108123963 B CN108123963 B CN 108123963B CN 201810055606 A CN201810055606 A CN 201810055606A CN 108123963 B CN108123963 B CN 108123963B
Authority
CN
China
Prior art keywords
server
cluster
data
proxy server
api
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810055606.3A
Other languages
English (en)
Other versions
CN108123963A (zh
Inventor
陈磊
莫明义
陈志毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yicang Tech Co ltd
Original Assignee
Shenzhen Yicang Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yicang Tech Co ltd filed Critical Shenzhen Yicang Tech Co ltd
Priority to CN201810055606.3A priority Critical patent/CN108123963B/zh
Publication of CN108123963A publication Critical patent/CN108123963A/zh
Application granted granted Critical
Publication of CN108123963B publication Critical patent/CN108123963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种跨境电商的API辅助系统，包括应用API模块、Haproxy代理服务器、应用服务器集群、proxy代理服务器和后端服务器集群，所述应用API模块通过API接口与所述Haproxy代理服务器建立连接；所述应用服务器集群分别与Haproxy代理服务器、proxy代理服务器和后端服务器集群建立通信连接；所述proxy代理服务器中部署有Redis集群，Redis集群中配置有多个数据节点且proxy代理服务器通过负载均衡算法选择各个数据节点；所述数据节点包括Master主节点和Slave只读节点，所述Master主节点和Slave只读节点分别用于写入数据和读取数据，以达到能够良好对接API接口以降低时间成本、提升跨国网络速度以防止二次同步以及避免服务商接口升级导致二次开发的目的。

Description

一种跨境电商的API辅助系统及处理方法
技术领域
本发明属于跨境电商的技术领域，具体涉及一种跨境电商的API辅助系统及处理方法。
背景技术
2013年被称为跨境电商元年，全国跨境电子商务交易额达到3.1万亿元人民币；2014年，政策支持力度加强，多地建了跨境电商园区与平台。面对海淘一族的迅速兴起，以及其背后所蕴含的巨大商机，跨境贸易电子商务已成为我国对外贸易新增长点，同时，也急切需要出口企业对物流、仓储等配套的改革。
目前全球的物流API接口近两百多个，而各国之间的网络访问存在延时的问题，从而导致数据无法同步。
如果电商企业单独对接各个服务商系统，完成每个服务商系统API的对接都会遇到一些未知问题，而且需要API对接的技术也将不同，API对接成本非常的高且周期长，以及由于跨国网络问题，导致同步过程中断无法返回同步状态标识，此时二次同步，带来经济上的损失。
发明内容
为了解决现有技术存在的上述问题，本发明目的在于提供一种跨境电商的API辅助系统以达到能够良好对接API接口以降低时间成本、提升跨国网络速度以防止二次同步以及避免服务商接口升级导致二次开发的目的。
本发明所采用的技术方案为：一种跨境电商的API辅助系统，其特征在于，包括应用API模块、Haproxy代理服务器、应用服务器集群、proxy代理服务器和后端服务器集群，所述应用API模块通过API接口与所述Haproxy代理服务器建立连接；所述应用服务器集群分别与Haproxy代理服务器、proxy代理服务器和后端服务器集群建立通信连接；所述proxy代理服务器中部署有Redis集群，Redis集群中配置有多个数据节点且proxy代理服务器通过负载均衡算法选择各个数据节点；所述数据节点包括Master主节点和Slave只读节点，所述Master主节点和Slave只读节点分别用于写入数据和读取数据。
进一步地，所述应用服务器集群包括至少一个nginx服务器，所述nginx服务器与proxy代理服务器之间通过VPC网络建立连接，且nginx服务器与Haproxy代理服务器建立通信连接。
进一步地，所述后端服务器集群包括至少一个后端区域服务器，所述后端区域服务器与应用服务器集群建立通信连接。
一种跨境电商的API辅助系统的处理方法，其特征在于，该处理方法主要包括以下内容：
(1)应用API模块通过API接口将客户订单数据推送至Haproxy代理服务器；
(2)通过Haproxy代理服务器将客户订单数据分发给应用服务器集群中最优的nginx服务器中；
(3)由nginx服务器判断客户订单数据是否属于重复同步，若判断结果为“是”，则直接从proxy代理服务器获取同步状态数据并反馈结果至Haproxy代理服务器中；若判断结果为“否”，则将客户订单数据写入至proxy代理服务器的Redis集群中，并在Redis集群中实现Redis消息队列；
(4)通过proxy代理服务器自动识别Redis消息队列中的读写请求类型，且proxy代理服务器按照权重作负载均衡，将Redis消息队列的请求转发至不同的数据节点中，数据节点分为Master主节点队列和Slave只读节点队列；
(5)通过应用服务器集群在Slave只读节点队列中获取待处理订单，并根据待处理订单的区域信息通过最优网络线路分配至后端服务器集群中对应的后端区域服务器上。
进一步地，所述步骤(3)中，nginx服务器与proxy代理服务器之间通过VPC网络进行数据传输交互。
进一步地，所述步骤(4)中，将写入数据的请求类型转发至Master主节点队列中，将读取数据的请求类型转发至Slave只读节点队列中。
本发明的有益效果为：
1.本发明可将数据整合集成全球众多服务商API，只需将API的订单数据推送至Haproxy代理服务器，降低了时间成本，Haproxy代理服务器再将订单数据统一转给应用服务器集群处理，应用服务器集群将待处理数据写入Redis集群，再由应用服务器集群统一从Redis集群中获取待处理订单并分配至不同的后端区域服务器，相对于现有技术，避免直接访问数据库，达到能快速处理订单的目的，解决高并发的情况下，数据验证失败导致重复同步的问题；避免由于各个服务商系统(即后端区域服务器)的API对接技术不同，造成对接成本非常的高且周期长；
2.本发明中的nginx服务器与部署有Redis集群的proxy代理服务器均使用相同的VPC网络，保证nginx服务器可快速访问Redis集群，减少对互联网网络的依赖，而且应用服务器集群在待处理消息队列时，统一从Slave只读节点队列中获取待处理订单队列，仅需消费一次，能有效避免重复处理；
3.本发明中nginx服务器将未同步的客户订单数据写入Redis集群的Master主节点队列中，使用队列的方式能够有效地支持海量线订单并发同步；
4.本发明中通过API接口的所在区域按最优的网络路线分配至对应的后端区域服务器，提升了电商企业与服务商之间的对接效率。
附图说明
图1是本发明提供的跨境电商的API辅助系统的系统结构框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步阐述。
如图1所示，本发明提供了一种跨境电商的API辅助系统，包括应用API模块1、Haproxy代理服务器2、应用服务器集群、proxy代理服务器4和后端服务器集群，所述应用API模块1通过API接口与所述Haproxy代理服务器2建立连接；所述应用服务器集群分别与Haproxy代理服务器2、proxy代理服务器4和后端服务器集群建立通信连接；所述proxy代理服务器4中部署有Redis集群，Redis集群中配置有多个数据节点且proxy代理服务器4通过负载均衡算法选择各个数据节点；所述数据节点包括Master主节点和Slave只读节点，所述Master主节点和Slave只读节点分别用于写入数据和读取数据，多个数据节点中形成Master主节点队列5和Slave只读节点队列6，作为优选的，Haproxy代理服务器2采用云服务器(ESC)，云服务器(ESC)实例是一个虚拟的计算环境，包含了CPU、内存、操作系统、磁盘、带宽等最基础的服务器组件，是ECS提供给每个用户的操作实体。
所述应用服务器集群包括至少一个nginx服务器3，所述nginx服务器3与proxy代理服务器4之间通过VPC网络建立连接，VPC属于专有网络，有利于nginx服务器3能够在Redis集群中进行快速读取或者写入，也不需要依赖于互联网，且nginx服务器3与Haproxy代理服务器2建立通信连接，以保证Haproxy代理服务器2基于各个nginx服务器3进行最优分配。其中，所述Nginx服务器是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器，作为优选的，nginx服务器3设有3台，3台nginx服务器3与Redis集群均处于相同的VPC网络环境下。
所述后端服务器集群包括至少一个后端区域服务器，所述后端区域服务器与应用服务器集群之间建立通信连接，后端区域服务器即为API服务商，API服务商用于读取应用服务器集群中待处理订单队列，本实施例中，后端区域服务器设有四个，分别为CN服务商7、US服务商8、HK服务商9和GER服务商10。
本发明还提供了一种跨境电商的API辅助系统的处理方法，该处理方法主要包括以下内容：
(1)应用API模块1通过API接口将客户订单数据推送至Haproxy代理服务器2；
(2)通过Haproxy代理服务器2将客户订单数据分发给应用服务器集群中最优的nginx服务器3中；所述Haproxy代理服务器2中配置有最优分配算法，能够快速获取处于最优状态的nginx服务器3；
(3)由nginx服务器3判断客户订单数据是否属于重复同步，若判断结果为“是”，即proxy代理服务器4中已经缓存有对应的客户订单数据，则直接从proxy代理服务器4获取同步状态数据并反馈结果至Haproxy代理服务器2中；若判断结果为“否”，则将客户订单数据写入至proxy代理服务器4的Redis集群中，并在Redis集群中实现Redis消息队列；
(4)通过proxy代理服务器4自动识别Redis消息队列中的读写请求类型，且proxy代理服务器4按照权重作负载均衡，proxy代理服务器4计算出Redis消息队列中待处理订单的权重值，再根据权重值作负载均衡，将Redis消息队列中的待处理订单请求转发至不同的数据节点中，数据节点分为Master主节点队列5和Slave只读节点队列6；
(5)通过应用服务器集群在Slave只读节点队列6中获取待处理订单，并根据待处理订单的区域信息通过最优网络线路分配至后端服务器集群中的后端区域服务器上，后端区域服务器按API接口所在区域分为CN服务商7(中国深圳API服务商)、US服务商8(美国API服务商)、HK服务商9(中国香港API服务商)和GER服务商10(德国API服务商)。具体如下：若待处理订单的区域信息为中国香港，则应用服务器集群选择最优网络线路将待处理订单分配至HK服务商(中国香港API服务商)。
所述步骤(3)中，nginx服务器3与proxy代理服务器4之间通过VPC网络进行数据传输交互，实现nginx服务器3可以快速访问Redis集群中的Redis消息队列，以减少对互联网网络的依赖，当应用服务器集群在处理Redis消息队列时，能够统一从Slave只读节点队列6中获取待处理订单队列，整个过程仅消费一次，能够有效避免重复处理，且减少对数据库的直接操作，并能快速处理订单。
所述步骤(4)中，将写入数据的请求类型转发至Master主节点队列5中，使用Master主节点队列5的方式能够有效地支持海量线订单并发同步，将读取数据的请求类型转发至Slave只读节点队列6中，便于后端区域服务器能够快速读取Slave只读节点队列6中的订单信息。
本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。

Claims (4)

1.一种跨境电商的API辅助系统，其特征在于，包括应用API模块、Haproxy代理服务器、应用服务器集群、proxy代理服务器和后端服务器集群，所述应用API模块通过API接口与所述Haproxy代理服务器建立连接；所述应用服务器集群分别与Haproxy代理服务器、proxy代理服务器和后端服务器集群建立通信连接；所述proxy代理服务器中部署有Redis集群，Redis集群中配置有多个数据节点且proxy代理服务器通过负载均衡算法选择各个数据节点；所述数据节点包括Master主节点和Slave只读节点，所述Master主节点和Slave只读节点分别用于写入数据和读取数据；
其中，所述后端服务器集群包括至少一个后端区域服务器，所述后端区域服务器与应用服务器集群建立通信连接；
所述应用服务器集群包括至少一个nginx服务器，所述nginx服务器与proxy代理服务器之间通过VPC网络建立连接，且nginx服务器与Haproxy代理服务器建立通信连接。
2.一种跨境电商的API辅助系统的处理方法，其特征在于，该处理方法主要包括以下内容：
(1)应用API模块通过API接口将客户订单数据推送至Haproxy代理服务器；
(2)通过Haproxy代理服务器将客户订单数据分发给应用服务器集群中最优的nginx服务器中；
(3)由nginx服务器判断客户订单数据是否属于重复同步，若判断结果为“是”，则直接从proxy代理服务器获取同步状态数据并反馈结果至Haproxy代理服务器中；若判断结果为“否”，则将客户订单数据写入至proxy代理服务器的Redis集群中，并在Redis集群中实现Redis消息队列；
(4)通过proxy代理服务器自动识别Redis消息队列中的读写请求类型，且proxy代理服务器按照权重作负载均衡，将Redis消息队列的请求转发至不同的数据节点中，数据节点分为Master主节点队列和Slave只读节点队列；
(5)通过应用服务器集群在Slave只读节点队列中获取待处理订单，并根据待处理订单的区域信息，通过最优网络线路分配至后端服务器集群中对应的后端区域服务器上。
3.根据权利要求2所述的跨境电商的API辅助系统的处理方法，其特征在于，所述步骤(3)中，nginx服务器与proxy代理服务器之间通过VPC网络进行数据传输交互。
4.根据权利要求2所述的跨境电商的API辅助系统的处理方法，其特征在于，所述步骤(4)中，将写入数据的请求类型转发至Master主节点队列中，将读取数据的请求类型转发至Slave只读节点队列中。
CN201810055606.3A 2018-01-19 2018-01-19 一种跨境电商的api辅助系统及处理方法 Active CN108123963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810055606.3A CN108123963B (zh) 2018-01-19 2018-01-19 一种跨境电商的api辅助系统及处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810055606.3A CN108123963B (zh) 2018-01-19 2018-01-19 一种跨境电商的api辅助系统及处理方法

Publications (2)

Publication Number Publication Date
CN108123963A CN108123963A (zh) 2018-06-05
CN108123963B true CN108123963B (zh) 2021-05-11

Family

ID=62233095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810055606.3A Active CN108123963B (zh) 2018-01-19 2018-01-19 一种跨境电商的api辅助系统及处理方法

Country Status (1)

Country Link
CN (1) CN108123963B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900598B (zh) * 2018-06-26 2021-06-11 杭州朗和科技有限公司 网络请求转发及响应方法、装置、系统、介质及电子设备
CN110290163B (zh) * 2018-08-28 2022-03-25 新华三技术有限公司 一种数据处理方法及装置
CN109347936B (zh) * 2018-09-30 2021-08-24 满帮信息咨询有限公司 Redis代理客户端的实现方法、系统、存储介质及电子设备
CN109639752B (zh) * 2018-10-23 2022-07-19 深圳壹账通智能科技有限公司 对代理进行调度的方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752188A (zh) * 2011-04-21 2012-10-24 北京邮电大学 一种传输控制协议连接迁移方法及系统
CN104579996A (zh) * 2013-10-17 2015-04-29 中国电信股份有限公司 一种集群负载均衡方法和系统
CN104965850B (zh) * 2015-04-29 2018-01-30 云南电网有限责任公司 一种基于开源技术的数据库高可用实现方法
CN105160572A (zh) * 2015-09-30 2015-12-16 努比亚技术有限公司 控制订单生成的装置、方法及秒杀系统
CN105512167B (zh) * 2015-10-30 2018-01-23 广东广信通信服务有限公司 一种基于混合数据库的多业务用户数据管理系统及其方法
CN106709784A (zh) * 2016-12-28 2017-05-24 广州虎鱼网络科技有限公司 一种高并发可扩展分布式架构的跨境电商平台
CN107222567A (zh) * 2017-07-07 2017-09-29 北京京东尚科信息技术有限公司 处理数据请求的方法、装置及服务集群

Also Published As

Publication number Publication date
CN108123963A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN108123963B (zh) 一种跨境电商的api辅助系统及处理方法
CN109947668B (zh) 存储数据的方法和装置
CN102831156B (zh) 一种云计算平台上的分布式事务处理方法
US8196150B2 (en) Event locality using queue services
CN107180113B (zh) 一种大数据检索平台
CN104679665A (zh) 一种实现分布式文件系统块存储的方法及系统
US20120324160A1 (en) Method for data access, message receiving parser and system
CN106777311B (zh) 航班舱位状态缓存方法和系统
CN105681426B (zh) 异构系统
CN107506145B (zh) 一种物理存储调度方法及云主机创建方法
CN102521389A (zh) 一种混合使用固态硬盘和传统硬盘的postgresql数据库集群系统及其优化方法
CN105516284A (zh) 一种集群数据库分布式存储的方法和装置
CN106095957A (zh) 分布式文件系统的跨域多副本文件同步方法及装置
CN113806430A (zh) 一种多功能数据管理平台
CN105468297A (zh) 一种云存储系统内主从设备数据快速同步的方法
US10970309B2 (en) Data storage method and apparatus
CN110807039A (zh) 一种云计算环境下数据一致性维护系统及方法
CN105468296A (zh) 基于虚拟化平台的无共享存储管理方法
CN104410531A (zh) 冗余的系统架构方法
CN106383671A (zh) 一种块设备存储集群扩容系统及方法
Mealha et al. Data replication on the cloud/edge
WO2024021470A1 (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
US11061926B2 (en) Data warehouse management and synchronization systems and methods
CN107229424B (zh) 一种分布式存储系统数据写入方法及分布式存储系统
CN116431551A (zh) 证券行业中实现分布式核心交易系统硬件加速的系统、方法、装置、处理器及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant