CN111767156A - 一种提升金融云端海量数据服务可靠性方法 - Google Patents

一种提升金融云端海量数据服务可靠性方法 Download PDF

Info

Publication number
CN111767156A
CN111767156A CN201910263785.4A CN201910263785A CN111767156A CN 111767156 A CN111767156 A CN 111767156A CN 201910263785 A CN201910263785 A CN 201910263785A CN 111767156 A CN111767156 A CN 111767156A
Authority
CN
China
Prior art keywords
data
financial
client
clients
financial data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910263785.4A
Other languages
English (en)
Inventor
张嘉辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201910263785.4A priority Critical patent/CN111767156A/zh
Publication of CN111767156A publication Critical patent/CN111767156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及互联网通信技术领域，具体涉及一种提升金融云端海量数据服务可靠性方法。所提供的提升金融云端海量数据服务可靠性方法，包括以下步骤：按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；接收第一客户端发送的第一金融数据获取请求；解析第一金融数据所对应的数据文件；查询数据文件是否已经发送至其他客户端；如是，将其他客户端的标识信息发送至第一客户端，以使第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据。该提升金融云端海量数据服务可靠性方法便于服务器端处理、传输金融数据；降低了服务器端的资源占用、提高了服务器端的资源利用率，提高了客户端获取金融数据的响应速度以及提高了传输的稳定性、可靠性。

Description

一种提升金融云端海量数据服务可靠性方法
技术领域
本发明涉及互联网通信技术领域，具体涉及一种提升金融云端海量数据服务可靠性方法。
背景技术
金融数据包含了股票、证券、期货等交易数据。比如股票数据，交易所中每一个上市公司在每250ms会产生一个最新的交易数据，而有时候需要上市公司过去几年之内的历史股票数据用以预测这些上市公司未来的股票走势或者用历史股票数据来对当前公司的股票做交易策略研究，由此需要处理这些公司几年内所有的交易数据，而一个上市公司的一年的交易数据量就达到 GB级，当处理上百个上市公司的十年内的交易数据量将会达到TB级，从而对数据处理及传输提出了较高的要求。
目前金融数据的网络通信架构大部分采用传统的客户端/服务器端(C/S) 架构，这种架构的优点是架构简单，容易实现；缺点是需要更高性能的服务器端从而在接收到较多的客户端请求时能及时对客户端进行相应，由此服务器端的成本较高，而且当客户端数量增加时，传统的C/S架构难以达到实时响应的要求。
发明内容
为解决目前金融数据的网络通信客户端/服务器端(C/S)架构所存在的服务器端性能要求高、客户端数量扩展性低的缺点，本发明提供服务器端资源占用少、资源利用率高、响应及时、传输稳定的提升金融云端海量数据服务可靠性方法。
为此，本发明采用以下技术方案：
提升金融云端海量数据服务可靠性方法，包括以下步骤：
按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；
接收第一客户端发送的第一金融数据获取请求；
解析所述第一金融数据所对应的数据文件；
查询所述数据文件是否已经发送至其他客户端；
如是，将其他客户端的标识信息发送至所述第一客户端，以使所述第一客户端向；
其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据。
本发明提供的提升金融云端海量数据服务可靠性方法.，具有以下有益效果：
便于服务器端处理、传输金融数据；
降低了服务器端的资源占用、提高了服务器端的资源利用率，提高了第一客户端获取第一金融数据的响应速度以及提高了传输的稳定性、可靠性；可以及时响应大量的客户端的金融数据获取请求。
附图说明
图1为实施例的提升金融云端海量数据服务可靠性方法的流程示意图。
具体实施方式
以下结合附图及具体实施例对本发明作进一步说明。
参照1，本实施例提供的提升金融云端海量数据服务可靠性方法.，包括以下步骤：
按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；
接收第一客户端发送的第一金融数据获取请求；
解析第一金融数据所对应的数据文件；
查询数据文件是否已经发送至其他客户端；
如是，将其他客户端的标识信息发送至第一客户端，以使第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据。
其中，上述的金融类型包括股票、证券、期货等；日期具体到每一个自然日；客户端的标识信息包括客户端的主机名以及IP地址。
其中，第一客户端向其他客户端请求获取第一金融数据的具体步骤为：
第一客户端向其他客户端中的某一客户端请求获取第一金融数据，如该某一客户端存在第一金融数据并与第一客户端建立连接，则该某一客户端向第一客户端发送该第一金融数据；否则第一客户端向其他客户端中的下一个客户端请求获取第一金融数据。
由上，由于第一客户端请求获取第一金融数据通常为具体的类型如股票或证券等，而且所请求的第一金融数据往往是某一时间段的，故本实施例提供的提升金融云端海量数据服务可靠性方法按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端，这样，便于服务器端处理、传输金融数据；而且，当服务器接收第一客户端发送的第一金融数据获取请求时，将第一客户端的第一金融数据获取请求转移到其他客户端并由其他客户端向第一客户端发送第一金融数据，从而降低了服务器端的资源占用、提高了服务器端的资源利用率，提高了第一客户端获取第一金融数据的响应速度以及提高了传输的稳定性、可靠性；同时可以及时响应大量的客户端的金融数据获取请求。
进一步的，第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据的步骤之后，还包括：
第一客户端将所接收的第一金融数据以缓存形式保存至本地。
第一客户端将所接收的第一金融数据以缓存形式保存至本地，以便于为下一请求获取该第一金融数据的客户端发送该第一金融数据。
进一步的，查询数据文件是否已经发送至其他客户端的结果为否时，服务器端向第一客户端发送第一金融数据。
对于该第一金融数据，难免会出现客户端未向其他客户端发送过该第一金融数据的情况，此时，服务器端需向第一客户端发送第一金融数据。
进一步的，亦会存在服务器端想其他客户端发送过该第一金融数据而其他客户端并未保存或将该第一金融数据做了更改的情况，由此，第一客户端需重新向服务器端发送第一金融数据获取请求并由服务器端发送该第一金融数据。
进一步的，第一客户端接收第一金融数据之后，第一客户端将所接收的第一金融数据以缓存形式保存至本地。
第一客户端将所接收的第一金融数据以缓存形式保存至本地，以便于为下一请求获取该第一金融数据的客户端发送该第一金融数据。
进一步的，第一客户端向其他客户端请求获取第一金融数据并接收其他客户端发送的第一金融数据的步骤采用UDT数据传输协议的大洞技术实现第一客户端与其他客户端的连接、并采用UDT数据传输协议进行数据传输。
采用UDT数据传输协议(基于UDP的数据传输协议， UDP-based DataTransferProtocol，简称UDT)可使数据在更长的距离传输，同时可使数据传输更加高速、可靠。
以上为本发明举例说明。为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种提升金融云端海量数据服务可靠性方法，其特征在于，包括以下步骤：
按照金融类型以及日期将金融数据切分成多个单个的数据文件存储在服务器端；
接收第一客户端发送的第一金融数据获取请求；
解析所述第一金融数据所对应的数据文件；
查询所述数据文件是否已经发送至其他客户端；
如是，将其他客户端的标识信息发送至所述第一客户端，以使所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据。
2.如权利要求1所述的一种提升金融云端海量数据服务可靠性方法，其特征在于，所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据的步骤之后，
还包括：
所述第一客户端将所接收的所述第一金融数据以缓存形式保存至本地。
3.如权利要求1所述的一种提升金融云端海量数据服务可靠性方法，其特征在于，所述查询所述数据文件是否已经发送至其他客户端的结果为否时，所述服务器端向所述第一客户端发送所述第一金融数据。
4.如权利要求3所述的一种提升金融云端海量数据服务可靠性方法，其特征在于，所述第一客户端接收所述第一金融数据之后，
所述第一客户端将所接收的所述第一金融数据以缓存形式保存至本地。
5.如权利要求1所述的一种提升金融云端海量数据服务可靠性方法，其特征在于，所述所述第一客户端向其他客户端请求获取所述第一金融数据并接收其他客户端发送的所述第一金融数据的步骤采用UDT数据传输协议的大洞技术实现第一客户端与其他客户端的连接、并采用UDT数据传输协议进行数据传输。
CN201910263785.4A 2019-04-01 2019-04-01 一种提升金融云端海量数据服务可靠性方法 Pending CN111767156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910263785.4A CN111767156A (zh) 2019-04-01 2019-04-01 一种提升金融云端海量数据服务可靠性方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910263785.4A CN111767156A (zh) 2019-04-01 2019-04-01 一种提升金融云端海量数据服务可靠性方法

Publications (1)

Publication Number Publication Date
CN111767156A true CN111767156A (zh) 2020-10-13

Family

ID=72718480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910263785.4A Pending CN111767156A (zh) 2019-04-01 2019-04-01 一种提升金融云端海量数据服务可靠性方法

Country Status (1)

Country Link
CN (1) CN111767156A (zh)

Similar Documents

Publication Publication Date Title
US8090790B2 (en) Method and system for splicing remote direct memory access (RDMA) transactions in an RDMA-aware system
WO2019214292A1 (zh) 资源获取方法、终端装置、计算机设备及可读介质
CN103581230B (zh) 文件传输系统和方法、接收端、发送端
US10341367B1 (en) System and method for inquiring IOC information by P2P protocol
CN110708256B (zh) Cdn调度方法、装置、网络设备及存储介质
US11372937B1 (en) Throttling client requests for web scraping
US10057368B1 (en) Method and system for incremental cache lookup and insertion
CN111225069A (zh) 一种分布式行情数据处理系统及方法
TW437205B (en) An internet caching system and a method and an arrangement in such a system
US11843650B2 (en) Two-level cache architecture for live video streaming through hybrid ICN
CN109327511A (zh) 一种基于http协议的数据请求方法和服务器
CN1433545A (zh) 基于匿名主体寻址的方法和设备
CN111600929B (zh) 传输线路探测方法、路由策略生成方法及代理服务器
CN111767156A (zh) 一种提升金融云端海量数据服务可靠性方法
CN105933359A (zh) 海量金融数据传输方法及系统
CN108234575A (zh) 用于线下场景的推荐系统及推荐方法
EP4227828A1 (en) Web scraping through use of proxies, and applications thereof
CN111614792A (zh) 透传方法、系统、服务器、电子设备及存储介质
US20230018983A1 (en) Traffic counting for proxy web scraping
US20060047667A1 (en) System and method for data interchange
CN113791733A (zh) 信息的存储方法、装置、设备及存储介质
CN103414777A (zh) 基于内容分发网络的分布式地理信息匹配系统和方法
CN201774552U (zh) 文件传输系统
CN111541667A (zh) 一种系统间消息通信的方法、设备、存储介质
CN113852682B (zh) 一种数据传输方法及中间传输层服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201013

WD01 Invention patent application deemed withdrawn after publication