CN110489139A - 一种基于微服务的实时数据处理方法及其相关设备 - Google Patents

Abstract

本发明属于云技术领域，涉及一种基于微服务的实时数据处理方法、装置及计算机设备、存储介质。所述方法包括：接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；运行所述微服务集群中的多个微服务实例，以进行实时数据处理操作，并输出操作结果。本发明提供的方案通过微服务架构的方式进行实时数据处理，可以提高实时数据的并发处理的能力，能够有效提高实时数据处理的效率。

Description

一种基于微服务的实时数据处理方法及其相关设备

技术领域

本发明实施例属于云技术领域，尤其涉及一种基于微服务的实时数据处理方法、装置及计算机设备、计算机可读存储介质。

背景技术

目前对于ETF(Exchange Traded Funds，交易所交易基金)的交易这类型的实时数据的处理，行业内采用的是C/S模式的应用进行操作，这种模式必须在用户端安装应用程序，应用程序与服务端分离，实时数据处理相关的操作主要在客户端的应用程序中完成，应用程序与服务端主要进行数据交互，这种模式一般建立在专用局域网络上，局域网之间通过专门的服务器实现数据交换，受网络带宽和客户端本地操作系统的影响，C/S模式无法承载大量客户端的实时数据的处理，同时服务端对客户端的处理请求逐一进行响应处理，这样导致多用户并发操作时服务端不能进行多用户操作进行并行处理，影响实时数据处理的效率。此外，当ETF业务发生改变时，对客户端的应用程序需要更新，此时对所有的客户端的应用程序进行更新的工作量大，且无法实时更新。

发明内容

有鉴于此，本发明实施例提供一种基于微服务的实时数据处理方法、装置及计算机设备、存储介质，以解决现有的ETF交易这类型的实时数据的处理采用C/S模式的应用进行操作时存在无法承载大量客户端的实时数据的处理，影响实时数据处理效率的问题。

第一方面，本发明实施例提供一种基于微服务的实时数据处理方法，包括：

接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；

根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；

运行所述微服务集群中的多个所述微服务实例，以进行实时数据处理操作，并输出操作结果。

作为本发明可实施的方式，所述根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例包括：

访问地址管理中心，从所述地址管理中心获取品类信息与网络地址映射表，根据所述实时数据所属的品类信息从所述品类信息与网络地址映射表中获取对应的网络地址信息，根据获取的所述网络地址信息获取用于处理所述实时数据处理请求的微服务实例。

作为本发明可实施的方式，在所述接收至少一个实时数据处理请求之前，所述方法还包括：

获取预设的实时数据所属的品类信息，根据所述预设的实时数据所属的品类信息确定处理实时数据时需执行的操作，以在预设的云服务器中部署用于实现不同操作的多个微服务；

针对每个所述微服务生成至少一个微服务实例，所述微服务实例至少包括一个用于处理特定品类的实时数据的品类微服务实例。

作为本发明可实施的方式，在所述接收至少一个实时数据处理请求之后，所述方法还包括：

根据所述实时数据处理请求中的实时数据所属的品类信息，对接收到的所述实时数据处理请求进行分类；

获取各类别中的实时数据处理请求的数量信息；

根据所述数量信息为各类别的实时数据处理请求分别获取不同数量的所述微服务实例，以及分配不同比重的系统资源。

作为本发明可实施的方式，所述方法还包括：

持续接收实时数据处理请求；

当在预设时间段内接收到的实时数据处理请求的数量超出预设阈值时，确定超出所述预设阈值的数量，记为超出量；

根据持续接收的实时数据处理请求对应的品类信息和所述超出量，确认在所述微服务集群中增加新的微服务实例的种类和数量，以对所述微服务集群进行更新；

根据各实时数据处理请求的接收顺序，采用轮询的方式调用更新后的所述微服务集群中的微服务实例。

作为本发明可实施的方式，在所述在预设的云服务器中部署用于实现不同功能的多个微服务之后，所述方法还包括：

对部署在所述云服务器中的至少一个微服务进行动态更新。

作为本发明可实施的方式，所述对部署在所述云服务器中的至少一个微服务进行动态更新包括：

当待更新的微服务在所述微服务集群中存在两个以上的微服务实例，且其中存在至少一个闲置的微服务实例时，对闲置的微服务实例进行更新，并在更新后将未更新的微服务实例当前执行的实时数据处理操作转移至已更新的微服务实例，得到新的闲置的微服务实例，再对新的闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新；

当待更新的微服务在所述微服务集群中不存在闲置的微服务实例时，确定待更新的微服务，并获取待更新的微服务的更新内容，基于所述待更新的微服务和所述更新内容生成预设数量的新的微服务实例，并将所述新的微服务实例加入至所述微服务集群中，将所述微服务集群中未更新的微服务实例当前执行的实时数据处理操作转移至新生成的微服务实例，得到闲置的微服务实例，再对闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新。

第二方面，本发明实施例提供一种基于微服务的实时数据处理装置，包括：

请求接收单元，用于接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；

微服务获取单元，用于根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；

控制单元，用于控制运行所述微服务集群中的多个所述微服务实例，以进行实时数据处理操作，并输出操作结果。

第三方面，本发明实施例提供一种计算机设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使得所述至少一个处理器能够执行如上所述的基于微服务的实时数据处理方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被至少一个处理器执行时实现如上所述的基于微服务的实时数据处理方法的步骤。

根据本发明实施例提供的基于微服务的实时数据处理方法、装置及计算机设备、存储介质，基于云技术进行微服务部署，通过微服务架构的方式进行实时数据处理，可以提高ETF交易这类型的实时数据并发处理的能力，能够实现海量数据的处理，有效提高实时数据处理的效率。

附图说明

为了更清楚地说明本发明的方案，下面将对实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于微服务的实时数据处理方法的流程图；

图2为本发明实施例提供的部署微服务的流程图；

图3为本发明实施例对实时数据处理请求进行分类处理的流程图；

图4为本发明实施例提供的基于微服务的实时数据处理装置的结构框图；

图5为本发明实施例提供的基于微服务的实时数据处理装置的另一结构框图；

图6为本发明实施例提供的计算机设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

在说明书中的各个位置出现的“实施例”该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例提供一种基于微服务的实时数据处理方法，如图1所示，所述基于微服务的实时数据处理方法包括：

S1、接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；

S2、根据所述实时数据所属的品类信息获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；

S3、运行所述微服务集群中的多个所述微服务实例，以进行实时数据处理操作，并输出操作结果。

其中，上述步骤中的实时数据处理请求由不同客户端的用户发起，多个所述微服务实例可由不同的微服务生成，且多个所述微服务实例之间具有协同和/或依赖关系，互相配合实现实时数据处理操作。当上述方法应用于ETF交易时，在进行ETF交易时，客户端将发起包含待处理的实时数据的ETF交易请求即所述实时数据处理请求，相对应的，实时数据所属的品类信息对应为ETF品类信息，进行实时数据处理操作是相应的为进行ETF交易操作，输出的操作结果为交易操作结果。

作为本发明可实施的方式，在所述接收至少一个实时数据处理请求之前，所述方法还包括部署微服务的步骤，具体的，如图2所示，所述部署微服务的步骤包括：

S01、获取预设的实时数据所属的品类信息，根据所述预设的实时数据所属的品类信息确定处理实时数据时需执行的操作，以在预设的云服务器中部署用于实现不同操作的多个微服务；不同的微服务实现不同的操作，也即实现不同的功能。

S02、针对每个所述微服务生成至少一个微服务实例，所述微服务实例至少包括一个用于处理特定品类的实时数据的品类微服务实例。

在本发明实施例中，在预设的所述云服务器中部署的多种微服务可以分为两类，分别为与用户有界面交互的微服务和与用户无界面交互的微服务，与用于有交互的微服务可用于连接用户端和所述云服务器，本实施例中可以称其为公有微服务，具体的，当本发明实施例提供的方法应用于ETF交易时，所述品类微服务实例对应于一个特定的ETF品类，此时每一个公有微服务均对应一个ETF品类，生成的微服务实例相应的为处理对应的ETF品类的交易的品类微服务实例，比如单市场国债ETF微服务实例、单市场股票微服务实例、跨市场股票微服务实例等。在一些实施例中，所述微服务的部署还可以是基于位置信息进行部署，针对不同区域的用户进行针对性的部署，以ETF交易为例，比如针对上海和深圳可以分别部署前述的单市场国债ETF微服务、单市场股票微服务、跨市场股票微服务等；根据微服务架构的特性，多个ETF品类对应的多个公有微服务之间将互相隔离，互不影响。而与用户无界面交互的微服务单属于所述云服务器，可称其为私有微服务，私有微服务可为公有微服务提供功能服务，比如具有控制功能的微服务、具有管理公有微服务的功能的微服务。

在本实施例中，微服务可以部署在物理服务器或者虚拟服务器中；具体的，由同一种微服务生成的多个微服务实例可以分布在单个或者多个云服务器中，由不同种类的微服务生成的不同类别的微服务实例也可以分布在单个或者多个云服务器中。在具体的实施例方式中，微服务实例可以按照类别分布在特定的云服务器中，比如一组云服务器运行私有微服务实例，另一组云服务器运行公有微服务实例；在另一些实施例中，微服务实例也可以按照用户类型分布在特定的云服务器中，以ETF交易为例，比如用户可包括进行ETF交易投资的个体用户或公司用户，发行ETF的公司用户，提供ETF交易管理的公司用户等，可将每种类型的用户进行操作时所调用的微服务分别部署于不同的云服务器中；采用分类部署的方式可便于微服务的管理，同时有利于提高微服务实例的调用效率，有助于提升ETF交易的处理效率。

作为本发明可实施的方式，在所述接收至少一个实时数据处理请求之后，如图3所示，所述方法还包括：

S31、根据所述实时数据处理请求中的实时数据所属的品类信息，对接收到的所述实时数据处理请求进行分类；

S32、获取各类别中的实时数据处理请求的数量信息；

S33、根据所述数量信息为各类别的实时数据处理请求分别获取不同数量的所述微服务实例，以及分配不同比重的系统资源。

以ETF交易为例，比如对接收到的多个实时数据处理请求进行分类得到两个不同的ETF品类，同时能够得到每个ETF品类的实时数据处理请求数量，针对两类实时数据处理请求分别生成不同数量的微服务实例，同时分配不同比重的系统资源，以实现资源的均衡配置，保证接收到的实时数据处理请求能够快速匹配到相应的微服务实例，同时处理实时数据处理请求的微服务实例能够匹配到足够的系统资源，满足多用户并发操作的要求，在多用户并发操作时提供快速响应。

在一些实施例中，在接收到实时数据处理请求后，还可包括确定所述实时数据处理请求的来源的步骤，具体可以基于客户端所在的地区的I P地址实现来源识别，在确定来源之后，对同一来源的实时数据处理请求执行上述的步骤S31至S33，在分类前进行来源识别，可针对实时数据处理请求数量较大的地区配置更多的微服务实例和系统资源，满足多用户并发操作的要求。

作为本发明可实施的方式，所述方法还包括：持续接收实时数据处理请求，当在预设时间段内接收到的实时数据处理请求的数量超出预设阈值时，确定超出所述预设阈值的数量，记为超出量；根据持续接收的实时数据处理请求对应的品类信息和所述超出量，确认在所述微服务集群中增加新的微服务实例的种类和数量，以对所述微服务集群进行更新；根据各实时数据处理请求的接收顺序，采用轮询的方式调用更新后的所述微服务集群中的微服务实例。

具体的，存在多用户同时进行实时数据处理操作的情形，此时将接收到多个实时数据处理请求，多个实时数据处理请求可能调用具有同一功能的微服务实例，若当单位时间内接收到的实时数据处理请求超出预设阈值，将存在响应实时数据处理请求延迟或者请求无法处理的问题，此时根据持续接收的实时数据处理请求对应的品类信息，以及根据持续接收的实时数据处理请求在预设时间段内超出预设阈值的数量，来分别确定增加微服务实例的种类和数量，以满足多用户并发操作的要求，在多用户并发操作时提供快速响应，其中，对于增加的微服务实例的数量，还可结合每个微服务实例处理一个数据处理请求的处理效率来确定；同时通过对多个实时数据处理请求按照接收的顺序逐个调用具有同一功能的多个微服务实例来以实现负载均衡。以ETF交易为例，比如接收到实时数据处理请求1、实时数据处理请求2、……、实时数据处理请求N，同时这N个交易请求都需要调用支付微服务，且现有的微服务集群中存在有支付微服务生成有支付微服务实例1、支付微服务实例2、支付微服务实例3这三个微服务实例，此时若在预设时间段内接收到的实时数据处理请求的数量超出预设阈值，则需增加新的支付微服务实例，假设现在根据所述超出量和/或单个支付微服务实例的处理效率确定要增加两个支付微服务实例，分别为支付微服务实例4和支付微服务实例5，增加完成后，以轮询的方式对支付微服务实例进行调用操作，比如实时数据处理请求1调用支付微服务实例1，实时数据处理请求2调用支付微服务实例2，实时数据处理请求3调用支付微服务实例3，实时数据处理请求4调用支付微服务实例4，实时数据处理请求5调用支付微服务实例5，实时数据处理请求6重新调用支付微服务实例1，实时数据处理请求7重新调用支付微服务实例2等等，依次循环，配合完成ETF交易操作。当然，在持续接收实时数据处理请求的过程中，也可能需要调用所述微服务集群中不存在的微服务实例，倘若处理持续接收的实时数据处理请求中的某个请求所需的微服务实例不存在，可在所述微服务集群中增加对应的微服务实例，增加的数量同样可结合请求数量是否超出阈值来对应确定。

作为本发明可实施的方式，所述方法还包括对部署在所述云服务器中的至少一个微服务进行动态更新；该更新的过程可发生在所述微服务集群中的多个微服务实例的任何工作时段，比如发生在多个微服务实例针对一个实时数据处理请求执行实时数据处理操作之时，也可以发生在多个微服务实例针对一个实时数据处理请求执行实时数据处理操作之前或之后。在本实施例中，在所述云服务器中对部署的微服务进行更新包括增加、删除或者修改微服务，以及对所述微服务集群中的微服务实例进行修改，以ETF交易为例，比如新的ETF品类上线的情形需要增加微服务，ETF品类下线的情形需要删除微服务，而ETF品类发生业务变更，则需要基于变更内容修改微服务，若微服务存在微服务实例，则相应的需对处理ETF交易的微服务及相应的微服务实例进行调整修改。

对于修改微服务的操作在实时数据处理(如ETF交易的交易数据的处理)不中断的情况下实时进行的情况，在一些实施例中，所述对部署在所述云服务器中的至少一个微服务进行动态更新包括：确定待更新的微服务，当待更新的微服务在所述微服务集群中存在两个以上的微服务实例，且其中存在至少一个闲置的微服务实例时，对闲置的微服务实例进行更新，并在更新后将未更新的微服务实例当前执行的实时数据处理操作转移至已更新的微服务实例，得到新的闲置的微服务实例，再对新的闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新。由此可依次完成所述微服务集群中所有微服务实例的修改更新，从而实现微服务的升级。以更新支付微服务实例为例，现在需要修改支付微服务实例，以增加一种新的支付方式，假定现有的微服务集群包括支付微服务实例1、支付微服务实例2、支付微服务实例3，且支付微服务实例1和支付微服务实例2正在进行实时数据处理，而支付微服务实例3处于闲置状态，此时所述对部署在所述云服务器中的支付微服务进行动态更新过程为：获取更新内容，并将其注入支付微服务实例3中完成支付微服务实例3的更新，然后将支付微服务实例1当前执行的实时数据处理操作转移至更新后的支付微服务实例3中，得到闲置的支付微服务实例1，此时可参考支付微服务实例3的更新方式对支付微服务实例1进行更新，以此类推再更新支付微服务实例2。

在另一些实施例中，所述对部署在所述云服务器中的至少一个微服务进行更新包括：当待更新的微服务在所述微服务集群中不存在闲置的微服务实例时，确定待更新的微服务，并获取待更新的微服务的更新内容，基于所述待更新的微服务和所述更新内容生成预设数量的新的微服务实例，并将所述新的微服务实例加入至所述微服务集群中，将所述微服务集群中未更新的微服务实例当前执行的实时数据处理操作转移至新生成的微服务实例，得到闲置的微服务实例进行更新。以更新支付微服务实例为例，现在需要修改支付微服务实例，以增加一种新的支付方式，假定现有的微服务集群包括支付微服务实例1、支付微服务实例2、支付微服务实例3，且支付微服务实例1、支付微服务实例2和支付微服务实例3均在进行实时数据处理，此时可获取支付微服务镜像和更新内容，生成支付微服务实例4，此时支付微服务实例4为更新后的支付微服务实例，且处于闲置状态，此时所述对部署在所述云服务器中的支付微服务进行动态更新过程为：将支付微服务实例1当前执行的实时数据处理操作转移至更新后的支付微服务实例4中，得到闲置的支付微服务实例1，获取更新内容，并将其注入支付微服务实例1中完成支付微服务实例1的更新，然后将支付微服务实例2当前执行的实时数据处理操作转移至更新后的支付微服务实例1中，得到闲置的支付微服务实例2，此时可参考支付微服务实例1的更新方式对支付微服务实例2进行更新，以此类推再更新支付微服务实例3。采用上述实施例提供的更新方案，对于更新过程存在提供服务的微服务实例的情况，可以在不中断实时数据处理操作的情况下对所有待修改的微服务进行修改升级，有助于保证实时数据的处理效率。在具体的实施例中，还可以对待修改的微服务实例进行分组，按组进行修改更新，可以提高微服务的更新效率。

作为本发明可实施的方式，所述根据所述实时数据所属的品类信息获取处理所述实时数据处理请求的多个微服务实例包括：访问地址管理中心，从所述地址管理中心获取品类信息与网络地址映射表，根据所述实时数据所属的品类信息从所述品类信息与网络地址映射表中获取用于对应的网络地址信息，根据获取的所述网络地址信息获取处理所述实时数据处理请求的微服务实例。其中品类信息与网络地址映射表可参阅如下表1的形式：

品类信息1	网络地址信息1
		品类信息2	网络地址信息2
品类信息3	网络地址信息3
		品类信息4	网络地址信息4

表1

在一些实施例中，在进行实时数据处理操作的过程中，当其中一个微服务实例需要调用具有依赖关系的其他微服务实例、且该微服务实例不在所述微服务集群中时，还包括在所述微服务集群中新增微服务实例的步骤，具体的，向地址管理中心请求需新增的微服务实例的网络地址，根据获取的网络地址调用需新增的微服务实例。

在另一些实施例中，在进行实时数据处理操作的过程中，当其中一个微服务实例运行错误时，还包括置换所述微服务集群中运行错误的微服务实例的步骤，具体的，向地址管理中心请求与运行错误的微服务实例具有相同功能的其他微服务实例的网络地址，根据获取的网络地址调用用于置换的微服务实例，同时在地址管理中心将运行错误的微服务实例的网络地址删除，删除该运行错误的微服务实例。

在本发明实施例中，在所述云服务器中部署多种实现不同功能的微服务时，还包括对与微服务相对应的数据库进行配置的步骤，其中配置数据库可包括新增数据库或者更新数据库，以ETF交易为例，更新数据库的过程包括：汇总交易日当天的ETF交易数据，将汇总数据更新至云服务器的数据库中，同时将汇总数据上传至外部清算中心进行核算处理；接收由外部清算中心对汇总数据进行核算处理后的最终数据，将最终数据与云服务器的数据库中的数据进行比对，若两者存在差别，则根据接收的最终数据对云服务器的数据库中的数据进行校正，完成数据库更新。比如读取清算中心反馈的数据文件，数据文件中可包括基金名册，结算明细，券商股票换购数据，管理人结果，管理人明细，交易所明细，业务回报文件，调账文件等信息，根据读取到的文件数据与云服务器的数据库中的数据进行核对计算，根据核对计算的结果来对数据库的数据进行新增或修正。

根据本发明实施例提供的基于微服务的实时数据处理方法，基于云技术进行微服务部署，通过微服务架构的方式进行基于微服务的实时数据处理，可以提高实时数据并发处理的能力，能够实现海量数据的处理，有效提高实时数据处理的效率。此外，进行实时数据处理的微服务的部署较为灵活，可以满足快速更新迭代的要求，且能够实时更新，比如对于采用上述方法的ETF交易，当ETF业务发生改变时，处理ETF交易的微服务的部署可以快速更新迭代，且能够实时更新。

本发明实施例提供一种基于微服务的实时数据处理装置，如图4所示，所述装置包括请求接收单元41、微服务获取单元42和控制单元43，其中：

所述请求接收单元41用于接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；所述微服务获取单元42用于根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；所述控制单元43用于控制运行所述微服务集群中的多个所述微服务实例，以进行实时数据处理操作，并输出操作结果。当所述装置应用于ETF交易时，在进行ETF交易时，所述实时数据处理请求对应于包含待处理的实时数据的ETF交易请求，相对应的，实时数据所属的品类信息对应为ETF品类信息，进行实时数据处理操作是相应的为进行ETF交易操作，输出的操作结果为交易操作结果。

其中，所述实时数据处理请求由不同客户端的用户发起，多个所述微服务实例可由不同的微服务生成，且多个所述微服务实例之间具有协同和/或依赖关系，互相配合实现实时数据处理操作。

作为本发明可实施的方式，如图5所示，所述装置还包括微服务部署单元40，所述微服务部署单元40用于在所述请求接收单元41接收至少一个实时数据处理请求之前获取预设的实时数据所属的品类信息，根据所述预设的实时数据所属的品类信息确定处理实时数据时需执行的操作，以在预设的云服务器中部署用于实现不同操作的多个微服务，针对每个所述微服务生成至少一个微服务实例，所述微服务实例至少包括一个用于处理特定品类的实时数据的品类微服务实例。在本实施例中，微服务可以部署在物理服务器或者虚拟服务器中，具体的，由同一种微服务生成的多个微服务实例可以分布在单个或者多个云服务器中，由不同种类的微服务生成的不同类别的微服务实例也可以分布在单个或者多个云服务器中；在具体的实施例中，微服务实例可以按照类别分布在特定的云服务器中，采用分类部署的方式可便于微服务的管理，同时有利于提高微服务实例的调用效率，有助于提升实时数据(比如ETF交易中的实时交易数据)的处理效率。所述微服务部署单元40部署的微服务类型可参阅上述方法实施例中的相关技术内容，在此不作展开。

作为本发明可实施的方式，如图5所示，所述装置还包括资源配置单元44，所述资源配置单元44用于在所述接收至少一个实时数据处理请求之后，根据所述实时数据处理请求中的实时数据所属的品类信息，对接收到的所述实时数据处理请求进行分类，获取各类别中的实时数据处理请求的数量信息，根据所述数量信息为各类别的实时数据处理请求分别获取不同数量的所述微服务实例，以及分配不同比重的系统资源。由此可实现资源的均衡配置，保证接收到的实时数据处理请求能够快速匹配到相应的微服务实例，同时处理实时数据处理请求的微服务实例能够匹配到足够的系统资源，满足多用户并发操作的要求，在多用户并发操作时提供快速响应。在一些实施例中，所述资源配置单元44还可根据实时数据处理请求的来源进行基于位置区域的资源配置，具体可参阅上述方法实施例中的相关描述。

作为本发明可实施的方式，所述请求接收单元41还用于持续接收所述实时数据处理请求；所述微服务获取单元42还用于在所述请求接收单元41在预设时间段内接收到的所述实时数据处理请求的数量超出预设阈值时，确定超出所述预设阈值的数量，记为超出量；根据持续接收的实时数据处理请求对应的品类信息和所述超出量，确认在所述微服务集群中增加新的微服务实例的种类和数量，以对所述微服务集群进行更新；所述控制单元43还用于根据各所述实时数据处理请求的接收顺序，采用轮询的方式调用更新后的所述微服务集群中的微服务实例，由此可以实现负责均衡。具体的内容可参阅上述实施例中的相关内容，在此不作展开。

作为本发明可实施的方式，所述微服务部署单元40还用于对部署在所述云服务器中的至少一个微服务进行动态更新。该更新的过程可发生在所述微服务集群中的多个微服务实例的任何工作时段，比如发生在多个微服务实例针对一个实时数据处理请求执行实时数据处理操作之时，也可以发生在多个微服务实例针对一个实时数据处理请求执行实时数据处理操作之前或之后。在本实施例中，在所述云服务器中对部署的微服务进行更新包括增加、删除或者修改微服务，以及对所述微服务集群中的微服务实例进行修改。

对于修改微服务的操作在ETF交易不中断的情况下实时进行的情况，在一些实施例中，所述微服务部署单元40对部署在所述云服务器中的至少一个微服务进行动态更新时，具体用于确定待更新的微服务，当待更新的微服务在所述微服务集群中存在两个以上的微服务实例，且其中存在至少一个闲置的微服务实例时，对闲置的微服务实例进行更新，并在更新后将未更新的微服务实例当前执行的实时数据处理操作转移至已更新的微服务实例，得到新的闲置的微服务实例，再对新的闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新。由此可依次完成所述微服务集群中所有微服务实例的修改更新，从而实现微服务的升级。

在另一些实施例中，所述微服务部署单元40对部署在所述云服务器中的至少一个微服务进行动态更新时，具体用于当待更新的微服务在所述微服务集群中不存在闲置的微服务实例时，确定待更新的微服务，并获取待更新的微服务的更新内容，基于所述待更新的微服务和所述更新内容生成预设数量的新的微服务实例，并将所述新的微服务实例加入至所述微服务集群中，将所述微服务集群中未更新的微服务实例当前执行的实时数据处理操作转移至新生成的微服务实例，得到闲置的微服务实例，再对闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新。

本发明实施例中所述微服务部署单元40对微服务进行更新的示例性过程可参阅上述方法实施例中相关内容，此次不作展开。

采用上述实施例提供的更新方案，对于更新过程存在提供服务的微服务实例的情况，可以在不中断ETF交易的情况下对所有待修改的微服务进行修改升级，有助于保证实时数据处理效率。在具体的实施例中，所述微服务部署单元40还用于对待修改的微服务实例进行分组，按组进行修改更新，可以提高微服务的更新效率。

作为本发明可实施的方式，所述微服务获取单元42根据所述实时数据所属的品类信息获取处理所述实时数据处理请求的多个微服务实例时具体用于访问地址管理中心，从所述地址管理中心获取品类信息与网络地址映射表，根据所述实时数据所属的品类信息从所述品类信息与网络地址映射表中获取对应的网络地址信息，根据获取的所述网络地址信息获取用于处理所述实时数据处理请求的微服务实例，其中品类信息与网络地址映射表可参阅上文中表1。

在一些实施例中，在所述控制单元43控制微服务实例进行实时数据处理操作的过程中，当其中一个微服务实例需要调用具有依赖关系的其他微服务实例、且该微服务实例不在所述微服务集群中时，所述微服务获取单元42还用于在所述微服务集群中新增微服务实例，具体用于向地址管理中心请求需新增的微服务实例的网络地址，根据获取的网络地址调用需新增的微服务实例。

在另一些实施例中，在所述控制单元43控制微服务实例进行实时数据处理操作的过程中，当其中一个微服务实例运行错误时，所述微服务获取单元42还用于置换所述微服务集群中运行错误的微服务实例，具体用于向地址管理中心请求与运行错误的微服务实例具有相同功能的其他微服务实例的网络地址，根据获取的网络地址调用用于置换的微服务实例，同时在地址管理中心将运行错误的微服务实例的网络地址删除，删除该运行错误的微服务实例。

在本发明实施例中，如图5所示，所述装置还包括数据库配置单元45，用于在所述云服务器中部署多种实现不同功能的微服务时，对与微服务相对应的数据库进行配置，其中配置数据库可包括新增数据库或者更新数据库，其中数据库配置单元45更新数据库的过程可参阅上述实施例中的相关内容，在此不作展开。

根据本发明实施例提供的基于微服务的实时数据处理装置，基于云技术进行微服务部署，通过微服务架构的方式进行基于微服务的实时数据处理，可以提高实时数据的并发处理的能力，能够实现海量数据的处理，有效提高实时数据处理的效率。此外，进行实时数据处理的微服务的部署较为灵活，可以满足快速更新迭代的要求，且能够实时更新，比如对于采用上述方法的ETF交易，当ETF业务发生改变时，处理ETF交易的微服务的部署可以快速更新迭代，且能够实时更新。

本发明实施例还提供一种计算机设备，如图6所示，所述计算机设备包括至少一个处理器61，以及与所述至少一个处理器61通信连接的存储器62，图6中示出一个处理器61，所述存储器62存储有可被所述至少一个处理器61执行的指令，所述指令被所述至少一个处理器61执行，以使所述至少一个处理器61能够执行如上所述的基于微服务的实时数据处理方法的步骤。

具体的，本发明实施例中的存储器62为非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请上述实施例中的基于微服务的实时数据处理方法对应的程序指令/模块；所述处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及进行数据处理，即实现上述方法实施例中所述的基于微服务的实时数据处理方法。

在一些实施例中，所述存储器62可以包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需要的应用程序；数据存储区可存储基于微服务的实时数据处理方法的处理过程中所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；

在一些实施例中，存储器62可选包括相对于处理器61远程设置的远程存储器，这些远程存储器可以通过网络连接至执行域名过滤处理的计算机设备，前述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在本发明实施例中，执行基于微服务的实时数据处理方法的计算机设备还可以包括输入装置63和输出装置64；其中，输入装置63可获取用户在计算机设备上的操作信息，输出装置64可包括显示屏等显示设备。在本发明实施例中，所述处理器61、存储器62、输入装置63和输出装置64可以通过总线或者其他方式连接，图6中以通过总线连接为例。

根据本发明实施例提供的计算机设备，通过处理器61执行存储器62中的代码时能够执行上述实施例中基于微服务的实时数据处理方法的步骤，且具有上述方法实施例的技术效果，未在本实施例中详尽描述的技术细节，可参见本申请方法实施例中所提供的技术内容。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被至少一个处理器执行时，能够实现如上所述的基于微服务的实时数据处理方法的步骤，当执行所述方法的步骤时，具有上述方法实施例的技术效果，未在本实施例中详尽描述的技术细节，可参见本申请方法实施例中所提供的技术内容。

本发明实施例还提供一种计算机程序产品，所述产品可执行本申请方法实施例中所提供的基于微服务的实时数据处理方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请方法实施例中所提供的技术内容。

需要说明的是，在本发明上述实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或智能终端设备或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-On ly Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，至少两个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (10)

1.一种基于微服务的实时数据处理方法，其特征在于，包括：

接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；

根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；

运行所述微服务集群中的多个所述微服务实例，以进行实时数据处理操作，并输出操作结果。

2.根据权利要求1所述的基于微服务的实时数据处理方法，其特征在于，所述根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例包括：

访问地址管理中心，从所述地址管理中心获取品类信息与网络地址映射表，根据所述实时数据所属的品类信息从所述品类信息与网络地址映射表中获取对应的网络地址信息，根据获取的所述网络地址信息获取用于处理所述实时数据处理请求的微服务实例。

3.根据权利要求1或2所述的基于微服务的实时数据处理方法，其特征在于，在所述接收至少一个实时数据处理请求之前，所述方法还包括：

获取预设的实时数据所属的品类信息，根据所述预设的实时数据所属的品类信息确定处理实时数据时需执行的操作，以在预设的云服务器中部署用于实现不同操作的多个微服务；

针对每个所述微服务生成至少一个微服务实例，所述至少一个微服务实例至少包括一个用于处理特定品类的实时数据的品类微服务实例。

4.根据权利要求3所述的基于微服务的实时数据处理方法，其特征在于，在所述接收至少一个实时数据处理请求之后，所述方法还包括：

根据所述实时数据处理请求中的实时数据所属的品类信息，对接收到的所述实时数据处理请求进行分类；

获取各类别中的实时数据处理请求的数量信息；

根据所述数量信息为各类别的实时数据处理请求分别获取不同数量的所述微服务实例，以及分配不同比重的系统资源。

5.根据权利要求3所述的基于微服务的实时数据处理方法，其特征在于，所述方法还包括：

持续接收实时数据处理请求；

当在预设时间段内接收到的实时数据处理请求的数量超出预设阈值时，确定超出所述预设阈值的数量，记为超出量；

根据持续接收的实时数据处理请求对应的品类信息和所述超出量，确认在所述微服务集群中增加新的微服务实例的种类和数量，以对所述微服务集群进行更新；

根据各实时数据处理请求的接收顺序，采用轮询的方式调用更新后的所述微服务集群中的微服务实例。

6.根据权利要求3所述的基于微服务的实时数据处理方法，其特征在于，在所述在预设的云服务器中部署用于实现不同功能的多个微服务之后，所述方法还包括：

对部署在所述云服务器中的至少一个微服务进行动态更新。

7.根据权利要求6所述的基于微服务的实时数据处理方法，其特征在于，所述对部署在所述云服务器中的至少一个微服务进行动态更新包括：

当待更新的微服务在所述微服务集群中存在两个以上的微服务实例，且其中存在至少一个闲置的微服务实例时，对闲置的微服务实例进行更新，并在更新后将未更新的微服务实例当前执行的实时数据处理操作转移至已更新的微服务实例，得到新的闲置的微服务实例，再对新的闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新；

当待更新的微服务在所述微服务集群中不存在闲置的微服务实例时，确定待更新的微服务，并获取待更新的微服务的更新内容，基于所述待更新的微服务和所述更新内容生成预设数量的新的微服务实例，并将所述新的微服务实例加入至所述微服务集群中，将所述微服务集群中未更新的微服务实例当前执行的实时数据处理操作转移至新生成的微服务实例，得到闲置的微服务实例，再对闲置的微服务实例进行更新，以此类推直到所述微服务集群中所述微服务实例完成更新。

8.一种基于微服务的实时数据处理装置，其特征在于，包括：

请求接收单元，用于接收至少一个实时数据处理请求，所述实时数据处理请求包含实时数据所属的品类信息；

微服务获取单元，用于根据所述实时数据所属的品类信息，获取处理所述实时数据处理请求的多个微服务实例，以形成微服务集群；

控制单元，用于控制运行所述微服务集群中的多个所述微服务实例，以进行实时数据处理操作，并输出操作结果。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至7中任一项所述的基于微服务的实时数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被至少一个处理器执行时实现如权利要求1至7中任一项权利要求所述的基于微服务的实时数据处理方法的步骤。