CN112232783A - 数据挖掘方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据挖掘方法、装置、电子设备及存储介质，所述方法包括：拆分原数据挖掘的应用服务为多个微服务；拆分原应用服务的业务应用为多个微应用；调用微服务对微应用的数据业务进行数据挖掘；通过轻量级通讯机制实现多个微服务的协同数据挖掘。本发明将大型单体应用的原始应用服务拆分为多个微应用，将单体应用的应用服务拆分为多个微服务，使每个微服务专注于自己的业务，减少了服务之间的耦合性，而且微服务通过独立的开发环境开发，只需要通过轻量级通讯机制建立相互之间的交互即可，使数据挖掘的效率更高，应用更加灵活。

Description

数据挖掘方法、装置、电子设备及存储介质

技术领域

本发明涉及数据管理技术领域，尤其是一种基于微服务架构的数据挖掘方法、装置、电子设备及存储介质。

背景技术

在现有技术中，对项目数据的管理，特别对项目数据的挖掘方面存在不足，比如，在评审项目时，对项目评审的数据挖掘还是依赖于巨大的单体应用，数据挖掘的峰值大，硬件设备的性能要求高，整体效率低，同时，由于项目评审的条目多，每一个条目下又涉及多项具体的评审条件，对应着不同的评审数据，如果采用现有方式，管理非常复杂，工作人员的效率很低，相应的增加了人力成本。

因此，现有技术需要改进。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种数据挖掘方法、装置、电子设备及存储介质，以解决现有技术存在的问题。

所述数据挖掘方法包括：

拆分原数据挖掘的应用服务为多个微服务；

拆分原应用服务的业务应用为多个微应用；

调用微服务对微应用的数据业务进行数据挖掘；

通过轻量级通讯机制实现多个微服务的协同数据挖掘。

基于本发明另一个实施例的数据挖掘方法，所述调用微服务对微应用的数据业务进行数据挖掘包括：

获取微应用的数据业务；

查找所述数据业务对应的一个或多个微服务；

一个微服务从数据库中进行数据挖掘，或多个微服务从数据库中进行数据挖掘并融合。

基于本发明另一个实施例的数据挖掘方法，所述多个微服务从数据库中进行数据挖掘包括：

多个微服务之间建立通讯机制；

多个微服务分别按照微应用赋予的数据业务从对应数据库中进行数据挖掘；

多个微服务通过建立的通讯机制递交所挖掘数据；

多个微服务的数据融合于微应用并完成数据挖掘任务。

基于本发明另一个实施例的数据挖掘方法，所述微服务通过独立的开发环境开发，多个微服务之间彼此隔离。

基于本发明另一个实施例的数据挖掘方法，所述微应用通过一个或多个微服务实现微应用的应用数据的数据挖掘。

基于本发明另一个实施例的数据挖掘方法，所述微服务通过注册到分布式服务总线获取数据库中数据，实现数据挖掘。

基于本发明另一个实施例的数据挖掘方法，所述微应用采用Ajax技术基于HttpRequest的形式与微服务进行通信。

基于本发明实施例的另一个方面，公开一种数据挖掘装置，所述数据挖掘装置包括：

微应用模块，用于生成数据挖掘的应用需求，并按照应用需求调用相应的微服务进行数据挖掘，所述微应用模块包括多个微应用，微应用由原应用服务的应用业务拆分而成；

微服务模块，用于接收微应用模块的数据挖掘需求，并从对应的数据库中进行数据挖掘，所述微服务模块包括多个微服务，微服务由原数据挖掘的应用服务拆分而成，微服务通过独立的开发环境开发，多个微服务之间相互隔离，多个微服务通过注册到分布式服务总线访问数据库；

轻量级通讯模块，用于实现微服务模块中多个微服务之间的信息交互。

基于本发明实施例的另一个方面，公开一种电子设备，该设备包括一个或者多个处理器和存储器，存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述处理器执行时，使得所述处理器实现本申请各实施例提供的数据挖掘的方法。

基于本发明实施例的另一个方面，公开一种存储有计算机程序的计算机可读存储介质，该计算机程序被执行时实现本申请各实施例提供的数据挖掘的方法。

与现有技术相比，本发明具有以下优点：

本发明的数据挖掘方法、装置、电子设备及存储介质通过将大型单体应用的原始应用服务拆分为多个微应用，将单体应用的应用服务拆分为多个微服务，使每个微服务专注于自己的业务，减少了服务之间的耦合性，而且微服务通过独立的开发环境开发，只需要通过轻量级通讯机制建立相互之间的交互即可，使数据挖掘的效率更高，应用更加灵活。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明的数据挖掘装置的一个实施例的结构示意图；

图2为本发明的数据挖掘装置的一个实施例的应用环境示意图；

图3为本发明的数据挖掘方法的一个实施例的流程图；

图4为本发明的电子设备的一个实施例的结构框图；

图5使本发明的电子设备的另一个实施例的结构框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明的数据挖掘装置的一个实施例的结构示意图，如图1所示，该实施例的数据挖掘装置包括：

微应用模块，用于生成数据挖掘的应用需求，并按照应用需求调用相应的微服务进行数据挖掘，所述微应用模块包括多个微应用，微应用由原应用服务的应用业务拆分而成；

微应用模块针对现有的大型单体应用需要调用的数据库数据多的问题，将一个单体应用按照需要访问数据库的类型、位置等将单体应用进行拆分，形成多个具有独立的应用功能，由于拆分成多个微应用模块，一个微应用包括一个或多个原始大型单体应用的应用功能，因此，在一次应用中，只需要按照应用功能，调取一个或多个微应用即可实现对相应数据获取，不需要通过大型单体应用去访问数据库，从而降低了对硬件设备的性能需求，一个较低配置的硬件设备即可满足数据挖掘的需求，如果需要更多应用功能的数据挖掘，通过调取对应的微应用模块即可。比如，在电网领域进行项目评审时，需要获取某一单位所有人的论文发表数据、专利申请数据、科技成果数据、软件著作数据、科技论著数据等信息，如果按照现有技术的方法，则需要设计一个大型单体应用，直接通过一个服务来访问数据库，进行相应数据的数据挖掘，这样对计算机硬件的性能、数据库接口访问性能等要求非常高，但是如果把这个单体应用通过微应用模块拆分为论文发表、专利申请、科技成果、软件著作、科技论著等多个具体微应用，通过微应用在数据库中进行对应数据挖掘，显然对计算机硬件设备的性能要求极大降低，提升了数据挖掘的效率。

微服务模块，用于接收微应用模块的数据挖掘需求，并从对应的数据库中进行数据挖掘，所述微服务模块包括多个微服务，微服务由原数据挖掘的应用服务拆分而成，微服务通过独立的开发环境开发，多个微服务之间相互隔离，多个微服务通过注册到分布式服务总线访问数据库；

微服务模块使用于将大型单体应用对应的服务模块拆分成多个微服务，比如，在电网领域进行项目评审时，需要获取某一单位所有人的论文发表数据、专利申请数据、科技成果数据、软件著作数据、科技论著数据等信息，如果按照现有技术的方法，则需要设计一个大型单体应用，直接通过一个服务来访问数据库，通过拆分成微服务以后，对于论文发表数据、专利申请数据、科技成果数据、软件著作数据、科技论著数据进行数据挖掘的应用需求，可以通过论文发表数据服务、专利申请数据服务、科技成果数据服务、软件著作数据服务、科技论著数据服务等多个微服务去访问相应的数据库，对相应数据需求进行数据挖掘，这样一方面减轻了硬件设备的数据处理压力，另一方面通过多个微服务同时访问多个对应的服务器，也提高了数据挖掘的效率。

轻量级通讯模块，用于实现微服务模块中多个微服务之间的信息交互。由于每个微应用的是通过独立的开发环境开发的，因此，其数据挖掘的具体算法程序可以是不同的，微服务的部署环境也是独立的，因此，对于每个微服务访问数据库，进行数据挖掘都是独立的，但是，对于一个大型单体应用服务，在拆分成多个微应用之后，每个微应用的具体数据应用只需要查找对应的微服务即可，通过微服务进行数据挖掘，但是，由于多个微服务在进行数挖掘时需要保持数据同步、数据融合等，需要保持各个微服务之间的通讯，但是，这个通讯只需要获取相互之间的同步性、数据挖掘的进度情况即可，不需要进行大的数据交互，因此，这个通讯机制是轻量级的。

图2为本发明的数据挖掘装置的一个实施例的应用环境示意图，如图2所示，对于一个单体应用，首先通过微应用模块拆分成多个微应用，微应用的拆分需要考虑以下因素：一是需要调用的微服务数量；二是微服务的拆分方式；三是进行数据挖掘的应用需求。

然后由微服务模块将对应的数据库访问服务拆分成多个微服务，微服务的拆分需要考虑以下因素：一是数据库存储数据的分类情况；二是具体的硬件条件；三是需要进行数据挖掘的工作量。如果数据挖掘的工作量比较大，可以将微服务分工更细，这样每个微服务的数据挖掘工作量将降低，从而提升数据挖掘的效率。

通过多个微服务访问对应的数据库。拆分后的微服务通过注册到服务器的分布式服务总线来访问服务器数据，微应用调用微服务、微服务之间的信息交互均通过分布式服务总现来实现，分布式服务总现通过连接多个微服务接口，允许多个微服务同时访问并获取数据库数据。在一些实施例中，微服务访问数据库依托于SpringBoot、Spring Cloud技术栈实现。轻量级通讯协议可以是Rest、Rpc技术，对于一个单体应用服务，其可以通过具体的底层业务进行技术支持，这些底层技术包括展示层技术、控制层技术、业务逻辑层技术、数据访问层技术，在一个实施例中，这些底层技术可以采用的技术路线为：展示层技术使用JQuery、EasyUI、Echarts、vue；控制层技术采用SpringMVC，业务逻辑层技术采用JavaBean，数据访问层技术采用Mybatise组件技术，数据库的存储采用SQL数据库。

图3为本发明的数据挖掘方法的一个实施例的流程图，如图3所示，所述数据挖掘方法包括：

301，拆分原数据挖掘的应用服务为多个微服务；

所述原数据挖掘的应用服务为用户需要的数据服务对应的数据库服务，服务器通过调用数据库中的数据实现原数据挖掘的应用服务所需要的数据业务，由于原有的应用业务在进行数据挖掘时，其应用业务比较多，通过一个总服务器的应用服务去挖掘数据库中的相应数据，相当于是一个应用对应一个总服务器，访问一个数据库，所有的数据挖掘业务均有一个总服务器去执行，数据处理的需求非常大，采用单一通道的方式处理数据挖掘业务效率比较低，同时，也存在如果一个应用服务的数据业务需求比较少，如果不进行拆分，也是用原来的方式，通过总服务器去访问数据库，这样也会造成服务器资源的浪费。拆分成微服务之后，由于一个微服务对应一个或多个具体的应用，因此，对于少量的数据业务，仅需要调用少量的微服务即可实现，实现了资源的节约，对于大量的数据业务，调用多个微服务，通过多个微服务的同步处理，提高了数据挖掘的效率，节约了时间。

302，拆分原应用服务的业务应用为多个微应用；

303，调用微服务对微应用的数据业务进行数据挖掘；

由于原应用服务包括依次数据业务的所有业务项目，相当于一个数据业务的应用服务包，在将这个应用服务包投递到服务器的时候，由原来的总服务器对应用服务包进行解析，查找每一个需要访问的数据库的具体数据业务，将原应用服务的业务应用进行拆分相当于提前对应用服务包进行解析，将每一个具体的业务应用查找对应的微服务，通过将每一个微应用对应的业务应用投递给一个或者多个微服务，实现微服务对具体应用业务的数据挖掘服务，这样，多个微服务同时处理应用业务，则提高了数据挖掘的效率，节约了时间。

304，通过轻量级通讯机制实现多个微服务的协同数据挖掘。

由于微服务之间不需要进行数据交互，仅需要完成协同动作即可，比如时间同步、执行状态互动、完成任务标识互动等涉及任务调控的一些信息，那么，微服务之间的通讯仅仅通过轻量级通讯机制即可。

在一个具体的实施中，所述调用微服务对微应用的数据业务进行数据挖掘包括：

获取微应用的数据业务；一个微应用可能需要调用多个数据业务，也可能有一个数据业务；

查找所述数据业务对应的一个或多个微服务；一个微应用的业务可能需要一个微服务来提供数据挖掘服务，也可能需要多个微服务来提供数据挖掘服务，这些与拆分的微服务提供的数据挖掘业务能力有关。

一个微服务从数据库中进行数据挖掘，或多个微服务从数据库中进行数据挖掘并融合。

所述多个微服务从数据库中进行数据挖掘包括：

多个微服务之间建立通讯机制；

多个微服务分别按照微应用赋予的数据业务从对应数据库中进行数据挖掘；

多个微服务通过建立的通讯机制递交所挖掘数据；多个微服务的数据融合于微应用并完成数据挖掘任务。所述微服务通过独立的开发环境开发，多个微服务之间彼此隔离。所述微应用通过一个或多个微服务实现微应用的应用数据的数据挖掘。所述微服务通过注册到分布式服务总线获取数据库中数据，实现数据挖掘。所述微应用采用Ajax技术基于HttpRequest的形式与微服务进行通信。

应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储应用程序及基于多帧融合的flicker消除数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多帧融合的flicker消除方法。

在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种基于多帧融合的flicker消除方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4、图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器(Static Random Access Memory，SRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种数据挖掘方法，其特征在于，所述方法包括：

拆分原数据挖掘的应用服务为多个微服务；

拆分原应用服务的业务应用为多个微应用；

调用微服务对微应用的数据业务进行数据挖掘；

通过轻量级通讯机制实现多个微服务的协同数据挖掘。

2.根据权利要求1所述的数据挖掘方法，其特征在于，所述调用微服务对微应用的数据业务进行数据挖掘包括：

获取微应用的数据业务；

查找所述数据业务对应的一个或多个微服务；

一个微服务从数据库中进行数据挖掘，或多个微服务从数据库中进行数据挖掘并融合。

3.根据权利要求2所述的数据挖掘方法，其特征在于，所述多个微服务从数据库中进行数据挖掘包括：

多个微服务之间建立通讯机制；

多个微服务分别按照微应用赋予的数据业务从对应数据库中进行数据挖掘；

多个微服务通过建立的通讯机制递交所挖掘数据；

多个微服务的数据融合于微应用并完成数据挖掘任务。

4.根据权利要求1所述的数据挖掘方法，其特征在于，所述微服务通过独立的开发环境开发，多个微服务之间彼此隔离。

5.根据权利要求1所述的数据挖掘方法，其特征在于，所述微应用通过一个或多个微服务实现微应用的应用数据的数据挖掘。

6.根据权利要求1所述的数据挖掘方法，其特征在于，所述微服务通过注册到分布式服务总线获取数据库中数据，实现数据挖掘。

7.根据权利要求4所述的数据挖掘方法，其特征在于，所述微应用采用Ajax技术基于HttpRequest的形式与微服务进行通信。

8.一种数据挖掘装置，其特征在于，所述数据挖掘装置包括：

微应用模块，用于生成数据挖掘的应用需求，并按照应用需求调用相应的微服务进行数据挖掘，所述微应用模块包括多个微应用，微应用由原应用服务的应用业务拆分而成；

微服务模块，用于接收微应用模块的数据挖掘需求，并从对应的数据库中进行数据挖掘，所述微服务模块包括多个微服务，微服务由原数据挖掘的应用服务拆分而成，微服务通过独立的开发环境开发，多个微服务之间相互隔离，多个微服务通过注册到分布式服务总线访问数据库；

轻量级通讯模块，用于实现微服务模块中多个微服务之间的信息交互。

9.一种电子设备，其特征在于，该设备包括一个或者多个处理器和存储器，存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至7中任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该计算机程序被执行时实现如权利要求1至7中任一项所述的方法。

Images