CN114328683A - 一种数据导入方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据导入方法、装置、设备及存储介质，其中，该方法，包括：获取数据导入涉及的各项指标，并将各项所述指标转换成向量；将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；基于所述告警级别调整数据导入的速率。本发明实施例提供的技术方案可以智能的调节数据导入，解决了数据导入与系统正常运行之间的资源平衡问题。

Description

一种数据导入方法、装置、设备及存储介质

技术领域

本发明实施例涉及流量监控技术，尤其涉及一种数据导入方法、装置、设备及存储介质。

背景技术

在金融科技创新的加快，银行业数字化转型的战略背景下，各条业务线迅速发展，产生的数据信息爆炸式增长，因此业内对海量数据的存储以及查询方面提出了更高的要求。目前，大数据框架有很多，以Hadoop框架为例，其发展已经进入稳定成熟的阶段，针对大数据处理的各个环节都有对应的解决方案。围绕Hadoop形成的大数据生态已在得到广泛运用。

然而，在面对海量日增数据时，这些大数据框架仍然存在性能上的瓶颈。集群以及业务系统每天不仅面临大量并发查询的情况，还要涉及海量数据的导入，若不进行合理的限流，极可能导致查询时间过长或者查询失败，或者是集群中的主机出现宕机，甚至是整个集群的崩溃，连带整个业务系统的崩溃。因此，如何在保证业务系统和集群正常运行的同时，最大化的利用集群的资源，更好地进行数据导入是急需解决的问题。

发明内容

本发明实施例提供了一种数据导入方法、装置、设备及存储介质，可以智能调节数据导入，保证业务系统和集群正常运行的同时，最大化利用集群的资源，可以解决数据导入与系统正常运行之间的资源平衡问题。

第一方面，本发明实施例提供了一种数据导入方法，包括：

获取数据导入涉及的各项指标，并将各项所述指标转换成向量；

将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

基于所述告警级别调整数据导入的速率。

第二方面，本发明实施例提供了一种数据导入的装置，包括：

指标采集单元，用于获取数据导入涉及的各项指标；并将各项所述指标转换成向量；

智能告警单元，用于将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

流量控制单元，用于基于所述告警级别调整数据导入的速率。

第三方面，本发明实施例提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。

本发明实施例提供的技术方案，通过获取数据导入涉及的各项指标，并将各项所述指标转换成向量；通过将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；通过基于所述告警级别调整数据导入的速率，可以智能调节数据导入，可以解决数据导入与系统正常运行之间的资源平衡问题。

附图说明

图1a是本发明实施例提供的一种数据导入方法流程图；

图1b是指标采集单元结构示意图；

图1c是向量示意图；

图1d是智能告警单元结构示意图；

图1e是流量监控单元结构示意图；

图1f是数据导入的流量调节示意图；

图2a是本发明实施例提供的一种数据导入方法流程图；

图2b是本发明实施例提供的一种数据导入方法流程图；

图3a是本发明实施例提供的一种数据导入装置结构框图；

图3b是本发明实施例提供的一种数据导入装置结构示意图；

图4是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

相关技术中，目前大部分的限流方案主要是针对分布式集群高并发场景下的限流组件，典型的有Hystrix和Sentinel。

Hystrix是一款开源容错系统，使用线程池模式和信号量模式两种方式进行限流。线程池模式：当线程池中的请求线程达到容量上限，或者可用服务线程个数为0时，不再受理新的请求，从而达到控制流量的目的。信号量模式：初始时配置一个信号量的总个数，每当一个请求到达时，需要先获取到一个信号量才能调起服务，如果获取不到则会被拒绝服务，服务完成后释放自身持有的信号量。信号量个数即是流量上限。

Sentinel是一款面向分布式服务架构的流量防护组件，它通过限制并发线程数进行流量控制。当系统中的执行线程数量达到阈值后，拒绝新的服务请求。其应用于秒杀场景具有良好的性能，在集群的监控方面也有完备的机制。

目前来说，类似Hystrix这种限流组件只是固定了一个流量上限，对于非读写分离的集群，一方面是需要综合考量读请求和写请求的情况，既不能影响读，也不能过分偏向写，获取该上限值的成本较高，在易用性方面稍有欠缺。另一方面在非业务高峰期，不能灵活调高写请求上限，不利于充分利用集群资源。Sentinel虽功能强大，但包括了Sentinel和Hystrix在内的众多限流组件的限流机制是若触发限流，会抛弃多余的请求，虽然保护了系统的整体稳定，但对业务并不友好，应用于数据导入场景，就会造成数据丢失。因此上述方案应用于集群数据导入的场景都存在一定的局限性。本发明实施例提供的技术方案，可以针对应用场景进行针对性设置，可以智能调节数据导入，可以解决数据导入与系统正常运行之间的资源平衡问题。

图1a是本发明实施例提供的一种数据导入的方法流程图，所述方法可以由数据导入装置来执行，所述装置可以由软件和/或硬件来实现，所述装置可以配置在计算机等电子设备中，所述方法可以应用于由将外部的海量数据向集群中的数据库进行导入的场景中。

如图1a所示，本发明实施例提供的技术方案，包括：

S110：获取数据导入涉及的各项指标，并将各项所述指标转换成向量。

在本发明实施例中，可以通过指标采集单元涉及数据导入的各项指标，其中，所述各项指标包括集群的相关指标、业务系统运行状态的相关指标以及所述集群中虚拟机的指标，其中，所述业务系统为查询集群中的数据库的系统；所述集群的相关指标包括集群的中央处理器的使用率、内存使用率以及网络宽带等；所述业务系统运行状态的指标包括查询响应时间以及查询并发数等；所述集群中虚拟机(JVM)的指标包括内存使用率、Eden区使用率以及Survivor区使用率等。其中，指标采集单元的结构可以参考图1b，其中，指标采集单元可以包括集群指标采集器、JVM指标采集器、业务系统指标采集器和指标格式转换器。其中，JVM在程序运行过程当中，会创建大量对象，这些对象大部分是短周期的，小部分是长周期的。对于短周期的对象，需要频繁地进行垃圾回收以保证无用的对象尽早释放掉。对于长周期的对象，则不需要频繁的进行垃圾回收。为解决上述矛盾，堆内存中采用了分代管理的策略。分代主要分为年轻代，老年代，持久代。年轻代主要存放新创建的对象，内存大小相对比较小，垃圾回收比较频繁。老年代存放生命周期比较长的对象，垃圾回收频率也比较低。持久代主要存放类定义，字节码和很少会变更的信息。在年轻代中，因其频繁进行垃圾回收，为了减少内存碎片，又将其分为1个Eden区和2个Survivor区。Eden区和Survivor区的使用多少表示目前新创建对象或者在使用的对象的多少，在一定程度表示目前JVM的负载情况。

在本发明实施例中，可以通过指标格式转换器将上述采集到的指标映射成向量，如图1c所示，向量中每一个维度标识特定指标的值，在某一时刻指标采集器生成的向量在一定程度上反映了集群和业务系统整体的运行情况。

S120：将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别。

在本发明实施例中，可以将向量输入到智能告警单元中的预警模型中，得到告警信息，并通过告警器基于告警信息确定对应的告警级别，其中，智能告警单元的结构示意图可以参考图1d。其中，预警模型可以是神经网络模型，该预警模型是训练好的神经网络模型，其输出值域可以为(0,1)。其中，预警模型在训练时，规定1为代表业务系统或者集群出现异常的情况，0代表正常的情况。因此，若某一时刻，预警模型的输出值越趋近于1，则代表整个集群或者业务系统的运行状态越差，反之代表越好。

在本发明实施例中，可选的，告警级别分为三级，三级告警表示当前系统的负载情况适中。二级告警表示负载偏高，已到达临界值。一级告警表示负载过高，已影响相关的业务。各告警级别的阈值用户可根据实际场景进行针对性地设置。因此，所述三级告警对应的负载大于所述二级告警对应的负载；所述二级告警对应的负载大于所述一级告警对应的负载。

S130：基于所述告警级别调整数据导入的速率。

在本发明实施例中，可以通过流量控制单元基于告警级别调整输入导入的速率。在一个实施方式中，可选的，所述基于所述告警级别调整数据导入的速率，包括：通过消息队列将采集的数据进行缓存，通过流量自适应调节器基于所述告警级别调整所述消息队列中的数据向集群中的数据库进行数据导入的速率。其中，向集群中的数据库进行输入导入的速率可以是消费者的消费速率。流量控制单元的结构可以参考图1e。如图1e所示，消息队列可以实现限流和模块的解耦，消息队列中可采用控制生产者生产速率或消费者消费速率的方法实现流量控制；消息队列还可以将数据持久化到硬盘，有数据检查和多副本容错机制，所以可以将待导入的数据缓存到消息队列中，在合适的时机再导入集群中，实现了模块之间的解耦，也利于整个系统的扩展与维护，其中，生产者的生产速率可以是采集的海量数据的速率。由此，通过消息队列实现数据导入上的异步，可以实现数据导入模块与集群之间的解耦，使得整个系统在扩展性、可靠性、可维护性方面更具有优势。

在本发明实施例中的实施方式中，可选的，所述基于所述告警级别调整数据导入的速率，包括：若所述告警级别为三级告警，数据导入的速率由指数增长型转换为线性增长型；若所述告警级别为二级告警，以触发二级告警时的速率进行数据导入；若所述告警级别为一级告警，将数据导入的速率调整为原来的50％；若调整之后的速率不再触发一级告警，则数据导入的速率调整为线性增长型，直至触发二级报警后保持速率恒定；若调整之后的速率仍然触发一级告警，返回将数据导入的速率调整为原来的操作；若返回次数达到设定次数，将数据导入的速率调整为0。

具体的，如图1f所示，流量自适应调节器可以采用探测的方法，逐渐增大数据导入的速率，到达临界值之前，保持恒定速率完成数据导入。速率探测主要分为两个阶段，初始速率为0KB/s，在第一阶段中，速率v与时间t的函数关系为v＝2^t-1，速率呈指数型增长。当触发三级告警时，此时速率探测进入第二阶段，假设三级告警的时间为t₃，则速率由指数增长型转化为线性增长型，速率v与时间t的函数关系为

当触发二级告警时，则速率v不再随时间t增长，以二级告警时刻的恒定速率进行数据导入，直至完成。

若上述过程出现了一级告警，则将数据导入的速率v调整为原来的50％，调整后的速率若不再触发一级告警，则速率仍以100KB/s的增长继续探测，与第二阶段相同，直至触发二级告警后保持速率稳定。若调整后的速率仍然触发一级告警，则将速率v继续调整为原来的50％，循环此过程，直至不再触发告警。若循环设定次数后仍然触发一级告警，此时将数据导入的速率降至0KB/s，不再进行数据导入，其中，设定次数可以是三次。

由此，通过根据告警级别调整数据导入的速率的具体方式，可以无需指定流量上限阈值即可保证在集群和业务系统正常运行的情况下，最大化数据导入速度。

本发明实施例提供的技术方案，通过获取数据导入涉及的各项指标，并将各项所述指标转换成向量；通过将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；通过基于所述告警级别调整数据导入的速率，可以智能调节数据导入，可以解决数据导入与系统正常运行之间的资源平衡问题。

图2a是本发明实施例提供的一种数据导入方法流程图，在本实施例中，可选的，所述方法还可以包括：

对各项指标的采集、告警级别的配置项以及数据导入的流量控制项进行配置。如图2a所示，本发明实施例提供的技术方案包括：

S210：对各项指标的采集、告警级别的配置项以及数据导入的流量控制项进行配置。

在本发明实施例中，可以通过配置单元存储配置信息，可以结合实际场景对该装置进行针对性的设置，具体的，可以针对各项指标的采集、告警级别的配置项以及数据导入的流量控制项进行配置，还可以对其他配置项进行配置，并存储配置信息。其中，配置的各项指标采集可用于配置哪些指标用来采集等相关信息，告警级别配置项可用于配置告警级别的阈值和预警模型等相关信息，流量控制配置项可用于配置消息队列的最大配速和是否开启限流等信息，其他配置项可用于配置定时等相关信息。

S220：获取数据导入涉及的各项指标，并将各项所述指标转换成向量。

S230：将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别。

S240：基于所述告警级别调整数据导入的速率。

为了更清楚的表述本发明实施例提供的技术方案，如图2b所示，本发明实施例提供的技术方案还可以包括如下步骤：

(1)读取的配置信息，包括采集的各项指标，告警的阈值等相关信息。

(2)初始时，数据导入的速率设置为0，且速率呈指数型增长。

(3)指标采集单元实时对相关指标进行采集，并将各指标信息反馈给智能告警单元。

(4)流量控制单元根据智能告警单元输出的告警级别，进行对应的流量控制。

(5)若当前系统状态触发了三级告警，则由速率指数型增长转化为线性增长型。

(6)若当前系统触发了二级告警，则保持当前速率稳定直至导入结束。

(7)若当前系统触发了一级告警，则速率减半，然后进入线性增长，重复第6步。

(8)若速率连续三次减半后仍然触发一级告警，则停止数据的导入，输入导入的速率置为0。

图3a是本发明实施例提供的一种数据导入装置结构示意图，如图3a所示，所述装置包括指标采集单元310、智能告警单元320和流量控制单元330。

指标采集单元310，用于获取数据导入涉及的各项指标；并将各项所述指标转换成向量；

智能告警单元320，用于将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

流量控制单元330，用于基于所述告警级别调整数据导入的速率。

可选的，所述基于所述告警级别调整数据导入的速率，包括：

若所述告警级别为三级告警，数据导入的速率由指数增长型转换为线性增长型；

若所述告警级别为二级告警，以触发二级告警时的速率进行数据导入；

若所述告警级别为一级告警，将数据导入的速率调整为原来的50％；

若调整之后的速率不再触发一级告警，则数据导入的速率调整为线性增长型，直至触发二级报警后保持速率恒定；

若调整之后的速率仍然触发一级告警，返回将数据导入的速率调整为原来的操作；

若返回次数达到设定次数，将数据导入的速率调整为0。

可选的，所述三级告警对应的负载大于所述二级告警对应的负载；所述二级告警对应的负载大于所述一级告警对应的负载。

可选的，所述基于所述告警级别调整数据导入的速率，包括：

通过消息队列将采集的数据进行缓存，通过流量自适应调节器基于所述告警级别调整所述消息队列中的数据向集群中的数据库进行数据导入的速率。

可选的，所述各项指标包括集群的相关指标、业务系统运行状态的相关指标以及所述集群中虚拟机的指标，其中，所述业务系统为查询集群中的数据库的系统。

可选的，所述集群的相关指标包括集群的中央处理器的使用率、内存使用率以及网络宽带；所述业务系统运行状态的指标包括查询响应时间以及查询并发数；所述集群中虚拟机的指标包括内存使用率、Eden区使用率以及Survivor区使用率。

可选的，所述装置还包括：配置单元，用于对各项指标的采集、告警级别的配置项以及数据导入的流量控制项进行配置。

图3b是本发明实施例提供的一种数据导入装置结构框图，其中，该装置包括配置单元、指标采集单元、智能告警单元、流量控制单元、数据接收适配器以及数据发送适配器。其中，流量接收适配器和流量发送适配器，适配各种外部数据源接口，提高装置的兼容性。其中，配置单元、指标采集单元、流量控制单元的功能可以参考上述实施例的介绍。

上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

图4是本发明实施例提供的一种设备结构示意图，如图4所示，该设备包括：

一个或多个处理器410，图4中以一个处理器410为例；

存储器420；

所述设备还可以包括：输入装置430和输出装置440。

所述设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器420作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种数据导入方法对应的程序指令/模块(例如，附图3a所示的指标采集单元310、智能告警单元320和流量控制单元330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种数据导入方法，即：

获取数据导入涉及的各项指标，并将各项所述指标转换成向量；

将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

基于所述告警级别调整数据导入的速率。

存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种数据导入方法：

获取数据导入涉及的各项指标，并将各项所述指标转换成向量；

将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

基于所述告警级别调整数据导入的速率。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据导入方法，其特征在于，包括：

获取数据导入涉及的各项指标，并将各项所述指标转换成向量；

将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

基于所述告警级别调整数据导入的速率。

2.根据权利要求1所述的方法，其特征在于，所述基于所述告警级别调整数据导入的速率，包括：

若所述告警级别为三级告警，数据导入的速率由指数增长型转换为线性增长型；

若所述告警级别为二级告警，以触发二级告警时的速率进行数据导入；

若所述告警级别为一级告警，将数据导入的速率调整为原来的50％；

若调整之后的速率不再触发一级告警，则数据导入的速率调整为线性增长型，直至触发二级报警后保持速率恒定；

若调整之后的速率仍然触发一级告警，返回将数据导入的速率调整为原来的操作；

若返回次数达到设定次数，将数据导入的速率调整为0。

3.根据权利要求2所述的方法，其特征在于，所述三级告警对应的负载大于所述二级告警对应的负载；所述二级告警对应的负载大于所述一级告警对应的负载。

4.根据权利要求1所述的方法，其特征在于，所述基于所述告警级别调整数据导入的速率，包括：

通过消息队列将采集的数据进行缓存，通过流量自适应调节器基于所述告警级别调整所述消息队列中的数据向集群中的数据库进行数据导入的速率。

5.根据权利要求1所述的方法，其特征在于，

所述各项指标包括集群的相关指标、业务系统运行状态的相关指标以及所述集群中虚拟机的指标，其中，所述业务系统为查询集群中的数据库的系统。

6.根据权利要求5所述的方法，其特征在于，所述集群的相关指标包括集群的中央处理器的使用率、内存使用率以及网络宽带；所述业务系统运行状态的指标包括查询响应时间以及查询并发数；所述集群中虚拟机的指标包括内存使用率、Eden区使用率以及Survivor区使用率。

7.根据权利要求1所述的方法，其特征在于，还包括：

对各项指标的采集、告警级别的配置项以及数据导入的流量控制项进行配置。

8.一种数据导入的装置，其特征在于，包括：

指标采集单元，用于获取数据导入涉及的各项指标；并将各项所述指标转换成向量；

智能告警单元，用于将所述向量输入到预警模型中，得到告警信息，并基于所述告警信息确定对应的告警级别；

流量控制单元，用于基于所述告警级别调整数据导入的速率。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的方法。

Images