CN116132448B - 基于人工智能的数据分流方法及相关设备 - Google Patents

基于人工智能的数据分流方法及相关设备 Download PDF

Info

Publication number
CN116132448B
CN116132448B CN202310151793.6A CN202310151793A CN116132448B CN 116132448 B CN116132448 B CN 116132448B CN 202310151793 A CN202310151793 A CN 202310151793A CN 116132448 B CN116132448 B CN 116132448B
Authority
CN
China
Prior art keywords
data
server
preset
storage
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310151793.6A
Other languages
English (en)
Other versions
CN116132448A (zh
Inventor
刘潭义
张观成
万书武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310151793.6A priority Critical patent/CN116132448B/zh
Publication of CN116132448A publication Critical patent/CN116132448A/zh
Application granted granted Critical
Publication of CN116132448B publication Critical patent/CN116132448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种基于人工智能的数据分流方法、装置、电子设备及存储介质，基于人工智能的数据分流方法包括：依据服务器的负载计算每个服务器的存储优先级；依据存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；依据服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；将预设集群生成的数据写入所述目标存储空间；实时接收数据查询请求，依据所述数据查询请求从所述预设集群中查询与所述数据查询请求对应的数据。该方法可以依据服务器的负载不断调整配置文件，从而将数据写入任务和查询任务合理分配至集群中的各个服务器中，能够提升集群中数据读写的效率。

Description

基于人工智能的数据分流方法及相关设备
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于人工智能的数据分流方法及相关设备，其中，相关设备包括基于人工智能的数据分流装置、电子设备及存储介质。
背景技术
随着信息科技的发展，各行各业倾向于运用分布式集群存储并分析数据以提升数据可靠性，分布式集群上的数据处理任务的运行过程中，会产生大量的日志文件，为便捷管理日志以高效查看数据处理任务的运行状态，分布式集群通常会开启日志聚集功能，在数据处理任务运行完成后将这些日志统一存储于集群中的服务器上，以便查看程序运行详情，方便开发调试和生产问题定位。
目前，日志文件的聚合与存储地址通常由配置文件进行控制，且日志文件的存储地址通常是固定不变的，而频繁地向同一个存储地址进行文件读写给日志文件的存储地址所在的服务器带来较大的负载压力，从而会降低集群中数据读写的效率。
发明内容
鉴于以上内容，有必要提供一种基于人工智能的数据分流方法及相关设备，以解决如何提高数据读写的效率这一技术问题，其中，相关设备包括基于人工智能的数据分流装置、电子设备及存储介质。
本申请实施例提供一种基于人工智能的数据分流方法，所述方法包括：
查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；
依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
将所述预设集群生成的数据写入所述目标存储空间；
实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
在一些实施例中，所述查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：
依据预设集群的数据生成记录计算采样周期；
每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；
将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：
其中，Ti代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(0，+∞)；代表第i次查询获得的所述CPU占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述内存占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述磁盘占用率，且/>的取值为0到1之间的任意实数。
在一些实施例中，所述依据预设集群的数据生成记录计算采样周期，包括：
采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；
标记所述数据生成量的变化趋势中的波峰与波谷；
将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。
在一些实施例中，所述依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：
将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；
将所述键值对依据所述存储优先级由高到低的顺序进行排序；
将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。
在一些实施例中，所述依据所述服务器队列中服务器的次序编辑预设配置文件，包括：
从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标服务器在所述预设集群中的存储目录和存储地址；
依据预设的正则表达式从所述预设配置文件中查询所述预设集群的数据存储目录和数据存储地址所在的行以作为目标行；
将所述目标行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以将所述目标服务器定义为所述预设集群中存储数据的目标存储空间。
在一些实施例中，所述预设集群包含至少一个数据应用，所述数据应用在运行结束后生成数据，所述将所述预设集群生成的数据写入所述目标存储空间，包括：
在所述数据应用开始运行后查询所述目标服务器的存储目录和存储地址；
在所述数据应用运行完成后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据；
依据预设的通信协议将所述请求数据发送至所述目标存储空间进行存储。
在一些实施例中，所述实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据，包括：
解析实时接收到的数据查询请求，获得待查询数据的索引；
依据所述待查询数据的索引从所述目标存储空间中查询目标数据；
若查询到所述目标数据，则向数据接收方推送所述目标数据；
若未查询到所述目标数据，则依据所述服务器的存储优先级由大到小的顺序从每个所述服务器中依次查询所述目标数据，若查询到所述目标数据则向数据接收方推送所述目标数据，若遍历完所有服务器仍未查询到所述目标数据，则向数据接收方告警。
本申请实施例还提供一种基于人工智能的数据分流装置，所述装置包括：
计算单元，用于查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；
排序单元，用于依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
配置单元，用于依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
写入单元，用于将所述预设集群生成的数据写入所述目标存储空间；
查询单元，用于实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
本申请实施例还提供一种电子设备，所述电子设备包括：
存储器，存储计算机可读指令；及
处理器，执行所述存储器中存储的计算机可读指令以实现所述基于人工智能的数据分流方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述基于人工智能的数据分流方法。
上述基于人工智能的数据分流方法基于服务器的负载计算每个服务器的存储优先级，并依据存储优先级由高到低的顺序对服务器进行排序，将次序最靠前的服务器作为目标存储空间，并将目标存储空间的信息写入配置文件以确保集群生成的数据都存储于目标存储空间，在进行数据查询时首先从目标存储空间中查询目标数据，再遍历集群中其余服务器以查询目标数据，能够依据服务器负载的高低将数据写入任务和查询任务合理分配至集群中的各个服务器中，从而提升集群中数据读写的效率。
附图说明
图1是本申请所涉及的一种基于人工智能的数据分流方法的较佳实施例的流程图。
图2是本申请所涉及的基于人工智能的数据分流装置的较佳实施例的功能模块图。
图3是本申请所涉及的基于人工智能的数据分流方法的较佳实施例的电子设备的结构示意图。
图4是本申请实施例提供的集群数据生成量的变化趋势示意图。
具体实施方式
为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请实施例提供一种基于人工智能的数据分流方法，可应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
如图1所示，是本申请基于人工智能的数据分流方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S10，查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级。
在一个可选的实施例中，所述查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：
依据预设集群的数据生成记录计算采样周期；
每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；
将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：
其中，Ti代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(-∞，+∞)；代表第i次查询获得的所述CPU占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述内存占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述磁盘占用率，且/>的取值为0到1之间的任意实数。
该可选的实施例中，所述预设集群指将多台服务器集中起来联合提供服务的服务器集群，相较于单一的服务器，所述预设集群的优势在于将数据负载均衡地分布到每台服务器上，可以承载更高的数据访问量。所述预设集群的功能可以是存储医疗数据、管理金融数据等，本申请对此不做限定。所述预设集群可以是Hadoop分布式集群、Redis集群、Spark集群、Flink集群等现有的分布式集群，本申请对此不做限定。
在一个可选的实施例中，所述依据预设集群的数据生成记录计算采样周期，包括：
采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；
标记所述数据生成量的变化趋势中的波峰与波谷；
将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。
该可选的实施例中，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，如图4所示为所述数据生成量的变化趋势示意图，其中，纵轴用于表征数据生成量，其单位可以是KB、MB、GB等，本申请对此不做限定；横轴用于表征数据生成的时刻。示例性的，当1时刻所述预设集群的数据生成量为100KB时，则表明在1时刻所述预设集群生成了100KB的数据。所述预设集群在某一时刻生成的数据越多，则表明在该时刻集群中的业务越繁忙。所述集群生成的数据可以是集群日志文件、服务器状态数据、集群资源变化趋势数据等，本申请对此不做限定。
该可选的实施例中，当所述数据生成量的变化趋势中某个时刻对应的数据生成量比前一时刻和后一时刻的数据生成量都高，则该时刻为波峰；当所述数据生成量的变化趋势中另一个时刻对应的数据生成量比前一时刻和后一时刻的数据生成量都低，则该时刻为波谷。
该可选的实施例中，可计算每个所述波峰与相邻的所述波谷之间的时间差，并计算所有时间差的均值以作为采样周期。
该可选的实施例中，可每隔一个所述采样周期查询所述预设集群的负载，并依据所述负载计算所述集群中每个所述服务器的存储优先级，所述采样周期的单位可以是秒、分、小时等任意时间单位，本申请对此不做限定。示例性的，当所述采样周期为3600秒时，则表明每隔3600秒计算一次存储优先级。示例性的，当第二次查询服务器负载时获得的某一个服务器的负载包括：CPU占用率为0.5、内存占用率为0.5且磁盘占用率为0.5时，则第二次计算获得的该服务器的优先级为：
该可选的实施例中，所述服务器的负载越低，则所述服务器存储数据的能力越强，则所述服务器的存储优先级越高，即所述服务器越应被用于存储数据。
如此，通过服务器的负载计算服务器的优先级，为负载较低的服务器分配较高的存储优先级，用于优先存储集群中的数据，从而能够提升存储数据的效率。
S11，依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列。
在一个可选的实施例中，所述依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：
将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；
将所述键值对依据所述存储优先级由高到低的顺序进行排序；
将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。
示例性的，当服务器A的存储优先级为4时，所述服务器A对应的键值对的形式为[A：4]。
示例性的，当所述服务器包括：服务器A、服务器B、服务器C、服务器D，且所述服务器A的存储优先级为4、所述服务器B的存储优先级为3、所述服务器C的存储优先级为2、所述服务器D的存储优先级为1时，所述服务器队列的形式为{[A：4]，[B：3]，[C：2]，[D：1]}。
该可选的实施例中，所述服务器队列中服务器的次序随着所述采样周期而变化，能够实时表征所述服务器存储数据的能力。示例性的，当所述采样周期为3600秒时，所述服务器队列中服务器的次序每隔3600秒变化一次。
如此，通过服务器的存储优先级实时对所述服务器进行排序以获得随采样周期而变化的服务器队列，能够为后续编辑配置文件提供可便捷查询的信息源，从而提升后续配置文件编辑的效率，为实现集群数据分流读写提供了指引信息。
S12，依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间。
在一个可选的实施例中，所述依据所述服务器队列中服务器的次序编辑预设配置文件，包括：
从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标服务器在所述预设集群中的存储目录和存储地址；
依据预设的正则表达式从所述预设配置文件中查询所述预设集群的数据存储目录和数据存储地址所在的行以作为目标行；
将所述目标行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以将所述目标服务器定义为所述预设集群中存储数据的目标存储空间。
该可选的实施例中，由于所述存储优先级越高则表明所述服务器的存储数据的能力越强，因此可将所述服务器队列中具备最高存储优先级，即具备最靠前的次序的服务器作为目标服务器以存储数据。
该可选的实施例中，可依据预设的脚本查询所述目标服务器在所述预设集群中的存储目录和存储地址，所述预设的脚本可以是SQL脚本、Python脚本、Java脚本等，本申请对此不做限定。示例性的，所述目标服务器在所述集群中的存储目录的形式可以是：/data/hadoop102/data/tmp，还可以是/data/hadoop103/data/tmp；所述目标服务器在所述集群中的地址的形式可以是：192.168.10.100hadoop100，还可以是：192.168.10.101hadoop101。
该可选的实施例中，可依据预设的正则表达式查询预设配置文件，所述预设配置文件包含多行数据，所述预设的正则表达式用于查询所述配置文件中包含所述预设集群的数据存储目录和数据存储地址的行数据，示例性的，当所述预设配置文件中表征所述预设集群的数据存储目录的字段名称为“存储目录：”，则所述预设的正则表达式可以是“*\b存储目录：\b”，该正则表达式用于查询所述配置文件中所有包含字符串“存储目录：”的数据所在的行；当所述配置文件中数据存储地址的字段名称为“存储地址：”，则所述预设的正则表达式可以是“*\b存储地址：\b”，该正则表达式用于查询所述配置文件中所有包含字符串“存储地址：”的数据所在的行。在查找到所述预设集群的数据存储目录和数据存储地址所在的行之后，可将该行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以便于所述集群在存储数据时直接调用所述配置文件并将所述数据存储至所述目标存储空间。
如此，通过编辑配置文件中的内容，将所述目标服务器的存储目录和存储地址写入所述配置文件，便于集群调用所述配置文件，以将集群中的数据直接写入所述目标存储空间，从而能够便捷地实现数据分流，提升集群数据读写的效率。
S13，将所述预设集群生成的数据写入所述目标存储空间。
在一个可选的实施例中，所述预设集群包含至少一个数据应用，所述数据应用在运行结束后生成数据，所述将所述预设集群生成的数据写入所述目标存储空间，包括：
在所述数据应用开始运行后查询所述目标服务器的存储目录和存储地址；
在所述数据应用运行完成后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据；
依据预设的通信协议将所述请求数据发送至所述目标存储空间进行存储。
该可选的实施例中，所述预设服务器包含至少一个数据应用，所述数据应用的功能可以是聚合数据，还可以是筛选数据，还可以是查询数据，本申请对此不做限定。所述数据应用生成的数据可以是数据表、应用运行日志、图像数据、文本数据等，本申请对此不做限定。
该可选的实施例中，可实时监控所述集群中的数据应用的运行状态，在所述数据应用启动后，查询所述配置文件中记载的所述目标服务器的存储目录和所述目标服务器的存储地址。
该可选的实施例中，在接收到应用运行完成的事件后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据。所述请求数据包括请求头和载荷数据，所述载荷数据即为所述数据应用生成的数据，所述请求头包括源端口和目的端口，所述源端口用于表征所述数据应用的相关信息，示例性的，所述数据应用的相关信息包括：所述数据应用运行的服务器、所述数据应用的名称、所述数据应用的版本号等，本申请对此不做限定。所述目的端口用于表征所述目标服务器的存储目录和所述目标服务器的存储地址。
该可选的实施例中，所述预设的通信协议用于维持所述预设集群中各个服务器之间的数据通信，示例性的，所述预设的通信协议可以是TCP协议、UDP协议等现有的数据通信协议，本申请对此不做限定。
如此，通过查询配置文件中的存储目录和存储地址定位集群中存储数据的目标存储空间，并将集群生成的数据以统一的通信协议传输至目标存储空间以完成数据写入，从而以数据分流的方式平衡集群中各服务器的负载，能够提升数据存储的效率。
S14，实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
在一个可选的实施例中，所述实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据，包括：
解析实时接收到的数据查询请求，获得待查询数据的索引；
依据所述待查询数据的索引从所述目标存储空间中查询目标数据；
若查询到所述目标数据，则向数据接收方推送所述目标数据；
若未查询到所述目标数据，则依据所述服务器的存储优先级由大到小的顺序从每个所述服务器中依次查询所述目标数据，若查询到所述目标数据则向数据接收方推送所述目标数据，若遍历完所有服务器仍未查询到所述目标数据，则向数据接收方告警。
该可选的实施例中，所述数据查询请求指数据接收方向所述预设集群实时发送的数据查询指令，所述数据接收方可以是所述预设集群的读写者、从所述预设集群获得服务的客户等，本申请对此不做限定。所述数据查询指令包括待查询数据的索引，所述待查询数据的索引包括数据名称、数据ID、数据生成时间、数据写入时间等，本申请对此不做限定。
该可选的实施例中，首先可依据所述待查询数据的索引从所述目标存储空间中查询与所述索引对应的数据，若能够从所述目标存储空间中查询到与所述索引对应的数据，则可将该数据作为目标数据，并将所述目标数据推送给所述数据接收方以完成数据查询。
该可选的实施例中，若未能从所述目标存储空间中查询到所述目标数据，则可依据所述服务器的存储优先级由大到小的顺序依次从每个所述服务器中查询与所述待查询数据的索引对应的数据，若查询到所述待查询数据的索引对应的数据，则向所述数据接收方推送该数据。
若遍历完所有服务器仍未查询到与所述待查询数据的索引对应的数据，则表明所述集群中不存在与所述索引对应的数据，则可向所述数据接收方推送报错信息以告警，所述报错信息可以是“查询失败”、“未查询到有效信息”等，本申请对此不做限定。
如此，先从目标存储空间中查询待查询的数据，再依据存储优先级由大到小的顺序从集群中的其余服务器中查询待查询的数据，能够均衡集群中各个服务器的负载，从而能够提升数据读写的效率。
上述基于人工智能的数据分流方法基于服务器的负载计算每个服务器的存储优先级，并依据存储优先级由高到低的顺序对服务器进行排序，将次序最靠前的服务器作为目标存储空间，并将目标存储空间的信息写入配置文件以确保集群生成的数据都存储于目标存储空间，在进行数据查询时首先从目标存储空间中查询目标数据，再遍历集群中其余服务器以查询目标数据，能够依据服务器负载的高低将数据写入任务和查询任务合理分配至集群中的各个服务器中，从而提升集群中数据读写的效率。
如图2所示，是本申请实施例提供的基于人工智能的数据分流装置的较佳实施例的功能模块图。基于人工智能的数据分流装置11包括计算单元110、排序单元111、配置单元112、写入单元113、查询单元114。本申请所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
在一个可选的实施例中，计算单元110用于查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级。
在一个可选的实施例中，所述计算单元110查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：
依据预设集群的数据生成记录计算采样周期；
每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；
将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：
其中，Ti代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(-∞，+∞)；代表第i次查询获得的所述CPU占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述内存占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述磁盘占用率，且/>的取值为0到1之间的任意实数。
该可选的实施例中，所述预设集群指将多台服务器集中起来联合提供服务的服务器集群，相较于单一的服务器，所述预设集群的优势在于将数据负载均衡地分布到每台服务器上，可以承载更高的数据访问量。所述预设集群的功能可以是存储医疗数据、管理金融数据等，本申请对此不做限定。所述预设集群可以是Hadoop分布式集群、Redis集群、Spark集群、Flink集群等现有的分布式集群，本申请对此不做限定。
在一个可选的实施例中，所述依据预设集群的数据生成记录计算采样周期，包括：
采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；
标记所述数据生成量的变化趋势中的波峰与波谷；
将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。
该可选的实施例中，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，如图4所示为所述数据生成量的变化趋势示意图，其中，纵轴用于表征数据生成量，其单位可以是KB、MB、GB等，本申请对此不做限定；横轴用于表征数据生成的时刻。示例性的，当1时刻所述预设集群的数据生成量为100KB时，则表明在1时刻所述预设集群生成了100KB的数据。所述预设集群在某一时刻生成的数据越多，则表明在该时刻集群中的业务越繁忙。所述集群生成的数据可以是集群日志文件、服务器状态数据、集群资源变化趋势数据等，本申请对此不做限定。
该可选的实施例中，当所述数据生成量的变化趋势中某个时刻对应的数据生成量比前一时刻和后一时刻的数据生成量都高，则该时刻为波峰；当所述数据生成量的变化趋势中另一个时刻对应的数据生成量比前一时刻和后一时刻的数据生成量都低，则该时刻为波谷。
该可选的实施例中，可计算每个所述波峰与相邻的所述波谷之间的时间差，并计算所有时间差的均值以作为采样周期。
该可选的实施例中，可每隔一个所述采样周期查询所述预设集群的负载，并依据所述负载计算所述集群中每个所述服务器的存储优先级，所述采样周期的单位可以是秒、分、小时等任意时间单位，本申请对此不做限定。示例性的，当所述采样周期为3600秒时，则表明每隔3600秒计算一次存储优先级。示例性的，当第二次查询服务器负载时获得的某一个服务器的负载包括：CPU占用率为0.5、内存占用率为0.5且磁盘占用率为0.5时，则第二次计算获得的该服务器的优先级为：
该可选的实施例中，所述服务器的负载越低，则所述服务器存储数据的能力越强，则所述服务器的存储优先级越高，即所述服务器越应被用于存储数据。
在一个可选的实施例中，排序单元111用于依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列。
在一个可选的实施例中，所述排序单元111依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：
将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；
将所述键值对依据所述存储优先级由高到低的顺序进行排序；
将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。
示例性的，当服务器A的存储优先级为4时，所述服务器A对应的键值对的形式为[A：4]。
示例性的，当所述服务器包括：服务器A、服务器B、服务器C、服务器D，且所述服务器A的存储优先级为4、所述服务器B的存储优先级为3、所述服务器C的存储优先级为2、所述服务器D的存储优先级为1时，所述服务器队列的形式为{[A：4]，[B：3]，[C：2]，[D：1]}。
该可选的实施例中，所述服务器队列中服务器的次序随着所述采样周期而变化，能够实时表征所述服务器存储数据的能力。示例性的，当所述采样周期为3600秒时，所述服务器队列中服务器的次序每隔3600秒变化一次。
在一个可选的实施例中，配置单元112用于依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间。
在一个可选的实施例中，所述配置单元112依据所述服务器队列中服务器的次序编辑预设配置文件，包括：
从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标服务器在所述预设集群中的存储目录和存储地址；
依据预设的正则表达式从所述预设配置文件中查询所述预设集群的数据存储目录和数据存储地址所在的行以作为目标行；
将所述目标行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以将所述目标服务器定义为所述预设集群中存储数据的目标存储空间。
该可选的实施例中，由于所述存储优先级越高则表明所述服务器的存储数据的能力越强，因此可将所述服务器队列中具备最高存储优先级，即具备最靠前的次序的服务器作为目标服务器以存储数据。
该可选的实施例中，可依据预设的脚本查询所述目标服务器在所述预设集群中的存储目录和存储地址，所述预设的脚本可以是SQL脚本、Python脚本、Java脚本等，本申请对此不做限定。示例性的，所述目标服务器在所述集群中的存储目录的形式可以是：/data/hadoop102/data/tmp，还可以是/data/hadoop103/data/tmp；所述目标服务器在所述集群中的地址的形式可以是：192.168.10.100hadoop100，还可以是：192.168.10.101hadoop101。
该可选的实施例中，可依据预设的正则表达式查询预设配置文件，所述预设配置文件包含多行数据，所述预设的正则表达式用于查询所述配置文件中包含所述预设集群的数据存储目录和数据存储地址的行数据，示例性的，当所述预设配置文件中表征所述预设集群的数据存储目录的字段名称为“存储目录：”，则所述预设的正则表达式可以是“*\b存储目录：\b”，该正则表达式用于查询所述配置文件中所有包含字符串“存储目录：”的数据所在的行；当所述配置文件中数据存储地址的字段名称为“存储地址：”，则所述预设的正则表达式可以是“*\b存储地址：\b”，该正则表达式用于查询所述配置文件中所有包含字符串“存储地址：”的数据所在的行。在查找到所述预设集群的数据存储目录和数据存储地址所在的行之后，可将该行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以便于所述集群在存储数据时直接调用所述配置文件并将所述数据存储至所述目标存储空间。
在一个可选的实施例中，写入单元113用于将所述预设集群生成的数据写入所述目标存储空间。
在一个可选的实施例中，所述写入单元113预设集群包含至少一个数据应用，所述数据应用在运行结束后生成数据，所述将所述预设集群生成的数据写入所述目标存储空间，包括：
在所述数据应用开始运行后查询所述目标服务器的存储目录和存储地址；
在所述数据应用运行完成后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据；
依据预设的通信协议将所述请求数据发送至所述目标存储空间进行存储。
该可选的实施例中，所述预设服务器包含至少一个数据应用，所述数据应用的功能可以是聚合数据，还可以是筛选数据，还可以是查询数据，本申请对此不做限定。所述数据应用生成的数据可以是数据表、应用运行日志、图像数据、文本数据等，本申请对此不做限定。
该可选的实施例中，可实时监控所述集群中的数据应用的运行状态，在所述数据应用启动后，查询所述配置文件中记载的所述目标服务器的存储目录和所述目标服务器的存储地址。
该可选的实施例中，在接收到应用运行完成的事件后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据。所述请求数据包括请求头和载荷数据，所述载荷数据即为所述数据应用生成的数据，所述请求头包括源端口和目的端口，所述源端口用于表征所述数据应用的相关信息，示例性的，所述数据应用的相关信息包括：所述数据应用运行的服务器、所述数据应用的名称、所述数据应用的版本号等，本申请对此不做限定。所述目的端口用于表征所述目标服务器的存储目录和所述目标服务器的存储地址。
该可选的实施例中，所述预设的通信协议用于维持所述预设集群中各个服务器之间的数据通信，示例性的，所述预设的通信协议可以是TCP协议、UDP协议等现有的数据通信协议，本申请对此不做限定。
在一个可选的实施例中，查询单元114用于实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
在一个可选的实施例中，所述查询单元114实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据，包括：
解析实时接收到的数据查询请求，获得待查询数据的索引；
依据所述待查询数据的索引从所述目标存储空间中查询目标数据；
若查询到所述目标数据，则向数据接收方推送所述目标数据；
若未查询到所述目标数据，则依据所述服务器的存储优先级由大到小的顺序从每个所述服务器中依次查询所述目标数据，若查询到所述目标数据则向数据接收方推送所述目标数据，若遍历完所有服务器仍未查询到所述目标数据，则向数据接收方告警。
该可选的实施例中，所述数据查询请求指数据接收方向所述预设集群实时发送的数据查询指令，所述数据接收方可以是所述预设集群的读写者、从所述预设集群获得服务的客户等，本申请对此不做限定。所述数据查询指令包括待查询数据的索引，所述待查询数据的索引包括数据名称、数据ID、数据生成时间、数据写入时间等，本申请对此不做限定。
该可选的实施例中，首先可依据所述待查询数据的索引从所述目标存储空间中查询与所述索引对应的数据，若能够从所述目标存储空间中查询到与所述索引对应的数据，则可将该数据作为目标数据，并将所述目标数据推送给所述数据接收方以完成数据查询。
该可选的实施例中，若未能从所述目标存储空间中查询到所述目标数据，则可依据所述服务器的存储优先级由大到小的顺序依次从每个所述服务器中查询与所述待查询数据的索引对应的数据，若查询到所述待查询数据的索引对应的数据，则向所述数据接收方推送该数据。
若遍历完所有服务器仍未查询到与所述待查询数据的索引对应的数据，则表明所述集群中不存在与所述索引对应的数据，则可向所述数据接收方推送报错信息以告警，所述报错信息可以是“查询失败”、“未查询到有效信息”等，本申请对此不做限定。
上述基于人工智能的数据分流装置基于服务器的负载计算每个服务器的存储优先级，并依据存储优先级由高到低的顺序对服务器进行排序，将次序最靠前的服务器作为目标存储空间，并将目标存储空间的信息写入配置文件以确保集群生成的数据都存储于目标存储空间，在进行数据查询时首先从目标存储空间中查询目标数据，再遍历集群中其余服务器以查询目标数据，能够依据服务器负载的高低将数据写入任务和查询任务合理分配至集群中的各个服务器中，从而提升集群中数据读写的效率。
如图3所示，是本申请实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行储器中存储的计算机可读指令以实现上述任一实施例的基于人工智能的数据分流方法。
在一个可选的实施例中，电子设备1还包括总线、存储在存储器12中并可在处理器13上运行的计算机程序，例如基于人工智能的数据分流程序。
图3仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，电子设备1中的存储器12存储多个计算机可读指令以实现一种基于人工智能的数据分流方法，处理器13可执行多个指令从而实现：
查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；
依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
将所述预设集群生成的数据写入所述目标存储空间；
实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
具体地，处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1既可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于人工智能的数据分流程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在存储器12内的程序或者模块(例如执行基于人工智能的数据分流程序等)，以及调用存储在存储器12内的数据，以执行电子设备1的各种功能和处理数据。
所述处理器13执行电子设备1的操作系统以及安装的各类应用程序。处理器13执行所述应用程序以实现上述各个基于人工智能的数据分流方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储器12中，并由处理器13执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成计算单元110、排序单元111、配置单元112、写入单元113、查询单元114。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述基于人工智能的数据分流方法的部分。
电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器及其他存储器等。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现存储器12以及至少一个处理器13等之间的连接通信。
本申请实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于人工智能的数据分流方法。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。说明书陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (9)

1.一种基于人工智能的数据分流方法，其特征在于，所述方法包括：
查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：依据预设集群的数据生成记录计算采样周期；每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：其中，Ti代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(0，+∞)；/>代表第i次查询获得的所述CPU占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述内存占用率，且/>的取值为0到1之间的任意实数；/>代表第i次查询获得的所述磁盘占用率，且/>的取值为0到1之间的任意实数；
依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
将所述预设集群生成的数据写入所述目标存储空间；
实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
2.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据预设集群的数据生成记录计算采样周期，包括：
采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；
标记所述数据生成量的变化趋势中的波峰与波谷；
将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。
3.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：
将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；
将所述键值对依据所述存储优先级由高到低的顺序进行排序；
将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。
4.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据所述服务器队列中服务器的次序编辑预设配置文件，包括：
从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标服务器在所述预设集群中的存储目录和存储地址；
依据预设的正则表达式从所述预设配置文件中查询所述预设集群的数据存储目录和数据存储地址所在的行以作为目标行；
将所述目标行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以将所述目标服务器定义为所述预设集群中存储数据的目标存储空间。
5.如权利要求4所述的基于人工智能的数据分流方法，其特征在于，所述预设集群包含至少一个数据应用，所述数据应用在运行结束后生成数据，所述将所述预设集群生成的数据写入所述目标存储空间，包括：
在所述数据应用开始运行后查询所述目标服务器的存储目录和存储地址；
在所述数据应用运行完成后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据；
依据预设的通信协议将所述请求数据发送至所述目标存储空间进行存储。
6.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据，包括：
解析实时接收到的数据查询请求，获得待查询数据的索引；
依据所述待查询数据的索引从所述目标存储空间中查询目标数据；
若查询到所述目标数据，则向数据接收方推送所述目标数据；
若未查询到所述目标数据，则依据所述服务器的存储优先级由大到小的顺序从每个所述服务器中依次查询所述目标数据，若查询到所述目标数据则向数据接收方推送所述目标数据，若遍历完所有服务器仍未查询到所述目标数据，则向数据接收方告警。
7.一种基于人工智能的数据分流装置，其特征在于，所述装置包括用于实现如权利要求1至6中任意一项所述的方法的模块，所述装置包括：
计算单元，用于查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；
排序单元，用于依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
配置单元，用于依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
写入单元，用于将所述预设集群生成的数据写入所述目标存储空间；
查询单元，用于实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
8.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储计算机可读指令；及
处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至6中任意一项所述的基于人工智能的数据分流方法。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至6中任意一项所述的基于人工智能的数据分流方法。
CN202310151793.6A 2023-02-10 2023-02-10 基于人工智能的数据分流方法及相关设备 Active CN116132448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310151793.6A CN116132448B (zh) 2023-02-10 2023-02-10 基于人工智能的数据分流方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310151793.6A CN116132448B (zh) 2023-02-10 2023-02-10 基于人工智能的数据分流方法及相关设备

Publications (2)

Publication Number Publication Date
CN116132448A CN116132448A (zh) 2023-05-16
CN116132448B true CN116132448B (zh) 2024-05-03

Family

ID=86308141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310151793.6A Active CN116132448B (zh) 2023-02-10 2023-02-10 基于人工智能的数据分流方法及相关设备

Country Status (1)

Country Link
CN (1) CN116132448B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302582A (zh) * 2023-05-26 2023-06-23 北京固加数字科技有限公司 一种股票交易平台负载均衡控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011000199A1 (zh) * 2009-06-30 2011-01-06 深圳市融创天下科技发展有限公司 集群服务器智能调度的方法及系统
CN107800756A (zh) * 2017-03-13 2018-03-13 平安科技（深圳）有限公司 一种负载均衡方法及负载均衡器
CN109327540A (zh) * 2018-11-16 2019-02-12 平安科技（深圳）有限公司 电子装置、服务器负载均衡方法及存储介质
CN111930780A (zh) * 2020-10-12 2020-11-13 上海冰鉴信息科技有限公司 数据查询方法及系统
CN115269523A (zh) * 2022-08-03 2022-11-01 中国平安财产保险股份有限公司 基于人工智能的文件存储与查询方法及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011000199A1 (zh) * 2009-06-30 2011-01-06 深圳市融创天下科技发展有限公司 集群服务器智能调度的方法及系统
CN107800756A (zh) * 2017-03-13 2018-03-13 平安科技（深圳）有限公司 一种负载均衡方法及负载均衡器
CN109327540A (zh) * 2018-11-16 2019-02-12 平安科技（深圳）有限公司 电子装置、服务器负载均衡方法及存储介质
CN111930780A (zh) * 2020-10-12 2020-11-13 上海冰鉴信息科技有限公司 数据查询方法及系统
CN115269523A (zh) * 2022-08-03 2022-11-01 中国平安财产保险股份有限公司 基于人工智能的文件存储与查询方法及相关设备

Also Published As

Publication number Publication date
CN116132448A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US11544623B2 (en) Consistent filtering of machine learning data
JP6560308B2 (ja) データ記憶サービスを実装するシステム及び方法
CN109074377B (zh) 用于实时处理数据流的受管理功能执行
US11775501B2 (en) Trace and span sampling and analysis for instrumented software
US10713589B1 (en) Consistent sort-based record-level shuffling of machine learning data
US11100420B2 (en) Input processing for machine learning
US8429256B2 (en) Systems and methods for generating cached representations of host package inventories in remote package repositories
US20160350302A1 (en) Dynamically splitting a range of a node in a distributed hash table
US10860604B1 (en) Scalable tracking for database udpates according to a secondary index
US11144538B2 (en) Predictive database index modification
CN116132448B (zh) 基于人工智能的数据分流方法及相关设备
US20210397373A1 (en) Peer Storage Compute Sharing Using Memory Buffer
CN113485999A (zh) 数据清理方法、装置和服务器
CN116760860A (zh) 基于云计算的集群日志收集方法及相关设备
CN110321364B (zh) 信用卡管理系统的交易数据查询方法、装置及终端
CN116719822B (zh) 一种海量结构化数据的存储方法及系统
CN112965939A (zh) 一种文件合并方法、装置和设备
US20150112947A1 (en) System and method for database flow management
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN114168557A (zh) 一种访问日志的处理方法、装置、计算机设备和存储介质
CN114296965A (zh) 特征检索方法、装置、电子设备及计算机存储介质
CN115221174A (zh) 基于人工智能的数据分级存储方法、装置、设备及介质
CN114860722A (zh) 基于人工智能的数据分片方法、装置、设备及介质
US11249952B1 (en) Distributed storage of data identifiers
US9483560B2 (en) Data analysis control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant