CN114862606A - 一种基于云服务的保险信息处理方法、装置 - Google Patents

一种基于云服务的保险信息处理方法、装置 Download PDF

Info

Publication number
CN114862606A
CN114862606A CN202210663133.1A CN202210663133A CN114862606A CN 114862606 A CN114862606 A CN 114862606A CN 202210663133 A CN202210663133 A CN 202210663133A CN 114862606 A CN114862606 A CN 114862606A
Authority
CN
China
Prior art keywords
task
processing node
cloud processing
cloud
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210663133.1A
Other languages
English (en)
Other versions
CN114862606B (zh
Inventor
肖捷
陈镁琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Yisheng Xinchuangzhan Technology Co ltd
Original Assignee
Xinjiang Yisheng Xinchuangzhan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Yisheng Xinchuangzhan Technology Co ltd filed Critical Xinjiang Yisheng Xinchuangzhan Technology Co ltd
Priority to CN202210663133.1A priority Critical patent/CN114862606B/zh
Publication of CN114862606A publication Critical patent/CN114862606A/zh
Application granted granted Critical
Publication of CN114862606B publication Critical patent/CN114862606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Technology Law (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了一种基于云服务的保险信息处理方法、装置。通过确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在云处理节点上的最小执行耗时，将最小执行耗时对应的云处理节点确定为第一云处理节点；针对保险大数据信息包括的保险对象信息以及保险推荐任务信息，基本属于各个类型的数据处理量都相差不大的任务，通过改进传统处理任务的能有效的缩短任务总体完成时间并提高系统负载均衡程度，适用于各个任务的数据处理复杂度以及计算量相接近的情况，避免了局部最优，实现了最优的任务总执行时间的控制以及负载的均衡控制。

Description

一种基于云服务的保险信息处理方法、装置
技术领域
本发明涉及保险信息处理领域，具体而言，涉及一种基于云服务的保险信息处理方法、装置。
背景技术
随着经济发展，保险信息的数据量呈现爆发式增长。现有技术中，对于保险信息的数据处理往往是传统的录入后的人工处理以及推荐，其对于大数据的处理第一速度慢，第二不能针对保险数据的特性执行针对性的分析处理，且目前的云计算方案不适用于保险大数据。因此，亟需提出一种针对各任务计算量接近且均衡以及系统执行总任务耗时最优以及负载均衡的协同控制。
发明内容
有鉴于此，本发明实施例的目的在于提供一种针对各任务计算量接近且均衡以及系统执行总任务耗时最优以及负载均衡的协同控制方案。
本发明的第一方面提供了一种基于云服务的保险信息处理方法，所述方法包括：
S1，获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；
S2，获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；
S3，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；
S4，建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；
S5，接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。
进一步，所述确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，包括：
根据当前数据分片任务执行于当前所述云处理节点的需等待执行时间与当前数据分片任务执行于所述云处理节点的任务执行时间之和，确定为预计执行所需时间；
所述当前数据分片任务执行于当前所述云处理节点的需等待执行时间，包括已分配至当前所述云处理节点的任务队列中所有任务执行时间之和；
根据所述云处理节点属性以及当前数据分片任务所需资源属性，确定当前数据分片任务执行于所述云处理节点的任务执行时间。
进一步，所述S3，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点，包括：
S31，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点；
S32，计算第一云处理节点与第二云处理节点的时间差；
S33，获取所述第二云处理节点上的待执行的第二数据分片任务，按照任务长度升序依次遍历所述第二云处理节点上的待执行的任务在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；
S34，确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
S35，将所述第二数据分片任务分配至第四云处理节点。
进一步，循环执行S31-S35，以使得所述第一云处理节点与第二云处理节点的时间差最小。
进一步，更新第一耗时特征矩阵，并标记第一数据分片任务，包括：
根据重新分配的云处理节点，执行更新所述数据分片任务与云处理节点的映射关系。
进一步，所述S1还包括：根据卷积神经网络模型将所述保险大数据信息中的保险对象执行分类，获取每个保险对象对应的分类属性信息；
根据所述保险对象对应的分类属性信息，建立保险对象的画像关系，并根据画像相关程度将所述保险大数据执行分割处理获得多个数据分片任务；其中，每个数据分片任务对应的保险对象的画像关系相关；根据所述数据分片任务执行对任务内的保险对象执行保险推荐任务。
此外，本发明第二方面还提供一种基于云服务的保险信息处理装置，所述装置包括：
获取与分割模块，获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；
第一建立模块，获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；
分配模块，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；
第二建立模块，建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；
生成模块，接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。
进一步，所述第一建立模块还包括第一计算子模块，用于：
根据当前数据分片任务执行于当前所述云处理节点的需等待执行时间与当前数据分片任务执行于所述云处理节点的任务执行时间之和，确定为预计执行所需时间；
所述当前数据分片任务执行于当前所述云处理节点的需等待执行时间，包括已分配至当前所述云处理节点的任务队列中所有任务执行时间之和；
根据所述云处理节点属性以及当前数据分片任务所需资源属性，确定当前数据分片任务执行于所述云处理节点的任务执行时间。
进一步，所述分配模块还用于：
确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点；
计算第一云处理节点与第二云处理节点的时间差；
获取所述第二云处理节点上的待执行的第二数据分片任务，按照任务长度升序依次遍历所述第二云处理节点上的待执行的任务在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；
确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
将所述第二数据分片任务分配至第四云处理节点。
此外，本发明第三方面还提供一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上所述的基于云服务的保险信息处理方法步骤。
本发明的方案中，通过获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。针对保险大数据信息包括的保险对象信息以及保险推荐任务信息，基本属于各个类型的数据处理量都相差不大的任务，通过改进传统处理任务的能有效的缩短任务总体完成时间并提高系统负载均衡程度，适用于简单任务和复杂任务的数据处理复杂度以及计算量相接近的情况，避免了局部最优，实现了最优的任务总执行时间的控制以及负载的均衡控制。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例公开的基于云服务的保险信息处理方法流程示意图；
图2是本发明实施例公开的基于云服务的保险信息处理装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
需要说明的是：在本文中提及的“多个”是指两个或两个以上。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
请参阅图1，图1是本发明实施例公开的一种基于云服务的保险信息处理方法流程示意图。如图1所示，本发明实施例的一种基于云服务的保险信息处理方法，包括：
S1，获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；
所述S1还包括：根据卷积神经网络模型将所述保险大数据信息中的保险对象执行分类，获取每个保险对象对应的分类属性信息；
根据所述保险对象对应的分类属性信息，建立保险对象的画像关系，并根据画像相关程度将所述保险大数据执行分割处理获得多个数据分片任务；其中，每个数据分片任务对应的保险对象的画像关系相关；根据所述数据分片任务执行对任务内的保险对象执行保险推荐任务。
具体地，本实施例，预先可以根据历史数据人工进行样本的标记，执行用户画像关系的关键字标签，作为训练样本，对卷积神经网络模型执行训练，以使得模型收敛。进一步，保险大数据信息中对应的是每条保险对象的信息，比如，对象是人，包括出险信息，医疗信息，年龄，职业，收入等等。根据卷积神经网络模型将所述保险大数据信息中的保险对象执行分类，获取每个保险对象对应的分类属性信息，根据所述保险对象对应的分类属性信息，建立保险对象的画像关系；比如，可以是高净值人群，风险意识强等等。根据画像相关程度将所述保险大数据执行分割处理获得多个数据分片任务，其中，将同类型画像的保险对象进行聚类形成一个或多个数据分片任务，并进行标记；每个数据分片任务对应的保险对象的画像关系相关，根据所述数据分片任务执行对任务内的保险对象执行相关推荐算法任务，执行保险推荐。
S2，获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；
具体地，本实施例，行向量为每个云处理节点的ID，列向量为每个数据分片任务ID，其中，建立第一耗时特征矩阵描述每个数据分片任务于每个云处理节点下的预计执行所需时间。
S3，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；
S4，建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；
S5，接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。
进一步，所述确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，包括：
根据当前数据分片任务执行于当前所述云处理节点的需等待执行时间与当前数据分片任务执行于所述云处理节点的任务执行时间之和，确定为预计执行所需时间；
所述当前数据分片任务执行于当前所述云处理节点的需等待执行时间，包括已分配至当前所述云处理节点的任务队列中所有任务执行时间之和；
根据所述云处理节点属性以及当前数据分片任务所需资源属性，确定当前数据分片任务执行于所述云处理节点的任务执行时间。
进一步，所述S3，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点，包括：
S31，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点；
S32，计算第一云处理节点与第二云处理节点的时间差；
S33，获取所述第二云处理节点上的待执行的第二数据分片任务，按照任务长度升序依次遍历所述第二云处理节点上的待执行的任务在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；
S34，确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
S35，将所述第二数据分片任务分配至第四云处理节点。
具体地，本实施例，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点，这样的节点属于耽误时间的节点，其处理效率差。获取第二云处理节点上的待执行的第二数据分片任务，比如第二云处理节点上还没有处理的任务包括任务1，任务2，任务3。那么，按照任务长度升序依次排列，比如任务长度升序依次排列为：任务2>任务3>任务1。遍历所述第二云处理节点上的待执行的任务（任务1，任务2，任务3），在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；其中，节点效率可以根据计算当前节点完成待执行任务所需耗时来确定，比如节点效率高于预定阈值，可以是节点效率=（整个系统的平均耗时-当前节点的完成待执行任务所需耗时）/整个系统的平均耗时，值越大，效率越高。
S34，确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
S35，将所述第二数据分片任务分配至第四云处理节点。
进一步，循环执行S31-S35，以使得所述第一云处理节点与第二云处理节点的时间差最小。
进一步，更新第一耗时特征矩阵，并标记第一数据分片任务，包括：
根据重新分配的云处理节点，执行更新所述数据分片任务与云处理节点的映射关系。
此外，如图2所示，本实施例的第二方面还提供一种基于云服务的保险信息处理装置，所述装置包括：
获取与分割模块10，获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；
第一建立模块20，获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；
分配模块30，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；
第二建立模块40，建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；
生成模块50，接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。
进一步，所述第一建立模块还包括第一计算子模块，用于：
根据当前数据分片任务执行于当前所述云处理节点的需等待执行时间与当前数据分片任务执行于所述云处理节点的任务执行时间之和，确定为预计执行所需时间；
所述当前数据分片任务执行于当前所述云处理节点的需等待执行时间，包括已分配至当前所述云处理节点的任务队列中所有任务执行时间之和；
根据所述云处理节点属性以及当前数据分片任务所需资源属性，确定当前数据分片任务执行于所述云处理节点的任务执行时间。
进一步，所述分配模块还用于：
确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点；
计算第一云处理节点与第二云处理节点的时间差；
获取所述第二云处理节点上的待执行的第二数据分片任务，按照任务长度升序依次遍历所述第二云处理节点上的待执行的任务在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；
确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
将所述第二数据分片任务分配至第四云处理节点。
此外，本申请实施例还公开了一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的基于云服务的保险信息处理方法步骤。
此外，本申请实施例还提供了一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上所述的基于云服务的保险信息处理方法步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云服务的保险信息处理方法，其特征在于，所述方法包括：
S1，获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；
S2，获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；
S3，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；
S4，建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；
S5，接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。
2.根据权利要求1所述的基于云服务的保险信息处理方法，其特征在于，所述确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，包括：
根据当前数据分片任务执行于当前所述云处理节点的需等待执行时间与当前数据分片任务执行于所述云处理节点的任务执行时间之和，确定为预计执行所需时间；
所述当前数据分片任务执行于当前所述云处理节点的需等待执行时间，包括已分配至当前所述云处理节点的任务队列中所有任务执行时间之和；
根据所述云处理节点属性以及当前数据分片任务所需资源属性，确定当前数据分片任务执行于所述云处理节点的任务执行时间。
3.根据权利要求2所述的基于云服务的保险信息处理方法，其特征在于，所述S3，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点，包括：
S31，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点；
S32，计算第一云处理节点与第二云处理节点的时间差；
S33，获取所述第二云处理节点上的待执行的第二数据分片任务，按照任务长度升序依次遍历所述第二云处理节点上的待执行的任务在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；
S34，确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
S35，将所述第二数据分片任务分配至第四云处理节点。
4.根据权利要求3所述的基于云服务的保险信息处理方法，其特征在于，循环执行S31-S35，以使得所述第一云处理节点与第二云处理节点的时间差最小。
5.根据权利要求3所述的基于云服务的保险信息处理方法，其特征在于，更新第一耗时特征矩阵，并标记第一数据分片任务，包括：
根据重新分配的云处理节点，执行更新所述数据分片任务与云处理节点的映射关系。
6.权利要求3所述的基于云服务的保险信息处理方法，其特征在于，所述S1还包括：
根据卷积神经网络模型将所述保险大数据信息中的保险对象执行分类，获取每个保险对象对应的分类属性信息；
根据所述保险对象对应的分类属性信息，建立保险对象的画像关系，并根据画像相关程度将所述保险大数据执行分割处理获得多个数据分片任务；其中，每个数据分片任务对应的保险对象的画像关系相关；根据所述数据分片任务执行对任务内的保险对象执行保险推荐任务。
7.一种基于云服务的保险信息处理装置，其特征在于，所述装置包括：
获取与分割模块，获取待处理的保险大数据信息，对所述保险大数据执行分割处理获得多个数据分片任务；每个所述数据分片任务对应一分片标识；所述保险大数据信息包括保险对象信息以及保险推荐任务信息；
第一建立模块，获取云服务端的多个云处理节点，确定每个数据分片任务执行于每个所述云处理节点上的预计执行所需时间，并建立第一耗时特征矩阵；
分配模块，根据所述第一耗时特征矩阵，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时，将所述最小执行耗时对应的云处理节点确定为第一云处理节点；并执行将第一数据分片任务分配至第一云处理节点上执行；
第二建立模块，建立所述第一数据分片任务与第一云处理节点的映射关系，并更新第一耗时特征矩阵，并标记第一数据分片任务；
生成模块，接收返回的第一数据分片任务处理结果，合并，并生成保险大数据信息的处理结果。
8.根据权利要求7所述的基于云服务的保险信息处理装置，其特征在于，所述第一建立模块还包括第一计算子模块，用于：
根据当前数据分片任务执行于当前所述云处理节点的需等待执行时间与当前数据分片任务执行于所述云处理节点的任务执行时间之和，确定为预计执行所需时间；
所述当前数据分片任务执行于当前所述云处理节点的需等待执行时间，包括已分配至当前所述云处理节点的任务队列中所有任务执行时间之和；
根据所述云处理节点属性以及当前数据分片任务所需资源属性，确定当前数据分片任务执行于所述云处理节点的任务执行时间。
9.根据权利要求8所述的基于云服务的保险信息处理装置，其特征在于，所述分配模块还用于：
确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最小执行耗时的同时，确定第一分片标识对应的第一数据分片任务在所述云处理节点上的最大执行耗时，将所述最大执行耗时对应的云处理节点确定为第二云处理节点；
计算第一云处理节点与第二云处理节点的时间差；
获取所述第二云处理节点上的待执行的第二数据分片任务，按照任务长度升序依次遍历所述第二云处理节点上的待执行的任务在节点效率高于预定阈值的第三云处理节点上的预计执行所需时间；
确定小于所述第二数据分片任务其在第二云处理节点上的预计执行所需时间的第三云处理节点中，选择最接近其在第二云处理节点上的预计执行所需时间所对应的云处理节点，并确定为第四云处理节点；
将所述第二数据分片任务分配至第四云处理节点。
10.一种存储介质，所述存储介质存储有计算机程序；其特征在于，所述程序由处理器加载并执行以实现如权利要求1-6所述的基于云服务的保险信息处理方法步骤。
CN202210663133.1A 2022-06-13 2022-06-13 一种基于云服务的保险信息处理方法、装置 Active CN114862606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210663133.1A CN114862606B (zh) 2022-06-13 2022-06-13 一种基于云服务的保险信息处理方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210663133.1A CN114862606B (zh) 2022-06-13 2022-06-13 一种基于云服务的保险信息处理方法、装置

Publications (2)

Publication Number Publication Date
CN114862606A true CN114862606A (zh) 2022-08-05
CN114862606B CN114862606B (zh) 2023-05-09

Family

ID=82624591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210663133.1A Active CN114862606B (zh) 2022-06-13 2022-06-13 一种基于云服务的保险信息处理方法、装置

Country Status (1)

Country Link
CN (1) CN114862606B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159126A (zh) * 2014-08-07 2014-11-19 西安交通大学 基于Map-Reduce的视频转码任务调度方法
CN110209496A (zh) * 2019-05-20 2019-09-06 中国平安财产保险股份有限公司 基于数据处理的任务分片方法、装置及分片服务器
US20190286484A1 (en) * 2016-08-11 2019-09-19 Telefonaktiebolaget Lm Ericsson (Publ) Method and cloud management node for managing a data processing task
CN111290841A (zh) * 2018-12-10 2020-06-16 北京沃东天骏信息技术有限公司 任务调度方法、装置、计算设备及存储介质
CN111506872A (zh) * 2020-03-03 2020-08-07 平安科技（深圳）有限公司 基于负载矩阵分析的任务分配方法及装置
CN112286672A (zh) * 2020-12-30 2021-01-29 南京智闪萤科技有限公司 用于调度任务的方法、计算设备和计算机存储介质
CN113157459A (zh) * 2021-05-17 2021-07-23 刘来凤 一种基于云服务的负载信息处理方法及系统
CN113608869A (zh) * 2021-07-21 2021-11-05 中央广播电视总台 任务调度方法、装置、电子设备和计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159126A (zh) * 2014-08-07 2014-11-19 西安交通大学 基于Map-Reduce的视频转码任务调度方法
US20190286484A1 (en) * 2016-08-11 2019-09-19 Telefonaktiebolaget Lm Ericsson (Publ) Method and cloud management node for managing a data processing task
CN111290841A (zh) * 2018-12-10 2020-06-16 北京沃东天骏信息技术有限公司 任务调度方法、装置、计算设备及存储介质
CN110209496A (zh) * 2019-05-20 2019-09-06 中国平安财产保险股份有限公司 基于数据处理的任务分片方法、装置及分片服务器
CN111506872A (zh) * 2020-03-03 2020-08-07 平安科技（深圳）有限公司 基于负载矩阵分析的任务分配方法及装置
CN112286672A (zh) * 2020-12-30 2021-01-29 南京智闪萤科技有限公司 用于调度任务的方法、计算设备和计算机存储介质
CN113157459A (zh) * 2021-05-17 2021-07-23 刘来凤 一种基于云服务的负载信息处理方法及系统
CN113608869A (zh) * 2021-07-21 2021-11-05 中央广播电视总台 任务调度方法、装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
CN114862606B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US11200511B1 (en) Adaptive sampling of training data for machine learning models based on PAC-bayes analysis of risk bounds
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
CN108764726B (zh) 根据规则对请求进行决策的方法及装置
CN111967964B (zh) 银行客户端网点的智能推荐方法及装置
CN116501711A (zh) 一种基于“存算分离”架构的算力网络任务调度方法
CN109389424B (zh) 流量分配方法、装置、电子设备及存储介质
CN113516239A (zh) 模型训练方法、装置、存储介质及电子设备
CN109871942B (zh) 神经网络的训练方法和装置、系统、存储介质
CN113259333B (zh) 联邦学习数据压缩方法、系统、终端、服务器及存储介质
CN108830302B (zh) 一种图像分类方法、训练方法、分类预测方法及相关装置
CN110782472A (zh) 点云地面点的识别方法及装置
CN111209105A (zh) 扩容处理方法、装置、设备及可读存储介质
CN114862606A (zh) 一种基于云服务的保险信息处理方法、装置
CN114723071B (zh) 一种基于客户端分类和信息熵的联邦学习方法及装置
CN113177613A (zh) 系统资源数据分配方法及装置
CN115982634A (zh) 应用程序分类方法、装置、电子设备及计算机程序产品
CN110334049A (zh) 数据处理方法、装置、计算机设备及存储介质
CN109684549A (zh) 目标数据预测方法、装置、电子设备及计算机存储介质
CN118034619B (zh) 时间管理标签打印机的打印信息管理方法及系统
CN116936048B (zh) 异构医疗信息的联邦学习医院选择方法、设备及存储介质
CN114443258B (zh) 用于虚拟机的资源调度方法、装置、设备及存储介质
CN117892805B (zh) 基于超网络和层级别协作图聚合的个性化联邦学习方法
AU2017202115A1 (en) Reciprocal distribution calculating method and reciprocal distribution calculating system for cost accounting
CN118093186A (zh) 应用于大规模数学计算的自适应负载均衡方法及装置
CN115550259A (zh) 基于白名单的流量分配方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant