CN111506908B - 针对保险业的大数据推荐方法、系统以及设备 - Google Patents

针对保险业的大数据推荐方法、系统以及设备 Download PDF

Info

Publication number
CN111506908B
CN111506908B CN202010277839.5A CN202010277839A CN111506908B CN 111506908 B CN111506908 B CN 111506908B CN 202010277839 A CN202010277839 A CN 202010277839A CN 111506908 B CN111506908 B CN 111506908B
Authority
CN
China
Prior art keywords
recommendation
data
insurance
insurance industry
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010277839.5A
Other languages
English (en)
Other versions
CN111506908A (zh
Inventor
郭玮
施海
张东锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinzhi Software Co ltd
Original Assignee
Shenzhen Xinzhi Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinzhi Software Co ltd filed Critical Shenzhen Xinzhi Software Co ltd
Priority to CN202010277839.5A priority Critical patent/CN111506908B/zh
Publication of CN111506908A publication Critical patent/CN111506908A/zh
Application granted granted Critical
Publication of CN111506908B publication Critical patent/CN111506908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了一种针对保险业的大数据推荐方法、系统以及设备，针对保险业的大数据推荐方法包括以下步骤：(A)构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储；(B)通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理；(C)基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法；以及(D)通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示。本发明能够辅助保险业进行商业决策，提供保险业推荐模型，同时确保数据安全性。

Description

针对保险业的大数据推荐方法、系统以及设备
技术领域
本发明涉及大数据分析领域，尤其涉及一种针对保险业的大数据推荐方法、系统以及设备。
背景技术
目前推荐系统在很多领域得到了广泛的应用，如新闻推荐、微博推荐、图书推荐、电影推荐、产品推荐、音乐推荐、餐馆推荐、视频推荐，推荐系统的应用场景越来越多样，推荐系统不仅面临数据稀疏、冷启动等传统难题，还面临由大数据引发的更多、更复杂的实际问题。
如图1所示，现有的推荐系统主要有以下步骤：
1.数据存储，存贮推荐系统要训练的数据
2.将数据传输到计算计算中心进行预处理，并进行训练，预测。并将训练好的模型与预测结果进行持久化处理。
3.前端读取预测的结果并进行可视化显示。
由于推荐系统的好坏与模型训练的数据有很大的程度，出于保险行业对用户隐私的保护问题，无法大量获取到实际中用户产生的数据，并且无法人工合成数据。因此目前市场中鲜有针对保险行业的推荐系统。另外保险业对数据安全性要求很高，所以推荐系统接口要进行特殊处理，目前市场上的推荐系统都没有做相应的处理。
发明内容
本发明的目的在于提供一种针对保险业的大数据推荐方法、系统以及设备，推荐模型采用在线学习的方案，不断迭代训练模型，使推荐模型的正确率不断提高。
本发明的另一目的在于提供一种针对保险业的大数据推荐方法、系统以及设备，确保数据安全性，使系统更加具有鲁棒性。
本发明的另一目的在于提供一种针对保险业的大数据推荐方法、系统以及设备，能够辅助保险业进行商业决策。
为了实现上述至少一个发明目的，本发明提供了一种针对保险业的大数据推荐方法，所述针对保险业的大数据推荐方法包括以下步骤：
(A)构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储；
(B)通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理；
(C)基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法；
以及
(D)通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示；
其中在所述步骤(A)中，采用https协议从而提升推荐接口的安全性；
其中在所述步骤(A)中，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理；
其中对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护。
在一些实施例中，其中所述针对保险业的大数据推荐方法还包括步骤：当分布式存储的新数据达到阈值时，触发推荐模型在后台进行训练，并自动构建新的推荐模型。
在一些实施例中，其中所述针对保险业的大数据推荐方法还包括冷启动问题解决步骤：基于热门数据推荐以及保险业务的属性数据优化推荐模型。
在一些实施例中，其中所述步骤(C)中，还包括步骤：通过Stacking堆叠技术，执行GBDT梯度提升迭代决策树算法、LR算法、ItemCF基于物品的协同过滤算法以及UserCF基于用户的协同过滤算法的组合算法。
在一些实施例中，其中所述针对保险业的大数据推荐方法还包括步骤：采用ElasticSearch执行分布式实时搜索，提供数据分析与各种历史统计信息的查询，以辅助保险业进行商业决策。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时执行前述针对保险业的大数据推荐方法的步骤。
根据本发明的另一方面，还提供了一种针对保险业的大数据推荐设备，包括：
存储器，用于存储软件应用程序，
处理器，用于执行所述软件应用程序，所述软件应用程序进一步包括：
分布式存储程序，其被配置为构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储，其中，采用https协议从而提升推荐接口的安全性，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理，对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护；
保险业推荐模型构建程序，其被配置为通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理，基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法；以及
前端动态可视化显示程序，其被配置为通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示。
在一些实施例中，其中当分布式存储的新数据达到阈值时，触发推荐模型在后台进行训练，并自动构建新的推荐模型，其中基于热门数据推荐以及保险业务的属性数据优化推荐模型，其中通过Stacking堆叠技术，执行GBDT梯度提升迭代决策树算法、LR算法、ItemCF基于物品的协同过滤算法以及UserCF基于用户的协同过滤算法的组合算法，其中采用ElasticSearch执行分布式实时搜索，提供数据分析与各种历史统计信息的查询，以辅助保险业进行商业决策。
根据本发明的另一方面，还提供了一种针对保险业的大数据推荐系统，所述针对保险业的大数据推荐系统包括分布式存储装置、保险业推荐模型构建装置以及前端动态可视化显示装置，其中所述分布式存储装置被配置为构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储，其中，采用https协议从而提升推荐接口的安全性，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理，对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护，其中所述保险业推荐模型构建装置通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理，基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法，其中所述前端动态可视化显示装置通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示。
在一些实施例中，其中所述针对保险业的大数据推荐系统还包括保险业推荐模型训练更新装置，当分布式存储的新数据达到阈值时，所述保险业推荐模型训练更新装置被触发，训练并自动构建新的推荐模型。
附图说明
图1为现有技术中的推荐系统结构示意图。
图2是根据本发明的一个实施例的一种针对保险业的大数据推荐方法的步骤流程图。
图3是根据本发明的上述实施例的所述针对保险业的大数据推荐方法构建的推荐系统的结构示意图。
图4是根据本发明的一个实施例的所述针对保险业的大数据推荐方法中对ItemCF算法进行了优化后的算法流程。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，所述元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本发明为涉及计算机程序的发明。如图1所示为基于本发明的一种针对保险业的大数据推荐方法的流程图，阐述了为解决本发明提出的问题，以计算机程序处理流程为基础，通过计算机执行按上述流程编制的计算机程序，对计算机外部对象或者内部对象进行控制或处理的解决方案。通过本发明的针对保险业的大数据推荐方法，建立的推荐模型能够利用计算机系统，综合在线学习的方案，不断迭代训练模型，使推荐模型的正确率不断提高，这就规避了缺少真实数据的问题。对于保险业特别重视的数据安全问题，本发明的针对保险业的大数据推荐方法进行了优化处理，使针对保险业的大数据推荐系统更加具有鲁棒性。可以理解的是，本发明所称“计算机”不仅仅指台式电脑、笔记本电脑、平板等设备，还包括其他能够按照程序运行，处理数据的智能电子设备。
如图2和图3所示，所述针对保险业的大数据推荐方法包括以下步骤：
S100：构建保险业大数据中心，将用户相关数据存贮到HDFS系统(HadoopDistributed File System，Hadoop分布式文件系统)上，进行分布式存储。
其中，针对保险业对数据安全性的考虑，做了以下优化：
(1)采用了https协议(Hyper Text Transfer Protocol over Secure SocketLayer，超文本传输安全协议)而不是采用http协议(超文本传输协议)，能够提升整个推荐接口的安全性，防止用户信息泄露。https协议是一种通过计算机网络进行安全通信的传输协议，经由http进行通信，利用SSL/TLS建立全信道，加密数据包。https协议使用的主要目的是提供对网站服务器的身份认证，同时保护交换数据的隐私与完整性。
(2)限制同一IP地址的频繁访问，并对用户鉴权，防止系统受到恶意攻击。对接口中涉及的隐私或者机密信息进行加密处理。
(3)对接口进行了鲁棒性设计，使获取的推荐数据中可能存在的错误做异常保护，从而避免开发插入不符合规范的数据格式、数据类型等错误导致接口挂掉。
S200：通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理。
其中，通过使用Spark大数据并行计算框架，具有快速、良好的可扩展性及容错能力。通过本发明的所述针对保险业的大数据推荐方法构建的推荐系统能够在线训练，当新数据达到一定阈值时，将触发推荐模型在后台进行训练，并自动构建新的推荐模型。
S300：基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法。
其中，通过Stacking(堆叠)技术，组合GBDT(Gradient Boosting Decision Tree，梯度提升迭代决策树)，LR(Logistic Regression回归模型)，ItemCF(基于物品的协同过滤)，UserCF(基于用户的协同过滤算法)等算法来解决推荐模型的普适性问题。可以理解的是，前述步骤中的用户的属性包括但不限于年龄、性别、学历等。通过采用人口统计聚类，根据用户的属性分为不同的组，在不同组内执行推荐算法，能够解决数据稀疏问题。值得一提的是，本发明的所述针对保险业的大数据推荐方法能够基于热门数据推荐，以及保险业务的属性来解决冷启动问题。值得一提的是，本发明的所述针对保险业的大数据推荐方法对ItemCF算法进行了优化，能够提高算法的收敛速度。图4是优化后的算法流程。
S400：通过ECharts(Enterprise Charts)开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示。
其中，本发明的所述针对保险业的大数据推荐方法所构建的推荐系统不仅仅局限于推荐算法和架构，而是一个完整的系统。其中推荐结果的展现方案是这个系统中极为重要的一环。本发明的所述针对保险业的大数据推荐方法采用ECharts(Enterprise Charts)开源可视化库与WebSocket全双工通信协议实现前端动态可视化显示，能够提供更好的交互体验。值得一提的是，采用ElasticSearch执行分布式实时搜索，能够处理结构化或非结构化客户与产品数据，提供数据分析与各种历史统计信息的查询，辅助保险业进行商业决策。
本领域的技术人员能够理解的是，可以以方法、系统或计算机程序产品的形式提供本发明的实施例。因此，本发明可采取全硬件实施例、全软件实施例，或者组合软件和硬件的实施例的形式。
本领域的技术人员可以理解的是，本发明的针对保险业的大数据推荐方法可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。
本发明可以嵌入在计算机程序产品中，它包括使此处描述的方法得以实施的所有特征。所述计算机程序产品被包含在一个或多个计算机可读存储介质中，所述计算机可读存储介质具有包含于其中的计算机可读程序代码。根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能够执行本发明的针对保险业的大数据推荐的步骤。计算机存储介质是计算机存储器中用于存储某种不连续物理量的媒体。计算机存储介质包括但不限于半导体、磁盘存储器、磁芯、磁鼓、磁带、激光盘等。本领域的技术人员可以理解的是，计算机存储介质并不局限于前述举例，前述例子仅仅作为举例而并不限于本发明。
与本发明方法的实施例相对应，根据本发明的另一方面，还提供了一种针对保险业的大数据推荐系统，所述系统为本发明的所述针对保险业的大数据推荐方法在计算机程序改进上的应用。
具体地，所述针对保险业的大数据推荐系统包括分布式存储装置、保险业推荐模型构建装置以及前端动态可视化显示装置，其中所述分布式存储装置被配置为构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储，其中，采用https协议从而提升推荐接口的安全性，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理，对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护，其中所述保险业推荐模型构建装置通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理，基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法，其中所述前端动态可视化显示装置通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示。
值得一提的是，所述针对保险业的大数据推荐系统还包括保险业推荐模型训练更新装置，当分布式存储的新数据达到阈值时，所述保险业推荐模型训练更新装置被触发，训练并自动构建新的推荐模型。
本发明的所述针对保险业的大数据推荐系统基于保险行业的业务逻辑及数据结构，构建的保险业推荐模型能够采用在线学习的方案，客户部署后，会不断迭代训练模型，使推荐模型的正确率不断提高，这就规避了缺少真实数据的问题。对于保险业特别重视的数据安全问题，本所述针对保险业的大数据推荐系统进行了优化处理，使系统更加具有鲁棒性。
根据本发明的另一方面，还提供了一种针对保险业的大数据推荐设备，所述设备包括：软件应用程序、用于存储软件应用程序的存储器，以及处理器，用于执行所述软件应用程序。所述软件应用程序的各程序能够相对应地执行本发明的所述针对保险业的大数据推荐方法中的步骤。
硬件和软件的典型的结合可以是带有计算机程序的通用计算机系统，当程序被加载并被执行时，控制计算机系统，从而可以执行本发明揭露的方法。
本领域的技术人员可以理解的是，已参考根据本发明的方法、系统及计算机程序产品的流程图和/或方框图说明了本发明。流程图和/或方框图中的每个方框，以及流程图和/或方框图中的方框的组合显然可由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、嵌入式处理器或者其他可编程的数据处理设备的处理器，以产生一台机器，从而指令(所述指令通过计算机或者其他可编程数据处理设备的处理器)产生用于实现在流程图和/或方框图的一个或多个方框中规定的功能的装置。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (4)

1.一种针对保险业的大数据推荐方法，其特征在于，所述针对保险业的大数据推荐方法包括以下步骤：
(A)构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储；
(B)通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理；
(C)基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法；
以及
(D)通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示；
其中在所述步骤(A)中，采用https协议从而提升推荐接口的安全性；
其中在所述步骤(A)中，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理；
其中对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护；
其中执行分布式实时搜索，处理结构化或非结构化客户与产品数据，提供数据分析与各种历史统计信息的查询，辅助保险业进行商业决策；
其中所述针对保险业的大数据推荐方法还包括步骤：当分布式存储的新数据达到阈值时，触发推荐模型在后台进行训练，并自动构建新的推荐模型；
其中所述针对保险业的大数据推荐方法还包括冷启动问题解决步骤：基于热门数据推荐以及保险业务的属性数据优化推荐模型；
其中所述步骤(C)中，还包括步骤：通过Stacking堆叠技术，执行GBDT梯度提升迭代决策树算法、LR算法、ItemCF基于物品的协同过滤算法以及UserCF基于用户的协同过滤算法的组合算法；
其中采用ElasticSearch以执行分布式实时搜索，提供数据分析与各种历史统计信息的查询，以辅助保险业进行商业决策；
其中在Kafka管道和web服务模块之间配置推荐结果存储模块。
2.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时执行权利要求1中所述的针对保险业的大数据推荐方法的步骤。
3.一种针对保险业的大数据推荐设备，其特征在于，包括：
存储器，用于存储软件应用程序，
处理器，用于执行所述软件应用程序，所述软件应用程序进一步包括：
分布式存储程序，其被配置为构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储，其中，采用https协议从而提升推荐接口的安全性，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理，对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护；
保险业推荐模型构建程序，其被配置为通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理，基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法；以及
前端动态可视化显示程序，其被配置为通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示；
其中采用ElasticSearch执行分布式实时搜索，提供数据分析与各种历史统计信息的查询，以辅助保险业进行商业决策；
其中通过Stacking堆叠技术，执行GBDT梯度提升迭代决策树算法、LR算法、ItemCF基于物品的协同过滤算法以及UserCF基于用户的协同过滤算法的组合算法；
其中当分布式存储的新数据达到阈值时，触发推荐模型在后台进行训练，并自动构建新的推荐模型，其中基于热门数据推荐以及保险业务的属性数据优化推荐模型；
其中在Kafka管道和web服务模块之间配置推荐结果存储模块。
4.一种针对保险业的大数据推荐系统，其特征在于，所述针对保险业的大数据推荐系统包括分布式存储装置、保险业推荐模型构建装置以及前端动态可视化显示装置，其中所述分布式存储装置被配置为构建保险业大数据中心，将用户相关数据存贮到HDFS系统上，进行分布式存储，其中，采用https协议从而提升推荐接口的安全性，限制同一IP地址的频繁访问，并对用户鉴权，对接口中涉及的隐私或者机密信息进行加密处理，对接口进行了鲁棒性设计，从而使获取的推荐数据中存在的错误做异常保护，其中所述保险业推荐模型构建装置通过Spark大数据并行计算框架执行分布式数据处理与计算，并且通过Kafka分布式发布订阅消息系统通道进行日志消息的处理，基于人口统计学数据的改进聚类模型，根据用户的属性分为不同的组，在不同组内执行推荐算法，其中所述前端动态可视化显示装置通过ECharts开源可视化库与WebSocket全双工通信协议执行前端动态可视化显示，其中所述针对保险业的大数据推荐系统还被配置为：执行分布式实时搜索，处理结构化或非结构化客户与产品数据，提供数据分析与各种历史统计信息的查询，辅助保险业进行商业决策；其中所述保险业推荐模型构建装置还被配置为：通过Stacking堆叠技术，执行GBDT梯度提升迭代决策树算法、LR算法、ItemCF基于物品的协同过滤算法以及UserCF基于用户的协同过滤算法的组合算法；其中所述针对保险业的大数据推荐系统还包括保险业推荐模型训练更新装置，当分布式存储的新数据达到阈值时，所述保险业推荐模型训练更新装置被触发，训练并自动构建新的推荐模型；其中在Kafka管道和web服务模块之间配置推荐结果存储模块。
CN202010277839.5A 2020-04-10 2020-04-10 针对保险业的大数据推荐方法、系统以及设备 Active CN111506908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010277839.5A CN111506908B (zh) 2020-04-10 2020-04-10 针对保险业的大数据推荐方法、系统以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010277839.5A CN111506908B (zh) 2020-04-10 2020-04-10 针对保险业的大数据推荐方法、系统以及设备

Publications (2)

Publication Number Publication Date
CN111506908A CN111506908A (zh) 2020-08-07
CN111506908B true CN111506908B (zh) 2023-02-17

Family

ID=71874653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010277839.5A Active CN111506908B (zh) 2020-04-10 2020-04-10 针对保险业的大数据推荐方法、系统以及设备

Country Status (1)

Country Link
CN (1) CN111506908B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288585B (zh) * 2020-11-20 2024-05-28 中国人寿保险股份有限公司 保险业务精算数据处理方法、装置及电子设备
CN116302042B (zh) * 2023-05-25 2023-09-15 南方电网数字电网研究院有限公司 协议要素内容推荐方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502899A (zh) * 2011-01-26 2014-01-08 谷歌公司 动态预测建模平台
CN106600369A (zh) * 2016-12-09 2017-04-26 广东奡风科技股份有限公司 基于朴素贝叶斯分类的银行金融产品实时推荐系统和方法
CN107507038A (zh) * 2017-09-01 2017-12-22 美林数据技术股份有限公司 一种基于stacking和bagging算法的电费敏感用户分析方法
CN109146627A (zh) * 2018-08-15 2019-01-04 宏诚盛世(天津)网络科技有限公司 一种游戏推荐方法
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056427A (zh) * 2016-05-25 2016-10-26 中南大学 一种基于Spark的大数据混合模型的移动推荐方法
CN106649670B (zh) * 2016-12-14 2020-07-17 北京五八信息技术有限公司 基于流式计算的数据监控方法及装置
CN109635186A (zh) * 2018-11-16 2019-04-16 华南理工大学 一种基于Lambda架构的实时推荐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502899A (zh) * 2011-01-26 2014-01-08 谷歌公司 动态预测建模平台
CN106600369A (zh) * 2016-12-09 2017-04-26 广东奡风科技股份有限公司 基于朴素贝叶斯分类的银行金融产品实时推荐系统和方法
CN107507038A (zh) * 2017-09-01 2017-12-22 美林数据技术股份有限公司 一种基于stacking和bagging算法的电费敏感用户分析方法
CN109146627A (zh) * 2018-08-15 2019-01-04 宏诚盛世(天津)网络科技有限公司 一种游戏推荐方法
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
大数据技术进展与发展趋势;程学旗等;《科技导报》;20160728(第14期);第49-59页 *
智慧城市多源异构大数据处理框架;刘岩等;《大数据》;20170120(第01期);全文 *
计算机软件数据接口的应用研究;胡屹峰;《山西青年》;20160508(第09期);全文 *

Also Published As

Publication number Publication date
CN111506908A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
JP6730520B2 (ja) 暗号学的に保護された台帳が支援するイミュータブルなデータベース
US11601398B2 (en) Multiplexed data exchange portal interface in scalable data networks
US9686356B2 (en) Zero-knowledge environment based social networking engine
JP2022529967A (ja) ブロックチェーン・ネットワークからのデータの抽出
CN107113183B (zh) 大数据的受控共享的系统和方法
JP7323746B2 (ja) グループベースコミュニケーションのリポジトリにおけるデジタルコンテンツ監査及び保持のための方法、装置、及びコンピュータプログラム製品
KR20190029509A (ko) 사용자 프로필에 사용자 정보를 안전하게 저장하기 위한 시스템 및 방법
US10068099B1 (en) System and method for providing a data structure having different-scheme-derived portions
US20170277775A1 (en) Systems and methods for secure storage of user information in a user profile
US11778022B2 (en) Dynamically generated context pane within a group-based communication interface
CN111506908B (zh) 针对保险业的大数据推荐方法、系统以及设备
Tarekegn et al. Big data: security issues, challenges and future scope
US20230208882A1 (en) Policy - aware vulnerability mapping and attack planning
CN111291394B (zh) 一种虚假信息管理方法、装置和存储介质
US20240031389A1 (en) Training a model to detect malicious command and control cloud traffic
US20210240460A1 (en) Systems and methods for providing a packaged plurality of application data within a group-based communication system
US11863602B2 (en) Inter-application data interchange via a group-based communication system that triggers user intervention
CN115053244A (zh) 用以分析客户联络的系统及方法
Thillaiarasu et al. Design of a confidentiality model using semantic-based information segmentation (SBIS) and scattered storage in cloud computing
Thakur et al. Cloud Computing and its Emerging Trends on Big Data Analytics
US9647987B1 (en) Transferring data
AU2021105632B4 (en) Methods, apparatuses and computer program products for implementing communication barriers in a group-based communication system
US10346366B1 (en) Management of a data processing pipeline
Sanga et al. Applying Kolb learning experiential theory with cloud computing in higher education institutions: Tanzania
WO2018232021A2 (en) Systems and methods for secure storage of user information in a user profile

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant