CN111833198A

CN111833198A - 一种智能处理保险条款的方法

Info

Publication number: CN111833198A
Application number: CN202010698353.9A
Authority: CN
Inventors: 卫波
Original assignee: Minsheng Science And Technology Co ltd
Current assignee: Minsheng Science And Technology Co ltd
Priority date: 2020-07-20
Filing date: 2020-07-20
Publication date: 2020-10-27

Abstract

本发明提供了一种智能处理保险条款的方法，涉及网络数据处理技术领域，能够整合市面上的各类条款，智能提取条款内容和关键信息，构建供使用者调取使用的服务系统，节省使用者查询时间，提高使用效率；该方法通过定期对各网站上保险条款的爬取来收集保险条款，对收集到的保险条款进行处理，提取关键信息并按预定形式保存进数据库，再搭建线上服务系统供使用人员查询调用。本发明提供的技术方案适用于网络保险数据整合的过程中。

Description

一种智能处理保险条款的方法

【技术领域】

本发明涉及网络数据处理技术领域，尤其涉及一种智能处理保险条款的方法。

【背景技术】

目前保险条款种类众多，各个公司也均不相同，使用时光在网上检索保险条款就消耗极大的时间和精力，造成极大的不便。又由于很多条款内容很长，无法快速的获取其要义，通常需要将条款完整阅读后才能后知晓是否为自己需要的保险条款，检索量大时阅读条款的时间也是相当可观的，造成检索效率低，用户体验感差的后果。

因此，有必要研究一种智能处理保险条款的方法来应对现有技术的不足，以解决或减轻上述一个或多个问题。

【发明内容】

有鉴于此，本发明提供了一种智能处理保险条款的方法，整合市面上的各类条款，智能提取条款内容和关键信息，构建供使用者调取使用的服务系统。

一方面，本发明提供一种智能处理保险条款的方法，其特征在于，所述方法通过定期对各网站上保险条款的爬取来收集保险条款，对收集到的保险条款进行处理，提取关键信息并按预定形式保存进数据库，再搭建线上服务系统供使用人员查询调用。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法的步骤包括：

S1、保险条款的收集：定期对各保险公司网站进行爬虫抓取获得保险条款，并对禁止爬虫抓取的网站采用人工下载的方式获得保险条款；

S2、对获取的保险条款进行处理，提取关键信息和条款内容存入数据库中，并生成csv文件；

S3、采用DOCKER+GUNICORN+FLASH的方式搭建线上服务系统。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S2中提取的关键信息包括关键词、大标题、小标题和专项内容。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，数据库采用MYSQL数据库；MYSQL数据库包括USER表、条款原始数据表和关键信息表。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，关键词具体为数字日期类词段。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S1的具体内容包括：定期运行python爬虫脚本对各保险公司网站进行爬取，获取新保险条款，并将新保险条款与已获取保险条款对比，若对比结果有新增保险条款，则针对新增保险条款进入S2。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S1的具体内容还包括：定期对禁止爬虫抓取的网站人工下载获得新保险条款，将新保险条款与已获取保险条款对比，若对比结果有新增保险条款，则针对新增保险条款进入S2。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S2中先根据格式对保险条款文件进行分类，针对不同格式的文件分别进行关键信息和条款内容的提取。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，针对word格式的保险条款文件，采用python脚本进行条款内容和关键信息的提取。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，针对pdf格式的保险条款文件，采用OCR识别算法进行条款内容和关键信息的提取。

另一方面，本发明提供一种存储介质，用于存储程序，其中所述程序在被执行时使得设备实现如上任一所述的内容。

与现有技术相比，本发明可以获得包括以下技术效果：能够整合市面上的各类保险条款，智能提取条款内容和关键信息并按特定方式存储到数据库，再构建供使用者调取使用的服务系统，节省使用者查询时间，提高使用效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的智能处理保险条款的方法的流程图；

图2是本发明一个实施例提供的保险条款关键信息示意图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

智能处理保险条款的方法的步骤包括：

步骤1、收集条款：

1)基底数据收集，爬虫抓取以及人工下载整理，生成基底保险条款数据库；步骤包括：

1.1)针对各保险公司编写各自的python爬虫脚本爬取各公司内保险条款；其中，个别公司官网禁止爬取，记录公司名称；

1.2)针对爬虫脚本不能自动爬取的公司进行人工下载处理；

2)设置定时监控，查询网络上各公司是否添加新的保险条款，更新数据库；

2.1)定时监控规则：每月初；

2.2)每月初定时运行各公司python爬虫脚本，获取新保险数据，并将新获取的保险数据与老数据对比，若对比结果有新增保险条款，则将新增保险条款加入到条款数据库中；

步骤2、对条款数据库中的条款进行处理：

1)按照文件的格式对保险条款进行分类，分为word格式和pdf格式；

2)对word格式采用编写的python脚本进行处理，提取各条款的内容和条款的重要信息(比如关键词)；

2.1)统计所有word格式条款内各条款的不同格式；

2.2)提取规则：根据整理的条款格式提取内容，并将提取内容分为大标题、小标题和专项内容三项；

2.3)编写python脚本，根据2.1)和2.2)的规则进行不同处理，保证结果的输出格式一致，为大标题、小标题、内容三项，存入数据库表2中；大标题、小标题和内容的区分如图2所示。

2.4)针对2.3)中结果对内容进行深一步的关键词提取，提取规则一般为数字日期类，包括年龄、时间长度等，提取结果存入表3中；

例如：保险条款内容为：凡年满18周岁，具有完全民事行为能力且在本主险合同订立时对被保险人具有保险利益的人，均可以作为投保人向本公司投保。凡出生满28天至60周岁，符合本公司承保条件的人，均可作为被保险人。

提取关键词：18周岁、满28天至60周岁

3)对pdf格式采用OCR识别算法进行数据处理，提取pdf文件中各条款的内容，并提取条款的重要信息(比如关键词)；

3.1)统计所有pdf格式条款内各条款的不同格式；

3.2)提取规则：根据整理的条款格式将内容提取分为大标题、小标题、专项内容三项；

3.3)编写python脚本，根据3.1)和3.2)规则进行不同处理，保证结果的输出格式一致，为大标题、小标题、内容三项，存入数据库表2中；

3.4)针对3.3)中结果对内容进行深一步的关键词提取，提取规则一般为数字日期类，结果存入表3中；

提取关键词：18周岁、满28天至60周岁。

步骤3、根据步骤2的处理结果搭建MYSQL数据库：

1)创建USER表，如表1所示，用于存储用户的登录信息；

表1 USER表

2)创建条款原始数据表INSURANCE_CONTENT，如表2所示；

表2中的“ID”与表4中的“保险ID”为同一参量，在插入数据时随机生成，用于为两个表做关联；“公司”在获取条款pdf或word时获得；“条款名称”是指每个保险条款的名称，一般在公司官网可获得。对应关系为:公司(一对多)->条款(一对多)->大标题(一对多)->小标题(一对一)->内容。表2中各参量的实例如表3所示。

序号

名称

代码

数据类型

长度

主键

索引

备注

1

ID

id

INT

11

TRUE

自增

2

公司

company

TEXT

3

条款名称

name

TEXT

4

大标题

big_title

TEXT

5

小标题

small_title

TEXT

6

内容

Content

TEXT

表2条款原始数据表

表3原始数据表中各参量实例

特殊情况暂未发现。

3)创建关键信息表INSURANCE_REMARK，如表4所示；表4用于存放表2中提取的关键词，暂定为数字日期类为关键词。表4中各参量的实例如表5所示。

表4关键信息表

表5关键词实例

步骤4、搭建线上服务(DOCKER+GUNICORN+FLASH)：

1)DOCKER：打包镜像；

镜像打包工具，在开发人员开发完成后，使用docker可以将开发人员开发时的开发环境进行打包处理，使生产系统中具有可以运行该工程的工作环境；

2)GUNICORN：服务启动工具；

Gunicorn一个开源Python WSGI UNIX的HTTP服务器，传说速度快(配置快、运行快)、简单，默认是同步工作，支持Gevent、Eventlet异步，支持。该智能保险是以python语言为基础的FLASH服务框架开发完成，gunicorn可以更好的支持flash的服务启动和服务配置；

3)FLASH：服务框架；

Flash是一个使用Python编写的轻量级Web应用框架。本产品的所有python代码都是在Flash框架下开发完成。

线上服务系统用于供用户进行保险条款的查询和调用，输入需要查询的信息，搜索出与之相关的全部保险条款。比如输入关键字，搜索出具有这一关键字的全部保险条款，用户可以从中选择最适合自己使用的条款进行使用。

以上对本申请实施例所提供的一种智能处理保险条款的方法，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims

1.一种智能处理保险条款的方法，其特征在于，所述方法通过定期对各网站上的保险条款进行爬虫抓取和人工下载来收集保险条款，对收集到的保险条款进行处理，提取关键信息并按预定形式保存进数据库，再以数据库为基础搭建线上服务系统供使用人员查询调用；

提取的关键信息包括关键词、大标题、小标题和专项内容。

2.根据权利要求1所述的智能处理保险条款的方法，其特征在于，所述方法的步骤包括：

S2、对获取的保险条款进行处理，提取条款内容和关键信息存入数据库相应位置；

S3、采用DOCKER+GUNICORN+FLASH的方式搭建线上服务系统供使用人员对保险条款查询调用。

3.根据权利要求1所述的智能处理保险条款的方法，其特征在于，数据库采用MYSQL数据库；MYSQL数据库包括USER表、条款原始数据表和关键信息表。

4.根据权利要求1所述的智能处理保险条款的方法，其特征在于，关键词具体为数字日期类词段。

5.根据权利要求2所述的智能处理保险条款的方法，其特征在于，步骤S1的具体内容包括：定期运行python爬虫脚本对各保险公司网站进行爬取，获取新保险条款，并将新保险条款与已获取保险条款对比，若对比结果有新增保险条款，则针对新增保险条款进入S2。

6.根据权利要求5所述的智能处理保险条款的方法，其特征在于，步骤S1的具体内容还包括：定期对禁止爬虫抓取的网站人工下载获得新保险条款，将新保险条款与已获取保险条款对比，若对比结果有新增保险条款，则针对新增保险条款进入S2。

7.根据权利要求2所述的智能处理保险条款的方法，其特征在于，步骤S2中先根据格式对保险条款文件进行分类，针对不同格式的文件分别进行关键信息和条款内容的提取。

8.根据权利要求7所述的智能处理保险条款的方法，其特征在于，针对word格式的保险条款文件，采用python脚本进行条款内容和关键信息的提取。

9.根据权利要求7所述的智能处理保险条款的方法，其特征在于，针对pdf格式的保险条款文件，采用OCR识别算法进行条款内容和关键信息的提取。

10.一种存储介质，用于存储程序，其中所述程序在被执行时使得设备实现如权利要求1-9任一所述的内容。