CN103955463B - 一种政府的政策解构方法及系统 - Google Patents

Abstract

本发明公开了一种政府的政策解构方法及系统，其首先抓取政府政策发布网页，并识别出网页中的政策内容；接着解构识别出的政策内容，获取该政策内容的所有对象属性；再接着根据获取得到的对象属性，将该政策内容以及其对应的对象属性存储到对应的数据表项中；最后根据表项中存储的内容形成对应的查询条件。本方案形成的政府政策解构方案能够自动的获取政策内容，并自动的进行政策解构和存储，形成便于人们查询和了解解构后的信息。

Description

一种政府的政策解构方法及系统

技术领域

本发明涉及一种电子政务技术，具体涉及一种政府政策的解构技术。

背景技术

政策为国家政权机关、政党组织和其他社会政治集团为了实现自己所代表的阶级、阶层的利益与意志，以权威形式标准化地规定在一定的历史时期内，应该达到的奋斗目标、遵循的行动原则、完成的明确任务、实行的工作方式、采取的一般步骤和具体措施。政策的实质是阶级利益的观念化、主体化、实践化反映。政策具有以下特点：①阶级性。是政策的最根本特点。在阶级社会中、政策只代表特定阶级的利益，从来不代表全体社会成员的利益、不反映所有人的意志。②正误性。任何阶级及其主体的政策都有正确与错误之分。③时效性。政策是在一定时间内的历史条件和国情条件下，推行的现实政策。④表述性。就表现形态而言，政策不是物质实体，而是外化为符号表达的观念和信息。它由有权机关用语言和文字等表达手段进行表述。

随着网络技术的快速发展，催生出一种电子政务技术。电子政务，其为运用计算机、网络和通信等现代信息技术手段，实现政府组织结构和工作流程的优化重组，超越时间、空间和部门分隔的限制，建成一个精简、高效、廉洁、公平的政府运作模式，以便全方位地向社会提供优质、规范、透明、符合国际水准的管理与服务。

政府作为国家管理部门，其本身上网开展电子政务，有助于政府管理的现代化，实现政府办公电子化、自动化、网络化。通过互联网这种快捷、廉价的通信手段，政府可以让公众迅速了解政府机构的组成、职能和办事章程，以及各项政策法规，增加办事执法的透明度，并自觉接受公众的监督。

在电子政务中，政府机关的各种数据、文件、档案、社会经济数据都以数字形式存贮于网络服务器中，可通过计算机检索机制快速查询、即用即调。

虽然电子政务的推广使得，使得人们能够及时、快速的获取到政府所发布的政策，但是人们要了解这些政策以及如何办理这些政策需要花费大量的时间来了解政策的内容以及办理政策所需的材料。特别是那些办理要求非常多的政策，虽然有详细的文字说明，人们仍然很难清楚完整的了解政策的内容以及办理政策所需的材料。

为此人们设计出了一些解构政府政策的解构方法和系统，但是这些方案的实现主要是依靠人工来解构政策信息，并将解构出来的内容通过人工的方式进行对应存储，这样的操作过程中将存在以下问题：1、效率低下，需要耗费大量人力；2、信息录入容易出错；3、内容更新不及时，信息滞后。

由此可见，提供一种能够自动、及时以及精确解构政府政策的方案是本领域亟需要解决的方案。

发明内容

本发明的第一目的在于针对现有政府政策解构方案所存在的问题，而提供一种能够自动、快速以及准确解构政府政策的政策解构方法。

本发明的第二目的在于提供一种可实施上述解构方法的解构系统。

为了达到上述目的，本发明采用如下的技术方案：

一种政府的政策解构方法，所述解构方法包括如下步骤：

（1）抓取政府政策发布网页，并识别出网页中的政策内容；

（2）解构识别出的政策内容，获取该政策内容的所有对象属性；

（3）根据获取得到的对象属性，将该政策内容以及其对应的对象属性存储到对应的数据表项中；

（4）根据表项中存储的内容形成对应的查询条件。

在解构方法的优选实例中，所述步骤（1）中通过网页信息抓取技术直接抓取政府政策发布网页的页面内容。

进一步的，所述步骤（2）中获取到的对象属性包括该政策内容对应的政策类型信息、针对对象信息、办理条件信息、发布时间信息、有效期信息、发布单位信息、办理时间信息、办理地点信息、办理人员信息、受理单位信息、受理时间信息、处理时间信息、针对地区信息、办理所需证件信息、所需证件的有效期信息、办理所需材料信息、所需材料的数量信息等。

再进一步的，所述步骤（2）中在获取政策类型信息时，利用预存的政策类型关键词遍历识别出的标题内容，根据遍历的结果确定政策类型信息；

在获取针对对象时，利用预存的针对对象关键词遍历整个识别出的正文内容，查询到正文内容中关于针对对象的内容并提取出该部分内容；

在获取办理条件时，利用获取到的针对对象内容遍历整个识别出的正文内容，查询到正文内容中与针对对象相对应的办理条件的内容并提取出该部分内容。

再进一步的，所述步骤（3）在存储政策内容时，首先根据获取的政策类型将政策内容存储到对应的数据表项中，接着在该表项中存储该政策内容对应的针对对象信息，接着根据针对对象信息对应存储办理条件信息；接着根据办理条件信息对应存储办理所需证件信息和办理所需材料信息；最后将其余的对象属性根据要求对应存储在相应的数据表项中。

进一步的，所述步骤（3）中还通过一关键词表项对应存储数据表项中存储数据对应的关键词。

进一步的，所述步骤（4）中利用表项中存储数据对应的关键词形成相应查询条件。

作为本发明的第二目的，一种政府的政策解构系统，所述解构系统包括：

政策抓取模块，所述政策抓取模块抓取政府政策发布网页，且识别出网页中的政策内容，并将识别出的内容传至政策内容解构模块；

政策内容解构模块，所述政策内容解构模块解构政策抓取模块发送的政策内容，获取该政策内容对应的所有对象属性信息，并将该对象属性信息传至对应存储模块；

对应存储模块，所述对应存储模块对政策内容解构模块获取的所有对象属性信息形成对应的映射关系，并通过相应的数据表项存储于数据库中；

数据库，所述数据库用于存储相关数据；

查询条件形成模块，所述查询条件形成模块获取数据库中存储的数据表项信息，并形成对应的查询条件。

根据上述方案形成的政府政策解构方案能够自动的获取政策内容，并自动的进行政策解构和存储，形成便于人们查询和了解解构后的信息。整个过程无需人工干预，自动完成，并且系统自动解构数据精确度高。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明中进行政府政策解构的流程图；

图2为本发明中提供的政府的政策解构系统的系统框图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

针对现有电子政务中政府发布的政策信息都是通过网页进行发布的，为此本发明提供的政府的政策解构方法通过直接从发布政策的网页直接获取信息并进行解构，从而实现政府政策的自动、及时、精确的解构。

参见图1，其所示为本发明中进行政府政策解构的流程图。由图可知，整个解构过程包括如下步骤：

步骤1，获取政府政策发布网页，抓取政府政策发布网页，并识别出网页中的政策内容。

在获取网页内容时，本发明通过网页信息抓取技术直接抓取政府政策发布网页的页面内容。具体的网页信息抓取技术可采用基于Metaseeker的BBS网页信息抓取技术、基于页面主体提取的WEB信息抽取技术、垂直搜索中网页抓取技术等技术。

本发明在具体抓取网页信息时，通过程序自动的读取对应网站网页显示的信息，其过程如下：

1、发送HttpRequest请求。

2、接收HttpResponse返回的结果。得到特定页面的html源文件。

3、取出包含数据的那一部分源码。

4、根据html源码生成HtmlDocument，循环取出数据。

同时，本发明还提供一种替代方案，该替代方案不直接抓取网页页面内容，采用一种间接的方式抓取政府政策发布网页，并识别出网页中的政策内容。具体方案如下：

常见的页面内容除了主要的显示内容以外，其可能包括广告等等，为了保证抓取内容的准确性，避免从网页页面上直接获取文字信息。

本方案在获取页面上政策内容时，首先将对应的页面内容形成图片，再根据页面发布内容的特点对图片进行分割，将页面上的标题部分和正文部分分开，再接着对分割开的标题部分和正文部分分别进行识别，获取对应的文字信息，分别作为政策的标题内容和正文内容。

通过形成图片再分割图片，能够完全避免在处理过程中对所需数据的影响，并且能够精确获得页面上发布内容的标题内容和正文内容，并剔除其它内容。

作为替代方案，在进行获取页面内容，首先将处于最大显示状态的页面整体转换形成1:1的图片，接着对图片内容进行识别，识别出图片上对应于政策标题内容的标题区域和对应于政策正文内容的正文区域，具体可根据图片上图案和文字分布的格局进行图片分割，并对各个区域进行识别，根据识别的内容确定对应于政策标题内容的标题区域和对应于政策正文内容的正文区域；

再接着根据标题区域和正文区域在图片上的位置，确定页面上用于显示政策标题内容的区域和显示政策正文内容的区域；由于图片的形状大小与页面最大显示状态为1：1，这样根据图片上标题区域和正文区域的具体位置信息，直接在最大显示状态的页面上确定用于显示政策标题内容的区域和显示政策正文内容区域；

最后，直接获取页面上于显示政策标题内容的区域和显示政策正文内容区域中的文字信息。一般的网页内容，特别是文字内容都是可以直接复制的，这样在确定显示政策标题内容的区域和显示政策正文内容区域后，即可直接通过复制方式获取确定区域内的相关内容，既方便快捷，又非常精确。

该方案通过1:1的图片来确定相应的标题内容区域和正文内容区域，从能够准确的在页面上确定其标题内容和正文内容区域，能够完全避免页面上其它不相关内容的干扰，保证后续信息提取的准确性。

步骤2，对识别出的政策内容（步骤1中获取的标题内容和政策内容）进行解构，获取该政策内容的所有对象属性。

这里所述的对象属性主要包括该政策内容对应的政策类型信息、针对对象信息、办理条件信息、发布时间信息、有效期信息、发布单位信息、办理时间信息、办理地点信息、办理人员信息、受理单位信息、受理时间信息、处理时间信息、针对地区信息、办理所需证件信息、所需证件的有效期信息、办理所需材料信息、所需材料的数量信息等100多种。

作为举例，本方案主要针对对应的政策类型信息、针对对象信息、办理条件信息这三种属性进行说明。

在该步骤中首先根据提取到的标题内容确定该政策的类型，具体通过预存的代表不同政策内容的关键词来遍历搜索整个标题内容，并根据遍历搜索的结果来最终确定该政策的类型，如税务减免、节能补贴、创业基金等等。在整个遍历搜索过程中首先基于每个关键词进行精确搜索，若没有搜索到相同的关键词内容，则基于每个关键词进行模糊搜索，并根据设定的阈值进行比较判断得到最终的搜索结果。

在完成政策类型信息确定后，根据提取到的正文内容确定该政策针对的对象（如个人、工矿企业、军人、事业单位、科研院所等等），具体通过预存的代表政策针对对象的关键词来遍历搜索整个正文内容，并根据遍历搜索的结果来最终确定该政策针对的对象，且将搜索到的正文中关于本政策针对对象的内容提取出。在整个遍历搜索过程中首先基于每个关键词进行精确搜索，若没有搜索到相同的关键词内容，则基于每个关键词进行模糊搜索，并根据设定的阈值进行比较判断得到最终的搜索结果。

由于一般的政策都不是很长，在确定政策针对对象信息时，除了上述方案外，还可根据政策对象内容在整个政策内容中所表现的特点：如其与前后段落之间的关系、内容上的关联性、包含的相关敏感词汇等，来建立相应的识别数据模型，再通过设定相应的阈值，由此进行整个正文内容的识别，以此来查找并确定政策正文中关于本政策针对对象的相关信息。

在获得该政策针对的对象信息后，再根据提取到的正文内容确定该政策针对不同对象所对应的办理条件信息。具体的，以获得的政策针对对象信息为条件，来遍历搜索整个正文内容，并根据遍历搜索的结果来最终确定该政策中针对不同对象所对应的办理条件，且将搜索到的正文中关于本政策针对不同对象所对应的办理条件内容提取出。

在整个遍历搜索过程中首先从政策针对对象信息中提取出相应的关键词，并基于每个关键词进行精确搜索，查找与该关键词相关政策内容，并对该内容进行识别判断是否为对应于该对象的办理条件内容；若没有搜索到相关的内容，则基于每个关键词进行模糊搜索，并根据设定的阈值进行比较判断得到最终的搜索结果，并搜索到的内容进行识别判断是否为对应于该对象的办理条件内容。

作为替代方案，确定政策针对不同对象所对应的办理条件信息时，除了上述方案外，还可根据办理条件内容与对应政策针对对象内容在整个政策内容中所表现的特点：如其与前后段落之间的关系、内容上的关联性、包含的相关敏感词汇等，来建立相应的识别数据模型，再通过设定相应的阈值，由此进行整个正文内容的识别，以此来查找并确定政策正文中关于政策中针对不同对象所确定的办理条件内容。

对于其它对象属性可采用现有技术来实现，此处不加以赘述。

步骤3，对步骤2中获得三种数据内容进行对应存储，以便后续的查询和调用。

首先建立一数据表，该数据表项包括表头、数据表项、对象表项以及办理条件表项；

接着根据获取的政策类型将政策内容存储到该数据表项中，即以获取或确定的政策类型信息作为表头信息存储于数据表的表头部分，同时将提取到的政策内容（标题和正文）对应存储在该数据表中；

再接着，将确定的该政策针对的对象内容存储于相应的对象表项中；

再接着，根据政策中不同对象与相应办理条件之间的对应关系，在数据表中的办理条件表项中存储获取到的办理条件内容，并与相应的对象表项形成映射关系；

再者，根据政策中不同的办理条件与办理所需证件信息和办理所需材料信息之间的对应关系，在数据表中的办理证件信息表项和办理材料信息表项中存储对应的办理所需证件信息和办理所需材料信息，并与相应的办理条件表项形成映射关系；

最后，将其余的对象属性根据它们在政策中所对应的对应关系，一一存储在相应的数据表项中，并形成相关的映射关系；具体实现时，可基于上述方案或现有技术来实现，此处不加以赘述。

完成数据表后，再建立一关键词表，用于存储数据表中的表项中存储数据对应的关键词，并与数据表中各表项形成对应的映射关系，这些关键词可直接从数据表中各表项中内容形成，也可根据前面步骤2中获取相应数据时来获取。

步骤4，根据表项中存储的内容形成对应的查询条件。

该查询条件可以采用多种的展现形式，如问题查询条件和关键词查询条件。

若采用问题查询条件时，根据数据表中存储的内容和使用者回答的结果依次形成政策类型、政策内容、政策针对的对象等问题。

若采用关键词查询条件时，根据关键词表项中的关键词直接形成对应的查询条件。

基于上的政策解构方案，本发明提供一种可实现上述方案的政府政策解构系统。

参见图2，其所示为政府政策解构系统的原理框图。由图可知，整个解构系统100主要由政策抓取模块101、政策内容解构模块102、对应存储模块103、数据库104以及查询条件形成模块105。

其中，政策抓取模块101抓取政府政策发布网页，且识别出网页中的政策内容，并将识别出的内容传至政策内容解构模块102。

该模块具体实现时，通过相应的软件程序来实现，在具体实现识别出网页中的政策内容时采用上面所述的方案，此处不加以赘述。

政策内容解构模块102，用于解构政策抓取模块发送的政策内容，获取该政策内容对应的所有对象属性信息，并将该对象属性信息传至对应存储模块。

这里的所有对象属性信息主要包括该政策内容对应的政策类型信息、针对对象信息、办理条件信息、发布时间信息、有效期信息、发布单位信息、办理时间信息、办理地点信息、办理人员信息、受理单位信息、受理时间信息、处理时间信息、针对地区信息、办理所需证件信息、所需证件的有效期信息、办理所需材料信息、所需材料的数量信息等100多种。

该模块具体实现时，通过相应的软件程序来实现，在具体实现政策内容解构时采用上面所述的方案，此处不加以赘述。

对应存储模块103，用于对政策内容解构模块获取的所有对象属性信息形成对应的映射关系，并通过相应的数据表项存储于数据库104中。

该模块具体实现时，通过相应的软件程序来实现，在具体实现解构内容存储时采用上面所述的方案，此处不加以赘述。

数据库105，其用于存储相关的数据表和关键词表。

查询条件形成模块106，该模块与数据库105数据相接，通过提取数据库105中相关表项的信息，并形成对应的查询条件。

该模块具体实现时，通过相应的软件程序来实现，在具体实现形成查询条件时采用上面所述的方案，此处不加以赘述。

据此形成的政府政策解构系统其工作时，将整个系统运行一硬件服务器，系统中的查询条件形成模块106以客户端的形式存在。

系统中的政策抓取模块101与政策网站数据相接，周期性的获取政策发布网站上相应政策发布页面上的政策内容，具体方式如上所述。

例如，通过政策抓取模块101获取到关于企业创新产品的奖励政策内容。

政策内容解构模块102对政策抓取模块101抓取并识别的政策内容进行解构获得相应的政策类型信息、针对对象信息、办理条件信息等100多种对象属性。

例如，针对上述企业创新产品的奖励政策，通过解构获得：

该政策的类型为企业创新奖励；

针对的对象为软件类企业、通信类企业；

办理条件为：软件类企业必须具有自主知识产权的软件产品、该软件产品的已经上市销售等；

通信类企业必须具有自主知识产权的通信类产品、该通信类产品已经上市销售等。

对于其它相应的对象属性，此处不一一加以赘述。

对应存储模块103通过数据表和相应的关键词表将政策内容解构模块102解构出的相关数据信息进行存储，并形成对应的映射关系，特别是针对对象和办理条件之间的对应关系。

数据库105存储对应存储模块103中形成并存储相关数据的数据表和相应的关键词表。

查询者通过客户端来查询相关的政策内容时，通过客户端输入相关的关键词：如软件企业and奖励，则客户端将根据调取数据中存储的关键词表中存储的关键词，形成相应的查询条件与查询者输入的查询关键词进行比较，得到同时具有关键词“软件企业”和“奖励”的关键词表；

接着，调取该关键词表对应的数据表，将该数据表中存储的政策内容以及对于软件企业的所必须的办理条件提取并进行显示。

由上可知，整个政府政策解构方案能够自动的获取政策内容，并自动的进行政策解构和存储，形成便于人们查询和了解的解构后的信息。整个过程无需人工干预，自动完成，并且系统自动解构数据精确度高。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种政府的政策解构方法，其特征在于，所述解构方法包括如下步骤：

(1)抓取政府政策发布网页，并识别出网页中的政策内容；

(2)解构识别出的政策内容，获取该政策内容的所有对象属性；

(3)根据获取得到的对象属性，将该政策内容以及其对应的对象属性存储到对应的数据表项中；

(4)根据表项中存储的内容形成对应的查询条件；

所述步骤(1)通过网页信息抓取技术直接抓取政府政策发布网页的页面内容；在进行获取页面内容，首先将处于最大显示状态的页面整体转换形成1:1的图片，接着对图片内容进行识别，识别出图片上对应于政策标题内容的标题区域和对应于政策正文内容的正文区域，具体可根据图片上图案和文字分布的格局进行图片分割，并对各个区域进行识别，根据识别的内容确定对应于政策标题内容的标题区域和对应于政策正文内容的正文区域；再接着根据标题区域和正文区域在图片上的位置，确定页面上用于显示政策标题内容的区域和显示政策正文内容的区域；由于图片的形状大小与页面最大显示状态为1∶1，这样根据图片上标题区域和正文区域的具体位置信息，直接在最大显示状态的页面上确定用于显示政策标题内容的区域和显示政策正文内容区域；最后，直接获取页面上于显示政策标题内容的区域和显示政策正文内容区域中的文字信息；

所述步骤(2)中获取到的对象属性包括该政策内容对应的政策类型信息、针对对象信息、办理条件信息、发布时间信息、有效期信息、发布单位信息、办理时间信息、办理地点信息、办理人员信息、受理单位信息、受理时间信息、处理时间信息、针对地区信息、办理所需证件信息、所需证件的有效期信息、办理所需材料信息、所需材料的数量信息；

所述步骤(2)中在获取政策类型信息时，利用预存的政策类型关键词遍历识别出的标题内容，根据遍历的结果确定政策类型信息；

在获取针对对象时，利用预存的针对对象关键词遍历整个识别出的正文内容，查询到正文内容中关于针对对象的内容并提取出该部分内容；

在获取办理条件时，利用获取到的针对对象内容遍历整个识别出的正文内容，查询到正文内容中与针对对象相对应的办理条件的内容并提取出该部分内 容；

所述步骤(3)在存储政策内容时，首先根据获取的政策类型将政策内容存储到对应的数据表项中，接着在该表项中存储该政策内容对应的针对对象信息，接着根据针对对象信息对应存储办理条件信息；接着根据办理条件信息对应存储办理所需证件信息和办理所需材料信息；最后将其余的对象属性根据要求对应存储在相应的数据表项中；

所述步骤(3)中还通过一关键词表项对应存储数据表项中存储数据对应的关键词；

所述步骤(4)中利用表项中存储数据对应的关键词形成相应查询条件。

2.一种实现权利要求1所述的政府的政策解构方法的政府的政策解构系统，其特征在于，所述解构系统包括：

政策抓取模块，所述政策抓取模块抓取政府政策发布网页，且识别出网页中的政策内容，并将识别出的内容传至政策内容解构模块；

政策内容解构模块，所述政策内容解构模块解构政策抓取模块发送的政策内容，获取该政策内容对应的所有对象属性信息，并将该对象属性信息传至对应存储模块；

对应存储模块，所述对应存储模块对政策内容解构模块获取的所有对象属性信息形成对应的映射关系，并通过相应的数据表项存储于数据库中；

数据库，所述数据库用于存储相关数据；

查询条件形成模块，所述查询条件形成模块获取数据库中存储的数据表项信息，并形成对应的查询条件。