CN103235827B - 一种科技信息自动分类筛选的方法 - Google Patents

Abstract

本发明公开了一种科技信息自动分类筛选的方法，它包括以下步骤：1）利用网络信息筛选装置从公开地址抓取动态数据包；2），并确定指定关键词是否为本页面的关键词；3）查询与用户标识相对应的用户偏好类型，获取与用户偏好类型相对应的服务信息，并将服务信息显示到本地用户终端的浏览器首页中；4）本地用户终端根据用户的定制条件将数据信息推送给用户。本发明可以针对用户需求或者根据用户定制，有选择性地获取信息并进行分类筛选，然后及时地为用户提供其所需的科技服务信息，并实现用户数据库的自动更新，为用户提供更准确、及时的科技信息服务。

Description

一种科技信息自动分类筛选的方法

技术领域

本发明涉及网页分类技术领域，具体地说一种科技信息自动分类筛选的方法。

背景技术

现代信息技术的发展，信息呈现高速、大容量的特征，有效的信息是竞争取得胜利的关键因素，为了有效地管理和利用这些信息收集、加工、处理、传递和贮存等环节的管理和利用，基于内容的信息检索和数据的挖掘已成为备受关注的领域。随着互联网相关技术的发展与成熟，互联网、企业内部网中提供的网页越来越多，一方面满足了用户对信息的需求，另一方面也产生了一些问题，如何根据网页的内容把网页自动分到不同的语义类别，以提高用户的体验，是目前搜索引擎的预处理或网站的文本自动分类管理面临解决的一个问题。但是，传统搜索工作方式和因特网的快速发展，使其搜索的结果让人越来越不满意。

搜索直接的关键词,往往会查找到一些不具有相关性的页面，例如：搜索“**省科技创新”不会显示关于**省内的科技创新页面,相反系统会检索到关于**省(与科技创新无关)或是其他省市的“科技”或“创新”的相关页面。

之前的搜索机制是基于各个单一的词语而不是对整个页面的概括，例如“**省科技创新”，所有页面中只要提到“**省”或“科技”“创新”这两个词的页面都会被检索出来，符合这三个词语的任何排列组合后的短语或单一词语都会出现在检索结果中，可能有几百万页的搜索结果。由于搜索引擎通过对网站的相关性来优化搜索结果，这种相关性又是由关键字在网站的位置、网站的名称、标签等公式来决定的，这才导致搜索引擎的搜索结果多而杂。因此，文本分类技术、按照筛选规则对数据库里的内容进行筛选、比对等需要一种应用面宽、适应力强、更新换代灵活、技术新、满足用户快速获取有效信息的需求等特点的技术。

发明内容

针对上述不足，本发明提供了一种科技信息自动分类筛选的方法，其不仅能够解决现有搜索技术的弊端，而且能够极大地提高了信息检索的效率，保证数据抓取的完整性和可靠性。

本发明解决其技术问题采取的技术方案是：一种科技信息自动分类筛选的方法，用于实时获取不同类型的科技信息并针对注册用户的类型实时推送其所需要的信息，使注册用户登录系统网站后及时获得最新、有效的科技服务信息，并实现自身存储数据的及时更新，其特征是，包括以下步骤：

1）利用网络信息筛选装置从公开地址抓取动态数据包；

2）对抓取的动态数据包进行信息分类筛选，并确定指定关键词是否为本页面的关键词：

2.1）对出现指定关键词的所有页面进行一级筛选；

2.2）建立用户标识与用户偏好类型的对应关系，以及用户偏好类型与服务信息的对应关系，并存储在服务器数据库中；

2.3）确定指定关键词是否为本页面的关键词；

3）查询与用户标识相对应的用户偏好类型，获取与用户偏好类型相对应的服务信息，并将服务信息显示到本地用户终端的浏览器首页中；

4）本地用户终端根据用户的定制条件将数据信息推送给用户。

进一步地，所述对出现指定关键词的所有页面进行一级筛选的步骤为：

A1、在筛选数据库中添加非关键词；

A2、对页面中所有词语进行逐一筛选，删除与筛选数据库中非关键词相同的页面词语；

A3、统计页面中有特殊标记词语的出现频率，表示为：P_a1、P_a2、P_a3…；

A4、将特殊词语频率分别与权A相乘得到特殊词语加权频率，表示为：AP_a1、AP_a2、AP_a3…；

A5、删除页面信息文本中带有特殊标记的词语；

A6、导入常用词词库，对页面信息文本进行全文扫描，统计常用词词库中词语在页面信息文本中的出现频率，表示为：P_b1、P_b2、P_b3…；

A7、将常用词频率分别与权B相乘得到常用词加权频率，表示为：BP_b1、BP_b2、BP_b3…；

A8、对特殊词语加权频率AP_a1、AP_a2、AP_a3…与常用词加权频率BP_b1、BP_b2、BP_b3…进行排序。

进一步地，所述确定指定关键词是否为本页面的关键词的步骤为：

B1、从所有关键词中循环选取部分关键词组合，用t(na_i.l_j)来表示页面文章名与属性的关联度；

B2、计算关键词组合的自主性，用D_lib(na_i)来表示，公式如下：

$D_{\mathrm{lib}}\left({\mathrm{na}}_i\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{H}_0\left[t({\mathrm{na}}_j,l_j)\right]-H_1\left\{\right\{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{H}_0\left[r({\mathrm{na}}_i,l_j)\right]\}-1\};$

B3、用所有的候补文章名对关键词组合的自主性进行统计；

B4、使用文章数对D_lib(na_i)进行规范化，得到最终独立度P_lib，公式如下：

$P_{\mathrm{lib}}=1-\frac{{\mathrm{\Σ}}_{i=1}^m{D}_{\mathrm{lib}}\left({\mathrm{na}}_i\right)}{m};$

B5、根据最终独立度P_lib确定指定关键词是否为本页面的关键词；

其中，m：显示的关键词数，n：候补关键词，na_i：文章名，i＝1、2、...、n，j＝1、2、...、n。

优选地，本地用户终端通过进行提示或直接弹出的方式将数据信息推送给用户。

本发明的有益效果是：本发明提供了一种建立在网络服务平台上，应用在科技信息查找机制之上，通过计算机程序的执行针对发文时间、发文单位、发文行政级别、地域、行业领域等不同属性类别的科技项目管理办法、申报通知、申报指南等科技政策信息内容进行筛选；并根据用户浏览习惯和所处地理位置，结合用户自身消息定制的属性主动向用户推送最有效信息的技术，它可以针对用户需求或者根据用户定制，有选择性地获取信息并进行分类筛选，然后及时地为用户提供其所需的科技服务信息，并实现用户数据库的自动更新，为用户提供更准确、及时的科技信息服务。

附图说明

图1是本发明的方法流程图。

具体实施方式

如图1所示，本发明的一种科技信息自动分类筛选的方法，用于实时获取不同类型的科技信息并针对注册用户的类型实时推送其所需要的信息，使注册用户登录系统网站后及时获得最新、有效的科技服务信息，并实现自身存储数据的及时更新，它包括以下步骤：

1）利用网络信息筛选装置从公开地址抓取动态数据包。

2）对出现指定关键词的所有页面进行一级筛选；所述对出现指定关键词的所有页面进行一级筛选的步骤为：

A1、在筛选数据库中添加非关键词，如：助词、语气词和代词等；

A2、对页面中所有词语进行逐一筛选，删除与筛选数据库中非关键词相同的页面词语；

A3、统计页面中有特殊标记词语（如加粗、带有重点标记和着重符号的词语等）的出现频率，表示为：P_a1、P_a2、P_a3…；

A4、将特殊词语频率分别与权A相乘得到特殊词语加权频率，表示为：AP_a1、AP_a2、AP_a3…；

A5、删除页面信息文本中带有特殊标记的词语；

A6、导入常用词词库，对页面信息文本进行全文扫描，统计常用词词库中词语在页面信息文本中的出现频率，表示为：P_b1、P_b2、P_b3…；

A7、将常用词频率分别与权B相乘得到常用词加权频率，表示为：BP_b1、BP_b2、BP_b3…；

A8、对特殊词语加权频率AP_a1、AP_a2、AP_a3…与常用词加权频率BP_b1、BP_b2、BP_b3…进行排序。

3）建立用户标识与用户偏好类型的对应关系，以及用户偏好类型与服务信息的对应关系，并存储在服务器数据库中。

4）确定指定关键词是否为本页面的关键词；所述确定指定关键词是否为本页面的关键词的步骤为：

B1、从所有关键词中循环选取部分关键词组合，用t(na_i.l_j)来表示页面文章名与属性的关联度；

B2、计算关键词组合的自主性，用D_lib(na_i)来表示，公式如下：

$D_{\mathrm{lib}}\left({\mathrm{na}}_i\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{H}_0\left[t({\mathrm{na}}_i,I_j)\right]-H_1\left\{\right\{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{H}_0\left[r({\mathrm{na}}_i,I_j)\right]\}-1\};$

自主性是指关键词对文章名进行缩小范围时，通过其他关键词而进行范围缩小的文章名的明细相差多少的指标；

B3、用所有的候补文章名对关键词组合的自主性进行统计；统计值越大说明多关键性词与同一文章名有关联。用户选定1个关键词来进行范围缩小，范围缩小后的结果所获得的文章数较多，范围缩小效率较低，因此，合计值越小就越能够找到到缩小范围效率较高的关键词组合；

B4、使用文章数对D_lib(na_i)进行规范化，得到最终独立度P_lib，公式如下：

$P_{\mathrm{lib}}=1-\frac{{\mathrm{\Σ}}_{i=1}^m{D}_{\mathrm{lib}}\left({\mathrm{na}}_i\right)}{m};$

B5、根据最终独立度P_lib确定指定关键词是否为本页面的关键词；

其中，m：显示的关键词数，n：候补关键词，na_i：文章名，i＝1、2、...、n，j＝1、2、...、n。

5）查询与用户标识相对应的用户偏好类型，获取与用户偏好类型相对应的服务信息，并将服务信息显示到本地用户终端的浏览器首页中；

6）本地用户终端根据用户的定制条件将数据信息推送给用户。

上述方法中，本地用户终端通过进行提示或直接弹出的方式将数据信息推送给用户。

本发明融政府、科技型企业、中介咨询机构科技服务信息分类于一体，覆盖所有政府科技管理部分、行业、学科，提供一种科技信息自动分类筛选方法，实时获取不同类型的科技信息并针对注册用户的类型实时推送其所需要的信息，使用户登录系统网站并注册后，可以及时获得最新的、有效的科技服务信息，并实现自身存储数据的及时更新。本发明能够解决现有搜索技术中无法实现多维、动态信息的复杂分类筛选与信息准确及时推送和更新的弊端；可以实现联动检索与定制信息，实现对不同站点、不同时间、不同技术领域信息的直接分类获取，并进行数据过滤以及自定义标签，然后推送至接收端，极大地提高了信息检索的效率；能够根据分类语言融合主题语言，类名与主题词对应自动互换，规范语言融合自然语言的方式，实现动态数据的分类筛选，保证数据抓取的完整性和可靠性；能够实现信息分类筛选后根据注册用户类型实时将科技信息推送至用户接收端，使用户可以及时获得最新的、有效的科技服务信息，并实现自身存储数据的及时更新。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (2)

1.一种科技信息自动分类筛选的方法，用于实时获取不同类型的科技信息并针对注册用户的类型实时推送其所需要的信息，使注册用户登录系统网站后及时获得最新、有效的科技服务信息，并实现自身存储数据的及时更新，其特征是，包括以下步骤：

1)利用网络信息筛选装置从公开地址抓取动态数据包；

2)对抓取的动态数据包进行信息分类筛选，并确定指定关键词是否为本页面的关键词：

2.1)对出现指定关键词的所有页面进行一级筛选；

2.2)建立用户标识与用户偏好类型的对应关系，以及用户偏好类型与服务信息的对应关系，并存储在服务器数据库中；

2.3)确定指定关键词是否为本页面的关键词；

3)查询与用户标识相对应的用户偏好类型，获取与用户偏好类型相对应的服务信息，并将服务信息显示到本地用户终端的浏览器首页中；

4)本地用户终端根据用户的定制条件通过进行提示或直接弹出的方式将数据信息推送给用户；

所述对出现指定关键词的所有页面进行一级筛选的步骤为：

A1、在筛选数据库中添加非关键词；

A2、对页面中所有词语进行逐一筛选，删除与筛选数据库中非关键词相同的页面词语；

A3、统计页面中有特殊标记词语的出现频率，表示为：P_a1、P_a2、P_a3…；

A4、将特殊词语频率分别与权A相乘得到特殊词语加权频率，表示为：AP_a1、AP_a2、AP_a3…；

A5、删除页面信息文本中带有特殊标记的词语；

A6、导入常用词词库，对页面信息文本进行全文扫描，统计常用词词库中词语在页面信息文本中的出现频率，表示为：P_b1、P_b2、P_b3…；

A7、将常用词频率分别与权B相乘得到常用词加权频率，表示为：BP_b1、BP_b2、BP_b3…；

A8、对特殊词语加权频率AP_a1、AP_a2、AP_a3…与常用词加权频率BP_b1、BP_b2、BP_b3…进行排序。

2.根据权利要求1所述的一种科技信息自动分类筛选的方法，其特征是，所述确定指定关键词是否为本页面的关键词的步骤为：

B1、从所有关键词中循环选取部分关键词组合，用t(na_i.l_j)来表示页面文章名与属性的关联度；

B2、计算关键词组合的自主性，用D_lib(na_i)来表示，公式如下：

$D_{lib}\left({\mathrm{na}}_i\right)=\underset{j=1}{\overset{n}{\Σ}}{H}_0\[t\left({\mathrm{na}}_i,l_j\right)\]-H_1\left\{\left\{\underset{j=1}{\overset{n}{\Σ}}{H}_0\[r\left({\mathrm{na}}_i,l_j\right)\]\right\}-1\right\};$

B3、用所有的候补文章名对关键词组合的自主性进行统计；

B4、使用文章数对D_lib(na_i)进行规范化，得到最终独立度P_lib，公式如下：

$P_{lib}=1-\frac{{\mathrm{\Σ}}_{i=1}^m{D}_{lib}\left({\mathrm{na}}_i\right)}{m};$

B5、根据最终独立度P_lib确定指定关键词是否为本页面的关键词；

其中，m：显示的关键词数，n：候补关键词，na_i：文章名，i＝1、2、...、n，j＝1、2、...、n。