CN101192213B - 网络信息自动下载和处理方法 - Google Patents

Abstract

本发明公开了一种网络信息自动下载和处理方法，它包括计算机，其方法如下：设定要下载网址URL，本方法通过计算机就可以获取网址URL所指定网页的信息，包括文本和图片，根据事先设定页面属性，可以提取网页的标题，发布时间、正文等信息。根据指定的网址URL获取返回信息流、判断编码方式、保存信息流到文件、提取页面属性、分析下载图片、递归分析和下载、保存页面属性。本发明具有如下优点：实时性：用户可实时地从互联网上下载、分析处理网络信息；实用性：通过此方法用户快速方便获取自己需要的网络信息，适用于个人信息搜索和建立商业化的信息搜索分类中心。

Description

网络信息自动下载和处理方法

技术领域

本发明涉及实现针对指定的网址URL，根据预先设置的属性，自动下载和分析页面，提取所需要信息即页面属性。具体地说涉及一种网络信息自动下载和处理方法

背景技术

面对浩瀚如海而又飞速增加和更新的网络信息，能够迅速快捷的搜集和跟踪某行业信息的技术显得尤为重要。

信息化时代，对于人们来说获取信息是极其容易的，但是面对这些轻易得来的信息，如何从中获取真正需要的那一部分，让很多人束手无策。我们的网络信息自动下载和处理方法在这种环境下应运而生。不但可以应用于个人信息搜索，而且可以用来建立商业化的信息搜集分类中心。与人工搜索分类相比，极大的节省人力、物力，提高搜集效率。

发明内容

本发明的目的就在于提供一种网络信息下载、处理的方法，方便用户有目的、有范围、快捷地获取自己需要的信息。

本发明的目的可通过以下措施来实现：

本发明方法具体实现步骤如下：

A.获取返回信息流，进一步包括：

1)传递要下载页面的网址URL；

2)发送页面请求；

3)在限定时间内获取返回信息；

B.判断编码方式，进一步包括：

1)获取返回信息流的ContentType；

2)分析ContentType，是否含有″charset＝utf-8″字样，如果有则为utf-8格式，否则为Encoding.Default；

C.保存信息流到文件，进一步包括：

1)根据获取的编码格式，将得到的信息流进行转换处理；

2)保存到指定的文件中；

D.提取页面属性，进一步包括：

1)按照预先设定的标题标志提取标题；

2)按照预先设定的正文标志提取正文；

3)依次按照设定的标志提取其他属性，其他属性包括发布时间、作者信息；

E.分析下载图片，进一步包括：

1)分析保存的信息流文件，获取所有图片连接；

2)去除重复的连接；

3)按照既定规则创建图片目录；

4)下载图片，保存到指定目录；

5)修改信息流中图片路径；

F.递归分析和下载，进一步包括：

1)判断页面是否含有下一页或者下几页；

2)如果有，提取其连接递归执行上述A-E步骤；

G.保存页面属性，进一步包括：

将信息的标题、正文、拼音搜索键、发布时间、作者信息保存入数据库。

本发明中G步骤保存页面属性中，还将信息标题的前两个字转换为拼音，存入到数据库中，作为拼音搜索键。

本发明具有如下优点：实时性：用户可实时地从互联网上下载、分析网络信息。实用性：通过此方法用户快速方便获取自己需要的网络信息。

经济性：用户可以通过指定的网络信息源，此方法会自动下载、处理，比用户临时在浩瀚互联网去搜索信息，更加节省时间。

附图说明

附图是本发明的流程图。

具体实施方式

本发明以下结合附图和实施例作以详细的描述：

实施例1

本发明包括计算机，其方法如下：

设定要下载网址URL，本方法通过计算机就可以获取网址URL所指定网页的信息，包括文本和图片，根据事先设定页面属性，可以提取网页的标题，

发布时间、正文、作者等信息；具体实现步骤如下：

A.获取返回信息流

1)传递要下载页面的网址URL

2)发送页面请求

3)在限定时间内获取返回信息

B.判断编码方式

1)获取返回信息流的ContentType

2)分析ContentType，是否含有″charset＝utf-8″字样，如果有则为utf-8格式，否则为Encoding.Default

C.保存信息流到文件

1)根据获取的编码格式，将得到的信息流进行转换处理

2)保存到指定的文件中

D.提取页面属性

1)按照预先设定的标题标志提取标题

2)按照预先设定的正文标志提取正文

3)依次按照设定的标志提取其他属性

E.分析下载图片

1)分析保存的信息流文件，获取所有图片连接

2)去除重复的连接

3)按照既定规则创建图片目录

4)下载图片，保存到指定目录

5)修改信息流中图片路径

F.递归分析和下载

1)判断页面是否含有下一页或者下几页

2)如果有，提取其连接递归执行上述A-E步骤

G.保存页面属性

将信息的标题、正文、发布时间、作者等属性保存入数据库。

实施例2

本发明包括计算机：

设定要下载网址URL，本方法通过计算机就可以获取网址URL所指定网页的信息，包括文本和图片，根据事先设定页面属性，可以提取网页的标题，发布时间、正文等信息；具体实现步骤如下：

A.获取返回信息流

1)传递要下载页面的网址URL

2)发送页面请求

3)在限定时间内获取返回信息

B.判断编码方式

1)获取返回信息流的ContentType

2)分析ContentType，是否含有″charset＝utf-8″字样，如果有则为utf-8格式，否则为Encoding.Default

C.保存信息流到文件

1)根据获取的编码格式，将得到的信息流进行转换处理

2)保存到指定的文件中

D.提取页面属性

1)按照预先设定的标题标志提取标题

2)按照预先设定的正文标志提取正文

3)依次按照设定的标志提取其他属性

E.分析下载图片

1)分析保存的信息流文件，获取所有图片连接

2)去除重复的连接

3)按照既定规则创建图片目录

4)下载图片，保存到指定目录

5)修改信息流中图片路径

F.递归分析和下载

1)判断页面是否含有下一页或者下几页

2)如果有，提取其连接递归执行上述A-E步骤

G.保存页面属性

将信息的标题、正文等属性保存入数据库。

本发明中G步骤保存页面属性中，还可以将信息标题的前两个字转换为拼音，存入到数据库中，作为搜索键。

Claims (2)

1.一种网络信息自动下载和处理方法，其特征在于：

其方法具体实现步骤如下：

A.获取返回信息流，进一步包括：

1)传递要下载页面的网址URL；

2)发送页面请求；

3)在限定时间内获取返回信息；

B.判断编码方式，进一步包括：

1)获取返回信息流的ContentType；

2)分析ContentType，是否含有″charset＝utf-8″字样，如果有则为utf-8格式，否则为Encoding.Default；

C.保存信息流到文件，进一步包括：

1)根据获取的编码格式，将得到的信息流进行转换处理；

2)保存到指定的文件中；

D.提取页面属性，进一步包括：

1)按照预先设定的标题标志提取标题；

2)按照预先设定的正文标志提取正文；

3)依次按照设定的标志提取其他属性，其他属性包括发布时间、作者信息；

E.分析下载图片，进一步包括：

1)分析保存的信息流文件，获取所有图片连接；

2)去除重复的连接；

3)按照既定规则创建图片目录；

4)下载图片，保存到指定目录；

5)修改信息流中图片路径；

F.递归分析和下载，进一步包括：

1)判断页面是否含有下一页或者下几页；

2)如果有，提取其连接递归执行上述A-E步骤；

G.保存页面属性，进一步包括：

将信息的标题、正文、拼音搜索键、发布时间、作者信息保存入数据库。

2.根据权利要求1所述的网络信息自动下载和处理方法，其特征在于：所述G步骤保存页面属性中，还将信息标题的前两个字转换为拼音，存入到数据库中，作为拼音搜索键。