CN101853466A

CN101853466A - 一种计算机显示快速更新报价信息的方法

Info

Publication number: CN101853466A
Application number: CN201010177881A
Authority: CN
Inventors: 陈瑞城; 王海涛; 任学宁
Original assignee: SHANGHAI GOULONG INFORMATION TECHNOLOGY Co Ltd
Current assignee: SHANGHAI GOULONG INFORMATION TECHNOLOGY Co Ltd
Priority date: 2010-05-18
Filing date: 2010-05-18
Publication date: 2010-10-06

Abstract

本发明涉及计算机程序技术领域，具体的说是一种计算机显示快速更新报价信息的方法，其特征在于该方法用以采集商品报价页数据要求，并依据该要求产生分析商品报价页面数据，该方法包括：(1)采集规则；(2)内容更新；(3)数据分析入库。本发明与现有技术相比，实现自动化处理，高效率执行多个商家、不同商品报价可启动多任务更新执行，容错性强，使商品信息在数据库中保持良好的有效性和正确性，智能数据处理，采集后的数据自动分析价格涨跌，分别进入商品降价表和报价信息表，为页面展示商品价格历史提供数据。

Description

一种计算机显示快速更新报价信息的方法

[技术领域]

本发明涉及计算机程序技术领域，具体的说是一种计算机显示快速更新报价信息的方法。

[背景技术]

目前，越来越多的企业都在互联网上创建了自己的产品直销网站，以产品种类齐全，价格实惠而受到广大网民的钟爱，面对浩瀚如烟的商品信息，许多人往往无所适从，那么用何种方法来快速、有效地选择互联网上性价比最优的商品呢？

[发明内容]

本发明的目的在于克服现有技术的不足，提供一种快速有效地价格发现、更新机制，让系统能够及时更新到互联网上不同商家的商品最新价格信息，包括降价比较、库存状态以及商品相关买卖信息。在此基础上再通过内容发布，邮件订阅、搜索比较等方式来告诉相应的关注群体。

为实现上述目的，设计一种计算机显示快速更新报价信息的方法，其特征在于该方法用以采集商品报价页数据要求，并依据该要求产生分析商品报价页面数据，该方法包括：

a.采集商品报价页数据要求其界定该要求所对应的商家网站上的报价页数据的采集规则，发送到服务器的服务端；

b.加载与该要求对应的第三方商品报价页数据采集，并接收对应于该商品报价页的数据而定的商品采集库，发送到服务器的服务端；

c.所述的服务器根据上述数据信息发送给客户端，所述的客户端上设有任务调度器启东，接收对应于该要求的回复数据；

d.依据商家网站上的报价页数据及第三方商品报价页数据，产生分析商品报价页面数据，建立价格变动数据、报价表数据、降价表数据及报价历史表数据的数据分析入库。

所述的采集规则采集的数据为商品名称、企业名称、企业地址、价格、库存状态的信息，采集规则上设有更新机制，将代码特征输入到更新规则的数据库中。

所述的服务器的服务端负责商品数据、采集规则数据源提供，每个商家的商品数据由第三方程序采集后写入数据库，数据信息包括商家编号、商品编号、商品URI、分类、标题、价格、是否更新、商品介绍、更新时用数据信息。

所述的客户端根据调度器启动客户端，启动多线程机制分别向服务端请求商品信息，并且根据商品URL请求到实时的商品页面内容；所述的系统调度器根据需要更新的商家数量和更新频率平均分配调度时间点，安排每个客户端的启动时间，客户端启动的进程数量可以通过配置文件进行设置。客户端和服务端之间基于二进制远程传输协议实现数据通信，当商家的客户端被启动时，会创建若干个线程同时向服务端请求商品信息，这时服务端从商品采集库中读取商家商品数据分别传送给客户端，客户端一个进程即可以完成一次完整的数据请求工作，若干个进程同时启动就实现了多任务并发执行数据更新，如果再开启一个客户端，那么又可以创建若干个进程来完成下一批商品数据的更新工作，这样的客户端可以由调度器来决定启动次数和调用的频率。

所述数据分析入库对采集后的数据需要进行规范化处理，分析商品的价格和异常数据处理，所述的商品价格解析：进程取到服务端返回的商品数据集合后，会循环读取出商品的URL地址向网站请求商品页面内容，同时读取采集规则设置的参数信息分析出本次请求的商品价格内容，然后与本地价格比较，如果发现商品价格不相同，则向产品降价表写入一条数据，同时也更新采集数据库中的价格和更新时间信息。针对降价表内的数据，会根据用户订阅的内容，读取出当天最新降价的商品向客户发送降价商品信息，所述的异数据常处理：在向商家站点请求商品数据过程中可能会因为网络连接、服务器关闭、商品下架等诸多因素，针对此类情况，客户端对各类异常进行捕获，对不同的异常情况建立不同的状态码进行标识，写入采集数据库表中，做为下次数据请求或者后期数据处理时参考使用。

本发明与现有技术相比，实现自动化处理，程序根据设置好的参数和调度频率，自动执行报价更新、分析、入库，整个过程不需要人工干预；高效率执行，多个商家，不同商品报价可启动多任务更新执行，从而大量地缩短了更新周期，让用户在最短时间内就能比较发现互联网上不同商家的同类商品比较信息；容错性强，对更新商品价格信息过程中出现的异常处理，包括了网站访问异常、商品报价页无效、商品无货下架等，使商品信息在数据库中保持良好的有效性和正确性；智能数据处理，采集后的数据自动分析价格涨跌，分别进入商品降价表和报价信息表，为页面展示商品价格历史提供数据。

[附图说明]

图1为本发明的流程示意图；

[具体实施方式]

下面结合附图对本发明作进一步说明。

本发明包括以下部分内容组成：(1)采集规则；(2)内容更新；(3)数据分析入库。

(1)采集规则：

通过对目标商家网站的采集分析，设定相应的商品地址、价格、库存状态等必须的参数信息。

例如：从IE浏览器中的地址栏输入一个图书类的商品URL地址“http://product.dangdang.com/product.aspx？product id＝8765156”，在打开的商品页上，通过鼠标右键“查看源文件”功能，我们可以得到该页的HTML源代码信息，定位标题、作者、出版社、ISBN、价格等代码特征，将这些特征参数输入到更新规则的数据库中。这些参数代表了该商家商品发布页面的基本框架模型，后期的更新程序可以根据本次已经设定好的参数进行价格等信息的定位。

采集规则更新机制：随着商家业务的发展，很有可能在不久的将来会对网站进行改版，那时，我们设置的采集规则就会随着网站的改版而失效。系统根据采集反馈回来的失败信息进行统计，当失败数量达到预设的阀门值时，系统会认为该规则已失效，从而发送邮件通知管理人员对网站采集规则进行修正。

(2)内容更新：

报价内容的更新机制分为服务端和客户端两大部分组成。

服务端：负责商品数据、采集规则数据源的提供。每个商家的商品数据由第三程序采集后写入数据库，信息包括商家编号、商品编号、商品URL、分类、标题、价格、是否更新、商品介绍、更新时间等信息。

客户端：根据调度器启动客户端，启动多线程机制分别向服务端请求商品信息，并且根据商品URL请求到实时的商品页面内容。

系统调度器根据需要更新的商家数量和更新频率平均分配调度时间点，安排每个客户端的启动时间，客户端启动的进程数量可以通过配置文件进行设置。客户端和服务端之间基于二进制远程传输协议实现数据通信，当某个商家的客户端被启动时，会创建若干个线程同时向服务端请求商品信息，这时服务端从商品采集库中读取商家商品数据分别传送给客户端。

客户端一个进程即可以完成一次完整的数据请求工作，若干个进程同时启动就实现了多任务并发执行数据更新。如果再开启一个客户端，那么又可以创建若干个进程来完成下一批商品数据的更新工作，这样的客户端可以由调度器来决定启动次数和调用的频率。

(3)数据分析入库：

对采集后的数据需要进行规范化处理，分析商品的价格和异常数据处理。

价格解析：进程取到服务端返回的商品数据集合后，会循环读取出商品的URL地址向网站请求商品页面内容，同时读取采集规则设置的参数信息分析出本次请求的商品价格内容，然后与本地价格比较。如果发现商品价格不相同，则向产品降价表写入一条数据，同时也更新采集数据库中的价格和更新时间信息。针对降价表内的数据，会根据用户订阅的内容，读取出当天最新降价的商品向客户发送降价商品信息。

异常处理：在向商家站点请求商品数据过程中可能会因为网络连接、服务器关闭、商品下架等诸多因素，针对此类情况，客户端对各类异常进行捕获，对不同的异常情况建立不同的状态码进行标识，写入采集数据库表中，做为下次数据请求或者后期数据处理时参考使用。

例1：

商家网址：http://www.dangdang.com

商品URL：

http://product.dangdang.com/product.aspx？product_id＝20032382&ref＝search-1-A当当价：￥16.60

处理流程：

参数设置：在IE浏览器中的地址栏输入商品URL，浏览器会显示该商品相关信息。在打开的商品页上，通过鼠标右键“查看源文件”功能，我们可以得到该页的HTML代码。定位出“当当价”的起始标志是“<spanclass＝″redc30″>当当价：￥<b>”结束标志是“</b></span>”，将这些起始和结束的标志参数输入到数据库中，做为报价更新程序解析页面内容时的依据。

报价更新：客户端的一个商家报价更新任务被调度器启动后，会创建10个线程向服务端请求该商家的商品旧报价数据，包括了商品ID、商品URL、价格等信息。假设其中一个客户端线程从服务端读取到一批需要更新的商品数据包含了该条商品，那么客户端程序就会先读取出该商品的URL地址，通过HttpRequest请求商家的商品页面内容，接着客户端程序又从服务器请求该商家的商品报价参数，来解析出最新的价格并与旧价格进行比较，如果价格发生变动，则会创建一条SQL语句写入文本文件，后续程序将运行SQL语句将价格变动信息写入降价表内，供前台门户网站展示使用。

Claims

1.一种计算机显示快速更新报价信息的方法，其特征在于该方法用以采集商品报价页数据要求，并依据该要求产生分析商品报价页面数据，该方法包括：

2.根据权利要求1所述的一种计算机显示快速更新报价信息的方法，其特征在于所述的采集规则采集的数据为商品名称、企业名称、企业地址、价格、库存状态的信息，采集规则上设有更新机制，将代码特征输入到更新规则的数据库中。

3.根据权利要求1所述的一种计算机显示快速更新报价信息的方法，其特征在于所述的服务器的服务端负责商品数据、采集规则数据源提供，每个商家的商品数据由第三方程序采集后写入数据库，数据信息包括商家编号、商品编号、商品URI、分类、标题、价格、是否更新、商品介绍、更新时用数据信息。

4.根据权利要求1所述的一种计算机显示快速更新报价信息的方法，其特征在于所述的客户端根据调度器启动客户端，启动多线程机制分别向服务端请求商品信息，并且根据商品URL请求到实时的商品页面内容；所述的系统调度器根据需要更新的商家数量和更新频率平均分配调度时间点，安排每个客户端的启动时间，客户端启动的进程数量可以通过配置文件进行设置。客户端和服务端之间基于二进制远程传输协议实现数据通信，当商家的客户端被启动时，会创建若干个线程同时向服务端请求商品信息，这时服务端从商品采集库中读取商家商品数据分别传送给客户端，客户端一个进程即可以完成一次完整的数据请求工作，若干个进程同时启动就实现了多任务并发执行数据更新，如果再开启一个客户端，那么又可以创建若干个进程来完成下一批商品数据的更新工作，这样的客户端可以由调度器来决定启动次数和调用的频率。

5.根据权利要求1所述的一种计算机显示快速更新报价信息的方法，其特征在于所述数据分析入库对采集后的数据需要进行规范化处理，分析商品的价格和异常数据处理，所述的商品价格解析：进程取到服务端返回的商品数据集合后，会循环读取出商品的URL地址向网站请求商品页面内容，同时读取采集规则设置的参数信息分析出本次请求的商品价格内容，然后与本地价格比较，如果发现商品价格不相同，则向产品降价表写入一条数据，同时也更新采集数据库中的价格和更新时间信息。针对降价表内的数据，会根据用户订阅的内容，读取出当天最新降价的商品向客户发送降价商品信息，所述的异数据常处理：在向商家站点请求商品数据过程中可能会因为网络连接、服务器关闭、商品下架等诸多因素，针对此类情况，客户端对各类异常进行捕获，对不同的异常情况建立不同的状态码进行标识，写入采集数据库表中，做为下次数据请求或者后期数据处理时参考使用。