CN107944993A - 一种商品采集调度方法及系统 - Google Patents

一种商品采集调度方法及系统 Download PDF

Info

Publication number
CN107944993A
CN107944993A CN201810019609.1A CN201810019609A CN107944993A CN 107944993 A CN107944993 A CN 107944993A CN 201810019609 A CN201810019609 A CN 201810019609A CN 107944993 A CN107944993 A CN 107944993A
Authority
CN
China
Prior art keywords
frequency
commodity
collection
days
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810019609.1A
Other languages
English (en)
Inventor
崔俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Is Worth Buying A Polytron Technologies Inc
Original Assignee
Beijing Is Worth Buying A Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Is Worth Buying A Polytron Technologies Inc filed Critical Beijing Is Worth Buying A Polytron Technologies Inc
Priority to CN201810019609.1A priority Critical patent/CN107944993A/zh
Publication of CN107944993A publication Critical patent/CN107944993A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及电子商务技术领域,具体涉及一种商品采集调度方法及系统,该方法包括:为所有要采集商品设置采集标记;设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。通过本发明,提高了商品采集系统的效率以及实用性。

Description

一种商品采集调度方法及系统
技术领域
本发明涉及电子商务技术领域,具体涉及一种商品采集调度方法及系统。
背景技术
商品采集调度是指在采集商品信息过程中,根据商品价格的变动规律,制定出特殊的个性化的采集策略。随着商品采集数量的增多,围绕商品采集调度开展的调度策略以及系统也日益增多。海量的商品数据包含了商品的各种标题、图片、规格、评论、优惠以及价格等信息。其中对于价格采集进行调度的研究也是非常有价值的。
常规商品采集流程如下:
(一)从网站入口页获取列表页URL(Uniform Resource Locator,统一资源定位符),对列表页的URL格式处理,同一个网站内部的列表页URL格式相同;遍历列表页URL获取商品单页URL、商品标题、图片等信息,将列表页URL和单页商品URL以及商品标题、图片等信息保存到数据库,并且要给商品价格赋值作为初始价格,价格更新时间、商品进入数据库的时间等信息都要进行初始化。
(二)从数据库中取出所有单页URL,分析页面结构,采集优惠信息、库存、规格、品牌等属性,处理后存放到数据库中。将商品每次的价格变动信息单独存放,日后便于查看商品的价格变动,也可以据此生成包含商品的所有历史价格节点的价格曲线。
但是,随着商品的日益增多,数据量呈现爆炸式增长。要做到尽可能的及早感知到商品的价格变动,需要以最短的采集间隔对商品进行全量采集(对所有商品进行采集)。目前策略的拟定完全参考历史价格变动,并且基于一个假设,即最近一段时间内,价格长期未变的商品,在短期内价格可能也不会变化。如果商品的真实价格变动不吻合这个假设,可能会导致一些价格变动采集未能完全覆盖。进一步,通过对25万某一电商商品价格曲线研究发现,超过半数的商品在60天以内价格没有变动(如表1所示)。在对比商品的区间占比和精确占比时不难发现,商品价格的变动总是集中在部分商品身上。如果按照常规全量采集的话,不但是对采集资源极大的浪费,而且影响了对其他商品价格的及时采集,价格敏感性(是否能及时采集到价格变动的商品)随之降低。
表1
发明内容
针对上述缺陷与不同,本发明提供了一种商品采集调度方法及系统,以提高商品采集系统的效率以及实用性。
为了实现上述目的,本发明提供了如下技术方案:
一种商品采集调度方法,所述方法包括:
为所有要采集商品设置采集标记;
设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;
以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;
根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。
优选地,所述不同等级的采集频率还包括:第二频率,所述第二频率低于所述第一频率;
所述根据所述天数将所述采集标记指定为不同等级的采集频率包括:
检测所述天数是否大于或等于第一设定天数并且小于第二设定天数,所述第二设定天数大于所述第一设定天数;
如果是,将所述采集标记指定为所述第二频率,以对商品进行第二频率的采集。
优选地,所述不同等级的采集频率还包括:第三频率,所述第三频率低于所述第二频率;
所述根据所述天数将所述采集标记指定为不同等级的采集频率包括:
在所述天数大于第一设定天数时,检测所述天数是否大于第二设定天数;
如果是,将所述采集标记指定为所述第三频率,以对商品进行第三频率的采集。
优选地,所述根据所述采集标记对商品进行不同等级采集频率的采集包括:
根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率;
如果是,继续采集商品的URL;
检测商品的价格是否有变动;
如果是,指定所述采集标记为所述第一频率,以对商品进行第一频率的采集。
优选地,所述方法还包括:
如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率。
优选地,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括:
当所述采集标记指定的频率为第一频率时,如果商品价格没有变动;
计算商品采集时间距离上一次变价时间的天数;
检测所述天数是否大于第一设定天数;如果是,将所述采集标记降低为第二频率,以对商品进行第二频率的采集。
优选地,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括:
当所述采集标记指定的频率为第二频率时,如果商品价格没有变动;
计算商品采集时间距离上一次变价时间的天数;
检测所述天数是否大于所述第二设定天数;如果是,将所述采集标记降低为第三频率,以对商品进行第三频率的采集。
优选地,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括:
当所述采集标记指定的频率为第三频率时,如果商品价格没有变动;
使所述采集标记保持为第三频率。
一种商品采集调度系统,包括:采集器以及数据库;
所述采集器为所有要采集商品设置采集标记,并设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;
所述采集器以所述第一频率采集所有要采集商品的URL,通过调用WCF将商品信息存储到所述数据库;
所述采集器根据数据库的商品信息计算当前商品采集时间距离上一次变价时间的天数,并根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。
优选地,所述不同等级的采集频率还包括:第二频率、第三频率,所述第二频率低于所述第一频率,所述第三频率低于所述第二频率;
所述采集器在所述天数大于第一设定天数并且小于第二设定天数时,将所述采集标记指定为所述第二频率;
所述采集器在所述天数大于第二设定天数时,将所述采集标记指定为所述第三频率,所述第二设定天数大于所述第一设定天数。
本发明的有益效果在于:
本发明实施例提供的商品采集调度方法及系统,采集器为所有要采集商品设置采集标记,并设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;所述采集器以所述第一频率采集所有要采集商品的URL,通过调用WCF将商品信息存储到数据库;所述采集器根据数据库的商品信息计算当前商品采集时间距离上一次变价时间的天数,并根据所述天数将所述采集标记指定为不同等级的采集频率。通过本发明,提高了商品采集系统的效率以及实用性。
附图说明
图1是本发明实施例商品采集调度方法的第一种流程图。
图2是本发明实施例商品采集调度方法的第二种流程图。
图3是本发明实施例商品采集调度方法的第三种流程图。
图4是本发明实施例中当采集标记指定的频率为第一频率时图3中步骤306-310的具体流程图。
图5是本发明实施例中当采集标记指定的频率为第二频率时图3中步骤306-310的具体流程图。
图6是本发明实施例中当采集标记指定的频率为第三频率时图3中步骤306-310的具体流程图。
具体实施方式
为了使本领域技术人员能更进一步了解本发明的特征及技术内容,下面结合附图和实施方式对本发明实施例作详细说明。
如图1所示是本发明实施例商品采集调度方法的第一种流程图,包括以下步骤:
步骤100:开始。
步骤101:为所有要采集商品设置采集标记。
需要说明的是,本发明可以由采集器对所有要采集商品设置采集标记,采集器根据所述采集标记内容确定商品的采集频率。
步骤102:设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率。
需要说明是的,不同等级的采集频率即为多种不同的频率。具体地,第一频率可以根据采集系统具体地采集次数标定确定,比如,第一频率为1次/天。
步骤103:以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库。
步骤104:根据所述商品信息,计算商品采集时间距离上一次变价时间的天数。
需说明的是,计算商品采集时间距离上一次变价时间的天数是指:当前商品下、当前采集时间下针对当前商品上一次变价时间的间隔的天数。
步骤105:根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。
步骤106:结束。
需要说明的是,本发明实施是以商品价格变动作为商品的变动参照,当然,本发明实施例不限于以商品价格变动作为参照,还可以商品数量变动或商品性能等作为变动参照。
本发明实施例提供的商品采集调度方法,省去了采集价格变动次数少的那些商品,重点关注价格变动频繁的商品采集,较之前更加灵活,实用性强,适用范围广泛。
如图2所示是本发明实施例商品采集调度方法的第二种流程图,包括以下步骤:
步骤200:开始。
步骤201:为所有要采集商品设置采集标记。
步骤202:设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率、第二频率以及第三频率,所述第二频率低于所述第一频率,所述第三频率低于所述第二频率。
需要说明是的,不同等级的采集频率即为多种不同的频率。具体地,第一频率、第二频率、第三频率可以根据采集系统具体地采集次数标定确定,比如,第一频率为1次/天,第二频率为1次/3天,第三频率为1次/7天。
步骤203:以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库。
步骤204:根据所述商品信息,计算商品采集时间距离上一次变价时间的天数。
步骤205:检测所述天数是否小于第一设定天数;如果是,执行步骤206;否则,执行步骤208。
需要说明的是,第一设定天数可以根据采集系统具体地采集次数通过标定确定,比如,第一设定天数为30天。
步骤206:将所述采集标记指定为所述第一频率,以对商品进行第一频率的采集。
步骤207:结束。
步骤208:检测所述天数是否大于或等于第一设定天数并且小于第二设定天数,第二设定天数大于所述第一设定天数;如果是,执行步骤209;否则,执行步骤210。
需要说明的是,第二设定天数可以根据采集系统具体地采集次数通过标定确定,比如,第二设定天数为60天。
步骤209:将所述采集标记指定为所述第二频率,对商品进行第二频率的采集,执行步骤207。
步骤210:将所述采集标记指定为所述第三频率,以对商品进行第三频率的采集,执行步骤207。
本发明实施例提供的商品采集调度方法,为所有要采集商品设置采集标记,将采集频率分成三个等级,并根据商品价格变动天数,将所述采集标记指定为不同等级的采集频率,根据所述采集标记对商品进行不同等级采集频率的采集。通过本申请,节省了采集资源,可以及时采集商品价格变化情况,提高了价格敏感性。
在指定完不同等级采集频率,对商品进行不同等级采集频率的采集后,为了更好的提高价格敏感性,如图3所示是本发明实施例商品采集调度方法的第三种流程图,包括以下步骤:
步骤300:开始。
步骤301:为所有要采集商品设置采集标记。
步骤302:设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率。
步骤303:以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库。
步骤304:根据所述商品信息,计算商品采集时间距离上一次变价时间的天数。
步骤305:根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。
步骤306:根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率;如果是,执行步骤307;否则,返回执行步骤306。
步骤307:继续采集商品的URL。
步骤308:检测商品的价格是否有变动;如果是,执行步骤309;否则,执行步骤310。
步骤309:指定所述采集标记为所述第一频率,返回执行步骤306。
步骤310:使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率,返回执行步骤306。
为了更好的说明,在价格没有变动时,如何使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记指定为不同等级的采集频率。下面结合流程图4-6进行介绍。
如图4所示为所述采集标记指定的频率为第一频率时图3中步骤306-310的具体流程图,包括以下步骤:
步骤400:根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的第一频率;如果是,执行步骤401;否则,返回执行步骤400。
步骤401:继续采集商品的URL。
步骤402:检测商品的价格是否有变动;如果是,执行步骤403;否则,执行步骤404。
步骤403:指定所述采集标记为所述第一频率,返回执行步骤400。
步骤404:计算商品采集时间距离上一次变价时间的天数。
步骤405:检测所述天数是否大于第一设定天数;如果是,执行步骤406;否则,返回步骤403。
步骤406:将所述采集标记降低为第二频率,以对商品进行第二频率的采集,返回执行步骤400。
如图5所示为所述采集标记指定的频率为第二频率时图3中步骤306-310的具体流程图,包括以下步骤:
步骤500:根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的第二频率;如果是,执行步骤501;否则,返回执行步骤500。
步骤501:继续采集商品的URL。
步骤502:检测商品的价格是否有变动;如果是,执行步骤503;否则,执行步骤504。
步骤503:指定所述采集标记为所述第一频率,以对商品进行第一频率的采集,返回执行步骤500。
步骤504:计算商品采集时间距离上一次变价时间的天数。
步骤505:检测所述天数是否大于第二设定天数;如果是,执行步骤506;否则,执行步骤507。
步骤506:将所述采集标记降低为第三频率,以对商品进行第三频率的采集,返回执行步骤500。
步骤507:使所述采集标记保持第二频率,以对商品进行第二频率的采集,返回执行步骤500。
进一步,如图6所示为所述采集标记指定的频率为第三频率时图3中步骤306-310的具体流程图,包括以下步骤:
步骤600:根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的第三频率;如果是,执行步骤601;否则,返回执行步骤600。
步骤601:继续采集商品的URL。
步骤602:检测商品的价格是否有变动;如果是,执行步骤603;否则,执行步骤604。
步骤603:指定所述采集标记为所述第一频率,返回执行步骤600。
步骤604:使所述采集标记保持为第三频率,以对商品进行第二频率的采集,返回执行步骤600。
综上所述,本发明实施例提供的商品采集调度方法,为所有要采集商品设置采集标记;设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率;根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率;如果是,继续采集商品的URL;检测商品的价格是否有变动;如果是,指定所述采集标记为所述第一频率,对商品进行第一频率的采集;否则,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记指定为不同等级的采集频率。通过本发明,对比之前的全量采集,大约能解决57%的采集开销。此种调度省去了采集价格变动次数少的那些商品,重点关注价格变动频繁的商品采集,较之前更加灵活,实用性强,适用范围广泛。
针对上述方法,本发明还提供了一种商品采集调度系统,所述系统包括:采集器以及数据库;所述采集器为所有要采集商品设置采集标记,并设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;所述采集器以所述第一频率采集所有要采集商品的URL,通过调用WCF(Windows Communication Foundation,Windows通讯开发平台)将商品信息存储到所述数据库;所述采集器根据数据库的商品信息计算当前商品采集时间距离上一次变价时间的天数,并根据所述天数将所述采集标记指定为不同等级的采集频率;所述采集器根据所述采集标记对商品进行不同等级采集频率的采集。需要说明是的,不同等级的采集频率即为多种不同的频率。具体地,第一频率可以根据采集系统具体地采集次数标定确定,比如,第一频率为1次/天。
需要说明的是,WFC是由微软开发的一系列支持数据通信的应用程序框架,WFC简单的归结为四大部分1)网络服务的协议,即用什么网络协议开放客户端接入。2)业务服务的协议,即声明服务提供哪些业务。3)数据类型声明,即对客户端与服务器端通信的数据部分进行一致化。4)传输安全性相关的定义。
需要说明的是,URL(Uniform Resource Locator,统一资源定位符)是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。
需要说明的是,部署本发明实施例商品采集调度系统的详细步骤如下:
在windows服务器上部署采集系统,并在IIS(Internet Information Services,互联网信息服务)中部署好系统需要调用的负责采集调度的WCF,配置好需要采集的网站的入口页、商品的URL等信息的匹配规则以及采集规则。将上述过程完成后,就可以运行采集调度系统对商品进行采集。
需要说明的是,IIS是由微软公司提供的基于运行Microsoft Windows 的互联网基本服务。最初是Windows NT版本的可选包,随后内置在Windows 2000、Windows XPProfessional和Windows Server 2003一起发行,但在Windows XP Home版本上并没有IIS。
进一步,本发明的另一个实施例中,所述不同等级的采集频率还包括:第二频率、第三频率,所述第二频率低于所述第一频率,所述第三频率低于所述第二频率;所述采集器在所述天数大于第一设定天数并且小于第二设定天数时,将所述采集标记指定为所述第二频率;所述采集器在所述天数大于第二设定天数时,将所述采集标记指定为所述第三频率,所述第二设定天数大于所述第一设定天数;所述采集在所述天数小于所述第一设定天数时,将所述采集标记指定为所述第一频率。需要说明是的,不同等级的采集频率即为多种不同的频率。具体地,第一频率、第二频率、第三频率可以根据采集系统具体地采集次数标定确定,比如,第一频率为1次/天,第二频率为1次/3天,第三频率为1次/7天。需要说明的是,第一设定天数、第二设定天数可以根据采集系统具体地采集次数通过标定确定,比如,第一设定天数为30天,第二设定天数为60天。
更进一步,本发明的另一个实施例中,所述采集器指定完不同等级的采集频率后,根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率;如果是,继续采集商品的URL,并检测商品的价格是否有变动,如果是,指定所述采集标记为所述第一频率,对商品进行第一频率的采集;如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率。
更进一步,本发明的另一个实施例中,所述采集器在所述采集标记指定的频率为第一频率时,如果商品价格没有变动,计算商品采集时间距离上一次变价时间的天数;检测所述天数是否大于第一设定天数,如果是,将所述采集标记降低为第二频率,对商品进行第二频率的采集。
更进一步,本发明的另一个实施例中,所述采集器在所述采集标记指定的频率为第二频率时,如果商品价格没有变动,计算商品采集时间距离上一次变价时间的天数,并检测所述天数是否大于第二设定天数,所述第二设定天数大于所述第一设定天数,如果是,将所述采集标记降低为第三频率,对商品进行第三频率的采集。
更进一步,本发明的另一个实施例中,所述采集器在所述采集标记指定的频率为所述第三频率时,如果商品价格没有变动,使所述采集标记保持为第三频率。
综上所述,本发明实施例提供的商品采集调度系统,采集器调用WCF从数据库中读取所有要采集的商品的URL;采集器从网页采集所有要采集商品的URL。采集器首次采集时,默认所有商品的采集频率为第一频率,即采集标识为第一频率;采集器将网页上实时采集商品的时间与数据库中商品上一次价格变动时间相减得到当前商品采集时间距离上一次变价时间的天数,并根据所述天数将所述采集标记指定为不同等级的采集频率;所述采集器根据所述采集标记对商品进行不同等级采集频率的采集。在达到指定的不同等级采集频率后,继续采集商品URL,并根据商品价格变动情况,指定采集标记为所述第一频率,或者使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记指定为不同等级的采集频率。具体地,本发明实施例中,如果该商品的价格在第二设定天数内价格没有变动,那么继续保持第二频率,比如三天采集一次价格;若是在超过第二设定天数时间里价格内没有变动,则商品的采集频率降为第三频率,比如七天采集一次价格。如果商品价格距离上次采集时间价格变动的频率小于第一频率时,则商品的采集频率会重新恢复到第一频率,比如一天采集一次价格。通过本发明,对比之前的全量采集,大约能解决57%的采集开销。此种调度省去了采集价格变动次数少的那些商品,重点关注价格变动频繁的商品采集,较之前更加灵活,实用性强,适用范围广泛。因此,本系统为一种实用性更强,效率更高的采集调度系统。
以上对本发明实施例进行了详细介绍,本文中应用了具体实施方式对本发明进行了阐述,以上实施例的说明只是用于帮助理解本发明的系统及方法;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种商品采集调度方法,其特征在于,所述方法包括:
为所有要采集商品设置采集标记;
设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;
以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;
根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。
2.根据权利要求1所述的商品采集调度方法,其特征在于,所述不同等级的采集频率还包括:第二频率,所述第二频率低于所述第一频率;
所述根据所述天数将所述采集标记指定为不同等级的采集频率包括:
检测所述天数是否大于或等于第一设定天数并且小于第二设定天数,所述第二设定天数大于所述第一设定天数;
如果是,将所述采集标记指定为所述第二频率,以对商品进行第二频率的采集。
3.根据权利要求2所述的商品采集调度方法,其特征在于,所述不同等级的采集频率还包括:第三频率,所述第三频率低于所述第二频率;
所述根据所述天数将所述采集标记指定为不同等级的采集频率包括:
在所述天数大于第一设定天数时,检测所述天数是否大于第二设定天数;
如果是,将所述采集标记指定为所述第三频率,以对商品进行第三频率的采集。
4.根据权利要求3所述的商品采集调度方法,其特征在于,所述根据所述采集标记对商品进行不同等级采集频率的采集包括:
根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率;
如果是,继续采集商品的URL;
检测商品的价格是否有变动;
如果是,指定所述采集标记为所述第一频率,以对商品进行第一频率的采集。
5.根据权利要求4所述的商品采集调度方法,其特征在于,所述方法还包括:
如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率。
6.根据权利要求5所述的商品采集调度方法,其特征在于,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括:
当所述采集标记指定的频率为第一频率时,如果商品价格没有变动;
计算商品采集时间距离上一次变价时间的天数;
检测所述天数是否大于第一设定天数;如果是,将所述采集标记降低为第二频率,以对商品进行第二频率的采集。
7.根据权利要求6所述的商品采集调度方法,其特征在于,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括:
当所述采集标记指定的频率为第二频率时,如果商品价格没有变动;
计算商品采集时间距离上一次变价时间的天数;
检测所述天数是否大于所述第二设定天数;如果是,将所述采集标记降低为第三频率,以对商品进行第三频率的采集。
8.根据权利要求7所述的商品采集调度方法,其特征在于,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括:
当所述采集标记指定的频率为第三频率时,如果商品价格没有变动;
使所述采集标记保持为第三频率。
9.一种商品采集调度系统,其特征在于,包括:采集器以及数据库;
所述采集器为所有要采集商品设置采集标记,并设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;
所述采集器以所述第一频率采集所有要采集商品的URL,通过调用WCF将商品信息存储到所述数据库;
所述采集器根据数据库的商品信息计算当前商品采集时间距离上一次变价时间的天数,并根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。
10.根据权利要求9所述的商品采集调度系统,其特征在于,所述不同等级的采集频率还包括:第二频率、第三频率,所述第二频率低于所述第一频率,所述第三频率低于所述第二频率;
所述采集器在所述天数大于第一设定天数并且小于第二设定天数时,将所述采集标记指定为所述第二频率;
所述采集器在所述天数大于第二设定天数时,将所述采集标记指定为所述第三频率,所述第二设定天数大于所述第一设定天数。
CN201810019609.1A 2018-01-09 2018-01-09 一种商品采集调度方法及系统 Pending CN107944993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810019609.1A CN107944993A (zh) 2018-01-09 2018-01-09 一种商品采集调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810019609.1A CN107944993A (zh) 2018-01-09 2018-01-09 一种商品采集调度方法及系统

Publications (1)

Publication Number Publication Date
CN107944993A true CN107944993A (zh) 2018-04-20

Family

ID=61937510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810019609.1A Pending CN107944993A (zh) 2018-01-09 2018-01-09 一种商品采集调度方法及系统

Country Status (1)

Country Link
CN (1) CN107944993A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1779707A (zh) * 2004-11-27 2006-05-31 鸿富锦精密工业(深圳)有限公司 商品价格管制系统及方法
CN101853466A (zh) * 2010-05-18 2010-10-06 上海购龙信息科技有限公司 一种计算机显示快速更新报价信息的方法
CN103700010A (zh) * 2013-12-30 2014-04-02 世纪禾光科技发展(北京)有限责任公司 一种商品轨迹系统及相关方法
CN107358504A (zh) * 2017-07-12 2017-11-17 江苏科大汇峰科技有限公司 一种基于微信平台的采供商品报价方法
CN107464159A (zh) * 2017-07-14 2017-12-12 太仓诚泽网络科技有限公司 一种商场价格及数量变动通知系统
CN107507075A (zh) * 2017-09-26 2017-12-22 北京阳光公采科技有限公司 公共采购大数据价格监测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1779707A (zh) * 2004-11-27 2006-05-31 鸿富锦精密工业(深圳)有限公司 商品价格管制系统及方法
CN101853466A (zh) * 2010-05-18 2010-10-06 上海购龙信息科技有限公司 一种计算机显示快速更新报价信息的方法
CN103700010A (zh) * 2013-12-30 2014-04-02 世纪禾光科技发展(北京)有限责任公司 一种商品轨迹系统及相关方法
CN107358504A (zh) * 2017-07-12 2017-11-17 江苏科大汇峰科技有限公司 一种基于微信平台的采供商品报价方法
CN107464159A (zh) * 2017-07-14 2017-12-12 太仓诚泽网络科技有限公司 一种商场价格及数量变动通知系统
CN107507075A (zh) * 2017-09-26 2017-12-22 北京阳光公采科技有限公司 公共采购大数据价格监测方法

Similar Documents

Publication Publication Date Title
JP6494777B2 (ja) 端末にプッシュされるデータコンテンツを選択するための方法およびデバイス
CN101971172B (zh) 移动站点地图
US6343274B1 (en) Apparatus and method for merchant-to-consumer advertisement communication system
CN101192227B (zh) 一种基于分布式计算网络的日志文件分析方法和系统
CN101341464B (zh) 对结构化数据进行搜索的方法、系统以及使数据项结构化及可搜索的方法、系统
US10963520B2 (en) Automatic placement of hyperlinks on words and phrases in documents
CN105187237B (zh) 查找相关联的用户标识的方法和装置
CN105718559B (zh) 查找表单页面和目标页面转化关系的方法和装置
CN106295382B (zh) 一种信息风险防控方法及装置
CN102004756A (zh) 跨越web映射的流量可视化
CN102056351B (zh) 一种推送服务系统及方法
CN101408877A (zh) 树节点加载系统及其方法
CN103279567A (zh) 一种基于AJAX的Web数据采集方法及系统
CN107730337A (zh) 信息推送方法和装置
CN102624756B (zh) 数据下载终端以及数据下载方法
CN106126648A (zh) 一种基于重做日志的分布式商品信息爬虫方法
CN101464984A (zh) 一种利用广告位标签发布广告的广告发布控制系统及方法
CN110298716A (zh) 信息推送方法和装置
CN110111167A (zh) 一种确定推荐对象的方法和装置
CN102118711B (zh) 信息推送方法和信息推送装置
CN106485447A (zh) 基于用户浏览商品行为的数据处理的方法、装置及系统
CN108170843A (zh) 用于获取数据的方法和装置
CN107835132A (zh) 一种流量来源跟踪的方法及装置
CN104753979B (zh) 一种显示网站信息的方法、服务器、终端及系统
CN110413896A (zh) 网络信息推送方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication