CN103761669A - 网络爬虫技术应用在网购上的方法 - Google Patents

网络爬虫技术应用在网购上的方法 Download PDF

Info

Publication number
CN103761669A
CN103761669A CN201310754449.2A CN201310754449A CN103761669A CN 103761669 A CN103761669 A CN 103761669A CN 201310754449 A CN201310754449 A CN 201310754449A CN 103761669 A CN103761669 A CN 103761669A
Authority
CN
China
Prior art keywords
commodities
commodity
online shopping
server
websites
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310754449.2A
Other languages
English (en)
Inventor
朱龙腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI BOSHI INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI BOSHI INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI BOSHI INFORMATION SCIENCE & TECHNOLOGY Co Ltd filed Critical SHANGHAI BOSHI INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201310754449.2A priority Critical patent/CN103761669A/zh
Publication of CN103761669A publication Critical patent/CN103761669A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种网络爬虫技术应用在网购上的方法，流程如下;输入需要购买商品的名称,服务器收索购物网站的URL,服务器对输入的商品名进行分类，然后在这些网站上抓取有用的信息,对输出的商品设定限定条件后输出,通过点击商品进行购买。本发明在网络爬虫技术的基础上，优化出了一种应用与网上购物的收索引擎，它将使用者所需要的同类商品全部抓取，然后就可以对商品的价格、性能进行比较，也可以设定限定条件输出，如价格，是否需要运费等，它可以帮助我们在网上轻松的购买到便宜又好的商品，为互联网购物做出了一定的贡献，且随着网购的兴起，它将有一个很大的市场。

Description

网络爬虫技术应用在网购上的方法
发明领域
本发明涉及一种网购过程中的同时浏览多个网站的方法，属于收索引擎技术领域。
背景技术
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。现在网购已经很平常了，我们在网上选购商品时往往不能同时浏览多个网站，为我们对商品的比较带来了很大的困难。为此，我将网络爬虫技术，作一定的改进，来满足我们同时浏览多个购物网站的需求。
发明内容
本发明为解决目前在网上购物时无法同时浏览多个购物网站的问题，提供一种网络爬虫技术应用在网购上的方法。本发明包括以下步骤：
步骤一：输入需要购买商品的名称；
步骤二：服务器收索购物网站的URL；
步骤三：服务器对输入的商品名进行分类，然后在这些网站上抓取有用的信息；
步骤四：对输出的商品设定限定条件后输出；
步骤五：通过点击商品进行购买。
发明效果：本发明在网络爬虫技术的基础上，优化出了一种应用与网上购物的收索引擎，它将使用者所需要的同类商品全部抓取，然后就可以对商品的价格、性能进行比较，也可以设定限定条件输出，如价格，是否需要运费等，它可以帮助我们在网上轻松的购买到便宜又好的商品，为互联网购物做出了一定的贡献，且随着网购的兴起，它将有一个很大的市场。
附图说明
图1为网络爬虫技术应用在网购上的方法流程图。
具体实施方式
具体实施方式：参见网络爬虫技术应用在网购上的方法流程图1，本实施方式由以下步骤组成：
步骤一：输入需要购买商品的名称；
步骤二：服务器收索购物网站的URL；
步骤三：服务器对输入的商品名进行分类，然后在这些网站上抓取有用的信息；
步骤四：对输出的商品设定限定条件后输出；
步骤五：通过点击商品进行购买。
服务器不断抓取物网站的URL直到获取目标网页为止，服务器对输入的商品名进行分类，然后在这些网站上抓取有用的信息，该类信息为使用者输入的同类商品，对输出的商品设定限定条件后输出，该条件为颜色，价格，是否需要运费，点击商品进行购买需要购买者操作才可以。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将发明例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.一种网络爬虫技术应用在网购上的方法，其特征在于它由以下步骤实现：
步骤一：输入需要购买商品的名称；
步骤二：服务器收索购物网站的URL；
步骤三：服务器对输入的商品名进行分类，然后在这些网站上抓取有用的信息；
步骤四：对输出的商品设定限定条件后输出；
步骤五：通过点击商品进行购买。
2.根据权利要求书1所述网络爬虫技术应用在网购上的方法，其特征在于：步骤二中所述服务器不断抓取物网站的URL直到获取目标网页为止。
3.根据权利要求书1所述网络爬虫技术应用在网购上的方法，其特征在于：步骤三中所述服务器对输入的商品名进行分类，然后在这些网站上抓取有用的信息，该类信息为使用者输入的同类商品。
4.根据权利要求书1所述网络爬虫技术应用在网购上的方法，其特征在于：步骤四中所述对输出的商品设定限定条件后输出，该条件为颜色，价格，是否需要运费。
5.根据权利要求书1所述网络爬虫技术应用在网购上的方法，其特征在于：步骤五中所述点击商品进行购买需要购买者操作才可以。
CN201310754449.2A 2013-12-31 2013-12-31 网络爬虫技术应用在网购上的方法 Pending CN103761669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310754449.2A CN103761669A (zh) 2013-12-31 2013-12-31 网络爬虫技术应用在网购上的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310754449.2A CN103761669A (zh) 2013-12-31 2013-12-31 网络爬虫技术应用在网购上的方法

Publications (1)

Publication Number Publication Date
CN103761669A true CN103761669A (zh) 2014-04-30

Family

ID=50528903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310754449.2A Pending CN103761669A (zh) 2013-12-31 2013-12-31 网络爬虫技术应用在网购上的方法

Country Status (1)

Country Link
CN (1) CN103761669A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126697A (zh) * 2016-06-30 2016-11-16 广州市皓轩软件科技有限公司 一种基于Web动态信息抓取技术的详情页面自动生成方法
CN106504061A (zh) * 2016-10-31 2017-03-15 沈思远 一种极简购物网站交互系统和方法
CN107808325A (zh) * 2017-10-26 2018-03-16 广州供电局有限公司 多电商商品信息实时采集系统及多电商并发实时比价方法
US11403693B1 (en) 2021-02-19 2022-08-02 Coupang Corp. Method, electronic device, and non-transitory computer-readable recording medium for providing information on item

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375856A (zh) * 2010-08-23 2012-03-14 腾讯科技（深圳）有限公司 一种商品搜索方法和装置
CN102779133A (zh) * 2011-05-12 2012-11-14 苏州同程旅游网络科技有限公司 基于多平台、多供应商的搜索比价方法
CN102968495A (zh) * 2012-11-29 2013-03-13 河海大学 搜索对比关联购物信息的垂直搜索引擎及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375856A (zh) * 2010-08-23 2012-03-14 腾讯科技（深圳）有限公司 一种商品搜索方法和装置
CN102779133A (zh) * 2011-05-12 2012-11-14 苏州同程旅游网络科技有限公司 基于多平台、多供应商的搜索比价方法
CN102968495A (zh) * 2012-11-29 2013-03-13 河海大学 搜索对比关联购物信息的垂直搜索引擎及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126697A (zh) * 2016-06-30 2016-11-16 广州市皓轩软件科技有限公司 一种基于Web动态信息抓取技术的详情页面自动生成方法
CN106504061A (zh) * 2016-10-31 2017-03-15 沈思远 一种极简购物网站交互系统和方法
CN107808325A (zh) * 2017-10-26 2018-03-16 广州供电局有限公司 多电商商品信息实时采集系统及多电商并发实时比价方法
US11403693B1 (en) 2021-02-19 2022-08-02 Coupang Corp. Method, electronic device, and non-transitory computer-readable recording medium for providing information on item

Similar Documents

Publication Publication Date Title
CN104463630B (zh) 一种基于网购保险产品特性的产品推荐方法及系统
CN102541862B (zh) 跨网站的信息显示方法及系统
US10043199B2 (en) Method, device and system for publishing merchandise information
US20130339337A1 (en) Auto tagging method and system
CN102693271A (zh) 一种网络信息推荐方法及系统
US11416482B2 (en) Adaptive search refinement
CN105740380A (zh) 数据融合方法及系统
CN104572863A (zh) 一种产品推荐方法及系统
CN103761669A (zh) 网络爬虫技术应用在网购上的方法
US11409805B2 (en) Computer implemented system and methods for implementing a search engine access point enhanced for suggested listing navigation
CN106504020A (zh) 一种基于seo的智能网络营销系统
CN102629265B (zh) 一种建立网页数据库的方法及系统
CN106959949A (zh) 一种用于推荐系统的数据结构化处理方法
CN105468618A (zh) 一种网络爬虫论文查重法
CN103744944A (zh) 网络爬虫在抓取网页或数据时再过滤的方法
US20170124161A1 (en) Presentation of digital data
CN108446296B (zh) 一种信息处理方法及装置
JP2014006864A (ja) 検索語自動完成と連動するプレビューコンテンツの提供方法
CN103530351A (zh) 一种网络数据信息的搜索方法
CN101017482A (zh) 网页搜寻结果的表列最佳化方法及使用该方法的系统
CN105893559A (zh) 一种数据推送方法及装置
CN105354292A (zh) 一种页面输出方法及装置
CN104050174B (zh) 一种个性化页面生成方法及装置
CN104063453A (zh) 一种基于url分析的营销关键词提取的方法
CN101169861A (zh) 基于网络浏览行为的用户倾向性建模方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140430

RJ01 Rejection of invention patent application after publication