CN104750862A - 数据处理解析系统及方法 - Google Patents
数据处理解析系统及方法 Download PDFInfo
- Publication number
- CN104750862A CN104750862A CN201510181314.0A CN201510181314A CN104750862A CN 104750862 A CN104750862 A CN 104750862A CN 201510181314 A CN201510181314 A CN 201510181314A CN 104750862 A CN104750862 A CN 104750862A
- Authority
- CN
- China
- Prior art keywords
- thread
- data
- order
- data processing
- modification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种数据处理解析系统及方法，方法包括如下步骤：第一线程修改与订单对应的原始URL，设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据；第二线程遍历订单数据，并查询出待修改的订单数据源；第三线程对待修改的订单进行数据修改并保存。本发明能够对订单数据进行自动处理和修改，包括自动恢复历史订单数据及自动修改订单票台票点数据，从而减少了订单修改的操作步骤，方便了用户操作。
Description
技术领域
本发明涉及一种数据处理解析系统及方法。
背景技术
现有技术中在修改订单时都需要手动操作，无论是修改订单的票台票点数据还是恢复订单的历史数据，均需要人工操作，导致操作步骤繁琐和频繁。
发明内容
本发明要解决的技术问题是为了克服现有技术中订单处理操作需要人工操作，导致操作步骤繁琐及频繁的缺陷，提供一种数据处理解析系统及方法。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种数据处理解析方法，其特点在于，包括如下步骤：
第一线程修改与订单对应的原始URL(统一资源定位符)，设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据；
第二线程遍历订单数据，并查询出待修改的订单数据源；
第三线程对待修改的订单进行数据修改并保存。
较佳地，所述第一线程、所述第二线程及所述第三线程同时运行。
较佳地，所述第一线程修改原始URL的操作包括：在WebBrowser(网页浏览器)中提取Cookie(为了辨别用户身份、储存在用户本地终端上的数据)，并去除所有的HTML(超文本标记语言)代码。
较佳地，第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
本发明的目的在于还提供了一种数据处理解析系统，其特点在于，包括第一线程、第二线程及第三线程；第一线程用于修改与订单对应的原始URL，设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据；
第二线程用于遍历订单数据，并查询出待修改的订单数据源；
第三线程用于对待修改的订单进行数据修改并保存。
较佳地，所述第一线程、所述第二线程及所述第三线程同时运行。
较佳地，所述第一线程修改原始URL的操作包括：在WebBrowser中提取Cookie，并去除所有的HTML代码。
较佳地，第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
本发明的积极进步效果在于：本发明能够对订单数据进行自动处理和修改，包括自动恢复历史订单数据及自动修改订单票台票点数据，从而减少了订单修改的操作步骤，方便了用户操作。
附图说明
图1为本发明的一实施例的数据处理解析系统的结构示意图。
图2为本发明的一实施例的数据处理解析方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明的数据处理解析系统包括第一线程1、第二线程2及第三线程3，其中所述第一线程1用于修改与订单对应的原始URL，包括在WebBrowser中提取Cookie，及去除所有的HTML代码，所述第一线程1还设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据。所述第二线程2则实现遍历订单数据，并查询出待修改的订单数据源；所述第三线程3则对待修改的订单进行数据修改并保存，其中第三线程3的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
在本发明中，所述第一线程1、所述第二线程2及所述第三线程3同时运行。
本发明需要用户运行所述数据处理解析系统，登录之后导入数据源、订单号，点击运行相应软件，在后台实现多线程自动抓包读取，其中会运用爬虫爬取网页的基本步骤，包括：
人工给定一个URL作为入口，并从该入口开始爬取；
用运行队列和完成队列来保存不同状态的链接；
每次抓取网页之后分析其中的URL(URL是字符串形式，功能类似指针)，将经过过滤的合法链接写入运行队列。
本发明中利用多线程同时运行，提高了处理速度。通过开发后的所述数据处理解析系统，直接登录账户，批量导入需要提取数据的数据源，点击执行，实现自动抓取数据，遍历数据表，实现自动修改订单数据。经过测试得知，现有技术中利用人工操作对每一订单的处理操作平均耗时约60秒，而采用本发明的数据处理解析系统对每一订单的处理操作平均耗时则只有约3秒，从而大大提高了处理速度。
如图2所示，本发明利用本实施例的数据处理解析系统实现的数据处理解析方法包括以下步骤：
第一线程修改与订单对应的原始URL，设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据；
第二线程遍历订单数据，并查询出待修改的订单数据源；
第三线程对待修改的订单进行数据修改并保存。
其中所述第一线程修改原始URL的操作包括：在WebBrowser中提取Cookie，并去除所有的HTML代码，第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据，并且所述第一线程、所述第二线程及所述第三线程同时运行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (8)
1.一种数据处理解析方法，其特征在于，包括如下步骤：
第一线程修改与订单对应的原始URL，设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据；
第二线程遍历订单数据，并查询出待修改的订单数据源；
第三线程对待修改的订单进行数据修改并保存。
2.如权利要求1所述的数据处理解析方法，其特征在于，所述第一线程、所述第二线程及所述第三线程同时运行。
3.如权利要求1所述的数据处理解析方法，其特征在于，所述第一线程修改原始URL的操作包括：在WebBrowser中提取Cookie，并去除所有的HTML代码。
4.如权利要求1所述的数据处理解析方法，其特征在于，第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
5.一种数据处理解析系统，其特征在于，包括第一线程、第二线程及第三线程；第一线程用于修改与订单对应的原始URL，设置并生成新的URL格式，并从数据库抓取与新的URL格式对应的订单数据；
第二线程用于遍历订单数据，并查询出待修改的订单数据源；
第三线程用于对待修改的订单进行数据修改并保存。
6.如权利要求5所述的数据处理解析系统，其特征在于，所述第一线程、所述第二线程及所述第三线程同时运行。
7.如权利要求5所述的数据处理解析系统，其特征在于，所述第一线程修改原始URL的操作包括：在WebBrowser中提取Cookie，并去除所有的HTML代码。
8.如权利要求5所述的数据处理解析系统，其特征在于，第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510181314.0A CN104750862A (zh) | 2015-04-16 | 2015-04-16 | 数据处理解析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510181314.0A CN104750862A (zh) | 2015-04-16 | 2015-04-16 | 数据处理解析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104750862A true CN104750862A (zh) | 2015-07-01 |
Family
ID=53590546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510181314.0A Pending CN104750862A (zh) | 2015-04-16 | 2015-04-16 | 数据处理解析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104750862A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111857879A (zh) * | 2020-07-21 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备和计算机可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419696A (zh) * | 2008-12-02 | 2009-04-29 | 腾讯科技（深圳）有限公司 | 电子商务中生成交易订单的方法及装置 |
| CN102831512A (zh) * | 2011-06-14 | 2012-12-19 | 阿里巴巴集团控股有限公司 | 一种加快网上交易数据处理的方法及系统 |
| CN102880947A (zh) * | 2011-07-11 | 2013-01-16 | 阿里巴巴集团控股有限公司 | 一种电子商务平台与物流交易平台的信息交互方法及装置 |
| CN103399933A (zh) * | 2013-08-08 | 2013-11-20 | 人民搜索网络股份公司 | 一种抓取网络平面媒体的网页内容的方法及系统 |
| CN104240532A (zh) * | 2014-09-02 | 2014-12-24 | 沈逸 | 城市智能停车引导系统 |
-
2015
- 2015-04-16 CN CN201510181314.0A patent/CN104750862A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419696A (zh) * | 2008-12-02 | 2009-04-29 | 腾讯科技（深圳）有限公司 | 电子商务中生成交易订单的方法及装置 |
| CN102831512A (zh) * | 2011-06-14 | 2012-12-19 | 阿里巴巴集团控股有限公司 | 一种加快网上交易数据处理的方法及系统 |
| CN102880947A (zh) * | 2011-07-11 | 2013-01-16 | 阿里巴巴集团控股有限公司 | 一种电子商务平台与物流交易平台的信息交互方法及装置 |
| CN103399933A (zh) * | 2013-08-08 | 2013-11-20 | 人民搜索网络股份公司 | 一种抓取网络平面媒体的网页内容的方法及系统 |
| CN104240532A (zh) * | 2014-09-02 | 2014-12-24 | 沈逸 | 城市智能停车引导系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111857879A (zh) * | 2020-07-21 | 2020-10-30 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备和计算机可读介质 |
| CN111857879B (zh) * | 2020-07-21 | 2023-11-24 | 抖音视界有限公司 | 数据处理方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103095681B (zh) | 一种检测漏洞的方法及装置 | |
| CN107241296B (zh) | 一种Webshell的检测方法及装置 | |
| CN107943838B (zh) | 一种自动获取xpath生成爬虫脚本的方法及系统 | |
| CN102938789B (zh) | 一种移动互联网手机应用下载组合分析方法和装置 | |
| CN102200971A (zh) | 一种实现网页内容预览的方法和设备 | |
| CN110020062B (zh) | 一种可定制的网络爬虫方法及系统 | |
| CN104933138A (zh) | 网页爬虫系统及网页爬取方法 | |
| CN102486799A (zh) | 一种环球信息网www页面处理方法和装置 | |
| CN104618132A (zh) | 一种应用程序识别规则生成方法和装置 | |
| CN106598991A (zh) | 一种使用会话方式实现与网站交互表单自动提取的网络爬虫系统 | |
| CN103279476B (zh) | 一种web应用系统敏感文字的检测方法及系统 | |
| CN104572934A (zh) | 一种基于dom的网页关键内容抽取方法 | |
| CN107015986B (zh) | 一种爬虫爬取网页的方法及装置 | |
| CN105488402A (zh) | 一种暗链的检测方法及系统 | |
| CN104166545B (zh) | 一种网页资源的嗅探方法以及装置 | |
| CN103164213A (zh) | Web浏览器的兼容性检测方法、装置及系统 | |
| CN110045950A (zh) | 基于nodejs的静态页面开发脚手架方法 | |
| CN101895517A (zh) | 一种脚本语义提取方法和提取装置 | |
| CN104461543A (zh) | 一种网站页面浏览器端极速渲染的实现方法 | |
| CN104750862A (zh) | 数据处理解析系统及方法 | |
| CN104636340A (zh) | 网页url过滤方法、装置及系统 | |
| CN103117892B (zh) | 添加网站访问记录的方法及装置 | |
| CN103905434A (zh) | 一种网络数据处理方法和装置 | |
| CN101261643A (zh) | 网站页面信息统计方法及装置 | |
| CN113204695A (zh) | 网站识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160302 Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD. Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building Applicant before: Ctrip computer technology (Shanghai) Co., Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150701 |