CN106204107A - 一种数据分析处理方法及系统 - Google Patents

一种数据分析处理方法及系统 Download PDF

Info

Publication number
CN106204107A
CN106204107A CN201610493272.9A CN201610493272A CN106204107A CN 106204107 A CN106204107 A CN 106204107A CN 201610493272 A CN201610493272 A CN 201610493272A CN 106204107 A CN106204107 A CN 106204107A
Authority
CN
China
Prior art keywords
data
processing
product
sampled
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610493272.9A
Other languages
English (en)
Inventor
李德华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dhc Source Technology Co Ltd
Original Assignee
Wuhan Dhc Source Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dhc Source Technology Co Ltd filed Critical Wuhan Dhc Source Technology Co Ltd
Priority to CN201610493272.9A priority Critical patent/CN106204107A/zh
Publication of CN106204107A publication Critical patent/CN106204107A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种数据分析处理方法及系统，其中，数据分析处理方法包括：获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据；将所述抽样数据进行分割并行处理，得到分割处理结果；将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。通过本发明提供的方法，能够获取用户行为数据以及网站的产品公开数据，并按照设定的数学模型对待分析数据进行高效并行处理，挖掘出有价值的产品信息和知识，获得高准确度的电商平台的产品销量数据分析结果。

Description

一种数据分析处理方法及系统
技术领域
本发明涉及电子商务技术领域，具体涉及一种数据分析处理方法及系统。
背景技术
目前，电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息。目前，电商的数据分析，仅限于各大电商网站内部，对自身数据本身的分析，现有技术中，无法做到对于全网全部电商数据的横向挖掘，更没有结合全网用户访问行为，进行相关分析。对于全网电商数据的抓取，涉及数据量巨大，而且需要将不同电商网站的非结构化数据，解析成结构化数据，无论从数据量本身、数据的抓取还是解析都有着极大的难度。
发明内容
本发明所要解决的技术问题是提供一种数据分析处理方法及系统，能够挖掘出有价值的产品信息和知识，获得高准确度的电商平台的产品销量数据分析结果。
本发明解决上述技术问题的技术方案如下：
依据本发明的一个方面，提供了一种数据分析处理方法，所述方法包括：
S101、获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据；
S102、将所述抽样数据进行分割并行处理，得到分割处理结果；
S103、将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
依据本发明的另一个方面，提供了一种数据分析处理系统，所述系统包括：
抽样处理单元，用于获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据；
分割处理单元，用于将所述抽样数据进行分割并行处理，得到分割处理结果；
合并处理单元，用于将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
本发明提供的一种数据分析处理方法及系统，能够获取用户行为数据以及网站的产品公开数据，并按照设定的数学模型对待分析数据进行高效并行处理，挖掘出有价值的产品信息和知识，获得高准确度的电商平台的产品销量数据分析结果。
附图说明
图1为本发明实施例一的一种数据分析处理方法流程图；
图2为本发明实施例二的一种数据分析处理系统示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一、一种数据分析处理方法。下面结合图1对本实施例提供的方法进行详细说明。
参见图1，S101、获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据。
具体的，获取待分析处理数据，并对所述待分析处理数据进行抽样处理，将分布的异构数据源中的待分析处理数据抽取到临时中间层后进行清洗、转换、集成和加载，得到抽样数据。其中，所述待分析处理数据具体包括用户行为数据以及电子网站的公开数据；所述用户行为数据至少包括用户浏览历史数据以及购买产品的行为数据；所述电子网站的公开数据至少包括产品评论数据、产品排名数据以及产品访问数据。
S102、将所述抽样数据进行分割并行处理，得到分割处理结果。
具体的，将所述抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果。分割并行处理能够提高数据的处理速度。
具体根据根据业务规则和算法规则建立预置数学模型。其中，所述算法规则包括聚类、分类算法、关联规则以及时间序列；所述业务规则，包括通过产品评论数据、产品排名数据和产品访问量数据分别统计出产品的销量，对产品评论数据、产品排名数据和产品访问量数据取中位数，作为置信度最高的销量值。
S103、将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
具体的，将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果，将其作为电商平台的产品销量数据分析结果。
实施例二、一种数据分析处理系统。下面结合图2对本实施例提供的系统进行详细说明。
图2中，本实施例提供的系统包括抽样处理单元201、分割处理单元202、合并处理单元203以及模型建立单元204。
所述抽样处理单元201，用于获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据。
具体的，所述抽样处理单元201获取待分析处理数据，并对所述待分析处理数据进行抽样处理，将分布的异构数据源中的待分析处理数据抽取到临时中间层后进行清洗、转换、集成和加载，得到抽样数据。其中，所述待分析处理数据具体包括用户行为数据以及电子网站的公开数据；所述用户行为数据至少包括用户浏览历史数据以及购买产品的行为数据；所述电子网站的公开数据至少包括产品评论数据、产品排名数据以及产品访问数据。
所述分割处理单元202，用于将所述抽样数据进行分割并行处理，得到分割处理结果。
所述模型建立单元204，用于具体的，所述分割处理单元202将所述抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果，分割并行处理能够提高数据的处理速度。
所述模型建立单元204根据根据业务规则和算法规则建立预置数学模型。其中，所述算法规则包括聚类、分类算法、关联规则以及时间序列；所述业务规则，包括通过产品评论数据、产品排名数据和产品访问量数据分别统计出产品的销量，对产品评论数据、产品排名数据和产品访问量数据取中位数，作为置信度最高的销量值。
所述合并处理单元203，用于将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
具体的，所述合并处理单元203将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果，将其作为电商平台的产品销量数据分析结果。
具体的，所述抽样处理单元201获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据；所述分割处理单元202将所述抽样数据进行分割并行处理，得到分割处理结果；所述合并处理单元203将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
本发明提供的一种数据分析处理方法及系统，能够获取用户行为数据以及网站的产品公开数据，并按照设定的数学模型对待分析数据进行高效并行处理，挖掘出有价值的产品信息和知识，获得高准确度的电商平台的产品销量数据分析结果。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据分析处理方法，其特征在于，所述方法包括：
S101、获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据；
S102、将所述抽样数据进行分割并行处理，得到分割处理结果；
S103、将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
2.如权利要求1所述的一种数据分析处理方法，其特征在于，所述S101中所述待分析处理数据具体包括用户行为数据以及电子网站的公开数据；
所述用户行为数据至少包括用户浏览历史数据以及购买产品的行为数据；所述电子网站的公开数据至少包括产品评论数据、产品排名数据以及产品访问数据。
3.如权利要求2所述的一种数据分析处理方法，其特征在于，所述S101中对所述待分析处理数据进行抽样处理具体包括：
将分布的异构数据源中的待分析处理数据抽取到临时中间层后进行清洗、转换、集成和加载。
4.如权利要求3所述的一种数据分析处理方法，其特征在于，所述S102具体包括：
将所述抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果。
5.如权利要求4所述的一种数据分析处理方法，其特征在于，所述S102之前还包括：
根据业务规则和算法规则建立预置数学模型。
6.一种数据分析处理系统，其特征在于，所述系统包括：
抽样处理单元，用于获取待分析处理数据，并对所述待分析处理数据进行抽样处理，得到抽样数据；
分割处理单元，用于将所述抽样数据进行分割并行处理，得到分割处理结果；
合并处理单元，用于将所述分割处理结果进行合并处理，得到合并处理后的产品数据分析结果。
7.如权利要求6所述的一种数据分析处理系统，其特征在于，所述待分析处理数据具体包括用户行为数据以及电子网站的公开数据；
所述用户行为数据至少包括用户浏览历史数据以及购买产品的行为数据；所述电子网站的公开数据至少包括产品评论数据、产品排名数据以及产品访问数据。
8.如权利要求7所述的一种数据分析处理系统，其特征在于，所述抽样处理单元中对所述待分析处理数据进行抽样处理具体包括：
将分布的异构数据源中的待分析处理数据抽取到临时中间层后进行清洗、转换、集成和加载。
9.如权利要求8所述的一种数据分析处理系统，其特征在于，所述分割处理单元具体包括：
将所述抽样数据进行分割，按照预置的数学模型并行计算处理分割后的抽样数据，得到分割处理结果。
10.如权利要求9所述的一种数据分析处理系统，其特征在于，还包括：
模型建立单元，用于根据业务规则和算法规则建立预置数学模型。
CN201610493272.9A 2016-06-28 2016-06-28 一种数据分析处理方法及系统 Pending CN106204107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610493272.9A CN106204107A (zh) 2016-06-28 2016-06-28 一种数据分析处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610493272.9A CN106204107A (zh) 2016-06-28 2016-06-28 一种数据分析处理方法及系统

Publications (1)

Publication Number Publication Date
CN106204107A true CN106204107A (zh) 2016-12-07

Family

ID=57461292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610493272.9A Pending CN106204107A (zh) 2016-06-28 2016-06-28 一种数据分析处理方法及系统

Country Status (1)

Country Link
CN (1) CN106204107A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688653A (zh) * 2017-09-01 2018-02-13 武汉倚天剑科技有限公司 基于网络浅层数据的用户行为数据挖掘系统及其方法
CN112035457A (zh) * 2020-08-31 2020-12-04 辽宁振兴银行股份有限公司 一种基于内存数据的分析处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688653A (zh) * 2017-09-01 2018-02-13 武汉倚天剑科技有限公司 基于网络浅层数据的用户行为数据挖掘系统及其方法
CN112035457A (zh) * 2020-08-31 2020-12-04 辽宁振兴银行股份有限公司 一种基于内存数据的分析处理方法

Similar Documents

Publication Publication Date Title
KR102408476B1 (ko) 사용자 행동 순서에 기반한 구매 확률 예측 방법 및 이를 위한 장치
US9858308B2 (en) Real-time content recommendation system
US8412665B2 (en) Action prediction and identification temporal user behavior
CN102682005A (zh) 偏好类目的确定方法及装置
JP5615857B2 (ja) 分析装置、分析方法及び分析プログラム
Xu et al. Integrated collaborative filtering recommendation in social cyber-physical systems
CN109492180A (zh) 资源推荐方法、装置、计算机设备及计算机可读存储介质
CN109255644A (zh) 用于提供优化分发和物流的营销管理数据的方法及设备
WO2012142748A1 (en) Method and apparatus for providing feature-based collaborative filtering
US11809455B2 (en) Automatically generating user segments
CA3188352A1 (en) Artificial intelligence for keyword recommendation
CN111967914A (zh) 基于用户画像的推荐方法、装置、计算机设备和存储介质
Chen et al. Travel recommendation via fusing multi-auxiliary information into matrix factorization
KR20200025431A (ko) 오픈마켓 통합 관리 시스템 및 방법
CN103854206A (zh) 一种分析人群特征的方法和设备
CN115423555A (zh) 一种商品推荐方法、装置、电子设备及存储介质
CN106204107A (zh) 一种数据分析处理方法及系统
Macha et al. Personalized privacy preservation in consumer mobile trajectories
Han et al. Fitnet: Identifying fashion influencers on twitter
Gerdes Jr et al. Addressing researchers' quest for hospitality data: mechanism for collecting data from web resources
CN111699487A (zh) 用于快速且安全的内容提供的系统
CN104503967A (zh) 一种基于hadoop的网络推荐方法
KR101765292B1 (ko) 목적 기반의 데이터 분석도구 제공 장치 및 방법
CN110827044A (zh) 提取用户兴趣模式的方法和装置
JP2016071482A (ja) 情報配信システム及び情報配信方法、サーバ装置及び端末装置並びにサーバ装置用プログラム及び端末装置用プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161207

WD01 Invention patent application deemed withdrawn after publication