CN108550053B - 基于平台技术的用户消费数据采集分析系统及方法 - Google Patents
基于平台技术的用户消费数据采集分析系统及方法 Download PDFInfo
- Publication number
- CN108550053B CN108550053B CN201810323579.3A CN201810323579A CN108550053B CN 108550053 B CN108550053 B CN 108550053B CN 201810323579 A CN201810323579 A CN 201810323579A CN 108550053 B CN108550053 B CN 108550053B
- Authority
- CN
- China
- Prior art keywords
- consumption data
- user consumption
- module
- data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 45
- 238000005516 engineering process Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 title claims description 14
- 238000013500 data storage Methods 0.000 claims abstract description 25
- 238000007405 data analysis Methods 0.000 claims abstract description 24
- 238000013499 data model Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 16
- 239000012536 storage buffer Substances 0.000 claims abstract description 12
- 238000012958 reprocessing Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000003139 buffering effect Effects 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 abstract description 2
- 239000000872 buffer Substances 0.000 description 7
- 230000010354 integration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于平台技术的用户消费数据采集分析系统，包括用户消费数据模型建立模块，用于建立用户消费数据模型，对用户消费数据进行筛选；用户消费数据分类模块，用于对采集的用户消费数据进行分类；用户消费数据加工模块，对每类用户消费数据进行再加工；用户消费数据存储缓冲模块，用于对加工后的数据进行缓存；用户消费数据分析模块，用于对加工后的数据进行分析，得到分析结果。本发明能够改进现有技术的不足，提高了数据分离处理的速度。
Description
技术领域
本发明涉及网络技术领域，尤其是一种基于平台技术的用户消费数据采集分析系统及方法。
背景技术
随着大数据技术的蓬勃发展，商业消费领域应用大数据平台技术对用户消费数据进行分析已经普及开来，从而便于商家时刻掌握消费者的消费动态，从而适时调整营销策略。但是，现有的数据分析方式是直接对海量数据进行直接分析，数据处理量大，速度较慢。
发明内容
本发明要解决的技术问题是提供一种基于平台技术的用户消费数据采集分析系统及方法，能够解决现有技术的不足，提高了数据分离处理的速度。
为解决上述技术问题，本发明所采取的技术方案如下。
一种基于平台技术的用户消费数据采集分析系统，包括，
用户消费数据模型建立模块，用于建立用户消费数据模型，对用户消费数据进行筛选；
用户消费数据分类模块，用于对采集的用户消费数据进行分类；
用户消费数据加工模块，对每类用户消费数据进行再加工；
用户消费数据存储缓冲模块，用于对加工后的数据进行缓存；
用户消费数据分析模块，用于对加工后的数据进行分析，得到分析结果。
一种上述的基于平台技术的用户消费数据采集分析系统的采集分析方法，包括以下步骤：
A、用户消费数据模型建立模块根据用户消费数据特点和数据分析要求建立用户消费数据模型，对符合用户消费数据模型的数据进行采集；
B、用户消费数据分类模块对采集的用户消费数据进行分类；
C、用户消费数据加工模块针对每一类用户消费数据进行独立的加工整合，并将加工整合后的数据包存入用户消费数据存储缓冲模块；
D、用户消费数据分析模块调用用户消费数据存储缓冲模块中的数据包，对数据进行分析，得到分析结果。
作为优选，步骤B中，对用户消费数据进行分类包括以下步骤，
B1、提取用户消费数据的浏览路径特征、地域分布特征、消费种类关联性特征和消费金额分布特征；
B2、计算每个用户消费数据中各特征与数据库中各特征均值的偏离度，以偏离度最大的特征作为用户消费数据的分类参考值进行分类。
作为优选，步骤C中，对用户消费数据进行加工整合包括以下步骤，
C1、将用户消费数据中未作为分类参考值的特征进行归一化处理；
C2、得到每一种归一化数据的拟合曲线，截取所有拟合曲线之间相似度均大于50%的线段区间为分析区间；
C3、对分析区间的拟合曲线进行还原，得到待分析的用户消费数据。
作为优选，步骤D中，用户消费数据分析模块首先根据作为分类参考值的特征作为主特征，使用特征数据库进行比对，得到预分析结果；然后用户消费数据分析模块使用用户消费数据存储缓冲模块的一级缓存区域内的存储数据对预分析结果进行二次比对，得到最终分析结果；最后用户消费数据分析模块将最终分析结果与用户消费数据存储缓冲模块的二级缓存区域内的存储数据进行校验，判断最终分析结果是否符合用户消费数据存储缓冲模块的二级缓存区域内的存储数据的行为特征，若符合则输出最终分析结果，否则，对调整比对灵敏度，重新进行步骤D的分析比对过程。
采用上述技术方案所带来的有益效果在于：本发明通过优化对于数据分析前的预处理过程，提高了数据特征的集中度，降低了数据中的干扰信息量，可以有效降低分析运算量，从而快速得到分析结果。
附图说明
图1是本发明一个具体实施方式的原理图。
图中：1、用户消费数据模型建立模块；2、用户消费数据分类模块；3、用户消费数据加工模块；4、用户消费数据存储缓冲模块；5、用户消费数据分析模块。
具体实施方式
参照图1，本发明一个具体实施方式包括，
用户消费数据模型建立模块1，用于建立用户消费数据模型，对用户消费数据进行筛选；
用户消费数据分类模块2，用于对采集的用户消费数据进行分类；
用户消费数据加工模块3，对每类用户消费数据进行再加工；
用户消费数据存储缓冲模块4，用于对加工后的数据进行缓存；
用户消费数据分析模块5，用于对加工后的数据进行分析，得到分析结果。
一种上述的基于平台技术的用户消费数据采集分析系统的采集分析方法，包括以下步骤：
A、用户消费数据模型建立模块1根据用户消费数据特点和数据分析要求建立用户消费数据模型，对符合用户消费数据模型的数据进行采集；
B、用户消费数据分类模块2对采集的用户消费数据进行分类；
C、用户消费数据加工模块3针对每一类用户消费数据进行独立的加工整合，并将加工整合后的数据包存入用户消费数据存储缓冲模块4；
D、用户消费数据分析模块5调用用户消费数据存储缓冲模块4中的数据包，对数据进行分析，得到分析结果。
步骤B中，对用户消费数据进行分类包括以下步骤，
B1、提取用户消费数据的浏览路径特征、地域分布特征、消费种类关联性特征和消费金额分布特征；
B2、计算每个用户消费数据中各特征与数据库中各特征均值的偏离度，以偏离度最大的特征作为用户消费数据的分类参考值进行分类。
步骤C中，对用户消费数据进行加工整合包括以下步骤，
C1、将用户消费数据中未作为分类参考值的特征进行归一化处理；
C2、得到每一种归一化数据的拟合曲线，截取所有拟合曲线之间相似度均大于50%的线段区间为分析区间；
C3、对分析区间的拟合曲线进行还原，得到待分析的用户消费数据。
步骤C中，将待分析的用户消费数据存入用户消费数据存储缓冲模块4的一级缓存区域，将其余拟合曲线段存入用户消费数据存储缓冲模块4的二级缓存区域。
步骤D中，用户消费数据分析模块5首先根据作为分类参考值的特征作为主特征，使用特征数据库进行比对，得到预分析结果；然后用户消费数据分析模块5使用用户消费数据存储缓冲模块4的一级缓存区域内的存储数据对预分析结果进行二次比对，得到最终分析结果；最后用户消费数据分析模块5将最终分析结果与用户消费数据存储缓冲模块4的二级缓存区域内的存储数据进行校验，判断最终分析结果是否符合用户消费数据存储缓冲模块4的二级缓存区域内的存储数据的行为特征，若符合则输出最终分析结果，否则，对调整比对灵敏度，重新进行步骤D的分析比对过程。
另外，步骤A中，在对数据进行采集时，对于步骤B中所述各数据特征，若其与数据模型中对应特征的相似度大于60%则认定为通过，其余数据特征，若其与数据模型中对应特征的相似度大于85%则认定为通过，在步骤B中所述各数据特征均通过且其余数据特征通过数量大于总量的50%时，对此数据进行采集。通过对不同数据特征进行区分，可以有效减少后续步骤中对于数据特征采集处理的有效信息丢失率。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.一种基于平台技术的用户消费数据采集分析系统的采集分析方法，所述基于平台技术的用户消费数据采集分析系统包括，
用户消费数据模型建立模块（1），用于建立用户消费数据模型，对用户消费数据进行筛选；
用户消费数据分类模块（2），用于对采集的用户消费数据进行分类；
用户消费数据加工模块（3），对每类用户消费数据进行再加工；
用户消费数据存储缓冲模块（4），用于对加工后的数据进行缓存；
用户消费数据分析模块（5），用于对加工后的数据进行分析，得到分析结果；
其特征在于包括以下步骤：
A、用户消费数据模型建立模块（1）根据用户消费数据特点和数据分析要求建立用户消费数据模型，对符合用户消费数据模型的数据进行采集；
B、用户消费数据分类模块（2）对采集的用户消费数据进行分类；
对用户消费数据进行分类包括以下步骤，
B1、提取用户消费数据的浏览路径特征、地域分布特征、消费种类关联性特征和消费金额分布特征；
B2、计算每个用户消费数据中各特征与数据库中各特征均值的偏离度，以偏离度最大的特征作为用户消费数据的分类参考值进行分类；
C、用户消费数据加工模块（3）针对每一类用户消费数据进行独立的加工整合，并将加工整合后的数据包存入用户消费数据存储缓冲模块（4）；
对用户消费数据进行加工整合包括以下步骤，
C1、将用户消费数据中未作为分类参考值的特征进行归一化处理；
C2、得到每一种归一化数据的拟合曲线，截取所有拟合曲线之间相似度均大于50%的线段区间为分析区间；
C3、对分析区间的拟合曲线进行还原，得到待分析的用户消费数据；
将待分析的用户消费数据存入用户消费数据存储缓冲模块（4）的一级缓存区域，将其余拟合曲线段存入用户消费数据存储缓冲模块（4）的二级缓存区域；
D、用户消费数据分析模块（5）调用用户消费数据存储缓冲模块（4）中的数据包，对数据进行分析，得到分析结果；
用户消费数据分析模块（5）首先根据作为分类参考值的特征作为主特征，使用特征数据库进行比对，得到预分析结果；然后用户消费数据分析模块（5）使用用户消费数据存储缓冲模块（4）的一级缓存区域内的存储数据对预分析结果进行二次比对，得到最终分析结果；最后用户消费数据分析模块（5）将最终分析结果与用户消费数据存储缓冲模块（4）的二级缓存区域内的存储数据进行校验，判断最终分析结果是否符合用户消费数据存储缓冲模块（4）的二级缓存区域内的存储数据的行为特征，若符合则输出最终分析结果，否则，对调整比对灵敏度，重新进行步骤D的分析比对过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810323579.3A CN108550053B (zh) | 2018-04-12 | 2018-04-12 | 基于平台技术的用户消费数据采集分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810323579.3A CN108550053B (zh) | 2018-04-12 | 2018-04-12 | 基于平台技术的用户消费数据采集分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108550053A CN108550053A (zh) | 2018-09-18 |
| CN108550053B true CN108550053B (zh) | 2022-05-13 |
Family
ID=63514632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810323579.3A Expired - Fee Related CN108550053B (zh) | 2018-04-12 | 2018-04-12 | 基于平台技术的用户消费数据采集分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108550053B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933705B (zh) * | 2019-03-22 | 2021-10-19 | 国家电网有限公司 | 一种大数据平台运维管理系统 |
| CN110599232A (zh) * | 2019-08-01 | 2019-12-20 | 安徽中科智链信息科技有限公司 | 基于大数据的消费群体分析方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268254A (zh) * | 2014-10-09 | 2015-01-07 | 浪潮电子信息产业股份有限公司 | 一种安全态势分析统计方法 |
| CN106779808A (zh) * | 2016-11-25 | 2017-05-31 | 上海斐讯数据通信技术有限公司 | 一种商圈中消费者空间行为分析系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9063960B2 (en) * | 2012-11-30 | 2015-06-23 | Symantec Corporation | Systems and methods for performing customized large-scale data analytics |
| WO2015133635A1 (ja) * | 2014-03-07 | 2015-09-11 | 株式会社日立製作所 | データ分析システム及び方法 |
| CN105046270A (zh) * | 2015-06-19 | 2015-11-11 | 上海卓悠网络科技有限公司 | 应用分类模型构建方法、应用分类方法及系统 |
| CN105405150B (zh) * | 2015-10-21 | 2019-04-30 | 东方网力科技股份有限公司 | 基于融合特征的异常行为检测方法和装置 |
| CN107590675B (zh) * | 2017-07-25 | 2021-01-08 | 广州智选网络科技有限公司 | 一种基于大数据的用户购物行为识别方法、储存设备及移动终端 |
-
2018
- 2018-04-12 CN CN201810323579.3A patent/CN108550053B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268254A (zh) * | 2014-10-09 | 2015-01-07 | 浪潮电子信息产业股份有限公司 | 一种安全态势分析统计方法 |
| CN106779808A (zh) * | 2016-11-25 | 2017-05-31 | 上海斐讯数据通信技术有限公司 | 一种商圈中消费者空间行为分析系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108550053A (zh) | 2018-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11900598B2 (en) | System and method of classification of biological particles | |
| CN104331498B (zh) | 一种对互联网用户访问的网页内容自动分类的方法 | |
| WO2017143919A1 (zh) | 一种建立数据识别模型的方法及装置 | |
| CN110134719B (zh) | 一种结构化数据敏感属性的识别与分类分级方法 | |
| CN108550053B (zh) | 基于平台技术的用户消费数据采集分析系统及方法 | |
| CN109995611B (zh) | 流量分类模型建立及流量分类方法、装置、设备和服务器 | |
| CN112491891B (zh) | 物联网环境下基于混合深度学习的网络攻击检测方法 | |
| CN111428701A (zh) | 小面积指纹图像特征提取方法、系统、终端及存储介质 | |
| CN112348360B (zh) | 一种基于大数据技术的中药生产工艺参数分析系统 | |
| CN112288760B (zh) | 一种粘连细胞图像筛除方法、系统及细胞图像分析方法 | |
| CN101216886A (zh) | 一种基于谱分割理论的镜头聚类方法 | |
| CN108229507A (zh) | 数据分类方法以及装置 | |
| CN109800215A (zh) | 一种对标处理的方法、装置、计算机存储介质及终端 | |
| CN111163332A (zh) | 视频色情度检测方法、终端及介质 | |
| CN111027771A (zh) | 景区客流量预估方法、系统、装置及可存储介质 | |
| CN109949827A (zh) | 一种基于深度学习与强化学习的室内声学行为识别方法 | |
| CN111654853B (zh) | 一种基于用户信息的数据分析方法 | |
| CN114710344A (zh) | 一种基于溯源图的入侵检测方法 | |
| CN106708961A (zh) | 垃圾文本库的建立方法、过滤方法及系统 | |
| Kaiyan et al. | An apple grading method based on improved VGG16 network | |
| CN113297249A (zh) | 慢查询语句的识别和分析、查询语句的统计方法及装置 | |
| CN113034262A (zh) | 一种基于大数据技术的个人信用评价动态集成算法 | |
| CN111078882A (zh) | 一种文本情感测量方法和装置 | |
| CN117376022B (zh) | 一种基于深度学习的检测未知网络攻击的异常检测系统 | |
| CN105912737A (zh) | 一种基于网页特征识别的噪音网页过滤方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220328 Address after: 210000 No. 16 Xinggu Road, Guli street, Jiangning District, Nanjing City, Jiangsu Province Applicant after: Nanjing hailier Information Technology Co.,Ltd. Address before: 210000 room 210, building 8, No. 18, Fenghua Road, Yuhua Economic Development Zone, Nanjing, Jiangsu Province Applicant before: NANJING LONGMEI E-COMMERCE CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220513 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |