CN116342168A - 一种信息大数据智能采集管理系统 - Google Patents

一种信息大数据智能采集管理系统 Download PDF

Info

Publication number
CN116342168A
CN116342168A CN202310581299.3A CN202310581299A CN116342168A CN 116342168 A CN116342168 A CN 116342168A CN 202310581299 A CN202310581299 A CN 202310581299A CN 116342168 A CN116342168 A CN 116342168A
Authority
CN
China
Prior art keywords
product
data
nth
transaction amount
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310581299.3A
Other languages
English (en)
Other versions
CN116342168B (zh
Inventor
程永
王成志
王晨广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jining Jinjiechuang Information Technology Co.,Ltd.
Shandong Lingdong Agricultural Development Co.,Ltd.
Original Assignee
Shandong Lingdong Electronic Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Lingdong Electronic Commerce Co ltd filed Critical Shandong Lingdong Electronic Commerce Co ltd
Priority to CN202310581299.3A priority Critical patent/CN116342168B/zh
Publication of CN116342168A publication Critical patent/CN116342168A/zh
Application granted granted Critical
Publication of CN116342168B publication Critical patent/CN116342168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种信息大数据智能采集管理系统。系统包括：数据获取模块，用于获取产品交易时间编码以及对应的产品交易量，并确定需求量；聚类参数计算模块，用于计算聚类参数：根据交易数据确定每个产品交易时间编码下的产品交易量的增量；根据增量确定突变特征；同时根据增量以及需求量确定趋势特征；根据突变特征和趋势特征确定特征值；依据交易数据统计各产品交易量的数据个数，根据各产品交易量的数据个数以及产品交易量的数据总数确定重复性值；根据特征值和重复性值得到聚类参数；聚类处理模块，用于进行聚类处理。本发明将特征强、重复性高的数据聚类，降低数据分析时间和数据处理成本。

Description

一种信息大数据智能采集管理系统
技术领域
本发明涉及数据处理技术领域，具体涉及一种信息大数据智能采集管理系统。
背景技术
电子商务大数据分析主要是同时对历史交易信息和交易量进行分析，并结合客户需求，分析市场需求，获得未来市场走向。随着大数据和信息化在电子商务的迅速发展，购物交易过程中产生了大量的运营和管理的数据，通过构建数据的分析模型，可根据大数据预测购买人群的喜好、偏爱，生成具有价值的统计报告，帮助电子商务交易分析未来市场走势，提供进货、销售等的数据基础。
现有采集的交易电子信息主要为基于时序的数据，包括多款产品的信息，由于数据量巨大，使得传输和存储时需要将数据压缩处理，现有时序数据的压缩方法主要是通过数据重复性压缩的熵编码为主，而熵编码对重复数据较为敏感，因此对重复性较高的数据压缩率更高，也即，针对大数据分析中数据量巨大的问题，通过熵编码的压缩效率较高。虽然基于重复性对数据压缩大大提高了数据的压缩效率，但是在大数据分析未来市场走势时主要通过数据的特征预测市场走向，其中数据的特征表示数据中存在一定趋势变化的数据区间或存在突变的异常数据点，因此经过重复性对数据压缩后还需要解压，对解压后的数据进行特征分析，不仅对系统的算力需求较大，而且消耗更多时间，造成工作量的冗余。
发明内容
本发明的目的在于提供一种信息大数据智能采集管理系统，用于解决现有数据处理繁琐的问题。
为解决上述技术问题，本发明提供了一种信息大数据智能采集管理系统，包括：
数据获取模块，用于获取各产品种类的交易数据，并确定各产品种类的需求量；所述交易数据包括产品交易时间编码以及对应的产品交易量；
聚类参数计算模块，用于计算各产品种类的聚类参数，对于某产品种类，计算过程如下：
根据交易数据确定该产品种类的每个产品交易时间编码下的产品交易量的增量；
根据该产品种类的每个产品交易时间编码下的产品交易量的增量确定该产品种类的突变特征；同时根据该产品种类的每个产品交易时间编码下的产品交易量的增量以及该产品种类的需求量确定该产品种类的趋势特征；
根据该产品种类的突变特征和该产品种类的趋势特征确定该产品种类的特征值；
依据交易数据统计各产品交易量的数据个数，根据各产品交易量的数据个数以及产品交易量的数据总数确定该产品种类的重复性值；
根据特征值和重复性值得到该产品种类的聚类参数；
聚类处理模块，用于根据各产品种类的聚类参数进行聚类处理。
进一步地，所述聚类参数计算模块中，在确定该产品种类的趋势特征之前，还包括根据该产品种类的每个产品交易时间编码下的产品交易量的增量以及增量均值确定趋势区间的步骤，根据趋势区间内的交易数据确定该产品种类的趋势特征。
进一步地，所述聚类参数计算模块中，聚类参数的计算过程为：将某产品种类的特征值和该产品种类的重复性值进行加权叠加得到该产品种类的聚类参数。
进一步地，所述聚类参数计算模块中，突变特征的计算过程为：
Figure SMS_1
；
Figure SMS_2
；
其中，
Figure SMS_3
为第n个产品种类第i个产品交易时间编码下的产品交易量的增量；
Figure SMS_4
为 第n个产品种类的增量均值；
Figure SMS_5
为第n个产品种类的增量方差；
Figure SMS_6
为第n个产品种类的突变 特征；
Figure SMS_7
为第n个产品种类第i个产品交易时间编码下的产品交易量；
Figure SMS_8
为第n个产品种类 第i+1个产品交易时间编码下的产品交易量；
Figure SMS_9
为第n个产品种类中产品交易量的数据总数。
进一步地，所述聚类参数计算模块中，该产品种类的趋势特征的计算过程为：
Figure SMS_10
；
其中，
Figure SMS_11
为第n个产品种类的趋势特征；
Figure SMS_12
为第n个产品种类的需求量的增量；
Figure SMS_13
为 第n个产品种类中产品交易量的数据总数；
Figure SMS_14
为第n个产品种类中趋势区间内产品交易量的 数据数量；
Figure SMS_15
为第n个产品种类中趋势区间内第i个产品交易时间编码下的产品交易量的 增量；
Figure SMS_16
为以自然常数e为底数的指数函数。
进一步地，趋势区间的确定过程为：
Figure SMS_17
；
其中，
Figure SMS_18
为趋势区间；
Figure SMS_19
为第n个产品种类第i个产品交易时间编码下的产品交易 量的增量；
Figure SMS_20
为第n个产品种类的增量均值；T为阈值；countifs{}为选择多条件下的单元格 计数函数。
进一步地，所述聚类参数计算模块中，特征值的计算过程为：将某产品种类的突变特征和该产品种类的趋势特征进行加权叠加得到该产品种类的特征值。
进一步地，所述聚类参数计算模块中，重复性值的计算过程为：
Figure SMS_21
；
Figure SMS_22
；
其中，
Figure SMS_25
为第n个产品种类的重复性值；
Figure SMS_27
为第n个产品种类中第j个产品交易量 值；
Figure SMS_29
为第n个产品种类中产品交易量值为
Figure SMS_24
的数据个数；
Figure SMS_28
为第n个产品种类中产品交易 量的均值；
Figure SMS_30
为第n个产品种类中产品交易量的方差；
Figure SMS_31
为第n个产品种类中产品交易量的数 据总数；
Figure SMS_23
为误差参数；
Figure SMS_26
为双曲正切函数。
进一步地，根据DBSCAN聚类算法进行聚类处理。
进一步地，所述需求量根据客户需求进行确定。
本发明具有如下有益效果：本发明的信息大数据智能采集管理系统在数据进行聚类压缩前考虑了数据的特征，并且考虑各产品种类的每个产品交易时间编码下的产品交易量的增量，结合增量对交易数据的突变特征和趋势特征进行分析，在重复性的基础上结合市场交易数据的增量变化特征，将特征强、重复性高的数据聚类，降低在解压分析数据时对无关数据的解压，达到降低数据分析时间和数据处理成本的目的，进一步的提高分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的信息大数据智能采集管理系统的结构框图；
图2为本发明的聚类参数的计算流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外，本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。
本发明的主要构思在于：基于现有技术在数据压缩后再解压进行特征分析，导致特征分析工作量大，处理繁琐的问题，本发明在数据进行聚类压缩前的数据处理过程当中，通过计算得到特征信息，将数据的特征信息和重复性信息进行结合，使得在后续的解压过程中避免了对无关数据的解压，降低了数据分析和数据处理的成本，更加高效的实现数据分析。
本实施例提出的一种信息大数据智能采集管理系统，如图1所示，包括数据获取模块、聚类参数计算模块、以及聚类处理模块。
其中，数据获取模块用于获取各产品种类的交易数据，并确定各产品种类的需求量。
交易数据通过数据采集得到，交易数据包括产品交易时间编码以及对应的产品交 易量，第n个产品种类的交易数据用数据子集
Figure SMS_32
表示为：
Figure SMS_33
，
Figure SMS_34
；
该产品种类的需求量
Figure SMS_35
表示为：
Figure SMS_36
；
其中，
Figure SMS_37
为数据子集
Figure SMS_38
中在第i个产品交易时间编码下的产品交易量，
Figure SMS_39
为数据子 集
Figure SMS_40
的数据总数，也即第n个产品种类中产品交易量的数据总数，
Figure SMS_41
为第n个产品种类的需 求量。产品交易时间编码根据交易时间的先后顺序进行编码，需求量根据客户订单进行确 定、或者根据统计交易数据得出，本发明对各产品种类的需求量的确定不做限制。
聚类参数计算模块，用于计算各产品种类的聚类参数。
本模块中，如图2所示，根据产品种类的特征值和产品种类的重复性值得到该产品种类的聚类参数，具体计算如下：
Figure SMS_42
；
其中，
Figure SMS_44
为第n个产品种类的聚类参数，
Figure SMS_46
为第n个产品种类的重复性值；
Figure SMS_48
为重复 性值占的权重；
Figure SMS_45
为第n个产品种类的特征值；
Figure SMS_47
为特征值占的权重。默认值取
Figure SMS_49
，
Figure SMS_50
；
Figure SMS_43
为非线性函数。
以下以某产品种类为例说明某产品种类的特征值和重复性值的计算过程。某产品种类的特征值的计算过程如下：
a.根据该产品种类的相邻产品交易时间编码下的产品交易量的变化趋势确定该产品种类的突变特征。
本模块中，从产品交易量的波动性出发，突变特征的计算过程为：
Figure SMS_51
；
Figure SMS_52
；
其中，
Figure SMS_54
为数据子集
Figure SMS_56
的增量；
Figure SMS_58
为数据子集
Figure SMS_55
的增量均值；
Figure SMS_57
为数据子 集
Figure SMS_59
的增量方差；
Figure SMS_60
为第n个产品种类的突变特征；
Figure SMS_53
为第n个产品种类第i+1个产品交易 时间编码下的产品交易量。
从突变特征的计算过程可以看出，数据子集中产品交易量的波动越大，
Figure SMS_61
的取值越大，第n个产品种类的增量方差
Figure SMS_62
越大，则第n个产品种类的突变特征
Figure SMS_63
越大。
b.根据该产品种类的相邻产品交易时间编码下的产品交易量的变化趋势以及该产品种类的需求量确定该产品种类的趋势特征。
本模块中，整个数据中越靠近整体趋势的数据和需求数据的走向对分析未来市场 的走向具有较大的影响，因此，首先需要在第n个产品种类的交易数据的数据子集
Figure SMS_64
中挑选 出波动较小数据作为趋势区间的数据子集
Figure SMS_65
，该计算过程为：
Figure SMS_66
；
其中，
Figure SMS_67
为选择多条件下的单元格计数函数，用来选出数据子集
Figure SMS_68
中满 足给定条件的数据并计算满足条件的数据数量
Figure SMS_69
，也即第n个产品种类中趋势区间内产品交 易量的数据数量；这里的给定条件为
Figure SMS_70
，阈值T可以根据需要进行设定，选出数 据后，将这些数据按照交易时间重新进行产品交易时间编码构成趋势区间的数据子集
Figure SMS_71
。 数据子集
Figure SMS_72
表示为：
Figure SMS_73
，
Figure SMS_74
；
其中，
Figure SMS_75
为数据子集
Figure SMS_76
中第i个产品交易时间编码下的产品交易量，
Figure SMS_77
为第n个产 品种类中趋势区间内产品交易量的数据数量。
其次，基于趋势区间的数据子集
Figure SMS_78
计算该产品种类的趋势特征，计算过程如下：
Figure SMS_79
，
Figure SMS_80
；
Figure SMS_81
；
其中，
Figure SMS_83
为第n个产品种类的趋势特征；
Figure SMS_86
为第n个产品种类的需求量
Figure SMS_88
的增量， 该增量可以用
Figure SMS_84
和数据子集
Figure SMS_87
中的任一个数据做差值，本实施例中选用数据
Figure SMS_89
；
Figure SMS_90
为数 据子集
Figure SMS_82
的增量；
Figure SMS_85
为以自然常数e为底数的指数函数，具体为负相关归一化函 数。
从趋势特征的计算过程可以看出：在趋势区间的数据子集
Figure SMS_91
中，需求量
Figure SMS_92
的增量 与
Figure SMS_93
的增量的值相同，或趋势区间的数据子集
Figure SMS_94
的数据数量
Figure SMS_95
与数据子集
Figure SMS_96
的数据总数I 越近似时，该产品种类在数据区间存在的变化特征越大。
c.根据该产品种类的突变特征和该产品种类的趋势特征确定该产品种类的特征值。
本模块中，特征值的计算过程如下：
Figure SMS_97
；
其中，
Figure SMS_98
为第n个产品种类的特征值；
Figure SMS_99
为第n个产品种类的突变特征的权重；
Figure SMS_100
为第n个产品种类的趋势特征的权重，
Figure SMS_101
为双曲正切函数，也为归一化函数。
在使用大数据分析对交易信息提取特征时，对未来市场预测中主要考虑当前数据 的变化趋势，变化趋势越大趋势区间越长，则突变数据量越少，则设置默认权重
Figure SMS_102
，
Figure SMS_103
。数据子集中趋势变化越大或突变特征越强，特征程度
Figure SMS_104
越趋近于1。
某产品种类的重复性值的计算过程如下：
a. 计算数据子集
Figure SMS_105
中产品交易量的均值。
均值的计算过程如下：
Figure SMS_106
；
其中，
Figure SMS_107
为数据子集
Figure SMS_108
中产品交易量的均值；
Figure SMS_109
为向上取整函数；同时后续计算 还需要数据子集
Figure SMS_110
中产品交易量的方差
Figure SMS_111
，均值和方差分别表示一个数据子集中的分布 区间和波动大小，数据子集的数据重复性越高，均值和方差越近似。
b. 统计数据子集
Figure SMS_112
中某产品交易量值对应的数据个数，并得到新的数据子集
Figure SMS_113
。
数据子集
Figure SMS_114
的表示为
Figure SMS_115
，
Figure SMS_116
其中，
Figure SMS_117
为第j个产品交易量值；
Figure SMS_118
为第j个产品交易量值
Figure SMS_119
在数据子集
Figure SMS_120
中的数 据个数；m为不同产品交易量值的数量。
本模块中，
Figure SMS_121
可以通过
Figure SMS_122
函数获得，
Figure SMS_123
为计数函数。
c. 计算该产品种类的重复性值。
重复性值的计算过程如下：
Figure SMS_124
；
Figure SMS_125
；
其中，
Figure SMS_127
为第n个产品种类的重复性值；
Figure SMS_130
为第j个产品交易量值
Figure SMS_132
在数据子集
Figure SMS_128
中的数据个数
Figure SMS_131
占数据子集
Figure SMS_133
的数据总数
Figure SMS_134
的占比；
Figure SMS_126
为误差参数，避免分母为0；
Figure SMS_129
为 双曲正切函数，也为归一化函数。
从上述重复性值的计算过程可以看出：由于均值和方差仅能体现数据整体趋势， 因此本系统根据占比
Figure SMS_135
计算各个产品交易量值的偏向程度
Figure SMS_136
，偏 向程度越小，其内部数据的重复性值
Figure SMS_137
越低。
聚类处理模块用于根据各产品种类的聚类参数进行聚类压缩处理。
本模块中，通过聚类参数，使用现有基于密度的聚类算法对数据子集聚类，例如： DBSCAN基于密度的聚类算法，默认取聚类半径
Figure SMS_138
，聚类数据对象数目阈值
Figure SMS_139
，并通过熵编码，如基于统计的霍夫曼编码对一类的数据子集根据各数据占 比构建编码表，对数据分类压缩。其中聚类算法与熵编码压缩算法为现有技术此处不做过 多解释。
至此，数据子集通过数据重复性和特征程度聚类并压缩，得到待存储数据。通过得到的待存储数据，将待存储数据和其对应的编码表根据数据子集聚类结构分别存储，并用于后续市场走向的大数据分析。
上述实施例中，为了提高未来市场分析的准确性，在数据子集
Figure SMS_140
中挑选出波动较 小数据作为趋势区间，当然，作为其他实施方式，也可以不进行趋势区间的挑选，直接采用 数据子集
Figure SMS_141
计算趋势特征，本发明对此不作限制。
本系统通过结合数据的特征信息和重复性信息对数据子集进行聚类压缩，在保证重复性的前提下，根据特征信息对聚类压缩进行修正，将采集得到的特征信息强的数据在保证一定重复性的条件下压缩，也即将特征强、重复性高的数据进行聚类压缩，使得在后续根据解压数据分析市场走向时，仅需要分析特征强、重复性高的数据子集，达到降低系统处理需求的目的。
需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种信息大数据智能采集管理系统，其特征在于，包括：
数据获取模块，用于获取各产品种类的交易数据，并确定各产品种类的需求量；所述交易数据包括产品交易时间编码以及对应的产品交易量；
聚类参数计算模块，用于计算各产品种类的聚类参数，对于某产品种类，计算过程如下：
根据交易数据确定该产品种类的每个产品交易时间编码下的产品交易量的增量；
根据该产品种类的每个产品交易时间编码下的产品交易量的增量确定该产品种类的突变特征；同时根据该产品种类的每个产品交易时间编码下的产品交易量的增量以及该产品种类的需求量确定该产品种类的趋势特征；
根据该产品种类的突变特征和该产品种类的趋势特征确定该产品种类的特征值；
依据交易数据统计各产品交易量的数据个数，根据各产品交易量的数据个数以及产品交易量的数据总数确定该产品种类的重复性值；
根据特征值和重复性值得到该产品种类的聚类参数；
聚类处理模块，用于根据各产品种类的聚类参数进行聚类处理。
2.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，所述聚类参数计算模块中，在确定该产品种类的趋势特征之前，还包括根据该产品种类的每个产品交易时间编码下的产品交易量的增量以及增量均值确定趋势区间的步骤，根据趋势区间内的交易数据确定该产品种类的趋势特征。
3.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，所述聚类参数计算模块中，聚类参数的计算过程为：将某产品种类的特征值和该产品种类的重复性值进行加权叠加得到该产品种类的聚类参数。
4.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，所述聚类参数计算模块中，突变特征的计算过程为：
Figure QLYQS_1
；
Figure QLYQS_2
；
其中，
Figure QLYQS_3
为第n个产品种类第i个产品交易时间编码下的产品交易量的增量；/>
Figure QLYQS_4
为第n个产品种类的增量均值；/>
Figure QLYQS_5
为第n个产品种类的增量方差；/>
Figure QLYQS_6
为第n个产品种类的突变特征；
Figure QLYQS_7
为第n个产品种类第i个产品交易时间编码下的产品交易量；/>
Figure QLYQS_8
为第n个产品种类第i+1个产品交易时间编码下的产品交易量；/>
Figure QLYQS_9
为第n个产品种类中产品交易量的数据总数。
5.根据权利要求2所述的信息大数据智能采集管理系统，其特征在于，所述聚类参数计算模块中，该产品种类的趋势特征的计算过程为：
Figure QLYQS_10
；
其中，
Figure QLYQS_11
为第n个产品种类的趋势特征；/>
Figure QLYQS_12
为第n个产品种类的需求量的增量；/>
Figure QLYQS_13
为第n个产品种类中产品交易量的数据总数；/>
Figure QLYQS_14
为第n个产品种类中趋势区间内产品交易量的数据数量；/>
Figure QLYQS_15
为第n个产品种类中趋势区间内第i个产品交易时间编码下的产品交易量的增量；
Figure QLYQS_16
为以自然常数e为底数的指数函数。
6.根据权利要求2或5所述的信息大数据智能采集管理系统，其特征在于，趋势区间的确定过程为：
Figure QLYQS_17
；
其中，
Figure QLYQS_18
为趋势区间；/>
Figure QLYQS_19
为第n个产品种类第i个产品交易时间编码下的产品交易量的增量；/>
Figure QLYQS_20
为第n个产品种类的增量均值；T为阈值；countifs{}为选择多条件下的单元格计数函数。
7.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，所述聚类参数计算模块中，特征值的计算过程为：将某产品种类的突变特征和该产品种类的趋势特征进行加权叠加得到该产品种类的特征值。
8.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，所述聚类参数计算模块中，重复性值的计算过程为：
Figure QLYQS_21
；
Figure QLYQS_22
；
其中，
Figure QLYQS_24
为第n个产品种类的重复性值；/>
Figure QLYQS_27
为第n个产品种类中第j个产品交易量值；/>
Figure QLYQS_29
为第n个产品种类中产品交易量值为/>
Figure QLYQS_25
的数据个数；/>
Figure QLYQS_28
为第n个产品种类中产品交易量的均值；/>
Figure QLYQS_30
为第n个产品种类中产品交易量的方差；/>
Figure QLYQS_31
为第n个产品种类中产品交易量的数据总数；/>
Figure QLYQS_23
为误差参数；/>
Figure QLYQS_26
为双曲正切函数。
9.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，根据DBSCAN聚类算法进行聚类处理。
10.根据权利要求1所述的信息大数据智能采集管理系统，其特征在于，所述需求量根据客户需求进行确定。
CN202310581299.3A 2023-05-23 2023-05-23 一种信息大数据智能采集管理系统 Active CN116342168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581299.3A CN116342168B (zh) 2023-05-23 2023-05-23 一种信息大数据智能采集管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581299.3A CN116342168B (zh) 2023-05-23 2023-05-23 一种信息大数据智能采集管理系统

Publications (2)

Publication Number Publication Date
CN116342168A true CN116342168A (zh) 2023-06-27
CN116342168B CN116342168B (zh) 2023-08-04

Family

ID=86877421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581299.3A Active CN116342168B (zh) 2023-05-23 2023-05-23 一种信息大数据智能采集管理系统

Country Status (1)

Country Link
CN (1) CN116342168B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030599A (ja) * 1998-01-19 2004-01-29 Asahi Glass Co Ltd 時系列データの保存方法及び時系列データベースシステム、時系列データの処理方法及び時系列データ処理システム、時系列データ表示システム、並びに記録媒体
CN103336790A (zh) * 2013-06-06 2013-10-02 湖州师范学院 基于Hadoop的邻域粗糙集快速属性约简方法
CN103412915A (zh) * 2013-08-06 2013-11-27 复旦大学 一种面向金融高频交易数据的情景感知测定方法和系统
CN103544275A (zh) * 2013-10-22 2014-01-29 华为技术有限公司 一种处理数据的方法及装置
CN105631906A (zh) * 2015-12-23 2016-06-01 百度在线网络技术（北京）有限公司 三维地图图像的纹理压缩方法和装置
CN106127493A (zh) * 2016-06-23 2016-11-16 深圳大学 一种分析用户交易行为的方法及装置
CN106529968A (zh) * 2016-09-29 2017-03-22 深圳大学 一种基于交易数据的客户分类方法及其系统
CN109377260A (zh) * 2018-09-14 2019-02-22 江阴逐日信息科技有限公司 面向服装行业的用户行为分析系统
US10242019B1 (en) * 2014-12-19 2019-03-26 Experian Information Solutions, Inc. User behavior segmentation using latent topic detection
CA3020971A1 (en) * 2018-01-12 2019-07-12 Thomson Reuters (Tax & Accounting) Inc. Clustering and tagging engine for use in product support systems
JP2019121044A (ja) * 2017-12-28 2019-07-22 日本電信電話株式会社 クラスタリング装置、クラスタリング方法及びプログラム
CN110570312A (zh) * 2019-09-17 2019-12-13 深圳追一科技有限公司 样本数据获取方法、装置、计算机设备和可读存储介质
CN111310843A (zh) * 2020-02-25 2020-06-19 苏州浪潮智能科技有限公司 一种基于K-means的海量流式数据的聚类方法及系统
CN112347637A (zh) * 2020-11-04 2021-02-09 中国人民解放军陆军装甲兵学院 一种基于改进K_means聚类算法的发动机状态评估方法
CN112463958A (zh) * 2020-09-29 2021-03-09 上海海事大学 基于MapReduce框架下的海量文本快速聚类的方法
US20210096943A1 (en) * 2019-09-30 2021-04-01 EMC IP Holding Company LLC Data Record Anomaly Reconciliation Using Machine Learning Models
CN112966897A (zh) * 2021-02-02 2021-06-15 广东工程宝科技有限公司 一种基于维修平台的多维度数据分析方法
CN113191868A (zh) * 2021-05-06 2021-07-30 江苏索迩软件技术有限公司 一种税务系统的智能风险识别方法
CN113240501A (zh) * 2021-06-16 2021-08-10 王健英 基于算法、区块链和大数据的人工智能电商推荐系统
CN114493443A (zh) * 2022-01-27 2022-05-13 北京步甲科技有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN114902246A (zh) * 2020-01-09 2022-08-12 泰必高软件公司 用于大数据的快速交互式探索的系统
CN115879014A (zh) * 2022-12-29 2023-03-31 税友软件集团股份有限公司 一种数据扫描方法、装置、设备及存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030599A (ja) * 1998-01-19 2004-01-29 Asahi Glass Co Ltd 時系列データの保存方法及び時系列データベースシステム、時系列データの処理方法及び時系列データ処理システム、時系列データ表示システム、並びに記録媒体
CN103336790A (zh) * 2013-06-06 2013-10-02 湖州师范学院 基于Hadoop的邻域粗糙集快速属性约简方法
CN103412915A (zh) * 2013-08-06 2013-11-27 复旦大学 一种面向金融高频交易数据的情景感知测定方法和系统
CN103544275A (zh) * 2013-10-22 2014-01-29 华为技术有限公司 一种处理数据的方法及装置
US10242019B1 (en) * 2014-12-19 2019-03-26 Experian Information Solutions, Inc. User behavior segmentation using latent topic detection
CN105631906A (zh) * 2015-12-23 2016-06-01 百度在线网络技术（北京）有限公司 三维地图图像的纹理压缩方法和装置
CN106127493A (zh) * 2016-06-23 2016-11-16 深圳大学 一种分析用户交易行为的方法及装置
CN106529968A (zh) * 2016-09-29 2017-03-22 深圳大学 一种基于交易数据的客户分类方法及其系统
JP2019121044A (ja) * 2017-12-28 2019-07-22 日本電信電話株式会社 クラスタリング装置、クラスタリング方法及びプログラム
CA3020971A1 (en) * 2018-01-12 2019-07-12 Thomson Reuters (Tax & Accounting) Inc. Clustering and tagging engine for use in product support systems
CN109377260A (zh) * 2018-09-14 2019-02-22 江阴逐日信息科技有限公司 面向服装行业的用户行为分析系统
CN110570312A (zh) * 2019-09-17 2019-12-13 深圳追一科技有限公司 样本数据获取方法、装置、计算机设备和可读存储介质
US20210096943A1 (en) * 2019-09-30 2021-04-01 EMC IP Holding Company LLC Data Record Anomaly Reconciliation Using Machine Learning Models
CN114902246A (zh) * 2020-01-09 2022-08-12 泰必高软件公司 用于大数据的快速交互式探索的系统
CN111310843A (zh) * 2020-02-25 2020-06-19 苏州浪潮智能科技有限公司 一种基于K-means的海量流式数据的聚类方法及系统
CN112463958A (zh) * 2020-09-29 2021-03-09 上海海事大学 基于MapReduce框架下的海量文本快速聚类的方法
CN112347637A (zh) * 2020-11-04 2021-02-09 中国人民解放军陆军装甲兵学院 一种基于改进K_means聚类算法的发动机状态评估方法
CN112966897A (zh) * 2021-02-02 2021-06-15 广东工程宝科技有限公司 一种基于维修平台的多维度数据分析方法
CN113191868A (zh) * 2021-05-06 2021-07-30 江苏索迩软件技术有限公司 一种税务系统的智能风险识别方法
CN113240501A (zh) * 2021-06-16 2021-08-10 王健英 基于算法、区块链和大数据的人工智能电商推荐系统
CN114493443A (zh) * 2022-01-27 2022-05-13 北京步甲科技有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN115879014A (zh) * 2022-12-29 2023-03-31 税友软件集团股份有限公司 一种数据扫描方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周磊;付谦;刘旭;: "系统批量运行时间同交易量关联性分析", 中国金融电脑, no. 07 *

Also Published As

Publication number Publication date
CN116342168B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN109934301B (zh) 一种电力负荷聚类分析方法、装置和设备
CN107358268A (zh) 用于数据聚类分组的方法、装置、电子设备及可读介质
CN113033090B (zh) 推送模型训练方法、数据推送方法、装置及存储介质
CN109344990A (zh) 一种基于dfs和svm特征选择的短期负荷预测方法及系统
CN118114955B (zh) 虚拟电厂的电力调度方法及相关设备
CN110796159A (zh) 基于k-means算法的电力数据分类方法及系统
Huynh et al. Multi-output Gaussian processes for multi-population longevity modelling
CN111324790A (zh) 基于支持向量机分类的负荷类型识别方法
CN116342168B (zh) 一种信息大数据智能采集管理系统
CN109726862A (zh) 一种用户日电量模式预测方法
Sarhani et al. Feature selection and parameter optimization of support vector regression for electric load forecasting
CN113450141A (zh) 一种基于电力大客户群体售电量特征的智能预测方法及装置
CN111967919A (zh) 一种基于自回归和自适应提升算法的居民用电行为分析的系统及方法
CN116885697A (zh) 一种基于聚类分析与智能算法组合的负荷预测方法
CN115687948A (zh) 一种基于负荷曲线的电力专变用户无监督分类方法
CN114820036A (zh) 面向大数据和回归分析预测算法的充电市场分析系统
CN114638284A (zh) 一种考虑外部影响因素的用电行为刻画方法
CN112862179A (zh) 一种用能行为的预测方法、装置及计算机设备
Guo et al. Identifying daily water consumption patterns based on K-means Clustering, Agglomerative Hierarchical Clustering, and Spectral Clustering algorithms
Oh et al. Developing time-based clustering neural networks to use change-point detection: Application to financial time series
CN112749750B (zh) 一种基于k均值聚类算法的搜索引擎聚合分析方法及系统
CN113159957B (zh) 一种交易处理方法及装置
CN118014442B (zh) 共混型互穿网络热塑性弹性体的质量评估方法及系统
CN114549213B (zh) 一种基金产品的分析管理方法、装置及系统
CN117786581B (zh) 一种基于混合属性的金融领域异常检测方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 272200 Jinxi Industrial Park, Mamiao Town, Jinxiang County, Jining, Shandong Province

Patentee after: Shandong Lingdong Agricultural Development Co.,Ltd.

Country or region after: China

Address before: 272200 Jinxi Industrial Park, Mamiao Town, Jinxiang County, Jining, Shandong Province

Patentee before: Shandong Lingdong Electronic Commerce Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240425

Address after: No. 66, Mamiao Section, Dongfeng Line, Mamiao Town, Jinxiang County, Jining City, Shandong Province, 272200 (Jinxi Industrial Park)

Patentee after: Jining Jinjiechuang Information Technology Co.,Ltd.

Country or region after: China

Address before: 272200 Jinxi Industrial Park, Mamiao Town, Jinxiang County, Jining, Shandong Province

Patentee before: Shandong Lingdong Agricultural Development Co.,Ltd.

Country or region before: China