CN116934431A - 一种电子商务数据智能管理系统 - Google Patents
一种电子商务数据智能管理系统 Download PDFInfo
- Publication number
- CN116934431A CN116934431A CN202311210110.6A CN202311210110A CN116934431A CN 116934431 A CN116934431 A CN 116934431A CN 202311210110 A CN202311210110 A CN 202311210110A CN 116934431 A CN116934431 A CN 116934431A
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- optimal
- compression
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 claims abstract description 97
- 230000006835 compression Effects 0.000 claims abstract description 97
- 238000007726 management method Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 238000013144 data compression Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006735 deficit Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000013523 data management Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据压缩技术领域,具体涉及一种电子商务数据智能管理系统,包括:获取数据构成时序数据序列并进一步构建时序变化曲线;获得角度数据值,并计算必要有损程度评估因子;得到最优压缩数据方式;根据最优压缩方式对处理后的时序数据序列进行数据压缩处理,完成电子商务数据智能管理。本发明结合场景数据特征,对时序空间中各数据点进行自适应空间角度数据的计算,增大了原始数据的重复冗余程度,进一步得到了最优压缩方式,提高了游程编码的压缩效率,实现了电子商务数据智能管理。
Description
技术领域
本发明涉及数据压缩技术领域,具体涉及一种电子商务数据智能管理系统。
背景技术
由于电子商务数据涵盖的范围较广,为了提高存储传输效率避免系统空间的浪费和告罄;通常对于其中销售数据、网站流量数据等更新迭代较快的海量数据进行管理时采用数据压缩;而传统方式下的游程编码类型压缩方式过于依赖原始数据集的数据特征,即对于存在连续多个重复的数据压缩效率较高;而对于不存在或存在较少的重复数据的压缩效率较低;甚至会出现数据膨胀的情况。
发明内容
为解决上述问题,本发明提供一种电子商务数据智能管理系统。
本发明的一种电子商务数据智能管理系统采用如下技术方案:
本发明一个实施例提供了一种电子商务数据智能管理系统,该系统包括:
数据采集模块,用于获取电子商务场景中的时序上的数据,构成时序数据序列,根据时序数据序列构建时序变化曲线;
数据压缩模块,用于根据时序变化曲线获得每个数据点的角度数据值,在时序数据序列中,根据每个数据点的角度数据值分别计算每个数据点的第一必要损失程度和第二必要损失程度,并根据第一必要损失程度和第二必要损失程度得到时序数据序列中数据点的必要有损程度评估因子,利用必要有损程度评估因子筛选出必要有损程度高类型的数据点,根据必要有损程度高类型的数据点计算得到最优角度数据值,将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列,根据新的时序数据序列得到最优压缩数据序列;
压缩补充模块,用于将最优压缩数据序列的数据投射到二维空间中,根据最优压缩数据序列在二维空间中的排列分布获取最优压缩方式;
数据分析模块,用于根据最优压缩方式对处理后的时序数据序列进行数据压缩处理,完成电子商务数据智能管理。
优选的,所述根据时序数据序列构建时序变化曲线,包括的具体步骤如下:
以时间为横轴、时序上的数据为纵轴构建时序空间,并依次获取时序数据序列每个时间节点下对应的时序上的数据,映射到时序空间当中,得到多个数据点,对数据点依次进行连接,获得数据点的时序变化曲线。
优选的,所述根据时序变化曲线获得每个数据点的角度数据值,包括的具体步骤如下:
过每个数据点,作该数据点与轴的平行线,作为每个数据点的辅助线,将每个数据点与前一个数据点的连线作为第一连线,将每个数据点的第一连线与每个数据点的前一个数据点的辅助线之间的夹角作为每个数据点的角度数据值。
优选的,所述在时序数据序列中,根据每个数据点的角度数据值分别计算每个数据点的第一必要损失程度和第二必要损失程度的具体计算公式如下:
其中,表示第/>个时间节点对应的数据点的第一必要有损程度,/>表示第/>个时间节点对应的时序上的数据的角度数据值大小,/>表示第/>个时间节点对应的数据点的角度数据值大小,/>表示以自然常数为底的指数函数,/>表示取绝对值;
其中,表示第/>个时间节点对应的数据点的第二必要有损程度,/>表示第个时间节点的数据点的角度数据值大小,/>表示预设的相邻时间节点区间,表示对从/>到/>共/>个数据角度值求算术均值,/>表示以自然常数为底的指数函数,/>表示取绝对值。
优选的,所述根据第一必要损失程度和第二必要损失程度得到时序数据序列中数据点的必要有损程度评估因子,包括的具体步骤如下:
对第一必要损失程度赋予第一权重,并将第一必要损失程度与第一权重相乘得到第一因子,对第二必要损失程度赋予第二权重,并将第二必要损失程度与第二权重相乘得到第二因子,将第一因子和第二因子相加得到时序数据序列中数据点的必要有损程度评估因子。
优选的,所述利用必要有损程度评估因子筛选出必要有损程度高类型的数据点,根据必要有损程度高类型的数据点计算得到最优角度数据值,包括的具体步骤如下:
将时序数据中必要有损程度大于预设的筛选阈值的数据点作为最优数据,计算最优数据的最优角度数据值,具体的计算公式如下:
其中,表示最优数据的最优角度数据值,其中/>表示第/>个时间节点对应的数据点的必要有损程度,/>表示预设的筛选阈值,/>表示第/>个时间节点的数据点的角度数据值大小,/>表示预设的相邻时间节点区间。
优选的,所述将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列,根据新的时序数据序列得到最优压缩数据序列,包括的具体步骤如下:
将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列;对新的时序数据序列中的所有最优角度数据值除以,得到归一化的最优角度数据值,在数据点的时序数据序列中,将必要有损程度小于或等于预设的筛选阈值的数据保持原有的角度数据值,同样进行归一化处理得到归一化的角度数据值,将所有归一化的最优角度数据值和角度数据值按照时序数据序列的时序进行排列,得到最优压缩数据序列。
优选的,所述将最优压缩数据序列的数据投射到二维空间中,包括的具体步骤如下:
构建大小为的二维矩阵,将最优压缩数据序列中的每个元素依次填充到二维矩阵中,其中/>和/>为将最优压缩数据序列中数据数量的所有因数按照从小到大的顺序排列得到的序列中排位最为中间的两个数,若最中间只有一个数,则此时令/>且等于最中间的数。
优选的,所述根据最优压缩数据序列在二维空间中的排列分布获取最优压缩方式,包括的具体步骤如下:
获取每个数据在每个压缩方向下的重复程度评估因子,取每个数据的重复程度评估因子最大值对应的压缩方向,将最大值对应的压缩方向作为每个数据的最优压缩路径;将所有表示在二维空间中的每个时序数据序列中的数据根据最优压缩路径进行遍历并对数据进行分组:统计每个数据所属的最优压缩路径并对路径进行连接,得到每条最优压缩路径上的所有数据,将每条最优压缩路径上的所有数据分为一组,得到若干最优分组,记为最优压缩方式。
优选的,所述获取每个数据在每个压缩方向下的重复程度评估因子,包括的具体步骤如下:
构建若干个压缩方向,对每个数据,在若干个压缩方向上逐行进行光栅压缩得到每个压缩方向下的扫描序列;统计在所有压缩方向下的扫描序列中,当前角度数据值与前后相邻位角度数据值相同的情况的出现的数据的数量,记为每个压缩方向的相邻重复因子;统计每个压缩方向下的扫描序列中,存在连续相邻角度数据值相同的最大连续个数,记为每个压缩方向的最大重复因子,将每个压缩方向的相邻重复因子与每个压缩方向的最大重复因子相加得到每个数据在每个压缩方向下的重复程度评估因子。
本发明的技术方案的有益效果是:本发明提出了一种电子商务数据智能管理系统,结合场景下该类时序变化数据特征,对时序空间中各数据点进行自适应空间角度数据的计算;增大原始数据的重复冗余程度;获取最优压缩数据序列;并进而得到最优压缩方式;提高游程编码的压缩效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种电子商务数据智能管理系统的结构组成图;
图2为时序空间各数据点的角度数据值计算方式详解图;
图3为二维矩阵上三个预设的压缩方向示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种电子商务数据智能管理系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种电子商务数据智能管理系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种电子商务数据智能管理系统的结构组成图,该系统包括:
数据采集模块,用于获取电子商务场景中的时序上的销售金额数据,并构建时序变化曲线。
需要说明的是,电子商务数据主要包含几个重要的指标数据内容:销售数据,其包括销售额、销售数量、订单量等信息,可以用于评估经营业绩和销售趋势分析。订单数据,包括订单号、下单时间、支付方式、配送信息等,可用于订单管理和物流追踪。营销数据,包括广告投放数据、搜索引擎排名、社交媒体引流、点击率等,可用于评估营销活动效果和优化营销策略。对于该类重要的指标数据分别进行分类分析,对于其中的某一指标数据可通过基于时间进行时序空间的构建和映射(即将数据按照时间维度进行映射和划分,根据日期、星期、月份、季度或年份等进行划分,具体划分规则根据场景和数据可根据实际情况进行选择。这样可以方便进行时间序列分析和趋势观察)。本实施例以销售数据为例展开分析,得到智能压缩的逻辑思想和操作流程。
具体的,根据电子商务管理系统获取时序上的销售金额数据,得到销售金额数据的时序数据序列,以时间为横轴、销售金额为纵轴构建时序空间,并依次获取当前时间节点下对应的销售数据信息,映射到时序空间当中依次进行连接;获得销售金额数据的时序变化曲线,其中时序变化曲线上的时间节点的间隔为0.1秒,本实施例不对其进行限定。同时,单独保存销售金额数据的时序数据序列首位数据。
至此,得到了销售金额数据的时序数据序列和时序变化曲线。
数据压缩模块,用于根据销售金额数据的时序变化曲线获得每个数据点的角度数据值,在销售金额数据的时序数据序列中,根据每个数据点的角度数据值分别计算第一必要损失程度和第二必要损失程度,并根据第一必要损失程度和第二必要损失程度得到时序数据序列中数据点的必要有损程度评估因子,利用必要有损程度评估因子筛选必要有损程度高类型的数据点,计算得到最优角度数据值,将最优角度数据值覆盖原时序数据序列中对应的数据,得到新的时序数据序列,并进一步得到最优压缩数据序列。
需要说明的是,由于在电子商务数据中,众多的重要指标数据都在时序空间中具有一定的周期变化性,例如销售数据;其会在特定的季度或节假日又或是一天中某个时段增加或减少;又或是网站流量数据:网站访问量、独立访客数和页面浏览量等指标可能会表现出周期性变化;这种周期性可能是由于特定时段的用户活跃度增加,或者与市场趋势、季节性需求等因素相关。因此其在时序空间中表现出的曲线特征具有一定的相似变化(递增或递减);根据该时序曲线特征;可引入角度数据的概念,即由于该场景下数据的特征性,计算当前数据与相邻时间节点的数据之间的角度大小;以该计算结果作为当前时间节点的数据值;由于曲线具备大量递增或递减的周期波动;因此会得到大量连续相同的角度数据;因此该操作可增大原始数据的冗余重复程度;同时,相较于差分法而言,不需要进行正负号的变化标记,节省空间的同时避免较大的繁琐操作。
需要进一步说明的是,由于在对于时序空间中各数据点进行角度数据值计算时,会存在一段时间节点内的连续递增或递减的变化特征但其中相邻时间节点对应的数据值存在非平稳的起伏角度差异的情况(即整体为递增或递减,但角度数据值存在差异);该类情况同样会影响最终的压缩效率,但若对该类角度数据值进行有损压缩(降低原始角度数据值的精度,替换为相同的角度数据值);又会存在丢失重要数据的概率,因此需要对该类数据点进行分析和计算,得到数据点的必要损失程度;再根据程度值进行进一步处理。
具体的,过每个数据点,作该数据点与轴的平行线,作为每个数据点的辅助线,将每个数据点与前一个数据点的连线作为第一连线,将每个数据点的第一连线与每个数据点的前一个数据点的辅助线之间的夹角作为每个数据点的角度数据值;为方便解释说明,本实施例给出图2即时序空间各数据点的角度数据值计算方式详解图,其中,/>为横轴时间节点/>所对应的数据点;虚线部分为过数据点和时间节点与空间纵轴平行的水平线,用来计算角度的辅助线,即当前数据点/>的角度数据值为/>和/>连线与以数据点/>为中点,过/>和时间节点/>与纵轴平行的水平线构成的/>平角所构成的夹角/>,同理得到数据点的/>,以此类推得到/>数据点的角度数据值/>,其中/>表示销售金额数据在时序上对应的数据点的编号。同时,单独保存销售金额数据的角度数据值。
进一步,根据销售金额数据的角度数据值综合分析得到第一必要损失程度,具体的计算公式如下:
其中,表示第/>个时间节点对应的销售金额数据的第一必要有损程度,表示第/>个时间节点的销售金额数据角度数据值大小,/>表示第/>个时间节点的销售金额数据角度数据值大小,/>表示以自然常数为底的指数函数,/>表示取绝对值。当前后两个数据点的角度数据值的比值结果越接近时,则说明第/>个数据点相邻两侧的数据角度数据值变化相似性越高,则绝对值中结果越趋于0变化相似性越高;为自变量为/>的反比例归一化函数,使得结果映射到值域之间,且括号中值越趋于0时最终第一必要损失程度越趋于1,此时说明当前数据点/>第一必要损失程度越高。
进一步,根据销售金额数据的角度数据值综合分析得到第二必要损失程度,具体的计算公式如下:
其中,表示第/>个时间节点对应的数据点的第二必要有损程度,/>表示第个时间节点的数据点的角度数据值大小,/>表示预设的相邻时间节点区间,表示对从/>到/>共/>个数据角度值求算术均值,/>表示以自然常数为底的指数函数,/>表示取绝对值。算术均值表示了某时间节点周围的一定的时间子段内各数据的角度数据值与均值的差异,再将差异性求均值表现周围的整体差异性,周围的整体差异性的值越小,则最终在/>函数下结果越趋于1;则说明当前数据点/>的第二必要有损程度越高。
进一步,利用第一必要有损程度和第二必要有损程度得到时序数据序列中数据点的必要有损程度评估因子:
其中,表示数据点/>的必要有损程度,/>和/>分别表示第/>个时间节点对应的销售金额数据的第一必要有损程度和第二必要有损程度,/>表示预设的经验阈值。由于第二必要有损程度包含的趋势整体性更强,而第一必要有损程度计算偏于局部,因此根据不同的两个权重值对两个必要有损程度进行调配得到最终的必要有损程度,预设两个经验阈值:/>,本实施例对经验阈值的具体数值不做限定,只需满足且/>即可。
进一步,将时序数据中必要有损程度大于预设的筛选阈值的数据点作为最优数据,计算最优数据的最优角度数据值,具体的计算公式如下:
其中,表示最优数据的最优角度数据值,其中/>表示第/>个时间节点对应的数据点的必要有损程度,/>表示预设的筛选阈值,/>表示第/>个时间节点的数据点的角度数据值大小,/>表示预设的相邻时间节点区间。当/>时,代表当前时序空间中的第/>个时间节点对应的销售金额数据的必要有损程度较高;反之则较低,其中本实施例筛选阈值/>为例进行说明,本实施例不对其做限定。上式表示取当前时间节点区间内各数据的角度数据值均值;此时可以保持其波动递增或递减保持相同频率,达到角度最优相似的效果。
进一步,将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列;对新的时序数据序列中的所有最优角度数据值除以,得到归一化的最优角度数据值,在数据点的时序数据序列中,将必要有损程度小于或等于预设的筛选阈值的数据保持原有的角度数据值,同样进行归一化处理得到归一化的角度数据值,将所有归一化的最优角度数据值和角度数据值按照时序数据序列的时序进行排列,得到最优压缩数据序列。
至此,得到了最优压缩数据序列。
压缩补充模块,用于将最优压缩数据序列的数据投射到二维空间中,根据最优压缩数据序列在二维空间中的排列分布获取最优压缩方式。
需要说明的是,对上述处理操作后的数据序列进行高维空间存储方式的转换;此操作的有益效果为增加数据之间的关联性,并为传统游程编码压缩带来更多的压缩方向选择,得到更为高效的压缩方式。
具体的,构建大小为的二维矩阵,将最优压缩数据序列中的每个元素依次填充到二维矩阵中,其中/>和/>为将数据序列中数据数量的所有因数按照从小到大的顺序排列得到的序列中排位最为中间的两个数,若最中间只有一个数,则此时令/>且等于最中间的这个数。相较于一维数据序列的单一方向压缩,可以对得到的二维矩阵按照如图3所示三个预设的压缩方向上逐行进行光栅压缩得到每个压缩方向下的扫描序列,其中/>和分别表示三个预设的压缩方向,本实施例不对预设的压缩方向做限定;
进一步,依次对三个压缩方向的压缩效果进行评估,得到每个数据在每个压缩方向的重复程度评估因子具体的公式如下:
其中,表示第/>个数据在第/>个压缩方向下的重复程度评估因子,表示在所有压缩方向下的扫描序列中,当前角度数据值与前后相邻位角度数据值相同的情况的出现的数据的数量,/>表示第/>个压缩方向下的扫描序列中存在连续相邻角度数据值相同的最大连续个数;/>依次取值1,2,3表示不同的压缩方向;/>表示在第/>个压缩方向下的扫描序列中数据的最大连续相邻角度数据值相同的数量的最大值。最终将两项相加得到当前方向的重复程度。同时,记录二维矩阵的行列坐标对应的数据位置。
进一步,取每个数据的重复程度评估因子最大值对应的方向,将该方向作为每个数据的最优压缩路径,将所有表示在二维空间中的每个时序数据序列中的数据根据最优压缩路径进行遍历并对数据进行分组,统计每个数据所属的最优压缩路径并对路径进行连接,得到每条最优压缩路径上的所有数据,将每条最优压缩路径上的所有数据分为一组,得到若干最优分组,记为最优压缩方式。
至此,得到了最优压缩方式。
数据分析模块,用于根据最优压缩方式对处理后的时序数据序列进行数据压缩处理,完成电子商务数据智能管理。
具体的,利用最优压缩方式进行游程编码压缩处理得到压缩数据并存储在电子商务数据智能管理系统中,在进行数据分析时可以由相关工作人员进行调用并解压缩并进一步处理数据,完成电子商务数据智能管理;解压时根据最优压缩方式和二维矩阵的行列坐标对应的数据位置进行还原,并通过单独保存的销售金额数据的时序数据序列首位数据和销售金额数据的角度数据值进行还原,完成数据解压操作。
至此,完成了电子商务数据智能管理。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种电子商务数据智能管理系统,其特征在于,该系统包括:
数据采集模块,用于获取电子商务场景中的时序上的数据,构成时序数据序列,根据时序数据序列构建时序变化曲线;
数据压缩模块,用于根据时序变化曲线获得每个数据点的角度数据值,在时序数据序列中,根据每个数据点的角度数据值分别计算每个数据点的第一必要损失程度和第二必要损失程度,并根据第一必要损失程度和第二必要损失程度得到时序数据序列中数据点的必要有损程度评估因子,利用必要有损程度评估因子筛选出必要有损程度高类型的数据点,根据必要有损程度高类型的数据点计算得到最优角度数据值,将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列,根据新的时序数据序列得到最优压缩数据序列;
压缩补充模块,用于将最优压缩数据序列的数据投射到二维空间中,根据最优压缩数据序列在二维空间中的排列分布获取最优压缩方式;
数据分析模块,用于根据最优压缩方式对处理后的时序数据序列进行数据压缩处理,完成电子商务数据智能管理。
2.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述根据时序数据序列构建时序变化曲线,包括的具体步骤如下:
以时间为横轴、时序上的数据为纵轴构建时序空间,并依次获取时序数据序列每个时间节点下对应的时序上的数据,映射到时序空间当中,得到多个数据点,对数据点依次进行连接,获得数据点的时序变化曲线。
3.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述根据时序变化曲线获得每个数据点的角度数据值,包括的具体步骤如下:
过每个数据点,作该数据点与轴的平行线,作为每个数据点的辅助线,将每个数据点与前一个数据点的连线作为第一连线,将每个数据点的第一连线与每个数据点的前一个数据点的辅助线之间的夹角作为每个数据点的角度数据值。
4.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述在时序数据序列中,根据每个数据点的角度数据值分别计算每个数据点的第一必要损失程度和第二必要损失程度的具体计算公式如下:
其中,表示第/>个时间节点对应的数据点的第一必要有损程度,/>表示第个时间节点对应的时序上的数据的角度数据值大小,/>表示第/>个时间节点对应的数据点的角度数据值大小,/>表示以自然常数为底的指数函数,/>表示取绝对值;
其中,表示第/>个时间节点对应的数据点的第二必要有损程度,/>表示第/>个时间节点的数据点的角度数据值大小,/>表示预设的相邻时间节点区间,表示对从/>到/>共/>个数据角度值求算术均值,/>表示以自然常数为底的指数函数,/>表示取绝对值。
5.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述根据第一必要损失程度和第二必要损失程度得到时序数据序列中数据点的必要有损程度评估因子,包括的具体步骤如下:
对第一必要损失程度赋予第一权重,并将第一必要损失程度与第一权重相乘得到第一因子,对第二必要损失程度赋予第二权重,并将第二必要损失程度与第二权重相乘得到第二因子,将第一因子和第二因子相加得到时序数据序列中数据点的必要有损程度评估因子。
6.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述利用必要有损程度评估因子筛选出必要有损程度高类型的数据点,根据必要有损程度高类型的数据点计算得到最优角度数据值,包括的具体步骤如下:
将时序数据中必要有损程度大于预设的筛选阈值的数据点作为最优数据,计算最优数据的最优角度数据值,具体的计算公式如下:
其中,表示最优数据的最优角度数据值,其中/>表示第/>个时间节点对应的数据点的必要有损程度,/>表示预设的筛选阈值,/>表示第/>个时间节点的数据点的角度数据值大小,/>表示预设的相邻时间节点区间。
7.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列,根据新的时序数据序列得到最优压缩数据序列,包括的具体步骤如下:
将最优角度数据值覆盖时序数据序列中对应的数据,得到新的时序数据序列;对新的时序数据序列中的所有最优角度数据值除以,得到归一化的最优角度数据值,在数据点的时序数据序列中,将必要有损程度小于或等于预设的筛选阈值的数据保持原有的角度数据值,同样进行归一化处理得到归一化的角度数据值,将所有归一化的最优角度数据值和角度数据值按照时序数据序列的时序进行排列,得到最优压缩数据序列。
8.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述将最优压缩数据序列的数据投射到二维空间中,包括的具体步骤如下:
构建大小为的二维矩阵,将最优压缩数据序列中的每个元素依次填充到二维矩阵中,其中/>和/>为将最优压缩数据序列中数据数量的所有因数按照从小到大的顺序排列得到的序列中排位最为中间的两个数,若最中间只有一个数,则此时令/>且等于最中间的数。
9.根据权利要求1所述一种电子商务数据智能管理系统,其特征在于,所述根据最优压缩数据序列在二维空间中的排列分布获取最优压缩方式,包括的具体步骤如下:
获取每个数据在每个压缩方向下的重复程度评估因子,取每个数据的重复程度评估因子最大值对应的压缩方向,将最大值对应的压缩方向作为每个数据的最优压缩路径;将所有表示在二维空间中的每个时序数据序列中的数据根据最优压缩路径进行遍历并对数据进行分组:统计每个数据所属的最优压缩路径并对路径进行连接,得到每条最优压缩路径上的所有数据,将每条最优压缩路径上的所有数据分为一组,得到若干最优分组,记为最优压缩方式。
10.根据权利要求9所述一种电子商务数据智能管理系统,其特征在于,所述获取每个数据在每个压缩方向下的重复程度评估因子,包括的具体步骤如下:
构建若干个压缩方向,对每个数据,在若干个压缩方向上逐行进行光栅压缩得到每个压缩方向下的扫描序列;统计在所有压缩方向下的扫描序列中,当前角度数据值与前后相邻位角度数据值相同的情况的出现的数据的数量,记为每个压缩方向的相邻重复因子;统计每个压缩方向下的扫描序列中,存在连续相邻角度数据值相同的最大连续个数,记为每个压缩方向的最大重复因子,将每个压缩方向的相邻重复因子与每个压缩方向的最大重复因子相加得到每个数据在每个压缩方向下的重复程度评估因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311210110.6A CN116934431B (zh) | 2023-09-19 | 2023-09-19 | 一种电子商务数据智能管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311210110.6A CN116934431B (zh) | 2023-09-19 | 2023-09-19 | 一种电子商务数据智能管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116934431A true CN116934431A (zh) | 2023-10-24 |
CN116934431B CN116934431B (zh) | 2023-12-05 |
Family
ID=88379329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311210110.6A Active CN116934431B (zh) | 2023-09-19 | 2023-09-19 | 一种电子商务数据智能管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116934431B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024383A (zh) * | 2012-12-14 | 2013-04-03 | 北京工业大学 | 一种基于hevc框架的帧内无损压缩编码方法 |
EP3575986A1 (en) * | 2018-05-30 | 2019-12-04 | Robert Bosch GmbH | A lossy data compressor for vehicle control systems |
CN112234993A (zh) * | 2019-07-15 | 2021-01-15 | 北京信息科技大学 | 一种强瞬态信号数据压缩方法 |
CN114640355A (zh) * | 2022-03-30 | 2022-06-17 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
CN114785824A (zh) * | 2022-04-06 | 2022-07-22 | 郑州润声电子科技有限公司 | 一种智能物联网大数据传输方法及系统 |
CN116055725A (zh) * | 2022-12-28 | 2023-05-02 | 杭电(丽水)研究院有限公司 | 基于jpeg 2000的卫星图像无损压缩系统及方法 |
CN116112120A (zh) * | 2021-11-11 | 2023-05-12 | 华为技术有限公司 | 传输数据的方法和通信装置 |
-
2023
- 2023-09-19 CN CN202311210110.6A patent/CN116934431B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024383A (zh) * | 2012-12-14 | 2013-04-03 | 北京工业大学 | 一种基于hevc框架的帧内无损压缩编码方法 |
EP3575986A1 (en) * | 2018-05-30 | 2019-12-04 | Robert Bosch GmbH | A lossy data compressor for vehicle control systems |
CN112234993A (zh) * | 2019-07-15 | 2021-01-15 | 北京信息科技大学 | 一种强瞬态信号数据压缩方法 |
CN116112120A (zh) * | 2021-11-11 | 2023-05-12 | 华为技术有限公司 | 传输数据的方法和通信装置 |
CN114640355A (zh) * | 2022-03-30 | 2022-06-17 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
CN114785824A (zh) * | 2022-04-06 | 2022-07-22 | 郑州润声电子科技有限公司 | 一种智能物联网大数据传输方法及系统 |
CN116055725A (zh) * | 2022-12-28 | 2023-05-02 | 杭电(丽水)研究院有限公司 | 基于jpeg 2000的卫星图像无损压缩系统及方法 |
Non-Patent Citations (1)
Title |
---|
冉晓娟;: "无损图像压缩编码方法及其比较", 重庆电力高等专科学校学报, no. 06, pages 57 - 59 * |
Also Published As
Publication number | Publication date |
---|---|
CN116934431B (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5761389A (en) | Data analyzing method and system | |
CN111444394B (zh) | 获取实体间关系表达的方法、系统和设备、广告召回系统 | |
CN112991354A (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
CN108920720A (zh) | 基于深度哈希和gpu加速的大规模图像检索方法 | |
Liu et al. | DSS-TRM: Deep spatial–spectral transformer for hyperspectral image classification | |
CN109871860A (zh) | 一种基于核主成分分析的日负荷曲线降维聚类方法 | |
CN104036012A (zh) | 字典学习、视觉词袋特征提取方法及检索系统 | |
CN112612948B (zh) | 一种基于深度强化学习的推荐系统构建方法 | |
CN112037539B (zh) | 一种用于饱和城市交通网络的信控方案推荐方法及系统 | |
Zhang et al. | OMCBIR: Offline mobile content-based image retrieval with lightweight CNN optimization | |
CN115545166A (zh) | 一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法 | |
CN112785441A (zh) | 数据处理方法、装置、终端设备及存储介质 | |
CN102300095A (zh) | 一种超谱信号的快速压缩编码方法及图像压缩方法 | |
CN112861006A (zh) | 融合元路径语义的推荐方法及系统 | |
Shi et al. | F 3 Net: Fast Fourier filter network for hyperspectral image classification | |
CN115796932A (zh) | 一种工程造价预测方法、装置、电子设备及存储介质 | |
CN116934431B (zh) | 一种电子商务数据智能管理系统 | |
CN114220019A (zh) | 一种轻量级沙漏式遥感图像目标检测方法及系统 | |
CN114266421A (zh) | 基于复合气象特征构建与选择的新能源功率预测方法 | |
CN112468154A (zh) | 一种适用于海洋气象可视化的数据压缩方法 | |
CN114580617A (zh) | 基于时空图卷积网络的全国公路运输能力分布预测方法 | |
CN110297952B (zh) | 一种基于网格索引的并行化高速铁路勘测数据检索方法 | |
CN116881242A (zh) | 一种生鲜农产品电商采购数据智能存储系统 | |
LU502699B1 (en) | Method and system for predicting risk of geological disasters in villages and towns | |
CN113868291A (zh) | 一种最近邻搜索方法、装置、终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |