CN117035948B - 基于大数据的任务智能处理方法及系统 - Google Patents
基于大数据的任务智能处理方法及系统 Download PDFInfo
- Publication number
- CN117035948B CN117035948B CN202311300611.3A CN202311300611A CN117035948B CN 117035948 B CN117035948 B CN 117035948B CN 202311300611 A CN202311300611 A CN 202311300611A CN 117035948 B CN117035948 B CN 117035948B
- Authority
- CN
- China
- Prior art keywords
- commodity
- target
- point
- data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000003064 k means clustering Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000007621 cluster analysis Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及数据处理技术领域,具体涉及基于大数据的任务智能处理方法及系统,包括:采集当前时刻购物平台上的用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点,再获取平面坐标系上的初始聚类中心点,并得到数据点之间的更新距离,由此使用K‑means聚类算法,将平面坐标系上所有的数据点划分为若干个聚类簇,再获取得到总商品序列,从而依次向目标用户推荐每种商品。本发明使得最终的聚类结果能够更好地符合目标用户的商品个性化推荐需求,令商品推荐顺序更加符合用户心意,从而增加用户购物意向和购物平台商品的销量以及受欢迎度。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及基于大数据的任务智能处理方法及系统。
背景技术
基于大数据的任务智能处理方法及系统是指利用大数据技术和人工智能方法,对海量数据进行分析、挖掘和处理,以实现自动化、智能化的任务处理,它可应用于各种领域,如金融、医疗、物流、电商等。在电商方面,随着互联网的不断发展,网上购物平台也越来越多,让用户实现了可以足不出户的进行购物,但是在用户进行挑选商品或者有购物意向浏览商品时,海量的商品需要根据用户的喜好和需求对不同的用户进行个性化推荐,并得到用户的认可和喜欢,从而增加购物平台商品的销量和平台用户欢迎度。
现有的问题:传统的用户网购推荐方法主要是根据用户近期对商品的浏览次数进行推荐的,但是该推荐方法缺乏了与用户历史购买商品的相关信息的结合,使得推荐的商品往往不符合用户的喜好和需求,导致用户购物意向降低,会减少购物平台商品的销量和受欢迎度。
发明内容
本发明提供基于大数据的任务智能处理方法及系统,以解决现有的问题。
本发明的基于大数据的任务智能处理方法及系统采用如下技术方案:
本发明一个实施例提供了基于大数据的任务智能处理方法,该方法包括以下步骤:
采集当前时刻购物平台上的用户数据和商品数据,将购物平台上任意一个用户,记为目标用户;根据用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点;
将平面坐标系上任意一个数据点,记为目标点,将目标点之外的数据点,记为参考点;根据目标点与参考点之间的欧式距离、目标点与参考点对应的商品对目标用户的推荐指数、商品数据,得到目标点的局部特征;根据平面坐标系上所有数据点之间的欧式距离、所有数据点的局部特征之间的差异,得到初始聚类中心点;
将平面坐标系上任意一个初始聚类中心点,记为目标中心点,将目标中心点之外的任意一个数据点,记为中心参考点;根据目标中心点与中心参考点之间的欧式距离、商品数据、目标中心点对应的商品对目标用户的推荐指数,得到目标中心点与中心参考点的更新距离;
根据平面坐标系上所有的初始聚类中心点、所有初始聚类中心点与其它所有数据点的更新距离,使用K-means聚类算法,将平面坐标系上所有的数据点划分为若干个聚类簇,并得到每个聚类簇的中心数据点;根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列;根据总商品序列,依次向目标用户推荐每种商品。
进一步地,所述根据用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点,包括的具体步骤如下:
用户数据包含每个用户浏览每种商品的次数、每个用户浏览每种商品的总时长,每个用户浏览每种商品的最终截至时刻;商品数据包含每种商品的销量、每种商品的价格;
在购物平台上,将当前时刻之前T天内每种商品的销量,记为每种商品的近期销量;所述T为预设的近期时长;
将目标用户浏览每种商品的总时长除以目标用户浏览每种商品的次数,记为目标用户浏览每种商品的平均时长;
将当前时刻与目标用户浏览每种商品的最终截至时刻的差值加一后的反比例值,记为目标用户浏览每种商品的近期特征;
根据每种商品的销量、每种商品的近期销量,得到每种商品的销量特征;
根据目标用户浏览每种商品的平均时长、目标用户浏览每种商品的近期特征、每种商品的销量特征,得到每种商品对目标用户的推荐指数;
以商品对目标用户的推荐指数为纵轴、以商品的价格为横轴,构建平面坐标系,得到每种商品对应在平面坐标系上的数据点。
进一步地,所述根据目标用户浏览每种商品的平均时长、目标用户浏览每种商品的近期特征、每种商品的销量特征,得到每种商品对目标用户的推荐指数对应的具体计算公式为:
其中为第i种商品对目标用户的推荐指数,/>为目标用户浏览第i种商品的总时长,/>为目标用户浏览第i种商品的次数,t为当前时刻,/>为目标用户浏览第i种商品的最终截至时刻,/>为第i种商品的近期销量,/>为第i种商品的销量,/>为所有种商品的销量之和,R为预设的放大系数,/>为第i种商品的销量特征,/>为线性归一化函数。
进一步地,所述根据目标点与参考点之间的欧式距离、目标点与参考点对应的商品对目标用户的推荐指数、商品数据,得到目标点的局部特征,包括的具体步骤如下:
根据平面坐标系上数据点的坐标,计算目标点分别与所有参考点之间的欧式距离,根据所述欧式距离由大到小,将对应的所有参考点排序,得到参考点序列;
将目标点与参考点序列中前n个参考点之间的欧式距离的均值,记为目标点的局部密度;所述n为预设的数量阈值;
商品数据包含每种商品的价格;根据目标点与参考点序列中前n个参考点对应的商品的价格、商品对目标用户的推荐指数,得到目标点的商品特征;
根据目标点的商品特征、目标点的局部密度,得到目标点的局部特征。
进一步地,所述根据目标点的商品特征、目标点的局部密度,得到目标点的局部特征对应的具体计算公式为:
其中F为目标点的局部特征,为目标点与参考点序列中第u个参考点之间的欧式距离,/>为目标点对应的商品对目标用户的推荐指数,/>为目标点对应的商品的价格,为参考点序列中第u个参考点对应的商品对目标用户的推荐指数,/>为参考点序列中第u个参考点对应的商品的价格,/>为目标点的商品特征。
进一步地,所述根据平面坐标系上所有数据点之间的欧式距离、所有数据点的局部特征之间的差异,得到初始聚类中心点,包括的具体步骤如下:
计算平面坐标系上任意两个数据点的局部特征的差异,将所述两个数据点之间的欧式距离与所述局部特征的差异的乘积,记为所述两个数据点的差异程度;
将平面坐标系上所有数据点的差异程度的均值,记为差异阈值;
将差异程度大于差异阈值的数据点,记为初始聚类中心点。
进一步地,所述根据目标中心点与中心参考点之间的欧式距离、商品数据、目标中心点对应的商品对目标用户的推荐指数,得到目标中心点与中心参考点的更新距离,包括的具体步骤如下:
商品数据包含每种商品被每个用户购买过的数量;根据目标中心点对应的商品对目标用户的推荐指数、目标中心点对应的商品被目标用户购买过的数量,得到目标中心点与中心参考点的距离权重;
根据标中心点与中心参考点的距离权重、目标中心点与中心参考点之间的欧式距离,得到目标中心点与中心参考点的更新距离。
进一步地,所述根据标中心点与中心参考点的距离权重、目标中心点与中心参考点之间的欧式距离,得到目标中心点与中心参考点的更新距离对应的具体计算公式为:
其中B为目标中心点与中心参考点的更新距离,C为目标中心点与中心参考点之间的欧式距离,为目标中心点对应的商品对目标用户的推荐指数,M为目标中心点对应的商品被目标用户购买过的数量,/>为线性归一化函数,/>为目标中心点与中心参考点的距离权重。
进一步地,所述根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列,包括的具体步骤如下:
根据聚类簇内数据点的数量,由大到小将所有聚类簇依次排序,得到聚类簇序列;
将任意一个聚类簇,记为目标聚类簇;
在目标聚类簇内,根据所有数据点分别与中心数据点之间的欧式距离由小到大,将所有数据点对应的商品依次排序,得到目标聚类簇对应的商品序列;
将所有聚类簇对应的商品序列,根据聚类簇序列中所有聚类簇的排序,构成总商品序列。
本发明还提出了基于大数据的任务智能处理系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现前述所述的方法。
本发明的技术方案的有益效果是:
本发明实施例中,采集当前时刻购物平台上的用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点,其中推荐指数的大小是影响商品对用户的推荐主要因素之一,同时根据实际场景中的用户购买商品的行为习惯,将商品的价格作为另一个分析因素。然后获取平面坐标系上的初始聚类中心点,从而得到数据点之间的更新距离,从而使用K-means聚类算法,将平面坐标系上所有的数据点划分为若干个聚类簇,并得到每个聚类簇的中心数据点,由于影响聚类结果的主要因素为初始聚类中心点的选取和数据点之间的距离,本实施例通过结合用户和商品数据,得到初始聚类中心点和更新距离,使得聚类结果能够更好地符合用户的商品个性化推荐需求,从而根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列,依次向目标用户推荐每种商品,由此令商品推荐顺序更加符合用户心意,从而增加用户购物意向和购物平台商品的销量以及受欢迎度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于大数据的任务智能处理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于大数据的任务智能处理方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于大数据的任务智能处理方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于大数据的任务智能处理方法的步骤流程图,该方法包括以下步骤:
步骤S001:采集当前时刻购物平台上的用户数据和商品数据,将购物平台上任意一个用户,记为目标用户;根据用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点。
采集当前时刻购物平台上的用户数据和商品数据,其中用户数据包括:每个用户浏览每种商品的次数、每个用户浏览每种商品的总时长,每个用户浏览每种商品的最终截至时刻。商品数据包括:每种商品的销量、每种商品的价格、商品种类的数量、每种商品被每个用户购买过的数量。在购物平台上,将当前时刻之前T天内每种商品的销量,记为每种商品的近期销量。其中T为近期时长,本实施例设定的近期时长T为30,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
所需说明的是:每个用户浏览每种商品的最终截至时刻是指,当前时刻之前某一种商品被某一个用户最后一次浏览的截至时刻。每种商品的销量是指,购物平台上当前时刻之前某一种商品总共的销售量。
本实施例使用K-means聚类分析方法对用户浏览的商品特征进行聚类分析,完成对用户进行商品的推荐。因此,需要对用户浏览的商品的相关信息进行分析,建立合适的坐标系,将该用户有关的商品特征映射到坐标中对其进行聚类分析,完成商品的推荐。用户在进行购物时,一般是选择自己需要的产品,而对于同一个产品浏览或者搜索的次数越多,则越有可能是该用户的心仪产品。
将购物平台上任意一个用户,记为目标用户。通过以上分析可知,每种商品对目标用户的推荐指数的计算公式为:
其中为第i种商品对目标用户的推荐指数,/>为目标用户浏览第i种商品的总时长,/>为目标用户浏览第i种商品的次数,t为当前时刻,/>为目标用户浏览第i种商品的最终截至时刻,/>为第i种商品的近期销量,/>为第i种商品的销量,/>为所有种商品的销量之和,/>为/>的归一化值,m为商品种类的数量,R为放大系数。/>为线性归一化函数,将数据值归一化至[0,1]区间内。本实施例设定的放大系数/>,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
所需说明的是:推荐指数的大小决定了每种商品对目标用户在购物平台商品推荐栏的展示次序,推荐指数越大,推荐顺序越靠前。放大系数R是为了后续步骤对商品的相关特征聚类时方便观察,中/>加1,是为了防止分母为0,/>加1,是为了防止/>为0时,影响后续分析。当用户对某种商品进行多次浏览时,说明用户对该商品是比较喜欢的,则购买该商品的可能程度比较大,因此需要对用户购物平台的商品推荐时优先展示,/>表示目标用户浏览第i种商品的平均时长,平均时长越大,越应该及时推荐。/>表示目标用户浏览第i种商品的近期特征,在对用户进行商品的推荐时,需要根据用户不同时间段的需求进行推荐,如果该用户近期反复浏览该商品,则需要进行优先推荐,而用户浏览某种商品的最终截至时刻距离当前时刻是比较远的,那么说明该用户近期对该商品的需求是比较小的,则对用户近期商品推荐时,推荐指数是比较小的,故/>越大,越应该及时推荐。当某种商品近期的销量比较好,那么对用户进行商品推荐时,推荐的指数也是比较大,同样的该商品的总的销量比较好,那么在对用户进行商品推荐时,推荐力度也是比较大的,因此用归一化值/>和/>的乘积,表示第i种商品的销量特征。至此用表示第i种商品对目标用户的推荐指数。
以商品对目标用户的推荐指数为纵轴、以商品的价格为横轴,构建平面坐标系,得到每种商品对应在平面坐标系上的数据点。
步骤S002:将平面坐标系上任意一个数据点,记为目标点,将目标点之外的数据点,记为参考点;根据目标点与参考点之间的欧式距离、目标点与参考点对应的商品对目标用户的推荐指数、商品数据,得到目标点的局部特征;根据平面坐标系上所有数据点之间的欧式距离、所有数据点的局部特征之间的差异,得到初始聚类中心点。
已知K-means聚类算法中初始聚类中心点的确定会对聚类效果产生较大的影响,而聚类效果的好坏直接影响到对用户的商品推荐效果。因此,需要先确定初始聚类中心点,在进行聚类分析时,聚类中心是每个簇的代表点,它被用作该簇的总体特征的近似值。
将平面坐标系上任意一个数据点,记为目标点,将目标点之外的数据点,记为参考点。根据平面坐标系上数据点的坐标,计算目标点分别与所有参考点之间的欧式距离,根据所述欧式距离由大到小,将对应的所有参考点排序,得到参考点序列。
由此可知目标点的局部特征F的计算公式为:
其中F为目标点的局部特征,n为数量阈值,为目标点与参考点序列中第u个参考点之间的欧式距离,/>为目标点对应的商品对目标用户的推荐指数,/>为目标点对应的商品的价格,/>为参考点序列中第u个参考点对应的商品对目标用户的推荐指数,/>为参考点序列中第u个参考点对应的商品的价格。本实施例设定的数量阈值/>,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
所需说明的是:初始聚类中心周围点的密度相对是比较大的,因此计算目标点与周围局部点的密度来表示该点为聚类中心点的可能性,这里用数据点之间的距离来反映该点的局部密度,距离越小,密度越大。表示目标点的局部密度,同时计算目标点及其周围点对应的推荐指数和商品价格的乘积的均值,/>表示目标点的商品特征。至此用/>和/>的乘积,表示目标点的局部特征。
按照上述方式,得到平面坐标系上每个数据点的局部特征。
计算平面坐标系上任意两个数据点的局部特征的差值的绝对值,将所述两个数据点之间的欧式距离与所述局部特征的差值的绝对值的乘积,记为所述两个数据点的差异程度。
将平面坐标系上所有数据点的差异程度的均值,记为差异阈值。将差异程度大于差异阈值的数据点,记为初始聚类中心点。
所需说明的是:聚类中心点其周围点的局部密度是比较大的,但是聚类中心点之间的距离往往是比较大的,因此在该场景下各聚类中心点的局部体特征的差异也是相对比较大。因此通过计算任意两点间的局部特征差异作为该点可能为聚类中心点的可能性。两点之间的差异程度越大,为初始聚类中心点的可能性越大。
步骤S003:将平面坐标系上任意一个初始聚类中心点,记为目标中心点,将目标中心点之外的任意一个数据点,记为中心参考点;根据目标中心点与中心参考点之间的欧式距离、商品数据、目标中心点对应的商品对目标用户的推荐指数,得到目标中心点与中心参考点的更新距离。
由于传统的商品推荐过程中一般是根据用户最近的浏览记录或者商品的购买记录进行推荐的,但是却往往忽略了推荐商品占用户购买商品的比重,因此就会出现最近浏览的商品会进行经常性的推荐,而历史商品的推荐强度则相对减弱了。因此,结合本实施例的场景下,在聚类的过程中聚类中心的偏移会对聚类结果造成一定的影响,从而影响商品的排序,导致商品的推荐效果不佳。在传统的的聚类过程中聚簇中心点一般是根据簇内点间的距离进行移动的,但是在该场景中根据簇内点间的距离是不够的,还需要进一步结合用户个人对该商品的购买习惯进行分析。
将平面坐标系上任意一个初始聚类中心点,记为目标中心点,将目标中心点之外的任意一个数据点,记为中心参考点。由此可知目标中心点与中心参考点的更新距离B的计算公式为:
其中B为目标中心点与中心参考点的更新距离,C为目标中心点与中心参考点之间的欧式距离,为目标中心点对应的商品对目标用户的推荐指数,M为目标中心点对应的商品被目标用户购买过的数量。/>为线性归一化函数,将数据值归一化至[0,1]区间内。
所需说明的是:当用户对某种商品购买的数量多时,并且该商品对于该用户的推荐指数比较高时,说明该商品对于该用户是比较重要的,在推荐时的次序是比较高的。那么在聚类时,聚类中心点需要往该位置进行偏移,即对每个点相对于聚类中心点的距离进行加权,且当越大时,需要越小的权重,减小两点之间的欧式距离,令两点更好的聚为一类。故/>表示目标中心点与中心参考点的距离权重,其中M加1,是为了防止分母为0。由此用C与/>的乘积,表示目标中心点与中心参考点的更新距离。
按照上述方式,得到平面坐标系上每个初始聚类中心点与其它所有数据点的更新距离。
步骤S004:根据平面坐标系上所有的初始聚类中心点、所有初始聚类中心点与其它所有数据点的更新距离,使用K-means聚类算法,将平面坐标系上所有的数据点划分为若干个聚类簇,并得到每个聚类簇的中心数据点;根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列;根据总商品序列,依次向目标用户推荐每种商品。
根据平面坐标系上所有的初始聚类中心点、所有初始聚类中心点与其它所有数据点的更新距离、聚类簇的数量K,使用K-means聚类算法,将平面坐标系上所有的数据点划分为K个聚类簇,并得到每个聚类簇的中心数据点。本实施例设定的聚类簇的数量K为8,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
所需说明的是:K-means聚类算法通过随机选择几个初始聚类中心,再将每个数据点分配给与其距离最近的初始聚类中心所对应的簇,从而计算每个簇的平均值,即得到新的聚类中心,然后重复此过程,直到达到停止条件,完成聚类。因此本实施例根据平面坐标系上所有的初始聚类中心点、所有初始聚类中心点与其它所有数据点的更新距离,完成初次聚类,得到新的聚类中心后,会按照上述方式,计算每个新的聚类中心与其它所有数据点的更新距离,从而完成第二次聚类,以此类推,直至完成聚类,将平面坐标系上所有的数据点划分为K个聚类簇。
根据聚类簇内数据点的数量,由大到小将所有聚类簇依次排序,得到聚类簇序列。
将任意一个聚类簇,记为目标聚类簇。在目标聚类簇内,根据所有数据点分别与中心数据点之间的欧式距离由小到大,将所有数据点对应的商品依次排序,得到目标聚类簇对应的商品序列。所需说明的是,中心数据点对应的商品应处于商品序列的第一位。
按照上述方式,得到每个聚类簇对应的商品序列。
将所有聚类簇对应的商品序列,根据聚类簇序列中所有聚类簇的排序,构成总商品序列。当目标用户在购物平台上进行浏览时,根据总商品序列,依次向目标用户推荐每种商品。所需说明的是,总商品序列中的数据数量为采集的商品种类数量。
按照上述方式,可以得到购物平台上每个用户对应的总商品序列,由此实现对每个用户的商品推荐。
至此,本发明完成。
综上所述,在本发明实施例中,采集当前时刻购物平台上的用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点。根据数据点之间的欧式距离、每种商品对目标用户的推荐指数、商品数据,得到数据点的局部特征,根据平面坐标系上所有数据点之间的欧式距离、所有数据点的局部特征之间的差异,得到初始聚类中心点。根据初始聚类中心点与其它数据点之间的欧式距离、商品数据、每种商品对目标用户的推荐指数,得到数据点之间的更新距离,从而使用K-means聚类算法,将平面坐标系上所有的数据点划分为若干个聚类簇,并得到每个聚类簇的中心数据点,根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列,根据总商品序列,依次向目标用户推荐每种商品。本发明使得最终的聚类结果能够更好地符合目标用户的商品个性化推荐需求,令商品推荐顺序更加符合用户心意,从而增加用户购物意向和购物平台商品的销量以及受欢迎度。
本发明还提供了基于大数据的任务智能处理系统,系统包括存储器和处理器,处理器执行存储器存储的计算机程序,以实现前述的基于大数据的任务智能处理方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.基于大数据的任务智能处理方法,其特征在于,该方法包括以下步骤:
采集当前时刻购物平台上的用户数据和商品数据,将购物平台上任意一个用户,记为目标用户;根据用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点;
将平面坐标系上任意一个数据点,记为目标点,将目标点之外的数据点,记为参考点;根据目标点与参考点之间的欧式距离、目标点与参考点对应的商品对目标用户的推荐指数、商品数据,得到目标点的局部特征;根据平面坐标系上所有数据点之间的欧式距离、所有数据点的局部特征之间的差异,得到初始聚类中心点;
将平面坐标系上任意一个初始聚类中心点,记为目标中心点,将目标中心点之外的任意一个数据点,记为中心参考点;根据目标中心点与中心参考点之间的欧式距离、商品数据、目标中心点对应的商品对目标用户的推荐指数,得到目标中心点与中心参考点的更新距离;
根据平面坐标系上所有的初始聚类中心点、所有初始聚类中心点与其它所有数据点的更新距离,使用K-means聚类算法,将平面坐标系上所有的数据点划分为若干个聚类簇,并得到每个聚类簇的中心数据点;根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列;根据总商品序列,依次向目标用户推荐每种商品;
所述根据用户数据和商品数据,得到每种商品对目标用户的推荐指数和每种商品对应在平面坐标系上的数据点,包括的具体步骤如下:
用户数据包含每个用户浏览每种商品的次数、每个用户浏览每种商品的总时长,每个用户浏览每种商品的最终截至时刻;商品数据包含每种商品的销量、每种商品的价格;
在购物平台上,将当前时刻之前T天内每种商品的销量,记为每种商品的近期销量;所述T为预设的近期时长;
将目标用户浏览每种商品的总时长除以目标用户浏览每种商品的次数,记为目标用户浏览每种商品的平均时长;
将当前时刻与目标用户浏览每种商品的最终截至时刻的差值加一后的反比例值,记为目标用户浏览每种商品的近期特征;
根据每种商品的销量、每种商品的近期销量,得到每种商品的销量特征;
根据目标用户浏览每种商品的平均时长、目标用户浏览每种商品的近期特征、每种商品的销量特征,得到每种商品对目标用户的推荐指数;
以商品对目标用户的推荐指数为纵轴、以商品的价格为横轴,构建平面坐标系,得到每种商品对应在平面坐标系上的数据点;
所述根据目标用户浏览每种商品的平均时长、目标用户浏览每种商品的近期特征、每种商品的销量特征,得到每种商品对目标用户的推荐指数对应的具体计算公式为:
其中为第i种商品对目标用户的推荐指数,/>为目标用户浏览第i种商品的总时长,为目标用户浏览第i种商品的次数,t为当前时刻,/>为目标用户浏览第i种商品的最终截至时刻,/>为第i种商品的近期销量,/>为第i种商品的销量,/>为所有种商品的销量之和,R为预设的放大系数,/>为第i种商品的销量特征,/>为线性归一化函数;
所述根据目标点与参考点之间的欧式距离、目标点与参考点对应的商品对目标用户的推荐指数、商品数据,得到目标点的局部特征,包括的具体步骤如下:
根据平面坐标系上数据点的坐标,计算目标点分别与所有参考点之间的欧式距离,根据所述欧式距离由大到小,将对应的所有参考点排序,得到参考点序列;
将目标点与参考点序列中前n个参考点之间的欧式距离的均值,记为目标点的局部密度;所述n为预设的数量阈值;
商品数据包含每种商品的价格;根据目标点与参考点序列中前n个参考点对应的商品的价格、商品对目标用户的推荐指数,得到目标点的商品特征;
根据目标点的商品特征、目标点的局部密度,得到目标点的局部特征;
所述根据目标点的商品特征、目标点的局部密度,得到目标点的局部特征对应的具体计算公式为:
其中F为目标点的局部特征,为目标点与参考点序列中第u个参考点之间的欧式距离,/>为目标点对应的商品对目标用户的推荐指数,/>为目标点对应的商品的价格,/>为参考点序列中第u个参考点对应的商品对目标用户的推荐指数,/>为参考点序列中第u个参考点对应的商品的价格,/>为目标点的商品特征;
所述根据目标中心点与中心参考点之间的欧式距离、商品数据、目标中心点对应的商品对目标用户的推荐指数,得到目标中心点与中心参考点的更新距离,包括的具体步骤如下:
商品数据包含每种商品被每个用户购买过的数量;根据目标中心点对应的商品对目标用户的推荐指数、目标中心点对应的商品被目标用户购买过的数量,得到目标中心点与中心参考点的距离权重;
根据目标中心点与中心参考点的距离权重、目标中心点与中心参考点之间的欧式距离,得到目标中心点与中心参考点的更新距离;
所述根据目标中心点与中心参考点的距离权重、目标中心点与中心参考点之间的欧式距离,得到目标中心点与中心参考点的更新距离对应的具体计算公式为:
其中B为目标中心点与中心参考点的更新距离,C为目标中心点与中心参考点之间的欧式距离,为目标中心点对应的商品对目标用户的推荐指数,M为目标中心点对应的商品被目标用户购买过的数量,/>为线性归一化函数,/>为目标中心点与中心参考点的距离权重;
所述根据所有聚类簇内数据点的数量、所有聚类簇内所有数据点与中心数据点的欧式距离,得到总商品序列,包括的具体步骤如下:
根据聚类簇内数据点的数量,由大到小将所有聚类簇依次排序,得到聚类簇序列;
将任意一个聚类簇,记为目标聚类簇;
在目标聚类簇内,根据所有数据点分别与中心数据点之间的欧式距离由小到大,将所有数据点对应的商品依次排序,得到目标聚类簇对应的商品序列;
将所有聚类簇对应的商品序列,根据聚类簇序列中所有聚类簇的排序,构成总商品序列。
2.根据权利要求1所述基于大数据的任务智能处理方法,其特征在于,所述根据平面坐标系上所有数据点之间的欧式距离、所有数据点的局部特征之间的差异,得到初始聚类中心点,包括的具体步骤如下:
计算平面坐标系上任意两个数据点的局部特征的差异,将所述两个数据点之间的欧式距离与所述局部特征的差异的乘积,记为所述两个数据点的差异程度;
将平面坐标系上所有数据点的差异程度的均值,记为差异阈值;
将差异程度大于差异阈值的数据点,记为初始聚类中心点。
3.基于大数据的任务智能处理系统,所述系统包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现根据权利要求1-2任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311300611.3A CN117035948B (zh) | 2023-10-10 | 2023-10-10 | 基于大数据的任务智能处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311300611.3A CN117035948B (zh) | 2023-10-10 | 2023-10-10 | 基于大数据的任务智能处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117035948A CN117035948A (zh) | 2023-11-10 |
CN117035948B true CN117035948B (zh) | 2024-01-09 |
Family
ID=88634099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311300611.3A Active CN117035948B (zh) | 2023-10-10 | 2023-10-10 | 基于大数据的任务智能处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117035948B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021337A (zh) * | 2016-05-09 | 2016-10-12 | 房加科技(北京)有限公司 | 一种基于大数据分析的智能推荐方法及系统 |
CN108665333A (zh) * | 2017-03-31 | 2018-10-16 | 北京京东尚科信息技术有限公司 | 商品推荐方法、装置、电子设备和存储介质 |
CN109583777A (zh) * | 2018-12-05 | 2019-04-05 | 广东工业大学 | 一种金融产品推荐系统、方法、设备及介质 |
CN110489642A (zh) * | 2019-07-25 | 2019-11-22 | 山东大学 | 基于行为特征分析的商品推荐方法、系统、设备及介质 |
CN113379516A (zh) * | 2021-08-12 | 2021-09-10 | 永正信息技术(南京)有限公司 | 一种推荐产品确定方法及装置 |
CN114331641A (zh) * | 2022-01-14 | 2022-04-12 | 深圳市弘钧科技有限公司 | 基于大数据的商品推送方法及系统 |
WO2022095864A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安邮电大学 | 一种基于加权rfm模型的电商平台客户细分方法 |
CN115293859A (zh) * | 2022-09-28 | 2022-11-04 | 江苏火焰云数据技术有限公司 | 一种基于人工智能的电子商务平台商品智能推荐管理系统 |
CN116012100A (zh) * | 2022-12-21 | 2023-04-25 | 烟台弄糊电子商务咨询服务有限公司 | 一种基于大数据分析的电子商务平台 |
CN116720928A (zh) * | 2023-08-10 | 2023-09-08 | 量子数科科技有限公司 | 基于人工智能的电商个性化精准导购方法 |
CN116823409A (zh) * | 2023-08-29 | 2023-09-29 | 南京大数据集团有限公司 | 一种基于目标搜索数据的智能筛选方法及系统 |
-
2023
- 2023-10-10 CN CN202311300611.3A patent/CN117035948B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021337A (zh) * | 2016-05-09 | 2016-10-12 | 房加科技(北京)有限公司 | 一种基于大数据分析的智能推荐方法及系统 |
CN108665333A (zh) * | 2017-03-31 | 2018-10-16 | 北京京东尚科信息技术有限公司 | 商品推荐方法、装置、电子设备和存储介质 |
CN109583777A (zh) * | 2018-12-05 | 2019-04-05 | 广东工业大学 | 一种金融产品推荐系统、方法、设备及介质 |
CN110489642A (zh) * | 2019-07-25 | 2019-11-22 | 山东大学 | 基于行为特征分析的商品推荐方法、系统、设备及介质 |
WO2022095864A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安邮电大学 | 一种基于加权rfm模型的电商平台客户细分方法 |
CN113379516A (zh) * | 2021-08-12 | 2021-09-10 | 永正信息技术(南京)有限公司 | 一种推荐产品确定方法及装置 |
CN114331641A (zh) * | 2022-01-14 | 2022-04-12 | 深圳市弘钧科技有限公司 | 基于大数据的商品推送方法及系统 |
CN115293859A (zh) * | 2022-09-28 | 2022-11-04 | 江苏火焰云数据技术有限公司 | 一种基于人工智能的电子商务平台商品智能推荐管理系统 |
CN116012100A (zh) * | 2022-12-21 | 2023-04-25 | 烟台弄糊电子商务咨询服务有限公司 | 一种基于大数据分析的电子商务平台 |
CN116720928A (zh) * | 2023-08-10 | 2023-09-08 | 量子数科科技有限公司 | 基于人工智能的电商个性化精准导购方法 |
CN116823409A (zh) * | 2023-08-29 | 2023-09-29 | 南京大数据集团有限公司 | 一种基于目标搜索数据的智能筛选方法及系统 |
Non-Patent Citations (2)
Title |
---|
An Euclidean Distance based on the Weighted Self-information Related Data Transformation for Nominal Data Clustering;Gu, L;《ACM Conference on Information and Knowledge Management (CIKM)》;2083-2086 * |
基于信息瓶颈算法的商品推荐模式研究与设计;张立超;;信息与电脑(理论版)(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117035948A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11062372B2 (en) | Method for relevancy ranking of products in online shopping | |
JP6325745B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
CN110008397B (zh) | 一种推荐模型训练方法及装置 | |
CN109064293B (zh) | 商品推荐方法、装置、计算机设备及存储介质 | |
CN108205768A (zh) | 数据库建立方法和数据推荐方法及装置、设备和存储介质 | |
CN110135951B (zh) | 游戏商品的推荐方法、装置及可读存储介质 | |
US20160189278A1 (en) | Assortment Breadth and Mix Guidance and Reconciliation | |
CN101937549A (zh) | 网络购物导航系统 | |
WO2020221022A1 (zh) | 业务对象推荐方法 | |
CN115878903B (zh) | 基于大数据的信息智能推荐方法 | |
CN110852818A (zh) | 商品排序方法、装置和计算机可读存储介质 | |
CN111310038A (zh) | 信息推荐方法、装置、电子设备及计算机可读存储介质 | |
CN112488863A (zh) | 一种在用户冷启动场景下的险种推荐方法及相关设备 | |
CN115496566B (zh) | 基于大数据的地区特产推荐方法及系统 | |
CN113052651A (zh) | 一种基于大数据的智能零售管理方法及系统 | |
CN112307333A (zh) | 基于机器视觉与加权knn的智能购车推荐方法 | |
CN111932339A (zh) | 基于消费群体的商品推荐方法、系统及计算机存储介质 | |
CN107093122B (zh) | 对象分类方法及装置 | |
CN116805023B (zh) | 一种基于大语言模型的外卖推荐方法 | |
CN117035948B (zh) | 基于大数据的任务智能处理方法及系统 | |
CN109583937A (zh) | 一种产品推荐方法和装置 | |
CN114444946A (zh) | 一种中药饮片精细化运营指导方法、装置及计算机设备 | |
CN113781171A (zh) | 信息推送方法、装置、设备及存储介质 | |
CN113781134A (zh) | 物品推荐方法、装置及计算机可读存储介质 | |
CN111199453A (zh) | 一种产品信息的推送方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |