CN117131261A - 基于ai和大数据分析的电商内容推荐系统 - Google Patents
基于ai和大数据分析的电商内容推荐系统 Download PDFInfo
- Publication number
- CN117131261A CN117131261A CN202310837620.XA CN202310837620A CN117131261A CN 117131261 A CN117131261 A CN 117131261A CN 202310837620 A CN202310837620 A CN 202310837620A CN 117131261 A CN117131261 A CN 117131261A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- recommendation
- user
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000013480 data collection Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 69
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000002787 reinforcement Effects 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000007306 turnover Effects 0.000 abstract 1
- 230000007774 longterm Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0463—Neocognitrons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于AI和大数据分析的电商内容推荐系统，属于电商内容推荐技术领域，包括数据收集模块、数据特征处理模块、数据特征分析模块、构建推荐模型模块、实时个性化推荐模块和用户反馈模块，数据收集模块与数据特征处理模块连接，数据特征处理模块与数据特征分析模块连接，数据特征分析模块与构建推荐模型模块连接，构建推荐模型模块与实时个性化推荐模块连接，实时个性化推荐模块和用户反馈模块连接；本发明是在此基础上提供多样化和个性化的推荐结果，避免不必要的选择过多、信息过载等情况，提供更准确和贴近用户实际需求的推荐结果，以增加客户消费体验、提高商家营业额。
Description
技术领域
本发明涉及电商内容推荐技术领域，更具体地说，涉及基于AI和大数据分析的电商内容推荐系统。
背景技术
随着电商平台的兴起和普及，人们对个性化体验和定制化服务的需求逐渐增加，传统的广告推送方式往往无法满足用户的个性化需求，而电商内容推荐系统能够根据用户的兴趣、喜好和行为模式，提供更多推荐结果，电商内容推荐系统能够减少用户在海量商品中的搜索时间，为用户提供多样化的推荐结果，提升用户的购物体验，提高用户的满意度和购买转化率，电商平台通过推荐系统能够更好地理解用户需求和行为模式，为用户提供个性化推荐，并在此基础上实现更精准的广告投放和精细化的营销，这对于商家来说，能够提高广告投放的效果和销售转化率，从而增加销售额和盈利，但有时候推荐系统会过度推荐某些商品或服务，导致用户感到烦躁和不满，推荐系统往往会在商品或服务的相似性基础上进行推荐，导致推荐结果缺乏多样性，这可能会导致用户的选择集中在某些特定的商品或服务上，而错过了其他潜在的选择；
为此，提出一种基于AI和大数据分析的电商内容推荐系统是很有必要的。
发明内容
本发明设计一种基于AI和大数据分析的电商内容推荐系统，解决上述问题：推荐系统会过度推荐某些商品或服务，导致用户感到烦躁和不满，推荐系统往往会在商品或服务的相似性基础上进行推荐，导致推荐结果缺乏多样性，这可能会导致用户的选择集中在某些特定的商品或服务上，而错过了其他潜在的选择，从而用户的购买欲下降，也会对电商平台的口碑造成不好的影响，影响销售额。
基于AI和大数据分析的电商内容推荐系统，包括数据收集模块、数据特征处理模块、数据特征分析模块、构建推荐模型模块、实时个性化推荐模块和用户反馈模块；
所述数据收集模块包括历史数据收集模块、商品信息收集模块；
所述数据特征处理模块对用户和商品数据进行预处理，包括数据清洗、去重、标准化，提取出包括用户的兴趣偏好、商品的属性在内有用的特征；
所述数据收集模块与数据特征处理模块连接，所述数据特征处理模块与数据特征分析模块连接，所述数据特征分析模块与构建推荐模型模块连接，所述构建推荐模型模块与实时个性化推荐模块连接，所述实时个性化推荐模块和用户反馈模块连接。
优选的，所述构建推荐模型模块使用深度学习技术构建推荐模型，推荐算法包括协同过滤、内容过滤、深度学习模型，训练模型使用历史数据，并根据包括交叉熵损失函数、多类别对数损失函数、均方误差损失函数和平均绝对误差损失函数在内的目标函数进行模型优化，其中交叉熵损失函数和多类别对数损失函数运用于分类任务中，均方误差损失函数和平均绝对误差损失函数运用于回归任务中；
优选的，所述深度学习技术在构建推荐模型时的方法技术包括神经网络模型、嵌入层(Embedding)、递归神经网络(Recurrent Neural Network，RNN)、注意力机制(Attention Mechanism)和深度强化学习(Deep Reinforcement Learning)，所诉神经网络模型使用包括多层感知机(Multilayer Perceptron)、卷积神经网络(ConvolutionalNeural Network)和循环神经网络(Recurrent Neural Network)在内的多层神经网络来学习用户和商品的表示，这些模型接受用户历史行为数据和商品特征作为输入，经过网络层的处理和特征提取，输出推荐结果。所述深度学习技术还根据分类任务、回归任务和数据特点进行选择和组合。同时，还需要进行数据预处理、模型训练、超参数调优等步骤，以及使用评估指标来评估模型的性能和效果。
优选的，所述深度强化学习(Deep Reinforcement Learning)结合深度学习和强化学习的思想，用于学习用户的长期价值和短期效应的平衡，还用于优化推荐策略，使模型能够在长期和短期效果之间进行权衡。优选的，所述回归任务为通过学习输入特征和输出之间的关系，预测连续数值输出的机器学习任务。在回归任务中，输入特征是多维的，并且输出是一个或多个连续的数值，常见的回归模型包括线性回归、支持向量回归、决策树回归、随机森林回归、神经网络回归，所述这些模型通过学习输入特征和输出之间的关系，根据新的输入特征对未知输出进行预测。评估回归模型的性能使用包括均方误差(MeanSquared Error，MSE)、均方根误差(Root Mean Squared Error，RMSE)、平均绝对误差(MeanAbsolute Error，MAE)在内的指标，所述这些指标衡量预测结果与实际结果之间的差异。
优选的，所述分类任务为一种机器学习任务，根据给定的输入特征，将实例划分到不同的离散类别中。在分类任务中，输入特征是多维的，输出是离散的类别标签。所述分类任务通过学习从输入特征到离散类别标签的映射关系，建立分类模型，对新的输入样本进行分类预测。所述模型根据学习到的规律，将输入样本分配到所述类别中，常见的分类算法和模型包括逻辑回归、支持向量机、决策树、随机森林、K近邻算法、神经网络等。所述模型根据输入特征，学习和划分样本的类别。评估分类模型的性能使用包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值的各种指标，所述这些指标用于衡量模型对不同类别的分类能力和性能。
优选地，所述均方误差损失函数的计算公式如下：
MSE＝(1/n)*Σ(y_pred-y_true)^2
其中MSE为均方误差损失值，n为样本数量，y_pred为模型的预测值，y_true为实际的目标值；
对于一组包含n个样本的数据集，首先计算每个样本的预测值和实际值之差的平方，然后将所有样本的平方差求和，最后除以样本数量n，得到均方误差损失值。
优选地，所述多类别对数损失函数的计算公式如下：
Log Loss＝-(1/n)*Σ(Σ(y_true*log(y_pred)))
其中Log Loss为多类别对数损失值，n为样本数量，y_true为表示真实标签的向量，y_true[i]是第i个样本的真实标签，是一个one-hot编码的向量，y_pred：表示模型预测的概率分布的向量，y_pred[i]是模型对第i个样本的预测概率分布向量。
优选的，所述历史数据收集模块收集用户的浏览记录、购买记录、搜索关键词中的商品，所述商品信息收集模块收集商品的名称、描述、类别、价格信息，所述商品信息收集模块收集到的数据为历史数据收集模块中收集到的商品的数据。
优选的，所述历史数据收集模块收集用户的商品收藏内容数据、用户各个时间段的浏览频次、浏览时长，所述商品信息收集模块还收集用户的收藏内容中的商品信息。
优选地，所述数据特征分析模块根据所述历史数据收集模块收集用户的商品收藏内容数据、用户各个时间段的浏览频次、浏览时长，分析出用户的浏览习惯和需求特征，所述数据特征分析模块根据所述商品信息收集模块收集到的用户的收藏内容中的商品信息，分析出成功交易用时最短的、成功交易用时最长的商品，总结出影响交易时长的信息，所述影响交易时长的信息包括商品的名称、描述、类别、价格，整理所收集到的信息，分析得到用户的喜好和偏向以及购买力。
优选地，所述实时个性化推荐模块根据所述数据特征分析模块分析的结果在用户访问电商平台时，实时根据其当前行为和个人信息，基于所述交叉熵损失函数和多类别对数损失函数推算出用户喜好，并根据所述均方误差损失函数和平均绝对误差损失函数进行预测生成个性化的推荐结果，结合实时数据和整理得到的历史数据，提供包括即时热门商品、相关推荐的实时推荐；
优选的，所述实时个性化推荐模块还根据节日收集所述节日用户购买商品的信息，所述节日包括购物节、春节、父亲节、母亲节、情人节、妇女节，运用上述目标算法分析出商品的特征，从而分析得出在所述节日中用户的需求，得到实时个性化推送。
优选的，所述用户反馈模块收集用户的反馈信息，包括点击率、购买转化率、用户评价，分析用户反馈数据，了解用户偏好和需求，并根据反馈结果调整推荐策略。
相比于现有技术，本发明的优点在于：
(1)本发明注重提供多样化和个性化的推荐内容，避免陷入过度推荐和信息过载的问题。引入多样性度量和算法，确保推荐结果能够涵盖用户潜在的兴趣领域。
(2)本发明鼓励用户积极参与推荐系统的改进。可以提供用户反馈机制，让用户对推荐结果进行评价、反馈偏好和提供意见。通过用户的反馈和参与，推荐系统可以更好地了解和满足用户的需求。
(3)本发明综合考虑用户的多个维度信息的信息，如用户的浏览记录、购买记录、搜索关键词中的商品等。将信息纳入推荐算法中，可以提供更准确和贴近用户实际需求的推荐结果。
(4)本发明不断进行改进和优化。通过数据分析等方法，监测推荐效果，收集用户反馈，并基于这些信息进行系统的迭代和改进。
附图说明
图1为本发明的整体系统示意图。
具体实施方式
实施例1：
基于AI和大数据分析的电商内容推荐系统，包括数据收集模块、数据特征处理模块、数据特征分析模块、构建推荐模型模块、实时个性化推荐模块和用户反馈模块；
数据收集模块包括历史数据收集模块、商品信息收集模块；
数据特征处理模块对用户和商品数据进行预处理，包括数据清洗、去重、标准化，提取出包括用户的兴趣偏好、商品的属性在内有用的特征；
数据收集模块与数据特征处理模块连接，数据特征处理模块与数据特征分析模块连接，数据特征分析模块与构建推荐模型模块连接，构建推荐模型模块与实时个性化推荐模块连接，实时个性化推荐模块和用户反馈模块连接。
构建推荐模型模块使用深度学习技术构建推荐模型，推荐算法包括协同过滤、内容过滤、深度学习模型，训练模型使用历史数据，并根据包括交叉熵损失函数、多类别对数损失函数、均方误差损失函数和平均绝对误差损失函数在内的预定义目标函数进行模型优化，其中交叉熵损失函数和多类别对数损失函数运用于分类任务中，均方误差损失函数和平均绝对误差损失函数运用于回归任务中；交叉熵损失函数、多类别对数损失函数、均方误差损失函数和平均绝对误差损失函数在实际运用中结合多种算法进行混合推荐，以提高推荐的准确性和个性化程度。同时，推荐算法包括准确率、召回率、覆盖率在内的性能评估使用指标来衡量其推荐效果的好坏。
深度学习技术在构建推荐模型时的方法技术包括神经网络模型、嵌入层(Embedding)、递归神经网络(Recurrent Neural Network，RNN)、注意力机制(AttentionMechanism)和深度强化学习(Deep Reinforcement Learning)，所诉神经网络模型使用包括多层感知机(Multilayer Perceptron)、卷积神经网络(Convolutional NeuralNetwork)和循环神经网络(Recurrent Neural Network)在内的多层神经网络来学习用户和商品的表示，这些模型可以接受用户历史行为数据和商品特征作为输入，经过网络层的处理和特征提取，输出推荐结果。这些技术和方法根据具体的推荐任务和数据特点进行选择和组合。同时，为了构建一个有效的深度学习推荐模型，还需要进行数据预处理、模型训练、超参数调优等步骤，以及使用评估指标来评估模型的性能和效果。
深度强化学习(Deep Reinforcement Learning)结合深度学习和强化学习的思想，用于学习用户的长期价值和短期效应的平衡。在推荐系统中，深度强化学习可以用于优化推荐策略，使模型能够在长期和短期效果之间进行权衡。
回归任务为通过学习输入特征和输出之间的关系，预测连续数值输出的机器学习任务。在回归任务中，输入特征是多维的，并且输出是一个或多个连续的数值。在回归任务中，常见的回归模型包括线性回归、支持向量回归、决策树回归、随机森林回归、神经网络回归的这些模型通过学习输入特征和输出之间的关系，可以根据新的输入特征对未知输出进行预测。评估回归模型的性能通常使用包括均方误差(Mean Squared Error，MSE)、均方根误差(Root Mean Squared Error，RMSE)、平均绝对误差(Mean Absolute Error，MAE)在内的各种指标，这些指标可以衡量预测结果与实际结果之间的差异。回归任务的目标是建立一个数学模型，使其能够对给定的输入特征进行预测，并输出一个连续的数值结果。与分类任务不同，回归任务的输出是连续的，而不是离散的类别标签。
分类任务为一种机器学习任务，旨在根据给定的输入特征，将实例划分到不同的离散类别中。在分类任务中，输入特征是多维的，而输出是离散的类别标签。分类任务的目标是通过学习从输入特征到离散类别标签的映射关系，建立一个分类模型，以便对新的输入样本进行分类预测。模型会根据学习到的规律，将输入样本分配到预定义的类别中的某一个。在分类任务中，常见的分类算法和模型包括逻辑回归、支持向量机、决策树、随机森林、K近邻算法、神经网络等。这些模型根据输入特征的不同，以不同的方式学习和划分样本的类别。评估分类模型的性能使用包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值的各种指标，这些指标用于衡量模型对不同类别的分类能力和性能。
基于AI和大数据分析的电商内容推荐系统，还包括多通道数据融合、多任务学习和强化学习在内的增强功能，多通道数据融合将用户行为数据与社交媒体数据、地理位置数据结合，提供更精确的个性化推荐，多任务学习同时预测用户的购买偏好、点击行为，提供更全面的推荐结果，强化学习使用强化学习算法来优化推荐策略，通过与用户的互动不断优化系统。
交叉熵损失函数(Cross-Entropy Loss)的计算公式如下：
L＝-(y*log(p)+(1-y)*log(1-p))
其中，log表示自然对数。
对于多分类问题(多个类别)，假设有K个类别，真实标签为one-hot编码形式的向量y(长度为K，只有一个元素为1，其他为0)，预测值为K维向量p(每个元素是预测为该类别的概率)，则交叉熵损失函数可以写作：
L＝-sum(y*log(p))
其中，sum表示对所有类别的求和运算。
需要注意的是，交叉熵损失函数中的log运算要确保p的取值范围在(0,1)之间，因此在实际应用中，常常会使用激活函数(如softmax函数)将预测值p转化为概率形式。交叉熵损失函数的目标是最小化真实标签与预测值之间的差距，使得模型能够更准确地预测类别。通过反向传播算法和优化算法(如梯度下降)，可以调整模型参数以最小化交叉熵损失函数，从而提高分类模型的性能。
绝对误差损失函数的计算公式如下：
假设有N个样本，真实值为y_i，预测值为p_i，平均绝对误差损失函数可以写作：
L＝(1/N)*sum(|y_i-p_i|)
其中，sum表示对所有样本的求和运算。
平均绝对误差损失函数的目标是最小化预测值与真实值之间的平均绝对差异，使得模型能够更准确地拟合回归任务。通过反向传播算法和优化算法(如梯度下降)，可以调整模型参数以最小化平均绝对误差损失函数，从而提高回归模型的性能。
需要注意的是，平均绝对误差损失函数对异常值(outliers)比较敏感，因为它使用了绝对值。如果回归问题中存在异常值，可能需要考虑使用其他的损失函数，如均方误差损失函数(Mean Squared Error Loss)或Huber损失函数等，来更好地处理异常值的影响。
均方误差损失函数的计算公式如下：
MSE＝(1/n)*Σ(y_pred-y_true)^2
其中MSE为均方误差损失值，n为样本数量，y_pred为模型的预测值，y_true为实际的目标值；
对于一组包含n个样本的数据集，首先计算每个样本的预测值和实际值之差的平方，然后将所有样本的平方差求和，最后除以样本数量n，得到均方误差损失值。在实际使用中，通常使用优化算法(如梯度下降)来最小化均方误差损失函数，从而调整模型的参数以使预测结果更接近实际值。
多类别对数损失函数的计算公式如下：
Log Loss＝-(1/n)*Σ(Σ(y_true*log(y_pred)))
其中Log Loss为多类别对数损失值，n为样本数量，y_true为表示真实标签的向量，y_true[i]是第i个样本的真实标签，是一个one-hot编码的向量，y_pred：表示模型预测的概率分布的向量，y_pred[i]是模型对第i个样本的预测概率分布向量，对于每个样本，y_pred是一个概率分布向量，所有元素的和应该等于1。多类别对数损失函数的计算涉及将真实标签与预测概率分布之间的对数计算，然后对所有样本的损失值求和，并进行适当的归一化。
在实际应用中，通常使用优化算法(如梯度下降)来最小化多类别对数损失函数，从而调整模型的参数以使预测结果与真实标签更接近。最小化对数损失函数的过程可以使模型在多类别分类任务中更好地拟合和优化。
历史数据收集模块收集用户的浏览记录、购买记录、搜索关键词中的商品，商品信息收集模块收集商品的名称、描述、类别、价格信息，商品信息收集模块收集到的数据为历史数据收集模块中收集到的商品的数据。
历史数据收集模块收集用户的商品收藏内容数据、用户各个时间段的浏览频次、浏览时长，商品信息收集模块还收集用户的收藏内容中的商品信息。
数据特征分析模块根据历史数据收集模块收集用户的商品收藏内容数据、用户各个时间段的浏览频次、浏览时长，分析出用户的浏览习惯和需求特征，数据特征分析模块根据商品信息收集模块收集到的用户的收藏内容中的商品信息，分析出成功交易用时最短的、成功交易用时最长的商品，总结出影响交易时长的信息，影响交易时长的信息包括商品的名称、描述、类别、价格，整理所收集到的信息，分析得到用户的喜好和偏向以及购买力。
实时个性化推荐模块根据数据特征分析模块分析的结果在用户访问电商平台时，实时根据其当前行为和个人信息，基于交叉熵损失函数和多类别对数损失函数推算出用户喜好，并根据均方误差损失函数和平均绝对误差损失函数进行预测生成个性化的推荐结果，结合实时数据和整理得到的历史数据，提供包括即时热门商品、相关推荐的实时推荐；
实时个性化推荐模块还根据节日收集节日用户购买商品的信息，节日包括购物节、春节、父亲节、母亲节、情人节、妇女节，运用上述目标算法分析出商品的特征，从而分析得出在节日中用户的需求，得到实时个性化推送。
用户反馈模块收集用户的反馈信息，包括点击率、购买转化率、用户评价，分析用户反馈数据，了解用户偏好和需求，并根据反馈结果调整推荐策略。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于AI和大数据分析的电商内容推荐系统，其特征在于，包括数据收集模块、数据特征处理模块、数据特征分析模块、构建推荐模型模块、实时个性化推荐模块和用户反馈模块；
所述数据收集模块包括历史数据收集模块、商品信息收集模块；
所述数据特征处理模块对用户和商品数据进行预处理，包括数据清洗、去重、标准化，提取出包括用户的兴趣偏好、商品的属性在内有用的特征；
所述构建推荐模型模块使用深度学习技术构建推荐模型，推荐算法包括协同过滤、内容过滤、深度学习模型，训练模型使用历史数据，并根据包括交叉熵损失函数、多类别对数损失函数、均方误差损失函数和平均绝对误差损失函数在内的目标函数进行模型优化，其中交叉熵损失函数和多类别对数损失函数运用于分类任务中，均方误差损失函数和平均绝对误差损失函数运用于回归任务中；
所述数据收集模块与数据特征处理模块连接，所述数据特征处理模块与数据特征分析模块连接，所述数据特征分析模块与构建推荐模型模块连接，所述构建推荐模型模块与实时个性化推荐模块连接，所述实时个性化推荐模块和用户反馈模块连接。
2.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述深度学习技术在构建推荐模型时的方法技术包括神经网络模型、嵌入层(Embedding)、递归神经网络(Recurrent Neural Network，RNN)、注意力机制(Attention Mechanism)和深度强化学习(Deep Reinforcement Learning)，所诉神经网络模型使用包括多层感知机(Multilayer Perceptron)、卷积神经网络(ConvolutionalNeuralNetwork)和循环神经网络(Recurrent Neural Network)在内的多层神经网络来学习用户和商品的表示，这些模型接受用户历史行为数据和商品特征作为输入，经过网络层的处理和特征提取，输出推荐结果。所述深度学习技术还根据分类任务、回归任务和数据特点进行选择和组合。同时，还需要进行数据预处理、模型训练、超参数调优等步骤，以及使用评估指标来评估模型的性能和效果。
3.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述回归任务为通过学习输入特征和输出之间的关系，预测连续数值输出的机器学习任务。在回归任务中，输入特征是多维的，并且输出是一个或多个连续的数值，常见的回归模型包括线性回归、支持向量回归、决策树回归、随机森林回归、神经网络回归，所述这些模型通过学习输入特征和输出之间的关系，根据新的输入特征对未知输出进行预测。评估回归模型的性能使用包括均方误差(Mean Squared Error，MSE)、均方根误差(Root Mean SquaredError，RMSE)、平均绝对误差(Mean Absolute Error，MAE)在内的指标，所述这些指标衡量预测结果与实际结果之间的差异。
4.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述分类任务为一种机器学习任务，根据给定的输入特征，将实例划分到不同的离散类别中。在分类任务中，输入特征是多维的，输出是离散的类别标签。所述分类任务通过学习从输入特征到离散类别标签的映射关系，建立分类模型，对新的输入样本进行分类预测。所述模型根据学习到的规律，将输入样本分配到所述类别中，常见的分类算法和模型包括逻辑回归、支持向量机、决策树、随机森林、K近邻算法、神经网络等。所述模型根据输入特征，学习和划分样本的类别。评估分类模型的性能使用包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值的各种指标，所述这些指标用于衡量模型对不同类别的分类能力和性能。
5.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述均方误差损失函数的计算公式如下：
MSE＝(1/n)*Σ(y_pred-y_true)^2
其中MSE为均方误差损失值，n为样本数量，y_pred为模型的预测值，y_true为实际的目标值；
对于一组包含n个样本的数据集，首先计算每个样本的预测值和实际值之差的平方，然后将所有样本的平方差求和，最后除以样本数量n，得到均方误差损失值。
6.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述多类别对数损失函数的计算公式如下：
Log Loss＝-(1/n)*Σ(Σ(y_true*log(y_pred)))
其中Log Loss为多类别对数损失值，n为样本数量，y_true为表示真实标签的向量，y_true[i]是第i个样本的真实标签，是一个one-hot编码的向量，y_pred：表示模型预测的概率分布的向量，y_pred[i]是模型对第i个样本的预测概率分布向量。
7.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述历史数据收集模块收集用户的浏览记录、购买记录、搜索关键词中的商品，所述商品信息收集模块收集商品的名称、描述、类别、价格信息，所述商品信息收集模块收集到的数据为历史数据收集模块中收集到的商品的数据。
8.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述数据特征分析模块根据所述历史数据收集模块收集用户的商品收藏内容数据、用户各个时间段的浏览频次、浏览时长，分析出用户的浏览习惯和需求特征，所述数据特征分析模块根据所述商品信息收集模块收集到的用户的收藏内容中的商品信息，分析出成功交易用时最短的、成功交易用时最长的商品，总结出影响交易时长的信息，所述影响交易时长的信息包括商品的名称、描述、类别、价格，整理所收集到的信息，分析得到用户的喜好和偏向以及购买力。
9.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于，所述实时个性化推荐模块根据所述数据特征分析模块分析的结果在用户访问电商平台时，实时根据其当前行为和个人信息，基于所述交叉熵损失函数和多类别对数损失函数推算出用户喜好，并根据所述均方误差损失函数和平均绝对误差损失函数进行预测生成个性化的推荐结果，结合实时数据和整理得到的历史数据，提供包括即时热门商品、相关推荐的实时推荐。
10.根据权利要求1所述的基于AI和大数据分析的电商内容推荐系统，其特征在于所述用户反馈模块收集用户的反馈信息，包括点击率、购买转化率、用户评价，分析用户反馈数据，了解用户偏好和需求，并根据反馈结果调整推荐策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310837620.XA CN117131261A (zh) | 2023-07-10 | 2023-07-10 | 基于ai和大数据分析的电商内容推荐系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310837620.XA CN117131261A (zh) | 2023-07-10 | 2023-07-10 | 基于ai和大数据分析的电商内容推荐系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117131261A true CN117131261A (zh) | 2023-11-28 |
Family
ID=88851682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310837620.XA Pending CN117131261A (zh) | 2023-07-10 | 2023-07-10 | 基于ai和大数据分析的电商内容推荐系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117131261A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788047A (zh) * | 2024-02-27 | 2024-03-29 | 深圳市亚飞电子商务有限公司 | 一种基于大数据的商品需求分析方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509054A (zh) * | 2018-09-30 | 2019-03-22 | 平安科技（深圳）有限公司 | 海量数据下商品推荐方法、电子装置及存储介质 |
| CN112598462A (zh) * | 2020-12-19 | 2021-04-02 | 武汉大学 | 基于协同过滤和深度学习的个性化推荐方法及系统 |
| CN113450178A (zh) * | 2021-05-13 | 2021-09-28 | 孙昊盛 | 一种基于互联网的电商精准营销系统 |
-
2023
- 2023-07-10 CN CN202310837620.XA patent/CN117131261A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509054A (zh) * | 2018-09-30 | 2019-03-22 | 平安科技（深圳）有限公司 | 海量数据下商品推荐方法、电子装置及存储介质 |
| CN112598462A (zh) * | 2020-12-19 | 2021-04-02 | 武汉大学 | 基于协同过滤和深度学习的个性化推荐方法及系统 |
| CN113450178A (zh) * | 2021-05-13 | 2021-09-28 | 孙昊盛 | 一种基于互联网的电商精准营销系统 |
Non-Patent Citations (2)
| Title |
|---|
| 卢昌杰: "移动环境下商品推荐算法的研究与应用", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2, 15 February 2021 (2021-02-15) * |
| 李婷: "基于神经网络的新零售企业商品智能推荐机制及应用研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2, 15 February 2023 (2023-02-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788047A (zh) * | 2024-02-27 | 2024-03-29 | 深圳市亚飞电子商务有限公司 | 一种基于大数据的商品需求分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648049B (zh) | 一种基于用户行为区别建模的序列推荐方法 | |
| Bose et al. | Quantitative models for direct marketing: A review from systems perspective | |
| CN107423442B (zh) | 基于用户画像行为分析的应用推荐方法及系统，储存介质及计算机设备 | |
| Pan et al. | Study on convolutional neural network and its application in data mining and sales forecasting for E-commerce | |
| CN108921602B (zh) | 一种基于集成神经网络的用户购买行为预测方法 | |
| CN114219169A (zh) | 颖幡供应链销售和库存预测算法模型和应用系统 | |
| CN111949887A (zh) | 物品推荐方法、装置及计算机可读存储介质 | |
| CN113469730A (zh) | 一种非合同场景下的基于RF-LightGBM融合模型的客户复购预测方法及装置 | |
| CN116431931A (zh) | 实时增量数据统计分析方法 | |
| CN117131261A (zh) | 基于ai和大数据分析的电商内容推荐系统 | |
| Wang et al. | M-GAN-XGBOOST model for sales prediction and precision marketing strategy making of each product in online stores | |
| Ramesh et al. | Hybrid artificial neural networks using customer churn prediction | |
| CN115439187A (zh) | 一种基于用户短期偏好的服务推荐方法 | |
| Xu et al. | E‐Commerce Online Shopping Platform Recommendation Model Based on Integrated Personalized Recommendation | |
| Guo et al. | E-commerce precision marketing and consumer behavior models based on IoT clustering algorithm | |
| CN117829914A (zh) | 一种数字媒体广告效果评估系统 | |
| Wu et al. | RETRACTED ARTICLE: Artificial neural network based high dimensional data visualization technique for interactive data exploration in E-commerce | |
| CN116320626B (zh) | 一种计算电商直播热度的方法及系统 | |
| CN116304374B (zh) | 一种基于包装数据的客户匹配方法及系统 | |
| Yang et al. | Transfer learning based on probabilistic latent semantic analysis for analyzing purchase behavior considering customers' membership stages | |
| CN116228280A (zh) | 基于大数据的用户需求预测方法 | |
| CN109522477B (zh) | 资源受限的o2o服务组合推荐方法及系统 | |
| Liu et al. | WeatherPon: A Weather and Machine Learning-Based Coupon Recommendation Mechanism in Digital Marketing | |
| El Youbi et al. | Machine Learning-driven Dynamic Pricing Strategies in E-Commerce | |
| CN117557306B (zh) | 一种基于行为、特征对消费者分类的管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |