CN114912941B - 一种基于大数据的鞋子流行趋势预测系统及方法 - Google Patents

一种基于大数据的鞋子流行趋势预测系统及方法 Download PDF

Info

Publication number
CN114912941B
CN114912941B CN202210372074.2A CN202210372074A CN114912941B CN 114912941 B CN114912941 B CN 114912941B CN 202210372074 A CN202210372074 A CN 202210372074A CN 114912941 B CN114912941 B CN 114912941B
Authority
CN
China
Prior art keywords
shoe
elements
popularity
shoes
title
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210372074.2A
Other languages
English (en)
Other versions
CN114912941A (zh
Inventor
周晋
陈筱雨
曾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210372074.2A priority Critical patent/CN114912941B/zh
Publication of CN114912941A publication Critical patent/CN114912941A/zh
Application granted granted Critical
Publication of CN114912941B publication Critical patent/CN114912941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于大数据的鞋子流行趋势预测系统及方法，属于预测算法技术领域。本发明包括元素解析模块、元素预测模块和数据分析模块，元素解析模块解析鞋子的元素组成，并且统计元素的重复度从而获得元素的流行度，将元素的流行度输入元素预测算法，获取元素流行趋势，将元素流行趋势输入数据分析模块，不同维度的解读流行元素，获得鞋子的流行趋势；通过鞋子元素解析鞋子，将鞋子不同维度的性质统一化为元素，通过元素充分的解读鞋子，避免不同维度性质对于鞋子流行度预测的影响，降低鞋子流行度预测数据输入的维度，降低对于元素预测算法的要求；基于LSTM层构建元素解析模型，减少信息丢失，扩大元素解析模块记忆早时刻信息的能力。

Description

一种基于大数据的鞋子流行趋势预测系统及方法
技术领域
本发明涉及预测算法技术领域，具体为一种基于大数据的鞋子流行趋势预测系统及方法。
背景技术
鞋子有着悠久的历史，现如今各种样式功能的鞋子随处可见，不同的因素控制着不同的款式鞋子成为潮流，流行趋势本身是一个螺旋式演进和上升的过程，通过对往年的流行趋势分析，会因为当前和未来社会的情况再度演变成新的趋势，所以基于以往数据的分析流行元素，从而预测接下来的流行趋势是可行的；
但是这同样存在问题，鞋子的性质特征是多维度的，基于不同性质特征的预测流行趋势的系统和算法需要处理难以想象量级的数据，基于现代大数据数据处理算法，也不能处理无限量级的数据；
近年来深度学习在文本、语音、图像等领域的成功应用，基于深度学习的流行度预测方法被人们不断的尝试，循环神经网络可以很好的从序列中提取记忆关键信息，到那时循环神经网络结构会导致历史信息在反向传播中丢失，出现梯度消失和梯度爆炸的问题，LSTM神网络会更加适用于时间序列预测任务，但是巨大波动数据在预测算法中难以获得准确度较高的结果；
如果处理数据将鞋子特征准确的表达鞋子，如果处理数据设计算法，让鞋子的流行趋势可预测，这是亟需解决的问题。
发明内容
本发明的目的在于提供一种基于大数据的鞋子流行趋势预测系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的鞋子流行趋势预测方法，具体的大数据流行趋势预测方法为：
步骤一：图像解析单元解析鞋子图像元素；
步骤二：获取鞋子品牌，人工编制添加鞋子品牌到词典；获取鞋子标题输入元素解析模块，所述鞋子标题输入急速分词，所述急速分词基于正向最大匹配算法分词标题抓取元素；
步骤三：剩余的标题字符串输入新词词典，所述新词词典基于N-gram模型将获得的鞋子标题分词从而获得元素，将已获得的元素添加到词典中，并将获得的元素输入数据清理单元；
步骤四：数据清理单元筛选和重组鞋子元素，将单位时间重复的鞋子元素的流行度累计后，所述流行度归一化输入元素预测模块；
步骤五：所述元素预测模块基于LSTM算法进行流行度预测，输入不同时间步长的鞋子元素的流行度P，所述元素预测模块最终输出前N个的元素的不同时间的流行度；
步骤六：所述数据分析模块提取不同时间步长的预测结果，输出不同时间步长的鞋子流行趋势。
所述数据清理单元统计鞋子元素的重复度，将所述鞋子元素以重复度为序排序，筛选重复度前N个的元素并剔除Y年内没有重复的元素；
基于销量获得鞋子元素的流行度，计算公式为：
P＝A*S
其中，A表示鞋子元素，S表示鞋子元素对应的单位时间销售量，P表示鞋子元素的流行度。
所述图像解析单元基于HSV空间获取颜色直方图表达鞋子的色彩搭配，具体步骤为：
步骤一：获取鞋子基于HSV空间的颜色直方图；
步骤二：所述颜色直方图均值滤波；
步骤三：设立参考色，计算颜色直方图与参考图之间的相似值，具体计算公式为：
其中，P表示所述颜色直方图和参考图之间的相似值；
步骤四：设置分类区间范围，在同一分类区间内图像为同一色彩搭配。
将颜色直方图的前后数据相互关联，避免出现图像之间存在较小的差距而获得较小的相似度；以参考图为参考值，计算图像与参考图之间的相似值，相似值在同一分类区间内图像为同一色彩搭配，降低计算难度。
该系统包括元素解析模块、元素预测模块和数据分析模块，所述元素解析模块解析鞋子的元素组成，并且统计元素的重复度从而获得元素的流行度，将元素的流行度输入元素预测算法，获取元素流行趋势，将所述元素流行趋势输入数据分析模块，不同维度的解读流行元素，获得鞋子的流行趋势。
所述元素解析模块包括图像解析单元、标题分词单元、关键词提取单元和数据清洗单元，所述图像解析单元解析鞋子图像元素，所述图像元素包括线条语言和色彩搭配，所述标题分词单元分词鞋子标题获取鞋子元素，所述关键词提取单元提取鞋子详情页的关键词获取鞋子元素，所述数据清洗单元清洗鞋子元素数据，统计鞋子元素的重复度，输出鞋子元素的流行度；
所述图像解析单元基于HSV空间获取颜色直方图表达鞋子的色彩搭配，计算颜色直方图的相似值，认定在阈值以内的颜色直方图为同一色彩搭配；
所述图像解析单元基于Roberts交叉算子算法获得鞋子的线条语言作为元素，基于HOG特征提取算法计算鞋子的线条语言的梯度统计直方图，将梯度直方图转化为向量，通过余弦相似度划分种类。
鞋子标题较为准确的描述了鞋子的类型和关键元素，基于鞋子标题解析鞋子元素，通过小的计算量准确的解析鞋子元素，效率高，同时，通过图像语言丰富鞋子的元素；
另一方面，鞋子标题没复杂的语义和语境，词汇重复度高，降低中文分词算法的难度同时获得准确度高的分词结果，从而获得准确的鞋子元素。
所述标题分词单元包括急速分词和新词词典，所述急速分词基于正向最大匹配算法，取词典中最长词为最大匹配长度m，截取鞋子标题的前m位与词典匹配，如果匹配成功输出截取鞋子标题的前m位至鞋子元素；如果词典无法匹配，截取鞋子标题的前m-1位与词典匹配，依次循环直至匹配成功，如果截取鞋子标题的字段等于1，输出鞋子标题的第一位字符至新词，剩余的鞋子标题依次循环直至鞋子标题长度小于等于1；
所述新词字段输入新词词典，所述新词词典分词新词字段从而获得元素，且已获得的元素添加到词典中，人工编制添加鞋子品牌到所述词典。
将品牌名编制词典，以较小的工作量极大程度的提高分词的准确度，避免语义歧义。
所述新词词典模型公式为：
其中，P为概率，m为词的个数，wm为输入语句中的词，i为词的位置；
其中，c(wi-1,wi)表示二元组(wi-1,wi)在训练语料库中出现的次数，c(wi)表示词wi在训练预料库中出现的次数。
所述急速分词抓取鞋子元素的能力速度快，计算复杂度极低，但是不能自主的认识新词，通过新词词典补充分词，所述新词词典需要语料库，而鞋子的标题中词汇重复度高，通过将抓取的元素累积构成词典，先通过急速分词模块抓取已知的鞋子元素，提高所述标题分词单元的分词速度，降低计算复杂度；一方面通过构建自动添加补充词典，增加所述标题分词单元认识新词的能力，另一方面逐步降低标题分词单元对于语料库的依赖，形成一个良性的循环。
所述关键词提取单元基于OCR识别鞋子详情页的图片，获取鞋子详情页的文字，基于LDA主题模型抓取详情页中鞋子元素；
所述数据清洗单元将所述的鞋子元素进行筛选和重组，将单位时间重复的鞋子元素的流行度累计后，所述流行度归一化后输入元素预测模块。
在输入元素预测模块前清洗鞋子元素，剔除废数据，降低数据的量级，减少系统的计算量，重复元素的流行度累积避免重复度对于流行度的影响，减少流行趋势预测算法的权重。
所述元素预测模块基于LSTM算法进行流行度预测，所述元素预测模块通过门控制输出，门包括遗忘门、记忆门和输出门，所述元素预测模块输入层输入不同时间步长的鞋子元素的流行度P，所述元素预测模块输出前增加全连接层，所述元素预测模块最终输出前N个的元素的不同时间的流行度；在输出层增加全连接层，输出维度与输入维度一致，避免仿真出错。
以流行度为输入层，降低了LSTM的特征维度，提高鞋子元素流行度的预测的准确度，避免数据的自相关性，保证输出结果，基于LSTM层构建元素解析模型，减少信息丢失，扩大元素解析模块记忆早时刻信息的能力。
所述元素预测模块通过sigmod神经网络层构建遗忘门，表达式为：
f＝σ(εt-1×Wf+Xt×Uf+bf)
εt-1是上一序列的隐藏状态，Wf为ht-1的遗忘门权重,Xt是流行度的特征向量，Uf是连接输入层与遗忘层偏重矩阵，bf是遗忘门的偏置项；
通过sigmod神经网络层构建记忆门，表达式为：
i＝σ(εt-1×Wi+Xt×Ui+bi)
Wi为ht-1的记忆门权重,Ui是连接输入层与记忆门偏重矩阵,bi是记忆门的偏置项；
通过ReLU激活函数构建新的状态候选量C1，表达式为：
C1＝max(0，εt-1×Wc+Xt×Uc+bc)
Ct＝Ct-1×f+C1×i
Wc是新的状态候选量权重,Uc是连接输入层与新的状态候选量偏重矩阵,bc是新的状态候选量偏置项；
使用ReLU激活函数减少信息丢失，增强元素预测模块的预测准确度。
通过sigmod神经网络层构建输出门，表达式为：
o＝σ(εt-1×Wo+Xt×Uo+bo)
Wo为ht-1的输出门权重,Uo是连接输入层与输出门偏重矩阵,bo是输出门的偏置项；
得到最终的输出信号：
εt＝o×tanh(Ct)。
所述数据分析模块获得不同元素的未来时间的流行度，以不同时间步长为条件进行排序，取前n的元素输出为鞋子的未来不同时间步长流行趋势。
与现有技术相比，本发明所达到的有益效果是：通过鞋子元素解析鞋子，从标题、关键词、图像不同的维度将鞋子形状、特征等统一化为元素，通过元素充分的解读鞋子，避免不同维度性质对于鞋子流行度预测的影响，降低鞋子流行度预测数据输入的维度；鞋子标题较为准确的描述了鞋子的类型和关键元素，基于鞋子标题解析鞋子元素，通过小的计算量准确的解析鞋子元素，效率高；另一方面，鞋子标题没复杂的语义和语境，词汇重复度高，降低中文分词算法的难度同时获得准确度高的分词结果，从而获得准确的鞋子元素；将品牌名编制词典，以较小的工作量极大程度的提高分词的准确度，避免语义歧义；提取鞋子详情页的关键词，扩大鞋子元素的多样性，有助于更加准确的把握鞋子的特征元素；在元素预测算法之前，通过数据清洗降低数据的数量和量级，降低系统的计算难度，避免系统的无效预测，提高系统对于核心数据的把控；通过流行度的设置，进一步降低元素预测模块的输入层数据维度，降低对于元素预测算法的要求，保证元素预测模块输出的准确度，同时，以流行度为输入层，降低LSTM的特征维度，提高鞋子元素流行度的预测的准确度，避免数据的自相关性，保证输出结果，使用ReLU激活函数减少信息丢失，增强元素预测模块的预测准确度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于大数据的鞋子流行趋势预测系统及方法的结构示意图；
图2是本发明一种基于大数据的鞋子流行趋势预测系统及方法元素解析模块结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供技术方案：一种基于大数据的鞋子流行趋势预测方法，具体的大数据流行趋势预测方法为：
步骤一：图像解析单元解析鞋子图像元素；
步骤二：获取鞋子品牌，人工编制添加鞋子品牌到词典；获取鞋子标题输入元素解析模块，鞋子标题输入急速分词，急速分词基于正向最大匹配算法分词标题抓取元素；
步骤三：剩余的标题字符串输入新词词典，新词词典基于N-gram模型将获得的鞋子标题分词从而获得元素，将已获得的元素添加到词典中，并将获得的元素输入数据清理单元；
步骤四：数据清理单元筛选和重组鞋子元素，将单位时间重复的鞋子元素的流行度累计后，流行度归一化输入元素预测模块；
步骤五：元素预测模块基于LSTM算法进行流行度预测，输入不同时间步长的鞋子元素的流行度P，元素预测模块最终输出前N个的元素的不同时间的流行度；
步骤六：数据分析模块提取不同时间步长的预测结果，输出不同时间步长的鞋子流行趋势。
数据清理单元统计鞋子元素的重复度，将鞋子元素以重复度为序排序，筛选重复度前N个的元素并剔除Y年内没有重复的元素；
基于销量获得鞋子元素的流行度，计算公式为：
P＝A*S
其中，A表示鞋子元素，S表示鞋子元素对应的单位时间销售量，P表示鞋子元素的流行度。
图像解析单元基于HSV空间获取颜色直方图表达鞋子的色彩搭配，具体步骤为：
步骤一：获取鞋子基于HSV空间的颜色直方图；
步骤二：颜色直方图均值滤波；
步骤三：设立参考色，计算颜色直方图与参考图之间的相似值，具体计算公式为：
其中，P表示颜色直方图和参考图之间的相似值；
步骤四：设置分类区间范围，在同一分类区间内图像为同一色彩搭配。
将颜色直方图的前后数据相互关联，避免出现图像之间存在较小的差距而获得较小的相似度；以参考图为参考值，计算图像与参考图之间的相似值，相似值在同一分类区间内图像为同一色彩搭配，降低计算难度。
该系统包括元素解析模块、元素预测模块和数据分析模块，元素解析模块解析鞋子的元素组成，并且统计元素的重复度从而获得元素的流行度，将元素的流行度输入元素预测算法，获取元素流行趋势，将元素流行趋势输入数据分析模块，不同维度的解读流行元素，获得鞋子的流行趋势。
元素解析模块包括图像解析单元、标题分词单元、关键词提取单元和数据清洗单元，图像解析单元解析鞋子图像元素，图像元素包括线条语言和色彩搭配，标题分词单元分词鞋子标题获取鞋子元素，关键词提取单元提取鞋子详情页的关键词获取鞋子元素，数据清洗单元清洗鞋子元素数据，统计鞋子元素的重复度，输出鞋子元素的流行度；
图像解析单元基于HSV空间获取颜色直方图表达鞋子的色彩搭配，计算颜色直方图的相似值，认定在阈值以内的颜色直方图为同一色彩搭配；
图像解析单元基于Roberts交叉算子算法获得鞋子的线条语言作为元素，基于HOG特征提取算法计算鞋子的线条语言的梯度统计直方图，将梯度直方图转化为向量，通过余弦相似度划分种类。
鞋子标题较为准确的描述了鞋子的类型和关键元素，基于鞋子标题解析鞋子元素，通过小的计算量准确的解析鞋子元素，效率高，同时，通过图像语言丰富鞋子的元素；
另一方面，鞋子标题没复杂的语义和语境，词汇重复度高，降低中文分词算法的难度同时获得准确度高的分词结果，从而获得准确的鞋子元素。
标题分词单元包括急速分词和新词词典，急速分词基于正向最大匹配算法，取词典中最长词为最大匹配长度m，截取鞋子标题的前m位与词典匹配，如果匹配成功输出截取鞋子标题的前m位至鞋子元素；如果词典无法匹配，截取鞋子标题的前m-1位与词典匹配，依次循环直至匹配成功，如果截取鞋子标题的字段等于1，输出鞋子标题的第一位字符至新词，剩余的鞋子标题依次循环直至鞋子标题长度小于等于1；
新词字段输入新词词典，新词词典分词新词字段从而获得元素，且已获得的元素添加到词典中，人工编制添加鞋子品牌到词典。
将品牌名编制词典，以较小的工作量极大程度的提高分词的准确度，避免语义歧义。
新词词典模型公式为：
其中，P为概率，m为词的个数，wm为输入语句中的词，i为词的位置；
其中，c(wi-1,wi)表示二元组(wi-1,wi)在训练语料库中出现的次数，c(wi)表示词wi在训练预料库中出现的次数。
急速分词抓取鞋子元素的能力速度快，计算复杂度极低，但是不能自主的认识新词，通过新词词典补充分词，新词词典需要语料库，而鞋子的标题中词汇重复度高，通过将抓取的元素累积构成词典，先通过急速分词模块抓取已知的鞋子元素，提高标题分词单元的分词速度，降低计算复杂度；一方面通过构建自动添加补充词典，增加标题分词单元认识新词的能力，另一方面逐步降低标题分词单元对于语料库的依赖，形成一个良性的循环。
关键词提取单元基于OCR识别鞋子详情页的图片，获取鞋子详情页的文字，基于LDA主题模型抓取详情页中鞋子元素；
数据清洗单元将的鞋子元素进行筛选和重组，将单位时间重复的鞋子元素的流行度累计后，流行度归一化后输入元素预测模块。
在输入元素预测模块前清洗鞋子元素，剔除废数据，降低数据的量级，减少系统的计算量，重复元素的流行度累积避免重复度对于流行度的影响，减少流行趋势预测算法的权重。
元素预测模块基于LSTM算法进行流行度预测，元素预测模块通过门控制输出，门包括遗忘门、记忆门和输出门，元素预测模块输入层输入不同时间步长的鞋子元素的流行度P，元素预测模块输出前增加全连接层，元素预测模块最终输出前N个的元素的不同时间的流行度；在输出层增加全连接层，输出维度与输入维度一致，避免仿真出错。
以流行度为输入层，降低了LSTM的特征维度，提高鞋子元素流行度的预测的准确度，避免数据的自相关性，保证输出结果，基于LSTM层构建元素解析模型，减少信息丢失，扩大元素解析模块记忆早时刻信息的能力。
元素预测模块通过sigmod神经网络层构建遗忘门，表达式为：
f＝σ(εt-1×Wf+Xt×Uf+bf)
εt-1是上一序列的隐藏状态，Wf为ht-1的遗忘门权重,Xt是流行度的特征向量，Uf是连接输入层与遗忘层偏重矩阵，bf是遗忘门的偏置项；
通过sigmod神经网络层构建记忆门，表达式为：
i＝σ(εt-1×Wi+Xt×Ui+bi)
Wi为ht-1的记忆门权重,Ui是连接输入层与记忆门偏重矩阵,bi是记忆门的偏置项；
通过ReLU激活函数构建新的状态候选量C1，表达式为：
C1＝max(0，εt-1×Wc+Xt×Uc+bc)
Ct＝Ct-1×f+C1×i
Wc是新的状态候选量权重,Uc是连接输入层与新的状态候选量偏重矩阵,bc是新的状态候选量偏置项；
使用ReLU激活函数减少信息丢失，增强元素预测模块的预测准确度。
通过sigmod神经网络层构建输出门，表达式为：
o＝σ(εt-1×Wo+Xt×Uo+bo)
Wo为ht-1的输出门权重,Uo是连接输入层与输出门偏重矩阵,bo是输出门的偏置项；
得到最终的输出信号：
εt＝o×tanh(Ct)。
数据分析模块获得不同元素的未来时间的流行度，以不同时间步长为条件进行排序，取前n的元素输出为鞋子的未来不同时间步长流行趋势。
与现有技术相比，本发明所达到的有益效果是：通过鞋子元素解析鞋子，从标题、关键词、图像不同的维度将鞋子形状、特征等统一化为元素，通过元素充分的解读鞋子，避免不同维度性质对于鞋子流行度预测的影响，降低鞋子流行度预测数据输入的维度；鞋子标题较为准确的描述了鞋子的类型和关键元素，基于鞋子标题解析鞋子元素，通过小的计算量准确的解析鞋子元素，效率高；另一方面，鞋子标题没复杂的语义和语境，词汇重复度高，降低中文分词算法的难度同时获得准确度高的分词结果，从而获得准确的鞋子元素；将品牌名编制词典，以较小的工作量极大程度的提高分词的准确度，避免语义歧义；提取鞋子详情页的关键词，扩大鞋子元素的多样性，有助于更加准确的把握鞋子的特征元素；在元素预测算法之前，通过数据清洗降低数据的数量和量级，降低系统的计算难度，避免系统的无效预测，提高系统对于核心数据的把控；通过流行度的设置，进一步降低元素预测模块的输入层数据维度，降低对于元素预测算法的要求，保证元素预测模块输出的准确度，同时，以流行度为输入层，降低LSTM的特征维度，提高鞋子元素流行度的预测的准确度，避免数据的自相关性，保证输出结果，使用ReLU激活函数减少信息丢失，增强元素预测模块的预测准确度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于大数据的鞋子流行趋势预测方法，其特征在于：具体的大数据流行趋势预测方法为：
步骤一：图像解析单元解析鞋子图像元素；
步骤二：获取鞋子品牌，人工编制添加鞋子品牌到词典；获取鞋子标题输入元素解析模块，所述鞋子标题输入急速分词，所述急速分词基于正向最大匹配算法分词标题抓取元素；
步骤三：剩余的标题字符串输入新词词典，所述新词词典基于N-gram模型将获得的鞋子标题分词从而获得元素，将已获得的元素添加到词典中，并将获得的元素输入数据清理单元；
步骤四：数据清理单元筛选和重组鞋子元素，将单位时间重复的鞋子元素的流行度累计后，所述流行度归一化输入元素预测模块；
所述数据清理单元统计鞋子元素的重复度，将所述鞋子元素以重复度为序排序，筛选重复度前N个的元素并剔除Y年内没有重复的元素；
基于销量获得鞋子元素的流行度，计算公式为：
P＝A*S
其中，A表示鞋子元素，S表示鞋子元素对应的单位时间销售量，P表示鞋子元素的流行度；
步骤五：所述元素预测模块基于LSTM算法进行流行度预测，输入不同时间步长的鞋子元素的流行度P，所述元素预测模块最终输出前N个的元素的不同时间的流行度；
步骤六：数据分析模块提取不同时间步长的预测结果，输出不同时间步长的鞋子流行趋势；
所述图像解析单元基于HSV空间获取颜色直方图表达鞋子的色彩搭配，具体步骤为：
获取鞋子基于HSV空间的颜色直方图；
所述颜色直方图均值滤波；
设立参考色，计算颜色直方图与参考图之间的相似值，具体计算公式为：
其中，P表示所述颜色直方图和参考图之间的相似值；
设置分类区间范围，在同一分类区间内图像为同一色彩搭配。
2.一种基于大数据的鞋子流行趋势预测系统，其特征在于：该系统包括元素解析模块、元素预测模块和数据分析模块，所述元素解析模块解析鞋子的元素组成，并且统计元素的重复度从而获得元素的流行度，将元素的流行度输入元素预测算法，获取元素流行趋势，将所述元素流行趋势输入数据分析模块，不同维度的解读流行元素，获得鞋子的流行趋势；
所述元素解析模块包括图像解析单元、标题分词单元、关键词提取单元和数据清洗单元，所述图像解析单元解析鞋子图像元素，所述图像元素包括线条语言和色彩搭配，所述标题分词单元分词鞋子标题获取鞋子元素，所述关键词提取单元提取鞋子详情页的关键词获取鞋子元素，所述数据清洗单元清洗鞋子元素数据，统计鞋子元素的重复度，输出鞋子元素的流行度；
所述图像解析单元基于HSV空间获取颜色直方图表达鞋子的色彩搭配，计算颜色直方图的相似值，认定在阈值以内的颜色直方图为同一色彩搭配；
所述图像解析单元基于Roberts交叉算子算法获得鞋子的线条语言作为元素，基于HOG特征提取算法计算鞋子的线条语言的梯度统计直方图，将梯度直方图转化为向量，通过余弦相似度划分种类。
3.根据权利要求2所述的一种基于大数据的鞋子流行趋势预测系统，其特征在于：所述标题分词单元包括急速分词和新词词典，所述急速分词基于正向最大匹配算法，取词典中最长词为最大匹配长度m，截取鞋子标题的前m位与词典匹配，如果匹配成功输出截取鞋子标题的前m位至鞋子元素；如果词典无法匹配，截取鞋子标题的前m-1位与词典匹配，依次循环直至匹配成功，如果截取鞋子标题的字段等于1，输出鞋子标题的第一位字符至新词，剩余的鞋子标题依次循环直至鞋子标题长度小于等于1；
所述新词字段输入新词词典，所述新词词典分词新词字段从而获得元素，且已获得的元素添加到词典中，人工编制添加鞋子品牌到所述词典；
所述新词词典模型公式为：
其中，P为概率，m为词的个数，wm为输入语句中的词，i为词的位置；
其中，c(wi-1,wi)表示二元组(wi-1,wi)在训练语料库中出现的次数，c(wi)表示词wi在训练预料库中出现的次数。
4.根据权利要求3所述的一种基于大数据的鞋子流行趋势预测系统，其特征在于：所述关键词提取单元基于OCR识别鞋子详情页的图片，获取鞋子详情页的文字，基于LDA主题模型抓取详情页中鞋子元素；
所述数据清洗单元将所述的鞋子元素进行筛选和重组，将单位时间重复的鞋子元素的流行度累计后，所述流行度归一化后输入元素预测模块。
5.根据权利要求4所述的一种基于大数据的鞋子流行趋势预测系统，其特征在于：所述元素预测模块基于LSTM算法进行流行度预测，所述元素预测模块通过门控制输出，门包括遗忘门、记忆门和输出门，所述元素预测模块输入层输入不同时间步长的鞋子元素的流行度P，所述元素预测模块输出前增加全连接层，所述元素预测模块最终输出前N个的元素的不同时间的流行度。
6.根据权利要求5所述的一种基于大数据的鞋子流行趋势预测系统，其特征在于：所述元素预测模块通过sigmod神经网络层构建遗忘门，表达式为：
f＝σ(εt-1×Wf+Xt×Uf+bf)
εt-1是上一序列的隐藏状态，Wf为ht-1的遗忘门权重,Xt是流行度的特征向量，Uf是连接输入层与遗忘层偏重矩阵，bf是遗忘门的偏置项；
通过sigmod神经网络层构建记忆门，表达式为：
i＝σ(εt-1×Wi+Xt×Ui+bi)
Wi为ht-1的记忆门权重,Ui是连接输入层与记忆门偏重矩阵,bi是记忆门的偏置项；
通过ReLU激活函数构建新的状态候选量C1，表达式为：
C1＝max(0，εt-1×Wc+Xt×Uc+bc)
Ct＝Ct-1×f+C1×i
Wc是新的状态候选量权重,Uc是连接输入层与新的状态候选量偏重矩阵,
bc是新的状态候选量偏置项；
通过sigmod神经网络层构建输出门，表达式为：
o＝σ(εt-1×Wo+Xt×Uo+bo)
Wo为ht-1的输出门权重,Uo是连接输入层与输出门偏重矩阵,bo是输出门的偏置项；
得到最终的输出信号：
εt＝o×tanh(Ct)。
7.根据权利要求6所述的一种基于大数据的鞋子流行趋势预测系统，其特征在于：所述数据分析模块获得不同元素的未来时间的流行度，以不同时间步长为条件进行排序，取前n的元素输出为鞋子的未来不同时间步长流行趋势。
CN202210372074.2A 2022-04-11 2022-04-11 一种基于大数据的鞋子流行趋势预测系统及方法 Active CN114912941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210372074.2A CN114912941B (zh) 2022-04-11 2022-04-11 一种基于大数据的鞋子流行趋势预测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210372074.2A CN114912941B (zh) 2022-04-11 2022-04-11 一种基于大数据的鞋子流行趋势预测系统及方法

Publications (2)

Publication Number Publication Date
CN114912941A CN114912941A (zh) 2022-08-16
CN114912941B true CN114912941B (zh) 2023-08-11

Family

ID=82763291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210372074.2A Active CN114912941B (zh) 2022-04-11 2022-04-11 一种基于大数据的鞋子流行趋势预测系统及方法

Country Status (1)

Country Link
CN (1) CN114912941B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138552A (zh) * 2015-07-17 2015-12-09 东华大学 一种挖掘在线销售数据的时尚趋势分析系统
CN110336700A (zh) * 2019-07-10 2019-10-15 重庆大学 一种基于时间及用户的转发序列的微博流行度预测模型
CN112434210A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种服装流行趋势预测系统与方法
CN113159826A (zh) * 2020-12-28 2021-07-23 武汉纺织大学 基于深度学习的服装流行元素预测的系统及方法
CN114240004A (zh) * 2022-02-23 2022-03-25 武汉纺织大学 一种多源信息融合的服装流行趋势预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885849B2 (en) * 2003-06-05 2011-02-08 Hayley Logistics Llc System and method for predicting demand for items
IT201900005326A1 (it) * 2019-04-08 2020-10-08 Regione Lombardia Sistema e metodo automatizzato di estrazione e presentazione di informazioni quantitative tramite analisi predittiva di dati

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138552A (zh) * 2015-07-17 2015-12-09 东华大学 一种挖掘在线销售数据的时尚趋势分析系统
CN110336700A (zh) * 2019-07-10 2019-10-15 重庆大学 一种基于时间及用户的转发序列的微博流行度预测模型
CN112434210A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种服装流行趋势预测系统与方法
CN113159826A (zh) * 2020-12-28 2021-07-23 武汉纺织大学 基于深度学习的服装流行元素预测的系统及方法
CN114240004A (zh) * 2022-02-23 2022-03-25 武汉纺织大学 一种多源信息融合的服装流行趋势预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Clothing Style Trend Forecasting Method Based on Design Element;Cunjiao Qiao等;《电子商务评论》;第9卷(第1期);第10-17页 *

Also Published As

Publication number Publication date
CN114912941A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN109871535B (zh) 一种基于深度神经网络的法语命名实体识别方法
CN108984526B (zh) 一种基于深度学习的文档主题向量抽取方法
CN110825877A (zh) 一种基于文本聚类的语义相似度分析方法
CN104834747B (zh) 基于卷积神经网络的短文本分类方法
CN111950287B (zh) 一种基于文本的实体识别方法及相关装置
CN109902289B (zh) 一种面向模糊文本挖掘的新闻视频主题分割方法
CN111274790B (zh) 基于句法依存图的篇章级事件嵌入方法及装置
Li et al. Word embedding and text classification based on deep learning methods
CN110134950B (zh) 一种字词结合的文本自动校对方法
CN111061939B (zh) 基于深度学习的科研学术新闻关键字匹配推荐方法
CN111881256B (zh) 文本实体关系抽取方法、装置及计算机可读存储介质设备
CN112749549B (zh) 一种基于增量学习和多模型融合的中文实体关系抽取方法
CN116610778A (zh) 基于跨模态全局与局部注意力机制的双向图文匹配方法
Chaudhuri et al. Unsupervised structure discovery for semantic analysis of audio
CN115186665B (zh) 一种基于语义的无监督学术关键词提取方法及设备
CN112580330B (zh) 基于中文触发词指导的越南语新闻事件检测方法
CN111753088A (zh) 一种自然语言信息的处理方法
Roy et al. Date-field retrieval in scene image and video frames using text enhancement and shape coding
CN115168580A (zh) 一种基于关键词提取与注意力机制的文本分类方法
CN113065349A (zh) 基于条件随机场的命名实体识别方法
CN114491062A (zh) 一种融合知识图谱和主题模型的短文本分类方法
Jemni et al. ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents
CN114912941B (zh) 一种基于大数据的鞋子流行趋势预测系统及方法
CN116595166A (zh) 一种结合特征改进及扩展的双通道短文本分类方法及系统
CN111813927A (zh) 一种基于主题模型和lstm的句子相似度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant