CN114663712B - 一种基于区域热点事件的服装流行趋势预测方法与系统 - Google Patents

一种基于区域热点事件的服装流行趋势预测方法与系统 Download PDF

Info

Publication number
CN114663712B
CN114663712B CN202210537133.7A CN202210537133A CN114663712B CN 114663712 B CN114663712 B CN 114663712B CN 202210537133 A CN202210537133 A CN 202210537133A CN 114663712 B CN114663712 B CN 114663712B
Authority
CN
China
Prior art keywords
image
text information
clothing
text
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210537133.7A
Other languages
English (en)
Other versions
CN114663712A (zh
Inventor
姜明华
花爱玲
余锋
赵雅欣
周昌龙
宋坤芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202210537133.7A priority Critical patent/CN114663712B/zh
Publication of CN114663712A publication Critical patent/CN114663712A/zh
Application granted granted Critical
Publication of CN114663712B publication Critical patent/CN114663712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于区域热点事件的服装流行趋势预测方法与系统，所述系统包括数据收集单元，数据处理单元，服装分类单元，服装流行趋势预测单元，数据收集单元用于收集文本信息和图像信息，并同时将对应的图像与文本信息进行匹配；数据处理单元用于对收集到的文本信息和相关的图像进行预处理，将没有文本信息的图像送至对应的服装分类单元的A分支，将文本信息的图像送至B分支；服装分类单元用于对收集到的图像进行特征提取，对于相应的元素类别进行分类；服装流行趋势预测单元用于对特定区域热点事件的服装流行趋势进行预测。本发明对特定区域的服装流行趋势进行预测，极大提高了预测的准确率及复杂性，同时可促进智能服装技术领域的发展。

Description

一种基于区域热点事件的服装流行趋势预测方法与系统
技术领域
本发明属于智能服装技术领域，具体涉及一种基于区域热点事件的服装流行趋势预测方法与系统。
背景技术
现代服装发展的一个明显趋势是服装的新旧款式之间的更替越来越快，服装变化的周期也越来越短。追求衣着的流行化已经成为了现代人的显著特征。流行服装反映了大多数人的意愿，它集中表现了某一时期人们的整体精神面貌。人们在特定的时间内对款式、色彩、着装方式的喜爱，以及相互之间的模仿使服装流行成为一种社会现象。研究服装流行趋势，对于引导服装企业的生产、帮助企业降低市场风险、避免生产的盲目性及对减少资源浪费具有积极意义。
近年来，出现了各式各样的服装流行趋势预测系统，公开号为“CN108960499A”的中国专利“基于一种融合视觉和非视觉特征的服装流行趋势预测系统”是通过服装图像作为模型的输入得到标注,利用流行度评价的系统及方法得到当前的流行趋势。该发明能够有效提高服装图像标注的准确性与效率,促进时尚领域服装流行趋势预测的智能化。但是其利用流行度的评价去预测流行趋势的数据不具有很大的真实性，流行预测准确率有待商榷。
因此，现有的技术问题是数据利用率低，预测准确率低，且真实性薄弱。
发明内容
为解决上述问题，本发明提供了一种基于区域热点事件的服装流行趋势预测方法与系统。通过收集时间、季节、城市、热点事件、服装流行元素等相关文本信息。区域热点事件中区域表示为全国不同地区的不同城市，热点事件表示为时间信息对应的节日或者特殊事件，例如，2022年2月4号-2月20号是冬奥会事件时间。并通过这些文本信息与图像数据结合，对所有图像进行分类，将分类图像放置在不同的文件夹，构建出对应的服装图像数据集，输入最新的图像和文本数据至流行趋势预测网络，预测出下一个时间段的流行元素信息。
本发明提供的一种基于区域热点事件的服装流行趋势预测方法，包括如下步骤；
Step1，收集关于区域热点事件中相关的文本数据和图像数据，并同时将对应的图像和文本信息进行匹配；
Step2，对收集到的文本信息和图像数据进行预处理，预处理后输入至服装分类网络，没有对应文本信息匹配的图像送至服装分类网络中的A分支，将图像与对应匹配的文本信息送至服装分类网络的B分支；
所述A分支通过对没有文本信息辅助的纯图像数据进行多类别分类，B分支通过对具有文本信息的图像进行多类别分类；
A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素类别分类；
B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类，具体包括以下子步骤；
S1，对获取到的文本信息进行注意力机制处理；
S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；
S3，基于多模态特征融合将自注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多类别分类；
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为Step3的信息数据库，并通过目录文件记录图像与文本信息关系，方便Step3对信息数据库的检索；
Step3，将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
进一步的，步骤Step1中通过网络爬虫、人工收集、商家提供数据的方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，所述相关的文本数据和图像数据包括与时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，运用收集到的文本信息对图像数据进行多类别标注，多类别标注包括时间、季节、城市、热点事件、服装流行元素。
进一步的，A分支的处理过程如下；
首先通过卷积核对一段时间内所收集到的图像进行特征提取，将得到的特征图，先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征，其中权重系数表达计算式如下所示：
Mc(G)=σ(pMLP(AvgPool(G))+（1-p）MLP(MaxPool(G)))
其中，G为输入的特征图，最后得到的注意力特征图为Mc，MLP表示全连接网络，σ表示Sigmoid操作，AvgPool表示平均池化，MaxPool表示最大池化，p表示概率因子；
再使用激活函数对提取到的特征图进行修正，最后通过分类器对服装进行分类，并将该图像整理到对应的文件存放处。
进一步的，B分支中对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码、注意力三个部分，其步骤如下：
S11：文本预处理部分实现字符串的匹配，去除非文字符号；
S12：编码部分通过编码得到文本信息的特征向量；
S13：注意力部分通过对S12中输出的句子特征进行点积计算得到权重，然后通过Softmax函数对这些权重进行归一化并计算权重系数，最后，将权重系数与句子特征相乘得到新特征，获得文本信息中文本所关注的区域。
进一步的，B分支中通过卷积神经网络对图像进行特征提取，通过通道注意力机制和空间注意力机制得到新的图像特征，其具体实现步骤如下：
S21：将特征先通过通道注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征；
S22：对得到的新特征添加空间注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新的图像特征。
进一步的，B分支中，将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard(哈达玛)积低秩双线性模型中使文本特征与图像特征结合，实现多模态融合；
低秩双线性模型用来降低双线性权重矩阵W i 的秩，将双线性权重矩阵W i 替换为两 个较小的矩阵U i V i T 的乘积，其中
Figure 643654DEST_PATH_IMAGE001
，其中M，N表示矩阵的行和 列，且W i 的秩d≤min(N,M)，f i 表示为标量输出，计算公式为：
Figure 575838DEST_PATH_IMAGE002
其中z表示单通道输入，z T 表示z的转置，s表示为所有通道，1∈R d 是一个全为1的向量，∘是Hadamard积；其中U T 是U的转置，而对于低秩双线性矢量输出向量f，引入一个池化矩阵P，实现低秩双线模型的池化，计算公式如下：
Figure 920232DEST_PATH_IMAGE003
对于特征图的每个通道用s i 来表示，则对于一个多通道的输入S则是由多个s i 组成的，使用单一的注意力网络将多个通道融合为单个通道，计算公式如下：
Figure 621472DEST_PATH_IMAGE004
其中α代表一个注意力分布，α的定义如下：
Figure 534064DEST_PATH_IMAGE005
其中，softmax为概率函数，为了减少输入通道，引入了多重双线性注意图Ag，公式定义如下：
Figure 685035DEST_PATH_IMAGE006
通过注意力机制与文本特征和图像特征的矩阵乘法，得到文本与图像的特征联合表示向量，公式如下：
Figure 833120DEST_PATH_IMAGE007
其中
Figure 388866DEST_PATH_IMAGE008
表示多模态融合向量的第k个元素；
将多模态融合的结果与新的图像特征相加，辅助图像进行多标注分类，即将经过注意力机制得到的新的图像特征与通过多模态融合结果进行连接，计算公式如下：
Figure 737939DEST_PATH_IMAGE007
Figure 441453DEST_PATH_IMAGE009
其中V表示新的图像特征，
Figure 65332DEST_PATH_IMAGE010
表示待分类的组合特征，MLP表示全连接网络，
Figure 678847DEST_PATH_IMAGE008
表 示多模态融合向量的第k个元素，re操作表示对某些相关向量无效化，h表示为概率因子。
进一步的，Step3的具体实现过程如下；
将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络，输入部分表达式为：
Figure 323455DEST_PATH_IMAGE011
其中，服装流行趋势预测神经网络的输入由两部分组成，T 热表示信息数据库中的 文本信息，
Figure 451948DEST_PATH_IMAGE012
表示最近时期所收集的与热点事件相关的文本信息，
Figure 817202DEST_PATH_IMAGE013
表示最近时期所收 集的与服装流行元素相关的文本信息，I 文本表示输入的文本数据；G 热表示信息数据库中的图 像信息，
Figure 81961DEST_PATH_IMAGE014
表示最近时期所收集的与热点事件相关的图像信息，
Figure 631891DEST_PATH_IMAGE015
表示最近时期所收集 的与服装流行元素相关的图像信息，I 图像表示输入的图像数据；
将输入数据输入至流行趋势预测神经网络进行预测，流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后，对其进行特征降维，得到结构化数据后，计算文本特征，最后通过聚类算法输出聚类结果；进一步地，流行趋势预测神经网络通过识别聚类结果，将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中，进行相似度比较，将相似度高的图像对应服装标注保留至下一层；最后，通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算，得到最终的输出结果。
本发明还提供一种基于区域热点事件的服装流行趋势预测系统，其特征在于，包括如下单元：
数据收集单元，用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，并同时将对应的图像与文本信息进行匹配；
数据处理单元，用于对收集到的文本信息和图像进行预处理，没有对应文本信息匹配的图像送至服装分类单元的A分支，将图像与对应匹配的文本信息送至B分支；
服装分类单元对收集到的图像与文本信息进行特征提取，对相应的元素类别进行分类；
包括A分支和B分支，所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类，B分支通过对具有文本信息的图像进行多标注分类；
其中，A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素分类；
其中，B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类，具体包括以下子步骤；
S1，对获取到的文本信息进行注意力机制处理；
S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；
S3，基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多标注分类；
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为服装流行预测单元的信息数据库，并通过目录文件记录图像与文本信息关系，方便服装流行预测单元对信息数据库的检索；
服装流行预测单元，用于将最新的图像和文本数据，以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
相比现有技术，本发明的有益效果：
（1）本发明的服装流行趋势预测网络模型的输入数据采用文本和图像，借助文本信息结合图像数据提高了流行预测的准确率。
（2）本发明使用基于注意力机制提取图像特征，使得网络模型聚焦到有意义的图像特征并充分利用了文本信息，使得分类网络更快更准确。
（3）本发明的服装流行趋势预测网络模型，通过不断地训练网络模型，对模型参数进行修正，提高了流行预测的准确率以及效率。
（4）本发明的系统及方法通过将文本信息与图像信息结合，使其达到识别节日、季节、事件等区域热点事件对于服装流行趋势的影响，实现了特定区域热点事件的服装流行趋势预测，真实性强、实时性好。
附图说明
图1为本发明提供的一种基于区域热点事件的服装流行趋势预测方法的流程图；
图2为本发明提供的一种基于区域热点事件的服装流行趋势预测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提供的一种基于区域热点事件的服装流行趋势预测方法，包括步骤如下：
Step1，收集关于区域热点事件中相关的文本数据和图像数据，并同时将对应的图像和文本信息进行匹配，对图像数据进行数据清洗、去背景处理；
Step2，对收集到的文本信息和图像数据进行预处理，预处理后输入至服装分类网络，没有对应文本信息匹配的图像送至服装分类网络中的A分支，将图像与对应匹配的文本信息送至服装分类网络中的B分支；
所述A分支通过对没有文本信息辅助的纯图像数据进行类别分类，B分支通过对具有文本信息的图像进行多类别分类。
A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素类别分类；
训练过程中首先通过卷积核对一段时间内所收集到的图像进行特征提取。进一步的通过对上一层得到的特征图，先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征；其中权重系数计算式如下所示：
Mc(G)=σ(pMLP(AvgPool(G))+（1-p）MLP(MaxPool(G)))
其中，G为输入的特征图，最后得到的注意力特征图为Mc，MLP表示全连接网络，σ表示Sigmoid操作，AvgPool表示平均池化，MaxPool表示最大池化，p表示概率因子；
再使用RELU激活函数对提取到的特征图进行修正，将修正后的特征图送至胶囊网络进一步的对图像特征进行提取，最后对服装进行分类，并将该图像整理到对应的文件存放处。
B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类，具体包括以下子步骤；
S1，对获取到的文本信息进行注意力机制处理；
S2，通过卷积神经网络对图像进行特征提取，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；
S3，基于多模态融合将自注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多类别分类；具体过程如下：
所述对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码（文本特征处理）、注意力三个部分，其步骤如下：
S11：文本预处理部分按照事先建立好的分词词典和分词规则库，实现字符串的匹配，从而去除掉标记符号与标点符号等非文字类信息；
S12：编码部分通过滑窗操作将相邻的两个词作为一组进行处理，将文本信息映射到连续的向量；
S13：注意力部分通过对S12中输出的句子特征进行点积计算得到权重，然后通过Softmax函数对这些权重进行归一化并计算权重系数，最后，将权重系数与句子特征相乘得到新特征，获得文本信息中文本所关注的区域。
进一步的，图像通过卷积神经网络进行特征提取，通过卷积核对图像进行特征提取得到特征图，将得到的特征图添加通道注意力机制和空间注意力机制，其步骤如下：
S21：将图像特征先通过通道注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征。
S22：对新特征添加空间注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新的图像特征。
进一步地，再将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard(哈达玛)积低秩双线性模型中使文本特征与图像特征结合，实现多模态融合。
低秩双线性模型用来降低双线性权重矩阵W i 的秩，将双线性权重矩阵W i 替换为两 个较小的矩阵U i V i T 的乘积，其中
Figure 250610DEST_PATH_IMAGE001
，其中M，N表示矩阵的行和 列，且W i 的秩d≤min(N,M)，f i 表示为标量输出，计算公式为：
Figure 419554DEST_PATH_IMAGE016
其中z表示单通道输入，z T 表示z的转置，s表示为所有通道，1∈R d 是一个全为1的向量，∘是Hadamard积；其中U T 是U的转置，而对于低秩双线性矢量输出向量f，引入一个池化矩阵P，实现低秩双线模型的池化，计算公式如下：
Figure 804399DEST_PATH_IMAGE003
对于特征图的每个通道用s i 来表示，则对于一个多通道的输入S则是由多个s i 组成的，使用单一的注意力网络将多个通道融合为单个通道，计算公式如下：
Figure 259651DEST_PATH_IMAGE004
其中α代表一个注意力分布，α的定义如下：
Figure 565999DEST_PATH_IMAGE017
其中，此处的softmax表示为概率函数，为了减少输入通道，引入了多重双线性注意图Ag，公式定义如下：
Figure 335371DEST_PATH_IMAGE018
通过注意力机制与文本特征和图像特征的矩阵乘法，得到文本与图像的特征联合表示向量，公式如下：
Figure 902619DEST_PATH_IMAGE007
其中
Figure 466456DEST_PATH_IMAGE008
表示多模态融合向量的第k个元素。
然后将多模态融合的结果与新的图像特征相加，辅助图像进行多标注分类，将经过注意力机制得到的图像特征与通过多模态注意力网络模型输出的特征进行连接。计算公式如下：
Figure 994520DEST_PATH_IMAGE009
其中V表示新的图像特征，
Figure 567584DEST_PATH_IMAGE010
表示待分类的组合特征，MLP表示全连接网络，
Figure 989338DEST_PATH_IMAGE008
表 示多模态融合向量的第k个元素，re操作表示对某些相关向量无效化，h表示为概率因子。
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为Step3的信息数据库，并通过目录文件记录图像与文本信息关系，方便Step3对信息数据库的检索；
Step3，将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络，输入部分表达式为：
Figure 924408DEST_PATH_IMAGE011
其中，服装流行趋势预测神经网络的输入由两部分组成，T 热表示信息数据库中的 文本信息，
Figure 736507DEST_PATH_IMAGE012
表示最近时期所收集的与热点事件相关的文本信息，
Figure 175578DEST_PATH_IMAGE013
表示最近时期所收 集的与服装流行元素相关的文本信息，I 文本表示输入的文本数据；G 热表示信息数据库中的图 像信息，
Figure 592784DEST_PATH_IMAGE014
表示最近时期所收集的与热点事件相关的图像信息，
Figure 764002DEST_PATH_IMAGE015
表示最近时期所收集 的与服装流行元素相关的图像信息，I 图像表示输入的图像数据；
将输入数据输入至流行趋势预测神经网络进行预测，流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后，对其进行特征降维，得到结构化数据后，计算文本特征，最后通过聚类算法输出聚类结果；进一步地，流行趋势预测神经网络通过识别聚类结果，将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中，进行相似度比较，将相似度高的图像对应服装标注保留至下一层；最后，通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算，得到最终的输出结果。
进一步的，服装流行趋势神经网络的输出层是一个用于预测的神经元，预测精度 误差使用均方根误差，其中x i 表示实际值，
Figure 125714DEST_PATH_IMAGE019
为预测值，n表示观测次数，其计算式如下：
Figure 40580DEST_PATH_IMAGE020
本发明还提供一种基于区域热点事件的服装流行趋势预测系统，包括如下单元：
数据收集单元，用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，并同时将对应的图像与文本信息进行匹配；
数据处理单元，用于对收集到的文本信息和图像进行预处理，没有对应文本信息匹配的图像送至服装分类单元的A分支，将图像与对应匹配的文本信息送至B分支；
服装分类单元对收集到的图像与文本信息进行特征提取，对相应的元素类别进行分类；
包括A分支和B分支，所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类，B分支通过对具有文本信息的图像进行多标注分类；
其中，A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素分类；
其中，B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类，具体包括以下子步骤；
S1，对获取到的文本信息进行注意力机制处理；
S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；
S3，基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多标注分类；
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为服装流行预测单元的信息数据库，并通过目录文件记录图像与文本信息关系，方便服装流行预测单元对信息数据库的检索；
服装流行预测单元，用于将最新的图像和文本数据，以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
优选的方案中，数据收集单元通过网络爬虫、人工收集等方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，所述相关的文本数据和图像数据包括时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，其中社交媒体网站包括博客、Facebook、微博、小红书，购物网站包括亚马逊-网上购物商城(amazon.com)、淘宝网(taobao.com)、唯品会（vip.com）以及京东商城（jd.com），流行信息获取来源包括：国际流行委员会、时装周、各预测平台。
优选的方案中，数据处理单元通过运用收集到的文本信息对图像数据进行标注，包括：时间、季节、城市、热点事件、服装流行元素等，时间例如：国庆节、建军节、儿童节、妇女节等节日；季节例如：春、夏、秋、冬；城市例如：合肥、武汉、北京等；服装流行元素标注例如：款式（斗篷外套、雪纺衬衣、羊毛衫等）、颜色（红、橙、黄等）、风格（职业风、迷彩风、运动风等）；热点事件例如冬奥会、残奥会等重要事件。
可选地，所述服装分类单元中，A分支利用卷积神经网络例如VGG、GoogLeNet、ResNet50，DenseNet、EfficientNet等用于特征提取，经过卷积、池化操作，运用激活函数对其输出进行修正，用分类器进行分类。
优选的方案中，所述服装分类单元B分支中对获取到的文本信息进行注意力机制处理，其中编码部分通过将文本信息映射为向量，可选地方法有one-hot编码、tf-idf、n-gram模型。
可选地，A分支和B分支中所用的激活函数例如Relu、Sigmoid、Tanh等。
可选地，A分支和B分支中所用的分类器包括SVM分类器、贝叶斯分类器、softmax等，B分支中将表示待分类的组合特征输入到分类器中即可得到分类结果。
优选的方案中，所述服装流行趋势预测单元中确定预测精度选用均方根误差，其 中x i 表示实际值，
Figure 46713DEST_PATH_IMAGE021
为预测值，n表示观测次数，其计算式如下：
Figure 388833DEST_PATH_IMAGE022
如图2所示，数据收集单元通过网络爬虫、人工收集、商家提供数据等方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，通过“网络爬虫”技术对图像进行爬取的同时，自动生成服装信息目录文件，该服装信息目录包括了服装图像的时间、季节、城市、热点事件、服装流行信息等信息，图像处理模块对于“网络爬虫”没有收集到的标注进行手动标注，并将其送入服装信息目录文件，相关的文本数据和图像数据包括时间、季节、城市、热点事件、服装流行信息的文本数据和图像数据，其中社交媒体网站包括博客、Facebook、微博、小红书，购物网站包括亚马逊-网上购物商城(amazon.com)、淘宝网(taobao.com)、唯品会（vip.com）以及京东商城（jd.com）。爬取的具体文本信息包括时间例如：国庆节、建军节、儿童节、妇女节等；季节例如：春、夏、秋、冬；城市例如：合肥、武汉、北京等；服装流程元素标注例如：款式（斗篷外套、雪纺衬衣、羊毛衫等）、颜色（红、橙、黄等）、风格（职业风、迷彩风、运动风等）；热点事件例如冬奥会、残奥会等重要事件。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于区域热点事件的服装流行趋势预测方法，其特征在于，包括如下步骤；
Step1，收集关于区域热点事件中相关的文本数据和图像数据，并同时将对应的图像和文本信息进行匹配；
Step2，对收集到的文本信息和图像数据进行预处理，预处理后输入至服装分类网络，没有对应文本信息匹配的图像送至服装分类网络中的A分支，将图像与对应匹配的文本信息送至服装分类网络的B分支；
所述A分支通过对没有文本信息辅助的纯图像数据进行多类别分类，B分支通过对具有文本信息的图像进行多类别分类；
A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素类别分类；
B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类，具体包括以下子步骤；
S1，对获取到的文本信息进行注意力机制处理；
S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；
S3，基于多模态特征融合将自注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多类别分类；
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为Step3的信息数据库，并通过目录文件记录图像与文本信息关系，方便Step3对信息数据库的检索；
Step3，将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
2.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法，其特征在于：步骤Step1中通过网络爬虫、人工收集、商家提供数据的方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，所述相关的文本数据和图像数据包括与时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，运用收集到的文本信息对图像数据进行多类别标注，多类别标注包括时间、季节、城市、热点事件、服装流行元素。
3.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法，其特征在于：A分支的处理过程如下；
首先通过卷积核对一段时间内所收集到的图像进行特征提取，将得到的特征图，先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征，其中权重系数表达计算式如下所示：
Mc(G)=σ(pMLP(AvgPool(G))+（1-p）MLP(MaxPool(G)))
其中，G为输入的特征图，最后得到的注意力特征图为Mc，MLP表示全连接网络，σ表示Sigmoid操作，AvgPool表示平均池化，MaxPool表示最大池化，p表示概率因子；
再使用激活函数对提取到的特征图进行修正，最后通过分类器对服装进行分类，并将该图像整理到对应的文件存放处。
4.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法，其特征在于：B分支中对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码、注意力三个部分，其步骤如下：
S11：文本预处理部分实现字符串的匹配，去除非文字符号；
S12：编码部分通过编码得到文本信息的特征向量；
S13：注意力部分通过对S12中输出的句子特征进行点积计算得到权重，然后通过Softmax函数对这些权重进行归一化并计算权重系数，最后，将权重系数与句子特征相乘得到新特征，获得文本信息中文本所关注的区域。
5.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法，其特征在于：B分支中通过卷积神经网络对图像进行特征提取，通过通道注意力机制和空间注意力机制得到新的图像特征，其具体实现步骤如下：
S21：将特征先通过通道注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征；
S22：对得到的新特征添加空间注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新的图像特征。
6.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法，其特征在于：B分支中，将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard积低秩双线性模型中使文本特征与图像特征结合，实现多模态融合；
低秩双线性模型用来降低双线性权重矩阵W i 的秩，将双线性权重矩阵W i 替换为两个较 小的矩阵U i V i T 的乘积，其中
Figure 836697DEST_PATH_IMAGE001
，其中M，N表示矩阵 的行和列，且W i 的秩d≤min(N,M)，f i 表示为标量输出，计算公式为：
Figure 894783DEST_PATH_IMAGE002
其中z表示单通道输入，z T 表示z的转置，s表示为所有通道，1∈R d 是一个全为1的向量，∘是Hadamard积；其中U T 是U的转置，而对于低秩双线性矢量输出向量f，引入一个池化矩阵P，实现低秩双线模型的池化，计算公式如下：
Figure 877782DEST_PATH_IMAGE003
对于特征图的每个通道用s i 来表示，则对于一个多通道的输入S则是由多个s i 组成的，使用单一的注意力网络将多个通道融合为单个通道，计算公式如下：
Figure 538571DEST_PATH_IMAGE004
其中α代表一个注意力分布，α的定义如下：
Figure 290626DEST_PATH_IMAGE005
其中，softmax为概率函数，为了减少输入通道，引入了多重双线性注意图Ag，公式定义如下：
Figure 313421DEST_PATH_IMAGE006
通过注意力机制与文本特征和图像特征的矩阵乘法，得到文本与图像的特征联合表示向量，公式如下：
Figure 721400DEST_PATH_IMAGE007
其中
Figure 451458DEST_PATH_IMAGE008
表示多模态融合向量的第k个元素；
将多模态融合的结果与新的图像特征相加，辅助图像进行多标注分类，即将经过注意力机制得到的新的图像特征与通过多模态融合结果进行连接，计算公式如下：
Figure 323600DEST_PATH_IMAGE007
Figure 457909DEST_PATH_IMAGE009
其中V表示新的图像特征，
Figure 415500DEST_PATH_IMAGE010
表示待分类的组合特征，MLP表示全连接网络，
Figure 683671DEST_PATH_IMAGE008
表示 多模态融合向量的第k个元素，re操作表示对某些相关向量无效化，h表示为概率因子。
7.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法，其特征在于：Step3的具体实现过程如下；
将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络，输入部分表达式为：
Figure 348001DEST_PATH_IMAGE011
其中，服装流行趋势预测神经网络的输入由两部分组成，T 热表示信息数据库中的文本 信息，
Figure 981108DEST_PATH_IMAGE012
表示最近时期所收集的与热点事件相关的文本信息，
Figure 160417DEST_PATH_IMAGE013
表示最近时期所收集 的与服装流行元素相关的文本信息，I 文本表示输入的文本数据；G 热表示信息数据库中的图像 信息，
Figure 701119DEST_PATH_IMAGE014
表示最近时期所收集的与热点事件相关的图像信息，
Figure 550782DEST_PATH_IMAGE015
表示最近时期所收集 的与服装流行元素相关的图像信息，I 图像表示输入的图像数据；
将输入数据输入至流行趋势预测神经网络进行预测，流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后，对其进行特征降维，得到结构化数据后，计算文本特征，最后通过聚类算法输出聚类结果；进一步地，流行趋势预测神经网络通过识别聚类结果，将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中，进行相似度比较，将相似度高的图像对应服装标注保留至下一层；最后，通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算，得到最终的输出结果。
8.一种基于区域热点事件的服装流行趋势预测系统，其特征在于，包括如下单元：
数据收集单元，用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，并同时将对应的图像与文本信息进行匹配；
数据处理单元，用于对收集到的文本信息和图像进行预处理，没有对应文本信息匹配的图像送至服装分类单元的A分支，将图像与对应匹配的文本信息送至B分支；
服装分类单元对收集到的图像与文本信息进行特征提取，对相应的元素类别进行分类；
包括A分支和B分支，所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类，B分支通过对具有文本信息的图像进行多标注分类；
其中，A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素分类；
其中，B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类，具体包括以下子步骤；
S1，对获取到的文本信息进行注意力机制处理；
S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；
S3，基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多标注分类；
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为服装流行预测单元的信息数据库，并通过目录文件记录图像与文本信息关系，方便服装流行预测单元对信息数据库的检索；
服装流行预测单元，用于将最新的图像和文本数据，以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
CN202210537133.7A 2022-05-18 2022-05-18 一种基于区域热点事件的服装流行趋势预测方法与系统 Active CN114663712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537133.7A CN114663712B (zh) 2022-05-18 2022-05-18 一种基于区域热点事件的服装流行趋势预测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537133.7A CN114663712B (zh) 2022-05-18 2022-05-18 一种基于区域热点事件的服装流行趋势预测方法与系统

Publications (2)

Publication Number Publication Date
CN114663712A CN114663712A (zh) 2022-06-24
CN114663712B true CN114663712B (zh) 2022-08-16

Family

ID=82037979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537133.7A Active CN114663712B (zh) 2022-05-18 2022-05-18 一种基于区域热点事件的服装流行趋势预测方法与系统

Country Status (1)

Country Link
CN (1) CN114663712B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960499A (zh) * 2018-06-27 2018-12-07 东华大学 一种融合视觉和非视觉特征的服装流行趋势预测系统
CN110472002A (zh) * 2019-08-14 2019-11-19 腾讯科技（深圳）有限公司 一种文本相似度获取方法和装置
CN110705755A (zh) * 2019-09-07 2020-01-17 创新奇智(广州)科技有限公司 一种基于深度学习的服装流行趋势预测方法与装置
CN113298616A (zh) * 2021-05-19 2021-08-24 浙江外国语学院 一种基于特征融合的成对服装兼容性预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152844A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
US11544510B2 (en) * 2019-07-11 2023-01-03 Comscore, Inc. System and method for multi-modal image classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960499A (zh) * 2018-06-27 2018-12-07 东华大学 一种融合视觉和非视觉特征的服装流行趋势预测系统
CN110472002A (zh) * 2019-08-14 2019-11-19 腾讯科技（深圳）有限公司 一种文本相似度获取方法和装置
CN110705755A (zh) * 2019-09-07 2020-01-17 创新奇智(广州)科技有限公司 一种基于深度学习的服装流行趋势预测方法与装置
CN113298616A (zh) * 2021-05-19 2021-08-24 浙江外国语学院 一种基于特征融合的成对服装兼容性预测方法

Also Published As

Publication number Publication date
CN114663712A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110852368B (zh) 全局与局部特征嵌入及图文融合的情感分析方法与系统
Wen et al. Ensemble of deep neural networks with probability-based fusion for facial expression recognition
Chen et al. A deep learning framework for time series classification using Relative Position Matrix and Convolutional Neural Network
CN111639544B (zh) 基于多分支跨连接卷积神经网络的表情识别方法
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN108427670A (zh) 一种基于语境词向量和深度学习的情感分析方法
CN107391483A (zh) 一种基于卷积神经网络的商品评论数据情感分类方法
Zeng et al. Multi-task learning via co-attentive sharing for pedestrian attribute recognition
CN110287952A (zh) 一种维语图片字符的识别方法及系统
Li et al. Weaklier supervised semantic segmentation with only one image level annotation per category
CN110489523A (zh) 一种基于网购评价的细粒度情感分析方法
CN107862322A (zh) 结合图片和文本进行图片属性分类的方法、装置及系统
Qiao et al. Mutual-enhanced incongruity learning network for multi-modal sarcasm detection
Thom et al. Facial attribute recognition: A survey
Zhao et al. An end-to-end framework for clothing collocation based on semantic feature fusion
Jing et al. Learning aligned image-text representations using graph attentive relational network
CN115439884A (zh) 一种基于双分支自注意力网络的行人属性识别方法
Yang et al. RASN: using attention and sharing affinity features to address sample imbalance in facial expression recognition
CN114625908A (zh) 基于多通道注意力机制的文本表情包情感分析方法及系统
Intasuwan et al. Text and object detection on billboards
CN114663712B (zh) 一种基于区域热点事件的服装流行趋势预测方法与系统
CN112765353B (zh) 一种基于科研文本的生物医学学科分类方法及装置
Huang et al. Modeling Multiple Aesthetic Views for Series Photo Selection
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant