CN116862626A - 一种多模态商品对齐方法 - Google Patents

Abstract

本公开涉及一种多模态商品对齐方法，包括：针对每一个商品，通过相似度计算算法，判断疑似与之雷同的商品，并对雷同商品进行数据模态聚合，判断它当前存在多少种模态的商品信息表示；对需要对齐的商品品类，获取其历史新增数据的同比环比值并与现有数据进行比对，得到品类数据更新变化的增量趋势；根据商品品类更新频率，确定对齐的时间尺度，并判断是否造成计算对齐时的计算量暴增；根据对齐频率，选择对齐算法，包括特征选择，减少无用特征，选择规则与机器学习与并行计算的算法，对特征进行增强。本公开可自动识别相似商品并实现聚合，提高数据管理效率，同时能够快速响应品类变化和数据更新，保证数据的实时性和准确性。

Description

一种多模态商品对齐方法

技术领域

本公开涉及信息技术领域，具体涉及一种多模态商品对齐方法。

背景技术

电商平台中存在大量商品信息，而这些信息存在不同的模态，例如文字描述、图片、语音等。这些不同模态之间存在相互对应的关系，但是如何对这些不同模态进行有效的匹配仍然是一个挑战。

同时，商品信息会持续的更新和变化，如何及时对商品信息进行更新和对齐，也是一个问题。另外，由于商品品类的差异，不同的商品品类对齐的难度和方式也有所不同，需要针对不同品类采取不同的对齐策略。

因此，如何针对不同的商品信息模态和商品品类，进行有效的数据对齐和更新，是一个需要解决的难题。在商品对齐过程中，部分商品的数据仅有简单的文本描述，但是该商品与另外一种具有图片的商品属于同品类商品。此时可以将文字描述和其他价格、尺寸描述等特征融合生成为图片，通过判断两张图片是否类似来得到对齐效果，使用这种方法的优点在于对齐精度高，缺点是运算量大。

另一种情况是仅把商品数据识别为文本，对文本进行匹配，以此来进行对齐匹配。这种方式优点在于运算量小，缺点为对齐精度不足。

综上，现有技术中，如何对电商平台中存在的大量商品信息进行高效、准确的对齐匹配，以实现对商品信息的聚类管理，是本领域技术人员亟待解决的技术问题。

发明内容

为了解决上述现有技术存在的问题，本公开目的在于提供一种多模态商品对齐方法。本公开可自动识别相似商品并实现聚合，提高数据管理效率，同时能够快速响应品类变化和数据更新，保证数据的实时性和准确性。

本公开所述的一种多模态商品对齐方法，所述方法包括：

根据获取的商品名称、描述、售价、品牌、型号、规格、颜色、尺寸，抽取直播音频、直播视频、广告音频及广告视频，解析不同格式的信息，形成不同数据模态；针对每一个商品，通过相似度计算算法，判断疑似与之雷同的商品，并对雷同商品进行数据模态聚合，判断其当前存在的商品信息表示的模态种数；

对需要对齐的商品，若该商品仅有文字描述，则采用深度学习端到端生成算法，将文字生成为图片，并将商品图片与文字描述进行对齐匹配，获取多模态商品对齐的品类初步匹配结果；

对需要对齐的商品品类，获取其历史新增数据的同比环比值并与现有数据进行比对，得到品类数据更新变化的增量趋势；

根据商品品类更新频率，确定对齐的时间尺度，并根据时间尺度确定对齐频率，根据已确定的对齐频率，选择对齐算法；

针对更新频率低于预设阈值的商品品类，采用特征增强算法，进行模态转换，针对更新频率等于或高于预设阈值的商品品类，采用降维算法，进行模态转换，并对多模态进行合并。

优选地，所述根据获取的商品名称、描述、售价、品牌、型号、规格、颜色、尺寸，抽取直播音频、直播视频、广告音频及广告视频，解析不同格式的信息，形成不同数据模态，包括:

根据商品信息获取的数据模态包含商品名称、描述、售价、品牌、型号、规格、颜色、尺寸属性；针对不同格式的商品信息，通过LTP工具进行商品命名实体识别；通过数据处理对商品名称、描述、售价、品牌、型号、规格、颜色、尺寸属性进行提取和解析，得到完整的商品信息数据模态；

对于直播音频、直播视频、广告音频及广告视频，通过音视频信号处理算法，抽取分离音频数据和视频数据，并进行压缩和编码。

优选地，所述针对每一个商品，通过相似度计算算法，判断疑似与之雷同的商品，并对雷同商品进行数据模态聚合，判断其当前存在的商品信息表示的模态种数，包括:

对每个商品属性进行归一化处理，将数值型属性映射到[0，1]的范围内，将离散型属性采用one-hot编码；计算每个商品的属性向量，并进行归一化处理；通过余弦相似度计算，对每两个商品的属性向量进行相似度计算，得到相似度矩阵；设定相似度阈值，判断相似度大于相似度阈值的商品为雷同商品；对雷同商品进行数据模态聚合，判断其当前存在的商品信息表示的模态种数；在识别雷同商品后，进行数据模态重要度排序。

优选地，所述对需要对齐的商品，若该商品仅有文字描述，则采用深度学习端到端生成算法，将文字生成为图片，并将商品图片与文字描述进行对齐匹配，获取多模态商品对齐的品类初步匹配结果，包括：

根据所需对齐的商品，采用文本清洗和分词处理对商品描述进行预处理；将商品描述转化为可输入到神经网络中的文本向量；

将预处理后的文本向量输入到生成对抗网络中进行图像生成；通过生成对抗网络的训练，得到对应的商品图片；

对生成的商品图片进行后处理，包括裁剪、缩放、增强操作，然后将生成的商品图片与对应的商品描述进行对齐匹配，通过对齐匹配，获取多模态商品对齐的品类初步匹配结果。

优选地，所述对需要对齐的商品品类，获取其历史新增数据的同比环比值并与现有数据进行比对，得到品类数据更新变化的增量趋势，包括：

根据商品品类，采用数据收集方法收集过去一段时间内该商品品类的历史新增数据；

根据收集到的历史新增数据和现有数据，通过数据比对方法计算同比环比值，判断该商品品类的增长趋势，并预测未来的增长趋势，得到更新变化的增量趋势和未来的增长趋势预测，同时，判断该增长趋势为常规增长趋势、季节性增长趋势或节假日性增长趋势。

优选地，所述根据商品品类更新频率，确定对齐的时间尺度，并根据时间尺度确定对齐频率，包括：

通过获取商品品类数据，判断出不同商品品类的更新频率，进而根据不同商品品类的更新频率，确定其时间尺度，令商品品类的对齐频率与其更新频率相匹配；

在确定时间尺度后，通过获取各商品品类的多模态数据，计算出对齐计算所需的计算量；判断计算量是否大于预设的计算量阈值，若计算量超出计算量阈值，则增大时间尺度以降低对齐频率，否则维持原时间尺度进行对齐计算；

通过获取各商品品类的交叉数据，判断出不同商品品类之间的关联程度；所述交叉数据包括包含有同种商品的至少两种以上的商品品类、以及名称或文本内容相似的两种以上的商品品类；

基于所得交叉数据判断不同商品品类之间的关联程度，将关联程度达到预设的关联程度阈值的商品品类放在同一时间段进行对齐。

优选地，所述根据已确定的对齐频率，选择对齐算法，包括：

获取该商品品类在已确定的对齐频率下进行对齐计算所需的特征量，将特征量与预设的第一特征量阈值和第二特征量阈值进行数值比较：

若特征量小于预设的第一特征量阈值，选择基于规则的算法或基于模型的算法进行对齐计算；

若特征量大于或等于预设的第一特征量阈值而小于预设的第二特征量阈值，选择基于深度学习的算法或基于神经网络的算法进行对齐计算；

若特征量大于或等于预设的第二特征量阈值，选择基于分布式计算的算法或基于并行计算的方法进行对齐计算。

优选地，所述针对更新频率低于预设阈值的商品品类，采用特征增强算法，进行模态转换，针对更新频率高于预设阈值的商品品类，采用降维算法，进行模态转换，并对多模态进行合并，包括：

获取需对齐的商品品类的数据类型；

对于更新频率低于预设阈值的商品品类，判断该商品品类的数据类型为文本数据或语音数据，采用生成对抗网络和变分自编码器算法，对数据进行模态转换，并分别通过文本生成图像算法或语音生成图像算法，生成与文本数据及语音数据相对应的图像数据，获得增强后的数据特征；

对于更新频率等于或高于预设阈值的商品品类，获取原始商品品类数据的特征，然后通过采用PCA降维算法，将所述原始商品品类数据的维度降低到预设阈值以下，确定原始商品品类数据的主要特征；再通过降维后的原始商品品类数据进行模态转换；针对多模态数据采用加权平均、特征拼接的方法，将不同模态的特征信息进行合并，得到多模态的特征表示。

本公开所述的一种多模态商品对齐方法，其优点在于，本公开提出了一种基于多模态商品对齐的算法，可以自动识别相似的商品并聚合不同数据模态，从而提高数据处理效率和准确性。该算法包括获取商品信息、文字生成图片、多模态对齐、品类变化分析、对齐频率选择、特征选择与转换等技术，可以有效解决大规模多模态商品管理的难题。该算法的功效包括提高商品数据处理速度和准确性，自动识别相似商品并实现聚合，提高数据管理效率，同时能够快速响应品类变化和数据更新，保证数据的实时性和准确性，为电商平台的多模态商品对齐技术提供了强有力的支持。

附图说明

图1是本实施例所述一种多模态商品对齐方法的步骤流程图；

图2是本实施例雷同商品的判断流程图；

图3是本实施例更新频率的判断流程图。

具体实施方式

如图1-图3所示，本公开所述的一种多模态商品对齐方法，包括：

根据获取商品名称、描述、售价、品牌、型号、规格、颜色、尺寸、抽取直播音频、直播视频、广告音频及广告视频，解析不同格式的信息，形成不同数据模态。

根据商品信息获取的数据模态包含商品名称、描述、售价、品牌、型号、规格、颜色、尺寸属性。针对不同格式的商品信息，通过LTP工具进行商品命名实体识别。针对商品名称、描述、售价、品牌、型号、规格、颜色、尺寸等属性，通过编写数据处理程序，将这些信息进行提取和解析，得到一个完整的商品信息数据模态。对于直播视频和音频，进行抽取和分离处理。通过音视频信号处理算法，抽取直播音频和视频，并进行压缩和编码。在广告视频中，进一步分离广告音频和视频，通过相应的算法进行处理，得到广告音频和视频。最后，对于这些数据模态，进行压缩和编码，以减小数据大小和传输带宽，提高数据传输效率。通过对这些数据进行压缩和编码，以便节约存储空间。例如，对于商品信息中的售价属性，可以采用正则表达式算法进行提取。假如智能家居产品的描述为“小米智能插座，售价79元”，通过正则表达式算法，可以提取出售价为79元的数据。对于商品尺寸属性，可以采用图像处理算法，通过识别商品图片中的比例尺，计算出实际尺寸。例如，对于一张家具图片，通过比例尺识别算法，可以计算出该家具的实际尺寸为100cmx50cmx80cm。对于直播视频和音频，可以采用FFT算法进行频域分析，从而抽取出音频信号的频谱特征。例如，在一场音乐演唱会直播中，通过FFT算法分析音频信号，可以提取出各个乐器的频谱特征，从而实现对音乐的分离和识别。对于压缩和编码，可以采用H.264和AAC等标准算法进行处理，以实现高效的数据压缩和传输。例如，对于一部电影的高清视频和音频，通过H.264和AAC的编码可以将原始数据压缩到原来的1/10左右，从而大大减小数据大小和传输带宽。

多属性多语言的提取。

根据商品信息，获取提取的属性。采用自然语言处理技术，对商品信息进行分词和词性标注。利用词性标注和关键词提取技术，确定商品名称和描述。判断是否存在缩写词和同义词，进行词形还原和近义词替换。判断商品信息中是否包含价格信息，包括价格符号和具体金额。若包含价格信息，通过正则表达式提取售价属性。利用关键词提取技术，从商品信息中提取品牌、型号、规格、颜色、尺寸属性。采用正则表达式进行属性格式的匹配和提取。判断商品信息中是否存在多语言文本。若存在多语言文本，采用多语言处理技术进行属性提取和分类。输出提取出的商品属性。例如：提取手机商品信息中的属性需要提取的属性：商品名称、描述、价格、品牌、型号、规格、颜色、尺寸等。采用结巴分词和词性标注技术对商品信息进行处理。获取商品名称和描述属性：利用词性标注和关键词提取技术，确定商品名称和描述。判断是否存在缩写词和同义词，进行词形还原和近义词替换。例如：将“4G”替换为“第四代”。获取售价属性：-判断商品信息中是否包含价格信息，如价格符号和具体金额。若包含价格信息，通过正则表达式提取售价属性。例如：使用“￥\d+”匹配价格信息。获取品牌、型号、规格、颜色、尺寸等属性：-利用关键词提取技术，从商品信息中提取品牌、型号、规格、颜色、尺寸等属性。例如：使用“华为”、“iPhone”等关键词提取品牌信息。采用正则表达式进行属性格式的匹配和提取。例如：使用“+英寸”匹配尺寸信息。判断是否存在多语言：-判断商品信息中是否存在多语言文本。若存在多语言文本，采用多语言处理工具NLTK进行属性提取和分类。输出提取出的商品属性。例如：商品名称为“苹果iPhone12ProMax”，售价为“￥9999”，品牌为“苹果”，型号为“12ProMax”，规格为“7英寸”，颜色为“太平洋蓝”，尺寸为“168x71x65mm”。

步骤102，针对每一个商品，通过相似度计算算法，判断疑似与之雷同的商品，并对雷同商品进行数据模态聚合，判断它当前存在多少种模态的商品信息表示。

对每个商品属性进行归一化处理，将数值型属性映射到[0，1]的范围内，将离散型属性采用one-hot编码。计算每个商品的属性向量，并进行归一化处理。通过余弦相似度计算，对每两个商品的属性向量进行相似度计算，得到相似度矩阵。设定相似度阈值，判断相似度大于阈值的商品为雷同商品。对雷同商品进行数据模态聚合，判断它当前存在多少种模态的商品信息表示。根据不同的模态数和相关属性，提取属性，突出重点属性。在识别雷同商品后，进行数据模态重要度排序。根据每个商品的名称、品牌、型号、尺寸、颜色、材质、重量、价格属性，分别进行属性提取和构建属性向量，例如，商品A的品牌属性向量为[6,8,4,3,5,7,2,9]。对每个属性进行归一化处理，将数值型属性映射到[0,1]的范围内，将离散型属性采用one-hot编码，例如，商品A的品牌属性向量为[0,0,0,0,0,1,0,0]。计算每个商品的属性向量，并进行归一化处理，例如，商品A的归一化后的属性向量为[0.65,0.83,0.47,0.43,0.51,0.17,0.52,0.95]。通过余弦相似度计算，对每两个商品的属性向量进行相似度计算，得到相似度矩阵，例如，商品A和商品B的相似度为87。设定相似度阈值，判断相似度大于阈值的商品为雷同商品，例如，设定相似度阈值为8，商品A和商品B为雷同商品。对雷同商品进行数据模态聚合，判断它当前存在多少种模态的商品信息表示，例如，商品A和商品B存在两种不同的模态。根据不同的模态数和相关属性，提取区别度排序更大的属性，作为重要属性，突出重点属性，以便于后续的商品推荐和分类等工作，例如，在冰箱这个商品中，相比型号和材质，更重要属性为品牌和价格，因为型号和材质属性并无法区分不同冰箱的产品质量或相似度，因此可以根据属性之间的区别度，作为排序依据。通过以上步骤，可以对每一个商品进行相似度计算，并判断是否存在雷同商品。在雷同商品的情况下，可以进行数据模态重要程度排序，并提取重要属性，以便于后续的商品对齐和分类等工作。

判断在对商品进行属性提取，并计算相似度时，应该选择哪些属性作为特征，并将相似度问题转化为分类问题来提升算法效果。

从电商网站或其他数据源中获取家具商品数据集，包含设计风格、材质、颜色属性。提取电商商品数据集中的属性特征；将相似度计算问题转化成分类问题，将商品分为相似商品和非相似商品两类。对于设计风格和材质属性，使用词袋模型或TF-IDF特征提取方法进行处理。对提取得到的特征进行标准化处理。特征映射：使用高斯核函数对特征进行映射转换，将其映射到高维特征空间。在特征空间中，寻找一个最优的超平面，以最大化不同类别之间的间隔。支持向量选择：从训练样本中选择位于间隔边界上的样本点，即支持向量。将支持向量机的分类问题转化为一个凸优化问题。使用序列最小最优化算法即SMO求解该优化问题，得到模型参数。对于待判断的疑似相似商品，提取其特征并进行标准化处理。对特征进行映射转换，将其映射到特征空间。根据学习到的模型参数，预测两个商品的类别，包括相似商品或非相似商品。对于相似度计算，需要设置一个阈值来判断两个商品是否为雷同商品。该阈值需要根据具体业务和实际应用场景来确定，过高或过低都会影响算法的效果。如果阈值过高，可能会导致相似度计算结果较少，而忽略了一些真正相似的商品；如果阈值过低，可能会将不相似的商品误判为雷同商品，从而影响后续推荐和分类等工作的准确性。例如，对于电商领域的商品，相似度阈值可以根据设计风格、材质、颜色等属性来确定，以避免将不同款式、不同材料或颜色的家具误判为雷同商品。因此可以将相似度问题转化为分类问题。具体包括，从淘宝、京东等电商平台上获取1000个不同款式的电商商品数据集。使用词袋模型提取设计风格和材质属性特征，得到特征向量。使用均值方差标准化方法对特征向量进行标准化处理。使用径向基函数（RBF）高斯核函数将特征映射到高维特征空间。使用支持向量机分类算法，寻找最优超平面，并将家具商品分为相似商品和非相似商品两类。选择位于间隔边界上的样本点作为支持向量。求解优化问题：使用序列最小最优化算法（SMO）求解支持向量机的优化问题，得到模型参数。对待判断的家具商品提取特征并标准化处理，映射到特征空间，并根据学习到的模型参数预测商品类别。将预测结果，作为两个商品雷同或者不雷同，作为能否进行对齐的标准。并对多个商品进行两两匹配和对齐。

步骤103，对需要对齐的商品，针对只有文字没有图片的商品，采用深度学习端到端生成算法，将文字生成为图片，并将商品图片与文字描述进行对齐匹配，获取多模态商品对齐的品类初步匹配结果。

根据对齐的商品，首先对商品描述进行预处理操作。采用文本清洗和分词处理，将描述转化为输入到神经网络中的向量。然后，采用生成对抗网络（GAN）进行图像生成，输入为预处理后的文本向量。通过GAN网络的训练，得到对应的商品图片。接着，对生成的商品图片进行后处理，包括裁剪、缩放、增强操作。然后，将生成的商品图片与对应的商品描述进行对齐匹配。通过对齐匹配，获取多模态商品对齐的品类初步匹配结果。例如，对于商品描述“女士白色长袖T恤”，进行文本清洗和分词处理后，得到向量。然后，将该向量输入到GAN网络中，生成对应的商品图片。通过对GAN网络的训练，得到一张长袖白色T恤的图片。接着，对生成的商品图片进行后处理，例如将图片裁剪为正方形，缩放至300x300像素，进行图像增强等操作。然后，将生成的商品图片与商品描述进行对齐匹配。例如，将生成的长袖白色T恤图片与品类“GAP牌女士上装”进行对齐匹配。通过对齐匹配，得到品类初步匹配结果为“GAP牌女士上装”。以上过程中，可以用各种指标对生成的商品图片进行评估，如图像质量、清晰度、逼真度等。同时，可以进行统计分析，如生成的商品图片数量、成功率等。

将文字生成为图片。

包括：确定生成图片的尺寸和分辨率，采用高分辨率的设置以提高生成图片的逼真度，.选择色彩空间，根据业务需求和实际场景采用RGB或CMYK等不同的色彩空间，获取高质量、多样化的数据集，包括真实图片和随机噪声，用于训练生成器和判别器，根据GAN模型的特点，设计生成器和判别器的结构和参数，在训练过程中通过对抗来优化生成器的生成效果，通过生成器输入随机噪声，输出虚假的图片，不断优化生成效果，直到生成的图片与真实图片无法区分，利用判别器对生成的图片进行判别，判断是否与真实图片相似，如果不相似则重新训练生成器，根据生成图片的业务需求和应用场景，对生成的图片进行后处理，如裁剪、调整亮度、对比度等。最终得到：最终符合业务需求的生成图片。例如，生成图片的尺寸和分辨率设置为1920*1080像素和300dpi的高分辨率设置，以提高生成图片的逼真度。例如，根据业务需求和实际场景选择RGB色彩空间。例如，获取包括10000张真实图片和1000个随机噪声数据集，用于训练生成器和判别器。例如，设计生成器和判别器的结构和参数，在训练过程中通过对抗来优化生成器的生成效果，设置生成器的学习率为0002，判别器的学习率为0001，训练1000轮。例如，通过生成器输入128个随机噪声，输出逼真的虚假图片，不断优化生成效果，直到生成的图片与真实图片无法区分。设置生成器的损失函数为BCEloss和L1loss的加权平均值，权重分别为5和5。例如，利用判别器对生成的图片进行判别，判断是否与真实图片相似，如果与真实图片相似度低于8则返回第5步重新训练生成器。例如，根据生成图片的业务需求和应用场景，对生成的图片进行后处理，如裁剪为800*600像素大小、调整亮度为50、对比度为8。

步骤104，对需要对齐的商品品类，获取其历史新增数据的同比环比值并与现有数据进行比对，得到所述品类数据更新变化的增量趋势。

首先根据商品品类，采用数据收集方法收集过去一段时间内该品类的历史新增数据。根据收集到的历史新增数据和现有数据，通过数据比对方法计算同比环比值，判断该品类的增长趋势，得到同比环比值。采用数据收集方法，获取当前时间段的新增数据。根据同比环比值和现有数据，采用数据分析方法分析商品品类数据更新变化的趋势，预测未来的增长趋势，得到更新变化的增量趋势和未来的增长趋势预测。根据同比环比值，判断商品品类数据的变化趋势，得到待对齐商品数据变化情况。根据现有数据和历史新增数据的比较，判断商品品类数据是否进行计算量预估调整，获得优化的商品种类计算结果。例如我们需要监测手机品类更新变化，那么我们可以收集过去一年内手机品类的历史新增数据，例如2019年手机品类新增销量为1000台。数据比对：假如2020年手机品类新增销量为1200台，那么我们可以计算同比环比值，即(1200-1000)/1000*100%=20%。这说明手机品类的增长趋势是正向的。假如我们需要对齐2021年第一季度的手机品类新增销量，那么我们可以通过数据收集方法获取2021年第一季度的新增销量数据，例如为300台。结合同比环比值和现有数据，我们可以分析手机品类数据更新变化的趋势和未来的增长趋势预测。假如我们发现手机品类新增销量每个季度增长率大约为5%，那么我们可以预测2021年手机品类新增销量为1300台。这样就能知道，需要对齐的品类大致有多少了。

判断数据增量是常规趋势还是季节性或节假日性的增长。

数据预处理根据商品品类、时间段业务属性，采用处理缺失值、处理异常值、去除趋势和季节性的预处理方法，对时间序列数据进行预处理。通过数据预处理，获取处理后的时间序列数据。采用基于加法分解的思想，将时序数据分解为趋势、季节性和节假日三部分。根据业务属性，采用决策树对趋势和季节性进行预测。利用训练数据对模型进行拟合，获取模型参数。获取的标签包括趋势、季节性、节假日效应。通过拟合数据，得到模型参数用于后续预测。预测未来趋势和季节性根据获取的模型参数，利用模型对未来时间序列数据的趋势和季节性进行预测。根据业务属性，预测的时间段和商品品类因素与输入相关联。预测未来并进行模型评估根据预测结果和实际数据进行比较，通过准确率等指标的评估来评价模型的准确性。最终得到预测结果，用于判断增长是长期的还是短期的。具体的业务属性包括商品品类、时间段、增长趋势、影响因素等。同时，还需要考虑如何处理异常数据，如何建立模型等问题。采用均值填充处理缺失值、采用箱型图法处理异常值、利用季节分解法去除趋势和季节性。采用加法分解模型，使用XGBoost决策树模型预测趋势，使用Prophet非线性回归模型预测季节性。利用历史销售数据，通过XGBoost和Prophet模型进行拟合，获取模型参数。根据获取的模型参数，使用XGBoost和Prophet模型对未来时间序列数据的趋势和季节性进行预测。利用预测结果和实际数据进行比较，使用准确率和平均绝对误差等指标进行模型评估。根据评估结果，进行模型调整和改进。

步骤105，根据商品品类更新频率，确定对齐的时间尺度，包括每小时、每天或每周，并根据时间尺度确定所述频率，是否造成计算对齐时的计算量暴增。

根据商品品类更新频率，确定对齐的时间尺度，包括每天、每三天、每周。通过获取商品品类数据，判断出不同品类的更新频率，进而根据不同品类的更新频率，确定其时间尺度。包括，每天更新的商品需要每天对齐一次，而每周更新的商品则只每周对齐一次。然而，如果更新频率过高，会造成计算对齐时的计算量暴增，在对多个品类的数据进行对齐时，采用对齐策略来降低计算量。在确定时间尺度后，通过获取各品类的多模态数据，计算出对齐所需的计算量。通过判断计算量是否大于预设阈值来决定是否调整计算方法。若计算量超出预设的时间尺度，则加大时间尺度，包括将每天对齐的商品调整为每三天对齐。在对齐策略中，还结合不同品类之间的关联性。通过获取各品类的交叉数据，判断出不同品类之间的关联程度。所述交叉是指某商品既可以分类到品类一，也可以分类到品类二的品类，也包括名称类似，文本内容有相似交叉的品类。根据品类之间的关联程度，采取不同的对齐策略，包括将关联程度高的品类放在同一时间段进行对齐。对于不同的品类，采用不同的时间尺度和对齐策略，进行对齐。例如，通过获取商品品类数据，判断出奶茶品类每天更新，而服装品类每周更新，进而确定其时间尺度。奶茶品类需要每天对齐一次，而服装品类则只需要每周对齐一次。然而，如果更新频率过高，例如某品类需要每小时更新，会造成计算对齐时的计算量暴增。例如，对于多个品类的数据进行对齐时，采用对齐策略来降低计算量，例如将部分品类的对齐计算算法进行变化，用复杂度低的算法替换复杂度高的算法。通过判断计算量是否大于预设阈值来决定是否调整计算方法。例如，如果奶茶品类每天更新的数据量过大，超出了计算能力，可以将对齐时间尺度调整为每两天一次，或者将语音生成图片的算法，改为语音生成文本。在对齐策略中，还结合不同品类之间的关联性。通过获取各品类的交叉数据，例如苹果手机既可以定义为游戏手机，又可以定义为音乐手机。根据品类之间的关联程度，采取不同的对齐策略，例如将关联程度高的品类放在同一时间段进行对齐，或者将关联程度低的品类分散在不同的时间段进行对齐。对于不同的品类，采用不同的时间尺度和对齐策略，进行对齐。

步骤106，根据已确定的对齐频率，选择对齐算法，包括特征选择，减少无用特征，选择规则与机器学习与并行计算的算法，保障对齐效率。

根据已确定的对齐频率，首先判断更新频率高的品类，然后采用特征量相比较后，更低的一种模态进行计算。包括，识别特征维度小于预设阈值的语音识别和文本识别领域中，特征量减少，提高对齐效率。接着，获取数据集，并通过特征选择来减少无用特征，包括筛选掉不相关或冗余的特征以进一步保障对齐效率。同时，针对不同类型的数据，选择不同的算法进行处理，针对语音数据采用语音识别算法，针对图像数据采用图像分类算法。如果特征量小于预设的阈值，选择基于规则的算法或基于模型的算法进行对齐计算。如果特征量大于预设的阈值，则采用基于深度学习的算法或基于神经网络的算法。对于特征量极大的情况，选择基于分布式计算的算法或基于并行计算的方法。针对更新频率高的品类，采用特征量对比更低的模态进行计算，降低计算成本；同时，通过特征选择，减少无用特征，提高算法的效率和准确性。总之，根据不同的数据类型和特征量大小，选择算法进行对齐计算，以保证对齐效果和计算效率如例如在语音识别领域中，特征量相对较少，例如每个样本只有13个MFCC系数，可以提高对齐效率。接着，需要获取数据集，例如一个包含1000个音频文件的数据集，并通过特征选择来减少无用特征，例如筛选掉与语音识别无关的时长、文件大小等特征，以进一步保障对齐效率。然后，根据数据集和特征选择结果，进行对齐算法选择。例如，对于语音数据的对齐计算，可以采用基于语音识别算法的方法。假设我们有一段音频数据，需要将其对齐到一个已知的商品上。首先，需要对音频数据进行特征提取，比如提取语音的频谱特征。然后，对这些特征进行归一化处理，以便于后续的计算。接着，根据现有模态，选择语音识别为文字的算法进行对齐计算。例如，如果对齐频率非常高，可以采用基于规则的算法，比如动态时间规整算法。如果对齐频率比较低，可以采用基于深度学习的算法，比如循环神经网络。通过特征选择，可以筛选出对齐计算中最重要的特征量，以提高算法的效率和准确性。最终，根据计算结果评估对齐效果，并进行分析和统计。例如，可以计算对齐误差和对齐精度，以评估对齐算法的性能。

步骤107，针对更新频率低于预设阈值的电商品类，采用特征增强算法，进行模态转换，针对更新频率高于预设阈值的电商品类，采用降维算法，进行模态转换，并对多模态进行合并，获得特征表示。

首先，获取需对齐的商品的数据类型。针对更新频率低于预设阈值的品类，判断是否所述品类是文本或语音类型；采用特征增强算法来提高数据的表示能力；包括采用生成对抗网络（GAN）和变分自编码器（VAE）算法，对数据进行模态转换。通过文本生成图像和语音生成图像，得到增强的数据特征。对于更新频率高于预设阈值的品类，采用降维算法来保留原始数据的主要特征。首先，获取原始数据的特征，然后通过采用PCA降维算法，将数据的维度降低到预设阈值以下，确定数据的主要特征。再通过降维后的数据进行模态转换。针对多模态数据采用加权平均、特征拼接的方法，将不同模态的特征信息进行合并，得到多模态的特征表示。例如，采用特征增强算法来提高数据的表示能力。通过使用生成对抗网络和变分自编码器算法，我们可以将文本和语音转换为图像，并获得具有增强特征的数据。例如，我们可以将一个文本描述转换为图像，例如“一个蓝色带条纹的裙子”，这将给我们一个更加具体和丰富的数据表示。另外，对于更新频率高于预设阈值的品类，我们可以采用降维算法来保留主要特征。例如，假设我们有一个裙子数据集，其中有10000个特征。我们可以使用PCA算法将数据的维度降低到500个特征，以保留数据的主要特征。这样，我们可以更快地处理数据，并且仍然能够获得有用的信息。最后，针对多模态数据，我们可以采用加权平均或特征拼接的方法来合并不同模态的特征信息。例如，如果我们有一个包含图像和文本的数据集，我们可以将它们的特征信息合并，以得到一个更全面和准确的数据表示。例如，我们可以将图像和文本的特征信息加权平均，以获得更准确的数据表示。

针对更新频率低于预设阈值的电商品类，采用特征增强算法来提高数据的表示能力，还包括：

根据品类的属性，获取进行特征增强的特征，例如对于服装类品类，包括颜色、纹理、款式属性进行特征增强。采用标准卷积网络模型对输入特征进行卷积操作，得到特征图。根据学习到的偏移量对卷积核进行形变，可以采用自适应采样或位置偏置矩阵来实现。进行形变卷积操作，计算每一个位置的形变卷积核，根据形变的卷积核计算输出特征图。通过引入DCN来增强现有的卷积神经网络的性能，用DCN替代标准卷积层或将其作为其他神经网络的模块进行训练和重用。通过交叉验证等手段调整超参数，包括形变卷积核大小、形变采样的数量、形变偏置矩阵等，确定最优的超参数。判断更新频率是否低于预设阈值，如果低于则进行特征增强算法，得到增强后的特征表示能力。将增强后的特征表示能力与原有的特征表示能力进行融合，得到新的特征表示。对于更新频率低于预设阈值的品类，特征增强算法是信息技术中最难实现的研究性步骤之一。其难点在于如何选择合适的特征增强方法，以提高数据的表示能力。在选择特征增强方法时，需要选择品类的属性，例如对于服装类品类，可以选择颜色、纹理、款式等属性进行特征增强。使用DCN模型进行形变卷积操作，其中可以采用自适应采样或位置偏置矩阵来优化卷积核形变，通过交叉验证调整超参数，例如形变卷积核大小、形变采样的数量、形变偏置矩阵等，最终得到优化后的特征表示能力。可以使用如PyTorch、Tensorflow等深度学习框架实现该算法，并输出超参数调整结果。

本公开提出了一种基于多模态商品对齐的算法，可以自动识别相似的商品并聚合不同数据模态，从而提高数据处理效率和准确性。该算法包括获取商品信息、文字生成图片、多模态对齐、品类变化分析、对齐频率选择、特征选择与转换等技术，可以有效解决大规模多模态商品管理的难题。该算法的功效包括提高商品数据处理速度和准确性，自动识别相似商品并实现聚合，提高数据管理效率，同时能够快速响应品类变化和数据更新，保证数据的实时性和准确性，为电商平台的多模态商品对齐技术提供了强有力的支持。

在本公开的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本公开保护范围的限制。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本公开权利要求的保护范围之内。

Claims (8)

1.一种多模态商品对齐方法，其特征在于，所述方法包括：

获取商品名称、描述、售价、品牌、型号、规格、颜色、尺寸，抽取直播音频、直播视频、广告音频及广告视频，解析不同格式的信息，形成不同数据模态；针对每一个商品，通过相似度计算算法，判断疑似与之雷同的商品，并对雷同商品进行数据模态聚合，判断其当前存在的商品信息表示的模态种数；

对需要对齐的商品，若该商品仅有文字描述，则采用深度学习端到端生成算法，将文字生成为图片，并将商品图片与文字描述进行对齐匹配，获取多模态商品对齐的品类初步匹配结果；

对需要对齐的商品品类，获取其历史新增数据的同比环比值并与现有数据进行比对，得到品类数据更新变化的增量趋势；

根据商品品类更新频率，确定对齐的时间尺度，并根据时间尺度确定对齐频率，根据已确定的对齐频率，选择对齐算法；

针对更新频率低于预设阈值的商品品类，采用特征增强算法，进行模态转换，针对更新频率等于或高于预设阈值的商品品类，采用降维算法，进行模态转换，并对多模态进行合并。

2.根据权利要求1所述多模态商品对齐方法，所述根据获取的商品名称、描述、售价、品牌、型号、规格、颜色、尺寸，抽取直播音频、直播视频、广告音频及广告视频，解析不同格式的信息，形成不同数据模态，包括:

根据商品信息获取的数据模态包含商品名称、描述、售价、品牌、型号、规格、颜色、尺寸属性；针对不同格式的商品信息，通过LTP工具进行商品命名实体识别；通过数据处理对商品名称、描述、售价、品牌、型号、规格、颜色、尺寸属性进行提取和解析，得到完整的商品信息数据模态；

对于直播音频、直播视频、广告音频及广告视频，通过音视频信号处理算法，抽取分离音频数据和视频数据，并进行压缩和编码。

3.根据权利要求1所述多模态商品对齐方法，其特征在于，所述针对每一个商品，通过相似度计算算法，判断疑似与之雷同的商品，并对雷同商品进行数据模态聚合，判断其当前存在的商品信息表示的模态种数，包括:

对每个商品属性进行归一化处理，将数值型属性映射到[0，1]的范围内，将离散型属性采用one-hot编码；计算每个商品的属性向量，并进行归一化处理；通过余弦相似度计算，对每两个商品的属性向量进行相似度计算，得到相似度矩阵；设定相似度阈值，判断相似度大于相似度阈值的商品为雷同商品；对雷同商品进行数据模态聚合，判断其当前存在的商品信息表示的模态种数；在识别雷同商品后，进行数据模态重要度排序。

4.根据权利要求1所述多模态商品对齐方法，其特征在于，所述对需要对齐的商品，若该商品仅有文字描述，则采用深度学习端到端生成算法，将文字生成为图片，并将商品图片与文字描述进行对齐匹配，获取多模态商品对齐的品类初步匹配结果，包括：

根据所需对齐的商品，采用文本清洗和分词处理对商品描述进行预处理；将商品描述转化为可输入到神经网络中的文本向量；

将预处理后的文本向量输入到生成对抗网络中进行图像生成；通过生成对抗网络的训练，得到对应的商品图片；

对生成的商品图片进行后处理，包括裁剪、缩放、增强操作，然后将生成的商品图片与对应的商品描述进行对齐匹配，通过对齐匹配，获取多模态商品对齐的品类初步匹配结果。

5.根据权利要求1所述多模态商品对齐方法，其特征在于，所述对需要对齐的商品品类，获取其历史新增数据的同比环比值并与现有数据进行比对，得到品类数据更新变化的增量趋势，包括：

根据商品品类，采用数据收集方法收集过去一段时间内该商品品类的历史新增数据；

根据收集到的历史新增数据和现有数据，通过数据比对方法计算同比环比值，判断该商品品类的增长趋势，并预测未来的增长趋势，得到更新变化的增量趋势和未来的增长趋势预测，同时，判断该增长趋势为常规增长趋势、季节性增长趋势或节假日性增长趋势。

6.根据权利要求1所述多模态商品对齐方法，其特征在于，所述根据商品品类更新频率，确定对齐的时间尺度，并根据时间尺度确定对齐频率，包括：

通过获取商品品类数据，判断出不同商品品类的更新频率，进而根据不同商品品类的更新频率，确定其时间尺度，令商品品类的对齐频率与其更新频率相匹配；

在确定时间尺度后，通过获取各商品品类的多模态数据，计算出对齐计算所需的计算量；判断计算量是否大于预设的计算量阈值，若计算量超出计算量阈值，则增大时间尺度以降低对齐频率，否则维持原时间尺度进行对齐计算；

通过获取各商品品类的交叉数据，判断出不同商品品类之间的关联程度；所述交叉数据包括包含有同种商品的至少两种以上的商品品类、以及名称或文本内容相似的两种以上的商品品类；

基于所得交叉数据判断不同商品品类之间的关联程度，将关联程度达到预设的关联程度阈值的商品品类放在同一时间段进行对齐。

7.根据权利要求1所述多模态商品对齐方法，其特征在于，所述根据已确定的对齐频率，选择对齐算法，包括：

获取该商品品类在已确定的对齐频率下进行对齐计算所需的特征量，将特征量与预设的第一特征量阈值和第二特征量阈值进行数值比较：

若特征量小于预设的第一特征量阈值，选择基于规则的算法或基于模型的算法进行对齐计算；

若特征量大于或等于预设的第一特征量阈值而小于预设的第二特征量阈值，选择基于深度学习的算法或基于神经网络的算法进行对齐计算；

若特征量大于或等于预设的第二特征量阈值，选择基于分布式计算的算法或基于并行计算的方法进行对齐计算。

8.根据权利要求1所述多模态商品对齐方法，其特征在于，所述针对更新频率低于预设阈值的商品品类，采用特征增强算法，进行模态转换，针对更新频率高于预设阈值的商品品类，采用降维算法，进行模态转换，并对多模态进行合并，包括：

获取需对齐的商品品类的数据类型；

对于更新频率低于预设阈值的商品品类，判断该商品品类的数据类型为文本数据或语音数据，采用生成对抗网络和变分自编码器算法，对数据进行模态转换，并分别通过文本生成图像算法或语音生成图像算法，生成与文本数据及语音数据相对应的图像数据，获得增强后的数据特征；

对于更新频率等于或高于预设阈值的商品品类，获取原始商品品类数据的特征，然后通过采用PCA降维算法，将所述原始商品品类数据的维度降低到预设阈值以下，确定原始商品品类数据的主要特征；再通过降维后的原始商品品类数据进行模态转换；针对多模态数据采用加权平均、特征拼接的方法，将不同模态的特征信息进行合并，得到多模态的特征表示。