CN117151826A - 多模态电商商品对齐方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开一种多模态电商商品对齐方法，包括：从多个渠道采集相同商品的第一数据；对不符合第一预设标准的第一数据，通过对齐技术进行纠正，得到第二数据；通过将第二数据中的商品图像和文字描述进行匹配校验，以判断第二数据是否符合第二预设标准，并将不符合第二预设标准的数据进行优化处理，得到第三数据；对第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将视觉特征向量和文本特征向量进行融合，得到商品的多模态特征向量；对多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据多模态特征表示来确定商品的最终特征表示和文字描述。

Description

多模态电商商品对齐方法、装置、电子设备及存储介质

技术领域

本发明涉及信息处理技术领域，尤其涉及一种多模态电商商品对齐方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的不断发展和普及，电商平台已经成为了人们购物的主要渠道之一。消费者可以在电商平台上方便地浏览和比较不同品牌、不同型号的商品，同时也可以通过电商平台享受到更加便捷、快速的购物体验。电商平台的快速崛起也促进了物流、支付等相关产业的发展，为消费者提供了更加全面、便捷的服务。

但是，在对现有技术的研究和实践中，本申请的发明人发现：在电商平台中，同一件商品可能会有多个模态的信息，如商品图片、商品描述、商品视频等。这些信息来源于不同的渠道，如商家上传、用户评价、第三方平台等，因此可能存在差异和矛盾。例如，商品图片可能与商品描述不符，商品视频可能展示的是不同的商品型号，这些差异和矛盾会给用户带来困扰，降低用户的购物体验和信任度。其中，就商家上传而言，如果商家发布过度美化的图片或者虚假描述或者把商品分在错误的品类中，就会导致商品品类监测的错误，进而极大地影响到市场的监测和分析，使得商品信息混乱。虽然现有技术中可以通过构建知识图谱的方式来解决多模态电商商品对齐的问题，但处理过程复杂且容易受到商品的冗余信息干扰，处理结果并不理想。

因此，有必要提供一种多模态电商商品对齐方法，以解决上述问题。

发明内容

为了解决上述提出的至少一个技术问题，本发明提供一种多模态电商商品对齐方法、装置、电子设备及存储介质。

第一方面，提供了一种多模态电商商品对齐方法，所述方法包括：

从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；对不符合第一预设标准的商品图像、文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据，包括：对过度美化的商品图像、或错误的商品图像，或虚假的文字描述、错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类、重复分类或未完整分类；对错误分类、重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；

对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；

对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示。

在一种可能实现的方式中，所述识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值，包括：

根据商品的属性，采用图像识别技术或文本分类技术，对商品进行分类识别，得到每个类别中商品的数量；

对商品信息进行对齐调整纠正，规范商品的商品信息，统计每个类别中商品的数量，并记录下类别数量的变化，以得到每个类别中商品的数量和变化情况；

在确定类别数量变动超过预设的阈值，确定哪些类别发生了变化，以及哪些相关属性受到影响之，对文本与图像因素进行分析，确定变化的原因和内容；

根据分析结果进行总结，重点突出类别变动统计的情况。

在一种可能实现的方式中，所述判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值，包括：

通过对商品属性进行分析，确定商品属性属于哪些类别；

获取商品数据，通过数据分析，得到商品所属的类别；

确定错误数量超过预设阈值的类别，进而根据商品属性，确定商品的真实价值，包括采用客观的方法获取商品的评价信息，判断商品的真实价值和评价信息。

在一种可能实现的方式中，所述针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强，包括：

根据商品的类别和特点，确定特征增强的方式，包括：

针对服装、饰品类商品，采用图像增强技术来增强颜色和纹理的表现；具体的，获取商品的图像数据，并通过调整色彩平衡、增强对比度，得到鲜艳明亮的商品图像；

针对家具、玩具类商品，采用3D建模技术来增强商品的形状特征；具体的，通过获取商品的三维模型数据，确定商品的形状特征并进行精细化调整，得到形状清晰、逼真的商品图像；

针对材质特点的商品，采用物理模拟技术来增强商品的材质特征；具体的，获取商品的物理参数，通过物理模拟技术模拟商品在光照下的反射和折射情况，得到商品的光泽度和质感效果；

针对电子产品、家用电器类商品，采用声学模拟技术来增强商品的音效表现；具体的，获取商品的声学参数，通过声学模拟技术模拟商品的音质、音量，得到高品质的声音输出。

在一种可能实现的方式中，所述通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据，包括：

通过匹配校验以判断所述第二数据中的商品图像和文字描述之间是否一致的和可信的，并对不一致和/或不可信的商品图像、文字描述进行优化处理，得到第三数据。

在一种可能实现的方式中，所述对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量，包括：

根据所述第三数据，采用卷积神经网络技术进行商品的视觉特征向量的提取，同时采用自然语言处理技术和循环神经网络技术进行商品的文本特征向量的提取；

将所述视觉特征向量和所述文本特征向量进行拼接，或根据商品对应的业务属性和分类标准，通过加权平均法，对所述视觉特征向量和所述文本特征向量进行加权求和，得到商品的多模态特征向量。

在一种可能实现的方式中，所述对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示，包括：

采用多层神经网络机器学习算法，对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示；

对所述多模态特征表示进行评估和优化，并将满足准确性和全面性要求的评估和优化结果，确定为最终的商品特征表示。

在该种可能实现的方式中，

第二方面，提供了一种多模态电商商品对齐装置，所述装置包括：

采集模块，用于从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；

第一对齐模块，用于对不符合第一预设标准的商品图像、文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据；包括：对过度美化的商品图像、或错误的商品图像，或虚假的文字描述、错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类、重复分类或未完整分类；对错误分类、重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；

第二对齐模块，用于通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；

特征提取模块，用于对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；

输出模块，用于对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示。

第三方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述的多模态电商商品对齐方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述的多模态电商商品对齐方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本申请实施例提供的一种多模态电商商品对齐方法的流程示意图；

图2为本申请实施例提供的一种多模态电商商品对齐装置的结构示意图；

图3为本申请实施例提供的一种多模态电商商品对齐装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

另外，为了更好地说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样能够实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

在电商平台中，同一件商品可能会有多个模态的信息，如商品图片、商品描述、商品视频等。这些信息来源于不同的渠道，如商家上传、用户评价、第三方平台等，因此可能存在差异和矛盾。例如，商品图片可能与商品描述不符，商品视频可能展示的是不同的商品型号，这些差异和矛盾会给用户带来困扰，降低用户的购物体验和信任度。其中，就商家上传而言，如果商家发布过度美化的图片或者虚假描述或者把商品分在错误的品类中，就会导致商品品类监测的错误，进而极大地影响到市场的监测和分析，使得商品信息混乱。虽然现有技术中可以通过构建知识图谱的方式来解决多模态电商商品对齐的问题，但处理过程复杂且容易受到商品的冗余信息干扰，处理结果并不理想。

基于此，有必要提供一种多模态电商商品对齐方法，从多个渠道采集相同商品的第一数据；对不符合第一预设标准的第一数据，通过对齐技术进行纠正，得到第二数据；通过将第二数据中的商品图像和文字描述进行匹配校验，以判断第二数据是否符合第二预设标准，并将不符合第二预设标准的数据进行优化处理，得到第三数据；对第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将视觉特征向量和文本特征向量进行融合，得到商品的多模态特征向量；对多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据多模态特征表示来确定商品的最终特征表示。从而，能够提高商品对齐的准确性，实现对品类和商品的大规模精准监控和分析。

请参阅图1，图1为本申请实施例提供的一种多模态电商商品对齐方法的流程示意图。

S101、从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述。

在一个可能实现的方式中，通过爬虫技术、电商平台的API接口等方式，从多个渠道采集相同商品的数据，包括商品图片、文字描述、价格信息。

具体的：通过商品ID列表，采用爬虫技术获取商品名称、描述、规格、销量、品牌、分类、材质、颜色、尺寸、重量、售价、原价、折扣、库存、发货地、物流方式、评价数量、好评率属性信息，并存储至数据库；通过API接口或爬虫技术，获取不同渠道的商品价格信息，并存储至数据库；对商品描述进行数据清洗和归一化处理，包括去除HTML标签、识别关键词、进行文本处理，以确保数据统一性和准确性；通过图片识别技术，获取商品图片链接，并下载至本地，存储至数据库；对价格数据进行去重和归一化处理，包括转换货币单位、去除促销信息、进行价格比较，以确保数据准确性；根据商品品牌和类别，对采集到的数据进行分类汇总，以方便后续分析和展示；对采集到的数据进行分析和挖掘，包括价格变化趋势、销量排名、用户评价。

例如，通过爬虫技术获取的商品销量数据为：商品A销量为1000件，商品B销量为500件，商品C销量为800件。例如，API接口获取的商品价格数据为：商品A在渠道1售价为100元，在渠道2售价为90元，商品B在渠道1售价为50元，在渠道2售价为45元。例如，清洗后的商品描述关键词为：商品A为“无线蓝牙耳机”，商品B为“智能手环”，商品C为“便携式充电宝”。例如，通过图片识别技术获取的商品图片链接为：商品A图片链接为www.xxx.com/a.jpg，商品B图片链接为www.xxx.com/b.jpg，商品C图片链接为www.xxx.com/c.jpg。例如，价格数据去重和归一化处理后，商品A在所有渠道的售价为100元，商品B在所有渠道的售价为45元，商品C在所有渠道的售价为80元。例如，对采集到的数据进行分类汇总后，品牌为A的商品共有10个，品牌为B的商品共有5个，类别为耳机的商品共有8个，类别为手机的商品共有15个。例如，分析得出商品A价格最近一周的变化趋势为：第一天售价为100元，第三天降价至80元，第五天恢复至100元；商品B的销量排名为第二，商品C的用户评价为4.5分。

S102、对不符合第一预设标准的商品图像、文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据。

在一种可能实现的方式中，对过度美化的商品图像、或错误的商品图像，或虚假的文字描述、错误的文字描述以及重复的文字描述，进行去重和对齐处理，并结合符合所述第一预设标准的第一数据，得到第二数据。

可以理解的是，在采集商品图像和文字描述时，可能会遇到一些问题，例如过度美化的商品图像、错误的商品图像、虚假的文字描述、错误的文字描述以及重复的文字描述等。这些问题会影响到商品信息的准确性和可信度，从而影响到消费者的购买决策。为了解决这些问题，需要进行去重和对齐处理。所谓去重，是指将重复的商品图像和文字描述进行筛选和删除，以避免重复展示和浪费资源。对齐处理，则是指将不同渠道采集到的商品图像和文字描述进行比对和匹配，以确保它们的一致性和准确性。

对于过度美化的商品图像，需要进行修正和还原，以展示商品的真实外观和特点。对于错误的商品图像，需要进行更正和替换，以展示正确的商品信息。对于虚假或错误的文字描述，需要进行修正和更新，以展示真实的商品特点和性能。对于重复的文字描述，需要进行筛选和合并，以展示清晰、简洁、准确的商品信息。

通过去重和对齐处理，可以提高商品信息的准确性和可信度，从而提高消费者的购买体验和满意度。

在一种可能实现的方式中，所述错误的文字描述包括商品属性信息缺失和冲突。

在该具体实施方式中，将电商平台上不同商家不同描述的商品，进行去重和对齐，具体包括：对电商商品属性进行去重对齐。判别商家发布的过度美化的图片或者虚假描述或者把商品分在错误的品类中的商品内容，通过对齐技术进行纠正，具体包括：识别出哪些类别的商品，对齐调整纠正后，类别数量变动超过预设的阈值，判断纠正的类别中，哪种情况更容易产生分类错误，进一步判断什么商品更容易引发商家争相的过度美化，针对容易品类造假的类别的商品，进行特征增强，使识别效果更佳。

具体的，根据商品名称和描述，获取待处理商品列表。通过文本相似度算法，计算商品名称和描述的相似度，并将相似度高于阈值的商品进行分组。获取每一组中的商品属性信息，包括价格、图片、品牌、型号、规格、产地、材质、重量、颜色、适用性别、适用场景。对于同一组中的商品，逐一比对其属性信息，判断是否属于同一商品。如果确定属于同一商品，则将其属性信息合并，并去除重复的信息。如果确定不属于同一商品，则将其分为不同的商品，并分别处理其属性信息。对于每个合并后的商品，确定其最终的属性信息，包括价格、图片、品牌、型号、规格、产地、材质、重量、颜色、适用性别、适用场景。输出去重后的商品列表，包含最终的属性信息。

例如：待处理商品列表中有10件商品，包括“苹果手机”、“华为电脑”、“小米电视”。通过文本相似度算法，计算商品名称和描述的相似度。对于“苹果手机”和“苹果手机256G”，相似度为90％；对于“华为电脑”和“华为笔记本电脑”，相似度为80％。设定阈值为85％，则“苹果手机”和“苹果手机256G”为一组，而“华为电脑”和“华为笔记本电脑”为另一组，其他商品单独为一组。获取每一组中的商品属性信息。“苹果手机”和“苹果手机256G”都有价格、图片、品牌、型号、规格、产地、材质、重量、颜色、适用性别、适用场景属性信息。对于同一组中的商品，逐一比对其属性信息，判断是否属于同一商品。“苹果手机”和“苹果手机256G”都有相同的品牌、型号、产地属性信息，因此判断为同一商品。将“苹果手机”和“苹果手机256G”的属性信息合并，并去除重复的信息。两件商品的价格、图片、品牌、型号、产地属性信息都相同，因此可以合并为一件商品。对于“华为电脑”和“华为笔记本电脑”，由于相似度不足85％，因此分为不同的商品，并分别处理其属性信息。对于每个合并后的商品，确定其最终的属性信息。“苹果手机”和“苹果手机256G”合并后的最终属性信息为价格、图片、品牌、型号、产地、材质、重量、颜色、适用性别、适用场景。最终输出去重后的商品列表，包含最终的属性信息。输出包括“苹果手机”、“华为电脑”、“小米电视”商品，每个商品包含价格、图片、品牌、型号、规格、产地、材质、重量、颜色、适用性别、适用场景属性信息。

可以理解的是，需要对电商商品属性进行去重对齐，需要对属性冲突进行属性去重对齐。

步骤一：根据商品列表获取全部属性；根据商品列表，获取所有商品的名称属性、规格属性、材质属性、价格属性和库存属性。确定属性的数据类型和格式，将所有属性进行归纳和分类，并记录所有属性的出现次数。定位属性冲突的位置和类型，以便后续进行冲突处理。输出：全部属性列表、属性数据类型和格式、属性出现次数列表、属性冲突位置和类型列表。

步骤二：属性去重和补充；对所有属性列表进行去重处理，删除重复出现的属性。对所有属性列表进行补充处理，将缺失的属性补充到所有商品中。判断所有属性列表是否完整，如果不完整，则进行补充处理。输出：去重后的属性列表、补充后的属性列表。

步骤三：属性归一化；对所有属性进行比较和归纳，将相同或相似的属性进行合并，生成新的属性列表。对新的属性列表进行分类和归类，生成属性分类列表。输出：新的属性列表、属性分类列表。

步骤四：属性冲突处理；对新的属性列表进行冲突处理，主要包括属性值不一致、属性缺失或重复、属性描述不清晰、属性分类不当情况。对属性值不一致的属性进行确定和统一，确保所有商品的属性值保持一致。对属性缺失或重复的属性进行补充和去重处理，确保所有商品的属性完整性和准确性。对属性描述不清晰的属性进行明确和澄清，以避免消费者的误解和不满。对属性分类不当的属性进行重新分类，确保商品的属性分类准确和清晰明了。输出：处理后的属性列表。

步骤五：属性对齐；将处理后的属性列表与商品列表进行匹配对齐。确定每个商品的属性列表，将匹配好的属性列表更新到每个商品中。对属性分类不当的商品进行重新分类，以确保商品的属性分类准确和清晰明了。输出：更新后的商品列表。

通过以上步骤，对电商商品属性进行了去重对齐，处理了属性冲突，确保了商品信息的准确性和完整性。

例如，假设有一个电商平台上售卖的衣服商品列表，其中包含了衣服名称、材质、颜色、尺码、价格等属性。需要对这些属性进行去重、补充、归一化、处理冲突和对齐，使得商品信息更加准确和完整。首先，根据商品列表，可以获取所有商品的属性信息，比如衣服名称属性、材质属性、颜色属性、尺码属性、价格属性和库存属性。需要将这些属性进行归纳和分类，并记录它们出现的次数。对于衣服名称属性，可以将它归为“名称”分类，出现次数为商品列表的总数。对于材质属性，可以将它归为“材质”分类，出现次数为商品列表的总数。对于颜色属性和尺码属性，可以将它们归为“规格”分类，出现次数分别为商品列表的总数。对于价格属性，可以将它归为“价格”分类，出现次数为商品列表的总数。对于库存属性，可以将它归为“库存”分类，出现次数为商品列表的总数。接下来，需要进行属性去重和补充。在对属性列表进行去重处理后，发现有些商品属性缺失一些属性，比如尺码属性或者颜色属性。需要将这些属性补充到所有商品中，确保所有属性列表是完整的。然后，需要对所有属性进行比较和归纳，将相同或相似的属性进行合并，生成新的属性列表。新的属性列表可以包括“名称”、“材质”、“规格”和“价格”等分类。对新的属性列表进行分类和归类，生成属性分类列表。接下来是属性冲突处理。需要先确定属性冲突的位置和类型，包括属性值不一致、属性缺失或重复、属性描述不清晰、属性分类不当等情况。然后，需要对属性冲突进行处理，确保所有商品的属性值保持一致、属性完整性和准确性、属性描述清晰明了和属性分类准确无误。

最后，需要将处理后的属性列表与商品列表进行匹配对齐，确定每个商品的属性列表，将匹配好的属性列表更新到每个商品中。

在一种可能实现的方式中，所述通过对齐技术进行纠正，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类、重复分类或未完整分类；对错误分类、重复分类或未完整分类的商品，纠正该商品的分类。

具体的，根据商品的属性和特征，采用自动对齐技术对商品进行自动分类，并与商家所选分类进行比对，判断商家是否错误分类或重复分类。确定商品分类正确性。对于错分或重复分的商品，根据其属性和特征，重新将其归类，并更新到正确的品类中。对于未完整分类的商品，根据其属性和特征，进一步将其分到正确的子分类中，避免品类监测错误对于经过品类纠正的商品，重新获取其图片和描述，并将其同步更新到相应的商品信息中，保证经过品类纠正的商品进行监测和统计，得到品类纠正的效果，并对品类纠正的流程和算法进行不断优化和改进，提高品类纠正的准确性和效率。

例如，识别出哪些类别的商品，对齐调整纠正后，类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况更容易产生分类错误，进一步判断什么商品更容易引发商家争相的过度美化；针对容易品类造假的类别的商品，进行特征增强，使识别效果更佳。

所述识别出哪些类别的商品，对齐调整纠正后，类别数量变动超过预设的阈值，具体包括：

根据商品的属性，采用图像识别或文本分类等技术，对商品进行分类识别。将商品归为不同的类别，例如颜色、形状、尺寸、材料等。通过这一步骤，得到每个类别中商品的数量。对商品信息进行对齐调整纠正，规范商品的名称、描述、尺寸等信息，使其更易于比较和统计。通过这一步骤，获取规范化后的商品信息。统计每个类别中商品的数量，并记录下类别数量的变化。通过这一步骤，得到每个类别中商品的数量和变化情况。如果类别数量变动超过预设的阈值，确定哪些类别发生了变化，以及哪些相关属性受到影响。对文本与图像因素进行分析，确定变化的原因和内容。根据分析结果进行总结，重点突出类别变动统计的情况。

根据商品的属性，例如颜色、形状、尺寸、材料等，采用图像识别或文本分类等技术，对商品进行分类识别。例如，对于衣服，可以根据颜色(如红色、蓝色、绿色)、尺寸(如S、M、L、XL)、材料(如棉质、丝绸、毛织)等属性进行分类。将商品归为不同的类别后，统计每个类别中商品的数量。例如，对于红色T恤衫这个类别，就可以统计出有100件商品。对商品信息进行对齐调整纠正，规范商品的名称、描述、尺寸等信息。例如，对于尺寸，可以将S、M、L、XL转换为具体的尺码(如胸围90cm、肩宽40cm、衣长65cm)。统计每个类别中商品的数量，并记录下类别数量的变化。例如，红色T恤衫这个类别在上个月有100件商品，这个月有120件商品，变化率为20％。如果类别数量变动超过预设的阈值，例如10％，确定哪些类别发生了变化，以及哪些相关属性受到影响。例如，红色T恤衫这个类别发生了变化，其中尺寸为S的商品增加了30件，尺寸为M的商品减少了10件。对语言和图像进行分析，以确定变化的原因。例如，奶茶妹妹同款的商品增加是因为最近年轻女生流行穿这样的衣服，各品牌推出了更受欢迎的产品，导致商家到处通过文字和图片宣传自己是奶茶妹妹同款。根据分析结果进行总结，重点突出类别变动统计的情况。例如，近期红色T恤衫这个类别增长迅速，主要是因为年轻人追求时尚和舒适，奶茶妹妹同款式增长最快。

所述判断纠正的类别中，哪种情况更容易产生分类错误，进一步判断什么商品更容易引发商家争相的过度美化，具体包括：

根据商品属性分类的方法，当商品具有多个属性时，且这些属性属于不同的类别时，类品分类算法可能只注重其中一种属性而将其归为该类别，而忽略了其他属性所属的类别。因此，更容易产生分类错误的情况是当商品具有多个属性时，算法只注重其中一种属性而将其归为该类别，而忽略了其他属性所属的类别。为了确保分类的准确性和可靠性，应重点关注错误数量超过预设阈值的类别。首先，通过对商品属性进行分析，确定商品属性属于哪些类别。其次，获取商品数据，通过数据分析，得到商品所属的类别。最后，判断错误数量超过预设阈值的类别，以确保分类的准确性和可靠性。根据商品属性，确定商品的真实价值，以避免商家过度美化商品；其次，采用客观的方法评价商品，例如通过用户评价、专业测评等方式获取商品的评价信息；最后，判断商品的真实价值和评价信息，以避免商家过度美化商品。

例如，当商品具有多个属性时，商家可能只注重其中一种属性而将其归为该类别，例如一款手机只因为品牌知名度高而被归为高端品牌，而忽略了其它属性如配置、功能等所属的类别。如果统计出错误数量超过预设阈值的类别，则可以发现高端品牌这一类别错误数量超过预设阈值。为了避免商家过度美化商品，例如，可以通过客观的用户评价方法，得到该手机在性能、配置、功能等方面的真实价值。比如，该手机在性能和配置方面只得到了一星的评价，而在品牌和外观方面得到了五星的评价，从而可以判断该手机的真实价值并避免商家过度美化商品。

所述针对容易品类造假的类别的商品，进行特征增强，使识别效果更佳，具体包括：

首先，根据商品的类别和特点，确定特征增强的方式。针对服装、饰品等商品，采用图像增强技术来增强颜色和纹理的表现。获取商品的图像数据，并通过调整色彩平衡、增强对比度等方式，得到鲜艳明亮的商品图像。针对家具、玩具等商品，采用3D建模技术来增强商品的形状特征。通过获取商品的三维模型数据，确定商品的形状特征并进行精细化调整，得到形状清晰、逼真的商品图像。其次，针对材质特点的商品，采用物理模拟技术来增强商品的材质特征。获取商品的物理参数，通过物理模拟技术模拟商品在光照下的反射和折射情况，得到商品的光泽度和质感效果。针对电子产品、家用电器等商品，采用声学模拟技术来增强商品的音效表现。获取商品的声学参数，通过声学模拟技术模拟商品的音质、音量效果，得到高品质的声音输出。最后，进行多模态识别，通过图像识别、音频识别、视频识别的方式，获得商品的多个特征信息，并进行综合判断，确定商品的类别和属性。同时，通过以上特征增强技术，可以使识别效果更加准确、全面，提高商品的识别率和用户体验。综上所述，针对特定类别的商品进行特征增强，可以通过多种技术手段来实现。选择不同的技术手段，可以针对不同的商品特点和识别需要，进行有效的特征增强，从而提高商品的识别效果和用户体验。

例如，对于服装商品，可以通过调整色彩平衡和增强对比度等方式，使得商品图像的颜色更鲜艳明亮，比如将原本的暗色调的衣服，调整为亮丽的明黄色；对于电子产品，可以通过声学模拟技术来提高音质效果，比如将原本的低音效果提高10％以上，使得音质更加清晰自然。这些数值可以在文章中用表格或者图形的形式呈现，让读者更直观地感受到特征增强的效果。

例如，商家将一款洗发水错误地分在了护发素的分类中，机器学习技术根据商品的属性和特征进行自动分类后，与商家所选分类进行比对，发现该商品应该归类到洗发水的分类中。例如，商家将一款护肤品重复分为两个品类，根据商品的属性和特征重新归类后，将其更新到正确的品类中。

例如，对于未完整分类的商品，根据其属性和特征，进一步将其分到正确的子分类中，例如将一款洁面乳根据肤质细分为混合型和干性两个子分类。

例如，对于经过品类纠正的商品，重新获取其图片和描述，例如重新拍摄化妆品的真实图片，并更新到商品信息中，保证消费者获得真实准确的商品信息。例如，通过对经过品类纠正的商品进行监测和统计，得到品类纠正的效果，

例如成功纠正了1000件商品的品类信息，同时根据统计结果对品类纠正的流程和算法进行优化和改进，提高品类纠正的准确性和效率，

例如将图像识别技术升级，提高识别能力和准确度。

S103、通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据。

在一种可能实现的方式中，通过匹配校验以判断所述第二数据中的商品图像和文字描述之间是否一致的和可信的，并对不一致和/或不可信的商品图像、文字描述进行优化处理，得到第三数据。

在该实现方式中，采用自然语言处理技术，对商品描述和图片进行匹配，判断描述和图片之间的一致性和符合度。

其中，关于图像-文本匹配，如图像-文本检索，需要模型来区分一个句子是否能很好地描述一个图像，或者换句话说，它们是否匹配。为了加强跨模态的匹配，可以采用图像-文本匹配(ITM)任务进行预训练。在训练过程中，对数据集提供的所有图像-句子对进行抽样，并将其视为正样本。随机地对数据集进行洗牌，将未匹配的图像-句子对视为负样本。为了防止学习偏差，我采用相同数量的正样本和负样本。应用二分类器，对输入图像和句子是否匹配进行分类。

具体的，根据商品描述和图片，获取商品信息数据，包括商品品牌、型号、尺寸、材质、颜色、功能、用途信息，以及商品图片的多个角度拍摄的图片；采用自然语言处理的LTP工具包，对商品描述进行语义分析，提取关键词和命名实体，并进行文本分类，确定商品的分类和属性；采用图片处理，对商品图片进行图像识别和解析，获取商品图片的特征向量和多个角度的视觉特征；通过商品描述和图片之间的比对，确定描述和图片之间的一致性，判断商品描述中提到的颜色、型号、尺寸、材质信息是否与商品图片相符；通过商品描述和图片之间的比对，评估描述和图片之间的符合度，判断商品描述和图片信息是否完整、准确、详实、生动，能否真实反映商品的特点和优势；通过多方面的验证和比对，提高匹配的可信度，增加消费者的购买信心，使用大数据分析、消费者反馈、售后服务方式，得到可靠的结果并确定商品描述和图片的匹配性；判断商品描述和图片之间的匹配结果，输出匹配度评价，包括一致性、符合度和可信度的评价结果；根据匹配度评价结果，对商品描述和图片进行调整和优化，提高商品描述和图片的匹配度和符合度，提高商品的销售和竞争力；总结：本方案采用自然语言处理技术，对商品描述和图片进行匹配，判断描述和图片之间的一致性和符合度；判别方法还包括：商品描述与图片的一致性：通过自然语言处理和图像识别技术，评估商品描述与图片之间的一致性，是否存在矛盾或不符合的地方。语言表达的准确性：通过自然语言处理技术，评估商品描述的语法、用词是否正确，是否存在错别字、语病等问题，从而判断描述的可信度。图片的真实性：通过图像处理技术，判断图片是否经过修改或编辑，是否存在合成、添加等问题，从而判断图片的真实性。商品描述的详尽程度：通过自然语言处理技术，评估商品描述的详细程度，是否存在模糊、含糊不清的地方，从而判断描述的可信度。例如，根据商品描述和图片，可以获取到商品的尺寸为假如20x30x40cm，颜色为假如红色，材质为假如棉质。通过自然语言处理工具例如LTP工具，可以提取关键词和命名实体，确定商品的分类为假如家居用品，属性为假如沙发套。通过图像识别和解析，可以获取商品图片的特征向量和多个角度的视觉特征，商品的外观、质感、款式。通过对商品描述和图片之间的比对，可以判断描述和图片之间的一致性和符合度。商品描述中提到的颜色、型号、尺寸、材质信息是否与商品图片相符，可以根据颜色代码、尺寸测量、材质检测方式进行验证，得出一致性的评价结果。

在该种可能实现的方式中，进一步地，判断图片与文字描述的真实性。

根据商品信息获取商品描述和图片；采用自然语言处理技术，对商品描述进行语法分析和用词分析，确定商品描述的准确性和清晰度；通过图像处理技术，获取商品图片的特征，并判断图片的真实性；采用自然语言处理技术，对商品描述和图片进行匹配，判断描述和图片之间的一致性和符合度；根据商品描述的详尽程度和图片的真实性，综合判断商品信息的可信度；采用自然语言处理技术，对商品描述进行语法分析和用词分析。假如商品描述中有“纯手工制作”这一描述，可以通过词频统计，发现该描述在该商品类别中出现的频率较高，从而推断该描述的可信度较高。采用自然语言处理技术和图像处理技术，对商品描述和图片进行匹配，判断描述和图片之间的一致性和符合度。假如商品描述中描述了该商品的尺寸和颜色，而商品图片中也展示了相应尺寸和颜色的商品，可以判断商品描述和图片之间的一致性较高，从而提高商品信息的可信度。通过对每个步骤的具体操作进行举例，可以更加清晰地了解该模型的实现方式和可行性。利用图像处理技术，获取商品图片的特征，并判断图片的真实性。这需要利用计算机视觉技术，对图像进行分析和处理，提取出图像的各种特征，如色彩、形状、纹理等。同时，还需要结合业务属性，对图片中的关键元素进行识别和比对，以确定其真实性和可信度。例如，在购物网站中，商品图片中涉及到的产品细节、外观、包装等属性，需要通过专业领域知识和图像识别技术进行分析和比对，以提高商品图片的真实性和可信度。

在该实现方式中，根据文本及图像可信度，对不可信部分进行去除和优化。

根据描述信息或图片的来源，获取图片中的信息，包括是否图片是否带有图片作者、网站、图片来源、拍摄时间和地点信息。通过深度学习模型技术分析，判断文章或图片中是否存在错误、虚假信息、PS痕迹不可信部分。如果存在不可信部分，采用图片处理技术，去除或优化这些部分，确保文章或图片的可信度。对于文本，可以通过修改、删除方式去除不可信部分。如果文章分类算法识别出存在明显的错误，需要对其进行删除或修改，以确保描述的客观公正性。对于图像，可以通过剪裁、修复方式去除不可信部分。如果图片中存在明显的PS痕迹或虚假信息，需要进行剪裁或修复，以确保图片的真实性和可信度。根据去除或优化后的描述或图片内容，进行重新判断和确定可信度。如果仍然存在不可信部分，需要再次进行去除和优化，直到描述或图片的可信度达到要求。最后，对于经过去除和优化处理后的文章或图片，需要进行再次审核和确认，确保其可信度和真实性。假如文章来源是某个知名的网站，那么可信度较低，因为图片可能不是商家自己拍摄的，而是盗图来的。如果描述与其他人完全一致，也可能商家是复制得到的。通过图像分析软件可以发现图片中存在明显的PS痕迹或色彩修饰情况，这些情况会影响图片的可信度。对于文本中存在明显的错别字或语法错误，可以通过编辑软件进行修改，或者删除不必要的内容，提高描述的可信度。对于图片中存在明显的水印或商标，可以通过剪裁或修复来去除这些痕迹，提高图片的可信度。假如描述或图片经过去除和优化处理后，仍然存在虚假信息或错误，那么其可信度将会降低。如果描述中存在明显的不实信息，那么其可信度将会较低。假如在去除和优化后，文章或图片的可信度仍然不够高，需要再次进行分析和优化，直到其可信度达到要求。在描述中删除虚假信息后，仍然存在不准确的数据，那么需要通过修改或删除这些数据来提高文章的可信度。在审核和确认可信度时，可以使用评分系统来对文章或图片进行打分，确定其可信度和真实性。评分系统可以将文章或图片分为不同的级，从而更好地评估其可信度。

S104、对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量。

在一种可能实现的方式中，根据所述第三数据，采用卷积神经网络技术进行商品的视觉特征向量的提取，同时采用自然语言处理技术和循环神经网络技术进行商品的文本特征向量的提取；

将所述视觉特征向量和所述文本特征向量进行拼接，或根据商品对应的业务属性和分类标准，通过加权平均法，对所述视觉特征向量和所述文本特征向量进行加权求和，得到商品的多模态特征向量。

在一种可能实现的方式中，将所述视觉特征向量和所述文本特征向量，进行多模态特征融合的方法包括：前端融合、中间融合和后端融合。其中：

前端融合指的是将多个独立的数据集融合成一个单一的特征向量，然后输入到机器学习分类器中。多模态前端融合方法常常与特征提取方法相结合以剔除冗余信息，如主成分分析(PCA)、最大相关最小冗余算法(mRMR)、自动解码器(Autoencoders)等。使用深层联合自编码模型，将三种模态的特征使用三层线性层将维度转化为同一维度，然后相加，最后将三者进行还原回去。

中间融合指的是将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合。以神经网络为例，中间融合首先利用神经网络将原始数据转化成高维特征表达，然后获取不同模态数据在高维空间上的共性。在问答对话中有MFB方法，它针对文本和图像两种模态，先将每个模态特征转化为相同维度的高维向量，然后进行逐元素相乘，最后进行sum pooling操作。

后端融合指的是将不同模态数据分别训练好的分类器输出打分(决策)进行融合。常见的后端融合方式包括最大值融合(max-fusion)、平均值融合(averaged-fusion)、贝叶斯规则融合(Bayes’rule based)以及集成学习(ensemble learning)等。

在该种可能实现的方式中，利用计算机视觉技术和自然语言处理技术，对商品图片和文字描述进行特征提取。对于商品图片，可以提取视觉特征如颜色、纹理、形状等；对于商品文字描述，可以提取关键词、语法特征。

具体的，根据商品图片，采用卷积神经网络(CNN)技术进行图像特征提取；首先，获取商品图片并进行预处理，包括图像归一化、尺寸调整；然后，通过CNN网络对图片进行特征提取，获取颜色、纹理、形状、边缘、亮度、对比度视觉特征；最后，得到商品图片的视觉特征向量；利用自然语言处理技术对商品文字描述进行特征提取，采用词袋模型、TF-IDF算法、词嵌入方法，获取商品文字描述中的关键词、语法特征自然语言处理特征；首先，对文字描述进行分词、词性标注处理，获取单词和单词的词性；然后，通过句法分析方法，提取语法结构和情感色彩文本特征；最后，确定商品文字描述的文本特征向量；将商品图片和文字描述的特征进行融合，得到综合特征向量；在此步骤中，采用特征融合技术，将商品图片的视觉特征向量和文字描述的文本特征向量进行合并；具体而言，可以采用向量拼接或加权平均方法，获得商品的综合特征向量；通过判断特征向量的相似度和差异度来确定商品之间的关联性。例如，对于一张商品图片，经过CNN网络特征提取，得到了一组代表颜色、纹理、形状等视觉特征的向量，其中颜色特征为，纹理特征为，形状特征为。例如，对于一段商品文字描述，经过自然语言处理，得到了一组代表语法结构、情感色彩等文本特征的向量，其中语法结构特征为，情感色彩特征为。采用词袋模型提取商品文字描述中的关键词，假设某商品的文字描述为：“这款手表采用石英机芯，表带采用真皮材质，适合男女通用。”，则提取得到的关键词可能包括："手表"、"石英机芯"、"表带"、"真皮材质"、"男女通用"等。同时，采用TF-IDF算法计算关键词的权重，假设"手表"、"石英机芯"、"表带"、"真皮材质"、"男女通用"的TF-IDF值分别为1.5、2.0、1.2、1.8、1.3，则该商品文字描述的特征向量为。例如，将商品图片的视觉特征和商品文字描述的自然语言处理特征进行融合，可以采用加权平均的方法，假设视觉特征向量和文字特征向量的权重分别为0.6和0.4，则融合后的特征向量为。最后，对整合后的特征向量进行归一化处理，保证特征向量在不同维度上的取值范围一致。

对于CNN网络的设计和训练。

根据业务需求和数据集，设计CNN网络用于图像特征提取。采用大量的图像数据对CNN网络进行训练，获得准确的图像特征。通过CNN网络获取商品图片的各种属性和特点，例如衣服的纹理、汽车的外形等。确定商品图片的层级关系，判断图片之间的相似度和差异性，最终输出具有层级关系的图像特征。数据预处理：先将图片调整为统一的尺寸，同时进行图像增强，包括对比度增强、图像去噪等。构建CNN网络：可以采用ResNet、VGG等经典的卷积神经网络进行特征提取。例如，可以使用ResNet-50网络，该网络包含50个卷积层和全连接层，可以对图像进行深度特征提取。训练CNN网络：可以使用大量的带标签的服装图片进行训练，采用交叉熵损失函数和随机梯度下降算法进行模型优化。可以设置batch_size＝32，epoch＝10，learning_rate＝0.001等超参数。特征提取和分类：可以使用训练好的模型对新的服装图片进行特征提取，并使用softmax分类器对其进行分类。可以设置阈值为0.5，对于输出大于阈值的类别进行预测。图像相似度计算：可以使用余弦相似度或欧式距离等方法计算图像之间的相似度。例如，可以将两张图片的特征向量进行余弦相似度计算，得到一个相似度分数，判断它们是否属于同一类别。输出层级关系：最后，可以通过聚类算法或层级聚类算法，对相似的服装图片进行分组，并输出它们的层级关系。例如，可以将T恤、衬衫、毛衣等服装归为上衣类别，长裤、短裤、裙子等服装归为下装类别，最终输出具有层级关系的图像特征。

对于综合特征向量的生成与融合。

根据商品图片，获取视觉特征向量和图像处理结果；根据商品文字描述，获取文本特征向量和自然语言处理结果；通过权重分配和特征关联，融合视觉特征向量和文本特征向量，得到综合特征向量；确定业务属性和分类标准，判断综合特征向量是否符合要求，获得商品分类结果。根据商品图片，获取视觉特征向量和图像处理结果；根据商品文字描述，获取文本特征向量和自然语言处理结果；通过权重分配和特征关联，融合视觉特征向量和文本特征向量，得到综合特征向量；获取视觉特征向量和图像处理结果：使用卷积神经网络(CNN)模型，如VGG16、ResNet，在商品图片上进行训练，提取出视觉特征向量，并进行图像处理，如缩放、裁剪、旋转、亮度调整。获取文本特征向量和自然语言处理结果：使用自然语言处理技术，如词向量模型，如Word2vec、FastText，在商品文本描述上进行训练，提取出文本特征向量，并进行自然语言处理，如分词、词性标注、命名实体识别。融合视觉特征向量和文本特征向量：使用加权平均法，根据业务属性和分类标准，为视觉特征向量和文本特征向量赋予权重，然后将两者相加，得到综合特征向量。

S105、对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示。

在一种可能实现的方式中，采用多层神经网络机器学习算法，对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示；

对所述多模态特征表示进行评估和优化，并将满足准确性和全面性要求的评估和优化结果，确定为最终的商品特征表示。

在该种可能实现的方式中，对商品的多模态特征表示进行评估和优化，判断是否满足准确性和全面性的要求，获得最终的商品特征表示。

具体的：

1.根据商品图片，获取颜色、纹理、形状特征，采用卷积神经网络(CNN)进行特征提取，并得到图像特征向量。

2.通过商品描述，获取关键词、文本语义、情感特征，采用循环神经网络(RNN)进行特征提取，并得到文本特征向量。

3.将图像特征向量和文本特征向量进行拼接或加权求和，得到商品的多模态特征向量。

4.利用多层神经网络机器学习算法，对多模态特征向量进行建模和训练，确定商品的多模态特征表示。

5.对商品的多模态特征表示进行评估和优化，判断是否满足准确性和全面性的要求，获得最终的商品特征表示。

上述实施例，通过对商家提供的商品图像和商品的文字描述进行可信度评估，将可信度高的部分保留，可信度低的部分进行调整，可以生成更真实准确的商品的文字描述，和符合要求的图像，通过商品多模态信息处理和生成技术解决了相同商品在多个平台展示的不同的文本描述和/商品图像不同的问题，最终实现对品类和商品的大规模精准监控和分析。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图2，图2为本申请实施例提供的一种多模态电商商品对齐装置的结构示意图。

采集模块100，用于从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；

第一对齐模块200，用于对不符合第一预设标准的商品图像、文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据；包括：对过度美化的商品图像、或错误的商品图像，或虚假的文字描述、错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类、重复分类或未完整分类；对错误分类、重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；

第二对齐模块300，用于通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；

特征提取模块400，用于对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；

输出模块500，用于对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本申请还提供了一种处理器，所述处理器用于执行如上述任意一种可能实现的方式的方法。

本申请还提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述任意一种可能实现的方式的方法。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述任意一种可能实现的方式的方法。

请参阅图3，图3为本申请实施例提供的一种多模态电商商品对齐装置的硬件结构示意图。

该装置2包括处理器21，存储器24，输入装置22，输出装置23。该处理器21、存储器24、输入装置22和输出装置23通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable readonly memory，EPROM)、或便携式只读存储器(compact discread-onlymemory，CD-ROM)，该存储器用于相关指令及数据。

输入装置22用于输入数据和/或信号，以及输出装置23用于输出数据和/或信号。输出装置23和输入装置22可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器22不仅可用于存储相关指令，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图3仅仅示出了装置的简化设计。在实际应用中，装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的视频解析装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digitalversatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种多模态电商商品对齐方法，其特征在于，所述方法包括：

从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；

对不符合第一预设标准的商品图像、文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据，包括：对过度美化的商品图像、或错误的商品图像，或虚假的文字描述、错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类、重复分类或未完整分类；对错误分类、重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；

通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；

对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；

对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示。

2.根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值，包括：

根据商品的属性，采用图像识别技术或文本分类技术，对商品进行分类识别，得到每个类别中商品的数量；

对商品信息进行对齐调整纠正，规范商品的商品信息，统计每个类别中商品的数量，并记录下类别数量的变化，以得到每个类别中商品的数量和变化情况；

在确定类别数量变动超过预设的阈值，确定哪些类别发生了变化，以及哪些相关属性受到影响之，对文本与图像因素进行分析，确定变化的原因和内容；

根据分析结果进行总结，重点突出类别变动统计的情况。

3.根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值，包括：

通过对商品属性进行分析，确定商品属性属于哪些类别；

获取商品数据，通过数据分析，得到商品所属的类别；

确定错误数量超过预设阈值的类别，进而根据商品属性，确定商品的真实价值，包括采用客观的方法获取商品的评价信息，判断商品的真实价值和评价信息。

4.根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强，包括：

根据商品的类别和特点，确定特征增强的方式，包括：

针对服装、饰品类商品，采用图像增强技术来增强颜色和纹理的表现；具体的，获取商品的图像数据，并通过调整色彩平衡、增强对比度，得到鲜艳明亮的商品图像；

针对家具、玩具类商品，采用3D建模技术来增强商品的形状特征；具体的，通过获取商品的三维模型数据，确定商品的形状特征并进行精细化调整，得到形状清晰、逼真的商品图像；

针对材质特点的商品，采用物理模拟技术来增强商品的材质特征；具体的，获取商品的物理参数，通过物理模拟技术模拟商品在光照下的反射和折射情况，得到商品的光泽度和质感效果；

针对电子产品、家用电器类商品，采用声学模拟技术来增强商品的音效表现；具体的，获取商品的声学参数，通过声学模拟技术模拟商品的音质、音量，得到高品质的声音输出。确定商品的类别和属性。

5.根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据，包括：

通过匹配校验以判断所述第二数据中的商品图像和文字描述之间是否一致的和可信的，并对不一致和/或不可信的商品图像、文字描述进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据。

6.根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量，包括：

根据所述第三数据，采用卷积神经网络技术进行商品的视觉特征向量的提取，同时采用自然语言处理技术和循环神经网络技术进行商品的文本特征向量的提取；

将所述视觉特征向量和所述文本特征向量进行拼接，或根据商品对应的业务属性和分类标准，通过加权平均法，对所述视觉特征向量和所述文本特征向量进行加权求和，得到商品的多模态特征向量。

7.根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示，包括：

采用多层神经网络机器学习算法，对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示；

对所述多模态特征表示进行评估和优化，并将满足准确性和全面性要求的评估和优化结果，确定为最终的商品特征表示。

8.一种多模态电商商品对齐装置，其特征在于，所述装置包括：

采集模块，用于从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；

第一对齐模块，用于对不符合第一预设标准的商品图像、文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据；包括：对过度美化的商品图像、或错误的商品图像，或虚假的文字描述、错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类、重复分类或未完整分类；对错误分类、重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；

第二对齐模块，用于通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；

特征提取模块，用于对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；

输出模块，用于对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示。

9.一种电子设备，其特征在于，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至7中任一项所述的多模态电商商品对齐方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至7中任意一项所述的多模态电商商品对齐方法。