CN117131426B - 基于预训练的品牌识别方法、装置及电子设备 - Google Patents
基于预训练的品牌识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117131426B CN117131426B CN202311395408.9A CN202311395408A CN117131426B CN 117131426 B CN117131426 B CN 117131426B CN 202311395408 A CN202311395408 A CN 202311395408A CN 117131426 B CN117131426 B CN 117131426B
- Authority
- CN
- China
- Prior art keywords
- data
- text
- image data
- text data
- brand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000013136 deep learning model Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 4
- 238000004590 computer program Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例中提供了一种基于预训练的品牌识别方法、装置及电子设备，属于数据处理技术领域，该方法包括：从多个数据源中采集品牌相关的图像数据和文本数据；针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练；使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务。采用本方案，无需要手工标注的数据集，且识别结果具有更高的准确性和更好的泛化能力。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于预训练的品牌识别方法、装置及电子设备。
背景技术
AI品牌识别是AI识别技术中的一个领域，通过计算机算法，对品牌标识进行识别和分类。AI品牌识别技术可以应用于品牌logo、商标、宣传语等品牌标识的识别和分类，帮助企业快速获取品牌信息，提高品牌知名度、信誉度和竞争力。
AI品牌识别技术可以通过图像识别、自然语言处理等技术实现。其中，图像识别技术可以通过对图片中的品牌logo进行识别，提取品牌logo的特征，并将其与已有的品牌logo库进行比对，从而实现对品牌logo的识别和分类。自然语言处理技术则可以通过对文本中的品牌宣传语进行分析和处理，提取其中的关键词和语义特征，并将其与已有的品牌库进行比对，从而实现对品牌宣传语的识别和分类。
AI品牌识别技术的应用场景非常广泛，包括广告监测、市场调研、品牌策划、电商运营、数据分析等领域。例如，在广告监测领域中，通过AI品牌识别技术对广告中的品牌标识进行识别和分类，可以快速准确地了解竞争对手的广告投放情况，为企业制定合理的广告投放策略提供数据支持。在市场调研领域中，通过AI品牌识别技术对市场中的品牌标识进行识别和分类，可以快速准确地了解市场上的品牌分布和竞争情况，为企业制定市场进入和竞争策略提供数据支持。
然而目前AI品牌识别存在如下问题：
1.准确性不高： 当文本数据具有复杂的多义性或模糊性时，品牌识别准确性就会下降。例如，某些品牌名称可能是常见的词汇，拥有多重含义。
2.多模态识别困难：品牌的识别需要同时考虑图像和文本信息，但多模态识别仍然是一个挑战，不同类型的数据如何有效融合仍然难点。
3.优质数据稀缺：品牌的标注数据相对较少，这会限制深度学习模型的性能。获得高质量的品牌标注数据是一项挑战。
4.实时性不达标：现有品牌识别方案在大规模数据的处理上，实时性欠缺。
5.泛化能力差：大多品牌识别模型都是针对特定行业或品牌，很难适应到其他领域，模型的泛化能力差。
上述问题成为需要解决的技术问题。
发明内容
有鉴于此，本发明实施例提供一种基于预训练的品牌识别方法、装置及电子设备，至少部分解决现有技术中存在的问题。
第一方面，本发明实施例提供了一种基于预训练的品牌识别方法，包括：
从多个数据源中采集品牌相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，所述文本数据包括产品描述、广告文案、社交媒体帖子文本；
针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；
使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图
像数据和文本数据整合到同一个模型中，通过计算文本数据的关联值矩阵M以及聚合主题
集合，计算图像数据和文本数据之间的条件概率值P，建立图像数据和文本数据之间的关
联关系，得到预训练后的深度学习模型；
使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务。
根据本公开实施例的一种具体实现方式，所述针对所述图像数据和文本数据进行预处理，包括：
缺失值处理：检测缺失值，选择删除包含缺失值的行或列，或者使用插值方法填充缺失值；
异常值处理：检测异常值，对这些异常值进行删除、转换或替换处理。
根据本公开实施例的一种具体实现方式，所述针对所述图像数据和文本数据进行预处理，还包括：
数据类型转换：确保数据的类型正确，将日期字段转换为日期类型，将文本字段转换为数值型；
数据标准化和归一化：如果数据的不同特征具有不同的尺度，对数据进行标准化，使其具有零均值和单位方差，或对数据归一化，将数据缩放到特定范围；
数据编码：对分类数据进行编码，使用独热编码将类别变量转换为二进制形式，以便后续机器学习算法能够处理。
根据本公开实施例的一种具体实现方式，所述针对所述图像数据和文本数据进行预处理，还包括：
特征选择：根据问题的需求选择有用的特征，以降低维度和噪音，提高模型性能；
数据分割：将数据集划分为训练集、验证集和测试集，以便模型训练和评估；
数据保存：将经过预处理和清洗的数据保存为新的数据集，以备后续分析和建模使用。
根据本公开实施例的一种具体实现方式，所述使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图像数据和文本数据整合到同一个模型中，包括：
设置文本处理器和图像处理器，所述文本处理器对所述文本数据进行处理，所述图像处理器对所述图像数据进行处理，所述文本处理器和图像处理器这两个处理器在预设层次上共享参数；
引入跨模态注意力机制，所述跨模态注意力机制在深度学习预训练模型GPT处理文本时关注图像信息，在深度学习预训练模型GPT处理图像时关注文本信息，将不同模态的信息融合在一起，以便深度学习预训练模型GPT理解图像和文本之间的关系。
根据本公开实施例的一种具体实现方式，所述文本处理器对所述文本数据进行处理，包括：
对文本数据中包含的文本信息进行分词处理，得到包含n个分词元素的分词集合以及m个标签元素的标签集合；
利用关联度计算函数g，计算分词元素和标签元素之间的关联值：
得到分词元素和标签元素之间的关联值矩阵M，其中，为第一调节参数，为第二
调节参数，为第三调节参数，表示元素出现的次数，表示元素出现的次数，表示元素和元素在集合T中共同出现的次数，表示元素和元素在
集合L中共同出现的次数。
根据本公开实施例的一种具体实现方式，所述文本处理器对所述文本数据进行处理，还包括：
对文本数据中包含的主题Y进行聚合计算，得到k个聚合主题集合；
计算关联值矩阵M中与聚合主题集合之间的映射关系：
其中，表示第四调节参数，表示矩阵M中第i行第j列的元素，表示集合Y中的
第i个元素。
根据本公开实施例的一种具体实现方式，所述图像处理器对所述图像数据进行处理，包括：
利用所述k个聚合主题集合，对所述图像集合进行分类，形成k个
图像集合；
利用公式计算图像和文本词汇之间的条件概率值：
其中，表示第五调节参数，表示的均值，表示在上的概
率值，表示在上的概率值；
基于条件概率值建立文本数据和图像数据之间的关联关系。
第二方面，本发明实施例提供了一种基于预训练的品牌识别装置，包括：
采集模块，用于从多个数据源中采集品牌相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，所述文本数据包括产品描述、广告文案、社交媒体帖子文本；
预处理模块，用于针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；
训练模块，用于使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预
训练，将所述图像数据和文本数据整合到同一个模型中，通过计算文本数据的关联值矩阵M
以及聚合主题集合，计算图像数据和文本数据之间的条件概率值P，建立图像数据和文本
数据之间的关联关系，得到预训练后的深度学习模型；
微调模块，用于使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式中的基于预训练的品牌识别方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的基于预训练的品牌识别方法。
第五方面，本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的基于预训练的品牌识别方法。
本发明实施例中的基于预训练的品牌识别方案，包括：从多个数据源中采集品牌
相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，
所述文本数据包括产品描述、广告文案、社交媒体帖子文本；针对所述图像数据和文本数据
进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；使用深
度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图像数据和文本数
据整合到同一个模型中，通过计算文本数据的关联值矩阵M以及聚合主题集合，计算图像
数据和文本数据之间的条件概率值P，建立图像数据和文本数据之间的关联关系，得到预训
练后的深度学习模型；使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便
使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度
学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务。本申请的方案具有
如下有益效果：
（1）品牌识别方案不再完全依赖大规模手工标注的数据集，它能够从大量未标记的数据中学习。
（2）辅以少量标注数据进行微调，相比传统的品牌识别方案，具备更高的准确性和更好的泛化能力。
（3）该方案可以广泛应用于市场研究、广告分析、竞品分析等领域，为企业提供更准确和高效的品牌管理和数据分析工具。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于预训练的品牌识别方法流程示意图；
图2为本发明实施例提供的另一种基于预训练的品牌识别方法流程示意图；
图3为本发明实施例提供的基于预训练的品牌识别装置结构示意图；
图4为本发明实施例提供的电子设备示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种基于预训练的品牌识别方法。本实施例提供的基于预训练的品牌识别方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。
参见图1和图2，本公开实施例提供了一种基于预训练的品牌识别方法，包括：
S101，从多个数据源中采集品牌相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，所述文本数据包括产品描述、广告文案、社交媒体帖子文本。
品牌数据可以分为图像数据和文本数据两大类。图像数据包括品牌的logo、产品图像、社交媒体帖子图像等。这些图像数据可以为品牌的视觉识别提供信息。品牌的logo是其标志性的标识，它代表了品牌的价值观和个性。通过采集大量的logo图像，用作后续流程里面对品牌的标注和识别。
文本数据包括产品描述、广告文案、社交媒体帖子文本等。这些文本数据提供了关于品牌的更多信息，包括产品特点、市场定位等。通过分析这些文本数据，可以深入了解品牌的声誉、客户反馈以及品牌在社交媒体上的表现。文本数据还可以帮助了解消费者对品牌的态度和情感，从而更好地满足他们的需求。
图像数据和品牌的视觉元素对于品牌识别至关重要。品牌logo是品牌的核心标识，它的设计、颜色和形状都传达着品牌的独特性和品牌价值观。通过采集大量的品牌logo图像，可以进行视觉分析，了解不同品牌之间的视觉差异和相似性。另外，产品图像也是品牌数据的一部分。产品图像可以告诉关于产品外观、功能和用途的信息。通过分析这些图像，可以了解品牌的产品线和信息。
社交媒体帖子图像也是重要的数据源。在社交媒体时代，品牌的存在不仅仅体现在官方广告和网站上，还体现在消费者生成的内容中。通过采集社交媒体帖子图像，可以了解品牌在社交媒体上的传播和互动情况。消费者可能会在他们的社交媒体帖子中分享与品牌相关的照片，这些照片可能包括他们使用品牌产品的场景、品牌活动的参与等。通过分析这些图像，可以了解品牌在社交媒体上的知名度、用户参与度以及用户生成的内容对品牌形象的影响。
广告文案也是品牌数据中的关键元素。广告文案反映了品牌的宣传策略和市场定位。通过分析广告文案，可以了解品牌在市场上的传播方式，以及品牌如何定位自己与竞争对手不同。广告文案还可以告诉品牌的受众定位，不同广告中使用的语言和情感调性，以及这些广告的效果如何。
社交媒体帖子文本也是文本数据的一部分。社交媒体已经成为品牌与消费者互动的重要平台。通过采集社交媒体帖子文本，可以了解消费者对品牌的看法和情感。消费者可能在社交媒体上发表关于品牌的评论、感受和建议。通过分析这些文本数据，可以了解品牌的声誉，发现潜在的问题，并采取措施改进品牌形象。
在数据采集过程中，数据隐私和安全也是一个重要的考虑因素。品牌必须确保合法地获取和使用数据，遵守相关法律法规，保护客户的隐私权。同时，品牌还需要确保数据的存储和处理安全，以防止数据泄露和滥用。
通过积累大量的素材，这些素材经过后续一些流程会成为训练品牌识别大模型的数据基础。
S102，针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据。
采集过来的素材中包括各种数据，文本，图像，视频，声音等。对这些素材进行整理、对齐、过滤、滤重、格式化等信息对数据进行预先处理。
对于文本数据，进行干扰数据的清除，比如特殊的文本标记，不合适的文本内容，敏感关键字等。
数据导入：
将收集到的数据导入分析工具或数据处理平台，如Python中的Pandas、R语言、SQL数据库等，这里采用pandas处理数据和格式化数据。
缺失值处理：
检测和处理缺失值。缺失值可能会影响分析结果，因此可以选择删除包含缺失值的行或列，或者使用插值方法填充缺失值。
异常值处理：
检测和处理异常值（离群值）。异常值可能是数据采集错误或异常情况的结果，需要根据具体情况进行处理，可以删除、转换或替换这些异常值。
数据类型转换：
确保数据的类型正确，例如将日期字段转换为日期类型，将文本字段转换为数值型。
数据标准化和归一化：
如果数据的不同特征具有不同的尺度，可以对数据进行标准化（使其具有零均值和单位方差）或归一化（将数据缩放到特定范围，如0到1之间）。
数据编码：
对分类数据进行编码，例如使用独热编码将类别变量转换为二进制形式，以便后续机器学习算法能够处理。
特征选择：
根据问题的需求选择有用的特征，以降低维度和噪音，提高模型性能。
数据分割：
将数据集划分为训练集、验证集和测试集，以便模型训练和评估。
数据保存：
将经过预处理和清洗的数据保存为新的数据集，以备后续分析和建模使用。此处存储在hadoop中。
S103，使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将
所述图像数据和文本数据整合到同一个模型中，通过计算文本数据的关联值矩阵M以及聚
合主题集合，计算图像数据和文本数据之间的条件概率值P，建立图像数据和文本数据之
间的关联关系，得到预训练后的深度学习模型。
具体的，可以使用最新的深度学习预训练模型“GPT（Generative Pre-trainedTransformer）”，对图像和文本数据进行预训练。这一步骤的关键是将图像和文本数据整合到同一个模型中，以便模型能够同时理解图像和文本之间的关系。
整合模型：
整合图像和文本数据的模型通常包括两个主要组成部分：文本处理器和图像处理器。文本处理器负责处理文本数据，通常是一个Transformer模型，而图像处理器负责处理图像数据，通常是一个卷积神经网络（CNN）模型。这两个处理器可以在某个层次上共享参数，以便模型可以理解图像和文本之间的关系。
跨模态注意力机制：
为了实现图像和文本之间的跨模态理解，模型通常会引入跨模态注意力机制。这个机制允许模型在处理文本时关注图像信息，反之亦然。这有助于模型将不同模态的信息融合在一起，以更好地理解它们之间的关系。
作为一种实现方式，可以对文本数据中包含的文本信息进行分词处理，得到包含n
个分词元素的分词集合以及m个标签元素的标签集合，
标签集合从数据标签的维度来对文本数据中内容进行解析，一个数据标签可以包含多个分
词，同样的，一个分词也可以归属于多个数据标签。
通过设置关联度计算函数g，进一步计算分词元素和标签元素之间的关联值：
得到分词元素和标签元素之间的关联值矩阵M，其中，为第一调节参数，为第二
调节参数，为第三调节参数，表示元素出现的次数，表示元素出现的次数，表示元素和元素在集合T中共同出现的次数，表示元素和元素在
集合L中共同出现的次数。
文本数据还可以进一步通过主题的维度进行分析，文本主题可以是基于不同的应
用场景包含的多个分词或多个标签的集合，文本主题可以应用于图像数据中，对图像数据
基于主题进行分类，从而建立图像与文本之间的关系，实现跨模态注意力机制。对文本数据
中包含的主题Y进行聚合计算，得到k个聚合主题集合；
计算关联值矩阵M中与聚合主题集合之间的映射关系：
其中，表示第四调节参数，表示矩阵M中第i行第j列的元素，表示集合Y中的
第i个元素。
利用所述k个聚合主题集合，对所述图像集合进行分类，形成k个
图像集合；
利用公式计算图像和文本词汇之间的条件概率值：
其中，表示第五调节参数，表示的均值，表示在上的概
率值，表示在上的概率值；
基于条件概率值建立文本数据和图像数据之间的关联关系，例如，将条件
概率值大于预设值的文本数据和图像数据建立关联关系。
训练：
在整合模型之后，需要对其进行预训练。这一步骤通常涉及使用大规模的多模态数据集对模型进行训练。模型通过自动学习图像和文本之间的相关性，从而在多模态任务中表现出色。
S104，使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务。
预训练之后，可以对整合模型进行微调，以适应特定的任务。微调可以通过在目标任务的数据上进行有监督训练来完成，以使模型更好地适应任务的要求。
通过本方案，品牌识别方案不再完全依赖大规模手工标注的数据集，它能够从大量未标记的数据中学习。辅以少量标注数据进行微调，相比传统的品牌识别方案，具备更高的准确性和更好的泛化能力。该技术可以广泛应用于市场研究、广告分析、竞品分析等领域，为企业提供更准确和高效的品牌管理和数据分析工具。
根据本公开实施例的一种具体实现方式，所述针对所述图像数据和文本数据进行预处理，包括：
缺失值处理：检测缺失值，选择删除包含缺失值的行或列，或者使用插值方法填充缺失值；
异常值处理：检测异常值，对这些异常值进行删除、转换或替换处理。
根据本公开实施例的一种具体实现方式，所述针对所述图像数据和文本数据进行预处理，还包括：
数据类型转换：确保数据的类型正确，将日期字段转换为日期类型，将文本字段转换为数值型；
数据标准化和归一化：如果数据的不同特征具有不同的尺度，对数据进行标准化，使其具有零均值和单位方差，或对数据归一化，将数据缩放到特定范围；
数据编码：对分类数据进行编码，使用独热编码将类别变量转换为二进制形式，以便后续机器学习算法能够处理。
根据本公开实施例的一种具体实现方式，所述针对所述图像数据和文本数据进行预处理，还包括：
特征选择：根据问题的需求选择有用的特征，以降低维度和噪音，提高模型性能；
数据分割：将数据集划分为训练集、验证集和测试集，以便模型训练和评估；
数据保存：将经过预处理和清洗的数据保存为新的数据集，以备后续分析和建模使用。
根据本公开实施例的一种具体实现方式，所述使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图像数据和文本数据整合到同一个模型中，包括：
设置文本处理器和图像处理器，所述文本处理器对所述文本数据进行处理，所述图像处理器对所述图像数据进行处理，所述文本处理器和图像处理器这两个处理器在预设层次上共享参数；
引入跨模态注意力机制，所述跨模态注意力机制在深度学习预训练模型GPT处理文本时关注图像信息，在深度学习预训练模型GPT处理图像时关注文本信息，将不同模态的信息融合在一起，以便深度学习预训练模型GPT理解图像和文本之间的关系。
根据本公开实施例的一种具体实现方式，所述文本处理器对所述文本数据进行处理，包括：
对文本数据中包含的文本信息进行分词处理，得到包含n个分词元素的分词集合以及m个标签元素的标签集合；
利用关联度计算函数g，计算分词元素和标签元素之间的关联值：
得到分词元素和标签元素之间的关联值矩阵M，其中，为第一调节参数，为第二
调节参数，为第三调节参数，表示元素出现的次数，表示元素出现的次数，表示元素和元素在集合T中共同出现的次数，表示元素和元素在
集合L中共同出现的次数。
根据本公开实施例的一种具体实现方式，所述文本处理器对所述文本数据进行处理，还包括：
对文本数据中包含的主题Y进行聚合计算，得到k个聚合主题集合；
计算关联值矩阵M中与聚合主题集合之间的映射关系：
其中，表示第四调节参数，表示矩阵M中第i行第j列的元素，表示集合Y中的
第i个元素。
根据本公开实施例的一种具体实现方式，所述图像处理器对所述图像数据进行处理，包括：
利用所述k个聚合主题集合，对所述图像集合进行分类，形成k个
图像集合；
利用公式计算图像和文本词汇之间的条件概率值：
其中，表示第五调节参数，表示的均值，表示在上的概
率值，表示在上的概率值；
基于条件概率值建立文本数据和图像数据之间的关联关系。
与上面的方法实施例相对应，参见图3，本发明实施例还公开了一种基于预训练的品牌识别装置30，包括：
采集模块301，用于从多个数据源中采集品牌相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，所述文本数据包括产品描述、广告文案、社交媒体帖子文本；
预处理模块302，用于针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；
训练模块303，用于使用深度学习预训练模型GPT，对所述图像数据和文本数据进
行预训练，将所述图像数据和文本数据整合到同一个模型中，通过计算文本数据的关联值
矩阵M以及聚合主题集合，计算图像数据和文本数据之间的条件概率值P，建立图像数据
和文本数据之间的关联关系，得到预训练后的深度学习模型；
微调模块304，用于使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务。
参见图4，本发明实施例还提供了一种电子设备60，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中基于预训练的品牌识别方法。
本发明实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中。
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的基于预训练的品牌识别方法。
下面参考图4，其示出了适于用来实现本公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备60可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备60操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备60与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备60，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种基于预训练的品牌识别方法，其特征在于，包括：
从多个数据源中采集品牌相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，所述文本数据包括产品描述、广告文案、社交媒体帖子文本；
针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；
使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图像数据和文本数据整合到同一个模型中，通过计算文本数据的关联值矩阵M以及聚合主题集合，计算图像数据和文本数据之间的条件概率值P，建立图像数据和文本数据之间的关联关系，得到预训练后的深度学习模型；
使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务；其中
所述通过计算文本数据的关联值矩阵M以及聚合主题集合，计算图像数据和文本数据之间的条件概率值P，包括：
对文本数据中包含的文本信息进行分词处理，得到包含n个分词元素的分词集合以及m个标签元素的标签集合/>；
对文本数据中包含的主题Y进行聚合计算，得到k个聚合主题集合；
计算关联值矩阵M与聚合主题集合之间的映射关系：
其中，表示第四调节参数，/>表示矩阵M中第i行第j列的元素，/>表示集合Y中的第i个元素；
利用k个聚合主题集合，对所述图像数据进行分类，形成k个图像集合；
利用公式计算图像和文本词汇之间的条件概率值：
其中，表示第五调节参数，/>表示/>的均值，/>表示/>在/>上的概率值，/>表示/>在/>上的概率值；
基于条件概率值建立文本数据和图像数据之间的关联关系。
2.根据权利要求1所述的方法，其特征在于，所述针对所述图像数据和文本数据进行预处理，包括：
缺失值处理：检测缺失值，选择删除包含缺失值的行或列，或者使用插值方法填充缺失值；
异常值处理：检测异常值，对这些异常值进行删除、转换或替换处理。
3.根据权利要求2所述的方法，其特征在于，所述针对所述图像数据和文本数据进行预处理，还包括：
数据类型转换：确保数据的类型正确，将日期字段转换为日期类型，将文本字段转换为数值型；
数据标准化和归一化：如果数据的不同特征具有不同的尺度，对数据进行标准化，使其具有零均值和单位方差，或对数据归一化，将数据缩放到特定范围；
数据编码：对分类数据进行编码，使用独热编码将类别变量转换为二进制形式，以便后续机器学习算法能够处理。
4.根据权利要求3所述的方法，其特征在于，所述针对所述图像数据和文本数据进行预处理，还包括：
特征选择：根据问题的需求选择有用的特征，以降低维度和噪音，提高模型性能；
数据分割：将数据集划分为训练集、验证集和测试集，以便模型训练和评估；
数据保存：将经过预处理和清洗的数据保存为新的数据集，以备后续分析和建模使用。
5.根据权利要求4所述的方法，其特征在于，所述使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图像数据和文本数据整合到同一个模型中，包括：
设置文本处理器和图像处理器，所述文本处理器对所述文本数据进行处理，所述图像处理器对所述图像数据进行处理，所述文本处理器和图像处理器这两个处理器在预设层次上共享参数；
引入跨模态注意力机制，所述跨模态注意力机制在深度学习预训练模型GPT处理文本时关注图像信息，在深度学习预训练模型GPT处理图像时关注文本信息，将不同模态的信息融合在一起，以便深度学习预训练模型GPT理解图像和文本之间的关系。
6.根据权利要求5所述的方法，其特征在于，所述文本处理器对所述文本数据进行处理，包括：
利用关联度计算函数g，计算分词元素和标签元素之间的关联值：
得到分词元素和标签元素之间的关联值矩阵M，其中，为第一调节参数，/>为第二调节参数，/>为第三调节参数，/>表示元素/>出现的次数，/>表示元素/>出现的次数，表示元素/>和元素/>在集合T中共同出现的次数，/>表示元素/>和元素/>在集合L中共同出现的次数。
7.一种基于预训练的品牌识别装置，其特征在于，包括：
采集模块，用于从多个数据源中采集品牌相关的图像数据和文本数据，所述图像数据包括品牌logo、社交媒体帖子图像和产品图像，所述文本数据包括产品描述、广告文案、社交媒体帖子文本；
预处理模块，用于针对所述图像数据和文本数据进行预处理，将所述图像数据和文本数据转化成具有统一数据结构的预处理数据；
训练模块，用于使用深度学习预训练模型GPT，对所述图像数据和文本数据进行预训练，将所述图像数据和文本数据整合到同一个模型中，通过计算文本数据的关联值矩阵M以及聚合主题集合，计算图像数据和文本数据之间的条件概率值P，建立图像数据和文本数据之间的关联关系，得到预训练后的深度学习模型；
微调模块，用于使用有标签的品牌数据对预训练后的深度学习模型进行微调，以便使预训练后的深度学习模型能够准确识别特定品牌的图像和文本，进而得到微调后的深度学习模型，所述微调后的深度学习模型用于进行实时品牌的识别任务；其中
所述通过计算文本数据的关联值矩阵M以及聚合主题集合，计算图像数据和文本数据之间的条件概率值P，包括：
对文本数据中包含的文本信息进行分词处理，得到包含n个分词元素的分词集合以及m个标签元素的标签集合/>；
对文本数据中包含的主题Y进行聚合计算，得到k个聚合主题集合；
计算关联值矩阵M与聚合主题集合之间的映射关系：
其中，表示第四调节参数，/>表示矩阵M中第i行第j列的元素，/>表示集合Y中的第i个元素；
利用k个聚合主题集合，对所述图像数据进行分类，形成k个图像集合；
利用公式计算图像和文本词汇之间的条件概率值：
其中，表示第五调节参数，/>表示/>的均值，/>表示/>在/>上的概率值，/>表示/>在/>上的概率值；
基于条件概率值建立文本数据和图像数据之间的关联关系。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-6任一项所述的基于预训练的品牌识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311395408.9A CN117131426B (zh) | 2023-10-26 | 2023-10-26 | 基于预训练的品牌识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311395408.9A CN117131426B (zh) | 2023-10-26 | 2023-10-26 | 基于预训练的品牌识别方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117131426A CN117131426A (zh) | 2023-11-28 |
| CN117131426B true CN117131426B (zh) | 2024-01-19 |
Family
ID=88863145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311395408.9A Active CN117131426B (zh) | 2023-10-26 | 2023-10-26 | 基于预训练的品牌识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117131426B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930918A (zh) * | 2020-09-29 | 2020-11-13 | 湖南大学 | 一种跨模态的双边个性化人机社交对话生成方法及系统 |
| CN115393692A (zh) * | 2022-09-08 | 2022-11-25 | 南京邮电大学 | 基于生成式预训练语言模型的联想文本到图像生成方法 |
| WO2022251472A1 (en) * | 2021-05-26 | 2022-12-01 | The Regents Of The University Of California | Methods and devices for real-time word and speech decoding from neural activity |
| CN116680578A (zh) * | 2023-04-19 | 2023-09-01 | 中国电子科技集团公司第五十二研究所 | 一种基于跨模态模型的深度语义理解方法 |
| CN116758558A (zh) * | 2023-06-28 | 2023-09-15 | 武汉科技大学 | 基于跨模态生成对抗网络的图文情感分类方法及系统 |
-
2023
- 2023-10-26 CN CN202311395408.9A patent/CN117131426B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930918A (zh) * | 2020-09-29 | 2020-11-13 | 湖南大学 | 一种跨模态的双边个性化人机社交对话生成方法及系统 |
| WO2022251472A1 (en) * | 2021-05-26 | 2022-12-01 | The Regents Of The University Of California | Methods and devices for real-time word and speech decoding from neural activity |
| CN115393692A (zh) * | 2022-09-08 | 2022-11-25 | 南京邮电大学 | 基于生成式预训练语言模型的联想文本到图像生成方法 |
| CN116680578A (zh) * | 2023-04-19 | 2023-09-01 | 中国电子科技集团公司第五十二研究所 | 一种基于跨模态模型的深度语义理解方法 |
| CN116758558A (zh) * | 2023-06-28 | 2023-09-15 | 武汉科技大学 | 基于跨模态生成对抗网络的图文情感分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117131426A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109359244B (zh) | 一种个性化信息推荐方法和装置 | |
| US11200259B2 (en) | System and method for processing contract documents | |
| US20180158078A1 (en) | Computer device and method for predicting market demand of commodities | |
| CN112035653B (zh) | 一种政策关键信息提取方法和装置、存储介质、电子设备 | |
| US8423568B2 (en) | Query classification using implicit labels | |
| US11783132B2 (en) | Technologies for dynamically creating representations for regulations | |
| CN106611375A (zh) | 一种基于文本分析的信用风险评估方法及装置 | |
| CN112364204B (zh) | 视频搜索方法、装置、计算机设备及存储介质 | |
| CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
| CN107807958B (zh) | 一种文章列表个性化推荐方法、电子设备及存储介质 | |
| CN112507153B (zh) | 用于图像检索的方法、计算设备和计算机存储介质 | |
| CN114648392B (zh) | 基于用户画像的产品推荐方法、装置、电子设备及介质 | |
| CN110134844A (zh) | 细分领域舆情监控方法、装置、计算机设备及存储介质 | |
| Angadi et al. | Multimodal sentiment analysis using reliefF feature selection and random forest classifier | |
| CN114399775A (zh) | 文档标题生成方法、装置、设备及存储介质 | |
| Choi et al. | Fake review identification and utility evaluation model using machine learning | |
| CN115659995B (zh) | 一种文本情感分析方法和装置 | |
| CN112199500A (zh) | 针对评论的情感倾向识别方法、装置及电子设备 | |
| CN117131426B (zh) | 基于预训练的品牌识别方法、装置及电子设备 | |
| CN117009578A (zh) | 视频数据的标注方法、装置、电子设备及存储介质 | |
| US20220222715A1 (en) | System and method for detecting and analyzing discussion points from written reviews | |
| CN115098619A (zh) | 资讯去重方法、装置、电子设备及计算机可读取存储介质 | |
| CN115880034B (zh) | 一种数据的采集分析系统 | |
| CN117951303B (zh) | 基于生成式大模型的文本信息关联性分析方法及设备 | |
| CN116958971A (zh) | 视频标签确定方法、片单信息的展示方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |