CN113822224B - 融合多模态学习与多粒度结构学习的谣言检测方法及装置 - Google Patents

融合多模态学习与多粒度结构学习的谣言检测方法及装置 Download PDF

Info

Publication number
CN113822224B
CN113822224B CN202111188521.0A CN202111188521A CN113822224B CN 113822224 B CN113822224 B CN 113822224B CN 202111188521 A CN202111188521 A CN 202111188521A CN 113822224 B CN113822224 B CN 113822224B
Authority
CN
China
Prior art keywords
mode
text
learning
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111188521.0A
Other languages
English (en)
Other versions
CN113822224A (zh
Inventor
李东升
蹇松雷
彭丽雯
乔林波
黄震
黄辰林
阚志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111188521.0A priority Critical patent/CN113822224B/zh
Publication of CN113822224A publication Critical patent/CN113822224A/zh
Application granted granted Critical
Publication of CN113822224B publication Critical patent/CN113822224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种融合多模态学习与多粒度结构学习的谣言检测方法及装置，该方法步骤包括：S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；S02.分别提取文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到多模态特征表示；S03.从多模态特征表示中，提取文本模态和图像模态的数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；S04.根据数据结构特征以及跨模态特征关系，得到所有新闻信息的融合多模态特征表示；S05.将融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。本发明具有实现方法简单、检测效率与精度高且抗干扰性强等优点。

Description

融合多模态学习与多粒度结构学习的谣言检测方法及装置
技术领域
本发明涉及智能谣言检测技术领域，尤其涉及一种融合多模态学习与多粒度结构学习的谣言检测方法及装置。
背景技术
随着越来越多的人们倾向于在社交平台上浏览新闻、分享见闻、表达自己的观点，社交平台上的谣言传播也变得更加广泛和迅速。谣言，通常意味着低质量的包含虚假错误信息的新闻。谣言的传播不仅会破坏信息的可信性，误导人们相信虚假的内容，甚至还可能会造成恐慌。因此，为了提高信息的可信度和减弱谣言可能带来的危害，有效的谣言检测方法是非常必要和急需的。
传统的谣言检测方法通常是依赖于新闻的文本内容来判断其是否为谣言，即将若干人工定义的文本语法特征或语义特征组合作为新闻的特征，比如词频统计、大小写数目、特殊符号、表情符号、情感倾向、评论词汇等等，通过提取这类特征来判断新闻是否为谣言。但是由于人工定义的文本特征通常高度依赖于文本的写作习惯和文本内容所属的特定领域，而社交网络上的文本数据量巨大，且是来源于各个不同的领域，仅仅使用文本特征来检测社交网络上来自各个领域的不同出处的谣言明显是不够高效的。
随着图像和视频等视觉信息在社交平台上的广泛使用，研究者们开始探索同时结合新闻的文本和图像信息的谣言检测方式。由于相比于文本内容，图像和视频等视觉信息更能吸引人们的注意力，因此在检测谣言方面，视觉信息比文本更加具有可识别性，因而结合文本与图像信息可以实现更为有效的谣言检测。但是，针对于结合新闻的文本和图像信息实现谣言检测，目前通常都是先各自学习文本和图像两个不同模态的单模态特征，然后简单地拼接单模态特征后用于谣言检测，或者简单的使用VAE(变分自动编码器)重构特征来获得新闻的多模态特征后用于谣言检测，上述方式仍然会存在以下问题：
1、仅能够获取文本和图像模态的单模态特征，而无法捕获文本和图像模态内部的更细粒度的特征，而单模态特征易于被另一个模态中的噪声信息所影响，直接基于单模态特征进行谣言检测的检测精度不高；
2、仅能够获取文本和图像模态在各自模态下的特征，无法有效捕获跨模态的特征，因而不能够充分的表征新闻信息在文本模态与图像模态之间的跨模态特征特性，致使影响最终的谣言检测精度。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、检测效率与精度高且抗干扰性强的融合多模态学习与多粒度结构学习的谣言检测方法及装置。
为解决上述技术问题，本发明提出的技术方案为：
一种融合多模态学习与多粒度结构学习的谣言检测方法，步骤包括：
S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；
S02.分别提取所述文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；
S03.从所述多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；
S04.根据所述单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；
S05.将所述融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。
进一步的，所述步骤S03中，使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征，所述基于度量的三元组学习方式中通过学习所述文本模态、图像模态中一种模态内三元组样本之间的距离关系，并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系。
进一步的，所述使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征的步骤包括：
S301.从所述多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本，所述三元组样本中包括目标样本、正样本和负样本；
S302.取所述图像模态、文本模态中一种作为指导模态、另一种作为被指导模态；
S303.计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系；
S304.使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上，并使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的特征关系；
S305.更换所述图像模态、文本模态所对应的指导模态、被指导模态的类型，返回步骤S303，以重新使用更换后的指导模态的所述距离关系，指导学习被指导模态中的所述目标样本和所述正负样本之间的特征关系。
进一步的，所述步骤S304中，使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的关系包括：如果当前的指导模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系应当满足将大于预设阈值；如果当前的指导模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系应当满足/>将小于预设阈值，其中/>为被指导模态中的目标样本/>与正样本/>之间的关系，/>为被指导模态中的目标样本/>与负样本/>之间的关系，/>表示/>与/>之间的差值函数。
进一步的，所述步骤S03中，使用基于对照的二元组学习方式捕获所述跨模态特征关系，其中通过基于所述图像模态、文本模态的样本形成包含正负样本对的二元组，使用所述正负样本对的对照关系指导二元组中样本之间相似性关系的学习。
进一步的，所述使用基于对照的二元组学习方式捕获所述跨模态特征关系的步骤包括：
S311.从所述多模态特征表示中选取两个新闻样本，将其中一个新闻样本所对应的目标样本、正样本形成正样本对、将所述目标样本与另一个新闻样本所对应的负样本形成负样本对，所述目标样本、正样本对应不同的模态，由所述正样本对、负样本构成一个二元组；
S312.根据所述二元组中正负样本对的对照关系，指导使用一个预设相似性度量函数分别计算所述二元组中目标样本和正样本以及目标样本和负样本之间的相似性。
进一步的，所述步骤S04中，使用自注意力机制得到待检测数据集中所有新闻信息的所述融合多模态特征表示，具体步骤包括：
S401.将文本模态所对应的多模态特征表示和图像模态所对应的多模态特征表示/>进行拼接，得到拼接多模态特征表示/>即为：
S402.根据所述拼接多模态特征表示按照下式计算文本模态所对应的多模态特征表示/>和图像模态所对应的多模态特征表示/>各自对融合多模态特征表示的贡献度：
其中，WQ，WK是权重参数矩阵，是维度，A中每一个值代表拼接矩阵中每一个维度对融合多模态特征表示每一个维度的贡献度；
S403.根据所述拼接多模态特征表示步骤S402计算得到的所述对融合多模态特征表示的贡献度，按下式计算待检测数据集中所有新闻信息的融合多模态特征表示hIT为：
其中WV是权重参数矩阵。
进一步的，所述步骤S2中，先将新闻信息的文本模态数据、图像模态数据输入到自然语言预处理模型中，初步得到文本模态、图像模态所对应的单模态特征，然后将得到的文本模态、图像模态所对应的单模态特征输入至多模态映射网络中，得到文本模态、图像模态所对应的所述多模态特征表示。
一种融合多模态学习与多粒度结构学习的谣言检测装置，包括：
获取模块，用于获取待检测数据集中新闻信息的文本模态数据和图像模态数据；
多模态学习模块，用于分别初步提取所述文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；
多粒度结构学习模块，用于从所述多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；
融合模块，用于根据所述单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；
检测模块，用于将所述融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。
一种计算机设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
与现有技术相比，本发明的优点在于：
1、本发明融合多模态学习和多粒度结构学习方式来共同实现谣言检测，根据多模态数据的特点，首先获取初步的新闻文本模态和图像模态表示，将不同模态的数据特征映射到相同空间后得到多模态特征表示，以便于后续进行多粒度结构学习；然后从多模态特征表示中提取出单模态数据结构特征以及捕获出细粒度的跨模态特征关系，最终得到新闻的融合多模态特征表示进行谣言检测，能够融合文本和图像模态的单模态数据结构特征与跨模态特征关系，降低单模态内可能存在的噪声对多模态特征学习的影响，同时充分学习细粒度的跨模态特征，有效提高谣言检测的精度，实现快速、精准的谣言检测。
2、本发明进一步基于度量的三元组学习方式进行单模态特征提取，通过学习一种模态内三元组样本之间的距离关系，同时由学习的距离关系再用于指导另一个模态内三个样本之间特征关系的学习，能够学习每种单模态内部的数据结构关系，有效捕获单模态内部更细粒度的结构特征，同时将学习到的特征传递到另一个模态，使得单模态内样本特征表示的学习中能够利用另一个模态传递过来的补充信息，实现更有效的多模态特征学习，降低单模态内可能存在的噪声对多模态特征学习的影响。
3、本发明进一步使用基于对照的二元组学习方式，捕获跨模态的数据关系特征，通过提取并强化来自不同模态的二元组样本之间的对照关系，能够加强不同模态间对应样本间的联系，增大同模态中不同样本的差异，从而使得模型学习到的多模态特征表示能够充分反映细粒度的跨模态数据关系。
附图说明
图1是本实施例融合多模态学习与多粒度结构学习的谣言检测方法的实现流程示意图。
图2是本实施例融合多模态学习与多粒度结构学习的谣言检测方法的实现原理示意图。
图3是本发明在具体应用实施例中多粒度结构学习中三元组学习(对应图(a))与二元组学习(对应图(b))的实现原理示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1、2所示，本实施例融合多模态学习与多粒度结构学习的谣言检测方法的步骤包括：
S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；
S02.分别提取文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；
S03.从多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；
S04.根据单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；
S05.将融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。
本实施例融合多模态学习和多粒度结构学习方式来共同实现谣言检测，根据多模态数据的特点，首先获取初步的新闻文本模态和图像模态表示，将不同模态的数据特征映射到相同空间后得到多模态特征表示，以便于后续进行多粒度结构学习；然后从多模态特征表示中提取出单模态数据结构特征以及捕获出细粒度的跨模态特征关系，最终得到新闻的融合多模态特征表示进行谣言检测，能够融合文本和图像模态的单模态数据结构特征与跨模态特征关系，降低单模态内可能存在的噪声对多模态特征学习的影响，同时充分学习细粒度的跨模态特征，从而有效提高谣言检测的精度，实现快速、精准的谣言检测。
一个目标新闻样本，通常包含一条文本数据，而同时对应多张图片数据。根据谣言检测任务的特点，本实施例步骤S1首先获取待检测任务数据集中新闻信息的文本模态数据和对应的图像模态数据，具体对待检测任务数据集中所有新闻信息，为每一条新闻样本确定对应的一条文本模态数据和一张图像模态数据，图像模态数据可采用随机选择新闻样本的一张图片的方式确定，即随机选取一张图片作为目标新闻样本的图像模态数据，将选择的图像模态数据与文本数据对应，形成该目标新闻样本的文本模态数据与图像模态数据。当然图像模态数据的选取也可以不采用随机选取的方式，如可以根据实际需求采用预设的选取规则进行选取。
本实施例中，步骤S2中，先将新闻信息的文本模态数据、图像模态数据输入到自然语言预处理模型中，初步得到文本模态、图像模态所对应的单模态特征，然后将得到的文本模态、图像模态所对应的单模态特征输入至多模态映射网络中，得到文本模态、图像模态所对应的多模态特征表示。
在具体应用实施例中，可以利用自然语言预处理模型(如Word2Vec、Bert、XLNet等)和图像预处理模型(如VGG-19、ResNet等)初步获取新闻信息的文本单模态特征和图像单模态特征，然后利用多模态映射网络作用于单模态特征来得到多模态特征表示，具体包括以下步骤：
S201.将新闻信息的文本数据{T1,T2,…,Tn}输入自然语言预处理模型gT，得到新闻的初步文本单模态特征{hTu 1,hTu 2,…,hTu n}；以及将新闻的图片数据{I1,I2,…,In}输入图像预处理模型gI，得到新闻的初步图像单模态特征{hIu 1,hIu 2,…,hIu n}；
S202.将步骤S201得到的文本单模态特征和图像单模态特征分别输入文本多模态映射网络fT和图像多模态映射网络fI，即分别使用文本多模态映射网络fT和图像多模态映射网络fI作用于得到的文本模态和图片模态的单模态特征，得到文本模态的多模态特征表示{hT 1,hT 2,…,hT n}和图片模态的多模态特征表示{hI 1,hI 2,…,hI n}。
多模态任务中，不同单模态通常包含不同的细粒度结构特征。本实施例步骤S03中，使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征，基于度量的三元组学习方式中通过学习文本模态、图像模态中一种模态内三元组样本之间的距离关系，并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系，即当学习图像模态中三元组样本之间的距离关系后，使用图像模态学习到的距离关系指导学习文本模态内样本之间的特征关系，当学习文本模态中三元组样本之间的距离关系后，使用文本模态学习到的距离关系再指导学习图像模态内样本之间的特征关系，使得最终能够学习到文本、图像模态单模态内部的细粒度的结构特征。上述三元组包括目标样本、正样本和负样本，其中正样本为属于指定类别的样本，负样本为不属于指定类别的样本，目标样本、正样本和负样本可预先按照类型进行标记。
本实施例基于度量的三元组学习方式进行单模态特征提取，通过学习一种模态内三元组样本之间的距离关系，同时由学习的距离关系再用于指导另一个模态内三个样本之间特征关系的学习，通过这种距离关系的学习和指导，能够学习每种单模态内部的数据结构关系，有效捕获单模态内部更细粒度的结构特征，并将学习到的结构特征传递到另一个模态，使得单模态内样本特征表示的学习中能够利用另一个模态传递过来的补充信息，实现更有效的多模态特征学习，降低单模态内可能存在的噪声对多模态特征学习的影响。
本实施例中在多粒度学习过程中，如图3所示中图(a)所示，使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征的具体步骤包括：
S301.从多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本，三元组样本中包括目标样本、正样本和负样本；
S302.取图像模态、文本模态中一种作为指导模态、另一种作为被指导模态；
S303.计算当前的指导模态所对应的各三元组样本中目标样本与正负样本之间的距离关系；
S304.使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上，并使用步骤S303得到的距离关系指导学习当前的被指导模态中目标样本和正负样本之间的特征关系；
S305.更换图像模态、文本模态所对应的指导模态、被指导模态的类型，返回步骤S303，以重新使用更换后的指导模态的距离关系，指导学习被指导模态中的目标样本和正负样本之间的特征关系。
本实施例上述通过迭代的方式，使用一种模态内部结构特征指导另一种模态的关系学习，能够充分捕获文本、图像每个单模态内部的结构特征。
本实施例上述步骤S301中，具体从待检测任务数据集的映射后的多模态特征表示中选取若干三元组样本<(hT a，hI a)，(hT p，hI p)，(hT n，hI n)>，其中hT a记为文本模态中的目标样本，hT p记为文本模态中的正样本，hT n记为文本模态中的负样本，hI a记为图像模态中的目标样本，hIp记为图像模态中的正样本，hI n记为图像模态中的负样本。
上述步骤S302中，具体取图像模态为指导模态，则文本模态为被指导模态，步骤S304中则更换为文本模态为指导模态、图像模态为被指导模态。当然也可以在步骤S302中取指导模态为文本模态、图像模态为被指导模态，在步骤S304中再更换图像模态为指导模态、文本模态为被指导模态。
上述步骤S303中具体计算当前的指导模态(以图像模态为例)所对应的各三元组样本中目标样本与正负样本之间的欧式距离，即为：
其中，表示三元组中图像模态内目标样本和正样本之间的欧式距离，表示图像模态内目标样本和负样本之间的欧式距离。
上述步骤S304中，距离函数具体为具备可学习能力的距离函数，距离函数类型具体可以根据实际需求配置。使用距离函数计算被指导模态(以文本模态为例)内目标样本和正负样本之间的关系，具体可采用以下计算公式：
其中，代表该三元组中文本模态内目标样本和正样本之间的关系，代表文本模态内目标样本和负样本之间的关系，WD代表权重矩阵。
经过上述步骤的迭代后即可得到文本模态、图像模态内部样本之间的关系，捕获到单模态内部更细粒度的结构特征。
在具体应用实施例中，上述使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征的详细步骤为：
本实施例步骤S304中，使用步骤S303得到的距离关系指导学习当前的被指导模态中目标样本和正负样本之间的关系包括：如果当前的指导模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系应当满足将大于预设阈值，如果当前的指导模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系应当满足/>将小于预设阈值，其中/>为被指导模态中的目标样本/>与正样本/>之间的关系，/>为被指导模态中的目标样本/>与负样本/>之间的关系。r(x,y)可以是任意度量变量x,y之间差值的函数，/>表示/>与/>之间的差值函数，也就是度量被指导模态中目标样本与正负样本之间距离的差值。本实施例中具体设置r(x,y)＝x-y，r()越大代表被指导模态中目标样本与正样本之间的距离比目标样本与负样本之间的距离越大，r()越小代表被指导模态中目标样本与正样本之间的距离比目标样本与负样本之间的距离越小，而被指导模态中目标样本与正负样本间距离关系是由指导模态中样本间关系来决定的。本实施例中具体如果图像模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，也就是/>那么文本模态中目标样本和正负样本之间的距离关系应当满足/>越大；反之，如果图像模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离，也就是/>那么文本模态中目标样本和正负样本之间的距离关系应当满足/>越小。通过利用另一个模态传递过来的距离补充信息，指导单模态内样本特征表示的学习，能够实现更有效的多模态特征学习，提高多模态特征的学习效果。
在具体应用实施例中，上述使用基于度量的三元组学习方式，提取得到文本模态和图像模态的单模态数据结构特征的详细步骤为：
步骤(1)按照式(1)、(2)分别计算三元组内图像模态中目标样本和正负样本之间的距离关系。
步骤(2)按照式(3)、(4)用一个可学习的距离函数D计算文本模态中目标样本和正负样本之间的关系，
步骤(3)根据三元组中图像模态内目标样本与正负样本之间的距离关系，指导文本模态中目标样本与正负样本之间的关系。具体而言，在本实施例中，如果图像模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，也就是 那么文本模态中目标样本和正负样本之间的关系应当满足/>越大；反之，如果图像模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离，也就是/>那么文本模态中目标样本和正负样本之间的关系应当满足/>越小；
步骤(4)计算文本模态数据中目标样本和正负样本之间的距离关系和并用一个可学习的距离函数计算图像模态中目标样本和正负样本之间的关系和/>然后用文本模态所得距离关系指导图像模态中可学习的关系。
步骤(5)重复步骤(1)-(5)，迭代使用一种模态距离关系指导另一种模态中关系学习，使得每个单模态内部的结构特征能够被充分提取和表示。
本实施例步骤S03中，多粒度学习过程中具体使用基于对照的二元组学习方式捕获跨模态特征关系，二元组学习过程如图3中图(b)所示，其中通过基于图像模态、文本模态的样本形成包含正负样本对的二元组，使用正负样本对的对照关系指导二元组中样本之间相似性关系的学习，即使用基于对照的二元组学习方式，捕获跨模态的数据关系特征，通过提取并强化来自不同模态的二元组样本之间的对照关系，能够加强不同模态间对应样本间的联系，增大同模态中不同样本的差异，使得模型学习到的多模态特征表示能够充分反映细粒度的跨模态数据关系。
本实施例上述使用基于对照的二元组学习方式捕获跨模态特征关系的截图步骤包括：
S311.从多模态特征表示中选取两个新闻样本，将其中一个新闻样本所对应的目标样本、正样本形成正样本对、将目标样本与另一个新闻样本所对应的负样本形成负样本对，目标样本、正样本对应不同的模态，由正样本对、负样本构成一个二元组；
S312.根据二元组中正负样本对的对照关系，指导使用一个预设相似性度量函数分别计算二元组中目标样本和正样本以及目标样本和负样本之间的相似性。
上述步骤S311中，具体从待检测任务数据集映射后多模态特征表示的某种模态数据(以文本模态为例)中选取若干目标样本，得到如<(hT a，hI p)，(hT a，hI n)>所示的二元组，其中(hT a，hI p)是正样本对，(hT a，hI n)是负样本对；
上述步骤S312中具体使用一个具有可学习能力的相似性度量函数，分别计算二元组中目标样本和正样本以及目标样本和负样本之间的相似性，将一个包含目标样本hT a和正(负)样本hI p(hI n)的正(负)样本对的相似性值记为s，定义s的计算公式如下：
其中，Ws是权重系数，σ(.)是一个激活函数，是正样本对的融合多模态特征表示，/>是负样本对的融合多模态特征表示
根据二元组中正负样本对的对照关系指导上述目标样本和正样本以及目标样本和负样本之间相似性关系的学习。具体计算所有二元组中正负样本对的相似性得分差值，确保二元组中正样本对的相似性得分高于负样本对的相似性得分一个预设固定值m，即；
本实施例通过上述基于对照的二元组学习方式，能够进一步加强跨模态的二元组中正样本对之间的相似性，增大正负样本对之间的差异性，使得模型学习到更丰富的跨模态信息。
经过上述步骤的多粒度结构学习之后，提取得到本模态和图像模态的单模态数据特征和跨模态特征的多模态特征，进一步则融合文本模态和图像模态的多模态特征，即可得到所有新闻信息的融合多模态特征表示。
本实施例步骤S04中，具体使用自注意力机制得到待检测数据集中所有新闻信息的融合多模态特征表示，步骤包括：
S401.将文本模态所对应的多模态特征表示和图像模态所对应的多模态特征表示/>进行拼接，得到拼接多模态特征表示/>即为：
S402.根据拼接多模态特征表示按照下式计算文本模态所对应的多模态特征表示/>和图像模态所对应的多模态特征表示/>各自对融合多模态特征表示的贡献度：
其中，WQ，WK是权重参数矩阵，是维度，A中每一个值代表拼接矩阵中每一个维度对融合多模态特征表示每一个维度的贡献度；
S403.根据拼接多模态特征表示步骤S402计算得到的对融合多模态特征表示的贡献度，按下式计算待检测数据集中所有新闻信息的融合多模态特征表示hIT为：
其中WV是权重参数矩阵。
上述如拼接多模态特征表示、贡献度以及融合多模态特征表示的具体计算公式，当然也可以根据实际需求采用其他的表达方式，或者在上述表达式的基础上进行适应性调整、优化以满足不同的应用需求。
经过上述步骤即可得到充分融合文本模态、图像模态的多模态特征的融合多模态特征表示，以使得能够充分表征新闻信息的多模态特性，提高谣言检测的精度，将上述得到的新闻的融合多模态特征表示输入一个谣言检测网络中，即可判断出输入新闻是否为谣言。上述谣言检测网络具体可以采用多层前馈神经网络等构建实现。
综上，本实施例首先使用自然语言预处理模型和图像预处理模型对新闻的文本和图像两个模态的数据进行初步处理，然后用两种模态的多模态映射网络将两种模态的特征表示映射到同一个多模态空间，便于后续的多粒度结构学习，然后借助基于度量的三元组学习方式学习每种单模态内部的数据结构关系，能够有效捕获单模态内部更细粒度的结构特征，同时降低单模态内可能存在的噪声对多模态特征学习的有害影响，基于对照的二元组学习方式则能够捕获跨模态的关系，增强新闻数据中跨模态的数据之间的联系，并增加不同样本的差异性，充分学习细粒度的跨模态特征，最终得到新闻的融合多模态特征表示，通过将该表示输入一个谣言检测网络即可精准、快速的判断其是否为谣言。
以下以在具体应用实施例中采用本发明上述方法实现谣言检测为例，对本发明上述方法进行进一步说明。如图2、3所示，本实施例实现谣言检测的详细步骤为：
步骤一：根据目标任务数据集中新闻数据同时包含文本模态数据和图像模态数据的特点，先用在大规模文本数据集上训练过的自然语言预处理模型，如Word2Vec、Bert、XLNet等，提取新闻的文本单模态特征{hTu 1,hTu 2,…,hTu n}；同时用在大规模图像数据集上训练过的图像预处理模型，如VGG-19、ResNet等，提取新闻的图片单模态特征{hIu 1,hIu 2,…,hIu n}。
步骤二：分别使用文本多模态映射网络和图像多模态映射网络作用于步骤一中得到的文本和图片的单模态特征，得到文本的多模态特征表示{hT 1,hT 2,…,hT n}和图片的多模态特征表示{hI 1,hI 2,…,hI n}。
步骤三：使用基于度量的三元组学习方式捕获文本和图像单模态内细粒度的结构特征。
步骤3.1从步骤二中映射之后的所有文本和图像模态的多模态特征表示里选取若干所需三元组样本，得到如<(hT a，hI a)，(hT p，hI p)，(hT n，hI n)>的一个三元组；
步骤3.2分别按照式(1)、(2)计算三元组内某种模态数据(以图像模态为例)中目标样本和正负样本之间的距离关系
步骤3.3用一个可学习的距离函数D按照(3)、(4)计算另一种模态中(文本模态)目标样本和正负样本之间的关系
步骤3.4根据三元组中图像模态内目标样本与正负样本之间的距离关系，指导文本模态中目标样本与正负样本之间的关系：如果图像模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，也就是那么文本模态中目标样本和正负样本之间的关系应当满足/>越大；反之，如果图像模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离，也就是/> 那么文本模态中目标样本和正负样本之间的关系应当满足越小；
步骤3.5计算文本模态数据中目标样本和正负样本之间的距离关系和并用一个可学习的距离函数计算图像模态中目标样本和正负样本之间的关系和/>然后用文本模态所得距离关系指导图像模态中可学习的关系。
步骤3.6重复步骤3.2-3.5，迭代使用一种模态距离关系指导另一种模态中关系学习，使得每个单模态内部的结构特征能够被充分提取和表示。
步骤四：使用基于对照的二元组学习方式捕获跨模态的关系信息。
步骤4.1从步骤二映射之后得到的文本模态的多模态特征表示中选取的目标样本，得到如<(hT a，hI p)，(hT a，hI n)>所示的二元组，其中(hT a，hI p)是正样本对，(hT a，hI n)是负样本对；
步骤4.2按照式(5)、(6)分别计算步骤4.1中选取的若干二元组中正负样本对的相似性
步骤4.3按照式(7)计算所有二元组中正负样本对的相似性得分差值，确保二元组中正样本对的相似性得分高于负样本对的相似性得分一个预设固定值m。
经过上述步骤三和步骤四的多粒度结构学习，文本多模态特征表示和图像多模态特征表示/>已经分别充分提取了每种模态内部的多粒度结构特征，并且捕获了跨模态的关系特征。
步骤五：使用自注意力机制得到目标任务数据集中所有新闻数据的融合多模态特征表示。
步骤5.1按照式(8)拼接文本多模态特征表示和图像多模态特征表示/>得到拼接多模态特征表示/>
步骤5.2按照式(9)计算文本多模态特征和图像多模态特征表示各自对融合多模态特征表示的贡献度。
步骤5.4根据步骤5.1和5.2的计算结果，按照式(10)计算待检测数据集中所有新闻的融合多模态特征表示hIT。
步骤六：将待检测数据集中所有新闻的融合多模态特征表示输入谣言检测网络，判断输入新闻是否为谣言，最终实现能够快速准确对输入新闻是否为谣言进行判断的目的。
本实施例还提供一种融合多模态学习与多粒度结构学习的谣言检测装置，包括：
获取模块，用于获取待检测数据集中新闻信息的文本模态数据和图像模态数据；
多模态学习模块，用于分别初步提取文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；
多粒度结构学习模块，用于从多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；
融合模块，用于根据单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；
检测模块，用于将融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言。
本实施例融合多模态学习与多粒度结构学习的谣言检测装置与上述融合多模态学习与多粒度结构学习的谣言检测方法为一一对应，在此不再一一赘述。
本实施例还提供计算机设备，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，处理器用于执行计算机程序以执行如上述融合多模态学习与多粒度结构学习的谣言检测方法。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (6)

1.一种融合多模态学习与多粒度结构学习的谣言检测方法，其特征在于，步骤包括：
S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据；
S02.分别提取所述文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；
S03.从所述多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；
S04.根据所述单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；
S05.将所述融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言；
所述步骤S03中，使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征，所述基于度量的三元组学习方式中通过学习所述文本模态、图像模态中一种模态内三元组样本之间的距离关系，并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系；
所述使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征的步骤包括：
S301.从所述多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本，所述三元组样本中包括目标样本、正样本和负样本；
S302.取所述图像模态、文本模态中一种作为指导模态、另一种作为被指导模态；
S303.计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系；
S304.使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上，并使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的特征关系；
S305.更换所述图像模态、文本模态所对应的指导模态、被指导模态的类型，返回步骤S303，以重新使用更换后的指导模态的所述距离关系，指导学习被指导模态中的所述目标样本和所述正负样本之间的特征关系。
2.根据权利要求1所述的融合多模态学习与多粒度结构学习的谣言检测方法，其特征在于，所述步骤S304中，使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的关系包括：如果当前的指导模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系满足将大于预设阈值；如果当前的指导模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离，则指导被指导模态中目标样本和正负样本之间的关系满足将小于预设阈值，其中/>为被指导模态中的目标样本与正样本之间的关系，/>为被指导模态中的目标样本与负样本之间的关系，/>表示与/>之间的差值函数。
3.根据权利要求1～2中任意一项所述的融合多模态学习与多粒度结构学习的谣言检测方法，其特征在于， 所述步骤S04中，使用自注意力机制得到待检测数据集中所有新闻信息的所述融合多模态特征表示，具体步骤包括：
S401.将文本模态所对应的多模态特征表示和图像模态所对应的多模态特征表示/>进行拼接，得到拼接多模态特征表示/>，即为：
；
S402.根据所述拼接多模态特征表示，按照下式计算文本模态所对应的多模态特征表示/>和图像模态所对应的多模态特征表示/>对融合多模态特征表示的贡献度：
；
其中，，/>是权重参数矩阵，/>是维度，/>中每一个值代表拼接矩阵中每一个维度对融合多模态特征表示每一个维度的贡献度；
S403.根据所述拼接多模态特征表示、步骤S402计算得到的所述对融合多模态特征表示的贡献度，按下式计算待检测数据集中所有新闻信息的融合多模态特征表示h IT为：
；
其中是权重参数矩阵。
4.根据权利要求1～2中任意一项所述的融合多模态学习与多粒度结构学习的谣言检测方法，其特征在于，所述步骤S02中，先将新闻信息的文本模态数据、图像模态数据输入到自然语言预处理模型中，初步得到文本模态、图像模态所对应的单模态特征，然后将得到的文本模态、图像模态所对应的单模态特征输入至多模态映射网络中，得到文本模态、图像模态所对应的所述多模态特征表示。
5.一种融合多模态学习与多粒度结构学习的谣言检测装置，其特征在于，包括：
获取模块，用于获取待检测数据集中新闻信息的文本模态数据和图像模态数据；
多模态学习模块，用于分别初步提取所述文本模态数据和图像模态数据的单模态特征表示，并映射到同一个多模态特征空间，得到文本模态和图像模态的多模态特征表示；
多粒度结构学习模块，用于从所述多模态特征表示中，提取文本模态和图像模态的单模态数据结构特征，以及捕获文本模态和图像模态之间的跨模态特征关系；
融合模块，用于根据所述单模态数据结构特征以及跨模态特征关系，得到待检测数据集中所有新闻信息的融合多模态特征表示；
检测模块，用于将所述融合多模态特征表示输入到预先构建的谣言检测网络中，检测出新闻信息是否为谣言；
所述多粒度结构学习模块中，使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征，所述基于度量的三元组学习方式中通过学习所述文本模态、图像模态中一种模态内三元组样本之间的距离关系，并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系；
所述使用基于度量的三元组学习方式，提取得到所述文本模态和图像模态的单模态数据结构特征包括：
从所述多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本，所述三元组样本中包括目标样本、正样本和负样本；
取所述图像模态、文本模态中一种作为指导模态、另一种作为被指导模态；
计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系；
使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上，并使用得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的特征关系；
更换所述图像模态、文本模态所对应的指导模态、被指导模态的类型，返回执行计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系，以重新使用更换后的指导模态的所述距离关系，指导学习被指导模态中的所述目标样本和所述正负样本之间的特征关系。
6.一种计算机设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～4中任意一项所述方法。
CN202111188521.0A 2021-10-12 2021-10-12 融合多模态学习与多粒度结构学习的谣言检测方法及装置 Active CN113822224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111188521.0A CN113822224B (zh) 2021-10-12 2021-10-12 融合多模态学习与多粒度结构学习的谣言检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188521.0A CN113822224B (zh) 2021-10-12 2021-10-12 融合多模态学习与多粒度结构学习的谣言检测方法及装置

Publications (2)

Publication Number Publication Date
CN113822224A CN113822224A (zh) 2021-12-21
CN113822224B true CN113822224B (zh) 2023-12-26

Family

ID=78920187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188521.0A Active CN113822224B (zh) 2021-10-12 2021-10-12 融合多模态学习与多粒度结构学习的谣言检测方法及装置

Country Status (1)

Country Link
CN (1) CN113822224B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579964A (zh) * 2022-04-29 2022-06-03 成都明途科技有限公司 一种信息监测方法及装置、电子设备、存储介质
CN114792424A (zh) * 2022-05-30 2022-07-26 北京百度网讯科技有限公司 文档图像的处理方法、装置及电子设备
CN115062328B (zh) 2022-07-12 2023-03-10 中国科学院大学 一种基于跨模态数据融合的信息智能解析方法
CN115809327B (zh) * 2023-02-08 2023-05-05 四川大学 一种多模融合和话题的实时社交网络谣言检测方法
CN117854599B (zh) * 2024-03-07 2024-05-28 北京大学 多模态细胞数据的批次效应处理方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法
CN109816039A (zh) * 2019-01-31 2019-05-28 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN110059157A (zh) * 2019-03-18 2019-07-26 华南师范大学 一种图文跨模态检索方法、系统、装置和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079444B (zh) * 2019-12-25 2020-09-29 北京中科研究院 一种基于多模态关系的网络谣言检测方法
CN111160452A (zh) * 2019-12-25 2020-05-15 北京中科研究院 一种基于预训练语言模型的多模态网络谣言检测方法
US11734352B2 (en) * 2020-02-14 2023-08-22 Naver Corporation Cross-modal search systems and methods
CN111753190A (zh) * 2020-05-29 2020-10-09 中山大学 一种基于元学习的无监督跨模态哈希检索方法
CN112035669B (zh) * 2020-09-09 2021-05-14 中国科学技术大学 基于传播异质图建模的社交媒体多模态谣言检测方法
CN113065577A (zh) * 2021-03-09 2021-07-02 北京工业大学 一种面向目标的多模态情感分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法
CN109816039A (zh) * 2019-01-31 2019-05-28 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN110059157A (zh) * 2019-03-18 2019-07-26 华南师范大学 一种图文跨模态检索方法、系统、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于复杂异构数据的表征学习研究;蹇松雷;中国博士学位论文全文数据库 信息科技辑(第01期);全文 *

Also Published As

Publication number Publication date
CN113822224A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113822224B (zh) 融合多模态学习与多粒度结构学习的谣言检测方法及装置
JP7127106B2 (ja) 質問応答処理、言語モデルの訓練方法、装置、機器および記憶媒体
US9373075B2 (en) Applying a genetic algorithm to compositional semantics sentiment analysis to improve performance and accelerate domain adaptation
CN113065577A (zh) 一种面向目标的多模态情感分类方法
RU2640297C2 (ru) Определение степеней уверенности, связанных со значениями атрибутов информационных объектов
CN109101490B (zh) 一种基于融合特征表示的事实型隐式情感识别方法和系统
KR101416291B1 (ko) 규칙기반 다중 에이전트를 이용한 감성 분류 시스템 및 그 방법
CN113593661A (zh) 临床术语标准化方法、装置、电子设备及存储介质
CN114528827A (zh) 一种面向文本的对抗样本生成方法、系统、设备及终端
CN115712740B (zh) 多模态蕴含增强图像文本检索的方法和系统
CN113360582A (zh) 基于bert模型融合多元实体信息的关系分类方法及系统
CN114742071B (zh) 基于图神经网络的汉越跨语言观点对象识别分析方法
CN117371456A (zh) 一种基于特征融合的多模态讽刺检测方法及系统
CN116304042A (zh) 一种基于多模态特征自适应融合的虚假新闻检测方法
CN115829058A (zh) 训练样本处理方法、跨模态匹配方法、装置、设备和介质
CN116434023A (zh) 基于多模态交叉注意力网络的情感识别方法、系统及设备
CN111898038A (zh) 一种基于人机协作的社交媒体假新闻检测方法
CN115270807A (zh) 网络用户的情感倾向判定方法、装置、设备及存储介质
CN114548274A (zh) 一种基于多模态交互的谣言检测方法及系统
CN117391051B (zh) 一种融合情感的共同注意网络多模态虚假新闻检测方法
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN117390299A (zh) 基于图证据的可解释性虚假新闻检测方法
CN114820885B (zh) 图像编辑方法及其模型训练方法、装置、设备和介质
CN114692778B (zh) 用于智能巡检的多模态样本集生成方法、训练方法及装置
CN114579876A (zh) 虚假信息检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant