CN111222000A - 一种基于图卷积神经网络的图像分类方法及系统 - Google Patents

一种基于图卷积神经网络的图像分类方法及系统 Download PDF

Info

Publication number
CN111222000A
CN111222000A CN201911420143.7A CN201911420143A CN111222000A CN 111222000 A CN111222000 A CN 111222000A CN 201911420143 A CN201911420143 A CN 201911420143A CN 111222000 A CN111222000 A CN 111222000A
Authority
CN
China
Prior art keywords
image
neural network
words
word
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911420143.7A
Other languages
English (en)
Other versions
CN111222000B (zh
Inventor
李旦
梁庆中
孙晨鹏
赵东阳
陈仁谣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201911420143.7A priority Critical patent/CN111222000B/zh
Publication of CN111222000A publication Critical patent/CN111222000A/zh
Application granted granted Critical
Publication of CN111222000B publication Critical patent/CN111222000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于图卷积神经网络的图像分类方法及系统，具体包括：用爬虫根据图像标签在网络上爬取图像对应一段文本信息；对所述文本信息预处理，得到词语；计算词语与词语之间的PMI值、图像与词语之间的TF‑IDF值；根据所述PMI值和TF‑IDF成图，构成图像与词语作为结点的图结构数据；利用图卷积神经网络对图结构数据进行处理，得到图像分类结果；本发明的有益效果是：在原有的图像数据上，为每张图像添加对应的文本描述信息，利用图卷积神经网络提高图像分类准确率。

Description

一种基于图卷积神经网络的图像分类方法及系统
技术领域
本发明涉及图像分类领域，尤其涉及一种基于图卷积神经网络的图像分类方法及系统。
背景技术
随着计算机网络的不断发展，人们每天从互联网获得大量的信息，这些信息包含了文本信息、图像信息、音频信息、视频信息等等，如何更好地获取人们感兴趣的信息，就需要对这些信息进行分类。目前针对文本信息的分类技术相对来说比较成熟，但其他三类信息的分类技术却有所欠缺，于是本人提出一种基于图卷积神经网络的图像分类方法。
现有的图像分类方法大都局限于如何更有效地利用图像本身的视觉信息，却忽略了引入外部信息来丰富文本信息的想法，这样导致文本分类准确率不。
发明内容
本发明的目的在于针对上述技术缺陷，提供一种基于图卷积神经网络的图像分类方法及系统，具体包括以下步骤：
S1：获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；
S2：使用爬虫在网络上爬取与每个文本标签对应的一段文本；
S3：用自然语言处理工具对爬取到的文本进行预处理，得到与爬取到的文本相关的不同词语；
S4：计算所有词语间的PMI值，代表词语间的贡献强度；
S5：计算图像与词语间的TF-IDF值，代表图像与词语间的关联强度；
S6：根据得到的PMI值与TF-IDF值成图，得到图结构数据；
S7：利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；
S8：利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量；
S9：利用图卷积神经网络对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。
进一步地，步骤S2中，使用爬虫在网络上爬取与每个文本标签对应的一段文本时，只保留一段相关文本。
进一步地，步骤S3中，所述预处理依次包括：分词处理，除去标点和停用词。
进一步地，步骤S4中，计算PMI值的公式为：
Figure BDA0002352159430000021
Figure BDA0002352159430000022
上式中，#W(i,j)表示语料中同时包含词语i与词语j的滑动窗口数目，#W表示滑动窗口的总数，#W(i)表示包含词语i的滑动窗口的数目。
进一步地，步骤S5中，计算TF-IDF值的具体公式为：
Figure BDA0002352159430000023
Figure BDA0002352159430000024
TF-IDF＝TF×IDF
上式中，m为某个图像中词语i出现的次数，n为该图像这个所有词语的数目；p为图像总数，q为包含词语i的图像数目。
进一步地，步骤S6中根据得到的PMI值与TF-IDF值成图，具体为：若两个词语间的PMI值大于0则代表两个词语的结点间有一条连边，边的权重即为PMI值；若图像与词语间的TF-IDF值大于0，则代表图像与词语的结点间有一条连边，边的权重即为TF-IDF值。
进一步地，步骤S6中得到的图结构数据，只包含词语结点和图像结点。
进一步地，步骤S7和S8中获取的所述词语结点的初始特征向量与图像结点的初始特征向量维度相同。
步骤S9中利用图卷积神经网络对得到的所述图结构数据训练，训练过程的输入具体包括：图结构数据的邻接矩阵，其大小为N×N，N为图结构数据中的节点数目；词语结点和图像结点的特征向量矩阵，其大小为N×D，其中D为初始特征向量的维度；在步骤S9经过图卷积神经网络的训练后，得到每个图像结点的最终向量表示，再经过一层全连接层，得到每个图像结点的预测类别。
一种基于图卷积神经网络的图像分类系统，包括：
数据集获取模块，用于获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；
爬虫爬取信息模块，用于使用爬虫在网络上爬取与每个文本标签对应的一段文本；
无用信息滤除模块，用于用自然语言处理工具对爬取到的文本进行预处理，得到与爬取到的文本相关的不同词语；
PMI值计算模块，用于计算所有词语间的PMI值，代表词语间的贡献强度；
TF-IDF值计算模块，用于计算图像与词语间的TF-IDF值，代表图像与词语间的关联强度；
数据成图模块，用于根据得到的PMI值与TF-IDF值成图，得到图结构数据；
BERT获取词向量模块，用于利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；
卷积神经网络获取图像向量模块，用于利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量；
图卷积神经网络分类模块，用于利用图卷积神经网络对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。
本发明提供的技术方案带来的有益效果是：在原有的图像数据上，为每张图像添加对应的文本描述信息，利用图卷积神经网络提高图像分类准确率。
附图说明
图1为本发明实施例中一种基于图卷积神经网络的图像分类方法的流程图；
图2为本发明实施例中一种基于图卷积神经网络的图像分类方法步骤说明图；
图3为本发明实施例中一种基于图卷积神经网络的图像分类系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明实施例提供了一种基于图卷积神经网络的图像分类方法及系统。
请参考图1和图2，是本发明具体实施方式中一种基于图卷积神经网络的图像分类方法的流程图，具体包括：
S1：获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；对于任意一张图像，对应的文本标签就是其类别
S2：使用爬虫在网络上爬取与每个文本标签对应的一段文本，只需要保留一段相关文本；
S3：用自然语言处理工具对爬取到的文本进行预处理，滤除无用的信息，得到与爬取到的文本相关的不同词语；无用信息包括停用词、标定符号以及HTML标签等；停用词如英语单词中的“a”、“the”等，标点符号如“！”、“，”、“。”等，HTML标签如“<br></br>”等；
S4：计算所有词语间的PMI值，代表词语间的贡献强度；
Figure BDA0002352159430000051
Figure BDA0002352159430000052
上式中，#W(i,j)表示语料中同时包含词语i与词语j的滑动窗口数目，#W表示滑动窗口的总数，#W(i)表示包含词语i的滑动窗口的数目。
S5：计算图像(文档)与词语间的TF-IDF值，代表图像与词语间的关联强度；
计算TF-IDF值的具体公式为：
Figure BDA0002352159430000053
Figure BDA0002352159430000054
TF-IDF＝TF×IDF
上式中，m为某个图像中词语i出现的次数，n为该图像这个所有词语的数目；p为图像总数，q为包含词语i的图像数目。
S6：根据得到的PMI值与TF-IDF值成图，得到图结构数据；也就是若两个词语间的PMI值大于0则代表两个词语的结点间有一条连边，边的权重即为PMI值；若文档与词语间的TF_IDF值大于0，则代表文档(图像)与词语的结点间有一条连边，边的权重即为TF_IDF值。其中文档结点与其对应图像结点用同一个结点表示，因为文档信息是为了将图像与词语连接起来，即图结构数据中只有词语结点与图像结点。
S7：利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；BERT是预训练好的模型，直接调用即可，如词语love，可以得到其向量表达为：
[-1.2312,0.9934,1.3987,5.7573,-8.2221,......,8.6543]
S8：利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量；
S9：利用图卷积神经网络对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。
请参考图3，图3是本发明实施例中一种基于图卷积神经网络的图像分类系统的结构图，一种基于图卷积神经网络的图像分类系统，具体包括：
数据集获取模块31，用于获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；
爬虫爬取信息模块32，用于使用爬虫在网络上爬取与每个文本标签对应的一段文本；
无用信息滤除模块33，用于用自然语言处理工具对爬取到的文本进行预处理，得到与爬取到的文本相关的不同词语；
PMI值计算模块34，用于计算所有词语间的PMI值，代表词语间的贡献强度；
TF-IDF值计算模块35，用于计算图像与词语间的TF-IDF值，代表图像与词语间的关联强度；
数据成图模块36，用于根据得到的PMI值与TF-IDF值成图，得到图结构数据；
ERT获取词向量模块37，用于利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；
卷积神经网络获取图像向量模块38，用于利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量。
图卷积神经网络分类模块39，用于利用图卷积神经网络对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。
爬虫爬取信息模块32中，使用爬虫在网络上爬取与每个文本标签对应的一段文本时，只保留一段相关文本。
无用信息滤除模块33中，所述预处理依次包括：分词处理，除去标点和停用词。
PMI值计算模块34中，计算PMI值的公式为：
Figure BDA0002352159430000071
Figure BDA0002352159430000072
Figure BDA0002352159430000073
上式中，#W(i,j)表示语料中同时包含词语i与词语j的滑动窗口数目，#W表示滑动窗口的总数，#W(i)表示包含词语i的滑动窗口的数目。
TF-IDF值计算模块35中，计算TF-IDF值的具体公式为：
Figure BDA0002352159430000074
Figure BDA0002352159430000075
TF-IDF＝TF×IDF
上式中，m为某个图像中词语i出现的次数，n为该图像这个所有词语的数目；p为图像总数，q为包含词语i的图像数目。
数据成图模块36中，根据得到的PMI值与TF-IDF值成图，具体为：若两个词语间的PMI值大于0则代表两个词语的结点间有一条连边，边的权重即为PMI值；若图像与词语间的TF-IDF值大于0，则代表图像与词语的结点间有一条连边，边的权重即为TF-IDF值。
数据成图模块36中，得到的图结构数据，只包含词语结点和图像结点。
BERT获取词向量模块37和卷积神经网络获取图像向量模块38中，获取的所述词语结点的初始特征向量与图像结点的初始特征向量维度相同。
图卷积神经网络分类模块39中，利用图卷积神经网络对得到的所述图结构数据训练，训练过程的输入具体包括：图结构数据的邻接矩阵，其大小为N×N，N为图结构数据中的节点数目；词语结点和图像结点的初始特征向量矩阵，其大小为N×D，其中D为初始特征向量的维度；图卷积神经网络分类模块39中经过图卷积神经网络的训练后，得到每个图像结点的最终向量表示，再经过一层全连接层，得到每个图像结点的预测类别。
本发明的有益效果是：在原有的图像数据上，为每张图像添加对应的文本描述信息，利用图卷积神经网络提高图像分类准确率。
在本文中，所涉及的前、后、上、下等方位词是以附图中各装置位于图中以及设备相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图卷积神经网络的图像分类方法，其特征在于：具体包括以下步骤：
S1：获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；
S2：使用爬虫在网络上爬取与每个文本标签对应的一段文本；
S3：用自然语言处理工具对爬取到的文本进行预处理，得到与爬取到的文本相关的不同词语；
S4：计算所有词语间的PMI值，代表词语间的贡献强度；
S5：计算图像与词语间的TF-IDF值，代表图像与词语间的关联强度；
S6：根据得到的PMI值与TF-IDF值成图，得到图结构数据；
S7：利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；
S8：利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量；
S9：利用图卷积神经网络、所述词语结点的初始特征向量和所述图像结点的初始特征向量对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。
2.如权利要求1所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S2中，使用爬虫在网络上爬取与每个文本标签对应的一段文本时，只保留一段相关文本。
3.如权利要求1所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S3中，所述预处理依次包括：分词处理，除去标点和停用词。
4.如权利要求1所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S4中，计算PMI值的公式为：
Figure FDA0002352159420000011
Figure FDA0002352159420000012
上式中，#W(i,j)表示语料中同时包含词语i与词语j的滑动窗口数目，#W表示滑动窗口的总数，#W(i)表示包含词语i的滑动窗口的数目。
5.如权利要求4所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S5中，计算TF-IDF值的具体公式为：
Figure FDA0002352159420000021
Figure FDA0002352159420000022
TF-IDF＝TF×IDF
上式中，m为某个图像中词语i出现的次数，n为该图像这个所有词语的数目；p为图像总数，q为包含词语i的图像数目。
6.如权利要求1所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S6中根据得到的PMI值与TF-IDF值成图，具体为：若两个词语间的PMI值大于0则代表两个词语的结点间有一条连边，边的权重即为PMI值；若图像与词语间的TF-IDF值大于0，则代表图像与词语的结点间有一条连边，边的权重即为TF-IDF值。
7.如权利要求1所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S6中得到的图结构数据，只包含词语结点和图像结点。
8.如权利要求1所述的一种基于图卷积神经网络的图像分类方法及系统，其特征在于：步骤S7和S8中获取的所述词语结点的初始特征向量与图像结点的初始特征向量维度相同。
9.如权利要求1所述的一种基于图卷积神经网络的图像分类方法，其特征在于：步骤S9中利用图卷积神经网络对得到的所述图结构数据训练，训练过程的输入具体包括：图结构数据的邻接矩阵，其大小为N×N，N为图结构数据中的节点数目；词语结点和图像结点的初始特征向量矩阵，其大小为N×D，其中D为初始特征向量的维度；在步骤S9经过图卷积神经网络的训练后，得到每个图像结点的最终向量表示，再经过一层全连接层，得到每个图像结点的预测类别。
10.一种基于图卷积神经网络的图像分类系统，应用于任意一种所述的基于图卷积神经网络的图像分类方法，其特征在于：一种基于图卷积神经网络的图像分类系统，具体包括：
数据集获取模块，用于获取训练用的图像数据集，图像数据集中包含多张图像，每张图像有一个与之对应的文本标签；
爬虫爬取信息模块，用于使用爬虫在网络上爬取与每个文本标签对应的一段文本；
无用信息滤除模块，用于用自然语言处理工具对爬取到的文本进行预处理，得到与爬取到的文本相关的不同词语；
PMI值计算模块，用于计算所有词语间的PMI值，代表词语间的贡献强度；
TF-IDF值计算模块，用于计算图像与词语间的TF-IDF值，代表图像与词语间的关联强度；
数据成图模块，用于根据得到的PMI值与TF-IDF值成图，得到图结构数据；
BERT获取词向量模块，用于利用BERT模型，得到每个词语的向量表示，作为词语结点的初始特征向量；
卷积神经网络获取图像向量模块，用于利用卷积神经网络对图像提取特征，得到特征向量表示，作为图像结点的初始特征向量；
图卷积神经网络分类模块，用于利用图卷积神经网络对得到的所述图结构数据训练，并对最终得到的图像结点特征向量进行分类，达到图像分类的目的。
CN201911420143.7A 2019-12-31 2019-12-31 一种基于图卷积神经网络的图像分类方法及系统 Active CN111222000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911420143.7A CN111222000B (zh) 2019-12-31 2019-12-31 一种基于图卷积神经网络的图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420143.7A CN111222000B (zh) 2019-12-31 2019-12-31 一种基于图卷积神经网络的图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN111222000A true CN111222000A (zh) 2020-06-02
CN111222000B CN111222000B (zh) 2023-05-26

Family

ID=70830993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420143.7A Active CN111222000B (zh) 2019-12-31 2019-12-31 一种基于图卷积神经网络的图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN111222000B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609292A (zh) * 2021-08-09 2021-11-05 上海交通大学 基于图结构的已知虚假新闻智能检测方法
CN114485666A (zh) * 2022-01-10 2022-05-13 北京科技大学顺德研究生院 基于物体关联关系认知推理的盲人辅助导航方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777185A (zh) * 2016-12-23 2017-05-31 浙江大学 一种基于深度学习的跨媒体中草药植物图像搜索方法
US20180122068A1 (en) * 2016-11-02 2018-05-03 International Business Machines Corporation Classification of severity of pathological condition using hybrid image representation
CN108319959A (zh) * 2017-12-29 2018-07-24 中国科学院合肥物质科学研究院 一种基于图像特征压缩与检索的农作物病害图像识别方法
US20190102646A1 (en) * 2017-10-02 2019-04-04 Xnor.ai Inc. Image based object detection
CN109919192A (zh) * 2019-01-30 2019-06-21 中国地质大学（武汉） 一种基于卷积神经网络和词向量的图像分类方法及系统
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180122068A1 (en) * 2016-11-02 2018-05-03 International Business Machines Corporation Classification of severity of pathological condition using hybrid image representation
CN106777185A (zh) * 2016-12-23 2017-05-31 浙江大学 一种基于深度学习的跨媒体中草药植物图像搜索方法
US20190102646A1 (en) * 2017-10-02 2019-04-04 Xnor.ai Inc. Image based object detection
CN108319959A (zh) * 2017-12-29 2018-07-24 中国科学院合肥物质科学研究院 一种基于图像特征压缩与检索的农作物病害图像识别方法
CN109919192A (zh) * 2019-01-30 2019-06-21 中国地质大学（武汉） 一种基于卷积神经网络和词向量的图像分类方法及系统
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHENYI ZHUANG等: "Dual Graph Convolutional Networks for Graph-Based Semi-Supervised Classification" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609292A (zh) * 2021-08-09 2021-11-05 上海交通大学 基于图结构的已知虚假新闻智能检测方法
CN113609292B (zh) * 2021-08-09 2023-10-13 上海交通大学 基于图结构的已知虚假新闻智能检测方法
CN114485666A (zh) * 2022-01-10 2022-05-13 北京科技大学顺德研究生院 基于物体关联关系认知推理的盲人辅助导航方法及装置

Also Published As

Publication number Publication date
CN111222000B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN113641820B (zh) 基于图卷积神经网络的视角级文本情感分类方法及系统
Liu et al. Open-world semantic segmentation via contrasting and clustering vision-language embedding
CN106874378B (zh) 基于规则模型的实体抽取与关系挖掘构建知识图谱的方法
CN107526799B (zh) 一种基于深度学习的知识图谱构建方法
CN110472090B (zh) 基于语义标签的图像检索方法以及相关装置、存储介质
CN110851641B (zh) 跨模态检索方法、装置和可读存储介质
CN108733837B (zh) 一种病历文本的自然语言结构化方法及装置
CN106845411B (zh) 一种基于深度学习和概率图模型的视频描述生成方法
CN113283551A (zh) 多模态预训练模型的训练方法、训练装置及电子设备
CN113627447B (zh) 标签识别方法、装置、计算机设备、存储介质及程序产品
CN104142995B (zh) 基于视觉属性的社会事件识别方法
CN104199972A (zh) 一种基于深度学习的命名实体关系抽取与构建方法
CN109472022B (zh) 基于机器学习的新词识别方法及终端设备
CN107679070B (zh) 一种智能阅读推荐方法与装置、电子设备
CN109992781B (zh) 文本特征的处理方法、装置和存储介质
CN107329954B (zh) 一种基于文档内容和相互关系的主题检测方法
CN113590810B (zh) 摘要生成模型训练方法、摘要生成方法、装置及电子设备
CN107291845A (zh) 一种基于预告片的电影推荐方法及系统
CN111967267B (zh) 一种基于XLNet的新闻文本地域提取的方法及系统
CN109086265A (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN112749556B (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN111222000B (zh) 一种基于图卷积神经网络的图像分类方法及系统
WO2023134085A1 (zh) 问题答案的预测方法、预测装置、电子设备、存储介质
CN114328934A (zh) 一种基于注意力机制的多标签文本分类方法及系统
CN115775349A (zh) 基于多模态融合的假新闻检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant