CN110796192B - 一种基于互联网社交系统的图像分类方法及装置 - Google Patents

一种基于互联网社交系统的图像分类方法及装置 Download PDF

Info

Publication number
CN110796192B
CN110796192B CN201911036586.6A CN201911036586A CN110796192B CN 110796192 B CN110796192 B CN 110796192B CN 201911036586 A CN201911036586 A CN 201911036586A CN 110796192 B CN110796192 B CN 110796192B
Authority
CN
China
Prior art keywords
network
image
networks
relational
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911036586.6A
Other languages
English (en)
Other versions
CN110796192A (zh
Inventor
陈小军
陈炳坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201911036586.6A priority Critical patent/CN110796192B/zh
Publication of CN110796192A publication Critical patent/CN110796192A/zh
Application granted granted Critical
Publication of CN110796192B publication Critical patent/CN110796192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像分类技术领域，提供了一种基于互联网社交系统的图像分类方法及装置，方法包括：从互联网社交系统的数据库中获取图像数据，以及基于图像数据的社交网络信息；根据社交网络信息构建基于图像数据的N个关系网络，通过多关系网络表征学习算法或半监督网络表征学习算法训练N个关系网络，获得N个关系网络的网络表征向量Φ；在已分类样本图像中提取视觉特征I，构建神经网络分类器，并通过网络表征向量Φ和视觉特征I训练神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。通过本发明可以在图像处理过程中有效保存图像的社交网络信息，从而提高在网络环境下的图像分类算法性能。

Description

一种基于互联网社交系统的图像分类方法及装置
技术领域
本发明涉及图像分类技术领域，尤其涉及一种基于互联网社交系统的图像分类方法及装置。
背景技术
图像分类是一个热门的研究领域，有着巨大的商业价值，多用于辅助图像识别技术，例如人脸识别、车牌识别、图像检测、图像搜索等。目前，有不少研究人员在图像分类方面进行了大量的研究，提出了卷积神经网络等方法对图像进行分类，但仍然有不少图像难以通过视觉特征进行识别。
而随着互联网社交系统的出现和移动设备的广泛使用，人们愈发倾向于把图像上传到在线社交网络中，在线社交网络或者图像分享网站中包含了大量的图像，如果仍然使用图像的视觉特征对图像进行分类，那么视觉特征的识别失败率高将导致相当一部分图像无法识别和分类，因此，使用图像的视觉特征对进行图像分类已经不适配当前的图像数据库，而亟需一种新的图像分类方法以提高对在线社交网络中图像分类的能力。
发明内容
本发明的主要目的在于提出一种基于互联网社交系统的图像分类方法及装置，以解决现有的图像分类方法无法与互联网社交系统的图像数据库适配的问题。
为实现上述目的，本发明实施例的第一方面提供了一种基于互联网社交系统的图像分类方法，包括：
从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；
根据所述社交网络信息构建基于所述图像数据的N个关系网络，N个所述关系网络表示所述图像数据中图像之间的多种关系；
通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；
构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。
本发明实施例的第二方面提供了一种基于互联网社交系统的图像分类装置，包括：
图像数据获取模块，用于从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；
关系网络构建模块，用于根据所述社交网络信息构建基于所述图像数据的N个关系网络，所述关系网络表示所述图像数据中图像之间的多种关系；
网络表征向量获取模块，用于通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
视觉特征获取模块，用于在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；
图像分类模块，用于构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。
本发明实施例提出一种基于互联网社交系统的图像分类方法，以互联网社交系统的数据库为基础，获取图像数据及基于图像数据的社交网络信息，再根据社交网络信息构建多关系网络，即N个关系网络，其中，N个关系网络表示了图像数据中图像之间的多种关系，然后通过训练学习获得基于所有关系网络的网络表征向量，同时在已分类样本图像中提取视觉特征，通过网络表征向量和视觉特征训练出一个能够对待分类图像进行分类的神经网络分类器，完成基于互联网社交系统的图像分类工作。本发明实施例提供的图像分类方法采用网络的形式，能够更好地根据图像携带的社交网络信息发现图像之间的关联性，而学习得到的网络表征向量可以在图像处理过程中有效保存图像的社交网络信息，从而提高在网络环境下的图像分类算法性能，在面对互联网社交系统的数据库时，确保图像分类的准确性和分类效率。
附图说明
图1为本发明实施例一提供的基于互联网社交系统的图像分类方法的实现流程示意图；
图2为本发明实施例二提供的基于互联网社交系统的图像分类装置的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
在后续的描述中，发明实施例序号仅仅为了描述，不代表实施例的优劣。
实施例一
如图1所示，本发明实施例提供了一种基于互联网社交系统的图像分类方法，包括但不限于一下步骤：
S101、从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息。
在上述步骤S101中，互联网社交系统包括各互联网社交平台，如微博、贴吧、百度社区等，互联网社交系统的数据库中则包括用户在互联网社交系统中上传的公开的图像，以及与图像相关的社交网络信息。
在本发明实施例中，社交网络信息包括标签信息、用户信息、图片组类信息、拍摄位置信息和评论用户信息中的至少一种。
其中，标签信息是由用户编辑的用于描述图像的词语；用户信息用于表示图像的上传者，图片组类信息用于图像分组情况，一个图片组为一个图像集合，包含多幅图像；拍摄位置信息用于表示图像的拍摄地点；评论用户信息用于表示所有对该图像进行评论的用户的信息。
S102、根据所述社交网络信息构建基于所述图像数据的N个关系网络。
在上述步骤S102中，N个关系网络表示图像数据中图像之间的多种关系。
在具体应用中，上述步骤S102的详细实现流程可以为：
在所述图像数据中N次随机获取两个图像作为一个图像组，并获取第N个所述图像组中两个图像的社交网络信息，其中N为正整数；
所述两个图像的社交网络信息包括类型相同的社交网络信息T，T＝(t1,...,tn)，其中，tn表示社交网络信息中的一个信息，n为正整数；
计算第N个所述图像组中的两个图像的连接权重Am，公式为
Figure BDA0002251663230000051
其中，T1和T2为第N个所述图像组中类型相同的两个社交网络信息，m为小于或等于N的正整数；
根据N个所述图像组中的两个图像的连接权重Am，构建以所述两个图像为网络节点的N个关系网络G，公式为G＝(V,Am)。
在具体应用中，上述的在所述图像数据中N次随机获取两个图像作为一个图像组的具体实现中，一个图像组中的两个图像可以在其他图像组中出现。例如，一个图像组中包括图像1和图像2，另一个图像组中可能包括图像1和图像3。
在具体应用中，上述的类型相同的社交网络信息可以表现为：
假设图像1和图像2均包括图片组类信息，图像1的图片组类信息为人物，图像2的图片组类信息为动物，则t1为人物，t2为动物，在连接权重的计算过程中，t1和t2为具体的值。
在具体应用中，上述的一个关系网络表示一个图像组中的两个图像之间的关系，通过多个关系网络，则可以构造出基于图像数据中所有图像之间的多种关系网络，表示图像数据中所有图像之间的关系。因此，N个关系网络即多关系网络，可展开表示为：G＝(V,A1,A2,...,Am)。
S103、通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
在上述步骤S103中，多关系网络表征学习算法采用无监督学习，即使没有图像的类标信息也可以使用，而半监督网络表征学习算法是半监督学习，需要拥有一部分节点的类标信息。
其中，多关系网络表征学习算法可以自动识别多个关系网络的重要性，因此可以直接计算N个关系网络的网络表征向量Φ；而半监督网络表征学习算法针对的是单关系网络，因此需要分别计算每个关系网络的网络表征向量Φ，进行处理后获得N个关系网络的网络表征向量Φ。
在具体应用中，上述步骤S103的详细实现流程可以为：
将N个所述关系网络进行格式转换；
通过所述关系网络表征学习算法识别N个所述关系网络的重要性；
其中，用αl表示第N个所述关系网络的重要性，并将N个所述关系网络融合，公式为：
Figure BDA0002251663230000061
通过矩阵分解方法分解融合后的关系网络，获得N个所述关系网络的网络表征向量Φ；
或者，
将N个所述关系网络进行格式转换；
通过半监督网络表征学习算法学习N个所述关系网络中每个节点的表征向量φ1,...,φm；
拼接所述每个节点的表征向量φ1,...,φm，获得N个所述关系网络的网络表征向量Φ。
在具体应用中，将N个关系网络进行格式转换，以使其可以用于多关系网络表征学习算法和半监督网络表征学习算法。
在具体应用中，每个节点的表征向量表示图像组中两个图像之间的关联性，N个关系网络的网络表征向量则表示图像数据中各图像的关联性。
在一个实施例中，拼接所述每个节点的表征向量φ1,...,φm，获得N个所述关系网络的网络表征向量Φ，包括：
采用负采样算法优化所述每个节点的表征向量；
拼接所述每个节点的表征向量φ1,...,φm，并进行归一化处理，获得N个所述关系网络的网络表征向量Φ。
在具体应用中，半监督网络表征学习算法在训练过程中会使用部分节点的类标信息，并把数据集的类标也当成是一种节点，因此采用负采样算法进行优化，目的是优化节点表征向量之间的损失函数和节点与类标表征向量之间的损失函数。
S104、在已分类样本图像中提取视觉特征I。
在上述步骤S104中，已分类样本图像和上述步骤S101的图像数据均为样本数据，用于训练下面步骤S105中的神经网络分类器。
其中，图像数据包括已分类样本图像。
在具体应用中，上述步骤S104的详细实现流程可以为：
在图像网页上训练构建卷积神经网络，并修改所述卷积神经网络的最后一层全连接层；
使用所述图像数据再训练所述卷积神经网络，获得特征提取神经网络；
将所述已分类样本图像输入所述特征提取神经网络，所述特征提取神经网络的最后一层隐藏层的一个激活值作为所述已分类样本图像的一个图像视觉特征；
将所述已分类样本图像的所有所述图像视觉特征进行归一化处理，获得基于所述已分类样本图像的视觉特征I。
S105、构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。
在上述步骤S105中，网络表征向量Φ和视觉特征I的基础数据来自于图像数据和已分类样本数据，其中，网络表征向量Φ用于表示图像之间的关联性，视觉特征I用于表示图像的特征，因此，由网络表征向量Φ和视觉特征I训练的神经网络分类器能够根据图像携带的社交网络信息，发现图像之间的关联性，学习得到的网络表征可有效保存图像的社交网络信息。
在具体应用中，上述步骤S105的详细实现流程可以为：
拼接所述网络表征向量Φ和所述视觉特征I；
根据拼接后的所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器；
将所述待分类图像输入训练后的所述神经网络分类器中进行分类。
在本发明实施例中，在将网络表征向量Φ和视觉特征I拼接在一起前需要进行特征的归一化，在步骤S103和S104中已经完成。
在一个实施例中，上述的神经网络分类器可以采用单隐藏层全连接神经网络或者加上一层全连接层的Capsule神经网络。而Capsule神经网络与传统神经网络存在一些区别，因此，还需要在Capsule层之前加入一层全连接层进行特征的提取。
本发明实施例提供的基于互联网社交系统的图像分类方法，以互联网社交系统的数据库为基础，获取图像数据及基于图像数据的社交网络信息，再根据社交网络信息构建多关系网络，即N个关系网络，其中，N个关系网络表示了图像数据中图像之间的多种关系，然后通过训练学习获得基于所有关系网络的网络表征向量，同时在已分类样本图像中提取视觉特征，通过网络表征向量和视觉特征训练出一个能够对待分类图像进行分类的神经网络分类器，完成基于互联网社交系统的图像分类工作。本发明实施例提供的图像分类方法采用网络的形式，能够更好地根据图像携带的社交网络信息发现图像之间的关联性，而学习得到的网络表征向量可以在图像处理过程中有效保存图像的社交网络信息，从而提高在网络环境下的图像分类算法性能，在面对互联网社交系统的数据库时，确保图像分类的准确性和分类效率。
实施例二
本发明实施例提供一种基于互联网社交系统的图像分类装置20，包括：
图像数据获取模块21，用于从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；
关系网络构建模块22，用于根据所述社交网络信息构建基于所述图像数据的N个关系网络，所述关系网络表示所述图像数据中图像之间的多种关系；
网络表征向量获取模块23，用于通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
视觉特征获取模块24，用于在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；
图像分类模块25，用于构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类。
本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如实施例一中所述的基于互联网社交系统的图像分类方法中的各个步骤。
本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例一中所述的基于互联网社交系统的图像分类方法中的各个步骤。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于互联网社交系统的图像分类方法，其特征在于，包括：
从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；
根据所述社交网络信息构建基于所述图像数据的N个关系网络，N个所述关系网络表示所述图像数据中图像之间的多种关系；
通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；
构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类；
其中，通过半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ，包括：
将N个所述关系网络进行格式转换；
通过半监督网络表征学习算法学习N个所述关系网络中每个节点的表征向量φ1,...,φm；
采用负采样算法优化所述每个节点的表征向量；
拼接所述每个节点的表征向量φ1,...,φm，并进行归一化处理，获得N个所述关系网络的网络表征向量Φ；
其中，通过多关系网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ，包括：
将N个所述关系网络进行格式转换；
通过所述关系网络表征学习算法识别N个所述关系网络的重要性；
其中，用αl表示第N个所述关系网络的重要性，并将N个所述关系网络融合，公式为：
Figure FDA0003896425500000021
通过矩阵分解方法分解融合后的关系网络，获得N个所述关系网络的网络表征向量Φ。
2.如权利要求1所述的基于互联网社交系统的图像分类方法，其特征在于，根据所述社交网络信息构建基于所述图像数据的N个关系网络，包括：
在所述图像数据中N次随机获取两个图像作为一个图像组，并获取第N个所述图像组中两个图像的社交网络信息，其中N为正整数；
所述两个图像的社交网络信息包括相同社交网络信息T，T＝(t1,...,tn)，其中，tn表示社交网络信息中的一个信息，n为正整数；
计算第N个所述图像组中的两个图像的连接权重Am，公式为
Figure FDA0003896425500000022
其中，T1和T2为第N个所述图像组中类型相同的两个社交网络信息，m为小于或等于N的正整数；
根据N个所述图像组中的两个图像的连接权重Am，构建以所述两个图像为网络节点的N个关系网络G，公式为G＝(V,Am)。
3.如权利要求1所述的基于互联网社交系统的图像分类方法，其特征在于，在已分类样本图像中提取视觉特征I，包括：
在图像网页上训练构建卷积神经网络，并修改所述卷积神经网络的最后一层全连接层；
使用所述图像数据再训练所述卷积神经网络，获得特征提取神经网络；
将所述已分类样本图像输入所述特征提取神经网络，所述特征提取神经网络的最后一层隐藏层的一个激活值作为所述已分类样本图像的一个图像视觉特征；
将所述已分类样本图像的所有所述图像视觉特征进行归一化处理，获得基于所述已分类样本图像的视觉特征I。
4.权利要求1所述的基于互联网社交系统的图像分类方法，其特征在于，构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类，包括：
拼接所述网络表征向量Φ和所述视觉特征I；
根据拼接后的所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器；
将所述待分类图像输入训练后的所述神经网络分类器中进行分类。
5.如权利要求1所述的基于互联网社交系统的图像分类方法，其特征在于，所述社交网络信息包括标签信息、用户信息、图片组类信息、拍摄位置信息和评论用户信息中的至少一种。
6.一种基于互联网社交系统的图像分类装置，其特征在于，包括：
图像数据获取模块，用于从互联网社交系统的数据库中获取图像数据，以及基于所述图像数据的社交网络信息；
关系网络构建模块，用于根据所述社交网络信息构建基于所述图像数据的N个关系网络，所述关系网络表示所述图像数据中图像之间的多种关系；
网络表征向量获取模块，用于通过多关系网络表征学习算法或半监督网络表征学习算法训练N个所述关系网络，获得N个所述关系网络的网络表征向量Φ；
视觉特征获取模块，用于在已分类样本图像中提取视觉特征I，其中所述图像数据包括所述已分类样本图像；
图像分类模块，用于构建神经网络分类器，并通过所述网络表征向量Φ和所述视觉特征I训练所述神经网络分类器，以使训练后的神经网络分类器对待分类图像进行分类；
其中，在通过半监督网络表征学习算法训练N个所述关系网络时，所述网络表征向量获取模块具体用于：
将N个所述关系网络进行格式转换；
通过半监督网络表征学习算法学习N个所述关系网络中每个节点的表征向量φ1,...,φm；
采用负采样算法优化所述每个节点的表征向量；
拼接所述每个节点的表征向量φ1,...,φm，并进行归一化处理，获得N个所述关系网络的网络表征向量Φ；
其中，在通过多关系网络表征学习算法训练N个所述关系网络时，所述网络表征向量获取模块具体用于：
将N个所述关系网络进行格式转换；
通过所述关系网络表征学习算法识别N个所述关系网络的重要性；
其中，用αl表示第N个所述关系网络的重要性，并将N个所述关系网络融合，公式为：
Figure FDA0003896425500000051
通过矩阵分解方法分解融合后的关系网络，获得N个所述关系网络的网络表征向量Φ。
7.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至5任一项所述的基于互联网社交系统的图像分类方法中的各个步骤。
8.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的基于互联网社交系统的图像分类方法中的各个步骤。
CN201911036586.6A 2019-10-29 2019-10-29 一种基于互联网社交系统的图像分类方法及装置 Active CN110796192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911036586.6A CN110796192B (zh) 2019-10-29 2019-10-29 一种基于互联网社交系统的图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911036586.6A CN110796192B (zh) 2019-10-29 2019-10-29 一种基于互联网社交系统的图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN110796192A CN110796192A (zh) 2020-02-14
CN110796192B true CN110796192B (zh) 2023-03-28

Family

ID=69441770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911036586.6A Active CN110796192B (zh) 2019-10-29 2019-10-29 一种基于互联网社交系统的图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN110796192B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506952A (zh) * 2017-10-12 2017-12-22 杭州中奥科技有限公司 危险指数的评估方法、装置及电子设备
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN109117943A (zh) * 2018-07-24 2019-01-01 中国科学技术大学 利用多属性信息增强网络表征学习的方法
CN109189959A (zh) * 2018-09-06 2019-01-11 腾讯科技（深圳）有限公司 一种构建图像数据库的方法及装置
CN109710812A (zh) * 2018-12-12 2019-05-03 西安交通大学 一种网络表征算法稳定性度量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506952A (zh) * 2017-10-12 2017-12-22 杭州中奥科技有限公司 危险指数的评估方法、装置及电子设备
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN109117943A (zh) * 2018-07-24 2019-01-01 中国科学技术大学 利用多属性信息增强网络表征学习的方法
CN109189959A (zh) * 2018-09-06 2019-01-11 腾讯科技（深圳）有限公司 一种构建图像数据库的方法及装置
CN109710812A (zh) * 2018-12-12 2019-05-03 西安交通大学 一种网络表征算法稳定性度量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于社交网络元数据的图像分类算法;王兆平 等;《深圳大学学报理工版》;20190731;第36卷(第4期);第453-459页 *
基于网络表征学习的异构社交网络对齐研究;王宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181015;第I138-56页 *

Also Published As

Publication number Publication date
CN110796192A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN109299342B (zh) 一种基于循环生成式对抗网络的跨模态检索方法
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
Liu et al. Image retagging using collaborative tag propagation
CN112215837B (zh) 多属性图像语义分析方法和装置
Chen et al. Discriminative soft bag-of-visual phrase for mobile landmark recognition
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
US10204090B2 (en) Visual recognition using social links
Wu et al. Distance metric learning from uncertain side information with application to automated photo tagging
WO2019137185A1 (zh) 一种图片筛选方法及装置、存储介质、计算机设备
JP2011514575A (ja) 個人的写真集合からの社会的関係の割出し
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN112199462A (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
Weyand et al. Visual landmark recognition from internet photo collections: A large-scale evaluation
Boiarov et al. Large scale landmark recognition via deep metric learning
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN109960732B (zh) 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
Huang et al. Learning social image embedding with deep multimodal attention networks
CN109284414B (zh) 基于语义保持的跨模态内容检索方法和系统
WO2021081741A1 (zh) 一种基于多关系社交网络的图像分类方法及系统
CN104252618B (zh) 提高照片归还速度的方法及系统
CN110796192B (zh) 一种基于互联网社交系统的图像分类方法及装置
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
CN114863525A (zh) 一种人脸数据集的构建方法及系统
CN114494809A (zh) 特征提取模型优化方法、装置及电子设备
CN111160398B (zh) 一种基于示例级和标签级关联的缺失标签多标签分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant