CN114399002A - 基于图神经网络的图像场景分类方法及装置 - Google Patents
基于图神经网络的图像场景分类方法及装置 Download PDFInfo
- Publication number
- CN114399002A CN114399002A CN202210073146.3A CN202210073146A CN114399002A CN 114399002 A CN114399002 A CN 114399002A CN 202210073146 A CN202210073146 A CN 202210073146A CN 114399002 A CN114399002 A CN 114399002A
- Authority
- CN
- China
- Prior art keywords
- target
- super
- image
- pixel unit
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 150
- 230000011218 segmentation Effects 0.000 claims abstract description 113
- 238000013145 classification model Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能技术领域，本申请实施例提供了一种基于图神经网络的图像场景分类方法、装置、电子设备及存储介质。该方法包括：通过对待分类的目标图像进行超像素分割，得到目标超像素分割图像；对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，得到目标场景标签。本申请可有效获取全局上下文信息，提高模型在图像理解任务上的准确度表现，还能消除高成本空间信息的局限性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于图神经网络的图像场景分类方法、装置、电子设备及存储介质。
背景技术
图像场景分类是指对于已经给定的图像，通过识别它所包含的信息和内容来判断其所属的场景(例如自然、街道、室内等)，从而达到场景分类的目的。卷积神经网络(CNN)在计算机视觉任务如图像场景分类中应用十分广泛，但是，直接利用卷积神经网络模型进行分类，虽然可以实现一定精度的场景类别分类，但是，常规的卷积神经网络对图像场景信息的提取和建模，并不符合人脑认知的实际方式，因此也带来了模型可解释性差、精度有限等问题。现有的全局上下文信息获取的方法，如采用非局部均值(non-local)、各种注意力机制，参数成本太高，难以应用于高分辨率输入图像的场景中。因此，如何提高图像场景分类的准确性及减小分类过程中的参数量，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种基于图神经网络的图像场景分类方法、装置、电子设备及存储介质，旨在提高图像场景分类的准确性及减小分类过程中的参数量。
为实现上述目的，本申请实施例的第一方面提出了一种基于图神经网络的图像场景分类方法，所述方法包括：
对待分类的目标图像进行超像素分割，得到目标超像素分割图像；
获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征；
对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量；
对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；
将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于所述目标超像素分割图像的目标场景标签；
根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。
根据本发明一些实施例提供的图像场景分类方法，在将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以通过所述图像场景分类模型获得目标场景标签之前，所述方法还包括：
获取样本图像以及与所述样本图像对应的样本场景标签；
对所述样本图像进行超像素分割，得到样本超像素分割图像；
获取所述样本超像素分割图像下的多个样本超像素单元，将每个所述样本超像素单元分别作为一个节点，获取每个样本超像素单元的节点特征、相邻样本超像素单元之间的边特征；
对于每个样本超像素单元，根据所述样本超像素单元的节点特征，确定所述样本超像素单元的状态向量；
对于每个样本超像素单元，根据所述样本超像素单元的状态向量、相邻样本超像素单元的状态向量、所述样本超像素单元与相邻样本超像素单元之间的边特征，对所述样本超像素单元的状态向量进行更新，得到所述样本超像素单元更新后的状态向量；
将所有样本超像素单元更新后的状态向量作为输入、所述样本场景标签作为期望输出，对所述图像场景分类模型进行训练。
根据本发明一些实施例提供的图像场景分类方法，在将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以通过所述图像场景分类模型获得目标场景标签之前，所述方法还包括：
获取样本图像以及与所述样本图像对应的样本场景标签；
基于不同的预设分割阈值对所述样本图像进行超像素分割，得到多个样本超像素分割图像，各个样本超像素分割图像包括不同数量的样本超像素单元；
遍历各个样本超像素分割图像，以基于各个样本超像素分割图像对所述图像场景分类模型进行训练，所述训练过程包括：
将当前遍历的样本超像素分割图像下的每个所述样本超像素单元分别作为一个节点，获取每个样本超像素单元的节点特征、相邻样本超像素单元之间的边特征；
对于每个样本超像素单元，根据所述样本超像素单元的节点特征，确定所述样本超像素单元的状态向量；
对于每个样本超像素单元，根据所述样本超像素单元的状态向量、相邻样本超像素单元的状态向量、所述样本超像素单元与相邻样本超像素单元之间的边特征，对所述样本超像素单元的状态向量进行更新，得到所述样本超像素单元更新后的状态向量；
将所有样本超像素单元更新后的状态向量作为输入、所述样本场景标签作为期望输出，对所述图像场景分类模型进行训练。
根据本发明一些实施例提供的图像场景分类方法，所述对待分类的目标图像进行超像素分割，得到目标超像素分割图像，包括：
基于不同的预设分割阈值对待分类的目标图像进行超像素分割，得到多个目标超像素分割图像，各个目标超像素分割图像包括不同数量的目标超像素单元；
所述获取所述目标超像素分割图像下的多个目标超像素单元，包括：
遍历各个目标超像素分割图像，获取当前遍历的所述目标超像素分割图像下的多个目标超像素单元；
所述根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果，包括：
获取所述图像场景分类模型基于各个目标超像素分割图像输出的目标场景标签；
根据基于各个超像素分割图像输出的目标场景标签，确定对应于所述目标图像的图像场景分类结果。
根据本发明一些实施例提供的图像场景分类方法，所述根据基于各个超像素分割图像输出的目标场景标签，确定对应于所述目标图像的图像场景分类结果，包括：
对各个超像素分割图像输出的目标场景标签进行拼接，得到对应于所述目标图像的图像场景分类结果。
根据本发明一些实施例提供的图像场景分类方法，所述对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量，包括：
根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，确定所述目标超像素单元的关系特征向量；
根据所述目标超像素单元的状态向量和所述关系特征向量，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量。
根据本发明一些实施例提供的图像场景分类方法，所述对待分类的目标图像进行超像素分割，得到目标超像素分割图像，包括：
利用区域生长算法在待分类的目标图像上进行区域分割，得到目标超像素分割图像。
为实现上述目的，本申请实施例的第二方面提出了一种基于图神经网络的图像场景分类装置，包括：
图像分割模块，用于对待分类的目标图像进行超像素分割，得到目标超像素分割图像；
特征提取模块，用于获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征；
状态确定模块，用于对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量；
状态更新模块，对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；
标签输出模块，用于将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于目标超像素分割图像的所述目标场景标签；
场景分类模块，用于根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
本申请提出一种基于图神经网络的图像场景分类方法、装置、电子设备及存储介质，其通过对待分类的目标图像进行超像素分割，得到目标超像素分割图像，进而，获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征；对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量；对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于所述目标超像素分割图像的目标场景标签；根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。本申请的方案，基于图神经网络建模，并基于对目标图像进行超像素分割所获得的超像素单元构建图数据。另外，为了充分挖掘目标图像场景的时空拓扑关系，在建模过程中考虑了相邻超像素单元之间的相关性以及边特征，从而利用图神经网络的消息传递特性实现有效的图像场景分类。如此，通过图神经网络来学习局部特征之间的相关性，而不局限于单个像素对之间的相关性，可以较好地实现特征迁移和利用，有效获取全局上下文信息，提高深度模型在图像理解任务上的准确度表现，还能消除高成本空间信息的局限性。
附图说明
图1是本申请实施例提供的一种基于图神经网络的图像场景分类方法的流程示意图；
图2a是本申请实施例中的待分类的目标图像的示意图；
图2b是本申请实施例中的目标超像素分割图像的示意图；
图3是本申请实施例的图神经网络的消息传递过程示意图；
图4是图1中步骤S140的流程示意图；
图5是本申请的实施例提供的一种图像场景分类模型训练流程示意图；
图6是本申请实施例提供的另一种基于图神经网络的图像场景分类方法的流程示意图；
图7是基于不同的预设分割阈值生成的不同层次的目标超像素分割图像的示意图；
图8是本申请实施例提供的另一种图像场景分类模型训练流程示意图；
图9是本申请实施例提供的基于图神经网络的图像场景分类装置的结构示意图；
图10是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
图神经网络(Graph Neural Networks，GNN)：GNN是一种直接在图结构上运行的神经网络。图结构通常包括多个节点，在图结构中，一个节点可以表示一个对象或概念，而边可以表示节点之间的关系。GNN用一个状态向量表示节点的状态。GNN基于消息传播机制，每一个节点通过相互交换消息来更新自己的节点状态，直到达到某一个稳定值，GNN的输出就是在每个节点处，根据当前节点状态分别计算输出。可以说，GNN学习的主要过程是通过迭代对图数据中节点的相邻信息进行聚合和更新。在一次迭代中，每一个节点通过聚合相邻节点的特征及自己在上一层的特征来更新自己的信息，通常也会对聚合后的信息进行非线性变换。通过堆叠多层网络，每个节点可以获取到相应跳数内的相邻节点信息。
区域生长算法：数字图像分割算法一般是基于灰度值的两个基本特性之一：不连续性和相似性。前一种性质的应用途径是基于图像灰度的不连续变化分割图像，比如图像的边缘。第二种性质的主要应用途径是依据实现指定的准则将图像分割为相似的区域。区域生长算法就是基于图像的第二种性质，即图像灰度值的相似性。区域生长算法的基本思想是将有相似性质的像素点合并到一起。对每一个区域要先指定一个种子点作为生长的起点,然后将种子点周围领域的像素点和种子点进行对比,将具有相似性质的点合并起来继续向外生长,直到没有满足条件的像素被包括进来为止。这样一个区域的生长就完成了。
图像场景分类是指对于已经给定的图像，通过判断识别它所包含的信息和内容来判断其所属的场景(例如自然、街道、室内等)，从而达到场景分类的目的。卷积神经网络(CNN)在计算机视觉任务如图像场景分类中应用十分广泛，但是，直接利用卷积神经网络模型进行分类，虽然可以实现一定精度的场景类别分类，但是，常规的卷积神经网络对图像场景信息的提取和建模，并不符合人脑认知的实际方式，因此也带来了模型可解释性差、精度有限等问题。现有的全局上下文信息获取的方法，如采用非局部均值(non-local)、各种注意力机制，参数成本太高，难以应用于高分辨率输入图像的场景中。因此，如何提高图像场景分类的准确性及减小分类过程中的参数量，成为了亟待解决的技术问题。
基于此，本申请实施例提供了一种基于图神经网络的图像场景分类方法、装置、电子设备及存储介质，旨在提高图像场景分类的准确性及减小分类过程中的参数量。
本申请实施例提供的基于图神经网络的图像场景分类方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的基于图神经网络的图像场景分类方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的基于图神经网络的图像场景分类方法，涉及人工智能及图像处理技术领域。本申请实施例提供的图像场景分类方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像场景分类方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
请参见图1，图1示出了本申请实施例提供的一种基于图神经网络的图像场景分类方法的流程示意图。如图1所示，该图像场景分类方法包括但不限于以下步骤S110-S160。
步骤S110，对待分类的目标图像进行超像素分割，得到目标超像素分割图像。
示例性的，图2a为待分类的目标图像，通过对该目标图像进行超像素分割，可得到如图2b所示的目标超像素分割图像。
示例性的，步骤S110中，对待分类的目标图像进行超像素分割，得到目标超像素分割图像，具体可以通过以下方法步骤实现：利用区域生长算法在待分类的目标图像上进行区域分割，得到目标超像素分割图像。
区域生长算法是基于图像灰度值的相似性对图像进行数字分割的一种图像分割方式。在基于区域生长算法对目标图像进行超像素分割的过程中，可以先基于预设像素参数，将目标图像看作N*N个像素点组成的图像，基于预设规则从N*N个像素点之中选取出种子点，进而判断相邻像素点的灰度值与当前种子点的灰度值是否满足预设的相似度，若满足，则将该相邻像素点加入至当前种子点所属区域。区域生长的条件实际上就是根据像素灰度间的连续性而定义的一些相似性准则，而区域生长停止的条件定义了一个终止规则，基本上，在没有像素满足加入某个区域的条件的时候，区域生长就会停止。在算法里面，定义一个变量，最大像素灰度值距离reg_maxdist。当待加入像素点的灰度值和已经分割好的区域所有像素点的平均灰度值的差的绝对值小于或等于reg_maxdist时，该像素点加入到已经分割到的区域。相反，则区域生长算法停止。
步骤S120，获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征。
如图2b所示，目标图像经过超像素分割处理后，图像被细分为多个图像子区域(像素的集合)，这些图像子区域即为超像素单元。本申请实施例，将目标超像素分割图像下的超像素单元作为目标超像素单元，然后基于目标超像素单元构建图数据。具体地，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征。
示例性的，所述节点特征包括灰度特征、形状特征、纹理特征中的至少一种。下面将对灰度特征、形状特征、纹理特征进行示例性说明。
(1)灰度特征
灰度特征是通过灰度变化描述目标对象的表观物理属性，直接反映目标自身的色彩规律，在多通道图像中目标在红绿蓝不同波段的灰度值组成一组向量，基于向量可以计算包括均值、亮度、方差、标准差等在内的多个指标。典型的灰度特征参数计算公式及其说明如下表(1)所示。
表(1)：灰度特征参数表
(2)形状特征
对于图像目标来说，大多数目标在表观形状上通常具备相应的规则几何形态，形状特征作为图像重要的目标表示手段，一般通过目标在图像中呈现出的外部轮廓来确定，一定程度反映了目标的几何形态。基于紧凑化的外部轮廓与其他目标进行区分，在可辨识的分辨率下形状特征具有旋转不变性等优点。常用的对象的形状特征包括长度、宽度、面积、周长、密度、圆度、形状指数和矩形度等。典型的形状特征参数计算公式及其说明如下表(2)所示。
表(2)：形状特征参数表
(3)纹理特征
图像中的纹理信息体现了灰度特征和空间特征的组合信息，可以反映像素色彩信息的空间分布属性，通常呈现为介于像元层次和场景层次之间的中间尺度的局部规律性模式，属于一种半宏观层次的目标知识。在实际运算中，纹理经常被描述为在特定3*3、5*5、7*7或者更大窗口内的图像灰度级之间的空间规律性分布和关联关系。当前最经典并被广泛应用的纹理特征统计计算方法是由Haralick等人提出的灰度共生矩阵方法。基于灰度共生矩阵的纹理特征参数计算方法及其说明如下表(3)所示。
表(3)纹理特征参数表
步骤S130，对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量。
示例性，本申请实施例在确定各目标超像素单元的节点特征之后，可以根据预设的映射规则，由目标超像素单元的节点特征确定目标超像素单元的初始状态。对于目标超像素单元v，可通过
表示其初始的状态向量，v∈N，N为目标超像素单元集合。
步骤S140，对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量。
可以理解的是，本申请实施例基于图神经网络的消息传播机制，各节点在确定自身初始的状态向量之后，还与相邻节点进行消息交换，并根据相邻节点消息以及与相邻节点连接的边消息来更新自身的节点状态。
请参见图3，图3示出了图神经网络的消息传递过程示意图。对于图3中的节点v1,可通过考虑相邻节点v3、v5和v8的状态向量以及与相邻节点连接的边特征，来更新节点v1的状态向量。
请参见图4，步骤S140中，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量，具体可以通过以下方法步骤S141-S142实现：
步骤S141，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，确定所述目标超像素单元的关系特征向量。
具体地，关系特征向量的计算公式可参见以下公式(1)：
上述公式中，
表示目标超像素单元v的关系特征向量，
表示目标超像素单元v初始的状态向量，
表示相邻目标超像素单元w的状态向量，evw表示目标超像素单元v和相邻目标超像素单元w的边特征向量，Mt表示消息传递函数，
表示相邻目标超像素单元的集合。
步骤S142，根据所述目标超像素单元的状态向量和所述关系特征向量，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量。
具体地，目标超像素单元更新后的状态向量可通过如下公式(2)表示：
上述公式中，
表示目标超像素单元v更新后的状态向量，
表示目标超像素单元v初始的状态向量，
表示目标超像素单元v的关系特征向量，Ut表示状态更新模型。
例如，在一个具体示例中，某一个目标超像素单元初始的状态向量指示其初始状态为“植物”，通过收集相邻目标超像素单元的状态向量以及边特征向量后，对其自身状态向量进行了更新，更新后的状态向量指示其为“树木”。
S150，将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于所述目标超像素分割图像的目标场景标签。
可以理解的是，通过更新迭代，各个节点的状态向量都达到稳定值之后，将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使得图像场景分类模型根据所有目标超像素单元的状态向量，输出对应的目标场景标签。
S160，根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。
可以理解的是，在获得与目标图像对应的目标场景标签之后，即可以根据目标场景标签确定图像场景分类结果。
可以理解的是，在步骤S150之前，需要对本申请实施例提供的图像场景分类模型进行训练，以得到预先训练好的图像场景分类模型。请参见图5，图5示出了图像场景分类模型的训练流程示意图。如图5所示，本申请实施例提供的图像场景分类模型的训练过程可以包括以下步骤S200-S250。
步骤S200，获取样本图像以及与所述样本图像对应的样本场景标签。
可以理解的是，在进行模型训练之前，先构建样本图像集合，并对样本图像集合中的每个样本图像打上样本场景标签。
步骤S210，对所述样本图像进行超像素分割，得到样本超像素分割图像。
步骤S220，获取所述样本超像素分割图像下的多个样本超像素单元，将每个所述样本超像素单元分别作为一个节点，获取每个样本超像素单元的节点特征、相邻样本超像素单元之间的边特征。
步骤S230，对于每个样本超像素单元，根据所述样本超像素单元的节点特征，确定所述样本超像素单元的状态向量。
步骤S240，对于每个样本超像素单元，根据所述样本超像素单元的状态向量、相邻样本超像素单元的状态向量、所述样本超像素单元与相邻样本超像素单元之间的边特征，对所述样本超像素单元的状态向量进行更新，得到所述样本超像素单元更新后的状态向量。
以上步骤S210-S240的实现过程与前面步骤S110-S140的实现过程相类似，因此可以参照前面步骤S110-S140的相关描述，此处不再赘述。
步骤S250，将所有样本超像素单元更新后的状态向量作为输入、所述样本场景标签作为期望输出，对所述图像场景分类模型进行训练。
通过对所述图像场景分类模型进行多轮迭代训练，直至图像场景分类模型满足训练结束条件，即可以得到训练好的图像场景分类模型。
请参见图6，图6示出了本申请实施例提供的另一种基于图神经网络的图像场景分类方法的流程示意图。如图6所示，该图像场景分类方法包括但不限于以下步骤S310-S370。
步骤S310，基于不同的预设分割阈值对待分类的目标图像进行超像素分割，得到多个目标超像素分割图像，各个目标超像素分割图像包括不同数量的目标超像素单元。
可以理解的是，考虑到图像场景通常有一定的层次性，因此本申请实施例通过控制超像素分割的阈值，以基于不同的预设分割阈值生成不同的目标超像素分割图像，各个目标超像素分割图像包括不同数量的目标超像素单元。
举例而言，如图7所示，对于目标图像，可以基于不同的预设分割阈值，生成三种不同层次的目标超像素分割图像，以将图像分解成多层次的网络结构进行目标信息表达。在图7所示例子中，将图像分割成三个层次的超像素单元集合，分别包含8个、4个、2个超像素。
具体实现时，可以在基于区域生长算法对目标图像进行超像素分割的过程中，通过调整预设像素参数大小来确定不同的分割阈值。
步骤S320，遍历各个目标超像素分割图像，获取当前遍历的所述目标超像素分割图像下的多个目标超像素单元。
可以理解的是，在获得不同层次的目标超像素分割图像之后，遍历各个目标超像素分割图像，针对每个目标超像素分割图像分别执行以下步骤S330-S360。
步骤S330，针对当前遍历的所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征。
步骤S340，对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量。
步骤S350，对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量。
步骤S360，将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于所述目标超像素分割图像的目标场景标签。
以上步骤S330-S260的实现过程与前面步骤S120-S150的实现过程相类似，因此可以参照前面步骤S120-S150的相关描述，此处不再赘述。
步骤S370，获取所述图像场景分类模型基于各个目标超像素分割图像输出的目标场景标签。
可以理解的是，本申请基于不同层次的目标超像素分割图像，得到不同层次的目标场景标签。例如，基于层次1得到的目标场景标签为“自然”，基于层次2得到的目标场景标签为“森林”，基于层次3得到的目标场景标签为“灌木林”。
步骤S380，根据基于各个超像素分割图像输出的目标场景标签，确定对应于所述目标图像的图像场景分类结果。
步骤S380具体可以包括：对各个超像素分割图像输出的目标场景标签进行拼接，得到对应于所述目标图像的图像场景分类结果。
沿用前面例子，基于三个不同层次的目标超像素分割图像，得到三个层次对应的目标场景标签“自然”、“森林”、“灌木林”，最终可以将三个层次的目标场景标签拼接输出最终的场景分类结果为“自然-森林-灌木林”。
本实施例通过生成关于目标图像的微观和宏观尺度兼备的多尺度表达，在此基础上更好地实现图像场景内组件单元及其空间拓扑关系信息的提取和挖掘，可以更深度地获取场景的关键多层次信息，以实现更加准确有效的图像场景分类。
可以理解的是，在步骤S360之前，需要对图像场景分类模型进行训练，以得到预先训练好的图像场景分类模型。请参见图8，图8示出了图像场景分类模型的训练流程示意图。如图8所示，本申请实施例提供的图像场景分类模型的训练过程可以包括以下步骤S400-S420。
步骤S400，获取样本图像以及与所述样本图像对应的样本场景标签。
可以理解的是，在进行模型训练之前，先构建样本图像集合，并对样本图像集合中的每个样本图像打上样本场景标签。
步骤S410，基于不同的预设分割阈值对所述样本图像进行超像素分割，得到多个样本超像素分割图像，各个样本超像素分割图像包括不同数量的样本超像素单元。
可以理解的是，对于样本图像，基于不同的预设分割阈值对所述样本图像进行超像素分割，具体分割方法可参照前面步骤S310的实施过程，此处不再赘述。
步骤S420，遍历各个样本超像素分割图像，以基于各个样本超像素分割图像对所述图像场景分类模型进行训练，所述训练过程包括步骤S421-S424：
步骤S421，将当前遍历的样本超像素分割图像下的每个所述样本超像素单元分别作为一个节点，获取每个样本超像素单元的节点特征、相邻样本超像素单元之间的边特征。
步骤S422，对于每个样本超像素单元，根据所述样本超像素单元的节点特征，确定所述样本超像素单元的状态向量。
步骤S423，对于每个样本超像素单元，根据所述样本超像素单元的状态向量、相邻样本超像素单元的状态向量、所述样本超像素单元与相邻样本超像素单元之间的边特征，对所述样本超像素单元的状态向量进行更新，得到所述样本超像素单元更新后的状态向量。
步骤S424，将所有样本超像素单元更新后的状态向量作为输入、所述样本场景标签作为期望输出，对所述图像场景分类模型进行训练。
需说明的是，步骤S421-S424的具体实现过程与前面步骤S220-S250的实现过程相类似，因此可以参照前面步骤S220-S250的相关描述，此处不再赘述。
请参见图9，本申请实施例还提供一种基于图神经网络的图像场景分类装置，所述装置包括：
图像分割模块810，用于对待分类的目标图像进行超像素分割，得到目标超像素分割图像；
特征提取模块820，用于获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征；
状态确定模块830，用于对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量；
状态更新模块840，对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；
标签输出模块850，用于将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于目标超像素分割图像的所述目标场景标签；
场景分类模块860，用于根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。
可以理解的是，在一些实施例中，本申请的基于图神经网络的图像场景分类装置还包括训练模块，用于对图像场景分类模型进行训练，得到训练好的图像场景分类模型。
需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述图像场景分类方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参见图10，图10示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器901，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器902，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的图像场景分类方法；
输入/输出接口903，用于实现信息输入及输出；
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述图像场景分类方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。
Claims (10)
1.一种基于图神经网络的图像场景分类方法，其特征在于，所述方法包括：
对待分类的目标图像进行超像素分割，得到目标超像素分割图像；
获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征；
对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量；
对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；
将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于所述目标超像素分割图像的目标场景标签；
根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。
2.根据权利要求1所述的方法，其特征在于，在将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以通过所述图像场景分类模型获得目标场景标签之前，所述方法还包括：
获取样本图像以及与所述样本图像对应的样本场景标签；
对所述样本图像进行超像素分割，得到样本超像素分割图像；
获取所述样本超像素分割图像下的多个样本超像素单元，将每个所述样本超像素单元分别作为一个节点，获取每个样本超像素单元的节点特征、相邻样本超像素单元之间的边特征；
对于每个样本超像素单元，根据所述样本超像素单元的节点特征，确定所述样本超像素单元的状态向量；
对于每个样本超像素单元，根据所述样本超像素单元的状态向量、相邻样本超像素单元的状态向量、所述样本超像素单元与相邻样本超像素单元之间的边特征，对所述样本超像素单元的状态向量进行更新，得到所述样本超像素单元更新后的状态向量；
将所有样本超像素单元更新后的状态向量作为输入、所述样本场景标签作为期望输出，对所述图像场景分类模型进行训练。
3.根据权利要求1所述的方法，其特征在于，在将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以通过所述图像场景分类模型获得目标场景标签之前，所述方法还包括：
获取样本图像以及与所述样本图像对应的样本场景标签；
基于不同的预设分割阈值对所述样本图像进行超像素分割，得到多个样本超像素分割图像，各个样本超像素分割图像包括不同数量的样本超像素单元；
遍历各个样本超像素分割图像，以基于各个样本超像素分割图像对所述图像场景分类模型进行训练，所述训练过程包括：
将当前遍历的样本超像素分割图像下的每个所述样本超像素单元分别作为一个节点，获取每个样本超像素单元的节点特征、相邻样本超像素单元之间的边特征；
对于每个样本超像素单元，根据所述样本超像素单元的节点特征，确定所述样本超像素单元的状态向量；
对于每个样本超像素单元，根据所述样本超像素单元的状态向量、相邻样本超像素单元的状态向量、所述样本超像素单元与相邻样本超像素单元之间的边特征，对所述样本超像素单元的状态向量进行更新，得到所述样本超像素单元更新后的状态向量；
将所有样本超像素单元更新后的状态向量作为输入、所述样本场景标签作为期望输出，对所述图像场景分类模型进行训练。
4.根据权利要求1所述的方法，其特征在于，所述对待分类的目标图像进行超像素分割，得到目标超像素分割图像，包括：
基于不同的预设分割阈值对待分类的目标图像进行超像素分割，得到多个目标超像素分割图像，各个目标超像素分割图像包括不同数量的目标超像素单元；
所述获取所述目标超像素分割图像下的多个目标超像素单元，包括：
遍历各个目标超像素分割图像，获取当前遍历的所述目标超像素分割图像下的多个目标超像素单元；
所述根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果，包括：
获取所述图像场景分类模型基于各个目标超像素分割图像输出的目标场景标签；
根据基于各个超像素分割图像输出的目标场景标签，确定对应于所述目标图像的图像场景分类结果。
5.根据权利要求4所述的方法，其特征在于，所述根据基于各个超像素分割图像输出的目标场景标签，确定对应于所述目标图像的图像场景分类结果，包括：
对各个超像素分割图像输出的目标场景标签进行拼接，得到对应于所述目标图像的图像场景分类结果。
6.根据权利要求1所述的方法，其特征在于，所述对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量，包括：
根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，确定所述目标超像素单元的关系特征向量；
根据所述目标超像素单元的状态向量和所述关系特征向量，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量。
7.根据权利要求1所述的方法，其特征在于，所述对待分类的目标图像进行超像素分割，得到目标超像素分割图像，包括：
利用区域生长算法在待分类的目标图像上进行区域分割，得到目标超像素分割图像。
8.一种基于图神经网络的图像场景分类装置，其特征在于，包括：
图像分割模块，用于对待分类的目标图像进行超像素分割，得到目标超像素分割图像；
特征提取模块，用于获取所述目标超像素分割图像下的多个目标超像素单元，将每个所述目标超像素单元分别作为一个节点，获取每个目标超像素单元的节点特征、相邻目标超像素单元之间的边特征；
状态确定模块，用于对于每个目标超像素单元，根据所述目标超像素单元的节点特征，确定所述目标超像素单元的状态向量；
状态更新模块，对于每个目标超像素单元，根据所述目标超像素单元的状态向量、相邻目标超像素单元的状态向量、所述目标超像素单元与相邻目标超像素单元之间的边特征，对所述目标超像素单元的状态向量进行更新，得到所述目标超像素单元更新后的状态向量；
标签输出模块，用于将所有目标超像素单元更新后的状态向量输入至预先训练好的图像场景分类模型，以使所述图像场景分类模型输出基于目标超像素分割图像的所述目标场景标签；
场景分类模块，用于根据所述目标场景标签确定对应于所述目标图像的图像场景分类结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的基于图神经网络的图像场景分类方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至7中任一项所述的基于图神经网络的图像场景分类方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073146.3A CN114399002A (zh) | 2022-01-21 | 2022-01-21 | 基于图神经网络的图像场景分类方法及装置 |
| PCT/CN2022/090725 WO2023137916A1 (zh) | 2022-01-21 | 2022-04-29 | 基于图神经网络的图像场景分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073146.3A CN114399002A (zh) | 2022-01-21 | 2022-01-21 | 基于图神经网络的图像场景分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114399002A true CN114399002A (zh) | 2022-04-26 |
Family
ID=81232596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210073146.3A Pending CN114399002A (zh) | 2022-01-21 | 2022-01-21 | 基于图神经网络的图像场景分类方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114399002A (zh) |
| WO (1) | WO2023137916A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023137916A1 (zh) * | 2022-01-21 | 2023-07-27 | 平安科技（深圳）有限公司 | 基于图神经网络的图像场景分类方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695636A (zh) * | 2020-06-15 | 2020-09-22 | 北京师范大学 | 一种基于图神经网络的高光谱图像分类方法 |
| CN113160177A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于超像素和图卷积网络的平面分割方法 |
| CN113298129A (zh) * | 2021-05-14 | 2021-08-24 | 西安理工大学 | 基于超像素和图卷积网络的极化sar图像分类方法 |
| CN113313164A (zh) * | 2021-05-27 | 2021-08-27 | 复旦大学附属肿瘤医院 | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10223788B2 (en) * | 2016-08-31 | 2019-03-05 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
| CN109741341B (zh) * | 2018-12-20 | 2022-11-01 | 华东师范大学 | 一种基于超像素和长短时记忆网络的图像分割方法 |
| CN110110741A (zh) * | 2019-03-26 | 2019-08-09 | 深圳大学 | 一种多尺度分类方法、装置及计算机可读存储介质 |
| CN114399002A (zh) * | 2022-01-21 | 2022-04-26 | 平安科技（深圳）有限公司 | 基于图神经网络的图像场景分类方法及装置 |
-
2022
- 2022-01-21 CN CN202210073146.3A patent/CN114399002A/zh active Pending
- 2022-04-29 WO PCT/CN2022/090725 patent/WO2023137916A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695636A (zh) * | 2020-06-15 | 2020-09-22 | 北京师范大学 | 一种基于图神经网络的高光谱图像分类方法 |
| CN113160177A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于超像素和图卷积网络的平面分割方法 |
| CN113298129A (zh) * | 2021-05-14 | 2021-08-24 | 西安理工大学 | 基于超像素和图卷积网络的极化sar图像分类方法 |
| CN113313164A (zh) * | 2021-05-27 | 2021-08-27 | 复旦大学附属肿瘤医院 | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 伊凡•瓦西列夫著: "《Python深度学习——模型、方法与实现》", vol. 1, 30 September 2021, 机械工业出版社, pages: 236 - 237 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023137916A1 (zh) * | 2022-01-21 | 2023-07-27 | 平安科技（深圳）有限公司 | 基于图神经网络的图像场景分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023137916A1 (zh) | 2023-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6395158B2 (ja) | シーンの取得画像を意味的にラベル付けする方法 | |
| CN111445020B (zh) | 一种基于图的卷积网络训练方法、装置及系统 | |
| CN111310074B (zh) | 兴趣点的标签优化方法、装置、电子设备和计算机可读介质 | |
| CN114004328A (zh) | Ai模型更新的方法、装置、计算设备和存储介质 | |
| CN110874618A (zh) | 基于小样本的ocr模板学习方法、装置、电子设备及介质 | |
| CN114638960A (zh) | 模型的训练方法、图像描述生成方法和装置、设备、介质 | |
| CN113128588A (zh) | 模型训练方法、装置、计算机设备及计算机存储介质 | |
| CN114399002A (zh) | 基于图神经网络的图像场景分类方法及装置 | |
| CN111626311A (zh) | 一种异构图数据处理方法和装置 | |
| CN112906517B (zh) | 一种自监督的幂律分布人群计数方法、装置和电子设备 | |
| CN113822144A (zh) | 一种目标检测方法、装置、计算机设备和存储介质 | |
| CN115995024A (zh) | 基于类图神经网络的图像分类方法 | |
| CN113723515B (zh) | 基于图像识别的摩尔纹识别方法、装置、设备及介质 | |
| CN110287351A (zh) | 一种三维模型轻量化展示优化方法 | |
| CN115439713A (zh) | 模型训练方法及装置、图像分割方法、设备、存储介质 | |
| CN112667864B (zh) | 图对齐方法、装置、电子设备及存储介质 | |
| CN113256386A (zh) | 一种基于人工智能的商品描述方法及装置 | |
| CN114385831B (zh) | 一种基于特征提取的知识图谱关系预测方法 | |
| US11748447B1 (en) | Data clinic method, computer program storing data clinic method, and computing device for performing data clinic method | |
| CN117953313B (zh) | 基于人工智能实现矿山数据的异常识别方法及系统 | |
| Saxena et al. | An Optimized Technique for Plant Identification Through Deep Residual Networks | |
| CN116049660B (zh) | 数据处理方法、装置、设备、存储介质及程序产品 | |
| WO2022065278A1 (ja) | 統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラム | |
| CN116702016A (zh) | 对象属性识别方法、装置、设备及存储介质 | |
| CN114821657A (zh) | 模型的训练方法、行人重识别方法和装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |