CN113627464A - 图像处理方法、装置、设备和存储介质 - Google Patents
图像处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113627464A CN113627464A CN202110718310.7A CN202110718310A CN113627464A CN 113627464 A CN113627464 A CN 113627464A CN 202110718310 A CN202110718310 A CN 202110718310A CN 113627464 A CN113627464 A CN 113627464A
- Authority
- CN
- China
- Prior art keywords
- graph
- edge
- connected graph
- reconstructed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000002372 labelling Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 102100033620 Calponin-1 Human genes 0.000 description 3
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 102100033591 Calponin-2 Human genes 0.000 description 2
- 102100033592 Calponin-3 Human genes 0.000 description 2
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 2
- 101000945410 Homo sapiens Calponin-3 Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 235000005338 Allium tuberosum Nutrition 0.000 description 1
- 244000003377 Allium tuberosum Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Discrete Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机处理技术领域，提供一种图像处理方法、装置、设备和存储介质，主要包括：获取对图像集进行聚类得到的第一连通图；按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，在节省计算资源和降低时间成本的同时保证图像聚类准确性。
Description
技术领域
本申请涉及计算机处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机处理技术的发展，出现了通过图(gragh)处理实现图像聚类的方法。该方法构造的节点连接关系图中，将节点连接关系图所包含的连通图的各节点表征的各图像作为同一类图像。
如果连通图中存在较多错误连接边，将非同类的图像的节点连接在一起，则会影响图像聚类结果的准确性。为保证图像聚类结果的准确性，在得到连通图后可以进一步判断连通图各连接边是否属于错误连接边。在一些图像聚类场景中，连通图可能存在成千上万条连接边，所耗费的计算资源较大。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，所述方法包括：
获取对图像集进行聚类得到的第一连通图；
按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；
若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；
根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图。
在其中一个实施例中，所述根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，包括：
若所述重构连通图的连通性为不连通，且所述重构连通图包含的各子连通图均为结构稠密，则将所述各子连通图中未进行重构的子连通图和/或重构子连通图，作为所述图像集的第二连通图；所述重构子连通图不包含属于错误连接边的连接边或所述重构连通图的节点数低于节点数阈值。
在其中一个实施例中，所述方法还包括：
若所述子连通图的节点数高于所述节点数阈值且所述子连通图包含属于错误连接边的连接边，则对所述子连通图进行重构。
在其中一个实施例中，所述根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，包括：
若所述重构连通图的连通性为不连通，且所述重构连通图包含至少一个结构稀疏的子连通图，且所述目标连接边为顺序预测的最后一条连接边，则将所述第一连通图作为所述图像集的第二连通图。
在其中一个实施例中，所述根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，包括：
若所述重构连通图的连通性为连通，且所述目标连接边是顺序预测的最后一条连接边，则将所述重构连通图作为所述图像集的第二连通图。
在其中一个实施例中，所述按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边，包括：
按照所述顺序确定所述各连接边中的待预测连接边；
获取所述待预测连接边的特征信息；所述特征信息包括与所述待预测连接边对应的节点集中的节点间的连接关系，以及所述节点集中各节点的标签值；所述节点集包括由所述待预测连接边连接的两个目标节点、两个目标节点各自的一阶邻居节点和二阶邻居节点；针对所述节点集中的任两个邻居节点，具有较小标签值的邻居节点至各目标节点的最短路径之和小于具有较大标签值的邻居节点至各目标节点的最短路径之和；或，针对所述节点集中的任两个邻居节点，在具有较小标签值的邻居节点至各目标节点的最短路径之和等于具有较大标签值的邻居节点至各目标节点的最短路径之和的情况下，具有较小标签值的邻居节点至各目标节点的最短路径中最短的最短路径小于具有较大标签值的邻居节点至各目标节点的最短路径中最短的最短路径；所述邻居节点的标签值越小，所述邻居节点对图卷积网络预测所述待预测连接边是否属于错误连接边的贡献度越大；
将所述特征信息输入至预先构建的图卷积网络；
获取所述图卷积网络基于所述特征信息预测并输出的所述待预测连接边属于错误连接边的概率值；
基于所述概率值确定所述待预测连接边是否为错误连接边。
在其中一个实施例中，所述获取对图像集进行聚类得到的第一连通图，包括：
将所述图像集输入不同的卷积神经网络；
获取基于各卷积神经网络确定的所述图像集中每一图像对应的第一同类图集；
根据同一图像对应的由不同卷积神经网络确定的第一同类图集，得到所述图像集中各图像的第二同类图集；
根据所述各图像的第二同类图集表征的图像间的同类关系，构建所述第一连通图。
在其中一个实施例中，所述方法还包括：
获取将实际非同类图像确定为同类图像的第一次数，根据所述第一次数确定测试认假率；
获取将实际同类图像确定为非同类图像的第二次数，根据所述第二次数确定测试拒真率；
基于所述测试拒真率和测试认假率，调整确定同类图集所用的相似度阈值。
一种图像处理装置，所述装置包括：
连通图获取模块，用于获取对图像集进行聚类得到的第一连通图；
连接边预测模块，用于按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；
重构连通图获取模块，用于若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；
连通图确定模块，用于根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
上述图像处理方法、装置、计算机设备和存储介质，获取对图像集进行聚类得到的第一连通图；按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图。
上述方法中，根据第一连通图的各连接边的介数中心性测度的大小确定各连接边预测顺序，若连接边的介数中心性测度较大，则表明该连接边可能是连接不同簇的重要连接边，因此，优先预测该介数中心性测度较大的连接边，节省计算资源，降低时间成本；若预测到该连接边为错误连接边，则说明该连接边不应存在且该连接边可能连接不同簇，接着根据该第一连通图中除错误连接边外的图重构，得到重构连通图，并根据第一连通图和重构连通图确定图像集的第二连通图，后续可以将该第二连通图中各节点表征的图像作为同一类图像，得到准确性较高的图像聚类结果。
附图说明
图1为一个实施例中图像处理方法的流程示意图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中图像处理方法的流程示意图；
图4为一个实施例中图像处理装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
深度学习在人工智能领域得到许多突破，例如在计算机视觉、自然语言处理等众多人工智能方向上都取得了显著成果，通过深度学习得到的各类神经网络模型被用来完成分类、识别等任务。而为获得分类、识别等效果优异的神经网络模型(以下简称模型)需要经过一个有监督的训练过程，即利用带标签的样本图像不断调整神经网络模型参数，使其达到所要求的性能。
在实际应用场景中获得大批未标注样本图像是比较容易的，而完全依靠人工手动进行标注往往会耗费大量人力和时间，并且因为缺乏足够的先验知识，利用人工标注可能会使得这些标签基于主观判断而具有倾向性。如果仅使用少量有标签的样本图像参与后续神经网络模型训练过程，难以获得性能良好的神经网络模型，甚至会导致训练出来的神经网络模型出现过拟合现象。但如果忽略这些未标注样本图像，则会浪费极大数据资源，丢失神经网络模型学习任务所需信息。对于数量巨大的无标签样本图像，考虑到人工标注效率极低，标注质量通常参差不齐，因此，有必要在实现基本标注功能的同时，提升样本图像的标注效率和准确性，实现智能化的样本图像标注。
智能化的样本图像标注的其中一种方式可以是：对样本图像进行聚类，将属于不同类别的样本图像分开，其中类别也被称作簇。基于此，通过给同一簇中的样本图像标注相同的虚拟标签，能够为神经网络模型学习任务提供训练数据样本。图聚类方法是一种基于图划分理论的聚类算法，与其它聚类方法相比，图聚类算法具有明显优势：这类方法对数据分布的适应性更强，可以识别任意形状的聚类。基于图划分的图像聚类算法的核心是将图像聚类问题看成图分割问题，其主要思想包含两个部分：第一部分是构造样本图像的节点连接关系图(该节点连接关系图可以是通过提取样本图像的特征向量进行构建的)；第二部分是确定优化分割目标并求解节点连接关系图划分问题。
在第一部分构造节点连接关系图时，可以通过先验知识来对节点间关联关系进行评估，生成的邻接矩阵的精度与超参数的取值有关。然而，在实际场景中，收集到的样本图像往往是样本数量不均衡的非理想数据集。若设置的超参数不合理，容易出现节点连接关系图中部分连接边被永久删除或者存在较多错误连接边，影响图像聚类表现。
考虑到单个卷积神经网络(Convolution Neural Network,CNN)模型提取到的特征可能存在偏差，如图1所示，本申请将未标注样本图像集分别输入到不同的CNN，获得同一节点的不同邻居结构表示，在此基础上进行局部拓扑融合，从多个不同的角度更加精确地描述样本图像，使其更具有鉴别性，特征表达能力更强。
具体来说，计算机设备在获取对图像集进行聚类得到的第一连通图(即图2的S201)时，可以通过如下步骤实现：将所述图像集输入不同的卷积神经网络；获取基于各卷积神经网络确定的所述图像集中每一图像对应的第一同类图集；根据同一图像对应的由不同卷积神经网络确定的第一同类图集，得到所述图像集中各图像的第二同类图集；根据所述各图像的第二同类图集表征的图像间的同类关系，构建所述第一连通图。
计算机设备将图像集输入各CNN后，各CNN会提取图像集的每一图像的特征向量；针对图像集中的任一图像，对该图像的由CNN1输出的特征向量与其他图像的由该CNN1输出的特征向量进行相似度计算，并基于相似度的大小确定该其他图像是否为该图像的同类图像，也即得到该图像经由该CNN1确定的第一同类图集；同样地，还可以得到该图像经由CNN2和CNN3确定的第一同类图集。然后，对同一图像的由不同CNN确定的第一同类统计进行融合，得到该同一图像的第二同类图集。
其中，针对两张图像特征向量的计算公式为：
其中，图像A的D维特征向量为：A＝[a1,a2,…,aD]，图像B的D维特征向量为B＝[b1,b2,…,bD]。
针对图像I，基于CNN1确定的图像I对应的第一同类图集为J、A和B，基于CNN2确定的图像I对应的第一同类图集为A、B和C，基于CNN3确定的图像I对应的第一同类图集为J、A和C，因此，计算机设备融合各卷积网络确定的图像I对应的第一图像图集，得到图像I对应的第二图像图集为J、A、B和C。接着，计算机设备基于图像I的第二图像图集表征的图集中各图像与图像I的同类关系，将图像I的节点i与第二图像图集的图像J、A、B和C对应的节点进行边连接，得到对应的节点连接图。
进一步地，若仅使用相似度难以确定不同节点之间的连接边存在与否，那么可以引入相似度阈值，用于评估两节点的相似程度。
也即，上述基于相似度的大小确定该其他图像是否为该图像的同类图像的步骤中，可以确定相似度是否大于相似度阈值，若是，则说明该其他图像与该图像的相似程度高，因此可以用边连接这两张图像的节点，得到对应的节点连接关系图。
考虑到不合理的相似度阈值会遗漏正确连接边，同时错误连接边也可能出现在节点连接图中，因此，利用拒真率和认假率设置合适的阈值，以建立邻居节点过滤模型；其中，认假率的计算公式为
(NIRA是类间测试的总次数，NFA是将实际非同类图像确定为同类图像的次数)，拒真率的计算公式为
(NGRA是类内测试的总次数，NFR是将实际同类图像确定为非同类图像的次数)。
也即，计算机设备可以获取将实际非同类图像确定为同类图像的第一次数，根据所述第一次数确定测试认假率；获取将实际同类图像确定为非同类图像的第二次数，根据所述第二次数确定测试拒真率；基于所述测试拒真率和测试认假率，调整确定同类图集所用的相似度阈值；其中，该同类图集可以是第一同类图集也可以第二同类图集。
同样地，针对图像集的其他图像的处理方式可以参考对图像I的处理方式，这里不赘述。
计算机设备在得到各图像对应的节点连接图后，将各图像对应的节点连接图拼接起来形成完整关系图(该完整关系图也是属于节点连接图)，若该完整关系图是一个连通图，那么可以直接计算该完整关系图的各连接边的介数中心性测度，得到介数中心性测度大的关键连接边i-j、k-l、m-n。如果该完整关系图包括多个连通图，那么可以分别计算各连通图的连接边的介数中心性测度。
接着，计算机设备按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边(步骤S202)；
如果连通图中存在不同簇的错误连接边，那么该错误连接边相较于连通图包含的其他连接边而言，介数中心性测度较大，因此在预测各连接边是否为错误连接边时，可以优先预测介数中心性测度较大的。其中，连接边的介数中心性测度可以通过如下公式确定：
其中，V表示连通图包含的节点集合，σ(s,t)表示连接节点s和节点t之间最短路径的数量，σ(s,t|e)是连接两节点s和节点t之间的所有最短路径中经过连接边e的路径数。
若计算机设备预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图(步骤S203)；
本步骤中，如果预测到错误连接边，那么可以从第一连通图中删除该错误连接边，得到第一连通图除该错误连接边以外的图，并将该图作为重构连通图；又例如，如果预测到错误连接边，计算机还可以获取第一连通图中除该错误连接边以外的图(即边外图)，并以边外图为准，重构一个与边外图一致的图，得到重构连通图。
计算机设备根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图(步骤S204)时，可以包括多种处理方式，后续介绍具体的多种处理方式。
上述图像处理方法中，根据第一连通图的各连接边的介数中心性测度的大小确定各连接边预测顺序，若连接边的介数中心性测度较大，则表明该连接边可能是连接不同簇的重要连接边，因此，优先预测该介数中心性测度较大的连接边，节省计算资源，降低时间成本；若预测到该连接边为错误连接边，则说明该连接边不应存在且该连接边可能连接不同簇，接着根据该第一连通图中除错误连接边外的图重构，得到重构连通图，并根据第一连通图和重构连通图确定图像集的第二连通图，后续可以将该第二连通图中各节点表征的图像作为同一类图像，得到准确性较高的图像聚类结果。
其中，计算机设备在预测各连接边是否属于错误连接边时，可以执行以下步骤：按照所述顺序确定所述各连接边中的待预测连接边；获取所述待预测连接边的特征信息；将所述特征信息输入至预先构建的图卷积网络(Graph Convolution Network,GCN)；获取所述图卷积网络基于所述特征信息预测并输出的所述待预测连接边属于错误连接边的概率值；基于所述概率值确定所述待预测连接边是否为错误连接边。
其中，所述特征信息包括与所述待预测连接边对应的节点集中的节点间的连接关系，以及所述节点集中各节点的标签值；所述节点集包括由所述待预测连接边连接的两个目标节点、两个目标节点各自的一阶邻居节点和二阶邻居节点，如图1所示的连接边i-j、k-l、m-n各自的二阶关系图中的节点。
针对所述节点集中的任两个邻居节点，具有较小标签值的邻居节点至各目标节点的最短路径之和小于具有较大标签值的邻居节点至各目标节点的最短路径之和；或，针对所述节点集中的任两个邻居节点，在具有较小标签值的邻居节点至各目标节点的最短路径之和等于具有较大标签值的邻居节点至各目标节点的最短路径之和的情况下，具有较小标签值的邻居节点至各目标节点的最短路径中最短的最短路径小于具有较大标签值的邻居节点至各目标节点的最短路径中最短的最短路径。
以节点集包括的目标节点为i和j，节点集包括的邻居节点为x和y为例介绍上述内容：
记邻居节点x至各目标节点的最短路径为d(x,i)、d(x,j)，邻居节点y至各目标节点的最短路径为d(y,i)、d(y,j)。
若d(x,i)+d(x,j)<d(y,i)+d(y,j)，则为邻居节点y赋予较大的标签值，为邻居节点x赋予较小的标签值。
若d(x,i)+d(x,j)＝d(y,i)+d(y,j)，则进一步确定邻居节点x至各目标节点的最短路径中最短的最短路径与邻居节点y至各目标节点的最短路径中最短的最短路径的相对大小，若邻居节点x至各目标节点的最短路径d(x,i)、d(x,j)中最短的最短路径为d(x,i)，邻居节点y至各目标节点的最短路径d(y,i)、d(y,j)中最短的最短路径为d(y,j)，且d(x,i)>d(y,j)，那么为邻居节点x赋予较大的标签值，为邻居节点y赋予较小的标签值。
若节点集中的邻居节点仅为一个，那么可以为该邻居节点赋予大于目标节点的标签值的标签值。
所述邻居节点的标签值越小，所述邻居节点对图卷积网络预测所述待预测连接边是否属于错误连接边的贡献度越大。
接着，计算机设备按照介数中心性测度由大到小的顺序，将各连接边i-j、k-l、m-n对应的上述特征信息输入至图卷积网络中进行预测，以确定各关键连接边为错误连接边的概率值；基于所述概率值确定所述待预测连接边是否为错误连接边。
上述方式，考虑到实际采集到的未标注样本图像的数据分布复杂，以往设立的优化分割目标函数不再适用，而图卷积网络能够从图结构数据中提取特征，利用其它节点知识来推理目标节点的特征，因此采用GCN自动学习节点对之间的关联信息，从而解决关键边的存在性问题，提高预测准确性。
在一个实施例中，如图3所示，计算机设备可以执行如下步骤：
步骤S301至步骤S302，计算机设备将未标注样本图像集输入至多个CNN中，得到各未标注样本图像的特征向量；
步骤S303，基于不同CNN提取的特征向量，计算图像间的相似度是否大于相似度阈值，得到同一节点的不同邻居结构表示，在此基础上进行局部拓扑融合，得到每一样本图像对应的同类图集；
步骤S304，构造完整关系图(Complete-Graph)，该关系图包括多个连通图；
步骤S305，判断从完整关系图中得到的连通图集合是否为空集合；
步骤S306，从连通图集合中任选一个连通图；
步骤S307，计算选取的连通图(记为CS-Graph(i))的节点数Nnode是否大于或等于节点数阈值Tnode；若否，则将CS-Graph(i)放入聚类簇集合，不进行分割处理；若是，则进入步骤S308；
步骤S308，计算CS-Graph(i)中所有连接边的介数中心性测度，即重要性程度，并将所有连接边按照介数中心性测度从大到小排序，形成待预测连接边集合(记为Edge(i))；
步骤S309，判断Edge(i)是否为空集合，若是，则进行下一连通图的处理，若否，则进入步骤S310；
步骤S310，按照介数中心性测度从大到小排序从Edge(i)中取出介数中心性测度最大的待预测连接边，并将该待预测连接边的相关信息(即二阶关系图和节点信息矩阵)输入GCN中进行预测，获取GCN输出的该待预测连接边为错误连接边的概率值；
步骤S311，判断该待预测连接边为错误连接边的概率值是否大于概率阈值(记为Pr)；
步骤S312，若该待预测连接边为错误连接边的概率值大于概率阈值，则从选取的连通图中删除该待预测连接边；
步骤S313，判断删除该待预测连接边的连通图(相当于重构连通图)的连通性是否改变。若否，则回到步骤S309，在Edge(i)不是空集合时进行下一条连接边的预测，在Edge(i)是空集合时进行下一连通图的处理，直至全部连通图都被处理。
步骤S314，若连通性发生改变，即重构连通图的连通性为不连通，此时，说明重构连通图包括多个子连通图(即得到了新的连通图)并判断子连通图是否结构稀疏；其中，连通图的结构是否稀疏可以通过连通图的连接边数量确定，如果连通图的连接边数量小于阈值，则认为连通图结构稀疏，如果连通图的连接边数量大于或等于阈值，则认为连通图结构稠密。
步骤S315，若各子连通图结构稠密，则将子连通图放入连通图集合中进行分割处理；
步骤S316，若至少一个子连通图的结构稀疏，则恢复已删除的当前待预测连接边，并进行下一连接边的预测处理。
通过图3和上述介绍可以明确，步骤S204的具体处理方式可以包括以下几种：
(1)若所述重构连通图的连通性为不连通，且所述重构连通图包含的各子连通图均为结构稠密，则将所述各子连通图中未进行重构的子连通图和/或重构子连通图，作为所述图像集的第二连通图；所述重构子连通图不包含属于错误连接边的连接边或所述重构连通图的节点数低于节点数阈值。
进一步地，如果所述子连通图的节点数高于所述节点数阈值且所述子连通图包含属于错误连接边的连接边，则对所述子连通图进行重构。
(2)若所述重构连通图的连通性为不连通，且所述重构连通图包含至少一个结构稀疏的子连通图，且所述目标连接边为顺序预测的最后一条连接边，则将所述第一连通图作为所述图像集的第二连通图。
(3)若所述重构连通图的连通性为连通，且所述目标连接边是顺序预测的最后一条连接边，则将所述重构连通图作为所述图像集的第二连通图。
通过上述方法，对连通图进行持续分割处理，直至得到满足上述几种情况的连通图，将该连通图作为第二连通图，也即得到聚类簇集合，将聚类簇集合中同一连通图的节点代表的图像作为同一类图像，并为同一类图像赋予相同的标注，实现智能化的图像标注。
应该理解的是，虽然图1至图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种图像处理装置，包括：
连通图获取模块401，用于获取对图像集进行聚类得到的第一连通图；
连接边预测模块402，用于按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；
重构连通图获取模块403，用于若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；
连通图确定模块404，用于根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图。
在一个实施例中，所述连通图确定模块404，还用于若所述重构连通图的连通性为不连通，且所述重构连通图包含的各子连通图均为结构稠密，则将所述各子连通图中未进行重构的子连通图和/或重构子连通图，作为所述图像集的第二连通图；所述重构子连通图不包含属于错误连接边的连接边或所述重构连通图的节点数低于节点数阈值。
在一个实施例中，所述装置还包括连通图重构模块，用于若所述子连通图的节点数高于所述节点数阈值且所述子连通图包含属于错误连接边的连接边，则对所述子连通图进行重构。
在一个实施例中，所述连通图确定模块404，还用于若所述重构连通图的连通性为不连通，且所述重构连通图包含至少一个结构稀疏的子连通图，且所述目标连接边为顺序预测的最后一条连接边，则将所述第一连通图作为所述图像集的第二连通图。
在一个实施例中，所述连通图确定模块404，还用于若所述重构连通图的连通性为连通，且所述目标连接边是顺序预测的最后一条连接边，则将所述重构连通图作为所述图像集的第二连通图。
在一个实施例中，所述连接边预测模块402，还用于按照所述顺序确定所述各连接边中的待预测连接边；获取所述待预测连接边的特征信息；所述特征信息包括与所述待预测连接边对应的节点集中的节点间的连接关系，以及所述节点集中各节点的标签值；所述节点集包括由所述待预测连接边连接的两个目标节点、两个目标节点各自的一阶邻居节点和二阶邻居节点；针对所述节点集中的任两个邻居节点，具有较小标签值的邻居节点至各目标节点的最短路径之和小于具有较大标签值的邻居节点至各目标节点的最短路径之和；或，针对所述节点集中的任两个邻居节点，在具有较小标签值的邻居节点至各目标节点的最短路径之和等于具有较大标签值的邻居节点至各目标节点的最短路径之和的情况下，具有较小标签值的邻居节点至各目标节点的最短路径中最短的最短路径小于具有较大标签值的邻居节点至各目标节点的最短路径中最短的最短路径；所述邻居节点的标签值越小，所述邻居节点对图卷积网络预测所述待预测连接边是否属于错误连接边的贡献度越大；将所述特征信息输入至预先构建的图卷积网络；获取所述图卷积网络基于所述特征信息预测并输出的所述待预测连接边属于错误连接边的概率值；基于所述概率值确定所述待预测连接边是否为错误连接边。
在一个实施例中，所述连通图获取模块401，还用于将所述图像集输入不同的卷积神经网络；获取基于各卷积神经网络确定的所述图像集中每一图像对应的第一同类图集；根据同一图像对应的由不同卷积神经网络确定的第一同类图集，得到所述图像集中各图像的第二同类图集；根据所述各图像的第二同类图集表征的图像间的同类关系，构建所述第一连通图。
在一个实施例中，所述装置还包括阈值调整模块，用于获取将实际非同类图像确定为同类图像的第一次数，根据所述第一次数确定测试认假率；获取将实际同类图像确定为非同类图像的第二次数，根据所述第二次数确定测试拒真率；基于所述测试拒真率和测试认假率，调整确定同类图集所用的相似度阈值。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种图像处理方法，其特征在于，所述方法包括：
获取对图像集进行聚类得到的第一连通图；
按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；
若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；
根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，包括：
若所述重构连通图的连通性为不连通，且所述重构连通图包含的各子连通图均为结构稠密，则将所述各子连通图中未进行重构的子连通图和/或重构子连通图，作为所述图像集的第二连通图；所述重构子连通图不包含属于错误连接边的连接边或所述重构连通图的节点数低于节点数阈值。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述子连通图的节点数高于所述节点数阈值且所述子连通图包含属于错误连接边的连接边，则对所述子连通图进行重构。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，包括：
若所述重构连通图的连通性为不连通，且所述重构连通图包含至少一个结构稀疏的子连通图，且所述目标连接边为顺序预测的最后一条连接边，则将所述第一连通图作为所述图像集的第二连通图。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图，包括：
若所述重构连通图的连通性为连通，且所述目标连接边是顺序预测的最后一条连接边，则将所述重构连通图作为所述图像集的第二连通图。
6.根据权利要求1所述的方法，其特征在于，所述按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边，包括：
按照所述顺序确定所述各连接边中的待预测连接边；
获取所述待预测连接边的特征信息；所述特征信息包括与所述待预测连接边对应的节点集中的节点间的连接关系，以及所述节点集中各节点的标签值；所述节点集包括由所述待预测连接边连接的两个目标节点、两个目标节点各自的一阶邻居节点和二阶邻居节点；针对所述节点集中的任两个邻居节点，具有较小标签值的邻居节点至各目标节点的最短路径之和小于具有较大标签值的邻居节点至各目标节点的最短路径之和；或，针对所述节点集中的任两个邻居节点，在具有较小标签值的邻居节点至各目标节点的最短路径之和等于具有较大标签值的邻居节点至各目标节点的最短路径之和的情况下，具有较小标签值的邻居节点至各目标节点的最短路径中最短的最短路径小于具有较大标签值的邻居节点至各目标节点的最短路径中最短的最短路径；所述邻居节点的标签值越小，所述邻居节点对图卷积网络预测所述待预测连接边是否属于错误连接边的贡献度越大；
将所述特征信息输入至图卷积网络；
获取所述图卷积网络基于所述特征信息预测并输出的所述待预测连接边属于错误连接边的概率值；
基于所述概率值确定所述待预测连接边是否为错误连接边。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取对图像集进行聚类得到的第一连通图，包括：
将所述图像集输入不同的卷积神经网络；
获取基于各卷积神经网络确定的所述图像集中每一图像对应的第一同类图集；
根据同一图像对应的由不同卷积神经网络确定的第一同类图集，得到所述图像集中各图像的第二同类图集；
根据所述各图像的第二同类图集表征的图像间的同类关系，构建所述第一连通图。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取将实际非同类图像确定为同类图像的第一次数，根据所述第一次数确定测试认假率；
获取将实际同类图像确定为非同类图像的第二次数，根据所述第二次数确定测试拒真率；
基于所述测试拒真率和测试认假率，调整确定同类图集所用的相似度阈值。
9.一种图像处理装置，其特征在于，所述装置包括：
连通图获取模块，用于获取对图像集进行聚类得到的第一连通图；
连接边预测模块，用于按照所述第一连通图包含的各连接边的介数中心性测度由大到小的顺序，预测所述各连接边是否属于错误连接边；
重构连通图获取模块，用于若预测到属于错误连接边的目标连接边，则获取所述第一连通图的重构连通图；所述重构连通图是根据所述第一连通图的边外图重构得到的；所述边外图包括所述第一连通图中所述目标连接边以外的图；
连通图确定模块，用于根据所述第一连通图和所述重构连通图，确定所述图像集的第二连通图。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110718310.7A CN113627464B (zh) | 2021-06-28 | 2021-06-28 | 图像处理方法、装置、设备和存储介质 |
| PCT/CN2021/136446 WO2023273171A1 (zh) | 2021-06-28 | 2021-12-08 | 图像处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110718310.7A CN113627464B (zh) | 2021-06-28 | 2021-06-28 | 图像处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113627464A true CN113627464A (zh) | 2021-11-09 |
| CN113627464B CN113627464B (zh) | 2024-02-27 |
Family
ID=78378455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110718310.7A Active CN113627464B (zh) | 2021-06-28 | 2021-06-28 | 图像处理方法、装置、设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113627464B (zh) |
| WO (1) | WO2023273171A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023273171A1 (zh) * | 2021-06-28 | 2023-01-05 | 广州广电运通金融电子股份有限公司 | 图像处理方法、装置、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040013305A1 (en) * | 2001-11-14 | 2004-01-22 | Achi Brandt | Method and apparatus for data clustering including segmentation and boundary detection |
| CN106991132A (zh) * | 2017-03-08 | 2017-07-28 | 南京信息工程大学 | 一种基于图集重构与图核降维的图分类方法 |
| CN110097112A (zh) * | 2019-04-26 | 2019-08-06 | 大连理工大学 | 一种基于重构图的图学习模型 |
| CN110633734A (zh) * | 2019-08-22 | 2019-12-31 | 成都信息工程大学 | 一种基于图论相关理论进行异常检测的方法 |
| CN110727836A (zh) * | 2019-12-17 | 2020-01-24 | 南京华飞数据技术有限公司 | 基于Spark GraphX的社交网络分析系统及其实现方法 |
| CN112115996A (zh) * | 2020-09-11 | 2020-12-22 | 北京达佳互联信息技术有限公司 | 图像数据的处理方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113627464B (zh) * | 2021-06-28 | 2024-02-27 | 广州广电运通金融电子股份有限公司 | 图像处理方法、装置、设备和存储介质 |
-
2021
- 2021-06-28 CN CN202110718310.7A patent/CN113627464B/zh active Active
- 2021-12-08 WO PCT/CN2021/136446 patent/WO2023273171A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040013305A1 (en) * | 2001-11-14 | 2004-01-22 | Achi Brandt | Method and apparatus for data clustering including segmentation and boundary detection |
| CN106991132A (zh) * | 2017-03-08 | 2017-07-28 | 南京信息工程大学 | 一种基于图集重构与图核降维的图分类方法 |
| CN110097112A (zh) * | 2019-04-26 | 2019-08-06 | 大连理工大学 | 一种基于重构图的图学习模型 |
| CN110633734A (zh) * | 2019-08-22 | 2019-12-31 | 成都信息工程大学 | 一种基于图论相关理论进行异常检测的方法 |
| CN110727836A (zh) * | 2019-12-17 | 2020-01-24 | 南京华飞数据技术有限公司 | 基于Spark GraphX的社交网络分析系统及其实现方法 |
| CN112115996A (zh) * | 2020-09-11 | 2020-12-22 | 北京达佳互联信息技术有限公司 | 图像数据的处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 仝宗和 等: "图卷积神经网络理论与应用", 信息技术与信息化, no. 2 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023273171A1 (zh) * | 2021-06-28 | 2023-01-05 | 广州广电运通金融电子股份有限公司 | 图像处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023273171A1 (zh) | 2023-01-05 |
| CN113627464B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241903B (zh) | 样本数据清洗方法、装置、计算机设备及存储介质 | |
| WO2022121289A1 (en) | Methods and systems for mining minority-class data samples for training neural network | |
| TWI766618B (zh) | 關鍵點檢測方法、電子設備及電腦可讀儲存介質 | |
| CN107705212B (zh) | 一种基于粒子群随机游走的角色识别方法 | |
| CN111708823B (zh) | 异常社交账号识别方法、装置、计算机设备和存储介质 | |
| CN113673482B (zh) | 基于动态标签分配的细胞抗核抗体荧光识别方法及系统 | |
| CN112528845B (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
| CN111967271A (zh) | 分析结果的生成方法、装置、设备及可读存储介质 | |
| CN112800231A (zh) | 电力数据校验方法、装置、计算机设备和存储介质 | |
| CN114492601A (zh) | 资源分类模型的训练方法、装置、电子设备及存储介质 | |
| CN110751191A (zh) | 一种图像的分类方法及系统 | |
| CN112884569A (zh) | 一种信用评估模型的训练方法、装置及设备 | |
| CN115062779A (zh) | 基于动态知识图谱的事件预测方法及装置 | |
| CN113627464B (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN110543891A (zh) | 数据标注方法、装置、系统及存储介质 | |
| CN114328942A (zh) | 关系抽取方法、装置、设备、存储介质和计算机程序产品 | |
| Zhang et al. | Lancet: labeling complex data at scale | |
| CN110070104B (zh) | 一种用户推荐方法、装置及服务器 | |
| CN112508135B (zh) | 模型训练方法、行人属性预测方法、装置及设备 | |
| CN112115996B (zh) | 图像数据的处理方法、装置、设备及存储介质 | |
| CN111949530B (zh) | 测试结果的预测方法、装置、计算机设备及存储介质 | |
| CN113811897B (zh) | 神经网络模型的推理方法、装置、计算机设备和存储介质 | |
| CN111556017B (zh) | 一种基于自编码机的网络入侵检测方法及电子装置 | |
| CN113590720A (zh) | 数据分类方法、装置、计算机设备和存储介质 | |
| JP2023548201A (ja) | タスク学習システムおよび方法、ならびに関連デバイス |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |