CN110837861A - 一种图像匹配方法、装置、设备和存储介质 - Google Patents

一种图像匹配方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110837861A
CN110837861A CN201911075796.6A CN201911075796A CN110837861A CN 110837861 A CN110837861 A CN 110837861A CN 201911075796 A CN201911075796 A CN 201911075796A CN 110837861 A CN110837861 A CN 110837861A
Authority
CN
China
Prior art keywords
sample
distribution
attribute
node
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911075796.6A
Other languages
English (en)
Other versions
CN110837861B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiscene Information Technology Co Ltd
Original Assignee
Hiscene Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiscene Information Technology Co Ltd filed Critical Hiscene Information Technology Co Ltd
Priority to CN201911075796.6A priority Critical patent/CN110837861B/zh
Publication of CN110837861A publication Critical patent/CN110837861A/zh
Application granted granted Critical
Publication of CN110837861B publication Critical patent/CN110837861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Abstract

本发明实施例公开了一种图像匹配方法、装置、设备和存储介质，该方法包括：获取待匹配的两张图像，并提取每张图像中的各个特征点；将各特征点作为节点，构建每张图像对应的无向图；根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图，其中，预设图网络模型根据样本数据预先训练获得；根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。通过本发明实施例的技术方案，可以提高图像匹配的准确度和精度。

Description

一种图像匹配方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像匹配方法、装置、设备和存储介质。
背景技术
图像匹配是将两张图像中的各个特征点进行匹配，从而确定出两张图像中的各个特征点之间的对应关系。例如，对同一根笔拍摄了两张图像，通过图像匹配可以确定出图像A中的特征点a与图像B中的特征点b相匹配，均为笔尖所在的位置。
在计算机视觉领域中，图像匹配可以用于解决特征点对应的问题，在基于几何形状图像检索、目标识别、形状匹配、目标跟踪等方面有着广泛的应用。
目前，基于匹配理论，人工设计了很多种匹配算法，比如谱图匹配(SpectralMatching，SM)、概率谱图匹配(Probabilistic Spectral Matching，PSM)、重赋权随机游走(Reweighted Random Walks Matching，RRWM)、渐变非凸凹过程(Graduated Non-Convexity and Concavity Procedure，GNCCP)、自适应分支路径流(Adaptive andBranching Path Following，ABPF)等。然而，现有的这些人工设计的匹配算法受限于优化问题本身的理论困难和实际应用中数据质量的种种限制，考虑因素较为片面，无法进一步提高图像匹配的准确度和精度。
发明内容
本发明实施例提供了一种图像匹配方法、装置、设备和存储介质，以提高图像匹配的准确度和精度。
第一方面，本发明实施例提供了一种图像匹配方法，包括：
获取待匹配的两张图像，并提取每张图像中的各个特征点；
将各所述特征点作为节点，构建每张图像对应的无向图；
根据预设图网络模型和所述两张图像对应的两个所述无向图，确定所述两张图像对应的目标分配图，其中，所述预设图网络模型根据样本数据预先训练获得；
根据所述目标分配图中的每个分配节点的目标节点属性，确定所述两张图像中匹配成功的各个特征点匹配对。
第二方面，本发明实施例还提供了一种图像匹配装置，包括：
特征点提取模块，用于获取待匹配的两张图像，并提取每张图像中的各个特征点；
无向图构建模块，用于将各所述特征点作为节点，构建每张图像对应的无向图；
目标分配图确定模块，用于根据预设图网络模型和所述两张图像对应的两个所述无向图，确定所述两张图像对应的目标分配图，其中，所述预设图网络模型根据样本数据预先训练获得；
特征点匹配对确定模块，用于根据所述目标分配图中的每个分配节点的目标节点属性，确定所述两张图像中匹配成功的各个特征点匹配对。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的图像匹配方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任意实施例所提供的图像匹配方法。
本发明实施例通过提取待匹配的每张图像中的各个特征点，并将各个特征点作为节点，构建出每张图像对应的无向图，从而可以将两张图像中特征点匹配的问题转化为两个无向图中节点匹配的问题，即图匹配的问题。基于适量的样本数据预先对预设图网络模型进行全面训练，根据训练好的预设图网络模型和两张图像对应的两个无向图，可以更加准确地确定出两张图像对应的目标分配图，并基于目标分配图中的每个分配节点的目标节点属性，确定出两张图像中匹配成功的所有特征点匹配对，从而大大提高了图像匹配的准确度和精度。
附图说明
图1是本发明实施例一提供的一种图像匹配方法的流程图；
图2是本发明实施例一所涉及的一种构建分配图的示例；
图3是本发明实施例二提供的一种图像匹配方法的流程图；
图4是本发明实施例三提供的一种图像匹配方法的流程图；
图5是本发明实施例四提供的一种图像匹配装置的结构示意图；
图6是本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像匹配方法的流程图，本实施例可适用于对两张图像中的特征点进行匹配，以确定出各个特征点之间对应关系的情况，尤其是可以用于智能手机、无人机、机器人、自动驾驶技术或增强现实等技术中进行图像匹配的场景。该方法可以由图像匹配装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于需要进行图像匹配的设备中，比如智能手机、无人机、机器人、智能眼镜等。该方法具体包括以下步骤：
S110、获取待匹配的两张图像，并提取每张图像中的各个特征点。
其中，两张图像可以是指利用摄像头，以不同拍摄角度拍摄的同一场景下的图像。两张图像可以是摄像头实时拍摄获得的，也可以是从预先拍摄好的图像视频中获得的。特征点可以是指能够反映出图像本质特征的像素点，以便标识图像中的物体。例如，特征点可以是指图像中灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，即两个边缘的交点等。示例性地，特征点可以是为角点、边界点、亮处的暗点、暗处的亮点等局部极值点。
具体地，可以获取待匹配的任意两张图像，并基于预先设置的特征点提取算法，对每张图像中的特征点进行提取，以便获得每张图像中的所有特征点。其中，特征点提取算法可以是但不限于基于角点的特征描述子Harris算法、SIFT(Scale Invariant FeatureTransform，尺度不变特征变换)算法、SURF(Speed Up Robust Feature，加速稳健特征)算法和ORB(Oriented FAST and Rotated BRIEF)等算法。其中，ORB算法是利用FAST(Features From Accelerated Segment Test)算法检测特征点，利用BRIEF(BinaryRobust Independent Element Feature)算法计算特征点描述子。
S120、将各特征点作为节点，构建每张图像对应的无向图。
其中，无向图可以是指边没有方向的图。节点可以是指无向图中的顶点。
具体地，对于每张图像而言，可以将该图像中的每个特征点作为一个节点，即顶点，并基于预设连线方式，确定出所有需要进行连线的两个节点，并进行相应的连线，使得两个节点之间存在边，从而可以构建出该张图像对应的无向图。示例性地，预设连线方式可以是但不限于K近邻方式、δ阈值方式、三角化方式和全连接方式等。其中，K近邻方式可以是：每个节点取距离该节点最近的K个节点进行连线，建立K条边。δ阈值方式可以是：每个节点取与该节点的距离小于δ的节点进行连线，建立边。三角化方式可以是：建立的所有边所构成的面都是三角形，并且所有边不在非节点处相交。全连接方式可以是：将任意两个节点进行连接，建立边。
示例性地，一个包含n个节点的无向图可以表示为G＝(V，E)，其中V＝{v1，v2，…，vn}和
Figure BDA0002262394570000051
分别表示节点集和边集。图通常可以由一个对称邻接矩阵
Figure BDA0002262394570000052
表示，并且当且仅当vi与vj之间存在边时，Aij＝1。通常还可以将非负实值权重Aij＝wij与所有节点对相关联，将邻接矩阵泛化为加权图。这种概括对于许多应用程序捕获节点之间的结构关系很重要。本实施例中的邻接矩阵均以实数值加权进行表示。
在本实施例中，通过构建两张图像对应的两个无向图，从而可以将两张图像的图像匹配问题转化为两个无向图的图匹配的问题。对于图匹配问题，给定两个节点大小为ni的图G(i)＝(V(i)，E(i))，i＝1，2，并且假设n1≤n2，从而图匹配问题可以表示为：找到一个节点对应关系
Figure BDA0002262394570000061
以满足如下的全局一致性：
Figure BDA0002262394570000062
其中，表示G(1)中第i1个节点与G(2)中第i2个节点的一致性，
Figure BDA0002262394570000064
表示G(1)中边(i1，j1)与G(2)中边(i2，j2)的一致性。匹配矩阵X代表了匹配结果，即当且仅当G(1)中第i1个节点匹配G(2)中第i2个节点时X＝1。在实际应用中，通常将图匹配约束为一一匹配，即需要满足
Figure BDA0002262394570000065
目
Figure BDA0002262394570000066
其中1n表示n个元素为1的列向量。
令A(i)表示图G(i)，i＝1，2的邻接矩阵，用于加权图匹配的更常用公式定义为：
ε2(X)＝tr(CTX)+α||A(1)-XA(2)XT||F
其中，
Figure BDA0002262394570000067
是节点间的不相似矩阵，即距离矩阵，α≥0是平衡节点一致性与边一致性的权值，||·||F表示矩阵的Frobenius范数。该种方式表示的加权图匹配，由于每个图的边仅与标量属性相关联，并且边一致性函数仅限于边权重之差，从而在实践应用中通常受到限制。针对于此，图匹配问题通常可以描述为：
ε3(x)＝xTKx，
其中，
Figure BDA0002262394570000068
是匹配矩阵X的向量化形式，
Figure BDA0002262394570000069
是图匹配的亲密矩阵，该亲密矩阵可以定义为：
Figure BDA0002262394570000071
其中，ind(·，·)是将节点对应关系映射到整数索引的双射函数。该种图匹配方式不仅可以编码边权重之差，还可以编码许多复杂的兼容性函数。
S130、根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图，其中，预设图网络模型根据样本数据预先训练获得。
其中，分配图中的每个分配节点可以表示两个无向图中一个可能匹配的节点对。目标分配图可以是指预设图网络模型输出的分配图。预设图网络模型是预先设置的，用于输出两张图像对应的目标分配图的神经网络模型。预设图网络模型中的主要计算单元为GN(Graph Network，图网络)块，它是一个图到图的模块，也就是说，该模块将图作为输入，对结构进行计算处理，并将图作为输出进行返回。在GN块中处理的信息分为四个级别：实体可以由图的节点进行表示；实体的关系可以由边进行表示，节点的子集属性(节点子集是指，分配图中对应的任意一个无向图中的一个节点与另一个无向图中所有节点组成的集合)可以由群组属性进行表示，以及系统级别的属性可以由图的全局属性进行表示。预设图网络模型可以是预先基于监督学习的方式，根据样本数据训练获得的。需要说明的是，在预设图网络模型的训练过程中，需要增加一对一匹配的约束条件，即两个无向图中的节点是一一对应关系，以使训练后获得的预设图网络模型可以更加准确地确定出目标分配图，提高匹配的准确度和精度。
其中，通过构建两个无向图对应的分配图，可以将两个无向图的图匹配问题进一步转化为分配图中的节点标注问题。示例性地，将每个可能的匹配关系视为一个节点via∈VA，亲密矩阵K中的每个矩阵元素Kia，jb＞0对应于一条边(via，vjb)∈EA且其属性为Kia，jb，构建分配图GA＝(VA，EA)。图2给出了一种基于亲密矩阵K构建分配图的示例。如图2所示，两个无向图G(1)与G(2)中每个候选匹配节点对应于分配图GA中的一个分配节点，即分配图GA中的分配节点via对应G(1)中的节点vi和G(2)中的节点va，从而G(1)与G(2)之间的图匹配问题可以转化为选择图GA中的可靠节点的问题。
具体地，本实施例可以先根据两张图像对应的两个无向图构建出一个初始分配图，并将该初始分配图作为预设图网络模型的输入，根据预设图网络模型的输出获得目标分配图；也可以直接将两张图像对应的两个无向图作为预设图网络模型的输入，根据预设图网络模型的输出获得目标分配图，以进一步提高匹配效率和准确度。
需要说明的是，当预设图网络模型的输入参数不同时，预设图网络模型的内部结构也不同，从而训练后获得的预设图网络模型也不同。
S140、根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。
其中，目标节点属性可以是指目标分配图中的每个分配节点的属性信息，也可以是指分配节点中标识分配节点是否匹配成功的属性信息，比如标识该分配节点是否为匹配成功的标识信息。特征点匹配对可以是指两张图像中匹配成功的两个特征点所组成的集合。特征点匹配对中两个特征点存在一一对应关系。
具体地，在确定出两张图像对应的目标分配图后，可以获得目标分配图中每个分配节点的目标节点属性，并基于目标节点属性可以检测出每个分配节点是否为匹配成功的分配节点，若是，则可以将该分配节点所对应的两个特征点组成一个特征点匹配对，从而可以确定出两张图像中的所有特征点匹配对，进而获得两张图像中存在一一对应关系的各个特征点对，实现了图像匹配。
示例性地，S140可以包括：逐个检测目标分配图中的每个分配节点的目标节点属性是否为预设节点标识；若是，则将该分配节点对应的两个特征点确定为两张图像中匹配成功的一个特征点匹配对。
其中，预设节点标识可以是指匹配成功的分配节点所对应的标识。例如，预设节点标识可以设置为但不限于数字标识“1”。具体地，对于目标分配图中的每个分配节点而言，可以检测该分配节点的目标节点属性是否为预设节点标识，若是，则表明该分配节点为正节点，即匹配成功的分配节点，此时可以将该分配节点对应的两个特征点确定为一个特征点匹配对，从而可以准确地确定出两张图像中的所有特征点匹配对，实现了图像匹配。
本实施例的技术方案，通过提取待匹配的每张图像中的各个特征点，并将各个特征点作为节点，构建出每张图像对应的无向图，从而可以将两张图像中特征点的匹配问题转化为两个无向图中节点匹配的问题。基于适量的样本数据预先对预设图网络模型进行全面训练，根据训练好的预设图网络模型和两张图像对应的两个无向图，可以更加准确地确定出两张图像对应的目标分配图，并基于目标分配图中的每个分配节点的目标节点属性，确定出两张图像中匹配成功的所有特征点匹配对，从而大大提高了图像匹配的准确度和精度。
实施例二
图3为本发明实施例二提供的一种图像匹配方法的流程图，本实施例在上述实施例一的基础上，对“根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图”进行了优化。其中与上述实施例一相同或相应的术语的解释在此不再赘述。
参见图3，本实施例提供的图像匹配方法具体包括以下步骤：
S210、获取待匹配的两张图像，并提取每张图像中的各个特征点。
S220、将各特征点作为节点，构建每张图像对应的无向图。
S230、根据两张图像对应的两个无向图和预设亲密矩阵，确定两张图像对应的初始分配图。
其中，预设亲密矩阵可以是基于业务需求和场景预先设置的，用于构建初始分配图的亲密矩阵。
具体地，可以将两张图像对应的两个无向图中的各个节点进行逐个匹配，确定出相应的所有分配节点，并基于预设亲密矩阵确定出所有存在连线的两个分配节点并进行连线，建立相应的边，从而可以构建出两张图像对应的初始分配图。
S240、将初始分配图作为预设图网络模型的输入，并根据预设图网络模型的输出，确定两张图像对应的目标分配图。
具体地，将初始分配图输入至预先训练好的预设图网络模型中，以使该预设图网络模型对输入的初始分配图进行图处理，获得相应的目标分配图并进行输出，从而可以通过预先训练好的预设图网络模型，获得更加准确的目标分配图。
示例性地，本实施例中训练好的预设图网络模型可以通过如下步骤S241-S243实现确定两张图像对应的目标分配图的功能：
S241、基于第一目标更新函数，根据初始分配图中每条分配边的第一边属性、与每条分配边关联的每个关联分配节点的关联分配节点属性、以及初始分配图的全局属性，对每条分配边的第一边属性进行更新，获得每条分配边的第二边属性。
其中，分配边的第一边属性可以是指初始分配图中边的原有属性，其可以包括但不限于分配边的长度、角度等。分配边的第二边属性可以是指第一边属性更新后获得的边属性。每条分配边关联的关联分配节点可以是指分配边两端所连接的两个分配节点，即起始关联分配节点和终止关联分配节点。关联分配节点属性可以是指关联分配节点的节点属性，其可以包括但不限于分配节点的外观特征等，比如SIFT特征。初始分配图的全局属性可以是指用于描述整个分配图的属性，其可以包括但不限于分配节点总数量、分配边总数量等。第一目标更新函数可以是指对预设图网络模型训练后获得的，用于更新每条分配边的第一边属性的函数。第一目标更新函数可以利用一个训练好的多层感知器模型MLP(Multilayer Perceptron)进行表征。示例性地，第一目标更新函数可以表示为：
Figure BDA0002262394570000111
其中，
Figure BDA0002262394570000112
是第一目标更新函数；e′k是指第k条分配边的第二边属性；ek指第k条分配边的第一边属性；vsk是与第k条分配边关联的起始关联分配节点的关联分配节点属性；vrk是与第k条分配边关联的终止关联分配节点的关联分配节点属性；u是初始分配图的全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个分配边的第一边属性ek、与每条分配边关联的每个关联分配节点的关联分配节点属性vsk和vrk、以及初始分配图的全局属性u，对每条分配边的第一边属性ek进行更新，获得每条分配边的第二边属性e′k：
for k∈{1，...，|E|}do
Figure BDA0002262394570000113
end for
其中，|E|表示分配边的数量。
S242、基于第一目标聚合函数，将与每个分配节点关联的各条分配边的第二边属性聚合至相应的分配节点，获得每个分配节点的边聚合属性。
其中，与每个分配节点关联的各条分配边可以是指该分配节点所连接的各条分配边。分配节点的边聚合属性可以是指该分配节点连接的各条分配边的第二边属性进行聚合后获得的属性。第一目标聚合函数可以是指对预设图网络模型训练后获得的，用于对与分配节点关联的各条分配边的第二边属性进行聚合，以获得分配节点的边聚合属性的函数。第一目标聚合函数也可以利用一个训练好的多层感知器模型MLP进行表征。示例性地，第一目标聚合函数可以表示为：其中，
Figure BDA0002262394570000122
是第一目标聚合函数；
Figure BDA0002262394570000123
是指第i个分配节点的边聚合属性；E′i是指与第i个分配节点关联的各条分配边的第二边属性集合。
具体地，可以利用如下的For循环过程，逐个将与每个分配节点关联的各条分配边的第二边属性E′i聚合至该分配节点中，获得每个分配节点的边聚合属性
Figure BDA0002262394570000124
for i∈{1，...，|V|}do
let E′i＝{(e′k，rk，sk)|rk＝i，k＝1，...，|E|}
Figure BDA0002262394570000125
end for
其中，|V|表示分配节点的数量。
S243、基于第二目标更新函数，根据每个分配节点的节点属性、边聚合属性、以及全局属性，对每个分配节点的节点属性进行更新，并将更新节点属性后的初始分配图作为目标分配图进行输出。
其中，分配节点的节点属性可以是指初始分配图中节点的原有属性，其可以包括但不限于分配节点的外观特征等，比如SIFT特征。第二目标更新函数可以是指对预设图网络模型训练后获得的，用于更新每个节点的节点属性的函数。第二目标更新函数也可以利用一个训练好的多层感知器模型MLP进行表征。示例性地，第二目标更新函数可以表示为：
Figure BDA0002262394570000131
其中，
Figure BDA0002262394570000132
是第二目标更新函数；v′i是第i个分配节点的节点属性更新后获得的节点属性；
Figure BDA0002262394570000133
是指第i个分配节点的边聚合属性；vi是第i个分配节点的节点属性，u是初始分配图的全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个分配节点的节点属性vi和边聚合属性
Figure BDA0002262394570000134
以及初始分配图的全局属性u，对每个分配节点的节点属性vi进行更新，获得更新后的节点属性v′i：
for i∈{1，...，|V|}do
end for
本实施例在对初始分配图中每个分配节点的节点属性进行更新后，可以将更新节点属性后的初始分配图作为目标分配图进行输出，以便可以获得目标分配图中每个分配节点的目标节点属性，例如，可以是v′j。
示例性地，预设图网络模型是根据样本数据预先训练获得的，预设图网络模型的训练过程，可以包括：
获取样本数据，样本数据包括多个样本分配图和对应的标准分配图，其中，样本分配图是样本图像对所对应的分配图；将样本分配图输入到预设图网络模型中，确定样本图像对的训练分配图；根据样本图像对的训练分配图和相应的标准分配图确定样本图像对的训练误差；检测训练误差是否收敛，或者迭代次数是否等于预设次数；若是，则停止迭代，预设图网络模型训练完成；若否，则将训练误差反向传播至预设图网络模型，调整预设图网络模型中的网络参数。
其中，本实施例中的预设图网络模型的输入为两个无向图构建出的分配图，从而在训练该预设图网络模型时，可以将多个样本分配图和对应的标准分配图作为样本数据进行训练。样本分配图可以是预先基于样本图像对所构建出的，也可以是预先基于样本图像对对应的无向图对获得的，也可以是直接获得的分配图。标准分配图可以是指由样本图像对中真实的特征匹配对所构建出的真实分配图。训练分配图可以是指在训练过程中，预设图网络模型所输出的分配图。
具体地，在利用预设图网络模型确定出样本图像对的训练分配图时，可以利用该样本图像对对应的标准分配图和训练分配图计算出训练误差，并检测训练误差是否收敛，即是否小于预设误差或误差变化是否趋于稳定，或者当前的迭代次数是否等于预设次数，以便确定出该预设图网络模型是否训练完成。若训练误差收敛，即小于预设误差或误差变化趋于稳定，或者当前的迭代次数等于预设次数，表明预设图网络模型训练完成，此时可以停止迭代训练。若训练误差不收敛，并且当前的迭代次数小于预设次数，则将该训练误差反向传播至当前的预设图网络模型中，调整预设图网络模型中的网络参数，即调整预设图网络模型中各个函数中的参数值。
S250、根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。
本实施例的技术方案，通过先根据两张图像对应的两个无向图和预设亲密矩阵，确定出两张图像对应的初始分配图，并将初始分配图输入至预先训练好的预设图网络模型中，从而可以获得更加准确的目标分配图，提高匹配准确度和精度。
在上述技术方案的基础上，在预设图网络模型的训练过程中，预设图网络模型可以通过如下步骤S261-S265实现确定样本图像对的训练分配图的功能：
S261、基于第一待定更新函数，根据样本分配图中每条样本边的第一样本边属性、与每条样本边关联的每个关联样本分配节点的关联样本分配节点属性、以及样本分配图的样本全局属性，对每条样本边的第一样本边属性进行更新，获得每条样本边的第二样本边属性。
其中，样本边的第一样本边属性可以是指样本分配图中边的原有属性，其可以包括但不限于样本边的长度、角度等。样本边的第二样本边属性可以是指第一样本边属性更新后获得的边属性。每条样本边关联的关联样本分配节点可以是指样本边两端所连接的两个样本分配节点，即起始关联样本分配节点和终止关联样本分配节点。关联样本分配节点属性可以是指关联样本分配节点的节点属性，其可以包括但不限于样本分配节点的外观特征等，比如SIFT特征。样本分配图的全局属性可以是指用于描述整个分配图的属性，其可以包括但不限于样本分配节点总数量、样本边总数量等。第一待定更新函数可以是指在预设图网络模型的训练过程中使用的，用于更新每条样本边的第一样本边属性的函数。第一待定更新函数可以利用一个多层感知器模型MLP进行表征。在预设图网络模型训练完成后，表明第一待定更新函数训练完成，此时可以将第一待定更新函数作为第一目标更新函数进行使用。示例性地，类似于第一目标更新函数
Figure BDA0002262394570000151
第一待定更新函数也可以表示为：
Figure BDA0002262394570000152
其中，
Figure BDA0002262394570000153
是第一待定更新函数；e′k是指第k条样本边的第二样本边属性；ek是第k条样本边的第一样本边属性；vsk是与第k条样本边关联的起始关联样本分配节点的关联样本分配节点属性；vrk是与第k条样本边关联的终止关联样本分配节点的关联样本分配节点属性；u是样本分配图的样本全局属性。
具体地，可以利用如下的For循环过程，逐个利用每条样本边的第一样本边属性ek、与每条样本边关联的每个关联样本分配节点的关联样本分配节点属性vsk和vrk、以及样本分配图的全局属性u，对每条样本边的第一边属性ek进行更新，获得每条样本边的第二边属性e′k：
for k∈{1，...，|E|}do
Figure BDA0002262394570000161
end for
其中，|E|表示样本边的数量。
S262、基于第一待定聚合函数，将与每个样本分配节点关联的各条样本边的第二样本边属性聚合至相应的样本分配节点，获得每个样本分配节点的样本边聚合属性。
其中，与每个样本分配节点关联的各条样本边可以是指该样本分配节点所连接的各条样本边。样本分配节点的样本边聚合属性可以是指该样本分配节点连接的各条样本边的第二样本边属性进行聚合后获得的属性。第一待定聚合函数可以是指在预设图网络模型的训练过程中使用的，用于对与样本分配节点关联的各条样本边的第二样本边属性进行聚合，以获得样本分配节点的样本边聚合属性的函数。第一待定聚合函数可以利用一个多层感知器模型MLP进行表征。在预设图网络模型训练完成后，表明第一待定聚合函数训练完成，此时可以将第一待定聚合函数作为第一目标聚合函数进行使用。示例性地，类似于第一目标聚合函数，第一待定聚合函数可以表示为：
Figure BDA0002262394570000171
其中，
Figure BDA0002262394570000173
是第一待定聚合函数；是指第i个样本分配节点的样本边聚合属性；E′i是指与第i个样本分配节点关联的各条样本边的第二样本边属性组成的集合。
具体地，可以利用如下的For循环过程，逐个将与每个样本分配节点关联的各条样本边的第二样本边属性E′j聚合至该样本分配节点中，获得每个样本分配节点的样本边聚合属性
Figure BDA0002262394570000175
for i∈{1，...，|V|}do
let E′i＝{(e′k，rk，sk)|rk＝i，k＝1，...，|E|}
Figure BDA0002262394570000176
end for
其中，|V|表示样本分配节点的数量。
S263、基于第二待定更新函数，根据每个样本分配节点的第一样本分配节点属性、样本边聚合属性、以及样本全局属性，对每个样本分配节点的第一样本分配节点属性进行更新，获得每个样本分配节点的第二样本分配节点属性。
其中，样本分配节点的第一样本分配节点属性可以是指样本分配图中的分配节点的原有属性，其可以包括但不限于样本分配节点的外观特征等，比如SIFT特征。第二样本分配节点属性可以是指第一样本分配节点属性更新后获得的节点属性。第二待定更新函数可以是指在预设图网络模型的训练过程中使用的，用于更新每个样本分配节点的第一样本分配节点属性的函数。第二待定更新函数也可以利用一个多层感知器模型MLP进行表征。在预设图网络模型训练完成后，表明第二待定更新函数训练完成，此时可以将第二待定更新函数作为第二目标更新函数进行使用。示例性地，类似于第二目标更新函数，第二待定更新函数可以表示为：
Figure BDA0002262394570000181
其中，
Figure BDA0002262394570000182
是第二待定更新函数；v′i是第i个样本分配节点的第一样本分配节点属性更新后获得的节点属性；是指第i个样本分配节点的样本边聚合属性；vi是第i个样本分配节点的第一样本分配节点属性，u是样本分配图的样本全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个样本分配节点的第一样本分配节点属性vi和样本边聚合属性
Figure BDA0002262394570000184
以及样本分配图的样本全局属性u，对每个样本分配节点的第一样本分配节点属性vi进行更新，获得更新后的第二样本分配节点属性v′i：
for i∈{1，...，|V|}do
Figure BDA0002262394570000185
end for
S264、基于第二待定聚合函数，将样本分配图中的每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性聚合至相应的样本分配节点群组，获得每个样本分配节点群组的群组聚合属性。
其中，样本分配节点群组包括由样本无向图对中的任意一个样本无向图中的每个节点与另一个样本无向图中的所有节点组成的节点集合。示例性地，若将图2中的分配图GA作为样本分配图，则该样本分配图包含五个样本分配节点群组，分别为：{ia，ib，ic}、{ja，jb，jc}、{ia，ja}、{ib，jb}和{ic，jc}。样本分配节点群组的群组聚合属性可以是指该样本分配节点群组包含的每个样本分配节点的第二样本分配节点属性进行聚合后获得的属性。第二待定聚合函数可以是指在预设图网络模型的训练过程中使用的，用于对样本分配节点群组中的每个样本分配节点的第二样本分配节点属性进行聚合，以获得群组聚合属性的函数。第二待定聚合函数也可以利用一个多层感知器模型MLP进行表征。示例性地，第二待定聚合函数可以表示为：
Figure BDA0002262394570000191
V′j＝{v′i|v′i∈Pj}；其中ρv→p是第二待定聚合函数；
Figure BDA0002262394570000192
是指第j个样本分配节点群组的群组聚合属性；V′j是指与第j个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性组成的集合。
具体地，可以利用如下的For循环过程，逐个将每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性V′j聚合至该样本分配节点群组中，获得每个样本分配节点群组的群组聚合属性
Figure BDA0002262394570000193
for j∈{1，...，|P|}do
let V′j＝{vi′|vi′∈Pj}
Figure BDA0002262394570000194
end for
其中，|P|表示样本分配节点群组的数量。
S265、基于第三待定更新函数，根据每个样本分配节点群组的群组聚合属性、每个样本分配节点群组的群组属性和样本全局属性，对每个样本分配节点群组的群组属性进行更新，并将更新群组属性后的样本分配图作为训练分配图进行输出。
其中，每个样本分配节点群组的群组属性可以是指样本分配图中的样本分配节点群组的原有属性，其可以包括但不限于节点群组中的节点数量、边数量等。第三待定更新函数可以是指在预设图网络模型的训练过程中使用的，用于更新每个节点群组的群组属性的函数。第三待定更新函数也可以利用一个多层感知器模型MLP进行表征。示例性地，第三待定更新函数可以表示为：
Figure BDA0002262394570000201
其中，φg是第三待定更新函数；p′j是第j个样本分配节点群组的群组属性更新后获得的群组属性；pj是第j个样本分配节点群组的群组属性；
Figure BDA0002262394570000202
是指第j个样本分配节点群组的群组聚合属性u是样本分配图的样本全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个样本分配节点群组的群组聚合属性
Figure BDA0002262394570000204
每个样本分配节点群组的群组属性pj和样本全局属性u，对每个样本分配节点群组的群组属性进行更新，获得更新后的群组属性p′j：
for j∈{1，...，|P|}do
Figure BDA0002262394570000205
end for
本实施例在对样本分配图中每个样本分配节点群组的群组属性进行更新后，可以将更新群组属性后的样本分配图作为训练分配图进行输出，从而可以获得准确的训练分配图。若训练误差未收敛或者迭代次数小于预设次数，则调整的预设图网络模型中的网络参数，具体可以是调整第一待定更新函数、第一待定聚合函数、第二待定更新函数、第二待定聚合函数和第三待定更新函数中的参数值。
需要注意的是，在本实施例中的预设图网络模型的训练过程中，需要增加一对一匹配的约束条件，即样本分配图中与任意一个样本无向图中的每个样本节点所关联的样本分配节点群组中都只包含一个正节点(即匹配成功的节点)，从而可以保证两个无向图中的节点均是一一对应关系，进而可以基于预设图网络模型解决图匹配的问题。具体地，在预设图网络模型的训练过程中，通过增加第二待定聚合函数和第三待定更新函数，对每个样本分配节点群组进行节点到群组的聚合和群组属性更新，从而增加了一对一匹配的约束条件，使得训练出的预设图网络模型可以保证图匹配所要求的一一对应的情况，进而可以基于训练后获得的预设图网络模型更加准确地确定出目标分配图，提高图像匹配的准确度和精度。
需要说明的是，在使用训练完成后的预设图网络模型的过程中，该模型内部无需再利用第二待定聚合函数和第三待定更新函数，对每个节点群组进行节点到群组的聚合和群组属性更新，仅需获得每个分配节点更新后的节点属性即可，以便基于更新后的节点属性确定图像对中匹配成功的所有特征点匹配对，进而可以同时提高匹配效率和匹配准确度。
实施例三
图4为本发明实施例三提供的一种图像匹配方法的流程图，本实施例在上述实施例一的基础上，对“根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图”进行了优化。其中与上述实施例一相同或相应的术语的解释在此不再赘述。
参见图4，本实施例提供的图像匹配方法具体包括以下步骤：
S310、获取待匹配的两张图像，并提取每张图像中的各个特征点。
S320、将各特征点作为节点，构建每张图像对应的无向图。
S330、将两张图像对应的两个无向图作为预设图网络模型的输入，并根据预设图网络模型的输出，确定两张图像对应的目标分配图。
具体地，本实施例可以直接将两张图像对应的两个无向图输入至预先训练好的预设图网络模型中，以使该预设图网络模型对输入的两个无向图进行图处理，获得相应的目标分配图并进行输出，从而可以通过预先训练好的预设图网络模型，获得更加准确的目标分配图。
示例性地，本实施例中训练好的预设图网络模型可以通过如下步骤S331-S334实现确定两张图像对应的目标分配图的功能：
S331、基于目标亲密矩阵，根据输入的两张图像对应的两个无向图，确定两张图像对应的初始分配图。
其中，目标亲密矩阵可以是预设图网络模型训练后获得的，用于确定两个无向图对应的初始分配图。
具体地，本实施例可以直接在预设图网络模型中确定出两张图像(两个无向图)对应的初始分配图。例如，可以将两张图像对应的两个无向图中的各个节点进行逐个匹配，确定出相应的所有分配节点，并基于目标亲密矩阵确定出所有存在连线的两个分配节点并进行连线，建立相应的边，从而可以构建出两张图像(两个无向图)对应的初始分配图。
S332、基于第一目标更新函数，根据初始分配图中每条分配边的第一边属性、与每条分配边关联的每个关联分配节点的关联分配节点属性、以及初始分配图的全局属性，对每条分配边的第一边属性进行更新，获得每条分配边的第二边属性。
其中，分配边的第一边属性可以是指初始分配图中边的原有属性，其可以包括但不限于分配边的长度、角度等。分配边的第二边属性可以是指第一边属性更新后获得的边属性。每条分配边关联的关联分配节点可以是指分配边两端所连接的两个分配节点，即起始关联分配节点和终止关联分配节点。关联分配节点属性可以是指关联分配节点的节点属性，其可以包括但不限于分配节点的外观特征等，比如SIFT特征。初始分配图的全局属性可以是指用于描述整个分配图的属性，其可以包括但不限于分配节点总数量、分配边总数量等。第一目标更新函数可以是指对预设图网络模型训练后获得的，用于更新每条分配边的第一边属性的函数。第一目标更新函数可以利用一个训练好的多层感知器模型MLP(Multilayer Perceptron)进行表征。示例性地，第一目标更新函数可以表示为：
Figure BDA0002262394570000231
其中，
Figure BDA0002262394570000232
是第一目标更新函数(与S241中的第一目标更新函数形式(或网络结构)相同，网络模型参数可能不同)；e′k是指第k条分配边的第二边属性；ek指第k条分配边的第一边属性；vsk是与第k条分配边关联的起始关联分配节点的关联分配节点属性；vrk是与第k条分配边关联的终止关联分配节点的关联分配节点属性；u是初始分配图的全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个分配边的第一边属性ek、与每条分配边关联的每个关联分配节点的关联分配节点属性vsk和vrk、以及初始分配图的全局属性u，对每条分配边的第一边属性ek进行更新，获得每条分配边的第二边属性e′k：
for k∈{1，...，|E|}do
Figure BDA0002262394570000233
end for
其中，|E|表示分配边的数量。
S333、基于第一目标聚合函数，将与每个分配节点关联的各条分配边的第二边属性聚合至相应的分配节点，获得每个分配节点的边聚合属性。
其中，与每个分配节点关联的各条分配边可以是指该分配节点所连接的各条分配边。分配节点的边聚合属性可以是指该分配节点连接的各条分配边的第二边属性进行聚合后获得的属性。第一目标聚合函数可以是指对预设图网络模型训练后获得的，用于对与分配节点关联的各条分配边的第二边属性进行聚合，以获得分配节点的边聚合属性的函数。第一目标聚合函数也可以利用一个训练好的多层感知器模型MLP进行表征。示例性地，第一目标聚合函数可以表示为：
Figure BDA0002262394570000241
其中，
Figure BDA0002262394570000242
是第一目标聚合函数(与S242中的第一目标聚合函数形式(或网络结构)相同，网络模型参数可能不同)；
Figure BDA0002262394570000243
是指第i个分配节点的边聚合属性；E′i是指与第i个分配节点关联的各条分配边的第二边属性集合。
具体地，可以利用如下的For循环过程，逐个将与每个分配节点关联的各条分配边的第二边属性E′i聚合至该分配节点中，获得每个分配节点的边聚合属性
Figure BDA0002262394570000244
for i∈{1，...，|V|}do
let E′i＝{(e′k，rk，sk)|rk＝i，k＝1，...，|E|}
Figure BDA0002262394570000245
end for
其中，|V|表示分配节点的数量。
S334、基于第二目标更新函数，根据每个分配节点的节点属性、边聚合属性、以及全局属性，对每个分配节点的节点属性进行更新，并将更新节点属性后的初始分配图作为目标分配图进行输出。
其中，分配节点的节点属性可以是指初始分配图中节点的原有属性，其可以包括但不限于分配节点的外观特征等，比如SIFT特征。第二目标更新函数可以是指对预设图网络模型训练后获得的，用于更新每个节点的节点属性的函数。第二目标更新函数也可以利用一个训练好的多层感知器模型MLP进行表征。示例性地，第二目标更新函数可以表示为：其中，
Figure BDA0002262394570000252
是第二目标更新函数(与S243中的第二目标更新函数形式(或网络结构)相同，网络模型参数可能不同)；v′i是第i个分配节点的节点属性更新后获得的节点属性；
Figure BDA0002262394570000253
是指第i个分配节点的边聚合属性；vi是第i个分配节点的节点属性，u是初始分配图的全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个分配节点的节点属性vi和边聚合属性以及初始分配图的全局属性u，对每个分配节点的节点属性vi进行更新，获得更新后的节点属性v′i：
for i∈{1，...，|V|}do
Figure BDA0002262394570000255
end for
本实施例在对初始分配图中每个分配节点的节点属性进行更新后，可以将更新节点属性后的初始分配图作为目标分配图进行输出，以便可以获得目标分配图中每个分配节点的目标节点属性，例如，可以是v′i。
示例性地，预设图网络模型根据样本数据预先训练获得，预设图网络模型的训练过程，可以包括：
获取样本数据，样本数据包括多个样本无向图对和对应的标准分配图，其中，样本无向图对是样本图像对所对应的无向图对；将样本无向图对输入到预设图网络模型中，确定样本图像对的训练分配图；根据样本图像对的训练分配图和相应的标准分配图确定样本图像对的训练误差；检测训练误差是否收敛，或者迭代次数是否等于预设次数；若是，则停止迭代，预设图网络模型训练完成；若否，则将训练误差反向传播至预设图网络模型，调整预设图网络模型中的网络参数。
其中，本实施例中的预设图网络模型的输入为两个无向图(即一个无向图对)，从而在训练该预设图网络模型时，可以将多个样本无向图对和对应的标准分配图作为样本数据进行训练。样本无向图对可以是预先基于样本图像对所构建出的，也可以是直接获得的无向图对。标准分配图可以是指由样本图像对中真实的特征匹配对所构建出的真实分配图。训练分配图可以是指在训练过程中，预设图网络模型所输出的分配图。
具体地，在利用预设图网络模型确定出样本图像对的训练分配图时，可以利用该样本图像对对应的标准分配图和训练分配图计算出训练误差，并检测训练误差是否收敛，即是否小于预设误差或误差变化是否趋于稳定，或者当前的迭代次数是否等于预设次数，以便确定出该预设图网络模型是否训练完成。若训练误差收敛，即小于预设误差或误差变化趋于稳定，或者当前的迭代次数等于预设次数，表明预设图网络模型训练完成，此时可以停止迭代训练。若训练误差不收敛，并且当前的迭代次数小于预设次数，则将该训练误差反向传播至当前的预设图网络模型中，调整预设图网络模型中的网络参数，即调整预设图网络模型中亲密矩阵中的元素值(即亲密矩阵网络模型的参数值)和各个函数中的参数值。
S340、根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。
本实施例的技术方案，通过直接将两张图像对应的两个无向图输入至预先训练好的预设图网络模型中，以在该预设图网络模型内部对两个无向图构建初始分配图，并对该初始分配图进行图处理，获得相应的目标分配图进行输出，从而通过本实施例中预先训练好的预设图网络模型，可以更加便捷地获得准确的目标分配图，提高了匹配效率和匹配准确度。
在上述技术方案的基础上，在本实施例中的预设图网络模型的训练过程中，预设图网络模型可以通过如下步骤S351-S356实现确定样本图像对的训练分配图的功能：
S351、基于待定亲密矩阵，根据输入的样本无向图对确定样本图像对的样本分配图。
其中，待定亲密矩阵可以是指在预设图网络模型的训练过程中使用的，用于确定样本分配图的矩阵。在预设图网络模型训练完成后，表明待定亲密矩阵训练完成，此时可以将待定亲密矩阵作为目标亲密矩阵进行使用。
具体地，可以将样本无向图对中的各个节点进行逐个匹配，确定出相应的所有样本分配节点，并基于待定亲密矩阵确定出所有存在连线的两个样本分配节点并进行连线，建立相应的边，从而可以构建出样本图像对所对应的样本分配图。
S352、基于第一待定更新函数，根据样本分配图中每条样本边的第一样本边属性、与每条样本边关联的每个关联样本分配节点的关联样本分配节点属性、以及样本分配图的样本全局属性，对每条样本边的第一样本边属性进行更新，获得每条样本边的第二样本边属性。
其中，样本边的第一样本边属性可以是指样本分配图中边的原有属性，其可以包括但不限于样本边的长度、角度等。样本边的第二样本边属性可以是指第一样本边属性更新后获得的边属性。每条样本边关联的关联样本分配节点可以是指样本边两端所连接的两个样本分配节点，即起始关联样本分配节点和终止关联样本分配节点。关联样本分配节点属性可以是指关联样本分配节点的节点属性，其可以包括但不限于样本分配节点的外观特征等，比如SIFT特征。样本分配图的全局属性可以是指用于描述整个分配图的属性，其可以包括但不限于样本分配节点总数量、样本边总数量等。第一待定更新函数可以是指在预设图网络模型的训练过程中使用的，用于更新每条样本边的第一样本边属性的函数。第一待定更新函数可以利用一个多层感知器模型MLP进行表征。在预设图网络模型训练完成后，表明第一待定更新函数训练完成，此时可以将第一待定更新函数作为第一目标更新函数进行使用。示例性地，类似于第一目标更新函数
Figure BDA0002262394570000281
第一待定更新函数也可以表示为：
Figure BDA0002262394570000282
其中，
Figure BDA0002262394570000283
是第一待定更新函数(与S261中的第一待定更新函数形式(或网络结构)相同，网络模型参数可能不同)；e′k是指第k条样本边的第二样本边属性；ek是第k条样本边的第一样本边属性；vsk是与第k条样本边关联的起始关联样本分配节点的关联样本分配节点属性；vrk是与第k条样本边关联的终止关联样本分配节点的关联样本分配节点属性；u是样本分配图的样本全局属性。
具体地，可以利用如下的For循环过程，逐个利用每条样本边的第一样本边属性ek、与每条样本边关联的每个关联样本分配节点的关联样本分配节点属性vsk和vrk、以及样本分配图的全局属性u，对每条样本边的第一边属性ek进行更新，获得每条样本边的第二边属性e′k：
for k∈{1，…，|E|}do
Figure BDA0002262394570000284
end for
其中，|E|表示样本边的数量。
S353、基于第一待定聚合函数，将与每个样本分配节点关联的各条样本边的第二样本边属性聚合至相应的样本分配节点，获得每个样本分配节点的样本边聚合属性。
其中，与每个样本分配节点关联的各条样本边可以是指该样本分配节点所连接的各条样本边。样本分配节点的样本边聚合属性可以是指该样本分配节点连接的各条样本边的第二样本边属性进行聚合后获得的属性。第一待定聚合函数可以是指在预设图网络模型的训练过程中使用的，用于对与样本分配节点关联的各条样本边的第二样本边属性进行聚合，以获得样本分配节点的样本边聚合属性的函数。第一待定聚合函数可以利用一个多层感知器模型MLP进行表征。在预设图网络模型训练完成后，表明第一待定聚合函数训练完成，此时可以将第一待定聚合函数作为第一目标聚合函数进行使用。示例性地，类似于第一目标聚合函数，第一待定聚合函数可以表示为：
Figure BDA0002262394570000291
Figure BDA0002262394570000292
其中，是第一待定聚合函数(与S262中的第一待定聚合函数形式(或网络结构)相同，网络模型参数可能不同)；
Figure BDA0002262394570000294
是指第i个样本分配节点的样本边聚合属性；E′i是指与第i个样本分配节点关联的各条样本边的第二样本边属性组成的集合。
具体地，可以利用如下的For循环过程，逐个将与每个样本分配节点关联的各条样本边的第二样本边属性E′i聚合至该样本分配节点中，获得每个样本分配节点的样本边聚合属性
Figure BDA0002262394570000295
for i∈{1，...，|V|}do
let E′i＝{(e′k，rk，sk)|rk＝i，k＝1，...，|E|}
Figure BDA0002262394570000301
end for
其中，|V|表示样本分配节点的数量。
S354、基于第二待定更新函数，根据每个样本分配节点的第一样本分配节点属性、样本边聚合属性、以及样本全局属性，对每个样本分配节点的第一样本分配节点属性进行更新，获得每个样本分配节点的第二样本分配节点属性。
其中，样本分配节点的第一样本分配节点属性可以是指样本分配图中的分配节点的原有属性，其可以包括但不限于样本分配节点的外观特征等，比如SIFT特征。第二样本分配节点属性可以是指第一样本分配节点属性更新后获得的节点属性。第二待定更新函数可以是指在预设图网络模型的训练过程中使用的，用于更新每个样本分配节点的第一样本分配节点属性的函数。第二待定更新函数也可以利用一个多层感知器模型MLP进行表征。在预设图网络模型训练完成后，表明第二待定更新函数训练完成，此时可以将第二待定更新函数作为第二目标更新函数进行使用。示例性地，类似于第二目标更新函数，第二待定更新函数可以表示为：
Figure BDA0002262394570000302
其中，
Figure BDA0002262394570000303
是第二待定更新函数(与S263中的第二待定更新函数形式(或网络结构)相同，网络模型参数可能不同)；v′j是第i个样本分配节点的第一样本分配节点属性更新后获得的节点属性；
Figure BDA0002262394570000305
是指第i个样本分配节点的样本边聚合属性；vi是第i个样本分配节点的第一样本分配节点属性，u是样本分配图的样本全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个样本分配节点的第一样本分配节点属性vi和样本边聚合属性
Figure BDA0002262394570000304
以及样本分配图的样本全局属性u，对每个样本分配节点的第一样本分配节点属性vi进行更新，获得更新后的第二样本分配节点属性v′i：
for i∈{1，...，|V|}do
Figure BDA0002262394570000311
end for
S355、基于第二待定聚合函数，将样本分配图中的每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性聚合至相应的样本分配节点群组，获得每个样本分配节点群组的群组聚合属性。
其中，样本分配节点群组包括由样本无向图对中的任意一个样本无向图中的每个节点与另一个样本无向图中的所有节点组成的节点集合。示例性地，若将图2中的分配图GA作为样本分配图，则该样本分配图包含五个样本分配节点群组，分别为：{ia，ib，ic}、{ja，jb，jc}、{ia，ja}、{ib，jb}和{ic，jc}。样本分配节点群组的群组聚合属性可以是指该样本分配节点群组包含的每个样本分配节点的第二样本分配节点属性进行聚合后获得的属性。第二待定聚合函数可以是指在预设图网络模型的训练过程中使用的，用于对样本分配节点群组中的每个样本分配节点的第二样本分配节点属性进行聚合，以获得群组聚合属性的函数。第二待定聚合函数也可以利用一个多层感知器模型MLP进行表征。示例性地，第二待定聚合函数可以表示为：
Figure BDA0002262394570000312
V′j＝{v′i|v′i∈Pj}；其中ρv→p是第二待定聚合函数(与S264中的第二待定聚合函数形式(或网络结构)相同，网络模型参数可能不同)；是指第j个样本分配节点群组的群组聚合属性；V′j是指与第j个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性组成的集合。
具体地，可以利用如下的For循环过程，逐个将每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性V′j聚合至该样本分配节点群组中，获得每个样本分配节点群组的群组聚合属性
Figure BDA0002262394570000321
for j∈{1，...，|P|}do
let V′j＝{v′i|v′i∈Pj}
Figure BDA0002262394570000322
end for
其中，|P|表示样本分配节点群组的数量。
S356、基于第三待定更新函数，根据每个样本分配节点群组的群组聚合属性、每个样本分配节点群组的群组属性和样本全局属性，对每个样本分配节点群组的群组属性进行更新，并将更新群组属性后的样本分配图作为训练分配图进行输出。
其中，每个样本分配节点群组的群组属性可以是指样本分配图中的样本分配节点群组的原有属性，其可以包括但不限于节点群组中的节点数量、边数量等。第三待定更新函数可以是指在预设图网络模型的训练过程中使用的，用于更新每个节点群组的群组属性的函数。第三待定更新函数也可以利用一个多层感知器模型MLP进行表征。示例性地，第三待定更新函数可以表示为：
Figure BDA0002262394570000323
其中，φg是第三待定更新函数(与S265中的第三待定更新函数形式(或网络结构)相同，网络模型参数可能不同)；p′j是第j个样本分配节点群组的群组属性更新后获得的群组属性；pj是第j个样本分配节点群组的群组属性；
Figure BDA0002262394570000324
是指第j个样本分配节点群组的群组聚合属性
Figure BDA0002262394570000325
u是样本分配图的样本全局属性。
具体地，可以利用如下的For循环过程，逐个利用每个样本分配节点群组的群组聚合属性每个样本分配节点群组的群组属性pj和样本全局属性u，对每个样本分配节点群组的群组属性进行更新，获得更新后的群组属性p′j：
for j∈{1，…，|P|}do
Figure BDA0002262394570000332
end for
本实施例在对样本分配图中每个样本分配节点群组的群组属性进行更新后，可以将更新群组属性后的样本分配图作为训练分配图进行输出，从而可以获得准确的训练分配图。若训练误差未收敛或者迭代次数小于预设次数，则调整的预设图网络模型中的网络参数，具体可以是调整待定亲密矩阵、第一待定更新函数、第一待定聚合函数、第二待定更新函数、第二待定聚合函数和第三待定更新函数中的参数值。
需要注意的是，在本实施例中的预设图网络模型的训练过程中，需要增加一对一匹配的约束条件，即样本分配图中与任意一个样本无向图中的每个样本节点所关联的样本分配节点群组中都只包含一个正节点(即匹配成功的节点)，从而可以保证两个无向图中的节点均是一一对应关系，进而可以基于预设图网络模型解决图匹配的问题。具体地，在预设图网络模型的训练过程中，通过增加第二待定聚合函数和第三待定更新函数，对每个样本分配节点群组进行节点到群组的聚合和群组属性更新，从而增加了一对一匹配的约束条件，使得训练出的预设图网络模型可以保证图匹配所要求的一一对应的情况，进而可以基于训练后获得的预设图网络模型更加准确地确定出目标分配图，提高图像匹配的准确度和精度。
需要说明的是，在使用训练完成后的预设图网络模型的过程中，该模型内部无需再利用第二待定聚合函数和第三待定更新函数，对每个分配节点群组进行节点到群组的聚合和群组属性更新，仅需获得每个分配节点的更新后节点属性即可，以便基于更新后的节点属性确定图像对中匹配成功的所有特征点匹配对，进而可以同时提高匹配效率和匹配准确度。
本实施例中的预设图网络模型在训练过程中，可以同时对构建分配图的亲密矩阵进行训练，以使基于训练后获得的目标亲密矩阵构建出的初始分配图更加准确，进而使得预设图网络模型确定出的目标分配图也更加准确，从而可以进一步提高图像匹配的准确度和精度。
以下是本发明实施例提供的图像匹配装置的实施例，该装置与上述各实施例的图像匹配方法属于同一个发明构思，在图像匹配装置的实施例中未详尽描述的细节内容，可以参考上述图像匹配方法的实施例。
实施例四
图5为本发明实施例四提供的一种图像匹配装置的结构示意图，本实施例可适用于对两张图像中的特征点进行匹配，以确定出各个特征点之间对应关系的情况，该装置具体包括：特征点提取模块410、无向图构建模块420、目标分配图确定模块430和特征点匹配对确定模块440。
其中，特征点提取模块410，用于获取待匹配的两张图像，并提取每张图像中的各个特征点；无向图构建模块420，用于将各特征点作为节点，构建每张图像对应的无向图；目标分配图确定模块430，用于根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图，其中，预设图网络模型根据样本数据预先训练获得；特征点匹配对确定模块440，用于根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。
可选地，目标分配图确定模块430，具体用于：
将两张图像对应的两个无向图作为预设图网络模型的输入，并根据预设图网络模型的输出，确定两张图像对应的目标分配图。
可选地，预设图网络模型通过如下步骤实现确定两张图像对应的目标分配图的功能：
基于目标亲密矩阵，根据输入的两张图像对应的两个无向图，确定两张图像对应的初始分配图；基于第一目标更新函数，根据初始分配图中每条分配边的第一边属性、与每条分配边关联的每个关联分配节点的关联分配节点属性、以及初始分配图的全局属性，对每条分配边的第一边属性进行更新，获得每条分配边的第二边属性；基于第一目标聚合函数，将与每个分配节点关联的各条分配边的第二边属性聚合至相应的分配节点，获得每个分配节点的边聚合属性；基于第二目标更新函数，根据每个分配节点的节点属性、边聚合属性、以及全局属性，对每个分配节点的节点属性进行更新，并将更新节点属性后的初始分配图作为目标分配图进行输出。
可选地，该装置还包括：预设图网络模型训练模块，具体用于：
获取样本数据，样本数据包括多个样本无向图对和对应的标准分配图，其中，样本无向图对是样本图像对所对应的无向图对；将样本无向图对输入到预设图网络模型中，确定样本图像对的训练分配图；根据样本图像对的训练分配图和相应的标准分配图确定样本图像对的训练误差；检测训练误差是否收敛，或者迭代次数是否等于预设次数；若是，则停止迭代，预设图网络模型训练完成；若否，则将训练误差反向传播至预设图网络模型，调整预设图网络模型中的网络参数。
可选地，预设图网络模型通过如下步骤实现确定样本图像对的训练分配图的功能：
基于待定亲密矩阵，根据输入的样本无向图对确定样本图像对的样本分配图；基于第一待定更新函数，根据样本分配图中每条样本边的第一样本边属性、与每条样本边关联的每个关联样本分配节点的关联样本分配节点属性、以及样本分配图的样本全局属性，对每条样本边的第一样本边属性进行更新，获得每条样本边的第二样本边属性；基于第一待定聚合函数，将与每个样本分配节点关联的各条样本边的第二样本边属性聚合至相应的样本分配节点，获得每个样本分配节点的样本边聚合属性；基于第二待定更新函数，根据每个样本分配节点的第一样本分配节点属性、样本边聚合属性、以及样本全局属性，对每个样本分配节点的第一样本分配节点属性进行更新，获得每个样本分配节点的第二样本分配节点属性；基于第二待定聚合函数，将样本分配图中的每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性聚合至相应的样本分配节点群组，获得每个样本分配节点群组的群组聚合属性；基于第三待定更新函数，根据每个样本分配节点群组的群组聚合属性、每个样本分配节点群组的群组属性和样本全局属性，对每个样本分配节点群组的群组属性进行更新，并将更新群组属性后的样本分配图作为训练分配图进行输出；其中，样本分配节点群组包括由样本无向图对中的任意一个样本无向图中的每个节点与另一个样本无向图中的所有节点组成的节点集合。
可选地，目标分配图确定模块430，还具体用于：
根据两张图像对应的两个无向图和预设亲密矩阵，确定两张图像对应的初始分配图；将初始分配图作为预设图网络模型的输入，并根据预设图网络模型的输出，确定两张图像对应的目标分配图。
可选地，预设图网络模型通过如下步骤实现确定两张图像对应的目标分配图的功能：
基于第一目标更新函数，根据初始分配图中每条分配边的第一边属性、与每条分配边关联的每个关联分配节点的关联分配节点属性、以及初始分配图的全局属性，对每条分配边的第一边属性进行更新，获得每条分配边的第二边属性；基于第一目标聚合函数，将与每个分配节点关联的各条分配边的第二边属性聚合至相应的分配节点，获得每个分配节点的边聚合属性；基于第二目标更新函数，根据每个分配节点的节点属性、边聚合属性、以及全局属性，对每个分配节点的节点属性进行更新，并将更新节点属性后的初始分配图作为目标分配图进行输出。
可选地，该装置还包括：预设图网络模型训练模块，具体用于：
获取样本数据，样本数据包括多个样本分配图和对应的标准分配图，其中，样本分配图是样本图像对所对应的分配图；将样本分配图输入到预设图网络模型中，确定样本图像对的训练分配图；根据样本图像对的训练分配图和相应的标准分配图确定样本图像对的训练误差；检测训练误差是否收敛，或者迭代次数是否等于预设次数；若是，则停止迭代，预设图网络模型训练完成；若否，则将训练误差反向传播至预设图网络模型，调整预设图网络模型中的网络参数。
可选地，预设图网络模型通过如下步骤实现确定样本图像对的训练分配图的功能：
基于第一待定更新函数，根据样本分配图中每条样本边的第一样本边属性、与每条样本边关联的每个关联样本分配节点的关联样本分配节点属性、以及样本分配图的样本全局属性，对每条样本边的第一样本边属性进行更新，获得每条样本边的第二样本边属性；基于第一待定聚合函数，将与每个样本分配节点关联的各条样本边的第二样本边属性聚合至相应的样本分配节点，获得每个样本分配节点的样本边聚合属性；基于第二待定更新函数，根据每个样本分配节点的第一样本分配节点属性、样本边聚合属性、以及样本全局属性，对每个样本分配节点的第一样本分配节点属性进行更新，获得每个样本分配节点的第二样本分配节点属性；基于第二待定聚合函数，将样本分配图中的每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性聚合至相应的样本分配节点群组，获得每个样本分配节点群组的群组聚合属性；基于第三待定更新函数，根据每个样本分配节点群组的群组聚合属性、每个样本分配节点群组的群组属性和样本全局属性，对每个样本分配节点群组的群组属性进行更新，并将更新群组属性后的样本分配图作为训练分配图进行输出；其中，样本分配节点群组包括由样本无向图对中的任意一个样本无向图中的每个节点与另一个样本无向图中的所有节点组成的节点集合。
可选地，特征点匹配对确定模块440，具体用于：
逐个检测目标分配图中的每个分配节点的目标节点属性是否为预设节点标识；若是，则将该分配节点对应的两个特征点确定为两张图像中匹配成功的一个特征点匹配对。
本发明实施例所提供的图像匹配装置可执行本发明任意实施例所提供的图像匹配方法，具备执行图像匹配方法相应的功能模块和有益效果。
实施例五
图6是本发明实施例五提供的一种设备的结构示意图。参见图6，该设备包括：
一个或多个处理器510；
存储器520，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器510执行，使得一个或多个处理器510实现如上述实施例中任意实施例所提供的图像匹配方法，该方法包括：
获取待匹配的两张图像，并提取每张图像中的各个特征点；
将各特征点作为节点，构建每张图像对应的无向图；
根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图，其中，预设图网络模型根据样本数据预先训练获得；
根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。
图6中以一个处理器510为例；设备中的处理器510和存储器520可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像匹配方法对应的程序指令/模块(例如，图像匹配装置中的特征点提取模块410、无向图构建模块420、目标分配图确定模块430和特征点匹配对确定模块440)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像匹配方法。
存储器520主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本实施例提出的设备与上述实施例提出的图像匹配方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行图像匹配方法相同的有益效果。
实施例六
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像匹配方法步骤，该方法包括：
获取待匹配的两张图像，并提取每张图像中的各个特征点；
将各特征点作为节点，构建每张图像对应的无向图；
根据预设图网络模型和两张图像对应的两个无向图，确定两张图像对应的目标分配图，其中，预设图网络模型根据样本数据预先训练获得；
根据目标分配图中的每个分配节点的目标节点属性，确定两张图像中匹配成功的各个特征点匹配对。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种图像匹配方法，其特征在于，包括：
获取待匹配的两张图像，并提取每张图像中的各个特征点；
将各所述特征点作为节点，构建每张图像对应的无向图；
根据预设图网络模型和所述两张图像对应的两个所述无向图，确定所述两张图像对应的目标分配图，其中，所述预设图网络模型根据样本数据预先训练获得；
根据所述目标分配图中的每个分配节点的目标节点属性，确定所述两张图像中匹配成功的各个特征点匹配对。
2.根据权利要求1所述的方法，其特征在于，根据预设图网络模型和所述两张图像对应的两个所述无向图，确定所述两张图像对应的目标分配图，包括：
将所述两张图像对应的两个所述无向图作为预设图网络模型的输入，并根据所述预设图网络模型的输出，确定所述两张图像对应的目标分配图。
3.根据权利要求1或2所述的方法，其特征在于，所述预设图网络模型通过如下步骤实现确定所述两张图像对应的目标分配图的功能：
基于目标亲密矩阵，根据输入的所述两张图像对应的两个所述无向图，确定所述两张图像对应的初始分配图；
基于第一目标更新函数，根据所述初始分配图中每条分配边的第一边属性、与每条所述分配边关联的每个关联分配节点的关联分配节点属性、以及所述初始分配图的全局属性，对每条所述分配边的第一边属性进行更新，获得每条所述分配边的第二边属性；
基于第一目标聚合函数，将与每个所述分配节点关联的各条分配边的第二边属性聚合至相应的分配节点，获得每个所述分配节点的边聚合属性；
基于第二目标更新函数，根据每个所述分配节点的节点属性、所述边聚合属性、以及所述全局属性，对每个所述分配节点的节点属性进行更新，并将更新所述节点属性后的初始分配图作为目标分配图进行输出。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述预设图网络模型的训练过程，包括：
获取样本数据，所述样本数据包括多个样本无向图对和对应的标准分配图，其中，所述样本无向图对是样本图像对所对应的无向图对；
将所述样本无向图对输入到预设图网络模型中，确定所述样本图像对的训练分配图；
根据所述样本图像对的训练分配图和相应的标准分配图确定所述样本图像对的训练误差；
检测所述训练误差是否收敛，或者迭代次数是否等于预设次数；
若是，则停止迭代，所述预设图网络模型训练完成；
若否，则将所述训练误差反向传播至所述预设图网络模型，调整所述预设图网络模型中的网络参数。
5.根据权利要求4所述的方法，其特征在于，所述预设图网络模型通过如下步骤实现确定所述样本图像对的训练分配图的功能：
基于待定亲密矩阵，根据输入的所述样本无向图对确定所述样本图像对的样本分配图；
基于第一待定更新函数，根据所述样本分配图中每条样本边的第一样本边属性、与每条所述样本边关联的每个关联样本分配节点的关联样本分配节点属性、以及所述样本分配图的样本全局属性，对每条所述样本边的第一样本边属性进行更新，获得每条所述样本边的第二样本边属性；
基于第一待定聚合函数，将与每个所述样本分配节点关联的各条样本边的第二样本边属性聚合至相应的样本分配节点，获得每个所述样本分配节点的样本边聚合属性；
基于第二待定更新函数，根据每个所述样本分配节点的第一样本分配节点属性、所述样本边聚合属性、以及所述样本全局属性，对每个所述样本分配节点的第一样本分配节点属性进行更新，获得每个所述样本分配节点的第二样本分配节点属性；
基于第二待定聚合函数，将所述样本分配图中的每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性聚合至相应的样本分配节点群组，获得每个所述样本分配节点群组的群组聚合属性；
基于第三待定更新函数，根据每个所述样本分配节点群组的群组聚合属性、每个所述样本分配节点群组的群组属性和所述样本全局属性，对每个所述样本分配节点群组的群组属性进行更新，并将更新所述群组属性后的样本分配图作为训练分配图进行输出；
其中，所述样本分配节点群组包括由样本无向图对中的任意一个样本无向图中的每个节点与另一个样本无向图中的所有节点组成的节点集合。
6.根据权利要求1所述的方法，其特征在于，根据预设图网络模型和所述两张图像对应的两个所述无向图，确定所述两张图像对应的目标分配图，包括：
根据所述两张图像对应的两个所述无向图和预设亲密矩阵，确定所述两张图像对应的初始分配图；
将所述初始分配图作为预设图网络模型的输入，并根据所述预设图网络模型的输出，确定所述两张图像对应的目标分配图。
7.根据权利要求6所述的方法，其特征在于，所述预设图网络模型通过如下步骤实现确定所述两张图像对应的目标分配图的功能：
基于第一目标更新函数，根据所述初始分配图中每条分配边的第一边属性、与每条所述分配边关联的每个关联分配节点的关联分配节点属性、以及所述初始分配图的全局属性，对每条所述分配边的第一边属性进行更新，获得每条所述分配边的第二边属性；
基于第一目标聚合函数，将与每个所述分配节点关联的各条分配边的第二边属性聚合至相应的分配节点，获得每个所述分配节点的边聚合属性；
基于第二目标更新函数，根据每个所述分配节点的节点属性、所述边聚合属性、以及所述全局属性，对每个所述分配节点的节点属性进行更新，并将更新所述节点属性后的初始分配图作为目标分配图进行输出。
8.根据权利要求6或7所述的方法，其特征在于，所述预设图网络模型的训练过程，包括：
获取样本数据，所述样本数据包括多个样本分配图和对应的标准分配图，其中，所述样本分配图是样本图像对所对应的分配图；
将所述样本分配图输入到预设图网络模型中，确定所述样本图像对的训练分配图；
根据所述样本图像对的训练分配图和相应的标准分配图确定所述样本图像对的训练误差；
检测所述训练误差是否收敛，或者迭代次数是否等于预设次数；
若是，则停止迭代，所述预设图网络模型训练完成；
若否，则将所述训练误差反向传播至所述预设图网络模型，调整所述预设图网络模型中的网络参数。
9.根据权利要求8所述的方法，其特征在于，所述预设图网络模型通过如下步骤实现确定所述样本图像对的训练分配图的功能：
基于第一待定更新函数，根据所述样本分配图中每条样本边的第一样本边属性、与每条所述样本边关联的每个关联样本分配节点的关联样本分配节点属性、以及所述样本分配图的样本全局属性，对每条所述样本边的第一样本边属性进行更新，获得每条所述样本边的第二样本边属性；
基于第一待定聚合函数，将与每个所述样本分配节点关联的各条样本边的第二样本边属性聚合至相应的样本分配节点，获得每个所述样本分配节点的样本边聚合属性；
基于第二待定更新函数，根据每个所述样本分配节点的第一样本分配节点属性、所述样本边聚合属性、以及所述样本全局属性，对每个所述样本分配节点的第一样本分配节点属性进行更新，获得每个所述样本分配节点的第二样本分配节点属性；
基于第二待定聚合函数，将所述样本分配图中的每个样本分配节点群组包含的各个样本分配节点的第二样本分配节点属性聚合至相应的样本分配节点群组，获得每个所述样本分配节点群组的群组聚合属性；
基于第三待定更新函数，根据每个所述样本分配节点群组的群组聚合属性、每个所述样本分配节点群组的群组属性和所述样本全局属性，对每个所述样本分配节点群组的群组属性进行更新，并将更新所述群组属性后的样本分配图作为训练分配图进行输出；
其中，所述样本分配节点群组包括由样本无向图对中的任意一个样本无向图中的每个节点与另一个样本无向图中的所有节点组成的节点集合。
10.根据权利要求1至9中任一项所述的方法，其特征在于，根据所述目标分配图中的每个分配节点的目标节点属性，确定所述两张图像中匹配成功的各个特征点匹配对，包括：
逐个检测所述目标分配图中的每个分配节点的目标节点属性是否为预设节点标识；
若是，则将该分配节点对应的两个特征点确定为所述两张图像中匹配成功的一个特征点匹配对。
11.一种图像匹配装置，其特征在于，包括：
特征点提取模块，用于获取待匹配的两张图像，并提取每张图像中的各个特征点；
无向图构建模块，用于将各所述特征点作为节点，构建每张图像对应的无向图；
目标分配图确定模块，用于根据预设图网络模型和所述两张图像对应的两个所述无向图，确定所述两张图像对应的目标分配图，其中，所述预设图网络模型根据样本数据预先训练获得；
特征点匹配对确定模块，用于根据所述目标分配图中的每个分配节点的目标节点属性，确定所述两张图像中匹配成功的各个特征点匹配对。
12.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的图像匹配方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的图像匹配方法。
CN201911075796.6A 2019-11-06 2019-11-06 一种图像匹配方法、装置、设备和存储介质 Active CN110837861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075796.6A CN110837861B (zh) 2019-11-06 2019-11-06 一种图像匹配方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075796.6A CN110837861B (zh) 2019-11-06 2019-11-06 一种图像匹配方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110837861A true CN110837861A (zh) 2020-02-25
CN110837861B CN110837861B (zh) 2022-11-29

Family

ID=69576165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075796.6A Active CN110837861B (zh) 2019-11-06 2019-11-06 一种图像匹配方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110837861B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800647A (zh) * 2020-06-29 2020-10-20 广州市百果园信息技术有限公司 直播连麦匹配方法、装置、设备及存储介质
CN113590857A (zh) * 2021-08-10 2021-11-02 北京有竹居网络技术有限公司 键值匹配方法、装置、可读介质及电子设备
CN115131409A (zh) * 2022-08-26 2022-09-30 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548493A (zh) * 2016-11-03 2017-03-29 亮风台（上海）信息科技有限公司 一种图匹配的方法及系统
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN108710904A (zh) * 2018-05-10 2018-10-26 上海交通大学 基于递归神经网络的图像匹配方法及系统
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN110189254A (zh) * 2019-04-30 2019-08-30 华中科技大学 一种图像数据集的形变参数集束平差方法及图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548493A (zh) * 2016-11-03 2017-03-29 亮风台（上海）信息科技有限公司 一种图匹配的方法及系统
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN108710904A (zh) * 2018-05-10 2018-10-26 上海交通大学 基于递归神经网络的图像匹配方法及系统
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN110189254A (zh) * 2019-04-30 2019-08-30 华中科技大学 一种图像数据集的形变参数集束平差方法及图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREI ZANFIR等: "Deep Learning of Graph Matching", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800647A (zh) * 2020-06-29 2020-10-20 广州市百果园信息技术有限公司 直播连麦匹配方法、装置、设备及存储介质
CN111800647B (zh) * 2020-06-29 2022-08-09 广州市百果园信息技术有限公司 直播连麦匹配方法、装置、设备及存储介质
CN113590857A (zh) * 2021-08-10 2021-11-02 北京有竹居网络技术有限公司 键值匹配方法、装置、可读介质及电子设备
CN115131409A (zh) * 2022-08-26 2022-09-30 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及系统
CN115131409B (zh) * 2022-08-26 2023-01-24 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Also Published As

Publication number Publication date
CN110837861B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
US11313684B2 (en) Collaborative navigation and mapping
CN110837861B (zh) 一种图像匹配方法、装置、设备和存储介质
CN113159283B (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
CN112862874A (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN112258512A (zh) 点云分割方法、装置、设备和存储介质
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
EP4318313A1 (en) Data processing method, training method for neural network model, and apparatus
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN108444452B (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
CN113361710A (zh) 学生模型训练方法、图片处理方法、装置及电子设备
CN111950633A (zh) 神经网络的训练、目标检测方法及装置和存储介质
CN115578516A (zh) 一种三维成像方法、装置、设备和存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN113824989B (zh) 一种视频处理方法、装置和计算机可读存储介质
CN113139540B (zh) 背板检测方法及设备
CN109523530A (zh) 一种微带片圆形焊盘检测方法和系统
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN115272794A (zh) 模型训练方法、计算机设备及存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN112927304A (zh) 一种基于卷积神经网络的鱼眼镜头标定方法
CN112131902A (zh) 闭环检测方法及装置、存储介质和电子设备
Porzi et al. An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.