CN112836746B - 基于一致性图建模的语义对应方法 - Google Patents

基于一致性图建模的语义对应方法 Download PDF

Info

Publication number
CN112836746B
CN112836746B CN202110145841.1A CN202110145841A CN112836746B CN 112836746 B CN112836746 B CN 112836746B CN 202110145841 A CN202110145841 A CN 202110145841A CN 112836746 B CN112836746 B CN 112836746B
Authority
CN
China
Prior art keywords
source
target
node
consistency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110145841.1A
Other languages
English (en)
Other versions
CN112836746A (zh
Inventor
张天柱
张勇东
何建峰
吴枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110145841.1A priority Critical patent/CN112836746B/zh
Publication of CN112836746A publication Critical patent/CN112836746A/zh
Application granted granted Critical
Publication of CN112836746B publication Critical patent/CN112836746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于一致性图建模的语义对应方法，包括步骤：建立源图像与目标图像之间的特征关系，采用图卷积网络对源图像的特征和目标图像的特征进行跨模态更新；对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到源图像到目标图像上的语义对应结果，能够同时捕获整张图片以及图片之间的上下文信息，建立循环一致性的语义对应，适用性强，准确度高。

Description

基于一致性图建模的语义对应方法
技术领域
本发明涉及计算机视觉领域，尤其是涉及一种基于一致性图建模的语义对应方法，可应用于图像的理解。
背景技术
语义对应性试图在包含相同类别物体的图片之间建立语义相关的对应匹配，进而应用于物体识别、图像编辑、语义分割等众多领域。
传统的语义对应工作利用手工特征，如SIFT(尺度不变特征)或HOG(方向梯度直方图特征)来建立对应匹配关系。然而手工设计的特征不能捕获高层次的语义信息，所以待匹配物体存在较大的物体形变时，这些传统方法不能有效地建立语义对应关系。此外，图片的背景杂乱、物体不同的视角变化、以及缺少稠密的对应标注数据等因素都增加了语义对应性任务的难度。
为了捕获高层次的语义信息，基于卷积神经网络的语义对应工作应运而生，在语义对应任务中取得了巨大的成功。然而，这些方法大多不能捕获整张图片、图片之间的上下文信息，以及同时确保建立的语义对应具有一致性，这限制了模型对语义对应任务中各种挑战(如背景干扰)的泛化能力。
因此，目前亟待解决的技术问题是提供一种适用性强，准确度更高的图和语义的对应方法。
发明内容
为了解决上述技术问题，本发明公开了一种适用性强，准确度更高的图和语义的对应方法，具体方案如下。
本发明公开了一种基于一致性图建模的语义对应方法，包括：
建立源图像与目标图像之间的特征关系，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新；
对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；
通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果。
根据本发明的一些实施例，建立所述源图像与所述目标图像之间的特征关系包括：
获取所述源图像的图像特征，并将每个特征点作为源节点；
获取所述目标图像的图像特征，并将每个特征点作为目标节点；以及
在所述源节点和所述目标节点之间建立边；
其中，所述源节点和所述目标节点均为数据结构图的输入节点。
根据本发明的一些实施例，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新包括，通过公式(1)和(2)进行跨模态更新：
Figure BDA0002928790900000021
Figure BDA0002928790900000022
其中，hs表示源节点特征，ht表示目标节点特征，
Figure BDA0002928790900000023
表示跨模态更新后的源节点特征，
Figure BDA0002928790900000024
表示跨模态更新后的目标节点特征，
Figure BDA0002928790900000025
表示源节点到目标节点的边，
Figure BDA0002928790900000026
表示目标节点到源节点的边，ms表示根据边
Figure BDA0002928790900000027
找到与源节点有连接关系的所有目标节点的特征的累和，mt表示根据边
Figure BDA0002928790900000028
找到与目标节点具有连接关系的所有源节点的特征的累和，
Figure BDA0002928790900000029
是特征串联操作，
Figure BDA00029287909000000210
表示神经网络，
Figure BDA00029287909000000211
表示跨图更新后的源节点特征，
Figure BDA00029287909000000212
表示跨图更新后的目标节点特征。
根据本发明的一些实施例，对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系包括：
通过模态内数据结构图对跨模态更新后的源节点特征编码获得自身模态内的上下文信息，获取经过第一关联关系后的源节点特征的邻接矩阵；以及
通过模态内数据结构图对跨模态更新后的目标节点特征编码获得自身模态内的上下文信息，获取经过第二关联关系后的目标图节点征的邻接矩阵。
根据本发明的一些实施例，获取经过第一关联关系后的源节点特征的邻接矩阵包括，通过公式(3)计算获得邻接矩阵：
Figure BDA0002928790900000031
获取经过第二关联关系后的目标节点特征的邻接矩阵包括，通过公式(4)计算获得邻接矩阵：
Figure BDA0002928790900000032
其中，As表示源节点特征的邻接矩阵，At表示目标节点特征的邻接矩阵，Wθ与Wψ是可学习的参数，ReLU(·)表示激活函数。
根据本发明的一些实施例，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新包括，通过公式(5)和公式(6)进行模态内更新：
Figure BDA0002928790900000033
Figure BDA0002928790900000034
其中，
Figure BDA0002928790900000035
表示模态内图卷积网络更新后的源节点特征，
Figure BDA0002928790900000036
表示表示模态内图卷积网络更新后的目标节点特征，
Figure BDA0002928790900000037
表示神经网络计算。
根据本发明的一些实施例，所述通过一致性损失建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果包括：
将模态内图卷积网络更新后的源节点特征按照所在图像位置排列获得最终源节点特征；
将模态内图卷积网络更新后的目标节点特征按照所在图像位置排列获得最终目标节点特征；以及
计算所述最终源节点特征和所述最终目标节点特征之间的余弦相似度，获得源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果。
根据本发明的一些实施例，在所述基于一致性图建模的语义对应方法应用于训练时，还包括对通过前景一致性损失、循环一致性损失和平滑损失建立具有循环一致性的特征对应关系。
根据本发明的一些实施例，获得所述前景一致性损失包括：通过计算所述源图像的前景掩码与所述前景掩码对应点的目标图像的掩码的差值得到获得所述前景一致性损失，用于使前景区域不在背景区域建立对应关系，且背景区域也不在前景区域建立对应关系；
获得所述循环一致性损失包括：对于源图像特征上的前景区域的点p根据源图像特征到目标图像特征的对应结果找到对应在目标图像特征上的点q，以及根据点q和目标图像特征到源图像特征的对应结果找到对应源图像上的点p′，通过计算源图像特征尚两个点的位置差异||p-p′||获得所述循环一致性损失，用于在前景区域建立具有循环一致性的语义对应；以及
获得所述平滑损失包括：计算源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果对应的一阶离散梯度获得所述平滑损失，用于平滑计算出的特征对应。
根据本发明的一些实施例，所述建立具有循环一致性的特征对应关系包括：
按照公式(7)对所述前景一致性损失、所述循环一致性损失和所述平滑损失求和：
Figure BDA0002928790900000041
按照公式(8)对所述源节点到目标节点的边和所述目标节点到源节点的边进行一致性约束：
Figure BDA0002928790900000042
通过公式(9)计算最终损失函数：
Figure BDA0002928790900000051
其中，
Figure BDA0002928790900000052
表示前景一致性损失、循环一致性损失和平滑损失的和，
Figure BDA0002928790900000053
表示边的一致性损失，
Figure BDA0002928790900000054
表示最终损失函数，λ1、λ2、λ3为超参数，
Figure BDA0002928790900000055
为前景一致性损失，
Figure BDA0002928790900000056
为循环一致性损失，
Figure BDA0002928790900000057
为平滑损失，λtask是公式(7)的权重系数，λedge是公式(8)的权重系数，
Figure BDA0002928790900000058
表示源节点到目标节点的边，
Figure BDA0002928790900000059
表示目标节点到源节点的边，
Figure BDA00029287909000000510
表示源图像特征到目标图像特征的对应结果，
Figure BDA00029287909000000511
表示目标图像特征到源图像特征的对应结果。
通过上述技术方案，本发明通过图卷积网络对源图像特征和目标图像特征进行跨模态更新，然后进行模态内编码，建立自身对应关系，并采用图卷积网络进行更新，最后通过一致性损失获得源图像到目标图像上的语义对应结果，能够同时捕获整张图片以及图片之间的上下文信息，并确保建立具有循环一致性的语义对应，适用性强，准确度高，因此对图片的背景杂乱、物体不同的视角变化以及物体的较大形变等挑战具有更好的鲁棒性。
附图说明
图1示意性示出了本公开实施例的基于一致性图建模的语义对应方法的流程图；
图2示意性示出了本公开实施例的基于一致性图建模的语义对应方法的一具体实施例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”表明了特征、步骤、操作的存在，但是并不排除存在或添加一个或多个其他特征。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
为了解决上述技术问题，本发明公开了一种适用性强，准确度更高的图和语义的对应方法，具体方案如下。
图1示意性示出了本公开实施例的基于一致性图建模的语义对应方法的流程图。
根据本发明的一些实施例，本发明公开了一种基于一致性图建模的语义对应方法，如图1所示，包括步骤S1、S2和S3。
根据本发明的一些实施例，S1包括：建立源图像与目标图像之间的特征关系，采用图卷积网络对源图像的特征和目标图像的特征进行跨模态更新。
根据本发明的一些实施例，S2包括：对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；
根据本发明的一些实施例，S3包括：通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到源图像到目标图像上的语义对应结果。
根据本发明的一些实施例，本发明公开的一种基于一致性图建模的语义对应方法包括三部分：跨图模块、内图模块和循环一致性模块。
据本发明的一些实施例，跨图模块用于建模图片之间关系，采用CrossGCN(交叉图卷积网络)对源图像特征和目标图像特征进行更新。
据本发明的一些实施例，内图模块用于对获得源图像特征和目标图像特征的上下文信息，通过采用IntraGCN(模态内数据结构图)对源图像特征和目标图像特征进行编码获得上下文信息。
据本发明的一些实施例，循环一致性模块用于获得源图像特征与目标图像特征之间的对应结果。
据本发明的一些实施例，对于输入的两张图像(源图像与目标图像)，通过ResNet101(残差网络)提取特征。
根据本发明的一些实施例，建立源图像与目标图像之间的特征关系包括如下步骤。
获取源图像的图像特征，并将每个特征点作为源节点(源节点特征记为hs)；
获取目标图像的图像特征，并将每个特征点作为目标节点(目标节点特征记为ht)；以及
在源节点和目标节点之间建立边(
Figure BDA0002928790900000071
和
Figure BDA0002928790900000072
)。
其中，源节点和目标节点均为数据结构图的输入节点，Garph(图)包括节点和边，边代表数据传输，在本发明中具体用于表示节点之间是否相连。
根据本发明的一些实施例，采用图卷积网络对源图像的特征和目标图像的特征进行跨模态更新包括，通过公式(1)和(2)进行跨模态更新。
Figure BDA0002928790900000073
Figure BDA0002928790900000074
其中，hs表示源节点特征，ht表示目标节点特征，
Figure BDA0002928790900000075
表示跨模态更新后的源节点特征，
Figure BDA0002928790900000076
表示跨模态更新后的目标节点特征，
Figure BDA0002928790900000077
表示源节点到目标节点的边，
Figure BDA0002928790900000078
表示目标节点到源节点的边，ms表示根据边
Figure BDA0002928790900000079
找到与源节点有连接关系的所有目标节点的特征的累和，mt表示根据边
Figure BDA00029287909000000710
找到与目标节点具有连接关系的所有源节点的特征的累和，
Figure BDA00029287909000000711
是特征串联操作，
Figure BDA00029287909000000712
表示神经网络，
Figure BDA00029287909000000713
表示跨图更新后的源节点特征，
Figure BDA00029287909000000714
表示跨图更新后的目标节点特征。
根据本发明的一些实施例，对跨模态更新后的源图像特
Figure BDA00029287909000000715
征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征
Figure BDA00029287909000000716
建立自身特征之间的第二关联关系包括：通过模态内数据结构图对跨模态更新后的源节点特征编码获得自身模态内的上下文信息，获取经过第一关联关系后的源节点特征的邻接矩阵；以及
通过模态内数据结构图对跨模态更新后的目标节点特征编码获得自身模态内的上下文信息，获取经过第二关联关系后的目标图节点征的邻接矩阵。
根据本发明的一些实施例，获取经过第一关联关系后的源节点特征的邻接矩阵包括，通过公式(3)计算获得邻接矩阵：
Figure BDA0002928790900000081
获取经过第二关联关系后的目标节点特征的邻接矩阵包括，通过公式(4)计算获得邻接矩阵：
Figure BDA0002928790900000082
其中，As表示源节点特征的邻接矩阵，At表示目标节点特征的邻接矩阵，Wθ与Wψ是可学习的参数，ReLU(·)表示激活函数。
根据本发明的一些实施例，将特征
Figure BDA0002928790900000083
或
Figure BDA0002928790900000084
输入神经网络
Figure BDA0002928790900000085
得到新的特征，再与源(目标)节点特征相加可以得到
Figure BDA0002928790900000086
根据本发明的一些实施例，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新包括，通过公式(5)和公式(6)进行模态内更新：
Figure BDA0002928790900000087
Figure BDA0002928790900000088
其中，
Figure BDA0002928790900000089
表示模态内图卷积网络更新后的源节点特征，
Figure BDA00029287909000000810
表示表示模态内图卷积网络更新后的目标节点特征，
Figure BDA00029287909000000811
表示神经网络计算。
根据本发明的一些实施例，通过一致性损失建立具有循环一致性的特征对应关系，得到源图像到目标图像上的语义对应结果包括：将模态内图卷积网络更新后的源节点特征按照所在图像位置排列获得最终源节点特征
Figure BDA00029287909000000812
将模态内图卷积网络更新后的目标节点特征按照所在图像位置排列获得最终目标节点特征
Figure BDA00029287909000000813
以及
计算最终源节点特征
Figure BDA0002928790900000096
和最终目标节点特征
Figure BDA0002928790900000091
之间的余弦相似度，获得源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果。
根据本发明的一些实施例，对应结果
Figure BDA0002928790900000092
存储源图像特征到目标图像特征的对应结果，对应结果
Figure BDA0002928790900000093
存储目标图像特征到源图像特征的对应结果。
根据本发明的一些实施例，在基于一致性图建模的语义对应方法应用于训练时，还包括对通过前景一致性损失、循环一致性损失和平滑损失建立具有循环一致性的特征对应关系。
根据本发明的一些实施例，获得前景一致性损失包括：通过计算源图像的前景掩码与前景掩码对应点的目标图像的掩码的差值得到获得前景一致性损失，用于使前景区域不在背景区域建立对应关系，且背景区域也不在前景区域建立对应关系。
根据本发明的一些实施例，获得循环一致性损失包括：对于源图像特征上的前景区域的点p根据源图像特征到目标图像特征的对应结果找到对应在目标图像特征上的点q，以及根据点q和目标图像特征到源图像特征的对应结果找到对应源图像上的点p′，通过计算源图像特征尚两个点的位置差异||p-p′||获得循环一致性损失，用于在前景区域建立具有循环一致性的语义对应。
获得平滑损失包括：计算源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果对应的一阶离散梯度获得平滑损失，用于平滑计算出的特征对应。
根据本发明的一些实施例，建立具有循环一致性的特征对应关系包括：按照公式(7)对前景一致性损失、循环一致性损失和平滑损失求和：
Figure BDA0002928790900000094
按照公式(8)对源节点到目标节点的边和目标节点到源节点的边进行一致性约束：
Figure BDA0002928790900000095
按照公式(9)计算最终损失函数：
Figure BDA0002928790900000101
其中，
Figure BDA0002928790900000102
表示前景一致性损失、循环一致性损失和平滑损失的和，
Figure BDA0002928790900000103
表示边的一致性损失，
Figure BDA0002928790900000104
表示最终损失函数，λ1、λ2、λ3为超参数，
Figure BDA0002928790900000105
为前景一致性损失，
Figure BDA0002928790900000106
为循环一致性损失，
Figure BDA0002928790900000107
为平滑损失，λtask是公式(7)的权重系数，λedge是公式(8)的权重系数，
Figure BDA0002928790900000108
表示源节点到目标节点的边，
Figure BDA0002928790900000109
表示目标节点到源节点的边，
Figure BDA00029287909000001010
表示源图像特征到目标图像特征的对应结果，
Figure BDA00029287909000001011
表示目标图像特征到源图像特征的对应结果。
图2示意性示出了本公开实施例的基于一致性图建模的语义对应方法的一具体实施例。
如图2所示，对于两张图片，一张为一只站在海边的鸟，简称海鸟图，定义为源图像，另外一张为一只站在树林的鸟，简称林鸟图，定义为目标图像。
通过ResNet101(残差网络)提取源图像特征hs和目标图像特征ht。
在源节点和目标节点之间建立边(
Figure BDA00029287909000001012
和
Figure BDA00029287909000001013
)。
通过跨图模块，构造出跨图模块中的源节点特征和目标节点特征，进而可以利用CrossGCN更新源节点特征和目标节点特征。
通过内图模块，将这些节点特征输入到内图模块中来传递节点之间的特征信息，利用IntraGCN更新得到最终的源节点和目标节点特征。
并将源节点和目标节点特征按照所在图像位置重新排列获得最后的源图像特征和目标图像特征。
计算源图像特征和目标图像特征点之间的相似性，选取相似性最大的点作为对应点。
将图像特征的对应结果
Figure BDA00029287909000001014
上采样到图像分辨率大小，便得到源图像到目标图像上的语义对应结果，也即，可以将海鸟图的前景海鸟的各项特征和林鸟图中前景林鸟的各项特征一一对应起来。
通过上述技术方案，本发明通过图卷积网络对源图像特征和目标图像特征进行跨模态更新，然后进行模态内编码建立自身对应关系并采用图卷积网络进行更新，最后通过一致性损失获得源图像到目标图像上的语义对应结果，能够同时捕获整张图片以及图片之间的上下文信息，并确保建立具有循环一致性的语义对应，适用性强，准确度高，因此对图片的背景杂乱、物体不同的视角变化以及物体的较大形变等挑战具有更好的鲁棒性。
本发明公开的方法可以通过对应性学习可以获得物体更加具有鉴别力的特征，可以广泛应用于物体识别、图像编辑、语义或场景分割等计算机视觉任务。在实施上，可以以软件的方式安装于个人手机或电脑上，提供实时对应性匹配；也可以安装于公司的后台服务器，提供大批量后台对应性匹配结果。
至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各零部件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
还需要说明的是，在本公开的具体实施例中，除非有所知名为相反之意，本说明书及所附权利要求中的数值参数是近似值，能够根据通过本公开的内容所得的所需特性改变。具体而言，所有使用于说明书及权利要求中表示组成的尺寸、范围条件等等的数字，应理解为在所有情况中是受到“约”的用语所修饰。一般情况下，其表达的含义是指包含由特定数量在一些实施例中±10％的变化、在一些实施例中±5％的变化、在一些实施例中±1％的变化、在一些实施例中±0.5％的变化。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于一致性图建模的语义对应方法，其特征在于，包括：
建立源图像与目标图像之间的特征关系，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新，包括：
通过公式(1)和(2)进行跨模态更新：
Figure FDA0003569823260000011
Figure FDA0003569823260000012
其中，hs表示源节点特征，ht表示目标节点特征，
Figure FDA0003569823260000013
表示跨模态更新后的源节点特征，
Figure FDA0003569823260000014
表示跨模态更新后的目标节点特征，
Figure FDA0003569823260000015
表示源节点到目标节点的边，
Figure FDA0003569823260000016
表示目标节点到源节点的边，ms表示根据边
Figure FDA0003569823260000017
找到与源节点有连接关系的所有目标节点的特征的累和，mt表示根据边
Figure FDA0003569823260000018
找到与目标节点具有连接关系的所有源节点的特征的累和，
Figure FDA0003569823260000019
是特征串联操作，
Figure FDA00035698232600000110
表示神经网络，
Figure FDA00035698232600000111
表示跨图更新后的源节点特征，
Figure FDA00035698232600000112
表示跨图更新后的目标节点特征；
对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新，包括：
通过公式(3)和公式(4)进行模态内更新：
Figure FDA00035698232600000113
Figure FDA00035698232600000114
其中，
Figure FDA00035698232600000115
表示模态内图卷积网络更新后的源节点特征，
Figure FDA00035698232600000116
表示模态内图卷积网络更新后的目标节点特征，
Figure FDA00035698232600000117
表示神经网络计算，As表示源节点特征的邻接矩阵，At表示目标节点特征的邻接矩阵；以及
通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果。
2.根据权利要求1所述的方法，其特征在于，建立所述源图像与所述目标图像之间的特征关系包括：
获取所述源图像的图像特征，并将每个特征点作为源节点；
获取所述目标图像的图像特征，并将每个特征点作为目标节点；以及
在所述源节点和所述目标节点之间建立边；
其中，所述源节点和所述目标节点均为数据结构图的输入节点。
3.根据权利要求2所述的方法，其特征在于，对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系包括：
通过模态内数据结构图对跨模态更新后的源节点特征编码获得自身模态内的上下文信息，获取经过第一关联关系后的源节点特征的邻接矩阵；以及
通过模态内数据结构图对跨模态更新后的目标节点特征编码获得自身模态内的上下文信息，获取经过第二关联关系后的目标图节点征的邻接矩阵。
4.根据权利要求3所述的方法，其特征在于，
获取经过第一关联关系后的源节点特征的邻接矩阵包括，通过公式(5)计算获得邻接矩阵：
Figure FDA0003569823260000021
获取经过第二关联关系后的目标节点特征的邻接矩阵包括，通过公式(6)计算获得邻接矩阵：
Figure FDA0003569823260000022
其中，Wθ与Wψ是可学习的参数，ReLU(·)表示激活函数。
5.根据权利要求4所述的方法，其特征在于，所述通过一致性损失建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果包括：
将模态内图卷积网络更新后的源节点特征按照所在图像位置排列获得最终源节点特征；
将模态内图卷积网络更新后的目标节点特征按照所在图像位置排列获得最终目标节点特征；以及
计算所述最终源节点特征和所述最终目标节点特征之间的余弦相似度，获得源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果。
6.根据权利要求5所述的方法，其特征在于，在所述基于一致性图建模的语义对应方法应用于训练时，还包括对通过前景一致性损失、循环一致性损失和平滑损失建立具有循环一致性的特征对应关系。
7.根据权利要求6所述的方法，其特征在于，
获得所述前景一致性损失包括：通过计算所述源图像的前景掩码与所述前景掩码对应点的目标图像的掩码的差值得到获得所述前景一致性损失，用于使前景区域不在背景区域建立对应关系，且背景区域也不在前景区域建立对应关系；
获得所述循环一致性损失包括：对于源图像特征上的前景区域的点p根据源图像特征到目标图像特征的对应结果找到对应在目标图像特征上的点q，以及根据点q和目标图像特征到源图像特征的对应结果找到对应源图像上的点p′，通过计算源图像特征尚两个点的位置差异||p-p′||获得所述循环一致性损失，用于在前景区域建立具有循环一致性的语义对应；以及
获得所述平滑损失包括：计算源图像特征到目标图像特征的对应结果和目标图像特征到源图像特征的对应结果对应的一阶离散梯度获得所述平滑损失，用于平滑计算出的特征对应。
8.根据权利要求7所述的方法，其特征在于，所述建立具有循环一致性的特征对应关系包括：
按照公式(7)对所述前景一致性损失、所述循环一致性损失和所述平滑损失求和：
Figure FDA0003569823260000031
按照公式(8)对所述源节点到目标节点的边和所述目标节点到源节点的边进行一致性约束：
Figure FDA0003569823260000041
通过公式(9)计算最终损失函数：
Figure FDA0003569823260000042
其中，
Figure FDA0003569823260000043
表示前景一致性损失、循环一致性损失和平滑损失的和，
Figure FDA0003569823260000044
表示边的一致性损失，
Figure FDA0003569823260000045
表示最终损失函数，λ1、λ2、λ3为超参数，
Figure FDA0003569823260000046
为前景一致性损失，
Figure FDA0003569823260000047
为循环一致性损失，
Figure FDA0003569823260000048
为平滑损失，λtask是公式(7)的权重系数，λedge是公式(8)的权重系数，
Figure FDA0003569823260000049
表示源节点到目标节点的边，
Figure FDA00035698232600000410
表示目标节点到源节点的边，
Figure FDA00035698232600000411
表示源图像特征到目标图像特征的对应结果，
Figure FDA00035698232600000412
表示目标图像特征到源图像特征的对应结果。
CN202110145841.1A 2021-02-02 2021-02-02 基于一致性图建模的语义对应方法 Active CN112836746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145841.1A CN112836746B (zh) 2021-02-02 2021-02-02 基于一致性图建模的语义对应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145841.1A CN112836746B (zh) 2021-02-02 2021-02-02 基于一致性图建模的语义对应方法

Publications (2)

Publication Number Publication Date
CN112836746A CN112836746A (zh) 2021-05-25
CN112836746B true CN112836746B (zh) 2022-09-09

Family

ID=75931668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145841.1A Active CN112836746B (zh) 2021-02-02 2021-02-02 基于一致性图建模的语义对应方法

Country Status (1)

Country Link
CN (1) CN112836746B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469197B (zh) * 2021-06-29 2024-03-22 北京达佳互联信息技术有限公司 图文匹配方法、装置、设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760507A (zh) * 2016-02-23 2016-07-13 复旦大学 基于深度学习的跨模态主题相关性建模方法
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN111598214A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于图卷积神经网络的跨模态检索方法
CN111739115A (zh) * 2020-06-23 2020-10-02 中国科学院自动化研究所 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN111914156A (zh) * 2020-08-14 2020-11-10 中国科学院自动化研究所 自适应标签感知的图卷积网络跨模态检索方法、系统
CN112100410A (zh) * 2020-08-13 2020-12-18 中国科学院计算技术研究所 一种基于语义条件关联学习的跨模态检索方法及系统
CN112149802A (zh) * 2020-09-17 2020-12-29 广西大学 一种语义结构一致的图像内容转换方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251433B2 (en) * 2012-12-10 2016-02-02 International Business Machines Corporation Techniques for spatial semantic attribute matching for location identification
US10728120B2 (en) * 2016-12-13 2020-07-28 Sap Se Weighted node layering in graph drawing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760507A (zh) * 2016-02-23 2016-07-13 复旦大学 基于深度学习的跨模态主题相关性建模方法
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN111598214A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于图卷积神经网络的跨模态检索方法
CN111739115A (zh) * 2020-06-23 2020-10-02 中国科学院自动化研究所 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN112100410A (zh) * 2020-08-13 2020-12-18 中国科学院计算技术研究所 一种基于语义条件关联学习的跨模态检索方法及系统
CN111914156A (zh) * 2020-08-14 2020-11-10 中国科学院自动化研究所 自适应标签感知的图卷积网络跨模态检索方法、系统
CN112149802A (zh) * 2020-09-17 2020-12-29 广西大学 一种语义结构一致的图像内容转换方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Temporally Consistent Gaussian Random Field for Video Semantic Analysis;Jinhui Tang 等;《2007 IEEE International Conference on Image Processing》;20071112;第525-528页 *
基于知识图谱的配电网故障辅助决策研究;王骏东 等;《电网技术》;20210104;全文 *

Also Published As

Publication number Publication date
CN112836746A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN106780512B (zh) 分割图像的方法、应用及计算设备
CN111832468B (zh) 基于生物识别的手势识别方法、装置、计算机设备及介质
Lipman et al. Möbius voting for surface correspondence
WO2021253788A1 (zh) 一种人体三维模型构建方法及装置
CN102640168B (zh) 用于基于局部二进制模式的面部特征定位的方法和设备
JP2015504215A (ja) 画像を比較するための方法およびシステム
CN111626295B (zh) 车牌检测模型的训练方法和装置
US20230326173A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN109741378A (zh) 基于mrf模型的多模态医学图像配准方法、装置、平台及介质
Du et al. New iterative closest point algorithm for isotropic scaling registration of point sets with noise
CN112651333A (zh) 静默活体检测方法、装置、终端设备和存储介质
Yung et al. Efficient feature-based image registration by mapping sparsified surfaces
CN112836746B (zh) 基于一致性图建模的语义对应方法
CN111402221B (zh) 一种图像处理方法、装置及电子设备
CN111353325A (zh) 关键点检测模型训练方法及装置
CN117911418B (zh) 基于改进yolo算法的病灶检测方法、系统及存储介质
CN108665459A (zh) 一种图像模糊检测方法、计算设备及可读存储介质
Xu et al. A review of image inpainting methods based on deep learning
Gavrilov et al. A method for aircraft labeling in aerial and satellite images based on continuous morphological models
WO2024055446A1 (zh) 图像分割方法、装置、设备及可读存储介质
CN115630660A (zh) 基于卷积神经网络的条码定位方法和装置
Condorelli et al. Architectural heritage recognition in historical film footage using Neural Networks
CN114882288A (zh) 基于分层图增强堆叠自编码器的多视图图像分类方法
Zhou et al. Robust monocular 3D object pose tracking for large visual range variation in robotic manipulation via scale-adaptive region-based method
Surendar Evolution of gait biometric system and algorithms-A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant