CN113344996A - 一种基于图匹配的顶点配准方法及装置、存储介质 - Google Patents

一种基于图匹配的顶点配准方法及装置、存储介质 Download PDF

Info

Publication number
CN113344996A
CN113344996A CN202110740635.5A CN202110740635A CN113344996A CN 113344996 A CN113344996 A CN 113344996A CN 202110740635 A CN202110740635 A CN 202110740635A CN 113344996 A CN113344996 A CN 113344996A
Authority
CN
China
Prior art keywords
vertex
vertexes
relation
information
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110740635.5A
Other languages
English (en)
Other versions
CN113344996B (zh
Inventor
李杰明
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202210904918.3A priority Critical patent/CN115457092A/zh
Priority to CN202110740635.5A priority patent/CN113344996B/zh
Publication of CN113344996A publication Critical patent/CN113344996A/zh
Application granted granted Critical
Publication of CN113344996B publication Critical patent/CN113344996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于图匹配的顶点配准方法及装置、存储介质，其中顶点配准方法包括：获取目标物体对应的标准物体的标准模板和标准模板的信息搜索范围；通过预设的图匹配算法在标准模板的信息搜索范围内对样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果；根据顶点匹配结果计算样本图像中的目标物体相对于标准模板中的标准物体的变换关系；根据变换关系推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息；利用样本图像中部分已标注的顶点和样本图像中其余未标注的顶点，对样本图像中的目标物体的各顶点进行配准。技术方案将顶点匹配问题转化为图匹配算法进行求解，能够提高后续配准的准确性和稳定性。

Description

一种基于图匹配的顶点配准方法及装置、存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于图匹配的顶点配准方法及装置、存储介质。
背景技术
近年来，人工智能和大数据成为了国内外各大领域关注的焦点。在计算机视觉领域，基于深度学习的图像算法有着广泛的应用。使用图像和标注信息的一一对应关系来训练卷积神经网络，能够完成分类、目标检测和语义分割等工作。其中，目标检测卷积神经网络在工业上有许许多多的应用，如流水线产品的识别和计数等。
目标检测卷积神经网络(以下简称：目标检测网络)仍然面临的许多难点，如遮挡物体的识别、极端尺度和形状物体的识别；此外，对物体进行方向上的准确识别也是工业机器视觉的一大需求。现有的基于深度学习目标检测算法有YOLO、SSD、RCNN等，这些算法通过搭建CNN(卷积神经网络)并用标注数据进行训练，训练完成后，输入图像至卷积神经网络并输出特征图，通过计算特征图得出检测结果，比如物体的种类、外接矩形的中心坐标和长宽。
在现有的应用中，识别遮挡物体是目标检测的难点之一。一者，优化对识别遮挡物体的技术有：对训练集图像进行增强，如使用噪声随机覆盖图像中待检测的物体的一部分，或随机将图像中待检测的物体的一部分的像素设置为固定像素值(如0)；该方法的缺点是可能对训练数据引入过多噪声，从而使目标检测模型的收敛更加困难，而且对训练数据的处理方式不一定与现实的遮挡相同，因此仍可能得到错误的检测结果。二者，优化多尺度检测的方法有：特征金字塔，通过融合不同尺度的特征图，获得多个感受野不同的特征图，再分别对这些特征图进行分类和方框回归以得到结果；该方法的缺点是增加了计算量，且待识别的物体的形状的长宽比需要在一个适中的区间(一般为1:3到3:1之间)，难以实现对极端长宽比物体的检测。三者，识别物体方向的方法有：在原有的目标检测网络的基础上，增加一个或多个角度回归量，通过训练数据进行拟合，可以识别物体方向；该方法的缺点是需要在标注时额外增加角度的标注，增加了标注的工作量，而且由于增加角度的回归，增大了训练难度。
发明内容
本申请主要解决的技术问题是如何对目标物体上的顶点进行准确配准。为解决上述技术问题，本申请提供一种基于图匹配的顶点配准方法及装置、存储介质。
根据第一方面，一种实施例中提供一种基于图匹配的顶点配准方法，其包括：获取目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围；所述标准模板包括所述标准物体上所有顶点的位置信息、角度信息和类别信息，所述顶点用于表征物体表面的一个局部特征；所述信息搜索范围用于设定角度、位置、距离缩放尺度的检测范围；获取图像数据集中关于所述目标物体的至少一个样本图像；所述样本图像包括所述目标物体上部分已标注的顶点的位置信息、角度信息和类别信息；通过预设的图匹配算法在所述标准模板的信息搜索范围内对所述样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果；根据所述顶点匹配结果计算所述样本图像中的目标物体相对于所述标准模板中的标准物体的变换关系；根据所述变换关系推断所述样本图像中其余未标注的顶点的位置信息、角度信息和类别信息；利用所述样本图像中部分已标注的顶点和所述样本图像中其余未标注的顶点，对所述样本图像中的所述目标物体的各顶点进行配准。
所述通过预设的图匹配算法在所述标准模板的信息搜索范围内对所述样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果，包括：利用所述样本图像中部分已标注的顶点形成待检测顶点集合，计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系，以及构建所述待检测顶点集合中顶点与顶点之间的连接关系；比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure BDA0003142774750000021
将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure BDA0003142774750000022
进行比较，通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点；利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述顶点匹配结果。
所述计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系，以及构建所述待检测顶点集合中顶点与顶点之间的连接关系，包括：对于所述待检测顶点集合中的任意两个顶点k、l和所述标准模板中的任意两个顶点i、j，计算顶点k和顶点l的位置关系且表示为βkl，计算顶点i和顶点j的位置关系且表示为βij；若判断顶点i与顶点k的类别信息相同，且顶点j与顶点l的类别信息相同，则计算位置关系βij相对于位置关系βkl的变化关系且表示为δij-kl；所述变化关系用于表征相对转换的角度偏移量和距离缩放量；判断变化关系δij-kl是否处于所述标准模板的信息搜索范围内，若是则构建所述待检测顶点集合中顶点k和顶点l的连接关系且用γkl表示；所述信息搜索范围中设有角度α、坐标x、坐标y以及距离缩放尺度的检测范围。
所述比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure BDA0003142774750000031
包括：判断所述待检测顶点集合中构建有顶点与顶点之间的连接关系，则将所述待检测顶点集合中的所有顶点存入堆栈St；从所述堆栈St中依次出栈每一个顶点并记为顶点h，依次建立顶点集合Xh并将顶点h加入顶点集合Xh；遍历所述待检测顶点集合中与顶点h之间具有连接关系的其它顶点，投票确定其中一个连接关系并获得对应的变化关系
Figure BDA0003142774750000032
以及利用与顶点h之间具有连接关系的其它顶点形成候选点集P；对于所述候选点集P中的每一个顶点o，获取顶点o与所述待检测顶点集合中各顶点的连接关系和对应的变化关系，若判断顶点o与所述顶点集合Xh中的任意一个顶点的连接关系所对应的变化关系等于变化关系
Figure BDA0003142774750000033
则将顶点o暂时加入所述顶点集合Xh中；之后获取所述顶点集合Xh内部各顶点之间新增的内部连接关系lin和内部各顶点与所述顶点集合Xh外部顶点之间新增的外部连接关系lout，判断新增的内部连接关系lin的数目是否小于新增的外部连接关系lout的数目时，若是将顶点o移出所述顶点集合Xh，若否则将新增的外部连接关系lout上与顶点o关联的另一个顶点也加入所述候选点集P；遍历所述候选点集P中的所有顶点并更新所述顶点集合Xh，输出最终形成的所述顶点集合Xh和确定的变化关系
Figure BDA0003142774750000034
所述将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure BDA0003142774750000035
进行比较，通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点，包括：获取所述顶点集合Xh中顶点h与其余各顶点之间的连接关系和对应的变化关系；若顶点h与其余任意一个顶点之间的连接关系所对应的变化关系等于变化关系
Figure BDA0003142774750000036
则将该连接关系标记为第一值；对连接关系标记为第一值的顶点进行计数投票，得到所述顶点集合中各个顶点的投票结果，根据投票结果确定与所述标准模板相匹配的若干个顶点。
所述获取目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围，包括：获取所述目标物体对应的标准物体的标准图像，以及获取所述标准图像中对所述标准物体上所有顶点的标注信息，根据所述标准物体上所有顶点的标注信息生成所述标准模板；所述标注信息包括所述标准物体上每个顶点的位置信息、角度信息和类别信息；获取针对所述标准模板配置的参考方向和旋转中心点，以及针对所述标准模板配置的角度、位置、距离缩放尺度的最大变化量；根据配置的参考方向、旋转中心点以及角度、位置、距离缩放尺度的最大变化量设定角度、位置、距离缩放尺度的检测范围，从而形成所述标准模板的信息搜索范围。
在对所述样本图像中的所述目标物体的各顶点进行配准之后，还包括：构建基于深度学习的卷积神经网络，利用各顶点配准后的所述样本图像对所述卷积神经网络进行训练，直到所述卷积神经网络对应的损失函数收敛；利用训练完成的所述卷积神经网络作为顶点检测模型；所述顶点检测模型用于对所述目标物体的待检测图像进行局部特征的检测处理，得到所述目标物体上的若干个顶点。
根据第二方面，一种实施例中提供一种图像处理装置，其包括：存储单元，存储有目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围，以及存储有图像数据集；所述标准模板包括所述标准物体上所有顶点的位置信息、角度信息和类别信息，所述顶点用于表征物体表面的一个局部特征；所述信息搜索范围用于设定角度、位置、距离缩放尺度的检测范围；所述图像数据集包括至少一个关于所述目标物体的样本图像，所述样本图像包括所述目标物体上部分已标注的顶点的位置信息、角度信息和类别信息；获取单元，用于从所述存储单元获取所述目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围，以及获取图像数据集中关于所述目标物体的至少一个样本图像；处理单元，用于通过预设的图匹配算法在所述标准模板的信息搜索范围内对所述样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果，根据所述顶点匹配结果计算所述样本图像中的目标物体相对于所述标准模板中的标准物体的变换关系；以及，根据所述变换关系推断所述样本图像中其余未标注的顶点的位置信息、角度信息和类别信息，利用所述样本图像中部分已标注的顶点和所述样本图像中其余未标注的顶点，对所述样本图像中的所述目标物体的各顶点进行配准。
所述处理单元在执行预设的图匹配算法时包括以下过程：利用所述样本图像中部分已标注的顶点形成待检测顶点集合，计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系，以及构建所述待检测顶点集合中顶点与顶点之间的连接关系；比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure BDA0003142774750000041
将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure BDA0003142774750000042
进行比较，通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点；利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述顶点匹配结果。
根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面中所述的顶点配准方法。
本申请的有益效果是：
依据上述实施例的一种基于图匹配的顶点配准方法及装置、存储介质，其中顶点配准方法包括：获取目标物体对应的标准物体的标准模板和标准模板的信息搜索范围；通过预设的图匹配算法在标准模板的信息搜索范围内对样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果；根据顶点匹配结果计算样本图像中的目标物体相对于标准模板中的标准物体的变换关系；根据变换关系推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息；利用样本图像中部分已标注的顶点和样本图像中其余未标注的顶点，对样本图像中的目标物体的各顶点进行配准。第一方面，由于通过图匹配算法在标准模板的信息搜索范围内对样本图像中部分已标注的顶点进行匹配，不仅将顶点匹配问题转化为图匹配算法进行求解来提高后续配准的准确性和稳定性，还通过计算顶点间的位置关系来筛选适当的顶点，降低计算的复杂度并提高算法的运行效率；第二方面，技术方案根据样本图像中目标物体相对于标准模板中标准物体的变换关系推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息，那么仅借助少量已经标注的顶点即可推断出其余未被标准的顶点，如此大大降低对样本图像人工标注的工作量；第三方面，由于能够获得样本图像中部分已标注的顶点和样本图像中其余未标注的顶点的信息，那么就可依据这些顶点信息对样本图像中的目标物体的各顶点进行配准，从而在提高顶点配准速度的同时也提高顶点配准的精确度。
技术方案为得到样本图像中部分已标注顶点的顶点匹配结果，提出了一种图匹配算法在标准模板的信息搜索范围内对部分已标注的顶点进行匹配，将顶点匹配问题转化为图的匹配问题进行求解和计算，从而实现了部分已标注顶点和标准模板中顶点的对应关系；那么在得到顶点部分对应关系的情况下，就方便根据对应关系计算相对应之间的变换矩阵，从而通过这种变换关系推断和识别目标物体上其余的顶点，最终完成目标物体上各顶点的配准。
附图说明
图1为本申请中基于图匹配的顶点配准方法的流程图；
图2为匹配得到顶点匹配结果的流程图；
图3为在待检测的表盘上设置顶点的示意图；
图4为构建关于表盘的标准模板的示意图；
图5为标准模板的顶点以及连接关系的示意图；
图6为顶点集合Xh的顶点以及连接关系的示意图；
图7为计数投票的原理示意图；
图8为获取顶点完整标注信息和顶点配准的流程图；
图9为建立顶点检测模型的流程图；
图10为顶点检测模型的结构示意图；
图11为本申请中图像处理装置的结构示意图；
图12为另一种实施例中图像处理装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
在工业生产的很多情况下，待检测的目标物体的形状相对固定，这时候这些形状变化可以近似地视为仿射变换，这种情况多发生在金属零部件、塑料外壳等标准化产品的检测。可将一个完整的目标物体分为若干个特征顶点，以下称为顶点(这些顶点需设置为较能反映待检测物体特征的局部区域)。多个顶点组成的集合称为一个模板，通过检测每个顶点可完成对模板的整体检测；即通过对目标物体局部的检测，可以完成对目标物体整体的检测。
下面结合实施例对本申请技术方案进行具体说明。
实施例一、
请参考图1，本申请公开一种基于图匹配的顶点配准方法，该顶点配准方法包括步骤110-150，下面分别说明。
步骤110，获取目标物体对应的标准物体的标准模板，和标准模板的信息搜索范围。这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件或者操作台上的工具等，此类目标物体在某些场景中可能会存在部分遮挡、表面损坏、形体异常的情况，这时会给检测目标物体的表面特征带来一些困难。目标物体对应的标准物体则是无遮挡、无表面缺陷、无形变、姿态正常的目标物体，标准物体上具有较为完整的物体表面特征，若将这些物体表面特征用特征顶点进行表示的话，则标准物体的标准模板就是这些顶点信息的集合。
在这里，标准模板可包括标准物体上所有顶点的位置信息、角度信息和类别信息，其中的顶点是用于表征物体表面的一个局部特征。此外，标准模板的信息搜索范围用于设定角度、位置、距离缩放尺度的检测范围。需要说明的是，对于任意的目标物体或对应的标准物体，其表面的局部特征包括但不限于：物体上能表征物体核心特征的凸凹形状、能表征物体核心特征的印刷图案等；如果一旦选取某一类局部特征，需将所有属于该类局部特征的顶点全部标注完成。可以理解，每个顶点至少包括以下2个信息：顶点的横纵坐标(即顶点的坐标)、所表征的局部特征的类别(即顶点的类别)；当然，除了这2个信息，还可以选择增加其他信息以加快后续的匹配速度，一般可选的信息有：局部特征的最小外接矩形(即顶点外接矩形，顶点外接矩形的信息可包括矩形中心点、矩形长和宽，可指带旋转角度的标准矩形)、局部特征的外包矩形(即顶点外包矩形，顶点外包矩形的信息可包括矩形中心点、矩形长宽和方向，可指没有旋转角度的标准矩形)。可以理解，由于物体上每个顶点是一个局部特征的表示，而局部特征在整个物体图像中具有明确的类别、确切的位置和相对的旋转角度，以及区域的大小，所以可用角度、位置、类别、矩形等具体的数值来描述顶点。
在一个具体实施例中，可通过以下方法获得标准物体的标准模板和信息搜索范围：
(1)从摄像设备获取目标物体对应的标准物体的标准图像，以及获取标准图像中对标准物体上所有顶点的标注信息，根据标准物体上所有顶点的标注信息生成标准模板。在这里可以通过人工标注方式来生成标准物体上所有顶点的标注信息，并且，标注信息包括标准物体上每个顶点的位置信息、角度信息和类别信息；当然，标注信息中也可增加顶点外接矩形、顶点外包矩形这些数值。
(2)获取针对标准模板配置的参考方向和旋转中心点，以及针对标准模板配置的角度、位置、距离缩放尺度的最大变化量；根据配置的参考方向、旋转中心点以及角度、位置、距离缩放尺度的最大变化量设定角度、位置、距离缩放尺度的检测范围，从而形成标准模板的信息搜索范围。
比如图3和图4，待检测的表盘作为目标物体对应的标准物体，对表盘1上的一些显著局部特征进行标注，比如大表盘中心处的顶点A1，小表盘中心处的顶点A2、A4，小表盘边缘数字处的顶点A3，那么利用这些顶点的标注信息可生成一个简单的标准模板，具体参见图4中的A1-A2-A3-A4；在图4中，标准模板的参考方向为L1、旋转中心点为L0。由于同一顶点在不同大小和旋转方向的图像中展示的形态是不一样的，所以需要对顶点形态进行一些调整以实现匹配，调整内容不仅顶点自身的角度偏移量和位置偏移量，还包括顶点与另一个顶点之间的距离缩放量。这里的信息搜索范围表示在此范围内变换的标准模板可以被检测出，反之则不能。
步骤120，获取图像数据集中关于目标物体的至少一个样本图像；样本图像包括目标物体上部分已标注的顶点的位置信息、角度信息和类别信息。这里的图像数据集可是用户提供的训练数据集，包含有关于目标物体的图像和标注信息。
需要说明的是，虽然图像数据集中包含有一些关于目标物体的样本图像，但是这些样本图像需要标注有大量的顶点才能够应用于一些检测模型的训练工作。对样本图像进行标注的过程，可以先标注少量顶点，使用下文步骤130-140来推断出其余未被标注的顶点，如此便能够得到大部分顶点的标注信息，这种方法可大大降低人工标注的工作量。
步骤130，通过预设的图匹配算法在标准模板的信息搜索范围内对样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果。
在本实施例中，参见图2，上述的步骤130可以包括步骤131-134，分别说明如下。
步骤131，利用样本图像中部分已标注的顶点形成待检测顶点集合，计算待检测顶点集合中任意两个顶点和标准模板中任意两个顶点之间位置的变化关系，以及构建待检测顶点集合中顶点与顶点之间的连接关系。
由于标准模板事先构建，则可得到标准模板中的各顶点{vi}(i＝1,2,…,N1)以及顶点之间的连接关系，那么在给定待检测顶点集合{pi}(i＝1,2,…,N2)的情况下，需要解决的问题是两者之间的对应关系。这里为了快速解决两者之间的对应关系，将顶点的匹配问题转化为图的匹配问题进行求解和计算。
在一个具体实施例中，步骤131具体包括以下过程：
(1)对于待检测顶点集合P＝{pi}中的任意两个顶点k、l，以及标准模板V＝{vi}中的任意两个顶点i、j，计算顶点k和顶点l的位置关系且表示为βkl，计算顶点i和顶点j的位置关系且表示为βij。
(2)获取角度α、坐标x、坐标y以及距离缩放尺度的检测范围(可由用户进行设定)，由此设置标准模板的信息搜索范围，可表示为Ω。
(3)对顶点的类别进行判断，若判断顶点i与顶点k的类别信息相同，且顶点j与顶点l的类别信息相同，则计算位置关系βij相对于位置关系βkl的变化关系且表示为δij-kl；这里的变化关系δij-kl用于表征相对转换的角度偏移量和距离缩放量，也就是位置关系βij变换到位置关系βkl所需的角度偏移量，以及顶点vi—vj之间距离变换到顶点vk—vl之间距离所需的距离缩放量。
(4)判断变化关系δij-kl是否处于标准模板的信息搜索范围Ω内，若是即表示δij-kl∈Ω，则构建待检测顶点集合中顶点k和顶点l的连接关系且用γkl表示。可以理解，由于信息搜索范围Ω中设有角度α、坐标x、坐标y以及距离缩放尺度的检测范围，所以当变换关系δij-kl中的各信息都满足对应的检测范围时才构建待检测顶点集合中顶点k和顶点l的连接关系；此时表明顶点k与顶点l可能是顶点i与顶点j经一定的变换方法转换而来，这种情况下称顶点k与顶点l可以构成图的一条边，并且存在连接关系。
步骤132，比较待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure BDA0003142774750000091
在一个具体实施例中，步骤132具体包括以下过程：
(1)判断待检测顶点集合中构建有顶点与顶点之间的连接关系，则将待检测顶点集合中的所有顶点存入堆栈St，也就是说将待检测顶点全部入栈，从而可记堆栈为St。
(2)从堆栈St中依次出栈每一个顶点并记为顶点h，依次建立顶点集合Xh并将顶点h加入顶点集合Xh；由于新建了一个顶点集合Xh，那么可将顶点h加入顶点集合Xh；
需要说明的是，在顶点集合Xh中，将顶点集合Xh内部顶点之间的连线称为内部连接关系lin，将顶点集合Xh内部顶点与本集合外任何顶点的连线记为外部连接关系lout；当然，如果有多个内部点与顶点集合外同一个点有连接关系，则外部连接关系只进行一次计数。
(3)遍历待检测顶点集合中与顶点h之间具有连接关系的其它顶点，投票确定其中一个连接关系并获得对应的变化关系
Figure BDA0003142774750000101
以及利用与顶点h之间具有连接关系的其它顶点形成候选点集P，也就是将所有与顶点h存在连线的顶点加入候选点集P。
可以理解，由于与h有连接关系的每个顶点都存放有变化关系(包括角度偏移量、距离缩放量)，那么计算变换关系的众数即能够实现投票确定变化关系
Figure BDA0003142774750000106
的过程。此外，对于初始的顶点集合Xh，其中只有一个顶点，此时内部边为空。
(4)对于候选点集P中的每一个顶点o，获取顶点o与待检测顶点集合中各顶点的连接关系和对应的变化关系，若判断顶点o与顶点集合Xh中的任意一个顶点的连接关系所对应的变化关系等于变化关系
Figure BDA0003142774750000102
则将顶点o暂时加入顶点集合Xh中。接下来，获取顶点集合Xh内部各顶点之间新增的内部连接关系lin和内部各顶点与顶点集合Xh外部顶点之间新增的外部连接关系lout，那么就可以判断新增的内部连接关系lin的数目是否小于新增的外部连接关系lout的数目时，若是将顶点o移出顶点集合Xh，若否则将新增的外部连接关系lout上与顶点o关联的顶点也加入候选点集P。
可以理解，将顶点o加入顶点集合Xh之后，可通过查看新增的内部连接关系lin和新增的外部连接关系lout来进行数目判断，如果新增的内部连接关系lin多于新增的外部连接关系lout，则候选顶点o符合要求，将新增的顶点加入顶点集合Xh；如果新增的内部连接关系lin小于新增的外部连接关系lout，则不符合要求，应将候选顶点o从顶点集合Xh中删去。
(5)遍历候选点集P中的所有顶点并更新顶点集合Xh，也就是不断重复步骤(4)，直到候选点集P变为空，则输出最终形成的顶点集合Xh和确定的变化关系
Figure BDA0003142774750000103
可以理解，上面是从堆栈St出栈一个顶点h，并形成了顶点集合Xh和确定的变化关系
Figure BDA0003142774750000104
那么接下来还需要从堆栈St出栈下一个顶点然后进行类似的计算，直到堆栈St变为空。
步骤133，将顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure BDA0003142774750000105
进行比较，通过投票处理确定顶点集合Xh中与标准模板相匹配的若干个顶点。
在一个具体实施例中，步骤133具体包括以下过程：
(1)对于一个顶点h，获取顶点集合Xh中顶点h与其余各顶点之间的连接关系和对应的变化关系。
(2)若顶点h与其余任意一个顶点之间的连接关系所对应的变化关系等于变化关系
Figure BDA0003142774750000111
则将该连接关系标记为第一值，比如设置为1。
(3)对连接关系标记为第一值的顶点进行计数投票，得到顶点集合中各个顶点的投票结果，根据投票结果确定与标准模板相匹配的若干个顶点。
参见图5和图6，标准模板中设有顶点U-V-W，三个顶点之间的连线构成连接关系；顶点集合Xh中设有顶点E-F-H-G，四个顶点之间的连线也构成连接关系。那么，可以得到下表1中顶点集合Xh和标准模板的对应关系以及变换关系。
表1顶点集合Xh和标准模板的对应关系以及变化关系
WU WV
HE δ<sub>WU～HE</sub> δ<sub>WV～HE</sub>
HF δ<sub>WU～HF</sub> δ<sub>WV～HF</sub>
HG δ<sub>WU～HG</sub> δ<sub>WV～HG</sub>
对于表1中的变化关系，若将变化关系等于
Figure BDA0003142774750000112
设置为1，不满足的设置为0，则有表2中的标记结果。
表2变化关系的数值标记结果
WU WV
HE 1 0
HF 0 1
HG 0 0
那么，依据表2可对每个顶点进行计数投票，不同类别的顶点的票数设置为-1，那么则有表3的计数投票结果。
表3计数投票结果
U ′ W
E 1 0 -1
F 0 1 -1
G 0 0 0
H -1 -1 2
将表3的计数投票结果用图7进行展现会更为直观，顶点E和顶点U之间的票数为1，顶点F和顶点V之间的票数也为1，顶点H和顶点W之间的票数为2。那么，可以得到顶点E和顶点U相匹配，顶点F和顶点V相匹配，顶点H和顶点W之间也相匹配。
步骤134，利用相匹配的若干个顶点和与标准模板中对应顶点之间的对应关系得到顶点匹配结果。
可以理解，能够肯定的是顶点集合Xh与标准模板之间存在某种对应关系，但不清楚顶点集合Xh中的顶点与标准模板中的哪些顶点之间存在对应关系；这里采用了计数投票算法进行解决，从而得到顶点集合Xh的顶点与标准模板的顶点的对应关系，称为顶点匹配结果，可表示为F1。
可以理解，上面由于通过图匹配算法在标准模板的信息搜索范围内对样本图像中部分已标注的顶点进行匹配，不仅将顶点匹配问题转化为图匹配算法进行求解来提高后续配准的准确性和稳定性，还通过计算顶点间的位置关系来筛选适当的顶点，降低计算的复杂度并提高算法的运行效率。
步骤140，根据顶点匹配结果计算样本图像中的目标物体相对于标准模板中的标准物体的变换关系，根据变换关系推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息。
需要说明的是，由于得到了顶点集合Xh的顶点与标准模板的顶点的对应关系，那么可以确定标准模板中标准物体变换到样本图像中的目标物体时所需的角度偏移量和距离缩放量，由此形成样本图像中的目标物体相对于标准模板中的标准物体的变换关系。既然样本图像中的部分已标注顶点能够与标准模板中的一些顶点相互匹配，那么样本图像中未标注的顶点也能够与标准模板中的剩余顶点也进行匹配，如此便能够推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息。
可以理解，这里根据样本图像中目标物体相对于标准模板中标准物体的变换关系推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息，那么仅借助少量已经标注的顶点即可推断出其余未被标准的顶点，如此大大降低对样本图像人工标注的工作量。
步骤150，利用样本图像中部分已标注的顶点和样本图像中其余未标注的顶点，对样本图像中的目标物体的各顶点进行配准。可以理解，既然得到了样本图像中部分已标注的顶点的信息，也得到了样本图像中其余未标注的顶点的信息，那么相当于得到了样本图像中目标物体上各顶点的信息，如此便实现了各顶点的配准。
可以理解，这里由于能够获得样本图像中部分已标注的顶点和样本图像中其余未标注的顶点的信息，那么就可依据这些顶点信息对样本图像中的目标物体的各顶点进行配准，从而在提高顶点配准速度的同时也提高顶点配准的精确度。
在本实施例中，公开的基于图匹配的顶点配准方法可以具体参见图8。一方面，需要获取标准物体的标准模板和信息搜索范围，那么可从摄像设备获取目标物体对应的标准物体的标准图像，以及获取标准图像中对标准物体上所有顶点的标注信息，从而根据标准物体上所有顶点的标注信息生成标准模板，并自动设置或人为设置标准模板的信息搜索范围。另一方面，需要获取目标物体的至少一个样本图像，那么可从图像数据集中获取关于目标物体的至少一个样本图像，并且对样本图像中目标物体上的部分顶点进行标注，从而得到部分已标注的顶点的位置信息、角度信息和类别信息。接下来，就可利用图匹配算法对样本图像和标准模板进行顶点的匹配处理。
在图匹配算法的执行过程中，首先，可利用样本图像中部分已标注的顶点形成待检测顶点集合和连接关系，计算待检测顶点集合中任意两个顶点和标准模板中任意两个顶点之间位置的变化关系，以及构建待检测顶点集合中顶点与顶点之间的连接关系；接着，比较待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure BDA0003142774750000131
然后，将顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure BDA0003142774750000132
进行比较，通过投票处理确定顶点集合Xh中与标准模板相匹配的若干个顶点；最后，利用相匹配的若干个顶点和与标准模板中对应顶点之间的对应关系得到顶点匹配结果。
在得到顶点匹配结果之后，即可根据顶点匹配结果计算样本图像中的目标物体相对于标准模板中的标准物体的变换关系，那么再根据变换关系即可推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息。
由于已经得到了样本图像中部分已标注的顶点和样本图像中其余未标注的顶点的信息，那么就相当于得到了样本图像中目标物体上各顶点的信息，如此便实现了样本图像中目标物体上各顶点的配准任务。
需要说明的是，上文的顶点配准方法主要是对通过图匹配得到样本图像中各个顶点的信息，由此能够获取各顶点完整标注的样本图像；由于样本图像是训练某一网络模型的必要训练数据，且具有完整的顶点标注信息，那么可利用这样的一个或多个样本图像对网络模型进行训练，通过训练可提高网络模型对物体检测的准确度。
在另一个实施例中，在对样本图像中的目标物体的各顶点进行配准之后，还包括模型构建步骤。参见图9，模型构建步骤可具体包括步骤210-220，下面分别说明。
步骤210，构建基于深度学习的卷积神经网络，利用各顶点配准后的样本图像对卷积神经网络进行训练，直到卷积神经网络对应的损失函数收敛。
在一个具体实施例中，基于深度学习的卷积神经网络可以采用YOLO、Retina-Net、SSD等网络类型；由于这些网络类型较为常见，所以容易配置卷积神经网络对应的损失函数。样本图像参与卷积神经网络的训练过程即为网络权重系数的更新过程，随着更新次数的增加会使对应的损失函数逐步趋于收敛；一般的，在损失函数收敛时即可认为卷积神经网络训练完成。
步骤220，利用训练完成的卷积神经网络作为顶点检测模型，那么这里的顶点检测模型用于对目标物体的待检测图像进行局部特征的检测处理，从而得到目标物体上的若干个顶点。也就是说，得到顶点检测模型之后，即可对目标物体的待检测图像进行输入，通过检测待检测图像中目标物体上的局部特征，可输出目标物体上的若干个顶点。可以理解，输出的每个顶点的信息可能包括：顶点位置坐标、顶点类别、顶点外接矩形、顶点外包矩形等；至于具体能够输出哪些信息，则与卷积神经网络的自身结构和参与训练的样本图像的顶点信息有关系。
关于卷积神经网络的结构可以参考图10，在网络中具体配置用于图像特征提取的骨干网络，用于分类的分类检测网络，用于回归的方框回归网络。其中，骨干网络中可设置一些卷积、激活函数和池化等操作，可对输入的图像(如表盘1的图像)进行图像特征的提取，从而得到对应的特征图。其中，分类检测网络中可设置一些卷积、激活函数和池化等操作，由于网络参数的区别，使得分类检测网络能够专注与特征分类的处理，从而对得到的特征图进行进一步的分类处理，得到目标物体上顶点关于分类信息的特征图，也就能够得到顶点的分类信息。其中，方框回归网络中也可设置一些卷积、激活函数和池化等操作，依据自身网络参数的区别可对得到的特征图进行进一步的回归处理，从而得到目标物体上顶点关于方框回归的特征图，也就能够得到顶点的位置、外接矩形/外包矩形。
本领域技术人员可以理解，技术方案为得到样本图像中部分已标注顶点的顶点匹配结果，提出了一种图匹配算法在标准模板的信息搜索范围内对部分已标注的顶点进行匹配，将顶点匹配问题转化为图的匹配问题进行求解和计算，从而实现了部分已标注顶点和标准模板中顶点的对应关系；那么，在得到顶点部分对应关系的情况下，就方便根据对应关系计算相对应之间的变换矩阵，从而通过这种变换关系推断和识别目标物体上其余的顶点，最终完成目标物体上各顶点的配准。
实施例二、
请参考图11，在实施例一公开的基于图匹配的顶点配准方法的基础上，本实施例公开一种图像处理装置，其主要包括存储单元31、获取单元32和处理单元33，下面分别说明。
存储单元31可采用任意类型的存储器，主要用来存储目标物体对应的标准物体的标准模板和标准模板的信息搜索范围，以及存储有图像数据集。在本实施例中，标准模板包括标准物体上所有顶点的位置信息、角度信息和类别信息，这里的顶点用于表征物体表面的一个局部特征；信息搜索范围用于设定角度、位置、距离缩放尺度的检测范围。在本实施例中，图像数据集包括至少一个关于目标物体的样本图像，每个样本图像包括目标物体上部分已标注的顶点的位置信息、角度信息和类别信息。
获取单元32用于从存储单元31获取目标物体对应的标准物体的标准模板和标准模板的信息搜索范围，以及获取图像数据集中关于目标物体的至少一个样本图像。
处理单元33可采用CPU、FPGA、MCU等数据处理设备，处理单元33可用于通过预设的图匹配算法在标准模板的信息搜索范围内对样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果，根据顶点匹配结果计算样本图像中的目标物体相对于标准模板中的标准物体的变换关系；以及，处理单元33根据变换关系推断样本图像中其余未标注的顶点的位置信息、角度信息和类别信息，利用样本图像中部分已标注的顶点和样本图像中其余未标注的顶点，对样本图像中的目标物体的各顶点进行配准。
在一个具体实施例中，处理单元33在执行预设的图匹配算法时包括以下过程：
(1)利用样本图像中部分已标注的顶点形成待检测顶点集合，计算待检测顶点集合中任意两个顶点和标准模板中任意两个顶点之间位置的变化关系，以及构建待检测顶点集合中顶点与顶点之间的连接关系。
比如，处理单元33对于待检测顶点集合中的任意两个顶点k、l和标准模板中的任意两个顶点i、j，计算顶点k和顶点l的位置关系且表示为βkl，计算顶点i和顶点j的位置关系且表示为βij；若判断顶点i与顶点k的类别信息相同，且顶点j与顶点l的类别信息相同，则计算位置关系βij相对于位置关系βkl的变化关系且表示为δij-kl；判断变化关系δij-kl是否处于标准模板的信息搜索范围内，若是则构建待检测顶点集合中顶点k和顶点l的连接关系且用γkl表示。
(2)比较待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure BDA0003142774750000161
比如，处理单元33判断待检测顶点集合中构建有顶点与顶点之间的连接关系，则将待检测顶点集合中的所有顶点存入堆栈St；从堆栈St中依次出栈每一个顶点并记为顶点h，依次建立顶点集合Xh并将顶点h加入顶点集合Xh；遍历待检测顶点集合中与顶点h之间具有连接关系的其它顶点，投票确定其中一个连接关系并获得对应的变化关系
Figure BDA0003142774750000162
以及利用与顶点h之间具有连接关系的其它顶点形成候选点集P。对于候选点集P中的每一个顶点o，获取顶点o与待检测顶点集合中各顶点的连接关系和对应的变化关系，若判断顶点o与顶点集合Xh中的任意一个顶点的连接关系所对应的变化关系等于变化关系
Figure BDA0003142774750000163
则将顶点o暂时加入顶点集合Xh中；之后获取顶点集合Xh内部各顶点之间新增的内部连接关系lin和内部各顶点与顶点集合Xh外部顶点之间新增的外部连接关系lout，判断新增的内部连接关系lin的数目是否小于新增的外部连接关系lout的数目时，若是将顶点o移出顶点集合Xh，若否则将新增的外部连接关系lout上与顶点o关联的顶点也加入候选点集P。遍历候选点集P中的所有顶点并更新顶点集合Xh，输出最终形成的顶点集合Xh和确定的变化关系
Figure BDA0003142774750000164
(3)将顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure BDA0003142774750000165
进行比较，通过投票处理确定顶点集合Xh中与标准模板相匹配的若干个顶点。
比如，处理单元33获取顶点集合Xh中顶点h与其余各顶点之间的连接关系和对应的变化关系；若顶点h与其余任意一个顶点之间的连接关系所对应的变化关系等于变化关系
Figure BDA0003142774750000166
则将该连接关系标记为第一值；对连接关系标记为第一值的顶点进行计数投票，得到顶点集合中各个顶点的投票结果，根据投票结果确定与标准模板相匹配的若干个顶点。
(4)利用相匹配的若干个顶点和与标准模板中对应顶点之间的对应关系得到顶点匹配结果。
需要说明的是，关于处理单元33的具体功能可以参考实施例一中的步骤130-150，这里不再进行赘述。
实施例三、
请参考图12，本实施例公开一种图像处理装置，该图像处理装置4主要包括存储器41和处理器42。
图像处理装置4的主要部件为存储器41和处理器42。其中，存储器41作为计算机可读存储介质，主要用于存储程序，该程序可以是实施例一中顶点配准方法对应的程序代码。
其中，处理器42与存储器41连接，用于执行存储器31中存储的程序以实现顶点配准方法。处理器42实现的功能可以参考实施例二中的处理单元33，这里不再进行详细说明。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于图匹配的顶点配准方法，其特征在于，包括：
获取目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围；所述标准模板包括所述标准物体上所有顶点的位置信息、角度信息和类别信息，所述顶点用于表征物体表面的一个局部特征；所述信息搜索范围用于设定角度、位置、距离缩放尺度的检测范围；
获取图像数据集中关于所述目标物体的至少一个样本图像；所述样本图像包括所述目标物体上部分已标注的顶点的位置信息、角度信息和类别信息；
通过预设的图匹配算法在所述标准模板的信息搜索范围内对所述样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果；
根据所述顶点匹配结果计算所述样本图像中的目标物体相对于所述标准模板中的标准物体的变换关系；
根据所述变换关系推断所述样本图像中其余未标注的顶点的位置信息、角度信息和类别信息；
利用所述样本图像中部分已标注的顶点和所述样本图像中其余未标注的顶点，对所述样本图像中的所述目标物体的各顶点进行配准。
2.如权利要求1所述的顶点配准方法，其特征在于，所述通过预设的图匹配算法在所述标准模板的信息搜索范围内对所述样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果，包括：
利用所述样本图像中部分已标注的顶点形成待检测顶点集合，计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系，以及构建所述待检测顶点集合中顶点与顶点之间的连接关系；
比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure FDA0003142774740000011
将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure FDA0003142774740000012
进行比较，通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点；
利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述顶点匹配结果。
3.如权利要求2所述的顶点配准方法，其特征在于，所述计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系，以及构建所述待检测顶点集合中顶点与顶点之间的连接关系，包括：
对于所述待检测顶点集合中的任意两个顶点k、l和所述标准模板中的任意两个顶点i、j，计算顶点k和顶点l的位置关系且表示为βkl，计算顶点i和顶点j的位置关系且表示为βij；
若判断顶点i与顶点k的类别信息相同，且顶点j与顶点l的类别信息相同，则计算位置关系βij相对于位置关系βkl的变化关系且表示为δij-kl；所述变化关系用于表征相对转换的角度偏移量和距离缩放量；
判断变化关系δij-kl是否处于所述标准模板的信息搜索范围内，若是则构建所述待检测顶点集合中顶点k和顶点l的连接关系且用γkl表示；所述信息搜索范围中设有角度α、坐标x、坐标y以及距离缩放尺度的检测范围。
4.如权利要求3所述的顶点配准方法，其特征在于，所述比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure FDA0003142774740000021
包括：
判断所述待检测顶点集合中构建有顶点与顶点之间的连接关系，则将所述待检测顶点集合中的所有顶点存入堆栈St；从所述堆栈St中依次出栈每一个顶点并记为顶点h，依次建立顶点集合Xh并将顶点h加入顶点集合Xh；
遍历所述待检测顶点集合中与顶点h之间具有连接关系的其它顶点，投票确定其中一个连接关系并获得对应的变化关系
Figure FDA0003142774740000022
以及利用与顶点h之间具有连接关系的其它顶点形成候选点集P；
对于所述候选点集P中的每一个顶点o，获取顶点o与所述待检测顶点集合中各顶点的连接关系和对应的变化关系，若判断顶点o与所述顶点集合Xh中的任意一个顶点的连接关系所对应的变化关系等于变化关系
Figure FDA0003142774740000023
则将顶点o暂时加入所述顶点集合Xh中；之后获取所述顶点集合Xh内部各顶点之间新增的内部连接关系lin和内部各顶点与所述顶点集合Xh外部顶点之间新增的外部连接关系lout，判断新增的内部连接关系lin的数目是否小于新增的外部连接关系lout的数目时，若是将顶点o移出所述顶点集合Xh，若否则将新增的外部连接关系lout上与顶点o关联的顶点也加入所述候选点集P；
遍历所述候选点集P中的所有顶点并更新所述顶点集合Xh，输出最终形成的顶点集合Xh和确定的变化关系
Figure FDA0003142774740000024
5.如权利要求4所述的顶点配准方法，其特征在于，所述将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure FDA0003142774740000025
进行比较，通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点，包括：
获取所述顶点集合Xh中顶点h与其余各顶点之间的连接关系和对应的变化关系；
若顶点h与其余任意一个顶点之间的连接关系所对应的变化关系等于变化关系
Figure FDA0003142774740000031
则将该连接关系标记为第一值；
对连接关系标记为第一值的顶点进行计数投票，得到所述顶点集合中各个顶点的投票结果，根据投票结果确定与所述标准模板相匹配的若干个顶点。
6.如权利要求1所述的顶点配准方法，其特征在于，所述获取目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围，包括：
获取所述目标物体对应的标准物体的标准图像，以及获取所述标准图像中对所述标准物体上所有顶点的标注信息，根据所述标准物体上所有顶点的标注信息生成所述标准模板；所述标注信息包括所述标准物体上每个顶点的位置信息、角度信息和类别信息；
获取针对所述标准模板配置的参考方向和旋转中心点，以及针对所述标准模板配置的角度、位置、距离缩放尺度的最大变化量；根据配置的参考方向、旋转中心点以及角度、位置、距离缩放尺度的最大变化量设定角度、位置、距离缩放尺度的检测范围，从而形成所述标准模板的信息搜索范围。
7.如权利要求1所述的顶点配准方法，其特征在于，在对所述样本图像中的所述目标物体的各顶点进行配准之后，还包括：
构建基于深度学习的卷积神经网络，利用所述样本图像对所述卷积神经网络进行训练，直到所述卷积神经网络对应的损失函数收敛；
利用训练完成的所述卷积神经网络作为顶点检测模型；所述顶点检测模型用于对所述目标物体的待检测图像进行局部特征的检测处理，得到所述目标物体上的若干个顶点。
8.一种图像处理装置，其特征在于，包括：
存储单元，存储有目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围，以及存储有图像数据集；所述标准模板包括所述标准物体上所有顶点的位置信息、角度信息和类别信息，所述顶点用于表征物体表面的一个局部特征；所述信息搜索范围用于设定角度、位置、距离缩放尺度的检测范围；所述图像数据集包括至少一个关于所述目标物体的样本图像，所述样本图像包括所述目标物体上部分已标注的顶点的位置信息、角度信息和类别信息；
获取单元，用于从所述存储单元获取所述目标物体对应的标准物体的标准模板和所述标准模板的信息搜索范围，以及获取图像数据集中关于所述目标物体的至少一个样本图像；
处理单元，用于通过预设的图匹配算法在所述标准模板的信息搜索范围内对所述样本图像中部分已标注的顶点进行匹配，得到顶点匹配结果，根据所述顶点匹配结果计算所述样本图像中的目标物体相对于所述标准模板中的标准物体的变换关系；以及，根据所述变换关系推断所述样本图像中其余未标注的顶点的位置信息、角度信息和类别信息，利用所述样本图像中部分已标注的顶点和所述样本图像中其余未标注的顶点，对所述样本图像中的所述目标物体的各顶点进行配准。
9.如权利要求8所述的图像处理装置，其特征在于，所述处理单元在执行预设的图匹配算法时包括以下过程：
利用所述样本图像中部分已标注的顶点形成待检测顶点集合，计算所述待检测顶点集合中任意两个顶点和所述标准模板中任意两个顶点之间位置的变化关系，以及构建所述待检测顶点集合中顶点与顶点之间的连接关系；
比较所述待检测顶点集合中每个顶点与其它各顶点之间的连接关系，将该顶点和连接关系符合预设筛选条件的其它顶点加入顶点集合Xh中，以及确定一个变化关系
Figure FDA0003142774740000041
将所述顶点集合Xh中各顶点分别对应的变化关系和确定的变化关系
Figure FDA0003142774740000042
进行比较，通过投票处理确定所述顶点集合Xh中与所述标准模板相匹配的若干个顶点；
利用相匹配的若干个顶点和与所述标准模板中对应顶点之间的对应关系得到所述顶点匹配结果。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的顶点配准方法。
CN202110740635.5A 2021-07-01 2021-07-01 一种基于图匹配的顶点配准方法及装置、存储介质 Active CN113344996B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210904918.3A CN115457092A (zh) 2021-07-01 2021-07-01 一种图像检测方法、顶点配准方法及存储介质
CN202110740635.5A CN113344996B (zh) 2021-07-01 2021-07-01 一种基于图匹配的顶点配准方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110740635.5A CN113344996B (zh) 2021-07-01 2021-07-01 一种基于图匹配的顶点配准方法及装置、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210904918.3A Division CN115457092A (zh) 2021-07-01 2021-07-01 一种图像检测方法、顶点配准方法及存储介质

Publications (2)

Publication Number Publication Date
CN113344996A true CN113344996A (zh) 2021-09-03
CN113344996B CN113344996B (zh) 2022-08-09

Family

ID=77481921

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110740635.5A Active CN113344996B (zh) 2021-07-01 2021-07-01 一种基于图匹配的顶点配准方法及装置、存储介质
CN202210904918.3A Pending CN115457092A (zh) 2021-07-01 2021-07-01 一种图像检测方法、顶点配准方法及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210904918.3A Pending CN115457092A (zh) 2021-07-01 2021-07-01 一种图像检测方法、顶点配准方法及存储介质

Country Status (1)

Country Link
CN (2) CN113344996B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203342A (zh) * 2016-07-01 2016-12-07 广东技术师范学院 基于多角度局部特征匹配的目标识别方法
JP2018139086A (ja) * 2017-02-24 2018-09-06 三菱電機株式会社 相関追尾装置、相関追尾方法及び相関追尾プログラム
CN109977833A (zh) * 2019-03-19 2019-07-05 网易（杭州）网络有限公司 物体追踪方法、物体追踪装置、存储介质及电子设备
CN110532897A (zh) * 2019-08-07 2019-12-03 北京科技大学 零部件图像识别的方法和装置
CN112232420A (zh) * 2020-10-19 2021-01-15 深圳市华汉伟业科技有限公司 一种图像标注方法、目标检测方法及装置、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203342A (zh) * 2016-07-01 2016-12-07 广东技术师范学院 基于多角度局部特征匹配的目标识别方法
JP2018139086A (ja) * 2017-02-24 2018-09-06 三菱電機株式会社 相関追尾装置、相関追尾方法及び相関追尾プログラム
CN109977833A (zh) * 2019-03-19 2019-07-05 网易（杭州）网络有限公司 物体追踪方法、物体追踪装置、存储介质及电子设备
CN110532897A (zh) * 2019-08-07 2019-12-03 北京科技大学 零部件图像识别的方法和装置
CN112232420A (zh) * 2020-10-19 2021-01-15 深圳市华汉伟业科技有限公司 一种图像标注方法、目标检测方法及装置、存储介质

Also Published As

Publication number Publication date
CN113344996B (zh) 2022-08-09
CN115457092A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN107622499B (zh) 一种基于目标二维轮廓模型的识别与空间定位方法
Han et al. The use of maximum curvature points for the recognition of partially occluded objects
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
CN109002562B (zh) 一种仪器识别模型训练方法和装置及仪器识别方法和装置
CN110136156B (zh) 一种多边形区域检测方法及装置
CN113378976B (zh) 一种基于特征顶点组合的目标检测方法、可读存储介质
WO2017107865A1 (zh) 图像检索系统、服务器、数据库及相关的方法
CN110688947A (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN111192194B (zh) 一种针对幕墙建筑立面的全景图像拼接方法
CN111815573B (zh) 一种基于深度学习的接箍外壁检测方法及系统
CN113255702B (zh) 一种基于图匹配的目标检测方法及目标检测装置
JP2018106618A (ja) 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム
CN109840529B (zh) 一种基于局部敏感置信度评估的图像匹配方法
WO2017107866A1 (zh) 图像检索服务器、系统、相关检索及排错方法
JP7178803B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP6558803B2 (ja) 幾何検証装置及びプログラム
JP2001143073A (ja) 物体の位置姿勢決定の方法
CN113344996B (zh) 一种基于图匹配的顶点配准方法及装置、存储介质
CN111079208B (zh) 基于粒子群算法的cad模型之间面对应关系识别方法
CN110580497B (zh) 一种基于旋转不变性的空间场景匹配方法
US20220027670A1 (en) Image generation device, image generation method, and program
CN110826504A (zh) 一种结合细粒度分类的视觉识别方法、装置及计算机设备
CN114926536A (zh) 一种基于语义的定位与建图方法、系统及智能机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant