CN112884048A - 在输入图像中确定注册图像的方法及相关装置、设备 - Google Patents

在输入图像中确定注册图像的方法及相关装置、设备 Download PDF

Info

Publication number
CN112884048A
CN112884048A CN202110210107.9A CN202110210107A CN112884048A CN 112884048 A CN112884048 A CN 112884048A CN 202110210107 A CN202110210107 A CN 202110210107A CN 112884048 A CN112884048 A CN 112884048A
Authority
CN
China
Prior art keywords
feature point
input
registered
image
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110210107.9A
Other languages
English (en)
Inventor
王求元
王楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110210107.9A priority Critical patent/CN112884048A/zh
Publication of CN112884048A publication Critical patent/CN112884048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种在输入图像中确定注册图像的方法及相关装置、设备，在输入图像中确定注册图像的方法包括：获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像。上述方案，能够确定小尺寸的注册图像在输入图像的位置。

Description

在输入图像中确定注册图像的方法及相关装置、设备
技术领域
本申请涉及注册算法的技术领域，特别是涉及一种在输入图像中确定注册图像的方法及相关装置、设备。
背景技术
增强现实技术(Augmented Reality，缩写为AR)是一种将虚拟信息与真实世界巧妙融合的技术。虚拟现实技术(英文名称：Virtual Reality，缩写为VR)是一种囊括了计算机、电子信息、仿真技术于一体并通过计算机模拟虚拟环境来给人以环境沉浸感的技术。增强/虚拟现实是计算机视觉领域中热门的应用热点。算法通过摄像机作为输入设备，通过图像算法的处理，数字化周围环境的信息，从而获得与真实环境进行交互的体验。
现有的注册算法分为两类：深度学习和特征点法。其中，深度学习需要离线地训练，通过给定一组训练数据，来学习注册图像的表面特征，得到检测网络模型。在使用时，将图像输入到检测网络模型中，便可获得注册图像在图像上的位置。这类方法流程简洁高效，是一种端到端的设计方案。但该类方法计算量大、难以部署到边缘设备中且对小目标的检测能力有限。
目前，针对小目标的图像注册，行业内没有较好的技术方案对其进行定位处理。
发明内容
本申请提供一种在输入图像中确定注册图像的方法及相关装置、设备。
本申请第一方面提供了一种在输入图像中确定注册图像的方法，包括：获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像。
因此，先获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中确定注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中确定注册图像的准确性与鲁棒性。
其中，获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点，包括：获取注册图像中的至少一个注册特征点，以及输入图像中的至少一个输入特征点；将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。
因此，通过将获取的至少一个注册特征点和至少一个输入特征点进行匹配，以建立每个注册特征点和每个输入特征点之间的对应关系，从而基于每个点对的对应关系进行注册图像的定位。
其中，将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点，包括：计算每一个注册特征点与每一个输入特征点的差异度；将差异度小于差异度阈值的作为对应的注册特征点和输入特征点。
因此，通过将每一个注册特征点和每一个输入特征点之间的差异度，并对差异度进行判断，从而预先对每个点对之间的相似度进行筛选，以提高在输入图像中定位注册图像的速度和效率。
其中，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，尺度关系矩阵与注册特征点尺度和输入特征点尺度相关。
因此，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，以及尺度关系矩阵与注册特征点尺度和输入特征点尺度相关，使得关系矩阵能够表示注册图像与输入图像之间的转换关系，从而通过关系矩阵实现对输入图像上的注册图像的定位，包括坐标定位、角度定位以及尺度定位，从而对整个注册图像进行定位。
其中，方向关系矩阵与注册特征点方向和输入特征点方向之差相关，尺度关系矩阵与输入特征点尺度和注册特征点尺度之商相关。
因此，通过注册特征点方向和输入特征点方向之差计算方向矩阵，以得到注册图像对应的矩形与输入图像之间的旋转角度差；通过输入特征点尺度和注册特征点尺度之商计算注册图像对应的矩形在输入图像上的尺度，从而确定注册图像与输入图像之间的角度定位的角度关系和角度关系。
其中，根据最优关系矩阵在输入图像中确定注册图像，包括：若相似度小于阈值，则确定输入图像中没有注册图像；若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。
因此，通过相似度对最优关系矩阵进行进一步判断，使得最优关系矩阵确实反映注册图像的位置，以保证最优关系矩阵的可靠性和准确性。
其中，计算由关系矩阵处理的输入图像与注册图像的相似度，包括：根据误差平方和算法或归一化互相关计算相似度。
因此，根据误差平方和算法或归一化互相关计算相似度，以提高对注册图像定位的准确性和可靠性。
本申请第二方面提供了一种在输入图像中确定注册图像的装置，包括：获取模块，用于获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；处理模块，用于根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算模块，用于计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；确定模块，用于根据最优关系矩阵在输入图像中确定注册图像。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的在输入图像中确定注册图像的方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的在输入图像中确定注册图像的方法。
上述方案，本申请通过先获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中确定注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中确定注册图像的准确性与鲁棒性。
附图说明
图1是本申请在输入图像中确定注册图像的方法一实施例的流程示意图；
图2是本申请在输入图像中确定注册图像的方法另一实施例的流程示意图；
图3是本申请在输入图像中确定注册图像的装置一实施例的框架示意图；
图4是本申请电子设备一实施例的框架示意图；
图5为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，可以存在三种关系，例如，A和/或B，可以：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般前后关联对象是一种“或”的关系。此外，本文中的“多”两个或者多于两个。
请参阅图1，图1是本申请在输入图像中确定注册图像的方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点，注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度。
在一个具体的实施场景中，注册图像可以为输入图像中的图像模板，在输入图像中确定注册图像可以为找到该图像模板在输入图像上的位置。
在输入图像中确定注册图像的方法可以针对小目标的注册图像进行查找。其中，小目标的注册图像的尺寸可以为5cm*5cm等较小尺寸，在此不做限定。在其他应用场景中，本实施例的在输入图像中确定注册图像的方法也可以针对其他非小目标的注册图像进行查找，在此也不做限定。由于注册图像的尺寸较小，因此，在一个具体的实施场景中，可以先将注册图像假定为某个具体形状，例如矩形、方形或三角形等，以将在输入图像中确定注册图像的方法简化成查找该形状在输入图像中的位置。
获取到注册图像中的至少一个注册特征点，以及输入图像中与注册特征点对应的至少一个输入特征点，以基于至少一个注册特征点和与注册特征点对应至少一个输入特征点对注册图像的位置进行确定。在一个具体的应用场景中，可以获取注册图像中10个、20个以及全部的注册特征点，以及获取输入图像中与注册特征点对应的10个、20个以及与全部注册特征点对应的输入特征点，以基于上述注册特征点和输入特征点对注册图像的位置进行确定。其中，注册特征点与输入特征点的数量在此不做限定。
注册特征点和输入特征点可以是通过ORB(Oriented FAST and Rotated BRIEF)算法提取注册图像和输入图像上的ORB特征点所得到的，或通过尺度不变特征变换(Scale-invariant feature transform，SIFT)算法提取注册图像和输入图像上的SIFT特征点所得到的，以及也可以是通过SURF(Speeded Up Robust Features)算法提取出注册图像和输入图像上的SURF特征点所得到的。上述特征提取算法能够基于图像提取出图像的特征点及其坐标、方向和尺度等参数。在具体的应用场景中，特征提取算法可以是ORB算法、SIFT算法、SURF算法或其他能提取出上述全部参数的特征提取算法中的一种或多种，在此不做限定。
在一个具体的实施场景中，获取到的注册图像中的至少一个注册特征点，包括注册特征点坐标、注册特征点方向和注册特征点尺度，且获取到的输入图像中与注册特征点对应的至少一个输入特征点，包括输入特征点坐标、输入特征点方向和输入特征点尺度。
步骤S12：根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵。
在上一步骤中，通过特征提取算法提取出注册图像上的注册特征点和输入图像上的输入特征点，其中，注册特征点中包括注册特征点坐标、注册特征点方向和注册特征点尺度。输入特征点中包括输入特征点坐标、输入特征点方向和输入特征点尺度。根据注册特征点中的注册特征点坐标、注册特征点方向和注册特征点尺度以及输入特征点中的输入特征点坐标、输入特征点方向和输入特征点尺度来计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵。
在一个具体的实施场景中，在获取到至少一个注册特征点和与注册特征点对应至少一个输入特征点后，基于该注册特征点和其对应的输入特征点的相关特征进行关系矩阵的计算。在一个具体的实施场景中，当获取了10个注册特征点和10个与每一注册特征点相对应的输入特征点后，分别基于10对注册特征点和输入特征点的相关特征计算注册图像到输入图像的关系矩阵，获得10个关系矩阵。
步骤S13：计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。
当获取至少一个关系矩阵后，计算由关系矩阵处理的输入图像与注册图像的相似度，并将最大的相似度所对应的关系矩阵确定为最优关系矩阵。
在一个具体的实施场景中，当获取10个关系矩阵后，基于10个关系矩阵分别通过相似度计算得出对应的输入图像与注册图像的相似度，并将相似度最大的输入图像与注册图像所对应的一个关系矩阵作为最优关系矩阵。
在一个具体的实施场景中，相似度计算可以通过SSD误差平方和算法(Sum ofSquared Differences)或NCC归一化互相关(Normalized Cross Correlation)等方法进行计算，在此不做限定。
步骤S14：根据最优关系矩阵在输入图像中确定注册图像。
在上一步骤中获得了最优关系矩阵后，根据最优关系矩阵在输入图像中确定注册图像的位置，从而完成在输入图像中确定注册图像的目的。
通过上述方式，本实施例的在输入图像中确定注册图像的方法通过先获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中确定注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中确定注册图像的准确性与鲁棒性。
请参阅图2，图2是本申请在输入图像中确定注册图像的方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
S21：获取注册图像中的至少一个注册特征点，以及输入图像中的至少一个输入特征点，将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。
将注册图像T假定为一个有向矩形，并获取到注册图像T中的至少一个注册特征点，以及输入图像F中的至少一个输入特征点，其中，注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度。其中，注册特征点可以为注册图像中的ORB特征点、SIFT特征点、SURF特征点等，输入特征点可以为输入图像中的ORB特征点、SIFT特征点、SURF特征点等。
在一个具体的实施场景中，注册特征点和输入特征点的提取都可以采用ORB(Oriented FAST and Rotated BRIEF)算法、尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法以及SURF(Speeded Up Robust Features)算法等特征提取算法中的一种或多种进行提取，在此不做限定。
在通过特征提取算法提取出注册图像T中的至少一个注册特征点和输入图像F上的至少一个输入特征点后，将每一个注册特征点和每一个输入特征点进行匹配，以确定每一个注册特征点所对应的输入特征点。在一个具体的应用场景中，注册特征点和输入特征点的匹配方式可以通过将所有注册特征点和所有输入特征点分别进行一对一的暴力匹配描述子，以计算出每一个注册特征点与每一个输入特征点的差异度，将差异度小于差异度阈值的一对特征点作为对应的注册特征点和输入特征点。差异度阈值的具体数值可以根据实际情况进行设定，在此不做限定。
其中，在对注册特征点和输入特征点的特征描述子进行暴力匹配时，可能获得多对差异度小于差异度阈值的特征点，将每队特征点所对应的注册特征点和输入特征点作为一个点对，以进行后续计算。
在一个具体的应用场景中，对所有注册特征点和所有输入特征点进行暴力匹配描述子后，得到多对差异度小于差异度阈值的特征点的点对，将所有点对进行集合，以使后续的计算过程基于每一对差异度小于差异度阈值的点对进行。
在一个具体的应用场景中，在将注册图像T假定为有向矩形后，通过一种矩形表示形式(xm,ym,θ1,s1)对注册图像T的有向矩形进行表示。其中，(xm,ym)为注册图像T中心点的对应点的坐标，θ1为方向角，为有向矩形的水平线与矩形坐标轴上的x轴之间的方向夹角；s1为矩形的尺度，可以为矩形长度或宽度，在此不做限定。
当对注册图像T在输入图像F中的位置进行定位时，利用上述有向矩形的表示形式(xm,ym,θ,s)对注册图像T与输入图像F进行表示。获取到的注册图像T中的至少一个注册特征点，包括注册特征点坐标(PT x，PT y)、注册特征点方向PT θ以及注册特征点尺度ST以及获取到输入图像T中的至少一个输入特征点，包括输入特征点坐标(PF x，PF y)、输入特征点方向PF θ以及输入特征点尺度S。其中，注册特征点坐标(PT x，PT y)是注册特征点的坐标，注册特征点方向PT θ是注册特征点的角点方向角。输入特征点坐标(PF x，PF y)是输入特征点的坐标，输入特征点方向PF θ是输入特征点的角点方向角、注册特征点尺度ST是通过特征提取算法先建立注册图像T的图像金字塔，再由注册特征点所在的金字塔层数求出的，其中，注册图像T的长宽比等于有向矩形的长宽比，可以将注册图像T的长度或宽度设为ST。
S22：根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵。
枚举上步骤中所获得的集合中的每一个获得的注册特征点和每一个输入特征点，以将单个注册特征点和单个输入特征点作为点对进行后续计算。在一个具体的应用场景中，当上步骤中获取差异度小于差异度阈值的n个注册特征点输入特征点的点对后，根据每个点对一一对应的关系及其包含的坐标、方向以及尺度参数计算注册图像T到输入图像F的关系矩阵，获得n个关系矩阵。
本步骤的关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；而坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，具体地，坐标关系矩阵包括第一坐标关系矩阵和第二坐标关系矩阵，其中，第一坐标关系矩阵与注册特征点坐标相关，第二坐标关系矩阵与输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，尺度关系矩阵与注册特征点尺度和输入特征点尺度相关。下面将以单个关系矩阵的获取为例进行说明。
在一个具体的实施场景中，关系矩阵可以通过单应性矩阵进行表示，其中，单应性(Homography)变换是一种用来描述物体在各个不同的坐标系之间的位置映射关系，单应性变换对应的变换矩阵称为单应性矩阵。本实施例中将以关系矩阵为单应性矩阵H为例来对确定注册图像T在输入图像F中的位置的过程进行描述。可以理解的是，在其他实施例中，关系矩阵可以为其他用于描述物体在各个不同的坐标系之间的位置映射关系的变换矩阵，在此不做限定。
下面将以单个关系矩阵，也就是单应性矩阵H的获取为例进行说明。
先获取到单个注册特征点的注册特征点坐标(PT x，PT y)和注册特征点方向PT θ，以及输入特征点的输入特征点坐标(PF x，PF y)和输入特征点方向PF θ。由于，角点的方向具有不变性，则根据注册特征点方向PT θ和输入特征点方向PF θ之间的差值计算出矩形的旋转角θ，具体的计算公式如下：
θ＝PT θ-PF θ (1)
再根据第一坐标单应性矩阵Hr和第二坐标单应性矩阵Hl方向单应性矩阵HR以及尺度单应性矩阵Hs计算单应性矩阵H。
其中，第一坐标单应性矩阵Hr的计算公式如下：
Figure BDA0002951148470000111
通过将注册图像T上获得单个注册特征点假定转移到注册图像T的中心，以利用几何先验模型对其进行假设计算，从而确定注册图像T的坐标位置。
第二坐标单应性矩阵Hl的计算公式如下：
Figure BDA0002951148470000121
通过将输入图像F上获得单个输入特征点假定转移到输入图像F的中心，以利用几何先验模型对其进行假设计算，从而确定输入图像F的坐标位置。
方向单应性矩阵HR的计算公式如下：
Figure BDA0002951148470000122
根据注册特征点方向PT θ和输入特征点方向PF θ之间的差值计算出矩形的旋转角θ进而得到方向单应性矩阵HR，以确定注册图像T与输入图像F之间的旋转角度差。
尺度单应性矩阵Hs的计算公式如下：
Figure BDA0002951148470000123
利用输入特征点尺度S和注册特征点尺度ST之商计算尺度单应性矩阵Hs。
则本步骤中计算单应性矩阵H的计算公式为：
H＝HlHsHRHr (6)
具体地：
Figure BDA0002951148470000124
通过上述公式，即可根据每一个点对计算注册图像T到输入图像F的单应性矩阵H。从确定注册图像T与输入图像F的坐标位置、注册图像T与输入图像F之间的角度差，以及注册图像T在输入图像F中的尺度，从而通过上述参数对注册图像T在输入图像F中的位置进行确定。其中，单应性矩阵H可以通过单应性矩阵进行表示。
当有至少一个点对需要计算出其对应的单应性矩阵时，也通过上述(1-7)的计算公式求得其对应的单应性矩阵。
S23：根据误差平方和算法或归一化互相关计算相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。
其中，计算相似度的方式可以为对单应性矩阵H进行评分，在一个具体的应用场景中，可以通过SSD误差平方和算法(Sum of Squared Differences)，NCC归一化互相关(Normalized Cross Correlation)等方式得出，并将最大的相似度所对应的单应性矩阵H确定为最优单应性矩阵。
在一个具体的应用场景中，当获取了至少一个单应性矩阵H后，获取单个单应性矩阵H对应的单个注册特征点(x，y)在注册图像T上的像素强度值T(x，y)，以及对应的单个输入特征点(x′，y′)在输入图像F上的像素强度值F(x′，y′)。通过如下SSD误差平方和算法对应的计算公式对单应性矩阵H进行评分。
SSD(T,F)＝∑x,y(T(x,y)-F(x′,y′))2 (8)
其中，(x′，y′)是注册图像T上单个注册特征点(x，y)的在输入图像F上的对应点。SSD的值越小，说明相似度的相似度越大。
在一个具体的应用场景中，当获取了单应性矩阵H后，获取单应性矩阵H对应的单个注册特征点(x，y)在注册图像T上的平均像素强度值T，以及对应的单个输入特征点(x′，y′)在输入图像F上的平均像素强度值F。通过如下NCC归一化互相关算法对应的计算公式对单应性矩阵H进行评分。
Figure BDA0002951148470000131
其中，NCC的值域为[-1,1]。NCC函数的评分值越接近1，说明该单应性矩阵H所对应的注册图像T与输入图像F的相似度越大。
根据所采用的评分方法，将最大的相似度所对应的单应性矩阵H确定为最优单应性矩阵Hbest。
S24：若相似度小于阈值，则确定输入图像中没有注册图像，若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。
判断上一步骤中所计算出来的各单应性矩阵所对应的相似度中的最大相似度是否小于阈值，如果最大的相似度小于阈值，则确定输入图像F中没有注册图像T；如果最大的相似度大于或等于阈值则根据最大相似度所对应的最优单应性矩阵Hbest确定输入图像F中注册图像T的位置。其中，阈值用于保证最优单应性矩阵Hbest的可靠性，其可根据实际应用进行设定，在此不做限定。
通过本实施例中最终获得的单应性矩阵Hbest，也就是关系矩阵即可准确确定输入图像F中注册图像T的位置。
通过上述方式，本实施例的在输入图像中确定注册图像的方法通过先获取注册图像中的至少一个注册特征点，以及输入图像中的至少一个输入特征点,将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点，从而获得多个差异度满足阈值的点对，根据每一个点对计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵，从而增加注册图像到输入图像之间的关系矩阵，以在一定程度上保证所获取的点对所对应的关系矩阵能够定位注册图像在输入图像中的位置。本实施例获得了至少一个更新矩阵后，再根据误差平方和算法或归一化互相关计算相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。最后判定最优关系矩阵对应的最大相似度是否小于阈值，若最大相似度小于阈值，则确定输入图像中没有注册图像，若最大相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。上述方案通过相似度判定来保证最终所获得的最优关系矩阵的准确性和可靠性，从而实现针对小目标的注册图像的定位，并提高在输入图像中确定注册图像的准确性与鲁棒性。
请参阅图3，图3是本申请在输入图像中确定注册图像的装置一实施例的框架示意图。在输入图像中确定注册图像的装置30包括获取模块31、处理模块32、计算模块33和确定模块34。获取模块31，用于获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；处理模块32，用于根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算模块33，用于计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；确定模块34，用于根据最优关系矩阵在输入图像中确定注册图像。
上述方案，先获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中确定注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中确定注册图像的准确性与鲁棒性。
在一些实施例中，获取模块31获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点，包括：获取注册图像中的至少一个注册特征点，以及输入图像中的至少一个输入特征点；将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。
区别于前述实施例，通过将获取的至少一个注册特征点和至少一个输入特征点进行匹配，以建立每个注册特征点和每个输入特征点之间的对应关系，从而基于每个点对的对应关系进行注册图像的定位。
在一些实施例中，获取模块31将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点，包括：计算每一个注册特征点与每一个输入特征点的差异度；将差异度小于差异度阈值的作为对应的注册特征点和输入特征点。
区别于前述实施例，获取模块31通过将每一个注册特征点和每一个输入特征点之间的差异度，并对差异度进行判断，从而预先对每个点对之间的相似度进行筛选，以提高在输入图像中定位注册图像的速度和效率。
在一些实施例中，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，尺度关系矩阵与注册特征点尺度和输入特征点尺度相关。
区别于前述实施例，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，以及尺度关系矩阵与注册特征点尺度和输入特征点尺度相关，使得关系矩阵能够表示注册图像与输入图像之间的转换关系，从而通过关系矩阵实现对输入图像上的注册图像的定位，包括坐标定位、角度定位以及尺度定位，从而对整个注册图像进行定位。
在一些实施例中，方向关系矩阵与注册特征点方向和输入特征点方向之差相关，尺度关系矩阵与输入特征点尺度和注册特征点尺度之商相关。
区别于前述实施例，处理模块32通过注册特征点方向和输入特征点方向之差计算方向矩阵，以得到注册图像对应的矩形与输入图像之间的旋转角度差；通过输入特征点尺度和注册特征点尺度之商计算注册图像对应的矩形在输入图像上的尺度，从而确定注册图像与输入图像之间的角度定位的角度关系和角度关系。
在一些实施例中，根据最优关系矩阵在输入图像中确定注册图像，包括：若相似度小于阈值，则确定输入图像中没有注册图像；若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。
区别于前述实施例，确定模块34通过相似度对最优关系矩阵进行进一步判断，使得最优关系矩阵确实反映注册图像的位置，以保证最优关系矩阵的可靠性和准确性。
在一些实施例中，计算由关系矩阵处理的输入图像与注册图像的相似度，包括：根据误差平方和算法或归一化互相关计算相似度。
区别于前述实施例，处理模块33根据误差平方和算法或归一化互相关计算相似度，以提高对注册图像定位的准确性和可靠性。
请参阅图4，图4是本申请电子设备一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42，处理器42用于执行存储器41中存储的程序指令，以实现上述任一在输入图像中确定注册图像的方法实施例的步骤。在一个具体的实施场景中，电子设备40可以包括但不限于：微型计算机、服务器，此外，电子设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器42用于控制其自身以及存储器41以实现上述任一在输入图像中确定注册图像的方法实施例的步骤。处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。
上述方案，能够提高在输入图像中确定注册图像的效率和准确性。
请参阅图5，图5为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501，程序指令501用于实现上述任一在输入图像中确定注册图像的方法实施例的步骤。
上述方案，能够提高在输入图像中确定注册图像的效率和准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种在输入图像中确定注册图像的方法，其特征在于，包括：
获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的与所述注册特征点对应的至少一个输入特征点；所述注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，所述输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；
根据注册特征点及其对应的输入特征点，计算所述注册图像到所述输入图像的关系矩阵，获得至少一个关系矩阵；
计算由关系矩阵处理的输入图像与所述注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；
根据所述最优关系矩阵在所述输入图像中确定所述注册图像。
2.根据权利要求1所述的在输入图像中确定注册图像的方法，其特征在于，所述获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的与所述注册特征点对应的至少一个输入特征点，包括：
获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的至少一个输入特征点；
将每一个所述注册特征点与每一个所述输入特征点匹配，确定每一个所述注册特征点所对应的输入特征点。
3.根据权利要求2所述的在输入图像中确定注册图像的方法，其特征在于，所述将每一个所述注册特征点与每一个所述输入特征点匹配，确定每一个所述注册特征点所对应的输入特征点，包括：
计算每一个所述注册特征点与每一个所述输入特征点的差异度；
将所述差异度小于差异度阈值的作为对应的注册特征点和输入特征点。
4.根据权利要求1-3任一项所述的在输入图像中确定注册图像的方法，其特征在于，所述关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；所述坐标关系矩阵与所述注册特征点坐标和输入特征点坐标相关，所述方向关系矩阵与所述注册特征点方向和所述输入特征点方向相关，所述尺度关系矩阵与所述注册特征点尺度和所述输入特征点尺度相关。
5.根据权利要求4所述的在输入图像中确定注册图像的方法，其特征在于，所述方向关系矩阵与所述注册特征点方向和所述输入特征点方向之差相关，所述尺度关系矩阵与所述输入特征点尺度和所述注册特征点尺度之商相关。
6.根据权利要求1-3任一项所述的在输入图像中确定注册图像的方法，其特征在于，所述根据所述最优关系矩阵在所述输入图像中确定所述注册图像，包括：
若所述相似度小于阈值，则确定所述输入图像中没有所述注册图像；
若所述相似度大于等于阈值，则根据所述最优关系矩阵确定所述输入图像中所述注册图像的位置。
7.根据权利要求1所述的在输入图像中确定注册图像的方法，其特征在于，所述计算由关系矩阵处理的输入图像与所述注册图像的相似度，包括：
根据误差平方和算法或归一化互相关计算所述相似度。
8.一种在输入图像中确定注册图像的装置，其特征在于，包括：
获取模块，用于获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的与所述注册特征点对应的至少一个输入特征点；所述注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，所述输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；
处理模块，用于根据注册特征点及其对应的输入特征点，计算所述注册图像到所述输入图像的关系矩阵，获得至少一个关系矩阵；
计算模块，用于计算由关系矩阵处理的输入图像与所述注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；
确定模块，用于根据所述最优关系矩阵在所述输入图像中确定所述注册图像。
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1至7任一项所述的在输入图像中确定注册图像的方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至7任一项所述的在输入图像中确定注册图像的方法。
CN202110210107.9A 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备 Pending CN112884048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210107.9A CN112884048A (zh) 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110210107.9A CN112884048A (zh) 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备

Publications (1)

Publication Number Publication Date
CN112884048A true CN112884048A (zh) 2021-06-01

Family

ID=76054425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110210107.9A Pending CN112884048A (zh) 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备

Country Status (1)

Country Link
CN (1) CN112884048A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353941A (zh) * 2013-06-13 2013-10-16 西安电子科技大学 基于视角分类的自然标志物注册方法
KR101746648B1 (ko) * 2016-02-23 2017-06-14 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
CN107666481A (zh) * 2017-09-06 2018-02-06 宇龙计算机通信科技(深圳)有限公司 一种ar目标的注册方法和设备
CN108364302A (zh) * 2018-01-31 2018-08-03 华南理工大学 一种无标记的增强现实多目标注册跟踪方法
CN110288034A (zh) * 2019-06-28 2019-09-27 广州虎牙科技有限公司 图像匹配方法、装置、电子设备及可读存储介质
CN110738273A (zh) * 2019-10-23 2020-01-31 成都极米科技股份有限公司 图像特征点的匹配方法、装置、设备及存储介质
CN112053447A (zh) * 2020-07-29 2020-12-08 清华大学 一种增强现实三维注册方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353941A (zh) * 2013-06-13 2013-10-16 西安电子科技大学 基于视角分类的自然标志物注册方法
KR101746648B1 (ko) * 2016-02-23 2017-06-14 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
CN107666481A (zh) * 2017-09-06 2018-02-06 宇龙计算机通信科技(深圳)有限公司 一种ar目标的注册方法和设备
CN108364302A (zh) * 2018-01-31 2018-08-03 华南理工大学 一种无标记的增强现实多目标注册跟踪方法
CN110288034A (zh) * 2019-06-28 2019-09-27 广州虎牙科技有限公司 图像匹配方法、装置、电子设备及可读存储介质
CN110738273A (zh) * 2019-10-23 2020-01-31 成都极米科技股份有限公司 图像特征点的匹配方法、装置、设备及存储介质
CN112053447A (zh) * 2020-07-29 2020-12-08 清华大学 一种增强现实三维注册方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王蕾: "基于卷积神经网络的AR地球仪系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, pages 138 - 2359 *
高凡一: "基于特征点的增强现实跟踪注册算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, pages 138 - 2185 *

Similar Documents

Publication Publication Date Title
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
US9633281B2 (en) Point cloud matching method
CN111612841B (zh) 目标定位方法及装置、移动机器人及可读存储介质
US20110134221A1 (en) Object recognition system using left and right images and method
CN106682700B (zh) 基于关键点描述算子的分块快速匹配方法
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
WO2018128667A1 (en) Systems and methods for lane-marker detection
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112084849A (zh) 图像识别方法和装置
EP2235680A1 (en) Invariant visual scene and object recognition
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
CN112198878B (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN114187333A (zh) 一种图像对齐方法、图像对齐装置及终端设备
CN113407030B (zh) 视觉定位方法及相关装置、设备和存储介质
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN113240656A (zh) 视觉定位方法及相关装置、设备
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN112884048A (zh) 在输入图像中确定注册图像的方法及相关装置、设备
Ren et al. SAR image matching method based on improved SIFT for navigation system
CN112884049A (zh) 在输入图像中检测注册图像的方法及相关装置、设备
CN113570535A (zh) 视觉定位方法及相关装置、设备
CN112884047B (zh) 在输入图像中确定注册图像的方法及相关装置、设备
CN111951211B (zh) 一种目标检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination