CN112884047B - 在输入图像中确定注册图像的方法及相关装置、设备 - Google Patents

在输入图像中确定注册图像的方法及相关装置、设备 Download PDF

Info

Publication number
CN112884047B
CN112884047B CN202110210093.0A CN202110210093A CN112884047B CN 112884047 B CN112884047 B CN 112884047B CN 202110210093 A CN202110210093 A CN 202110210093A CN 112884047 B CN112884047 B CN 112884047B
Authority
CN
China
Prior art keywords
image
input
feature point
matrix
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110210093.0A
Other languages
English (en)
Other versions
CN112884047A (zh
Inventor
王求元
王楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110210093.0A priority Critical patent/CN112884047B/zh
Publication of CN112884047A publication Critical patent/CN112884047A/zh
Application granted granted Critical
Publication of CN112884047B publication Critical patent/CN112884047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种在输入图像中确定注册图像的方法及相关装置、设备,其中,在输入图像中确定注册图像的方法包括:先获取注册图像中的至少一个注册特征点和输入图像中的至少一个输入特征点;以每一注册特征点和每一输入特征点作为一个点对并根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵;对预设尺度进行迭代更新,来更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;最后从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵确定注册图像在输入图像中的位置。上述方案,能够确定小尺寸的注册图像在输入图像的位置。

Description

在输入图像中确定注册图像的方法及相关装置、设备
技术领域
本申请涉及注册算法的技术领域,特别是涉及一种在输入图像中确定注册图像的方法及相关装置、设备。
背景技术
增强现实技术(Augmented Reality,缩写为AR)是一种将虚拟信息与真实世界巧妙融合的技术。虚拟现实技术(英文名称:Virtual Reality,缩写为VR)是一种囊括了计算机、电子信息、仿真技术于一体并通过计算机模拟虚拟环境来给人以环境沉浸感的技术。增强/虚拟现实是计算机视觉领域中热门的应用热点。算法通过摄像机作为输入设备,通过图像算法的处理,数字化周围环境的信息,从而获得与真实环境进行交互的体验。
现有的注册算法分为两类:深度学习和特征点法。其中,深度学习需要离线地训练,通过给定一组训练数据,来学习注册图像的表面特征,得到检测网络模型。在使用时,将图像输入到检测网络模型中,便可获得注册图像在图像上的位置。这类方法流程简洁高效,是一种端到端的设计方案。但该类方法计算量大、难以部署到边缘设备中且对小目标的检测能力有限。
目前,针对小目标的图像注册,行业内没有较好的技术方案对其进行定位处理。
发明内容
本申请提供一种在输入图像中确定注册图像的方法及相关装置、设备。
本申请第一方面提供了一种在输入图像中确定注册图像的方法,包括:获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点;注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向;以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对;根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵;基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵确定注册图像在输入图像中的位置。
因此,通过获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点;注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向,以基于注册特征点和输入特征点进行注册图像在输入图像上的定位;根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵;基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;基于第一相似度对更新关系矩阵进行判定,以在一定程度上保证更新关系矩阵的准确性和可靠性。从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵确定注册图像在输入图像中的位置,对至少一个更新关系进行择优挑选,以最大程度地找准注册图像在输入图像的位置,进一步提高在输入图像中确定注册图像的方法的准确性和可靠性。
其中,注册特征点为注册图像中的角点,输入特征点为输入图像中的角点。
因此,基于注册图像中的角点和输入图像中的角点对注册图像在输入图像中的位置进行定位,以进一步提高在输入图像中确定注册图像的方法的准确性。
其中,根据每一个点对以及预设尺度计算所述注册图像到输入图像的关系矩阵,获得至少一个关系矩阵的步骤还包括:针对注册图像以矩形图像的计算方式进行关系矩阵的计算。
因此,将注册图像以矩形图像的计算方式进行关系矩阵的计算,利用几何先验的方式简化在输入图像中确定注册图像的计算量,从而提高在输入图像中定位注册图像的速度和效率。
其中,关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵;坐标关系矩阵与注册特征点坐标和输入特征点坐标相关,方向关系矩阵与注册特征点方向和输入特征点方向相关,尺度关系矩阵与迭代更新的预设尺度相关。
因此,关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵;坐标关系矩阵与注册特征点坐标和输入特征点坐标相关,方向关系矩阵与注册特征点方向和输入特征点方向相关,以及述尺度关系矩阵与迭代更新的预设尺度相关,来实现对关系矩阵的计算,使得关系矩阵能够表示注册图像与输入图像之间的转换关系,从而通过关系矩阵实现对输入图像上的注册图像的定位,包括坐标定位、角度定位以及尺度定位,从而对整个注册图像进行定位。
其中,方向关系矩阵与注册特征点方向和输入特征点方向之差相关。
因此,通过注册特征点方向和输入特征点方向之差计算方向矩阵,以得到注册图像对应的矩形与输入图像之间的旋转角度差,从而根据旋转角度差确定注册图像与输入图像之间的角度定位的角度关系。
其中,从至少一个更新关系矩阵中确定一个最优关系矩阵的步骤包括:计算由更新关系矩阵处理的输入图像与注册图像的第二相似度;将最大的第二相似度所对应的更新关系矩阵确定为最优关系矩阵。
因此,计算由更新关系矩阵处理的输入图像与注册图像的第二相似度;通过第二相似度对关系矩阵的更新进行控制收敛,使得更新关系矩阵确实反映注册图像的尺度,将最大的第二相似度所对应的更新关系矩阵确定为最优关系矩阵,以保证更新关系矩阵的可靠性和准确性。
其中,根据最优关系矩阵在输入图像中确定注册图像的步骤包括:计算由最优关系矩阵处理的输入图像与注册图像的第三相似度;若第三相似度小于阈值,则确定输入图像中没有注册图像;若第三相似度大于等于阈值,则根据最优关系矩阵确定输入图像中注册图像的位置。
因此,进一步通过第三相似度对最优关系矩阵所对应的注册图像的相似度进行判定,以进一步确定输入图像是否存在注册图像,以及输入图像中注册图像最终的位置。以提高对注册图像定位的准确性和可靠性。
本申请第二方面提供了一种在输入图像中确定注册图像的装置,包括:获取模块,用于获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点;注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向;计算模块,用于以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对;根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵;更新模块,用于基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;确定模块,用于从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵在输入图像中确定注册图像。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的在输入图像中确定注册图像的方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的在输入图像中确定注册图像的方法。
上述方案,通过先获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,再将每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,并根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵,从而增加注册图像到输入图像之间的关系矩阵,以在一定程度上保证所获取的点对所对应的关系矩阵能够定位注册图像在输入图像中的位置。本实施例获得了至少一个更新矩阵后,再基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,从而获得至少一个更新关系矩阵,对至少一个关系矩阵进行迭代优化,从而确定每个关系矩阵所对应的注册图像的尺度;最后从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵在输入图像中确定注册图像,从而最终确定注册图像的在输入图像的位置。上述方案能够实现针对小目标的注册图像的定位,并提高在输入图像中确定注册图像的准确性与鲁棒性。
附图说明
图1是本申请在输入图像中确定注册图像的方法一实施例的流程示意图;
图2是本申请在输入图像中确定注册图像的方法另一实施例的流程示意图;
图3是本申请在输入图像中确定注册图像的装置一实施例的框架示意图;
图4是本申请电子设备一实施例的框架示意图;
图5为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,可以存在三种关系,例如,A和/或B,可以:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般前后关联对象是一种“或”的关系。此外,本文中的“多”两个或者多于两个。
请参阅图1,图1是本申请在输入图像中确定注册图像的方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向。
在一个具体的实施场景中,注册图像可以为输入图像中的图像模板,在输入图像中确定注册图像可以为找到该图像模板在输入图像上的位置。
在输入图像中确定注册图像的方法可以针对小目标的注册图像进行查找。其中,小目标的注册图像的尺寸可以为5cm*5cm等较小尺寸,在此不做限定。在其他应用场景中,本实施例的在输入图像中确定注册图像的方法也可以针对其他非小目标的注册图像进行查找,在此也不做限定。由于注册图像的尺寸较小,因此,在一个具体的实施场景中,可以先将注册图像假定为某个具体形状,例如矩形、方形或三角形等,以将在输入图像中确定注册图像的方法简化成查找该形状在输入图像中的位置。
获取到注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,以基于至少一个注册特征点和至少一个输入特征点对注册图像的位置进行确定。在一个具体的应用场景中,可以获取注册图像中10个、20个以及全部的注册特征点,以及获取输入图像中至少20个、50个、80个以及全部的输入特征点,以基于上述注册特征点和输入特征点对注册图像的位置进行确定。其中,注册特征点与输入特征点的数量在此不做限定。
在一个具体的实施场景中,获取到的注册图像中的至少一个注册特征点,包括注册特征点坐标和注册特征点方向,且获取到的输入图像中的至少一个输入特征点,包括输入特征点坐标和输入特征点方向。
步骤S12:以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵。
以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵。其中,每一个点对包括注册特征点的注册特征点坐标和注册特征点方向以及输入特征点的输入特征点坐标和输入特征点方向。
在一个具体的实施场景中,在获取到至少一个注册特征点和至少一个输入特征点后,以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对。在一个具体的实施场景中,当获取到10个注册特征点和100个输入特征点后,以每一注册特征点和每一输入特征点作为一个点对,可以获得10*100个点对。
由于注册特征点的信息中不包括尺度信息,因此,在本步骤中给注册图像假定的矩形假设一个预设尺度,以根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵。本步骤的预设尺度并不一定是矩形的实际尺度,为了方便计算出关系矩阵,在本步骤中先将矩形的尺度假设成预设尺度,以进行计算。其中,预设尺度的具体值可以根据实际应用进行设定,在此不做限定。而关系矩阵中表示有注册图像与输入图像之间的对应关系,通过关系矩阵可以得出注册图像在输入图像上对应的坐标,即得出输入图像中注册图像的位置。
在一个具体的实施场景中,当获得了10*100个点对后,根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,可以获得10*100个关系矩阵。
步骤S13:基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵。
当获取至少一个关系矩阵后,基于预设规则对每个关系矩阵所对应的预设尺度进行迭代更新,以对每一个关系矩阵进行更新计算,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵。
在一个具体的实施场景中,当获取10*100个关系矩阵后,基于预设规则对每个关系矩阵所对应的预设尺度进行迭代更新,以对每一个关系矩阵进行更新计算,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得10*100个更新关系矩阵。
由于在获取关系矩阵时,所采用的预设尺度并不是注册图像所对应的矩形的实际尺度,因此,在本步骤中采用预设规则对预设尺度进行迭代更新,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,也就是迭代更新后的预设尺度收敛至一个具体的值,即为注册图像实际的尺度,从而再根据注册图像实际的尺度更新计算得到更新关系矩阵。
步骤S14:从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵确定注册图像在输入图像中的位置。
在上一步骤中获得了至少一个更新关系矩阵后,从至少一个点对所对应的至少一个更新关系矩阵中确定一个最优关系矩阵,最后根据最优关系矩阵在输入图像中确定注册图像。
通过上述方式,本实施例的在输入图像中确定注册图像的方法通过先获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,再将每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,并根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵,从而增加注册图像到输入图像之间的关系矩阵,以在一定程度上保证所获取的点对所对应的关系矩阵能够定位注册图像在输入图像中的位置。本实施例获得了至少一个更新矩阵后,再基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵,以对至少一关系矩阵进行迭代优化,从而确定每个关系矩阵所对应的注册图像的尺度;最后从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵在输入图像中确定注册图像,从而最终确定注册图像的在输入图像的位置。上述方案能够实现针对小目标的注册图像的定位,并提高在输入图像中确定注册图像的准确性与鲁棒性。
请参阅图2,图2是本申请在输入图像中确定注册图像的方法另一实施例的流程示意图。具体而言,可以包括如下步骤:
S21:获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向。
本实施例可以针对注册图像以矩形图像的计算方式进行关系矩阵的计算,具体地,将注册图像T假定为一个有向矩形,并获取到注册图像T中的至少一个注册特征点,以及输入图像F中的至少一个输入特征点,其中,注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向。其中,注册特征点可以为注册图像T中的角点,输入特征点可以为输入图像F中的角点。而图像的角点是指具有几何意义的图像特征点。例如图像的中心点、图像的四角所对应的点或者图像的边缘点,在此不做限定。
在一个具体的应用场景中,注册特征点可以为注册图像T上全部的点,输入特征点也可以为输入图像F上全部的点。在本步骤中,通过暴力枚举注册图像T上的每一个点来获取注册图像中的至少一个注册特征点,以及通过暴力枚举输入图像F上的每一个点来获取输入图像中的至少一个输入特征点。
在一个具体的应用场景中,在将注册图像T假定为有向矩形后,通过一种矩形表示形式(xm,ym1,s1)对注册图像T的有向矩形进行表示。其中,(xm,ym)为注册图像T中心点的对应点的坐标,θ1为方向角,为有向矩形的水平线与矩形坐标轴上的x轴之间的方向夹角;s1为矩形的尺度,可以为矩形长度或宽度,在此不做限定。
当对注册图像T在输入图像F中的位置进行定位时,利用上述有向矩形的表示形式(xm,ym,θ,s)对注册图像T与输入图像F进行表示。获取到的注册图像T中的至少一个注册特征点,包括注册特征点坐标(PT x,PT y)和注册特征点方向PT θ以及获取到输入图像T中的至少一个输入特征点,包括输入特征点坐标(PF x,PF y)和输入特征点方向PF θ。其中,注册特征点坐标(PT x,PT y)是注册特征点的坐标,注册特征点方向PT θ是注册特征点的角点方向角。输入特征点坐标(PF x,PF y)是输入特征点的坐标,输入特征点方向PF θ是输入特征点的角点方向角。
S22:以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵。
枚举上步骤中每一个获得的注册特征点和每一个输入特征点,以将单个注册特征点和单个输入特征点作为点对进行后续计算。在一个具体的应用场景中,当上步骤中获取了n个注册特征点和m个输入特征点后,根据n个注册特征点和m个输入特征点之间所有的一一对应的关系,获得n*m个点对,并根据n*m个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得n*m个关系矩阵。
本步骤的关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵;而坐标关系矩阵与注册特征点坐标和输入特征点坐标相关,具体地,坐标关系矩阵包括第一坐标关系矩阵和第二坐标关系矩阵,其中,第一坐标关系矩阵与注册特征点坐标相关,第二坐标关系矩阵与输入特征点坐标相关,方向关系矩阵与注册特征点方向和输入特征点方向相关,尺度关系矩阵与迭代更新的预设尺度相关。
在一个具体的实施场景中,关系矩阵可以通过单应性矩阵进行表示,其中,单应性(Homography)变换是一种用来描述物体在各个不同的坐标系之间的位置映射关系,单应性变换对应的变换矩阵称为单应性矩阵。本实施例中将以关系矩阵为单应性矩阵H为例来对确定注册图像T在输入图像F中的位置的过程进行描述。可以理解的是,在其他实施例中,关系矩阵可以为其他用于描述物体在各个不同的坐标系之间的位置映射关系的变换矩阵,在此不做限定。
下面将以单个关系矩阵,也就是单应性矩阵H的获取为例进行说明。
先获取到单个注册特征点的注册特征点坐标(PT x,PT y)和注册特征点方向PT θ,以及输入特征点的输入特征点坐标(PF x,PF y)和输入特征点方向PF θ。由于,角点的方向具有不变性,则根据注册特征点方向PT θ和输入特征点方向PF θ之间的差值计算出矩形的旋转角θ,具体的计算公式如下:
θ=PT θ-PF θ (1)
再根据第一坐标单应性矩阵Hr和第二坐标单应性矩阵Hl方向单应性矩阵HR以及尺度单应性矩阵Hs计算单应性矩阵H。
其中,通过注册特征点坐标(PT x,PT y)计算第一坐标单应性矩阵Hr的公式如下:
通过将注册图像T上获得单个注册特征点假定转移到注册图像T的中心,以利用几何先验模型对其进行假设计算,从而确定注册图像T的坐标位置。
通过输入特征点坐标(PF x,PF y)计算第二坐标单应性矩阵Hl的公式如下:
通过将输入图像F上获得单个输入特征点假定转移到输入图像F的中心,以利用几何先验模型对其进行假设计算,从而确定输入图像F的坐标位置。
通过旋转角θ计算方向单应性矩阵HR的公式如下:
根据注册特征点方向PT θ和输入特征点方向PF θ之间的差值计算出矩形的旋转角θ的得到方向单应性矩阵HR。以确定矩形与输入图像F之间的旋转角度差。
由于角点中不存在尺度信息,因此,在Hs的计算中,将矩形的尺度S假设为预设尺度,进行计算,其中,尺度单应性矩阵Hs的计算公式如下:
则本步骤中计算单应性矩阵H的计算公式为:
H=HlHsHRHr (6)
具体地:
通过上述公式,即可根据每一个点对以及预设尺度计算注册图像T对应的矩形到输入图像F的单应性矩阵H。从确定矩形与输入图像F的坐标位置、矩形与输入图像F之间的角度差,以及矩形在输入图像F中的尺度,从而通过上述参数对矩形在输入图像F中的位置进行确定。其中,单应性矩阵H可以通过单应性矩阵进行表示。
当有至少一个点对需要计算出其对应的单应性矩阵时,也通过上述(1-7)的计算公式求得其对应的单应性矩阵。
S23:基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵。
由于在上一步骤中,由于尺度S的值是假设成预设尺度,其并非是注册图像T的实际尺度,因此,需要对尺度S的实际值进行确认。
基于预设规则对尺度S进行迭代更新,以确定尺度S的实际值,也就是注册图像T的实际尺度,从而对单应性矩阵H进行更新,使其更为准确。其中,对尺度S进行迭代更新,直至更新后的尺度S所对应的单应性矩阵处理后的输入图像T与注册图像F的第一相似度计算满足计算要求,则此时,迭代更新结束,获得至少一个更新单应性矩阵。
基于预设规则对尺度S进行迭代的公式具体如下所示:
s*=argsmaxf(T,F(H(s)-1)) (8)
其中,其中,F(H(s)-1)为输入图像F经过单应性矩阵H扭曲的结果,S*为更新后的尺度S,f函数用于计算注册图像T与输入图像F之间的相似程度也就是第一相似度,具体可以为SSD(误差平方和算法)函数,或者NCC(归一化互相关)函数,当f函数用于计算注册图像T与输入图像F之间的第一相似度满足计算要求时,利用上述公式(8)对单应性矩阵H进行更新,得到更新单应性矩阵Hrect,其中,计算要求可以根据实际应用进行设定,在此不做限定。
对尺度S进行更新后,即获得更新后的单应性矩阵H1,对更新后的单应性矩阵H1进行处理,计算更新后的输入图像F与注册图像T的第一相似度计算满足计算要求,获得至少一个更新单应性矩阵Hrect的具体公式如下:
每对点对所对应的更新单应性矩阵Hrect如公式(1-9)进行计算得出,则根据更新单应性矩阵Hrect能够确定注册图像T在输入图像F中的位置。
S24:计算由更新关系矩阵处理的输入图像与注册图像的第二相似度,将最大的第二相似度所对应的更新关系矩阵确定为最优关系矩阵。
在获得了至少一个更新单应性矩阵Hrect后,再进一步对至少一个更新单应性矩阵Hrect进行计算得出各更新单应性矩阵Hrect对应的输入图像与注册图像的第二相似度,将最大的第二相似度所对应的更新单应性矩阵确定为最优单应性矩阵Hbest
其中,计算第二相似度的方式可以为对更新单应性矩阵Hrect进行评分,在一个具体的应用场景中,可以通过SSD误差平方和算法(Sum of Squared Differences),NCC归一化互相关(Normalized Cross Correlation)等方式得出。
在一个具体的应用场景中,当获取了更新单应性矩阵Hrect后,获取更新单应性矩阵Hrect对应的单个注册特征点(x,y)在注册图像T上的像素强度值T(x,y),以及对应的单个输入特征点(x′,y′)在输入图像F上的像素强度值F(x′,y′)。通过如下SSD误差平方和算法对应的计算公式对Hrect进行评分。
SSD(T,F)=∑x,y(T(x,y)-F(x′,y′))2 (10)
其中,(x′,y′)是注册图像T上单个注册特征点(x,y)的在输入图像F上的对应点。SSD的值越小,说明第二相似度的相似度越大。
在一个具体的应用场景中,当获取了更新单应性矩阵Hrect后,获取更新单应性矩阵Hrect对应的单个注册特征点(x,y)在注册图像T上的平均像素强度值以及对应的单个输入特征点(x′,y′)在输入图像F上的平均像素强度值/>通过如下NCC归一化互相关算法对应的计算公式对Hrect进行评分。
其中,NCC的值域为[-1,1]。NCC函数的评分值越接近1,说明第二相似度的相似度越大。
根据所采用的评分方法,将最大的第二相似度所对应的更新单应性矩阵确定为最优单应性矩阵Hbest
S25:计算由最优关系矩阵处理的输入图像与注册图像的第三相似度,若第三相似度小于阈值,则确定输入图像中没有注册图像,若第三相似度大于等于阈值,则根据最优关系矩阵确定输入图像中注册图像的位置。
判定由最优单应性矩阵Hbest处理的输入图像T与注册图像F的第三相似度是否小于阈值,如果第三相似度小于阈值,则说明输入图像F中没有注册图像T,若第三相似度大于等于阈值,则根据最优单应性矩阵Hbest确定输入图像F中注册图像T的位置。其中,阈值用于保证最优单应性矩阵Hbest所对应的注册图像T在输入图像F中的位置是否存在,其可根据实际应用进行设定,在此不做限定。
通过本实施例中最终获得的单应性矩阵Hbest,也就是关系矩阵即可准确确定输入图像F中注册图像T的位置。
通过上述方式,本实施例的在输入图像中确定注册图像的方法通过先获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,再将每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,并根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵,从而增加注册图像到输入图像之间的关系矩阵,以在一定程度上保证所获取的点对所对应的关系矩阵能够定位注册图像在输入图像中的位置。本实施例获得了至少一个更新矩阵后,再基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵,以对至少一关系矩阵进行迭代优化,从而确定每个关系矩阵所对应的注册图像的尺度;然后计算由更新关系矩阵处理的输入图像与注册图像的第二相似度,将最大的第二相似度所对应的更新关系矩阵确定为最优关系矩阵。最后计算由最优关系矩阵处理的输入图像与注册图像的第三相似度,若第三相似度小于阈值,则确定输入图像中没有注册图像,若第三相似度大于等于阈值,则根据最优关系矩阵确定输入图像中注册图像的位置。上述方案通过多层相似度判定来保证最终所获得的最优关系矩阵的准确性和可靠性,从而实现针对小目标的注册图像的定位,并提高在输入图像中确定注册图像的准确性与鲁棒性。
请参阅图3,图3是本申请在输入图像中确定注册图像的装置一实施例的框架示意图。在输入图像中确定注册图像的装置30包括获取模块31、计算模块32、更新模块33和确定模块34,获取模块31,用于获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点;注册特征点包括注册特征点坐标和注册特征点方向,输入特征点包括输入特征点坐标和输入特征点方向;计算模块32,用于以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对;根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵;更新模块33,用于基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;确定模块34,用于从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵确定注册图像在输入图像中的位置。
上述方案,通过先获取注册图像中的至少一个注册特征点,以及输入图像中的至少一个输入特征点,再将每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对,并根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵,从而增加注册图像到输入图像之间的关系矩阵,以在一定程度上保证所获取的点对所对应的关系矩阵能够定位注册图像在输入图像中的位置。本实施例获得了至少一个更新矩阵后,再基于预设规则对预设尺度进行迭代更新,以更新计算每一个关系矩阵,直至由对应的关系矩阵处理后的输入图像与注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵,以对至少一关系矩阵进行迭代优化,从而确定每个关系矩阵所对应的注册图像的尺度;最后从至少一个更新关系矩阵中确定一个最优关系矩阵,根据最优关系矩阵确定注册图像在输入图像中的位置。上述方案能够实现针对小目标的注册图像的定位,并提高在输入图像中确定注册图像的准确性与鲁棒性。
在一些实施例中,获取模块31所获取的注册特征点为注册图像中的角点,输入特征点为输入图像中的角点。
区别于前述实施例,基于注册图像中的角点和输入图像中的角点对注册图像在输入图像中的位置进行定位,以进一步提高在输入图像中确定注册图像的方法的准确性。
在一些实施例中,根据每一个点对以及预设尺度计算注册图像到输入图像的关系矩阵,获得至少一个关系矩阵的步骤还包括:针对注册图像以矩形图像的计算方式进行关系矩阵的计算。
区别于前述实施例,将注册图像以矩形图像的计算方式进行关系矩阵的计算,以简化在输入图像中确定注册图像的方计算方式,从而提高在输入图像中定位注册图像的速度和效率。
在一些实施例中,关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵;坐标关系矩阵与注册特征点坐标和输入特征点坐标相关,方向关系矩阵与注册特征点方向和输入特征点方向相关,尺度关系矩阵与迭代更新的预设尺度相关。
区别于前述实施例,关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵;坐标关系矩阵与注册特征点坐标和输入特征点坐标相关,方向关系矩阵与注册特征点方向和输入特征点方向相关,以及述尺度关系矩阵与迭代更新的预设尺度相关,来实现对关系矩阵的计算,使得关系矩阵能够表示注册图像与输入图像之间的转换关系,从而通过关系矩阵实现对输入图像上的注册图像的定位,包括坐标定位、角度定位以及尺度定位,从而对整个注册图像进行定位。
在一些实施例中,方向关系矩阵与注册特征点方向和输入特征点方向之差相关。
区别于前述实施例,通过注册特征点方向和输入特征点方向之差计算方向矩阵,以得到注册图像对应的矩形与输入图像之间的旋转角度差,从而根据旋转角度差确定注册图像与输入图像之间的角度定位的角度关系。
在一些实施例中,确定模块34从更新计算后的至少一个关系矩阵中确定一个最优关系矩阵,包括:计算由更新关系矩阵处理的输入图像与注册图像的第二相似度;将最大的第二相似度所对应的更新关系矩阵确定为最优关系矩阵。
区别于前述实施例,计算由更新关系矩阵处理的输入图像与注册图像的第二相似度;通过第二相似度对关系矩阵的更新进行控制收敛,使得更新关系矩阵确实反映注册图像的尺度,将最大的第二相似度所对应的更新关系矩阵确定为最优关系矩阵,以保证更新关系矩阵的可靠性和准确性。
在一些实施例中,确定模块34还根据最优关系矩阵在输入图像中确定注册图像,包括:计算由最优关系矩阵处理的输入图像与注册图像的第三相似度;若第三相似度小于阈值,则确定输入图像中没有注册图像;若第三相似度大于等于阈值,则根据最优关系矩阵确定输入图像中注册图像的位置。
区别于前述实施例,进一步通过第三相似度对最优关系矩阵所对应的注册图像的相似度进行判定,以进一步确定输入图像是否存在注册图像,以及输入图像中注册图像最终的位置。以提高对注册图像定位的准确性和可靠性。
请参阅图4,图4是本申请电子设备一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42,处理器42用于执行存储器41中存储的程序指令,以实现上述任一在输入图像中确定注册图像的方法实施例的步骤。在一个具体的实施场景中,电子设备40可以包括但不限于:微型计算机、服务器,此外,电子设备40还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器42用于控制其自身以及存储器41以实现上述任一在输入图像中确定注册图像的方法实施例的步骤。处理器42还可以称为CPU(Central Processing Unit,中央处理单元)。处理器42可能是一种集成电路芯片,具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器42可以由集成电路芯片共同实现。
上述方案,能够提高在输入图像中确定注册图像的效率和准确性。
请参阅图5,图5为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501,程序指令501用于实现上述任一在输入图像中确定注册图像的方法实施例的步骤。
上述方案,能够提高在输入图像中确定注册图像的效率和准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种在输入图像中确定注册图像的方法,其特征在于,包括:
获取所述注册图像中的至少一个注册特征点,以及所述输入图像中的至少一个输入特征点;所述注册特征点包括注册特征点坐标和注册特征点方向,所述输入特征点包括输入特征点坐标和输入特征点方向;
以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对;根据每一个点对以及预设尺度计算所述注册图像到所述输入图像的关系矩阵,获得至少一个关系矩阵;
基于预设规则对预设尺度进行迭代更新,以更新计算每一个所述关系矩阵,直至由对应的关系矩阵处理后的所述输入图像与所述注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;
从至少一个更新关系矩阵中确定一个最优关系矩阵,根据所述最优关系矩阵确定所述注册图像在所述输入图像中的位置。
2.根据权利要求1所述的在输入图像中确定注册图像的方法,其特征在于,所述注册特征点为所述注册图像中的角点,所述输入特征点为所述输入图像中的角点。
3.根据权利要求2所述的在输入图像中确定注册图像的方法,其特征在于,所述根据每一个点对以及预设尺度计算所述注册图像到所述输入图像的关系矩阵,获得至少一个关系矩阵的步骤还包括:
针对所述注册图像以矩形图像的计算方式进行所述关系矩阵的计算。
4.根据权利要求1所述的在输入图像中确定注册图像的方法,其特征在于,所述关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵;所述坐标关系矩阵与所述注册特征点坐标和输入特征点坐标相关,所述方向关系矩阵与所述注册特征点方向和所述输入特征点方向相关,所述尺度关系矩阵与迭代更新的所述预设尺度相关。
5.根据权利要求4所述的在输入图像中确定注册图像的方法,其特征在于,所述方向关系矩阵与所述注册特征点方向和所述输入特征点方向之差相关。
6.根据权利要求1所述的在输入图像中确定注册图像的方法,其特征在于,所述从至少一个更新关系矩阵中确定一个最优关系矩阵的步骤包括:
计算由更新关系矩阵处理的输入图像与所述注册图像的第二相似度;
将最大的第二相似度所对应的更新关系矩阵确定为所述最优关系矩阵。
7.根据权利要求1所述的在输入图像中确定注册图像的方法,其特征在于,所述根据所述最优关系矩阵在所述输入图像中确定所述注册图像的步骤包括:
计算由所述最优关系矩阵处理的输入图像与所述注册图像的第三相似度;
若第三相似度小于阈值,则确定所述输入图像中没有所述注册图像;
若第三相似度大于等于阈值,则根据所述最优关系矩阵确定所述输入图像中所述注册图像的位置。
8.一种在输入图像中确定注册图像的装置,其特征在于,包括:
获取模块,用于获取所述注册图像中的至少一个注册特征点,以及所述输入图像中的至少一个输入特征点;所述注册特征点包括注册特征点坐标和注册特征点方向,所述输入特征点包括输入特征点坐标和输入特征点方向;
计算模块,用于以每一注册特征点和每一输入特征点作为一个点对,获得至少一个点对;根据每一个点对以及预设尺度计算所述注册图像到所述输入图像的关系矩阵,获得至少一个关系矩阵;
更新模块,用于基于预设规则对预设尺度进行迭代更新,以更新计算每一个所述关系矩阵,直至由对应的关系矩阵处理后的所述输入图像与所述注册图像的第一相似度计算满足计算要求,获得至少一个更新关系矩阵;
确定模块,用于从至少一个更新关系矩阵中确定一个最优关系矩阵,根据所述最优关系矩阵在所述输入图像中确定所述注册图像。
9.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现如权利要求1至7任一项所述的在输入图像中确定注册图像的方法。
10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现如权利要求1至7任一项所述的在输入图像中确定注册图像的方法。
CN202110210093.0A 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备 Active CN112884047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210093.0A CN112884047B (zh) 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110210093.0A CN112884047B (zh) 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备

Publications (2)

Publication Number Publication Date
CN112884047A CN112884047A (zh) 2021-06-01
CN112884047B true CN112884047B (zh) 2024-03-01

Family

ID=76054428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110210093.0A Active CN112884047B (zh) 2021-02-24 2021-02-24 在输入图像中确定注册图像的方法及相关装置、设备

Country Status (1)

Country Link
CN (1) CN112884047B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160648A (ja) * 2009-01-07 2010-07-22 Oki Electric Ind Co Ltd 画像識別装置、画像登録装置、画像識別方法及び画像識別プログラム
CN112053447A (zh) * 2020-07-29 2020-12-08 清华大学 一种增强现实三维注册方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160648A (ja) * 2009-01-07 2010-07-22 Oki Electric Ind Co Ltd 画像識別装置、画像登録装置、画像識別方法及び画像識別プログラム
CN112053447A (zh) * 2020-07-29 2020-12-08 清华大学 一种增强现实三维注册方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于平面重建与自然特征匹配的虚实注册方法;管涛;李利军;段利亚;王乘;;光电工程(09);全文 *

Also Published As

Publication number Publication date
CN112884047A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
US10789717B2 (en) Apparatus and method of learning pose of moving object
US10659768B2 (en) System and method for virtually-augmented visual simultaneous localization and mapping
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
CN104885098B (zh) 基于移动装置的文本检测及跟踪
US8467596B2 (en) Method and apparatus for object pose estimation
JP4644248B2 (ja) 多重視野特徴記述子を用いた同時位置決め及びマッピング
CN109934065B (zh) 一种用于手势识别的方法和装置
US10558881B2 (en) Parallax minimization stitching method and apparatus using control points in overlapping region
CN111612841B (zh) 目标定位方法及装置、移动机器人及可读存储介质
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
EP3566172A1 (en) Systems and methods for lane-marker detection
WO2022267257A1 (zh) 图像配准方法、视觉定位方法、装置、设备、介质及程序
CN110686676A (zh) 机器人重定位方法、装置及机器人
WO2022188334A1 (zh) 定位初始化方法和装置、设备、存储介质、程序产品
JP2024508359A (ja) カメラキャリブレーションのためのクロススペクトル特性マッピング
JP2023502192A (ja) 視覚的ポジショニング方法および関連装置、機器並びにコンピュータ可読記憶媒体
CN113407030A (zh) 视觉定位方法及相关装置、设备和存储介质
CN112884047B (zh) 在输入图像中确定注册图像的方法及相关装置、设备
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN113012298B (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
CN110288633B (zh) 目标追踪方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant