CN110738273B - 图像特征点的匹配方法、装置、设备及存储介质 - Google Patents

图像特征点的匹配方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110738273B
CN110738273B CN201911013992.0A CN201911013992A CN110738273B CN 110738273 B CN110738273 B CN 110738273B CN 201911013992 A CN201911013992 A CN 201911013992A CN 110738273 B CN110738273 B CN 110738273B
Authority
CN
China
Prior art keywords
coordinates
original image
image
points
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911013992.0A
Other languages
English (en)
Other versions
CN110738273A (zh
Inventor
钟波
肖适
王鑫
余金清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN201911013992.0A priority Critical patent/CN110738273B/zh
Publication of CN110738273A publication Critical patent/CN110738273A/zh
Application granted granted Critical
Publication of CN110738273B publication Critical patent/CN110738273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像特征点的匹配方法，包括：通过目标图像中可相互区分的辅助点投影坐标和原图像中辅助点坐标之间的一一对应的对应关系，确定目标图像和原图像之间的单应性矩阵；根据单应性矩阵和原图像中特征点坐标，确定原图像中特征点和目标图像中特征点投影之间一一对应的匹配关系。本申请采用的原图像包括用于匹配的特征点和多个可相互区分的辅助点，获得原图像和目标图像之间的粗对应关系，并基于该粗对应关系，确定原图像和目标图像中的特征点的高精确匹配，操作简单易行，无需进行过于复杂的运算，有利于视觉技术的发展和应用。本发明中还提供了一种图像特征点的匹配装置、设备及计算机可读存储介质，具有上述有益效果。

Description

图像特征点的匹配方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像特征点的匹配方法、装置、设备及计算机可读存储介质。
背景技术
图像中特征点的匹配是指将原图像经过平移、旋转、仿射或投影后，获得新的图像中，特征点和原图像中特征点的一一对应关系。图像的特征点匹配广泛应用于视觉图像技术中，例如相机的标定、机器人姿态的确定、投影图像的梯形校正等等。
目前的图像特征点的匹配方法往往都存在匹配结果精度低，抗干扰性能差且匹配过程复杂等问题。
发明内容
本发明的目的是提供一种图像特征点的匹配方法、装置、设备以及计算机可读存储介质，提高了图像特征点的匹配精度，简化匹配过程。
为解决上述技术问题，本发明提供一种图像特征点的匹配方法，包括：
识别目标图像中的辅助点投影坐标和特征点投影坐标，并获得所述辅助点投影坐标和原图像中辅助点坐标之间的一一对应的第一对应关系；
根据所述辅助点坐标、所述辅助点投影坐标以及所述第一对应关系，获得所述目标图像和所述原图像之间的单应性矩阵；
根据所述单应性矩阵和所述原图像中特征点坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系；
其中，所述辅助点为所述原图像中预先设定的多个可相互区分的点；在所述原图像中所述辅助点的数量小于所述特征点的数量，且所述特征点投影的像素为亚像素级像素。
本申请采用的原图像中，除了具有用于匹配的特征点为还设定有多个可相互区分的辅助点，因为该辅助点之间可相互区分，那么在目标图像中的投影点也能够相互区分。由此，基于原图像的辅助点坐标和目标图像中的辅助点投影坐标，即可获得目标图像之间的单应性矩阵，而辅助点能够满足的单应性，特征点也必然满足，由此即可实现原图像和目标图像中特征点的匹配。本申请中仅仅在常规的原图像中引入便于识别的辅助点，以确定原图像和目标图像变换关系，并由此实现特征点的匹配，操作简单易行，无法进行过于复杂的运算，即可实现高精度的匹配，有利于视觉技术的发展和应用。
在本申请的另一可选的实施例中，根据所述单应性矩阵和所述原图像中特征点坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系，包括：
根据所述原图像中的特征点坐标，获得所述特征点的特征点齐次坐标；
根据所述单应性矩阵和所述特征点齐次坐标的乘积，获得理论特征点投影坐标；
根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系。
本实施例中利用原图像的特征点和单应性矩阵，确定各个特征点在目标图像上的理论特征点投影坐标，依次缩小确定各个特征点在目标图像中相匹配的特征点投影所在位置的范围，降低特征点的匹配难度。
在本申请的另一可选的实施例中，根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系，包括：
基于L2范数算法，获得和所述理论特征点投影坐标的距离最小的特征点投影对应的特征点投影坐标；
判断所述距离是否小于预设距离阈值，若是，则特征点投影坐标和所述理论特征点投影坐标对应的特征点相匹配。
距离范围是理论特征点投影坐标和特征点投影坐标接近程度的最直观的参照标准，因此，本实施例中利用特征点投影坐标和所述理论特征点投影坐标的距离确定理论特征点投影和特征点投影的对应关系，进而确定原图像和目标图像中特征点的匹配关系。
在本申请的另一可选的实施例中，所述原图像中包括至少一个二维码图案，所述辅助点为所述二维码图案的顶点；所述原图像中还包括棋盘格图、圆形阵列图案、圆环阵列图案中的一种或多种阵列图案，相应地，所述特征点为棋盘格角点、圆形阵列图案的圆心、或圆环阵列图案中圆环重心中的一种或几种点；
获取所述辅助点投影坐标和所述辅助点坐标之间的第一对应关系包括：
基于二维码识别算法识别所述目标图像中的二维码图案投影的投影内容信息；
将各个所述二维码图案投影的投影内容信息和所述原图像中的二维码图案的内容信息相匹配，获得所述目标图像中的二维码图案投影和所述原图像中的二维码图案之间的第二对应关系；
根据所述第二对应关系，确定所述第一对应关系。
本实施例中以二维码图案的顶点作为辅助点，目前二维码的识别技术较为成熟，识别精度高，这在一定程度上提高了辅助点的识别精度，进而提高基于辅助点运算单应性矩阵的精度。
另外，以阵列图像中的点为特征点，也能够在一定程度上提高特征点的识别精度，从而提高原图像和目标图像之间匹配对应的精度。
在本申请的另一可选的实施例中，所述目标图像为投影仪的投影图像；
在确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系之后，还包括：
根据所述匹配关系，确定所述投影图像的偏转角度；
根据所述偏转角度，对所述投影仪的投影图像进行梯形校正。
本实施例中以投影仪的投影图像为例进行具体说明，采用将本申请中的特征点匹配方法具体应用于投影图像的梯形校正，有利于提高梯形校正的精准度。
本申请中还提供了一种图像特征点的匹配装置，包括：
识别模块，用于识别目标图像中的辅助点投影坐标和特征点投影坐标，并获得所述辅助点投影坐标和原图像中辅助点坐标之间的一一对应的对应关系；
运算模块，用于根据所述辅助点坐标和所述辅助点投影坐标以及所述对应关系，获得所述目标图像和所述原图像之间的单应性矩阵；
定位模块，用于根据所述单应性矩阵、所述原图像中特征点坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系；
其中，所述辅助点为所述原图像中预先设定的多个可相互区分的点；在所述原图像中所述辅助点的数量小于所述特征点的数量，且所述特征点投影的像素为亚像素级像素。
在本申请的另一可选的实施例中，所述定位模块具体用于，根据所述原图像中的特征点坐标，获得所述特征点的特征点齐次坐标；根据所述单应性矩阵和所述特征点齐次坐标的乘积，获得理论特征点投影坐标；根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系。
在本申请的另一可选的实施例中，所述原图像中包括至少一个二维码图案，所述辅助点为所述二维码图案的顶点；所述原图像中还包括棋盘格图、圆形阵列图案、圆环阵列图案中的一种或多种阵列图案，相应地，所述特征点为棋盘格角点、圆形阵列图案的圆心、或圆环阵列图案中圆环重心中的一种或几种点；
所述识别模块具体用于，基于二维码识别算法识别所述目标图像中的二维码图案投影的投影内容信息；将各个所述二维码图案投影的投影内容信息和所述原图像中的二维码图案的内容信息相匹配，获得所述目标图像中的二维码图案和所述原图像中的二维码图案之间的第二对应关系；根据所述第二对应关系，确定所述第一对应关系。
本申请中还提供了一种图像特征点的匹配设备，包括：
存储器，用于存储指令；
处理器，用于执行所述存储器中的指令，以实现如上任一项所述的图像特征点的匹配方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的图像特征点的匹配方法的步骤。
本发明所提供的一种图像特征点的匹配方法，仅仅在常规的原图像中引入便于识别的辅助点，即可实现特征点的匹配，操作简单易行，实现高精度的匹配，有利于视觉技术的发展和应用。
本发明中提供的一种图像特征点的匹配装置、设备及计算机可读存储介质，具有上述有益效果。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像特征点的匹配方法的流程示意图；
图2为本发明实施例所提供的原图像的示意图；
图3为本发明实施例提供的投影仪的梯形校正的方法的流程示意图；
图4为本发明实施例提供的图像特征点的匹配装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，图1为本发明实施例提供的图像特征点的匹配方法的流程示意图，该匹配方法可以包括：
步骤S11：识别目标图像中的辅助点投影坐标和特征点投影坐标，以及辅助点投影坐标和原图像中辅助点坐标之间的一一对应的对应关系。
具体地，本实施例中的目标图像具体可以是原图像经过平移、旋转、仿射或投影获得的画面。
以目标图像为投影图像为例进行说明，辅助点投影坐标是指在目标图像所在的平面直角坐标系中，原图像中的辅助点在该目标图像中的投影点的坐标；同理，特征点投影坐标为原图像中的特征点在该目标图像中的投影点的坐标。
步骤S12：根据辅助点坐标和辅助点投影坐标以及对应关系，获得目标图像和原图像之间的单应性矩阵。
步骤S13：根据单应性矩阵和原图像中特征点坐标，确定原图像中特征点和目标图像中特征点投影之间一一对应的匹配关系。
其中，辅助点为原图像中预先设定的多个可相互区分的点；在原图像中辅助点的数量小于特征点的数量，且特征点投影的像素为亚像素级像素。
需要说明的是，本申请中对原图像和目标图像进行特征点匹配的主要目的是为了确定原图像和目标图像之间的变换关系，基于该变换关系可以实现相机的标定、机器人姿态确定以及投影图像的梯形校正。而确定原图像和目标图像之间的变换关系，即是需要将原图像的特征点和目标图像中对应的特征点进行一一对应匹配。
对于相机标定、机器人姿态确定以及投影图像的梯形校正中，是对预先设计好的原图像进行拍摄或投影，获得目标图像后，基于原图像和目标图像之间的位置关系，实现相机标定、机器人姿态确定或投影图像的梯度校正。
因为原图像是可以预先设定好的，本申请中所采用的原图像中包括特征点和辅助点。要确定目标图像和原图像之间的变换关系，就需要大量的识别精度高的特征点，例如角点、圆心等等。
对于辅助点而言，需要具有一定的可区分度，例如需要4个不同的辅助点，可以分别是三角形顶点、正方形顶点、圆心以及十字交叉点，只要在识别目标图像中的辅助点投影时，可以明确确定各个辅助点在原图像中对应的辅助点即可，对于辅助点的具体形式不做限定。
基于该辅助点在原图像中的坐标和在目标图像中的投影坐标，即可确定原图像和目标图像之间的单应性关系。
因为辅助点之间需要具有可区分性，因此在原图像难以设定大量的可区分的辅助点，因此尽管可以基于该辅助点确定获得的单应性，能够在一定程度上表征原图像和目标图像之间的变换关系，但是，这种变换关系并不精确，并不能代替特征点的匹配获得的变换关系。
但是因为特征点和辅助点在原图像和目标图像之间满足的变换关系应当相同，因此特征点和特征点在目标图像中的投影之间，也应该大体上满足该单应性关系，基于这一单应性关系，即可确定特征点和特征点投影之间的一一对应关系。
例如，在原图像中的辅助点坐标分别为A(x1,y1)、B(x2,y2)、C(x3,y3)、D(x4,y4)；在目标图像中的辅助点投影坐标则分别为A'(x1',y1')、B'(x2',y2')、C'(x3',y3')、D'(x4',y4')；根据单应性计算函数，对辅助点坐标和辅助点投影坐标进行运算，即可获得辅助点坐标和辅助点投影坐标之间满足的单应性矩阵，也即是原图像和目标图像满足的单应性矩阵。
本申请中通过在原图像中增加具有可区分性的辅助点，获得原图像和目标图像之间的单应性，并结合辅助点和特征点均满足相同的单应性的原理，实现原图像和目标图像之间特征点的匹配。在满足高精度匹配的基础上，简化匹配过程，有利于视觉技术的发展和应用。
基于上述实施例，在本发明的另一具体实施例中，对于上述实施例步骤S13中，根据单应性确定原图像中特征点和目标图像中特征点投影之间一一对应的匹配关系，具体可以包括：
根据所述原图像中的特征点坐标，获得所述特征点的特征点齐次坐标；
根据所述单应性矩阵和所述特征点齐次坐标的乘积，获得理论特征点投影坐标；
根据理论特征点投影坐标和特征点投影坐标，确定匹配关系。
若原图像中的特征点坐标为M(x,y)，则对应的特征点齐次坐标M(x,y,1)。
具体地，原图像是可以预先设定的，以原图像所在的平面建立平面坐标系。那么原图像中的特征点坐标可测量，又因为原图像和目标图像之间的单应性矩阵已知，由此可以获得理论上原图像中的特征点在目标图像中投影的坐标点，也即是理论特征点投影坐标。
而对于目标图像而言，各个特征点投影坐标在目标图像上的坐标也是可测的，因此在理论上而言，同一个特征点对应的理论特征点投影坐标和特征点投影坐标应当相同，也即使说在原图像上各个特征点和理论特征点投影坐标之间的对应关系是确定的，而各个理论特征点投影坐标和特征点投影坐标之间的对应关系可以根据坐标确定，因此各个特征点和各个特征点投影坐标之间的对应关系即可确定，也即是完成原图像和目标图像中的特征点的匹配。
但是，对于原图像和目标图像之间的单应性矩阵是通过少数几个辅助点获得的，该单应性矩阵仅仅是原图像和目标图像之间的粗对应关系，因此，基于该单应性矩阵和原图像中特征点坐标获得的理论特征点投影坐标一般不是完全一致的，为此，在本发明的另一具体实施例中，根据理论特征点投影坐标和特征点投影坐标，确定匹配关系，具体可以包括：
基于L2范数算法，获得和理论特征点投影坐标的距离最小的特征点投影对应的特征点投影坐标；
判断距离是否小于预设距离阈值，若是，则特征点投影坐标对应的特征点和理论特征点投影坐标对应的原图像中的特征点相匹配。
尽管单应性矩阵只是反应原图像和目标图像之间的粗对应关系，但是同一特征点的特征点投影坐标和理论特征点投影坐标之间应当是很接近的。因此，可以以此为基准，认为坐标最接近的特征点投影坐标和理论特征点投影坐标在很大程度上是对应于同一特征点，并通过距离阈值验证这一结果，若是最接近的特征点投影坐标和理论特征点投影坐标之间的距离大于预设距离阈值，则说明该单应性矩阵的精度不够，可以进一步地提高辅助点的精度，以提高单应性矩阵的精度，使得对应于同一特征点的特征点投影坐标和理论特征点投影坐标更为接近。
具体地，对于原图像中的特征点坐标为M(x,y)，在目标图像中特征点投影坐标为M'(x',y')；根据特征点坐标M(x,y)对应的特征点齐次坐标M(x,y,1)和单应性矩阵H，即可以获得理论投影坐标M"(x",y",z")＝H·M(x,y,1),具体计算过程如下：
因为理论投影坐标M"(x",y",z")为三维坐标而目标图像中特征点投影坐标为M'(x',y')，因此，需要将M"(x",y",z")转化为
理论上应当和M'(x',y')相等，但是单应性矩阵H的精度并不高，因此M'(x',y')和/>之间存在偏差，可以通过/>的大小确定两个坐标是否对应于同一特征点。
另外，需要说明的是，正常情况下按照本实施例中的匹配方式，即可确定原图像和目标图像中特征点的一一匹配的问题。但是若单应性矩阵精度不够，或者因其他原因也可能出现匹配错位的情况，例如两个特征点坐标A和B相邻，经过运算的结构是，A的理论特征点投影坐标A"和B的实际特定点投影坐标B'更接近，在进行匹配时，则可能出现匹配错位的问题。但是在这种情况下，必然存在部分特征点无法找到相匹配的特征点投影，由此可以根据特征点是否均找到相匹配的特征点投影，或者设定未找到特征点投影的特征点所占的比例，判定匹配是否成功，一旦未找到特征点投影的特征点所占的比例过高，或者只要存在未找到特征点投影的特征点，就认为匹配失败，可以通过重新调整单应性矩阵精度，按照上述方式重新匹配。
如前所述，本申请中所采用的原图像是预先设定的具有可相互区分的少量的辅助点和难以相互区分的大量的特征点的纹理图案，因此在本发明的另一具体实施例中，提供的原图像具体可以是：
原图像中包括至少一个二维码图案，辅助点为二维码图案的顶点；原图像中还包括棋盘格图、圆形阵列图案、圆环阵列图案中的一种或多种阵列图案，相应地，特征点为棋盘格角点、圆形阵列图案的圆心、或圆环阵列图案中圆环重心中的一种或几种点。
具体地，可以参照图2，图2为本发明实施例所提供的原图像的示意图。图2中的原图像主要包括棋盘格和二维码，且棋盘格和二维码大体上呈均匀分布，避免在获得目标图像时发生局部遮挡，无法获得辅助点和特征点的问题，增强图像的抗干扰性。
需要说明的是，利用二维码图案的顶点作为辅助点，解算获得单应性矩阵，只需要四个辅助点即可，但是若要提高获得的单应性矩阵的精度，可以采用多个二维码图案，且各个二维码图案在原图像中应当尽可能的均匀分布，避免部分二维码图像在投影或变换至目标图像时，发生遮挡、污染等问题，影响单应性矩阵的运算。因此，优选地方案是采用多个二维码图像。
在图2中，各个二维码图案的四个顶点即为辅助点，而各个棋盘格的角点为特征点，因为特征点的精度相对于辅助点的精度要求高，因此，棋盘格的单格图案格相对于二维码图案内的图案格相对更小，使得特征点的分布也更加密集，有利于提高匹配精度。
当然，对于本申请中而言，特征点也并不一定是采用棋盘格图案中的点，也可以是圆形阵列图案、圆环阵列图案等等，采用呈一定规律的高精度的阵列图案，能够有效提高特征点的匹配精度。但是对于高精度的阵列图案而言，在原图像向目标图像转换过程中，若目标图像相对于原图像发生偏转时，难以根据阵列图案确定偏转方向，也就无法确定偏转角，并且如果存在局部遮挡，特征点的识别则更加困难。
对于辅助点，本实施例中采用的是二维码图案的顶点，因为二维码存在较多的变换形式，具有较强的可区分性，并且目前二维码的识别算法也较为成熟，因此，采用二维码图案的顶点作为本实施例中的辅助点，是一种较为优选的实施例。但是本申请中并不排除其他形式的辅助点，例如十字线交叉点，三角形顶点等等，只要能够满足本申请中可区分性的要求，都属于本申请的保护范围。
相应地，获得原图像中辅助点坐标和目标图像中辅助点投影坐标之间的第一对应关系的过程可以包括：
基于二维码识别算法识别目标图像中的二维码图案投影的投影内容信息；
将各个二维码图案投影的投影内容信息和原图像中的二维码图案的内容信息相匹配，获得目标图像中的二维码图案和原图像中的二维码图案之间的第二对应关系；
根据第二对应关系，确定第一对应关系。
具体地，对于图2中原图像中的四个二维码图像的内容，可以分别命名为0、1、2、3，当基于二维码算法，识别出目标图像中内容为1的二维码图案投影时，即可确定该二维码图案投影和原图像中哪一个二维码图案相对应，相应地，四个作为辅助点的顶点也相互对应，由此即可获得各个辅助点坐标和辅助点投影坐标之间的对应关系。
基于上述任意实施例，为了进一步地对本申请中的技术方案做详细说明，下面以原图像为包括二维码图案和棋盘格图案的图像，目标图像投影仪投影获得的投影图像，且完成特征点后进行投影仪的梯形校正的具体实施例进行说明。
具体地，如图3所示，图3为本发明实施例提供的投影仪的梯形校正的方法的流程示意图，该方法可以包括：
步骤S21：通过相机拍摄获得投影仪的投影画面，获得投影图像。
步骤S22：识别投影图像中的二维码图案投影的投影内容信息、辅助点投影坐标以及特征点投影坐标。
步骤S23：将二维码图案投影的投影内容信息和原图像中的二维码图案的内容信息相匹配，确定二维码图案投影和二维码图案之间的对应关系。
步骤S24：根据二维码图案投影和二维码图案之间的对应关系，确定辅助点投影坐标和原图像中辅助点坐标之间的一一对应的对应关系。
步骤S25：根据辅助点投影坐标和辅助点坐标之间的一一对应的对应关系，获得原图像和投影图像之间的单应性矩阵。
步骤S26：根据原图像中的特征点的特征点齐次坐标和单应性矩阵的乘积，获得投影图像中理论特征点投影坐标。
其中，特征点齐次坐标根据原图像中特征点坐标转化获得。
步骤S27：基于L2范数算法，获得和理论特征点投影坐标的距离最小的特征点投影对应的特征点投影坐标。
步骤S28：判断理论特征点投影坐标的距离最小的特征点投影坐标之间的距离是否小于预设距离阈值，若否，则匹配失败，若是，则进入步骤S29。
步骤S29：将特征点投影坐标与理论特征点投影坐标对应的原图像中的特征点相匹配，并确定各个特征点和特征点投影之间的匹配关系。
步骤S210：根据匹配关系，确定投影图像的偏转角度。
步骤S211：根据偏转角度，对投影仪的投影图像进行梯形校正。
本实施例中提供的投影仪的梯形校正的方法，所采用的原图像中除了用于梯形校正的特征点以外，还设定了可相互区分的辅助点，并利用各个辅助点的可相互区分性，确定原图像和投影图像之间粗略的单应性，基于该单应性矩阵实现原图像和投影图像中特征点之间的匹配关系，获得该匹配关系后，即可确定投影仪的偏转角度并实现梯形校正。操作简单易实现，无需进行复杂的算法运算，且相对于目前投影仪梯形校正的直线检测法、矩形校正法，本申请中在很大程度上提高了投影仪梯形校正的精度，有利于提高投影仪的投影效果。
下面对本发明实施例提供的图像特征点的匹配装置进行介绍，下文描述的图像特征点的匹配装置与上文描述的图像特征点的匹配装置可相互对应参照。
图4为本发明实施例提供的图像特征点的匹配装置的结构框图，参照图4的图像特征点的匹配装置可以包括：
识别模块100，用于识别目标图像中的辅助点投影坐标和特征点投影坐标，以及所述辅助点投影坐标和原图像中辅助点坐标之间的一一对应的对应关系；
运算模块200，用于根据所述辅助点坐标和所述辅助点投影坐标以及所述对应关系，获得所述目标图像和所述原图像之间的单应性矩阵；
定位模块300，用于根据所述单应性矩阵和所述原图像中特征点坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系；
其中，所述辅助点为所述原图像中预先设定的多个可相互区分的点；在所述原图像中所述辅助点的数量小于所述特征点的数量，且所述特征点投影的像素为亚像素级像素。
可选地，在本发明的另一具体实施例中，还可以进一步地包括：
定位模块300具体用于，根据所述原图像中的特征点坐标，获得所述特征点的特征点齐次坐标；根据所述单应性矩阵和所述特征点齐次坐标的乘积；根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系。
可选地，在本发明的另一具体实施例中，还可以进一步地包括：
定位模块300具体用于，基于L2范数算法，获得和所述理论特征点投影坐标的距离最小的特征点投影对应的特征点投影坐标；判断所述距离是否小于预设距离阈值，若是，则特征点投影坐标和所述理论特征点投影坐标对应的特征点相匹配。
可选地，在本发明的另一具体实施例中，还可以进一步地包括：
所述原图像中包括至少一个二维码图案，所述辅助点为所述二维码图案的顶点；所述原图像中还包括棋盘格图、圆形阵列图案、圆环阵列图案中的一种或多种阵列图案，相应地，所述特征点为棋盘格角点、圆形阵列图案的圆心、或圆环阵列图案中圆环重心中的一种或几种点；
所述识别模块具体用于，基于二维码识别算法识别所述目标图像中的二维码图案投影的投影内容信息；将各个所述二维码图案投影的投影内容信息和所述原图像中的二维码图案的内容信息相匹配，获得所述目标图像中的二维码图案和所述原图像中的二维码图案之间的第二对应关系；根据所述第二对应关系，确定所述第一对应关系。
可选地，在本发明的另一具体实施例中，还可以进一步地包括：
所述目标图像为投影仪的投影图像；
梯形校正模块，用于在所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系之后，根据所述匹配关系，确定所述投影图像的偏转角度；根据所述偏转角度，对所述投影仪的投影图像进行梯形校正。
本实施例的图像特征点的匹配装置用于实现前述的图像特征点的匹配方法，因此图像特征点的匹配装置中的具体实施方式可见前文中的图像特征点的匹配方法的实施例部分，例如，识别模块100，运算模块200，定位模块300，分别用于实现上述图像特征点的匹配方法中步骤S11，S12，S13，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述
本申请中还提供了一种图像特征点的匹配设备，包括：
存储器，用于存储指令；
处理器，用于执行所述存储器中的指令，以实现如上任一项所述的图像特征点的匹配方法的步骤。
上述各个实施例中所公开的实施例描述的方法或算法的步骤可以直接用本实施例中的硬件、处理器执行的软件程序，或者二者的结合来实施。软件程序可以置于本实施例的存储器中，例如存储器可以是随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的图像特征点的匹配方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种图像特征点的匹配方法，其特征在于，包括：
识别目标图像中的辅助点投影坐标和特征点投影坐标，并获取所述辅助点投影坐标和原图像中辅助点坐标之间的一一对应的第一对应关系；
根据所述辅助点坐标、所述辅助点投影坐标以及所述第一对应关系，获得所述目标图像和所述原图像之间的单应性矩阵；
根据所述单应性矩阵和所述原图像中特征点坐标，获得理论特征点投影坐标，根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系；
其中，所述辅助点坐标为所述原图像中预先设定的多个可相互区分的点的坐标，且所述目标图像中特征点投影的像素为亚像素级像素；
所述原图像中包括至少一个二维码图案，所述辅助点为所述二维码图案的顶点；所述原图像中还包括棋盘格图、圆形阵列图案、圆环阵列图案中的一种或多种阵列图案，相应地，所述特征点为棋盘格角点、圆形阵列图案的圆心、或圆环阵列图案中圆环重心中的一种或几种点；
获取所述辅助点投影坐标和所述辅助点坐标之间的第一对应关系包括：
基于二维码识别算法识别所述目标图像中的二维码图案投影的投影内容信息；
将各个所述二维码图案投影的投影内容信息和所述原图像中的二维码图案的内容信息相匹配，获得所述目标图像中的二维码图案投影和所述原图像中的二维码图案之间的第二对应关系；
根据所述第二对应关系，确定所述第一对应关系。
2.如权利要求1所述的图像特征点的匹配方法，其特征在于，根据所述单应性矩阵和所述原图像中特征点坐标，获得理论特征点投影坐标，根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系，包括：
根据所述原图像中的特征点坐标，获得所述特征点的特征点齐次坐标；
根据所述单应性矩阵和所述特征点齐次坐标的乘积，获得所述理论特征点投影坐标；
根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系。
3.如权利要求2所述的图像特征点的匹配方法，其特征在于，根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系，包括：
基于L2范数算法，获得和所述理论特征点投影坐标的距离最小的特征点投影对应的特征点投影坐标；
判断所述距离是否小于预设距离阈值，若是，则特征点投影坐标和所述理论特征点投影坐标对应的特征点相匹配。
4.如权利要求1至3任一项所述的图像特征点的匹配方法，其特征在于，所述目标图像为投影仪的投影图像；
在确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系之后，还包括：
根据所述匹配关系，确定所述投影图像的偏转角度；
根据所述偏转角度，对所述投影仪的投影图像进行梯形校正。
5.一种图像特征点的匹配装置，其特征在于，包括：
识别模块，用于识别目标图像中的辅助点投影坐标和特征点投影坐标，并获取所述辅助点投影坐标和原图像中辅助点坐标之间的一一对应的第一对应关系；
运算模块，用于根据所述辅助点坐标和所述辅助点投影坐标以及所述第一对应关系，获得所述目标图像和所述原图像之间的单应性矩阵；
定位模块，用于根据所述单应性矩阵、所述原图像中特征点坐标，获得理论特征点投影坐标，根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述原图像中特征点和所述目标图像中特征点投影之间一一对应的匹配关系；
其中，所述辅助点为所述原图像中预先设定的多个可相互区分的点；在所述原图像中所述辅助点的数量小于所述特征点的数量，且所述特征点投影的像素为亚像素级像素；
所述原图像中包括至少一个二维码图案，所述辅助点为所述二维码图案的顶点；所述原图像中还包括棋盘格图、圆形阵列图案、圆环阵列图案中的一种或多种阵列图案，相应地，所述特征点为棋盘格角点、圆形阵列图案的圆心、或圆环阵列图案中圆环重心中的一种或几种点；
所述识别模块具体用于，基于二维码识别算法识别所述目标图像中的二维码图案投影的投影内容信息；将各个所述二维码图案投影的投影内容信息和所述原图像中的二维码图案的内容信息相匹配，获得所述目标图像中的二维码图案和所述原图像中的二维码图案之间的第二对应关系；根据所述第二对应关系，确定所述第一对应关系。
6.如权利要求5所述的图像特征点的匹配装置，其特征在于，所述定位模块具体用于，根据所述原图像中的特征点坐标，获得所述特征点的特征点齐次坐标；根据所述单应性矩阵和所述特征点齐次坐标的乘积，获得所述理论特征点投影坐标；根据所述理论特征点投影坐标和所述特征点投影坐标，确定所述匹配关系。
7.一种图像特征点的匹配设备，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述存储器中的指令，以实现如权利要求1至4任一项所述的图像特征点的匹配方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的图像特征点的匹配方法的步骤。
CN201911013992.0A 2019-10-23 2019-10-23 图像特征点的匹配方法、装置、设备及存储介质 Active CN110738273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911013992.0A CN110738273B (zh) 2019-10-23 2019-10-23 图像特征点的匹配方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911013992.0A CN110738273B (zh) 2019-10-23 2019-10-23 图像特征点的匹配方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110738273A CN110738273A (zh) 2020-01-31
CN110738273B true CN110738273B (zh) 2023-07-21

Family

ID=69271075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911013992.0A Active CN110738273B (zh) 2019-10-23 2019-10-23 图像特征点的匹配方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110738273B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310818B (zh) * 2020-02-10 2021-05-18 贝壳找房(北京)科技有限公司 特征描述子确定方法、装置及计算机可读存储介质
CN113449571A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 目标对象的匹配方法及装置、目标对象监控系统
SG10202003292XA (en) * 2020-04-09 2021-11-29 Sensetime Int Pte Ltd Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
JP7253573B2 (ja) 2020-04-09 2023-04-06 センスタイム インターナショナル ピーティーイー．リミテッド マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体
CN111741225A (zh) * 2020-08-07 2020-10-02 成都极米科技股份有限公司 人机交互设备、方法及计算机可读存储介质
CN113365040B (zh) * 2021-02-24 2023-03-14 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质和电子设备
CN112884048B (zh) * 2021-02-24 2024-08-13 浙江商汤科技开发有限公司 在输入图像中确定注册图像的方法及相关装置、设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035334A (zh) * 2018-06-27 2018-12-18 腾讯科技（深圳）有限公司 位姿的确定方法和装置、存储介质及电子装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532299B1 (en) * 2000-04-28 2003-03-11 Orametrix, Inc. System and method for mapping a surface
US8305650B2 (en) * 2010-11-16 2012-11-06 Xerox Corporation Image to target comparator software
JP6112769B2 (ja) * 2012-03-05 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法
CN104376291B (zh) * 2013-08-12 2019-07-16 腾讯科技（深圳）有限公司 数据处理的方法及装置
CN103632142A (zh) * 2013-11-29 2014-03-12 西安电子科技大学 基于局部坐标系特征描述的图像匹配方法
CN103729610B (zh) * 2013-12-24 2017-01-11 北京握奇智能科技有限公司 一种二维码聚焦显示方法及系统
US11178369B2 (en) * 2016-09-01 2021-11-16 Maxell, Ltd. Projection type video-image display apparatus and projected video-image adjusting method
CN106556341B (zh) * 2016-10-08 2019-12-03 浙江国自机器人技术有限公司 一种基于特征信息图形的货架位姿偏差检测方法和系统
CN108111828B (zh) * 2017-12-12 2019-12-17 成都极米科技股份有限公司 投影设备校正方法、装置及投影设备
CN109086847A (zh) * 2018-08-17 2018-12-25 浙江口碑网络技术有限公司 基于人脸识别的取餐处理方法及装置
CN109089093A (zh) * 2018-08-29 2018-12-25 歌尔股份有限公司 图像处理方法、装置和设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035334A (zh) * 2018-06-27 2018-12-18 腾讯科技（深圳）有限公司 位姿的确定方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN110738273A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110738273B (zh) 图像特征点的匹配方法、装置、设备及存储介质
US9524578B2 (en) Projection system, semiconductor integrated circuit, and image correction method
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
CN109784250B (zh) 自动引导小车的定位方法和装置
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN111981982B (zh) 一种基于加权sfm算法的多向合作靶标光学测量方法
CN109035170B (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
CN112050751B (zh) 一种投影仪标定方法、智能终端及存储介质
Tang et al. Camera self-calibration from tracking of moving persons
CN113920205B (zh) 一种非同轴相机的标定方法
US20160245641A1 (en) Projection transformations for depth estimation
JP2018055199A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN112001352A (zh) 基于Apriltag标签的纺织作业工作台识别定位方法及装置
CN115272459A (zh) 一种四角二维码定向平面靶标装置及其标定方法
CN117848234A (zh) 物体扫描机构、方法及相关设备
US20120038785A1 (en) Method for producing high resolution image
CN113129397A (zh) 一种基于图形几何关系的平行四边形编码标志的解码方法
CN117333686A (zh) 目标定位方法、装置、设备及介质
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
JP2006145419A (ja) 画像処理方法
Fasogbon et al. Automatic feature extraction for wide-angle and fish-eye camera calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant