CN108133492B - 图像匹配方法、装置和系统 - Google Patents

图像匹配方法、装置和系统 Download PDF

Info

Publication number
CN108133492B
CN108133492B CN201611094077.5A CN201611094077A CN108133492B CN 108133492 B CN108133492 B CN 108133492B CN 201611094077 A CN201611094077 A CN 201611094077A CN 108133492 B CN108133492 B CN 108133492B
Authority
CN
China
Prior art keywords
image
reference image
angle
matching
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611094077.5A
Other languages
English (en)
Other versions
CN108133492A (zh
Inventor
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201611094077.5A priority Critical patent/CN108133492B/zh
Priority to US15/750,977 priority patent/US10679364B2/en
Priority to EP17835784.4A priority patent/EP3550467B1/en
Priority to PCT/CN2017/091581 priority patent/WO2018099077A1/zh
Publication of CN108133492A publication Critical patent/CN108133492A/zh
Application granted granted Critical
Publication of CN108133492B publication Critical patent/CN108133492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像匹配方法、装置和系统，该图像匹配方法包括：扩展步骤，扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；图像匹配步骤，将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配。

Description

图像匹配方法、装置和系统
技术领域
本发明涉及图像处理领域，且更具体地，涉及图像匹配方法、装置和系统。
背景技术
在图像处理领域中，图像匹配是指预先输入一幅参考图像，然后将检测图像与参考图像进行匹配，在检测图像中检测出参考图像中的图案，并获得检测图像与参考图像坐标之间的变换所需的单应矩阵。图像匹配可以用于增强现实、目标检测、自动驾驶、导弹末端视觉精确制导等应用领域。当前，已有许多对图形平移、缩放鲁棒的现有特征检测算法可以用于图像匹配，然而传统的特征检测算法通常对大倾斜角度下拍摄的图像的畸变不具有鲁棒性，大倾斜角度下拍摄的图像会出现宽高比不成比例的变形，导致现有的特征匹配算法失效。
针对上述问题通常的解决方法是改进特征提取和特征匹配算法，已有的改进算法虽然一定程度上提高了大倾斜角度图像匹配的鲁棒性，但是牺牲了特征整体的区分度，导致特征匹配其他方面的鲁棒性下降，另外，算法的复杂度也大幅度增加，不利于实时进行图像匹配操作。
发明内容
根据本发明的一个方面，提供一种图像匹配方法，包括：扩展步骤，扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；图像匹配步骤，将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配。
根据本发明的另一方面，提供一种图像匹配装置，包括：扩展单元，被配置为扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；图像匹配单元，被配置为将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配。
根据本发明的另一方面，提供一种图像匹配系统，包括：处理器；存储器，耦合于所述处理器，且当由处理器执行时执行如下图像匹配方法，所述方法包括：扩展步骤，扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；图像匹配步骤，将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配。
本方案采用对参考图像进行扩展，提高了图像匹配成功率，并利用图像空间角度进行最优参考图选择的方法，在不增加计算复杂度的前提下，实现了大倾斜角度下图像可靠匹配。
附图说明
图1A示意性地示出传统的图像匹配的流程图。
图1B示意性地示出传统的图像匹配的实物图。
图1C示意性地示出传统的图像匹配方法在大倾斜角度下拍摄得到的图像与参考图像的图像匹配的实物图。
图2示意性地示出了根据本发明的一个实施例的图像匹配方法的流程图。
图3示意性地示出了根据本发明的一个实施例的图像匹配方法的流程图。
图4示意性地示出了根据本发明的一个实施例的图像匹配方法的流程图。
图5示意性地示出了根据本发明的一个实施例的图像匹配方法的流程图。
图6A示意性地示出了如图5所示的图像匹配方法中的图像预处理过程的流程图。
图6B示意性地示出了图像预处理过程中得到的多个扩展参考图像的示意图。
图7A示意性地示出了如图5所示的图像匹配方法中的图像匹配过程的流程图。
图7B示意性地示出了如图5所示的图像匹配方法中的图像匹配过程得到的图像匹配实物图。
图8示意性地示出了根据本发明的一个实施例的图像匹配装置的框图。
图9示意性地示出了适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
注意，接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为示出和描述的具体的外形、硬件、连接关系、步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
图1A示意性地示出传统的图像匹配的流程图。
如图1A所示的，传统的图像匹配系统分别对参考图像和检测图像进行特征提取(步骤S101和S102)，以分别得到参考图像特征和检测图像特征，然后通过匹配图像特征得到匹配的特征点集(步骤S103)，最后根据匹配的特征点击计算得到参考图像与检测图像之间的坐标变化的单应矩阵(步骤S104)。在计算机视觉中，平面的单应性被定义为从一个平面到另一个平面的投影映射，因此，可通过计算参考图像与检测图像之间的坐标变化的单应矩阵来找到从检测图像到参考图像或从参考图像到检测图像的投影映射所使用的变换矩阵。
图1B示意性地示出传统的图像匹配的实物图。
如图1B，在左侧的检测图像是以小倾斜角度拍摄的图像的情况下，传统的图像匹配方法可以在右侧的参考图像中找到大量的匹配特征点对，图像匹配能够成功。
图1C示意性地示出传统的图像匹配方法在大倾斜角度下拍摄得到的图像与参考图像的图像匹配的实物图。
如图1C所示，在左侧的检测图像是以大倾斜角度拍摄的图像的情况下，检测图像的水平方向与竖直方向由于缩放比例不一致而变形，且竖直方向有明显的压缩失真，因此，传统的特征匹配方法只能在参考图像中找到很少的匹配特征点对，导致图像匹配失败。
然而，左侧的检测图像与右侧的参考图像明显应为同一副图像，只是左侧的检测图像是以大倾斜角度拍摄的图像，导致一定程度的变形和/或失真。因此，传统的图像匹配方法在检测图像是以大倾斜角度拍摄的图像的情况下不能成功地匹配到正确的参考图像。
当然，除了以大倾斜角度拍摄的图像的情况可能导致图像的变形和/或失真以外，还考虑其他图像变形和/或失真，例如由于折叠、剪切、扭曲、破损等等原因导致图像的变形和/或失真。
因此，提出本发明的各个实施例来至少提高在检测图像是变形和/或失真的情况下的图像匹配的成功率。
图2示意性地示出了根据本发明的一个实施例的图像匹配方法200的流程图。
如图2所示的图像匹配方法200包括：扩展步骤S201，扩展原始参考图像为一个或多个扩展参考图像，其中，一个或多个扩展参考图像是将原始参考图像经过变形而获得的；图像匹配步骤S202，将检测图像与包括原始参考图像和一个或多个扩展参考图像的候选参考图像进行图像匹配。
如此，由于原检测图像可能已经是被变形和/或失真了的，因此，对要进行图像匹配的参考图像进行适当程度的变形(优选地与检测图像的变形相匹配)，能够使得原检测图像更大概率地与变形后的扩展参考图像匹配成功。
对参考图像进行变形的方法可以包括：例如折叠、剪切、压缩、放大、扭曲等等，当然这样的变形也可以具有方向性，也就是说，在不同方向上进行例如折叠、剪切、压缩、放大、扭曲等的变形，变形后的参考图像的形态也可能是不同的。
因此，如下给出一个应用较为广泛的变形的实施例，以至少提高在检测图像是变形和/或失真的情况下的图像匹配的成功率。
图3示意性地示出了根据本发明的一个实施例的图像匹配方法300的流程图。
如图3所示的图像匹配方法300包括：扩展步骤S301，将原始参考图像在一个或多个不同方向α1、α2……αM上以预定压缩系数s进行压缩而获得的、或是将原始参考图像在与一个或多个不同方向α1、α2……αM垂直的方向、即(α1+90°)、(α2+90°)……(αM+90°)上以预定压缩系数的倒数、即1/s进行放大而获得一个或多个扩展参考图像；图像匹配步骤S302，将检测图像与包括原始参考图像和一个或多个扩展参考图像的候选参考图像进行图像匹配。其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角，M是正整数，s是预定压缩系数。
在此，将扩展步骤S301限定为将原始参考图像在一个或多个不同方向上以预定压缩系数进行压缩、或者在与一个或多个不同方向垂直的方向上以预定压缩系数的倒数进行放大。这主要是考虑到在检测图像的以大倾斜角度拍摄的图像的情况下，检测图像的变形和失真主要可看做将原始参考图像在一个或多个不同方向上以预定压缩系数进行压缩、或者在与一个或多个不同方向垂直的方向上以预定压缩系数的倒数进行放大。在此，实际上，放大和压缩是可互换的，在一个方向上的压缩得到的图像与在与该方向垂直的方向上放大得到的图像在变形和失真的程度上是相当的，只是尺寸不同。而且，如果在一次扩展参考图像的过程中，在两个方向上进行了压缩/放大，则可以将该行为看做在一个方向上的压缩/放大，而在其他方向上的压缩/放大都可以映射到该方向上，使得其变形和失真的程序是相当的，只是尺寸可能不同。
由于在现实生活中，检测图像的以大倾斜角度拍摄的图像的情况相比于折叠、剪切、扭曲等的变形来说属于大概率事件，因此对参考图像一律进行在某方向上的压缩/放大已经可以应对大多数的变形事件，因此，也在一定程度上实现了较低复杂度的提高图像匹配成功概率的效果。
如此，将原始参考图像在一个或多个不同方向上以预定压缩系数进行压缩而获得的、或是将原始参考图像在与一个或多个不同方向垂直的方向上以预定压缩系数的倒数进行放大而获得一个或多个扩展参考图像之后，这些扩展参考图像的变形和/或失真可能与当前的检测图像的变形和/失真相类似，因此，提高简单地扩展参考图像就极大地提高了图像匹配成功率。
更进一步地，考虑，当前的简单地扩展参考图像为一个或多个扩展参考图像虽然能够实现(诸如大倾斜角度下的)变形检测图像的成功匹配，然而在扩展为多个参考图像的情况下需要对多个参考图像需要分别进行与检测图像的匹配，需进行多次特征提取和特征匹配的过程，可能大幅度增加了计算量而导致难以进行实时图像匹配。因此，为了提高图像匹配速度，以下介绍本发明的另一实施例，其利用上一幅图像匹配的单应矩阵，计算出图像的拍摄空间角度(即，如何变形的)，从而在后续帧的图像匹配中从多个扩展参考图像中自动选择最适合的扩展参考图像，于是只需要匹配一个扩展参考图像即可实现图像匹配，减少了计算量和计算时间，且确保整个系统能够实时进行图像匹配。
图4示意性地示出了根据本发明的一个实施例的图像匹配方法400的流程图。
如图4所示的图像匹配方法400包括：扩展步骤S401，扩展原始参考图像为一个或多个扩展参考图像，其中，一个或多个扩展参考图像是将原始参考图像经过变形而获得的；图像匹配步骤S402，将检测图像与包括原始参考图像和一个或多个扩展参考图像的候选参考图像进行图像匹配；单应矩阵计算步骤S403，基于图像匹配的结果，计算检测图像与匹配的原始或扩展参考图像之间的单应矩阵；成像方向角确定步骤S404，根据单应矩阵来确定检测图像的成像方向角；选择步骤S405，基于成像方向角，在对连续的下一帧检测图像进行图像匹配的情况下，选择候选参考图像中与成像方向角对应的一个参考图像作为用于图像匹配的参考图像。
例如，在输入的是连续视频帧的情况下，上一帧检测图像与下一帧检测图像的图像变形程度通常是相似的，因此，利用这一特点，通过对上一帧检测图像匹配成功的扩展参考图像来计算单应矩阵，再由单应矩阵计算出检测图像的拍摄空间角度(即，检测图像是如何变形的)，例如是摄像机向上倾斜90°拍摄的(例如图1C的左侧图)，则可以在下一帧图像匹配时用与摄像机向上倾斜90°对应的一个扩展参考图像(例如向上压缩一半的参考图像)来与之进行图像匹配，则匹配成功率可以提高，且减少了计算量、节省了计算时间，从而能够实现实时图像匹配。
具体地，在一个实施例中，图像匹配步骤S402可以包括：在存在对上一帧检测图像得到的成像方向角的情况下，选择候选参考图像中与成像方向角对应的一个参考图像作为用于图像匹配的参考图像；在不存在对上一帧检测图像得到的成像方向角的情况下，将原始参考图像作为用于图像匹配的参考图像；提取检测图像和用于图像匹配的参考图像的图像特征；基于图像特征，进行图像匹配。
如此，在不存在对上一帧检测图像得到的成像方向角的情况下，表示可能该检测图像并未变形和/或失真，因此也可以用原始参考图像继续进行图像匹配。
在一个实施例中，单应矩阵计算步骤S403可以包括：调整步骤，在检测图像与扩展参考图像被图像匹配的情况下，在基于图像匹配的结果、计算检测图像与匹配的扩展参考图像之间的单应矩阵之后，根据扩展参考图像的扩展过程，调整单应矩阵为检测图像与原始参考图像之间的调整后单应矩阵。这是由于扩展参考图像是对原始参考图像经过变形而得到的，因此其单应矩阵是检测图像与扩展参考图像之间的，因此要将单应矩阵修正为检测图像与原始参考图像之间的
具体地，在一个实施例中，调整步骤可以包括；
Figure BDA0001168708240000071
其中，Nreg是调整后单应矩阵，N是检测图像与匹配的扩展参考图像之间的单应矩阵，α是匹配的扩展参考图像的压缩方向与图像横坐标正轴的夹角，s是匹配的扩展参考图像在压缩方向上的压缩系数。
在此，已知了对参考图像进行扩展时的压缩方向和压缩系数，就能够相应地调整单应矩阵为检测图像与原始参考图像之间的单应矩阵。
在一个实施例中，成像方向角确定步骤S404可以包括：根据单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定摄像机的旋转向量；根据摄像机的旋转向量与成像方向角之间的关系，基于摄像机的旋转向量来确定成像方向角。
在一个实施例中，一个或多个扩展参考图像IR1、IR2……IRM是将原始参考图像IR0在M个不同方向上以预定系数s进行压缩而获得的，其中，M是正整数，其中，候选参考图像中与成像方向角的对应关系包括：倾斜角
Figure BDA0001168708240000082
小于或等于预定倾斜角的成像方向角对应于原始参考图像IR0；倾斜角
Figure BDA0001168708240000083
大于预定倾斜角、且方位角θ落入M个不同方向中的一个方向及其附近预定范围内时、成像方向角对应于M个不同方向中的一个方向所对应的扩展参考图像。
在此，由于在倾斜角
Figure BDA0001168708240000084
小于或等于预定倾斜角的情况下，可看做变形不大，因此可以仅采用原始参考图像来进行图像匹配，仅当倾斜角
Figure BDA0001168708240000085
大于预定倾斜角时，才考虑图像变形较大，需要对原始参考图像进行变形来进行图像匹配。这样，也节省了计算资源，提高了计算效率。
在一个实施例中，候选参考图像中与成像方向角的对应关系可以包括：
Figure BDA0001168708240000081
其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角。
在一个实施例中，M＝4，s＝0.5，M个不同方向与图像横坐标正轴的夹角包括0°、45°、90°、135°，且预定范围为±22.5°，预定倾斜角为30°。也就是说，在如图6B所示的4个方向上缩小原始参考图像达1/2，则已经可以满足在大倾斜角度拍摄的情况下的检测图像的大部分图像匹配需求了，则可节省扩展参考图像的个数和相应的计算量和计算时间。
在一个实施例中，根据单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定摄像机的旋转向量的步骤可以包括：将单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系转化为两个方程：
Figure BDA0001168708240000091
由于上述2个方程只有一个求解参数k，因此用最小二乘法对上述两个方程求解参数k；
在求解过程中，如果(N11N12+N21N22)和
Figure BDA0001168708240000092
接近为0时，则确定倾斜角
Figure BDA00011687082400000913
为0°，且方位角θ为0°。
在一个实施例中，根据单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定摄像机的旋转向量的步骤可以包括：
在确定参数k之后，将列向量
Figure BDA0001168708240000093
规范化幅值为1，得到摄像机的X轴的旋转向量
Figure BDA0001168708240000094
将列向量
Figure BDA0001168708240000095
规范化幅值为1，得到摄像机的Y轴的旋转向量
Figure BDA0001168708240000096
将
Figure BDA0001168708240000097
与
Figure BDA0001168708240000098
进行向量叉积，得到摄像机的Z轴的旋转向量
Figure BDA0001168708240000099
在一个实施例中，单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系可以包括：
Figure BDA00011687082400000910
其中，
Figure BDA00011687082400000911
是单应矩阵，参数k是摄像机焦距，参数
Figure BDA00011687082400000912
是摄像机外参的水平轴和垂直轴方向的旋转向量，参数
Figure BDA0001168708240000101
是摄像机外参的平移向量，
其中，摄像机的旋转向量与成像方向角之间的关系包括：
Figure BDA0001168708240000102
其中，
Figure BDA0001168708240000103
是成像方向角中的倾斜角，且θ是成像方向角中的方位角。
如此，利用上一幅图像匹配的单应矩阵，计算出图像的拍摄空间角度(例如，成像方向角中的倾斜角
Figure BDA0001168708240000104
和方位角θ)，从而在后续帧的图像匹配中从多个扩展参考图像中自动选择最适合的扩展参考图像，于是只需要匹配一个扩展参考图像即可实现图像匹配，减少了计算量和计算时间，且确保整个系统能够实时进行图像匹配。
以下将描述本发明的一个具体实施例从而更详细且完善地说明本方案的实现过程。
图5示意性地示出了根据本发明的一个实施例的图像匹配方法500的流程图。
与如图1A所示的传统的图像匹配方案不同，本方案中增加了“扩展参考图像S501”和“计算图像空间角度S506”两个功能模块。其他步骤S502-S505均与图1A中的S101到S104对应。其中“扩展参考图像”的目的是提高大角度倾斜情况下图像匹配的成功率，大角度倾斜会导致检测图像出现某个方向上的压缩畸变，通过预先将参考图像在多个方向进行诸如压缩畸变的变形，用相近方向压缩畸变的参考图像对检测图像进行匹配，能够得到更好的匹配效果；当然，扩展参考图像会增加图像匹配的次数，大幅度增加计算量导致难以达到实时计算，因此根据上一幅检测图像匹配得到的单应矩阵计算图像空间角度，用空间角度作为指导来在后续帧中自动选择最适合的参考图像，从而避免对同一帧检测图像进行多次图像匹配，从而有效降低了计算量，提高了计算速度，从而能够实现实时图像匹配。
图6A示意性地示出了如图5所示的图像匹配方法中的图像预处理过程的流程图。
如图6A所示，参考图像的预处理(即扩展)流程包括：首先输入一幅参考图像(步骤S601)，然后扩展参考图像得到参考图像组(步骤S602)，最后对参考图像组中的参考图像分别进行图像特征提取(步骤S603)。
在此，优选地，采用为将原始参考图像在M个不同方向α1、α2……αM上以预定压缩系数s进行压缩、或者在与M个不同方向垂直的方向上以预定压缩系数的倒数1/s进行放大。其中，M假设为4,s＝1/2，4个不同方向与图像横坐标正轴的夹角α1、α2……α4是0°、45°、90°、135°。
于是，得到的4个扩展参考图像如图6B所示。
图6B示意性地示出了图像预处理过程中得到的多个扩展参考图像的示意图。
具体地，对输入的原始参考图像进行变换，生成扩展的参考图像。原始参考图像记为IR0，如图6B的上侧所示，对IR0进行水平方向压缩1/2，生成水平方向压缩畸变的参考图像，记为IR1，如图6B的右侧所示；对IR0进行135度方向压缩1/2，生成135度方向压缩畸变的参考图像，记为IR2，如图6B的右下侧所示；对IR0进行竖直方向压缩1/2，生成竖直方向压缩畸变的参考图像，记为IR3，如图6B的下侧所示；对IR0进行45度方向压缩1/2，生成45度方向压缩畸变的参考图像，记为IR4，如图6B的左下侧所示。
当然，这种扩展参考图像的方向和系数仅为示例，实际上扩展参考图像的方向和系数还可以是其他数值，在此不一一举例。
如此，通过对原始参考图像进行扩展，得到如图6B所示的包含5幅参考图像的参考图像组IRk(k＝0～4)。
图7A示意性地示出了如图5所示的图像匹配方法中的图像匹配过程的流程图。
该图像匹配流程如下：首先连续输入检测图像序列(步骤S701)，然后对检测图像进行特征提取(步骤S702)，在匹配检测图像特征与参考图像特征(步骤S703)，并计算单应矩阵(步骤S704)，在步骤S705中判断是否需要继续匹配下一幅检测图像，如果是还需要继续匹配下一幅检测图像则计算图像方向角(步骤S706)，并跳转到输入下一幅检测图像，否则结束图像匹配操作。
具体地，在步骤S702中，对参考图像或者检测图像序列进行特征提取，提取的特征是图像上的一些稳定的特征点，以及特征点的描述算子。这里可以使用各种传统的特征提取算法，只要特征算法对平移、旋转、缩放具有鲁棒性即可，推荐使用SIFT算法，也可以使用SURF算法、FAST算法等等。对于参考图像组IRk(k＝0～4)，经过特征提取得到参考图像特征组FRk(k＝0～4)。对与检测图像ITn(n≥0)，经过特征提取得到检测图像特征FTn(n≥0)。
在步骤S703中，利用特征提取算法对应的特征匹配算法，计算与检测图像特征相匹配的参考图像特征，得到全部的匹配特征点对集合。特征匹配得到的匹配点对中有一些是错误匹配，可采用RANSAC算法去除错误的匹配，保留正确的匹配特征点，具体步骤如下：
步骤一，选择最佳参考图像：
对于输入的某一幅检测图像ITn，为了确保成功匹配图像，需要根据检测图像的空间角度，在参考图像组中选出相应的参考图IRk进行匹配。然而检测图像的空间角度是未知的，一个简单的做法是用检测图像与全部的参考图像分别进行匹配，选择匹配特征点数最多的参考图像，该方法虽然可以选出最适合参考图像，但是需要进行多次图像匹配，计算量太大难以达到实时计算。
考虑到输入的检测图像序列是空间角度是连续的，可以用上一幅检测图像ITn-1的空间角度来近似ITn的空间角度，并以此选择适合的参考图像。表1给出了每幅参考对对应的图像空间角度范围。
可以根据如下表格1进行参考图像的选择。
表格1
Figure BDA0001168708240000121
注意，在此优选地使用了0、135、90、45这4个方向角进行压缩畸变，压缩系数推荐值为0.5。如果采用其他M个方向角α1、α2...、αM进行压缩畸变，并且压缩系数使用s，则参考表格2进行参考图像选择。
表格2
Figure BDA0001168708240000131
当然，上述步骤一是在已经计算了上一帧的空间角度的情况下进行的，如果未计算上一帧的空间角度，则直接采用所有参考图像(包括原始参考图像和扩展参考图像)来分别进行图像匹配。
步骤二，计算匹配特征点对：
利用特征提取算法对应的特征匹配算法，对检测图像特征和参考图像特征进行计算，得到匹配特征点对集合。
步骤三，随机选择4对匹配点，计算单应矩阵
检测图像与参考图像之间成射影变换关系，参考图像中的某个坐标点(xm,ym)经射影变换，映射成为检测图像上的(xc,yc)点。坐标变换满足下式，式中的变换矩阵称为单应矩阵，单应矩阵中有8个未知参数。
Figure BDA0001168708240000132
已知一对匹配的特征点(xm,ym)、(xc,yc)，可以列出两个方程，如下所示：
Figure BDA0001168708240000141
根据4对匹配的特征点，可以列出8个方程，求解出单应矩阵的8个参数。
步骤四，根据单应矩阵，计算符合的特征点对
对匹配点对集合进行检查，计算有多少对匹配点使用该单应矩阵进行坐标变换，误差小于阈值θerr。如果随机选出的4对特征点是正确的匹配点，则计算出的单应矩阵也是正确的，从而可以找到大量符合该单应矩阵的匹配点对；反之如果随机选出的4对点中有错误的匹配点，则计算出的单应矩阵是错误的，只能找到少量符合单应矩阵的匹配点对。找到的匹配点对数大于阈值Nt，则认为已经找到正确的模型；否则返回到“步骤三”重新随机选择匹配点进行计算，另外如果重新选择匹配点的次数超过一定的限度，则认为检测图像与参考图像不匹配，结束图像匹配操作。
步骤五，去除错误的特征点对
去除不符合单应矩阵的匹配特征点对，保留并输出符合单应矩阵的匹配特征点对。
在步骤S704中，通过RANSAC选出正确的匹配点对集合之后，利用这些匹配点对，重新求解方程，计算得到单应矩阵N。当图像匹配选择的是原始参考图像IR0时，单应矩阵不需要进行调整；然而当图像匹配选择的是扩展的畸变参考图像IR1～IR4时，计算得到的单应矩阵是针对畸变参考图像的，需要进行调整，转换为对应原始参考图像的单应矩阵。
对于水平方向压缩畸变参考图像IR1，调整公式为：
Figure BDA0001168708240000151
对于135度方向压缩畸变的参考图像IR2，调整公式为：
Figure BDA0001168708240000152
对于竖直方向压缩畸变参考图像IR3，调整公式为：
Figure BDA0001168708240000153
对于45度方向压缩畸变的参考图像IR4，调整公式为：
Figure BDA0001168708240000154
上述公式是在优选地使用了0、135、90、45这4个方向角进行压缩畸变，压缩系数推荐值为0.5的情况下的。如果使用其他角度方向α压缩畸变，压缩系数为s，则单应矩阵调整公式修改为：
Figure BDA0001168708240000155
该公式可以化简为：
Figure BDA0001168708240000156
在步骤S705中判断需要检测下一帧图像时，在步骤S706中，通过单应矩阵计算出检测图像的空间角度，包括倾斜角
Figure BDA0001168708240000169
和方位角θ两个角度参数。空间角度可以用于选择合适的参考图像，便于检测下一帧图像。计算步骤如下：
步骤一，计算摄像机焦距k：
首先单应矩阵与摄像机焦距和外参之间的关系如下式所示，其中公式左边是单应矩阵，公式右边的参数k是摄像机焦距，参数
Figure BDA0001168708240000161
是摄像机外参的X、Y方向旋转向量，参数
Figure BDA0001168708240000162
是摄像机外参的平移向量。
Figure BDA0001168708240000163
考虑到列向量
Figure BDA0001168708240000164
和
Figure BDA0001168708240000165
为相互垂直的单位向量，因此
Figure BDA0001168708240000166
公式推导得到：
Figure BDA0001168708240000167
用最小二乘法通过上面的两个方程求解参数k，需要注意的是，如果(N11N12+N21N22)和
Figure BDA0001168708240000168
接近为0时，计算结果误差会比较大，影响后续的空间角度计算。然而当这种退化情况发生时，表明摄像头是正对目标进行拍摄的，可以确定倾斜角
Figure BDA00011687082400001610
接近0度，不需要继续进行下面的步骤二和三，直接输出空间角度
Figure BDA00011687082400001611
θ＝0，这可适当程度地节省计算量。
步骤二，计算摄像机外参旋转向量：
确定参数k之后，可以进一步计算出摄像机外参系数。对步骤一中的公式进行变换，得到：
Figure BDA0001168708240000171
考虑到向量
Figure BDA0001168708240000172
和
Figure BDA0001168708240000173
都是单位向量，因此可以对向量
Figure BDA0001168708240000174
和
Figure BDA0001168708240000175
进行规范化，计算得到
Figure BDA0001168708240000176
和
Figure BDA0001168708240000177
将列向量
Figure BDA0001168708240000178
规范化幅值为1，得到X轴的旋转向量
Figure BDA0001168708240000179
将列向量
Figure BDA00011687082400001710
规范化幅值为1，得到Y轴的旋转向量
Figure BDA00011687082400001711
将
Figure BDA00011687082400001712
与
Figure BDA00011687082400001713
进行向量叉积，得到Z轴的旋转向量
Figure BDA00011687082400001714
步骤三，计算图像空间角度：
计算出摄像机外参系数后，进一步计算图像空间角度：
Figure BDA00011687082400001715
然后，返回到步骤S701，利用计算的图像空间角度来通过表格1或表格2来选择要与检测图像匹配的哪个扩展参考图像，从而进一步节省计算量，且同时也能提高图像匹配成功率。
图7B示意性地示出了如图5所示的图像匹配方法中的图像匹配过程得到的图像匹配实物图。
通过本发明的实施例的图像匹配方法，如图7B所示，通过将参考图像在竖直方向进行压缩失真得到扩展参考图像，图像特征匹配在检测图像和该扩展参考图像之间找到了大量的正确匹配点对，使得失真图像也能够成功匹配，从而提高了图像匹配的成功率。
图8示意性地示出了根据本发明的一个实施例的图像匹配装置800的框图。
如图8所示的图像匹配装置800包括：扩展单元801，被配置为扩展原始参考图像为一个或多个扩展参考图像，其中，一个或多个扩展参考图像是将原始参考图像经过变形而获得的；图像匹配单元802，被配置为将检测图像与包括原始参考图像和一个或多个扩展参考图像的候选参考图像进行图像匹配。
如此，由于原检测图像可能已经是被变形和/或失真了的，因此，对要进行图像匹配的参考图像进行适当程度的变形(优选地与检测图像的变形相匹配)，能够使得原检测图像更大概率地与变形后的扩展参考图像匹配成功。
在一个实施例中，扩展单元801可被配置为将原始参考图像在一个或多个不同方向α1、α2……αM上以预定压缩系数s进行压缩而获得的、或是将原始参考图像在与一个或多个不同方向垂直的方向、即(α1+90°)、(α2+90°)……(αM+90°)方向上以预定压缩系数的倒数(1/s)进行放大而获得一个或多个扩展参考图像。其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角，M是正整数，s是预定压缩系数。
在此，将原始参考图像在一个或多个不同方向上以预定压缩系数进行压缩、或者在与一个或多个不同方向垂直的方向上以预定压缩系数的倒数进行放大。这主要是考虑到在检测图像的以大倾斜角度拍摄的图像的情况下，检测图像的变形和失真主要可看做将原始参考图像在一个或多个不同方向上以预定压缩系数进行压缩、或者在与一个或多个不同方向垂直的方向上以预定压缩系数的倒数进行放大。
由于在现实生活中，检测图像的以大倾斜角度拍摄的图像的情况相比于折叠、剪切、扭曲等的变形来说属于大概率事件，因此对参考图像一律进行在某方向上的压缩/放大已经可以应对大多数的变形事件，因此，也在一定程度上实现了较低复杂度的提高图像匹配成功概率的效果。
如此，将原始参考图像在一个或多个不同方向上以预定压缩系数进行压缩而获得的、或是将原始参考图像在与一个或多个不同方向垂直的方向上以预定压缩系数的倒数进行放大而获得一个或多个扩展参考图像之后，这些扩展参考图像的变形和/或失真可能与当前的检测图像的变形和/失真相类似，因此，提高简单地扩展参考图像就极大地提高了图像匹配成功率。
更进一步地，为了提高图像匹配速度，图像匹配装置800还可以包括：单应矩阵计算单元，基于图像匹配的结果，计算检测图像与匹配的原始或扩展参考图像之间的单应矩阵；成像方向角确定单元，根据单应矩阵来确定检测图像的成像方向角；选择单元，基于成像方向角，在对连续的下一帧检测图像进行图像匹配的情况下，选择候选参考图像中与成像方向角对应的一个参考图像作为用于图像匹配的参考图像。
例如，在输入的是连续视频帧的情况下，上一帧检测图像与下一帧检测图像的图像变形程度通常是相似的，因此，利用这一特点，通过对上一帧检测图像匹配成功的扩展参考图像来计算单应矩阵，再由单应矩阵计算出检测图像的拍摄空间角度(即，检测图像是如何变形的)，例如是摄像机向上倾斜90°拍摄的(例如图1C的左侧图)，则可以在下一帧图像匹配时用与摄像机向上倾斜90°对应的一个扩展参考图像(例如向上压缩一半的参考图像)来与之进行图像匹配，则匹配成功率可以提高，且减少了计算量、节省了计算时间，从而能够实现实时图像匹配。
具体地，在一个实施例中，图像匹配单元可以被配置为：在存在对上一帧检测图像得到的成像方向角的情况下，选择候选参考图像中与成像方向角对应的一个参考图像作为用于图像匹配的参考图像；在不存在对上一帧检测图像得到的成像方向角的情况下，将原始参考图像作为用于图像匹配的参考图像；提取检测图像和用于图像匹配的参考图像的图像特征；基于图像特征，进行图像匹配。
如此，在不存在对上一帧检测图像得到的成像方向角的情况下，表示可能该检测图像并未变形和/或失真，因此也可以用原始参考图像继续进行图像匹配。
在一个实施例中，单应矩阵计算单元可以被配置为进行：调整步骤，在检测图像与扩展参考图像被图像匹配的情况下，在基于图像匹配的结果、计算检测图像与匹配的扩展参考图像之间的单应矩阵之后，根据扩展参考图像的扩展过程，调整单应矩阵为检测图像与原始参考图像之间的调整后单应矩阵。这是由于扩展参考图像是对原始参考图像经过变形而得到的，因此其单应矩阵是检测图像与扩展参考图像之间的，因此要将单应矩阵修正为检测图像与原始参考图像之间的
具体地，在一个实施例中，单应矩阵计算单元可以被配置为进行如下公式计算；
Figure BDA0001168708240000201
其中，Nreg是调整后单应矩阵，N是检测图像与匹配的扩展参考图像之间的单应矩阵，α是匹配的扩展参考图像的压缩方向与图像横坐标正轴的夹角，s是匹配的扩展参考图像在压缩方向上的压缩系数。
在此，已知了对参考图像进行扩展时的压缩方向和压缩系数，就能够相应地调整单应矩阵为检测图像与原始参考图像之间的单应矩阵。
在一个实施例中，成像方向角确定单元可以包括：根据单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定摄像机的旋转向量；根据摄像机的旋转向量与成像方向角之间的关系，基于摄像机的旋转向量来确定成像方向角。
在一个实施例中，一个或多个扩展参考图像IR1、IR2……IRM是将原始参考图像IR0在M个不同方向上以预定系数s进行压缩而获得的，其中，M是正整数，其中，候选参考图像中与成像方向角的对应关系包括：倾斜角
Figure BDA0001168708240000202
小于或等于预定倾斜角的成像方向角对应于原始参考图像IR0；倾斜角
Figure BDA0001168708240000203
大于预定倾斜角、且方位角θ落入M个不同方向中的一个方向及其附近预定范围内时、成像方向角对应于M个不同方向中的一个方向所对应的扩展参考图像。
在此，由于在倾斜角
Figure BDA0001168708240000204
小于或等于预定倾斜角的情况下，可看做变形不大，因此可以仅采用原始参考图像来进行图像匹配，仅当倾斜角
Figure BDA0001168708240000205
大于预定倾斜角时，才考虑图像变形较大，需要对原始参考图像进行变形来进行图像匹配。这样，也节省了计算资源，提高了计算效率。
在一个实施例中，候选参考图像中与成像方向角的对应关系可以包括：
Figure BDA0001168708240000211
其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角。
在一个实施例中，M＝4，s＝0.5，M个不同方向与图像横坐标正轴的夹角包括0°、45°、90°、135°，且预定范围为±22.5°，预定倾斜角为30°。也就是说，在如图6B所示的4个方向上缩小原始参考图像达1/2，则已经可以满足在大倾斜角度拍摄的情况下的检测图像的大部分图像匹配需求了，则可节省扩展参考图像的个数和相应的计算量和计算时间。
在一个实施例中，根据单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定摄像机的旋转向量的步骤可以包括：将单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系转化为两个方程：
Figure BDA0001168708240000212
由于上述2个方程只有一个求解参数k，因此用最小二乘法对上述两个方程求解参数k；
在求解过程中，如果(N11N12+N21N22)和
Figure BDA0001168708240000213
接近为0时，则确定倾斜角
Figure BDA0001168708240000214
为0°，且方位角θ为0°。
在一个实施例中，根据单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定摄像机的旋转向量的步骤可以包括：
在确定参数k之后，将列向量
Figure BDA0001168708240000221
规范化幅值为1，得到摄像机的X轴的旋转向量
Figure BDA0001168708240000222
将列向量
Figure BDA0001168708240000223
规范化幅值为1，得到摄像机的Y轴的旋转向量
Figure BDA0001168708240000224
将
Figure BDA0001168708240000225
与
Figure BDA0001168708240000226
进行向量叉积，得到摄像机的Z轴的旋转向量
Figure BDA0001168708240000227
在一个实施例中，单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系可以包括：
Figure BDA0001168708240000228
其中，
Figure BDA0001168708240000229
是单应矩阵，参数k是摄像机焦距，参数
Figure BDA00011687082400002210
是摄像机外参的水平轴和垂直轴方向的旋转向量，参数
Figure BDA00011687082400002211
是摄像机外参的平移向量，
其中，摄像机的旋转向量与成像方向角之间的关系包括：
Figure BDA00011687082400002212
其中，
Figure BDA00011687082400002213
是成像方向角中的倾斜角，且θ是成像方向角中的方位角。
如此，进一步的，利用上一幅图像匹配的单应矩阵，计算出图像的拍摄空间角度(例如，成像方向角中的倾斜角
Figure BDA00011687082400002214
和方位角θ)，从而在后续帧的图像匹配中从多个扩展参考图像中自动选择最适合的扩展参考图像，于是只需要匹配一个扩展参考图像即可实现图像匹配，减少了计算量和计算时间，且确保整个系统能够实时进行图像匹配。
图9示意性地示出了适于用来实现本发明实施方式的示例性计算机系统/服务器900的框图。
如图9所示的计算机系统900可以包括处理器(H1)；存储器(H2)，耦合于处理器(H1)，且在其中存储计算机可执行指令，用于在由处理器执行时进行如上参考附图2-7的方法中的各种步骤。
处理器(H1)可以包括但不限于例如一个或者多个处理器或者或微处理器等。
存储器(H2)可以包括但不限于例如，随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、软碟、固态硬盘、可移动碟、CD-ROM、DVD-ROM、蓝光盘等。
除此之外，该计算机系统还可以包括数据总线(H3)、输入/输出(I/O)总线(H4)，显示器(H5)以及输入/输出设备(H6)(例如，键盘、鼠标、扬声器等)等。
处理器(H1)可以通过I/O总线(H4)经由有线或无线网络(未示出)与外部设备(H5、H6等)通信。
存储器(H2)还可以存储至少一个计算机可执行指令，用于在由处理器(H1)执行时本技术所描述的实施例中的各个功能和/或方法的步骤。
本方案通过采用扩展参考图像和利用图像空间角度选择最佳参考图像的技术手段，在不增加图像匹配计算量情况下，达到了在大倾斜角度下可靠进行图像匹配的效果，从而解决了大倾斜角度下图像匹配失败率高的技术问题。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于硬件的电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种图像匹配方法，包括：
扩展步骤，扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；
图像匹配步骤，将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配；
其中，所述扩展步骤包括：
将所述原始参考图像在一个或多个不同方向α1、α2……αM上以s为压缩系数进行压缩而获得的、或是将所述原始参考图像在(α1+90°)、(α2+90°)……(αM+90°)方向上以1/s为压缩系数进行放大而获得所述扩展参考图像，
其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角，M是正整数，s是预定压缩系数。
2.根据权利要求1所述的方法，其中，所述方法还包括：
单应矩阵计算步骤，基于所述图像匹配的结果，计算所述检测图像与匹配的原始参考图像或扩展参考图像之间的单应矩阵；
成像方向角确定步骤，根据所述单应矩阵来确定所述检测图像的成像方向角；
选择步骤，基于所述成像方向角，在对连续的下一帧检测图像进行图像匹配的情况下，选择所述候选参考图像中与所述成像方向角对应的一个参考图像作为用于图像匹配的参考图像。
3.根据权利要求1所述的方法，其中，所述图像匹配步骤包括：
在存在对上一帧检测图像得到的成像方向角的情况下，选择所述候选参考图像中与所述成像方向角对应的一个参考图像作为用于图像匹配的参考图像；
在不存在对上一帧检测图像得到的成像方向角的情况下，将所述原始参考图像作为用于图像匹配的参考图像；
提取所述检测图像和所述用于图像匹配的参考图像的图像特征；
基于所述图像特征，进行图像匹配。
4.根据权利要求2所述的方法，其中，所述单应矩阵计算步骤包括：
调整步骤，在所述检测图像与所述扩展参考图像被图像匹配的情况下，在基于所述图像匹配的结果、计算所述检测图像与匹配的扩展参考图像之间的单应矩阵之后，根据所述扩展参考图像的扩展过程，调整所述单应矩阵为所述检测图像与所述原始参考图像之间的调整后单应矩阵。
5.根据权利要求4所述的方法，其中，所述调整步骤包括；
Figure FDA0003376470640000021
其中，Nreg是调整后单应矩阵，N是所述检测图像与匹配的扩展参考图像之间的单应矩阵，α是所述匹配的扩展参考图像的压缩方向与图像横坐标正轴的夹角，s是所述匹配的扩展参考图像在所述压缩方向上的压缩系数。
6.根据权利要求2所述的方法，其中，所述成像方向角确定步骤包括：
根据所述单应矩阵与摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定所述摄像机的旋转向量；
根据所述摄像机的旋转向量与所述成像方向角之间的关系，基于所述摄像机的旋转向量来确定所述成像方向角。
7.根据权利要求6所述的方法，其中，所述单应矩阵与所述摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系包括：
Figure FDA0003376470640000022
其中，
Figure FDA0003376470640000031
是单应矩阵，参数k是摄像机焦距，参数
Figure FDA0003376470640000032
是摄像机外参的水平轴和垂直轴方向的旋转向量，参数
Figure FDA0003376470640000033
是摄像机外参的平移向量，
其中，所述摄像机的旋转向量与所述成像方向角之间的关系包括：
Figure FDA0003376470640000034
其中，
Figure FDA0003376470640000035
是成像方向角中的倾斜角，且θ是成像方向角中的方位角。
8.根据权利要求7所述的方法，其中，所述一个或多个扩展参考图像IR1、IR2……IRM是将所述原始参考图像IR0在M个不同方向上以预定系数s进行压缩而获得的，其中，M是正整数，
其中，所述候选参考图像中与所述成像方向角的对应关系包括：
倾斜角
Figure FDA0003376470640000036
小于或等于预定倾斜角的成像方向角对应于所述原始参考图像IR0；
倾斜角
Figure FDA0003376470640000037
大于所述预定倾斜角、且方位角θ落入所述M个不同方向中的一个方向及其附近预定范围内时、成像方向角对应于所述M个不同方向中的所述一个方向所对应的扩展参考图像。
9.根据权利要求8所述的方法，其中，所述候选参考图像中与所述成像方向角的对应关系包括：
Figure FDA0003376470640000038
Figure FDA0003376470640000041
其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角。
10.根据权利要求8或9所述的方法，其中，M＝4，s＝0.5，所述M个不同方向与图像横坐标正轴的夹角包括0°、45°、90°、135°，且所述预定范围为±22.5°，所述预定倾斜角为30°。
11.根据权利要求7所述的方法，其中，所述根据所述单应矩阵与所述摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定所述摄像机的旋转向量的步骤包括：
将所述单应矩阵与所述摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系转化为两个方程：
Figure FDA0003376470640000042
用最小二乘法对上述两个方程求解参数k；
在求解过程中，如果(N11N12+N21N22)和
Figure FDA0003376470640000043
接近为0时，则确定倾斜角
Figure FDA0003376470640000044
为0°，且方位角θ为0°。
12.根据权利要求8所述的方法，其中，所述根据所述单应矩阵与所述摄像机焦距和外参的水平轴和垂直轴方向的旋转向量以及摄像机外参的平移向量之间的关系，确定所述摄像机的旋转向量的步骤包括：
在确定参数k之后，将列向量
Figure FDA0003376470640000045
规范化幅值为1，得到摄像机的X轴的旋转向量
Figure FDA0003376470640000046
将列向量
Figure FDA0003376470640000047
规范化幅值为1，得到摄像机的Y轴的旋转向量
Figure FDA0003376470640000048
将
Figure FDA0003376470640000051
与
Figure FDA0003376470640000052
进行向量叉积，得到摄像机的Z轴的旋转向量
Figure FDA0003376470640000053
13.一种图像匹配装置，包括：
扩展单元，被配置为扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；
图像匹配单元，被配置为将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配；
其中，所述扩展单元进一步被配置为：
将所述原始参考图像在一个或多个不同方向α1、α2……αM上以s为压缩系数进行压缩而获得的、或是将所述原始参考图像在(α1+90°)、(α2+90°)……(αM+90°)方向上以1/s为压缩系数进行放大而获得所述扩展参考图像，
其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角，M是正整数，s是预定压缩系数。
14.一种图像匹配系统，包括：
处理器；
存储器，耦合于所述处理器，且当由处理器执行时执行如下图像匹配方法，所述方法包括：
扩展步骤，扩展原始参考图像为一个或多个扩展参考图像，其中，所述一个或多个扩展参考图像是将所述原始参考图像经过变形而获得的；
图像匹配步骤，将检测图像与包括所述原始参考图像和所述一个或多个扩展参考图像的候选参考图像进行图像匹配；
其中，所述扩展步骤包括：
将所述原始参考图像在一个或多个不同方向α1、α2……αM上以s为压缩系数进行压缩而获得的、或是将所述原始参考图像在(α1+90°)、(α2+90°)……(αM+90°)方向上以1/s为压缩系数进行放大而获得所述扩展参考图像，
其中，α1、α2……αM是M个方向中的各个方向与图像横坐标正轴的夹角，M是正整数，s是预定压缩系数。
CN201611094077.5A 2016-12-01 2016-12-01 图像匹配方法、装置和系统 Active CN108133492B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611094077.5A CN108133492B (zh) 2016-12-01 2016-12-01 图像匹配方法、装置和系统
US15/750,977 US10679364B2 (en) 2016-12-01 2017-07-04 Image matching method, image matching apparatus, image matching system, and storage medium
EP17835784.4A EP3550467B1 (en) 2016-12-01 2017-07-04 Image matching method, device and system, and storage medium
PCT/CN2017/091581 WO2018099077A1 (zh) 2016-12-01 2017-07-04 图像匹配方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611094077.5A CN108133492B (zh) 2016-12-01 2016-12-01 图像匹配方法、装置和系统

Publications (2)

Publication Number Publication Date
CN108133492A CN108133492A (zh) 2018-06-08
CN108133492B true CN108133492B (zh) 2022-04-26

Family

ID=62241156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611094077.5A Active CN108133492B (zh) 2016-12-01 2016-12-01 图像匹配方法、装置和系统

Country Status (4)

Country Link
US (1) US10679364B2 (zh)
EP (1) EP3550467B1 (zh)
CN (1) CN108133492B (zh)
WO (1) WO2018099077A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801026B (zh) * 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
CN111461113B (zh) * 2020-03-03 2023-02-14 华南理工大学 一种基于变形平面物体检测网络的大角度车牌检测方法
SG10202003292XA (en) * 2020-04-09 2021-11-29 Sensetime Int Pte Ltd Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
JP7253573B2 (ja) * 2020-04-09 2023-04-06 センスタイム インターナショナル ピーティーイー．リミテッド マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体
CN116129049B (zh) * 2023-02-02 2023-07-11 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619574A (zh) * 2003-10-07 2005-05-25 索尼株式会社 图像匹配方法、程序和图像匹配系统
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414350A (zh) 2007-12-14 2009-04-22 浙江师范大学 一种融合多参考节点整体对齐和方向场的指纹图像匹配方法
CN101276411B (zh) 2008-05-12 2010-06-02 北京理工大学 指纹识别方法
WO2010092952A1 (ja) 2009-02-10 2010-08-19 公立大学法人大阪府立大学 パターン認識装置
CN103294987A (zh) * 2012-03-05 2013-09-11 天津华威智信科技发展有限公司 指纹匹配方法与实现方式
US20150262028A1 (en) * 2012-11-07 2015-09-17 Konica Minolta, Inc. Image processing apparatus, image processing method and image processing program
US9947128B2 (en) * 2013-01-29 2018-04-17 Andrew Robert Korb Methods for improving accuracy, analyzing change detection, and performing data compression for multiple images
US9418427B2 (en) * 2013-03-15 2016-08-16 Mim Software Inc. Population-guided deformable registration
EP2808828B1 (en) * 2013-05-31 2020-08-05 Omron Corporation Image matching method, image matching device, model template generation method, model template generation device, and program
CN105760879A (zh) 2016-01-14 2016-07-13 西安电子科技大学 基于傅里叶梅林变换的图像几何匹配方法
CN105741297B (zh) 2016-02-02 2018-08-24 南京航空航天大学 一种具有仿射不变性的重复模式图像匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619574A (zh) * 2003-10-07 2005-05-25 索尼株式会社 图像匹配方法、程序和图像匹配系统
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法

Also Published As

Publication number Publication date
US20190266737A1 (en) 2019-08-29
WO2018099077A1 (zh) 2018-06-07
EP3550467B1 (en) 2022-12-28
EP3550467A1 (en) 2019-10-09
US10679364B2 (en) 2020-06-09
CN108133492A (zh) 2018-06-08
EP3550467A4 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
CN108133492B (zh) 图像匹配方法、装置和系统
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
WO2021227360A1 (zh) 一种交互式视频投影方法、装置、设备及存储介质
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
KR102110701B1 (ko) 곡면 디스플레이 스크린들에 대한 원근 보정
TWI485650B (zh) 用於多相機校準之方法及配置
US10558881B2 (en) Parallax minimization stitching method and apparatus using control points in overlapping region
US20150124059A1 (en) Multi-frame image calibrator
WO2018232837A1 (zh) 移动目标的跟踪拍摄方法和跟踪设备
CN105554486A (zh) 一种投影校正方法和装置
EP3309743B1 (en) Registration of multiple laser scans
CN110189269B (zh) 用于广角镜头3d畸变的矫正方法、装置、终端及存储介质
JP5468824B2 (ja) ３次元における形状の一致を判定する方法および装置
CN111667398A (zh) 图像处理方法、装置和计算机可读存储介质
CN111046845A (zh) 活体检测方法、装置及系统
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN107330849B (zh) 一种全景图像拼接的方法、装置、设备及存储介质
WO2021128242A1 (zh) 图片目标点纠正方法、装置设备及存储介质
JP2022519398A (ja) 画像処理方法、装置及び電子機器
CN111210506A (zh) 一种三维还原方法、系统、终端设备和存储介质
JP5973767B2 (ja) 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
KR102434567B1 (ko) 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
WO2023070862A1 (zh) 校正广角镜头图像畸变的方法、装置及照相设备
CN110245674A (zh) 模板匹配方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant