CN106845555A - 基于Bayer格式的图像匹配方法及图像匹配装置 - Google Patents

基于Bayer格式的图像匹配方法及图像匹配装置 Download PDF

Info

Publication number
CN106845555A
CN106845555A CN201710071772.8A CN201710071772A CN106845555A CN 106845555 A CN106845555 A CN 106845555A CN 201710071772 A CN201710071772 A CN 201710071772A CN 106845555 A CN106845555 A CN 106845555A
Authority
CN
China
Prior art keywords
image
matching
search
gray level
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710071772.8A
Other languages
English (en)
Inventor
马昊辰
宋斌
冉骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Julong Wisdom Technology Co Ltd
Original Assignee
Julong Wisdom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Julong Wisdom Technology Co Ltd filed Critical Julong Wisdom Technology Co Ltd
Priority to CN201710071772.8A priority Critical patent/CN106845555A/zh
Publication of CN106845555A publication Critical patent/CN106845555A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于Bayer格式的图像匹配方法及图像匹配装置，该图像匹配方法包括：获取Bayer格式的模板图像和搜索图像；生成所述模板图像和所述搜索图像分别对应的灰度图像；通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。本发明的技术方案能够降低对系统资源的消耗，提高了图像匹配算法的速率，同时能够有效提高图像匹配的准确性。

Description

基于Bayer格式的图像匹配方法及图像匹配装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于Bayer格式的图像匹配方法及图像匹配装置。
背景技术
图像匹配是计算机视觉和图像处理中的一个重要技术，在机器视觉、模式识别、航空制导及生物医学等军事和民用领域有着广泛的应用。
基于特征的图像匹配算法首先需要寻找两幅图像中的关键特征(如关键点、线)，然后对这些关键特征进行筛选、映射，进而得到准确的匹配。基于特征的图像匹配算法利用的像素数较少，可以大大减少图像匹配的计算量，对图像的实时性处理具有明显的优势。目前，相关技术中提出了基于SURF(Speeded Up Robust Features，加速稳健特征)的图像匹配算法，SURF在SIFT(Scale-invariant feature transform，尺度不变特征变换)的基础上简化了图像金字塔分解的操作，类似于SIFT特征，SURF特征也是一种尺度、旋转不变的特征描述方法。它对图像的卷积做近似处理，在特征点定位环节引入的积分图的概念，使求解Hessian矩阵的计算量大大降低，运算时间比SIFT大大减少。
在Bayer彩色图像中，每个像素只有红色、绿色和蓝色3个分量中的一个分量，其数据量和信息量是全彩色图像的1/3。因此，Bayer彩色CCD(Charge-couple Device，电荷耦合元件)输出图像的像元分布与灰度图像和RGB彩色图像都有所不同。
因此需要一种新的方案来实现对Bayer格式图像的匹配。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种基于Bayer格式的图像匹配方法及图像匹配装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一个方面，提供一种基于Bayer格式的图像匹配方法，包括：
获取Bayer格式的模板图像和搜索图像；
生成所述模板图像和所述搜索图像分别对应的灰度图像；
通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；
基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。
在本发明的一些实施例中，基于前述方案，生成所述模板图像和所述搜索图像分别对应的灰度图像的步骤，包括：
对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，以得到所述模板图像和所述搜索图像的YCbCr空间图像；
基于所述YCbCr空间图像中所有像素的亮度分量，生成所述模板图像和所述搜索图像分别对应的灰度图像。
在本发明的一些实施例中，基于前述方案，对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换的步骤，包括：
将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像；
将所述RGB空间图像变换为所述YCbCr图像。
在本发明的一些实施例中，基于前述方案，将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像的步骤，包括：
基于双线性插值法对所述Bayer格式的模板图像和搜索图像分别进行色彩还原，以得到所述RGB空间图像。
在本发明的一些实施例中，基于前述方案，将所述RGB空间图像变换为所述YCbCr图像的步骤，包括：
基于RGB颜色空间与YCbCr颜色空间之间的线性关系，将所述RGB空间图像变换为所述YCbCr空间图像。
在本发明的一些实施例中，基于前述方案，通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配的步骤，包括：
检测所述搜索图像和所述模板图像分别对应的灰度图像中的特征点；
计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离；
根据所述欧式距离的大小，在所述搜索图像对应的灰度图像中确定至少一个匹配特征点，以作为所述初匹配结果。
在本发明的一些实施例中，基于前述方案，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离的步骤，包括：
确定所述搜索图像和所述模板图像分别对应的灰度图像中的特征点的主方向；
基于所述特征点的主方向，生成所述搜索图像和所述模板图像分别对应的灰度图像中的特征点对应的特征描述符；
基于所述特征描述符，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离。
在本发明的一些实施例中，基于前述方案，基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配的步骤，包括：
根据所述至少一个匹配特征点，确定所述搜索图像对应的灰度图像中的至少一个子图；
在所述模板图像对应的灰度图像和所述至少一个子图中的每个子图中选取多个点；
基于选择的多个点，计算所述模板图像对应的灰度图像与所述每个子图的匹配误差和序列；
根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图。
在本发明的一些实施例中，基于前述方案，根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图的步骤，包括：
在所述模板图像对应的灰度图像与任一子图的匹配误差和序列大于设定的序列阈值时，记录所述任一子图中参与匹配误差和序列计算的点的个数；
根据所述至少一个子图中参与匹配误差和序列计算的点的个数，确定与所述模板图像相匹配的目标子图。
根据本发明的另一方面，还提出了一种基于Bayer格式的图像匹配装置，包括：
获取单元，用于获取Bayer格式的模板图像和搜索图像；
生成单元，用于生成所述模板图像和所述搜索图像分别对应的灰度图像；
第一处理单元，用于通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；
第二处理单元，用于基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。
在本发明的一些实施例中，基于前述方案，所述生成单元配置为：
对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，以得到所述模板图像和所述搜索图像的YCbCr空间图像；
基于所述YCbCr空间图像中所有像素的亮度分量，生成所述模板图像和所述搜索图像分别对应的灰度图像。
在本发明的一些实施例中，基于前述方案，对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，包括：
将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像；将所述RGB空间图像变换为所述YCbCr图像。
在本发明的一些实施例中，基于前述方案，将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像，包括：基于双线性插值法对所述Bayer格式的模板图像和搜索图像分别进行色彩还原，以得到所述RGB空间图像。
在本发明的一些实施例中，基于前述方案，将所述RGB空间图像变换为所述YCbCr图像，包括：
基于RGB颜色空间与YCbCr颜色空间之间的线性关系，将所述RGB空间图像变换为所述YCbCr空间图像。
在本发明的一些实施例中，基于前述方案，所述第一处理单元配置为：
检测所述搜索图像和所述模板图像分别对应的灰度图像中的特征点；
计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离；
根据所述欧式距离的大小，在所述搜索图像对应的灰度图像中确定至少一个匹配特征点，以作为所述初匹配结果。
在本发明的一些实施例中，基于前述方案，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离，包括：
确定所述搜索图像和所述模板图像分别对应的灰度图像中的特征点的主方向；
基于所述特征点的主方向，生成所述搜索图像和所述模板图像分别对应的灰度图像中的特征点对应的特征描述符；
基于所述特征描述符，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离。
在本发明的一些实施例中，基于前述方案，所述第二处理单元配置为：
根据所述至少一个匹配特征点，确定所述搜索图像对应的灰度图像中的至少一个子图；
在所述模板图像对应的灰度图像和所述至少一个子图中的每个子图中选取多个点；
基于选择的多个点，计算所述模板图像对应的灰度图像与所述每个子图的匹配误差和序列；
根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图。
在本发明的一些实施例中，基于前述方案，根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图，包括：
在所述模板图像对应的灰度图像与任一子图的匹配误差和序列大于设定的序列阈值时，记录所述任一子图中参与匹配误差和序列计算的点的个数；
根据所述至少一个子图中参与匹配误差和序列计算的点的个数，确定与所述模板图像相匹配的目标子图。
在本发明的一些实施例所提供的技术方案中，由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像匹配时的计算量，进而降低了对系统资源的消耗，提高了图像匹配算法的速率。
在本发明的一些实施例所提供的技术方案中，通过运用SURF算法进行初匹配，然后再通过序贯相似性检测算法进行再次匹配，使得能够在减少图像匹配的计算量的基础上，有效提高图像匹配的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了根据本发明的第一个实施例的基于Bayer格式的图像匹配方法的流程图；
图2示意性示出了根据本发明的第二个实施例的基于Bayer格式的图像匹配方法的流程图；
图3示出了根据本发明的实施例的Bayer图像的4种格式示意图；
图4示出了根据本发明的实施例的基于SSDA算法的图像匹配过程示意图；
图5示意性示出了根据本发明的实施例的图像匹配结果示意图；
图6示意性示出了根据本发明的实施例的基于Bayer格式的图像匹配装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示意性示出了根据本发明的第一个实施例的基于Bayer格式的图像匹配方法的流程图。
参照图1，根据本发明的第一个实施例的基于Bayer格式的图像匹配方法，包括以下步骤：
步骤S102，获取Bayer格式的模板图像和搜索图像；
步骤S104，生成所述模板图像和所述搜索图像分别对应的灰度图像；
步骤S106，通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；
步骤S108，基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。
以下针对每个步骤进行详细说明：
在步骤S102中，由于Bayer格式图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像匹配时的计算量，进而降低了对系统资源的消耗，提高了图像匹配算法的效率。需要说明的是，模板图像是需要在搜索图像中进行匹配以得到匹配结果的图像。
在步骤S104中，生成所述模板图像和所述搜索图像分别对应的灰度图像的步骤，包括：
对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，以得到所述模板图像和所述搜索图像的YCbCr空间图像；
基于所述YCbCr空间图像中所有像素的亮度分量，生成所述模板图像和所述搜索图像分别对应的灰度图像。
根据本发明的示例性实施例，对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换的步骤，包括：
将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像；
将所述RGB空间图像变换为所述YCbCr图像。
根据本发明的示例性实施例，将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像的步骤，包括：
基于双线性插值法对所述Bayer格式的模板图像和搜索图像分别进行色彩还原，以得到所述RGB空间图像。
根据本发明的示例性实施例，将所述RGB空间图像变换为所述YCbCr图像的步骤，包括：
基于RGB颜色空间与YCbCr颜色空间之间的线性关系，将所述RGB空间图像变换为所述YCbCr空间图像。
需要说明的是，由于RGB颜色空间到YCbCr颜色空间的变换是一种线性变换，因此可以基于RGB颜色空间与YCbCr颜色空间之间的线性关系，将RGB空间图像变换为YCbCr空间图像。
在步骤S106中，通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配的步骤，包括：
检测所述搜索图像和所述模板图像分别对应的灰度图像中的特征点；
计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离；
根据所述欧式距离的大小，在所述搜索图像对应的灰度图像中确定至少一个匹配特征点，以作为所述初匹配结果。
需要说明的是，可以选取欧氏距离较小的至少一个匹配特征点作为初匹配结果。
根据本发明的示例性实施例，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离的步骤，包括：
确定所述搜索图像和所述模板图像分别对应的灰度图像中的特征点的主方向；
基于所述特征点的主方向，生成所述搜索图像和所述模板图像分别对应的灰度图像中的特征点对应的特征描述符；
基于所述特征描述符，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离。
在步骤S108中，根据本发明的示例性实施例，基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配的步骤，包括：
根据所述至少一个匹配特征点，确定所述搜索图像对应的灰度图像中的至少一个子图；
在所述模板图像对应的灰度图像和所述至少一个子图中的每个子图中选取多个点；
基于选择的多个点，计算所述模板图像对应的灰度图像与所述每个子图的匹配误差和序列；
根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图。
根据本发明的示例性实施例，根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图的步骤，包括：
在所述模板图像对应的灰度图像与任一子图的匹配误差和序列大于设定的序列阈值时，记录所述任一子图中参与匹配误差和序列计算的点的个数；
根据所述至少一个子图中参与匹配误差和序列计算的点的个数，确定与所述模板图像相匹配的目标子图。
以下结合图2至图5详细说明本发明的技术方案。
如图2所示，根据本发明的第二个实施例的基于Bayer格式的图像匹配方法，包括：
步骤S20，获取Bayer格式图像。即获取到Bayer格式的搜索图像和模板图像。
步骤S22，Bayer彩色空间到RGB颜色空间变换。
具体地，单CCD相机通过CFA(Color Filter Arrays，颜色滤波阵列)获取图像的颜色信息，根据CFA的不同排列，如图3所示，可将其分为以下4种格式：BGGR、GBRG、GRBG和RGGB。由于通过CFA获取的Bayer彩色图像在每个像素点只有一种颜色，因此，需要通过色彩还原恢复缺失的另外2种颜色信息，以将Bayer彩色空间变换到RGB颜色空间。
在将Bayer彩色空间变换到RGB颜色空间内时，可以采用3×3邻域还原法，即双线性插值，对缺失的颜色分量使用双线性插值的方法实现色彩还原，可以使图像细节和边缘处的还原效果较好。计算公式如下：
其中，r、g、b分别表示RGB颜色空间中像素点的红色像素值、绿色像素值和蓝色像素值；R、G、B分别表示Bayer颜色空间中的红色像素值、绿色像素值和蓝色像素值。
步骤S24，RGB到YCbCr颜色空间变换。
RGB到YCbCr颜色空间变换是一种线性变换。通过该变换，原来的R、G、B分量变换为亮度(Y)分量和色度(Cb和Cr)分量，变换公式如下：
步骤S26，采用基于SURF算法的SSDA(Sequential Similarity DetectionAlgorithm，序贯相似性检测算法)来进行图像匹配。
具体包括：
步骤S261，亮度分量Y组成灰度图像。
具体地，YCbCr颜色空间中的亮度分量Y能够准确地反映物体的光学特性。因此，本发明以亮度Y作为研究重点，将全部像素的亮度分量组成一幅灰度图像。
步骤S262，快速特征点检测。
SURF特征利用积分图的Hessian矩阵完成兴趣点选取和尺度变换的操作，定义点x＝(x,y)处的积分图为：
对于图像I中的某一点x，Hessian矩阵定义为：
其中，Lxx(x,σ)为图像I在点x处与高斯滤波函数g(σ)的二阶偏导数的卷积值，即：
类似地，可以仿照以上两式求得Lxy(x,σ)和Lyy(x,σ)。
为简化图像与高斯滤波核卷积计算，SURF算法采用了尺度盒子滤波的方法。以9×9的盒子滤波模板为例。取尺度值s＝σ＝1.2。
假设与X方向、Y方向、XY方向模板卷积后得到的Hessian矩阵参数分别为Dxx、Dxy、Dyy，则Hessian矩阵的行列式可近似为：
Det(H)＝DxxDyy-(0.9Dxy)2 (公式9)
改变盒子滤波气的大小即可获得不同尺度下的卷积输出。对大小为N×N的滤波模板，对应选择的尺度s＝σ＝1.2×N/9，在尺度空间中取每个点的Det(H)值与该尺度相邻位置和相邻尺度周边的26个邻域比较，得到候选的局部极大值点，再对图像插值就可以计算出稳定的特征位置。
步骤S263，确定特征点主方向。
为了获取图像的旋转信息，需要确定特征点的方向。以步骤S262中定出的特征点为中心，在半径为6s的圆形邻域内分别计算x和y方向的Haar小波响应。然后对卷积响应赋予高斯权重，将每π/3角度内的水平和垂直响应相加得到一个局部方向矢量，比较得出的最长的矢量作为该特征点的主方向。
步骤S264，特征描述符生成。
获得特征点主方向后，以主方向为x轴，选取20s×20s大小的区域，将其等分为4×4的子区域，在每个子区域内计算Haar小波响应，记平行于主方向和垂直于主方向的Haar小波响应为dx和dy，赋予高斯权重后统计每个子区域里响应的总和及响应绝对值之和，则每个子区域可由特征向量V＝(∑dx,∑dy,∑|dx|,∑|dy|)表示，每个特征点就由4×4个子区域的特征向量组合而成，对特征向量做归一化处理，最终生成总计64维的特征描述符。
步骤S265，欧氏最近邻距离法初匹配。
欧氏最近邻距离的方法是特征点匹配中的常用方法，假设两幅图像特征点对应的n维特征向量分别为：(a1,a2,a3,...,an)和(b1,b2,b3,...,bn)，则两特征点间的欧氏距离为：
在计算得到欧式距离之后，选取欧式距离较小的至少一个特征点作为初匹配结果。
步骤S266，SSDA图像精匹配。
经过欧氏最邻近距离计算初步匹配后，依然会出现一些误匹配情况，而且匹配的特征点太多，过于繁杂，运算量也较大，因此采用序贯相似性检测算法SSDA对图像中的特征点进一步匹配。
具体地，假设待搜索匹配区域(即搜索图像)为P，大小为M×N，匹配模板为Q，大小为k×k，具体如图4所示，模板Q叠放在P上的区域为子图，选取Q左上角位置为基准点，当P中匹配特征点为(u,v)时，子图则是由点(u,v)、(u,v+K-1)、(u+K-1,v)、(u+K-1,v+K-1)组成的区域。设定匹配模板的基准点为(i,j)，定义匹配误差值为：
e(u,v,i,j)＝|Q(i,j)-P(u+i,v+j)| (公式11)
在目标图像和子图内任取n个点(i1,j1),(i2,j2),...,i(n,jn)，通过公式11计算这些点产生的匹配误差和序列，得到：
将得到的匹配误差和序列es(u,v,k)与设定好的序列阈值T(k)比较，若es(u,v,k)＞T(k)，那么停止计算，并记下此时的k值，然后计算下一个子图中的点产生的匹配误差和序列。若es(u,v,k)＜T(k)，则继续计算下一个点的匹配误差，直到es(u,v,k)＞T(k)或k＝n，并记下此时的k值。最后将最大的k值对应的子图就是匹配到的子图。经过SSDA精匹配过程的结果如图5所示。
图6示意性示出了根据本发明的实施例的基于Bayer格式的图像匹配装置的框图。
如图6所示，根据本发明的实施例的基于Bayer格式的图像匹配装置600，包括：获取单元602、生成单元604、第一处理单元606和第二处理单元608。
具体地，获取单元602用于获取Bayer格式的模板图像和搜索图像；生成单元604用于生成所述模板图像和所述搜索图像分别对应的灰度图像；第一处理单元606用于通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；第二处理单元608用于基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。
根据本发明的示例性实施例，所述生成单元604配置为：
对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，以得到所述模板图像和所述搜索图像的YCbCr空间图像；
基于所述YCbCr空间图像中所有像素的亮度分量，生成所述模板图像和所述搜索图像分别对应的灰度图像。
根据本发明的示例性实施例，对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，包括：
将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像；将所述RGB空间图像变换为所述YCbCr图像。
根据本发明的示例性实施例，将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像，包括：基于双线性插值法对所述Bayer格式的模板图像和搜索图像分别进行色彩还原，以得到所述RGB空间图像。
根据本发明的示例性实施例，将所述RGB空间图像变换为所述YCbCr图像，包括：基于RGB颜色空间与YCbCr颜色空间之间的线性关系，将所述RGB空间图像变换为所述YCbCr空间图像。
根据本发明的示例性实施例，所述第一处理单元606配置为：
检测所述搜索图像和所述模板图像分别对应的灰度图像中的特征点；
计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离；
根据所述欧式距离的大小，在所述搜索图像对应的灰度图像中确定至少一个匹配特征点，以作为所述初匹配结果。
根据本发明的示例性实施例，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离，包括：
确定所述搜索图像和所述模板图像分别对应的灰度图像中的特征点的主方向；
基于所述特征点的主方向，生成所述搜索图像和所述模板图像分别对应的灰度图像中的特征点对应的特征描述符；
基于所述特征描述符，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离。
根据本发明的示例性实施例，所述第二处理单元608配置为：
根据所述至少一个匹配特征点，确定所述搜索图像对应的灰度图像中的至少一个子图；
在所述模板图像对应的灰度图像和所述至少一个子图中的每个子图中选取多个点；
基于选择的多个点，计算所述模板图像对应的灰度图像与所述每个子图的匹配误差和序列；
根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图。
根据本发明的示例性实施例，根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图，包括：
在所述模板图像对应的灰度图像与任一子图的匹配误差和序列大于设定的序列阈值时，记录所述任一子图中参与匹配误差和序列计算的点的个数；
根据所述至少一个子图中参与匹配误差和序列计算的点的个数，确定与所述模板图像相匹配的目标子图。
本发明实施例的技术方案有利于进行嵌入式开发，如可以嵌入FPGA开发具有图像增强功能的相机或摄像机。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于Bayer格式的图像匹配方法，其特征在于，包括：
获取Bayer格式的模板图像和搜索图像；
生成所述模板图像和所述搜索图像分别对应的灰度图像；
通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；
基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。
2.根据权利要求1所述的基于Bayer格式的图像匹配方法，其特征在于，生成所述模板图像和所述搜索图像分别对应的灰度图像的步骤，包括：
对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换，以得到所述模板图像和所述搜索图像的YCbCr空间图像；
基于所述YCbCr空间图像中所有像素的亮度分量，生成所述模板图像和所述搜索图像分别对应的灰度图像。
3.根据权利要求2所述的基于Bayer格式的图像匹配方法，其特征在于，对所述Bayer格式的模板图像和搜索图像分别进行颜色空间变换的步骤，包括：
将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像；
将所述RGB空间图像变换为所述YCbCr图像。
4.根据权利要求3所述的基于Bayer格式的图像匹配方法，其特征在于，将所述Bayer格式的模板图像和搜索图像变换为RGB空间图像的步骤，包括：
基于双线性插值法对所述Bayer格式的模板图像和搜索图像分别进行色彩还原，以得到所述RGB空间图像。
5.根据权利要求3所述的基于Bayer格式的图像匹配方法，其特征在于，将所述RGB空间图像变换为所述YCbCr图像的步骤，包括：
基于RGB颜色空间与YCbCr颜色空间之间的线性关系，将所述RGB空间图像变换为所述YCbCr空间图像。
6.根据权利要求1所述的基于Bayer格式的图像匹配方法，其特征在于，通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配的步骤，包括：
检测所述搜索图像和所述模板图像分别对应的灰度图像中的特征点；
计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离；
根据所述欧式距离的大小，在所述搜索图像对应的灰度图像中确定至少一个匹配特征点，以作为所述初匹配结果。
7.根据权利要求6所述的基于Bayer格式的图像匹配方法，其特征在于，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离的步骤，包括：
确定所述搜索图像和所述模板图像分别对应的灰度图像中的特征点的主方向；
基于所述特征点的主方向，生成所述搜索图像和所述模板图像分别对应的灰度图像中的特征点对应的特征描述符；
基于所述特征描述符，计算所述模板图像对应的灰度图像中的特征点与所述搜索图像对应的灰度图像中的特征点之间的欧氏距离。
8.根据权利要求6所述的基于Bayer格式的图像匹配方法，其特征在于，基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配的步骤，包括：
根据所述至少一个匹配特征点，确定所述搜索图像对应的灰度图像中的至少一个子图；
在所述模板图像对应的灰度图像和所述至少一个子图中的每个子图中选取多个点；
基于选择的多个点，计算所述模板图像对应的灰度图像与所述每个子图的匹配误差和序列；
根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图。
9.根据权利要求8所述的基于Bayer格式的图像匹配方法，其特征在于，根据所述匹配误差和序列，在所述至少一个子图中搜索与所述模板图像相匹配的目标子图的步骤，包括：
在所述模板图像对应的灰度图像与任一子图的匹配误差和序列大于设定的序列阈值时，记录所述任一子图中参与匹配误差和序列计算的点的个数；
根据所述至少一个子图中参与匹配误差和序列计算的点的个数，确定与所述模板图像相匹配的目标子图。
10.一种基于Bayer格式的图像匹配装置，其特征在于，包括：
获取单元，用于获取Bayer格式的模板图像和搜索图像；
生成单元，用于生成所述模板图像和所述搜索图像分别对应的灰度图像；
第一处理单元，用于通过SURF算法对所述搜索图像和所述模板图像分别对应的灰度图像进行初匹配，以得到初匹配结果；
第二处理单元，用于基于所述初匹配结果，通过序贯相似性检测算法进行再次匹配。
CN201710071772.8A 2017-02-09 2017-02-09 基于Bayer格式的图像匹配方法及图像匹配装置 Pending CN106845555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710071772.8A CN106845555A (zh) 2017-02-09 2017-02-09 基于Bayer格式的图像匹配方法及图像匹配装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710071772.8A CN106845555A (zh) 2017-02-09 2017-02-09 基于Bayer格式的图像匹配方法及图像匹配装置

Publications (1)

Publication Number Publication Date
CN106845555A true CN106845555A (zh) 2017-06-13

Family

ID=59121616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710071772.8A Pending CN106845555A (zh) 2017-02-09 2017-02-09 基于Bayer格式的图像匹配方法及图像匹配装置

Country Status (1)

Country Link
CN (1) CN106845555A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313708A (zh) * 2017-12-22 2019-02-05 深圳配天智能技术研究院有限公司 图像匹配方法和视觉系统
CN109559308A (zh) * 2018-11-29 2019-04-02 太原理工大学 基于机器视觉的液晶面板偏光片喷码检测方法及装置
CN110047052A (zh) * 2019-04-25 2019-07-23 哈尔滨工业大学 一种基于fpga的强光抑制夜视增强方法
WO2021008019A1 (zh) * 2019-07-18 2021-01-21 平安科技（深圳）有限公司 姿态跟踪方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970548A (zh) * 2012-11-27 2013-03-13 西安交通大学 一种图像深度感知装置
US20130077825A1 (en) * 2011-09-27 2013-03-28 Fuji Jukogyo Kabushiki Kaisha Image processing apparatus
CN105913404A (zh) * 2016-07-01 2016-08-31 湖南源信光电科技有限公司 基于帧累积的低照度成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130077825A1 (en) * 2011-09-27 2013-03-28 Fuji Jukogyo Kabushiki Kaisha Image processing apparatus
CN102970548A (zh) * 2012-11-27 2013-03-13 西安交通大学 一种图像深度感知装置
CN105913404A (zh) * 2016-07-01 2016-08-31 湖南源信光电科技有限公司 基于帧累积的低照度成像方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
任克强等: "基于改进SURF算子的彩色图像配准算法", 《电子测量与仪器学报》 *
孙辉: "Bayer彩色序列图像的电子稳像", 《光学 精密工程》 *
章盛等: "一种优化的图像拼接方法", 《重庆工商大学学报( 自然科学版)》 *
第1期: "基于图像灰度的SSDA匹配算法", 《航空计算技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313708A (zh) * 2017-12-22 2019-02-05 深圳配天智能技术研究院有限公司 图像匹配方法和视觉系统
CN109559308A (zh) * 2018-11-29 2019-04-02 太原理工大学 基于机器视觉的液晶面板偏光片喷码检测方法及装置
CN110047052A (zh) * 2019-04-25 2019-07-23 哈尔滨工业大学 一种基于fpga的强光抑制夜视增强方法
WO2021008019A1 (zh) * 2019-07-18 2021-01-21 平安科技（深圳）有限公司 姿态跟踪方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Zhao et al. Alike: Accurate and lightweight keypoint detection and descriptor extraction
Melekhov et al. Dgc-net: Dense geometric correspondence network
CN110084757B (zh) 一种基于生成对抗网络的红外深度图像增强方法
Liao et al. Model-free distortion rectification framework bridged by distortion distribution map
CN108491856B (zh) 一种基于多尺度特征卷积神经网络的图像场景分类方法
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN106845555A (zh) 基于Bayer格式的图像匹配方法及图像匹配装置
Yang et al. Non-parametric depth distribution modelling based depth inference for multi-view stereo
CN111291768A (zh) 图像特征匹配方法及装置、设备、存储介质
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN114419349B (zh) 一种图像匹配方法和装置
CN113159466A (zh) 一种短时光伏发电功率预测系统及方法
Hsiao et al. Flat2layout: Flat representation for estimating layout of general room types
CN116188825A (zh) 一种基于并行注意力机制的高效特征匹配方法
Dinh et al. Rectification using different types of cameras attached to a vehicle
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
Yan et al. Learning complementary correlations for depth super-resolution with incomplete data in real world
Kuang et al. DenseGAP: graph-structured dense correspondence learning with anchor points
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
Liu et al. Unsupervised global and local homography estimation with motion basis learning
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
Liu et al. When epipolar constraint meets non-local operators in multi-view stereo
Rao et al. Omnilayout: Room layout reconstruction from indoor spherical panoramas
CN115601791B (zh) 基于Multiformer及离群样本重分配的无监督行人重识别方法
CN117274514A (zh) 基于地空视角几何变换的遥感图像生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication