CN111798501B - 融入颜色直方图与余弦相似性的优化图像配准方法 - Google Patents

融入颜色直方图与余弦相似性的优化图像配准方法 Download PDF

Info

Publication number
CN111798501B
CN111798501B CN202010633074.4A CN202010633074A CN111798501B CN 111798501 B CN111798501 B CN 111798501B CN 202010633074 A CN202010633074 A CN 202010633074A CN 111798501 B CN111798501 B CN 111798501B
Authority
CN
China
Prior art keywords
image
registered
feature
matching
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010633074.4A
Other languages
English (en)
Other versions
CN111798501A (zh
Inventor
章盛
袁烨
李培华
刘玉莉
钱名思
周萌
潘颖妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC Huadong Photoelectric Co Ltd
Original Assignee
AVIC Huadong Photoelectric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC Huadong Photoelectric Co Ltd filed Critical AVIC Huadong Photoelectric Co Ltd
Priority to CN202010633074.4A priority Critical patent/CN111798501B/zh
Publication of CN111798501A publication Critical patent/CN111798501A/zh
Application granted granted Critical
Publication of CN111798501B publication Critical patent/CN111798501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融入颜色直方图与余弦相似性的优化图像配准方法，包括：图像预处理阶段、图像特征双向匹配阶段和计算单应性矩阵并确定重合区域；其中，在图像预处理阶段，使用分块方法、颜色直方图与余弦相似度相结合方法得到相似性度量值最大的图像块对；在图像匹配阶段，对检测的图像特征存在错误匹配的问题，采用双向匹配方法剔除错误匹配对；最终，使用RANSAC算法计算单应性矩阵并确定待配准图像的重合区域，将其作为后续图像融合的输入。该方法对于大视场的图像配准的提速具有重要意义，为图像配准提供的一种新的解决途径。

Description

融入颜色直方图与余弦相似性的优化图像配准方法
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种融入颜色直方图与余弦相似性的优化图像配准方法。
背景技术
图像配准方法广泛应用于增强现实、双目视觉与全景拼接等领域，其中DavidLowe等人于2004年提出的尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法是图像配准领域的里程碑算法，该算法对目标的平移变换、旋转变换、尺度缩放与一定的视角、光照变化等保持一定的不变性。根据SIFT算法的实现流程，SIFT算法分为图像特征检测和匹配两个阶段，其中为了解决SIFT算法的图像特征检测和匹配耗时长的问题，近年来国内外科研者提出了许多改进和优化算法，其中，2004年，Yan Ke等人使用主成分分析(Principle Component Analysis,PCA)算法对图像特征描述子参数进行降维，加快图像特征的匹配速度，即PCA-SIFT算法。2006年，Herbert Bay等人提出加速稳健特征(Speeded Up Robust Features,SURF)算法，该算法对SIFT算法的改进主要有两个方面，一是使用Hessian矩阵加快图像特征的检测，二是使用与Haar小波生成64维描述子参数以加快图像特征的匹配。2014年，杨飒等人提出SRP-SIFT算法，该算法原理是使用压缩感知原理(Compressed Sensing Principle,CSP)算法对图像特征描述子参数降维，从而实现了图像特征匹配时间的降低。2015年，赵爱罡等人提出RGL-CS-SIFT算法，该算法使用图像特征周围相对几何位置信息生成图像特征描述子参数，再利用压缩感知原理对描述子参数进行降维处理，以解决图像配准耗时高的问题。2017年，韩超等人提出Trajkovic-SDR-SIFT算法，该算法结合Trajkovic算法与稀疏降维原理以降低图像配准时间。2018年，胡为等人利用内部矩阵外部圆形原理将128维图像特征描述子参数降维到24维，并利用三线性插值算法和随机抽样一致性(Random Sample Consensus,RANSAC)算法进行图像粗匹配和精匹配，最终结论是图像配准的精度和速度都显著提高。2019年，迟英朋等人将指数加权平均比率算子(Ratio of Exponentially Weighted Averages,ROEWA)算法和OTSU算法融入到SIFT算法中，提升了图像特征配准的准确率。2020年，程德强等人利用Sobel算法优化SIFT算法图像特征描述子部分，再使用欧式距离算法和领域投票方法进行图像特征的匹配，该方法显著提升了图像特征配准的精度和速度。
发明内容
本发明的目的是提供一种融入颜色直方图与余弦相似性的优化图像配准方法，该方法对于大视场的图像配准的提速具有重要意义，为图像配准提供的一种新的解决途径。
为了实现上述目的，本发明提供了一种融入颜色直方图与余弦相似性的优化图像配准方法，包括：图像预处理阶段、图像特征双向匹配阶段和计算单应性矩阵并确定重合区域；其中，
在图像预处理阶段，使用分块方法、颜色直方图与余弦相似度相结合方法得到相似性度量值最大的图像块对；在图像匹配阶段，对检测的图像特征存在错误匹配的问题，采用双向匹配方法剔除错误匹配对；最终，使用RANSAC算法计算单应性矩阵并确定待配准图像的重合区域，将其作为后续图像融合的输入。
优选地，图像预处理阶段包括：首先，根据待配准图像是横向配准还是纵向配准，将待配准图像分为1×4或者4×1的图像块；其次，利用颜色直方图方法计算图像块的唯一特征向量；再次，利用余弦相似性度量方法计算图像块之间的相似性度量值；最后，寻找其中最大值对应的块图像对作为图像特征检测的输入。
优选地，任何一种颜色都是由红绿蓝三原色构成，将每种原色取256个值，将0-255分成四个区：0-63为第0区，64-127为第1区，128-191为第2区，192-255为第3区，即红绿蓝分别有4个区，总共构成64种组合；
任何一种颜色必然属于这64种组合中的一种，这样就可以统计每一种组合包含的像素数量，将像素数量值组成一个64维向量，该向量是这张图片的特征向量，然后使用余弦相似度公式计算块图像之间的相似性度量值，如式(1)所示，共16个值，寻找其中最大值对应的图像块对作为图像特征检测的输入；
其中：xi是待配准图像L中图像块的特征向量元素，yi是待配准图像R中图像块的特征向量元素。
优选地，图像特征双向匹配阶段包括：首先使用SIFT算法生成128维的图像特征描述子向量，使用FLANN算法进行双向匹配；双向匹配的原理，首先，以待配准图像L的图像特征为参考，使用FLANN算法遍历待配准图像R中图像特征，得到最近邻特征点V1j和次最近邻特征点V2j，如果最近邻特征点V1j和次最近邻特征点V2j满足公式(2)，则最近邻特征点V1j为匹配图像特征，得到匹配图像特征集A；然后，以待配准图像R的图像特征为参考，使用FLANN算法遍历待配准图像L中图像特征，得到最近邻特征点U1j和次最近邻特征点U2j，如果最近邻特征点U1j和次最近邻特征点U2j满足公式(3)，则最近邻特征点U1j为匹配图像特征，得到匹配图像特征集B；最后，比较匹配图像特征集A和B，如果两个集中待配准图像L和待配准图像R中图像特征完全相同，则为正确的匹配特征，反之，则为错误的匹配特征；
其中：d(Ui,V1j)是待配准图像L的特征与待配准图像R的最近邻特征的距离相似性度量值，d(Ui,V2j)是待配准图像L的特征与待配准图像R的次最近邻特征的距离相似性度量值，Th1为设定的阈值，本申请Th1设置为0.8；
其中：d(Vj,U1i)是待配准图像R的特征与待配准图像L的最近邻特征的距离相似性度量值，d(Vj,U2i)是待配准图像R的特征与待配准图像L的次最近邻特征的距离相似性度量值，Th2为设定的阈值，本申请Th2设置为0.8。
优选地，计算单应性矩阵并确定重合区域包括对于得到的内点利用最小二乘算法求取数学模型，设待配准图像L上的特征X和待配准图像R上的特征X'为一对匹配特征,X和X'的齐次坐标分别为X＝[x1,x2,x3]T和X'＝[x1',x2',x3']T,则X和X'的关系如式(4)所示，简式如式(5)所示:
X'＝M·X (5)
其中：M是单应性矩阵，用特征的非齐次坐标代替齐次坐标，设特征X和X'的非齐次坐标为(x,y)和(x′,y′)，则二维坐标变换的关系式如式(6)所示，单应性向量如式(7)所示：
h＝[h0,h1,h2,h3,h4,h5,h6,h7]T (7)
由于一对匹配特征可以确定两个独立的线性方程，在投影变换模型下，理论上需要四对图像特征即可求出单应性矩阵M。
根据上述技术方案，本发明针对传统SIFT算法的图像配准耗时长的问题，首先对待配准图像进行分块预处理，其次，使用颜色直方图与余弦相似度相结合方法计算图像块之间的相似性度量值，再次，使用SIFT算法对相似性度量最大值的图像块对进行图像特征检测并使用双向的快速最近邻逼近搜索(Fast Library for Approximate NearestNeighbors,FLANN)算法进行匹配，最后，使用RANSAC算法计算单应性矩阵并确定待配准图像的重合区域，即得到优化的图像配准方法，为图像配准提供了一种新的解决途径。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明中融入颜色直方图与余弦相似性的优化图像配准方法的流程图；
图2是本发明中待配准图像L的分块示意图；
图3是本发明中待配准图像R的分块示意图；
图4是本发明中提供的一种具体实施方式中带配准图像L；
图5是本发明中提供的一种具体实施方式中带配准图像R；
图6是使用传统方法对图4进行特征检测的结果图；
图7是使用传统方法对图5进行特征检测的结果图；
图8是使用本发明提供的方法对图4进行特征检测的结果图；
图9是使用本发明提供的方法对图5进行特征检测的结果图；
图10是使用传统方法对图4、图5进行特征匹配的结果图；
图11是使用本发明提供的方法对图4、图5进行特征匹配的结果图；
图12是使用传统方法对图4进行重合区域检测的结果图；
图13是使用传统方法对图5进行重合区域检测的结果图；
图14是使用本发明提供的方法对图4进行重合区域检测的结果图；
图15是使用本发明提供的方法对图5进行重合区域检测的结果图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明中，在未作相反说明的情况下，包含在术语中的方位词仅代表该术语在常规使用状态下的方位，或为本领域技术人员理解的俗称，而不应视为对该术语的限制。
参见图1，本发明提供了一种融入颜色直方图与余弦相似性的优化图像配准方法，包括：图像预处理阶段、图像特征双向匹配阶段和计算单应性矩阵并确定重合区域；其中，
在图像预处理阶段，使用分块方法、颜色直方图与余弦相似度相结合方法得到相似性度量值最大的图像块对；在图像匹配阶段，对检测的图像特征存在错误匹配的问题，采用双向匹配方法剔除错误匹配对；最终，使用RANSAC算法计算单应性矩阵并确定待配准图像的重合区域，将其作为后续图像融合的输入。
具体的，在图像预处理阶段，对于待配准图像，首先根据待配准图像是横向配准还是纵向配准，将待配准图像分为1×4或者4×1的图像块，其次，利用颜色直方图方法计算图像块的唯一特征向量，再次，利用余弦相似性度量方法计算图像块之间的相似性度量值，最后，寻找其中最大值对应的块图像对作为图像特征检测的输入。在此，以横向配准为例进行阐述，图像预处理阶段的执行流程首先是编号为L1的图像块与R1、R2、R3、R4的图像块进行相似性度量计算，其次是编号为L2的图像块与R1、R2、R3、R4的图像块进行相似性度量计算，再次是编号为L3的图像块与R1、R2、R3、R4的图像块进行相似性度量计算，最后是编号为L4的图像块与R1、R2、R3、R4的图像块进行相似性度量计算。待配准图像分块示意图如图2和图3所示，图2是待配准图像L的分块示意图，图3是待配准图像R的分块示意图。
任何一种颜色都是由红绿蓝三原色构成的，如果每种原色都可以取256个值，那么整个颜色空间共有1600万种颜色(256的3次方)。针对这1600万种颜色比较颜色直方图，计算复杂度太大，因此将0～255分成四个区：0～63为第0区，64～127为第1区，128～191为第2区，192～255为第3区，这意味着红绿蓝分别有4个区，总共可以构成64种组合(4的3次方)。任何一种颜色必然属于这64种组合中的一种，这样就可以统计每一种组合包含的像素数量，将像素数量值组成一个64维向量，该向量是这张图片的特征向量，然后使用余弦相似度公式计算块图像之间的相似性度量值，如式(1)所示，共16个值，寻找其中最大值对应的图像块对作为图像特征检测的输入。
其中：xi是待配准图像L中图像块的特征向量元素，yi是待配准图像R中图像块的特征向量元素。
在图像特征双向匹配阶段，首先使用SIFT算法生成128维的图像特征描述子向量，使用FLANN算法进行双向匹配。双向匹配的原理，首先，以待配准图像L的图像特征为参考，使用FLANN算法遍历待配准图像R中图像特征，得到最近邻特征点V1j和次最近邻特征点V2j，如果最近邻特征点V1j和次最近邻特征点V2j满足公式(2)，则最近邻特征点V1j为匹配图像特征，得到匹配图像特征集A。然后，以待配准图像R的图像特征为参考，使用FLANN算法遍历待配准图像L中图像特征，得到最近邻特征点U1j和次最近邻特征点U2j，如果最近邻特征点U1j和次最近邻特征点U2j满足公式(3)，则最近邻特征点U1j为匹配图像特征，得到匹配图像特征集B。最后，比较匹配图像特征集A和B，如果两个集中待配准图像L和待配准图像R中图像特征完全相同，则为正确的匹配特征，反之，则为错误的匹配特征。
其中：d(Ui,V1j)是待配准图像L的特征与待配准图像R的最近邻特征的距离相似性度量值，d(Ui,V2j)是待配准图像L的特征与待配准图像R的次最近邻特征的距离相似性度量值，Th1为设定的阈值，本申请Th1设置为0.8。
其中：d(Vj,U1i)是待配准图像R的特征与待配准图像L的最近邻特征的距离相似性度量值，d(Vj,U2i)是待配准图像R的特征与待配准图像L的次最近邻特征的距离相似性度量值，Th2为设定的阈值，本申请Th2设置为0.8。
在计算单应性矩阵并确定重合区域时，RANSAC算法是一种估计数学模型的迭代算法，主要是对能够满足大部分图像特征的数学模型进行估计。在估计的过程中，每次从数据集中随机抽取一些样本点，然后计算满足此样本点的数学模型，如果符合该数学模型的样本点占数据集的比例较大，那么求得的数学模型就被认为是最终的数学模型估计值。人们把符合该模型的样本点称作内点，不符合该模型的样本点称作外点。RANSAC算法的核心思想就是将所有的数据分为内点和外点，然后使用检测到的内点进行参数估计得到数学模型，这样可以使最终估计结果更具有鲁棒性。
对于得到的内点利用最小二乘算法求取数学模型，设待配准图像L上的特征X和待配准图像R上的特征X'为一对匹配特征,X和X'的齐次坐标分别为X＝[x1,x2,x3]T和X'＝[x1',x2',x3']T,则X和X'的关系如式(4)所示，简式如式(5)所示:
X'＝M·X (5)
其中：M是单应性矩阵，用特征的非齐次坐标代替齐次坐标，设特征X和X'的非齐次坐标为(x,y)和(x′,y′)，则二维坐标变换的关系式如式(6)所示，单应性向量如式(7)所示：
h＝[h0,h1,h2,h3,h4,h5,h6,h7]T (7)
由于一对匹配特征可以确定两个独立的线性方程，在投影变换模型下，理论上需要四对图像特征即可求出单应性矩阵M。
在一种具体的实施方式中，使用Qt5.5.1和OpenCV2.4.9作为编程软件，硬件平台使用Intel Core i7-8700 CPU@3.20GHz(12CPUs)，内存为16G，操作系统为64位Windows10。实验采用某科技园标志建筑物作为待配准图像，为了方便实验，对采集的待配准图像进行缩放，分辨率为800×800，如图4和图5所示。
针对图4、图5中待配准图像，经过预处理发现L4和R1的相似性度量值最大，所有优化方法使用L4和R1图像块作为特征检测的输入。使用传统方法和优化方法对其进行图像特征检测和匹配，其结果图如图所示，其中图6-图7是使用传统方法对某科技园标志建筑物进行特征检测的结果图，图8-图9是使用优化方法对某科技园标志建筑物进行特征检测的结果图，图10是使用传统方法对某科技园标志建筑物进行特征匹配的结果图，图11是使用优化方法对某科技园标志建筑物进行特征匹配的结果图。
利用RANSAC算法计算单应性矩阵，并利用单应性矩阵计算待配准图像的重合区域，待配准图像的重合区域结果图如图所示，其中图12-图13是使用传统方法对某科技园标志建筑物进行重合区域检测结果图，图14-图15是使用优化方法对某科技园标志建筑物进行重合区域检测的结果图。
上表为待配准图像的定量分析表，表中图像特征数目指待配准图像的特征数目、图像特征匹配数目指待配准图像的匹配数目和正确匹配数目。通过该表可知，优化方法与传统方法相比，配准正确率相当，但配准运行时间要少，运行速度更快。
由此可见，本方法是在传统SIFT算法的图像配准的基础上，采用分块方法、颜色直方图与余弦相似度相结合方法和双向匹配方法进行优化，得到优化的图像配准方法。在大视场图像的配准中，由于计算复杂度的增加，进而导致图像配准速度的下降，所以研究融入颜色直方图与余弦相似性的优化图像配准方法对于大视场的图像配准具有重要意义，为图像配准提供的一种新的解决途径。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (3)

1.一种融入颜色直方图与余弦相似性的优化图像配准方法，其特征在于，包括：图像预处理阶段、图像特征双向匹配阶段和计算单应性矩阵并确定重合区域；其中，
在图像预处理阶段，使用分块方法、颜色直方图与余弦相似度相结合方法得到相似性度量值最大的图像块对；在图像匹配阶段，对检测的图像特征存在错误匹配的问题，采用双向匹配方法剔除错误匹配对；最终，使用RANSAC算法计算单应性矩阵并确定待配准图像的重合区域，将其作为后续图像融合的输入；
图像特征双向匹配阶段包括：首先使用SIFT算法生成128维的图像特征描述子向量，使用FLANN算法进行双向匹配；双向匹配的原理，首先，以待配准图像L的图像特征为参考，使用FLANN算法遍历待配准图像R中图像特征，得到最近邻特征点V1j和次最近邻特征点V2j，如果最近邻特征点V1j和次最近邻特征点V2j满足公式(2)，则最近邻特征点V1j为匹配图像特征，得到匹配图像特征集A；然后，以待配准图像R的图像特征为参考，使用FLANN算法遍历待配准图像L中图像特征，得到最近邻特征点U1j和次最近邻特征点U2j，如果最近邻特征点U1j和次最近邻特征点U2j满足公式(3)，则最近邻特征点U1j为匹配图像特征，得到匹配图像特征集B；最后，比较匹配图像特征集A和B，如果两个集中待配准图像L和待配准图像R中图像特征完全相同，则为正确的匹配特征，反之，则为错误的匹配特征；
其中：d(Ui,V1j)是待配准图像L的特征与待配准图像R的最近邻特征的距离相似性度量值，d(Ui,V2j)是待配准图像L的特征与待配准图像R的次最近邻特征的距离相似性度量值，Th1为设定的阈值，本申请Th1设置为0.8；
其中：d(Vj,U1i)是待配准图像R的特征与待配准图像L的最近邻特征的距离相似性度量值，d(Vj,U2i)是待配准图像R的特征与待配准图像L的次最近邻特征的距离相似性度量值，Th2为设定的阈值，本申请Th2设置为0.8；
计算单应性矩阵并确定重合区域包括对于得到的内点利用最小二乘算法求取数学模型，设待配准图像L上的特征X和待配准图像R上的特征X'为一对匹配特征,X和X'的齐次坐标分别为X＝[x1,x2,x3]T和X'＝[x1',x2',x3']T,则X和X'的关系如式(4)所示，简式如式(5)所示:
X'＝M·X (5)
其中：M是单应性矩阵，用特征的非齐次坐标代替齐次坐标，设特征X和X'的非齐次坐标为(x,y)和(x′,y′)，则二维坐标变换的关系式如式(6)所示，单应性向量如式(7)所示：
h＝[h0,h1,h2,h3,h4,h5,h6,h7]T (7)
由于一对匹配特征可以确定两个独立的线性方程，在投影变换模型下，理论上需要四对图像特征即可求出单应性矩阵M。
2.根据权利要求1所述的融入颜色直方图与余弦相似性的优化图像配准方法，其特征在于，图像预处理阶段包括：首先，根据待配准图像是横向配准还是纵向配准，将待配准图像分为1×4或者4×1的图像块；其次，利用颜色直方图方法计算图像块的唯一特征向量；再次，利用余弦相似性度量方法计算图像块之间的相似性度量值；最后，寻找其中最大值对应的块图像对作为图像特征检测的输入。
3.根据权利要求2所述的融入颜色直方图与余弦相似性的优化图像配准方法，其特征在于，任何一种颜色都是由红绿蓝三原色构成，将每种原色取256个值，将0-255分成四个区：0-63为第0区，64-127为第1区，128-191为第2区，192-255为第3区，即红绿蓝分别有4个区，总共构成64种组合；
任何一种颜色必然属于这64种组合中的一种，这样就可以统计每一种组合包含的像素数量，将像素数量值组成一个64维向量，该向量是这张图片的特征向量，然后使用余弦相似度公式计算块图像之间的相似性度量值，如式(1)所示，共16个值，寻找其中最大值对应的图像块对作为图像特征检测的输入；
其中：xi是待配准图像L中图像块的特征向量元素，yi是待配准图像R中图像块的特征向量元素。
CN202010633074.4A 2020-07-02 2020-07-02 融入颜色直方图与余弦相似性的优化图像配准方法 Active CN111798501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010633074.4A CN111798501B (zh) 2020-07-02 2020-07-02 融入颜色直方图与余弦相似性的优化图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010633074.4A CN111798501B (zh) 2020-07-02 2020-07-02 融入颜色直方图与余弦相似性的优化图像配准方法

Publications (2)

Publication Number Publication Date
CN111798501A CN111798501A (zh) 2020-10-20
CN111798501B true CN111798501B (zh) 2023-11-24

Family

ID=72810135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010633074.4A Active CN111798501B (zh) 2020-07-02 2020-07-02 融入颜色直方图与余弦相似性的优化图像配准方法

Country Status (1)

Country Link
CN (1) CN111798501B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742869B (zh) * 2022-06-15 2022-08-16 西安交通大学医学院第一附属医院 基于图形识别的脑部神经外科配准方法及电子设备
CN116206215B (zh) * 2023-03-17 2023-09-29 银河航天(北京)网络技术有限公司 一种森林土地状态的监测方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058902A1 (zh) * 2010-11-02 2012-05-10 中兴通讯股份有限公司 全景图合成方法及装置
CN107194959A (zh) * 2017-04-25 2017-09-22 北京海致网聚信息技术有限公司 基于切片进行图像配准的方法和装置
CN111127311A (zh) * 2019-12-25 2020-05-08 中航华东光电有限公司 基于微重合区域的图像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058902A1 (zh) * 2010-11-02 2012-05-10 中兴通讯股份有限公司 全景图合成方法及装置
CN107194959A (zh) * 2017-04-25 2017-09-22 北京海致网聚信息技术有限公司 基于切片进行图像配准的方法和装置
CN111127311A (zh) * 2019-12-25 2020-05-08 中航华东光电有限公司 基于微重合区域的图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种优化的图像配准算法;韩超;方露;章盛;;电子测量与仪器学报(02);全文 *
应用于压力容器红外无损检测的SIFT图像拼接方法;杨晓;黎琼炜;殷春;陈凯;邱根;薛婷;黄雪刚;;电子测量与仪器学报(12);全文 *

Also Published As

Publication number Publication date
CN111798501A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
Talmi et al. Template matching with deformable diversity similarity
Han et al. Visible and infrared image registration in man-made environments employing hybrid visual features
Kim et al. Multi-sensor image registration based on intensity and edge orientation information
Patel et al. Image registration of satellite images with varying illumination level using HOG descriptor based SURF
Yang et al. Image mosaic based on SIFT
CN111798501B (zh) 融入颜色直方图与余弦相似性的优化图像配准方法
Hassaballah et al. Analysis and evaluation of keypoint descriptors for image matching
Ye et al. Local affine preservation with motion consistency for feature matching of remote sensing images
Huang et al. FAST and FLANN for feature matching based on SURF
Tang et al. Modified sift descriptor for image matching under interference
Dong et al. Affine template matching based on multi-scale dense structure principal direction
Dai et al. Remote sensing image matching via Harris detector and SIFT discriptor
Wang et al. Unified detection of skewed rotation, reflection and translation symmetries from affine invariant contour features
Liu et al. An image registration algorithm based on FREAK-FAST for visual SLAM
Eisa et al. Local binary patterns as texture descriptors for user attitude recognition
Zhang et al. Multi-scale template matching with scalable diversity similarity in an unconstrained environment
Maji Comparison of Local Feature Descriptors
Lin et al. A fast shape context matching using indexing
Clark et al. Perspective correction for improved visual registration using natural features.
Jin et al. A novel coarse-to-fine method for registration of multispectral images
Ziomek et al. Evaluation of interest point detectors in presence of noise
Prathap et al. A real-time image mosaicing using FAST detector and FREAK descriptor
Karpushin et al. TRISK: A local features extraction framework for texture-plus-depth content matching
Wu et al. A New Image Stitching Method with Entropy and Template Matching
Hsu et al. Reconfigurable cache memory architecture for integral image and integral histogram applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant