CN108053370B - 一种基于匹配误差抑制的成像坐标校正方法 - Google Patents

一种基于匹配误差抑制的成像坐标校正方法 Download PDF

Info

Publication number
CN108053370B
CN108053370B CN201711223610.8A CN201711223610A CN108053370B CN 108053370 B CN108053370 B CN 108053370B CN 201711223610 A CN201711223610 A CN 201711223610A CN 108053370 B CN108053370 B CN 108053370B
Authority
CN
China
Prior art keywords
geometric correction
point
matching
image
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711223610.8A
Other languages
English (en)
Other versions
CN108053370A (zh
Inventor
杨兴明
谢昭
张鹿鸣
吴克伟
纪松
孙永宣
周亚辉
童赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201711223610.8A priority Critical patent/CN108053370B/zh
Publication of CN108053370A publication Critical patent/CN108053370A/zh
Application granted granted Critical
Publication of CN108053370B publication Critical patent/CN108053370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于匹配误差抑制的成像坐标校正方法，手工标记测量图像背景区域，获取其匹配点对。并基于匹配点对利用迭代误差法建模几何校正映射矩阵，提高了实验结果的精度。据此，利用欧式距离及阈值，检测并抑制噪声匹配点。再次利用迭代误差拟合求解新的映射矩阵，并对参考图像进行校正。将测量图像与边缘二值掩膜融合，获取足部坐标。再将测量图像边缘与几何校正后的参考图像进行融合，根据足部点误差，水平平移获得足部对齐的参考图像。本发明具有直观有效，鲁棒性强，场景适应度高等优点，不仅能够解决成像坐标在对齐标定中受到背景信息、复杂结构混杂信息、足部近邻结构信息的干扰，而且也能够解决多幅参考图像拟合结果的不一致性。

Description

一种基于匹配误差抑制的成像坐标校正方法
技术领域
本发明涉及几何校正技术领域，尤其涉及一种基于匹配误差抑制的成像坐标校正方法。
背景技术
几何校正就是针对几何畸变进行的误差校正。在实际的应用中，如多光谱、多时相影像的配准，遥感影像制图和对场景中的人体进行标定以解决身高测量的问题等，由于图像的模糊性以及计算量等问题，几何校正的正确性面临着诸多挑战，现有常用到的图像几何校正方法有空间变换法、灰度插值法。基于匹配误差抑制的成像坐标校正方法，一般不需要对图像进行复杂的预先处理，而是利用图像本身具有的一些统计信息来度量图像的相似程度。
空间变换法是几何校正的常用方法，它是指像的空间几何坐标变换。申请号为201010123708.8的中国专利《一种基于SIFT算法的图像匹配定位方法》通过计算被拍摄物体图的Sift特征值，并记录匹配点对应的两点距离之比，来确定图形定位。申请号为201310539961.5的中国专利《基于最大位平均熵的SIFT描述子二值化及相似度匹配方法》提取出新的二值化描述子，然后用汉明距离计算两个描述子之间的距离来进行相似度匹配。申请号为201310239103.9的中国专利《一种基于子图像角点特征的快速图像配准方法》提出了一种基于子图像角点特征的快速图像配准方法。申请号为201410027939.7的中国专利《基于改进SIFT算法的图像匹配检索系统》通过采取提取尺度不变的特征点算法进行特征描述，匹配关键点的局部特征来进行几何校正。庞惠文等人于2016年发表的《基于直线检测的条码图像几何校正研究》是在已除去背景的图像中，寻找目标的条形码边缘对应的直线，以此确定其偏移角度，并进行扭转校正。该类方法往往不能充分利用图像所包含的信息，解决成像坐标在对齐标定中受到背景信息、复杂结构混杂信息的干扰，使其结果有较大的误差，影响了几何校正的精度。
几何校正的另一种常用方法是灰度插值法，即对空间变换后的像素赋予相应的灰度值，以恢复原位置的灰度值。申请号为201310349565.6的中国专利《一种图像配准方法和系统》将每一分块图像分别进行逐级降采样并按照分辨率由低到高的顺序逐级递归匹配并由此获取主辅图像的对应关系，并移动辅图像实现图像配准。申请号为201510253950.X的中国专利《视频融合中多图像多像素级别几何校正方法》提出了一种多图像多像素级别几何校正方法和系统，通过较大范围内的几何校正，并基于几何图形顶点和图像插值的分数像素级别的几何校正。但该方法复杂，场景适应度低，图像轮廓有一定模糊。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种基于匹配误差抑制的成像坐标校正方法。
本发明是通过以下技术方案实现的：
一种基于匹配误差抑制的成像坐标校正方法，包括有以下步骤：背景区域选择、背景区域的兴趣点匹配、基于背景的几何校正建模、基于几何校正误差的噪声匹配点抑制、基于噪声匹配点抑制的几何校正建模和足部点微调；
所述的背景区域选择，输入测量图像和多张参考图像，并在测量图像中选择背景区域；
所述的背景区域的兴趣点匹配，根据Harris角点强度，提取并保留测量图像以及参考图像背景区域中的兴趣点，提取其中的SIFT兴趣点描述子，根据欧式距离计算两幅图像SIFT点对描述子相似度矩阵，并根据二分图匹配算法获取匹配点对；
所述的基于背景的几何校正建模，获取其匹配点对，并基于匹配点对利用迭代误差法建立几何校正映射矩阵模型；
所述的基于几何校正误差的噪声匹配点抑制，根据几何校正映射矩阵模型，校正参考图像，根据背景区域中的匹配点对，计算欧式距离并设置阈值，将误差较大的兴趣点作为噪声进行抑制，仅保留背景区域中误差较小的匹配点对；
所述的基于噪声匹配点抑制的几何校正建模，针对噪声抑制后的匹配点对，获取其坐标集合，并利用迭代误差拟合求解几何校正映射矩阵模型参数，根据几何校正映射矩阵，对参考图像进行几何校正；
所述的足部点微调，将测量图像边缘与测量图像和场景几何校正后的参考图像分别融合，获得目标边缘合成图像和比对图像，根据测量图像与参考图像的足部点误差，对参考图像进行水平平移几何校正，获得足部对齐的参考图像。
所述的背景区域选择，包括以下步骤：
步骤S1-1：输入测量图像imgm和多张参考图像Imgf＝{imgf}；
步骤S1-2：在测量图像中，选择背景区域bgbox；
所述的背景区域的兴趣点匹配，包括以下步骤：
步骤S2-1：根据harris角点强度，设置阈值，提取测量图像兴趣点位置：
PTa,m＝{ptm|Harris(ptm)>τH},其中τH为harris角点强度的阈值；
步骤S2-2：仅保留测量图像背景区域中的兴趣点：
PTb,m＝{ptm|ptm∈bgbox,ptm∈PTa,m}
步骤S2-3：对测量图像兴趣点PTb,m，提取SIFT兴趣点描述子SIFTb,m＝{siftb,m,i}；
步骤S2-4：对参考图像imgf，重复步骤S2-1和步骤S2-2，提取背景区域的兴趣点PTb,f；
步骤S2-5：对参考图像兴趣点PTb,f，提取SIFT兴趣点描述子SIFTb,f＝{siftb,f,j}；
步骤S2-6：根据欧式距离Euc(·,·)，计算两幅图像SIFT点对描述子相似度矩阵：
S＝{sij},sij＝Euc(siftb,m,i,siftb,f,j)
步骤S2-7：根据二分图匹配算法，查找相似度矩阵S中的最大值，获取匹配点对pair(i,j)。
所述的基于背景的几何校正建模，包括以下步骤：
步骤S3-1：获取匹配点对pair(i,j)的坐标集合<PTb,m,PTb,f>；
步骤S3-2：针对坐标集合<PTb,m,PTb,f>，利用迭代误差法求解几何校正映射矩阵模型参数homob＝[kb,bb]，其中kb代表几何校正方程中一次项系数，bb代表几何校正方程中常数项系数；
步骤S3-2-1：基于背景兴趣点的几何校正
Figure BDA0001486831990000041
步骤S3-2-2：初始化噪声匹配点抑制的几何校正线性模型参数kb＝1,bb＝0，设置学习步长η；
步骤S3-2-3：计算噪声匹配点抑制的几何校正线性模型误差，其中误差采用匹配后点与真实点之间的欧式距离描述：
Figure BDA0001486831990000042
步骤S3-2-4：计算kb参数的梯度：
Figure BDA0001486831990000043
步骤S3-2-5：根据负梯度方向，更新参数：
Figure BDA0001486831990000044
步骤S3-2-6：计算bb参数的梯度：
Figure BDA0001486831990000045
步骤S3-2-7：根据负梯度方向，更新参数：
Figure BDA0001486831990000046
步骤S3-2-8：迭代重复步骤S3-2-3到S3-2-7，直到误差Errb稳定；
步骤S3-2-9：获取稳定误差下的系数模型
Figure BDA00014868319900000410
其中
Figure BDA0001486831990000047
代表几何校正中稳定状态下的一次项系数，
Figure BDA0001486831990000048
代表几何校正中稳定状态下的常数项系数。所述的基于几何校正误差的噪声匹配点抑制，包括以下步骤：
步骤S4-1：根据几何校正映射矩阵
Figure BDA0001486831990000049
对参考图像进行几何校正：
Figure BDA0001486831990000051
步骤S4-2：根据背景区域中的匹配点对，计算测量图像的配准点PTb,m与映射坐标PTc,f的欧式距离Euc(·,·)，其中match(i)表示与测量图像兴趣点i匹配成功的参考图像兴趣点；其公式如下：
disi,match(i)＝Euc(ptb,m,i,ptc,f,match(i))
步骤S4-3：设置阈值，将误差较大的兴趣点作为噪声进行抑制，仅保留误差较小的匹配点对paird(i,j)，该匹配点对均在背景区域中。
所述的基于噪声匹配点抑制的几何校正建模，包括以下步骤：
步骤S5-1：针对噪声抑制后的匹配点对paird(i,j)，获取其的坐标集合<PTd,m,PTd,f>；
步骤S5-2：针对坐标集合<PTd,m,PTd,f>，利用迭代误差拟合求解几何校正映射矩阵模型参数homod＝[kd,bd]；
步骤S5-2-1：基于噪声匹配点抑制的几何校正
Figure BDA0001486831990000052
步骤S5-2-2：初始化噪声匹配点抑制的几何校正线性模型参数kd＝1,bd＝0，设置学习步长η；
步骤S5-2-3：计算噪声匹配点抑制的几何校正线性模型误差，其中误差采用匹配后点与真实点之间的欧式距离描述：
Figure BDA0001486831990000053
步骤S5-2-4：计算kd参数的梯度：
Figure BDA0001486831990000054
步骤S5-2-5：根据负梯度方向，更新参数：
Figure BDA0001486831990000061
步骤S5-2-6：计算bd参数的梯度：
Figure BDA0001486831990000062
步骤S5-2-7：根据负梯度方向，更新参数：
Figure BDA0001486831990000063
步骤S5-2-8：迭代重复步骤S5-2-3到S5-2-7，直到误差Errd稳定；
步骤S5-2-9：获取稳定误差下的系数模型
Figure BDA0001486831990000064
步骤S5-3：根据几何校正映射矩阵
Figure BDA0001486831990000065
对参考图像imgf进行几何校正，获得校正后图像imgr，同理对其他参考图像进行场景几何校正Imgr＝{imgr}。
所述的足部点微调，包括以下步骤：
步骤S6-1：对测量目标区域进行边缘检测，获得边缘二值掩膜bwm；
步骤S6-2：将测量图像与边缘二值掩膜融合，获得目标边缘合成图像objm；
步骤S6-3：根据目标边缘合成图像，进行足部点标定，获取足部坐标footpm；
步骤S6-4：将测量图像边缘bwm与场景几何校正后参考图像imgr融合，获得比对图像compf；
步骤S6-5：标定参考图像足部点footpf；
步骤S6-6：根据测量图像与参考图像的足部点误差，对参考图像进行水平平移几何校正，获得足部对齐的参考图像imgt。
本发明的优点是：本发明克服了成像坐标在对齐标定中受到背景信息、复杂结构混杂信息、足部近邻结构信息的干扰，解决多幅参考图像拟合结果的不一致性等问题，与已有技术相比，本发明的主要优势如下：
(1)几何校正方法需要场景静止的假设，但是前景目标在场景采集过程中存在位移，因此，通过选择背景区域，抑制前景目标信息后，能够更准确地实现场景几何校正。
(2)背景中存在大量相似的局部结构信息，致使SIFT描述子不能有效区分外观相似点，容易造成测量图像和参考图像错误匹配点。错误匹配点在几何校正后存在较大的位移，因此，设置阈值可以检测出噪声匹配点，通过对抑制后的匹配点对，可以进一步降低局部结构对场景几何校正的干扰。
(3)通过匹配点对，利用迭代误差法求解几何校正映射矩阵模型参数，提高了参数准确度和模型的精度。
(4)场景校正后，仍然需要对场景的足部区域标定，以便观察足部是否重合，对未重合的图像进行足部区域平移校正，能够降低标定的误差，提高场景适应度。
附图说明
图1为本发明提出的成像坐标校正方法流程图。
图2为本发明实施例中参考图像场景几何校正过程；(a)是背景区域选择图，(b)是背景区域SIFT匹配点对图，(c)是去噪后的SIFT匹配对图，(d)是场景几何校正图。
图3为本发明实施例中测量图像边缘与测量图像和参考图像的融合过程；(a)是测量图像边缘融合图像，(b)是参考图像边缘融合图像。
图4为本发明实施例中足部点微调过程图；(a)是测量图像足部点标定图，(b)是参考图像足部误差图，(c)是参考图像足部对齐几何校正图。
具体实施方式
如图1所示，一种基于匹配误差抑制的成像坐标校正方法，包括有以下步骤：背景区域选择、背景区域的兴趣点匹配、基于背景的几何校正建模、基于几何校正误差的噪声匹配点抑制、基于噪声匹配点抑制的几何校正建模和足部点微调；
所述的背景区域选择，输入测量图像和多张参考图像，并在测量图像中选择背景区域；
所述的背景区域的兴趣点匹配，根据Harris角点强度，提取并保留测量图像以及参考图像背景区域中的兴趣点，提取其中的SIFT兴趣点描述子，根据欧式距离计算两幅图像SIFT点对描述子相似度矩阵，并根据二分图匹配算法获取匹配点对；
所述的基于背景的几何校正建模，获取其匹配点对，并基于匹配点对利用迭代误差法建立几何校正映射矩阵模型；
所述的基于几何校正误差的噪声匹配点抑制，根据几何校正映射矩阵模型，校正参考图像，根据背景区域中的匹配点对，计算欧式距离并设置阈值，将误差较大的兴趣点作为噪声进行抑制，仅保留背景区域中误差较小的匹配点对；
所述的基于噪声匹配点抑制的几何校正建模，针对噪声抑制后的匹配点对，获取其坐标集合，并利用迭代误差拟合求解几何校正映射矩阵模型参数，根据几何校正映射矩阵，对参考图像进行几何校正；
所述的足部点微调，将测量图像边缘与测量图像和场景几何校正后的参考图像分别融合，获得目标边缘合成图像和比对图像，根据测量图像与参考图像的足部点误差，对参考图像进行水平平移几何校正，获得足部对齐的参考图像。
所述的背景区域选择，包括以下步骤：
步骤S1-1：输入测量图像imgm和多张参考图像Imgf＝{imgf}；
步骤S1-2：在测量图像中，选择背景区域bgbox；如图2(a)所示。
所述的背景区域的兴趣点匹配，包括以下步骤：
步骤S2-1：根据harris角点强度，设置阈值，提取测量图像兴趣点位置：
PTa,m＝{ptm|Harris(ptm)>τH},其中τH为harris角点强度的阈值；
步骤S2-2：仅保留测量图像背景区域中的兴趣点：
PTb,m＝{ptm|ptm∈bgbox,ptm∈PTa,m}
步骤S2-3：对测量图像兴趣点PTb,m，提取SIFT兴趣点描述子SIFTb,m＝{siftb,m,i}；
步骤S2-4：对参考图像imgf，重复步骤S2-1和步骤S2-2，提取背景区域的兴趣点PTb,f；
步骤S2-5：对参考图像兴趣点PTb,f，提取SIFT兴趣点描述子SIFTb,f＝{siftb,f,j}；
步骤S2-6：根据欧式距离Euc(·,·)，计算两幅图像SIFT点对描述子相似度矩阵：
S＝{sij},sij＝Euc(siftb,m,i,siftb,f,j)
步骤S2-7：根据二分图匹配算法，查找相似度矩阵S中的最大值，获取匹配点对pair(i,j)，如图2(b)。
所述的基于背景的几何校正建模，包括以下步骤：
步骤S3-1：获取匹配点对pair(i,j)的坐标集合<PTb,m,PTb,f>；
步骤S3-2：针对坐标集合<PTb,m,PTb,f>，利用迭代误差法求解几何校正映射矩阵模型参数homob＝[kb,bb]，其中kb代表几何校正方程中一次项系数，bb代表几何校正方程中常数项系数；
步骤S3-2-1：基于背景兴趣点的几何校正
Figure BDA0001486831990000091
步骤S3-2-2：初始化噪声匹配点抑制的几何校正线性模型参数kb＝1,bb＝0，设置学习步长η；
步骤S3-2-3：计算噪声匹配点抑制的几何校正线性模型误差，其中误差采用匹配后点与真实点之间的欧式距离描述：
Figure BDA0001486831990000092
步骤S3-2-4：计算kb参数的梯度：
Figure BDA0001486831990000093
步骤S3-2-5：根据负梯度方向，更新参数：
Figure BDA0001486831990000094
步骤S3-2-6：计算bb参数的梯度：
Figure BDA0001486831990000101
步骤S3-2-7：根据负梯度方向，更新参数：
Figure BDA0001486831990000102
步骤S3-2-8：迭代重复步骤S3-2-3到S3-2-7，直到误差Errb稳定；
步骤S3-2-9：获取稳定误差下的系数模型
Figure BDA0001486831990000103
其中
Figure BDA0001486831990000104
代表几何校正中稳定状态下的一次项系数，
Figure BDA0001486831990000105
代表几何校正中稳定状态下的常数项系数。所述的基于几何校正误差的噪声匹配点抑制，包括以下步骤：
步骤S4-1：根据几何校正映射矩阵
Figure BDA0001486831990000106
对参考图像进行几何校正：
Figure BDA0001486831990000107
步骤S4-2：根据背景区域中的匹配点对，计算测量图像的配准点PTb,m与映射坐标PTc,f的欧式距离Euc(·,·)，其中match(i)表示与测量图像兴趣点i匹配成功的参考图像兴趣点；其公式如下：
disi,match(i)＝Euc(ptb,m,i,ptc,f,match(i))
步骤S4-3：设置阈值，将误差较大的兴趣点作为噪声进行抑制，仅保留误差较小的匹配点对paird(i,j)，该匹配点对均在背景区域中，如图2(c)。
所述的基于噪声匹配点抑制的几何校正建模，包括以下步骤：
步骤S5-1：针对噪声抑制后的匹配点对paird(i,j)，获取其的坐标集合<PTd,m,PTd,f>；
步骤S5-2：针对坐标集合<PTd,m,PTd,f>，利用迭代误差拟合求解几何校正映射矩阵模型参数homod＝[kd,bd]；
步骤S5-2-1：基于噪声匹配点抑制的几何校正
Figure BDA0001486831990000111
步骤S5-2-2：初始化噪声匹配点抑制的几何校正线性模型参数kd＝1,bd＝0，设置学习步长η；
步骤S5-2-3：计算噪声匹配点抑制的几何校正线性模型误差，其中误差采用匹配后点与真实点之间的欧式距离描述：
Figure BDA0001486831990000112
步骤S5-2-4：计算kd参数的梯度：
Figure BDA0001486831990000113
步骤S5-2-5：根据负梯度方向，更新参数：
Figure BDA0001486831990000114
步骤S5-2-6：计算bd参数的梯度：
Figure BDA0001486831990000115
步骤S5-2-7：根据负梯度方向，更新参数：
Figure BDA0001486831990000116
步骤S5-2-8：迭代重复步骤S5-2-3到S5-2-7，直到误差Errd稳定；
步骤S5-2-9：获取稳定误差下的系数模型
Figure BDA0001486831990000117
步骤S5-3：根据几何校正映射矩阵
Figure BDA0001486831990000118
对参考图像imgf进行几何校正，获得校正后图像imgr，，如图2(d)，同理对其他参考图像进行场景几何校正Imgr＝{imgr}。
所述的足部点微调，包括以下步骤：
步骤S6-1：对测量目标区域进行边缘检测，获得边缘二值掩膜bwm；
步骤S6-2：将测量图像与边缘二值掩膜融合，获得目标边缘合成图像objm，如图3(a)；
步骤S6-3：根据目标边缘合成图像，进行足部点标定，获取足部坐标footpm，如图4(a)；
步骤S6-4：将测量图像边缘bwm与场景几何校正后参考图像imgr融合，获得比对图像compf；，如图3(b)。同时，图4(b)显示了比对图像足部区域放大后的效果，直观看出足部坐标还未对齐。
步骤S6-5：标定参考图像足部点footpf；
步骤S6-6：根据测量图像与参考图像的足部点误差，对参考图像进行水平平移几何校正，获得足部对齐的参考图像imgt，图4(c)显示了足部平移校正后的参考图像与测量图像合成的效果，可以看出足部坐标实现对齐。

Claims (7)

1.一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：包括有以下步骤：背景区域选择、背景区域的兴趣点匹配、基于背景的几何校正建模、基于几何校正误差的噪声匹配点抑制、基于噪声匹配点抑制的几何校正建模和足后跟点微调；
所述的背景区域选择，输入测量图像和多张参考图像，并在测量图像中选择背景区域；
所述的背景区域的兴趣点匹配，根据Harris角点强度，提取并保留测量图像以及参考图像背景区域中的兴趣点，提取其中的SIFT兴趣点描述子，根据欧式距离计算两幅图像SIFT点对描述子相似度矩阵，并根据二分图匹配算法获取匹配点对；
所述的基于背景的几何校正建模，获取其匹配点对，并基于匹配点对利用迭代误差法建立几何校正映射矩阵模型；
所述的基于几何校正误差的噪声匹配点抑制，根据几何校正映射矩阵模型，校正参考图像，根据背景区域中的匹配点对，计算欧式距离并设置阈值，将误差较大的兴趣点作为噪声进行抑制，仅保留背景区域中误差较小的匹配点对；
所述的基于噪声匹配点抑制的几何校正建模，针对噪声抑制后的匹配点对，获取其坐标集合，并利用迭代误差拟合求解几何校正映射矩阵模型参数，根据几何校正映射矩阵，对参考图像进行几何校正；
所述的足后跟点微调，将边缘二值掩模与测量图像和场景几何校正后的参考图像分别融合，获得目标边缘合成图像和比对图像，根据测量图像与参考图像的足后跟点误差，对参考图像进行水平平移几何校正，获得足部对齐的参考图像。
2.根据权利要求1所述的一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：所述的背景区域选择，包括以下步骤：
步骤S1-1：输入测量图像imgm和多张参考图像Imgf＝{imgf}；
步骤S1-2：在测量图像中，选择背景区域bgbox。
3.根据权利要求2所述的一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：所述的背景区域的兴趣点匹配，包括以下步骤：
步骤S2-1：根据harris角点强度，设置阈 值，提取测量图像兴趣点位置：
PTa，m＝{ptm|Harris(ptm)＞τH}，其中τH为harris角点强度的阈值；
步骤S2-2：仅保留测量图像背景区域中的兴趣点：
PTb，m＝{ptm|ptm∈bgbox，ptm∈PTa，m}
步骤S2-3：对测量图像兴趣点PTb，m，提取SIFT兴趣点描述子SIFTb，m＝{siftb，m，i}；
步骤S2-4：对参考图像imgf，重复步骤S2-1和步骤S2-2，提取背景区域的兴趣点PTb，f；
步骤S2-5：对背景区域的兴趣点PTb，f，提取SIFT兴趣点描述子SIFTb，f＝{siftb，f，j}；
步骤S2-6：根据欧式距离Euc(·，·)，计算两幅图像SIFT点对描述子相似度矩阵：
S＝{sij}，sij＝Euc(siftb，m，i，siftb，f，j)
步骤S2-7：根据二分图匹配算法，查找相似度矩阵S中的最大值，获取匹配点对pair(i，j)。
4.根据权利要求3所述的一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：所述的基于背景的几何校正建模，包括以下步骤：
步骤S3-1：获取匹配点对pair(i，j)的坐标集合<PTb，m，PTb，f>；
步骤S3-2：针对坐标集合<PTb，m，PTb，f>，利用迭代误差法求解几何校正映射矩阵模型参数homob＝[kb，bb]，其中kb代表几何校正方程中一次项系数，bb代表几何校正方程中常数项系数；
步骤S3-2-1：基干背景兴趣点的几何校正
Figure FDA0003109982780000021
步骤S3-2-2：初始化噪声匹配点抑制的几何校正线性模型参数kb＝1，bb＝0，设置学习步长η；
步骤S3-2-3：计算噪声匹配点抑制的几何校正线性模型误差，其中误差采用匹配后点与真实点之间的欧式距离描述：
Figure FDA0003109982780000031
步骤S3-2-4：计算kb参数的梯度：
Figure FDA0003109982780000032
步骤S3-2-5：根据负梯度方向，更新参数：
Figure FDA0003109982780000033
步骤S3-2-6：计算bb参数的梯度：
Figure FDA0003109982780000034
步骤S3-2-7：根据负梯度方向，更新参数：
Figure FDA0003109982780000035
步骤S3-2-8：迭代重复步骤S3-2-3到S3-2-7，直到误差Errb稳定；
步骤S3-2-9：获取稳定误差下的系数模型
Figure FDA0003109982780000036
其中
Figure FDA0003109982780000037
代表几何校正中稳定状态下的一次项系数，
Figure FDA0003109982780000038
代表几何校正中稳定状态下的常数项系数。
5.根据权利要求4所述的一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：所述的基于几何校正误差的噪声匹配点抑制，包括以下步骤：
步骤S4-1：根据几何校正映射矩阵
Figure FDA0003109982780000039
对参考图像进行几何校正：
Figure FDA00031099827800000310
步骤S4-2：根据背景区域中的匹配点对，计算测量图像的配准点PTb，m与映射坐标PTc，f的欧式距离
Figure FDA00031099827800000311
其中match(i)表示与测量图像兴趣点i匹配成功的背景区域的兴趣点；其公式如下：
disi，match(i)＝Euc(ptb，m，i，ptc，f，match(i))
步骤S4-3：设置阈值，将误差较大的兴趣点作为噪声进行抑制，仅保留误差较小的匹配点对paird(i，j)，该匹配点对均在背景区域中。
6.根据权利要求5所述的一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：所述的基于噪声匹配点抑制的几何校正建模，包括以下步骤：
步骤S5-1：针对噪声抑制后的匹配点对paird(i，j)，获取其的坐标集合<PTd，m，PTd，f＞；
步骤S5-2：针对坐标集合<PTd，m，PTd，f>，利用迭代误差拟合求解几何校正映射矩阵模型参数homod＝[kd，bd]；
步骤S5-2-1：基于噪声匹配点抑制的几何校正
Figure FDA0003109982780000041
步骤S5-2-2：初始化噪声匹配点抑制的几何校正线性模型参数kd＝1，bd＝0，设置学习步长η；
步骤S5-2-3：计算噪声匹配点抑制的几何校正线性模型误差，其中误差采用匹配后点与真实点之间的欧式距离描述：
Figure FDA0003109982780000042
步骤S5-2-4：计算kd参数的梯度：
Figure FDA0003109982780000043
步骤S5-2-5：根据负梯度方向，更新参数：
Figure FDA0003109982780000044
步骤S5-2-6：计算bd参数的梯度：
Figure FDA0003109982780000051
步骤S5-2-7：根据负梯度方向，更新参数：
Figure FDA0003109982780000052
步骤S5-2-8：迭代重复步骤S5-2-3到S5-2-7，直到误差Errd稳定；
步骤S5-2-9：获取稳定误差下的系数模型
Figure FDA0003109982780000053
步骤S5-3：根据几何校正映射矩阵
Figure FDA0003109982780000054
对参考图像imgf进行几何校正，获得校正后图像imgr，同理对其他参考图像进行场景几何校正Imgr＝{imgr}。
7.根据权利要求6所述的一种基于匹配误差抑制的人物成像坐标校正方法，其特征在于：所述的足后跟点微调，包括以下步骤：
步骤S6-1：对测量目标区域进行边缘检测，获得边缘二值掩膜bwm；
步骤S6-2：将测量图像与边缘二值掩膜融合，获得目标边缘合成图像objm；
步骤S6-3：根据目标边缘合成图像，进行足后跟点标定，获取足部坐标footpm ；
步骤S6-4：将边缘二值掩模bwm与场景几何校正后参考图像imgr融合，获得比对图像compf；
步骤S6-5：标定参考图像足后跟点footpf；
步骤S6-6：根据测量图像与参考图像的足后跟点误差，对参考图像进行水平平移几何校正，获得足部对齐的参考图像imgt。
CN201711223610.8A 2017-11-29 2017-11-29 一种基于匹配误差抑制的成像坐标校正方法 Active CN108053370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711223610.8A CN108053370B (zh) 2017-11-29 2017-11-29 一种基于匹配误差抑制的成像坐标校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711223610.8A CN108053370B (zh) 2017-11-29 2017-11-29 一种基于匹配误差抑制的成像坐标校正方法

Publications (2)

Publication Number Publication Date
CN108053370A CN108053370A (zh) 2018-05-18
CN108053370B true CN108053370B (zh) 2021-08-06

Family

ID=62120988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711223610.8A Active CN108053370B (zh) 2017-11-29 2017-11-29 一种基于匹配误差抑制的成像坐标校正方法

Country Status (1)

Country Link
CN (1) CN108053370B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280815B (zh) * 2018-02-26 2021-10-22 安徽新闻出版职业技术学院 一种面向监控场景结构的几何校正方法
CN109064563A (zh) * 2018-08-22 2018-12-21 重庆环漫科技有限公司 一种3d开发的边缘融合程序中实时控制模型顶点的方法
CN110415339B (zh) * 2019-07-19 2021-07-13 清华大学 计算输入三维形体间的匹配关系的方法和装置
CN113658080B (zh) * 2021-08-23 2023-12-22 宁波棱镜空间智能科技有限公司 一种基于特征点匹配的线扫圆柱体几何校正方法及装置
CN114943764B (zh) * 2022-05-19 2023-05-26 苏州华兴源创科技股份有限公司 曲面屏幕像素定位方法、装置和设备
CN117078735A (zh) * 2023-08-14 2023-11-17 广州广电运通智能科技有限公司 身高检测方法、系统、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008886A (ko) * 2008-07-17 2010-01-27 서울대학교산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
CN103822616A (zh) * 2014-03-18 2014-05-28 武汉大学 一种图分割与地形起伏约束相结合的遥感影像匹配方法
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN104200461A (zh) * 2014-08-04 2014-12-10 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法
CN105005962A (zh) * 2015-08-14 2015-10-28 南京大学 基于分层筛选策略的岛礁遥感影像配准方法
CN105608689A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接消除图像特征误匹配方法及装置
CN106355577A (zh) * 2016-09-08 2017-01-25 武汉科技大学 基于特征状态与全局一致性的快速图像匹配方法及系统
CN104915957B (zh) * 2015-05-29 2017-10-27 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008886A (ko) * 2008-07-17 2010-01-27 서울대학교산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN103822616A (zh) * 2014-03-18 2014-05-28 武汉大学 一种图分割与地形起伏约束相结合的遥感影像匹配方法
CN104200461A (zh) * 2014-08-04 2014-12-10 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法
CN105608689A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接消除图像特征误匹配方法及装置
CN104915957B (zh) * 2015-05-29 2017-10-27 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN105005962A (zh) * 2015-08-14 2015-10-28 南京大学 基于分层筛选策略的岛礁遥感影像配准方法
CN106355577A (zh) * 2016-09-08 2017-01-25 武汉科技大学 基于特征状态与全局一致性的快速图像匹配方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Accurate and automatic NOAA-AVHRR image navigation using a global contour matching approach;F. Eugenio et al;《IGARSS 2000. IEEE 2000 International Geoscience and Remote Sensing Symposium. Taking the Pulse of the Planet: The Role of Remote Sensing in Managing the Environment. Proceedings (Cat. No.00CH37120)》;20020806;第639-641页 *
基于局部特征和进化算法的人脸识别;李根;《中国博士学位论文全文数据库电子期刊 信息科技辑》;20140915;第2014年卷(第9期);第I138-45页 *
复杂场景下目标跟踪的多模板匹配算法研究;胡璟璟;《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》;20120215;第2012年卷(第2期);第I138-2219页 *

Also Published As

Publication number Publication date
CN108053370A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN108053370B (zh) 一种基于匹配误差抑制的成像坐标校正方法
Feng et al. Robust registration for remote sensing images by combining and localizing feature-and area-based methods
Ye et al. A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences
Fu et al. Texture mapping for 3d reconstruction with rgb-d sensor
CN110866924A (zh) 一种线结构光中心线提取方法及存储介质
CN112200203B (zh) 斜视场下弱相关散斑图像的匹配方法
GB2557398A (en) Method and system for creating images
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
CN113920205B (zh) 一种非同轴相机的标定方法
CN111899290A (zh) 一种联合偏振和双目视觉的三维重建方法
Han et al. LiDAR point cloud registration by image detection technique
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
Wang Automatic extraction of building outline from high resolution aerial imagery
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN111951178B (zh) 显著提升图像质量的图像处理方法、装置和电子设备
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
CN112950527B (zh) 一种基于限定几何关联约束的立体匹配形貌测量方法
KR20050063991A (ko) 영상 피라미드를 이용한 영상정합 처리방법 및 장치
CN110503604B (zh) 一种基于高精度pos的航空面阵影像实时正射拼接方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
KR20200078723A (ko) 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
CN108280815B (zh) 一种面向监控场景结构的几何校正方法
CN108596950B (zh) 一种基于主动漂移矫正的刚体目标跟踪方法
CN112767481A (zh) 一种基于视觉边缘特征的高精度定位及建图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant