CN105069743A - 探测器拼接实时图像配准的方法 - Google Patents
探测器拼接实时图像配准的方法 Download PDFInfo
- Publication number
- CN105069743A CN105069743A CN201510449736.1A CN201510449736A CN105069743A CN 105069743 A CN105069743 A CN 105069743A CN 201510449736 A CN201510449736 A CN 201510449736A CN 105069743 A CN105069743 A CN 105069743A
- Authority
- CN
- China
- Prior art keywords
- detector
- matrix
- image
- registration
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
探测器拼接实时图像配准的方法，涉及光电图像处理技术领域，解决现有图像配准方法存在易受图像噪声、光照强度和重叠区域等影响，同时存在配准过程复杂等问题，通过标定结果计算拼接成像重叠区域提高了特征检测效率，通过标定结果能够有针对性选取配准变换所采用的矩阵模型，采用基于CUDA的SURF方法检测提取重叠区域图像的候选特征点集。然后，运用CUBLAS加速基于随机KD-Tree索引的ANN算法，用于获取初始匹配点对。采用基于全局优化的PROSAC算法，用于剔除误匹配点对和空间变换矩阵的参数估计。获得实时性更好、精准度更高和鲁棒性更强的图像配准结果。
Description
技术领域
本发明涉及光电图像处理技术领域，具体涉及一种探测器拼接实时图像配准方法，还可用于微扫描成像运动参数估计、计算机视觉与模式识别和视频监控目标跟踪等技术领域。
背景技术
图像配准是对同一场景下的两幅及两幅以上图像重叠区域进行最佳匹配的过程，其核心问题是如何保证配准的速度、精准度和稳定性。
目前，图像配准方法根据从图像中提取的可用配准对象的不同大致分为两类：基于灰度信息的配准方法和基于特征信息的配准方法。基于灰度信息的配准方法容易受图像噪声、光照强度和重叠区域大小的影响，在实际工程应用中限定了该方法的使用范围。基于特征信息的配准方法，能对旋转、尺度缩放、光照变化、仿射变换、视角变化等因素保持一定的不变性，而且对物体运动、遮挡、噪声等因素也保持了较好的可匹配性，但是配准过程计算过程复杂度极高并且非常耗时。针对多传感器阵列拼接成像，上述方法都难以满足工程应用对图像配准实时性的要求。因此，实时性好的图像配准方法逐渐成为信息光学与计算机视觉领域的一个重要研究方向。
发明内容
本发明为解决现有图像配准方法存在易受图像噪声、光照强度和重叠区域等影响，同时存在配准过程复杂等问题，提供一种探测器拼接实时图像配准的方法。
步骤一、探测器拼接重叠区域标定；采用探测器空间位置标定装置对相邻探测器拼接重叠区域进行标定；
步骤二、图像特征检测与提取；输入基准图像和待配准图像，对输入的基准图像进行畸变校正预处理，采用基于并行计算架构的快速鲁棒特征方法检测并提取探测器拼接成像重叠区域的特征点；
步骤三、图像特征点匹配；根据步骤二中提取重叠区域的特征点，运用基本线性代数运算子程序加速基于随机KD-Tree索引的近似最近邻搜索算法，获取基准图像和待配准图像的初始匹配点对；
步骤四、确定配准变换模型；根据步骤一中相邻探测器拼接重叠区域标定的结果，确定步骤三中基准图像和待配准图像配准变换的矩阵模型；
步骤五、矩阵模型参数估计，对步骤四中确定的矩阵模型采用基于全局优化的并行渐近式抽样一致性算法，完成配准变换模型的参数估计；
步骤六、配准图像空间几何变换；采用步骤五中的参数估计值对待配准图像进行空间几何变换，获得配准变换后的图像。
本发明的有益效果：本发明所述的探测器拼接实时图像配准方法，实时性更好、精准度更高和鲁棒性更强的图像配准结果。
一、本发明采用图像配准的探测器空间位置标定装置。首先，通过标定结果计算拼接成像重叠区域，缩小了图像配准特征检测提取范围，提高了特征检测效率，并为下一步特征匹配提供了优质样本集，能够有效地避免误匹配现象的发生；其次，通过标定结果有针对性选取配准变换所采用的矩阵变换模型，从而确定模型中参数个数，提高了模型参数估计效率。
二、本发明提出了基于统一计算设备架构(CUDA)与先验信息相结合的自适应图像配准并行加速方法。首先，采用基于CUDA的快速鲁棒特征(SURF)方法检测提取重叠区域图像的候选特征点集。然后，运用基本线性代数运算子程序(CUBLAS)加速基于随机KD-Tree索引的近似最近邻搜索(ANN)算法，用于获取初始匹配点对。最后，提出一种基于全局优化的并行渐近式抽样一致性(PROSAC)算法，用于剔除误匹配点对和空间变换矩阵的参数估计，得到配准图像的空间几何变换关系。从而能够获得实时性更好、精准度更高和鲁棒性更强的图像配准结果。
附图说明
图1为本发明所述的探测器拼接实时图像配准的方法中探测器拼接空间排布示意图；
图2为本发明所述的探测器拼接实时图像配准的方法中明探测器空间位置标定装置示意图；
图3为本发明所述的探测器拼接实时图像配准的方法中探测器空间位置标定方法的原理示意图；
图4为本发明所述的探测器拼接实时图像配准的方法的流程图；
图5为采用本发明所述的探测器拼接实时图像配准的方法实拍1024×768基准图像效果图；
图6为采用本发明所述的探测器拼接实时图像配准的方法实拍1024×768待配准图像的效果图；
图7为采用本发明所述的探测器拼接实时图像配准的方法配准后的图像效果图。
具体实施方式
具体实施方式一、结合图1至图7说明本实施方式，探测器拼接实时图像配准方法，该方法由以下步骤实现：
步骤一、探测器拼接重叠区域标定，采用基于电子经纬仪的角度补偿原理，构建探测器空间位置标定装置，用于完成相邻探测器拼接重叠区域的精确标定；
步骤二、图像特征检测与提取。输入基准图像I1和待配准图像I2，完成对输入图像畸变校正预处理，采用基于CUDA的快速鲁棒特征(SURF)方法检测并提取两幅图像重叠区域的特征点。
步骤三、图像特征点匹配。运用基本线性代数运算子程序(CUBLAS)加速基于随机KD-Tree索引的近似最近邻搜索(ANN)算法，用于获取两幅图像的初始匹配点对。
步骤四、确定配准变换模型。依据相邻探测器拼接空间位置的标定计算结果，采用了二维投影变换矩阵作为空间变换模型，配准变换矩阵M模型如下：
设I1＝(x1,y1)，I2＝(x2,y2)是匹配成功的特征点对，则有
步骤五、矩阵模型参数估计。提出基于全局优化的并行渐近式抽样一致性(PROSAC)算法，用于完成配准变换模型的参数估计。
步骤六、配准图像空间几何变换。利用步骤五中的参数估计值完成待配准图像I2的空间几何变换，并输出配准变换后的图像I3。
本实施方式选取一种多探测器曲面拼接成像系统，该系统通过多组探测器阵列与各自光轴不同方向的错位安装，形成多组错开互补的网状图像，通过图像拼接配准获取无缝大视场图像。其中，探测器阵列拼接排布如图1所示，水平棱线a上探测器规则排布，相邻微相机光轴之间的夹角为7°，其余位置探测器排布无严格规律性。
结合图2，本实施方式步骤一中所述的探测器空间位置标定装置，主要包括由改造式发光经纬仪1、水平导轨2、竖直导轨3和直角固定块5组成的二维平移台、载物台4和伺服控制器组成，为保证装置的标定精度，需要更换经纬仪分划板，同时通过正倒镜方法将分划板十字丝调至与视轴对准，并在经纬仪基座增加三个螺纹孔，通过配套螺栓将经纬仪1固定于载物台4面，用直角固定块5保证标定过程中水平导轨2和竖直导轨3的垂直度，伺服控制器用于驱动水平导轨2和竖直导轨3的位移和经纬仪转动。
具体标定过程为：以多探测器支撑穹顶曲面中心处探测器作为零位基准，建立如图2左上角所示的直角坐标系。其中，水平导轨2和竖直导轨3的轴线分别记作X轴和Y轴，基准探测器法线方向为Z轴，水平导轨位移为x，竖直导轨位移为y，经纬仪水平方向转角θx，垂直方向转角θy，顺时针旋转为正。经纬仪发出带有十字丝图案的无穷远目标，通过求解运动位移方程，控制二维平移台和经纬仪运动到指定探测器的标定位置，完成各探测器空间位置的初步标定。
根据图1所示的多探测器曲面拼接排布，首先标定位于水平棱线a上的探测器，此时只有X轴方向位移x和水平方向转角θy的变化，而且相邻微相机光轴之间的夹角为7°，此时标定二维平移台的运动位移记作(x,y,θx,θy)，有：
其中，s为穹顶曲面中心到经纬仪转轴中心的距离，n为棱线a上探测器序号。
参照图1，然后标定其余探测器空间位置，具体方法如图3所示。数字编号表示平台从0′位置开始工作，箭头指向为经纬仪的出射主光线矢量(指向向量)方向，首先导轨沿X方向滑动到达位置1′，沿Y方向滑动到达位置2′，然后经纬仪水平转动θx到达位置3′，最后经纬仪垂直转动θy到达位置4′，以此运动规律，完成所有探测器空间位置的初步标定。
通过优化排布的探测器靶面中心位置坐标(xn，yn，zn)，计算出标定第n个探测器时经纬仪的水平角θy和垂直角θx：
对于二维平移台的位移量，有如下关系式：
从而得到标定二维平移台的运动位移为：
至此，根据优化后各探测器的中心位置坐标，通过求解运动位置方程(4)，控制标定二维平移台运动到指定位置，将经纬仪十字丝分别成像在各探测器靶面中心位置附近，完成所有探测器空间位置的初步标定。
最后，通过加权质心拟合算法，获取成像十字丝中心位置坐标(xc,yc)：
N′,M′分别为成像十字丝中心行和列的像素数，I(xi,yi)为成像十字丝中心第i行第j列像素点对应的光斑光强，ω为加权函数，由此得到十字丝中心位置坐标，对应探测器靶面中心位置坐标为(Xc,Yc),因此，相邻探测器的真实重叠区域大小Sc：
Sc＝(xc-Xc)·(yc-Yc)+(xc+1-Xc+1)·(yc+1-Yc+1)+SC(7)
SC为优化排布后c号探测器与c+1号探测器的理论重叠区域大小，依次求得所有相邻探测器真实拼接重叠区域大小，完成各探测器空间位置及拼接重叠区域的精确标定。
本实施方式中步骤二中图像特征检测与提取的具体过程为：
步骤二一、采用求解Fast-Hessian矩阵行列式近似值图像的方法并行构造金字塔尺度空间。
首先，采用方框滤波器近似代替二阶高斯滤波，构成一个Fast-Hessian矩阵，9×9的方框滤波模板，每个像素点被分派给一个线程处理，每个线程可以并行计算
在该尺度像素点的x方向、y方向和xy方向的滤波值，计算公式如下：
det(Happrox)＝DxxDyy-(0.9Dxy)2(8)
其中，Dxx、Dyy、Dxy为方框滤波器模板与图像进行卷积运算后的值，通过矩阵行列式和特征值来筛选极值点，若Fast-Hessian矩阵的行列式为正，且两个特征值为一正一负，则保留该极值点，从而得到一张Fast-Hessian矩阵行列式图。
然后，利用上述方法将构造金字塔尺寸空间过程并行化。其中，octave代表金字塔的顺序，这一逼近过程被分为K个线程进行并行计算，Hessian矩阵行列式的值在所有并行线程执行完成后被计算。
步骤二二、采用非极大值抑制(non-maximumsuppression，NMS)方法检测特征点，再采用三维线性插值法精确提取特征点。
首先，利用CUDA平台采用NMS方法对尺度空间所有像素进行并行处理，每个线程负责尺度空间内的像素点是否为特征点的判断，根据Fast-Hessian矩阵行列式求得尺度图像的极值点，与其三维邻域26个点进行比较，如果它是这26个点中的最大值或最小值，则保留下来。
然后，为了能够对候选特征点进行亚像素精确定位，采用三维线性插值法，同时筛掉那些小于一定阈值的点，得到精确定位的特征点。
步骤二三、通过计算特征邻域内的Harr小波响应值确定特征点主方向，生成特征描述向量。
首先，确定特征点主方向。
构建一个以特征点为圆心、6h(h为特征点的尺度)为半径的邻域，每个线程负责计算邻域内的点在水平方向和垂直方向Harr小波(Harr小波边长取4h)响应值，并给这些响应值赋予不同的高斯权重系数。
标定60度扇形区域的区域间隔进行旋转，每个线程负责将扇形区域水平方向和垂直方向Harr小波响应值相加求和，遍历整个圆形区域。
将相加求和得到的最大值扇形区域的方向作为该特征点的主方向。
然后，生成特征描述向量。
每个特征点对应一个线程块，构建一个以特征点为中心、边长20h×20h正方形邻域，将该区域划分为4×4个子区域，并行计算每个子区域5×5个采样点相对于主方向的水平和垂直方向的Harr小波响应值，分别计为dx和dy，并给这些响应值赋予不同的高斯权重系数，得到一个四维矢量V：
V＝(Σdx,Σ|dx|,Σdy,Σ|dy|,)(9)
本实施方式步骤三所述的图像特征点匹配的具体过程为：
步骤三一：计算参考图像与待匹配图像特征向量的欧式几何距离。
其中，x＝(x1,x2,…,x64)Τ和y＝(y1,y2,…,y64)Τ为待匹配的两个特征点SURF特征向量。
步骤三二：根据距离计算结果建立一个64维的二叉树索引数据结构。
步骤三三：针对每个特征点遍历整个64维二叉树，搜索近似最近邻结点和次近邻结点：
步骤三四：如果最近邻距离和次近邻距离的比值小于预先设定的阈值，则认为最近邻结点即为该特征点的匹配点对；否则，舍弃该点，继续遍历搜索。返回搜索结果。
为了便于CUBLAS并行加速ANN算法，首先将欧式距离计算公式重写如下形式：
dist＝(x-y)Τ(x-y)＝||x||2+||y||2-2xΤy(11)
其中||.||是欧氏范数的平方根，设R和Q为两个64×m和64×n的矩阵，包含有m个参考点和n个待匹配点。所有参考点与待匹配点之间的欧式距离可以表示为如下形式：
dist2(R,Q)＝NR+NQ-2RΤQ(12)
其中NR代表矩阵中第i行元素等于||ri||2，第j列元素都等于||qj||2。dist2(R,Q)在(12)式中的表达可以应用于CUBLAS。为了对内存资源合理配置，我们采用以下方法：首先，分别用m维和n维的向量存储NR和NQ。然后，(12)式中的加减运算采用传统CUDA内核来处理。
基于CUDA和CUBLAS的ANN搜索的并行计算如下：
步骤1：利用CUDA计算向量NR和NQ；
步骤2：利用CUBLAS计算m×n维矩阵A＝－2RTQ；
步骤3：将矩阵A第i行的每个元素与向量NR的第i个元素相加得到矩阵B；
步骤4：采用并行插值排序法对矩阵B的各列进行排序，获得的矩阵称为C；
步骤5：给矩阵C第j列的前k个元素与向量NQ的第j个元素相加得到矩阵D；
步骤6：计算矩阵D前k个元素的平方根，得到了k个最小的距离，获得的矩阵记作E；
步骤7：提取矩阵E中最前面的k×n子矩阵，得到的矩阵就是所要求的k个最临近每个待匹配点处的距离矩阵。
本实施方式中步骤配准变换的矩阵模型参数估计的具体过程为：
首先，初始化匹配点对集合S，利用并行排序算法对匹配点对欧式距离dist排序。
其次，确定样本采用次数N，内点集合大小为g。为充分利用GPU资源，提高算法效率，采样次数N设定为64的整数倍。
再次，每个线程负责从集合S中随机按顺序抽取3个数据和第p个数据组成初始采样样本；P为所述按顺序抽取3个数据以外的其它数据。
然后，利用公式(9)并行计算每个匹配点经矩阵M变换后到对应匹配点的欧式距离dist，通过与门限阈值T比较，若dist<T，则将该点作为内点。
最后，选取包含内点数目最多的一个内点集合(数目相同时，选择标准差较小的点集)再次并行计算变换矩阵M的参数。
所述样本采样满足如下约束条件：
一、必须保证采样样本中的4个匹配点对都在内点集合中的概率足够高，一般取值95％；二、3个内点不能共线，并行计算变换矩阵M的参数。
本实施方式所述的探测器拼接实时图像配准方法，采用的操作系统为Windows764位SP1，处理器为IntelCorei7-4790K4.00GHz四核，内存为16GB(DDR31333MHz)，显卡为NVIDIAGeForceGTX980，开发工具为VisualStudio2010SP1和NVIDIACUDA6.5，程序设计语言C++。
结合图5至图7，本实施方式所述的配准方法随机地从多探测器曲面拼接成像系统的相邻探测器采集两幅图像进行图像配准方法性能测试，其中图5为基准图像，图6为待配准图像。
首先，图像配准速度测试。在相同的实验环境下，反复测试20次计算图像配准时间并与非标定串行图像配准算法作比较。
然后，图像配准精度测试。对图6和图7中按照已知的20组不同的平移和旋转变换参数进行空间几何变换，并计算配准变换参数估计值与真实值绝对误差的平均值。
采用本实施方式所述的配准方法，图像配准结果如图7所示，图像配准时间平均值为0.037s，与非标定串行配准方法相比提速近100倍，图像配准精度在0.1pixel以内。
Claims (7)
1.探测器拼接实时图像配准的方法，其特征是，该方法由以下步骤实现：
步骤一、探测器拼接重叠区域标定；采用探测器空间位置标定装置对相邻探测器拼接重叠区域进行标定；
步骤二、图像特征检测与提取；输入基准图像和待配准图像，对输入的基准图像进行畸变校正预处理，采用基于并行计算架构的快速鲁棒特征方法检测并提取探测器拼接成像重叠区域的特征点；
步骤三、图像特征点匹配；根据步骤二中提取重叠区域的特征点，运用基本线性代数运算子程序加速基于随机KD-Tree索引的近似最近邻搜索算法，获取基准图像和待配准图像的初始匹配点对；
步骤四、确定配准变换模型；根据步骤一中相邻探测器拼接重叠区域标定的结果，确定步骤三中基准图像和待配准图像配准变换的矩阵模型；
步骤五、矩阵模型参数估计，对步骤四中确定的矩阵模型采用基于全局优化的并行渐近式抽样一致性算法，完成配准变换模型的参数估计；
步骤六、配准图像空间几何变换；采用步骤五中的参数估计值对待配准图像进行空间几何变换，获得配准变换后的图像。
2.根据权利要求1所述的探测器拼接实时图像配准的方法，其特征在于，步骤一中所述的探测器空间位置标定装置包括经纬仪（1）、水平导轨（2）、竖直导轨（3）和直角固定块（5）组成的二维平移台以及载物台（4）和伺服控制器；
所述经纬仪1固定于载物台（4）面上，直角固定块（5）用于标定水平导轨（2）和竖直导轨（3）的垂直度，伺服控制器用于驱动经纬仪（1）在水平导轨（2）和竖直导轨（3）上运动，所述经纬仪（1）发出的十字丝分别成像在探测器靶面中心，完成多个探测器空间位置的标定。
3.根据权利要求1或2所述的探测器拼接实时图像配准的方法，其特征在于，步骤一中相邻探测器拼接重叠区域的标定，是通过标定相邻探测器靶面中心位置坐标，计算获得探测器拼接重叠区域；
具体过程为：
首先，采用探测器空间位置标定装置标定规则排布的探测器空间位置，建立相应坐标系，由经纬仪发出带有十字丝图案的无穷远目标，通过求解运动位移方程，控制二维平移台和经纬仪运动到指定探测器的标定位置，完成相应探测器空间位置的初步标定；
然后，标定无严格几何规律排布的探测器空间位置，根据优化排布的探测器空间位置坐标，建立运动位移方程并求解对应位移量，控制二维平移台和经纬仪运动到指定探测器的标定位置，实现所有探测器空间位置的初步标定；
最后，通过加权质心拟合算法，获得成像十字丝中心位置坐标，计算与对应探测器靶面中心的相对位置关系，得到相邻探测器之间的真实重叠区域大小，依次计算所有相邻探测器真实拼接重叠区域，完成各探测器空间位置及拼接重叠区域的精确标定。
4.根据权利要求1所述的探测器拼接实时图像配准的方法，其特征在于，步骤二的具体过程为：
步骤二一、采用求解Fast-Hessian矩阵行列式近似值图像的方法并行构造金字塔尺度空间；
步骤二二、采用非极大值抑制方法检测特征点，再采用三维线性插值法精确提取特征点；
步骤二三、通过计算特征邻点域内的Harr小波响应值确定特征点主方向，生成特征描述向量。
5.根据权利要求1所述的探测器拼接实时图像配准的方法，其特征在于，步骤三的具体过程为：
步骤三一、计算基准图像和待配准图像特征向量的欧式几何距离；
其中，x＝(x1,x2,…,x64)Τ和y＝(y1,y2,…,y64)Τ为待配准图像的两个特征点SURF特征向量；
步骤三二、根据距离计算结果建立一个64维的二叉树索引数据结构。
步骤三三、针对每个特征点遍历整个64维二叉树，搜索近似最近邻结点和次近邻结点；
步骤三四、如果最近邻距离和次近邻距离的比值小于预先设定的阈值，则所述最近邻结点作为该特征点的匹配点对；否则，舍弃该点，继续遍历搜索；
其中，基于并行计算架构和运用基本线性代数运算子程序的近似最近邻搜索算法的具体过程为：
步骤a、利用并行计算架构计算向量NR和NQ；其中，R和Q为两个64×m和64×n的矩阵，用m维和n维的向量存储NR和NQ；
步骤b、利用基本线性代数运算子程序计算m×n维矩阵A=－2RTQ；
步骤c、将矩阵A第i行的每个元素与向量NR的第i个元素相加得到矩阵B；
步骤d、采用并行插值排序法对矩阵B的各列进行排序，获得的矩阵称为C；
步骤e、给矩阵C第j列的前k个元素与向量NQ的第j个元素相加得到矩阵D；
步骤f、计算矩阵D前k个元素的平方根，得到了k个最小的距离，获得的矩阵记作E；
步骤g、提取矩阵E中最前面的k×n子矩阵，得到的矩阵就是所要求的k个最临近每个待匹配点处的距离矩阵。
6.根据权利要求1或5所述的探测器拼接实时图像配准的方法，其特征在于，配准变换的矩阵模型参数估计的具体过程为：
步骤五一、初始化匹配点对集合，利用并行排序算法对匹配点对欧式距离dist排序。
步骤五二、确定样本采用次数N，内点集合大小；每个线程即每个特征点负责从集合S中随机按顺序抽取三个数据和第p个数据组成初始采样样本；
步骤五三、并行计算每个匹配点经矩阵M变换后到对应匹配点的欧式距离dist，通过与门限阈值T比较，若dist<T，则将该点作为内点；
步骤五四、选取包含内点数目最多的一个内点集合，再次并行计算变换矩阵M的参数。
7.根据权利要求1所述的探测器拼接实时图像配准的方法，其特征在于，所述配准变换的矩阵模型包括对矩阵模型的刚体变换、仿射变换和非线性变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510449736.1A CN105069743B (zh) | 2015-07-28 | 2015-07-28 | 探测器拼接实时图像配准的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510449736.1A CN105069743B (zh) | 2015-07-28 | 2015-07-28 | 探测器拼接实时图像配准的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105069743A true CN105069743A (zh) | 2015-11-18 |
| CN105069743B CN105069743B (zh) | 2018-06-26 |
Family
ID=54499101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510449736.1A Expired - Fee Related CN105069743B (zh) | 2015-07-28 | 2015-07-28 | 探测器拼接实时图像配准的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105069743B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105490737A (zh) * | 2016-01-06 | 2016-04-13 | 广东工业大学 | 一种光通信芯片线路的检测系统及其检测方法 |
| CN105550974A (zh) * | 2015-12-13 | 2016-05-04 | 复旦大学 | 基于gpu的图像特征提取算法的加速方法 |
| CN106447666A (zh) * | 2016-10-18 | 2017-02-22 | 安徽协创物联网技术有限公司 | 一种全景相机拼接效果的检测装置 |
| CN106651964A (zh) * | 2017-02-28 | 2017-05-10 | 嘉兴锐视智能科技有限公司 | 激光相机的标定系统及标定装置 |
| CN107704856A (zh) * | 2017-09-28 | 2018-02-16 | 杭州电子科技大学 | 冰芯光学特性图像采集处理方法 |
| CN107918925A (zh) * | 2016-10-11 | 2018-04-17 | 韦伯斯特生物官能(以色列)有限公司 | 磁跟踪系统与成像装置的配准 |
| CN108153163A (zh) * | 2018-01-30 | 2018-06-12 | 深圳源广安智能科技有限公司 | 一种智能家居系统 |
| CN109754366A (zh) * | 2018-12-27 | 2019-05-14 | 重庆邮电大学 | 一种基于二叉树的图像的拼接方法 |
| CN110060285A (zh) * | 2019-04-29 | 2019-07-26 | 中国水利水电科学研究院 | 一种基于surf算法的遥感图像配准方法及系统 |
| CN110600106A (zh) * | 2019-08-28 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
| CN111062976A (zh) * | 2019-12-25 | 2020-04-24 | 中国科学院长春光学精密机械与物理研究所 | 基于fmt的低轨卫星太阳望远镜遥感图像配准方法 |
| CN111882484A (zh) * | 2020-06-16 | 2020-11-03 | 河北汉光重工有限责任公司 | 一种潜水成像系统高速无缝图像拼接中伺服控制方法 |
| CN111898589A (zh) * | 2020-08-26 | 2020-11-06 | 中国水利水电科学研究院 | 一种基于gpu+特征识别的无人机影像快速配准方法 |
| CN113205457A (zh) * | 2021-05-11 | 2021-08-03 | 华中科技大学 | 一种微观图像拼接方法及系统 |
| CN114111701A (zh) * | 2021-07-28 | 2022-03-01 | 上海华模科技有限公司 | 一种准直虚像视景系统视点定位工具及方法 |
| CN116128935A (zh) * | 2022-12-30 | 2023-05-16 | 华中科技大学 | 空中机群红外序列配准方法、多尺度目标测谱方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101487809A (zh) * | 2008-12-12 | 2009-07-22 | 北京理工大学 | 零点定标方法及在光学微扫描显微热成像系统中的应用 |
| CN103247029A (zh) * | 2013-03-26 | 2013-08-14 | 中国科学院上海技术物理研究所 | 一种用于拼接式探测器生成的高光谱图像几何配准方法 |
| CN104732532A (zh) * | 2015-03-11 | 2015-06-24 | 中国空间技术研究院 | 一种遥感卫星多光谱图像配准方法 |
-
2015
- 2015-07-28 CN CN201510449736.1A patent/CN105069743B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101487809A (zh) * | 2008-12-12 | 2009-07-22 | 北京理工大学 | 零点定标方法及在光学微扫描显微热成像系统中的应用 |
| CN103247029A (zh) * | 2013-03-26 | 2013-08-14 | 中国科学院上海技术物理研究所 | 一种用于拼接式探测器生成的高光谱图像几何配准方法 |
| CN104732532A (zh) * | 2015-03-11 | 2015-06-24 | 中国空间技术研究院 | 一种遥感卫星多光谱图像配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| 任顺清: "用经纬仪测量大尺寸三维导轨垂直度的方法", 《仪器仪表学报》 * |
| 王新华等: "多探测器拼接成像系统实时图像配准", 《中国光学》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550974A (zh) * | 2015-12-13 | 2016-05-04 | 复旦大学 | 基于gpu的图像特征提取算法的加速方法 |
| CN105490737A (zh) * | 2016-01-06 | 2016-04-13 | 广东工业大学 | 一种光通信芯片线路的检测系统及其检测方法 |
| CN105490737B (zh) * | 2016-01-06 | 2018-06-26 | 广东工业大学 | 一种光通信芯片线路的检测系统的检测方法 |
| CN107918925A (zh) * | 2016-10-11 | 2018-04-17 | 韦伯斯特生物官能(以色列)有限公司 | 磁跟踪系统与成像装置的配准 |
| CN106447666A (zh) * | 2016-10-18 | 2017-02-22 | 安徽协创物联网技术有限公司 | 一种全景相机拼接效果的检测装置 |
| CN106447666B (zh) * | 2016-10-18 | 2019-05-07 | 安徽协创物联网技术有限公司 | 一种全景相机拼接效果的检测装置 |
| CN106651964A (zh) * | 2017-02-28 | 2017-05-10 | 嘉兴锐视智能科技有限公司 | 激光相机的标定系统及标定装置 |
| CN107704856A (zh) * | 2017-09-28 | 2018-02-16 | 杭州电子科技大学 | 冰芯光学特性图像采集处理方法 |
| CN108153163A (zh) * | 2018-01-30 | 2018-06-12 | 深圳源广安智能科技有限公司 | 一种智能家居系统 |
| CN109754366B (zh) * | 2018-12-27 | 2022-11-15 | 重庆邮电大学 | 一种基于二叉树的图像的拼接方法 |
| CN109754366A (zh) * | 2018-12-27 | 2019-05-14 | 重庆邮电大学 | 一种基于二叉树的图像的拼接方法 |
| CN110060285A (zh) * | 2019-04-29 | 2019-07-26 | 中国水利水电科学研究院 | 一种基于surf算法的遥感图像配准方法及系统 |
| CN110600106B (zh) * | 2019-08-28 | 2022-07-05 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
| CN110600106A (zh) * | 2019-08-28 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
| CN111062976A (zh) * | 2019-12-25 | 2020-04-24 | 中国科学院长春光学精密机械与物理研究所 | 基于fmt的低轨卫星太阳望远镜遥感图像配准方法 |
| CN111062976B (zh) * | 2019-12-25 | 2023-02-28 | 中国科学院长春光学精密机械与物理研究所 | 基于fmt的低轨卫星太阳望远镜遥感图像配准方法 |
| CN111882484A (zh) * | 2020-06-16 | 2020-11-03 | 河北汉光重工有限责任公司 | 一种潜水成像系统高速无缝图像拼接中伺服控制方法 |
| CN111882484B (zh) * | 2020-06-16 | 2024-04-16 | 河北汉光重工有限责任公司 | 一种潜水成像系统高速无缝图像拼接中伺服控制方法 |
| CN111898589A (zh) * | 2020-08-26 | 2020-11-06 | 中国水利水电科学研究院 | 一种基于gpu+特征识别的无人机影像快速配准方法 |
| CN111898589B (zh) * | 2020-08-26 | 2023-11-14 | 中国水利水电科学研究院 | 一种基于gpu+特征识别的无人机影像快速配准方法 |
| CN113205457A (zh) * | 2021-05-11 | 2021-08-03 | 华中科技大学 | 一种微观图像拼接方法及系统 |
| CN114111701A (zh) * | 2021-07-28 | 2022-03-01 | 上海华模科技有限公司 | 一种准直虚像视景系统视点定位工具及方法 |
| CN116128935A (zh) * | 2022-12-30 | 2023-05-16 | 华中科技大学 | 空中机群红外序列配准方法、多尺度目标测谱方法及系统 |
| CN116128935B (zh) * | 2022-12-30 | 2023-11-28 | 华中科技大学 | 空中机群红外序列配准方法、多尺度目标测谱方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105069743B (zh) | 2018-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069743B (zh) | 探测器拼接实时图像配准的方法 | |
| US9965870B2 (en) | Camera calibration method using a calibration target | |
| CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| CN109269430B (zh) | 基于深度提取模型的多株立木胸径被动测量方法 | |
| CN106408609B (zh) | 一种基于双目视觉的并联机构末端运动位姿检测方法 | |
| CN110533722A (zh) | 一种基于视觉词典的机器人快速重定位方法及系统 | |
| CN109558879A (zh) | 一种基于点线特征的视觉slam方法和装置 | |
| CN107014312A (zh) | 一种振镜式线激光扫描三维测量系统的整体标定方法 | |
| CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
| CN101383899A (zh) | 一种空基平台悬停视频稳像方法 | |
| CN109341668B (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| CN107167073A (zh) | 一种线阵结构光三维快速测量装置及其测量方法 | |
| CN112132908B (zh) | 一种基于智能检测技术的相机外参数标定方法及设备 | |
| CN107729893A (zh) | 一种合模机的视觉定位方法、系统和存储介质 | |
| CN105631844A (zh) | 一种摄像机标定方法 | |
| Cvišić et al. | Recalibrating the KITTI dataset camera setup for improved odometry accuracy | |
| Nagy et al. | Online targetless end-to-end camera-LiDAR self-calibration | |
| CN103617649A (zh) | 一种基于相机自标定技术的河工模型地形测量方法 | |
| CN112254656A (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN104165598A (zh) | 大口径反射镜干涉仪立式检测反射光斑自动定位方法 | |
| CN106056121A (zh) | 基于sift图像特征匹配的卫星装配工件快速识别方法 | |
| CN114923665B (zh) | 波浪三维高度场的图像重构方法及图像重构试验系统 | |
| Remondino et al. | Evaluating hand-crafted and learning-based features for photogrammetric applications | |
| Li et al. | Laser scanning based three dimensional measurement of vegetation canopy structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180626 Termination date: 20200728 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |