CN102542569A - 一种快速图像配准及其标定方法及实现其的系统 - Google Patents

Abstract

本发明涉及一种快速图像配准及标定方法，其特征在于：包括以下步骤：步骤1：选择成像定标点，采集其基准图像和待配准图像并存储；步骤2：分别在所述基准图像和所述待配准图像中确定成像定标点的坐标，计算仿射变换的缩放参数和偏移量；步骤3：仿射变换，根据步骤2中的缩放参数和偏移量计算所述基准图像的像素在所述待配准图像中的坐标；步骤4：图像配准，根据所述步骤3中得到的坐标从所述存储的待配准图像中读取相应的所述待配准图像像素，并将其与所述基准图像像素相与，得到配准图像的码流。本发明还涉及一种实现快速图像配准及标定方法的系统。

Description

一种快速图像配准及其标定方法及实现其的系统

技术领域

本发明属于数字图像处理领域，具体涉及一种快速图像配准及其标定方法及实现该方法的系统。

背景技术

图像配准是图像处理技术中最重要，也是最基本的任务，已经在众多领域得到了广泛的运用。通过图像配准，可以将不同拍摄条件或是使用不同传感器产生的相同的场景进行对齐，更好的集成不同传感器的信息，充分利用多种模态图像的优势，并对不同成像条件下的图像进行重构，以便获得更多的信息。图像配准有着广泛应用范围和实际意义，应用领域涉及遥感图像处理、计算机视觉、医学应用、目标识别、环境监测、天气预报和地理信息处理等领域。

图像配准的流程如下：首先对图像标定，包括对两幅图像进行特征提取得到特征点、通过进行相似性度量找到匹配的特征点对、通过匹配的特征点计算得到图像空间坐标变换参数，然后由坐标变换参数进行图像配准。

图像配准的应用存在以下难点：

(1)硬件实现困难。图像配准领域存在许多方法，并在计算机上仿真实现，但是这些方法很难硬件实现，其硬件实现或者实时性不强，或者占用资源过高。

(2)标定方法复杂。标定方法的关键在于寻找特征点并匹配特征点对，这一过程需要耗费大量的时间。

发明内容

本发明为解决上述技术问题而提供一种快速图像配准及标定方法及实现该方法的系统。

本发明解决上述技术问题的技术方案如下：一种快速图像配准及标定方法，包括以下步骤：

步骤1：选择成像定标点，采集其基准图像和待配准图像并存储；

步骤2：分别在所述基准图像和所述待配准图像中确定成像定标点的坐标，计算仿射变换的缩放参数和偏移量；

步骤3：仿射变换，根据步骤2中的缩放参数和偏移量计算所述基准图像的像素在所述待配准图像中的坐标；

步骤4：图像配准，根据所述步骤3中得到的坐标从所述存储的待配准图像中读取相应的所述待配准图像像素，并将其与所述基准图像像素相与，得到配准图像的码流。

进一步的，所述步骤1具体为：

步骤1.1：搭建带有4个成像定标点A、B、C、D为成像目标的图像采集平台，拍摄待配准图像和基准图像；

步骤1.2：将所述待配准图像存储，并找到每一帧待配准图像的起始位置；

步骤1.3：分离出每一行和每一列的起始段，在每一帧内对行计数，从1到576，在每一行内对列计数，从1到720，丢掉待配准图像的帧头、行头、帧尾；

步骤1.4：将各行列的有效像素分别存入FPGA中的存储块，图像处理板中的FPGA划分出3个存储块D1、D2、D3，分别存储3帧待配准图像；

进一步的，所述步骤2具体为：

步骤2.1：将采集的所述4个成像定标点在所述待配准图像中的的坐标(x_a，y_a)、(x_b，y_b)、(x_c，y_c)、(x_d，y_d)，在所述基准图像中的坐标为(x_a′，y_a′)、(x_b′，y_b′)、(x_c′，y_c′)、(x_d′，y_d′)，设定所述仿射变换的缩放参数为RHX₁、RHY₁、RVX₁、RVY₁，所述仿射变换的水平方向和垂直方向的偏移量为L₁、C₁，以A、B、C点的坐标构建如下方程组，

求解所述方程组得到RHX₁、RHY₁、RVX₁、RVY₁，同样以B、C、D点的坐标构建方程组可以求得RHX₂、RHY₂、RVX₂、RVY₂，与RHX₁、RHY₁、RVX₁、RVY₁求平均值得到仿射变换缩放参数RHX、RHY、RVX、RVY；

步骤2.2：通过构建如下方程组计算出所述A点的偏移量L_a、C_a，

同样以B、C、D点的坐标构建方程组可以求得L_b、C_b，L_c、C_c，L_d、C_d。求平均值得到仿射变换的偏移量L、C。

进一步的，所述步骤3具体为：

步骤3.1：根据拍摄基准图像的相机的变焦倍数，读出步骤2中相应的缩放参数和偏移量参数；

步骤3.2：分析基准图像的PAL制式，找到每一帧基准图像的起始位置，分离出每一行的起始段，保留基准图像的帧头、行头和帧尾，在各行列的有效像素通过之前6个时钟周期，根据6个参数RHX、RHY、RVX、RVY、L、C计算基准图像某像素在待配准图像中相应像素的坐标；

步骤3.3：根据下列方程组得到所述基准图像中像素在所述待配准图像中相应的像素的坐标，

所述y_原始′为基准图像的行坐标，所述y_变换′为变换以后的坐标，

所述(x₁′，y₁′)为基准图像中某点变换后的坐标，所述(x₁，y₁)为待配准图像中相应像素的坐标。

进一步的，所述待配准图像中相应像素的坐标(x₁，y₁)如果不是整数，需要对像素插值，具体如下：

所述待配准图像的像素坐标的行坐标在1到576范围内，所述待配准图像的像素坐标的列坐标在1到720范围内，则舍去小数部分，仅取整数部分，

然后将经过上述处理后的行坐标进行根据如下方程组反变换，

所述y_原始为待配准图像的行坐标，所述y_变换为变换以后的坐标；

所述待配准图像的像素坐标的行坐标小于1大于576，所述待配准图像的像素坐标的列坐标小于1大于720，则重新仿射变换取得相应的待配准图像的像素坐标。

进一步的，所述步骤4具体为：从FPGA内部的存储块中寻址到待配准图像中的像素，并将其8位像素值与相应的基准图像像素值相与，得到配准图像的码流。

进一步的，所述“从FPGA内部的存储块中寻址到待配准图像中的像素”具体为：按一定的顺序从3个存储块中读取待配准图像。

进一步的，所述“按一定的顺序从3个存储块中读取待配准图像”具体为：当读写状态机正在将待配准图像写入D1时，从D3中寻址，此时处于S1状态；

当读写状态机正在将待配准图像写入D2时，从D1中寻址，此时处于S2状态；

当读写状态机正在将待配准图像写入D3时，读状态机从D2中寻址，此时处于S3状态。

进一步的，判断配准图像是否准确，如果不准确，则返回步骤1。

一种实现快速图像配准及标定方法的系统，包括图像采集模块、图像存储模块、图像处理模块，

所述图像采集模块，用于基准图像和待配准图像的采集；

所述图像存储模块，用于存储所述图像采集模块采集的图像；

所述图像处理模块，包括图像仿射变换模块和图像配准模块，

所述图像仿射变换模块，用于对所述图像存储模块中的图像进行仿射变换；

所述图像配准模块，用于将经仿射变换后的图像进行配准。

进一步的，所述图像采集模块包括用于采集待配准图像的第一相机，用于采集基准图像的第二相机，用于固定所述第一相机和所述第二相机的固定支架，以及带有成像定标点的成像目标，所述城项目表的待成像平面与所述第一相机和所述第二相机的镜面平行。

进一步的，所述图像处理模块还包括像素差值模块以及参数提取模块，

所述参数提取模块，用于采集所述仿射变换的缩放参数及偏移量参数；

所述像素差值模块，用于对不是整数的仿射变换后的图像的像素坐标进行像素差值，以便于从所述图像存储模块中找到相应的图像像素。

本发明的有益效果是：

(1)便于FPGA实现。本发明用于实现图像配准的仿射变换过程属于空间域变换，采用FPGA实现实时性强，占用资源小，便于FPGA实现。

(2)提供了一种快速准确的标定方法。本发明采用一幅给定图像上的固定点作为特征点，2个相机同时拍摄同一幅图像，以该固定点在2幅图像上的成像点作为匹配的特征点对，根据特征点对计算仿射变换参数，最后根据图像是否准确配准选择是否重新计算参数，标定过程快速准确。

附图说明

图1为本发明实现快速图像配准及标定方法的系统的结构框图；

图2为本发明快速图像配准及标定方法流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种实现快速图像配准及标定方法的系统，包括图像采集模块、图像存储模块、图像处理模块，

所述图像采集模块，用于基准图像和待配准图像的采集；

所述图像存储模块，用于存储所述图像采集模块采集的图像；

所述图像处理模块，包括图像仿射变换模块和图像配准模块，

所述图像仿射变换模块，用于对所述图像存储模块中的图像进行仿射变换；

所述图像配准模块，用于将经仿射变换后的图像进行配准。

所述图像采集模块包括用于采集待配准图像的第一相机，用于采集基准图像的第二相机，用于固定所述第一相机和所述第二相机的固定支架，以及带有成像定标点的成像目标，所述城项目表的待成像平面与所述第一相机和所述第二相机的镜面平行。

所述图像存储模块、图像处理模块、图像仿射变换模块、图像配准模块均集成在FPGA芯片内。

所述图像处理模块还包括像素差值模块以及参数提取模块，

所述参数提取模块，用于采集所述仿射变换的缩放参数及偏移量参数；

所述像素差值模块，用于对不是整数的仿射变换后的图像的像素坐标进行像素差值，以便于从所述图像存储模块中找到相应的图像像素。

如图2所示，一种快速图像配准及标定方法，包括以下步骤：

步骤1：选择成像定标点(定标点：图像处理过程中用来确定图像变换相关参数的一幅图像中的一个点)，采集其基准图像(基准图像：图像配准过程中用做参考图像的一幅图像，将其他的相关图像与之配准，其坐标系统是任意的)和待配准图像(待配准图像：图像配准过程中需要做图像变换的一幅图像)并存储；

步骤2：分别在所述基准图像和所述待配准图像中确定成像定标点的坐标，计算仿射变换的缩放参数(缩放参数：图像配准过程中对图像中的点做仿射变换时放大或缩小的倍率)和偏移量(偏移量：图像配准过程中对图像中的点做仿射变换时需要移动的距离)；

步骤3：仿射变换，根据步骤2中的缩放参数和偏移量计算所述基准图像的像素在所述待配准图像中的坐标；

步骤4：图像配准，根据所述步骤3中得到的坐标从存储模块中读取相应的所述待配准图像像素，并将其与所述基准图像像素相与(相与：计算机中一种基本的逻辑运算方式，在二进制中，只有0，1两种数字，1和1相与得1，1和0相与得0，0和1相与得0，0与0相与得0)，得到配准图像的码流(码流：图像传输过程中对图像编码后得到的一种数据流)。

以下分别具体描述每个步骤：

搭建图像采集平台，图像采集平台包括相机固定支架、带有4个成像定标点A、B、C、D的成像目标，确保相机固定支架顶端水平放置且垂直于地面，成像目标带有4个成像定标点的待成像平面垂直于地面且与相机镜面平行，4个成像定标点在相机中均能成像为4个恰可辨别的点。利用平台采集视频，通过图像采集卡导出到外部存储介质。相机1拍摄待配准图像，相机2拍摄基准图像。相机2是变焦镜头，针对相机2的每一种变焦倍数，都需要采集对应的一段视频，计算出相应的所有配准参数；

提取外部存储介质中的视频，从视频中提取出若干帧图像，选择若干帧图像中成像定标点最清晰的一帧图像，用图像处理软件分析图像，对图像建立坐标系，确定4个成像定标点在图像中的坐标。

确定4个成像定标点A、B、C、D在待配准图像中的坐标(x_a，y_a)、(x_b，y_b)、(x_c，y_c)、(x_d，y_d)，和在基准图像中的坐标(x_a′，y_a′)、(x_b′，y_b′)、(x_c′，y_c′)、(x_d′，y_d′)。设仿射变换的4个缩放参数为RHX₁、RHY₁、RVX₁、RVY₁，水平和垂直方向的偏移量为L₁、C₁，以A、B、C点的坐标构建一个方程组，

求解方程组得到RHX₁、RHY₁、RVX₁、RVY₁。同样以B、C、D点的坐标可以求得RHX₂、RHY₂、RVX₂、RVY₂，与RHX₁、RHY₁、RVX₁、RVY₁一起求平均值得到RHX、RHY、RVX、RVY。

结合已计算出来的缩放参数RHX、RHY、RVX、RVY，以A点的坐标构建一个方程组，

计算出点A的偏移量L_a、C_a。同样以B、C、D点的坐标可以求得L_b、C_b，L_c、C_c，L_d、C_d。求平均值得到L、C；

三存储块交替运行：将采集到的待配准图像和基准图像直接输入图像处理模块中的FPGA，分析待配准图像的PAL制式，找到每一帧待配准图像的起始位置，分离出每一行和每一列的起始段，在每一帧内对行计数，从1到576，在每一行内对列计数，从1到720，丢掉待配准图像的帧头、行头、帧尾，将各行列的有效像素分别存入FPGA中的存储块。图像处理板中的FPGA划分出3个存储块D1、D2、D3，分别存储3帧待配准图像，仿射变换时按一定的顺序从3个存储块中读取待配准图像；

仿射变换：根据相机2当前的变焦倍数，读出相应的参数提取步骤中的缩放参数和偏移量参数，并分析基准图像的PAL制式，找到每一帧基准图像的起始位置，分离出每一行的起始段，保留基准图像的帧头、行头和帧尾，在各行列的有效像素通过之前6个时钟周期，根据6个参数RHX、RHY、RVX、RVY、L、C计算基准图像某像素在待配准图像中相应像素的坐标。考虑到存在奇偶场，需要对基准图像的行坐标做特殊处理，假设基准图像的行坐标是y_原始′，则变换以后的坐标y_变换′为，

已知基准图像中某点变换后的坐标(x₁′，y₁′)，则待配准图像中相应像素的坐标(x₁，y₁)为

(x₁，y₁)的坐标可能不是整数，如果不是整数，需要对像素插值；

像素插值：当仿射变换得到的待配准图像中的像素坐标不是整数值时，需要对像素插值，根据计算出的待配准图像的像素坐标，如果行坐标在1到576范围内，列坐标在1到720范围内，则舍去小数部分，仅取整数部分，如果行坐标小于1大于576，列坐标小于1大于720，则该坐标不在寻址范围之内，不寻址。根据插值后的结果，从FPGA内部的某个存储块中寻址到待配准图像中的像素。考虑奇偶场，需要对行坐标做反变换，假设待配准图像的行坐标是y_原始，则变换以后的坐标y_变换为

由于待配准图像和基准图像同时进入FPGA，当读写状态机正在将待配准图像写入D1时，从D3中寻址，此时处于S1状态，当读写状态机正在将待配准图像写入D2时，从D1中寻址，此时处于S2状态，当读写状态机正在将待配准图像写入D3时，读状态机从D2中寻址，此时处于S3状态；

图像配准：基准图像有效像素到达之前的6个时钟周期内，配准方法完成仿射变换和像素插值，读出需要的待配准图像像素并将其8位像素值与基准图像像素值相与，得到配准图像的码流。调整相机2的变焦倍数，则采用不同的缩放参数和偏移量，得到不同的码流序列，在监视器上显示出配准后的图像。根据实际观测结果判断配准图像是否准确，如果不准确，则返回图像采集阶段。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种快速图像配准及标定方法，其特征在于：包括以下步骤：

步骤1：选择成像定标点，采集其基准图像和待配准图像并存储；

步骤2：分别在所述基准图像和所述待配准图像中确定成像定标点的坐标，计算仿射变换的缩放参数和偏移量；

步骤3：仿射变换，根据步骤2中的缩放参数和偏移量计算所述基准图像的像素在所述待配准图像中的坐标；

步骤4：图像配准，根据所述步骤3中得到的坐标从所述存储的待配准图像中读取相应的所述待配准图像像素，并将其与所述基准图像像素相与，得到配准图像的码流。

2.根据权利要求1所述的一种快速图像配准及标定方法，其特征在于：所述步骤1具体为：

步骤1.1：搭建带有4个成像定标点A、B、C、D为成像目标的图像采集平台，拍摄待配准图像和基准图像；

步骤1.2：将所述待配准图像存储，并找到每一帧待配准图像的起始位置；

步骤1.3：分离出每一行和每一列的起始段，在每一帧内对行计数，从1到576，在每一行内对列计数，从1到720，丢掉待配准图像的帧头、行头、帧尾；

步骤1.4：将各行列的有效像素分别存入FPGA中的存储块，图像处理板中的FPGA划分出3个存储块D1、D2、D3，分别存储3帧待配准图像。

3.根据权利要求2所述的一种快速图像配准及标定方法，其特 征在于：所述步骤2具体为：

步骤2.1：将采集的所述4个成像定标点在所述待配准图像中的的坐标(x_a，y_a)、(x_b，y_b)、(x_c，y_c)、(x_d，y_d)，在所述基准图像中的坐标为(x_a′，y_a′)、(x_b′，y_b′)、(x_c′，y_c′)、(x_d′，y_d′)，设定所述仿射变换的缩放参数为RHX₁、RHY₁、RVX₁、RVY₁，所述仿射变换的水平方向和垂直方向的偏移量为L₁、C₁，以A、B、C点的坐标构建如下方程组，

求解所述方程组得到RHX₁、RHY₁、RVX₁、RVY₁，同样以B、C、D点的坐标构建方程组可以求得RHX₂、RHY₂、RVX₂、RVY₂，与RHX₁、RHY₁、RVX₁、RVY₁求平均值得到仿射变换缩放参数RHX、RHY、RVX、RVY；

步骤2.2：通过构建如下方程组计算出所述A点的偏移量L_a、C_a：

同样以B、C、D点的坐标构建方程组可以求得L_b、C_b，L_c、C_c，L_d、C_d，求平均值得到仿射变换的偏移量L、C。

4.根据权利要求1所述的一种快速图像配准及标定方法，其特征在于：所述步骤3具体为：

步骤3.1：根据步骤2中拍摄基准图像的相机的变焦倍数，读出步骤2中相应的缩放参数和偏移量参数；

步骤3.2：分析基准图像的制式，找到每一帧基准图像的起始位 置，分离出每一行的起始段，保留基准图像的帧头、行头和帧尾，在各行列的有效像素通过之前6个时钟周期，根据6个参数RHX、RHY、RVX、RVY、L、C计算基准图像某像素在待配准图像中相应像素的坐标；

步骤3.3：根据下列方程组得到所述基准图像中像素在所述待配准图像中相应的像素的坐标，

所述y_原始′为基准图像的行坐标，所述y_变换′为变换以后的坐标，

所述(x₁′，y₁′)为基准图像中某点变换后的坐标，所述(x₁，y₁)为待配准图像中相应像素的坐标。

5.根据权利要求4所述的一种快速图像配准及标定方法，其特征在于：所述待配准图像中相应像素的坐标(x₁，y₁)如果不是整数，需要对像素插值，具体如下：

所述待配准图像的像素坐标的行坐标在1到576范围内，所述待配准图像的像素坐标的列坐标在1到720范围内，则舍去小数部分，仅取整数部分，

然后将经过上述处理后的行坐标进行根据如下方程组反变换，

所述y_原始为待配准图像的行坐标，所述y_变换为变换以后的坐标；

所述待配准图像的像素坐标的行坐标小于1大于576，所述待配准图像的像素坐标的列坐标小于1大于720，则重新仿射变换取得相 应的待配准图像的像素坐标。

6.根据权利要求5所述的一种快速图像配准及标定方法，其特征在于：所述步骤4具体为：从FPGA内部的存储块中寻址到待配准图像中的像素，并将其8位像素值与相应的基准图像像素值相与，得到配准图像的码流。

7.根据权利要求6所述的一种快速图像配准及标定方法，其特征在于：所述“从FPGA内部的存储块中寻址到待配准图像中的像素”具体为：按一定的顺序从3个存储块中读取待配准图像。

8.根据权利要求7所述的一种快速图像配准及标定方法，其特征在于：所述“按一定的顺序从3个存储块中读取待配准图像”具体为：当读写状态机正在将待配准图像写入D1时，从D3中寻址，此时处于S1状态；

当读写状态机正在将待配准图像写入D2时，从D1中寻址，此时处于S2状态；

当读写状态机正在将待配准图像写入D3时，读状态机从D2中寻址，此时处于S3状态。

9.根据权利要求1至8任一项所述的快速图像配准及标定方法，其特征在于：还包括步骤6，

判断配准图像是否准确，如果不准确，则返回步骤1。

10.一种实现权利要求1至9任一项所述的快速图像配准及标定方法的系统，其特征在于：包括图像采集模块、图像存储模块、图像处理模块，

所述图像采集模块，用于基准图像和待配准图像的采集；

所述图像存储模块，用于存储所述图像采集模块采集的图像； 

所述图像处理模块，包括图像仿射变换模块和图像配准模块，

所述图像仿射变换模块，用于对所述图像存储模块中的图像进行仿射变换；

所述图像配准模块，用于将经仿射变换后的图像进行配准。

11.根据权利要求10所述的系统，其特征在于：所述图像采集模块包括用于采集待配准图像的第一相机，用于采集基准图像的第二相机，用于固定所述第一相机和所述第二相机的固定支架，以及带有成像定标点的成像目标，所述的待成像平面与所述第一相机和所述第二相机的镜面平行。

12.根据权利要求10所述的系统，其特征在于：所述图像处理模块还包括像素差值模块以及参数提取模块，

所述参数提取模块，用于采集所述仿射变换的缩放参数及偏移量参数；

所述像素差值模块，用于对不是整数的仿射变换后的图像的像素坐标进行像素差值，以便于从所述图像存储模块中找到相应的图像像素。 

Images