CN108492325B - 一种非共轴成像的图像配准装置、图像配准方法及系统 - Google Patents

Abstract

本发明公开了一种非共轴成像的图像配准装置、图像配准方法及系统。所述图像配准装置包括：光源、网格板、平行光管、非共轴光学系统以及计算机；所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学系统的光轴处于同一水平面上；所述网格板设于所述平行光管内；所述非共轴光学系统与所述计算机电连接。采用本发明所提供的图像配准装置、图像配准方法及系统，以非机械装调的方式进行图像配准，从而能够提高图像配准精度。

Description

一种非共轴成像的图像配准装置、图像配准方法及系统

技术领域

本发明涉及非共轴相机空间超分辨率配准技术领域，特别是涉及一种非共轴成像的图像配准装置、图像配准方法及系统。

背景技术

对于远距离光学测量系统而言，光学系统所接收到的信号受到大气分子影响，信号动态变化极大，近场信号和远场信号存在明显差别，光学系统需要提高接收视场角以增加探测距离，随着光电系统复合程度的增加，其光轴间距也越来越大，这对传统的光轴一致性带来了新的挑战，当光学系统采用两个相机进行空间测量时，由于机械装调精度不高，只能通过经验调整尽可能地使得共光轴成像，精度仅能达到像素级别，并且机械装调呈现的结果是在一个平面上，而不能在空间中呈现，但是由于无论如何机械装调两个相机的相对位置，都不能使得两个相机的光轴处于同一方向，因此，导致采用机械装调方式对非共轴光学系统进行配准时，得到的图像配准精度低。

发明内容

本发明的目的是提供一种非共轴成像的图像配准装置、图像配准方法及系统，以解决现有技术中采用机械装调方式对非共轴光学系统的图像配准精度低的问题。

为实现上述目的，本发明提供了如下方案：

一种非共轴成像的图像配准装置，包括：光源、网格板、平行光管、非共轴光学系统以及计算机；

所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学系统的光轴处于同一水平面上；所述网格板设于所述平行光管内；

所述非共轴光学系统与所述计算机电连接；所述非共轴光学系统包括第一相机以及第二相机；所述光源所发出的光线通过所述网格板以及所述平行光管，再进入所述非共轴光学系统，调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像，得到网格板第一位置；使得所述网格板第一位置与所述第一相机的焦距相匹配，得到第一图像；所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心；再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像，得到网格板第二位置；使得所述网格板第二位置与所述第二相机的焦距相匹配，得到第二图像；所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心；由所述计算机对所述第一图像以及所述第二图像进行配准，得到配准图像。

一种非共轴成像的图像配准方法，所述配准方法应用于一种非共轴成像的图像配准装置，所述图像配准装置包括：光源、网格板、平行光管、非共轴光学系统以及计算机；所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学系统的光轴处于同一水平面上；所述网格板设于所述平行光管内；所述非共轴光学系统与所述计算机电连接；所述非共轴光学系统包括第一相机以及第二相机；所述光源所发出的光线通过所述网格板以及所述平行光管，再进入所述非共轴光学系统，调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像，得到网格板第一位置；使得所述网格板第一位置与所述第一相机的焦距相匹配，得到第一图像；所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心；再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像，得到网格板第二位置；使得所述网格板第二位置与所述第二相机的焦距相匹配，得到第二图像；所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心；由所述计算机对所述第一图像以及所述第二图像进行配准，得到配准图像。

所述图像配准方法包括：

获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深；

根据所述第一相机参数确定所述第一图像；

根据所述第二相机参数确定所述第二图像；

以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系；

根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标；

根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4；

以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系；

根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标；

根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4；

根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系；

根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

可选的，所述根据所述第一相机参数确定所述第一图像，具体包括：

获取工程中被测物体与所述第一相机的第一实际距离；

根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置；

根据所述网格板第一位置确定所述第一图像。

可选的，所述根据所述第二相机参数确定所述第二图像，具体包括：

获取工程中被测物体与所述第二相机的第二实际距离；

根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置；

根据所述网格板第二位置确定所述第二图像。

可选的，所述根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系，具体包括：

根据公式

确定所述第一坐标系与所述第二坐标系之间的变换矩阵；其中，

为由所述第一角点坐标组成的矩阵，

为由所述第二角点坐标组成的矩阵，

为所述第一坐标系与所述第二坐标系之间的变换矩阵；

根据公式I_XYZ＝I_UVW*T确定空间位置变换关系，其中，

I_XYZ为所述第一图像的像素点坐标，I_UVW为所述第二图像的像素点坐标。

可选的，所述根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，得到配准图像之后，还包括：

判断所述配准图像内的第一像素点的坐标是否是整数，得到第一判断结果；

若所述第一判断结果表示为所述配准图像内的第一像素点的坐标是整数，确定所述配准图像为所述第一图像和所述第二图像的共光轴成像；

若所述第一判断结果表示为所述配准图像内的第一像素点的坐标不是整数，采用最邻近插值法计算所述第一像素点的灰度值；

根据所述灰度值进行配准，确定配准图像。

一种非共轴成像的图像配准系统，包括：

相机参数获取模块，用于获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深；

第一图像确定模块，用于根据所述第一相机参数确定所述第一图像；

第二图像确定模块，用于根据所述第二相机参数确定所述第二图像；

第一坐标系建立模块，用于以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系；

第一成像中心坐标确定模块，用于根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标；

第一角点坐标确定模块，用于根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4；

第二坐标系建立模块，用于以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系；

第二成像中心坐标确定模块，用于根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标；

第二角点坐标确定模块，用于根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4；

空间位置变换关系确定模块，用于根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系；

配准图像确定模块，用于根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

可选的，所述第一图像确定模块具体包括：

第一实际距离获取单元，用于获取所述被测工程实际物体与所述第一相机的第一实际距离；

网格板第一位置确定单元，用于根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置；

第一图像确定单元，用于根据所述网格板第一位置确定所述第一图像。

可选的，所述第二图像确定模块具体包括：

第二实际距离获取单元，用于获取所述被测工程实际物体与所述第二相机的第二实际距离；

网格板第二位置确定单元，用于根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置；

第二图像确定单元，用于根据所述网格板第二位置确定所述第二图像。

可选的，所述空间位置变换关系确定模块具体包括：

变换矩阵确定单元，用于根据公式

确定所述第一坐标系与所述第二坐标系之间的变换矩阵；其中，

为由所述第一角点坐标组成的矩阵，

为由所述第二角点坐标组成的矩阵，

为所述第一坐标系与所述第二坐标系之间的变换矩阵；

空间位置变换关系确定单元，用于根据公式I_XYZ＝I_UVW*T确定空间位置变换关系，其中，

I_XYZ为所述第一图像的像素点坐标，I_UVW为所述第二图像的像素点坐标。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种非共轴成像的图像配准装置、图像配准方法及系统，通过在所述平行光管内设置网格板，第一相机以及第二相机分别采集所述网格板的成像图像，即：第一图像以及第二图像；在采集过程中，第一图像由第一成像中心坐标确定，第二图像由第二成像中心坐标确定，获取与第一成像中心坐标以及第二成像中心坐标相邻的角点，将获得的角点作为特征点，根据特征点确定第一坐标系与第二坐标系之间的空间位置变换关系，利用空间位置变换关系，使得第一图像以及第二图像具有相同的分辨率及精准对应的空间位置，精度达到亚像素级，得到配准图像，采用本发明所提供的非机械装调的非共轴成像的图像配准方法及系统能够获得亚像素级的匹配精度，相比于传统的机械装调方式不仅能够提高图像配准精度，还能够避免人为主观意识的干扰；且本发明所提供的非共轴成像的图像配准装置设计简单，灵活性好，易于图像后续处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的非共轴成像的图像配准装置结构图；

图2为本发明所提供的非共轴成像的图像配准方法流程图；

图3为本发明所提供的网格板在非共轴光学系统上的成像示意图；

图4为本发明所提供的非共轴成像的图像配准系统结构图；

图5为本发明所提供的图像配准示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种非共轴成像的图像配准装置、图像配准方法及系统，能够提高非共轴光学系统的图像配准精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的非共轴成像的图像配准装置结构图，如图1所示，一种非共轴成像的图像配准装置，包括：光源1、网格板2、平行光管3、非共轴光学系统4以及计算机5；

所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学系统的光轴处于同一水平面上；所述网格板设于所述平行光管内；

所述非共轴光学系统与所述计算机电连接；所述非共轴光学系统包括第一相机A以及第二相机B；所述光源所发出的光线通过所述网格板以及所述平行光管，再进入所述非共轴光学系统调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像，得到网格板第一位置；使得所述网格板第一位置与所述第一相机的焦距相匹配，得到第一图像；所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心；再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像，得到网格板第二位置；使得所述网格板第二位置与所述第二相机的焦距相匹配，得到第二图像；所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心；由所述计算机对所述第一图像以及所述第二图像进行配准，得到配准图像。

图2为本发明所提供的非共轴成像的图像配准方法流程图，如图2所示，一种非共轴成像的图像配准方法，包括：

步骤201：获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深。

步骤202：根据所述第一相机参数确定所述第一图像。

所述步骤202具体包括：获取工程中被测物体与所述第一相机的第一实际距离；根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置；根据所述网格板第一位置确定所述第一图像。

步骤203：根据所述第二相机参数确定所述第二图像。

所述步骤203具体包括：

获取工程中被测物体与所述第二相机的第二实际距离；根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置；根据所述网格板第二位置确定所述第二图像。

步骤204：以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系。

步骤205：根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标。

步骤206：根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4。

步骤207：以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系。

步骤208：根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标。

步骤209：根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4。

图3为本发明所提供的网格板在非共轴光学系统上的成像示意图，如图3所示，根据步骤202以及步骤203调整网格板2在平行光管3的位置，使得网格板2处于该位置时第一相机A清晰成像，并且尽可能使网格板中心9成像于图像视场中心7，通过外触发模式控制第一相机A采集得到分辨率为M×N大小的图像10，图像数据传输至计算机5并保存；同理，使得第二相机B清晰成像，并且尽可能使网格板中心9成像于图像视场中心8，通过外触发模式控制第二相机B采集得到分辨率为K×L大小的图像11，图像数据传输至计算机5并保存。

其中，图3中图像10的中心7周围的实心点为第一角点坐标，图像11的中心8周围的实心点为第二角点坐标。

步骤210：根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系。

所述步骤210具体包括：根据公式

确定所述第一坐标系与所述第二坐标系之间的变换矩阵；其中，

为由所述第一角点坐标组成的矩阵，

为由所述第二角点坐标组成的矩阵，

为所述第一坐标系与所述第二坐标系之间的变换矩阵；根据公式I_XYZ＝I_UVW*T确定空间位置变换关系，其中，

I_XYZ为所述第一图像的像素点坐标，I_UVW为所述第二图像的像素点坐标。

步骤211：根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

所述步骤211之后还包括：

判断所述配准图像内的第一像素点的坐标是否是整数，若是，确定所述配准图像为所述第一图像和所述第二图像的共光轴成像；若否，采用最邻近插值法计算所述第一像素点的灰度值；根据所述灰度值进行配准，确定配准图像。

图4为本发明所提供的非共轴成像的图像配准系统结构图，如图4所示，一种非共轴成像的图像配准系统，包括：

相机参数获取模块401，用于获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深。

第一图像确定模块402，用于根据所述第一相机参数确定所述第一图像。

第二图像确定模块403，用于根据所述第二相机参数确定所述第二图像。

第一坐标系建立模块404，用于以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系。

第一成像中心坐标确定模块405，用于根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标。

第一角点坐标确定模块406，用于根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4。

第二坐标系建立模块407，用于以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系。

第二成像中心坐标确定模块408，用于根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标。

第二角点坐标确定模块409，用于根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4。

空间位置变换关系确定模块410，用于根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系。

配准图像确定模块411，用于根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

所述第一图像确定模块402具体包括：

第一实际距离获取单元，用于获取所述被测工程实际物体与所述第一相机的第一实际距离；

网格板第一位置确定单元，用于根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置；

第一图像确定单元，用于根据所述网格板第一位置确定所述第一图像。

所述第二图像确定模块403具体包括：

第二实际距离获取单元，用于获取所述被测工程实际物体与所述第二相机的第二实际距离；

网格板第二位置确定单元，用于根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置；

第二图像确定单元，用于根据所述网格板第二位置确定所述第二图像。

所述空间位置变换关系确定模块410具体包括：

变换矩阵确定单元，用于根据公式

确定所述第一坐标系与所述第二坐标系之间的变换矩阵；其中，

为由所述第一角点坐标组成的矩阵，

为由所述第二角点坐标组成的矩阵，

为所述第一坐标系与所述第二坐标系之间的变换矩阵；

空间位置变换关系确定单元，用于根据公式I_XYZ＝I_UVW*T确定空间位置变换关系，其中，

I_XYZ为所述第一图像的像素点坐标，I_UVW为所述第二图像的像素点坐标。

本发明提出基于空间几何关系的特征点描述，采用本发明所提供的一种非共轴成像的图像配准装置、图像配准方法及系统，将其与图像信息的特征点描述结合使用，利用不同坐标系的空间位置变换，实现非共轴光学系统的图像配准，即：非机械方法进行轴线一致性校正的图像配准。

该方法所需设备和实现步骤如下：

步骤1：搭建光学系统

步骤1.1：如图1所示，打开光源1，使光线通过网格板2并且进入平行光管3，调整非共轴光学采像系统4对准平行光管3。

步骤1.2：将第一相机A、第二相机B连接至计算机5，启动第一相机A、第二相机B、计算机5，使得计算机5可以通过外触发模式控制相机正常采像。

步骤2：采集图像

如图1，光源1发出的光线经过网格板以及平行光管进入非共轴光学采像系统。在非共轴光学采像系统中我们尽可能将第一相机A和第二相机B沿光轴平行放置，但不可能做到完全平行无误差，第一相机A和第二相机B不可避免存在非共光轴的成像情况；同时受相机焦距、景深影响，对于型号不同的第一相机A和第二相机B不能在同一距离下进行采像测量。

步骤2.1：根据第一相机A的焦距参数以及第一相机A与被测工程实际物体的距离，调整网格板在平行光管中的位置，使得第一相机A清晰成像，并且尽可能使网格板中心成像于图像视场中心，通过外触发模式控制第一相机A采集得到分辨率为M×N大小的图像，图像数据传输至计算机并保存。

步骤2.2：根据第二相机B的焦距参数以及第二相机B与被测工程实际物体的距离，调整网格板在平行光管中的位置，使得第二相机B清晰成像，并且尽可能使网格板中心成像于图像视场中心，通过外触发模式控制第二相机B采集得到分辨率为K×L大小的图像，图像数据传输至计算机并保存。

步骤2.3：循环进行步骤2.1和步骤2.2采集多对图像。

步骤3：标定空间坐标系变换矩阵

如图3所示，经过步骤2采集到的每对图像，图像和图像处于不同的空间坐标系中，两副图像具有不同的分辨率大小和不同的空间位置。

步骤3.1：以第一相机A成像面为XOY平面，以图像左下点为Z轴建立坐标系，找到图像中的网格板中心点，以该中心点为中心找到其最邻近周围的n(n≥4)个点的位置坐标并记录这n个点的坐标(x1,y1)、(x2,y2)、…、(xn,yn)；

步骤3.2：以第二相机B成像面为UOV平面，以图像左下点为W轴建立坐标系，找到图像中的网格板中心点，以该中心点为中心找到其周围的n个点位置(该n个位置与图像中所取位置必须一一对应)并记录这n个点的坐标为(u1,v1)、(u2,v2)、…、(un,vn)。

步骤3.3：根据空间变换矩阵T可以将图像所在的坐标系UPW转换到图像所在的坐标系XYZ上。

空间变换矩阵：

存在空间位置变换关系：

由(2)可知，

公式(1)中有8个未知数，至少需要8个方程求解，为使估计更准确，通过步骤3.1和步骤3.2得到n对点(n≥4)坐标：

于是有

同理，

其中，

在获得n(n≥4)对特征点后由公式(5)和公式(6)可以得到未知数a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂、a₃₃，a₁₁、a₁₂、a₂₁以及a₂₂代表放缩旋转，a₁₃、a₂₃以及a₃₃代表平移，a₃₁以及a₃₂代表透视变换。

步骤3.4：根据步骤3.1和3.2得到的n组点(n≥4)迭代计算步骤3.3，将每次得到的未知数a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂、a₃₃进行最小二乘拟合，得到最终的空间位置变换矩阵：

步骤4：图像配准

由步骤3标定得到的矩阵T，表示了图像所在的坐标系UPW上任意一点与图像所在的坐标系XYZ上对应位置的空间变换关系：I_XYZ＝I_UVW*T；公式I_XYZ＝I_UVW*T通过第二图像的像素点相乘变换矩阵T后，将图像11所在的坐标系UPW变换到图像10所在的坐标系XYZ上，此时两者坐标系重合，都处于坐标系XYZ上，第一坐标系以及第二坐标系重合就意味着第一相机以及第二相机的共光轴成像，即解决了非共轴成像问题。

图5为本发明所提供的图像配准示意图，如图5所示，使分辨率为K×L的图像配准到分辨率为M×N大小的图像上，两幅图像具有相同的视场以及分辨率。图像经变换后，各像素点的坐标有可能不是整数，即没有落在坐标点上,用插值法来求得这些像点的灰度值，采用最邻近插值法，实现配准，精度达到亚像素级。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种非共轴成像的图像配准装置，其特征在于，包括：光源、网格板、平行光管、非共轴光学系统以及计算机；

所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学系统的光轴处于同一水平面上；所述网格板设于所述平行光管内；

所述非共轴光学系统与所述计算机电连接；所述非共轴光学系统包括第一相机以及第二相机；所述光源所发出的光线通过所述网格板以及所述平行光管，再进入所述非共轴光学系统，调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像，得到网格板第一位置；使得所述网格板第一位置与所述第一相机的焦距相匹配，得到第一图像；所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心；再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像，得到网格板第二位置；使得所述网格板第二位置与所述第二相机的焦距相匹配，得到第二图像；所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心；由所述计算机对所述第一图像以及所述第二图像进行配准，得到配准图像；图像配准方法包括：获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深；根据所述第一相机参数确定所述第一图像；根据所述第二相机参数确定所述第二图像；以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系；根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标；根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4；以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系；根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标；根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4；根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系；根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

2.一种非共轴成像的图像配准方法，其特征在于，所述配准方法应用于一种非共轴成像的图像配准装置，所述图像配准装置包括：光源、网格板、平行光管、非共轴光学系统以及计算机；所述光源、所述网格板、所述平行光管的光轴以及所述非共轴光学系统的光轴处于同一水平面上；所述网格板设于所述平行光管内；所述非共轴光学系统与所述计算机电连接；所述非共轴光学系统包括第一相机以及第二相机；所述光源所发出的光线通过所述网格板以及所述平行光管，再进入所述非共轴光学系统，调整所述网格板在所述平行光管中的位置使得所述第一相机清晰成像，得到网格板第一位置；使得所述网格板第一位置与所述第一相机的焦距相匹配，得到第一图像；所述第一图像的中心为由所述第一相机采集到的所述网格板的第一成像中心；再次调整所述网格板在所述平行光管中的位置使得所述第二相机清晰成像，得到网格板第二位置；使得所述网格板第二位置与所述第二相机的焦距相匹配，得到第二图像；所述第二图像的中心为由所述第二相机采集到的所述网格板的第二成像中心；由所述计算机对所述第一图像以及所述第二图像进行配准，得到配准图像；

所述图像配准方法包括：

获取所述第一相机的第一相机参数以及所述第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深；

根据所述第一相机参数确定所述第一图像；

根据所述第二相机参数确定所述第二图像；

以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系；

根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标；

根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4；

以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系；

根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标；

根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4；

根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系；

根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

3.根据权利要求2所述的图像配准方法，其特征在于，所述根据所述第一相机参数确定所述第一图像，具体包括：

获取工程中被测物体与所述第一相机的第一实际距离；

根据所述第一实际距离及所述第一相机参数确定所述网格板在所述平行光管中的的网格板第一位置；

根据所述网格板第一位置确定所述第一图像；根据第一相机的焦距以及第一相机与被测工程实际物体的距离，调整网格板在平行光管中的位置，使网格板中心成像于图像视场中心，使得第一相机清晰成像。

4.根据权利要求2所述的图像配准方法，其特征在于，所述根据所述第二相机参数确定所述第二图像，具体包括：

获取工程中被测物体与所述第二相机的第二实际距离；

根据所述第二实际距离及所述第二相机参数确定所述网格板在所述平行光管中的的网格板第二位置；

根据所述网格板第二位置确定所述第二图像；根据第二相机的焦距以及第二相机与被测工程实际物体的距离，调整网格板在平行光管中的位置，使网格板中心成像于图像视场中心，使得第二相机清晰成像。

5.根据权利要求2所述的图像配准方法，其特征在于，所述根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系，具体包括：

根据公式

确定所述第一坐标系与所述第二坐标系之间的变换矩阵；其中，

为由所述第一角点坐标组成的矩阵，

为由所述第二角点坐标组成的矩阵，

为所述第一坐标系与所述第二坐标系之间的变换矩阵；

根据公式I_XYZ＝I_UVW*T确定空间位置变换关系，其中，

I_XYZ为所述第一图像的像素点坐标，I_UVW为所述第二图像的像素点坐标。

6.根据权利要求2所述的图像配准方法，其特征在于，所述根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，得到配准图像之后，还包括：

判断所述配准图像内的第一像素点的坐标是否是整数，得到第一判断结果；

若所述第一判断结果表示为所述配准图像内的第一像素点的坐标是整数，确定所述配准图像为所述第一图像和所述第二图像的共光轴成像；

若所述第一判断结果表示为所述配准图像内的第一像素点的坐标不是整数，采用最邻近插值法计算所述第一像素点的灰度值；

根据所述灰度值进行配准，确定配准图像。

7.一种非共轴成像的图像配准系统，其特征在于，包括：

相机参数获取模块，用于获取第一相机的第一相机参数以及第二相机的第二相机参数；所述第一相机参数包括焦距、景深；所述第二相机参数包括焦距、景深；

第一图像确定模块，用于根据所述第一相机参数确定所述第一图像；

第二图像确定模块，用于根据所述第二相机参数确定所述第二图像；

第一坐标系建立模块，用于以所述第一相机的成像面为XOY平面，以所述第一图像的左下点为原点建立第一坐标系；

第一成像中心坐标确定模块，用于根据所述第一坐标系确定所述第一成像中心的第一成像中心坐标；

第一角点坐标确定模块，用于根据所述第一成像中心坐标确定与所述第一成像中心相邻的格子的n个第一角点坐标；n≥4；

第二坐标系建立模块，用于以所述第二相机的成像面为UPW平面，以所述第二图像的左下点为原点建立第二坐标系；

第二成像中心坐标确定模块，用于根据所述第二坐标系确定所述第二成像中心的第二成像中心坐标；

第二角点坐标确定模块，用于根据所述第二成像中心坐标确定与所述第二成像中心相邻的格子的m个第二角点坐标；m＝n且m≥4；

空间位置变换关系确定模块，用于根据所述第一角点坐标以及所述第二角点坐标确定所述第一坐标系以及所述第二坐标系之间的空间位置变换关系；

配准图像确定模块，用于根据所述空间位置变换关系，将处于所述第二坐标系的所述第二图像变换到所述第一坐标系上，使得所述第二图像与所述第一图像重合，确定配准图像。

8.根据权利要求7所述的图像配准系统，其特征在于，所述第一图像确定模块具体包括：

第一实际距离获取单元，用于获取被测工程实际物体与所述第一相机的第一实际距离；第一测量位置确定单元，用于根据所述第一实际距离及所述第一相机参数确定网格板在平行光管中的网格板第一位置；

第一图像确定单元，用于根据所述网格板第一位置确定所述第一图像。

9.根据权利要求7所述的图像配准系统，其特征在于，所述第二图像确定模块具体包括：

第二实际距离获取单元，用于获取被测工程实际物体与所述第二相机的第二实际距离；

网格板第二位置确定单元，用于根据所述第二实际距离及所述第二相机参数确定网格板在平行光管中的网格板第二位置；

第二图像确定单元，用于根据所述网格板第二位置确定所述第二图像。

10.根据权利要求7所述的图像配准系统，其特征在于，所述空间位置变换关系确定模块具体包括：

变换矩阵确定单元，用于根据公式

确定所述第一坐标系与所述第二坐标系之间的变换矩阵；其中，

为由所述第一角点坐标组成的矩阵，

为由所述第二角点坐标组成的矩阵，

为所述第一坐标系与所述第二坐标系之间的变换矩阵；

空间位置变换关系确定单元，用于根据公式I_XYZ＝I_UVW*T确定空间位置变换关系，其中，

I_XYZ为所述第一图像的像素点坐标，I_UVW为所述第二图像的像素点坐标。

Images