CN108492335B - 一种双相机透视畸变校正方法及系统 - Google Patents

Abstract

本发明公开了一种双相机透视畸变校正方法及系统。所述校正方法包括：动态同步获取可见光图像以及红外光图像；根据所述可见光图像识别合作目标点，确定畸变后的合作目标点；利用标准网格板确定坐标变换矩阵；根据所述畸变后的合作目标点确定可见光透视变换矩阵；根据确定的可见光透视变换矩阵以及坐标变换矩阵确定红外光透视变换矩阵；根据所述可见光透视变换矩阵及红外光透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。采用所述校正方法及系统能够校正双相机的透视畸变，提高图像测量精度。

Description

一种双相机透视畸变校正方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种双相机透视畸变校正方法及系统。

背景技术

激光照射性能监测系统是靶场鉴定、定型试验中的重要测试设备之一；该系统主要由激光照射器，移动靶车和成像系统组成。该系统原理是将激光照射器对着移动中的靶车目标进行照射，成像系统对靶车及激光光斑成像，通过图像处理技术计算出光斑到靶心的距离。在成像系统成像时，要求相机对物体进行跟踪拍摄。在拍摄过程中，相机跟随物体进行原地转动，由于拍摄角度是动态变化的，拍摄出的图像存在透视畸变。

为了精确识别出激光光斑及靶心的空间位置，成像部分采用红外光、可见光两路相机，但是两路相机存在不同视场、不同分辨率、不共轴等客观问题。对图像进行透视畸变校正，传统的方法需要实时获得相机到靶板的参考距离，但是在该系统中无法获得；而红外光图像中为了对光斑进行清晰成像，背景会变得模糊，因此无法对红外光图像进行单独的透视畸变校正。在这些条件下，对两路相机进行透视畸变的校正是很困难的，需要一种针对性的方法来解决该困难。

发明内容

本发明的目的是提供一种双相机透视畸变校正方法及系统，以解决现有技术中无法对双相机的透视畸变进行校正的问题。

为实现上述目的，本发明提供了如下方案：

一种双相机透视畸变校正方法，包括：

动态同步获取可见光图像以及红外光图像；所述可见光图像是由可见光相机对移动中的靶板进行采集的；所述红外光图像是由红外光相机对移动中靶板上的光斑进行采集的；

根据所述可见光图像识别合作目标点，确定畸变后的合作目标点；所述合作目标点为靶板上标记的目标点；所述畸变后的合作目标点包括畸变的可见光合作目标点；

利用标准网格板确定坐标变换矩阵；所述坐标变换矩阵用于将所述红外光图像上的像素点坐标变换到所述可见光图像上；

根据所述畸变后的合作目标点确定可见光透视变换矩阵；

根据所述可见光透视变换矩阵以及所述坐标变换矩阵确定红外光透视变换矩阵；

根据所述可见光透视变换矩阵以及所述红外光透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。

可选的，所述根据所述可见光图像识别合作目标点，确定畸变后的合作目标点，具体包括：

根据所述合作目标点确定感兴趣ROI区域，确定ROI图像；

利用自适应阈值法对所述ROI图像进行二值化处理，确定二值化后的图像；

根据所述二值化后的图像对所述ROI图像进行反色处理，确定目标区域；

对所述目标区域内的像素点坐标进行加权计算，确定畸变后的合作目标点。

可选的，所述利用标准网格板确定坐标变换矩阵，具体包括：

利用所述可见光相机以及所述红外光相机分别对所述标准网格板进行静态采像，获取静态可见光图像以及静态红外光图像；

获取所述静态可见光图像上的多个可见光特征点；

在所述静态红外光图像上获取与所述可见光特征点同一位置的红外光特征点；

根据所述可见光特征点以及所述红外光特征点确定坐标变换矩阵。

可选的，所述根据所述畸变后的合作目标点确定可见光透视变换矩阵，具体包括：

获取所述可见光相机的焦距、像元尺寸以及所述靶板正对于所述可见光相机之间的距离；

根据所述焦距、像元尺寸以及所述距离确定理想的合作目标点；所述理想的合作目标点为无畸变的合作目标点；

根据所述理想的合作目标点以及所述畸变后的合作目标点确定可见光透视变换矩阵。

一种双相机透视畸变校正系统，包括：

图像获取模块，用于动态同步获取可见光图像以及红外光图像；所述可见光图像是由可见光相机对移动中的靶板进行采集的；所述红外光图像是由红外光相机对移动中的靶板上的光斑进行采集的；

畸变后的合作目标点确定模块，用于根据所述可见光图像识别合作目标点，确定畸变后的合作目标点；所述合作目标点为靶板上标记的目标点；所述畸变后的合作目标点包括畸变的可见光合作目标点；

坐标变换矩阵确定模块，用于利用标准网格板确定坐标变换矩阵；所述坐标变换矩阵用于将所述红外光图像上的像素点坐标变换到所述可见光图像上；

可见光透视变换矩阵确定模块，用于根据所述畸变后的合作目标点确定可见光透视变换矩阵；

红外光透视变换矩阵确定模块，用于根据所述可见光透视变换矩阵以及所述坐标变换矩阵确定红外光透视变换矩阵；

畸变校正模块，用于根据所述可见光透视变换矩阵以及所述红外光透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。

可选的，所述畸变后的合作目标点确定模块具体包括：

ROI图像确定单元，用于根据所述合作目标点确定感兴趣ROI区域，确定ROI图像；

二值化处理单元，用于利用自适应阈值法对所述ROI图像进行二值化处理，确定二值化后的图像；

反色处理单元，根据所述二值化后的图像对所述ROI图像进行反色处理，确定目标区域；

畸变后的合作目标点确定单元，用于对所述目标区域内的像素点坐标进行加权计算，确定畸变后的合作目标点。

可选的，所述坐标变换矩阵确定模块具体包括：

静态图像获取单元，用于利用所述可见光相机以及所述红外光相机分别对所述标准网格板进行静态采像，获取静态可见光图像以及静态红外光图像；

可见光特征点获取单元，用于获取所述静态可见光图像上的多个可见光特征点；

红外光特征点获取单元，用于在所述静态红外光图像上获取与所述可见光特征点同一位置的红外光特征点；

坐标变换矩阵确定单元，用于根据所述可见光特征点以及所述红外光特征点确定坐标变换矩阵。

可选的，所述可见光透视变换矩阵确定模块具体包括：

参数获取单元，用于获取所述可见光相机的焦距、像元尺寸以及所述靶板正对于所述可见光相机之间的距离；

理想的合作目标点确定单元，用于根据所述焦距、像元尺寸以及所述距离确定理想的合作目标点；所述理想的合作目标点为无畸变的合作目标点；

可见光透视变换矩阵确定单元，用于根据所述理想的合作目标点以及所述畸变后的合作目标点确定可见光透视变换矩阵。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种双相机透视畸变校正方法及系统，通过将红外光图像的像素点坐标变换到可见光相机视场中，实现了对红外光图像的间接透视变换，无需实时获得相机到靶板的距离，从而实现了对动态目标的实时测量，且通过所确定的透视变换矩阵，对可见光图像以及红外光图像进行透视变换处理，确定校正后的可见光图像以及校正后的红外光图像，即：通过透视变换处理，确定无畸变的可见光图像以及红外光图像。

且由于本发明无需实时获得相机到靶板的距离，而是通过确定可见光视场以及红外光视场之间的透视变换矩阵关系，能够降低对测量系统的光学系统的设计要求；还能够在测距要求的前提下确定精确的测量结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的双相机成像测量设备结构示意图；

图2为本发明所提供的双相机透视畸变校正方法流程图；

图3为本发明所提供的同步采像方法流程图；

图4为本发明所提供的可见光相机拍摄的可见光图像；

图5为本发明所提供的经过透视畸变校正后的可见光图像；

图6为本发明所提供的红外光相机拍摄的红外光图像；

图7为本发明所提供的经过透视畸变校正后的红外光图像；

图8为本发明所提供的双相机透视畸变校正系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种双相机透视畸变校正方法及系统，能够校正双相机的透视畸变，提高图像测量精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，双相机成像系统采用红外光相机与可见光相机两路相机的共轴光学系统，靶板放置于导轨上，可沿导轨方向移动，将成像系统放置于转台上，转台跟随靶板转动，保证靶板在成像系统的视场内，成像系统对靶板进行动态采像，其中，101为初始位置的靶板；102为靶板中心十字；103为目标光斑；104为终止位置的靶板；105为激光照射器；106为双路相机及转台；107为终止位置靶板所成的像；108为初始位置靶板所成的像。

基于图1中所示成像系统采集设备，图2为本发明所提供的双相机透视畸变校正方法流程图，如图2所示，一种双相机透视畸变校正方法，包括：

步骤201：动态同步获取可见光图像以及红外光图像；所述可见光图像是由可见光相机对移动中的靶板进行采集的；所述红外光图像是由红外光相机对移动中的靶板上的光斑采集的。值得注意的是，红外成像中装有光学1064nm的窄带滤波片，光斑(1064nm的激光不可见)只能在红外光图像中看见，靶板只能在可见光图像中看见。

步骤202：根据所述可见光图像识别合作目标点，确定畸变后的合作目标点；所述合作目标点为靶板上标记的目标点；所述畸变后的合作目标点包括畸变的可见光合作目标点。

所述步骤202具体包括：根据所述合作目标点确定感兴趣ROI区域，确定ROI图像；利用自适应阈值法对所述感兴趣区域(region ofinterest，ROI)图像进行二值化处理，确定二值化后的图像；对所述二值化后的图像以及所述ROI图像进行反色处理，确定目标区域；对所述目标区域内的像素点坐标进行加权计算，确定畸变后的合作目标点。

在实际应用中，如图3所示，对可见光相机采集到的图像进行合作目标点识别，其中，301为畸变的可见光图像，302为靶板中心十字；303为合作目标点，304为畸变的红外图像，305为目标光斑，306为坐标变换后的可见光和红外光融合图像，307为校正透视变换后的可见光和红外光融合图像。

可见光图像目标识别是对图像中靶板上的4个合作目标进行质心识别，即合作目标点识别。识别方法是选取合作目标点附近的一块ROI区域，其中，所述合作目标点附件的ROI区域为比合作目标点大1.5～3倍区域，通过自适应阈值对ROI图像进行二值化，确定二值化图像，将二值图像中ROI图像置为1，其他区域为0，与原ROI图像相乘，即进行反色操作，根据ROI图像的像素值对ROI区域的像素坐标进行加权处理，对加权后的横纵两个方向的像素坐标求和取平均确定合作目标质心

在实际应用中，将识别出的合作目标质心作为下一帧图像对应位置处的ROI区域中心，重复以下步骤可完成对多帧图像的连续畸变校正。

步骤203：利用标准网格板确定坐标变换矩阵；所述坐标变换矩阵用于将所述红外光图像上的像素点坐标变换到所述可见光图像上。

所述步骤203具体包括：利用所述可见光相机以及所述红外光相机分别对所述标准网格板进行静态采像，获取静态可见光图像以及静态红外光图像；获取所述静态可见光图像上的多个可见光特征点；在所述静态红外光图像上获取与所述可见光特征点同一位置的红外光特征点；根据所述可见光特征点以及所述红外光特征点确定坐标变换矩阵。

一般的，4对特征点即可得出坐标变换矩阵。特征点对越多，矩阵越精确。在实际应用中取10～15对特征点。

在实际应用中，求坐标变换矩阵的方法是：成像系统对标准网格板进行静态采像。在可见光图像上选取多个特征点，在红外光图像上找到与之对应的特征点组成多个特征点对，由特征点对可以计算求得红外光图像上的点变换到可见光图像上点的坐标变换矩阵T_c；设

通过下式即可解出T_c。计算公式如下：

其中，(x，y)为原始图像像素坐标，(u＝X/W，v＝Y/W)为变换后的图像像素坐标，

表示图像旋转变换，T₂＝[a₁₃ a₂₃]^T用于产生图像透视变换，T₃＝[a₃₁ a₃₂]表示图像平移。

步骤204：根据所述畸变后的合作目标点确定可见光透视变换矩阵。

所述步骤204具体包括：获取所述可见光相机的焦距、像元尺寸以及所述靶板正对于所述可见光相机之间的距离；根据所述焦距、像元尺寸以及所述距离确定理想的合作目标点；所述理想的合作目标点为无畸变的合作目标点；根据所述理想的合作目标点以及所述畸变后的合作目标点确定可见光透视变换矩阵。

在实际应用中，双透视变换矩阵的方法是：先求解出理想的校正透视畸变后的4个合作目标点。

已知可见光相机焦距f、像元尺寸u、靶板正对相机的距离L以及靶板上4个合作目标点坐标

以求解一个理想合作目标的横坐标x为例，计算公式为

同理可求出理想的4个合作目标点坐标

与实际靶板上4个合作目标点坐标

组成点对，根据坐标变换矩阵确定透视变换矩阵T_vp，该矩阵为可见光透视变换矩阵。

步骤205：根据确定的可见光透视变换矩阵以及坐标变换矩阵确定红外光透视变换矩阵。

利用公式T_lp＝T_c·T_vp确定红外光透视变换矩阵T_lp。

步骤206：根据所述可见光透视变换矩阵以及所述红外光透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。

如图4-图7所示，对红外光相机以及可见光相机采集到的图像分别进行透视变换：

对可见光相机采集到的图像进行透视变换的方法是将图4中的可见光图像与可见光透视变换矩阵相乘，确定校正透视畸变后的可见光图像，即图5。

对红外光相机采集到的图像进行透视变换的方法是将图6中的红外光图像与红外光透视变换矩阵相乘，确定校正透视畸变后的红外光图像，即图7。

图8为本发明所提供的双相机透视畸变校正系统结构图，如图8所示，一种双相机透视畸变校正系统，包括：

图像获取模块801，用于动态同步获取可见光图像以及红外光图像；所述可见光图像是由可见光相机对移动中的靶板进行采集的；所述红外光图像是由红外光相机对移动中的靶板上的光斑进行采集的。

畸变后的合作目标点确定模块802，用于根据所述可见光图像以及所述红外光图像识别合作目标点，确定畸变后的合作目标点；所述合作目标点为靶板上标记的目标点；所述畸变后的合作目标点包括畸变的可见光合作目标点。

所述畸变后的合作目标点确定模块802具体包括：ROI图像确定单元，用于根据所述合作目标点确定感兴趣ROI区域，确定ROI图像；二值化处理单元，用于利用自适应阈值法对所述ROI图像进行二值化处理，确定二值化后的图像；反色处理单元，用于对所述二值化后的图像对所述ROI图像进行反色处理，确定目标区域；畸变后的合作目标点确定单元，用于对所述目标区域内的像素点坐标进行加权计算，确定畸变后的合作目标点。

坐标变换矩阵确定模块803，用于利用标准网格板确定坐标变换矩阵；所述坐标变换矩阵用于将所述红外光图像上的像素点坐标变换到所述可见光图像上。

所述坐标变换矩阵确定模块803具体包括：静态图像获取单元，用于利用所述可见光相机以及所述红外光相机分别对所述标准网格板进行静态采像，获取静态可见光图像以及静态红外光图像；可见光特征点获取单元，用于获取所述静态可见光图像上的多个可见光特征点；红外光特征点获取单元，用于在所述静态红外光图像上获取与所述可见光特征点同一位置的红外光特征点；坐标变换矩阵确定单元，用于根据所述可见光特征点以及所述红外光特征点确定坐标变换矩阵。

可见光透视变换矩阵确定模块804，用于根据所述畸变后的合作目标点确定可见光透视变换矩阵；

所述可见光透视变换矩阵确定模块804具体包括：参数获取单元，用于获取所述可见光相机的焦距、像元尺寸以及所述靶板正对于所述可见光相机之间的距离；理想的合作目标点确定单元，用于根据所述焦距、像元尺寸以及所述距离确定理想的合作目标点；所述理想的合作目标点为无畸变的合作目标点；可见光透视变换矩阵确定单元，用于根据所述理想的合作目标点以及所述畸变后的合作目标点确定可见光透视变换矩阵。

红外光透视变换矩阵确定模块805，用于根据所述坐标变换矩阵以及所述可见光透视变换矩阵确定红外光透视变换矩阵。

畸变校正模块806，用于根据所述透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种双相机透视畸变校正方法，其特征在于，包括：

动态同步获取可见光图像以及红外光图像；所述可见光图像是由可见光相机对移动中的靶板进行采集的；所述红外光图像是由红外光相机对移动中靶板上的光斑进行采集的；

根据所述可见光图像识别合作目标点，确定畸变后的合作目标点；所述合作目标点为靶板上标记的目标点；所述畸变后的合作目标点包括畸变的可见光合作目标点；

利用标准网格板确定坐标变换矩阵；所述坐标变换矩阵用于将所述红外光图像上的像素点坐标变换到所述可见光图像上；

根据所述畸变后的合作目标点确定可见光透视变换矩阵；先求解出理想的校正透视畸变后的4个合作目标点；已知可见光相机焦距f、像元尺寸u、靶板正对相机的距离L以及靶板上4个合作目标点坐标

以求解一个理想合作目标的横坐标x为例，计算公式为

同理求出理想的4个合作目标点坐标

与实际靶板上4个合作目标点坐标

组成点对，根据坐标变换矩阵确定透视变换矩阵T_vp，该矩阵为可见光透视变换矩阵；

根据所述可见光透视变换矩阵以及所述坐标变换矩阵确定红外光透视变换矩阵；

根据所述可见光透视变换矩阵以及所述红外光透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。

2.根据权利要求1所述的校正方法，其特征在于，所述根据所述可见光图像识别合作目标点，确定畸变后的合作目标点，具体包括：

根据所述合作目标点确定感兴趣ROI区域，确定ROI图像；

利用自适应阈值法对所述ROI图像进行二值化处理，确定二值化后的图像；

根据所述二值化后的图像对所述ROI图像进行反色处理，确定目标区域；

对所述目标区域内的像素点坐标进行加权计算，确定畸变后的合作目标点。

3.根据权利要求1所述的校正方法，其特征在于，所述利用标准网格板确定坐标变换矩阵，具体包括：

利用所述可见光相机以及所述红外光相机分别对所述标准网格板进行静态采像，获取静态可见光图像以及静态红外光图像；

获取所述静态可见光图像上的多个可见光特征点；

在所述静态红外光图像上获取与所述可见光特征点同一位置的红外光特征点；

根据所述可见光特征点以及所述红外光特征点确定坐标变换矩阵。

4.一种双相机透视畸变校正系统，其特征在于，包括：

图像获取模块，用于动态同步获取可见光图像以及红外光图像；所述可见光图像是由可见光相机对移动中的靶板进行采集的；所述红外光图像是由红外光相机对移动中的靶板上的光斑进行采集的；

畸变后的合作目标点确定模块，用于根据所述可见光图像识别合作目标点，确定畸变后的合作目标点；所述合作目标点为靶板上标记的目标点；所述畸变后的合作目标点包括畸变的可见光合作目标点；

坐标变换矩阵确定模块，用于利用标准网格板确定坐标变换矩阵；所述坐标变换矩阵用于将所述红外光图像上的像素点坐标变换到所述可见光图像上；

可见光透视变换矩阵确定模块，用于根据所述畸变后的合作目标点确定可见光透视变换矩阵；先求解出理想的校正透视畸变后的4个合作目标点；已知可见光相机焦距f、像元尺寸u、靶板正对相机的距离L以及靶板上4个合作目标点坐标

以求解一个理想合作目标的横坐标x为例，计算公式为

同理求出理想的4个合作目标点坐标

与实际靶板上4个合作目标点坐标

组成点对，根据坐标变换矩阵确定透视变换矩阵T_vp，该矩阵为可见光透视变换矩阵；

红外光透视变换矩阵确定模块，用于根据所述可见光透视变换矩阵以及所述坐标变换矩阵确定红外光透视变换矩阵；

畸变校正模块，用于根据所述可见光透视变换矩阵以及所述红外光透视变换矩阵分别对所述可见光图像以及所述红外光图像进行畸变校正，确定校正后的可见光图像以及校正后的红外光图像。

5.根据权利要求4所述的校正系统，其特征在于，所述畸变后的合作目标点确定模块具体包括：

ROI图像确定单元，用于根据所述合作目标点确定感兴趣ROI区域，确定ROI图像；

二值化处理单元，用于利用自适应阈值法对所述ROI图像进行二值化处理，确定二值化后的图像；

反色处理单元，根据所述二值化后的图像对所述ROI图像进行反色处理，确定目标区域；

畸变后的合作目标点确定单元，用于对所述目标区域内的像素点坐标进行加权计算，确定畸变后的合作目标点。

6.根据权利要求4所述的校正系统，其特征在于，所述坐标变换矩阵确定模块具体包括：

静态图像获取单元，用于利用所述可见光相机以及所述红外光相机分别对所述标准网格板进行静态采像，获取静态可见光图像以及静态红外光图像；

可见光特征点获取单元，用于获取所述静态可见光图像上的多个可见光特征点；

红外光特征点获取单元，用于在所述静态红外光图像上获取与所述可见光特征点同一位置的红外光特征点；

坐标变换矩阵确定单元，用于根据所述可见光特征点以及所述红外光特征点确定坐标变换矩阵。

Images