CN115797417A - 一种用于海上钻井平台的可见-红外相机图像快速配准方法 - Google Patents

一种用于海上钻井平台的可见-红外相机图像快速配准方法 Download PDF

Info

Publication number
CN115797417A
CN115797417A CN202211126144.2A CN202211126144A CN115797417A CN 115797417 A CN115797417 A CN 115797417A CN 202211126144 A CN202211126144 A CN 202211126144A CN 115797417 A CN115797417 A CN 115797417A
Authority
CN
China
Prior art keywords
image
infrared camera
camera
images
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211126144.2A
Other languages
English (en)
Inventor
肖赟辰
凌霄
韩慧杰
徐笑
张梦
钱渠
周俊波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Academy of Intelligent Sensing
Original Assignee
Nantong Academy of Intelligent Sensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Academy of Intelligent Sensing filed Critical Nantong Academy of Intelligent Sensing
Priority to CN202211126144.2A priority Critical patent/CN115797417A/zh
Publication of CN115797417A publication Critical patent/CN115797417A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于海上钻井平台的可见‑红外相机图像快速配准方法，属于图像处理技术领域，发明先对红外和可见相机进行立体定标，分别获得两台相机的内参矩阵、畸变系数，以及描述二者相对位姿的平移向量和旋转变换矩阵，并存储；对海面成像时，算法利用上述参数对两台相机所成的图像进行立体校正，获得极线对齐后的图像；利用从云台获取的相机俯仰角和距海面高度信息，逐行计算平移量，对极线对齐后的图像进行配准，获得配准后的海平面图像。本发明的算法可快速实现海面图像的配准，满足实时视频处理的需求。

Description

一种用于海上钻井平台的可见-红外相机图像快速配准方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于海上钻井平台的可见-红外相机图像快速配准方法。
背景技术
红外图像受照明或天气变化的影响较小，而可见光图像通常具有高分辨率和丰富的纹理，将两类图像信息综合在一起，可有效提高目标检测和识别的准确性。综合利用二者信息的前提，是进行图像配准，获取红外和可见光图像间的几何对应关系。现有的基于特征提取和匹配的配准算法如Harris角点法、SIFT或SURF，在解决红外相机和可见光相机的多模图像匹配问题时，仍然存在许多困难。一方面，红外和可见图像表征了两种不同的物理现象，他们的表观特征完全不同，导致很少有共同的可匹配特征；另一方面，红外图像分辨率较低，因此与可见光图像间存在着较大的尺度差异；而且，红外图像受噪声影响严重，难以从中提取可靠的特征；最后，较慢的匹配速度使其难以应用在实时的视频处理场合。
对于相对位置固定的红外和可见光相机，可以通过定标，利用已知的几何关系，进行图像匹配。但该方法的误差
Figure 753610DEST_PATH_IMAGE001
与物距
Figure 960601DEST_PATH_IMAGE002
成反比，具体来说，
Figure 41427DEST_PATH_IMAGE003
其中，
Figure 638762DEST_PATH_IMAGE004
为焦距，
Figure 597490DEST_PATH_IMAGE005
为像元尺寸，
Figure 127829DEST_PATH_IMAGE006
为基线长度。如果图像中物体前后差距较大且距离未知，那么很难用一种方法，在整张图像上都获得较小的匹配误差。
当安放于海上钻井平台，用于对海面进行观察时，该场景具有特殊性。目标距离可以通过测量相机距海面高度和云台俯仰角，根据三角关系计算得出。
据此，本领域的技术人员致力于开发一种用于海上钻井平台的可见-红外相机快速配准方法。
发明内容
有鉴于现有技术的上述缺陷，本发明提供了一种用于海上钻井平台的可见-红外相机图像快速配准方法，其技术点在于，包括以下步骤：
步骤一，在设计和组装时，确保可见光相机和红外相机水平并列放置使其焦平面平行且于同一平面上；
步骤二，获取见光相机影像和红外相机影像进行立体定标，获得定标参数，并存储为定标参数文件；
步骤三，将可见光相机和红外相机安放在云台上，云台置于海上钻井平台，获取可见光相机的对海面图像和红外相机的对海面图像；
步骤四，利用步骤二获得的定标参数文件与步骤三获得的对海面图像进行立体校正，获得极线对齐后的图像；
步骤五，获取步骤三中所述云台上可见光相机和红外相机的俯仰角和距海面高度信息，逐行计算平移量，对极线对齐后的图像进行配准，获得配准后的海面图像。
在本发明的有的实施例中，上述的用于海上钻井平台的可见-红外相机图像快速配准方法的步骤二中定标参数包括内参矩阵、畸变系数和相对位置。
在本发明的有的实施例中，上述的用于海上钻井平台的可见-红外相机图像快速配准方法的相对位置包括见光相机影像和红外相机影像的平移向量和旋转变换矩阵。
在本发明的有的实施例中，上述的用于海上钻井平台的可见-红外相机图像快速配准方法的步骤五具体操作包括以下步骤：
步骤5-1，计算红外相机所成图像各行像素偏移量，以获得红外相机各像素重映射矩阵；
步骤5-2，使用步骤5-1中得到的重映射矩阵，对红外相机所成图像进行重映射，得到配准到可见光相机图像上的红外图像。
在本发明的有的实施例中，上述的用于海上钻井平台的可见-红外相机图像快速配准方法的步骤5-1中，第
Figure 84283DEST_PATH_IMAGE007
行的偏移量
Figure 965652DEST_PATH_IMAGE008
按照如下公式计算：
Figure DEST_PATH_IMAGE010A
，其中，
Figure 164290DEST_PATH_IMAGE011
为主点距海面高度，
Figure 814714DEST_PATH_IMAGE012
为平台俯仰角，
Figure 473228DEST_PATH_IMAGE013
为可见光相机的焦距（单位为像素），
Figure 45155DEST_PATH_IMAGE007
为以主点为原点、单位为像素的图像
Figure 80107DEST_PATH_IMAGE014
轴坐标。
与现有技术相比，本发明的有益效果为：
本发明的一种用于海上钻井平台的可见-红外相机图像快速配准方法是基于几何关系提出的，解决了在海上钻井平台对海面进行成像时的图像快速配准问题，有效提高了配准速度，使其可以用于实时视频处理。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的种用于海上钻井平台的可见-红外相机图像快速配准方法的流程图；
图2为本发明的获取步骤三中所述云台上可见光相机和红外相机的俯仰角
Figure 614731DEST_PATH_IMAGE012
和距海面高度h信息示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明的一种用于海上钻井平台的可见-红外相机图像快速配准方法包括以下步骤：
步骤一，在设计和组装时，确保可见光相机和红外相机水平并列放置使其焦平面平行且于同一平面上；
步骤二，获取见光相机影像和红外相机影像进行立体定标，获得定标参数，并存储为定标参数文件；进一步的，其中定标参数包括内参矩阵、畸变系数和相对位置。进一步的，其中快速配准方法的相对位置包括见光相机影像和红外相机影像的平移向量和旋转变换矩阵。
步骤2-1，使用可见光相机和红外相机，对棋盘格定标板同时成像：将定标板以不同姿态，摆放于不同距离，逐次记录定标影响。
步骤2-2，使用MATLAB标定工具箱（Camera Calibration Toolbox for Matlab）中的calib_gui程序，利用步骤2-1中获得的图像，对两台相机分别进行标定，得到两台相机的内参矩阵和畸变系数；
步骤2-3，使用MATLAB标定工具箱中的stereo_gui程序，并利用步骤2-2中获得的定标参数，对两台相机进行标定，得到描述两台相机相对位置的旋转变换矩阵R和平移向量T，以及更新后的可见光相机的内参矩阵K1和畸变系数k1、k2，p1、p2、p3，红外相机内参矩阵和畸变参数。
步骤三，将可见光相机和红外相机水平并列放置在海上钻井平台的云台上，获取可见光相机的对海面图像和红外相机的对海面图像；
步骤四，将步骤二获得的定标参数文件与步骤三获得的对海面图像进行立体校正，获得极线对齐后的图像；
步骤4-1，使用步骤1-3中得到的旋转变换矩阵、平移向量、可见光相机内参矩阵和畸变系数以及红外相机内参矩阵和畸变系数传入OpenCV中的stereoRectify函数，对两台相机进行立体校正；
步骤4-2，分别对可见光相机和红外相机，使用OpenCV中的initUndistortRectifyMap函数和步骤4-1中得到的参数，进行立体校正，得到重映射矩阵；
步骤4-3，使用OpenCV中的remap函数步骤4-2中得到的重映射矩阵，分别对可见光相机和红外相机所成图像，进行重映射，得到立体校正后的图像。
步骤五，如图2所示获取步骤三中所述云台上可见光相机和红外相机的俯仰角
Figure 444147DEST_PATH_IMAGE012
和距海面高度h信息，逐行计算平移量，对极线对齐后的图像进行配准，获得配准后的海面图像。
在本发明的有的实施例中，上述的用于海上钻井平台的可见-红外相机图像快速配准方法的步骤五具体操作包括以下步骤：
步骤5-1，计算红外相机所成图像各行像素偏移量d，以获得红外相机各像素重映射矩阵；
步骤5-2，使用OpenCV中的remap函数和步骤5-1中得到的重映射矩阵，对红外相机所成图像进行重映射，得到配准到可见光相机图像上的红外图像。
进一步的，上述的用于海上钻井平台的可见-红外相机图像快速配准方法的步骤5-1中，第
Figure 503370DEST_PATH_IMAGE007
行的偏移量
Figure 342013DEST_PATH_IMAGE008
按照如下公式计算：
Figure 701450DEST_PATH_IMAGE016
，其中，
Figure 232926DEST_PATH_IMAGE011
为主点距海面高度，
Figure 310603DEST_PATH_IMAGE012
为平台俯仰角，
Figure 654735DEST_PATH_IMAGE013
为可见光相机的焦距（单位为像素），
Figure 134257DEST_PATH_IMAGE007
为以主点为原点、单位为像素的图像
Figure 571055DEST_PATH_IMAGE014
轴坐标。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (5)

1.一种用于海上钻井平台的可见-红外相机图像快速配准方法，其特征在于，包括以下步骤：
步骤一，在设计和组装时，确保可见光相机和红外相机水平并列放置，使其焦平面平行且于同一平面上；
步骤二，获取见光相机影像和红外相机影像进行立体定标，获得定标参数，并存储为定标参数文件；
步骤三，将可见光相机和红外相机安放在云台上，云台置于海上钻井平台，获取可见光相机的对海面图像和红外相机的对海面图像；
步骤四，利用步骤二获得的定标参数文件与步骤三获得的对海面图像进行立体校正，获得极线对齐后的图像；
步骤五，获取步骤三中所述云台上可见光相机和红外相机的俯仰角和距海面高度信息，逐行计算平移量，对极线对齐后的图像进行配准，获得配准后的海面图像。
2.根据权利要求1所述的一种用于海上钻井平台的可见-红外相机图像快速配准方法，其特征在于，所述步骤二中定标参数包括内参矩阵、畸变系数和相对位置。
3.根据权利权利要求2所述的一种用于海上钻井平台的可见-红外相机图像快速配准方法，其特征在于，所述相对位置包括见光相机影像和红外相机影像的平移向量和旋转变换矩阵。
4.根据权利要求1所述的一种用于海上钻井平台的可见-红外相机图像快速配准方法，其特征在于，所述步骤五具体操作包括以下步骤：
步骤5-1，计算红外相机所成图像各行像素偏移量，以获得红外相机各像素重映射矩阵；
步骤5-2，使用步骤5-1中得到的重映射矩阵，对红外相机所成图像进行重映射，得到配准到可见光相机图像上的红外图像。
5.根据权利要求1所述的一种用于海上钻井平台的可见-红外相机图像快速配准方法，其特征在于，所述步骤5-1中，第
Figure 860798DEST_PATH_IMAGE001
行的偏移量
Figure 758347DEST_PATH_IMAGE002
按照如下公式计算：
Figure DEST_PATH_IMAGE004A
，其中，
Figure 19695DEST_PATH_IMAGE005
为主点距海面高度，
Figure 32388DEST_PATH_IMAGE006
为平台俯仰角，
Figure 630860DEST_PATH_IMAGE007
为可见光相机的焦距（单位为像素），
Figure 382915DEST_PATH_IMAGE001
为以主点为原点、单位为像素的图像
Figure 939798DEST_PATH_IMAGE008
轴坐标。
CN202211126144.2A 2022-09-16 2022-09-16 一种用于海上钻井平台的可见-红外相机图像快速配准方法 Pending CN115797417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211126144.2A CN115797417A (zh) 2022-09-16 2022-09-16 一种用于海上钻井平台的可见-红外相机图像快速配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211126144.2A CN115797417A (zh) 2022-09-16 2022-09-16 一种用于海上钻井平台的可见-红外相机图像快速配准方法

Publications (1)

Publication Number Publication Date
CN115797417A true CN115797417A (zh) 2023-03-14

Family

ID=85431986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211126144.2A Pending CN115797417A (zh) 2022-09-16 2022-09-16 一种用于海上钻井平台的可见-红外相机图像快速配准方法

Country Status (1)

Country Link
CN (1) CN115797417A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704048A (zh) * 2023-08-09 2023-09-05 四川元祉智慧科技有限公司 一种双光配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704048A (zh) * 2023-08-09 2023-09-05 四川元祉智慧科技有限公司 一种双光配准方法
CN116704048B (zh) * 2023-08-09 2023-11-17 四川元祉智慧科技有限公司 一种双光配准方法

Similar Documents

Publication Publication Date Title
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN109285145B (zh) 基于智能手机的多株立木高度测量方法
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
WO2021071995A1 (en) Systems and methods for surface normals sensing with polarization
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
Von Gioi et al. Towards high-precision lens distortion correction
CN109255818B (zh) 一种新型标靶及其亚像素级角点的提取方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN108917640A (zh) 一种激光盲孔深度检测方法及其系统
CN112686961A (zh) 一种深度相机标定参数的修正方法、装置
CN112232319A (zh) 一种基于单目视觉定位的扫描拼接方法
CN115797417A (zh) 一种用于海上钻井平台的可见-红外相机图像快速配准方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
CN113313116A (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination