CN107358632B - 应用于水下双目立体视觉的水下摄像机标定方法 - Google Patents

应用于水下双目立体视觉的水下摄像机标定方法 Download PDF

Info

Publication number
CN107358632B
CN107358632B CN201710513576.1A CN201710513576A CN107358632B CN 107358632 B CN107358632 B CN 107358632B CN 201710513576 A CN201710513576 A CN 201710513576A CN 107358632 B CN107358632 B CN 107358632B
Authority
CN
China
Prior art keywords
underwater
air
camera
image
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710513576.1A
Other languages
English (en)
Other versions
CN107358632A (zh
Inventor
王惠刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201710513576.1A priority Critical patent/CN107358632B/zh
Publication of CN107358632A publication Critical patent/CN107358632A/zh
Application granted granted Critical
Publication of CN107358632B publication Critical patent/CN107358632B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明提供了一种应用于水下双目立体视觉的水下摄像机标定方法，将水中的图像转化为空气中的图像，再利用转换后的图像进行标定。由于分别在焦点位于空气和水的分界处、水面内、水面外对水下成像点和对应无水时空气成像点进行分析和建模，得到了两者的转换关系；通过将水下图像转换为无水时空气图像后再采用空气标定算法标定，不仅可以提高标定精度，还可以继续采用空气中算法进行后续处理，扩展性较强。

Description

应用于水下双目立体视觉的水下摄像机标定方法
技术领域
本发明属水下双目立体视觉技术领域，具体涉及一种应用于水下双目立体视觉的水下摄像机标定方法。
背景技术
海洋中含有极为丰富的油气资源、生物资源和空间资源等，在海洋的探索、开发过程中，必然对探测技术的鲁棒性、实时性、适用性诸多方面提出更多要求。视觉探测具有精度高、速度快、应用场景广泛等优点，已逐渐成为海洋探测的重要技术。水下双目立体视觉技术可应用于大坝缝隙检测定位、海底管道检查和水下任务执行中，一个完整的双目立体视觉系统主要由图像采集、图像预处理、摄像机标定、图像校正、立体匹配、三维几何信息获取这六大部分组成。摄像机标定是为了建立二维平面和三维空间之间的关系，在水与空气的分界处，由于两者的折射率不一样，光从水下进入摄像机时就会产生折射现象，致使空气中的摄像机标定方法不能直接应用于水下。Pessel等在文献“Pessel N,Opderbecke J,Aldon M J.Camera Self-Calibration in Underwater Environment[J].Int.conf.in,2003,7(4):189-219.”中提出的方法，没有考虑水下折射现象，直接对摄像机进行标定，标定的误差较大；Swaminathan等人在文献“R.Swaminathan,M.D.Grossberg.Non-singleViewpoint Catadioptric Cameras:Geometry and Analysis.Int.J.Comp.Vision,2006,6,pp.211-229.”中提出了非单视点模型的成像理论，但是该方法并没有建立目标三维坐标与其图像坐标的联系；王玲玲等在文献“王玲玲.基于双目立体视觉的水下三维重建[D].浙江大学,2011.”中提出将水下图像转化成空气图像后再标定的方法，但该模型忽略了成像点在图像平面的纵坐标；李洪生等在文献“李洪生.水下摄像机标定技术的研究[D].哈尔滨工业大学，2013.”中通过对水下成像过程进行建模，推导出在水下成像点的世界坐标系与图像坐标系的关系，对现有的Tsai标定法进行改进，完成了水下摄像机的标定；张强等在文献“张强,王鑫,李海滨.基于粒子群优化的水下成像系统标定[J].光子学报,2014,43(1):103-107.”中采用粒子群优化算法对水下标定评价函数进行优化，标定出了摄像机光心与防水外壳之间的距离、防水外壳的厚度；Huang等在文献“Huang L,Zhao X,Huang X,etal.Underwater camera model and its use in calibration[C]//IEEE InternationalConference on Information and Automation.IEEE,2015.”中利用平行平面板理论，先将水下折射过程近似为光线穿过一块由空气构成的平面平行板，后采用张正友平面标定方法对水下摄像机进行标定。这些方法有效地提高了水下摄像机标定精度，但在水下双目立体视觉技术中，由于额外的增加了水下摄像机玻璃罩的厚度，后期直接采用空气中的校正算法和匹配算法都会给测量结果带来误差。
发明内容
为了克服现有方法未考虑到光在水中折射、成像点在图像平面的纵坐标和水下摄像机玻璃罩厚度等问题的不足，本发明提出了一种应用于水下双目立体视觉的水下摄像机标定方法，将水中的图像转化为空气中的图像，再利用转换后的图像进行标定。
一种应用于水下双目立体视觉的水下摄像机标定方法，其特征在于步骤如下：
步骤1：在空气中采用基于平面模板的张正友标定法标定出左右摄像机光心的投影坐标(u0,v0)和每个像素的实际大小(dx,dy)；
步骤2：建立摄像机焦点分别位于水和空气分界处、水面内、水面外三种情况下水下成像点和对应空气成像点的关系，即：
其中，(Xi,Yi)、(Xa,Ya)分别为水下成像点和对应空气成像点在摄像机坐标系下的坐标，nw、na分别为水和空气的折射率，f为摄像机焦距；
利用图像像素坐标系表示式(1)，得到水下图像向对应空气图像的转换模型为：
Figure BDA0001336143650000022
其中，(ui,vi)、(ua,va)分别为水下成像点和对应空气成像点的图像像素坐标；
步骤3：在水下采集15-20组不同姿态下的标定板图像，将获取的水下标定板图像通过式(2)转化为对应无水时的空气图像；
步骤4：提取转换后水下图像的棋盘格角点，然后采用空气中标定算法得到左右摄像机的参数。
所述的步骤3中将水下图像转化成无水时空气图像时，选取后向映射方式进行灰度插值，插值算法选取双线性插值算法。
所述的步骤4中采用可以精确至亚像素级别的Harris角点检测算法提取角点，选取空气中现有的张正友平面标定法完成水下摄像机标定，得到左右摄像机的参数。
本发明的有益效果是：由于分别在焦点位于空气和水的分界处、水面内、水面外对水下成像点和对应无水时空气成像点进行分析和建模，得到了两者的转换关系；通过将水下图像转换为无水时空气图像后再采用空气标定算法标定，不仅可以提高标定精度，还可以继续采用空气中算法进行后续处理，扩展性较强。
附图说明
图1是水下摄像机结构示意图。
图2是本发明的一种应用于水下双目立体视觉的水下摄像机标定方法流程图。
图3是本发明的水下图像转换对应空气图像的流程图。
图4是采集的原图像和采用本发明转换模型转换后的水下图像。
图5是采用直接标定的结果进行立体校正后的左右水下图像。
图6是采用本发明方法标定的结果进行立体校正后的左右水下图像。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
水下摄像机一般由CCD和抗压密封外壳组成，在摄像机镜头前方会采用玻璃板密封防水，相应的结构图如图1所示。其中f为透镜焦距，d为焦点到玻璃板的距离，由于水、玻璃、空气三者的折射率不一样，当光线到达玻璃板时，也会产生折射使得成像光线在其内部会发生一段侧移，但玻璃的厚度与物距一般相差较大，因此可以不考虑玻璃对光线的影响，近似认为折射只发生在水-空气界面处即只产生一次折射。
分别在焦点位于空气和水的分界处和水面内、外时对水下成像点和对应无水时空气成像点进行分析和建模，得到两者的转换关系如下：
Figure BDA0001336143650000041
其中，(Xi,Yi)、(Xa,Ya)分别为水下成像点和对应空气成像点在摄像机坐标系下的坐标，nw、na分别为水和空气的折射率，f为摄像机焦距，利用图像像素坐标系表示式(3)，可得到水下图像向对应空气图像的转换模型为：
Figure BDA0001336143650000042
其中，(ua,va)为(Xa,Ya)的像素坐标，(ui,vi)为(Xi,Yi)的像素坐标，(dx,dy)为每个像素的实际大小，可通过在空气中标定获取，(u0,v0)为图像主点坐标，即左右摄像机光心的投影坐标。
通过转换模型，单一水下图像就可向对应空气图像转换。转换后图像中的物点和像点与空气成像过程一致，因此在标定、校正匹配过程中可以直接采用空气中的算法进行处理，无需对现有算法改进。
因此，本发明的一种应用于水下双目立体视觉的水下摄像机标定方法，如图2所示，包括以下几个步骤：
步骤1：先在空气中采用基于平面的张正友平面标定法估计出水下双目立体系统的左右摄像机内参，即光心的投影坐标(u0,v0)和每个像素的实际大小(dx,dy)。
步骤2：在水下采集15-20组不同姿态下的标定板图像，利用步骤1得到的左右摄像机内参，将空气图像中的坐标作为输入，通过式(4)计算在水下图像中的对应坐标，若得到的坐标是非整数，在水下图像中利用双线性插值算法计算非整数点坐标处的灰度值，将该灰度值赋给输入空气图像坐标的灰度值，得到对应无水时的空气图像。图3是水下图像转换为对应空气图像的流程图。图4是采集的原图像和利用转换模型转换后的水下图像。
步骤3：采用可精确至亚像素级的Harris角点检测算法提取转换后标定板图像中的角点，后采用空气中现有的基于平面模板的张正友平面标定法计算出左右摄像机的参数，即内参、外参和左右摄像机之间的旋转和平移矩阵。
为了验证水下图像转换后再标定算法的准确性，利用双目系统在水下采集不同标定板姿态的图像，分别进行直接标定和转换后再标定，由于摄像机内部参数不随环境的改变而改变，利用空气中的标定结果作为真实值分析误差，左右摄像机的参数标定结果如表1和表2所示(fx和fy分别为u轴和v轴上的归一化焦距)，并利用标定结果对左右摄像机采集的目标图像进行立体校正，为了更好的进行对比分析，选取立体校正图像的区域放大图如图5和图6所示。
表1左摄像机标定结果对比
Figure BDA0001336143650000051
表2右摄像机标定结果对比
Figure BDA0001336143650000052

Claims (3)

1.一种应用于水下双目立体视觉的水下摄像机标定方法，其特征在于步骤如下：
步骤1：在空气中采用基于平面模板的张正友标定法标定出左右摄像机光心的投影坐标(u0,v0)和每个像素的实际大小(dx,dy)；
步骤2：建立摄像机焦点分别位于水和空气分界处、水面内、水面外三种情况下水下成像点和对应空气成像点的关系，即：
Figure FDA0001336143640000011
其中，(Xi,Yi)、(Xa,Ya)分别为水下成像点和对应空气成像点在摄像机坐标系下的坐标，nw、na分别为水和空气的折射率，f为摄像机焦距；
利用图像像素坐标系表示式(1)，得到水下图像向对应空气图像的转换模型为：
Figure FDA0001336143640000012
其中，(ui,vi)、(ua,va)分别为水下成像点和对应空气成像点的图像像素坐标；
步骤3：在水下采集15-20组不同姿态下的标定板图像，将获取的水下标定板图像通过式(2)转化为对应无水时的空气图像；
步骤4：提取转换后水下图像的棋盘格角点，然后采用空气中标定算法得到左右摄像机的参数。
2.如权利要求1所述的一种应用于水下双目立体视觉的水下摄像机标定方法，其特征在于：所述的步骤3中将水下图像转化成无水时空气图像时，选取后向映射方式进行灰度插值，插值算法选取双线性插值算法。
3.如权利要求1或2所述的一种应用于水下双目立体视觉的水下摄像机标定方法，其特征在于：所述的步骤4中采用可以精确至亚像素级别的Harris角点检测算法提取角点，选取空气中现有的张正友平面标定法完成水下摄像机标定，得到左右摄像机的参数。
CN201710513576.1A 2017-06-29 2017-06-29 应用于水下双目立体视觉的水下摄像机标定方法 Expired - Fee Related CN107358632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710513576.1A CN107358632B (zh) 2017-06-29 2017-06-29 应用于水下双目立体视觉的水下摄像机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710513576.1A CN107358632B (zh) 2017-06-29 2017-06-29 应用于水下双目立体视觉的水下摄像机标定方法

Publications (2)

Publication Number Publication Date
CN107358632A CN107358632A (zh) 2017-11-17
CN107358632B true CN107358632B (zh) 2020-01-14

Family

ID=60273231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710513576.1A Expired - Fee Related CN107358632B (zh) 2017-06-29 2017-06-29 应用于水下双目立体视觉的水下摄像机标定方法

Country Status (1)

Country Link
CN (1) CN107358632B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629748B (zh) * 2018-04-16 2022-08-05 深圳臻迪信息技术有限公司 图像矫正方法、装置、电子设备以及计算机可读存储介质
CN109490251A (zh) * 2018-10-26 2019-03-19 上海大学 基于光场多层折射模型的水下折射率自标定方法
CN109754428B (zh) * 2018-11-26 2022-04-26 西北工业大学 一种用于水下双目视觉定位误差的测量方法
CN110533702B (zh) * 2019-08-12 2023-04-18 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN110702066B (zh) * 2019-10-15 2022-03-18 哈尔滨工程大学 一种水下双目相机视觉定位方法
CN111784753B (zh) * 2020-07-03 2023-12-05 江苏科技大学 自主水下机器人回收对接前景视场三维重建立体匹配方法
CN112995639B (zh) * 2021-02-05 2022-04-15 中国科学院沈阳自动化研究所 一种水下目标精细三维感知方法
CN114429431B (zh) * 2022-04-01 2022-06-21 西南科技大学 一种水下到空气中图像转化的辨识方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221331B (zh) * 2011-04-11 2012-06-27 浙江大学 一种基于不对称双目立体视觉技术的测量方法
CN103247053B (zh) * 2013-05-16 2015-10-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法
CN103971406B (zh) * 2014-05-09 2017-12-08 青岛大学 基于线结构光的水下目标三维重建方法
CN104933718B (zh) * 2015-06-23 2019-02-15 广东省智能制造研究所 一种基于双目视觉的物理坐标定位方法
CN105678742B (zh) * 2015-12-29 2018-05-22 哈尔滨工业大学深圳研究生院 一种水下相机标定方法

Also Published As

Publication number Publication date
CN107358632A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107358632B (zh) 应用于水下双目立体视觉的水下摄像机标定方法
CN109615652B (zh) 一种深度信息获取方法及装置
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN110136208B (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109035309B (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109360246B (zh) 基于同步子区搜索的立体视觉三维位移测量方法
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN108520537B (zh) 一种基于光度视差的双目深度获取方法
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN111127540B (zh) 一种三维虚拟空间自动测距方法及系统
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
CN110728745B (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
Fan et al. Underwater optical 3-D reconstruction of photometric stereo considering light refraction and attenuation
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
Fan et al. Development, calibration, and image processing of underwater structured light vision system: A survey
CN102890821A (zh) 红外摄像机标定方法及系统
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200114

Termination date: 20200629