CN113177986B - 一种水下大视野摄像系统 - Google Patents

一种水下大视野摄像系统 Download PDF

Info

Publication number
CN113177986B
CN113177986B CN202110281144.9A CN202110281144A CN113177986B CN 113177986 B CN113177986 B CN 113177986B CN 202110281144 A CN202110281144 A CN 202110281144A CN 113177986 B CN113177986 B CN 113177986B
Authority
CN
China
Prior art keywords
lens
module
image
underwater
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110281144.9A
Other languages
English (en)
Other versions
CN113177986A (zh
Inventor
唐智杰
王占华
李渐达
黄京科
付斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110281144.9A priority Critical patent/CN113177986B/zh
Publication of CN113177986A publication Critical patent/CN113177986A/zh
Application granted granted Critical
Publication of CN113177986B publication Critical patent/CN113177986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种水下大视野摄像系统,包括水下机器人广角镜头、摄像系统、姿态模块、深度模块、超短基线模块、水质改善模块以及中央操控系统。中央操控系统采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算。采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算。当遇到水质浑浊情况时,水质改善模块负责将浑浊的水进行过滤得到安静的水喷到镜头前方,从而使拍到的目标物更加清楚。中央操控系统与水下机器人通过电缆连接,便于远程控制。

Description

一种水下大视野摄像系统
技术领域
本发明涉及到水下目标成像领域,特别是对于水下机器人摄像系统成像时的视野范围过窄的问题,提供一种水下大视野摄像系统。
背景技术
水下成像是水下光学和海洋光学学科的重要研究方向,是人类认识海洋、开发利用海洋和保护海洋的重要手段和工具,具有探测目标直观、成像分辨率高、信息含量高等优点。该技术已经被广泛的应用于水中目标侦察、水下目标探测、水下目标识别、水下考古、海底资源勘探、生物研究、水下工程安装、水下工程检修、水下环境监测、救生打捞等领域。
但是由于水下环境复杂多样,水质浑浊的情况时有发生,因此水下机器人在工作过程中就会遇到因为水质环境差导致摄像机无法捕捉到清晰图像的问题,对于此类问题,一般采取的做法就是缩短摄像机与被拍目标物之间的距离,从而得到更加清晰的图像。但这种做法也导致了摄像机的视野范围变窄,摄像机可以拍到的视野范围大大减小。对于较大的目标物,就需要进行大量的图像拼接,由于摄像机在拍摄图片的过程中存在一定的时间差,因此需要拍摄的照片数量越多,那么第一张图片与最后一张图片的时间差值越大,此时就会造成目标物在拍摄首位两张图片使得时间点上的位置信息、姿态信息产生一定的变化,因此产生了图像处理过程中较大的误差。
中国实用新型专利CN201830721322.4公开了“广角镜头”,采用水下外挂式,该镜头可以得到更大的视角,但只设计了镜头结构,没有相应的算法进行图像的矫正。
中国实用新型专利CN201420054048.6公开了“水下成像专用广角镜头”,该镜头由多组凹透镜、凸透镜组成,可以得到更大角度的视角,但此镜头对于水之浑浊的情况无能为力,而且也没有设计图像矫正的算法。
中国实用新专利CN201821970472.X公开了“一种水下可视钓鱼探测摄像机”,此摄像机主要在钓鱼时使用,主要功能为保护镜头不被损坏,但是无法做到浑浊水质情况下的目标物获取。
发明内容
为了解决现有技术问题,本发明的目的在于克服已有技术存在的不足,提供一种水下大视野摄像系统,使水下机器人在面对浑浊水质情况时无法拍出既清晰又具有较大视野范围的照片的问题得到有效解决,提高了图像采集的精度和质量。
为达到上述发明创造目的,本发明的构思是:
设计了一种水下大视野摄像系统,构造一个可应用于水下机器人上的带有新结构的广角镜头的摄像系统,使得水下机器人得到更大视野范围的图像信息。而由于广角镜头得到的图像都具有一定程度上的畸变,因此摄像系统还具有一个中央操控系统。此操控系统除了须具备原有水下机器人工作过程中的各种操作功能外,还需要采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算。采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算。
根据上述发明构思,本发明采用下述技术方案:
一种水下大视野摄像系统,包括水下机器人、广角镜头、摄像系统、姿态模块、深度模块、超短基线模块、水质改善模块以及中央操控系统,所述水下机器人连接摄像系统、姿态模块、深度模块、超短基线模块、水质改善模块和中央操控系统,摄像系统连接广角镜头。
优选地,所述中央操控系统采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算;采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算。
优选地,所述广角镜头包括喇叭口状亚克力镜片、长方体亚克力板、凸透镜、LED灯、橡胶垫片、聚焦镜片、螺钉、外壳;喇叭口状亚克力镜片与凸透镜搭配以后的更大角度的图像,喇叭口状亚克力镜片独立于镜头外壳之外,通过螺钉连接到水下机器人的外壳上,喇叭口状亚克力镜片由一个圆柱体的亚克力模型切除掉一块梯形旋转体所得到,喇叭口状亚克力镜片与长方体亚克力板一体;凸透镜安装在镜头外壳中,将喇叭口状亚克力镜片所得到的大范围视野信息进行汇总,喇叭口状亚克力镜片与镜头外壳之间有一个橡胶垫片,形成水下工作过程中的防水结构;螺钉安装在长方体亚克力板上,将喇叭口状亚克力镜片固定在水下机器人上;根据螺钉的松紧程度控制橡胶垫片的密封性能;镜头外壳顶端挖孔,用于安装作为水下黑暗环境的光源的LED灯,LED灯还可以实现多光谱照射,以实现多光谱光学检测。挖孔防止水下机器人工作过程中对LED灯产生挤压,凸透镜之下是一组聚焦镜头,用于将得到的光线信息聚焦,以得到更加清晰的图像。
优选地,所述水质改善模块包括喷嘴、过滤网、水泵、水流管道以及相应配件,喷嘴安装在广角镜头长方体亚克力板之前,与安装平面呈45°角,通过喷嘴关节安装在接口上,喷嘴关节可以将喷嘴进行小幅度的角度的改变,以便将处理得到的水喷射到镜头前方各个位置;接口下端与螺钉连接,进行固定,喷嘴与水流管道相连,最终连接到水泵上;水下机器人在水下工作时,水泵吸水,将原来带有杂质的水通过过滤网进行过滤之后,通过水流管道到达喷嘴处,喷嘴将干净的水喷出,替换浑浊的没有处理的水,从而使广角镜头拍到清楚的图片。
优选地,所述姿态模块、深度模块、超短基线模块获得水下机器人的姿态信息、深度信息以及位置信息,为了对所获得的图像进行矫正拼接做准备,并且获得目标物的环境信息,实现对目标进行定位。
优选地,所述中央操控系统根据棋盘位置定位所进行的摄像系统内外参数计算,从而进行图像矫正,具体步骤如下:
首先打印一张棋盘格,把它贴在一个平面上,作为标定物;
然后通过调整标定物或摄像机的方向,为标定物拍摄一些不同方向、不同姿态的照片;
再从照片中提取得到棋盘格角点;
然后估算出理想无畸变的情况下的五个内参和六个外参;
然后应用最小二乘法,估算实际存在径向畸变下的畸变系数;
最后使用极大似然法进行优化估计,提升估计精度。
优选地,所述中央操控系统选用提取SURF特征点匹配的方法,来进行图像拼接,具体步骤如下:
在进行图像拼接之前进行图像预处理,以便更好地进行图像拼接;
然后进行特征点提取与匹配,采用SURF算法完成图像序列特征点的提取;
然后进行图像配准:
图像配准的第一步需要检测每幅图像中特征点;
第二步计算特征点之间的匹配;
第三步计算图像间变换矩阵的初始值;
第四步进行迭代,进一步精确变换矩阵;
第五步将两张图片引导匹配;
用估计的变换矩阵去定义对极线附近的搜索区域,进一步确定特征点的对应;并重复迭代第四步和第五步,直到对应点的数目稳定为止;
最后采用加权平均的方法进行图片融合。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著优点:
1.本发明包括水下机器人广角镜头、摄像系统、姿态模块、深度模块、超短基线模块、水质改善模块以及中央操控系统;中央操控系统采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算;采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算;当遇到水质浑浊情况时,水质改善模块负责将浑浊的水进行过滤得到安静的水喷到镜头前方,从而使拍到的目标物更加清楚;中央操控系统与水下机器人通过电缆连接,便于远程控制;
2.本发明所拍摄到的图像是在水下机器人的移动过程中得到的,因此,图像的拼接顺序也需要根据水下机器人的移动方向来确定;本发明中选择加权平均的方法进行两张图像的合成,能得到满意的拼接后的图像;
3.本发明图像拼接将多次进行,从而将获得的多张图片进行拼接,在水下机器人工作过程中,根据深度模块、位姿模块以及超短基线模块中所得到的水下机器人的深度信息、位姿信息以及方位信息这三大要素确定水下机器人的方位,进而确定每一张图片在最终进行拼接的图片中所占据的位置,确定每一张图片的位置后,最后便可以得到一张具有整个场景完整信息的图片。
附图说明
图1为本发明的广角镜头结构示意图。
图2为图1的左视图。
图3为图1中的喇叭破视图。
图4为本发明的结构框图。
图5为本发明的畸变图像矫正程序框图。
图6为本发明的图像拼接程序框图。
具体实施方式
以下结合具体的实施例子对上述方案做进一步说明,本发明的优选实施例详述如下:
实施例一:
在本实施例中,参见图1-4,一种水下大视野摄像系统,包括水下机器人406、广角镜头401、摄像系统402、姿态模块403、深度模块404、超短基线模块405、水质改善模块409以及中央操控系统407,所述水下机器人406连接摄像系统402、姿态模块403、深度模块404、超短基线模块405、水质改善模块409和中央操控系统407,摄像系统402连接广角镜头401。
本实施例中央操控系统407进行图像配准计算;当遇到水质浑浊情况时,水质改善模409负责将浑浊的水进行过滤得到安静的水喷到镜头前方,从而使拍到的目标物更加清楚;中央操控系统407与水下机器人通过电缆连接,便于远程控制。使水下机器人在面对浑浊水质情况时无法拍出既清晰又具有较大视野范围的照片的问题得到有效解决,提高了图像采集的精度和质量。
实施例二:
本实施例与实施例一基本相同,特别之处在于:
在本实施例中,所述中央操控系统407,采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算;采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算。
在本实施例中,所述广角镜头401包括喇叭口状亚克力镜片、长方体亚克力板、凸透镜、LED灯、橡胶垫片、聚焦镜片、螺钉、外壳;喇叭口状亚克力镜片与凸透镜搭配以后的更大角度的图像,喇叭口状亚克力镜片独立于镜头外壳之外,通过螺钉连接到水下机器人的外壳上,喇叭口状亚克力镜片由一个圆柱体的亚克力模型切除掉一块梯形旋转体所得到,喇叭口状亚克力镜片与长方体亚克力板一体;凸透镜安装在镜头外壳中,将喇叭口状亚克力镜片所得到的大范围视野信息进行汇总,喇叭口状亚克力镜片与镜头外壳之间有一个橡胶垫片,形成水下工作过程中的防水结构;螺钉安装在长方体亚克力板上,将喇叭口状亚克力镜片固定在水下机器人上;根据螺钉的松紧程度控制橡胶垫片的密封性能;镜头外壳顶端挖孔,用于安装作为水下黑暗环境的光源的LED灯,LED灯还可以实现多光谱照射,以实现多光谱光学检测。挖孔防止水下机器人工作过程中对LED灯产生挤压,凸透镜之下是一组聚焦镜头,用于将得到的光线信息聚焦,以得到更加清晰的图像。
在本实施例中,所述水质改善模块409包括喷嘴、过滤网、水泵、水流管道以及相应配件,喷嘴安装在广角镜头长方体亚克力板之前,与安装平面呈45°角,通过喷嘴关节安装在接口上,喷嘴关节可以将喷嘴进行小幅度的角度的改变,以便将处理得到的水喷射到镜头前方各个位置;接口下端与螺钉连接,进行固定,喷嘴与水流管道相连,最终连接到水泵上;水下机器人在水下工作时,水泵吸水,将原来带有杂质的水通过过滤网进行过滤之后,通过水流管道到达喷嘴处,喷嘴将干净的水喷出,替换浑浊的没有处理的水,从而使广角镜头拍到清楚的图片。
在本实施例中,所述姿态模块403、深度模块404、超短基线模块405获得水下机器人的姿态信息、深度信息以及位置信息,为了对所获得的图像进行矫正拼接做准备,并且获得目标物的环境信息,实现对目标进行定位。
在本实施例中,所述中央操控系统407根据棋盘位置定位所进行的摄像系统402内外参数计算,从而进行图像矫正,具体步骤如下:
首先打印一张棋盘格,把它贴在一个平面上,作为标定物;
然后通过调整标定物或摄像机的方向,为标定物拍摄一些不同方向、不同姿态的照片;
再从照片中提取得到棋盘格角点;
然后估算出理想无畸变的情况下的五个内参和六个外参;
然后应用最小二乘法,估算实际存在径向畸变下的畸变系数;
最后使用极大似然法进行优化估计,提升估计精度。
在本实施例中,所述中央操控系统407选用提取SURF特征点匹配的方法,来进行图像拼接,具体步骤如下:
在进行图像拼接之前进行图像预处理,以便更好地进行图像拼接;
然后进行特征点提取与匹配,采用SURF算法完成图像序列特征点的提取;
然后进行图像配准:
图像配准的第一步需要检测每幅图像中特征点;
第二步计算特征点之间的匹配;
第三步计算图像间变换矩阵的初始值;
第四步进行迭代,进一步精确变换矩阵;
第五步将两张图片引导匹配;
用估计的变换矩阵去定义对极线附近的搜索区域,进一步确定特征点的对应;并重复迭代第四步和第五步,为了提高图像拼接的精度,直到对应点的数目稳定为止;
最后采用加权平均的方法进行图片融合。
本实施例水下大视野摄像系统包括水下机器人广角镜头、摄像系统、姿态模块、深度模块、超短基线模块、水质改善模块以及中央操控系统;中央操控系统采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算;采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算;当遇到水质浑浊情况时,水质改善模块负责将浑浊的水进行过滤得到安静的水喷到镜头前方,从而使拍到的目标物更加清楚;中央操控系统与水下机器人通过电缆连接,便于远程控制。
实施例三:
本实施例与实施例一基本相同,特别之处在于:
图1、图2、图3为本实施例的广角镜头的安装示意图、主视图以及剖视图,图1表示广角镜头在实际工作过程中的姿态,图2、图3主要将广角镜头的各部件表示出来,如图所示,广角镜头主要包括以下几个部分:亚克力透光材料制造成的喇叭口状亚克力镜片和长方体亚克力镜片101、凸透镜102、聚焦镜片103以及八个LED灯104、橡胶垫片105、四个固定螺钉106、相机外壳107、四个喷嘴108以及相应的喷嘴关节109、接口110、橡胶水流管道111等。
如图4所示为本实施例的整个大视野摄像系统各部分的连接示意图,新结构的广角镜头401与相应的摄像系统402相配合,摄像系统需要包括以下几个模块:姿态模块403、深度模块404超短基线模块405以及水质改善模块409。其中姿态模块403与深度模块404得到水下机器人在工作过程中的的姿态信息、深度信息,超短基线模块405即超短基线定位系统,用于目标物的水下定位。水质改善模块409负责应对水质浑浊时无法拍到清楚照片的情况。水质改善模块409的一部分如水泵、过滤网等安装在水下机器人上,另一部分如喷嘴108、水流管道111安装在广角镜头401上。摄像系统402安装在水下机器人406之上,水下机器人406工作过程中通过连接电缆线408与地上操控系统407相连。图像传回中央控制系统407,控制系统407对于获得的图像进行矫正以及拼接,从而得到一副完整的图像,得到水下的准确信息。
如图2与图3所示,整个广角镜头中,喇叭口状亚克力镜片101位于整个系统最前端,与被拍摄的物体接触,由螺钉106进行固定,四个螺钉106安装在长方体亚克力板102上,直接将喇叭口状亚克力镜片101固定在水下机器人的外壳上。长方体亚克力板102与橡胶垫片105接触,通过调节螺钉的松紧程度使广角镜头的其他部件满足水下密封的条件。橡胶垫片105之后是凸透镜104,作用是收集更多的图像光线信息。凸透镜104放在镜头外壳107里,外壳107上装有8个LED灯作为光源,以解决水下光线较弱的问题,LED灯104的亮度可以通过中央操控系统407调节,以便适应不同的水下环境。之后的一组凹凸镜片103互相配合作为镜头的聚焦镜片,负责将广角镜头得到的图像对焦,以便获得更清晰的图像。系统带有四个喷嘴108,各个喷嘴108之间夹角为90°,安装位置与螺钉106安装位置相对应,喷嘴108安装在喷嘴关节109之内,可以让喷嘴108在其中进行小范围的角度改变,从而可以进行更大角度、更大范围的水源替换,喷嘴关节109与接口110相连,接口110上端安装喷嘴关节109,下端与螺钉106相连,喷嘴108与水流管道110连接,得到处理之后的、较为清澈的水。
在使用广角镜头的过程中,由于使用凸透镜进行扩大镜头的视野范围,图像会出现一定程度上的桶形失真,这时就需要对其进行矫正,从而得到与实际物体形状一致的图像。
图5为选择棋盘标定相机的方法来对所获得的畸变图像进行矫正的流程图。
相机标定法原理大体可以理解为我们在拍照的过程中相当于将实际世界中的三维信息通过摄像机变成了图像中的二维信息,这个过程本身是不可逆的,但是如果我们可以找到摄像机的数学模型,就可以将此过程变为可逆过程,从而得到实际物体的三维信息。
相机标定法的最终目的是获得相机的内部参数、外部参数以及畸变系数。
具体做法如下:
首先选择一副黑白棋盘,获得其正常情况下各个角点的位置;
然后使用广角镜头以不同位姿对棋盘拍照得到多张不同的畸变后的图像,使用这些图片对摄像机进行定标,得到图像中的角点;求解理想无畸变情况下的摄像机的内部参数、外部参数,利用极大似然法进行估计,提高结果的精度;应用最小二乘法得到实际的径向畸变系数;综合之前得到的内部参数、外部参数、畸变系数,再一次使用极大似然法进行优化估计;最终得到相机的内部参数、外部参数以及畸变系数。
对于图像的畸变矫正,当知道了畸变系数之后,做与畸变相反的变换,就可以消除畸变。
根据得到的内参、外参和畸变系数可以得到物体的实际三维信息,从而将发生畸变的图像进行矫正。
选择基于特征点提取进行匹配的方法对校正后的图像进行拼接,从而得到一张完整的包含所有信息的图像。
当获得矫正之后的图像之后,下一步就是进行图像拼接。
图6为选择提取SURF特征的方法进行图像拼接过程的具体流程图。
在正式进行图像拼接之前,需要先进行图像预处理,包括对于由于拍照角度不同造成的图像畸变进行的矫正处理、将彩色图片转为灰度图片以及图像噪声的抑制。由于水下机器人在拍照过程中会出现位置、角度的变换,因此在进行图像拼接之前还需要根据姿态模块获得的信息,对图片进行角度的调整。
之后开始进行图像拼接,图像拼接分为三大部分,包括:特征点提取与匹配、图像配准、图像融合。为了使拼接具有良好的精度和鲁棒性,同时又使其具有较好的实时性,采用SURF算法完成图像序列特征点的提取。然后进行图像配准,图像配准的目的就是为了找到两张图像之间的变换矩阵。首先第一步需要检测每幅图像中特征点。然后第二步计算特征点之间的匹配。第三步计算图像间变换矩阵的初始值。第四步进行迭代,进一步精确变换矩阵。第五步就开始将两张图片引导匹配。用估计的变换矩阵去定义对极线附近的搜索区域,进一步确定特征点的对应。为了提高图像拼接的精度,需要重复迭代第四步和第五步直到对应点的数目稳定为止。
当图像配准完成之后,就进行图像的合成,本发明所拍摄到的图像是在水下机器人的移动过程中得到的,因此,图像的拼接顺序也需要根据水下机器人的移动方向来确定。
由于两张图像在拍摄过程中图像的亮度不会完全一致,因此就可能导致拼接后的图像缝合线两端出现明显的明暗变化,因此本发明中选择加权平均的方法进行两张图像的合成。这样就可以得到满意的拼接后的图像。
图像拼接将多次进行,从而将获得的多张图片进行拼接,在水下机器人工作过程中,根据深度模块、位姿模块以及超短基线模块中所得到的水下机器人的深度信息、位姿信息以及方位信息这三大要素确定水下机器人的方位,进而确定每一张图片在最终进行拼接的图片中所占据的位置,确定每一张图片的位置后,最后便可以得到一张具有整个场景完整信息的图片。
当遇到水下环境水质浑浊时无法拍到清楚照片的情况时,水质改善模块发挥其作用,水泵将带有杂质的水吸入其中,经过过滤网的过滤作用,将水中的大部分杂质进行清理,得到更加干净、更加清澈的水源,这些得到处理之后的水经过水流管道进入喷嘴中,喷嘴将干净的水喷出,代替广角镜头之前的原来的未处理的水,从而使得广角镜头可以拍到清楚的目标物的图片。喷嘴初始情况下以45°角喷出水流,当需要将处理之后的水进行较远处水流的替换时,喷嘴可以在喷嘴关节中进行角度的改变,从而使喷嘴可以获得更大的喷射范围。更快的拍摄到清楚地图片。
水下机器人在工作过程中,喇叭口状亚克力镜片与目标物进行接触,大视野摄像系统由于凸透镜的存在获得喇叭口状亚克力镜片所接触的整个范围的图像,然后变焦镜片将获得的图像进行聚焦,传递到水下机器人摄像系统。图像信息与水下机器人的深度信息、姿态信息所得到的目标物的环境信息,搭配超短基线得到的定位信息同时传递到中央操控系统进行处理。中央操控系统通过对所获得的图片进行图像矫正、图像拼接最终得到满意的可以使用的图片。
上面对本发明实施例结合附图进行了说明,但本发明不限于上述实施例,还可以根据本发明的发明创造的目的做出多种变化,凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化,均应为等效的置换方式,只要符合本发明的发明目的,只要不背离本发明的技术原理和发明构思,都属于本发明的保护范围。

Claims (4)

1.一种水下大视野摄像系统,其特征在于:包括水下机器人(406)、广角镜头(401)、摄像系统(402)、姿态模块(403)、深度模块(404)、超短基线模块(405)、水质改善模块(409)以及中央操控系统(407),所述水下机器人(406)连接摄像系统(402)、姿态模块(403)、深度模块(404)、超短基线模块(405)、水质改善模块(409)和中央操控系统(407),摄像系统(402)连接广角镜头(401);
所述广角镜头(401)包括喇叭口状亚克力镜片、长方体亚克力板、凸透镜、LED 灯、橡胶垫片、聚焦镜片、螺钉、外壳;喇叭口状亚克力镜片与凸透镜搭配以后的更大角度的图像,喇叭口状亚克力镜片独立于镜头外壳之外,通过螺钉连接到水下机器人的外壳上,喇叭口状亚克力镜片由一个圆柱体的亚克力模型切除掉一块梯形旋转体所得到,喇叭口状亚克力镜片与长方体亚克力板一体;凸透镜安装在镜头外壳中,将喇叭口状亚克力镜片所得到的大范围视野信息进行汇总,喇叭口状亚克力镜片与镜头外壳之间有一个橡胶垫片,形成水下工作过程中的防水结构;螺钉安装在长方体亚克力板上,将喇叭口状亚克力镜片固定在水下机器人上;根据螺钉的松紧程度控制橡胶垫片的密封性能;镜头外壳顶端挖孔,用于安装作为水下黑暗环境的光源的LED灯,LED灯还可以实现多光谱照射,以实现多光谱光学检测,挖孔防止水下机器人工作过程中对LED灯产生挤压,凸透镜之下是一组聚焦镜头,用于将得到的光线信息聚焦,以得到更加清晰的图像;
所述水质改善模块(409)包括喷嘴、过滤网、水泵、水流管道以及相应配件,喷嘴安装在广角镜头长方体亚克力板之前,与安装平面呈45°角,通过喷嘴关节安装在接口上,喷嘴关节可以将喷嘴进行小幅度的角度的改变,以便将处理得到的水喷射到镜头前方各个位置;接口下端与螺钉连接,进行固定,喷嘴与水流管道相连,最终连接到水泵上;水下机器人在水下工作时,水泵吸水,将原来带有杂质的水通过过滤网进行过滤之后,通过水流管道到达喷嘴处,喷嘴将干净的水喷出,替换浑浊的没有处理的水,从而使广角镜头拍到清楚的图片;
所述姿态模块(403)、深度模块(404)、超短基线模块(405)获得水下机器人的姿态信息、深度信息以及位置信息,为了对所获得的图像进行矫正拼接做准备,并且获得目标物的环境信息,实现对目标进行定位。
2.如权利要求1所述的水下大视野摄像系统,其特征在于:所述中央操控系统(407),采用棋盘标定相机的方法进行图像矫正,根据标准棋盘位置定位所进行的摄像系统内外参数计算;采用SURF特征提取选择的方法进行图像拼接,根据选取图片中特征点位置进行图像配准计算。
3.如权利要求2所述的水下大视野摄像系统,其特征在于:所述中央操控系统(407)根据棋盘位置定位所进行的摄像系统(402)内外参数计算,从而进行图像矫正,具体步骤如下:
首先打印一张棋盘格,把它贴在一个平面上,作为标定物;
然后通过调整标定物或摄像机的方向,为标定物拍摄一些不同方向、不同姿态的照片;
再从照片中提取得到棋盘格角点;
然后估算出理想无畸变的情况下的五个内参和六个外参;
然后应用最小二乘法,估算实际存在径向畸变下的畸变系数;
最后使用极大似然法进行优化估计,提升估计精度。
4.如权利要求2所述的水下大视野摄像系统,其特征在于:所述中央操控系统(407)选用提取SURF特征点匹配的方法,来进行图像拼接,具体步骤如下:
在进行图像拼接之前进行图像预处理,以便更好地进行图像拼接;
然后进行特征点提取与匹配,采用SURF 算法完成图像序列特征点的提取;
然后进行图像配准:
图像配准的第一步需要检测每幅图像中特征点;
第二步计算特征点之间的匹配;
第三步计算图像间变换矩阵的初始值;
第四步进行迭代,进一步精确变换矩阵;
第五步将两张图片引导匹配;
用估计的变换矩阵去定义对极线附近的搜索区域,进一步确定特征点的对应;并重复迭代第四步和第五步,直到对应点的数目稳定为止;
最后采用加权平均的方法进行图片融合。
CN202110281144.9A 2021-03-16 2021-03-16 一种水下大视野摄像系统 Active CN113177986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110281144.9A CN113177986B (zh) 2021-03-16 2021-03-16 一种水下大视野摄像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110281144.9A CN113177986B (zh) 2021-03-16 2021-03-16 一种水下大视野摄像系统

Publications (2)

Publication Number Publication Date
CN113177986A CN113177986A (zh) 2021-07-27
CN113177986B true CN113177986B (zh) 2022-11-08

Family

ID=76922071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110281144.9A Active CN113177986B (zh) 2021-03-16 2021-03-16 一种水下大视野摄像系统

Country Status (1)

Country Link
CN (1) CN113177986B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203117501U (zh) * 2013-01-10 2013-08-07 虔茂有限公司 活动式镜头结构
CN108177745A (zh) * 2018-02-11 2018-06-19 湖南达诺智能机器人科技有限公司 一种水下机器人视觉清晰设备
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及系统
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111294492A (zh) * 2020-02-13 2020-06-16 山东大学 一种水下拍摄用辅助装置及拍摄系统
CN111652817A (zh) * 2020-05-28 2020-09-11 大连海事大学 一种基于人眼视觉感知机理的水下图像清晰化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208614792U (zh) * 2018-06-25 2019-03-19 武汉交通职业学院 一种智能水下机器人控制系统
CN110517202B (zh) * 2019-08-30 2023-07-28 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
CN111897349B (zh) * 2020-07-08 2023-07-14 南京工程学院 一种基于双目视觉的水下机器人自主避障方法
CN112055150A (zh) * 2020-09-30 2020-12-08 上海工程技术大学 一种基于矢量推进的水下实时图像增强拍摄无人机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203117501U (zh) * 2013-01-10 2013-08-07 虔茂有限公司 活动式镜头结构
CN108177745A (zh) * 2018-02-11 2018-06-19 湖南达诺智能机器人科技有限公司 一种水下机器人视觉清晰设备
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及系统
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111294492A (zh) * 2020-02-13 2020-06-16 山东大学 一种水下拍摄用辅助装置及拍摄系统
CN111652817A (zh) * 2020-05-28 2020-09-11 大连海事大学 一种基于人眼视觉感知机理的水下图像清晰化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于图像处理的煤矿污水颗粒浓度检测系统设计";来学伟;《煤炭技术》;20170831;第36卷(第8期);第103-105页 *
"水下视觉SLAM相机成像畸变纠正研究";张阳 等;《海洋技术学报》;20191231;第38卷(第6期);第24-29页 *

Also Published As

Publication number Publication date
CN113177986A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN108776980A (zh) 一种面向微透镜光场相机的标定方法
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
CN112712037A (zh) 基于全景图像和目标检测的车载环境感知方法和系统
CN107580163A (zh) 一种双镜头黑光摄像机
CN111583116A (zh) 基于多摄像机交叉摄影的视频全景拼接融合方法及系统
CN108257089A (zh) 一种基于迭代最近点的大视场视频全景图拼接的方法
CN106023073A (zh) 一种图像拼接系统
CN112348775A (zh) 基于车载环视的路面坑塘检测系统及方法
CN106846395B (zh) 照片中目标图形面积计算方法及系统
CN111524083A (zh) 基于结构光的主被动相结合水下对空成像图像恢复方法
CN113177986B (zh) 一种水下大视野摄像系统
KR20120075899A (ko) 수중 모니터링을 위한 수중카메라 영상의 스티칭 방법
CN111583117A (zh) 一种适用于太空复杂环境的快速全景拼接方法及装置
CN114413790B (zh) 固连摄影测量相机的大视场三维扫描装置及方法
CN114820798A (zh) 一种标定器匹配方法及装置
CN109658459A (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN114529808A (zh) 一种管道检测全景拍摄处理方法
CN111862241B (zh) 一种人体对齐方法及装置
JP7312594B2 (ja) キャリブレーション用チャートおよびキャリブレーション用器具
Ding et al. 3D LiDAR and color camera data fusion
JP2005216191A (ja) ステレオ画像処理装置およびステレオ画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant