CN112465693A - 一种360°环视水下视觉成像方法及系统 - Google Patents
一种360°环视水下视觉成像方法及系统 Download PDFInfo
- Publication number
- CN112465693A CN112465693A CN202011353827.2A CN202011353827A CN112465693A CN 112465693 A CN112465693 A CN 112465693A CN 202011353827 A CN202011353827 A CN 202011353827A CN 112465693 A CN112465693 A CN 112465693A
- Authority
- CN
- China
- Prior art keywords
- underwater
- overlook
- images
- point
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000011426 transformation method Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013078 crystal Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 36
- 238000013507 mapping Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本申请公开了一种360°环视水下视觉成像方法及系统，包括：获取多路水下环境视频，其中多路水下环境视频的视角构成360°环视；对多路所述水下环境视频进行预处理；对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系；结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像；将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
Description
技术领域
本申请涉及水下探测领域，尤其涉及一种360°环视水下视觉成像方法及系统。
背景技术
海洋是全球生命支持系统的一个重要组成部分，也是人类社会可持续发展的宝贵财富。当前，随着陆地资源短缺、人口膨胀、环境恶化等问题日益严重，各个国家逐渐把目光投向海洋，加快海洋的研究开发和利用。待观察主体在这种背景下应运而生，逐渐进入了各类水下研究和探测中。但由于水下机器人视野盲区不可见导致各类意外频繁发生，不仅降低了水下研究工作的效率还在一定程度上提高了项目成本。
发明内容
本申请实施例的目的是提供一种360°环视水下视觉成像系统，以解决水下探测时存在视野盲区的问题。
根据本申请实施例的第一方面，提供一种360°环视水下视觉成像方法，包括：获取多路水下环境视频，其中多路水下环境视频的视角构成360°环视；对多路所述水下环境视频进行预处理；对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系；结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像；将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
根据本申请实施例的第二方面，提供一种360°环视水下视觉成像系统，包括：拍照模块，所述拍照模块由多个高清相机构成，多个所述高清相机朝向不同方位，最终构成360°环视，每个所述高清相机用于获取水下环境视频；照明模块，所述照明模块由多个LED照明设备组成，用于为所述拍照模块提供光源；视频处理模块，所述视频处理模块用于对多路所述水下环境视频进行预处理，对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系，结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像，将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
进一步地，还包括显示模块，所述显示模块用于显示所述360°俯视视频。
进一步地，所述显示模块采用LCD液晶点阵模块。
进一步地，还包括控制模块，所述控制模块用于实现对系统各个模块的控制和协调。
进一步地，还包括定时模块，所述定时模块为所述控制模块提供时钟信号。
进一步地，所述定时模块由晶振组成。
进一步地，所述控制单元根据定时模块输入的时钟信号，通过汇编程序保证拍照模块和照明模块同时工作；所述控制单元通过verliog程序，完成时序控制，保证数据在各个模块之间的传输。
进一步地，所述拍照模块由四个鱼眼摄像头组成，分别采集前、后、左、右四个方位的实时视频图像。
进一步地，所述鱼眼摄像头使用超广角镜头，视角能够达到180°。
本申请的实施例提供的技术方案可以包括以下有益效果：
本发明通过获取多路水下环境视频并对多路所述水下环境视频进行预处理，对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像，最后将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频，其可有效解决水下探测时存在视野盲区的问题，保证水下作业的安全，提高水下作业的工作效率。
由上述实施例可知，本申请应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据本发明一实施例示出的一种环视水下视觉成像系统的功能模块关系图。
图2是根据本发明一实施例示出的一种360°环视水下视觉成像系统拍摄时序图。
图3是根据本发明一实施例示出的一种环视水下视觉成像系统的安装结构示意图。
图4是根据本发明一实施例示出的一种环视水下视觉成像系统拍照模块所使用的尼康的9片5组圆形鱼眼镜头(镜头长度88mm)结构示意图。
图5是根据本发明一实施例示出的一种环视水下视觉成像方法的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1是根据一示例性实施例示出的一种360°环视水下视觉成像系统的框图，如图1所示，包括：
拍照模块21，所述拍照模块由多个高清相机构成，多个所述高清相机朝向不同方位，最终构成360°环视，每个所述高清相机用于获取水下环境视频；
照明模块22，所述照明模块由多个LED照明设备组成，用于为所述拍照模块提供光源，通过所述照明模块来改善水下环境的亮度，以获取高清晰度、高分辨率的水下环境视频；
视频处理模块23，所述视频处理模块用于对多路所述水下环境视频进行预处理，对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系，结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像，将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
本实施例中，一种360°环视水下视觉成像系统还可包括显示模块24，所述显示模块用于显示所述360°俯视视频，具体地，所述显示模块采用LCD液晶点阵模块。
本实施例中，一种360°环视水下视觉成像系统还可包括控制模块25，所述控制模块25用于实现对系统各个模块的控制和协调。还包括定时模块26，所述定时模块为所述控制模块提供时钟信号。所述定时模块由晶振组成。所述控制单元根据定时模块输入的时钟信号，通过汇编程序保证拍照模块和照明模块同时工作；所述控制单元通过verliog程序，完成时序控制，保证数据在各个模块之间的传输，图2是根据本发明一实施例示出的一种360°环视水下视觉成像系统拍摄时序图，该图介绍了本发明保持拍照模块和照明模块时空上的一致性。
本实施例中，一种360°环视水下视觉成像系统还可包括定时模块，所述定时模块为所述控制模块提供时钟信号，具体地，所述定时模块由晶振组成。
本实施例中，所述拍照模块由四个鱼眼摄像头组成，分别采集前、后、左、右四个方位的实时视频图像。具体地，所述鱼眼摄像头使用超广角镜头，视角能够达到180°。图3是根据本发明一实施例示出的一种环视水下视觉成像系统的安装结构示意图，图中1是待观察主体，2是LED照明设备，3是高清相机。本发明在的设计思路为在待观察主体1(比如水下机器人)前、后、左、右四个方向安装高清相机，安装时，首先粗略计算所用镜头的视场角度，选择出基本能覆盖待观察主体周围的4个高清相机安装点，并且在相邻两个高清相机的对称中心上安装照明模块(由多个LED照明设备2组成)。为了对高清相机进行标定，需要记录高清相机安装时的一些参数，比如高度，水平角度，垂直角度等。图4是根据本发明一实施例示出的一种环视水下视觉成像系统拍照模块所使用的尼康的9片5组圆形鱼眼镜头(镜头长度88mm)结构示意图。
本实施例中，对多路所述水下环境视频进行预处理，其中所述预处理可以为灰度化处理以及二值化处理。
为了对多路图像进行融合生成俯视效果下的360°环视图，首先需要建立每幅图像各自的侧视图到其俯视图的映射关系，再对多路图像进行联合标定，以确定各方向图像对应最终二维环视图的相对位置，最终将多幅图像拼接成环视图。
本实施例中，对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系；
具体地：需要首先计算不同高清相机坐标系之间的映射关系，本发明中采用透视变换与逆透视变换的方法。根据高清相机的几何成像模型知道，要想得到空间物体到最终图像之间的坐标映射，就需要正确处理以下几种坐标系之间的转换关系：世界坐标系、高清相机坐标系、实际成像坐标系、理想成像平面坐标系以及最终图像坐标系。
为了表征高清相机坐标系中的一点与三维空间任意一点之间的关系，以世界坐标系作为基准，参照已有的研究，使用一个旋转矩阵R和一个平移向量t来描述这两种坐标系之间的关系。设三维空间中某一点P在世界坐标系的坐标为(Xω,Yω,Zω)，该点对应于摄像机坐标系下的点坐标为(XC,YC,ZC)可以通过
表征这两个点的关系，其中R为3*3正交矩阵，t为三维平移向量，0＝[000]T,M1中涉及到的参数即为高清相机的外部参数。
高清相机从拍摄到成像的过程，属于内部变换，是一种线性变换关系，也称为中心射影或透视投影。经过该变换，三维坐标转换为二维的图像坐标。设高清相机坐标系中的一点(XC,YC,ZC)，与之对应的理想成像平面坐标系中点为(x，y)，两点坐标关系为
其中，f为高清相机焦距。
根据前面的鱼眼高清相机成像可知，受图像畸变的影响，理想成像平面图像与实际符合人眼观察的图像并不重合，因此，为了得到正常视觉观察下的图像，需要模拟镜头的成像原理对理想图像做逆变换处理，是图像得到尽可能的校正。
本实施例中，结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像；
具体地，首先，建立以待观察主体为中心的环视图的坐标系，选择待观察主体坐标系为标准坐标系，对应前面所提到的参考世界坐标系。然后，建立该坐标系下其他四路图像到环视图的坐标映射关系，使得四幅图像能够在同一个平面中处理与展示。实验中，定义待观察主体坐标系为：待观察主体中心位置为坐标原点，以待观察主体中间正前方方向为Xω坐标轴，以待观察主体中心向外的方向为Yω,以垂直于水平面向上的方向为Zω。建立车身坐标系。
通过将4个鱼眼镜头固定在待观察主体的四周，拍摄过程中就可以得到待观察主体行进时四个方向的环境信息。但是由于四个高清相机都是面向所拍摄的方向，所以得到的图像也都是侧视视频图像，根据本发明的系统设计要求，最终需要得到一幅统一坐标平面的俯视图像，即将原来高清相机侧拍摄得到的图像转换为垂直向下拍摄得到的图像。最终前、后、左、右四个方向的侧视视频图像应该转换到图中对应的待观察主体前后左右四个区域，这就需要将各个侧视图也变换成俯视图像，其中的变换方式即俯视变换。
侧视图像的俯视变换属于逆透视投影变换。一般情况下，图像的透视投影通过使用中心投影法，将三维空间中的点投影变换到一个二维平面图像中去，逆透视投影变换是一种比较特殊的映射关系，所以俯视变换处理的关键同样在于通过坐标关系计算得到相应的逆透视投影变换矩阵。
本实施例中，将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
具体地，前、后、左、右四个方位的图像经过前面的处理，建立了到俯视图的映射关系。但是，要想得到理想的以车身为中心的360°环视图像，简单的图像叠加是不行的，还需要对四幅图像进行拼接处理。因此，可以运用图像拼接的方法，通过把四幅视频图像进行拼接融合，得到最终的环视效果，达到消除盲区和死角的目的。
本发明采用基于特征的图像拼接的方法完成环视图像拼接和融合的过程。
所述基于特征的图像拼接的方法是以图像中的某些特殊像素点为特征，通过比较两幅待拼接图像的特征集完成图像的拼接，该方法的实现过程主要包括两个部分：特征提取与特征匹配。
所述特征点就是相对于周围的其他像素点，该点灰度变化比较大或者处于图像灰度分布的边界上，图像特征往往通过复杂的计算而来，在图像中具有典型性，所以该类拼接算法的鲁棒性比较高。并且，两幅图像的拼接过程是通过特征配对的方式对两幅图像的映射模型进行估计，而不是处理图像所有的像素点，计算量明显降低，故此类方法比基于区域拼接方法的处理效率要高。
图5是根据本发明一实施例示出的一种环视水下视觉成像方法的流程图。如图5所示，本实施例还提供一种360°环视水下视觉成像方法，包括：
步骤S101，获取多路水下环境视频，其中多路水下环境视频的视角构成360°环视；
步骤S102，对多路所述水下环境视频进行预处理；其中所述预处理可以为灰度化处理以及二值化处理。
步骤S103，对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系；
具体地，需要首先计算不同高清相机坐标系之间的映射关系，本发明中采用透视变换与逆透视变换的方法。根据高清相机的几何成像模型知道，要想得到空间物体到最终图像之间的坐标映射，就需要正确处理以下几种坐标系之间的转换关系：世界坐标系、高清相机坐标系、实际成像坐标系、理想成像平面坐标系以及最终图像坐标系。
为了表征高清相机坐标系中的一点与三维空间任意一点之间的关系，以世界坐标系作为基准，参照已有的研究，使用一个旋转矩阵R和一个平移向量t来描述这两种坐标系之间的关系。设三维空间中某一点P在世界坐标系的坐标为(Xω,Yω,Zω)，该点对应于摄像机坐标系下的点坐标为(XC,YC,ZC)可以通过
表征这两个点的关系，其中R为3*3正交矩阵，t为三维平移向量，0＝[000]T,M1中涉及到的参数即为高清相机的外部参数。
高清相机从拍摄到成像的过程，属于内部变换，是一种线性变换关系，也称为中心射影或透视投影。经过该变换，三维坐标转换为二维的图像坐标。设高清相机坐标系中的一点(XC,YC,ZC)，与之对应的理想成像平面坐标系中点为(x，y)，两点坐标关系为
其中，f为高清相机焦距。
根据前面的鱼眼高清相机成像可知，受图像畸变的影响，理想成像平面图像与实际符合人眼观察的图像并不重合，因此，为了得到正常视觉观察下的图像，需要模拟镜头的成像原理对理想图像做逆变换处理，是图像得到尽可能的校正。
步骤S104，结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像；
具体地，首先，建立以待观察主体为中心的环视图的坐标系，选择待观察主体坐标系为标准坐标系，对应前面所提到的参考世界坐标系。然后，建立该坐标系下其他四路图像到环视图的坐标映射关系，使得四幅图像能够在同一个平面中处理与展示。实验中，定义待观察主体坐标系为：待观察主体中心位置为坐标原点，以待观察主体中间正前方方向为Xω坐标轴，以待观察主体中心向外的方向为Yω,以垂直于水平面向上的方向为Zω。建立车身坐标系。
通过将4个鱼眼镜头固定在待观察主体的四周，拍摄过程中就可以得到待观察主体行进时四个方向的环境信息。但是由于四个高清相机都是面向所拍摄的方向，所以得到的图像也都是侧视视频图像，根据本发明的系统设计要求，最终需要得到一幅统一坐标平面的俯视图像，即将原来高清相机侧拍摄得到的图像转换为垂直向下拍摄得到的图像。最终前、后、左、右四个方向的侧视视频图像应该转换到图中对应的待观察主体前后左右四个区域，这就需要将各个侧视图也变换成俯视图像，其中的变换方式即俯视变换。
侧视图像的俯视变换属于逆透视投影变换。一般情况下，图像的透视投影通过使用中心投影法，将三维空间中的点投影变换到一个二维平面图像中去，逆透视投影变换是一种比较特殊的映射关系，所以俯视变换处理的关键同样在于通过坐标关系计算得到相应的逆透视投影变换矩阵。
步骤S105，将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
具体地，前、后、左、右四个方位的图像经过前面的处理，建立了到俯视图的映射关系。但是，要想得到理想的以车身为中心的360°环视图像，简单的图像叠加是不行的，还需要对四幅图像进行拼接处理。因此，可以运用图像拼接的方法，通过把四幅视频图像进行拼接融合，得到最终的环视效果，达到消除盲区和死角的目的。
本发明采用基于特征的图像拼接的方法完成环视图像拼接和融合的过程。
所述基于特征的图像拼接的方法是以图像中的某些特殊像素点为特征，通过比较两幅待拼接图像的特征集完成图像的拼接，该方法的实现过程主要包括两个部分：特征提取与特征匹配。
所述特征点就是相对于周围的其他像素点，该点灰度变化比较大或者处于图像灰度分布的边界上，图像特征往往通过复杂的计算而来，在图像中具有典型性，所以该类拼接算法的鲁棒性比较高。并且，两幅图像的拼接过程是通过特征配对的方式对两幅图像的映射模型进行估计，而不是处理图像所有的像素点，计算量明显降低，故此类方法比基于区域拼接方法的处理效率要高。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种360°环视水下视觉成像方法，其特征在于，包括：
获取多路水下环境视频，其中多路水下环境视频的视角构成360°环视；
对多路所述水下环境视频进行预处理；
对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系；
结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像；
将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
2.一种360°环视水下视觉成像系统，其特征在于，包括：
拍照模块，所述拍照模块由多个高清相机构成，多个所述高清相机朝向不同方位，最终构成360°环视，每个所述高清相机用于获取水下环境视频；
照明模块，所述照明模块由多个LED照明设备组成，用于为所述拍照模块提供光源；
视频处理模块，所述视频处理模块用于对多路所述水下环境视频进行预处理，对预处理后产生的视频序列采用透视变换与逆透视变换的方法，获得高清相机坐标系中一点和三维空间中任意一点之间的关系，结合所述高清相机坐标系中一点和三维空间中任意一点之间的关系，通过俯视变换将多路所述水下环境视频中的图像转换为俯视拍摄得到的俯视图像，将所述俯视图像进行特征提取与特征匹配，完成环视图像拼接和融合，最终获得水下所处位置的360°俯视视频。
3.根据权利要求2所述的一种360°环视水下视觉成像系统，其特征在于，还包括显示模块，所述显示模块用于显示所述360°俯视视频。
4.根据权利要求4所述的一种360°环视水下视觉成像系统，其特征在于，所述显示模块采用LCD液晶点阵模块。
5.根据权利要求2所述的一种360°环视水下视觉成像系统，其特征在于，还包括控制模块，所述控制模块用于实现对系统各个模块的控制和协调。
6.根据权利要求5所述的一种360°环视水下视觉成像系统，其特征在于，还包括定时模块，所述定时模块为所述控制模块提供时钟信号。
7.根据权利要求6所述的一种360°环视水下视觉成像系统，其特征在于，所述定时模块由晶振组成。
8.根据权利要求2所述的一种360°环视水下视觉成像系统，其特征在于，所述控制单元根据定时模块输入的时钟信号，通过汇编程序保证拍照模块和照明模块同时工作；所述控制单元通过verliog程序，完成时序控制，保证数据在各个模块之间的传输。
9.根据权利要求2所述的一种360°环视水下视觉成像系统，其特征在于，所述拍照模块由四个鱼眼摄像头组成，分别采集前、后、左、右四个方位的实时视频图像。
10.根据权利要求9所述的一种360°环视水下视觉成像系统，其特征在于，所述鱼眼摄像头使用超广角镜头，视角能够达到180°。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011353827.2A CN112465693A (zh) | 2020-11-26 | 2020-11-26 | 一种360°环视水下视觉成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011353827.2A CN112465693A (zh) | 2020-11-26 | 2020-11-26 | 一种360°环视水下视觉成像方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465693A true CN112465693A (zh) | 2021-03-09 |
Family
ID=74809589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011353827.2A Pending CN112465693A (zh) | 2020-11-26 | 2020-11-26 | 一种360°环视水下视觉成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465693A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117516485A (zh) * | 2024-01-04 | 2024-02-06 | 东北大学 | 一种飞机发动机自动引导安装的位姿视觉测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015043507A1 (zh) * | 2013-09-27 | 2015-04-02 | 比亚迪股份有限公司 | 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 |
| CN110428361A (zh) * | 2019-07-25 | 2019-11-08 | 北京麒麟智能科技有限公司 | 一种基于人工智能的多路图像采集方法 |
| CN111223038A (zh) * | 2019-12-02 | 2020-06-02 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法及显示装置 |
| CN111435540A (zh) * | 2019-01-15 | 2020-07-21 | 苏州沃迈智能科技有限公司 | 一种车载环视系统的环视图拼接方法 |
-
2020
- 2020-11-26 CN CN202011353827.2A patent/CN112465693A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015043507A1 (zh) * | 2013-09-27 | 2015-04-02 | 比亚迪股份有限公司 | 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 |
| CN111435540A (zh) * | 2019-01-15 | 2020-07-21 | 苏州沃迈智能科技有限公司 | 一种车载环视系统的环视图拼接方法 |
| CN110428361A (zh) * | 2019-07-25 | 2019-11-08 | 北京麒麟智能科技有限公司 | 一种基于人工智能的多路图像采集方法 |
| CN111223038A (zh) * | 2019-12-02 | 2020-06-02 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法及显示装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴贯亮: "基于多路摄像头的二维环视图生成方法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 10, pages 138 - 950 * |
| 杨刚;臧春华;李仲年;: "基于参考点配准法的全景泊车系统研究", 传感器与微系统, no. 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117516485A (zh) * | 2024-01-04 | 2024-02-06 | 东北大学 | 一种飞机发动机自动引导安装的位姿视觉测量方法 |
| CN117516485B (zh) * | 2024-01-04 | 2024-03-22 | 东北大学 | 一种飞机发动机自动引导安装的位姿视觉测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| TWI555378B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| CN108122191B (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN103839227B (zh) | 鱼眼图像校正方法和装置 | |
| CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN107424118A (zh) | 基于改进径向畸变校正的球状全景拼接方法 | |
| WO2021139176A1 (zh) | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN113763301B (zh) | 一种减小错切概率的三维图像合成方法和装置 | |
| WO2020151268A1 (zh) | 一种3d小行星动态图的生成方法及便携式终端 | |
| WO2024002023A1 (zh) | 全景立体图像的生成方法、装置和电子设备 | |
| JP7295641B2 (ja) | 水平視差ステレオパノラマ取込方法 | |
| CN110211220A (zh) | 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统 | |
| CN112465693A (zh) | 一种360°环视水下视觉成像方法及系统 | |
| CN114511447A (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
| CN111583117A (zh) | 一种适用于太空复杂环境的快速全景拼接方法及装置 | |
| CN108205799B (zh) | 一种图像拼接方法及装置 | |
| CN108765292A (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| Chen et al. | Multi-stereo 3D reconstruction with a single-camera multi-mirror catadioptric system | |
| CN113989105B (zh) | 一种单相机球面镜反射成像投影装置 | |
| CN109461116A (zh) | 一种基于opengl的720全景展开监控方法 | |
| Shi et al. | Spatial calibration method for master-slave camera based on panoramic image mosaic | |
| CN109345488B (zh) | 一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |