CN114049549A - 水下视觉识别方法、系统和计算机可读存储介质 - Google Patents

水下视觉识别方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN114049549A
CN114049549A CN202111252337.8A CN202111252337A CN114049549A CN 114049549 A CN114049549 A CN 114049549A CN 202111252337 A CN202111252337 A CN 202111252337A CN 114049549 A CN114049549 A CN 114049549A
Authority
CN
China
Prior art keywords
image
underwater
optical image
acoustic
recognition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111252337.8A
Other languages
English (en)
Inventor
王云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lanqian Marine Technology Co.,Ltd.
Original Assignee
Guangdong Xingyuan Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xingyuan Robot Technology Co ltd filed Critical Guangdong Xingyuan Robot Technology Co ltd
Priority to CN202111252337.8A priority Critical patent/CN114049549A/zh
Publication of CN114049549A publication Critical patent/CN114049549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域,具有涉及一种水下视觉识别方法、系统和计算机可读存储介质,方法具体包括以下步骤:图像获取步骤;预处理步骤;降噪步骤;融合步骤。本发明提供水下视觉识别方法通过对获取的光学图像进行预处理和增强,得到更加清晰的光学图像,通过对获取的声学图像进行降噪处理,得到更加清晰的声学图像,然后将处理过的光学图像数据和声学图像数据融合,得到最终的复合图像,得到的复合图像能够更加准确的显示水下图像信息。

Description

水下视觉识别方法、系统和计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,具有涉及一种水下视觉识别方法、系统和计算机可读存储介质。
背景技术
目前水下视觉识别方法主要有光学识别或声学识别两种方法,光学成像主要依靠摄像头来观察水体周边环境,声学成像主要依靠声呐来检测目标物。
然而,光学识别方法存在缺陷,由于光在水中传播呈指数衰减,导致拍摄的图像的作用范围有限。光照在水中还会发生衰减和散射,低频光(红色光、黄色光)散射率低而高频光(蓝色、绿色)散射率高,导致水下光学图像普遍存在颜色失真问题。利用声呐获取图像数据时容易受到海洋环境噪声、螺旋桨噪声等干扰,水下声学图像存在噪声影响大、清晰度低以及边缘轮廓不清晰且残缺不全的现象,这会导致特征不准确,对成像效果影响较大。
发明内容
鉴于上述现有技术的不足之处,本发明的第一目的在于提供一种水下视觉识别方法,用于图像的识别,获取的图像成像效果更好。
该方案具体如下:
一种水下视觉识别方法,包括以下步骤:
图像获取步骤:获取第一光学图像,获取第一声学图像;
预处理步骤:对所述第一光学图像进行预处理,得到第二光学图像;
降噪步骤:对所述第一声学图像进行降噪处理,得到第二声学图像;
融合步骤:将所述第二光学图像和第二声学图像进行融合,得到复合图像。
进一步地,还包括畸变矫正步骤,所述畸变矫正步骤的实施对象为光学摄像头。
进一步地,所述图像获取步骤中,所述第一光学图像由水下摄像头获取,所述第一声学图像由声呐获取。
进一步地,所述预处理步骤具体包括:通过直方图均衡化方法对所述第一光学图像给进行预处理及增强,得到第二光学图像。
进一步地,所述直方图均衡化方法对第一光学图像中像素个数多的灰度级进行扩大,对像素个数少的灰度级进行缩小,得到第二光学图像。
进一步地,所述降噪步骤具体包括:通过高斯滤波方法对第一声学图像进行优化得到第二声学图像。
进一步地,所述高斯滤波方法通过第一声学图像的局部像素点和二维高斯滤波器模板做卷积操作,其计算的结果作为高斯滤波器的输出,以此输出的计算结果替换局部中心像素点的像素值,得到第二声学图像。
进一步地,所述融合步骤具体包括:通过OpenGL将第二光学图像的坐标与第二声学图像的坐标统一到同一个坐标系下,最后采用OpenGL纹理贴图模式将第二光学图像与第二声学图像进行融合,得到复合图像。
相应地,还提供一种水下视觉识别系统,包括水下摄像头、声呐和处理器,所述水下摄像头和声呐用于执行图像获取步骤,所述处理器用于执行预处理步骤、降噪步骤和融合步骤。
相应地,还提供一种计算机可读存储介质,所述计算机可读存储介质上储存有水下视觉识别程序,所述水下视觉识别程序可被一个或者多个处理器执行,以实现上述的水下识别方法的步骤。
与现有技术相比,本发明具有以下的有益效果:
本发明提供水下视觉识别方法通过对获取的光学图像进行预处理和增强,得到更加清晰的光学图像,通过对获取的声学图像进行降噪处理,得到更加清晰的声学图像,然后将处理过的光学图像数据和声学图像数据融合,得到最终的复合图像,得到的复合图像能够更加准确的显示水下图像信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方法流程图;
图2为本发明实施例方法具体流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
还需要说明的是,当元件被称为“固定于”或“设置于”另一个元件上时,它可以直接在另一个元件上或者可能同时存在居中元件。当一个元件被称为是“连接”另一个元件,它可以是直接连接另一个元件或者可能同时存在居中元件。
另外,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
图1为本发明水下视觉识别方法实施例的流程图。
请参考图1,该方法实施例用于水下图像的识别,具体包括以下步骤:
S1、图像获取步骤;
S2、预处理步骤;
S3、降噪步骤;
S4、融合步骤。
其中,步骤S1用于水下图像的初步获取,获取图像的类型为光学图像和声学图像两种;步骤S2对光学图像进行预处理,解决光学图像的颜色失真以及图像模糊的问题;步骤S3对声学图像进行降噪处理,以减少水下噪声造成的图像的边缘轮廓不清晰且残缺不全的现象;步骤S4用于将处理后的光学图像和声学图像进行融合得到更加丰富且准确的图像信息。
在步骤S1中,通过水下摄像头获取初始光学图像,通过声呐获取初始声学图像,获取的初始光学图像和初始声学图像都是没有经过处理的原始图像。
在步骤S2中,对步骤S1中获取的初始光学图像进行处理,得到处理后的光学图像。
具体地,在水下光学成像的过程中,由于光照在水中的衰减和散射,导致水下光学图像普遍存在颜色失真问题,此外还有在浑浊的水质中,会导致光照散射,造成图像模糊。因此,针对初始光学图像失真问题采用颜色一致性增强处理图像颜色,采用直方图均衡化方法处理初始光学图像模糊、细节丢失的问题,从而得到处理过的光学图像。本发明采用直方图均衡化方法对初始光学图像进行预处理及增强,直方图均衡化图像增强的原理在于利用输入图像计算的直方图,然后对输入图像的对比度进行调整的图像增强方法。直方图均衡法的基本思想是,对在图像中像素个数多的灰度级进行扩大,对像素个数少的灰度级进行缩小。
在步骤S3中,对步骤S1中获取的初始声学图像进行处理,得到处理后的声学图像。
具体地,利用声呐获取声学图像数据时容易受到海洋环境噪声、螺旋桨噪声等干扰,水下声学图像存在噪声影响大、清晰度低以及边缘轮廓不清晰且残缺不全的现象,这会导致特征不准确,对成像效果影响较大。因此,针对以上声学图像存在的问题,本发明采用高斯滤波对初始声学图像进行去噪处理。在声呐数据的降噪处理上,采用高斯滤波对声学图像进行优化,高斯滤波是根据高斯函数的形状来进行权值的选择,高斯滤波的整个过程是对输入的需要处理的图像进行加权平均集散。高斯滤波的总体思想是利用声学图像的局部像素点和二维高斯滤波器模板做卷积操作,其计算结果作为高斯滤波器的输出,以此输出的计算结果替换局部中心像素点的像素值。
在步骤S4中,对处理后的光学图像和处理后的声学图像进行融合,得到复合图像。
具体地,基于OpenGL实现处理后的声学图像坐标系与处理后的光学图像坐标系的统一。通过OpenGL将声呐数据的坐标与水下摄像头成像的坐标同一到同一个坐标系下,最后采用OpenGL纹理贴图模式将处理后的声学图像与处理后的光学图像进行融合,得到复合模型。
由于在实际光学摄像头的加工中存在误差,导致光学摄像头的实际成像点与理想点存在偏差,因此理想的小孔成像还不能够体现实际中光学摄像头的成像模型,因此还需要引入反映畸变系数进行修正,所以在本实施例中还包括畸变矫正步,针对水下摄像头畸变问题,提前对水下摄像头进行标定和畸变矫正。
具体地,在实际应用中,只需引入径向畸变参数进行修正就足够精确。径向畸变主要会造成两种误差,图像的畸变点相对理想点靠近镜头中心的桶形畸变和图像的畸变点相对理想点远离镜头中心的枕形畸变。在极坐标形式下,某一点
Figure BDA0003322819080000061
的径向畸变可表示为:
δr=k1r3+k2r5+…+knr2n+1
其中,ki(i=1,2,...)为畸变系数。假设像素坐标系中某点精确位置为(u0,v0),小孔成像模型下其理想坐标为(u,v),畸变后实际该点坐标值为
Figure BDA0003322819080000062
通过极坐标与直角坐标之间的变换关系可将径向畸变模型转化为:
Figure BDA0003322819080000063
采用MATLAB运行张正友标定算法,输入不同位置不同角度的图片,计算出前三阶径向畸变,运用非对称性投影矫正方法对图片进行矫正。
在水下环境中,声呐探测物体的作用距离比光学相机的作用距离远,而且声呐探测物体不受光照影响,即使在无光照的条件下,也可以检测到目标。但声呐图像主要体现目标物体的轮廓信息,目标物体的特征信息往往不能够体现。而水下光学图像往往具有比水下声学图像较高的分辨率,可以更好的体现图像特征。因此在水下,将摄像头获取的光学图像数据信息和声呐获取的声学图像数据信息进行融合可以得到更丰富且准确的图像信息。
本发明的总体流程步骤如图2所示,首先对水下摄像头进行标定和畸变矫正,然后对水下摄像头拍摄的光学图像进行预处理和增强,提高光学图像质量,接着对声呐获取的声学图像数据进行降噪优化,最后将光学图像和声学图像进行数据融合,得到准确的水下图像信息,本发明提供的方法能够更加适应于更复杂的水下工作环境。
本发明还提供一种水下视觉识别系统的实施例,该系统实施例包括水下摄像头、声呐和处理器,其中水下摄像头和声呐分别与处理器相连;水下摄像头和声呐用于执行图像获取步骤,其中水下摄像头用于获取初始光学图像,声呐用于获取初始声学图像;处理器则用于执行预处理步骤、降噪步骤和融合步骤,具体地,对初始光学图像进行预处理和增强,对初始声学图像进行降噪处理,对处理后的光学图像和声学图像进行融合得到复合图像。
本发明还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上水下视觉识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述系统的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
综上所述,本发明提供水下视觉识别方法和系统实施例,通过对获取的光学图像进行预处理和增强,得到更加清晰的光学图像,通过对获取的声学图像进行降噪处理,得到更加清晰的声学图像,然后将处理过的光学图像数据和声学图像数据融合,得到最终的复合图像,得到的复合图像能够更加准确的显示水下图像信息。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种水下视觉识别方法,其特征在于,包括以下步骤:
图像获取步骤:获取第一光学图像,获取第一声学图像;
预处理步骤:对所述第一光学图像进行预处理,得到第二光学图像;
降噪步骤:对所述第一声学图像进行降噪处理,得到第二声学图像;
融合步骤:将所述第二光学图像和第二声学图像进行融合,得到复合图像。
2.根据权利要求1所述的一种水下视觉识别方法,其特征在于,还包括畸变矫正步骤,所述畸变矫正步骤的实施对象为光学摄像头。
3.根据权利要求1所述的一种水下视觉识别方法,其特征在于,所述图像获取步骤中,所述第一光学图像由水下摄像头获取,所述第一声学图像由声呐获取。
4.根据权利要求1所述的一种水下视觉识别方法,其特征在于,所述预处理步骤具体包括:通过直方图均衡化方法对所述第一光学图像给进行预处理及增强,得到第二光学图像。
5.根据权利要求4所述的一种水下视觉识别方法,其特征在于,所述直方图均衡化方法对第一光学图像中像素个数多的灰度级进行扩大,对像素个数少的灰度级进行缩小,得到第二光学图像。
6.根据权利要求1所述的一种水下视觉识别方法,其特征在于,所述降噪步骤具体包括:通过高斯滤波方法对第一声学图像进行优化得到第二声学图像。
7.根据权利要求6所述的一种水下视觉识别方法,其特征在于,所述高斯滤波方法通过第一声学图像的局部像素点和二维高斯滤波器模板做卷积操作,其计算的结果作为高斯滤波器的输出,以此输出的计算结果替换局部中心像素点的像素值,得到第二声学图像。
8.根据权利要求1所述的一种水下视觉识别方法,其特征在于,所述融合步骤具体包括:通过OpenGL将第二光学图像的坐标与第二声学图像的坐标统一到同一个坐标系下,最后采用OpenGL纹理贴图模式将第二光学图像与第二声学图像进行融合,得到复合图像。
9.一种水下视觉识别系统,其特征在于,包括水下摄像头、声呐和处理器,所述水下摄像头和声呐用于执行图像获取步骤,所述处理器用于执行预处理步骤、降噪步骤和融合步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上储存有水下视觉识别程序,所述水下视觉识别程序可被一个或者多个处理器执行,以实现如权利要求1~8中任一所述的水下识别方法的步骤。
CN202111252337.8A 2021-10-27 2021-10-27 水下视觉识别方法、系统和计算机可读存储介质 Pending CN114049549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111252337.8A CN114049549A (zh) 2021-10-27 2021-10-27 水下视觉识别方法、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111252337.8A CN114049549A (zh) 2021-10-27 2021-10-27 水下视觉识别方法、系统和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114049549A true CN114049549A (zh) 2022-02-15

Family

ID=80206083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111252337.8A Pending CN114049549A (zh) 2021-10-27 2021-10-27 水下视觉识别方法、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114049549A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663745A (zh) * 2022-03-04 2022-06-24 深圳鳍源科技有限公司 水下设备的位置锁定方法、终端设备、系统和介质
CN115100298A (zh) * 2022-08-25 2022-09-23 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663745A (zh) * 2022-03-04 2022-06-24 深圳鳍源科技有限公司 水下设备的位置锁定方法、终端设备、系统和介质
CN115100298A (zh) * 2022-08-25 2022-09-23 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法

Similar Documents

Publication Publication Date Title
US20220301115A1 (en) Image processing method and system, and computer readable storage medium
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20200044093A (ko) 이미지 처리 방법 및 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체
CN110570360B (zh) 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
US20220254066A1 (en) Method for Calibrating the Position and Orientation of a Camera Relative to a Calibration Pattern
CN116309559B (zh) 一种中硼硅玻璃生产瑕疵智能识别方法
CN111368717A (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
US7522314B2 (en) Image sharpening
CN112419420B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN116245880A (zh) 基于红外识别的电动车充电桩火灾风险检测方法
CN115713487A (zh) 用于x射线焊缝图像的缺陷识别方法、设备和存储介质
CN114049549A (zh) 水下视觉识别方法、系统和计算机可读存储介质
CN114092405A (zh) 一种针对黄斑水肿oct图像的视网膜层自动分割方法
CN112712536B (zh) 图像处理方法、芯片及电子装置
CN117557565A (zh) 一种锂电池极片的检测方法及其装置
CN108876845B (zh) 菲涅尔纹中心的确定方法和装置
CN116012322A (zh) 一种相机脏污检测方法、装置、设备及介质
CN115393330A (zh) 摄像头图像模糊检测方法、装置、计算机设备及存储介质
CN113160103B (zh) 图像处理方法及装置、存储介质、终端
CN115564682A (zh) 一种光照不均图像增强方法及系统
CN112634298B (zh) 图像处理方法及装置、存储介质、终端
CN109009216A (zh) 一种超声影像裸眼3d系统
CN115187545A (zh) 高空间分辨率遥感图像的处理方法、系统及存储介质
CN110852977B (zh) 融合边缘灰度直方图与人眼视觉感知特性的图像增强方法
CN109949245B (zh) 十字激光检测定位方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231214

Address after: Room 314, Unit 1, Building 1, No. 1 Keji 9th Road, Songshanhu Park, Dongguan City, Guangdong Province, 523000

Applicant after: Guangdong Lanqian Marine Technology Co.,Ltd.

Address before: 523808 room 107, unit 1, building 1, No. 1, Keji 9th Road, Songshanhu Park, Dongguan City, Guangdong Province

Applicant before: Guangdong Xingyuan Robot Technology Co.,Ltd.

TA01 Transfer of patent application right