CN110276388A - 应用于水下无人机的图像处理方法及装置 - Google Patents
应用于水下无人机的图像处理方法及装置 Download PDFInfo
- Publication number
- CN110276388A CN110276388A CN201910513603.4A CN201910513603A CN110276388A CN 110276388 A CN110276388 A CN 110276388A CN 201910513603 A CN201910513603 A CN 201910513603A CN 110276388 A CN110276388 A CN 110276388A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned plane
- underwater
- illumination brightness
- impurity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 239000012535 impurity Substances 0.000 claims abstract description 99
- 238000005286 illumination Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 230000000452 restraining effect Effects 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims abstract description 18
- 239000013589 supplement Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 115
- 230000008030 elimination Effects 0.000 abstract description 15
- 238000003379 elimination reaction Methods 0.000 abstract description 15
- 230000000007 visual effect Effects 0.000 abstract description 14
- 239000003643 water by type Substances 0.000 description 30
- 239000002245 particle Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000005202 decontamination Methods 0.000 description 4
- 230000003588 decontaminative effect Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- JEGUKCSWCFPDGT-UHFFFAOYSA-N h2o hydrate Chemical compound O.O JEGUKCSWCFPDGT-UHFFFAOYSA-N 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013618 particulate matter Substances 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及水下无人机领域,具体涉及一种应用于水下无人机的图像处理方法及装置。该方法及装置包括步骤:S101:计算水下无人机拍摄的图像上各像素点光照亮度;S102:使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;S103:使用水下声纳扫描成像技术,对步骤S102无法复原识别的图像区域进行图像补充。该方法及装置运用了雨雾天视频图像复原的FCM聚类算法技术,创新性的将其应用在对浑水杂质的实时消除和图像处理中,并将声学扫描成像作为辅助,对浑水成像进行视觉补偿,增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
Description
技术领域
本发明涉及水下无人机领域,具体而言,涉及一种应用于水下无人机的图像处理方法及装置。
背景技术
目前传统的浑水实时杂质消除主要是通过图像处理技术对图像内的杂质颗粒及噪点物体进行屏蔽消除,然后复原真实图像的方法。该方法在浑水杂质较多、颗粒较为密集的情况下可能出现杂质消除效果不佳、图像复原失真或者水下视距缩短的问题,使得浑水中的图像处理失去了消除杂质、增强视觉的意义。
发明内容
本发明实施例提供了一种应用于水下无人机的图像处理方法及装置,以至少解决现有水下无人机无法在浑浊水质环境下获取清晰图像的技术问题。
根据本发明的一实施例,提供了一种应用于水下无人机的图像处理方法,包括以下步骤:
S101:计算水下无人机拍摄的图像上各像素点光照亮度;
S102:使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;
S103:使用水下声纳扫描成像技术,对步骤S102无法复原识别的图像区域进行图像补充。
进一步地,步骤S102包括:
对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度进行带约束的非线性划分,分为杂质类像素点及背景类像素点;
用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
进一步地,在步骤S102中,使用FCM聚类算法并通过图像的光照亮度直方图将图像上所有像素点的光照亮度进行带约束的非线性划分处理。
进一步地,在步骤S102中,使用FCM聚类算法改变图像的曝光时间和景深对图像进行去雨去雾处理。
进一步地,方法在步骤S101之前还包括:
S100:水下无人机在浑浊水质环境下进行图像拍摄。
进一步地,水下无人机采用4K超高清水下摄像头进行图像拍摄。
进一步地,水下无人机配备有最高3000流明的LED补光灯。
根据本发明的另一实施例,提供了一种应用于水下无人机的图像处理装置,包括:
光照亮度计算单元,用于计算水下无人机拍摄的图像上各像素点光照亮度;
FCM聚类算法单元,用于使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;
水下声纳扫描成像单元,用于对FCM聚类算法单元无法复原识别的图像区域进行图像补充。
进一步地,FCM聚类算法单元包括:
排序单元,用于对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
分类单元,用于根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度进行带约束的非线性划分,分为杂质类像素点及背景类像素点;
替换单元,用于用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
进一步地,装置还包括:
图像拍摄单元,用于水下无人机在浑浊水质环境下进行图像拍摄。
本发明实施例中的应用于水下无人机的图像处理方法及装置,运用了雨雾天视频图像复原的FCM聚类算法技术,针对性的优化应用了该FCM聚类算法,创新性的将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。与传统的仅仅采用图像处理的方法不同,本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充,增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明应用于水下无人机的图像处理方法的流程图;
图2为本发明应用于水下无人机的图像处理方法的优选流程图;
图3为本发明应用于水下无人机的图像处理方法中消除浑水水域杂质的图像处理的流程图;
图4为本发明应用于水下无人机的图像处理方法中水下声呐辅助扫描成像的流程图;
图5为本发明应用于水下无人机的图像处理方法的原理图;
图6为本发明应用于水下无人机的图像处理装置的模块图;
图7为本发明应用于水下无人机的图像处理装置的优选模块图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明一实施例,提供了一种应用于水下无人机的图像处理方法,参见图1,包括以下步骤:
S101:计算水下无人机拍摄的图像上各像素点光照亮度;
S102:使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;
S103:使用水下声纳扫描成像技术,对步骤S102无法复原识别的图像区域进行图像补充。
本发明实施例中的应用于水下无人机的图像处理方法,运用了雨雾天视频图像复原的FCM聚类算法技术,针对性的优化应用了该FCM聚类算法,创新性的将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。与传统的仅仅采用图像处理的方法不同,本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充,增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
作为优选的技术方案中,步骤S102包括:
对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度进行带约束的非线性划分,分为杂质类像素点及背景类像素点;
用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
作为优选的技术方案中,在步骤S102中,使用FCM聚类算法并通过图像的光照亮度直方图将图像上所有像素点的光照亮度进行带约束的非线性划分处理。
作为优选的技术方案中,在步骤S102中,使用FCM聚类算法改变图像的曝光时间和景深对图像进行去雨去雾处理。
作为优选的技术方案中,参见图2,方法在步骤S101之前还包括:
S100:水下无人机在浑浊水质环境下进行图像拍摄。
作为优选的技术方案中,水下无人机采用4K超高清水下摄像头进行图像拍摄。
作为优选的技术方案中,水下无人机配备有最高3000流明的LED补光灯。
下面以具体实施例,对本发明应用于水下无人机的图像处理方法进行详细说明:
本发明针对水下无人机,主要应用于水下六推无人机在浑浊水域内的实时图像处理和去杂质视觉增强。水下六推无人机采用4K超高清专业水下摄像头,可以对水下环境进行实时的拍摄和记录。本发明是一种浑水杂质消除的图像处理技术和水声声学影像补偿相结合的视觉增强技术,能够使得水下无人机在杂质较多、视距范围有限且水质浑浊的水体环境内依然获得较为清晰可视的实时影像和可作为参考依据的远距离声学辅助投影。
本发明运用了雨雾天视频图像复原的FCM聚类算法技术,针对深水水域(水深超过10米)和浑浊多杂质水体内的非常类似于恶劣天气条件下的图像处理复原情况。FCM聚类算法主要应用在恶劣天气条件下提高户外视觉系统的稳定性和图像质量。FCM聚类算法主要是在雨天视频图像复原的应用,通过改变曝光时间和景深实现去雨去雾图像处理。在较深水深的浑水水体中,本发明针对性的优化应用了FCM聚类算法,类似于去除雨雾的图像复原技术,将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。同时本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,提高浑水实时影像的清晰度和可视距离。
本发明区别于传统的浑水水下图像处理技术,不仅采用了浑水水域图像杂质消除和复原技术,消除水下实时图像中的杂质颗粒并复原图像,同时与水下声学成像相结合,以声呐扫描成像为辅助,补充水质过于浑浊导致图像处理效果不佳或者视距由于杂质消除处理而受到影响的实时水下影像。
一、浑水水域杂质消除图像处理
水下六推无人机搭载有4K专业级超高清水下摄像头,同时配备有最高3000流明的LED补光灯,能够在深水光照环境不足的情况为4K摄像头补光和照亮周边环境,是水下六推无人机标准组成部件。但是在浑浊水质环境下,水体内含有大量的杂质颗粒,包括污染物颗粒、细沙尘土、微生物等等。这些杂质颗粒的尺寸与雨雾天空气中的雨滴尺寸大小接近,基本在0.1~1mm范围之间,同时杂质分布密度根据水质的好坏有高低的不同。
本发明在浑水水域杂质消除图像处理上主要采用了FCM(模糊C均值)聚类算法。类似于雨滴在雨雾天环境下的物理特征:雨滴所在区域会使被雨滴覆盖背景的光强增加,且一般雨滴都会被视为球形单元进行分析,会对光照做折射、反射等增加图像在雨滴位置处的光强度。浑水中的杂质颗粒同样在环境光照或者外部光源照射下,由于折射或反射使得所在位置处的光照亮度更强,大于没有被杂质颗粒覆盖到的背景区域亮度。通过光照亮度直方图结合FCM(模糊C均值)聚类算法,通过聚类的方法将图像上所有像素点的光照亮度归结为带约束的非线性规划问题,优化求解出不同光照亮度的数据集的模糊划分。参见图3,通过基于FCM聚类算法消除浑水水域杂质的图像处理方法按照以下流程:
计算出图像上各像素点光照亮度;
对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度归结为带约束的非线性划分,分为杂质类像素点及背景类像素点;
用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
二.水下声呐辅助扫描成像
浑水水域杂质消除图像处理技术对于水下无人机核心系统的数据处理能力以及算法要求较高,在杂质颗粒密度较高或者水下光照过强的情况下,其图像处理无法真实复原无杂质情况下的水体情况。因此,本发明在浑水水域杂质消除图像处理技术的基础上,增加了水下声学辅助扫描成像,对图像处理无法复原识别的区域,通过声学扫描成像技术进行弥补,极大的增强了浑水视距,使得水下无人机在浑水水域内依然具备较强的视觉辨识画面和清晰度。
参见图4,水下声呐辅助扫描成像对浑水杂质消除图像处理技术的补充如下:
浑水中的杂质消除图像处理中,由于浑水杂质颗粒较密集或者颗粒物体积较大,可能出现处理后部分图像缺失、失真或者形变,或者消除杂质后部分区域无法复原识别(如图4左)。通过水下声呐辅助成像(如图4中)结合浑水杂质消除的图像处理技术,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充(如图4右),增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
本发明是一种应用在水下无人机的图像增强技术,通过杂质消除的图像处理结合声学成像辅助,对浑水水域内的摄像头成像进行去杂质并复原增强,实现浑水下的图像清晰和视距增强的方法。参见图5,本发明主要包括浑水水域杂质消除图像处理和水下声呐辅助扫描两个子流程,其工作的基本原理为:本发明运用了雨雾天视频图像复原的FCM聚类算法技术,针对性的优化应用了该FCM聚类算法,创新性的将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。与传统的仅仅采用图像处理的方法不同,本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充,增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
实施例2
根据本发明的另一实施例,提供了一种应用于水下无人机的图像处理装置,参见图6,包括:
光照亮度计算单元200,用于计算水下无人机拍摄的图像上各像素点光照亮度;
FCM聚类算法单元300,用于使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;
水下声纳扫描成像单元400,用于对FCM聚类算法单元300无法复原识别的图像区域进行图像补充。
本发明实施例中的应用于水下无人机的图像处理装置,运用了雨雾天视频图像复原的FCM聚类算法技术,针对性的优化应用了该FCM聚类算法,创新性的将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。与传统的仅仅采用图像处理的方法不同,本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充,增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
作为优选的技术方案中,FCM聚类算法单元300包括:
排序单元301,用于对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
分类单元302,用于根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度进行带约束的非线性划分,分为杂质类像素点及背景类像素点;
替换单元303,用于用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
作为优选的技术方案中,参见图7,装置还包括:
图像拍摄单元100,用于水下无人机在浑浊水质环境下进行图像拍摄。
下面以具体实施例,对本发明应用于水下无人机的图像处理装置进行详细说明:
本发明针对水下无人机,主要应用于水下六推无人机在浑浊水域内的实时图像处理和去杂质视觉增强。水下六推无人机采用4K超高清专业水下摄像头,可以对水下环境进行实时的拍摄和记录。本发明是一种浑水杂质消除的图像处理技术和水声声学影像补偿相结合的视觉增强技术,能够使得水下无人机在杂质较多、视距范围有限且水质浑浊的水体环境内依然获得较为清晰可视的实时影像和可作为参考依据的远距离声学辅助投影。
本发明运用了雨雾天视频图像复原的FCM聚类算法技术,针对深水水域(水深超过10米)和浑浊多杂质水体内的非常类似于恶劣天气条件下的图像处理复原情况。FCM聚类算法主要应用在恶劣天气条件下提高户外视觉系统的稳定性和图像质量。FCM聚类算法主要是在雨天视频图像复原的应用,通过改变曝光时间和景深实现去雨去雾图像处理。在较深水深的浑水水体中,本发明针对性的优化应用了FCM聚类算法,类似于去除雨雾的图像复原技术,将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。同时本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,提高浑水实时影像的清晰度和可视距离。
本发明区别于传统的浑水水下图像处理技术,不仅采用了浑水水域图像杂质消除和复原技术,消除水下实时图像中的杂质颗粒并复原图像,同时与水下声学成像相结合,以声呐扫描成像为辅助,补充水质过于浑浊导致图像处理效果不佳或者视距由于杂质消除处理而受到影响的实时水下影像。
一、浑水水域杂质消除图像处理
水下六推无人机搭载有4K专业级超高清水下摄像头,同时配备有最高3000流明的LED补光灯,能够在深水光照环境不足的情况为4K摄像头补光和照亮周边环境,是水下六推无人机标准组成部件。但是在浑浊水质环境下,水体内含有大量的杂质颗粒,包括污染物颗粒、细沙尘土、微生物等等。这些杂质颗粒的尺寸与雨雾天空气中的雨滴尺寸大小接近,基本在0.1~1mm范围之间,同时杂质分布密度根据水质的好坏有高低的不同。
本发明在浑水水域杂质消除图像处理上主要采用了FCM(模糊C均值)聚类算法。类似于雨滴在雨雾天环境下的物理特征:雨滴所在区域会使被雨滴覆盖背景的光强增加,且一般雨滴都会被视为球形单元进行分析,会对光照做折射、反射等增加图像在雨滴位置处的光强度。浑水中的杂质颗粒同样在环境光照或者外部光源照射下,由于折射或反射使得所在位置处的光照亮度更强,大于没有被杂质颗粒覆盖到的背景区域亮度。通过光照亮度直方图结合FCM(模糊C均值)聚类算法,通过聚类的方法将图像上所有像素点的光照亮度归结为带约束的非线性规划问题,优化求解出不同光照亮度的数据集的模糊划分。参见图3,FCM聚类算法单元300通过基于FCM聚类算法消除浑水水域杂质的图像处理按照以下流程:
光照亮度计算单元200,计算出图像上各像素点光照亮度;
排序单元301,对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
分类单元302,根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度归结为带约束的非线性划分,分为杂质类像素点及背景类像素点;
替换单元303,用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
二.水下声呐辅助扫描成像
浑水水域杂质消除图像处理技术对于水下无人机核心系统的数据处理能力以及算法要求较高,在杂质颗粒密度较高或者水下光照过强的情况下,其图像处理无法真实复原无杂质情况下的水体情况。因此,本发明在浑水水域杂质消除图像处理技术的基础上,增加了水下声学辅助扫描成像,对图像处理无法复原识别的区域,通过声学扫描成像技术进行弥补,极大的增强了浑水视距,使得水下无人机在浑水水域内依然具备较强的视觉辨识画面和清晰度。
参见图4,水下声纳扫描成像单元400中水下声呐辅助扫描成像对浑水杂质消除图像处理技术的补充如下:
浑水中的杂质消除图像处理中,由于浑水杂质颗粒较密集或者颗粒物体积较大,可能出现处理后部分图像缺失、失真或者形变,或者消除杂质后部分区域无法复原识别(如图4左)。通过水下声呐辅助成像(如图4中)结合浑水杂质消除的图像处理技术,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充(如图4右),增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
本发明是一种应用在水下无人机的图像增强技术,通过杂质消除的图像处理结合声学成像辅助,对浑水水域内的摄像头成像进行去杂质并复原增强,实现浑水下的图像清晰和视距增强的装置。参见图5,本发明主要包括浑水水域杂质消除图像处理和水下声呐辅助扫描两个子流程,其工作的基本原理为:本发明运用了雨雾天视频图像复原的FCM聚类算法技术,针对性的优化应用了该FCM聚类算法,创新性的将其应用在对浑水杂质的实时消除和图像处理中,复原成为少杂质或无杂质的清澈水体内的真实水下影像。与传统的仅仅采用图像处理的方法不同,本发明在浑水杂质图像处理的基础上,结合了水下声呐的声学扫描功能,将声学扫描成像作为辅助,对浑水成像进行视觉补偿,能够在比较浑浊水域内经过杂质消除但无法复原识别的区域,或者图像处理后产生部分图像缺失、失真或者形变的区域内,由声呐成像对该区域进行补充,增强图像的视觉辨识度和清晰度,同时也有效地提升了浑水视距。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的系统实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种应用于水下无人机的图像处理方法,其特征在于,包括以下步骤:
S101:计算水下无人机拍摄的图像上各像素点光照亮度;
S102:使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;
S103:使用水下声纳扫描成像技术,对步骤S102无法复原识别的图像区域进行图像补充。
2.根据权利要求1所述的应用于水下无人机的图像处理方法,其特征在于,步骤S102包括:
对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度进行带约束的非线性划分,分为杂质类像素点及背景类像素点;
用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
3.根据权利要求1所述的应用于水下无人机的图像处理方法,其特征在于,在步骤S102中,使用FCM聚类算法并通过图像的光照亮度直方图将图像上所有像素点的光照亮度进行带约束的非线性划分处理。
4.根据权利要求1所述的应用于水下无人机的图像处理方法,其特征在于,在步骤S102中,使用FCM聚类算法改变图像的曝光时间和景深对图像进行去雨去雾处理。
5.根据权利要求1所述的应用于水下无人机的图像处理方法,其特征在于,所述方法在步骤S101之前还包括:
S100:水下无人机在浑浊水质环境下进行图像拍摄。
6.根据权利要求5所述的应用于水下无人机的图像处理方法,其特征在于,所述水下无人机采用4K超高清水下摄像头进行图像拍摄。
7.根据权利要求6所述的应用于水下无人机的图像处理方法,其特征在于,所述水下无人机配备有最高3000流明的LED补光灯。
8.一种应用于水下无人机的图像处理装置,其特征在于,包括:
光照亮度计算单元,用于计算水下无人机拍摄的图像上各像素点光照亮度;
FCM聚类算法单元,用于使用FCM聚类算法将图像上所有像素点的光照亮度进行带约束的非线性划分处理;
水下声纳扫描成像单元,用于对FCM聚类算法单元无法复原识别的图像区域进行图像补充。
9.根据权利要求8所述的应用于水下无人机的图像处理装置,其特征在于,所述FCM聚类算法单元包括:
排序单元,用于对图像上所有像素点的光照亮度从光强最低像素点至光强最高像素点进行排序;
分类单元,用于根据排序后的所有像素点的光照亮度对图像上所有像素点进行聚类算法分类,将图像上所有像素点的光照亮度进行带约束的非线性划分,分为杂质类像素点及背景类像素点;
替换单元,用于用背景与杂质的混合光强替换杂质光强,获取到不同光照亮度下数据集的模糊划分。
10.根据权利要求8所述的应用于水下无人机的图像处理装置,其特征在于,所述装置还包括:
图像拍摄单元,用于水下无人机在浑浊水质环境下进行图像拍摄。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910513603.4A CN110276388B (zh) | 2019-06-14 | 2019-06-14 | 应用于水下无人机的图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910513603.4A CN110276388B (zh) | 2019-06-14 | 2019-06-14 | 应用于水下无人机的图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110276388A true CN110276388A (zh) | 2019-09-24 |
CN110276388B CN110276388B (zh) | 2022-05-31 |
Family
ID=67960866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910513603.4A Active CN110276388B (zh) | 2019-06-14 | 2019-06-14 | 应用于水下无人机的图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276388B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113365389A (zh) * | 2021-06-15 | 2021-09-07 | 中国科学院深海科学与工程研究所 | 一种深海照明系统的设计方法和装置 |
CN116839496A (zh) * | 2023-06-26 | 2023-10-03 | 深圳市海塞姆科技有限公司 | 材料水中形变的测量方法、装置、系统及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050163393A1 (en) * | 2004-01-23 | 2005-07-28 | Old Dominion University | Visibility improvement in color video stream |
CN102013017A (zh) * | 2010-11-26 | 2011-04-13 | 华中科技大学 | 一种高分辨率遥感图像场景粗分类方法 |
CN105426897A (zh) * | 2015-11-17 | 2016-03-23 | 中国海洋大学 | 基于声呐辅助自航式海底勘探、救援搜索方法 |
CN105574529A (zh) * | 2016-01-28 | 2016-05-11 | 中国船舶重工集团公司第七一〇研究所 | 一种侧扫声纳目标检测方法 |
US20160267675A1 (en) * | 2014-06-23 | 2016-09-15 | Boe Technology Group Co., Ltd. | Image edge detection method and apparatus thereof, image target identification method and apparatus thereof |
CN109143247A (zh) * | 2018-07-19 | 2019-01-04 | 河海大学常州校区 | 一种声光成像的三目水下探测方法 |
KR20190138446A (ko) * | 2018-06-05 | 2019-12-13 | 국방과학연구소 | 소나영상의 객체 인식을 위한 커브렛 변환 기반의 윤곽선 향상 방법 및 장치 |
-
2019
- 2019-06-14 CN CN201910513603.4A patent/CN110276388B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050163393A1 (en) * | 2004-01-23 | 2005-07-28 | Old Dominion University | Visibility improvement in color video stream |
CN102013017A (zh) * | 2010-11-26 | 2011-04-13 | 华中科技大学 | 一种高分辨率遥感图像场景粗分类方法 |
US20160267675A1 (en) * | 2014-06-23 | 2016-09-15 | Boe Technology Group Co., Ltd. | Image edge detection method and apparatus thereof, image target identification method and apparatus thereof |
CN105426897A (zh) * | 2015-11-17 | 2016-03-23 | 中国海洋大学 | 基于声呐辅助自航式海底勘探、救援搜索方法 |
CN105574529A (zh) * | 2016-01-28 | 2016-05-11 | 中国船舶重工集团公司第七一〇研究所 | 一种侧扫声纳目标检测方法 |
KR20190138446A (ko) * | 2018-06-05 | 2019-12-13 | 국방과학연구소 | 소나영상의 객체 인식을 위한 커브렛 변환 기반의 윤곽선 향상 방법 및 장치 |
CN109143247A (zh) * | 2018-07-19 | 2019-01-04 | 河海大学常州校区 | 一种声光成像的三目水下探测方法 |
Non-Patent Citations (2)
Title |
---|
胡巍等: ""基于FCM的雨天视频图像复原"", 《通信技术》 * |
邢阳阳: ""水下目标探测与跟踪关键技术研究"", 《科学技术创新》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113365389A (zh) * | 2021-06-15 | 2021-09-07 | 中国科学院深海科学与工程研究所 | 一种深海照明系统的设计方法和装置 |
CN113365389B (zh) * | 2021-06-15 | 2022-07-19 | 中国科学院深海科学与工程研究所 | 一种深海照明系统的设计方法和装置 |
CN116839496A (zh) * | 2023-06-26 | 2023-10-03 | 深圳市海塞姆科技有限公司 | 材料水中形变的测量方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110276388B (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103955905B (zh) | 基于快速小波变换和加权图像融合的单幅图像去雾方法 | |
CN110544213B (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
US7734088B2 (en) | Low-bandwidth image streaming | |
Li et al. | Multi-scale single image dehazing using laplacian and gaussian pyramids | |
CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
CN103186887B (zh) | 图像除雾装置和图像除雾方法 | |
CN102881006A (zh) | 多投影显示系统中的图像拼接与融合方法 | |
CN1450796A (zh) | 检测和/或追踪图像或图像序列中颜色区域的方法和装置 | |
CN103218778A (zh) | 一种图像和视频的处理方法及装置 | |
CN105827976A (zh) | 基于gpu的视频采集与处理装置及系统 | |
CN110276388A (zh) | 应用于水下无人机的图像处理方法及装置 | |
CN109146859A (zh) | 一种基于机器视觉的路面裂缝检测系统 | |
CN106296618A (zh) | 一种基于高斯函数加权直方图规定化的彩色图像去雾方法 | |
CN105989583B (zh) | 一种图像去雾方法 | |
CN108093175B (zh) | 一种实时高清视频自适应去雾方法及装置 | |
WO2020020446A1 (en) | A method and a system training a model to perform semantic segmentation on foggy images | |
CN104281999A (zh) | 基于结构信息的单幅图像去雾方法 | |
WO2020020445A1 (en) | A method and a system for processing images to obtain foggy images | |
CN112465720B (zh) | 一种基于图像天空分割的图像去雾方法、装置和存储介质 | |
CN110738624B (zh) | 一种区域自适应的图像去雾系统及方法 | |
CN107454319A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN116229404A (zh) | 一种基于距离传感器的图像去雾优化方法 | |
CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
CN107274366A (zh) | 基于物理模型的改进暗通道先验单幅雾化图像复原方法 | |
CN109191405A (zh) | 一种基于透射率全局估计的航空影像去雾算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |