CN111612830B - 水下目标检测识别装置及方法 - Google Patents
水下目标检测识别装置及方法 Download PDFInfo
- Publication number
- CN111612830B CN111612830B CN202010238219.0A CN202010238219A CN111612830B CN 111612830 B CN111612830 B CN 111612830B CN 202010238219 A CN202010238219 A CN 202010238219A CN 111612830 B CN111612830 B CN 111612830B
- Authority
- CN
- China
- Prior art keywords
- detection
- underwater
- identification
- target
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000003110 anti-inflammatory effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明实施例提供一种水下目标检测识别装置及方法，其中装置包括配准单元、检测识别单元，以及装设在水下载体每一侧的至少两个具有不同扫描方向的单视侧扫声呐；所述配准单元用于对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；所述检测识别单元用于基于所述图像配准结果，确定所述水下目标的检测识别结果。本发明实施例提供的装置及方法，提高了水下目标的检测率和识别率，降低了虚警率，同时，实现了一次航行路径对水下目标的多次检测和识别，提高了水下载体的能效比，降低了成本。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种水下目标检测识别装置及方法。
背景技术
由于声呐的频率相对光的频率非常低，且实际海况中存在较强的噪声(比如混响噪声等)，导致所获得的声图分辨力低、目标边缘模糊。因此，基于声图对水下目标进行高效地检测与识别是现今学术界与工业界研究的热点和难点。
现有的水下目标检测与识别系统是利用侧扫声呐从单一位置与视角处进行水下目标检测，当某一个或某一段扫描方向上存在较大的噪声和\或目标被非目标的小物体遮挡和部分遮挡时，会导致目标检测率低、识别率低和虚警率高。
目前，针对于这一问题的解决方法是采用多路径航行或UUV(Unmannedunderwater vehicle，无人潜航器)编队等方法对水下目标进行多视角扫描，然而上述方法的实现成本高昂，且UUV能效比低。
发明内容
本发明实施例提供一种水下目标检测识别装置及方法，用以解决现有的水下目标检测识别系统目标检测率低、识别率低和虚警率高的问题。
第一方面，本发明实施例提供一种水下目标检测识别装置，包括配准单元、检测识别单元，以及装设在水下载体每一侧的至少两个具有不同扫描方向的单视侧扫声呐；
所述配准单元用于对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；
所述检测识别单元用于基于所述图像配准结果，确定所述水下目标的检测识别结果。
可选地，所述检测识别单元包括第一检测识别子单元；
所述第一检测识别子单元用于对每一单视声图进行目标检测处理，得到每一单视声图中的水下目标图像区域及其对应的置信度，基于所述图像配准结果，以及每一单视声图中的水下目标图像区域及其对应的置信度，确定所述水下目标的检测识别结果。
可选地，所述检测识别单元包括第二检测识别子单元；
所述第二检测识别子单元用于将所述图像配准结果输入联合检测识别模型，得到所述联合检测识别模型输出的所述水下目标的检测识别结果；
其中，所述联合检测识别模型是基于样本图像配准结果及其对应的样本水下目标的检测识别结果训练得到的。
可选地，所述配准单元具体用于：
对所述水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行基于多信息融合的图像配准，所述多信息融合包括水下载体航行速度、水下载体位置、单视侧扫声呐姿态和声图中至少两种的融合。
可选地，所述装置还包括特征增强单元：
所述特征增强单元用于采用超分辨率算法和/或图像增强算法对每一单视声图进行目标特征增强。
可选地，每一单视侧扫声呐均配置倒流外壳罩。
第二方面，本发明实施例提供一种水下目标检测识别方法，包括：
对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；
基于所述图像配准结果，确定所述水下目标的检测识别结果；
其中，所述水下载体每一侧装设至少两个具有不同扫描方向的单视侧扫声呐。
可选地，所述基于所述图像配准结果，确定所述水下目标的检测识别结果，具体包括：
对每一单视声图进行目标检测处理，得到每一单视声图中的水下目标图像区域及其对应的置信度；
基于所述图像配准结果，以及每一单视声图中的水下目标图像区域及其对应的置信度，确定所述水下目标的检测识别结果。
可选地，所述基于所述图像配准结果，确定所述水下目标的检测识别结果，具体包括：
将所述图像配准结果输入联合检测识别模型，得到所述联合检测识别模型输出的所述水下目标的检测识别结果；
其中，所述联合检测识别模型是基于样本图像配准结果及其对应的样本水下目标的检测识别结果训练得到的。
可选地，所述对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，包括：
对所述水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行基于多信息融合的图像配准，所述多信息融合包括体水下载体航行速度、水下载体位置、单视侧扫声呐姿态和声图中至少两种的融合。
本发明实施例提供的水下目标检测识别装置及方法，通过在水下载体上每一侧的多个不同位置处分别安装不同扫描角度的单视侧扫声呐，实现从不同位置、不同视角获取同一目标的多幅声图，大大降低了多个位置处均存在大噪声干扰的概率，大概率地避免出现目标被遮挡的现象，提高了水下目标的检测率和识别率，降低了虚警率，同时，实现了一次航行路径对水下目标的多次检测和识别，提高了水下载体的能效比，降低了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的水下目标检测识别装置的结构示意图；
图2为本发明实施例提供的水下目标检测识别装置的成像示意图；
图3为本发明实施例提供的又一水下目标检测识别装置的成像示意图；
图4为本发明实施例提供的水下目标检测识别方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的水下目标检测识别主要集中在较为理想条件下，即针对声图中呈现较明显高亮和阴影区域的水下目标的检测和识别，但即使在这一理想情况下，其目标识别率依然较低(不超过80％)，漏检率依然较高(约为30％)。而在实际复杂海况条件下，获取的高频声图中水下目标对应的高亮与阴影轮廓常常会变得非常的模糊，甚至对应的亮或阴影区域会被混响噪声淹没，出现丢失现象。而针对这种亮-阴影轮廓模糊或亮-阴影部分丢失等情况下的目标检测和识别，是实际复杂海况下目标检测技术发展趋势中面临的难点与挑战。
现有的侧扫声呐包括了两个换能器线阵，即在水下载体左右两侧各安装一条的换能器线阵。基于现有侧扫声呐的水下目标检测的难点具体表现如下：当声呐的某一个或某一段扫描方向上存在较大的噪声时，导致水下目标的明暗区域的边界轮廓可能极为模糊以及明-暗区域并非一一对应，可能只存在亮区域或阴影区域，导致漏检或虚警率高；由于目标相对声呐的位置和姿态是随机的，导致目标明或暗区域的形状随机，造成目标和非目标(比如岩石等)难以区分，同时声呐的视角是固定的，当目标被非目标的小物体遮挡和部分遮挡时，目标难以被检测和识别，导致漏检或虚警率高。
目前，虽然国内外针对侧扫声呐检测水下目标时存在的上述问题，已提出采用多路径航行或编队等方法实现多视角的水下目标检测技术来提高识别率，降低虚警率，但仍存在如下的问题：由于采用复杂的多路径航行，导致UUV的能效比低；采用UUV编队检测水下目标，导致成本非常高。
图1为本发明实施例提供的水下目标检测识别装置的结构示意图，如图1所示，该装置包括配准单元102、检测识别单元103，以及装设在水下载体每一侧的至少两个具有不同扫描方向的单视侧扫声呐101；
具体地，该装置包括单视侧扫声呐101，配准单元102和检测识别单元103。本发明中单视侧扫声呐仅包括单个换能器线阵，与现有的包含两个换能器线阵的侧扫声呐不同。
水下载体用于装设单视侧扫声呐，对水下目标进行检测和识别，水下载体可以为UUV，也可以为拖鱼，本发明实施例对此不做具体限定。单视侧扫声呐101用于水下目标检测，对水下目标采集声图。在水下载体的每一侧装设多个单视侧扫声呐，具体数量可以根据实际需要进行配置。由于整个检测识别过程是在水下载体航行的情况下实现的，因此，通过装设在水下载体每一侧的至少两个具有不同扫描方向的单视侧扫声呐能够获取对同一个目标在不同时刻、不同视角和不同位置的声图。
下面通过示例来说明。图2为本发明实施例提供的水下目标检测识别装置的成像示意图，如图2所示，在水下载体的两侧分别装设两个单视侧扫声呐。当水下目标出现在水下载体航行方向的右侧时，水下载体右侧的两个单视侧扫声呐对水下目标进行扫描检测。由于右侧单视侧扫声呐1和2的扫描方向不同，因此对水下目标能以两个不同视角分别成像。水下载体走航时右侧单视侧扫声呐1和2分别向侧下方发射扇形波束的声脉冲，两者的扇形波束角度呈一个固定的视角差，可以用扫描夹角α表示。
为避免声呐信号之间的干扰，右侧单视侧扫声呐1部署在载体前部，右侧单视侧扫声呐2部署在载体后部。在右侧单视侧扫声呐1对目标进行成像后，载体前进一段距离，右侧单视侧扫声呐2即可在另一个角度对同一目标进行成像，可实现不同时刻、不同视角(视角差为扫描夹角α)、不同位置的观察，以大大降低水下检测的虚警率和一定程度遮挡所导致的漏检问题。优选地，可以调整单视侧扫声呐的扫描方向，使得扫描夹角α＝90°以取得较好的检测识别结果。本发明实施例对单视侧扫声呐的扫描方向的调整方式不做具体限定。
图3为本发明实施例提供的又一水下目标检测识别装置的成像示意图，如图3所示，在水下载体两侧的中间位置再分别增加一个单视侧扫声呐，每侧形成3个不同视角，从而进一步提高该装置的检测能力。在水下载体空间允许情况下，在其两侧可以安装更多不同扫描角度的单视侧扫声呐。
通过在水下载体上每一侧的多个不同位置处分别安装不同扫描角度的单视侧扫声呐，实现从不同位置、不同视角获取同一目标的两幅或多幅声图，以大大降低多个位置处均存在大噪声干扰的概率，使得至少从一个位置或多个位置处扫描获得有较明显的明-暗区域的水下目标的概率大大提高，以提高水下目标检测率和识别率；同时，从不同位置与视角的声图中也可更大概率地提取出水下目标的尺寸、形状信息和空间信息，还可大概率地避免目标被遮挡现象。
配准单元102用于对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；
具体地，由于水下载体单侧每一单视侧扫声呐针对同一水下目标采集的单视声图存在较严重的失真以及较强的背景噪声干扰，因此需要针对在多个不同时刻、不同位置、不同视角获取的视声图进行精确配准，即对多个视声图中同一区域进行配准融合，以便实现对同一目标从多个不同位置与视角观察，降低多个位置处均存在大噪声干扰的概率，避免出现目标被遮挡的现象。
在图像配准之前，为了获得高质量的图像配准结果，可以对每一单视声图进行声图预处理操作。声图预处理操作包括失真校正、滤波和增强中的至少一种。预处理方法可以采用伽马(Gamma)变换、直方图变换等图像处理算法，本发明实施例对此不做具体限定。
图像配准操作可以采用提取稳定特征角点方法进行配准，例如基于Harris算子的角点检测算法，也可以采用基于相关相位法进行配准，本发明实施例对此不做具体限定。
图像配准结果为水下目标的检测与识别提供了基础。图像配准结果可以直接进行图像融合后以图像形式输出，也可以其他形式输出，本发明实施例对此不做具体限定。
检测识别单元103用于基于图像配准结果，确定水下目标的检测识别结果。
具体地，根据图像配准结果，检测识别单元103针对在多个不同视角声图中判断可能为水下目标的区域进行最终的联合检测识别，最终确定水下目标的检测识别结果。
本发明实施例提供的水下目标检测识别装置，通过在水下载体上每一侧的多个不同位置处分别安装不同扫描角度的单视侧扫声呐，实现从不同位置、不同视角获取同一目标的多幅声图，大大降低了多个位置处均存在大噪声干扰的概率，大概率地避免出现目标被遮挡的现象，提高了水下目标的检测率和识别率，降低了虚警率，同时，实现了一次航行路径对水下目标的多次检测和识别，提高了水下载体的能效比，降低了成本。
基于上述实施例，检测识别单元包括第一检测识别子单元；
第一检测识别子单元用于对每一单视声图进行目标检测处理，得到每一单视声图中的水下目标图像区域及其对应的置信度，基于图像配准结果，以及每一单视声图中的水下目标图像区域及其对应的置信度，确定水下目标的检测识别结果。
具体地，采用多个单视侧扫声呐检测目标，依然需要考虑多个单视侧扫声呐所采集的声图存在信号噪声均较大的最坏情况，也即需要考虑每一单视声图的实际目标分辨率较低，且强噪声导致目标特征(亮区与阴影区)边缘信息模糊或丢失的情况。同时，还需要考虑目标的形状随机性和被非目标物体遮挡和部分遮挡等情况。
因此，需要对每一单视声图进行目标检测处理，即对每一单视声图进行水下目标图像区域的分割与检测，提高水下目标的检测率和识别率，降低虚警率。在完成每一单视声图中水下目标图像区域检测的同时，给出水下目标图像区域的置信度，为后续多视声图中水下目标的检测识别提供基础依据。
对每一单视声图进行水下目标图像区域的分割，可以采用阈值分割、区域生长、马尔可夫和水平集等算法，本发明实施例对此不做具体限定。水下目标图像区域的检测以及置信度的确定，可以采用SVM(Support Vector Machine，支持向量机)、AdaBoost、显著性检验和模板匹配等算法，也可基于神经网络使用YOLOv3、SSD(Single Shot MultiBoxDetector)和Faster R-CNN等算法，本发明实施例对此不做具体限定。
根据水下目标图像区域以及水下目标图像区域所对应的置信度，结合图像配准结果中水下目标的特征，采用集成学习中的随机森林算法，建立联合检测识别的概率判断模型，确定水下目标的检测识别结果。
本发明实施例提供的水下目标检测识别装置，通过第一检测识别子单元确定水下目标的检测识别结果，提高了水下目标的检测率和识别率，降低了虚警率。
基于上述任一实施例，检测识别单元包括第二检测识别子单元；
第二检测识别子单元用于将图像配准结果输入联合检测识别模型，得到联合检测识别模型输出的水下目标的检测识别结果；
其中，联合检测识别模型是基于样本图像配准结果及其对应的样本水下目标的检测识别结果训练得到的。
具体地，图像配准结果为对多个包含同一水下目标的单视声图进行配准后融合得到的图像。联合检测识别模型通过大量的样本进行训练，具备很强的针对水下目标的图像特征提取能力。将图像配准结果输入联合检测识别模型，得到联合检测识别模型输出的水下目标的检测识别结果。
联合检测识别模型可以通过预先训练得到，具体可以通过如下方式训练得到联合检测识别模型：首先，收集大量样本图像配准结果及其对应的样本水下目标的检测识别结果，应用样本图像配准结果及其对应的样本水下目标的检测识别结果对初始联合检测识别模型进行训练。初始联合检测识别模型可以采用卷积神经网络，本发明实施例对初始联合检测识别模型的类型和具体结构不做具体限定。
经过训练优化的联合检测识别模型能够学习到针对水下目标的图像特征提取能力，从而实现提高水下目标的检测率和识别率，降低虚警率。
本发明实施例提供的水下目标检测识别装置，通过第二检测识别子单元确定水下目标的检测识别结果，提高了水下目标的检测率和识别率，降低了虚警率。
基于上述任一实施例，配准单元具体用于：
对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行基于多信息融合的图像配准，多信息融合包括水下载体航行速度、水下载体位置、单视侧扫声呐姿态和声图中至少两种的融合。
具体地，可以获取水下载体的航行速度、水下载体位置、单视侧扫声呐姿态和声图，采用其中至少两种信息对水下载体单侧所有单视声图进行图像配准，提高水下目标的检测率和识别率。
基于上述任一实施例，还包括特征增强单元：
特征增强单元用于采用超分辨率算法和/或图像增强算法对每一单视声图进行目标特征增强。
具体地，对每一单视声图进行目标检测处理前，特征增强单元用于对每一单视声图进行目标特征增强，大幅度地提高目标检测处理中对水下目标特征的提取能力。
采用超分辨率算法提高单视声图中水下目标的细节信息，可以采用双线性插值、双三次插值，也可采用基于深度学习的SRCNN(Super-Resolution Convolutional NeuralNetwork)、SRGAN(Source code for generating antagonism network)等算法，本发明实施例对此不做具体限定。
采用图像增强算法实现水下目标图像区域边缘增强，可以基于伽马(Gamma)变换、直方图变换算法，也可采用基于深度学习的DLSR(Discriminative Least SquaresRegression)、EnlightenGAN等算法，本发明实施例对此不做具体限定。
目标特征增强后的单视声图可以用于第一检测识别子单元进行目标检测处理，也可以用于图像配准单元进行图像配准。
基于上述任一实施例，每一单视侧扫声呐均配置倒流外壳罩。
具体地，考虑多个单视侧扫声呐在实际水下运动时会受到水流阻力的影响导致姿态的不稳定，因此该装置可针对每个声呐分别配置倒流外壳罩，或者整体外加倒流外壳罩，以保证单视侧扫声呐在水下运动时的姿态稳定。
本发明实施例提供的水下目标检测识别装置，通过为每个单视侧扫声呐均配置倒流外壳罩，提高了单视侧扫声呐成像的稳定性和声图的成像质量。
基于上述任一实施例，图4为本发明实施例提供的水下目标检测识别方法的流程示意图，如图4所示，该方法包括：
步骤401，对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；
步骤402，基于图像配准结果，确定水下目标的检测识别结果；
其中，水下载体每一侧装设至少两个具有不同扫描方向的单视侧扫声呐。
具体地，通过装设在水下载体每一侧的至少两个具有不同扫描方向的单视侧扫声呐能够获取对同一个目标在不同时刻、不同视角和不同位置的声图。
步骤401中，由于水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图存在较严重的失真以及较强的背景噪声干扰，因此需要针对在多个不同时刻、不同位置、不同视角获取的视声图进行精确配准，即对多个视声图中同一区域进行配准融合，以便实现对同一目标从多个不同位置与视角观察，降低多个位置处均存在大噪声干扰的概率，避免出现目标被遮挡的现象。
在图像配准之前，为了获得高质量的图像配准结果，可以对每一单视声图进行声图预处理操作。声图预处理操作包括失真校正、滤波和增强中的至少一种。预处理方法可以采用伽马(Gamma)变换、直方图变换等图像处理算法，本发明实施例对此不做具体限定。
图像配准操作可以采用提取稳定特征角点方法进行配准，例如基于Harris算子的角点检测算法，也可以采用基于相关相位法进行配准，本发明实施例对此不做具体限定。
图像配准结果为水下目标的检测与识别提供了基础。图像配准结果可以直接进行图像融合后以图像形式输出，也可以其他形式输出，本发明实施例对此不做具体限定。
步骤402，根据图像配准结果，针对在两个或多个不同视角声图中判断可能为水下目标的区域进行最终的联合检测识别，最终确定水下目标的检测识别结果。
本发明实施例提供的水下目标检测识别方法，通过在水下载体上每一侧的多个不同位置处分别安装不同扫描角度的单视侧扫声呐，实现从不同位置、不同视角获取同一目标的多幅声图，大大降低了多个位置处均存在大噪声干扰的概率，大概率地避免出现目标被遮挡的现象，提高了水下目标的检测率和识别率，降低了虚警率，同时，实现了一次航行路径对水下目标的多次检测和识别，提高了水下载体的能效比，降低了成本。
基于上述任一实施例，步骤402具体包括：
对每一单视声图进行目标检测处理，得到每一单视声图中的水下目标图像区域及其对应的置信度；
基于图像配准结果，以及每一单视声图中的水下目标图像区域及其对应的置信度，确定水下目标的检测识别结果。
具体地，采用多个单视侧扫声呐检测目标，依然需要考虑多个单视侧扫声呐所采集的声图存在信号噪声均较大的最坏情况，也即需要考虑每一单视声图的实际目标分辨率较低，且强噪声导致目标特征(亮区与阴影区)边缘信息模糊或丢失的情况。同时，还需要考虑目标的形状随机性和被非目标物体遮挡和部分遮挡等情况。
因此，需要对每一单视声图进行目标检测处理，即对每一单视声图进行水下目标图像区域的分割与检测，提高水下目标的检测率和识别率，降低虚警率。在完成每一单视声图中水下目标图像区域检测的同时，给出水下目标图像区域的置信度，为后续多视声图中水下目标的检测识别提供基础依据。
对每一单视声图进行水下目标图像区域的分割，可以采用阈值分割、区域生长、马尔可夫和水平集等算法，本发明实施例对此不做具体限定。水下目标图像区域的检测以及置信度的确定，可以采用SVM(Support Vector Machine，支持向量机)、AdaBoost、显著性检验和模板匹配等算法，也可基于神经网络使用YOLOv3、SSD(Single Shot MultiBoxDetector)和Faster R-CNN等算法，本发明实施例对此不做具体限定。
根据水下目标图像区域以及水下目标图像区域所对应的置信度，结合图像配准结果中水下目标的特征，采用集成学习中的随机森林算法，建立联合检测识别的概率判断模型，确定水下目标的检测识别结果。
基于上述任一实施例，步骤402具体包括：
将图像配准结果输入联合检测识别模型，得到联合检测识别模型输出的水下目标的检测识别结果；
其中，联合检测识别模型是基于样本图像配准结果及其对应的样本水下目标的检测识别结果训练得到的。
具体地，图像配准结果是对多个包含同一水下目标的单视声图进行配准后融合得到的图像。联合检测识别模型通过大量的样本进行训练，具备很强的针对水下目标的图像特征提取能力。将图像配准结果输入联合检测识别模型，得到联合检测识别模型输出的水下目标的检测识别结果。
联合检测识别模型可以通过预先训练得到，具体可以通过如下方式训练得到联合检测识别模型：首先，收集大量样本图像配准结果及其对应的样本水下目标的检测识别结果，应用样本图像配准结果及其对应的样本水下目标的检测识别结果对初始联合检测识别模型进行训练。初始联合检测识别模型可以采用卷积神经网络，本发明实施例对初始联合检测识别模型的类型和具体结构不做具体限定。
经过训练优化的联合检测识别模型能够学习到针对水下目标的图像特征提取能力，从而实现提高水下目标的检测率和识别率，降低虚警率。
基于上述任一实施例，对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，包括：
对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行基于多信息融合的图像配准，多信息融合包括水下载体位置和声图中至少两种的融合。
具体地，可以获取水下载体的航行速度、水下载体位置、单视侧扫声呐姿态和声图，采用其中至少两种信息对水下载体单侧所有单视声图进行图像配准，提高水下目标的检测率和识别率。
基于上述任一实施例，对每一单视声图进行目标检测处理，得到水下目标图像区域以及水下目标图像区域所对应的置信度，之前还包括：
采用超分辨率算法和/或图像增强算法对每一单视声图进行目标特征增强。
具体地，对每一单视声图进行目标特征增强，大幅度地提高目标检测处理中对水下目标特征的提取能力。
采用超分辨率算法提高单视声图中水下目标的细节信息，可以采用双线性插值、双三次插值，也可采用基于深度学习的SRCNN(Super-Resolution Convolutional NeuralNetwork)、SRGAN(Source code for generating antagonism network)等算法，本发明实施例对此不做具体限定。
采用图像增强算法实现水下目标图像区域边缘增强，可以基于伽马(Gamma)变换、直方图变换算法，也可采用基于深度学习的(Discriminative Least SquaresRegression)、EnlightenGAN等算法，本发明实施例对此不做具体限定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种水下目标检测识别装置，其特征在于，包括配准单元、检测识别单元，以及装设在水下载体每一侧的至少两个具有不同扫描方向的单视侧扫声呐；
所述配准单元用于对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；
所述检测识别单元用于基于所述图像配准结果，确定所述水下目标的检测识别结果；
所述检测识别单元包括第一检测识别子单元；
所述第一检测识别子单元用于对每一单视声图进行目标检测处理，得到每一单视声图中的水下目标图像区域及其对应的置信度，基于所述图像配准结果，以及每一单视声图中的水下目标图像区域及其对应的置信度，确定所述水下目标的检测识别结果。
2.根据权利要求1所述的水下目标检测识别装置，其特征在于，所述检测识别单元包括第二检测识别子单元；
所述第二检测识别子单元用于将所述图像配准结果输入联合检测识别模型，得到所述联合检测识别模型输出的所述水下目标的检测识别结果；
其中，所述联合检测识别模型是基于样本图像配准结果及其对应的样本水下目标的检测识别结果训练得到的。
3.根据权利要求1或2所述的水下目标检测识别装置，其特征在于，所述配准单元具体用于：
对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行基于多信息融合的图像配准，所述多信息融合包括水下载体航行速度、水下载体位置、单视侧扫声呐姿态和声图中至少两种的融合。
4.根据权利要求1或2所述的水下目标检测识别装置，其特征在于，还包括特征增强单元：
所述特征增强单元用于采用超分辨率算法和/或图像增强算法对每一单视声图进行目标特征增强。
5.根据权利要求1或2所述的水下目标检测识别装置，其特征在于，每一单视侧扫声呐均配置倒流外壳罩。
6.一种水下目标检测识别方法，其特征在于，包括：
对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，得到图像配准结果；
基于所述图像配准结果，确定所述水下目标的检测识别结果；
其中，所述水下载体每一侧装设至少两个具有不同扫描方向的单视侧扫声呐；
所述基于所述图像配准结果，确定所述水下目标的检测识别结果，具体包括：
对每一单视声图进行目标检测处理，得到每一单视声图中的水下目标图像区域及其对应的置信度；
基于所述图像配准结果，以及每一单视声图中的水下目标图像区域及其对应的置信度，确定所述水下目标的检测识别结果。
7.根据权利要求6所述的水下目标检测识别方法，其特征在于，所述基于所述图像配准结果，确定所述水下目标的检测识别结果，具体包括：
将所述图像配准结果输入联合检测识别模型，得到所述联合检测识别模型输出的所述水下目标的检测识别结果；
其中，所述联合检测识别模型是基于样本图像配准结果及其对应的样本水下目标的检测识别结果训练得到的。
8.根据权利要求6或7所述的水下目标检测识别方法，其特征在于，所述对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行图像配准，包括：
对水下载体单侧所有单视侧扫声呐针对同一水下目标采集的单视声图进行基于多信息融合的图像配准，所述多信息融合包括体水下载体航行速度、水下载体位置、单视侧扫声呐姿态和声图中至少两种的融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010238219.0A CN111612830B (zh) | 2020-03-30 | 2020-03-30 | 水下目标检测识别装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010238219.0A CN111612830B (zh) | 2020-03-30 | 2020-03-30 | 水下目标检测识别装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612830A CN111612830A (zh) | 2020-09-01 |
| CN111612830B true CN111612830B (zh) | 2022-06-17 |
Family
ID=72205458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010238219.0A Active CN111612830B (zh) | 2020-03-30 | 2020-03-30 | 水下目标检测识别装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612830B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329796B (zh) * | 2020-11-12 | 2023-05-23 | 北京环境特性研究所 | 基于视觉显著性的红外成像卷云检测方法和装置 |
| CN113221915A (zh) * | 2021-05-12 | 2021-08-06 | 西北工业大学 | 一种基于视觉的水下集群邻居识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108008396A (zh) * | 2017-11-21 | 2018-05-08 | 北京臻迪科技股份有限公司 | 水下信息获取装置以及系统 |
| CN109446902A (zh) * | 2018-09-22 | 2019-03-08 | 天津大学 | 一种基于无人平台的海洋环境与目标综合感知方法 |
| CN109591982A (zh) * | 2018-12-29 | 2019-04-09 | 浙江大学 | 一种无人监控水下养殖机器人 |
| CN110163108A (zh) * | 2019-04-23 | 2019-08-23 | 杭州电子科技大学 | 基于双路径特征融合网络的鲁棒声呐目标检测方法 |
| CN110189403A (zh) * | 2019-05-22 | 2019-08-30 | 哈尔滨工程大学 | 一种基于单波束前视声纳的水下目标三维重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070159922A1 (en) * | 2001-06-21 | 2007-07-12 | Zimmerman Matthew J | 3-D sonar system |
-
2020
- 2020-03-30 CN CN202010238219.0A patent/CN111612830B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108008396A (zh) * | 2017-11-21 | 2018-05-08 | 北京臻迪科技股份有限公司 | 水下信息获取装置以及系统 |
| CN109446902A (zh) * | 2018-09-22 | 2019-03-08 | 天津大学 | 一种基于无人平台的海洋环境与目标综合感知方法 |
| CN109591982A (zh) * | 2018-12-29 | 2019-04-09 | 浙江大学 | 一种无人监控水下养殖机器人 |
| CN110163108A (zh) * | 2019-04-23 | 2019-08-23 | 杭州电子科技大学 | 基于双路径特征融合网络的鲁棒声呐目标检测方法 |
| CN110189403A (zh) * | 2019-05-22 | 2019-08-30 | 哈尔滨工程大学 | 一种基于单波束前视声纳的水下目标三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| False-alarm reduction in mine classification using multiple looks from a synthetic aperture sonar;J. Groen 等;《OCEANS"10 IEEE SYDNEY》;20101014;第1-8页 * |
| 多视角声图中水下小目标分类的深度神经网络方法研究;朱可卿等;《仪器仪表学报》;20200115(第01期);第206-214页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612830A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Galceran et al. | A real-time underwater object detection algorithm for multi-beam forward looking sonar | |
| CN102879786B (zh) | 一种针对水下障碍物的检测定位方法和系统 | |
| Mukherjee et al. | Symbolic analysis of sonar data for underwater target detection | |
| Neves et al. | Rotated object detection with forward-looking sonar in underwater applications | |
| Abu et al. | A statistically-based method for the detection of underwater objects in sonar imagery | |
| CN111612830B (zh) | 水下目标检测识别装置及方法 | |
| Sung et al. | Crosstalk removal in forward scan sonar image using deep learning for object detection | |
| CN114463362A (zh) | 一种基于深度学习的三维避碰声呐障碍物检测方法及系统 | |
| Kim et al. | Robust data association for multi-object detection in maritime environments using camera and radar measurements | |
| CN105741284A (zh) | 一种多波束前视声纳目标检测方法 | |
| CN112164079A (zh) | 一种声呐图像分割方法 | |
| CN109597067B (zh) | 毫米波辐射计线列扫描低识别度目标的分析方法和系统 | |
| CN109410137B (zh) | 一种暗弱目标的探测方法 | |
| CN116243289A (zh) | 一种基于成像声呐的无人艇水下目标智能识别方法 | |
| CN115810144A (zh) | 一种基于区域预检测的水中悬浮声呐目标识别方法 | |
| CN110189403B (zh) | 一种基于单波束前视声纳的水下目标三维重建方法 | |
| Oliveira et al. | Probabilistic positioning of a mooring cable in sonar images for in-situ calibration of marine sensors | |
| Spears et al. | Determining underwater vehicle movement from sonar data in relatively featureless seafloor tracking missions | |
| Oliveira et al. | Sonar-based cable detection for in-situ calibration of marine sensors | |
| CN115082755B (zh) | 一种基于数据增量的卷积神经网络前视声呐图像识别方法 | |
| Xian et al. | Target Detection and Parameter Recognition for The Crawling Submersible Based on Forward-looking Sonar | |
| Khidkikar et al. | Segmentation and classification of side-scan sonar data | |
| Oliveira et al. | Real-time wall identification for underwater mapping using imaging sonar | |
| Abu et al. | Automatic detection of underwater objects in sonar imagery | |
| Yong et al. | Applied Research on Target Detection and Tracking of a Multi-beam Sonar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |