CN114998714B - 一种基于深度学习图像检测的水下节点定位装置及方法 - Google Patents
一种基于深度学习图像检测的水下节点定位装置及方法 Download PDFInfo
- Publication number
- CN114998714B CN114998714B CN202210651833.9A CN202210651833A CN114998714B CN 114998714 B CN114998714 B CN 114998714B CN 202210651833 A CN202210651833 A CN 202210651833A CN 114998714 B CN114998714 B CN 114998714B
- Authority
- CN
- China
- Prior art keywords
- node
- underwater
- receiving node
- image
- lamp band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 4
- 238000009434 installation Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于深度学习图像检测的水下节点定位装置及方法，属于水下定位技术领域。本发明设计了一种十四面体的立体节点结构，通过节点上安装的LED灯带特征，可以用于深度学习模型的训练。同时提出了一种基于曲线拟合和相似三角形的定方法来求解以相机为原点的坐标系中的节点的位置、距离和节点对准所需的旋转角。相比于传统的集中式部署导致的安装及维护上的问题，分布式的水下节点部署方案节点可以独立采集数据并运行定位算法；引入了检测性能普遍优越，精度高，且检测速度快的深度学习神经网络用于接收节点的检测；曲线拟合和相似三角形结合的定位方法使得单目相机就能完成接收节点的测距和方位估计。
Description
技术领域
本发明属于水下定位技术领域，尤其涉及一种基于深度学习图像检测的水下节点定位装置及方法。
背景技术
随着对海洋资源的不断探索与开发，水下无线传感器网络(UWSN)作为海洋监控系统的重要组成部分，在科研、商业、勘测、军事等领域具有广泛的应用价值。近年来，水下无线光学通信(UWOC)逐渐发展，相较于水声、电磁波等通信技术，在通信速率、设备成本、功耗、技术成熟度等方面有较大优势，被认为可满足中远距离的高速数据传输需求，是UWSN中继传输中一项极具潜力的技术。在UWSN中使用UWOC节点进行通信时，节点之间需要精确的持续激光对准，但是在实际情况中，水下节点受水流扰动，影响了光学通信链路的稳定性。因此，在UWOC中需要解决激光的对准问题，即通信链路的发射节点在建立通信链路前需要对接收节点进行定位。
现有的UWOC定位主要还是集中式网络定位方案，需要多个参考节点固定部署，有线连接。集中式定位方案的精度可能因传感器和参考节点的密度、节点漂移等因素而有所不同，受到较多条件制约，同时，需要参考节点固定部署且精确选址，参考节点之间要保持信息的高度同步，以及未知节点配置高功率LED。在分布式定位方案中，传感器节点收集与定位相关的数据并通过运行定位算法独立估计位置。底层定位算法根据是否需要节点之间的距离或者方位角信息，将其划分为基于测距和非测距两种类型。其中，基于测距的定位算法是利用到达角度(AOA)、到达时间(TOA)、接收信号强度指示(RSSI)等方法来计算节点之间的距离信息。然而，UWOC定位仍有很多不足之处，比如传感器节点在实际检测中可能会受水流污染物等影响而移动，给定位及信息传输造成干扰；在测距技术中假设了节点之间时间同步，而实际情况中在水下很难实现同步。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于深度学习图像检测的水下节点定位装置及方法，使用深度学习图像检测模型提取目标节点的位置，并通过曲线拟合和改进的相似三角形法确定相机与节点之间的相对位置关系，从而完成发射节点与接收节点的对准，解决了基于单目摄像头就可以定位到目标节点三维位置的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于深度学习图像检测的水下节点定位装置，包括安装在节点顶端上的水下单目摄像头、安装在节点中心横切面外围的蓝光LED灯带、安装在节点每个侧面中心的激光发射孔、安装在节点内部中心的单面镜片以及安装在单面镜片顶部的激光头；所述节点为十四面体类球立体结构；所述节点的上下底面以及中心横切面均为正六边形，所述节点同时具备发射和接收功能；
所述水下单目摄像头，用于采集接收节点上的灯带图像；
所述蓝光LED灯，用于提供特征以被发射端捕获；
所述激光发射孔，用于使经单面镜片反射后的激光从激光发射孔中射向接收节点；
所述单面镜片，用于反射激光；
所述激光头，用于发射所需传输的激光信号。
本发明的有益效果是：本发明的定位装置中，设计了一种十四面体的立体节点结构，通过节点上安装的LED灯带特征，可以用于深度学习模型的训练，该节点结果同时具备发射和接收的功能。既能采集图像，又能被捕获。
基于上述装置，本发明提供了一种基于深度学习图像检测的水下节点定位方法，包括以下步骤：
S1、利用发射节点搭载的水下单目摄像头拍摄包含接收节点的灯带图像，并利用深度学习神经网络对接收节点进行检测；
S2、根据检测到的目标检测框内的图像，利用曲线拟合方法提取灯带曲线，确定灯带的端点，并根据灯带的端点确定接收节点的像素直径大小；
S3、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，利用基于相似三角形的定位方法估计发射端与接收端的位置关系，完成水下节点定位。
本发明的有益效果是：本方案提出了一种分布式的基于深度学习图像检测的水下节点定位方案，以及设计了一种十四面体的立体节点结构，通过节点上安装的LED灯带特征，可以用于深度学习模型的训练。同时提出了一种基于曲线拟合和相似三角形的定位算法来求解以相机为原点的坐标系中的接收节点的位置、距离和接收节点对准所需的旋转角。相比于传统的集中式部署导致的安装及维护上的问题，分布式的水下节点部署方案节点可以独立采集数据并运行定位算法；引入了检测性能普遍优越，精度高，且检测速度快的深度学习神经网络用于接收节点的检测；曲线拟合和相似三角形结合的定位方法使得单目相机就能完成接收节点的测距和方位估计。
进一步地，所述利用深度学习神经网络对接收节点进行检测前，包括：
A1、改变接收节点的位姿和水下单目摄像头与接收节点间的距离，并利用水下单目摄像头采集接收节点上的灯带图像；
A2、利用CLAHE算法对采集的灯带图像进行增强处理，得到图像数据集；
A3、将图像数据集中的接收节点标注后训练YOLOX模型，并利用训练后的YOLOX模型对接收节点进行检测。
上述进一步方案的有益效果是：采集接收节点的图像数据集后，并为能提取清晰的目标特征对图像进行增强处理，然后利用深度学习神经网络YOLOX模型训练后能对目标接收节点进行检测。
再进一步地，所述步骤S2包括以下步骤：
S201、根据检测到的目标检测框内的图像，依次通过高斯滤波、阈值二值化以及腐蚀和膨胀处理，提取灯带图像；
S202、从左向右逐列遍历灯带图像像素点，其中，对于每列灯带图像像素点，分别从上下两个方向确定灯带边缘的位置，并计算得到该列灯带图像的像素中心点位置；
S203、利用曲线拟合方法，将灯带图像的像素中心点位置拟合为一条曲线，得到灯带曲线；
S204、分别从灯带图像的左右两端向中心逼近，确定灯带曲线两个端点的横坐标；
S205、将横坐标代入拟合的多项式中，计算得到灯带曲线两个端点的坐标位置；
S206、根据坐标位置，计算得到灯带曲线两个端点间的像素长度，其中，所述灯带曲线两个端点间的像素长度为接收节点的像素直径大小。
上述进一步方案的有益效果是：本发明通过深度学习图像检测模型对视域内的接收节点进行识别，并确定位置，通过图像预处理后将灯带拟合为一条曲线，计算节点的像素大小。
再进一步地，所述步骤S3包括以下步骤：
S301、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，计算得到接收节点P′与水下单目摄像头C的相对距离；
S302、计算得到水下单目摄像头的竖直旋转角以及水平旋转角/>
S303、根据接收节点与水下单目摄像头的相对距离以及竖直旋转角和水平旋转角，估计发射端与接收端的位置关系，完成水下节点定位。
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与节点之间的相对位置关系，从而完成发射节点与接收节点的对准。
再进一步地，所述接收节点P′与水下单目摄像头C的相对距离dCP′的表达式如下：
其中，w′表示接收节点的实际直径大小，f表示水下单目摄像头的焦距，w表示接收节点的像素直径大小，(uO,vO)表示图像中心位置O的像素坐标，(uP,vP)表示接收节点的像素坐标，(xP′,yP′,zP′)表示接收节点的实际坐标。
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与目标节点之间的距离。
再进一步地，竖直旋转角的表达式如下：
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与节点的对准所对应的竖直旋转角，为定位提供前提条件。
再进一步地，所述水平旋转角的表达式如下：
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与节点的对准所对应的水平旋转角，为定位提供前提条件。
附图说明
图1为本发明的定位装置结构示意图。
图2为本发明的流程图。
图3为本实施例中目标测距及定位系统结构图。
图4为本实施例中相机的成像原理图。
图5为本实施例中相机与成像平面及物体平面之间的立体关系图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1
如图1所示，本发明提供了一种基于深度学习图像检测的水下节点定位装置，包括安装在节点顶端上的水下单目摄像头、安装在节点中心横切面外围的蓝光LED灯带、安装在节点每个侧面中心的激光发射孔、安装在节点内部中心的单面镜片以及安装在单面镜片顶部的激光头；所述节点为十四面体类球立体结构；所述节点的上下底面以及中心横切面均为正六边形，所述节点同时具备发射和接收功能；所述水下单目摄像头，用于采集接收节点上的灯带图像；所述蓝光LED灯，用于提供特征以被发射端捕获；所述激光发射孔，用于使经单面镜片反射后的激光从激光发射孔中射向接收节点；所述单面镜片，用于反射激光；所述激光头，用于发射所需传输的激光信号。
本实施例中，如图1所示，图1(a)为节点的外部结构图，图1(b)为节点的内部结构图，本发明提供的水下节点定位装置包括安装在节点上的水下单目摄像头和蓝光LED灯带。本方案提出一种十四面体的类球状立体结构设计，即节点的上下底面为正六边形，且节点中心横切面也是正六边形，可以认为在节点的姿态旋转后，中心横切面六边形的外切圆直径大小不变。本发明的定位场景中节点之间通信方式为半双工，节点需要同时具备发射和接收的功能，因此每个节点都在顶端安装水下单目摄像头用于采集图像，在中心横切面外围安装LED灯带提供特征以被发射端捕获。此外，节点除去上下底面外共计12个侧面，每个侧面中心都有用于发射激光信号的激光发射孔。节点内部中央安装一单面镜片，该镜片可朝任意方向旋转，顶部安装激光头，发射所需传输的激光信号，激光束在镜片中心即节点的几何中心发生折射，从侧面的孔中射出。因此，该结构仅通过一个激光源即可朝任一侧面出射激光信号。
本实施例中，发射节点顶端安装的水下单目摄像头采集到接收节点上的LED灯带图像后，由深度学习神经网络实现对目标接收节点的检测和提取。通过曲线拟合方法提取灯带曲线，确定灯带的端点，从而确定节点的像素直径大小。根据相机的焦距、节点的实际直径大小与图像中节点的像素直径大小，通过基于相似三角形的定位方法来估计此时发射端与接收端之间的相对位置关系。获取定位结果后，发射节点在定位后发射激光信号通信，发射节点内部的激光头发射激光信号，同时镜片旋转结构调整单面镜片的位姿，使激光束在镜片中心即节点的几何中心发生折射，从侧面的激光发射孔中射出。
实施例2
传统的水下节点定位方案主要为集中式的部署方式，在安装、维护以及标定上存在一些困难。因此，在本发明提出的基于神经网络的分布式节点定位方案，节点的部署及定位过程更加灵活，每个节点都可以独立的运行定位算法，无需将信息传输至集中节点上再进行定位。同时，相较于传统的数字图像处理技术，深度学习神经网络模型的检测性能普遍更优越，不仅精度高，且检测速度较快，更易于硬件端的部署。通过在节点上以LED灯带增加图像特征，使用深度学习图像检测模型提取接收节点的位置，并通过改进的相似三角形法确定相机与节点之间的相对位置关系，从而完成发射节点与接收节点的对准。如图2-图3所示，本发明提供了一种基于深度学习图像检测的水下节点定位方法，其实现方法如下：
S1、利用发射节点搭载的水下单目摄像头拍摄包含接收节点的灯带图像，并利用深度学习神经网络对接收节点进行检测；利用深度学习神经网络对目标接收节点进行检测前，包括：
A1、改变接收节点的位姿和水下单目摄像头与接收节点间的距离，并利用水下单目摄像头采集接收节点上的灯带图像；
A2、利用CLAHE算法对采集的灯带图像进行增强处理，得到图像数据集；
A3、将图像数据集中的接收节点标注后训练YOLOX模型，并利用训练后的YOLOX模型对接收节点进行检测。
本实施例中，获取深度学习神经网络来进行图像检测前，需要改变接收节点的位姿和相机与接收节点间的距离，然后采集图像。将图像数据集中的接收节点标注后训练网络模型。由于水下图像由于光的吸收散射容易出现模糊现象，使相机视域内的图像无法提取清晰的目标特征，同时由于水下环境中蓝绿光衰减较小，因此水下图像更容易偏向蓝绿色，出现色彩的失真情况，因此在进行图像检测之前首先需要图像增强处理。本发明选择使用CLAHE算法进行水下图像的预处理，能在突出前景图像的同时，并不被过度优化背景。本发明基于图像的节点定位选择YOLOX模型完成图像中接收节点位置的检测，相较于其他目标检测网络，YOLOX对节点姿态的变换的适应能力更高，可以准确的识别到接收节点并对其进行精确检测。
S2、根据检测到的目标检测框内的图像，利用曲线拟合方法提取灯带曲线，确定灯带的端点，并根据灯带的端点确定接收节点的像素直径大小，其实现方法如下：
S201、根据检测到的目标检测框内的图像，依次通过高斯滤波、阈值二值化以及腐蚀和膨胀处理，提取灯带图像；
S202、从左向右逐列遍历灯带图像像素点，其中，对于每列灯带图像像素点，分别从上下两个方向确定灯带边缘的位置，并计算得到该列灯带图像的像素中心点位置；
S203、利用曲线拟合方法，将灯带图像的像素中心点位置拟合为一条曲线，得到灯带曲线；
S204、分别从灯带图像的左右两端向中心逼近，确定灯带曲线两个端点的横坐标；
S205、将横坐标代入拟合的多项式中，计算得到灯带曲线两个端点的坐标位置；
S206、根据坐标位置，计算得到灯带曲线两个端点间的像素长度，其中，所述灯带曲线两个端点间的像素长度为接收节点的像素直径大小。
本实施例中，提取灯带图像。由于灯带发光的特性，在图像中有着明显的亮度特征，因此可以通过高斯滤波、阈值二值化、腐蚀和膨胀将灯带与背景分割。高斯滤波主要用于平滑图像中的噪声，本发明采用了大小为3×3，系数σ＝0.8的高斯滤波器如下：
此时的图像为灰度图像，对其进行阈值二值化处理，通过遍历图像中所有像素的灰度值，大于阈值的部分像素变为255，即白色，其他部分变为0，即黑色，从而完成图像中灰色像素的划分。本发明的阈值设置为200，经过阈值二值化处理后的图像中的像素只有黑白两色。为使白色的灯带图像更加平滑和均匀，采用了腐蚀和膨胀来对图像进行进一步的处理。经过图像腐蚀和膨胀可以处理图像中的白色噪点，同时平滑灯带的边缘，让灯带粗细更为均匀，此时的图像可以提取曲线特征。
本实施例中，通过多项式拟合得到灯带曲线。由于此时的图像中灯带为白色，背景为黑色，因此从左向右逐列遍历图像像素点，对于每列像素，分别从上下两个方向确定灯带边缘的位置，并计算该列灯带的像素中心点位置。最后，通过多项式拟合，将图像中灯带的中心点拟合为一条曲线，其中每个中心点之间间隔的步长根据多项式拟合所需的点的数量决定。
本实施例中，根据灯带曲线计算节点大小。分别从图像的左右两端向中心逼近，确定灯带曲线的两个端点的横坐标，代入拟合的多项式中计算出两个端点的坐标位置，进而计算两个端点间的像素长度，即节点的像素直径大小，记为w。
S3、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，利用基于相似三角形的定位方法估计发射端与接收端的位置关系，完成水下节点定位，其实现方法如下：
S301、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，计算得到接收节点P′与水下单目摄像头C的相对距离；
S302、计算得到水下单目摄像头的竖直旋转角以及水平旋转角/>
S303、根据接收节点与水下单目摄像头的相对距离以及竖直旋转角和水平旋转角，估计发射端与接收端的位置关系，完成水下节点定位。
本实施例中，如图4-图5所示，其中，图4(a)为目标物像光线通过主光轴，图4(b)为目标物体不在相机主光轴。相似三角形的定位方法主要是通过目标的实际尺度与画面中的像素尺度确定像素坐标系与世界坐标系下尺度的转换关系，并通过相机焦距对目标的实际位置进行测量和估计。d为目标物体与相机之间的垂直距离，f为相机焦距，为相机的既有参数，w′表示节点实际的直径大小，即节点中央切面的外接圆直径，w是节点经小孔成像后在成像平面上的像素直径大小，根据相似三角形法可得：
因此相机与节点之间的垂直距离为：
其中，C为相机的位置，P是相机拍摄的图像中物体的像素坐标，即深度学习对目标进行识别的检测框中心，P′是物体实际位置的几何中心。物体与相机的实际位置通过以相机C为原点建立的坐标系来表示，且y轴表示相机主光轴的方向，f为焦距。同时，在成像平面中存在像素坐标系，其原点O位于图像的左上角，向右为u轴，向下为v轴，目标P的像素坐标记为(uP,vP)，图像中心位置O的像素坐标记为(uO,vO)，可得图像中目标与图像中心的像素长度，记为：
根据相似三角形可得OP实际长度O′P′，记为dO′P′，则：
记相机与目标P′之间的实际距离CP′为dCP′，可推算得节点与相机之间的相对距离：
同时，记目标P′的实际坐标为(xP′,yP′,zP′)，则：
本实施例中，为使相机所在的信息发送端完成与接收端的对准，又相机与发送端节点相对固定，可通过旋转相机的视角，当相机拍摄的图像中节点移动至图像的中心位置，即完成了节点的对准。记相机的竖直旋转角为水平旋转角为/>相机可以通过先在竖直方向上旋转/>然后在水平方向上向右旋转/>使节点的像素位置P移动至图像中心位置O处。作OF垂直PF于F,F′为F的实际位置，可得竖直旋转角：
记CF′长度为dCF′，可以计算得到：
可计算水平旋转角：
本发明提出了一种分布式的基于深度学习图像检测的水下节点定位方案，以及设计了一种十四面体的立体节点结构，通过节点上安装的LED灯带特征，可以用于深度学习模型的训练。同时提出了一种基于曲线拟合和相似三角形的定位算法来求解以相机为原点的坐标系中的节点的位置、距离和节点对准所需的旋转角。相比于传统的集中式部署导致的安装及维护上的问题，分布式的水下节点部署方案节点可以独立采集数据并运行定位算法；引入了检测性能普遍优越，精度高，且检测速度快的深度学习神经网络用于接收节点的检测；曲线拟合和相似三角形结合的定位方法使得单目相机就能完成接收节点的测距和方位估计。
Claims (8)
1.一种基于深度学习图像检测的水下节点定位装置，其特征在于，包括安装在节点顶端上的水下单目摄像头、安装在节点中心横切面外围的蓝光LED灯带、安装在节点每个侧面中心的激光发射孔、安装在节点内部中心的单面镜片以及安装在单面镜片顶部的激光头；所述节点为十四面体类球立体结构；所述节点的上下底面以及中心横切面均为正六边形，所述节点同时具备发射和接收功能；
所述水下单目摄像头，用于采集接收节点上的灯带图像；
所述蓝光LED灯，用于提供特征以被发射端捕获；
所述激光发射孔，用于使经单面镜片反射后的激光从激光发射孔中射向接收节点；
所述单面镜片，用于反射激光；
所述激光头，用于发射所需传输的激光信号。
2.一种应用于如权利要求1所述的基于深度学习图像检测的水下节点定位装置的水下节点定位方法，其特征在于，包括以下步骤：
S1、利用发射节点搭载的水下单目摄像头拍摄包含接收节点的灯带图像，并利用深度学习神经网络对接收节点进行检测；
S2、根据检测到的目标检测框内的图像，利用曲线拟合方法提取灯带曲线，确定灯带的端点，并根据灯带的端点确定接收节点的像素直径大小；
S3、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，利用基于相似三角形的定位方法估计发射端与接收端的位置关系，完成水下节点定位。
3.根据权利要求2所述的水下节点定位方法，其特征在于，所述利用深度学习神经网络对接收节点进行检测前，包括：
A1、改变接收节点的位姿和水下单目摄像头与接收节点间的距离，并利用水下单目摄像头采集接收节点上的灯带图像；
A2、利用CLAHE算法对采集的灯带图像进行增强处理，得到图像数据集；
A3、将图像数据集中的接收节点标注后训练YOLOX模型，并利用训练后的YOLOX模型对接收节点进行检测。
4.根据权利要求2所述的水下节点定位方法，其特征在于，所述步骤S2包括以下步骤：
S201、根据检测到的目标检测框内的图像，依次通过高斯滤波、阈值二值化以及腐蚀和膨胀处理，提取灯带图像；
S202、从左向右逐列遍历灯带图像像素点，其中，对于每列灯带图像像素点，分别从上下两个方向确定灯带边缘的位置，并计算得到该列灯带图像的像素中心点位置；
S203、利用曲线拟合方法，将灯带图像的像素中心点位置拟合为一条曲线，得到灯带曲线；
S204、分别从灯带图像的左右两端向中心逼近，确定灯带曲线两个端点的横坐标；
S205、将横坐标代入拟合的多项式中，计算得到灯带曲线两个端点的坐标位置；
S206、根据坐标位置，计算得到灯带曲线两个端点间的像素长度，其中，所述灯带曲线两个端点间的像素长度为接收节点的像素直径大小。
5.根据权利要求2所述的水下节点定位方法，其特征在于，所述步骤S3包括以下步骤：
S301、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，计算得到接收节点与水下单目摄像头/>的相对距离；
S302、计算得到水下单目摄像头的竖直旋转角以及水平旋转角/>；
S303、根据接收节点与水下单目摄像头的相对距离以及竖直旋转角和水平旋转角，估计发射端与接收端的位置关系，完成水下节点定位。
6.根据权利要求5所述的水下节点定位方法，其特征在于，所述接收节点与水下单目摄像头/>的相对距离/>的表达式如下：
；
；
其中，表示接收节点的实际直径大小，/>表示水下单目摄像头的焦距，/>表示接收节点的像素直径大小，/>表示图像中心位置/>的像素坐标，/>表示接收节点的像素坐标，/>表示接收节点的实际坐标。
7.根据权利要求6所述的水下节点定位方法，其特征在于，所述竖直旋转角的表达式如下：
。
8.根据权利要求7所述的水下节点定位方法，其特征在于，所述水平旋转角的表达式如下：
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210651833.9A CN114998714B (zh) | 2022-06-09 | 2022-06-09 | 一种基于深度学习图像检测的水下节点定位装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210651833.9A CN114998714B (zh) | 2022-06-09 | 2022-06-09 | 一种基于深度学习图像检测的水下节点定位装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114998714A CN114998714A (zh) | 2022-09-02 |
| CN114998714B true CN114998714B (zh) | 2024-05-10 |
Family
ID=83033157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210651833.9A Active CN114998714B (zh) | 2022-06-09 | 2022-06-09 | 一种基于深度学习图像检测的水下节点定位装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998714B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109709508A (zh) * | 2019-01-17 | 2019-05-03 | 电子科技大学 | 一种基于传感器节点的光学aoa定位方法 |
| CN110365420A (zh) * | 2019-05-28 | 2019-10-22 | 浙江大学 | 一种结合声速反演的水声传感网络节点定位误差修正方法 |
| CN111862048A (zh) * | 2020-07-22 | 2020-10-30 | 浙大城市学院 | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 |
| CN111915678A (zh) * | 2020-07-17 | 2020-11-10 | 哈尔滨工程大学 | 一种基于深度学习的水下单目视觉目标深度定位融合估计方法 |
| CN111982117A (zh) * | 2020-08-17 | 2020-11-24 | 电子科技大学 | 一种基于深度学习的auv光学引导与测向方法 |
| CN113313116A (zh) * | 2021-06-20 | 2021-08-27 | 西北工业大学 | 一种基于视觉的水下人工目标准确检测与定位方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190043573A (ko) * | 2016-09-09 | 2019-04-26 | 가부시키가이샤 네지로 | 센서 구조, 센서 구조 부착 부재, 센서 구조의 패터닝 방법 |
| US20200132463A1 (en) * | 2018-05-18 | 2020-04-30 | Tesseron Ltd | Virtual reality sports mask with precision three-dimension underwater navigation |
-
2022
- 2022-06-09 CN CN202210651833.9A patent/CN114998714B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109709508A (zh) * | 2019-01-17 | 2019-05-03 | 电子科技大学 | 一种基于传感器节点的光学aoa定位方法 |
| CN110365420A (zh) * | 2019-05-28 | 2019-10-22 | 浙江大学 | 一种结合声速反演的水声传感网络节点定位误差修正方法 |
| CN111915678A (zh) * | 2020-07-17 | 2020-11-10 | 哈尔滨工程大学 | 一种基于深度学习的水下单目视觉目标深度定位融合估计方法 |
| CN111862048A (zh) * | 2020-07-22 | 2020-10-30 | 浙大城市学院 | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 |
| CN111982117A (zh) * | 2020-08-17 | 2020-11-24 | 电子科技大学 | 一种基于深度学习的auv光学引导与测向方法 |
| CN113313116A (zh) * | 2021-06-20 | 2021-08-27 | 西北工业大学 | 一种基于视觉的水下人工目标准确检测与定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| Deep learning aided OFDM receiver for underwater acoustic communications;Yonglin Zhang等;《Applied Acoustics》;20220201;全文 * |
| 基于功率控制的水下声学传感器网络部署;钟德欢;曾斌;姚路;;火力与指挥控制;20110915(09);全文 * |
| 基于神经网络的水下节点光学定位方法研究;庞琬佳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114998714A (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978851B (zh) | 一种红外视频空中弱小运动目标检测跟踪方法 | |
| CN107421506B (zh) | 一种基于室内可见光通信的视觉追踪定位系统和方法 | |
| CN103971406B (zh) | 基于线结构光的水下目标三维重建方法 | |
| CN108444447A (zh) | 一种用于水下避障系统中的渔网实时自主检测方法 | |
| CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN108288289B (zh) | 一种用于可见光定位的led视觉检测方法及其系统 | |
| CN109188430B (zh) | 一种基于地面监视雷达系统的目标提取方法 | |
| CN105225229A (zh) | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 | |
| CN110728668B (zh) | 一种小目标形态保持的空域高通滤波器 | |
| CN115330757B (zh) | 一种电路板焊点缺陷检测方法及系统 | |
| CN111856490B (zh) | 一种非视域目标探测时中介面回波的抑制方法 | |
| CN109284663A (zh) | 一种基于正态和均匀混合分布模型的海面障碍物检测方法 | |
| CN113344953A (zh) | 一种基于无人机的机器视觉涌潮流速测量方法 | |
| CN116027349A (zh) | 基于激光雷达和侧扫声呐数据融合的珊瑚礁底质分类方法 | |
| CN111709964A (zh) | 一种pcba目标边缘检测方法 | |
| CN114998714B (zh) | 一种基于深度学习图像检测的水下节点定位装置及方法 | |
| CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
| CN108983194A (zh) | 一种基于地面监视雷达系统的目标提取及凝聚方法 | |
| CN111105390B (zh) | 一种改进的海天线检测和评估方法 | |
| Kerstens et al. | 3D point cloud data acquisition using a synchronized in-air imaging sonar sensor network | |
| CN112325790B (zh) | 一种激光挠度测量中激光光斑检测方法 | |
| CN114332682B (zh) | 一种海上全景去雾目标识别方法 | |
| CN111209877B (zh) | 一种复杂场景下基于深度图的红外小目标检测方法 | |
| CN106296603B (zh) | 一种水下声纳图像的小目标检测方法 | |
| CN108898080A (zh) | 一种基于山脊线邻域评价模型的裂缝连接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |