CN118115579A - 与双层多光源接驳装置水下对接的单目末端视觉导引方法 - Google Patents
与双层多光源接驳装置水下对接的单目末端视觉导引方法 Download PDFInfo
- Publication number
- CN118115579A CN118115579A CN202311639387.0A CN202311639387A CN118115579A CN 118115579 A CN118115579 A CN 118115579A CN 202311639387 A CN202311639387 A CN 202311639387A CN 118115579 A CN118115579 A CN 118115579A
- Authority
- CN
- China
- Prior art keywords
- lamp array
- layer lamp
- color light
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003032 molecular docking Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000013459 approach Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000011084 recovery Methods 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000002035 prolonged effect Effects 0.000 abstract description 2
- 238000003491 array Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种与双层多光源接驳装置水下对接的单目末端视觉导引方法，属于UUV回收引导技术领域。本方案使用两层灯阵，一层布置在接驳装置喇叭口外沿，一层布置在接驳装置喇叭口内沿。在UUV距离接驳装置较远时，通过外层灯阵计算出位姿，实现回收粗对准；在UUV持续接近接驳装置的过程中，可见光相机载荷可以利用在HSV空间色彩分割的方法区分出内层、外层灯阵，通过较为简单的方法计算出内层、外层灯阵在可见光相机传感器所成的像的几何中心，并通过内层、外层灯阵求得UUV与接驳装置的位姿。该方法与PnP方法相比计算量更小，在相同性能的平台上计算间隔可以更密集，使得UUV调整姿态的频率更高；延长了UUV调整姿态的工作窗口时间，提高了回收成功率。
Description
技术领域
本发明涉及UUV回收引导技术技术领域，具体涉及一种与双层多光源接驳装置水下对接的单目末端视觉导引方法。
背景技术
UUV(Unmanned Underwater Vehicle)无人水下航行器作为一种新型水下无人装备，在水下搜救、水下探测侦查、海洋开发等军民两用领域展现出广阔的使用前景。目前，UUV的活动范围、使用载荷的能力受限于自身携带的能源。而对其能源的补给较为困难，通常需要上浮完成能源补给及数据上传等任务。随着水下无线充电、燃料电池等技术的发展，使UUV自主进入水下接驳装置，在不浮出水面的情况下完成能源补给的需求日渐突出。
在此背景下，基于水声引导定位的方法最先被研究。水声引导定位设备相对更为成熟，且有效距离远远大于视觉引导方法。但在UUV与接驳装置间隔较近距离时，水声引导定位的精度急剧下降。而视觉引导方法具有较高的精度，但受限于水体对光的吸收、散射等裂化因素，有效距离较近。水声引导定位方法与视觉引导方法可形成互补，因此本发明定位于UUV与接驳装置水下对接的末端视觉导引过程。
对于视觉引导回收方法，单目单灯的设计最为简单，如发明专利《AUV与接驳站水下对接的末端视觉导引方法》(CN 108362296 A)，但单灯的视觉引导方式难以判断UUV与接驳装置的位姿差异，例如在UUV接近接驳装置角度过大时，容易回收失败。且单灯在水下受到杂散光及散射的影响较大，容易丢失单灯的位置，也会引起回收失败。在随后的研究中，出现了单目多灯的视觉引导方式，如发明专利《水下无人航行器回收系统及回收方法》(CN112013773 A)，其灯组利用特定规则间断发射光信号，用以区分各灯ID，进而判断UUV与接驳装置间的位姿。该方法在水下存在湍流及水体透明度不高的情况下，容易丢失信息，不能判断各灯ID及位姿信息。在单目多灯的视觉引导方法中也有基于PnP(Perspective-n-Point)方法，通过共面特征光源位姿估计方法计算AUV位置和姿态的视觉引导方法，如发明专利《一种基于水下光源视觉导引的AUV位姿估计方法》(CN 115797450 A)。该方法能够获得较为准确的位姿信息，但其利用PnP方法，配合使用的接驳装置处所设置的六个光源的信息缺一不可，且计算量较大，对于UUV所搭载的计算平台，处理速度可能低于UUV控制系统在回收末端的控制频率。且该方法需要对使用相机进行标定，配合使用的镜头为非远心的定焦镜头，在不同物距时放大倍率不同，存在远近距离对视场需求的冲突。为在远距离处能够分辨接驳装置的光源阵列，视场较小，则在距离接驳装置较近处光源阵列过早的超出视场范围。反之，视场较大的情况下，虽然在距离接驳装置较近的位置也可使视场覆盖光源阵列，但在远距离处光源阵列的像过小，不益通过光源阵列获取位姿信息。
发明内容
本发明提供了一种与双层多光源接驳装置水下对接的单目末端视觉导引方法，为了解决现有技术中UUV回收时间长、精度低的问题。
为了解决上述技术问题，本发明采用如下技术方案：
本发明提供了一种与双层多光源接驳装置水下对接的单目末端视觉导引方法，包括：
步骤一：
对可见光相机在水下完成标定并且校正可见光相机镜头畸变，并获取以下数据：第一放大倍率M1、光相机传感器像元大小S_p、外层灯阵与内层灯阵之间的垂直距离H、可见光相机镜头说明书中的第二放大倍率M与物距关系表和内层灯阵各光源之间的物理间距L1；
步骤二：
通过声学引导UUV接近接驳装置，建立初始航迹，实现UUV与接驳装置的粗对准，直至在由UUV的可见光相机获取的图像中出现的包含Ny个第一颜色光源的外层灯阵；
步骤三：
3.1.从可见光相机获取第一图像；
3.2.在HSV空间中处理第一图像，以得到外层灯阵的Ny个第一颜色光源的像素坐标和外层灯阵的几何中心像素坐标；
3.3.根据外层灯阵的Ny个第一颜色光源的像素坐标与外层灯阵的几何中心像素坐标的位置关系判断UUV与接驳装置的位姿关系；
3.4.根据UUV与接驳装置的位姿关系调整UUV的姿态；
3.5.重复步骤3.1至3.4，直至在由可见光相机获取的第一图像中同时出现包含Ny个第一颜色光源的外层灯阵和包含Nn个第二颜色光源的内层灯阵；
步骤四：
4.1.从可见光相机获取第二图像；
4.2.在HSV空间中处理第二图像，以得到图像中心像素坐标、外层灯阵的Ny个第一颜色光源的像素坐标、外层灯阵的几何中心像素坐标、内层灯阵的Nn个第二颜色光源的像素坐标、内层灯阵的几何中心像素坐标、外层灯阵的几何中心像素坐标相对内层灯阵的几何中心像素坐标的旋转角度θ和偏航角ρ；
4.3.根据偏航角ρ和旋转角度θ计算UUV与接驳装置的位姿关系；
4.4.根据UUV与接驳装置的位姿关系调整UUV的姿态；
4.5.重复步骤4.1至4.4，直至在从可见光相机获取第二图像中仅出现包含Ny个第二颜色光源的内层灯阵；
步骤五：
5.1.从可见光相机获取第三图像；
5.2.在HSV空间中处理第三图像，以得到内层灯阵的Nn个第二颜色光源的像素坐标、内层灯阵的几何中心像素坐标和第二放大倍率M；
5.3.根据内层灯阵的Nn个第二颜色光源的像素坐标与内层灯阵的几何中心像素坐标的位置关系判断UUV与接驳装置的位姿关系；并根据可见光相机镜头说明书中的第二放大倍率M与物距关系表获得UUV与接驳装置之间的距离；
5.4.根据UUV与接驳装置的位姿关系调整UUV的姿态；
5.5.重复步骤5.1至5.4，直至UUV与接驳装置之间的距离为零；
5.6.制动并锁止UUV。
在此基础上，本发明还可以作如下改进：步骤3.2具体包括：
3.2.1.对第一图像在HSV空间进行色彩分割，以获得HSV空间的第一直方图；
3.2.2.根据第一直方图的分布并且根据第一色彩分割策略在H通道中过选取第一颜色部分中直方图集中的区域，以获得包括第一颜色光源的外层灯阵及噪声的图像；
3.2.3.针对包括第一颜色光源的外层灯阵及噪声的图像，根据第一色彩分割策略在V通道中保第一直方图中留含有第一颜色光源的外层灯阵和少量噪声的高亮度区域，从而筛选出包括第一颜色光源的外层灯阵及少量噪声的图像；
3.2.4.对包括第一颜色光源的外层灯阵及少量噪声的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，以获得外层灯阵的黑白图像；
3.2.5.对外层灯阵的黑白图像进行亚像素质心提取，以获得第一颜色光源的数量Ny’和Ny’个第一颜色光源的像素坐标(x_en’，y_en’)，其中，n’＝0，1，…，Ny’，并且其中，Ny’≤Ny；
3.2.6.检查第一颜色光源数量Ny’，如果Ny’＜Ny，则调整第一色彩分割策略并重复执行3.2.1至3.2.5直到Ny’＝Ny；如果Ny’＝Ny，则根据Ny个第一颜色光源的像素坐标(x_en，y_en)计算外层灯阵的几何中心像素坐标(x_e，y_e)；其中，n＝0，1，…，Ny；
3.2.7输出Ny个第一颜色光源的像素坐标(x_en，y_en)和外层灯阵的几何中心像素坐标(x_e，y_e)。
在此基础上，本发明还可以作如下改进：步骤4.2具体包括：
4.2.1.对第二图像在HSV空间进行色彩分割，以获得HSV空间的第二直方图；
4.2.2.根据第二直方图的分布并且根据第二色彩分割策略在H通道中过选取第一颜色部分中直方图集中的区域和第二颜色部分中直方图集中的区域，以获得包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及噪声的图像；
4.2.3.针对包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及噪声的图像，根据第二色彩分割策略在V通道中保第二直方图中留含有第一颜色光源的外层灯阵、第二颜色的内层灯阵和少量噪声的高亮度区域，从而筛选出包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及少量噪声的图像；
4.2.4.对包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及少量噪声的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，以获得外层灯阵和内层灯阵的黑白图像；
4.2.5.对外层灯阵的黑白图像进行亚像素质心提取，以获得第一颜色光源的数量Ny’和Ny’个第一颜色光源的像素坐标(x_en’，y_en’)，其中，n’＝0，1，…，Ny’，并且其中，Ny’≤Ny；对内层灯阵的黑白图像进行亚像素质心提取，以获得第二颜色光源的数量Nn’和Nn’个第一颜色光源的像素坐标(x_im’n，y_im’)，其中，m’＝0，1，…，Nn’，并且其中，Nn’≤Nn；
4.2.6.检查第一颜色光源数量Ny’和第二颜色光源数量Nn’，如果Ny’＜Ny或Nn’＜Nn，则调整第二色彩分割策略并重复执行4.2.1至4.2.5直到Ny’＝Ny且Nn’＝Nn；如果Ny’＝Ny且Nn’＝Nn，则根据Ny个第一颜色光源的像素坐标(x_en，y_en)计算外层灯阵的几何中心像素坐标(x_e，y_e)，其中，n＝0，1，…，Ny；根据Nn个第二颜色光源的像素坐标(x_im，y_im)计算内层灯阵的几何中心像素坐标(x_i，y_i)，其中，m＝0，1，…，Nn；
4.2.7.根据外层灯阵的几何中心像素坐标(x_e，y_e)和内层灯阵的几何中心像素坐标(x_i，y_i)计算旋转角度θ；根据外层灯阵的几何中心像素坐标(x_e，y_e)、内层灯阵的几何中心像素坐标(x_i，y_i)、可见光相机传感器像元大小S_p、外层灯阵与内层灯阵之间的垂直距离H以及第一放大倍率M1计算偏航角ρ；
4.2.8.输出图像中心像素坐标、外层灯阵的Ny个第一颜色光源的像素坐标、外层灯阵的几何中心像素坐标、内层灯阵的Nn个第二颜色光源的像素坐标、内层灯阵的几何中心像素坐标、外层灯阵的几何中心像素坐标相对内层灯阵的几何中心像素坐标的旋转角度θ和偏航角ρ。
在此基础上，本发明还可以作如下改进：步骤5.2具体包括：
5.2.1.对第三图像在HSV空间进行色彩分割，以获得HSV空间的第三直方图；
5.2.2.根据第三直方图的分布并且根据第三色彩分割策略在H通道中过选取第二颜色部分中直方图集中的区域，以获得包括第二颜色光源的内层灯阵及噪声的图像；
5.2.3.针对包括第二颜色光源的内层灯阵及噪声的图像，根据第三色彩分割策略在V通道中保第三直方图中留含有第二颜色光源的内层灯阵和少量噪声的高亮度区域，从而筛选出包括第二颜色光源的内层灯阵及少量噪声的图像；
5.2.4.对包括第二颜色光源的内层灯阵及少量噪声的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，以获得内层灯阵的黑白图像；
5.2.5.对内层灯阵的黑白图像进行亚像素质心提取，以获得第二颜色光源的数量Nn’和Nn’个第二颜色光源的像素坐标(x_em’，y_em’)，其中，m’＝0，1，…，Nn’，并且其中，Nn’≤Nn；
5.2.6.检查第二颜色光源数量Nn’，如果Nn’＜Nn，则调整第二色彩分割策略并重复执行5.2.1至5.2.5直到Nn’＝Nn；如果Nn’＝Nn，则根据Nn个第二颜色光源的像素坐标(x_im，y_im)计算内层灯阵的几何中心像素坐标(x_i，y_i)，其中，m＝0，1，…，Nn；
5.2.7.根据Nn个第二颜色光源的像素坐标(x_im，y_im)、光相机传感器像元大小S_p和内层灯阵各光源之间的物理间距L1计算第二放大倍率M；
5.2.8.输出Nn个第二颜色光源的像素坐标(x_im，y_im)、内层灯阵的几何中心像素坐标(x_i，y_i)和第二放大倍率M。
在此基础上，本发明还可以作如下改进：第一颜色为绿色，第二颜色为蓝色。
在此基础上，本发明还可以作如下改进：Ny＝4，且Nn＝4。
在此基础上，本发明还可以作如下改进：将外层灯阵沿周向均匀布置，且将内层灯阵沿周向布置。
在此基础上，本发明还可以作如下改进：将外层灯阵布置为十字形灯阵。
在此基础上，本发明还可以作如下改进：将外层灯阵布置为口字形灯阵。
本发明提供的有益效果是：本方案使用两层灯阵，一层布置在接驳装置喇叭口外沿，一层布置在接驳装置喇叭口内沿。在UUV距离接驳装置较远时，UUV可见光相机载荷可通过外层灯阵计算出位姿，实现回收粗对准；在UUV持续接近接驳装置的过程中，可见光相机载荷可以利用在HSV空间色彩分割的方法区分出内层、外层灯阵，通过较为简单的方法计算出内层、外层灯阵在可见光相机传感器所成的像的几何中心，并通过内层、外层灯阵求得UUV与接驳装置的位姿。该方法与PnP(Perspective-n-Point)方法相比计算量更小，在相同性能的平台上计算间隔可以更密集，使得UUV调整姿态的频率更高；在外层灯阵超出可见光相机视场后，还可以利用内层灯阵继续引导UUV的自主入坞作业，延长了UUV调整姿态的工作窗口时间，提高了回收成功率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明实施例的灯阵各点在像素坐标系上表示的示意图。
图2a为本发明实施例一的灯阵布置示意图。
图2b为本发明实施例二的灯阵布置示意图。
图3为本发明实施例中的坐标系各点、轴、角、面的示意图。
图4为本发明实施例的方法的流程示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，为本发明实施例的灯阵各点在像素坐标系上表示的示意图。最外层矩形为可见光相机传感器有效成像范围，其几何中心在像素坐标系上由空心圆形(xo，yo)表示；外圈虚线为接驳装置喇叭口的外层，实心圆形为外层灯阵各光源，在像素坐标系上由(xe1，ye1)、(xe2，ye2)、(xe3，ye3)、(xe4，ye4)标识，其几何中心由空心圆形(xi，yi)(xe，ye)表示；内圈虚线为接驳装置喇叭口的内层，实心圆形为内层灯阵各光源，在像素坐标系上由(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)标识，其几何中心由空心圆形(xi，yi)表示。
如图3所示，为本发明实施例中的坐标系各点、轴、角、面的示意图。图中平面I为内层、外层灯阵几何中心的连线与内层灯阵的几何中心在平行于可见光相机传感器平面的投影点所确定的平面，平面II为平行于可见光相机传感器平面。点为E为外层灯阵的几何中心，点I为内层灯阵的几何中心，点I′为内层灯阵的几何中心在平行于可见光相机传感器平面的投影点。α轴为UUV前进方向，β轴为内层、外层灯阵几何中心的连线，γ轴为通过外层灯阵的几何中心的水平方向连线。偏航角ρ为α轴与β轴的夹角，旋转角度θ为β轴与γ轴的夹角。
如图4所示，为本发明实施例的方法的流程示意图。
实施例一：
如图2a所示，为本发明实施例一的灯阵布置示意图。
1.对可见光相机在水下完成标定并且校正可见光相机镜头畸变，并获取以下数据：第一放大倍率M1、光相机传感器像元大小S_p、外层灯阵与内层灯阵之间的垂直距离H、可见光相机镜头说明书中的第二放大倍率M与物距关系表和内层灯阵各光源之间的物理间距L1；
2.由声学引导接近接驳装置，建立初始航迹，实现与接驳装置的粗对准，直至可见光相机发现位于接驳装置喇叭口外沿的第一颜色十字形外层灯阵。
3.从可见光相机获取图像，并对获取的图像在HSV(Hue，Saturation，Value)空间进行色彩分割。首先获得HSV空间的直方图，选取H通道中第一颜色部分中直方图集中的区域，获得包括第一颜色十字形外层灯阵的图像。随后在V通道中过滤掉直方图集中的区域，保留亮度较高的区域，从而筛选出第一颜色灯阵及少数散射噪声。对获得的筛选出第一颜色灯阵及少数散射噪声进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，获得十字形外层灯阵的黑白图像。对外层十字形灯阵黑白图像进行亚像素质心提取，获得外层灯阵各灯的像素坐标。检查外层十字形灯阵的光源数量，若数量不正确则调整HSV色彩分割的参数，若数量正确则计算外层十字形灯阵的几何中心像素坐标。由外层灯阵各光源像素坐标(xe1，ye1)、(xe2，ye2)、(xe3，ye3)、(xe4，ye4)与几何中心像素坐标(xe，ye)的位置关系判断UUV与接驳装置的位姿关系。此步骤直至在可见光相机图像中发现内层灯阵的第二颜色光源，至此完成光学粗引导。
4.对可见光相机获取的图像在HSV空间进行色彩分割。首先计算HSV空间的直方图，根据直方图的分布，分别选取H通道中包含第一颜色十字形外层灯阵与包含第二颜色口字形内层灯阵的图像。随后在V通道中过滤掉直方图集中的区域，保留亮度较高的区域，从而筛选出包含第一颜色十字形外层灯阵与第二颜色口字形内层灯阵及少数散射噪声。分别对获得的两层灯阵图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，获得两层灯阵的黑白图像。对两层灯阵黑白图像进行亚像素质心提取，获得两层灯阵各灯的像素坐标。检查两层灯阵的光源数量，若数量不正确则调整该灯阵颜色的HSV色彩分割的参数，若数量正确则计算两层灯阵的几何中心像素坐标。由两层灯阵在接驳装置上设置的垂直距离H、两层灯阵的几何中心像素坐标(xi，yi)(xe，ye)的欧式距离、外层灯阵的几何中心(xe，ye)与图像中心像素坐标(xo，yo)的欧式距离、外层灯阵的几何中心像素坐标(xe，ye)相对内层灯阵的几何中心像素坐标(xi，yi)的旋转角度θ、可见光相机传感器像元大小Sp以及可见光相机镜头当前距离放大倍率M1(第一放大倍率)可计算出位姿关系。
该方法得出偏航角ρ与旋转角度θ计算公式如下：
直至在HSV空间进行色彩分割，第一颜色十字形外层灯阵图像超出可见光相机视场，有效的灯阵图像只剩下第二颜色口字型内层灯阵，进入下一步骤。
5.在外第一颜色十字形外层灯阵超出可见光相机视场后，HSV空间只选取H通道中包含第二颜色口字型内层灯阵的图像。随后在V通道中过滤掉直方图集中的区域，保留亮度较高的区域，从而筛选出第二颜色内层灯阵及少数散射噪声。对获得的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，获得内层灯阵的黑白图像。对内层灯阵黑白图像进行亚像素质心提取，获得内层灯阵各灯的像素坐标。检查内层灯阵的光源数量，若数量不正确则调整HSV色彩分割的参数，若数量正确则计算外层灯阵的几何中心像素坐标。由内层灯阵各光源像素坐标(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)与几何中心像素坐标(xi，yi)的位置关系判断UUV与接驳装置的位姿关系，进行最后的接驳姿态调整。同时根据内层灯阵各光源物理间距Li以及像素坐标(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)中两点的欧式距离以及可见光相机传感器像元大小Sp，可计算出可见光相机镜头当前距离放大倍率M(第二放大倍率)。
依据可见光相机镜头说明书中的放大倍率M(第二放大倍率)与物距关系表，可以得到UUV头部至接驳装置内层灯阵的空间距离，准备制动锁止。
实施例二：
如图2b所示，为本发明实施例二的灯阵布置示意图。
1.对可见光相机在水下完成标定并且校正可见光相机镜头畸变，并获取以下数据：第一放大倍率M1、光相机传感器像元大小S_p、外层灯阵与内层灯阵之间的垂直距离H、可见光相机镜头说明书中的第二放大倍率M与物距关系表和内层灯阵各光源之间的物理间距L1；
2.由声学引导接近接驳装置，建立初始航迹，实现与接驳装置的粗对准，直至可见光相机发现位于接驳装置喇叭口外沿的第一颜色口字形外层灯阵。
3.从可见光相机获取图像，并对获取的图像在HSV(Hue，Saturation，Value)空间进行色彩分割。首先获得HSV空间的直方图，选取H通道中第一颜色部分中直方图集中的区域，获得包括第一颜色口字形外层灯阵的图像。随后在V通道中过滤掉直方图集中的区域，保留亮度较高的区域，从而筛选出第一颜色灯阵及少数散射噪声。对获得的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，获得口字形外层灯阵的黑白图像。对外层口字形灯阵黑白图像进行亚像素质心提取，获得外层灯阵各灯的像素坐标。检查外层口字形灯阵的光源数量，若数量不正确则调整HSV色彩分割的参数，若数量正确则计算外层口字形灯阵的几何中心像素坐标。由外层灯阵各光源像素坐标(xe1，ye1)、(xe2，ye2)、(xe3，ye3)、(xe4，ye4)与几何中心像素坐标(xe，ye)的位置关系判断UUV与接驳装置的位姿关系。此步骤直至在可见光相机图像中发现内层灯阵的第二颜色光源，至此完成光学粗引导。
4.对可见光相机获取的图像在HSV空间进行色彩分割。首先计算HSV空间的直方图，根据直方图的分布，分别选取H通道中包含第一颜色口字形外层灯阵与包含第二颜色十字形内层灯阵的图像。随后在V通道中过滤掉直方图集中的区域，保留亮度较高的区域，从而筛选出包含第一颜色口字形外层灯阵与第二颜色十字形内层灯阵及少数散射噪声。分别对获得的两层灯阵图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，获得两层灯阵的黑白图像。对两层灯阵黑白图像进行亚像素质心提取，获得两层灯阵各灯的像素坐标。检查两层灯阵的光源数量，若数量不正确则调整该灯阵颜色的HSV色彩分割的参数，若数量正确则计算两层灯阵的几何中心像素坐标。由两层灯阵在接驳装置上设置的垂直距离H、两层灯阵的几何中心像素坐标(xi，yi)(xe，ye)的欧式距离、外层灯阵的几何中心(xe，ye)与图像中心像素坐标(xo，yo)的欧式距离、外层灯阵的几何中心像素坐标(xe，ye)相对内层灯阵的几何中心像素坐标(xi，yi)的旋转角度θ、可见光相机传感器像元大小Sp以及可见光相机镜头当前距离放大倍率M1(第一放大倍率)可计算出位姿关系。
该方法得出偏航角ρ与旋转角度θ计算公式如下：
直至在HSV空间进行色彩分割，第一颜色口字形外层灯阵图像超出可见光相机视场，有效的灯阵图像只剩下第二颜色十字型内层灯阵，进入下一步骤。
5.在外第一颜色口字形外层灯阵超出可见光相机视场后，HSV空间只选取H通道中包含第二颜色十字型内层灯阵的图像。随后在V通道中过滤掉直方图集中的区域，保留亮度较高的区域，从而筛选出第二颜色内层灯阵及少数散射噪声。对获得的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，获得内层灯阵的黑白图像。对内层灯阵黑白图像进行亚像素质心提取，获得内层灯阵各灯的像素坐标。检查内层灯阵的光源数量，若数量不正确则调整HSV色彩分割的参数，若数量正确则计算外层灯阵的几何中心像素坐标。由内层灯阵各光源像素坐标(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)与几何中心像素坐标(xi，yi)的位置关系判断UUV与接驳装置的位姿关系，进行最后的接驳姿态调整。同时根据内层灯阵各光源物理间距Li以及像素坐标(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)中两点的欧式距离以及可见光相机传感器像元大小Sp，可计算出可见光相机镜头当前距离放大倍率(第二放大倍率)M。
依据可见光相机镜头说明书中的放大倍率M(第二放大倍率)与物距关系表，可以得到UUV头部至接驳装置内层灯阵的空间距离，准备制动锁止。
可选地，在一些可能的实施方式中，可以包括如上各实施方式的全部或部分。
应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式相结合。此外，在不互相矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的部分特征进行结合和组合。
当然，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明的权利要求的保护范围。
Claims (9)
1.一种与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，包括：
步骤一：
对可见光相机在水下完成标定并且校正可见光相机镜头畸变，并获取以下数据：第一放大倍率M1、光相机传感器像元大小S_p、外层灯阵与内层灯阵之间的垂直距离H、可见光相机镜头说明书中的第二放大倍率M与物距关系表和内层灯阵各光源之间的物理间距L1；
步骤二：
通过声学引导UUV接近接驳装置，建立初始航迹，实现UUV与接驳装置的粗对准，直至在由UUV的可见光相机获取的图像中出现的包含Ny个第一颜色光源的外层灯阵；
步骤三：
3.1.从可见光相机获取第一图像；
3.2.在HSV空间中处理第一图像，以得到外层灯阵的Ny个第一颜色光源的像素坐标和外层灯阵的几何中心像素坐标；
3.3.根据外层灯阵的Ny个第一颜色光源的像素坐标与外层灯阵的几何中心像素坐标的位置关系判断UUV与接驳装置的位姿关系；
3.4.根据UUV与接驳装置的位姿关系调整UUV的姿态；
3.5.重复步骤3.1至3.4，直至在由可见光相机获取的第一图像中同时出现包含Ny个第一颜色光源的外层灯阵和包含Nn个第二颜色光源的内层灯阵；
步骤四：
4.1.从可见光相机获取第二图像；
4.2.在HSV空间中处理第二图像，以得到图像中心像素坐标、外层灯阵的Ny个第一颜色光源的像素坐标、外层灯阵的几何中心像素坐标、内层灯阵的Nn个第二颜色光源的像素坐标、内层灯阵的几何中心像素坐标、外层灯阵的几何中心像素坐标相对内层灯阵的几何中心像素坐标的旋转角度θ和偏航角ρ；
4.3.根据偏航角ρ和旋转角度θ计算UUV与接驳装置的位姿关系；
4.4.根据UUV与接驳装置的位姿关系调整UUV的姿态；
4.5.重复步骤4.1至4.4，直至在从可见光相机获取第二图像中仅出现包含Ny个第二颜色光源的内层灯阵；
步骤五：
5.1.从可见光相机获取第三图像；
5.2.在HSV空间中处理第三图像，以得到内层灯阵的Nn个第二颜色光源的像素坐标、内层灯阵的几何中心像素坐标和第二放大倍率M；
5.3.根据内层灯阵的Nn个第二颜色光源的像素坐标与内层灯阵的几何中心像素坐标的位置关系判断UUV与接驳装置的位姿关系；并根据可见光相机镜头说明书中的第二放大倍率M与物距关系表获得UUV与接驳装置之间的距离；
5.4.根据UUV与接驳装置的位姿关系调整UUV的姿态；
5.5.重复步骤5.1至5.4，直至UUV与接驳装置之间的距离为零；
5.6.制动并锁止UUV。
2.根据权利要求1所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，步骤3.2具体包括：
3.2.1.对第一图像在HSV空间进行色彩分割，以获得HSV空间的第一直方图；
3.2.2.根据第一直方图的分布并且根据第一色彩分割策略在H通道中过选取第一颜色部分中直方图集中的区域，以获得包括第一颜色光源的外层灯阵及噪声的图像；
3.2.3.针对包括第一颜色光源的外层灯阵及噪声的图像，根据第一色彩分割策略在V通道中保第一直方图中留含有第一颜色光源的外层灯阵和少量噪声的高亮度区域，从而筛选出包括第一颜色光源的外层灯阵及少量噪声的图像；
3.2.4.对包括第一颜色光源的外层灯阵及少量噪声的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，以获得外层灯阵的黑白图像；
3.2.5.对外层灯阵的黑白图像进行亚像素质心提取，以获得第一颜色光源的数量Ny’和Ny’个第一颜色光源的像素坐标(x_en’，y_en’)，其中，n’＝0，1，…，Ny’，并且其中，Ny’≤Ny；
3.2.6.检查第一颜色光源数量Ny’，如果Ny’＜Ny，则调整第一色彩分割策略并重复执行3.2.1至3.2.5直到Ny’＝Ny；如果Ny’＝Ny，则根据Ny个第一颜色光源的像素坐标(x_en，y_en)计算外层灯阵的几何中心像素坐标(x_e，y_e)；其中，n＝0，1，…，Ny；
3.2.7输出Ny个第一颜色光源的像素坐标(x_en，y_en)和外层灯阵的几何中心像素坐标(x_e，y_e)。
3.根据权利要求1所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，步骤4.2具体包括：
4.2.1.对第二图像在HSV空间进行色彩分割，以获得HSV空间的第二直方图；
4.2.2.根据第二直方图的分布并且根据第二色彩分割策略在H通道中过选取第一颜色部分中直方图集中的区域和第二颜色部分中直方图集中的区域，以获得包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及噪声的图像；
4.2.3.针对包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及噪声的图像，根据第二色彩分割策略在V通道中保第二直方图中留含有第一颜色光源的外层灯阵、第二颜色的内层灯阵和少量噪声的高亮度区域，从而筛选出包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及少量噪声的图像；
4.2.4.对包括第一颜色光源的外层灯阵、第二颜色光源的内层灯阵及少量噪声的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，以获得外层灯阵和内层灯阵的黑白图像；
4.2.5.对外层灯阵的黑白图像进行亚像素质心提取，以获得第一颜色光源的数量Ny’和Ny’个第一颜色光源的像素坐标(x_en’，y_en’)，其中，n’＝0，1，…，Ny’，并且其中，Ny’≤Ny；对内层灯阵的黑白图像进行亚像素质心提取，以获得第二颜色光源的数量Nn’和Nn’个第一颜色光源的像素坐标(x_im’n，y_im’)，其中，m’＝0，1，…，Nn’，并且其中，Nn’≤Nn；
4.2.6.检查第一颜色光源数量Ny’和第二颜色光源数量Nn’，如果Ny’＜Ny或Nn’＜Nn，则调整第二色彩分割策略并重复执行4.2.1至4.2.5直到Ny’＝Ny且Nn’＝Nn；如果Ny’＝Ny且Nn’＝Nn，则根据Ny个第一颜色光源的像素坐标(x_en，y_en)计算外层灯阵的几何中心像素坐标(x_e，y_e)，其中，n＝0，1，…，Ny；根据Nn个第二颜色光源的像素坐标(x_im，y_im)计算内层灯阵的几何中心像素坐标(x_i，y_i)，其中，m＝0，1，…，Nn；
4.2.7.根据外层灯阵的几何中心像素坐标(x_e，y_e)和内层灯阵的几何中心像素坐标(x_i，y_i)计算旋转角度θ；根据外层灯阵的几何中心像素坐标(x_e，y_e)、内层灯阵的几何中心像素坐标(x_i，y_i)、可见光相机传感器像元大小S_p、外层灯阵与内层灯阵之间的垂直距离H以及第一放大倍率M1计算偏航角ρ；
4.2.8.输出图像中心像素坐标、外层灯阵的Ny个第一颜色光源的像素坐标、外层灯阵的几何中心像素坐标、内层灯阵的Nn个第二颜色光源的像素坐标、内层灯阵的几何中心像素坐标、外层灯阵的几何中心像素坐标相对内层灯阵的几何中心像素坐标的旋转角度θ和偏航角ρ。
4.根据权利要求1所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，步骤5.2具体包括：
5.2.1.对第三图像在HSV空间进行色彩分割，以获得HSV空间的第三直方图；
5.2.2.根据第三直方图的分布并且根据第三色彩分割策略在H通道中过选取第二颜色部分中直方图集中的区域，以获得包括第二颜色光源的内层灯阵及噪声的图像；
5.2.3.针对包括第二颜色光源的内层灯阵及噪声的图像，根据第三色彩分割策略在V通道中保第三直方图中留含有第二颜色光源的内层灯阵和少量噪声的高亮度区域，从而筛选出包括第二颜色光源的内层灯阵及少量噪声的图像；
5.2.4.对包括第二颜色光源的内层灯阵及少量噪声的图像进行二值化，转换为黑白图像，并进行自适应降噪及形态学开运算，以获得内层灯阵的黑白图像；
5.2.5.对内层灯阵的黑白图像进行亚像素质心提取，以获得第二颜色光源的数量Nn’和Nn’个第二颜色光源的像素坐标(x_em’，y_em’)，其中，m’＝0，1，…，Nn’，并且其中，Nn’≤Nn；
5.2.6.检查第二颜色光源数量Nn’，如果Nn’＜Nn，则调整第二色彩分割策略并重复执行5.2.1至5.2.5直到Nn’＝Nn；如果Nn’＝Nn，则根据Nn个第二颜色光源的像素坐标(x_im，y_im)计算内层灯阵的几何中心像素坐标(x_i，y_i)，其中，m＝0，1，…，Nn；
5.2.7.根据Nn个第二颜色光源的像素坐标(x_im，y_im)、光相机传感器像元大小S_p和内层灯阵各光源之间的物理间距L1计算第二放大倍率M；
5.2.8.输出Nn个第二颜色光源的像素坐标(x_im，y_im)、内层灯阵的几何中心像素坐标(x_i，y_i)和第二放大倍率M。
5.根据权利要求1至3中任一项所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，第一颜色为绿色，第二颜色为蓝色。
6.根据权利要求5所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，Ny＝4，且Nn＝4。
7.根据权利要求6所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，将外层灯阵沿周向均匀布置，且将内层灯阵沿周向布置。
8.根据权利要求7所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，将外层灯阵布置为十字形灯阵。
9.根据权利要求7所述的与双层多光源接驳装置水下对接的单目末端视觉导引方法，其特征在于，将外层灯阵布置为口字形灯阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311639387.0A CN118115579A (zh) | 2023-12-01 | 2023-12-01 | 与双层多光源接驳装置水下对接的单目末端视觉导引方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311639387.0A CN118115579A (zh) | 2023-12-01 | 2023-12-01 | 与双层多光源接驳装置水下对接的单目末端视觉导引方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118115579A true CN118115579A (zh) | 2024-05-31 |
Family
ID=91220015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311639387.0A Pending CN118115579A (zh) | 2023-12-01 | 2023-12-01 | 与双层多光源接驳装置水下对接的单目末端视觉导引方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118115579A (zh) |
-
2023
- 2023-12-01 CN CN202311639387.0A patent/CN118115579A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
| CN106371447B (zh) | 一种无人机全天候精准降落的控制方法 | |
| CN107392963B (zh) | 一种用于软式自主空中加油的仿鹰眼运动目标定位方法 | |
| CN109143247B (zh) | 一种声光成像的三目水下探测方法 | |
| US7154613B2 (en) | Color coded light for automated shape measurement using photogrammetry | |
| CN107063261B (zh) | 用于无人机精准着陆的多特征信息地标检测方法 | |
| CN109919026B (zh) | 一种水面无人艇局部路径规划方法 | |
| CN104867158B (zh) | 基于单目视觉的室内水面船舶精确定位系统和方法 | |
| CN104792312A (zh) | 以定距三球为视觉标志物的室内自动运输车定位系统 | |
| CN108334881A (zh) | 一种基于深度学习的车牌识别方法 | |
| CN110650427A (zh) | 一种基于摄像机图像与uwb融合的室内定位方法和系统 | |
| CN109492525B (zh) | 一种测量基站天线工程参数的方法 | |
| CN109191429B (zh) | 一种基于机器视觉的3d打印喷嘴检测方法 | |
| CN106570899A (zh) | 一种目标物体检测方法及装置 | |
| CN113066050B (zh) | 一种基于视觉的空投货台航向姿态解算方法 | |
| CN107014291A (zh) | 一种物料精密转载平台的视觉定位方法 | |
| CN110673622A (zh) | 一种基于视觉图像的无人机自动着舰引导方法与系统 | |
| CN106251337A (zh) | 一种空中加油锥套空间定位方法及系统 | |
| CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN106340031A (zh) | 一种检测运动物体的方法和装置 | |
| CN118115579A (zh) | 与双层多光源接驳装置水下对接的单目末端视觉导引方法 | |
| CN113205139A (zh) | 一种基于密度聚类的无人艇水上球体检测方法 | |
| CN113034590B (zh) | 基于视觉融合的auv动态对接定位方法 | |
| US11995836B2 (en) | System and method for performing sky-segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |