CN110411339A - 一种基于平行激光束的水下目标尺寸测量设备及方法 - Google Patents

Abstract

本发明涉及一种水下目标尺寸测量设备及方法，该水下目标尺寸测量设备包括摄像头模块、第一激光器模块、第二激光器模块、第三激光器模块、第四激光器模块，第一、二、三、四激光器模块和摄像头模块处于同一平面，且激光发射器模块分布在正方形四角点处。测量时，由摄像头模块拍摄包含待测物体和四个激光投射点的图像，获得四个激光投射点的位置坐标，对图像进行单应性坐标变换使得激光器的四个投射点成正方形点阵，使用包围盒生成算法计算变换后目标物体的包围盒。根据比例计算待测目标物体长和宽的尺寸。本发明所描述的测距方法适用于水下等人类活动不方便的场景，提高了水下目标尺寸测量的灵活性和效率。

Description

一种基于平行激光束的水下目标尺寸测量设备及方法

技术领域

本发明涉及一种水下目标尺寸测量的设备及方法，尤其涉及一种基于平行激光束的水下目标尺寸测量设备及方法。

背景技术

海洋牧场等传统农业现代化还亟待优化，特别是对养殖产品生长情况的监控，需要更加精准、更加方便的体积和尺寸测量技术。随着水下机器人技术的发展，基于视觉的水下目标观测成为海洋牧场观察养殖产品的重要手段之一，然而对养殖产品体积和尺寸的测量是急需解决的关键技术。

常规的无人机目标物体尺寸测量方法，可以通过在待检测区域放置坐标网格纸或者印有网格的箱子，由网格在拍摄图像中的所占像素数量来推断图像中的比例尺，同时借助相机位姿检测算法等基于摄像机透视投影原理的坐标解算模型来调整世界坐标系。对于目标物体的检测，通常是使用目标检测网络来确定待检测物体。但在海洋牧场中，待检测区域广，人类活动自由度低，还有放置成本等问题使得坐标网格的方法存在局限性。

由于蓝绿激光在水中穿透能力强，在短距离水体中也有很好的传播效果，且激光点在图像中特征明显。特别是由于光沿直线传播的特性，可以有效的保持平行光束之间的距离是相同的。

发明内容

本发明的目的在于提供一种基于平行激光束的水下目标尺寸测量设备及方法，实现水下目标物尺寸的测量。

为了实现上述目的，根据本发明的一个方面，提供一种基于平行激光束的水下目标尺寸测量设备，包括一个摄像头模块、第一激光器模块、第二激光器模块、第三激光器模块、第四激光器模块。

进一步，所述摄像头模块用于拍摄图像。所述第一、第二、第三、第四激光器模块是点激光发生器，用于发射点激光。

进一步，所述第一、第二、第三、第四激光器模块与所述摄像头模块置于同一平面；所述四个激光器在同一平面上构成正方形排列，分别置于正方形四个角；所述摄像头模块置于所述四个激光器形成的正方形中心位置；所述四个激光器模块发射的激光线形成的激光束是平行的。

为了实现上述目的，根据本发明的一个方面，提供一种基于平行激光束的水下目标尺寸测量方法，包括如下步骤：

步骤1：图像拍摄阶段，打开所述摄像头模块和第一、第二、第三、第四激光器模块，使得第一、第二、第三、第四激光器模块发射出的激光线互相平行，且四条激光线形成的光束在垂直投影面上成正方形点阵。激光投射到待检测面上，获得第一激光线投射点、第二激光线投射点、第三激光线投射点、第四激光线投射点，当发现待检测目标后拍摄图像；

步骤2：激光点检测阶段，完成所拍摄图像中第一、第二、第三、第四激光线投射点的中心位置坐标的计算；

步骤3：位姿计算阶段，通过坐标解算模型计算摄像头模块相对于激光点所在投影面相对于摄像头模块的位姿，同时根据射影公式反推出射影变换矩阵；

步骤4：目标检测阶段，

4A.利用目标检测算法对所拍摄图像进行目标检测，并利用边缘检测算法确定目标物体在图像中的边缘曲线；

4B.对图像进行单应性坐标变换，使得第一、第二、第三、第四激光线投射点恢复为正方形点阵，同时对目标物体边缘曲线上的每点也进行坐标变换，并记录变换后的坐标；

4C.对变换后的边缘曲线使用包围盒生成算法，生成该边缘曲线的最小包围盒，根据激光束之间的实际距离计算出最小包围盒的长和宽。

优选地，步骤2中所述激光线投射点的中心位置坐标的计算，是利用激光点处能量最高、亮度最强的特性，首先对待检测图片进行从RGB到HSV的色彩空间转化，筛选出H通道符合激光色彩（35<H<78绿色范围），V通道满足阈值的像素（200<V<255 高亮范围），所选像素区域即是激光所在的光斑，该光斑即为激光投射点；取光斑区域的中心点像素作为激光线投射点的中心位置坐标，其中，计算中心点的位置还可以是机器学习领域或数字图像处理领域的方法。

优选地，步骤3所述的坐标解算模型是指基于摄像机透视投影原理的坐标解算模 型，令原始齐次坐标为，在图像中的齐次坐标，则根据射影变换 ，令，解得如下方程组：

，

该式可以改写为

，

令 即可求得投影变换矩阵H。

优选地，步骤4A中所述目标检测算法可以是任何一种目前现有的目标检测模型，例如YOLO，RetinaNet，Faster RCNN等；所述边缘检测算法可以是任何一种目前现有的边缘检测算法，例如Sobel，Laplacian，Canny等。

优选地，步骤4B所述的坐标变换指的是将图像中坐标调整为在待测平面上的 世界坐标，利用上述已解得的投影变换矩阵H，通过方程求解得到世界坐标，之后根据图像中已解得的世界坐标绘制成新的图像。

优选地，步骤4C所述包围盒生成算法指的是对利用边缘提取算法得到的边缘点集使用均值化处理得到，进一步计算点集中两两之间的协 方差，求得它的特征值和特征向量，排序并提取最 大值，vec和其正交向量是边缘点集的新坐标轴，将点集映射在轴上取最大最小 值即可生成包围盒。

优选地，步骤4C所述计算尺寸用到了等比公式，假设在图像上两非对角激光器激光线投射点的距离为Y，图像中包围盒某边长度为A，激光点实际距离为B，则所测边的实际距离X为X=A×B/Y。

为了实现上述目的，根据本发明的另一方面，本发明提供了一种计算机设备，所述计算机设备与本发明第一方面所述一种基于平行激光束的水下目标尺寸测量设备相连接，所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行本发明第二方面所述的一种基于平行激光束的水下目标尺寸测量方法。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

图1为本发明的结构示意图；

图2为本发明的目标尺寸测量流程示意图；

图3为本发明的射影变换恢复示意图；

图中：第一激光发射器模块101，摄像头模块102，第二激光发射器模块103，第三激光发射器模块104，第四激光发射器模块105。

具体实施例

下面结合附图和实施例进一步对本发明加以说明。

参照附图1，示出了说明本发明的一个实施例中硬件的结构图，在本实施例中，测量设备由一个摄像头模块102、第一激光发射器模块101、第二激光发射器模块103、第三激光发射器模块104和第四激光发射器模块105组成。在本实施例中，摄像头模块为单目摄像头，激光发射器均为蓝绿激光发射器。

参照附图2，示出了说明本发明的一个实施例中目标尺寸测量流程：

201. 摄像头模块和激光发射器模块开启，当观测员发现目标物体后，使用摄像头模块拍摄图片；

202. 对图像进行检测，确定第一、第二、第三、第四激光线投射点的中心像素点位置坐标。举例说明，将图片转化为HSV色彩空间，选取色彩值为蓝色和绿色之间（在本实施例中，H范围为35-78，V的范围为200-255），对于大于阈值的像素，再进行霍夫曼圆匹配算法，筛选后的像素区域为激光点区域。在本实施例中，检测激光点也可以使用人工智能算法；

203. 使用坐标解算模型计算摄像头模块与待测平面的位姿关系和射影变换矩阵。举 例说明，原始齐次坐标，在图像中的坐标，则根据射影变换 ，令，解得如下方程组

，

该式可以改写为

，

令A_ih=0即可求得射影变换矩阵H；

204. 进行目标检测，确定目标物体的位置，并使用边缘检测提取目标轮廓，举例说明，在检测算法生成的预测框中使用洪水填充算法去除背景信息，再利用边缘算子对该区域进行处理，最终得到目标物体的轮廓。在本实施例中，目标检测算法可以是人工智能算法，也可以是模版匹配算法；

205. 该部分参照附图3，使用求得的射影变换矩阵对图像进行单应性坐标变换，得到世界坐标下的激光线投射点位置和目标物体轮廓；

206.对变换后的目标边缘使用包围盒生成算法，举例说明，对目标物体边缘点集使用均值化处理得到，进一步计算点集两两之间的协方 差，求得它的特征值和特征向量，排序并提取最大 值，vec和其正交向量是边缘点集的新坐标轴，将点集映射在轴上取最大和最小 值即可生成包围盒。假设在图像上两非对角激光器激光线投射点的距离为Y，图像中包围盒 某边长度为A，激光点实际距离为B，则所测边的实际距离X为X=A×B/Y。

显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (9)

1.一种基于平行激光束的水下目标尺寸测量设备，其特征在于：包括一个摄像头模块、第一激光器模块、第二激光器模块、第三激光器模块、第四激光器模块，所述摄像头模块用于拍摄图像，所述第一、第二、第三、第四激光器模块是点激光发生器，用于发射点激光。

2.根据权利要求1所述的基于平行激光束的水下目标尺寸测量设备，其特征在于：所述第一、第二、第三、第四激光器模块与所述摄像头模块置于同一平面；所述四个激光器模块在同一平面上构成正方形排列，分别置于正方形四个角；所述摄像头模块置于所述四个激光器形成的正方形中心位置；所述四个激光器模块发射的激光线形成的激光束是平行的。

3.一种基于平行激光束的水下目标尺寸测量方法，其特征在于包括如下步骤：

步骤1：图像拍摄阶段，打开所述摄像头模块和第一、第二、第三、第四激光器模块，使得第一、第二、第三、第四激光器模块发射出的激光线互相平行，且四条激光线形成的光束在垂直投影面上成正方形点阵；激光投射到待检测面上，获得第一激光线投射点、第二激光线投射点、第三激光线投射点、第四激光线投射点，当发现待检测目标后拍摄图像；

步骤2：激光点检测阶段，完成所拍摄图像中第一、第二、第三、第四激光线投射点的中心位置坐标的计算；

步骤3：位姿计算阶段，通过坐标解算模型计算摄像头模块相对于激光点所在投影面相对于摄像头模块的位姿，同时根据射影公式反推出射影变换矩阵；

步骤4：目标检测阶段，

4A.利用目标检测算法对所拍摄图像进行目标检测，并利用边缘检测算法确定目标物体在图像中的边缘曲线；

4B.对图像进行单应性坐标变换，使得第一、第二、第三、第四激光线投射点恢复为正方形点阵，同时对目标物体边缘曲线上的每点也进行坐标变换，并记录变换后的坐标；

4C.对变换后的边缘曲线使用包围盒生成算法，生成该边缘曲线的最小包围盒，根据激光束之间的实际距离计算出最小包围盒的长和宽。

4.根据权利要求3所述的基于平行激光束的水下目标尺寸测量方法，其特征在于，所述步骤2中所述激光线投射点的中心位置坐标的计算，是利用激光点处能量最高、亮度最强的特性，首先对待检测图片进行从RGB到HSV的色彩空间转化，筛选出H通道符合激光色彩（35<H<78绿色范围），V通道满足阈值的像素（200<V<255 高亮范围），所选像素区域即是激光所在的光斑，该光斑即为激光投射点；取光斑区域的中心点像素作为激光线投射点的中心位置坐标，其中，计算中心点的位置还可以是机器学习领域或数字图像处理领域的方法。

5.根据权利要求3所述的基于平行激光束的水下目标尺寸测量方法，其特征在于，所述 步骤3中所述坐标解算模型是指基于摄像机透视投影原理的坐标解算模型，令原始齐次坐 标为 x=[u,v,1]^T，在图像中的齐次坐标x₁=[u₁,v₁,1]^T，则根据射影变换， 令，

解得如下方程组

，

该式可以改写为

，令A_ih=0 即可求得投影变换 矩阵H。

6.根据权利要求3所述的基于平行激光束的水下目标尺寸测量方法，其特征在于，所述步骤4A中所述目标检测算法可以是任何一种目前现有的目标检测模型；所述边缘检测算法可以是任何一种目前现有的边缘检测算法。

7.根据权利要求3所述的基于平行激光束的水下目标尺寸测量方法，其特征在于，所述步骤4B中所述的坐标变换指的是将图像中坐标x₁₂调整为在待测平面上的世界坐标x₁₁，利用上述已解得的投影变换矩阵H；通过x₁₂=Hx₁₁方程求解得到世界坐标x₁₁，之后根据图像中已解得的世界坐标绘制成新的图像。

8.根据权利要求3所述的基于平行激光束的水下目标尺寸测量方法，其特征在于，所述 步骤4C中所述包围盒生成算法指的是对利用边缘提取算法得到的边缘点集 使用均值化处理得到，进一步计算点集中两两之间的协方差，求得它的特征值和特征向量，排序并提取最大值，vec和其正交向量是边缘点集的新坐标轴，将点集映射在轴上取最大和最小值 即可生成包围盒；所述计算尺寸用到了等比公式，假设在图像上两非对角激光器激光线投 射点的距离为Y，图像中包围盒某边长度为A，激光点实际距离为B，则所测边的实际距离X为 X=A×B/Y。

9.一种计算机设备，其特征在于，所述计算机设备与本发明第一方面所述一种基于平行激光束的水下目标尺寸测量设备相连接，所述计算机设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行本发明第二方面所述的一种基于平行激光束的水下目标尺寸测量方法。