CN114087991A - 一种基于线结构光的水下目标测量装置及方法 - Google Patents

一种基于线结构光的水下目标测量装置及方法 Download PDF

Info

Publication number
CN114087991A
CN114087991A CN202111456359.6A CN202111456359A CN114087991A CN 114087991 A CN114087991 A CN 114087991A CN 202111456359 A CN202111456359 A CN 202111456359A CN 114087991 A CN114087991 A CN 114087991A
Authority
CN
China
Prior art keywords
underwater
light
target
camera
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111456359.6A
Other languages
English (en)
Inventor
肖海燕
王凯
卢丙举
秦丽萍
马永
侯冬冬
张祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
713th Research Institute of CSIC
Original Assignee
713th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 713th Research Institute of CSIC filed Critical 713th Research Institute of CSIC
Priority to CN202111456359.6A priority Critical patent/CN114087991A/zh
Publication of CN114087991A publication Critical patent/CN114087991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
    • B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
    • B63C11/52—Tools specially adapted for working underwater, not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于线结构光的水下目标测量装置，包括主控计算机、水下航行器，布置在水下航行器的前上方的水下双目相机、线结构光系统和水下照明系统，所述水下双目相机的两个镜头前安装滤光片，所述两个镜头之间安装线结构光系统，所述线结构光系统包括并列排布的至少一个一字线激光器和一个点激光器，所述水下照明系统采用蓝绿光照明灯，所述水下双目相机、线结构光系统和水下照明系统均通过数据线与主控计算机通信连接和电连接。本发明该采用蓝绿补光灯克服了昏暗的水环境中水下目标难以识别的困难，利用线结构光解决了水下作业目标精确定姿定位问题，两者相辅相成，最终可以实现水下机械臂对目标的自主抓取。

Description

一种基于线结构光的水下目标测量装置及方法
技术领域
本发明涉及基于线结构光双目立体视觉技术，尤其涉及一种基于线结构光的水下目标测量装置及方法。
背景技术
水下作业型航行器执行水中作业任务时，要对水下作业对象进行检测和精确定姿定位，方便机械臂抓取作业。常用的光学相机在昏暗的水下环境中探测距离有限，且由于水体的光学特性，水下图像普遍存在色偏和不清晰等问题，难以直接确定作业对象位置和姿态，而机械臂在进行水下抓取时需要实时提供目标物的位置和姿态，这就对视觉伺服提出了挑战。
发明内容
为解决上述问题，提供一种基于线结构光的水下目标测量装置及方法。
本发明的目的是以下述方式实现的：
一种基于线结构光的水下目标测量装置，包括主控计算机、水下航行器，布置在水下航行器的前上方的水下双目相机、线结构光系统和水下照明系统，所述水下双目相机的两个镜头前安装滤光片，所述两个镜头之间安装线结构光系统，所述线结构光系统包括并列排布的至少一个一字线激光器和点激光器，所述水下照明系统采用蓝绿照明灯，所述水下双目相机、线结构光系统和水下照明系统均通过数据线与主控计算机通信连接和电连接。
一种基于线结构光的水下目标测量装置的测量方法，所述测量方法包括以下步骤：
S1：相机标定：采用靶标对双目相机标定，得到相机的内外参数；
S2：打开双目相机和水下照明系统，拍摄图片，双目相机的左右相机均可以得到一张灰度图像，分别记为Μ1，M2；
S3：对图像中的目标物进行检测，判断是否有目标物，有的话提取目标物在图像中的区域，分别记为D1，D2，继续下一步，否则返回S2；
S4：关闭水下照明系统，打开线结构光系统，拍摄图片，左右相机可以得到另一张含有光条和光点的灰度图像，分别记为N1，N2；
S5：对此图像提取同一区域；
S6：以光点为基准，匹配左右相机中的光条，得到物体表面线状的点云数据；
S7：通过点云计算目标物位置和大小：采用随机采样一致性(RANSAC)算法拟合物体表面点云，得到物体中心位置(x,y,z)和大小；
S8：通过点云计算目标物姿态。
所述S3具体包括：使用YOLO v3网络架构，对Μ1，M2当中目标物进行检测，判断是否有目标物，有的话得到目标物的类别和检测框所在区域D1，D2，继续下一步，否则返回上一步；
所述S6具体包括：以光点为中心，沿着光条的垂直方向，分别对区域D1，D2内的光条进行编号，取D1，D2内同编号光条的中心点作为双目匹配的原始数据，计算三维坐标，可得到物体表面的三维点云数据集P＝{x1,x2,…,xm}。所述S8具体包括：利用主成分分析计算三维点云数据集P＝{x1,x2,…,xm}，首先将中心化：
Figure BDA0003378990720000021
xi中i＝1,2,…,m
计算样本协方差矩阵XXT，
求协方差矩阵XXT做特征值λ1、λ2、λ3，
求特征值对应的特征向量α1、α2、α3，
则最大特征值对应的特征向量即为目标物姿态方向。
本发明的有益效果：相对于现有技术，本发明该采用蓝绿补光灯克服了昏暗的水环境中水下目标难以识别的困难，利用线结构光解决了水下作业目标精确定姿定位问题，两者相辅相成，最终可以实现水下机械臂对目标的自主抓取。
附图说明
图1是本发明的方法流程图。
图2是本发明的测量装置的结构示意图。
其中1-水下双目相机，2-线结构光系统，3-水下照明系统。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
应该指出，以下详细说明都是例式性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的技术含义相同。
如图2所示，一种基于线结构光的水下目标测量装置，包括主控计算机、水下航行器，布置在水下航行器的前上方的水下双目相机1、线结构光系统2和水下照明系统3，所述水下双目相机的两个镜头前安装滤光片，所述两个镜头之间安装线结构光系统，所述线结构光系统包括并列排布的至少一个一字线激光器和一个点激光器，所述水下照明系统采用蓝绿光照明灯，所述水下双目相机、线结构光系统和水下照明系统均通过数据线与主控计算机通信连接和电连接。
如图1所示，一种基于线结构光的水下目标测量装置的测量方法，所述测量方法包括以下步骤：
S1：相机标定：采用靶标对双目相机标定，得到相机的内外参数；
S2：打开双目相机和水下照明系统，拍摄图片，双目相机的左右相机均可以得到一张灰度图像，分别记为Μ1，M2；
S3：对图像中的目标物进行检测，判断是否有目标物，有的话提取目标物在图像中的区域，分别记为D1，D2，继续下一步，否则返回S2；
S4：关闭水下照明系统，打开线结构光系统，拍摄图片，左右相机可以得到另一张含有光条和光点的灰度图像，分别记为N1，N2；
S5：对此图像提取同一区域；
S6：以光点为基准，匹配左右相机中的光条，得到物体表面线状的点云数据；
S7：通过点云计算目标物位置和大小：采用随机采样一致性(RANSAC)算法拟合物体表面点云，得到物体中心位置(x,y,z)和大小；
S8：通过点云计算目标物姿态。
所述S3具体包括：使用YOLO v3网络架构，对Μ1，M2当中目标物进行检测，判断是否有目标物，有的话得到目标物的类别和检测框所在区域D1，D2，继续下一步，否则返回上一步；
所述S6具体包括：以光点为中心，沿着光条的垂直方向，分别对区域D1，
D2内的光条进行编号，取D1，D2内同编号光条的中心点作为双目匹配的原始数据，计算三维坐标，可得到物体表面的三维点云数据集P＝{x1,x2,…,xm}。所述S8具体包括：利用主成分分析计算三维点云数据集P＝{x1,x2,…,xm}，首先将中心化：
Figure BDA0003378990720000041
xi中i＝1,2,…,m
计算样本协方差矩阵XXT，
求协方差矩阵XXT做特征值λ1、λ2、λ3，
求特征值对应的特征向量α1、α2、α3，
则最大特征值对应的特征向量即为目标物姿态方向。
本发明提供了一种基于线结构光的水下目标量测装置及方法，该装置在工作过程中，首先在关闭线结构光、开启水下照明系统的情况下拍摄图片，通过图像识别算法判断是否存在目标物(一个圆柱物体)，若存在则提取目标物所在区域；然后在打开线结构光系统、关闭水下照明系统的情况下拍摄图片，提取同一区域(即圆柱物体所在区域)内光条和光点；接着以光点为基准，进行光条匹配，得到目标物表面的线状三维点云数据；随后利用随机采样一致性(RANSAC)算法迭代点云，得到拟合后点云形状(此处为圆柱形)，并计算其中心点和半径、高度；最后基于机器学习中的主成分分析(PCA)法计算点云的主方向向量，得到目标物姿态。
该装置和方法具备水下目标识别和量测的功能。采用蓝绿补光灯克服了昏暗的水环境中水下目标难以识别的困难，利用线结构光解决了水下作业目标精确定姿定位问题，两者相辅相成，最终可以实现水下机械臂对目标的自主抓取。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种基于线结构光的水下目标测量装置，包括主控计算机、水下航行器，其特征在于：布置在水下航行器的前上方的水下双目相机、线结构光系统和水下照明系统，所述水下双目相机的两个镜头前安装滤光片，所述两个镜头之间安装线结构光系统，所述线结构光系统包括并列排布的至少一个一字线激光器和点激光器，所述水下照明系统采用蓝绿照明灯，所述水下双目相机、线结构光系统和水下照明系统均通过数据线与主控计算机通信连接和电连接。
2.一种基于权利要求1所述的基于线结构光的水下目标测量装置的测量方法，其特征在于：所述测量方法包括以下步骤：
S1：相机标定：采用靶标对双目相机标定，得到相机的内外参数；
S2：打开双目相机和水下照明系统，拍摄图片，双目相机的左右相机均可以得到一张灰度图像，分别记为Μ1，M2；
S3：对图像中的目标物进行检测，判断是否有目标物，有的话提取目标物在图像中的区域，分别记为D1，D2，继续下一步，否则返回S2；
S4：关闭水下照明系统，打开线结构光系统，拍摄图片，左右相机可以得到另一张含有光条和光点的灰度图像，分别记为N1，N2；
S5：对此图像提取同一区域；
S6：以光点为基准，匹配左右相机中的光条，得到物体表面线状的点云数据；
S7：通过点云计算目标物位置和大小：采用随机采样一致性算法拟合物体表面点云，得到物体中心位置(x,y,z)和大小；
S8：通过点云计算目标物姿态。
3.根据权利要求2所述的基于线结构光的水下目标测量方法，其特征在于：所述S3具体包括：使用YOLO v3网络架构，对Μ1，M2当中目标物进行检测，判断是否有目标物，有的话得到目标物的类别和检测框所在区域D1，D2，继续下一步，否则返回上一步。
4.根据权利要求2所述的基于线结构光的水下目标测量方法，其特征在于：所述S6具体包括：以光点为中心，沿着光条的垂直方向，分别对区域D1，D2内的光条进行编号，取D1，D2内同编号光条的中心点作为双目匹配的原始数据，计算三维坐标，可得到物体表面的三维点云数据集P＝{x1,x2,…,xm}。
5.根据权利要求4所述基于线结构光的水下目标测量方法，其特征在于：所述S8具体包括：利用主成分分析计算三维点云数据集P＝{x1,x2,…,xm}，首先将中心化：
Figure FDA0003378990710000021
xi中i＝1,2,…,m
计算样本协方差矩阵XXT，
求协方差矩阵XXT做特征值λ1、λ2、λ3，
求特征值对应的特征向量α1、α2、α3，
则最大特征值对应的特征向量即为目标物姿态方向。
CN202111456359.6A 2021-11-28 2021-11-28 一种基于线结构光的水下目标测量装置及方法 Pending CN114087991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111456359.6A CN114087991A (zh) 2021-11-28 2021-11-28 一种基于线结构光的水下目标测量装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111456359.6A CN114087991A (zh) 2021-11-28 2021-11-28 一种基于线结构光的水下目标测量装置及方法

Publications (1)

Publication Number Publication Date
CN114087991A true CN114087991A (zh) 2022-02-25

Family

ID=80306194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111456359.6A Pending CN114087991A (zh) 2021-11-28 2021-11-28 一种基于线结构光的水下目标测量装置及方法

Country Status (1)

Country Link
CN (1) CN114087991A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090312980A1 (en) * 2008-06-13 2009-12-17 Ryosuke Kobayashi System for detecting position of underwater vehicle
CN101620273A (zh) * 2009-08-08 2010-01-06 桂林电子科技大学 利用关联成像探测水下目标的方法
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN110044300A (zh) * 2019-01-22 2019-07-23 中国海洋大学 基于激光器的两栖三维视觉探测装置及探测方法
CN111190185A (zh) * 2020-04-08 2020-05-22 汕头大学 一种基于群体智能的水下掩埋雷自主探测方法及系统
CN112598702A (zh) * 2020-12-07 2021-04-02 中国船舶重工集团公司七五0试验场 一种基于合作信标的水下目标全自动识别与跟踪系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090312980A1 (en) * 2008-06-13 2009-12-17 Ryosuke Kobayashi System for detecting position of underwater vehicle
CN101620273A (zh) * 2009-08-08 2010-01-06 桂林电子科技大学 利用关联成像探测水下目标的方法
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN110044300A (zh) * 2019-01-22 2019-07-23 中国海洋大学 基于激光器的两栖三维视觉探测装置及探测方法
CN111190185A (zh) * 2020-04-08 2020-05-22 汕头大学 一种基于群体智能的水下掩埋雷自主探测方法及系统
CN112598702A (zh) * 2020-12-07 2021-04-02 中国船舶重工集团公司七五0试验场 一种基于合作信标的水下目标全自动识别与跟踪系统和方法

Similar Documents

Publication Publication Date Title
CN111735479B (zh) 一种多传感器联合标定装置及方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN110555889A (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN109344882A (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN111797684B (zh) 一种运动车辆双目视觉测距方法
CN112045676A (zh) 一种基于深度学习的机器人抓取透明物体的方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
WO2023070312A1 (zh) 图像处理方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN115147723A (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
JPH0780790A (ja) 三次元物体把持システム
CN112508885B (zh) 一种弯管的三维中轴线检测方法及系统
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN114087991A (zh) 一种基于线结构光的水下目标测量装置及方法
CN113221953A (zh) 基于实例分割和双目深度估计的目标姿态识别系统与方法
CN110197104A (zh) 基于车辆的测距方法及装置
CN115423856A (zh) 用于智能泵腔体内窥镜图像的单目深度估计系统及方法
CN111145263A (zh) 一种基于车载的摄像机自动标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination