CN116091608B - 水下目标物的定位方法、定位装置、水下设备及存储介质 - Google Patents

水下目标物的定位方法、定位装置、水下设备及存储介质 Download PDF

Info

Publication number
CN116091608B
CN116091608B CN202310375898.XA CN202310375898A CN116091608B CN 116091608 B CN116091608 B CN 116091608B CN 202310375898 A CN202310375898 A CN 202310375898A CN 116091608 B CN116091608 B CN 116091608B
Authority
CN
China
Prior art keywords
image
underwater
coordinate system
target object
underwater target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310375898.XA
Other languages
English (en)
Other versions
CN116091608A (zh
Inventor
魏建仓
赵国腾
张增虎
徐俊博
胡蓉贵
闫昊
侯明波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deepinfar Ocean Technology Inc
Original Assignee
Deepinfar Ocean Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deepinfar Ocean Technology Inc filed Critical Deepinfar Ocean Technology Inc
Priority to CN202310375898.XA priority Critical patent/CN116091608B/zh
Publication of CN116091608A publication Critical patent/CN116091608A/zh
Application granted granted Critical
Publication of CN116091608B publication Critical patent/CN116091608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种水下目标物的定位方法、定位装置、水下设备及存储介质。所述水下目标物的定位方法包括：通过水下图像获取装置获取水下的图像；确定出图像中的水下目标物的实像；基于实像确定出水下目标物在水面反射形成的镜像；以水下图像获取装置为原点建立参考坐标系；基于实像和镜像在图像中的位置，确定出水下目标物的中心点在参考坐标系的位置坐标信息。

Description

水下目标物的定位方法、定位装置、水下设备及存储介质
技术领域
本申请涉及水下监测技术领域，具体而言，涉及一种水下目标物的定位方法、定位装置、水下设备及存储介质。
背景技术
水下目标物可以为应用于水下环境作业的水下设备或其它具有监测意义的水下物体。在水下环境中的实际作业或性能测试的过程中，水下目标物的具体位置是一项重要监测指标。
例如水下目标物可以为水下机器人，在研发过程中水下机器人需要在水下环境（如水池）中进行大量试验，而在试验过程中，自动获取水下机器人的定位信息仍具有较高难度。
发明内容
根据本申请的一方面，公开了一种水下目标物的定位方法。该水下目标物的定位方法包括：通过水下图像获取装置获取水下的图像；确定出图像中的水下目标物的实像；基于实像确定出水下目标物在水面反射形成的镜像；以水下图像获取装置为原点建立参考坐标系；基于实像和镜像在图像中的位置，确定出水下目标物的中心点在参考坐标系的位置坐标信息。
根据本申请的一些实施例，以水下图像获取装置为原点建立参考坐标系包括：参考坐标系的Z轴沿着水下图像获取装置的光轴方向延伸；参考坐标系的X轴沿着水深方向延伸。
根据本申请的一些实施例，基于实像和镜像在图像中的位置，确定出水下目标物的中心点在参考坐标系的位置坐标信息包括：将水下目标物的中心点在参考坐标系XOZ面的投影作为实像投影点；将镜像的中心点在参考坐标系XOZ面的投影作为镜像投影点。
水下目标物的中心点的横坐标的计算公式为:X= H1- H0；水下目标物的中心点的纵坐标的计算公式为:Y=2H0×tanγ/（tanβ-tanα）；水下目标物的中心点的竖坐标的计算公式为：Z= 2H0/（tanβ-tanα）。
其中：H1=H0×（tanβ+tanα）/（tanβ-tanα）；β=|xb-nr/2|/nr ×θ；α=|xa-nr/2|/nr×θ；γ=|ya-nc/2|/nc ×φ；其中，H1为水下目标物的中心点到水面的距离；H0为原点到水面的距离；β为镜像投影点到原点的连线与Z轴的夹角；α为实像投影点到原点的连线与Z轴的夹角；γ为第二垂足到原点的连线与Z轴的夹角，其中Z轴于图像的垂足为第一垂足，第二垂足为第一垂足在水下目标物的中心点与镜像的中心点所形成直线上的垂足。
基于图像建立XOY坐标系，xb为镜像的中心点在XOY坐标系的纵坐标；xa为实像的中心点在XOY坐标系的纵坐标；ya为实像的中心点在XOY坐标系的横坐标；nr为图像的行数；nc为图像的列数；θ为水下图像获取装置的上下视场角；φ为水下图像获取装置的左右视场角。
根据本申请的一些实施例，基于实像确定出水下目标物在水面反射形成的镜像包括：确定图像的颜色空间的第一参数值；通过滑动窗口在图像中遍历实像上方的图像区域，其中滑动窗口的大小与实像的的边界框的大小相同；计算各滑动窗口中图像区域的第二参数值；确定第二参数值与第一参数值的最大差值绝对值；将最大差值绝对值所对应的滑动窗口的所在区域确定为镜像。
根据本申请的一些实施例，水下图像获取装置为单目相机。
根据本申请的另一方面，提供了一种水下目标物的定位装置。该定位装置包括图像获取单元、图像处理单元和坐标处理单元。图像获取单元用于获取水下的图像；图像处理单元用于确定出图像中的水下目标物的实像，以及基于实像确定出水下目标物在水面反射形成的镜像；坐标处理单元用于以图像获取单元为原点建立参考坐标系，以及基于实像和镜像在图像中的位置确定出水下目标物的中心点在参考坐标系的位置坐标信息。
根据本申请的一些实施例，坐标处理单元沿着图像获取单元的光轴方向建立参考坐标系的Z轴，沿着水深方向建立参考坐标系的X轴。
根据本申请的一些实施例，坐标处理单元还将水下目标物的中心点在参考坐标系XOZ面的投影作为实像投影点，以及将镜像的中心点在参考坐标系XOZ面的投影作为镜像投影点。
根据本申请的一些实施例，水下目标物的中心点的横坐标的计算公式为:X= H1-H0；水下目标物的中心点的纵坐标的计算公式为:Y=2H0×tanγ/（tanβ-tanα）；水下目标物的中心点的竖坐标的计算公式为：Z= 2H0/（tanβ-tanα）；其中：H1=H0×（tanβ+tanα）/（tanβ-tanα）；β=|xb-nr/2|/nr ×θ；α=|xa-nr/2|/nr ×θ；γ=|ya-nc/2|/nc ×φ。
其中，H1为水下目标物的中心点到水面的距离，H0为原点到水面的距离；β为镜像投影点到原点的连线与Z轴的夹角；α为实像投影点到原点的连线与Z轴的夹角；γ为第二垂足到原点的连线与Z轴的夹角，其中Z轴于图像的垂足为第一垂足，第二垂足为第一垂足在水下目标物的中心点与镜像的中心点所形成直线上的垂足。
坐标处理单元还基于图像建立XOY坐标系，xb为镜像的中心点在XOY坐标系的纵坐标；xa为实像的中心点在XOY坐标系的纵坐标；ya为实像的中心点在XOY坐标系的横坐标；nr为图像的行数；nc为图像的列数；θ为图像获取单元的上下视场角；φ为图像获取单元的左右视场角。
根据本申请的一些实施例，图像处理单元确定图像的颜色空间的第一参数值，以及通过滑动窗口在图像中遍历实像上方的图像区域，其中滑动窗口的大小与实像的的边界框大小相同；图像处理单元还计算各滑动窗口中图像区域的第二参数值，确定第二参数值与第一参数值的最大差值绝对值，并将最大差值绝对值所对应的滑动窗口的所在区域确定为镜像。
根据本申请的一些实施例，图像获取单元为单目相机。
根据本申请的又一方面，还提供了一种水下设备。该水下设备包括如上文所述的定位装置。
根据本申请的又一方面，还提供了一种非易失性计算机可读存储介质。该存储介质上存储有计算机程序，该计算机程序可以实现如上文所述的定位方法。
通过上述示例实施例，本申请技术方案通过水下目标物经过光线反射形成的镜像来计算水下目标物的具体位置，相比基于深度学习的方法，本申请技术方案无需依赖大量训练样本和高性能计算平台；相比多目相机定位方法，本申请技术方案具有效率高、成本低的优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本申请示例实施例的定位方法的流程示意图；
图2示出本申请示例实施例的水下的图像的一示意图；
图3示出本申请示例实施例的水下的图像的另一示意图；
图4示出本申请示例实施例的参考坐标系的一示意图；
图5示出本申请示例实施例的投影示意图；
图6示出本申请示例实施例的XOY坐标系的示意图；
图7示出本申请示例实施例的定位方法的另一流程示意图；
图8示出本申请示例实施例的定位装置的结构示意图。
附图标记说明：
定位装置1；图像获取单元10；图像处理单元20；坐标处理单元30。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。
此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
下面结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在水下监测的技术领域中，现有技术中一般采用声呐、视觉等技术，通过对环境进行三维坐标构图来进行水下目标物的定位。
但本申请的发明人发现，普通声呐无法获取水下目标物的三维坐标，而三维声呐的硬件成本较高。
基于视觉的水下目标物定位方法一般包括多目相机定位和单目相机定位。然而本申请的发明人还发现，多目相机定位的相机标定和算法均较为复杂，成本高。单目相机的成像原理决定了其无法通过几何方法计算水下目标物的三维坐标，目前的单目距离估计通常依赖深度学习技术，因此单目相机定位的方式需要大量训练样本和高性能计算平台。
基于此，本申请的一方面提供了一种水下目标物的定位方法，该定位方法可以通过单目相机的图像确定出水下目标物的位置坐标信息，以对水下目标物进行水下定位。
下面将结合说明书附图，对本申请技术方案进行详细描述。
图1示出本申请示例实施例的定位方法的流程示意图。如图1所示，定位方法包括步骤S100~S500。根据示例实施例，该定位方法由水下目标物的定位装置所执行。
这里可以理解为，水下目标物可以为应用于水下环境作业的水下设备（例如水下机器人）或其它具有监测意义的水下物体，本申请对比不作限制。
在步骤S100中，定位装置通过水下图像获取装置获取水下的图像。
例如，图2示出本申请示例实施例的水下的图像的一示意图。如图2所示，水下图像获取装置（图2中未示出）通过视频摄像或拍照获取包括水下目标物的图像。
可选地，水下图像获取装置为单目相机。
例如，定位装置通过单目相机获取包括水下目标物的图像。
在步骤S200中，定位装置确定出图像中的水下目标物的实像。
例如，如图2所示，定位装置通过人工或算法识别，采用边界框确定出水下目标物的实像A。
根据示例实施例，水下图像获取装置在第一次确定水下目标物的实像A后，在后续的每帧包括水下目标物的图像中，通过目标跟踪算法自动更新边界框的位置，以使得实像A中水下目标物保持处于边界框中间的状态。这里可以理解为，实像A的中心点即为水下目标物的中心点。
在步骤S300中，定位装置基于实像确定出水下目标物在水面反射形成的镜像。
根据光学反射成像原理，水下目标物的光线在水的内表面会发生反射，因此在水下目标物的上方会出现光线反射所形成的镜像，即水下目标物的镜像。
例如，图3示出本申请示例实施例的水下的图像的另一示意图。如图3所示，经过光线的反射，水下目标物的上方形成了水下目标物的镜像B。
在步骤S400中，定位装置以水下图像获取装置为原点建立参考坐标系。
图4示出本申请示例实施例的参考坐标系的一示意图。如图4所示，将水下图像获取装置配置为位于实像A和镜像B之间，以水下图像获取装置的光轴的中心为O点建立XYZ参考坐标系。
可选地，参考坐标系的Z轴沿着水下图像获取装置的光轴方向延伸，参考坐标系的X轴沿着水深方向延伸。
如图4所示，参考坐标系的Z轴沿着水下图像获取装置的光轴方向，X轴沿着水深方向垂直向下。实像A和镜像B的中心点的连线所形成的直线AB与水面相交与E点，因此过直线AB存在平面N与参考坐标系的Z轴垂直，且垂足为第一垂足C。直线W是平面N与水面的交线。过C点作垂直于直线AB的垂线，垂足为第二垂足D。
在步骤S500中，定位装置基于实像和镜像在图像中的位置，确定出水下目标物的中心点在参考坐标系的位置坐标信息。
根据图4可知，水下目标物的中心点在参考坐标系中的坐标A(X,Y,Z)为A(AD,DC,CO)。
图像中镜像B与实像A的距离与水下目标物的具体位置有关。因此，可通过镜像B与实像A的位置信息确定出水下目标物的位置坐标信息。
可选地，定位装置将水下目标物的中心点在参考坐标系XOZ面的投影作为实像投影点，以及将镜像的中心点在参考坐标系XOZ面的投影作为镜像投影点。
根据示例实施例，水下目标物的中心点的横坐标的计算公式为:
X= H1- H0；
水下目标物的中心点的纵坐标的计算公式为:
Y=2H0×tanγ/（tanβ-tanα）
水下目标物的中心点的竖坐标的计算公式为：
Z= 2H0/（tanβ-tanα）
其中：
H1=H0×（tanβ+tanα）/（tanβ-tanα）；
β=|xb-nr/2|/nr ×θ；
α=|xa-nr/2|/nr ×θ；
γ=|ya-nc/2|/nc ×φ
水下目标物的中心点的位置坐标信息的推导过程如下：
例如，图5示出本申请示例实施例的投影示意图。如图5所示，水下目标物的中心点在参考坐标系XOZ面的投影为A＇（实像投影点），镜像B的中心点在参考坐标系XOZ面的投影为B＇（镜像投影点）。E点在参考坐标系XOZ面的投影为E＇。
根据示例实施例，α为实像投影点到原点的连线与Z轴的夹角。例如图5所示，α为实像投影点A＇、原点O、原点O在实像投影点A＇和镜像投影点B＇所形成的直线A＇B＇上的垂足C之间的夹角。如图5所示，∠A＇OC为α。
则可得：α=|xa-nr/2|/nr ×θ；公式（1）
基于图像建立XOY坐标系，例如, 图6示出本申请示例实施例的XOY坐标系的示意图。如图6所示，以图像的左上角为原点O建立XOY坐标系，实像A和镜像B均位于XOY坐标系中。
xa为实像A的中心点在XOY坐标系的纵坐标；nr为水下图像获取单元获取的该图像的行数；θ为水下图像获取单元的上下视场角，其中nr和θ为已知量，且与相机的参数有关。
根据示例实施例，β为镜像投影点到原点的连线与Z轴的夹角。例如图5所示，β为镜像投影点B＇、原点O、原点O在实像投影点A＇和镜像投影点B＇所形成的直线A＇B＇上的垂足C之间的夹角，如图5所示，∠B＇OC为β。
则可得：β=|xb-nr/2|/nr ×θ；公式（2）
xb为镜像B的中心点在XOY坐标系的纵坐标；nr为水下图像获取单元获取的该图像的行数；θ为水下图像获取单元的上下视场角，其中nr和θ为已知量，且与相机的参数有关。
根据示例实施例，H1为水下目标物的中心点到水面的距离，H0为原点到水面的距离。例如图5所示，H0为原点O与水面在参考坐标系XOZ面投影的距离（H0为已知量），H1为实像投影点A＇与水面在参考坐标系XOZ面投影的距离。D0为原点O到原点O在实像投影点A＇和镜像投影点B＇所形成的直线A＇B＇上的垂足C之间的距离。
根据三角函数关系可知：
H1+H0=D0×tanβ 公式（3）
H1-H0=D0×tanα 公式（4）
根据公式（3）和公式（4）可得：
D0= 2H0/（tanβ-tanα） 公式（5）
H1=H0×（tanβ+tanα）/（tanβ-tanα） 公式（6）
水下目标物的中心点在参考坐标系中的坐标A(X,Y,Z)为A(AD,DC,CO)，则水下目标物的中心点的横坐标AD(即图5所示的A＇C)= A＇E＇(H1)-H0，即水下目标物的中心点的横坐标X= H1- H0。
水下目标物的中心点的竖坐标CO（D0）= 2H0/（tanβ-tanα）。
根据示例实施例，如图4所示，∠DOC为γ，γ为第二垂足到原点的连线与Z轴的夹角，其中Z轴于图像的垂足为第一垂足，第二垂足为第一垂足在水下目标物的中心点与镜像的中心点所形成直线上的垂足。
则可得，γ=|ya-nc/2|/nc ×φ 公式（7）
ya为实像A的中心点在XOY坐标系的横坐标； nc为水下图像获取单元获取的该图像的列数；φ为水下图像获取装置的左右视场角, 其中nc和φ为已知量，且与相机的参数有关。
水下目标物的中心点的纵坐标为：
DC=CO×tanγ=2h0×tanγ/（tanβ-tanα） 公式（8）
通过上述示例实施例，本申请技术方案通过水下目标物经过光线反射形成的镜像来计算水下目标物的具体位置，计算过程无需依赖大量训练样本和计算机深度学习。以及本申请技术方案可以仅通过单目相机的图像即可确定出水下目标物的位置坐标信息，以对水下目标物进行水下定位，相比多目相机定位方法，具有效率高、成本低的优点。
图7示出本申请示例实施例的定位方法的另一流程示意图。可选地，如图7所示，在步骤S300中，定位装置基于实像确定出水下目标物在水面反射形成的镜像可以包括步骤S310~ S350。
在步骤S310中，定位装置确定图像的颜色空间的第一参数值。
根据示例实施例，定位装置将图像的颜色空间由RGB颜色空间转换为HSV颜色空间，并确定HSV颜色空间的第一参数值。
例如，HSV颜色空间的第一参数值为H（色调）通道的均值mh_img。
在步骤S320中，定位装置通过滑动窗口在图像中遍历实像上方的图像区域，其中滑动窗口的大小与实像的边界框的大小相同。
例如，定位装置在实像的上方区域通过滑动窗口依次遍历实像A的上方。
可选地，如图3所示，滑动窗口的大小与实像的边界框的大小相同。滑动窗口的位置变化为实像的上方区域的上下位置变化。
在步骤S330中，定位装置计算各滑动窗口中图像区域的第二参数值。
在步骤S340中，定位装置计算各滑动窗口的第二参数值与第一参数值的差值绝对值，并确定出最大差值绝对值。
在步骤S350中，定位装置将最大差值绝对值所对应的滑动窗口的所在区域确定为镜像。
根据示例实施例，定位装置通过各滑动窗口分别获取不同位置的第二参数值。例如第二参数值为H（色调）通道的均值mh_roi。
定位装置计算滑动窗口所遍历的N个位置的第二参数值mh_roi与第一参数值mh_img的差值绝对值diffn，由此可以形成差值绝对值数组｛diffn0，diffn1，diffn2，…，diffn｝。
根据示例实施例，目标镜像与水环境的颜色信息具有较大差异，因此差值绝对值数组的最大值所对应的滑动窗口位置即为水下目标物的镜像的位置。因此定位装置将最大差值绝对值所对应的滑动窗口所在位置确定为镜像位置。
通过上述示例实施例，本申请技术方案通过整幅图像与滑动窗口的颜色空间的参数比较，可以确定出与水体环境颜色差异最大的滑动窗口，即可以通过图像处理自动确定镜像的中心位置，具有计算速度快、抗水面波浪干扰能力强等优点。
本申请的另一方面提供了一种水下目标物的定位装置，该定位装置可以通过单目相机的图像确定出水下目标物的位置坐标信息，以对水下目标物进行水下定位。
图8示出本申请示例实施例的定位装置的结构示意图。如图8所示，定位装置1包括图像获取单元10、图像处理单元20和坐标处理单元30。
根据示例实施例，图像获取单元10用于获取水下的图像。
例如，图像获取单元10通过视频摄像或拍照获取包括水下目标物的图像。
可选地，图像获取单元10为单目相机。
例如，定位装置通过单目相机获取包括水下目标物的图像。
根据示例实施例，图像处理单元20用于确定出图像中的水下目标物的实像，以及基于实像确定出水下目标物在水面反射形成的镜像。
例如，图像处理单元20通过人工或算法识别，采用边界框确定出水下目标物的实像。
图像处理单元20在第一次确定水下目标物的实像后，在后续的每帧包括水下目标物的图像中，通过目标跟踪算法自动更新边界框的位置，以使得实像中水下目标物保持处于边界框中间的状态。这里可以理解为，实像的中心点即为水下目标物的中心点。
根据光学反射成像原理，水下目标物的光线在水的内表面会发生反射，因此在水下目标物的上方会出现光线反射所形成的镜像，即水下目标物的镜像。
根据示例实施例，坐标处理单元30用于以图像获取单元10为原点建立参考坐标系。
例如，坐标处理单元30以图像获取单元10的光轴的中心为O点建立XYZ参考坐标系。
可选地，参考坐标系的Z轴沿着图像获取单元10的光轴方向延伸，参考坐标系的X轴沿着水深方向延伸。
例如，实像A和镜像B的中心点的连线所形成的直线AB与水面相交与E点，因此过直线AB存在平面N与参考坐标系的Z轴垂直，且垂足为第一垂足C。直线W是平面N与水面的交线。过C点作垂直于直线AB的垂线，垂足为第二垂足D。
根据示例实施例，坐标处理单元30基于实像和镜像在图像中的位置，确定出水下目标物的中心点在参考坐标系的位置坐标信息。
水下目标物的中心点在参考坐标系中的坐标A(X,Y,Z)为A(AD,DC,CO)。图像中镜像B与实像A的距离与水下无目标无的具体位置有关。因此，可通过镜像B与实像A的位置信息确定出水下目标物的位置坐标信息。
可选地，坐标处理单元30还将水下目标物的中心点在参考坐标系XOZ面的投影作为实像投影点，以及将镜像的中心点在参考坐标系XOZ面的投影作为镜像投影点。
根据示例实施例，水下目标物的中心点的横坐标的计算公式为:
X= H1- H0；
水下目标物的中心点的纵坐标的计算公式为:
Y=2H0×tanγ/（tanβ-tanα）
水下目标物的中心点的竖坐标的计算公式为：
Z= 2H0/（tanβ-tanα）
其中：
H1=H0×（tanβ+tanα）/（tanβ-tanα）；
β=|xb-nr/2|/nr ×θ；
α=|xa-nr/2|/nr ×θ；
γ=|ya-nc/2|/nc ×φ
其中，H1为水下目标物的中心点到水面的距离，H0为原点到水面的距离；
β为镜像投影点到原点的连线与Z轴的夹角；
α为实像投影点到原点的连线与Z轴的夹角；
γ为第二垂足到原点的连线与Z轴的夹角，其中Z轴于图像的垂足为第一垂足，第二垂足为第一垂足在水下目标物的中心点与镜像的中心点所形成直线上的垂足。
坐标处理单元30还基于图像建立XOY坐标系，xb为镜像的中心点在XOY坐标系的纵坐标；xa为实像的中心点在XOY坐标系的纵坐标；ya为实像的中心点在XOY坐标系的横坐标；nr为图像的行数；nc为图像的列数；θ为图像获取单元的上下视场角；φ为图像获取单元的左右视场角。
水下目标物的中心点的位置坐标信息的推导过程已在上文详细描述，此处不再赘述。
通过上述示例实施例，本申请技术方案通过水下目标物经过光线反射形成的镜像来计算水下目标物的具体位置，相比基于深度学习的方法，本申请技术方案无需依赖大量训练样本和高性能计算平台。以及本申请技术方案可以仅通过单目相机的图像即可确定出水下目标物的位置坐标信息，实现对水下目标物进行水下定位，相比多目相机定位方法，具有效率高、成本低的优点。
可选地，图像处理单元20确定图像的颜色空间的第一参数值，以及通过滑动窗口在图像中遍历实像上方的图像区域，其中滑动窗口的大小与实像的边界框的大小相同。
根据示例实施例，图像处理单元20将图像的颜色空间由RGB颜色空间转换为HSV颜色空间，并确定HSV颜色空间的第一参数值。
例如，HSV颜色空间的第一参数值为H（色调）通道的均值mh_img。
例如，图像处理单元20在实像的上方区域通过滑动窗口依次遍历实像的上方。
可选地，滑动窗口的大小与实像的边界框的大小相同。滑动窗口的位置变化为实像的上方区域的上下位置变化。
根据示例实施例，图像处理单元20还计算各滑动窗口中图像区域的第二参数值，确定第二参数值与第一参数值的最大差值绝对值，并将最大差值绝对值所对应的滑动窗口的所在区域确定为镜像。
图像处理单元20通过各滑动窗口分别获取不同位置的第二参数值。例如第二参数值为H（色调）通道的均值mh_roi。
图像处理单元20计算滑动窗口所遍历的N个位置的第二参数值mh_roi与第一参数值mh_img的差值绝对值diffn，由此可以形成差值绝对值数组｛diffn0，diffn1，diffn2，…，diffn｝。
根据示例实施例，目标镜像与水环境的颜色信息具有较大差异，因此差值绝对值数组的最大值所对应的滑动窗口位置即为水下目标物的镜像的位置。因此图像处理单元20将最大差值绝对值所对应的滑动窗口所在位置确定为镜像位置。
通过上述示例实施例，本申请技术方案通过整幅图像与滑动窗口的颜色空间的参数比较，可以确定出与水体环境颜色差异最大的滑动窗口，即可以通过图像处理自动确定镜像的中心位置，具有计算速度快、抗水面波浪干扰能力强等优点。
根据本申请的又一方面，还提供了一种水下设备。该水下设备包括如上文所述的定位装置。
根据本申请的又一方面，还提供了一种非易失性计算机可读存储介质。该存储介质上存储有计算机程序，该计算机程序可以实现如上文所述的定位方法。
最后应说明的是，以上所述仅为本申请的优选实施例而已，并不用于限制本申请，尽管参照前述实施例对本申请进行详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种水下目标物的定位方法，其特征在于，包括：
通过水下图像获取装置获取水下的图像；
确定出所述图像中所述水下目标物的实像；
基于所述实像确定出所述水下目标物在水面反射形成的镜像；
以所述水下图像获取装置为原点建立参考坐标系；
基于所述实像和所述镜像在所述图像中的位置，确定出所述水下目标物的中心点在所述参考坐标系的位置坐标信息；
其中，所述基于所述实像和镜像在所述图像中的位置，确定出所述水下目标物的中心点在所述参考坐标系的位置坐标信息包括：
将所述水下目标物的中心点在所述参考坐标系XOZ面的投影作为实像投影点；
将所述镜像的中心点在所述参考坐标系XOZ面的投影作为镜像投影点；
所述水下目标物的中心点的横坐标的计算公式为:
X= H1- H0；
所述水下目标物的中心点的纵坐标的计算公式为:
Y=2H0×tanγ/（tanβ-tanα）
所述水下目标物的中心点的竖坐标的计算公式为：
Z=2H0/（tanβ-tanα）
其中：
H1=H0×（tanβ+tanα）/（tanβ-tanα）；
β=|xb-nr/2|/nr×θ；
α=|xa-nr/2|/nr×θ；
γ=|ya-nc/2|/nc×φ
其中，H1为所述水下目标物的中心点到水面的距离，H0为所述原点到水面的距离；
β为所述镜像投影点到原点的连线与所述Z轴的夹角；
α为所述实像投影点到原点的连线与所述Z轴的夹角；
γ为第二垂足到原点的连线与所述Z轴的夹角，其中所述Z轴于所述图像的垂足为第一垂足，所述第二垂足为所述第一垂足在所述水下目标物的中心点与所述镜像的中心点所形成直线上的垂足；
基于所述图像建立XOY坐标系，xb为所述镜像的中心点在所述XOY坐标系的纵坐标；xa为所述实像的中心点在所述XOY坐标系的纵坐标；ya为所述实像的中心点在所述XOY坐标系的横坐标；nr为所述图像的行数；nc为所述图像的列数；θ为所述水下图像获取装置的上下视场角；φ为所述水下图像获取装置的左右视场角。
2.根据权利要求1所述的定位方法，其特征在于，所述以所述水下图像获取装置为原点建立参考坐标系包括：
所述参考坐标系的Z轴沿着所述水下图像获取装置的光轴方向延伸；
所述参考坐标系的X轴沿着水深方向延伸。
3.根据权利要求1所述的定位方法，其特征在于，所述基于所述实像确定出所述水下目标物在水面反射形成的镜像包括：
确定所述图像的颜色空间的第一参数值；
通过滑动窗口在所述图像中遍历所述实像上方的图像区域，其中所述滑动窗口的大小与所述实像的边界框的大小相同；
计算各所述滑动窗口中所述图像区域的第二参数值；
确定出所述第二参数值与所述第一参数值的最大差值绝对值；
将所述最大差值绝对值所对应的滑动窗口的所在区域确定为所述镜像。
4.根据权利要求1所述的定位方法，其特征在于，所述水下图像获取装置为单目相机。
5.一种水下目标物的定位装置，其特征在于，包括：
图像获取单元，用于获取水下的图像；
图像处理单元，用于确定出所述图像中的所述水下目标物的实像，以及基于所述实像确定出所述水下目标物在水面反射形成的镜像；
坐标处理单元，用于以所述图像获取单元为原点建立参考坐标系，以及基于所述实像和镜像在所述图像中的位置确定出所述水下目标物的中心点在所述参考坐标系的位置坐标信息；
其中，所述坐标处理单元还将所述水下目标物的中心点在所述参考坐标系XOZ面的投影作为实像投影点，以及将所述镜像的中心点在所述参考坐标系XOZ面的投影作为镜像投影点；
所述水下目标物的中心点的横坐标的计算公式为:
X=H1- H0；
所述水下目标物的中心点的纵坐标的计算公式为:
Y=2H0×tanγ/（tanβ-tanα）
所述水下目标物的中心点的竖坐标的计算公式为：
Z=2H0/（tanβ-tanα）
其中：
H1=H0×（tanβ+tanα）/（tanβ-tanα）；
β=|xb-nr/2|/nr ×θ；
α=|xa-nr/2|/nr ×θ；
γ=|ya-nc/2|/nc ×φ
其中，H1为所述水下目标物的中心点到水面的距离，H0为所述原点到水面的距离；
β为所述镜像投影点到原点的连线与所述Z轴的夹角；
α为所述实像投影点到原点的连线与所述Z轴的夹角；
γ为第二垂足到原点的连线与所述Z轴的夹角，其中所述Z轴于所述图像的垂足为第一垂足，所述第二垂足为所述第一垂足在所述水下目标物的中心点与所述镜像的中心点所形成直线上的垂足；
所述坐标处理单元还基于所述图像建立XOY坐标系，xb为所述镜像的中心点在所述XOY坐标系的纵坐标；xa为所述实像的中心点在所述XOY坐标系的纵坐标；ya为所述实像的中心点在所述XOY坐标系的横坐标；nr为所述图像的行数；nc为所述图像的列数；θ为所述图像获取单元的上下视场角；φ为所述图像获取单元的左右视场角。
6.根据权利要求5所述的定位装置，其特征在于，所述坐标处理单元沿着所述图像获取单元的光轴方向建立所述参考坐标系的Z轴，沿着水深方向建立所述参考坐标系的X轴。
7.据权利要求5所述的定位装置，其特征在于，所述图像处理单元确定所述图像的颜色空间的第一参数值，以及通过滑动窗口在所述图像中遍历所述实像上方的图像区域，其中所述滑动窗口的大小与所述实像的边界框的大小相同；
所述图像处理单元还计算各所述滑动窗口中所述图像区域的第二参数值，确定所述第二参数值与所述第一参数值的最大差值绝对值，并将所述最大差值绝对值所对应的滑动窗口的所在区域确定为所述镜像。
8.根据权利要求5所述的定位装置，其特征在于，所述图像获取单元为单目相机。
9.一种水下设备，其特征在于，包括如权利要求5~8中任一所述的定位装置。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序实现如权利要求 1~4中任一所述的定位方法。
CN202310375898.XA 2023-04-11 2023-04-11 水下目标物的定位方法、定位装置、水下设备及存储介质 Active CN116091608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310375898.XA CN116091608B (zh) 2023-04-11 2023-04-11 水下目标物的定位方法、定位装置、水下设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310375898.XA CN116091608B (zh) 2023-04-11 2023-04-11 水下目标物的定位方法、定位装置、水下设备及存储介质

Publications (2)

Publication Number Publication Date
CN116091608A CN116091608A (zh) 2023-05-09
CN116091608B true CN116091608B (zh) 2023-06-23

Family

ID=86212412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310375898.XA Active CN116091608B (zh) 2023-04-11 2023-04-11 水下目标物的定位方法、定位装置、水下设备及存储介质

Country Status (1)

Country Link
CN (1) CN116091608B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829906A (zh) * 2017-12-29 2018-11-16 西安电子科技大学 一种复杂目标对背景光辐射的二次散射计算方法
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035320B (zh) * 2018-08-12 2021-08-10 浙江农林大学 基于单目视觉的深度提取方法
CN109099838B (zh) * 2018-08-16 2020-01-17 华南农业大学 一种基于折反射的单目立体视觉系统三维信息测量方法
CN110057312A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于结构光的单目视觉三维扫描测量装置及测量方法
CN114589689A (zh) * 2020-12-07 2022-06-07 山东新松工业软件研究院股份有限公司 基于二维码的视觉定位方法、装置及计算机可读存储介质
CN115578297A (zh) * 2022-05-05 2023-01-06 桂林电子科技大学 一种自适应色彩补偿与细节优化的广义衰减图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829906A (zh) * 2017-12-29 2018-11-16 西安电子科技大学 一种复杂目标对背景光辐射的二次散射计算方法
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116091608A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
CN106960454B (zh) 景深避障方法、设备及无人飞行器
JP3859574B2 (ja) ３次元視覚センサ
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
Kim et al. A camera calibration method using concentric circles for vision applications
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
Alizadeh Object distance measurement using a single camera for robotic applications
US9914222B2 (en) Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR20100128919A (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
Zhang et al. Triangle codes and tracer lights based absolute positioning method for terminal visual docking of autonomous underwater vehicles
CN116091608B (zh) 水下目标物的定位方法、定位装置、水下设备及存储介质
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
Masuda et al. Simultaneous determination of registration and deformation parameters among 3D range images
CN211028657U (zh) 一种智能焊接机器人系统
JP2001194128A (ja) 焦点光源付ステレオカメラによる３次元面形状推定方法
US11348280B2 (en) Method and computer readable medium for pose estimation
CN116758160B (zh) 基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法
CN108665488A (zh) 全局运动估计方法和装置
CN117036489B (zh) 基于人工标识和四目全景相机的机器人定位方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant