CN117893728A - 水下多视图虚拟成像平面模型构建方法及装置、切换方法及装置 - Google Patents

Abstract

水下多视图虚拟成像平面模型构建方法及装置、切换方法及装置，涉及计算机视觉和机器人技术领域。为使本发明提供的技术方案的优点和有益之处体现得更清楚，现结合附图对本发明提供的技术方案进行进一步详细地描述，具体的：水下多视图虚拟成像平面模型构建方法，方法包括：采集水下机器人‑机械手系统的构型；根据水下机器人‑机械手系统的构型，将水下机器人‑机械手系统上，各相机进行关联；根据进行关联的关系，构建多视图成像模型；得到水下机器人‑机械手系统所在的艇体的双目相机到水下机器人‑机械手系统单目相机坐标系的齐次变换矩阵；根据齐次变换矩阵，和多视图成像模型，得到视野共享模型。可以应用于水下作业工作中。

Description

水下多视图虚拟成像平面模型构建方法及装置、切换方法及 装置

技术领域

涉及计算机视觉和机器人技术领域，具体涉及水下多视图融合。

背景技术

受水下环境的影响，视觉图像传播的距离十分有限，当我们的机器人构型较大时，位于艇体艏部的相机距离UVMS的作业对象较远，采集的图像会变模糊，从而导致UVMS的水下作业精度下降。此外，水下的复杂环境与UVMS自身的构型也会在作业过程中对艇体的艏部相机的观测视野造成遮挡。相对于单双目视觉伺服作业控制，多视图视觉伺服将给机器人的作业过程提供更全面的作业目标信息，更丰富的环境交互信息。

现有的相关研究《Underwater Multi-View Image Fusion for ObjectDetection and Tracking》，提出了一种水下多视图图像融合方法，通过将多个水下相机的图像进行融合，提高水下目标检测和跟踪的准确性。本实施方式利用多视图图像的互补信息，通过图像融合算法得到更清晰、更全面的水下目标图像。然而，本实施方式存在的缺点是对于水下环境中的光照变化和噪声干扰敏感，容易导致图像融合结果的失真和误差。

发明内容

为使本发明提供的技术方案的优点和有益之处体现得更清楚，现结合附图对本发明提供的技术方案进行进一步详细地描述，具体的：

水下多视图虚拟成像平面模型构建方法，所述方法包括：

采集水下机器人-机械手系统的构型的步骤；

根据所述水下机器人-机械手系统的构型，将所述水下机器人-机械手系统上，各相机进行关联的步骤；

根据所述进行关联的关系，构建多视图成像模型的步骤；

得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵的步骤；

根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型的步骤。

进一步，提供一个优选实施方式，通过所述各相机之间的相对位姿关系，对所述各相机进行关联。

进一步，提供一个优选实施方式，通过UVMS构型，得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵。

进一步，提供一个优选实施方式，对所有相机建立各自的下层视野共享虚拟成像平面模型，形成视野共享系统，再根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型。

进一步，提供一个优选实施方式，所述视野共享系统中包括相机参数、像素大小和图像平面密度。

基于同一发明构思，本发明还提供了水下多视图虚拟成像平面模型构建装置，所述装置包括：

采集水下机器人-机械手系统的构型的模块；

根据所述水下机器人-机械手系统的构型，将所述水下机器人-机械手系统上，各相机进行关联的模块；

根据所述进行关联的关系，构建多视图成像模型的模块；

得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵的模块；

根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型的模块。

基于同一发明构思，本发明还提供了水下多视图虚拟成像平面切换方法，所述方法是基于所述的水下多视图虚拟成像平面模型构建方法构建的模型实现的，方法包括：

在所述水下机器人-机械手系统单目相机观测不到目标时，采用下层的视野共享虚拟成像平面的数据反馈的步骤；

在所述水下机器人-机械手系统单目相机观测到目标时，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈的步骤。

基于同一发明构思，本发明还提供了水下多视图虚拟成像平面切换装置，所述装置是基于所述的水下多视图虚拟成像平面模型构建装置构建的模型实现的，装置包括：

在所述水下机器人-机械手系统单目相机观测不到目标时，采用下层的视野共享虚拟成像平面的数据反馈的模块；

在所述水下机器人-机械手系统单目相机观测到目标时，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈的模块。

基于同一发明构思，本发明还提供了计算机储存介质，用于储存计算机程序，当所述计算机程序被计算机读取时，所述计算机执行所述的水下多视图虚拟成像平面模型构建方法。

基于同一发明构思，本发明还提供了计算机，包括处理器和储存介质，当所述储存介质中储存的计算机程序被处理器读取时，所述计算机执行所述的水下多视图虚拟成像平面模型构建方法。

与现有技术相比，本发明提供的技术方案的有益之处在于：

本发明提供的水下多视图虚拟成像平面模型构建方法，使用多视图视觉来进行水下视觉伺服作业控制，通过建立视野共享虚拟成像平面模型和切换策略，实现了对水下目标的观测和控制。相较于单双目视觉伺服作业控制，多视图视觉提供了更全面的作业目标信息和高精度作业控制。

本发明提供的水下多视图虚拟成像平面模型构建方法，通过使用多个相机对目标进行观测，可以提供更全面的作业目标信息和丰富的环境交互信息，从而增强了水下视觉感知系统的观测能力。

本发明提供的水下多视图虚拟成像平面模型构建方法，过切换不同的虚拟成像平面模型，可以实现从远距离到近距离的作业过渡，解决了水下机器人在不同距离下的观测精度问题。这种切换策略可以平稳地实现远近距离的作业过渡，增强了系统的鲁棒性和稳定性。

本发明提供的水下多视图虚拟成像平面模型构建方法，通过多视图融合模型和虚拟成像平面模型切换策略，提高了水下机器人的观测能力和作业精度。传统的水下视觉感知系统往往只使用单个相机进行观测，无法提供全面的作业目标信息。而通过多视图融合模型，可以同时利用多个相机的观测结果，提供更全面的作业目标信息。

本发明提供的水下多视图虚拟成像平面模型构建方法，相比于传统的水下视觉感知系统在远距离和近距离作业过渡时往往存在观测精度下降的问题。而通过虚拟成像平面模型切换策略，可以平稳地实现远近距离的作业过渡，提高了作业精度。

本发明提供的水下多视图虚拟成像平面模型构建方法，可以应用于强化水下视觉感知系统的观测能力，提高UVMS的水下作业精度的工作中。

附图说明

图1为多视图的视觉模型示意图；

图2为双目立体视觉模型示意图；

图3为虚拟成像平面模型示意图；

图4为基于多层水下多视图虚拟成像平面模型的切换策略示意图；

图5为UVMS构型与多视图图像平面坐标系齐次变换关系示意图；

图6为多视图视觉伺服。

具体实施方式

为使本发明提供的技术方案的优点和有益之处体现得更清楚，现结合附图对本发明提供的技术方案进行进一步详细地描述，具体的：

实施方式一、本实施方式提供了水下多视图虚拟成像平面模型构建方法，所述方法包括：

采集水下机器人-机械手系统的构型的步骤；

根据所述水下机器人-机械手系统的构型，将所述水下机器人-机械手系统上，各相机进行关联的步骤；

根据所述进行关联的关系，构建多视图成像模型的步骤；

得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵的步骤；

根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型的步骤。

具体的，方法包括：

步骤一：确定已知的水下机器人-机械手系统构型。

步骤二：从已知的水下机器人-机械手系统构型获取各个相头的相对位姿关系，并对这些相对位姿关系进行关联。

步骤三：建立多视图相机的坐标系，并根据步骤二关联的关系进一步关联多视图成像模型。根据已知的UVMS构型，得到艇体双目相机坐标系到末端执行器单目相机坐标系的齐次变换矩阵。首先，根据双目相机与单目相机各自的安装可以得到其分别相对于艇体与末端执行器坐标系的齐次变换然后根据艇体在大地坐标系下的姿态，得到艇体坐标系在大地坐标系下的齐次变换为/>然后，根据已知的UVMS构型可以得到艇体坐标系到末端执行器坐标系的齐次变换/>因此即可得到大地坐标系到末端执行器坐标系的齐次变换/>与末端执行器单目相机坐标系到艇体双目相机坐标系的齐次变换/>

步骤四：对多视图各个相机建立各自的下层视野共享虚拟成像平面模型，如图4所示。

步骤五：根据上述步骤可以得到从艇体双目相机到末端执行器单目相机的视野共享结果(^C1u,^C1v)可以从下式获得：

式中，摄像机的焦距为f，ρ_x×ρ_y是像素的大小，ρ_x和ρ_y的为图像平面的像素密度，相机图像平面两坐标轴夹角为γ，α＝ρ_xf，β＝ρ_yf，b为艇体双目相机两个相机光轴之间的距离，分别为图像平面沿v轴和u轴方向上的最大像素值，f[x]为向零取整函数。

在多视图各相机建立用于视野共享的虚拟成像平面外，并基于压像素估计算法在视野共享的虚拟成像平面层级上构建亚像素级的高分辨虚拟成像平面用于水下机器人-机械手系统任务后期的高精度作业。其中亚像素估计算法特征如下。

对于灰度化的图片，其中目标区域的n个像素点信息表示为 分别为各个像素点在图像平面沿u轴和v轴方向上的整点位置坐标，/>为各个像素点的亮度值。着目标特征亚像素提取点(^C3u,^C3v)为：

其中为分割阈值函数。

实施方式二、本实施方式是对实施方式一提供的水下多视图虚拟成像平面模型构建方法的进一步限定，通过所述各相机之间的相对位姿关系，对所述各相机进行关联。

实施方式三、本实施方式是对实施方式一提供的水下多视图虚拟成像平面模型构建方法的进一步限定，通过UVMS构型，得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵。

实施方式四、本实施方式是对实施方式一提供的水下多视图虚拟成像平面模型构建方法的进一步限定，对所有相机建立各自的下层视野共享虚拟成像平面模型，形成视野共享系统，再根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型。

实施方式五、本实施方式是对实施方式四提供的水下多视图虚拟成像平面模型构建方法的进一步限定，所述视野共享系统中包括相机参数、像素大小和图像平面密度。

实施方式六、本实施方式提供了水下多视图虚拟成像平面模型构建装置，所述装置包括：

采集水下机器人-机械手系统的构型的模块；

根据所述水下机器人-机械手系统的构型，将所述水下机器人-机械手系统上，各相机进行关联的模块；

根据所述进行关联的关系，构建多视图成像模型的模块；

得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵的模块；

根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型的模块。

具体的，方法包括：

在水下机器人-机械手系统向目标趋近作业时，在远距离时图像采集分辨率低，采用下层的视野共享虚拟成像平面的数据反馈，该反馈是基于离散化整点像素的，稳定性高，但是精度低。可以高效的引导水下机器人-机械手系统趋近目标。在水下机器人-机械手系统趋近目标后，在较近的距离下，多视图相机可以采集到较高分辨率的图像，但是由于相机的感光元件采集图像的原理，使得其反馈精度有整点离散化的上限，从而限制了作业精度。在这个阶段，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈，来提升多视图相机对目标的观测精度，从而提高水下机器人-机械手系统的作业精度。

实施方式七、本实施方式提供了水下多视图虚拟成像平面切换方法，所述方法是基于实施方式一提供的水下多视图虚拟成像平面模型构建方法构建的模型实现的，方法包括：

在所述水下机器人-机械手系统单目相机观测不到目标时，采用下层的视野共享虚拟成像平面的数据反馈的步骤；

在所述水下机器人-机械手系统单目相机观测到目标时，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈的步骤。

实施方式八、本实施方式提供了水下多视图虚拟成像平面切换装置，所述装置是基于实施方式六提供的水下多视图虚拟成像平面模型构建装置构建的模型实现的，装置包括：

在所述水下机器人-机械手系统单目相机观测不到目标时，采用下层的视野共享虚拟成像平面的数据反馈的模块；

在所述水下机器人-机械手系统单目相机观测到目标时，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈的模块。

实施方式九、本实施方式提供了计算机储存介质，用于储存计算机程序，当所述计算机程序被计算机读取时，所述计算机执行实施方式一提供的水下多视图虚拟成像平面模型构建方法。

实施方式十、本实施方式提供了计算机，包括处理器和储存介质，当所述储存介质中储存的计算机程序被处理器读取时，所述计算机执行实施方式一提供的水下多视图虚拟成像平面模型构建方法。

实施方式十一、本实施方式是对实施方式一至八提供的技术方案进行进一步详细地描述，具体的：

受水下环境的影响，视觉图像传播的距离十分有限，当我们的机器人构型较大时，位于艇体艏部的相机距离UVMS的作业对象较远，采集的图像会变模糊，从而导致UVMS的水下作业精度下降。此外，水下的复杂环境与UVMS自身的构型也会在作业过程中对艇体的艏部相机的观测视野造成遮挡。

如图6所示，相对于单双目视觉伺服作业控制，多视图视觉伺服将给机器人的作业过程提供更全面的作业目标信息，更丰富的环境交互信息。此外基于所提的虚拟成像平面，将UVMS的多个摄像机图像误差在UVMS的广义自由度进行统一，相比于远近摄像机切换的视觉伺服控制方法，可以平稳的实现远距离到近距离的作业过度问题，极大的增强了系统的鲁棒性和稳定性。

基于上述内容，本实施方式涉及一种水下多视图融合模型方法以及一种虚拟成像平面模型切换策略。主要针对水下机器人-机械手系统水下困难的感知环境，水下视觉伺服受到相机水下视觉感知空间上的限制，提出了一种水下多视图融合的模型来强化水下视觉感知系统的观测能力，从而提高UVMS的水下作业精度。此外基于所提的虚拟成像平面，将UVMS的多个摄像机图像误差在UVMS的广义自由度进行统一，相比于远近摄像机切换的视觉伺服控制方法，可以平稳的实现远距离到近距离的作业过度问题，极大的增强了系统的鲁棒性和稳定性。

针对不同相机视的观测视野与观测精度不同，本实施方式基于已知的UVMS模型，构建了基于大视野相机的视野共享虚拟成像平面模型，以实现UVMS多相机对目标的同时观测。基于UVMS末端执行器上的单目相机的高精度观测能力与图像特征点亚像素位置估计方法，构建了高精度信息共享虚拟成像平面，以实现UVMS对目标的高精度作业控制。结合所提的视野共享虚拟成像平面与高精度信息共享虚拟成像平面，设计了虚拟成像平面模型切换策略来实现UVMS在作业过程中的稳定性与鲁棒性。

实现如下：

一种水下多视图融合模型方法以及一种虚拟成像平面模型切换策略，所述方法步骤如下：

步骤一：对于UVMS艇体双目相头建立双目立体视觉，如图1所示。定义大地坐标系{I}下的目标点1在相机坐标系{C₁}下的位置坐标为¹P₁＝(¹x₁,¹y₁,¹z₁)，则利用双目立体视觉计算得到。

步骤二：对于UVMS末端执行器单目相头建立虚拟成像平面以及虚拟成像平面坐标系。其中虚拟成像平面与单目相机的成像平面重合。虚拟成像平面的x轴和单目相机成像平面的u轴重合，方向相同；虚拟成像平面的y轴和单目相机成像平面的v重合，方向相同；虚拟成像平面的z和单目相机光轴z重合，方向相同，如图2所示。

步骤三：根据已知的UVMS构型，得到艇体双目相机坐标系到末端执行器单目相机坐标系的齐次变换矩阵。首先，根据双目相机与单目相机各自的安装可以得到其分别相对于艇体与末端执行器坐标系的齐次变换然后根据艇体在大地坐标系下的姿态，得到艇体坐标系在大地坐标系下的齐次变换为/>然后，根据已知的UVMS构型可以得到艇体坐标系到末端执行器坐标系的齐次变换/>因此即可得到大地坐标系到末端执行器坐标系的齐次变换/>如图5所示。

步骤四：当UVMS多相机系统的艇体双面相机观测到目标，则根据步骤三所提的艇体双面坐标系与末端执行器单目相机坐标系的关系得到艇体双目相机观测的目标在步骤二所建立的虚拟成像平面上的投影位置结果(u,v)可以从下式获得：

式中，摄像机的焦距为f，ρ_x×ρ_y是像素的大小，ρ_x和ρ_y的为图像平面的像素密度，相机图像平面两坐标轴夹角为γ，α＝ρ_xf，β＝ρ_yf，b为艇体双目相机两个相机光轴之间的距离。分别为图像平面沿v轴和u轴方向上的最大像素值，f[x]为向零取整函数。

步骤五：根据UVMS末端执行器的观测要求则可以得到UVMS末端执行器的在大地坐标系{I}的期望位姿η_eed，然后设计闭环控制器利用UVMS的多自由度的运动调整实现末端执行器的实际位姿η_ee向期望位姿η_eed收敛，即可实现UVMS多相机系统对目标同时进行观测。由于UVMS的已知构型存在偏差，所以步骤三中的各齐次变换矩阵关系会不准确。又由于艇体双目相机距离目标较远，从而对目标的观测精度低，导致步骤一中的观测结果会有偏差，所以上述步骤能实现的是一种基于水下多视图的低精度下层视野共享虚拟成像平面模型。

步骤六：当UVMS多相机系统同时对目标进行观测时，有末端执行器的单目相机距离目标更近，因此可以得到更高精度的观测结果。结合图像平面特征点亚像素估计方法，可以在末端执行器的单目相机的虚拟成像平面得到目标亚像素级的观测结果。

步骤七：根据步骤六中末端执行器单目相机所得的高精度观测结果，同样的可以根据步骤三中所得的艇体双面相机坐标系与末端执行器单目相机坐标系的齐次变化关系得到其在艇体双目相机的高精度融合信息。此时，虽然艇体双目相机由于距离目标远，观测精度低，但是距离目标近的末端执行器上的单目相机完成了高精度观测。然后通过基于亚像素估计算法与水下多视图虚拟成像平面模型的上层高分辨虚拟成像平面模型实现多视图高精度感知信息的共享与融合，从而实现UVMS多相机系统对目标的高精度观测。

步骤八：在UVMS趋近目标作业的过程中，当末端执行器上的单目相机观测不到目标时，UVMS便切换至水下多视图的低精度下层视野共享虚拟成像平面模型方法来将艇体双目广阔的视野观测的结果共享至末端执行器的单目相机，根据步骤五所述的方法实现UVMS多相机对目标的同时观测。当UVMS多相机同时对目标进行观测时，UVMS便切换至水下多视图虚拟成像平面模型的上层高分辨虚拟成像平面模型方法将单目近距离高精度观测结果共享至UVMS实现其整体的高精度控制。

本实施方式的实施步骤中还包含一些具体的实施原理，如下：

a)基于水下多视图的视野共享虚拟成像平面模型

根据相机透视投影成像模型可以得到，对于一个特定的相机j，其在大地坐标系{I}下的位姿是唯一确定的。由于相机的感光元件的尺寸限制，则相机j在其坐标系{C_j}下的成像平面的范围可以表示为：

然后相机的投影映射矩阵在相机坐标系{C_j}下的表示为：

因此，相机j在成像平面的边缘位置投影与相机j坐标系{C_j}下的目标特征点^jP＝(^jx,^jy,^jz)的关系为：

则，相机j可以观测到的视野范围空间在其坐标系{C_j}下的表示为：

因此，对于一个确定的相机j，其观测的视野范围受到感光元件的尺寸(|u_lim|，|v_lim|)，相机焦距f，以及相机相对目标的深度^jz所影响。并且可以得出，相机的感光元件尺寸越大(|u_lim|，|v_lim|)，相机的焦距f越小，相机相对目标的深度^jz越大，其观测的视野范围越大。但是，在实际的作业过程中。首先，光在水下的传播随着传播距离的增加衰减特别快，使得在需要较高成像精度的图像时，需要使^jz在不威胁相机和UVMS的安全的前提下尽可能的小。而对于一个已经制作好的相机j，其感光元件尺寸以及相机的焦距f，在后面的使用中不会再改变。因此，为了解决UVMS在水下作业时，近距离成像视野小而远距离成像图像质量差的矛盾。本实施方式提出的是使用多视图视觉来进行UVMS的水下视觉伺服作业控制。这样，可以在大地坐标系{I}不同位姿下的相机j，对大地坐标系{I}下的同一个位置的目标^IP＝(^Ix,^Iy,^Iz)进行观测作业，可以满足对于含有各个相机j的UVMS系统对大地坐标系{I}下的目标^IP＝(^Ix,^Iy,^Iz),不仅在不同的^jz下实现了既有大视野范围的观测，也有高精度成像图像下的观测。基于多视图的视觉模型如图1所示。

在实际的UVMS的水下作业时，往往是其中一个相机的视野观测范围内率先观测到在大地坐标系{I}下的目标^IP＝(^Ix,^Iy,^Iz)，然后在UVMS的各个自由度的控制下使得多个相机的视野观测范围内都可以观测到目标^IP＝(^Ix,^Iy,^Iz)。这个过程对UVMS的控制通常的方法是，利用艇体的两个相机构成双目立体视觉，从而通过艇体艏部的两个相机对同一个目标^IP＝(^Ix,^Iy,^Iz)在各自的成像平面的成像特征点与/>形成的视差，利用双目立体视觉来计算目标^IP＝(^Ix,^Iy,^Iz)在相机坐标系{C₁}或{C₂}下的位置。摄像机投影透视模型所描述的双目立体视觉模型，如图2所示。

令，大地坐标系{I}下的^IP＝(^Ix,^Iy,^Iz)在相机坐标系{C₁}下的位置为¹P₁＝(¹x₁,¹y₁,¹z₁)，则利用双目立体视觉计算得到：

其中，为目标点1在相机j图像平面的投影点在图像平面坐标系u轴的分量，/>为目标点1在相机j图像平面的投影点在图像平面坐标系v轴的分量，b为双目相机的两个相机光轴之间的距离，ρ_x，ρ_y分别为相机图像平面沿u轴和v轴方向上的像素密度，f为相机的焦距。

虚拟成像平面模型如图3所示。与相机的成像平面的定义对应，相机j在其坐标系{C_j}下的虚拟成像平面的范围可以表示为：

则，由式(4)可以得到相机j基于虚拟成像平面观测到的视野范围空间在其坐标系{C_j}下的表示为：

因此，在虚拟成像平面下，相机j可以实现对任意的大地坐标系{I}下的目标^IP＝(^Ix,^Iy,^Iz)进行“观测”。在实际中，目标在大地坐标系{I}下的位置^IP＝(^Ix,^Iy,^Iz)可以通过双目立体视觉或者单目的连续帧的视差计算得到。所以，在虚拟成像平面的多视图视觉伺服过程中，当UVMS所携带的多个相机中的一个相机观测到目标，则等同于所有相机均观测到了目标。

b)一种基于多层水下多视图虚拟成像平面模型的切换策略

当UVMS只有艇体双目观测到目标的时候，UVMS基于艇体双目的反馈信息进行运动控制。然后将双目获得的信息以低精度的下层视野共享虚拟成像平面模型来调节UVMS的末端执行器，使得末端执行器上的单目相机实现对目标的近距离观测。当UVMS末端执行器上的单目相机观测到目标后，单目相机将近距离获得的高精度观测结果，通过亚像素估计算法实现高精度结果数值化，然后共享虚拟成像平面模型切换至上层高分辨虚拟成像平面模型进行高精度的观测信息共享，从而实现UVMS的高精度作业控制。在这个过程中，当目标从UVMS的末端执行器上的单目相机的视野内丢失时，共享虚拟成像平面模型再次切换至低精度的下层视野共享虚拟成像平面模型来调节UVMS的末端执行器，去实现UVMS的各相机同时对目标进行观测。基于多层水下多视图虚拟成像平面模型的切换策略如图4所示。

实施方式十二、本实施方式是实施方式十一提供的技术方案的一个优选变式，具体的：

步骤如下：

步骤一：对于UVMS艇体双目相头建立双目立体视觉，如图1所示。定义大地坐标系{I}下的目标点1在相机坐标系{C₁}下的位置坐标为¹P₁＝(¹x₁,¹y₁,¹z₁)，则利用双目立体视觉计算得到：

其中，为目标点1在相机j图像平面的投影点在图像平面坐标系u轴的分量，/>为目标点1在相机j图像平面的投影点在图像平面坐标系v轴的分量，b为双目相机的两个相机光轴之间的距离，ρ_x，ρ_y分别为相机图像平面沿u轴和v轴方向上的像素密度，f为相机的焦距。

步骤二：对于UVMS末端执行器单目相头建立虚拟成像平面以及虚拟成像平面坐标系。其中虚拟成像平面与单目相机的成像平面重合。虚拟成像平面的x轴和单目相机成像平面的u轴重合，方向相同；虚拟成像平面的y轴和单目相机成像平面的v重合，方向相同；虚拟成像平面的z和单目相机光轴z重合，方向相同，如图2所示。

步骤三：根据已知的UVMS构型，得到艇体双目相机坐标系到末端执行器单目相机坐标系的齐次变换矩阵。首先，根据双目相机与单目相机各自的安装可以得到其分别相对于艇体与末端执行器坐标系的齐次变换然后根据艇体在大地坐标系下的姿态，得到艇体坐标系在大地坐标系下的齐次变换为/>然后，根据已知的UVMS构型可以得到艇体坐标系到末端执行器坐标系的齐次变换/>因此即可得到大地坐标系到末端执行器坐标系的齐次变换/>UVMS构型与多视图图像平面坐标系齐次变换关系如图5所示。

步骤四：当UVMS多相机系统的艇体双面相机观测到目标，则根据步骤三所提的艇体双面坐标系与末端执行器单目相机坐标系的关系得到艇体双目相机观测的目标在步骤二所建立的虚拟成像平面上的投影位置结果(u,v)可以从下式获得：

式中，摄像机的焦距为f，ρ_x×ρ_y是像素的大小，ρ_x和ρ_y的为图像平面的像素密度，相机图像平面两坐标轴夹角为γ，α＝ρ_xf，β＝ρ_yf，b为艇体双目相机两个相机光轴之间的距离。分别为图像平面沿v轴和u轴方向上的最大像素值，f[x]为向零取整函数。

步骤五：根据UVMS末端执行器的观测要求则可以得到UVMS末端执行器的在大地坐标系{I}的期望位姿η_eed，然后设计闭环控制器利用UVMS的多自由度的运动调整实现末端执行器的实际位姿η_ee向期望位姿η_eed收敛，即可实现UVMS多相机系统对目标同时进行观测。

其中多视图特征点信息融合策略可以但不唯一为：

定义各个相机图像平面各个特征点的期望位置为：

则，各个相机图像平面各个特征点的误差为：

其中，为特征点i在相机j图像平面上的实际位置。

根据UVMS与各相机之间的速度雅可比关系可以进一步可以得到各图像平面特征点误差与UVMS多自由度调节误差的关系：

其中，J_UVMS,cj为UVMS与相机j的速度雅可比关系，为相机j的图像雅克比矩阵。通过自调节加权矩阵实现远距离目标主要调节艇体自由度，近距离目标主要调节机械手自由度策略，融合加权矩阵定义如下：/>

其中为人工设定的融合加权矩阵参数。则相机j的图像误差与UVMS的多自由度冗余分配期望为：

在多视图的融合视觉伺服过程中，由于各个相机对目标的观测程度不一样，因此需要对各个相机传递过来的图像误差以及UVMS多自由度分配根据置信度进行加权分配。多相机的图像误差对UVMS的多自由度冗余分配根据置信度加权融合得到融合期望策略为：

其中，s_j为相机j的实时置信度，s₀为设定的置信度基准参数。

得到UVMS的多自由度冗余分配期望ζ_d后，对UVMS的各自由设计闭环控制器即可完成UVMS的各自由度收敛。因为各相机特征点的在其图像平面的期望位置都是在其实际成像平面内，所以当特征点的位置收敛至期望位置，便实现了UVMS多相机系统对目标同时进行观测。

步骤六：当UVMS多相机系统同时对目标进行观测时，有末端执行器的单目相机距离目标更近，因此可以得到更高精度的观测结果。结合图像平面特征点亚像素估计方法，可以在末端执行器的单目相机的虚拟成像平面得到目标亚像素级的观测结果。其中亚像素估计算法特征如下。

对于灰度化的图片，其中目标区域的n个像素点表示为 分别为各个像素点在图像平面沿u轴和v轴方向上的整点位置坐标，/>为各个像素点的亮度值。着目标特征亚像素提取点(^C3u,^C3v)为：

其中为分割阈值函数。

步骤七：根据步骤六中末端执行器单目相机所得的高精度观测结果，同样的可以根据步骤三中所得的艇体双面相机坐标系与末端执行器单目相机坐标系的齐次变化关系得到其在艇体双目相机的高精度融合信息。此时，虽然艇体双目相机由于距离目标远，观测精度低，但是距离目标近的末端执行器上的单目相机完成了高精度观测。然后通过基于亚像素估计算法与水下多视图虚拟成像平面模型的上层高分辨虚拟成像平面模型实现多视图高精度感知信息的共享与融合，从而实现UVMS多相机系统对目标的高精度观测。本步骤中单目相机的高精度感知信息与UVMS双目相机信息融合的策略可以但不唯一采用步骤五中的融合策略。

步骤八：在UVMS趋近目标作业的过程中，当末端执行器上的单目相机观测不到目标时，UVMS便切换至水下多视图的低精度下层视野共享虚拟成像平面模型方法来将艇体双目广阔的视野观测的结果共享至末端执行器的单目相机，根据步骤五所述的方法实现UVMS多相机对目标的同时观测。当UVMS多相机同时对目标进行观测时，UVMS便切换至水下多视图虚拟成像平面模型的上层高分辨虚拟成像平面模型方法将单目近距离高精度观测结果共享至UVMS实现其整体的高精度控制。

以上通过几个具体实施方式对本发明提供的技术方案进行进一步详细地描述，是为了突出本发明提供的技术方案的优点和有益之处，不过以上所述的几个具体实施方式并不用于作为对本发明的限制，任何基于本发明的精神和原则范围内的，对本发明的合理修改和改进、实施方式的组合和等同替换等，均应当包含在本发明的保护范围之内。

在本说明书的描述中，仅为本发明的较佳实施例，不能以此限定本发明之权利范围；另外，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

Claims (10)

1.水下多视图虚拟成像平面模型构建方法，其特征在于，所述方法包括：

采集水下机器人-机械手系统的构型的步骤；

根据所述水下机器人-机械手系统的构型，将所述水下机器人-机械手系统上，各相机进行关联的步骤；

根据所述进行关联的关系，构建多视图成像模型的步骤；

得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵的步骤；

根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型的步骤。

2.根据权利要求1所述的水下多视图虚拟成像平面模型构建方法，其特征在于，通过所述各相机之间的相对位姿关系，对所述各相机进行关联。

3.根据权利要求1所述的水下多视图虚拟成像平面模型构建方法，其特征在于，通过UVMS构型，得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵。

4.根据权利要求1所述的水下多视图虚拟成像平面模型构建方法，其特征在于，对所有相机建立各自的下层视野共享虚拟成像平面模型，形成视野共享系统，再根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型。

5.根据权利要求4所述的水下多视图虚拟成像平面模型构建方法，其特征在于，所述视野共享系统中包括相机参数、像素大小和图像平面密度。

6.水下多视图虚拟成像平面模型构建装置，其特征在于，所述装置包括：

采集水下机器人-机械手系统的构型的模块；

根据所述水下机器人-机械手系统的构型，将所述水下机器人-机械手系统上，各相机进行关联的模块；

根据所述进行关联的关系，构建多视图成像模型的模块；

得到所述水下机器人-机械手系统所在的艇体的双目相机到水下机器人-机械手系统单目相机坐标系的齐次变换矩阵的模块；

根据所述齐次变换矩阵，和所述多视图成像模型，得到视野共享模型的模块。

7.水下多视图虚拟成像平面切换方法，其特征在于，所述方法是基于权利要求1所述的水下多视图虚拟成像平面模型构建方法构建的模型实现的，方法包括：

在所述水下机器人-机械手系统单目相机观测不到目标时，采用下层的视野共享虚拟成像平面的数据反馈的步骤；

在所述水下机器人-机械手系统单目相机观测到目标时，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈的步骤。

8.水下多视图虚拟成像平面切换装置，其特征在于，所述装置是基于权利要求6所述的水下多视图虚拟成像平面模型构建装置构建的模型实现的，装置包括：

在所述水下机器人-机械手系统单目相机观测不到目标时，采用下层的视野共享虚拟成像平面的数据反馈的模块；

在所述水下机器人-机械手系统单目相机观测到目标时，采用基于亚像素估计算法的上层高分辨虚拟成像平面数据反馈的模块。

9.计算机储存介质，用于储存计算机程序，其特征在于，当所述计算机程序被计算机读取时，所述计算机执行权利要求1所述的水下多视图虚拟成像平面模型构建方法。

10.计算机，包括处理器和储存介质，其特征在于，当所述储存介质中储存的计算机程序被处理器读取时，所述计算机执行权利要求1所述的水下多视图虚拟成像平面模型构建方法。